原名：Nationwide urban tree canopy mapping and coverage assessment in Brazil from high-resolution remote sensing images using deep learning
译文：基于深度学习的高分辨率遥感影像对巴西全国城市树冠制图和覆盖率评估
期刊：ISPRS Journal of Photogrammetry and Remote Sensing
发表时间：2023.04
DOI: https://doi.org/10.1016/j.isprsjprs.2023.02.007
一、引言
城市树木在巴西城市居民的生活中发挥着重要作用，例如减轻空气和噪音污染，减轻城市热岛效应和为野生动物提供栖息地等。然而，目前对巴西城市树木的了解是有限的。为城市创建城市树冠(UTC)地图是了解城市树木的有效方法。因此，UTC制图的研究在过去几十年中引起了相当大的关注。基于UTC制图方法大致分为两类：（i）野外测量和（ii）遥感解译。对于大面积测绘，尤其是全国范围的UTC测绘，野外测量效率不高。因此，许多研究使用基于计算机视觉分类技术的遥感分类方法。随着深度学习技术的发展，遥感图像处理提出了许多先进的卷积神经网络方法，然而，基于CNN的城市树木检测方法的研究领域通常不会覆盖整个国家。随着全球城市化进程的推进，迫切需要一种全国性的城市树冠制图方法，为居住在城市的居民提供更好的城市生态系统服务，特别是巴西等发展中国家。本文利用深度学习技术从高分辨率遥感图像中提取树木与非树木之间的判别特征，从而成功绘制UTC地图。这是一种半监督CNN方法，该方法能够从一定数量的标记图像和大量未标记的图像中学习语义分割知识，从高空间分辨率遥感图像中分割城市树木。
二、研究区和数据集
2.1 研究区
如图1所示巴西是南美洲最大的国家，也是世界第五大国家。它由26个州和一个联邦区组成。巴西大陆有热带、干旱和温带气候，亚马逊盆地是其主要地形特征。
图1. 研究区示意图
2.2 数据集
遥感图像是从高分辨率卫星收集的，包括Digital Globe的WorldView-2 / 3系列，GeoEye-1，Planet Labs的SkySat和空中客车的Pleiades。高分辨率图像来自在同一颗卫星上同步捕获的高分辨率全色和多光谱图像的融合。所有图像均归一化为 0.5 m 分辨率。CNN 树木和城市掩模分割模型使用红色、绿色和蓝色波段进行训练。
三、研究方法
3.1 研究流程图
图2为生成UTC 产品的工作流程。我们的工作有两个部分。第一个部分制作城市掩膜产品，第二个部分产生树冠产品。在这项研究中，城市掩膜分割网络和树冠分割网络都使用半监督学习框架进行训练。因此，除了带注释的数据集之外，这些训练集还具有大量未注释的数据集。未注释的数据集直接从高分辨率遥感图像中收集。创建这些数据集后，我们分别训练了城市掩模分割网络和城市树木分割网络。然后，我们对它们各自的测试集进行了准确性评估。最后，我们使用这些经过训练的CNN模型，从不同分辨率的遥感图像中生成城市掩模和树冠结果。最终的城市树冠结果是通过上采样的城市掩模结果和树冠结果的组合获得的。
图2. 流程图
3.2 半监督深度学习框架
这项研究中使用相同的半监督学习框架分别训练了两个用于城市树木和掩模分割的CNN模型。在图3中，以城市树木分割网络为例，使用对抗性学习策略来训练分割模型的。有三个网络：两个分割网络和一个鉴别器网络。这两个分割网络是用于树分割的CNN模型，它们共享相同的结构和参数。鉴别器网络将预测概率图分类为真假，提高网络分割性能。对于未标记的输入图像，来自鉴别器的反馈信息作为选择高质量预测结果以生成伪标签进行自监督的引导信息。
图3. 用于城市树冠分割的半监督深度学习框架
分割网络：树木和城市掩模分割网络使用相同的分割网络结构，但不共享模型参数。使用Deeplabv3+作为我们的分割网络，如图4（a）所示。Deeplabv3+已被用作城市树分类器。Deeplabv3+使用ResNet-101和空间金字塔池化（ASPP）模块提取一般语义和多尺度语义特征，用于对感兴趣的目标对象进行鲁棒性分割。在此网络中，预测概率图的大小是输入图像的 1/8。
鉴别器网络：在这个半监督对抗学习框架中，标准二元分类网络被设计为鉴别器。在本研究中，使用四个卷积层、一个全局平均池化层和一个全连接层来创建鉴别器。四个卷积层分别包括 64、128、256 和 512 个通道。这些卷积层共享相同的卷积核大小（4 × 4）和步幅（步幅=2）。此外，每个卷积层之后都有一个Leaky-ReLU激活（斜率= 0.2）和一个辍学层（dropout-rate= 0.5）。最终的鉴别器分数是在通过全局平均池化层和全连接层后获得的，如图4（b）所示。
图4. 分割和鉴别器网络的结构。其中（a）分割网络和（b）鉴别器网络。
四、结果
4.1 城市掩膜和树木分割结果
图5中的第三列和第五列分别是所提出的方法和全球城市边界（GUB）的结果。图8中的第四列和第六列分别是第三列和第五列中绿色矩形区域的放大结果。可以看出，所提方法得到的城市掩模结果更接近真实的城市边界。但是，GUB产品中存在许多不匹配的领域。
图5. 六个不同城市的城市掩膜结果
为了展示所提方法的树木分割性能，我们给出了不同气候带的9个城市树冠分割结果，如图6所示。根据气候分类系统，马卡帕（图6（a））为热带季风气候，巴西利亚（图6（b））属热带稀树草原气候，圣保罗（图6（c））和阿雷格里港（图6（d））为亚热带湿润气候。福塔莱萨（图6（e））属热带干湿气候，而彼得罗利纳（图6（f））是一个非常炎热干燥的城市，属炎热的半干旱气候。结果表明，9个城市的城市树冠与城市真实树冠具有良好的对应性。所提方法可以有效地分割树冠，不受气候带的影响。
图6. 不同气候区的树木分割结果
4.2 定量分析
为了全面衡量所提方法的性能，本研究使用定量指标对城市树木分割结果进行了研究。这些指标是总体精度（OA）、Kappa 系数（Kappa）、生产者精度 （PA）、用户准确度 （UA）和平均交集（MIoU），这些指标在最近的遥感影像分割工作中被广泛使用。
表1. 不同比较方法对测试图像的城市树冠分割精度
表1中的实验结果表明，我们提出的方法（SSL+Deeplabv3+）具有很好的准确性，并且优于其他方法。所提出的方法产物的MIoU为83.07%，分别比监督U-net和Deeplabv3+高出2.41%和2.25%。这些产品还产生了95.76%的最高整体精度（OA）、80.34%的Kappa精度和84.87%的生产者精度（PA）。
表2. 在20个测试城市的城市树冠分割准确率
表2显示了每个城市各自的精度。可以看出，大多数城市都显示出有较好的树冠测绘结果。在圣路易斯，我们实现了MIoU和Kappa的最高精度。然而，在贝洛奥里藏特，我们的方法对MIoU和Kappa的精度最低。总体而言，大多数城市使用所提出的方法获得了较好的结果。
图7. Kappa精度图和四个城市树冠子地图
为了更好地查看不同城市获得的精度，在巴西地图上绘制了Kappa精度，如图7所示。图7显示了来自圣路易斯、累西腓、贝洛奥里藏特和圣保罗的四个树冠子地图。可以看出，东北城市的Kappa精度普遍高于其他地方，东南城市的Kappa精度普遍低于其他地方。东南部城市有许多中高层建筑。这些建筑物的阴影显著影响城市树冠分割，导致这些区域的树冠分割精度较低。
五、结论
在巴西20个城市进行评估。结果显示，总体准确度高达95.76%，Kappa准确度为80.34%，平均IoU准确度为83.07%。虽然提出的半监督学习框架可以提高CNN模型的性能，但高分辨率遥感图像中高层建筑的阴影严重影响了CNN模型提取树冠分割判别特征的能力。结果表明，在高层建筑较少的东北部城市中，城市树冠产品的精度高于高层建筑较多的东南部城市。高空间分辨率遥感影像提供了一种地表监测的方法。城市树冠分割的例子表明，我们可以开发先进的CNN方法，从这种高空间分辨率的图像中提取所需的信息。
六、引用格式
GUO J, XU Q, ZENG Y, et al. Nationwide urban tree canopy mapping and coverage assessment in Brazil from high-resolution remote sensing images using deep learning [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2023, 198: 1-15.
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
