基于弱监督结构和方向一致性约束网络的高分辨率遥感图像大规模道路提取

原名：Large-scale road extraction from high-resolution remote sensing images based on a weakly-supervised structural and orientational consistency constraint network

译名：基于弱监督结构和方向一致性约束网络的高分辨率遥感图像大规模道路提取

期刊：ISPRS Journal of Photogrammetry and Remote Sensing (IF：11.774)

发表时间：2022.11

DOI：10.1016/j.isprsjprs.2022.09.005

1.研究背景

从高分辨率遥感图像中大规模提取道路具有重要意义，道路信息在应急响应、自动驾驶和城市规划等许多领域都有应用。由于传感器成像技术的不同和陆地表面环境的复杂性，建立能够准确捕捉大场景中道路表面的鲁棒模型是非常困难的。现有的道路提取模型大多采用全监督样本策略，训练成本过高。基于深度学习的弱监督方法能够利用道路中心线等构造道路涂鸦标签，从而平衡道路提取模型的训练成本与提取精度。开源数据和弱监督学习技术的结合有望提高大型场景道路提取任务的自动化和准确性。因此，本文提出了一种基于结构和方向一致性的弱监督道路分割网络，能够从开源道路地图中学习分割道路表面，从而支持高质量地大规模提取道路。

2.研究内容

（1）提出了一种基于结构和方向一致性的弱监督路面分割网络（SOC-RoadNet）。SOC-RoadNet被设计为一个单阶段的端到端网络，它可以从中心线直接学习分割道路表面。

（2）基于图像上具有相似RGB值的相邻像素具有相似的道路像素概率的基本事实，设计结构一致性损失，缓解由于涂鸦标签导致的边界定位不佳的问题。

（3）所提出的SOC-RoadNet可以使用涂鸦标签（如开源OSM数据）或以端到端的方式手动注释道路中心线进行训练，因此可以在没有密集注释标签的大范围真实影像中应用。

3.网络模型结构与损失函数

本文提出的弱监督道路表面分割网络（SO-RoadNet）基于结构和方向一致性，并从道路中心线类注释中学习道路表面。SOC-RoadNet的架构如图1所示。

SOC-RoadNet涉及双分支编码器-解码器架构，包括道路分割分支、方向预测分支和道路细化模块。道路分割分支从涂鸦标签学习道路表面特征，并输出粗略的道路表面图。方向预测分支通过学习道路方向图来捕获相邻像素之间的关系，从而改善道路的连通性。道路表面分支的特征突出显示属于道路像素概率较大的像素，而道路方向特征指示每个像素的方向值。道路表面特征和道路方向特征不同，但可以相互补充。

图1 SOC-RoadNet网络结构

（1）道路分割分支

道路分割分支是以ResUNet为基本骨干的编码器-解码器架构。选择常用的ResNet-34作为道路分割分支的编码器，以提取道路特征。空间上下文模块被用作连接道路分割分支的编码器和解码器的桥梁，以提高全局空间上下文建模能力。解码器有四个阶段，每个阶段接收前一层的输出作为输入，并从上采样层开始放大输入特征图。两个普通卷积块跟随上采样层进行特征提取。道路分割分支与传统ResUNet之间的区别在于：在第一到第三解码器级中添加了并行的空间和通道挤压和激励模块，以增强更具辨别力的道路特征，同时自适应地抑制较弱的道路特征。道路分割分支中的最后解码器将输出粗略的道路地图。

（2）方向预测分支

道路方向预测分支将道路分割分支的多层次浅层特征图作为输入，以提高特征学习能力并降低计算成本。道路方向预测分支中的解码器在执行道路方向预测任务时具有与道路分割分支中的解码器相同的网络设置。道路方向预测分支中的四级解码器将道路方向图扩展到与输入图像相同的空间尺寸。方向预测和道路分割分支中的解码器之间的差异在于：道路分割分支解码器的输出只有一个通道；而方向预测分支输出具有36个通道的特征图，因为将圆划分为36个间隔，每10度为一个间隔。输出道路方向图中的每个像素包含36维张量，其指示属于36个方向之一的概率。因此，SOC-RoadNet中经过训练的道路方向预测分支输出具有连续方向值的道路方向图。

（3）道路细化模块

图2道路细化模块的结构。

因为道路方向具有局部一致性，当道路在图像上中断时，来自道路方向预测流的连续道路方向值可以改善道路连通性。因此，在所提出的SOC-RoadNet中，设计了道路细化模块，以融合道路表面特征和道路方向特征，以提高道路表面分割精度。

与传统的基于像素求和与不同特征图的等效权重级联的特征融合方法不同，道路细化模块通过加权每个输入特征图并去除不相关的特征来学习区分特征。从图2中可以看出，道路细化模块接收道路特征图和方向特征图作为输入，并输出细化的道路特征图。利用其在获取方向感知道路特征和道路感知方向特征方面的潜力，以实现道路特征和方向特征之间的相互信息交换。细化的道路特征图被馈送到平坦的3*3卷积层，随后是S形函数以输出细化的道路图。这样可以充分利用道路表面特征和道路方向特征之间的互补信息，从而提高道路提取结果的准确性。

（4）损失函数

SOC-RoadNet输出了三个结果，包括一个粗糙的路面分割结果, 一种精细的路面分割结果, 以及道路方向预测结果。道路分割结果和道路方向预测结果在结合了分割损失和方向损失的混合损失函数的约束下合并。混合损失函数计算如下：

由于涂鸦标签中存在大量未标记的像素来监督道路提取结果，因此在每次训练迭代中，采用偏二元交叉熵作为损失函数来评估路面预测结果的准确性，并计算为：

由于涂鸦标注没有完善的道路边界监督，使用偏二元交叉熵很难得到常规路面分割结果。因此利用结构一致性损失函数来寻找其他信息来监督路面分割结果，以获得更准确的道路边界。

结构一致性损失函数考虑了路面分割结果与原始遥感图像之间的结构相似性。核心思想是：对于输入遥感图像上的两个像素，如果它们的RGB值相似、位置相似，则它们属于道路的概率相似。相反，如果两个像素的RGB值不相似或位置相距较远，则更有可能属于不同的类别。对于一个参考点，P和I之间的结构一致性值计算为：

4.实验与结果分析

本文使用深度地球公路数据集和四个城市尺度的影像集用于验证SOC-RoadNet的模型性能。五个测试数据集中的空间分辨率均为0.5 m。深度地球公路数据集包含位于泰国、印度尼西亚、印度的影像和参考地图，覆盖面积为2200平方公里。此外，选择了来自谷歌地球的中国武汉、十堰、拉萨和珠海的四个城市尺度光学图像作为研究区域，验证所提出的SOC-RoadNet的性能。这四幅城市尺度图像如图3所示：

图3.四个城市尺度影像插图。

（1）深度地球道路数据集的实验

图4 深度地球道路数据集的结果

从图4可以看出，深度地球道路数据集最大难点在于分布密集的道路与背景的对比度较小。背景的混乱对弱监督道路提取任务中道路边界的精确定位提出了挑战。本文所提出的SOC-RoadNet所提取的路面边界(如图4的第三行)最接近参考数据，而在图4的第5行到第7行，通过比较Scribble2Label、rLoss和GridTR方法所提取的道路比光学图像中看到的实际道路宽度更宽。区域A至F为经过测试的算法在密集分布道路上的提取结果，道路过于狭窄和复杂，人眼甚至难以从背景中区分道路。然而，SOC-RoadNet准确地识别了这些道路，结果比参考数据更完整。

从表1可以看出，SOC-RoadNet在所有比较潦草监督道路分割算法中获得了最高的IoU和BF-Score，与ADT-LinkNet、Ma 's method、LEDnet等完全监督方法相当甚至优于后者。

表1 深度地球道路数据集数据集定量评价结果。

在武汉数据集上进行实验以验证所提出的SOC-RoadNet在具有显著成像差异和遮挡的场景中的鲁棒性。武汉数据集涵盖了中国湖北省武汉市的整个城市区域。SOC-RoadNet在武汉数据集上预测道路的时间为59分钟。从图5中可以看出，所提出的SOC-RoadNet通过学习开源OSM数据生成的涂鸦标签，可以以较高的视觉精度预测道路。尽管武汉数据集的不同部分存在相当大的光谱差异，但SOC-RoadNet不受成像差异的影响，并为不同区域提供了出色的视觉效果。放大图5中用黑色字母标记的十个局部区域，比较不同测试算法的视觉结果。具体对比如图6所示。

图6中的详细图像表明，与其他经过测试的最先进的潦草监督网络相比，提出的SOCRoadNet可以在不同复杂条件下获得更准确的路面。如图A - D所示，位于密集城市地区的道路被阴影、树木或高层建筑完全阻塞。本文提出的SOCRoadNet提取闭塞路段的完整性较高，而其他测试的5种潦草监督方法(如第4行至第8行所示)均未能检测出完整的路网。此外，在密集的城市地区，道路很容易与长条形建筑在光谱和形状上混淆。比较rLoss和GridTR方法错误地将A到C区域的长结构识别为道路，而本文提出的SOC-RoadNet方法正确地区分了长建筑和道路。

图5：武汉数据集SOC-RoadNet的结果。

图6武汉数据集的结果细节 (a)输入图  (b)参考图 (c) SOC-RoadNet (d) ScRoadExtractor (e)SCWSSOD (f)Scribble2Label (g) rLoss (h)GridTR （i）全面监督

受地形波动的影响，十堰数据集中的蜿蜒道路被图像中的森林、阴影甚至低层建筑遮挡更严重，使得弱监督方法更难从类似中心线的潦草标记中学习路面。十堰图像的可视化结果如图7所示。SOC-RoadNet花了大约5分钟时间预测十堰数据集上的道路。

从图7可以看出，在地形起伏和森林遮挡的山区，我们提出的SOC-RoadNet道路提取结果没有受到影响，子图(a)所示我们的SOC-RoadNet道路总体提取结果与遥感图像具有较高的视觉一致性。区域A和B为地形波动导致的树木或森林覆盖的道路提取结果。我们的SOC-RoadNet提取的道路比ScRoadExtractor更完整，ScRoadExtractor将图像边缘作为额外的监督来确定道路边界。由于我们的SOC-RoadNet考虑了输入图像与路面预测结果之间的结构一致性以及道路方向特征，ScRoadExtractor较低的视觉完整性表明，在复杂场景中，边缘的鲁棒性不如结构信息和道路方向。与Scribble2Label、SCWSSOD和rLoss的结果相比，SOCRoadNet的结果噪声较小。在其他具有挑战性的道路场景中，如区域C中被车辆覆盖的道路，以及区域D中狭窄蜿蜒的道路，SOC-RoadNet也取得了令人满意的视觉表现。

图7 十堰数据集的结果

从图8可以看出，虽然拉萨数据集图像上道路与背景的光谱相似性较高，但所提出的SOC-RoadNet仍然获得了干净平滑的道路边界。区域A为拥挤城区的提取结果。弱监督SOC-RoadNet方法和全监督SOC-RoadNet方法得到的道路分割结果最接近参考数据，而其他5种比较方法都没有提取规则边界的道路。边缘辅助ScRoadExtractor遗漏了在区域A到D中被阴影覆盖的道路，进一步说明了边缘信息不像我们的SOC-RoadNet中使用的方向和结构信息那样健壮

图8拉萨数据集的结果

在武汉数据集上训练的6个涂鸦监督和1个全监督路面分割神经网络直接应用于珠海数据集上进行道路预测。在珠海图像上的可视化结果如图9所示。从图9可以看出，经过良好训练的SOC-RoadNet可以在没有涂鸦标签的区域提取道路。详细图像显示，考虑到武汉和珠海之间的气候和地形差异，我们的SOC-RoadNet(子图d)可以保持道路网络的完整性和光滑边缘。ScRoadExtractor和SCWSSOD的结果在图(e)和图(g)中出现了漏检的道路，而我们的SOC-RoadNet在B区域被茂密树木遮挡、C区域被阴影遮挡、ScRoadExtractor和SCWSSOD在珠海数据集上提取的道路视觉完整性低于武汉数据集，这表明这两种方法在处理闭塞道路时不如我们提出的SOC-RoadNet健壮。跨区域提取道路的另一个挑战是不同区域之间图像的光谱差异。在SOCRoadNet结果中，噪声比子图(f)， (h)和(i)中所示的Scribble2Label, rLoss和GridTR的结果更少，特别是在复杂情况下，例如提取具有形状或光谱相似环境的道路。

图9 珠海数据集的结果  (b)影像 (c)参考图 (d) SOC-RoadNet  (e)ScRoadExtractor (f)Scribble2Label (g) SCWSSOD (h)rLoss (i)GridTR (j)FullSup

使用BF-Score对不同缓冲区大小的边界性能进行了对比分析，如图10所示。从图10可以看出，在测试的弱监督方法中，无论计算BF-Score的缓冲区大小如何，SOC-RoadNet的BFScore都是最高的。我们的SOC-RoadNet获得了最高的BF-Score，从而证明弱监督SOC-RoadNet的自动标签传播机制在没有路面标签监督的情况下推断出最准确的道路边界。

图10 测试道路提取方法在4个城市尺度图像上的边界精度(BF-Score)

图11所示的可视化结果直观地验证了在SOC-RoadNet中设计的方向预测分支和道路细化模块的有效性。从图11可以看出，方向预测分支提高了道路的完整性，道路细化模块平滑了道路边界。如果没有方向学习，就无法合理估计图11中红框标出的闭塞道路。道路细化模块将道路方向特征与道路特征进行聚合，优化道路分割结果。图11中黄框所示区域表示，将道路特征与道路方向特征融合，细化了道路提取结果的边界。

图11 SOC-RoadNet中方向预测分支和道路细化模块的影响

5.研究结论

本文提出了一种基于结构和方向一致性的弱监督道路分割网络(SOC-RoadNet)，以涂鸦标签为监督从遥感图像中提取路面。SOC-RoadNet设计为双分支架构，包括道路分割流和道路方向预测流。道路分割流从涂鸦标签中学习路面特征，而方向预测流预测连续的道路方向，以改善道路连通性。利用道路细化模块，对道路分割流中的道路特征和道路方向特征进行聚合，优化道路图，输出精度和完整性更高的细化路网。

由于涂鸦标注中存在大量未标注的像素点，很难了解道路边界和道路结构信息。为此，引入一种考虑道路提取结果与输入图像之间结构相似性的结构一致性损失函数，对涂鸦标签中的未知像素进行监督，从而缓解弱监督学习中边界定位不佳的问题。

综合实验结果表明，我们的SOC-RoadNet优于其他测试的最先进的涂鸦监督道路分割算法。然而，弱监督方法与全监督方法的道路提取结果存在显著差异。与全监督道路提取方法相比，基于弱监督SOC-RoadNet的道路提取结果在处理遮挡和光谱混淆等复杂情况下的道路时，边界规则性较差。

6.文章引用格式

ZHOU M, SUI H,. CHEN S, LIU J, SHI W, CHEN X. Large-scale road extraction from high-resolution remote sensing images based on a weakly-supervised structural and orientational consistency constraint network [J]. ISPRS Journal of Photogrammetry and Remote Sensing,2022,193:234-251

转自：“科研圈内人”微信公众号

如有侵权，请联系本站删除！