原名：Deep network based on up and down blocks using wavelet transform and successive multi-scale spatial attention for cloud detection
译名：基于小波变换和连续多尺度空间注意力的上下块云检测深度网络
期刊：Remote Sensing of Environment （IF：13.85）
发表时间：2021.04
DOI：10.1016/j.rse.2021.112483
1.研究背景：
光学遥感图像中的云是不可避免的，且会限制地面信息提取以及图像处理等领域的发展。为了有效提高遥感图像的利用率，云检测起着非常重要的作用。传统云提取算法容易受到土地覆盖类型、气候条件等因素的影响。因此，在实际应用中仍然存在许多挑战。深度神经网络可以自动提取云特征，但提取的内容很难解释。在学习过程中，一部分时间被浪费在无用的信息提取上。
云检测的本质是语义分割。SegNet、U_Net、RS-Net等语义分割网络解码器路径采用对称结构，具有给定的编码器路径，使用一系列上采样和卷积层。这种结构的本质是编码器路径使用学习的特征来恢复目标在解码阶段的位置。但是，更改要素图大小的过程（使用池和插值）却不是最佳的。除此之外，深度学习神经网络的特点是要计算的参数很多，并且网络训练时间随着参数数量的增加而增加。
2.研究内容：
（1）本文基于Haar小波设计了Up Block和Down Block，以构建一个编解码网络，本文称之为UD-Net。该网络将小波变换与深度学习神经网络相结合，不仅可以提取云区域的纹理特征，还可以自动学习云的特征。
（2）强调了原始图像的信息对于图像分割的准确性至关重要。对网络的原始输入图像进行不同采样率的空洞卷积。不同采样率的空洞卷积可以有效地捕获多尺度信息，实现对不同感受野云特征的学习。可以从原始图像中收集足够的位置信息。
（3）本文设计了连续多尺度空间模块，用于增强多尺度特征地图的有用空间信息，抑制无效信息。它可以显著提高网络的效率和针对性。同时，我们使用暗通道先验方法来帮助网络学习。
3.UD-Net：
图1为UD-Net网络结构图，为了更好地学习和恢复图像信息，应对称处理这两条路径中对应于相同尺寸特征地图的两层。因此，本文设计了如下的模块和对称网络结构。步长为2的卷积层也可以实现下采样，但是要分割的目标的学习特征还不够。对于解码器路径的上采样，插值方法会导致相对位置信息丢失，并且无法突出显示要分割的区域。因此，我们使用本文提出的Up和Down Block构建了一个编码器-解码器网络。
图1 UD-Net网络结构图
（1）Down Block
近年来，由于小波变换的多分辨率分析特性以及在时域和频域同时表示图像局部特征的能力，小波变换已成为纹理分析的有效工具。Haar小波在时域上是不连续的，但用于图像分解和重建时，它可以方便地分析和合成图像。因此，采用Haar小波作为二维离散小波分解的基函数，通过计算相邻元素的和和和差来处理数据，如图2所示。
如图1左上角所示，本文设计的Down Block包括一个小波分解层、五个卷积层、一个空洞卷积层和一个批量归一化层。Down Block分为两个分支，其中一个是小波分解。每个通道分别执行Haar小波分解，以便获得四个具有相同高度和宽度的并行特征映射，然后在通道上级联。要素地图的大小变为原始地图的四分之一，通道的深度变为四倍。然后，添加两个卷积层。最后，添加了一个批量规范化层。另一个分支用于通过卷积实现下采样。
图2 小波分解的结构
图3应用Haar小波变换后的图像结果
（2）Up Block
上采样用于重建对象的详细信息。高级特征具有更多的语义信息，而低级特征具有更多空间信息。本文设计的Up Block可以充分利用高级特征的信息来完成分割，具体结构如图1右上角所示。Up Block包含一个小波重建层、五个卷积层、一个主卷积层和一个批量归一化层，同样由两个分支组成。一个是小波重构层。在这一层之后，图像的高度和宽度将加倍，通道的深度将是原始的四分之一。然后，采用两个卷积层来学习重构信息。另一分支用于在反褶积层之后添加反褶积层。然后，在连接两个分支的特征图之后，在一个具有恒定通道数的卷积层之后获得输出。
最大池化或平均池化只能保留图像的低频特征。通过使用Down Block替换最大池化或平均池化，不仅保留了低频特征，还保留了丰富的高频特征。因此，UD-Net实现了尽可能多的信息保存、纹理特征的完整提取以及纹理特征用于恢复图像细节的使用。
4.UDI-Net
与位置信息丰富的底层特征层相比，网络的深层特征图包含了更丰富的语义信息。解码器路径的作用是将低分辨率编码器特征映射到全输入分辨率特征映射，以进行像素级分类。解码器路径中仍有许多通道。这些通道允许网络将上下文信息传播到更高分辨率的层。因此，网络可以充分利用云的多尺度特征。因此，U形的编码解码网络结构可以充分利用云的多尺度特征。但是解码器路径末端的恢复图像必然会丢失原始图像中存在的大量详细信息。为了补充丢失的信息，本文设计了网络，称为UDI-Net，结构如图4所示。UDI-Net提取的特征图，以及从解码器路径传输的特征图不仅可以使网络扩大网络的接收场，还可以获得云的准确位置信息以及某些语义信息。
图4 UDI-Net网络结构
5.AUDI-Net
在网络自动学习过程之前使用暗通道。如图5所示，我们设计了多尺度暗通道优先（MDCP）模块，用于生成下面提到的连续多尺度空间注意模块的输入。通过使用该模块，网络可以生成多尺度暗通道先验特征图，作为UDI网络的辅助信息。
图5 多尺度暗通道优先（MDCP）模块结构示意图
受卷积块注意模块（CBAM）中应用的空间注意模块的启发，本文设计了连续多尺度空间注意模块。其结构如图6所示。与以往注意力机制不同，连续多尺度空间注意模块没有强调使用连续多尺度空间注意模块的暗通道优先特征图的位置。本文只使用暗通道来帮助网络进行云学习。在暗通道先验信息的帮助下，该模块可以使网络聚焦于有用位置的信息，而不是同等地关注每个像素。
图6 连续多尺度空间注意模块结构图
本文提出的AUDI-Net具体网络结构如图7所示，通过每个像素不同权重的特征映射与编解码器网络中的相应层相乘，使模型可以聚焦于特定的云区域。此外，由于暗通道的引入，网络对云区域的识别更加准确。连续多尺度空间注意模块为每个特征图分配归一化因子，以增强特征提取，从而达到更好的分割效果。
图7 AUDI-Net网络结构图
6.模型性能评估
（1）UD-Net性能评估
为了验证UD-Net的性能，本文进行了一系列实验，通过使用不同组数的Up Block和Down Block来构建模型，并验证模型精度。具体精度对比如表1所示。
表1 UD网络与不同数量的Up Block和Down Block组合的评估指标比较
除此之外，为了检验所提出的Up Block和Down Block的性能，本文在原有编码-解码网络结构上单独添加Up Block和Down Block组成Up-Net以及D-Net，并将结果与基本编解码器网络的性能进行了比较。具体精度对比如表2所示。具体而言，Up Block显著提高了网络的精度和FAR。至于Down Block，OA、Recall和F_score的改进非常明显。引入Down Block后，TP增加了，正确检测到更多云像素。未检测到的云像素数量减少。
表2 使用Up Block和Down Block和编码器-解码器网络对所提方法的评估指标进行比较
（2）UDI-Net性能评估
UDI-Net的设计是为了证明原始图像的特征在遥感图像的云检测中具有重要意义。相应的精度对比如表3所示。可以看出，虽然OA基本保持不变，但精度和FAR有了显著提高，这比Up-Net、D-Net和UD-Net好。同时也可以分析出，作为云的错误检测像素数显著减少；从而证明了利用深度编解码网络进行云检测时，原始图像的信息是必不可少的。
表3 UDI网络与UD网络的评估指标比较
图8为，从图8可以看出，与基本编码器-解码器网络和UD网络相比，UDI网络在云检测时减少了误检云像素的数量。其他算法在不同土地覆盖类型的明显边界处均有错误检测，但我们的UDI网络已经得到了显著改进。此外，在一些测试图像中，未检测到云像素的情况在一定程度上得到了改善。
图8 对各种场景中的检测结果进行视觉比较。a：输入影像b：标签c：编码-解码网络d：UD-Net e：UDI-Net
（3）AUDI-Net性能评估
图9为Up Block和Down Block设置不同特征通道数时的实验结果。可以看出，随着网络复杂性的增加，性能可以不断提高，包括OA和FAR。在实际应用中，我们可以根据实验资源的情况选择合适的参数。如果可能，信道更深的网络的性能可以显示出更好的结果。但当网络深度增加时，网络的效率会降低，这取决于训练数据的数量。
图9 不同特征通道数时AUDI Net的OA值和FAR值
为了验证所提出的AUDI-Net的性能，本文将AUDI-Net与其他几种算法进行了比较，包括SegNet、DeepLabv3+和RS Net。表4为不同方法的精度对比结果、图10为不同方法的检测结果对比。可以发现，在所有场景中，提出的算法AUDI Net的OA都优于其他三种算法，尤其是在雪和水的情况下。值得注意的是，在城市和雪地中，AUDI Net的FAR显著提高。这完全证明了原始图像信息对于分割的重要性。
通过图10的对比可以发现，AUDI-Net对于薄云的检测效果明显优于其他方法，而且其他算法错误地将高亮区域中的非云像素检测为云像素，但我们的算法在这种情况下显示了一些改进。AUDI-Net检测到的结果显示错误分类像素较少。
表4 AUDI-Net与其他方法在贫瘠、植被、雪、水和城市地区的评估指标比较
图10 对不同场景中不同方法获得的检测结果进行视觉比较，包括城市、水、荒地、雪和植被。(a)：输入影像(b)：标签(c)：SegNet (d)：DeepLabv3+ (e)：RS-Net (f):AUDI-Net
7.研究总结：
（1）对于高分-1 WFV图像，UD网络使用基于小波变换的Up和Down Block，UDI网络引入图像的原始信息，本文提出的包含多尺度暗通道优先模块和连续多尺度空间注意模块的AUDI网络在像素级显著提高了薄云检测的精度，同时实现了厚云检测的高精度。
（2）为了评估该模型的有效性，使用SegNet、DeepLabv3+和最新RS Net的云检测结果进行实验比较。通过使用定性和定量分析，我们可以得出结论，我们的算法在所有土地覆盖类型图像中表现更好。
8.引用格式：
Zhang J, Wang H, Wang Y, Zhou Q, Li Y. Deep network based on up and down blocks using wavelet transform and successive multi-scale spatial attention for cloud detection. Remote Sensing of Environment 2021; 261: 112483.
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
