导言：
无人机系统采集的高空间和高光谱分辨率的图像(H2)是农作物精确分类的重要数据来源。但绿色作物的光谱相似性导致其类间距离较小，而H2图像中严重的类内光谱变异性和高空间异质性增加了精确分类的难度。此外，不同作物地块的尺度可能存在较大差异，这使得基于深度学习的分类模型难以确定最优斑块大小。本文提出了一种基于H2图像的光谱-空间尺度注意力网络(S3ANet)。该方法能够对特征图的每个通道、每个像素和每个尺度的特征进行自适应加权，以分别减轻作物地块的类内光谱变异性、空间异质性和尺度差异。此外，提出的S3ANet方法引入了加性角边缘损失函数，进一步增加了不同作物之间的类间距离，减少了误分类效应。目前该方法已整理并发表在ISPRS Journal of Photogrammetry and Remote Sensing。
1.研究背景:
精确的作物分类和分布图对精准农业具有重要意义。高光谱遥感可以通过响应作物的色素含量和冠层结构来区分不同的作物。星载和机载平台观测到的高光谱遥感图像一直是精确作物识别的重要数据来源。近年来，无人机(UAV)机载高光谱成像因其成本低、操作灵活等优点在精准农业领域得到了广泛应用。
基于机载系统收集的高光谱图像的精确作物分类已得到广泛研究。然而，与机载系统采集的高光谱图像相比，无人机H2图像面临着新的挑战。随着H2图像空间分辨率的显著提高，混合像元的数量和不同成分(如茎、叶、影、土等)的混合程度急剧减少，导致空间异质性较高。同时，不同成分的低程度混合导致每个农田地块内存在巨大的类内光谱变异，这显著增加了农田地块内同一作物类型的类内差异。因此，从空间异质性高、类内光谱变异性严重的H2图像中区分尺度差异较大的农田样地作物类型，尤其是具有相似光谱和空间纹理信息的作物子类别具有较大的难度。最近，为了提高分类器的特征学习和泛化能力，将深度学习引入到基于机载HSI的作物分类中，自动挖掘和融合深度光谱空间特征。
从网络输入数据的角度来看，基于深度学习的光谱空间作物分类器主要基于两种方法。第一种方法是在标记的像素周围选择三维(3-D)patch，将其输入网络。然而，该方法仅利用输入的三维斑块的局部空间信息，导致分类图中存在大量的空洞和孤立区域。此外，这种方法需要在预测过程中为每个像素选择一个三维patch，效率低下，并且三维patch的最佳尺寸也难以选择。另一种方法是使用来自全卷积网络(FCN)的端到端分类框架。然而，这些方法没有考虑不同作物地块的尺度多样性，也没有考虑不同作物类型的光谱相似性和变异性。
2.研究方法：
如图1所示，所提出的S3ANet方法是一种针对H2图像的端到端精确作物分类框架，它具有光谱、空间和尺度注意模块以及AAM损失函数。与仅从输入的三维小块中挖掘局部空间信息的方法不同，S3ANet可以基于FCN架构利用整个图像的全局空间和光谱信息。S3ANet在编码器部分，引入频谱注意力模块，通过自适应地对不同通道进行加权，引导网络更加注意力输入数据中信息量最大的通道。引入尺度注意力模块对多尺度特征进行自适应聚合。尺度注意力运算不同于非均匀空间金字塔池(ASPP)中多尺度特征的等权连接，它自适应地对不同尺度特征进行加权。在解码器部分，将编码器提取的低分辨率高级特征图与高分辨率低级特征图级联，生成高分辨率高级特征图。然而，低层次特征图也具有很高的空间异质性。为了减轻底层特征图的空间异质性对分类性能的影响，采用二级级联操作对底层特征图进行细化。空间注意模块还设计了自适应地为每个像素分配权重，进一步增加类间特征距离。
图1.基于H2图像的S3ANet作物分类流程图。
2.1编码器
旨在从H2图像中挖掘光谱和空间维度内作物的高级语义特征。首先，利用群归一化卷积层(GN)降低通道维数，其中GN考虑频谱的连续性;然后，利用四个光谱注意力模块，如图2所示，在考虑全局空间信息的情况下，聚焦输入数据中信息量最大的通道，从而降低类内光谱变异的影响。随后，在不同属性率的多卷积自适应加权融合中引入尺度注意力模块，如3所示，实现多尺度上下文信息的自适应聚合，解决了不同作物地块尺度多样性的问题。
图2. 光谱注意力模块
图3.尺度注意模块
2.2解码器
部分设计用于融合低级和高级特征映射，以获得裁剪类，同时也恢复精确的边界。如图4所示，为了降低底层特征图的空间异质性对分类性能的影响，在底层和高层特征图之间引入两级级联操作，对底层特征图进行细化。第一个级联操作由空间注意力模块进行，该模块不仅细化了底层特征，而且通过自适应地为不同区域分配权重，增加了不同作物之间的特征区分。然后，从第一个级联操作得到的细化的特征图与高级语义特征级联，其中级联操作使用1 × 1卷积来细化特征并降低通道维数。然后，使用2倍双线性上采样恢复特征映射的大小。最后，引入AAM损失，进一步提高了不同作物的特征识别力。
图4.空间注意力模块
3.研究结果
3.1训练和测试样本设置
如表1所示，从每个类别中随机选择50个标记像素进行模型训练，其余像素用于测试。训练样本的比例很小，WHU-Hi-HongHu、WHU-Hi-HanChuan和WHU-Hi-JiaYu数据集的标记样本总数分别仅为0.28%、0.31%和0.01%。
表1. WHU-Hi数据集的类信息。
3.2实验结果以WHU-Hi-HongHu数据集为例
S3ANet获得的分类图及与WHU-Hi-HongHu数据集的比较方法如图5所示。由于H2图像中不同作物的光谱信息相似，且类内光谱变异性较大，SVM分类图中出现了大量的误分类区域。例如，棉花与棉柴、油菜与小芸苔、芸苔与油菜之间存在误分类。由于FPGA同时考虑了全局光谱和空间信息，实现了较好的视觉性能，OA比SVM提高了28.29%。然而，它对光谱相似的作物的区分能力仍然不足，导致了一些错误分类的区域，如油菜和小芸苔。S3ANet分类方法能够很好地解决不同作物光谱相似性和H2图像空间异质性高的问题，表现出较好的分类性能。S3 ANet的视觉效果最好，分类错误很少，分类准确率最高，OA比SVM提高29.28%
图5. WHU-Hi-HongHu数据集的分类结果。(a)真彩色图像(R:波段108,G:波段68,B:波段27)。(b)地面真实图像。(c)SVM。(d) SSAN。(e)SSRN。(f) PResNet。(g) CNNCRF。(h)SSFCN-CRF。(i)FPGA。(j) S3ANet。
3.3计算效率
分类方法的计算效率也反映了其在实际应用中的潜力，特别是在大规模H2图像处理方面。表2显示了使用WHU-Hi数据集的不同分类方法的平均测试时间。如表7所示，SVM方法在CPU平台上逐像素预测，测试时间较长。SSAN、SSRN和PresNet方法采用GPU平台加速，大大提高了测试时间。但是，这些方法仍然需要在每个像素周围选择一个patch进行预测，因此推理速度仍然相对较慢。FPGA和S3ANet基于FCN架构，它们不需要CRF模型后处理。因此，FPGA和S3ANet的测试速度非常快，比其他方法快上百倍以上。
表2. WHU-Hi数据集不同分类方法的平均测试时间。
4.研究结论：
本文针对H2影像类内光谱变异性、空间异质性和尺度多样性严重的问题，提出了一种基于H2影像的光谱-空间尺度注意力网络(S3ANet)。在未来的工作中，研究人员可以专注于更大面积、更多类别、更复杂场景的作物精准分类。本文的主要贡献可以总结如下。
1)提出了一种基于H2图像的光谱-空间尺度注意力网络(S3ANet)。光谱注意、空间注意和尺度注意模块自适应加权特征图的不同通道、不同空间像素和不同尺度感知，从而缓解了H2图像作物分类中的类内光谱变异性、空间异质性和尺度差异问题。
2)针对不同作物具有相似光谱信息的难题，引入AAM损失函数，最大化余弦空间的分类边界，增加作物间的特征区别，提高分类精度。
5.引用格式
HU X, WANG X, ZHONG Y, et al. S3ANet: Spectral-spatial-scale attention network for end-to-end precise crop classification based on UAV-borne H2 imagery [J]. ISPRS J Photogramm Remote Sens, 2022, 183: 147-63.
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
