论文信息
原名：Three-dimensional singular spectrum analysis for precise land cover classification from UAV-borne hyperspectral benchmark datasets
译名：三维奇异光谱分析用于无人机载高光谱影像的精细地物分类
期刊：ISPRS Journal of Photogrammetry and Remote Sensing (IF=12.7)
发表时间：2023年7月
文章链接：
https://doi.org/10.1016/j.isprsjprs.2023.07.013
数据链接：
https://github.com/RsAI-lab/QUH-classification-dataset
1.导言
无人机技术和小型化传感器的迅速发展将高光谱影像的空间分辨率提升至厘米级。利用搭载在无人机上的高光谱传感器，可以实现对地物目标更加全面、精细的信息提取。
数据层面，为了满足对精细地物识别的需求，以青岛西海岸海滨城市为研究区域，构建了一个覆盖滨海湿地、城区和海港的无人机高光谱基准数据集（QUH数据集）。该数据集包含了多种场景和地物类型，包括光谱相似或混淆、受到环境干扰（如阴影），以及复杂地物形状和尺寸等实际应用中的挑战，可作为重新评估现有分类方法和新型精细地物识别方法的新基准。
方法层面，针对无人机高光谱影像地物识别面临的挑战，以及高空间分辨率所带来的严重类内光谱变化和空间异质性问题，提出了一种新型的三维奇异谱分析（three-dimensional singular spectrum analysis，3DSSA）方法，通过获取光谱趋势特征和空间上下文特征成分并消除干扰或噪声成分，提升了地物类内相似性和空间一致性。进一步将3DSSA与区域聚类相结合（regional clustering 3DSSA，RC-3DSSA），可以缓解地物尺度多样性，并提高对复杂形态地物和区域的识别能力。实验结果表明，该方法在地物识别方面表现出优异的性能，并可推广应用于多种高光谱传感器数据的处理和应用领域。
本工作由中国石油大学（华东）孙根云教授、付航博士生共同完成，相关论文已于《ISPRS Journal of Photogrammetry and Remote Sensing》期刊(IF=12.7)发表，论文题目为 Three-dimensional singular spectrum analysis for precise land cover classification from UAV-borne hyperspectral benchmark datasets。
2.研究数据
当前已经有多个无人机高光谱影像数据被应用，包括Houston2013、Houston2018、WHU-Hi农田数据和YRD黄河三角洲湿地数据等，这些数据集覆盖同种大类下的不同子类地物，对于区分不同地物亚类有较高的研究价值。然而，这些数据集通常场景单一，部分地类分布简单，无法覆盖实际应用场景中的难题。本研究期望建立场景丰富，涵盖多种复杂区域，包含场景干扰/影响下的地物(如阴影)，并且覆盖形态、大小、分布多样的地物的数据集。
为此，选取快速发展的青岛西海岸海滨城市中的多种典型区域，构建了一个覆盖滨海湿地、城区和海港的无人机高光谱基准数据集（QUH数据集）。数据集的具体信息如下。
图1 研究区
(1) QUH-Tangdaowan数据
覆盖场景为青岛唐岛湾滨海湿地公园，包含18种湿地植被、潮间带和不透水面等地物类型。数据内植被种类复杂，光谱曲线差异小，混分现象严重。
图2 数据集的地物分布及光谱曲线
(2) QUH-Qingyun数据
覆盖场景为青岛青云山路居民区、学校等区域，包含6种地物类型，存在小目标(汽车)、干扰场景(阴影覆盖)。
图3 数据集的地物分布及光谱曲线
图4 阴影覆盖植被、道路、汽车等地物
(3) QUH-Pingan数据
覆盖场景为青岛平安码头区域，包含10种地物类型，地物形状复杂、尺度差别较大，并且该场景的高光谱数据集相对较少。地物的光谱差异较小，地物分布复杂，存在多种小目标（汽车、船）。
图5 数据集的地物分布及光谱曲线
3.研究方法
为了同时在空谱域降低光谱和空间变异性，结合三维数据中光谱和空间的局部依赖性和全局相似性，提出了新型的三维特征提取方法3DSSA，如图6所示。该方法主要包括三个步骤：(1)三维信息嵌入；(2)低秩张量奇异值分解t-SVD；(3)重构。
图6 3DSSA方法流程
(1) 三维信息嵌入
具体来讲，定义一个三维的滑动立方体窗口，在整个高光谱影像中滑动并提取不同位置的局部的光谱和空间信息。滑动方向为先空间域后光谱域，空间域华东方向为从左到右，从上到下。然后将立方体窗口中的光谱和空间信息拉伸为一维向量（图6右上角），不同位置处得到的列向量进行排列，可得到一个对应原始高光谱影像的轨迹张量。
与原始高光谱影像相比，轨迹张量将局部光谱和空间信息纳入全局，并进一步考虑了相邻波段的空间相似性，模-1方向的局部相关性和模-3方向的相似性都得到了低秩增强。此外，轨迹张量模拟了三维 Hankel 结构，这是 SSA 方法的主要特点。具体来说，它的每个正面切片都是Hankel-block-Hankel 矩阵的连接，侧面切片上也有 Hankel 结构，因而它完全包含了SSA和2DSSA各自的轨迹矩阵特征。
(2) 低秩张量奇异值分解t-SVD
对于得到的轨迹张量，使用截断t-SVD进行分解，并选择最大奇异值对应的成分进行重构。在这一过程中，主要的光谱和空间信息得到了保留，而光谱的振荡成分、空间的噪声等成分都被去除，因此重构后的低秩轨迹张量，在一定程度上消除了空间异质性和光谱变异性的问题。
(3) 重构
该步骤主要是对得到的低秩轨迹张量进行变换，得到原始高光谱影像尺寸大小的特征影像。首先是低秩轨迹张量的每个列向量都重新变换为一个滑动立方体窗口大小的张量（图6右上角的反过程），然后将这些立方体返回到原始的空间位置中；由于这些立方体存在重叠，因而需要在光谱方向和空间方向上进行对角平均和两步对角平均，从而得到每个位置的平均像素值。对角平均的过程可进一步缓解空间异质性和光谱变异性的问题。
为进一步缓解地物尺度多样性，并提高3DSSA在大尺寸数据中的应用，进一步提出了RC-3DSSA，提高对复杂形态地物和区域的识别能力，如图7所示。具体来讲，首先结合光谱和空间度量，经过多次空间聚类迭代，得到不同的地物同质区域；然后每个区域进行平均或相邻像素填充（可记为RC-3DSSA_m和RC-3DSSA_n），得到局部图像块，并采用加速的3DSSA处理；最后对得到的特征进行像素级分类。
图7 RC-3DSSA框架
4.研究结果及讨论
(1) 定量和定性分类结果
采用10%的空间不相交样本作为训练数据，剩余样本作为测试数据，对RC-3DSSA的分类性能进行了评估。实验结果如图8-10和表1-3所示。
在QUH-Tangdaowan数据集上，提出的方法对相似地物的区分精度最高，优于多种深度学习方法，分类图框线中表示，提出方法能有效提取地物的完整形状，并保留边界。
表1 QUH-Tangdaowan数据集的分类精度
图8 QUH-Tangdaowan数据集不同方法的分类图。(a) 真彩色图. (b) Ground truth. (c) SVM. (d) 2DSSA. (e) 3DGW. (f) 3DWT. (g) SuperPCA. (h) SpaSSA. (i) HybridSN. (j) MorphCNN. (k) SpectralFormer. (l) SSTN. 提出的(m) RC-3DSSA-n and (n) RC-3DSSA-m
QUH-Qingyun数据集中阴影覆盖的区域，提出方法对于地物的识别效果最好，分类图框线中表示，提出方法能识别阴影覆盖下的植被、道路和汽车小目标等，并且对于小目标的形状保留较好。
表2 QUH-Qingyun数据集的分类精度
图9 QUH-Qingyun数据集不同方法的分类图。(a) 真彩色图. (b) Ground truth. (c) SVM. (d) 2DSSA. (e) 3DGW. (f) 3DWT. (g) SuperPCA. (h) SpaSSA. (i) HybridSN. (j) MorphCNN. (k) SpectralFormer. (l) SSTN. 提出的(m) RC-3DSSA-n and (n) RC-3DSSA-m
QUH-Pingan数据集的复杂地物形态下，提出方法对于地物的识别效果最好：形态分布复杂的地物得到很好的区分，较大的地物具有良好的平滑性；汽车、船等小目标被完整的提取和保留。
表3 QUH-Pingan数据集的分类精度
图10 QUH-Pingan数据集不同方法的分类图。(a) 真彩色图. (b) Ground truth. (c) SVM. (d) 2DSSA. (e) 3DGW. (f) 3DWT. (g) SuperPCA. (h) SpaSSA. (i) HybridSN. (j) MorphCNN. (k) SpectralFormer. (l) SSTN. 提出的(m) RC-3DSSA-n and (n) RC-3DSSA-m
(2) 训练样本数量分析
验证了不同训练样本数量下，提出方法与对比方法的精度变化，如图11所示。可以看到，所有方法的精度会随训练样本数量的增加而提高，并且提出的方法在不同数量样本下均有最高的精度。提出的RC-3DSSA_m的精度要优于RC-3DSSA_n，说明平均像素的填补方式更加有利于地物识别。
图11 不同数量训练样本下的精度对比
(3) 统计显著性分析
为了进一步评估实验结果的统计意义，我们采用了 McNemar 检验来评估 RC-3DSSA 与另一种比较方法之间的精度改进，如表4所示。可以看到，与其他方法相比，RC-3DSSA 的精度提高在统计学上非常显著。
表4 RC-3DSSA 与其他方法之间 McNemar 检验z值。
(4) 消融学习
验证了RC-3DSSA方法的三个步骤中不同分割方法，3DSSA的不同嵌入方式和不同分解方式，以及不同分类器的效果，如图12所示。根据柱状图可知，3DSSA中的三维嵌入与t-SVD的组合能实现最好的特征提取效果，RC聚类和SVM分类器能够与3DSSA组合实现最佳的分类性能。
图12 在三个数据集上对 RC-3DSSA 的三个阶段进行的消融研究。(a) 分割阶段。(b) 3DSSA 阶段。(c) 分类阶段。
(5) 适用性评估
将提出的方法应用于其他高光谱传感器影像，验证提出方法的普适性。选择了Indian Pines和Pavia University两个数据集，并展示了不同方法的分类结果，如图13-14和表5-6所示。实验结果证明，该方法在不同高光谱传感器数据上均具有较好的分类性能，证明了其普适性。
表5 Indian Pines数据集上的分类精度
图13 Indian Pines数据集不同方法的分类图。(a) 真彩色图. (b) Ground truth. (c) SVM. (d) 2DSSA. (e) 3DGW. (f) 3DWT. (g) SuperPCA. (h) SpaSSA. (i) HybridSN. (j) MorphCNN. (k) SpectralFormer. (l) SSTN. 提出的(m) RC-3DSSA-n and (n) RC-3DSSA-m
表6 Pavia University数据集上的分类精度
图14 Pavia University数据集不同方法的分类图。(a) 真彩色图. (b) Ground truth. (c) SVM. (d) 2DSSA. (e) 3DGW. (f) 3DWT. (g) SuperPCA. (h) SpaSSA. (i) HybridSN. (j) MorphCNN. (k) SpectralFormer. (l) SSTN. 提出的(m) RC-3DSSA-n and (n) RC-3DSSA-m
4.研究结论
本文针对高分辨率无人机载 HSI 中复杂地表覆盖的异质性，提出了用于光谱空间特征提取和分类的 3DSSA 和改进的 RC-3DSSA 框架。3DSSA 专为解决无人机载 HSI 中的类内光谱变化和空间异质性问题而设计。由于轨迹张量变换，光谱和空间的局部相关性/相似性得到了表征，t-SVD 提取了低秩的固有特征。通过与区域聚类和 SVM 相结合，RC-3DSSA 进一步缓解了土地覆盖的尺度多样性，完成了精确分类的任务。此外，RC-3DSSA 还以场景丰富且极具挑战性的 QUH 数据集作为精确分类的基准。
在 QUH 数据集上的实验结果表明，所提出的 RC-3DSSA 框架为无人机载 HSI 实现了卓越的精确分类性能。即使样本数量非常有限，它也能超越所有最先进方法的性能。3DSSA 的特征能力可能有助于多分辨率、多波段 HSI 的特征提取。
在未来的工作中，我们打算开发更高效的 3DSSA 及其深度特征提取范例，并将其应用于多光谱/高光谱数据的典型植被（如红树林、农田）分类。我们还在进一步探索 QUH 数据集在其他任务中的新应用，如目标识别、目标定位和目标分类。
5.文章引用格式
FU, H., SUN, G., ZHANG, L., ZHANG, A., REN, J., JIA, X. and LI, F. 2023. Three-dimensional singular spectrum analysis for precise land cover classification from UAV-borne hyperspectral benchmark datasets. ISPRS Journal of Photogrammetry and Remote Sensing, 203, 115-134. https://doi.org/10.1016/j.isprsjprs.2023.07.013.
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
