Meilin Zhang, Guizhou Zheng, Zhiben Jiang, Qiqi Zhu*, Linlin Wang & Qingfeng Guan (2023) Local-aware coupled network for hyperspectral image super-resolution, GIScience & Remote Sensing, DOI: 10.1080/15481603.2023.2233725.
01
摘要
尽管超分辨率（SR）任务在自然图像领域取得了显著进展，但在具有丰富光谱特性的高光谱图像（HSI）上实现超分辨率仍然是一个具有挑战性的任务。通常，HSI超分辨率是通过融合低分辨率高光谱图像（LR HSI）和相应的高分辨率多光谱图像（HR MSI）来完成的。然而，由于MSI和HSI之间存在显著的光谱差异，很难在图像融合过程中保留MSI的空间特性。此外，用于模拟MSI的光谱响应函数（SRF）在高光谱遥感图像中通常是未知或不可用的，这进一步增加了问题的复杂性。为了解决上述问题，本文提出了一种局部感知耦合网络（LCNet）。在网络初始阶段，通过自适应学习的方式使网络能够计算出SRF和点扩散函数（PSF），从而解决未知先验信息的问题。通过耦合两个重建网络，LCNet有效地保留了MSI的纹理细节和HSI的光谱特性。此外，我们还引入了空间局部感知模块，以有选择地强调图像的纹理特征。在三个公开可用的高光谱数据上进行的实验结果表明，所提出的网络在稳定性和重建质量方面均优于现有先进的方法。
02
研究方法
本文提出了用于HSI超分辨率的融合框架LCNet，其整体流程图如图1所示。首先，通过估计得到的PSF和SRF分别用于计算LR HSI和HR MSI。随后，采用两个基于编码解码结构的图像重建网络用于对MSI和HSI进行重建。这两个网络共享相同的解码器权重，并能够以无监督的方式提取光谱和空间信息。此外，在HR MSI重建网络的编码阶段引入了一个空间局部感知模块，以增强关键区域的特征提取能力。
图1 LCNet的模型框架
2.1 模拟数据生成
本研究采用模拟实验的方法进行检验，即通过在原始HR HSI上进行空域和谱域采样得到LR HSI和HR MSI。提出的框架可以根据HR HSI自适应地估计SRF和PSF。对于SRF估计，我们使用IKONOS中可见光波段对应的光谱响应，然后对其进行B样条插值，以获得与输入高光谱数据相同数量的波段。由此，我们获得了大小为l×L的SRF，其中l和L分别表示MSI和HSI中的光谱波段数。PSF一般是指LR HSI中的每个像素由原始HR HSI中权重未知的相邻像素组成。为了模拟这个过程，我们使用了与缩放具有相同卷积核大小和步长的通道卷积。
2.2 低分辨率高光谱图像重建
如图1所示，LR HSI重建网络由编码器和解码器结构构成。编码器将输入图像映射到低维表示，并提取HSI的空间特征。通过施加固定约束，鼓励特征表示Ah服从狄利克雷分布，可以有效地建模多个随机变量的稀疏性和分布关系。解码器根据特征表示Ah重建数据，有效地恢复HSI的光谱特征。编码器和解码器均由多个全连接层组成。
特征表示Ah的狄利克雷分布是通过断棒过程完成的。断棒过程涉及迭代地将单位长度的棍断成不同长度以生成新的狄利克雷分布，其中每个随机变量的分布服从Beta分布。该方法产生满足总和为一，并且具有稀疏性的随机分布，可以用来表示多个随机变量的分布关系。此外，为了增强特征表示的稀疏性，在编码器中使用了熵函数。熵函数早些时候被用来解决压缩感知领域的信号问题。它被定义为：
为了鼓励重建的 LR HSI 之间的空间和光谱特征相似性，LR HSI 重建的重建损失定义为：
其中λ和μ是权重参数，θhe和θhd分别是 LR HSI 重建网络的编码器权重和解码器权重。
2.3 利用空间局部感知模块重建高分辨率多光谱图像
HR MSI重建网络的结构包括编码器用于提取空间信息和解码器用于恢复频谱特征。解码器的权重由LR HSI重建网络共享，允许学习HSI的光谱特征以生成目标图像。然后使用SRF执行光谱下采样以获得重建的HR MSI。HR MSI的重建损失定义为：
其中Y是原始 HR MSI，λ是权重参数，θme表示 LR HSI 重构网络的编码器权重。
为了更好地提取和保留 HR MSI 的纹理和结构特征，空间局部感知模块被引入到 MSI 重建网络的编码器中。该模块可以选择性地聚焦局部重要区域，充分利用细节特征。通过密集连接结构提取特征后，经过池化、卷积和激活得到空间注意力图，旨在关注关键区域的纹理结构。空间局部感知增强的计算公式可以表示为：
其中Ms(I)表示生成的空间注意力图，σ表示 sigmoid 函数，f7×7表示大小为7×7的卷积核，
是基于通道平均池化和最大池化生成的二维特征图。
03
实验分析
在公开的高光谱数据集（Indian Pines、Pavia University）以及一个真实数据集（OHS-1和GF-2）上，我们对提出的 LCNet 框架进行了实验验证。与SFIM、GLPHS、GSA、CNMF、FUSE、HySure、CSTF和uSDN等方法进行了对比，使用了峰值信噪比(PSNR)和光谱角误差(SAM)作为定量评价指标。
3.1 Indian Pines
图2显示了Indian Pines数据的结果示例。SFIM、GLPHS和GSA的融合结果具有明显的块效应，HySure和CSTF则产生了额外的噪声。CNMF和FUSE的结果纹理模糊、边界不清晰。总体而言，uSDN和提出的LCNet在这些数据上取得了与参考图像更接近的结果，并且在保留地物的结构特征方面表现良好。
图2 Indian Pines数据重建结果第5波段处的灰度显示图。方法：(a) SFIM, (b) GLPHS, (c) GSA, (d) CNMF, (e) FUSE, (f) HySure, (g) CSTF, (h) uSDN, (i) LCNet, (j) 参考图像。
为了在视觉上增强一些不易察觉的细微差异，我们对估计结果与参考图像之间的误差进行了可视化，以更好地评估每种方法的性能。图3展示了Indian Pines数据第5波段处每种方法的误差图。从误差图中可以观察到，SFIM、GLPHS、GSA、FUSE和CSTF获得的重建图像丢失了纹理特征，并且与参考图像存在显著差异。CNMF和HySure的结果对于边界区分并不明显。uSDN虽然取得了较为满意的结果，但在恢复的细节方面仍然存在错误。相比之下，所提出的LCNet不仅具有更强的边界感知能力，还注重局部细节的特征保留。
图3 Indian Pines重建结果第5波段处的误差图。方法：(a) SFIM, (b) GLPHS, (c) GSA, (d) CNMF, (e) FUSE, (f) HySure, (g) CSTF, (h) uSDN, (i) LCNet。
为了比较每种方法恢复光谱特征的能力，我们将红色标记出的光谱曲线绘制出来，如图4所示。所提出的LCNet在光谱信息重建方面表现出优越的性能，光谱曲线最接近真实值。
图4 Indian Pines数据红色标记处每种方法的光谱曲线图
如表1所示，所提出的LCNet得到了最大的PSNR值（37.544）和最小的SAM值（1.700）。仔细分析结果发现，早期基于锐化和矩阵分解的方法很难获得令人满意的评价指标值。它们不能很好地恢复纹理结构和光谱特征。虽然uSDN已经实现了较高的PSNR值和良好的空间信息恢复，但光谱失真现象仍待改善。同样地，CSTF的PSNR值较高，但其SAM值很差，光谱畸变现象相当严重。相比之下，我们的方法在空间局部特征提取和光谱信息保留方面表现出更好的性能。
表1.各方法在Indian Pines数据集上的定量性能比较。最佳结果以粗体突出显示。
3.2 Pavia University
在Pavia University数据集上，我们对所提出的 LCNet 与多种现有方法进行了比较，结果显示LCNet在图像的光谱特征和纹理细节的提取与保留方面表现出了有效性。相较于其他方法，LCNet能够避免斑块效应，保持更接近参考图像的像素值（如图5、图6所示），并获得令人满意的PSNR值和SAM值（如表2所示）。这证明了LCNet在高光谱图像超分辨率重建中的优越性和通用性。从图7中红色标记处的光谱曲线图结果也可见，该方法对于光谱特征的提取和保留是有效的。
图5 Pavia University重建结果第5波段处的灰度显示图。方法：(a) SFIM, (b) GLPHS, (c) GSA, (d) CNMF, (e) FUSE, (f) HySure, (g) CSTF, (h) uSDN, (i) LCNet, (j) 参考图像。
图6 Pavia University重建结果第5波段处的误差图。方法：(a) SFIM, (b) GLPHS, (c) GSA, (d) CNMF, (e) FUSE, (f) HySure, (g) CSTF, (h) uSDN, (i) LCNet。
图7 Pavia University数据红色标记处每种方法的光谱曲线图
表2.各方法在Pavia University数据集上的定量性能比较。最佳结果以粗体突出显示。
3.3 真实数据集
为了进一步评估所提出的LCNet在实际应用中的有效性，我们利用OHS-1卫星的高光谱数据和GF-2卫星的多光谱数据进行了融合实验。图8展示了LCNet和其他方法在该数据集上的可视化结果。SFIM、GLPHS、GSA、CNMF和HySure方法未能重建出纹理清晰的图像。FUSE方法丢失了大量空间信息，导致性能不佳。而uSDN和我们提出的LCNet方法都取得了更令人满意的视觉结果。但是，LCNet展现了更清晰的边缘和细节特征，突显了其在具有复杂变化的实际场景中的实际应用潜力。
图8 真实数据集上重建结果第14波段的灰度显示对比。方法：(a) LR HSI, (b) HR MSI (bands 3, 2, 1), (c) SFIM, (d) GLPHS, (e) GSA, (f) CNMF, (g) FUSE, (h) HySure, (i) uSDN, (j) LCNet。
04
结论
在本文中，我们提出了一种本地感知耦合网络（LCNet）来融合LR HSI和HR MSI以实现HSI的超分辨率重建。在LCNet中，我们通过自适应估计SRF来生成模拟HR MSI，并将其用于网络优化。两个重建网络通过共享解码器权重来耦合，从而保留了空间纹理和光谱特征。此外，在HR MSI重建网络的编码器中引入了空间局部感知模块，有效增强了关键区域的特征表示，促进了细节纹理特征的保留。我们在公开数据集以及真实数据集上对该方法进行了评估。实验结果证实，所提出的框架能够有效结合MSI和HSI的特点，实现HSI的超分辨率处理。与其他最先进的方法相比，LCNet表现出更高的效率和稳定性。
来源：高性能空间计算智能实验室
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
