以下文章来源于智绘科服 ，作者测绘学报
高/多光谱遥感图像超分辨率融合研究进展与展望
张兵1,2
, 高连如1,3, 李嘉鑫1,2,3, 洪丹枫1,3, 郑珂1,3
1. 中国科学院空天信息创新研究院，北京 100094;
2. 中国科学院大学资源与环境学院，北京 100049;
3. 中国科学院计算光学成像技术重点实验室，北京 100094
基金项目：国家重点研发计划(2021YFB3900502)
摘要：高光谱图像作为多模态遥感数据的重要组成部分，能够捕捉地物精细的光谱特征。由于成像机理的限制，空间细节的损失导致高光谱图像的空间表征能力有所退化，一定程度上限制了数据进一步应用的潜力。数据融合是解决空间/光谱分辨率矛盾的有效手段，近年来相关理论得到了深入发展。本文全面综述了高/多光谱遥感图像超分辨率融合领域的研究进展与展望。首先，将当前方法系统性地分为细节注入、模型优化及深度学习3大类方法，并对不同方法的原理、模型、代表性算法进行了回顾，重点介绍了模型优化中的矩阵分解、张量表示及深度学习中的监督与非监督方法。在此基础上，梳理了该领域技术在像素级分类、目标提取、在轨融合领域的成功应用案例，指出融合产品的潜能在后续遥感应用未被充分挖掘的现状；然后，从退化模型、数据-模型驱动、多任务一体化及应用耦合4个角度对该领域进行展望；最后，就该领域的研究现状与发展趋势进行总结，归纳各类方法优劣势的同时，点明了多类方法协同、外部数据辅助及实际应用驱动等方面的重要性。
关键词：多模态 高光谱 多光谱 数据融合
引文格式：张兵, 高连如, 李嘉鑫, 等. 高/多光谱遥感图像超分辨率融合研究进展与展望[J]. 测绘学报，2023，52(7)：1074-1089. DOI: 10.11947/j.AGCS.2023.20220499
ZHANG Bing, GAO Lianru, LI Jiaxin, et al. Advances and prospects in hyperspectral and multispectral remote sensing image super-resolution fusion[J]. Acta Geodaetica et Cartographica Sinica, 2023, 52(7): 1074-1089. DOI: 10.11947/j.AGCS.2023.20220499
阅读全文：http://xb.chinasmp.com/article/2023/1001-1595/20230703.htm
引 言
遥感技术自20世纪60年代诞生以来，获取了海量的高空间分辨率、高时间分辨率、高光谱分辨率和高辐射分辨率数据，仅我国就已发射200余颗地球遥感卫星，为人类探知地球提供了丰富的多模态信息[1]，其中典型的多模态数据包括光学、红外、合成孔径雷达(synthetic aperture radar，SAR)及激光雷达(light detection and ranging，LiDAR)等。多模态遥感数据在捕捉同一场景的不同角度和不同尺度信息上展现出各自独有的优势，例如，记录地表发射辐射的热红外数据被广泛应用于地表温度反演等领域；具有全天时、全天候观测优势的SAR数据包含地物丰富的空间和结构信息；LiDAR数据可以提供地表三维空间信息，从而弥补传统观测手段高程维度缺失的不足；光学数据则可以有效地捕捉目标的空谱特征。然而受到特定传感器种类及指标的约束，单一模态数据往往只能从特定角度反映地物某一方面的特征，难以全面且完整地反映目标的特性，进而限制了其在相关领域的应用能力。
其中，多光谱和高光谱作为光学数据的重要组成部分，其空间分辨率与光谱分辨率呈现出互补的特征。表 1总结了国内外典型航天成像光谱仪及其指标参数[2-3]。由成像光谱仪获取的高光谱数据以窄而连续的光谱波段连续成像，因此能够捕捉地物精细的光谱特征，进而广泛应用于地表分类、环境监测等领域；而空间信息的损失导致高光谱数据无法提供与多光谱数据同等丰富的纹理细节和几何特征，因而难以满足后续精细化的生产需求。尽管可以通过改进成像系统的方式来达到空间分辨率增强的目的，但这对硬件设计及星上数据存储与传输提出了更高的要求。相较于这种途径，超分辨率融合技术是近年来多模态遥感数据融合研究的热点，旨在通过融合高空间分辨率图像的空间信息与高光谱分辨率图像的光谱信息来获得空间与光谱分辨率双高的产品，进而缓解空间/光谱分辨率相互制约的问题[4]。该技术包括多/全色遥感图像超分辨率融合、高/全色遥感图像超分辨率融合及高/多光谱遥感图像超分辨率融合。图 1展示了高/多光谱遥感图像超分辨率的融合过程，可以明显地看出经过超分辨率重建后的高光谱图像具有更强的空间细节表征能力。图 2根据Web of Science核心数据库统计了近年来该领域相关文献的发表情况，从中可以直观地看出该方向的研究热度呈上升趋势。
表 1 常见航天高光谱传感器
Tab. 1 Typical space hyperspectral imagers
表选项
图 1 高/多光谱遥感图像超分辨率融合
Fig. 1 Hyperspectral and multispectral remote sensing image super-resolution fusion
图选项
图 2 高/多光谱遥感图像超分辨率融合论文统计
Fig. 2 Paper statistics of hyperspectral and multispectral remote sensing image super-resolution fusion
图选项
随着超分辨率融合技术的快速发展，国内外学者从不同视角对该领域进行了综述，笔者将部分综述文章按照不同主题总结于表 2。
表 2 部分遥感图像超分辨率融合综述文献
Tab. 2 Partial reviews of remote sensing image super-resolution fusion
表选项
文献[17—19]通过完备的试验设置对不同算法在国产数据的融合效果进行验证分析，为从业者在实际应用的选择上提供了全面的参考。文献[5]从统计的角度对相关文献进行调研，进而对不同方法的发展历程进行了客观的回顾。文献[7]通过构建一个面向多/全色图像融合的大尺度公开数据集，进而在该数据集上对典型算法进行试验分析。文献[4]阐述了深度学习技术在多模态遥感图像融合中的应用，包括空谱融合、时空融合及光学图像与LiDAR、SAR等异质数据融合的场景。不同于上述综述，本文对高/多光谱遥感图像超分辨率融合领域进行了全面总结。首先, 聚焦该领域技术，分别从细节注入方法、模型优化方法及深度学习方法3个方面对其进行详细介绍；然后，给出了该技术在像素级分类、目标提取和在轨融合的成功应用案例；最后，就目前发展现状与研究所面临的挑战，对该领域做出展望与总结。
1 高/多光谱遥感图像超分辨率融合技术
多/全色和高/全色超分辨率融合可以看作高/多光谱图像超分辨率融合的特例，因此早期的研究思路是将多/全色融合方法推广到高/多光谱融合当中，这类方法统称为细节注入方法。近年来，模型优化方法及深度学习方法因其出色的重建能力受到高/多光谱图像超分辨率融合领域更多关注。因此，本节将简单回顾细节注入方法，然后详细阐述模型优化和深度学习方法在该领域的研究进展。图 3总结了本文的分类体系。
图 3 高/多光谱遥感图像超分辨率融合方法分类
Fig. 3 Categories of hyperspectral and multispectral remote sensing image super-resolution fusion methods
图选项
1.1 细节注入方法
细节注入方法可以分为两类，分别是成分替代法和多分辨率分析法[8]。成分替代法是将低空间分辨率图像进行空间变换以分离空间和光谱信息，并将高空间分辨率图像替换空间信息部分，最终逆变换回原空间以达到锐化效果。多分辨率分析法则是将多分辨率分解技术应用于输入图像来获取低空间分辨率图像缺失的高频细节，并将其注入低空间分辨率图像以达到分辨率增强的目的。虽然两类方法思想迥异，却可以用统一的细节注入框架描述[22]，即先提取高空间分辨率图像的细节信息，再逐波段注入低空间分辨率图像中，如图 4所示。因此，细节注入方法间的差别主要在于提取及注入细节信息的方式[23]。经典的细节注入方法包括IHS(intensity-hue-saturation)变换[24]、Gram-Schmidt变换[25]、Brovey变换[26]及小波变换[27]等。由于细节注入法并没有最佳的空间细节提取与注入方案，因此多种自适应方法陆续被提出。文献[28]和文献[29]分别根据输入图像间的光谱覆盖和加权均方差调整权重向量。文献[30]在文献[29]的基础上利用全色图像的梯度信息自适应计算增益向量。
图 4 细节注入方法
Fig. 4 Detail injection-based fusion methods
图选项
多/全色图像超分辨率融合属于一对多问题，而高/多光谱图像超分辨率融合属于多对多问题。因此，需要将多对多问题分解为多个一对多问题，才能实现细节注入方法到高/多光谱图像融合领域的有效迁移。文献[31]首次将小波分解技术应用到该领域，利用波段分组和补全的策略对高光谱图像进行逐波段的融合。尽管该尝试是一次成功的突破，但二维小波分解难以有效提取图像的三维特征，进而融合效果受到限制。在此基础上，文献[32]采用三维小波变换技术，首先利用空间光谱重采样技术实现输入图像的对齐，再提出针对性的策略对小波系数进行融合。为了验证细节注入方法的融合效果，文献[33]通过相关系数的计算为每个高光谱波段选择最合适的多光谱波段进行融合。试验发现，相比矩阵分解方法，细节注入方法的效果更佳。采用相同的策略，文献[14]根据相关系数实现输入图像波段的聚类，进而成功地将Gram-Schmidt变换方法应用到高/多光谱图像超分辨率融合领域。与以上方法性文章不同，有部分学者旨在提出统一的框架来实现算法的有效迁移。文献[34]提出的框架通过光谱覆盖范围将输入图像分组，并采用光谱重采样的策略为多光谱覆盖范围外的高光谱波段合成高分辨率图像，成功对两个方法进行了验证。此外，文献[35]提出名为Hyper-Sharpening的框架，该框架则是利用已有多光谱数据为每个高光谱波段合成对应高分辨率图像。为了解决真实图像因外界条件差异而导致的光谱畸变，文献[36]提出一种光谱调制框架，根据高光谱的成像条件对多光谱进行相应调整，并成功应用到两种多/全色图像融合方法中。
1.2 模型优化方法
不同于细节注入方法，模型优化方法利用退化模型建立高空间分辨率多光谱和低空间分辨率高光谱到目标高光谱之间的退化关系，即低分辨率高光谱是目标高光谱空间模糊和下采样后的结果，高分辨率多光谱则是其光谱下采样后的结果，如图 5所示。该类方法对退化过程进行了显式建模，考虑了更复杂的退化关系，更贴近真实场景情况，因此近年来得到学界更多关注。然而由于待估计的目标高光谱参数远多于方程数，利用已知的多光谱和高光谱观测数据求取目标高光谱是一个欠定问题，因此需要人为设置合适的先验信息和约束条件，并通过优化求解的方法获得待求图像。该类方法包括基于贝叶斯的方法、基于矩阵分解的方法及基于张量表示的方法。
图 5 退化模型
Fig. 5 The degradation model
图选项
1.2.1 贝叶斯法
基于贝叶斯的方法首先对目标场景施加合适的先验信息来正则化待求解的逆问题，再通过最大化后验概率或最小化负对数后验概率来求解目标参数，该类方法往往是在子空间内进行求解。文献[37—38]提出利用随机混合模型求解未知参数的MAP-SMM方法，并成功用于解决高/全色和高/多光谱图像超分辨率融合问题。文献[39]通过最大化后验概率建立目标函数，在满足退化模型限制的同时，能有效地挖掘全色图像与目标图像之间的潜在关系。文献[40—41]将该思想应用于小波域并施加高斯混合尺度先验来提升模型对噪声的稳健性。尽管上述方法在图像恢复中获得了理想的效果，但在计算效率上欠佳。因此，文献[42]将最大似然概率问题转化为求解西尔维斯特方程的封闭解问题以此来有效降低模型的计算压力，并在此基础上提出稳健性更高的R-FUSE方法[43]。此外，该作者后续还提出对子空间表达系数引入稀疏高斯先验的策略，将其用完备字典稀疏表示[44]。
1.2.2 矩阵分解法
基于矩阵分解的方法是将三维图像展开为二维矩阵，并假设目标高光谱能够分解为两个矩阵的乘积，该过程可以通过线性光谱解混或稀疏表示来建模。当利用线性光谱解混模型时，两个矩阵分别代表端元和丰度；当利用稀疏表示模型时，则分别代表字典和稀疏系数。因此，矩阵分解方法的思想在于利用已知的低分辨率高光谱和高分辨率多光谱，将求解目标高光谱的问题转化为求解两个矩阵的问题，如图 6所示。
图 6 矩阵分解方法Fig. 6 The matrix decomposition based fusion methods
图选项
根据是否利用退化模型中的点扩散函数和光谱响应函数，本文将常见的矩阵分解方法分为3大类。
第一类方法为早期的矩阵分解方法，可以追溯到光谱解混应用中，但该方法忽略了退化模型中点扩散函数和光谱响应函数的作用。文献[45]在端元信息已知的条件下，利用多光谱图像求取高空间分辨率丰度矩阵。文献[46]结合多光谱图像的分类图以求取高光谱的光谱矩阵进而重构出目标图像。
第二类方法利用光谱响应函数以构建多光谱光谱矩阵和高光谱光谱矩阵之间的关系，进而分别从高光谱估计光谱矩阵及从多光谱估计对应系数。该类方法的不同在于对待求矩阵施加的约束条件及优化方式。例如，采用非负矩阵分解和非负最小二乘算法的NMF模型[47]，利用K-SVD算法求解的SASFM模型[48]，并考虑矩阵非负限制的G-SOMP+模型[49]。其中，有多篇文献针对G-SOMP+模型进行改进。文献[50]考虑到了非局部自相似性从而采用训练多个光谱字典的策略。文献[51]采用自适应分割方式以取代原本的规则分割。
第三类方法是目前广泛采用的方式，通过引入点扩散函数，以此来有效地建立低空间分辨率高光谱和高空间分辨率多光谱系数间的关系，从而利用高光谱和多光谱的信息以更精确地估计系数，该类方法可细分为3种范式。范式一是利用低分辨率高光谱求取光谱矩阵，并同时利用低分辨率高光谱和高分辨率多光谱求取系数矩阵。文献[52]提出基于聚类的结构化稀疏正则项来学习空间相关性。文献[53]假设目标高光谱存在于更低维的子空间，并通过施加总变分正则项来求解系数。范式一在求取系数的同时固定光谱矩阵。为了更好利用空间和光谱信息，范式二利用点扩散函数建立系数矩阵间的关系及利用光谱响应函数建立光谱矩阵之间的关系，从而对两个矩阵交替更新求解。文献[54—55]将输入图像划分为多个图像块，对每个子图像采用耦合解混的思想交替更新，后者采用只迭代一次的特殊策略。文献[56—57]采用相似的思想，前者利用非负矩阵分解方法，后者采用近端交替线性最小化方法，同时考虑到更多的先验约束。范式三将最小化代价函数问题分别看成最小化光谱矩阵和系数矩阵两个子问题，然后依次对两个子问题迭代求解。文献[58]通过对代价函数施加多种先验约束，在盲融合和非盲融合情况下均取得了理想的重建效果。文献[59]通过学习一个空间字典以更好地对光谱字典难以表示的空间细节建模。
1.2.3 张量表示法
矩阵分解法将原本的三维光谱立方体展开为二维矩阵进行处理，破坏了内部固有的结构，难以有效地挖掘图像内部潜在的关系。基于张量表示的方法则是把原始数据看成三阶张量，保留了立方体原本的数据排列方式，因此近年来受到图像融合领域的广泛关注。按照不同的分解方式，基于张量表示的方法又可以细分为Tucker分解(Tucker decomposition)、CP分解(ANDECOMP/PARAFAC decomposition)、BTD分解(block term decomposition)、张量网络(tensor networks)及t-SVD分解(tensor singular value decomposition)，如图 7所示。
图 7 典型张量分解方法Fig. 7 The typical tensor decomposition methods
图选项
Tucker分解是假设目标高光谱可以分解为1个核心张量与3个矩阵的模态积。如图 7所示，在张量运算中，χ为三阶张量，×n为张量与矩阵之间的n模积，○指向量外积。在Tucker分解中，A、B、C为不同维度上的因子矩阵；
为核张量。文献[60]假设目标高光谱可以在3个张量字典下稀疏表示，并利用交替优化策略求解4个参量。在此基础上，多个方法对此进行了改进。文献[61]考虑到了非局部空间自相似性及字典非负性约束。文献[62]和文献[63]分别通过引入全变分正则项和图拉普拉斯正则项以恢复图像的空间和光谱平滑。文献[64]还考虑到光谱低秩及非局部自相似性等特点。文献[65]通过引入变化因子以解决多光谱和高光谱因获取条件不同而引起的空间光谱局部变化问题。文献[66]就高光谱图像恢复问题提出统一的解决框架，其中采用不同聚类簇的核心张量的加权稀疏先验策略以解决高/多光谱图像超分辨率融合问题。CP分解作为Tucker分解的特殊形式，可以分解为多个秩1张量的和。如图 7所示，CP分解中，Uk为秩1张量，Ck为对应权重，R为张量的秩。文献[67]首先对相似图像块进行聚类，利用目标高光谱和多光谱共享矩阵因子的特点在不同簇内进行求解。文献[68]就点扩散函数已知和未知两种情况分别进行了讨论，从而实现了空间半盲融合。BTD分解则囊括了Tucker分解和CP分解的统一分解框架，如图 7所示，BTD分解中，AR，BR，CR为不同维度上的因子矩阵，Gk为核张量，通常采用BTD分解的融合方法较少。文献[69—70]第一次将其应用到高/多光谱图像超分辨率融合问题中，笔者将所求矩阵赋予端元和丰度的含义，通过施加解混先验求解目标图像。
张量网络(tensor networks)的提出是为了解决“维度诅咒”的问题，它是将高阶张量表示为多个低阶矩阵或张量的连接，如图 7所示，Gk是潜在张量，tr(·)为矩阵的迹。其中，代表性的分解方式包括TR分解(tensor ring decomposition)及TT分解(tensor train decomposition)。TR分解将一个高阶张量分解为一系列三阶张量的环型多线性乘积。TT分解作为TR分解的特殊形式，首项和尾项核心张量为二阶矩阵。借助TR分解，文献[71]在耦合分解的基础上引入核范数来重建高光谱的光谱低秩性。同样是考虑光谱间的相关性，文献[72]引入拉普拉斯矩阵正则化目标函数。文献[73]通过对聚类后的4D张量施加张量链低秩先验来恢复图像内部结构相关性。在此基础上，文献[74]引入解混思想，假设目标图像能在端元下稀疏表示。
此外，t-SVD分解[75]是建立在张量积基础上定义的新框架，也应用到解决高/多光谱图像超分辨率融合的问题中。文献[76]通过对不同簇的子空间表达系数施加低秩先验来恢复待求图像。文献[77]通过提取低空间分辨率高光谱的先验信息以提升对子空间表达系数的求解速度和精度。
1.3 深度学习方法
随着遥感大数据时代的到来及硬件的快速发展，深度学习方法因其强大的特征提取能力及表征能力被广泛应用到遥感领域[78-79]，如异常检测[80-81]、光谱解混[82-85]及土地覆盖分类[86]等。近年来，深度学习方法同样在高/多光谱图像超分辨率融合领域取得了重要突破，本文将其分为监督学习和非监督学习两大类并依次进行介绍。
1.3.1 监督学习
监督学习方法分为训练和测试两个阶段。在训练阶段，首先将高光谱图像作为参考图像，再对其采用空间和光谱降采样的方式制作大量的低空间分辨率高光谱和高空间分辨率多光谱数据集。并将生成的数据作为网络输入，以此来构建到参考图像的映射关系。在测试阶段，通过将映射关系应用到测试数据中，来实现新数据的超分辨率融合。其中，卷积神经网络作为深度学习主流模型，因其出色的特征提取能力被广泛应用到高/多光谱图像超分辨率融合领域[87]。
本文将监督方法分为单流网络、多流网络及混合网络3种(图 8)。单流网络方法往往是将上采样后的高光谱数据与多光谱数据拼接成新的三维数据立方体输入网络中进行学习。文献[88—89]分别采用了3D卷积网络、残差网络学习映射函数。文献[90]采用跳跃连接来深层次地挖掘多光谱的空间信息。但单流网络方法忽略了两种数据间的差异，难以有效地提取不同模态数据的特征，而多流网络方法则采用不同的子网络分别提取两种数据的信息，再将提取的特征进行融合。文献[91—93]首先学习多光谱不同尺度上的特征，再将学习到的特征与对应尺度的高光谱进行融合。文献[94]采用两个子网络分别提取空间和光谱维度上的特征，再逐像素地重建目标图像。空间和光谱注意力机制同样被引入高/多光谱图像超分辨率融合领域以此来更好地对特征进行矫正[95-96]。此外，为有效解决深度学习方法可解释性差的问题，近年来有文献提出将传统方法与深度模型相结合的思路。文献[97—98]将深度模型与细节注入模型相结合，通过分别学习缺失的细节成分和高分辨率强度分量来实现空间分辨率增强的目的。深度学习与模型优化方法相结合的方式是在网络学习过程中将退化模型作为辅助信息，将整个或部分求解过程替换为深度网络以此来实现所需知识的提取。文献[99—100]利用网络学习到的先验信息来二次优化获取到的目标图像。文献[101]用去噪网络替换原本的参数求解过程。文献[102]在求取目标图像的同时，能够自主学习退化与融合模型。文献[103—105]利用深度展开技术将整个优化过程用端到端的网络表示，进而让特征提取过程具有可解释性。
图 8 监督深度学习Fig. 8 Supervised deep learning-based fusion methods
图选项
1.3.2 非监督学习
相比于监督学习方法，非监督学习方法不需要构造大量训练集来学习输入图像到参考图像间的映射关系，只需要一对低空间分辨率高光谱和高空间分辨率多光谱即可重构出目标高光谱图像，进而实现了“训练即测试”的目的，如图 9和图 10所示。本文将该类方法分为两大类，分别是编码-解码方式及生成-约束方式。
图 9 编码-解码式方法Fig. 9 Unsupervised encode-decode-based fusion methods
图选项
图 10 生成-约束式方法Fig. 10 Unsupervised generate-constrain-based fusion methods
图选项
编码-解码方式是将线性光谱解混思想引入深度学习中，利用自编码器学习到的丰度及端元来重建目标图像，如图 9所示。文献[106]假设输入图像的丰度服从迪利克雷分布从而使其满足和为一的约束，但该方法假设光谱响应函数作为先验信息已知。文献[107]在此基础上，实现了退化模型的自适应学习，从而摆脱了对退化函数先验的依赖。文献[108]引入了跨模态交叉注意力机制，来实现多光谱和高光谱间的信息高效利用。文献[109]提出由卷积神经网络构成的变分概率自编码器框架，由3个可以联合训练的子网络来重构空谱信息。文献[110—111]提出了图像配准与融合的统一框架，实现了对未配准输入图像的高质量重建。
生成-约束方式是在外部信息的辅助及退化模型的约束下，利用具有强大特征提取能力的生成网络将输入图像重建回目标图像，这里的输入图像可以是已有的多光谱或者随机噪声，甚至是预处理过的初始图像，如图 10所示。文献[112]利用特殊设计的网络结构来自主选择或学习光谱响应，从而辅助输入的多光谱生成目标图像。同样是利用多光谱作为输入，文献[113]首先在空间维度上对其聚类，再学习空间降采样后的多光谱到高光谱上的光谱逆向映射，之后利用学习到的映射来辅助原尺度多光谱图像进行重建。文献[114]在此基础上，通过引入三阶段的训练策略来实现退化函数的自适应学习。除了以多光谱作为输入，文献[115]利用编码解码网络学习到的多尺度特征引导随机噪声图像生成目标图像。文献[116]在此基础上，通过在编码解码网络中引入注意力模块来更好地获取语义特征与细节信息。文献[117—118]利用输入图像自身包含的先验知识生成带有丰富结构信息的初始图像作为网络输入。
同样是不需要利用大量监督数据的辅助，自监督技术通过挖掘自身图像的信息来实现数据的高级特征表示，进而在遥感领域发展迅猛[119]。但在高/多光谱遥感图像超分辨率融合领域，自监督技术和非监督技术之间的界限尚未明确，目前的自监督方法可以归纳到上述提及的非监督学习框架中。文献[120—122]利用生成网络从输入图像中恢复出目标图像，属于生成-约束式方法。文献[123]从亚像元解混的角度，利用自监督模块来实现高保真度的图像重建，该方法可以归纳到编码-解码式方法中。
2 高/多光谱遥感图像超分辨率融合技术的应用
超分辨率融合技术不单单是为了提升产品的空间分辨率，提高感官上的舒适度，更是为了拓宽后续应用的广度、提升相关应用的精度，为多样化的需求带来更可靠的数据支持。然而，相比于近年来突飞猛进的超分辨率融合技术，其在下游应用的潜力还未被充分开发。因此，本节将从实际应用的角度出发，回顾高/多光谱遥感图像超分辨率融合技术在分类任务、目标提取领域的应用案例，并指出在轨融合应用的重要意义，旨在呼吁对应用层面更多的关注。
2.1 像素级分类
像素级分类是遥感领域近年来广泛研究的热门主题，同时也是融合产品应用的主要选择。除了对融合产品进行基本的光谱-空间指标判别外，文献[94, 124]为验证其在实际应用中的效果，对不同算法的融合结果进行了分类精度的比较。文献[18—19]对国产数据的融合效果进行了全面的试验与分析，其中包括对融合结果进行分类验证，以此来评判算法间的优劣性。文献[14]通过对比融合前与融合后图像的分类精度，来验证融合技术在像素级分类中的优势。
2.2 目标提取
目标提取旨在从图像中分离出感兴趣的目标，例如道路、屋顶及不透水面等。相比于像素级分类，融合产品在目标提取的应用较少。文献[125]利用Hyperion高光谱与IKONOS多光谱融合产品进行道路提取，试验发现相比于单一数据源，融合后的数据可以为目标提取提供多维度的特征，进而有效提升任务的精度，因此验证了融合产品在该任务上的有效性。
2.3 在轨融合
随着卫星平台、信号传输及算法算力的不断发展，数据融合成为在轨实时处理中的重要一环。相比于地面融合处理的低时效性，在轨融合能够利用多源卫星数据间的传输实现高响应度的融合产品生成，进而为灾害现场评估及军事目标监控提供实时的数据源[126]。
3 未来展望
伴随着相关理论的不断发展，近年来高/多光谱遥感图像超分辨率融合领域取得了明显突破，重建质量在空间和光谱维度得到极大提升。未来，随着人工智能技术、对地观测平台及相关应用需求的推动，高/多光谱图像超分辨率融合领域将会蓬勃发展。本节将对该领域的未来发展进行展望，旨在给相关从业者提供多视角的启发。
(1) 退化模型是模型驱动类方法中的基础，它对目标图像与观测图像间的关系进行了清晰且简洁的建模表示。其中，光谱响应函数与点扩散函数在退化模型中分别起着光谱退化和空间退化的重要作用。然而，在实际问题中，往往面临着输入图像光谱响应不一致及退化函数无法准确知晓的情况。因此，如何在条件更苛刻的真实情况下重建出高质量的融合图像仍需进一步的研究。
(2) 目前，与模型驱动相对的是以深度学习为代表的数据驱动类方法。前者基于退化模型对待求图像施加人为先验，并采用严格的数学理论进行优化求解。后者则采用深度学习技术从大量数据中挖掘信息，摆脱了对待求图像人为设置先验信息的约束，但网络缺乏一定的可解释性。正因为两类方法优劣势的互补性，数据驱动与模型驱动耦合的超分辨率重建将会是未来的研究热点。
(3) 在解决高/多光谱图像超分辨率融合问题中，学者将更多的注意力投入融合方法的设计上。通过仿真试验，低空间分辨率高光谱和高空间分辨率多光谱符合最理想的融合输入条件，进而忽略了融合前输入图像的预处理过程，例如辐射归一化、去云及图像间的配准问题。因此，将图像预处理与图像融合相结合的多任务一体化超分辨率重建具有重要的应用前景。
(4) 目前绝大部分算法验证停留在基础的空间-光谱重建指标上，例如光谱角和峰值信噪比。然而，融合的目的不仅是服务于目视判读，更是为后续的应用提供更可靠的数据支持和决策，例如分类与探测等。算法与实际应用的脱节导致融合产品还未充分在下游任务中展示出优势。因此，与应用深度耦合的融合算法是未来研究的热点之一。
4 结论
由于空间分辨率和光谱分辨率间的固有矛盾，高光谱图像难以提供多光谱图像同等丰富的空间细节，因此高/多光谱图像超分辨率融合技术成为突破单一模态传感器限制的重要途径。本文从细节注入方法、模型优化方法及深度学习方法3个方面介绍了高/多光谱遥感图像超分辨率融合技术的研究进展。同时对该技术的实际应用给出了案例，并根据当前的发展现状，对该方向的趋势进行了展望，主要结论如下：
(1) 细节注入方法旨在解决多/全色图像超分辨率融合问题，因此当迁移到高/多光谱图像超分辨率融合领域，随之而来的是不可避免的空间和光谱畸变。相比于细节注入方法，模型优化方法通过对待求图像施加先验信息，在退化模型的辅助之下可以实现高保真度的图像重建。其中，矩阵分解法通过同时引入点扩散及光谱响应函数的方式能够全面地利用输入图像的三维信息，因此成为主流的选择之一。此外，张量表示方法因其出色的空间-光谱结构特征挖掘能力，成为近年来模型优化方法中的佼佼者，典型代表有Tucker分解和CP分解。然而，在面对复杂的自然场景时，设计合适且有效的先验约束是一项烦琐的探索性工作，往往伴随着高复杂度的求解过程。相反，深度学习方法则摆脱人为设计先验的过程，通过对大量数据的自动化挖掘，实现了复杂函数的高度拟合。但大规模、高质量的训练集让监督类方法难以有效应用到实际需求中，同时“黑箱”学习过程也为人所诟病。
(2) 模型优化方法与深度学习方法相结合是一种“双赢”策略，既可以避免人为设计先验的烦琐过程，又可以缓解深度学习的“黑箱”过程，因此成为未来热点研究方向之一。
(3) 卷积神经网络因其强大的特征提取和学习能力被广泛应用到高/多光谱图像超分辨率融合领域。然而，在计算机视觉领域大放异彩的生成对抗模型及Transformer模型还未被充分开发与利用。未来，更多模型的成功迁移有待进一步的研究。
(4) 近年来，逐渐出现的多源数据协同的高/多光谱图像超分辨率融合文献旨在利用辅助的全色图像或者SAR图像来协助实现高质量的高/多光谱图像超分辨率重建。但该方向刚刚起步，仍有巨大的发展空间。
(5) 高/多光谱图像超分辨率融合产品还未在下游任务中充分展现出自身优势，主要局限在像素级分类的应用上，在其他领域的潜力还未被挖掘。拓展融合产品后续的应用范围，更好地为后续应用服务，是目前该领域的关注点之一。
作者简介
第一作者简介：张兵(1969—)，男，博士，研究员，研究方向为高光谱遥感与遥感大数据。E-mail：zb@radi.ac.cn
本文转载自微信公众号智慧科服
转自：“科研圈内人”微信公众号
如有侵权，请联系本站删除！
