高光谱图像线性光谱解混：如何高效提取空间-光谱信息？

这周为大家介绍两篇高光谱图像解混论文和一篇3D点云目标跟踪论文，其中分别使用了两种不同的思路来解决高光谱图像解混，3D点云目标跟踪论文使用了Transformer方法。

1

空间-光谱自编码器网络实现高光谱图像解混

SSCU-Net: Spatial-Spectral Collaborative Unmixing Network for Hyperspectral Images

作者：Lin Qi、Feng Gao、Junyu Dong、Xinbo Gao、Qian Du,

单位：中国海洋大学、重庆邮电大学、Mississippi State University

期刊：IEEE Transactions on Geoscience and Remote Sensing

日期：2022-2-10

地址：https://ieeexplore.ieee.org/document/9709843

受到高光谱传感器空间分辨率的限制，以及复杂的自然表面和光的散射，混合像素往往包含不止一个光谱特征，这对高光谱图像的处理和应用带来了巨大的挑战。

高光谱图像解混是提取基本特征（端元）并计算光谱像素中相应的分数（丰度），根据不同的混合模型，解混算法可划分为线性和非线性光谱解混。线性光谱解混可分为几何（geometrical）、统计（statistical）和稀疏回归（sparse regression）。

近年来，得益于深度神经网络强大的学习和数据拟合能力，涌现出了大量基于深度神经网络的解混方法，其中包括深度自编码器（autoencoder，AE）及其变体，比如有EndNet、DAEN、DeepGUn、uDAS、TANet、JMnet、SNMF-Net。

上述基于AE的深度解混方法忽略了高光谱图像的空间上下文（spatial contextual）信息，而在传统的解混方法（几何、统计、稀疏回归）中都充分利用了高光谱图像的空间信息，这表明空间信息对高光谱图像解混非常重要。

接下来，作者调研了基于空间和光谱信息的AE解混方法，有基于卷积神经网络的AE模型，分别利用空间和光谱信息的空间-光谱解混网络。

通过分析这些方法，作者发现逐块（patchwise）的方法能提升端元的估计精度，但有可能会降低丰度的精度，这主要是由于在一个小块里包含的空间结构信息不足。于是，高效地挖掘高光谱图像的空间-光谱信息，对解混质量非常重要。

因此，这篇论文提出了一个新的空间-光谱协同解混网络，称之为SSCU-Net，包括一个新的空间-AE网络和一个新的光谱-AE网络，以端到端的方式协同训练端元和丰度，极大地提升了解混性能。

这篇论文给我的启发是，即便是研究深度学习方法，也是非常有必要了解传统的模型优化算法，这能更深入地探寻问题本质，由此可以启发到深度神经网络的设计和训练。

2

贝叶斯全卷积神经网络的高光谱解混方法

BCUN: Bayesian Fully Convolutional Neural Networkfor Hyperspectral Spectral Unmixing

作者：Yuan Fang、Yuxian Wang、Linlin Xu、Rongming Zhuo、Alexander Wong、David A. Clausi

单位：University of Waterloo、中国地质大学

期刊：IEEE Transactions on Geoscience and Remote Sensing

日期：2022-2-10

地址：https://ieeexplore.ieee.org/document/9709848

高光谱图像光谱解混是一个极具挑战性的病态逆问题，一个有效的光谱解混方法依赖于噪声、端元的精确建模，丰度的空间相关性影响，以及相关的优化方法。

首先，作者指出高光谱图像的空间上下文信息对估计端元和丰度至关重要，但大多数现有的解混方法将每个像素的丰度视为独立分布的变量，忽略了这种空间相关性信息。

对于高光谱图像中普遍存在的大规模空间相关信息，仍然缺乏先进的建模和估计方法，相比于传统基于块的卷积神经网络，全卷积神经网络（FCNN）能够更好地利用大规模空间相关信息，并且广泛应用于语义分割、超分辨率和图像去噪中。

其次，由于高光谱图像中普遍存在大量的噪声，而且解混十分容易受到噪声的影响，目前大部分方法假设不同波段里的噪声强度相同，使用均方误差作为重建损失函数，这导致在某些波段里仍然存在噪声。

此外，解混方法还依赖于对端元的有效约束，目前已有的端元提取方法难以处理高度混合的像素。

考虑以上三个关键因素，设计一个具有有效建模能力和高效优化方法的统一框架至关重要，该框架能够利用丰度中的大规模空间相关信息、噪声异质性效应和端元的适当约束。为了解决端元和丰度未知的病态问题，解混可以在贝叶斯框架下推广为最大后验概率（MAP）问题，并通过期望最大化（EM）算法进行优化。

为此，这篇论文在贝叶斯框架下整合全卷积神经网络（FCNN）和线性光谱混合模型（LSMM），提出了一个贝叶斯全卷积神经网络进行高光谱图像解混，采用深度图像先验（DIP）作为丰度的先验信息。

这篇论文给我的启发是，在仔细分析所研究问题难点的基础上，充分利用不同方法的优势，从而提出自己的方法。

3

基于Transformer的三维点云目标跟踪

PTTR: Relational 3D Point Cloud Object Tracking with Transformer

作者：Changqing Zhou、Zhipeng Luo、Yueru Luo、Tianrui Liu、Liang Pan、Zhongang Cai、Haiyu Zhao、Shijian Lu

单位：南洋理工大学、商汤研究院

会议：IEEE Conference on Computer Vision and Pattern Recognition （CVPR）2022

地址：https://arxiv.org/pdf/2112.02857.pdf

代码：https://github.com/Jasonkks/PTTR

三维目标跟踪的目标不仅是检测每一帧中的目标姿态和位置，还包括连续帧中的目标运动轨迹，目前仍然面临着一些开放性和挑战性的问题，如激光雷达点云稀疏性、随机形状不完整性、纹理特征缺失。

三维目标跟踪可大致划分为多目标跟踪（MOT）和单目标跟踪（SOT），MOT方法通常采用先检测后跟踪策略，首先检测每帧中的对象，然后根据估计的位置或速度匹配连续帧中的检测。大多数SOT方法只需要处理点云的一个子集，这通常具有更低的计算量和更高的吞吐量。

这篇论文研究的是单目标跟踪，目标是在给定对象模板的帧中估计单个对象的位置和方向。

目前大多数方法基本上是在搜索域和模板中的特征之间进行线性匹配，这无法适应由随机噪声、稀疏性和遮挡引起的不同3D形状。此外，检测模型中包含的复杂预测头极大地限制了跟踪速度，而这是在线应用的一个关键因素。

这篇论文提出了基于Transformer的3D点云目标跟踪模型，以由粗到细的方式实现了高质量的3D目标跟踪，主要包括特征提取，基于注意力的特征匹配和预测修正三个步骤。为保存更多与被跟踪目标相关的点，在特征提取阶段进行特征关联，然后设计了点云关联Transformer模块进行点云特征匹配，并提出了一个轻量化的预测修正模块来进一步提升预测的准确性。

公众号《商汤学术》对这篇论文进行了详细的论文解读。

如有侵权，请联系本站删除！