耦合地理位置信息与图注意力网络的多类变化检测模型
成果速递
01
【导读】
土地覆盖类别的变化检测是遥感领域的一个关键主题。目前机器学习和深度学习技术已被成功应用于遥感影像变化检测任务之中，尽管前景广阔，但在深度学习模型的设计中仍存在几个常见问题，例如忽视领域知识和既定的科学原理、可解释性低等。遥感或地理空间数据通常表现出空间自相关性，这意味着影像中附近的像素或区域比距离较远的像素或区域更有可能具有相似的值或特征。这一特性在地理学第一定律中被提出。
在遥感影像变化检测，以及类似的影像分类、分割、目标检测任务中，理解影像中物体或区域之间的空间关系至关重要。而许多深度学习方法或模型都是从计算机科学领域借用或引入的，并非是专门为遥感及地理学领域开发。结合空间原则和地理数据独特特征来监督深度学习过程的创新工作也非常有限。为了在一定程度上提高变化检测模型的可解释性和检测精度，是否可以从地理数据本身特点出发来思考深度学习模型该如何设计？
近日，华东师范大学地理科学学院李响教授团队的研究新成果题为“Position-aware graph-CNN fusion network: an integrated approach combining geospatial information and graph attention network for multiclass change detection”，已发表于IEEE Transactions on Geoscience and Remote Sensing期刊。研究将重点放在深度学习和地理空间信息之间的强大协同作用上，通过结合基本的空间理论产生更高精度和更具可解释性的检测模型。
02
【方法】
(1)整合空间信息的图注意力（P-GAT）
研究开发了一种位置信息编码机制，将K阶邻接矩阵与超像素空间距离矩阵相结合形成位置关系矩阵，然后按照距离细化为不同的分量并编码为“0-1”矩阵P，并进一步将矩阵P乘以可学习矩阵W以获得最终的编码DR：
最终DR集成到图注意力网络（Graph Attention Network, GAT）中，利用图（Graph）的结构来模拟物体间不同的空间关系。通过这种编码机制能将空间信息整合到图中，这种整合增强了模型对地理空间结构的更为具体的理解能力。
图1 位置编码示例
（2)CNN与GAT结合的变化检测模型
为了提高检测模型的整体性能，我们结合CNN与GAT两种不同形式的深度学习模型，使用“Pixels-Superpixels”映射矩阵来促进图像像素和图节点之间的无缝特征传播，这也使得该模型能够学习不同尺度的特征信息，实验结果也证明CNN与GNN的结合能够进一步提高检测精度。
图2 模型流程图
03
【结果与讨论】
(1)实验结果
以三组高分辨率卫星影像（分辨率0.5m）为例，验证了该模型的适用性和准确性。高分辨率数据中存在更多细节和更高的复杂性，这会给模型带来更大挑战。可以看到，基于像素的对比算法（DSCNH）显示出很高的误检和漏检率，在0.5米数据上基本失效，以U-Net为基础的对比模型（DDSCN）效果会好一些，但仍然存在边界不完整和检测错误的问题。另外三种方法得到的检测结果较好，这说明像素级与对象级特征的融合有利于从高分辨率图像中提取出更有价值的信息。本研究提出的方法PGCFN取得了更优异的结果，表现出更高的准确率，在识别微小目标方面优势突出。
图3 三组数据集上不同方法的可视化结果: (a) T1 image. (b) T2 image. (c) DSCNH. (d) DDSCN. (e) CEGCN. (f) GCFN. (g) PGCFN. (h) Ground-truth.
表1不同算法在各数据集上的检测精度
(2)图的可视化
除了使用精度评估来验证模型的有效性之外，定性分析模型学习到的特征也同样具有价值。为了实现这一点，我们利用Python Networkx可视化了从P-GAT初始层转换后的特征。通过一系列实验可以观察到（更详细的内容可查看论文），相对于P-GAT，普通图注意力模型学习出的权重在不同节点之间的变化较小，也就是说，分配给节点的权重倾向于集中在一个狭窄的范围之内。这意味着不同的地物类型和不同的空间位置对彼此产生的影响更为相似。然而在处理复杂数据时，这样会导致模型难以捕捉到不同节点之间的细微差别。因此，如果学习到的权重在各个节点之间表现出相似性，这有可能会限制注意力模型的性能。
由P-GAT得到的结果显示其相邻节点分配的权重存在显著差异。P-GAT结合空间位置信息，使模型在评估节点之间的连接关系时更加强调邻近性。这意味着地理位置更接近的节点会得到更高的关注，从而增强模型的空间理解能力。
图4不同节点的树形图和多变量折线图示例
研究在讨论部分，同样研究了噪声对检测结果的影响，分析了各方法的模型复杂度，更多内容可查阅论文。
04
【总结】
在神经网络理论的基础上，深入研究了深度学习和空间知识之间的强大协同作用，通过增强模型对环境的理解来提高其解释的能力。结果表明，基于位置感知图注意力的变化检测模型能够很好地从双时间图像中提取变化特征。总的来说，地理空间信息的结合增强了模型的空间理解能力，进一步提高了变化检测的准确性。
作者简介
通讯作者：李响教授，先后于南京大学获得学士及硕士学位，于香港中文大学获得博士学位，曾于法国及美国从事博士后研究工作，目前任职于华东师范大学地理科学学院暨地理信息科学教育部重点实验室，受聘为教授、博士生导师，同时担任城市空间优化与智能交通研究工作室负责人，在2017年起，受聘担任GIS领域顶级期刊IJGIS编委。其主要研究方向为“时空轨迹大数据处理及应用”与“空间智能分析算法”。
个人主页：https://faculty.ecnu.edu.cn/_s33/lx2/main.psp
微信公众号：大数据攻城狮
电子邮箱：xli@geo.ecnu.edu.cn
第一作者：王默杨，华东师范大学地理科学学院博士研究生，主要研究方向为高分辨率遥感图像解译与深度学习应用。目前以第一或共同第一作者身份发表SCI论文3篇，以队长身份参与厦门大数据安全开放创新应用大赛获得二等奖1项，曾获华东师范大学校优秀学生等，曾在第十届全国地理信息科学博士生学术论坛、第十届全国地图学与地理信息系统学术大会作报告。
电子邮箱：wangx_teresa@stu.ecnu.edu.cn
转自：“生态遥感前沿”微信公众号
如有侵权，请联系本站删除！
