原题：MDC-Net：融合多方向约束和先验特征辅助神经网络的地基激光雷达点云枝叶分离方法研究
Dai, W., Jiang, Y., Zeng, W.*, Chen, R., Xu, Y., Zhu, Y., Xiao, W., Dong, Z., Guan, Q., 2023. MDC-Net: a multi-directional constrained and prior assisted neural network for wood and leaf separation from terrestrial laser scanning. International Journal of Digital Earth, 16:1, 1224-1245.
作者简介：
代文霞，博士，中国地质大学（武汉）地理与信息工程学院，副教授，硕士生导师，主要从事激光雷达林业遥感，点云数据处理与空间智能。
蒋一恒，硕士研究生，中国地质大学（武汉）地理与信息工程学院，研究方向：森林激光点云语义分割，点云深度学习。
曾文（通讯作者），博士，中国地质大学（武汉）地理与信息工程学院，教授，博士生导师，研究方向：计算机软件、应用及地理信息系统。
论文下载链接：https://doi.org/10.1080/17538947.2023.2198261
01
摘要
准确、高效的获取森林资源分布现状和动态，对理解生态系统过程、以及支撑广泛的林业应用具有重要意义。地基激光雷达扫描（Terrestrial Laser Scanning，TLS）技术可以提供详细、精确的三维森林结构信息，为森林结构参数测量，树木三维建模和立体监测提供了有效的技术手段。森林地基激光点云的枝干点和叶片点的分离，是量化多种森林生物物理参数和理解森林功能过程的重要前提和基础。本文提出了一种融合多方向约束和先验特征辅助的枝干分离神经网络（MDC-Net），它将原始3D坐标和来自先验知识的有用特征（先验特征）作为输入，并输出TLS点云逐点的语义标签（枝干/树叶）。MDC-Net包含两个关键单元：（1）多方向邻域构建单元（multi-directional neighborhood construction, MDNC），用于获取更具代表性的邻域，并在后续的局部特征提取中使用方向感知特征编码，以减轻遮挡效应；（2）引入协同特征编码单元（collaborative feature encoding, CFE），通过协作交叉编码将先验知识中的显著性特征整合到网络中，以增强对细结构（例如小树枝和树叶）的辨别力。MDC-Net 在中国广西森林的五个样地上进行了评估，每个样地面积为30m×30m，样地具有不同的树种分布和不同的树木形态结构（不同的枝干结构和树叶分布）。实验结果表明，MDC-Net 在5个样地上枝叶分离的OA和mIoU分别为0.973和0.821，优于传统的基于随机森林和密度聚类的方法，以及目前流行和相似的深度学习神经网络。我们相信MDC-Net将促进TLS在森林生态学研究中量化树木大小和形态的应用，从而推动相关生态应用的发展。
02
引言
近几十年来，TLS在森林生态系统科学中越来越受到重视和应用。TLS可以提供详尽、精细的森林三维结构信息，在森林资源调查，树木三维建模、森林火险评估和动物栖息地保护等方面具有良好的应用前景。枝叶分离是树木结构建模和许多生物物理参数估计的前提与基础，对森林经营管理和生态系统服务具有重要意义。例如，叶面积指数（LAI）被认为是森林生态学的主要变量之一，它的估计需要准确的枝叶分离，树叶点中混合枝干点会导致高估LAI。树叶的过滤对于树种分类很重要，因为树叶的季节性变化和多样性可能会限制落叶乔木分类的鲁棒性和稳定性。此外，TLS 枝叶分离将为TLS生态应用研究提供更多机会，包括辐射传输模型、质量和能量交换以及不同树木成分的净初级生产等方面的研究。
在过去的几十年里，一些基于传统的机器学习方法被提出用于TLS点云的枝叶分离研究。其中许多都包含两个基本步骤：即提取特征和分类。代表性特征包括几何特征(例如，维度特征、密度和曲率)、辐射特征以及两者的组合。分类方法可分为无监督和有监督机器学习算法，如支持向量机(SVM)，随机森林(RF)，或高斯混合模型(GMM)，基于密度的带噪声的应用空间聚类(DBSCAN)聚类，以及图路径分析等。尽管这些方法在测试数据集上取得了较好的效果，但从TLS数据中分离枝干点和树叶点仍然面临挑战，特别是对于亚热带森林。亚热带森林通常具有多样和复杂的分支和树冠结构。
近年来，随着深度学习在图像领域的成功，其在点云分类和语义分割领域也得到了广泛关注。越来越多学者将深度学习模型用于森林点云语义分割和树木部件结构提取。有研究将点云转化成规则的多视图和基于体素表示，从而可以直接使用标准的卷积神经网络。但是，这些将无序的点云转换成规则格网的方式存在信息丢失和计算成本高的问题。因此，有学者提出PointNet和PointNet++，通过设计更加灵活和通用的卷积结构来直接处理三维点云。为直接基于点的深度学习框架奠定了基础。基于点的深度学习方法已被应用于森林点云的语义分割。然而，它们在点密度较低的细小的树枝，以及由于扫描距离和树冠遮挡等造成的稀疏的树干上部效果会下降。这些现有的网络未能结合多向和多尺度的特征来进行更具代表性和区分性的特征学习。有研究表明先验特征可以使深度学习架构更有效地学习重要信息。然而，据我们所知，目前的深度学习架构很少考虑对森林点云语义分割先验特征（几何特征和辐射特征）的知识。
本文提出了一种新的融合多方向约束和先验特征辅助的卷积神经网络（MDC-Net）用于TLS森林点云中的枝叶分离。本文的主要贡献如下：1）在局部特征编码模块中，本文提出了一种多方向邻域构建方法，在局部特征编码中获得更有代表性的邻域点，缓解点集的遮挡效应；2）除了使用先验特征作为MDC-Net的输入外，本文进一步融合空间结构、先验特征和语义特征，提出了协同特征编码单元，增强了对细结构(如细小树枝和树叶)的识别能力；3）本文将多方向邻域和协同特征编码嵌入到一个多尺度网络架构中，以实现TLS森林点云中有效的枝叶分离。
03
研究区域和数据
研究区位于广西壮族自治区贵港、桂林、来宾和钦州四个林区（如图1a所示）。四个林区均属亚热带季风气候，年平均气温21-23℃。四个林区的主要树种有马尾松、杉木、粗桉、尾叶桉和马占相思。本研究选取了5个具有不同树木枝干结构和树叶分布的样地，如图1b所示。每个样地面积为30 m × 30 m。5个样地的树种，树高，胸径和林分密度等信息如表1所示。
(a)
(b)
图1. 样地在中国广西的分布(a)和五个样地的照片(b)
表1. 样地基本信息
04
方法
本文提出的MDC-Net的整体架构如图2所示。以森林TLS点云的原始三维坐标和枝叶分离的先验特征为输入，MDC-Net为每个点生成语义标签作为输出。本文提出了一种新的MDC-Conv卷积模块，来提取更具区分性的枝叶分离特征。在MDC-Conv模块的基础上，本文采用了PointNet++中提出的下采样和上采样模块，构建了一个多尺度点特征学习的MDC-Net网络。如图2所示。此外，为了将降采样中的信息纳入上采样阶段，在上采样阶段和下采样阶段之间应用了跳跃连接，将下采样阶段的低层次特征与上采样阶段相同点集大小的特征矩阵进行级联。MDC-Conv模块由三个单元组成：多向邻域构建（MDNC）单元、协同特征编码（CFE）单元和多向特征聚合（MDFA）单元。
图2. MDC-Net 结构框架图
（1） 多向邻域构建单元（MDNC）
首先将输入的3D点云投影到XOY平面上，然后在每个Nd (默认设置Nd为8)均匀划分的区域（角段）中搜索M个最近的邻域点，得到具有方向信息的感受野。一方面，该感受野具有方向性约束，可以保证每个角段方向至少有一个邻域点；另一方面，二维搜索可以在垂直方向上获得更多的点，更有利于因遮挡而稀疏的树干上部的提取。类似地，为了减轻来自不同水平方向的树冠内部分支结构的遮挡，本文通过沿两个主要水平轴(X和Y轴)投影所有输入3D点来增强感受野，即将输入点投影到XOZ和YOZ平面上，并进行与XOY投影中相同的方向约束邻域搜索，如图3。
图3. 多向邻域构建（MDNC）示意图
（2）协同特征编码单元（CFE）
协同特征包括显式特征和隐式特征两部分。显式特征是指可解释的特征，并已被证明在枝叶分离中是有效的，包括点云固有的3D坐标(x,y,z)，以及在以前的传统的机器学习方法中使用的先验特征(pf)。在本研究中，先验特征包括SoD指数和强度。隐式特征是指由基于CNN产生的多维特征(mf)，隐含着潜在的语义上下文。如图4所示，显式特征编码包括空间坐标编码和先验特征编码。经过显式特征编码(图4a)和隐式特征编码(图4b)后，将两种特征交叉编码组合，生成协同特征(图4c)。CFE单元同时应用于XOY，XOZ，YOZ三个投影面的结果。
图4. 协同特征编码（CFE）示意图
（3）多向特征聚合单元（MDFA）
对每一个投影面而言，MDFA单元包括两个步骤：1）聚合每个角段M个点的协同特征；2）所有角段的特征聚合。
1）聚合每个角段内M个点的协同特征，使用1×M卷积实现的，每个角段内的步幅为M。给定角段为Nd，M个邻域点及其维度为B×N×Nd×M×d的特征，输出维度为B×N×Nd×d'的张量，其中B表示批次大小，N表示点的个数，d和d'表示输入和输出特征维度。
2）所有角段的特征聚合，使用1×Nd卷积实现的，每个角段内的步幅为Nd。给定角段Nd及其维度为B×N×Nd×d'的特征，输出维度为B×N×d'的张量。
最后三个投影结果都经过特征聚合以后得到FXOY, FYOZ, FXOZ，三个投影特征进行合并得到最终特征FA：
05
实验结果和讨论
本文所有实验均在NVIDIA GeForce RTX 3090Ti, Intel Core i7-12700F CPU, and 32GB RAM上进行。
本文提出的MDC-Net在五个样地的枝干点和树叶点分类结果如图5所示。五个测试地块的树木呈现不同的枝干结构和叶片分布，MDC-Net模型成功地对森林场景中大部分不同树木结构的点生成了正确的标签预测。样地级的结果如表2所示。五个样地的平均mIoU、OA和Kappa分别为0.821、0.973和0.801。
图5. 不同结构树木的木叶分离结果
表2. 五个样地分类结果的量化指标
1. 对比实验
表3总结了所提出的MDC-Net与流行的点云语义分割网络以及其他相似深度学习模型的枝叶分离结果，包括PointNet++、DGCNN、PointSIFT、D-FCN和RandLA-Net。此外，本文也与两种具有代表性的传统机器学习方法进行了比较，即基于几何特征的枝叶分离方法，和融合几何和强度特征的枝叶分离方法。结果表明，深度学习方法在OA和mIoU方面均优于传统机器学习方法。本文提出的MDC-Net在5个样地上的OA为0.973,mIoU为0.821，优于其他相似的点云深度学习模型。
表3. 不同方法的枝叶分离结果比较，黑色字体为每一项指标的最高值
为了直观地比较表3中不同的深度学习方法，图6展示了表3中五种对比的深度学习方法的枝叶分离结果。图6中的黑色矩形表明，对于树上部冠内的弯曲树干和点稀疏的树干，所提出的MDC-Net模型比其他模型表现更好，在弯曲和密度较小的树干上取得了显著的改善。
图6. 不同深度学习方法结果对比
2. 可移植性实验
为了揭示模型的迁移能力并证明模型在更大范围和规模的数据集上的实用性和局限性，本文在其他数据集上测试了模型。模型在附加点云上的结果如表4所示。平均mIoU、OA和Kappa系数分别为0.861、0.949和0.845。具体而言，7个样本的OA均达到90%以上，表明该模型对不同树种的不同树木具有较好的木材和叶片分类性能。这表明所提出的模型有可能用于不包括在训练过程中的树种。此外，7个样本的枝干IoU均高于0.65。这表明我们的模型在非优势类别（枝干点）上取得了合理的分类性能。可以发现，本文提出的方法并不倾向于将非优势类(枝干)划分为优势类(树叶)，并且在对枝干和树叶进行分类时具有很好的平衡性。
表4. MDC-Net在其它数据上的分类结果
3. 多向邻域构建单元（MDNC）消融实验
为了证明多方向邻域构建单元（MDNC）的有效性，本文设计了四种不同的邻域搜索策略来替代MDNC单元，包括：（1）原始的三维空间K近邻（KNN3D），它直接在三维点云中进行K近邻搜索，没有方向限制；（2）三维空间八方向约束搜索（ED3D），将三维空间按三个坐标划分为八个立方体，并在每个立方体中寻找最近的邻域点；（3）由XOY投影在二维空间中的八方向约束搜索（ED2D_XOY），该方法首先将三维点投影到XOY平面上，然后将二维空间划分为八个角段，并在每个角段中寻找最近的邻域点；（4）由XOY投影、XOZ投影和YOZ投影在二维空间中进行四向约束搜索（FD2D），与本文的MDNC单元类似，但角段数减少到4个。
五种比较搜索策略的枝叶分离结果如表5所示。结果表明，所提出的MDNC单元优于其他邻域搜索策略，MDNC能够提供更全面、更丰富的邻域点信息，使用8个方向约束的角段比使用4个方向约束的角段获得更好的性能。
表5. MDNC单元消融实验结果
4. 协同特征编码单元（CFE）消融实验
为了探索以先验特征为初始输入和CFE单元的有效性，本文设计了不同的编码策略进行局部特征提取。具体来说，本文进行了以下编码方法：（1）从网络的初始输入中去除先验特征，并保持其他特征不变（M1）；（2）去除CFE单元，其余保持不变（M2）；（3）同时从输入和CFE单元中去除先验特征（M3）；（4）将CFE单元替换为MLP（M4）；（5）去除CFE单元的交叉编码（M5）。
表6总结了五种不同局部特征编码策略的枝叶分离分类结果。表6表明M1-M2的性能比MDC-Net低，这表明了以先验特征作为初始输入和CFE单元的有效性。在这些模型中，M3的性能最低，说明无论采用何种编码策略，先验特征都能提高算法的性能。CFE单元的性能优于M4和M5，说明CFE中的编码策略优于M4和M5中的MLP和拼接操作，证明了先验特征和编码策略在CFE中显式特征和隐式特征的有效性。
表6. CFE单元的消融实验结果
5. 多向特征聚单元合（MDFA）消融实验
为了验证所提出的MDFA单元的有效性，我们使用不同的聚合策略进行了实验。我们将MDFA单元替换为（1）最大值池化和（2）注意力池化。表7总结了三种不同局部特征聚合策略的枝叶分离结果。结果表明，所提出的MDFA单元的性能始终优于最大池化和注意力池化。
表7. MDFA单元消融实验结果
06
结论
本文提出了一种融合多方向约束和先验特征辅助神经网络(MDC-Net)来对TLS点云中的枝干点和树叶点进行分类。具体而言，本文引入了一种新的多向协同卷积(MDC-Conv)模块，从更具代表性的邻域点中提取局部特征，并从先验知识中嵌入有效的特征，以增强学习的辨别能力。以广西壮族自治区4个林区中的5个样地为实验数据，对所提出模型的性能进行了测试。通过与其它流行的相关模型和消融研究的对比实验，进一步分析了该模型的性能和优点。结果表明，该模型具有较好的分类性能，OA为0.973，mIoU为0.821。MDC-Net模型提高了对了被遮挡的树干和细枝结构的分类效果，这将促进TLS在量化森林结构中的应用，并促进TLS在森林生态学中的应用和推广。
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
