2023/3/17 16:21:39 阅读：139 发布者：
来源：
以下文章来源于深圳大学可视计算研究中心 ，作者王明阳
导读
本文是VCC王明阳同学对论文 PredRecon: A Prediction-boosted Planning Framework for Fast and High-quality Autonomous Aerial Reconstruction 的解读，该工作由中山大学、香港科技大学、浙江大学共同完成，已发表在国际机器人顶会 IEEE International Conference on Robotics and Automation (ICRA) 2023上。
项目主页：
https://github.com/HKUST-Aerial-Robotics/PredRecon
该工作提出了一个表面预测模块(SPM)，能从当前的部分重建中预测出目标的粗糙完整表面，然后通过体映射处理待无人机观察的未覆盖的表面。最后，层次规划器对三维重建采集路径进行规划，从而找到有效的全局覆盖路径。
注：本文
与视频均来自原论文与其项目主页。
I
引言
近年来，高质量的三维重建在文物数字化、AR/VR、结构检测等各种应用领域都是一个活跃的话题。无人机(UAV)由于其高度的灵活性，是实现快速、准确、完整的目标区域三维重建的理想选择。为有效提高重建质量和效率，自主空中重建路径规划框架至关重要。
以往的许多方法[1]-[4]都采用了需要两条扫描路径的explore-then-exploit策略，或者依靠粗糙先验模型来获得重建路径。这种策略存在几个缺点：
（1) 两条扫描路径导致任务完成效率不佳。
（2) 由于需要输入先验模型，任务不能完全自动化。
（3) 由于仅基于粗糙或先验模型进行规划，无法保证目标区域细节的准确完整，无法根据实际观测实时调整飞行路径。
又有若干研究[5]-[7]提出了不依赖现有模型的单次扫描路径规划方法，部分解决了上述问题。然而，由于目标区域之前是未知的，并且分配了大量的时间去探索未知区域，效率并不令人满意。此外，其中一些方法的计算时间成本很高，会导致走走停停的行为，甚至需要与外部高端计算机通信。
本次导读论文设计了一个无人机路径规划框架PredRecon，通过预测曲面的几何轮廓指导路径规划，一次飞行便可以有效地重建目标区域的高质量3D模型。该方法的灵感来自于人类可以根据自己的知识和经验，通过局部的观察，合理地推断出那些不完整的结构。根据推断出的结构或表面可以生成更有实际意义的视点，从而可以得到更有效地覆盖整个目标的全局路径，而不会浪费大量时间探索未知空间。基于此，文中引入了一个基于学习的表面预测模块(SPM)，该模块从当前目标的局部表面预测出粗糙的完整表面。随后，实时体映射从预测结果和当前重建结果中提取不完整的表面作为未覆盖的部分。分层规划器首先找到一条有效的全局路径，在全局路径的指导下，通过优化影响MVS性能的关键因素，生成从当前视点到下一个视点的局部路径段，获取目标的像位对。最终将采集的数据用于三维重建。
II
技术贡献
本工作主要贡献如下：
表面预测模块(SPM)，直接从部分重建信息中推断出完整的目标表面，可以有效地对目标进行全局覆盖，而不会浪费大量的额外探测时间；
基于SPM的分层规划器，充分考虑MVS相关因素和全局覆盖，实现更高的重建质量和效率。
表1用四种方法描述了每种重建方法在两种场景下的重建质量。显然，本文提出的方法获得了更高的准确度、召回率和F-score，这主要是因为局部规划旨在优化MVS性能，并且每当预测和地图更新时，文中的方法实时重新规划路径以获得完整的细节。
表1 两个场景下的路径规划与三维重建结果
III
方法介绍
PredRecon方法主要由表面预测模块和分层规划器两部分组成，SPM从当前的局部地图预测整个目标模型曲面的尺度和点云。然后，实时体映射利用SPM结果提取剩余的未覆盖表面。在此之后，分层规划器将查找全局路径并生成局部轨迹，以最大化全局覆盖效率和MVS性能。
图1 系统概述
表面预测模块
A. Data Pre-process
SPM的输入是当前的部分地图点云的下采样
，
其具有数量上限
。
与之前的工作不同，这里直接通过变换 处理每个点
：
其中， 是 的中心，将变换过的点存入
，
送入预测网络。
B. Prediction Network Structure
输入 表示包含每个点的三维坐标 的 矩阵。具体来说，利用PointNet[8]作为其排列不变性和有效的全局特征提取的骨干。然后，有两个多层感知器(MLP)作为输出分支。回归MLP直接给出一个向量
，
表示三个轴上的尺度。为了进一步提高尺度预测的准确度，PointNet之后的局部特征图被通过偏移量MLP特殊处理，得到相应的偏移量
。
因此目标尺度 可以被表示为：
Surface prediction header负责根据归一化后的 生成目标的完整曲面。利用一个共享的MLP将标准化 中的每个点编码到特征映射 中。然后，以 为编码器，执行PointPillars Feature Net[9]，以较低的计算成本聚合不同区域的几何信息。此外，PointPillars可以使网络具有空间感知能力，可以扩展或补全不同区域的部分曲面。对于损失函数，使用 permutation invariant Chamfer Distance 来监督网络输出与其真实值 之间的差异，如下所示：
然后，将 和逆归一化 拼接成 矩阵作为预测曲面
。
分层规划器
在确定未覆盖表面后，路径规划可以表示为生成有效且完全覆盖未覆盖表面的路径。为了实现这一目标，分层规划分为两个步骤：
全局覆盖路径规划；
质量驱动的局部路径规划。
A. Global Coverage Path Planning
首先，在未覆盖表面上进行基于欧氏距离和法向的聚类方法，提取待访问的聚类
。
然后，对 视点的生成采用双采样方法，即对每个聚类在各自的扇形圆柱中从中心向法线方向采样一组覆盖视点。最后，选取各聚类中地表可见率最高的视点 其中 表示位置和偏航角。视点的可见率定义为：
为了找到从当前姿态经过每个视点的最短路径，本文将这个问题表述为不对称旅行商问题(ATSP)。因此，通过ATSP，便可以找到从当前姿态开始访问整个未覆盖曲面的有效全局覆盖路径。
B. Quality-driven Local Path Planning
与全局规划不同的是，局部段所覆盖的聚类被进一步细分为更小的聚类，而局部规划中的视点采样空间由两个相邻的聚类确定。局部视角集被表示为：
，
聚类
。
路径的MVS性能可以看作是该路径上所有三角剖分单元的重构质量 的和。那么三角剖分单元的 可以写成：
其中， 为能见度、 为相对距离， 为三角剖分角，计算方式分别如下：
其中， 和 为两个十点到曲面中心的距离。 为 和 的夹角。 为曲面的中心。 是数值稳定性的一个小常数值。
因此，我们可以将MVS启发式代价 和总成本 表示为：
为了优化局部路径代价
，
我们将其表述为一个图搜索问题。然后，采用Dijkstra算法搜索最优局部路径，使成本最小化：
最后，利用[10]中的方法将局部路径转换为考虑MVS性能的安全、平滑、动态可行且时间最短的b样条局部轨迹，实现图像-姿态对的有效采集。
IV
部分结果展示
作者在UE4中的现实模拟器AirSim中进行了仿真实验。在两个高度纹理的场景中进行了基准测试，宫殿和村庄房屋。采用视场 [80°，60°] 前视摄像头的无人机作为实验平台。它捕获图像的分辨率为1280 × 720px，同时限制 = 0.85m/s和 = 0.5rad/s。
图2 所提出的方法Plan3D [2]，CAPP[1]和FUEL[6]的基准比较(重建的3D模型和执行轨迹的体积图)
表2 点云计算性能比较
V
总结与展望
本文提出了一种基于预测的规划框架，用于高效、高质量的自主三维重建。提出的SPM从局部信息预测完整曲面，为路径规划器提供全局信息。在SPM的基础上，分层规划器对三维重建的运动进行顺序规划。寻找有效的全局覆盖路径，优化重建质量驱动的局部路径，以提高MVS性能，并生成平滑的相应局部轨迹。该方法通过引入SPM并考虑MVS相关因素，提高了重建效率和质量。与现有的经典和最先进的方法相比，在具有挑战性的模拟基准测试中证明了PredRecon的能力。
该方法的局限性是缺乏足够的实际测试以及SPM的有限的泛化和鲁棒性。在未来工作中，应进一步优化SPM架构，以获得更好的数据表示，并实现更具挑战性的现实测试。
VI
思考与讨论
Q: 文章（当前的预印本）中SPM与分层规划器哪些可能的不足？
A: 对于SPM，如何保证根据预测表面生成的视角的安全性是决定该方法能否应用于现实场景下的关键。分层规划器的全局规划过程为一个ATSP问题，在更大的场景中，volumetric map会急速增大，由于其目前缺乏真实场景测试，无人机算力与虚拟环境相差甚远，因而其算法性能能否达到实时性有待检验。
以下是开放性问题，欢迎读者朋友留言讨论：
Q: PredRecon 实验中所选用的场景Palace和Village house均只包含单体建筑，若将应用场景改变为更大规模的场景，文中的分层规划器在算法复杂度与有效性上是否会受到影响？
转自：“arXiv每日学术速递”微信公众号
如有侵权，请联系本站删除！
