摘要：针对应用于各类移动平台导航的视觉惯性里程计（VIO）在回环检测失败时，系统状态估计存在严重漂移且缺乏全局一致性的问题，在全球导航卫星系统（GNSS）拒止情况下，将室内定位技术超宽带（UWB）代替GNSS加入到视觉惯性里程计可以校正累积误差，提高系统定位精度和稳定性。本文聚焦视觉/惯性/UWB多传感器融合技术，介绍了视觉/惯性/UWB组合导航系统的基本组成，对多传感器时空标定进行了回顾，并梳理了视觉/惯性/UWB数据融合算法，最后对组合系统未来的发展趋势进行了展望。
0 引言
同时定位与建图（simultaneous localization and mapping，SLAM）技术研究的问题是移动机器人如何利用自身搭载的传感器进行定位，并对周围环境信息构建地图。里程计作为SLAM系统的前端组成部分，用于位姿解算。由于自动驾驶、机器人应用等对高精度、实时、全局一致的导航定位技术的需求，SLAM前端里程计被广泛应用于各种移动平台导航中。目前SLAM前端主要基于激光雷达和相机两类传感器为主体。激光雷达里程计在相似的几何环境中重定位能力较差，而视觉里程计虽然具有较好的场景重定位能力，但是在高动态环境、低纹理特征以及遮挡条件下往往会失效[1]。
由于单传感器自身的局限性以及环境的复杂性，多传感器融合定位目前已是主流。近年来，视觉惯性里程计（visual-inertial odometry，VIO）[2-3]利用相机与惯性测量单元（inertial measurement unit，IMU）之间的互补性，实现可靠、实时的位姿和速度估计。但是在无法进行回环检测时，传感器噪声误差和状态估计误差会使系统随时间进行累积漂移，从而使系统性能下降。此外，对于零加速度和恒加速的特定运动，VIO尺度变得不可观[4]。因此，在室外环境下通常额外加入全球导航卫星系统（global navigation satellite system，GNSS）进行全局定位[5-6]，提高尺度可观性，减小误差累积。然而在卫星拒止的环境下，如停车场、隧道等小规模场景下，相比于射频识别技术（radio frequency identification，RFID）、WiFi等室内无线定位技术，超宽带（ultra wideband，UWB）技术定位精度高不易受干扰，因此用UWB进行代替[7-8]。
UWB技术在室内定位方面比较成熟，但受到多径效应、非视距（non line of sight，NLOS）等因素的影响，导致部分距离测量精度较低，进而影响定位结果。其次，UWB三维定位需要4个及以上UWB基站（锚点），且要求事先测量基站位置。然而在实际应用中，布设多个已知UWB基站的定位方案会限制场景的使用范围，不适用于对未知环境的勘探。因此，常加入IMU[9-10]、相机[11-12]等传感器进行辅助UWB定位，从而减轻UWB基站的布设复杂度和减少非视距误差的影响。
综上所述，相机、IMU和UWB三者之间具有较好的互补性。IMU和UWB可以用于补偿单目视觉缺失的尺度信息，相机和UWB可以用来校正惯性导航系统的累积误差，相机和IMU则可以弱化UWB基站的配置。鲁棒的感知端是组合导航定位技术发展的趋势[13]，将相机、IMU和UWB进行组合是提升精度和鲁棒性的重要方式，因此有必要对视觉/惯性/UWB组合导航技术进行分析。本文首先介绍视觉/惯性/UWB组合导航系统组成，其次对组合的传感器标定回顾，并梳理了视觉/惯性/UWB数据融合算法，最后对多传感器组合导航技术的未来发展趋势进行了讨论。
1 系统组成
视觉/惯性/UWB组合导航系统主要包含视觉传感器、惯性测量单元、UWB标签和基站、数据预处理模块以及数据融合算法，系统组成如图1所示。
1.1 传感器组成
视觉/惯性/UWB组合导航系统的传感器由视觉、惯性、UWB传感器3部分组成。视觉传感器，即图像采集单元，一般由相机构成，常使用的视觉传感器有单目、双目（多目）、RGBD这3类，另外还有鱼眼、全景、事件等特殊相机。主要为前端按照一定频率提供图像数据，用于相对位姿估计。惯性传感器，由加速度计和陀螺仪组成，负责测量三轴加速度和三轴角速度。一般采用低成本、小尺寸、易于集成的微机电系统（micro-electro-mechanical system，MEMS）器件，受精度影响需要进行适当的标定和补偿，以及进行零偏的动态估计。UWB传感器，包括安装在移动载体平台上的UWB标签和部署在周围外部环境中的UWB基站。在实际工作过程中，UWB基站以固定频率发送脉冲信号，由UWB标签接受该信号，并以USB串口形式将两者之间的测距信息传递给平台。
1.2 数据预处理模块
数据预处理模块是对采集的3种传感器数据进行时空同步。在视觉/惯性/UWB组合导航系统中，由于3种传感器在不同频率下进行工作，且在各自定义下的坐标系中采集数据，因此传输的数据往往在时间和空间上不统一。为了提高数据融合精度，需要将采集的不同传感器数据进行时空同步。
1.3 数据融合模块
数据融合模块，主要是对经过预处理后的上述3种传感器数据进行融合。根据数据间的耦合程度，可分为紧组合和松组合。在状态估计算法中，目前主流框架有滤波和图优化两种，且基于因子图融合也是当前研究趋势。
基于因子图优化方法将系统状态随时间的最大后验概率转换为最大化所有因子势能的乘积，因子图模型如图2所示。
2传感器标定
多源异构传感器的标定是后续数据融合处理的前提，也是提高组合导航定位精度的关键技术之一。在视觉/惯性/UWB组合中，多个传感器得到的信息来源于不同的硬件设备采集，在时间和空间上都存在不统一问题。所以需要对获得的不同传感器信息进行标定，主要包括内参标定和外参标定两个方面。内参标定是对单个传感器自身参数进行标定，而外参标定则是对不同传感器之间进行时间同步和空间标定。本文主要是对相机、IMU和UWB之间的外参标定方法进行介绍，对于各传感器内参的标定可参考相关文献。
2.1 时间同步
时间同步是指将基于各自内部时钟基准采集的不同传感器数据，通过硬同步或软同步的方式，将其统一到同一时间基准下，如图3所示。在视觉/惯性/GNSS的组合导航中，卫星导航接收机秒脉冲（pulse per second，PPS）信号能提供高精度的时钟基准，进而从硬件层面实现了3种传感器之间的时间同步。然而在视觉/惯性/UWB组合中，UWB难以与卫星导航接收机一样提供PPS的精确时钟同步信号，所以从硬同步上较难实现。
在时间软同步方面，常采用机器人操作系统（robot operating system，ROS）节点同步器来同步消息数据，将不同传感器数据封装成标准消息格式，然后打上系统时间戳，这样便将不同来源的信息统一到ROS时间基准下[14]。然而由于传感器自身延迟的影响，统一到同一时间基准下的各传感器数据时间之间仍存在微小的时间偏移。在视觉/惯性/UWB组合中，通常先对相机/IMU之间的时延先进行校准，再考虑UWB与相机/IMU之间的时间偏移问题。
在对相机和IMU传感器的时间参数离线校准中，应用最为广泛的Kalibr校准工具箱[15-16]，使用b样条参数化传感器轨迹运动以实现平滑的角加速度，可同时估计相机/IMU传感器之间的时间偏移和空间外参，并给出其估计的不确定性。离线时间校准往往假设时间偏移固定不变，而在线时间校准方法则可以实时对时间偏移进行标定。文献[17]在单目视觉惯性SLAM系统工作中假设在短时间内特征点匀速运动，对相机和IMU时间偏移进行在线估计，以及文献[18]在IMU预积分中加入时间差作为待优化变量进行计算。
对于UWB与相机/IMU之间的时间偏移，一般采用插值处理的方法较多。文献[19]在单目与UWB传感器紧耦合优化方案中，将UWB的电子器件造成的延迟距离偏差作为经验测量值，预先进行标定，以及对相机和UWB之间的时间戳偏移进行线性插值，并针对UWB非视距间歇性丢失测距数据的情况，只接受相机时间戳预定义截止阈值内的距离。
2.2 空间标定
空间标定则是指将基于各自定义的坐标系下采集的多源传感器数据源，求取传感器之间的刚性转换关系，将其统一到同一坐标系下，如图4所示。由于UWB只能提供3个自由度的绝对位置信息，因此只需要确定UWB在载体坐标系中的平移向量即可，即杆臂值。目前，对三组合空间标定主要采用分布标定策略。首先在视觉/惯性/UWB组合系统中标定相机/IMU、IMU/UWB之间的外参，再利用传递关系获得相机/UWB之间的外参。
对于相机和IMU传感器的空间参数离线校准，一般采用Kalibr校准工具箱进行标定。然而机器人长期运动中容易受到外部冲击或内部结构形变等因素的影响，离线校准往往失效。相反，在线校准[20-24]可以实时估计传感器之间的校准参数，更具鲁棒性和实用性。文献[20]将时间偏移和空间外参加入到视觉/惯性SLAM系统中，对运动参数和标定参数实现在线联合估计。文献[24]提出基于优化的单目VIO在线时空标定方法，使用时间偏移模型和短期运动插值算法来对齐和插值相机和IMU数据，并发送到增量估计器进行时空参数校准。
在对UWB/IMU的离线空间标定中，UWB与IMU之间的杆臂值可以通过全站仪等设备来精确量测[25]。在在线空间标定方法中，文献[26]将UWB/IMU空间参数加入到辅助状态中进行估计，从而实现系统的连续自校准，但是需要借助GNSS传感器。文献[27]推导出紧耦合UWB/IMU系统空间偏移的局部弱可观性和时间偏差的局部可识别性的条件，提出基于误差状态卡尔曼滤波（error-state Kalman filter，ESKF）的联合在线时空校准方法。文献[8]在对VIO输出的位姿结果与UWB进行融合优化时，将视觉惯性参考系与UWB标签坐标系的转换关系作为待估参量进行解算。
总体上，对于视觉/惯性/UWB传感器之间的时空标定，目前文献基本采用先对视觉/惯性标定，再对惯性/UWB标定的分布标定策略。视觉/惯性标定理论方法相对比较成熟，惯性/UWB标定相关文献较少，考虑到室内等小规模场景下运动速度较慢，UWB与惯性传感器的时延对定位结果影响不大，故一般只考虑不同输出频率带来的时间偏移问题。大部分相关文献是事先进行离线标定，对同时在线标定三传感器之间时空参数的研究还比较少。
3 基于视觉/惯性/UWB组合导航算法
本节主要介绍基于视觉/惯性/UWB的组合导航算法。视觉观测的地标信息、IMU测量的载体运动信息与UWB测量的距离信息有效融合的方式是组合导航系统的关键技术之一，本文将组合导航系统分为视觉/惯性、视觉/UWB、惯性/UWB和视觉/惯性/UWB这4类。基于视觉/惯性的组合导航算法可参考相关综述文献[28]，本文不再详细介绍。
3.1 视觉/UWB组合
在视觉/UWB组合中，与单目相机传感器结合较多。单目视觉SLAM在视觉定位中，存在尺度不确定和误差漂移等问题，引入UWB可以恢复单目视觉SLAM尺度和减小定位误差。文献[29]通过扩展卡尔曼滤波（extended Kalman filter，EKF）来融合单目ORB-SLAM定位结果与UWB解算的位置信息，但没有对UWB非视距误差进行剔除。文献[30]在行人室内定位中，提出基于EKF的单目相机与UWB融合框架，利用UWB锚点坐标计算单目相机尺度因子，在纹理稀疏、光线较暗的场景下取得较好效果。
以上对UWB定位数据和单目相机图像数据进行滤波松组合，不能充分利用融合的传感器数据，且研究中需要4个及以上UWB锚点，在场景中应用往往受限。文献[12]将单目视觉定位的位移增量与UWB测距值进行EKF紧组合，并加入UWB非视距误差鉴别方法，来提高系统精度和鲁棒性。
相比滤波算法需要与多个UWB锚点结合，基于优化的方法更倾向与单个锚点进行探索。文献[31]在未知环境导航中，抛落并固定UWB锚点，并用视觉和UWB测量信息进行紧耦合优化，恢复尺度信息来确定车辆姿态。前提是假设一个锚点位于局部坐标系下的原点，以便在发现其他锚点的位置之前轻松地找到尺度估计，但是对于单目视觉SLAM系统的每次操作，局部坐标系都是任意定义的。文献[19,32]提出UWB辅助单目视觉SLAM的紧耦合优化框架，适用于锚点数量不足的退化情况，在初始化阶段能同时估计尺度因子和固定锚点的未知位置，并对传感器间的时间偏差进行插值处理，实验表明，该算法在大范围和长走廊的挑战场景下表现出色。文献[33]基于单UWB锚点和单目相机紧耦合的非线性优化算法，在传统滑动窗口的基础上设计了一种包含长窗口和短窗口的双层滑动窗口，其中短滑动窗口优化UWB测距数据来边缘化关键帧，保证了系统的定位精度和运行效率。
3.2 惯性/UWB组合
在惯性和UWB传感器组合方面，扩展卡尔曼滤波[9]、无迹卡尔曼滤波（unscented Kalman filter，UKF）[34]、容积卡尔曼滤波（cubature Kalman filter，CKF）[35]、四元数卡尔曼滤波[36]、粒子滤波（particle filter，PF）[37]等滤波技术应用比较广泛。文献[9,38]以松组合方式描述了在EKF框架下融合UWB和惯性数据的状态估计系统，以两者的位置解算结果之差作为系统量测估计IMU定位误差。
上述方法在惯性端与UWB端应用松组合，在UWB基站小于4个的时候，UWB三维位置解失效，系统将无法解算。文献[29]通过采用单UWB基站/IMU紧组合的EKF和UKF算法，来减少部署成本。文献[40]采用一种联邦式EKF算法，将单个UWB测距值与IMU结合得到子滤波器，最后将子滤波器得到的误差估计值与协方差输入到主滤波器进行处理，提高容错性。虽然传统紧组合的方法可以在单UWB锚点情况下进行工作，但是需要对锚点位置进行精确测量。文献[41]在传统惯性/UWB紧组合框架的基础上，将UWB锚点位置信息加入到系统状态变量中并通过数据融合滤波器进行估计，以此减少对锚点信息的依赖，提高环境适应性。
滤波算法通常需要将非线性动力模型进行简化，因此带来不可预测的误差。优化算法相比滤波算法，一般具有更高的鲁棒性和定位精度，但是对计算资源消耗过大。文献[10]基于图优化的紧组合框架融合UWB单边距离和IMU位姿数据，并对UWB非视距测量值进行剔除，相比基于滤波器的定位方法，具有更高的定位精度，尤其是在高度上。针对紧组合中仅使用单边距离弱约束来求解位置可能导致不正确的估计，文献[42]将基于UWB的距离弱约束和位置强约束结果与IMU测量集成到统一的因子图框架中，从而提高系统的精度和稳定性。单UWB锚点与IMU紧组合优化同样应用于协作定位，文献[43]通过建立IMU和UWB的时空网络因子图，提出一种新的IMU/UWB协作定位算法来解决单锚点网络中的定位问题。
3.3 视觉/惯性/UWB组合
在对视觉/惯性/UWB组合导航技术的研究中，最初使用惯性/UWB进行实时定位，视觉传感器单独用来检测标记[44]或用来进行偏航角的引导[45]。随着滤波和优化方法的发展，3种传感器数据的融合更加紧密，扩展卡尔曼滤波[46-48]、最大相关熵卡尔曼滤波（maximum correntropy Kalman filter，MCKF）[49-50]、联邦卡尔曼滤波[51]，以及基于滑动窗口的优化方法[8,52-58]被广泛应用于视觉/惯性/UWB组合中，以此提高系统的鲁棒性和精度。国内相关研究方法[50-52]通常以松组合方式融合UWB数据，但需要4个及以上UWB锚点，而国外方法[53,55,58]以紧组合方式进行融合，以减少UWB锚点的配置，甚至只需要单个UWB锚点。
基于松组合的视觉/惯性/UWB组合系统大致分为3种思路。一种是将3种传感器输出的位姿或速度信息一起进行融合，文献[47]采用基于EKF的双目相机/IMU/UWB的融合方案，将UWB输出的位置信息、双目相机测量的速度信息、IMU更新的位姿和速度信息一起融合，受益于只是融合双目的估计速度，因此对视觉投影引入的方向误差更具免疫性。另一种则是先将其中两个传感器进行组合得到位姿信息，再与其他传感器输出的位姿信息融合。一般采用UWB与不同的视觉惯性组合前端进行结合，如双目相机[48]、深度相机[59]与IMU结合的VIO。相比于文献[48]视惯组合采用的双目S-MSCKF滤波算法，UVIP系统[8]采用融合双目相机的点、线特征并基于图优化的视惯组合前端，提升了弱纹理、大场景下的定位精度。还有一种是将3种传感器两两组合分别得到位姿信息，再融合两组合得到的位姿结果。由于IMU能够稳定地输出测量结果，多数采用惯性与视觉的融合滤波器和惯性与UWB的融合滤波器独立并行进行测量更新，然后将各自融合处理的数据传输到主滤波器中进行全局最优融合处理[51]。该方法能够有效降低系统的融合处理计算量，同时也能够避免因某个子级滤波器出现处理错误而产生的错误信息，极大地提高了容错能力。
相比松组合，紧组合直接融合3种传感器原始测量信息构建约束关系，能充分利用融合信息提升系统精度。文献[57]在前期提出的松组合UVIP系统基础上进行改进，提出视觉/惯性/UWB对准初始化过程和紧耦合框架的多传感器弹性融合方法，使系统能根据场景进行不同定位模式切换，但是仍与4个UWB锚点结合。在与单个未知UWB锚点结合的探索中，文献[53]在初始化阶段对锚点位置进行估计，并提出了一种双层滑动窗口紧耦合算法，提高了系统运行效率，如图5所示。以往的大部分方案以位置（相机帧）为中心构建因子图，即在相机帧找一个最近的UWB测距值配对。然而在实际工作中，UWB数据频率通常比相机数据频率高，因此丢弃了两个连续相机帧之间的所有其他UWB测距值。文献[55]在单目相机、IMU和单个未知UWB锚点的紧耦合优化方案中，提出以距离为中心构建因子图，补偿UWB与相机传感器之间的时间偏移，充分利用相机帧之间的所有可用UWB距离数据，提高了系统的精度。
视觉/惯性/UWB组合导航技术不仅在单机器人导航定位应用广泛，而且在多机协同的研究受到大量关注，其中对机器人间的相对变换矩阵估计是关键环节之一。文献[53]对分布式协同定位做了初步研究，利用公共锚点和机器人间UWB的测距值，估计两者之间的相对变换。文献[60]利用视觉/惯性/UWB紧耦合优化模块进行单机器人定位，再用UWB/VIO里程计估计机器人间的相对变换，从而进行多机器人的协作定位。文献[61-62]提出一种用于无人机蜂群相对定位的全分散视觉/惯性/UWB融合框架，采用视觉跟踪模块来对其他无人机进行跟踪和相对位姿估计，实现了厘米级相对状态估计精度。
由于标准数据集的缺乏以及相关算法并没有实现开源，难以对不同算法的精度进行对比分析。目前大多数方案是基于自建数据集进行测试，通常与主流开源VINS算法进行比较，表1对最近几年来部分基于滤波和优化的典型视觉/惯性/UWB组合算法进行总结，分析了各自融合的主要特点，以及说明了算法在真实场景下的精度。
表1 典型视觉/惯性/UWB组合导航算法对比分析
类别
融合方法
提出
年份
主要特点
精度
松组合
EKF[46]
2015
UWB测量距离用于辅助视觉惯性SLAM，以获得改进的无漂移全局六自由度位姿估计
自建数据集测试，定位误差0.2 m以内
旋转：6°以内
MCKF[49]
2019
先使用三种传感器的输出计算初始角度，再融合UWB与IMU数据
自建数据集测试，定位误差0.4 m以内
联邦滤波[51]
2020
选取惯性导航系统做公共参考系统，UWB/MIMU子系统、视觉/MIMU子系统进行联邦卡尔曼滤波
自建数据集测试，水平方向为0.071 m
三维空间为0.141 m
UVIP[8]
2021
先对双目PL-sVIO进行优化，将优化后的位姿结果与UWB结合，对距离和位姿进行约束（需要4个锚点）
自建数据集测试，平移：0.15 m以内
旋转：4.5°以内
ES-EKF[48]
2022
将双目S-MSCKF算法VIO定位结果与UWB定位结果融合
自建数据集测试，平面0.3 m左右
紧组合
R-UVIS[57]
2021
对UVIP进行改进，将UWB距离残差放在VIO中一起优化（需要4个锚点）
自建数据集测试，平移：0.13 m以内
旋转：3.3°以内
VIR-SLAM[53]
2021
用于单机器人的双层滑动窗口UWB、单目和惯性里程计，以及用于协作SLAM的转换估计模块（单锚点）
自建数据集测试
VINS-Mono:>5.4 m
VIR-SLAM:0.148 m
U-VIO[54]
2022
UWB测量用于前端位姿估计和后端回环优化，使用先前关键帧中的UWB测量值作为环路闭合约束
自建数据集测试，精度:0.2 m以内
U-VIO >MIR-VIO> VINS-Mono
PL-VIO/UWB[58]
2022
PL-VIO里程计与UWB紧耦合优化（单锚点）
自建数据集测试，精度:0.2 m左右
Proposed>ORB+
UWB>PL-VIO
总之，在视觉/UWB、惯性/UWB组合技术发展的基础上，视觉/惯性/UWB组合导航融合算法历经从传统滤波框架到图优化框架发展。在单移动平台导航定位中，由多UWB锚点辅助的松组合架构向单锚点辅助的紧组合架构结合方向发展。在多移动平台协作导航定位中，趋向于向仅依赖移动平台的UWB标签，无需固定锚点方向发展。目前的大部分研究是在视觉前端和滑动窗口等方面进行改进，在对传感器测量值的优劣评价机制和动态权重调整策略上的研究相对较少。
4 结束语
虽然过去几年内视觉/惯性/UWB组合导航技术朝着精度更高、鲁棒性更好、自适应能力更强方面不断发展，但仍存在许多挑战需要应对，未来的工作围绕以下方面进行展开。
1）标准数据集的建立。目前还没有关于视觉/惯性/UWB组合的标准数据集，验证算法需要自身组建实验平台进行采集，或者在开源VIO数据集基础上根据轨迹真值模拟出UWB测距信息，不利于视觉/惯性/UWB组合导航技术的长久发展。因此，后续需要利用小车、无人机等不同移动载荷平台在正常场景和挑战场景下进行数据的采集，以确保数据集的适用性。
2）适应性更强的在线多传感器外参标定方法。对于视觉/惯性/UWB之间的外参标定常采用分步标定，且多为离线标定。然而在实际场景下，外界物理环境的改变等都可能导致传感器间外参的变化。虽然两两传感器之间都有在线外参标定解决方案，但是没有在三传感器紧组合算法中进行同时在线估计，且容易受退化运动的影响，故此需要在三组合的基础上开发适应性更强的实时在线多传感器标定方法。
3）鲁棒性更好的数据融合算法。目前视觉/惯性/UWB融合算法大多是针对特定平台或限定环境而设计，在复杂动态条件下，传感器信息包含噪声和粗大误差时，融合算法如何根据动态变化调节传感器权重或切换组合模式，来保持组合系统的稳定性和精度是值得研究的问题。对单个传感器数据质量置信度的评估机制、传感器之间权重的弹性调节、组合模式的自动切换等都是未来鲁棒性算法的发展方向。
4）对其他传感器的扩展。已有相关文献在视觉/惯性/UWB组合基础上加入GNSS传感器[26]实现室内外无缝定位衔接，加入雷达传感器[63]实现密集场景重建，后续研究可以加入更多互补的传感器来适应不同的场景。但是目前的状态估计方法都是为有限模块的特定传感器而设计，不具有一般通用性。针对多传感器融合，设计一种即插即用的弹性融合框架来融合多源传感器信息是趋势所在。
5）对UWB其他信息的挖掘。目前组合中本质上还是仅仅对UWB的测距信息加以利用，并没有考虑角度的约束，未来可以通过结合锚点天线阵列获得角度信息来增强UWB的约束。在多平台协作定位时，可以利用UWB的带宽来实时传递其他节点的位置等信息，从而减少对基站的依赖，实现自主定位。
参考文献
[1] 王金科, 左星星, 赵祥瑞, 等. 多源融合SLAM的现状与挑战[J]. 中国图象图形学报, 2022, 27(2): 368-389. (WANG Jinke, ZUO Xingxing, ZHAO Xiangrui, et al. Review of multi-source fusion SLAM: current status and challenges [J]. Journal of Image and Graphics, 2022, 27(2): 368-389.)
[2] QIN Tong，LI Peiliang，SHEN Shaojie．VINS-mono：a robust and versatile monocular visual-inertial state estimator[J]．IEEE Transactions on Robotics，2018，34(4)：1004-1020．
[3] CAMPOS C，ELVIRA R，RODRÍGUEZ J G，et al．ORB-SLAM3：an accurate open-source library for visual，visual–inertial，and multimap SLAM[J]．IEEE Transactions on Robotics，2021，37(6)：1874-1890．
[4] WU K J，GUO C X，GEORGIOU G，et al．VINS on wheels[C]//2017 IEEE International Conference on Robotics and Automation (ICRA)．Singapore: IEEE，2017：5155-5162．
[5] CIOFFI G，SCARAMUZZA D．Tightly-coupled fusion of global positional measurements in optimization-based visual-inertial odometry[C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)．Las Vegas，NV，USA:IEEE，2021：5089-5095．
[6] CAO Shaozu，LU Xiuyuan，SHEN Shaojie．GVINS：tightly coupled GNSS–visual–inertial fusion for smooth and consistent state estimation[J]．IEEE Transactions on Robotics，2022，38(4)：2004-2021．
[7] LI Menggang，ZHU Hua，YOU Shaoze，et al．UWB-based localization system aided with inertial sensor for underground coal mine applications[J]．IEEE Sensors Journal，2020，20(12)：6652-6669．
[8] YANG Bo，LI Jun，ZHANG Hong．UVIP：robust UWB aided visual-inertial positioning system for complex indoor environments[C]//2021 IEEE International Conference on Robotics and Automation (ICRA)．Xi'an，China:IEEE，2021：5454-5460．
[9] YAO L，WU Y W A，YAO L，et al．An integrated IMU and UWB sensor based indoor positioning system[C]//2017 International Conference on Indoor Positioning and Indoor Navigation (IPIN)．Sapporo，Japan:IEEE，2017：1-8．
[10] WANG C，FANG X，NGUYEN T M，et al．Graph optimization approach to localization with IMU and ultra-wideband measurements[EB/OL]．[2022-09-14].https://www.xueshufan.com/publication/2892242666.
[11] ZENG Q，LIU D，LV C．UWB/binocular VO fusion algorithm based on adaptive Kalman filter[J]．Sensors (Basel)，2019，19(18)：E4044.
[12] 徐爱功, 闫可新, 高嵩, 等. 一种单目视觉里程计/UWB组合室内定位方法[J]. 导航定位学报, 2021, 9(5): 82-88. (XU Aigong, YAN Kexin, GAO Song, et al. A monocular visual odometry/UWB combination indoor positioning method[J]. Journal of Navigation and Positioning, 2021, 9(5): 82-88.)
[13] CADENA C，CARLONE L，CARRILLO H，et al．Past，present，and future of simultaneous localization and mapping：Toward the robust-perception age[J]．IEEE Transactions on Robotics，2016，32(6)：1309-1332．
[14] HU Hang，WU Jianhua，XIONG Zhenhua．A soft time synchronization framework for multi-sensors in autonomous localization and navigation[C]//2018 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM)．New York：ACM，2018：694-699.
[15] FURGALE P，REHDER J，SIEGWART R．Unified temporal and spatial calibration for multi-sensor systems[C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems．Tokyo，Japan:IEEE，2014：1280-1286．
[16] REHDER J，NIKOLIC J，SCHNEIDER T，et al．Extending kalibr：calibrating the extrinsics of multiple IMUs and of individual axes[C]//2016 IEEE International Conference on Robotics and Automation (ICRA)．Stockholm，Sweden:IEEE，2016：4304-4311．
[17] QIN Tong，SHEN Shaojie．Online temporal calibration for monocular visual-inertial systems[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)．Madrid，Spain：IEEE，2019：3662-3669．
[18] LIU Jinxu，HU Zhanyi，GAO Wei．Online temporal calibration of camera and IMU using nonlinear optimization[C]//2018 24th International Conference on Pattern Recognition (ICPR)．Beijing：IEEE，2018：1761-1766．
[19] NGUYEN T H，NGUYEN T M，XIE L H．Tightly-coupled ultra-wideband-aided monocular visual SLAM with degenerate anchor configurations[J]．Autonomous Robots，2020，44(8)：1519-1534．
[20] YANG Zhenfei，SHEN Shaojie．Monocular visual–inertial state estimation with online initialization and camera–IMU extrinsic calibration[J]．IEEE Transactions on Automation Science and Engineering，2017，14(1)：39-51．
[21] HUANG Weibo，LIU Hong．Online initialization and automatic camera-IMU extrinsic calibration for monocular visual-inertial SLAM[C]//2018 IEEE International Conference on Robotics and Automation (ICRA)．New York：ACM，2018：5182-5189．
[22] ECKENHOFF K，GENEVA P，BLOECKER J，et al．Multi-camera visual-inertial navigation with online intrinsic and extrinsic calibration[C]//2019 International Conference on Robotics and Automation (ICRA)．New York：ACM，2019：3158-3164．
[23] HUANG W, LIU H, WAN W. Online initialization and extrinsic spatial-temporal calibration for monocular visual-inertial odometry[P/OL].[2022-09-14]. https://doc.taixueshu.com/foreign/arXiv200405534.html.
[24] HUANG Weibo，WAN Weiwei，LIU Hong．Optimization-based online initialization and calibration of monocular visual-inertial odometry considering spatial-temporal constraints[J]．Sensors (Basel，Switzerland)，2021，21(8)：2673．
[25] 张征. 基于多传感器数据融合的煤矿井下移动机器人精确定位技术研究[D]. 北京：中国矿业大学, 2021. (ZHANG Zheng. Research on accurate positioning technology of mobile robot in coal mine based on multi-sensor data fusion[D].Beijing：China University of Mining and Technology, 2021.)
[26] HAUSMAN K，WEISS S，BROCKERS R，et al．Self-calibrating multi-sensor fusion with probabilistic measurement validation for seamless sensor switching on a UAV[C]//2016 IEEE International Conference on Robotics and Automation (ICRA)．Stockholm，Sweden：IEEE，2016：4289-4296．
[27] GOUDAR A，SCHOELLIG A P．Online spatio-temporal calibration of tightly-coupled ultrawideband-aided inertial localization[C]//2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)．Prague，Czech Republic：IEEE，2021：1161-1168．
[28] HUANG Guoquan．Visual-inertial navigation：a concise review[C]//2019 International Conference on Robotics and Automation (ICRA)．New York：ACM，2019：9572-9582．
[29] 乔智, 徐爱功, 隋心, 等. 一种单目视觉/UWB组合的室内定位方法[J]. 导航定位学报, 2018, 6(4): 29-34. (QIAO Zhi, XU Aigong, SUI Xin, et al. An integrated indoor positioning method using ORB-SLAM/UWB[J]. Journal of Navigation and Positioning, 2018, 6(4): 29-34.)
[30] LIU F，ZHANG J，WANG J，et al．An UWB/vision fusion scheme for determining pedestrians' indoor location[J]．Sensors (Basel，Switzerland)，2020，20(4)：E1139．
[31] SHI QIN，CUI XIAOWEI，LI WEI，et al．Visual-UWB navigation system for unknown environments"[EB/OL]．[2022-09-14].2019：arXiv：1912.01178．https：//arxiv．org/abs/1912.01178.
[32] NGUYEN T H，NGUYEN T M，XIE L H．Tightly-coupled single-anchor ultra-wideband-aided monocular visual odometry system[C]//2020 IEEE International Conference on Robotics and Automation (ICRA)．Paris，France:IEEE，2020：665-671．
[33] 苑婧. 基于超宽带与视觉SLAM融合定位算法研究[D]. 沈阳:辽宁大学, 2022. (YUAN Jing. Research on fusion positioning algorithm based on ultra-wideband and visual SLAM[D].Shenyang: Liaoning University, 2022.)
[34] YOU Weide，LI Fanbiao，LIAO Liqing，et al．Data fusion of UWB and IMU based on unscented Kalman filter for indoor localization of quadrotor UAV[J]．IEEE Access，2020，8：64971-64981．
[35] LIU F，LI X，WANG J，et al．An adaptive UWB/MEMS-IMU complementary Kalman filter for indoor location in NLOS environment[J]．Remote Sensing，2019，11(22)：2628．
[36] WEN Kai，YU Kegen，LI Yingbing，et al．A new quaternion Kalman filter based foot-mounted IMU and UWB tightly-coupled method for indoor pedestrian navigation[J]．IEEE Transactions on Vehicular Technology，2020，69(4)：4340-4352．
[37] WANG Yan，LI Xin．The IMU/UWB fusion positioning algorithm based on a particle filter[J]．ISPRS International Journal of Geo-Information，2017，6(8)：235．
[38] 刘韬, 徐爱功, 隋心. 超宽带与惯性导航组合的室内导航定位[J]. 测绘科学, 2016, 41(12): 162-166. (LIU Tao, XU Aigong, SUI Xin, et al. Application of UWB/INS combination in indoor navigation and positioning[J]. Science of Surveying and Mapping, 2016, 41(12): 162-166.)
[39] FENG Daquan，WANG Chunqi，HE Chunlong，et al．Kalman-filter-based integration of IMU and UWB for high-accuracy indoor positioning and navigation[J]．IEEE Internet of Things Journal，2020，7(4)：3133-3146．
[40] 徐元，陈熙源，崔冰波，等．一种采用联邦EKF的分布式INS/UWB人员无偏紧组合定位方法(英文)[J]．中国惯性技术学报，2017，25(1)：81-85． (XU Yuan，CHEN Xiyuan，CUI Bingbo，et al．Distributed unbiased tightly-coupled INS/UWB human localization via federated EKF[J]．Journal of Chinese Inertial Technology，2017，25(1)：81-85．)
[41] SHI Qin，ZHAO Sihao，CUI Xiaowei，et al．Anchor self-localization algorithm based on UWB ranging and inertial measurements[J]．Tsinghua Science and Technology，2019，24(6)：728-737．
[42] KANG J，PARK K，ARJMANDI Z，et al．Ultra-wideband aided UAV positioning using incremental smoothing with ranges and multilateration[C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)．Las Vegas，NV，USA:IEEE，2021：4529-4536．
[43] LIU Yangyang，YAN Ruina，LIAN Baowang，et al．Hybrid IMU/UWB cooperative localization algorithm in single-anchor networks[J]．IEEE Geoscience and Remote Sensing Letters，2022，19：1-5．
[44] BENINI A，MANCINI A，LONGHI S．An IMU/UWB/vision-based extended Kalman filter for mini-UAV localization in indoor environment using 802.15.4a wireless sensor network[J]．Journal of Intelligent & Robotic Systems，2013，70(1)：461-476．
[45] 王安．基于信息融合的室内自主飞行快速开发方法[D]．长沙：国防科学技术大学，2016．(WANG An．An efficient developed method about indoor automomous flight based on information fusion[D]．Changsha：National University of Defense Technology，2016．)
[46] NYQVIST H E，SKOGLUND M A，HENDEBY G，et al．Pose estimation using monocular vision and inertial sensors aided with ultra wide band[C]//2015 International Conference on Indoor Positioning and Indoor Navigation (IPIN)．Banff，AB，Canada:IEEE，2015：1-10．
[47] SADRUDDIN H，MAHMOUD A，ATIA M．An indoor navigation system using stereo vision，IMU and UWB sensor fusion[C]//2019 IEEE SENSORS．Montreal，QC，Canada:IEEE，2020：1-4．
[48] 申炳琦，张志明，舒少龙．移动机器人超宽带与视觉惯性里程计组合的室内定位算法[J]．计算机应用，2022，42(12)：3924-3930． (SHEN Bingqi，ZHANG Zhiming，SHU Shaolong．UWB-VIO integrated indoor positioning algorithm for mobile robots[J]．Journal of Computer Applications，2022，42(12)：3924-3930．)
[49] XU X，LIU X，ZHAO B，et al．An extensible positioning system for locating mobile robots in unfamiliar environments[J]．Scientific Reports，2019，19(18)：E4025．
[50] 刘兴华. 基站信息不完备下UWB/惯性/视觉SLAM组合导航定位方法研究[D]. 南京：东南大学, 2020. (LIU Xinghua. Research on UWB/inertial/visual SLAM integrated positioning system with incomplete UWB anchor information[D].Nanjing: Southeast University, 2019.)
[51] 赵北辰. 基于惯性/视觉/UWB的组合定位技术研究[D]. 南京：东南大学, 2020. (ZHAO Beichen. Research on positioning technology based on inertial/vision/UWB combination[D]. Nanjing: Southeast University, 2020.)
[52] 杨博. 视觉/惯性/超宽带组合定位系统关键技术研究[D]. 南京：东南大学, 2020. (YANG Bo. the key technology of visual/inertial/UWB integrated positioning system[D]. Nanjing: Southeast University, 2020.)
[53] CAO Yanjun，BELTRAME G．VIR-SLAM：visual，inertial，and ranging SLAM for single and multi-robot systems[J]．Autonomous Robots，2021，45(6)：905-917．
[54] JUNG K，SHIN S，MYUNG H．U-VIO：Tightly coupled UWB visual inertial odometry for robust localization[M]//Robot Intelligence Technology and Applications 6．Cham：Springer International Publishing，2022：272-283．
[55] NGUYEN T H，NGUYEN T M，XIE Lihua．Range-focused fusion of camera-IMU-UWB for accurate and drift-reduced localization[J]．IEEE Robotics and Automation Letters，2021，6(2)：1678-1685．
[56] SHIN S，LEE E，CHOI J，et al．MIR-VIO：mutual information residual-based visual inertial odometry with UWB fusion for robust localization[C]//2021 21st International Conference on Control，Automation and Systems (ICCAS)．Jeju，Korea，Republic :IEEE，2021：91-96．
[57] YANG Bo，LI Jun，ZHANG Hong．Resilient indoor localization system based on UWB and visual–inertial sensors for complex environments[J]．IEEE Transactions on Instrumentation and Measurement，2021，70：1-14．
[58] GAO Bo，LIAN Baowang，WANG Dongjia，et al．Low drift visual inertial odometry with UWB aided for indoor localization[J]．IET Communications，2022，16(10)：1083-1093．
[59] WANG Chen，ZHANG Handuo，NGUYEN T M，et al．Ultra-wideband aided fast localization and mapping system[C]//2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)．Vancouver，BC，Canada:IEEE，2017：1602-1609．
[60] NGUYEN T H，NGUYEN T M，XIE L H．Flexible and resource-efficient multi-robot collaborative visual-inertial-range localization[J]．IEEE Robotics and Automation Letters，2022，7(2)：928-935．
[61] XU Hao，WANG Luqi，ZHANG Yichen，et al．Decentralized visual-inertial-UWB fusion for relative state estimation of aerial swarm[C]//2020 IEEE International Conference on Robotics and Automation (ICRA)．Paris，France:IEEE，2020：8776-8782．
[62] XU Hao，ZHANG Yichen，ZHOU Boyu，et al．Omni-swarm：a decentralized omnidirectional visual–inertial–UWB state estimation system for aerial swarms[J]．IEEE Transactions on Robotics，2022，38(6)：3374-3394．
[63] NGUYEN T M，YUAN SHENGHAI，CAO MUQING，et al．VIRAL SLAM：tightly coupled camera-IMU-UWB-LiDAR SLAM"[EB/OL]．[2022-09-14].https://www.xueshufan.com/publication/3160079326.
李雪强1,2，李建胜1，王安成1，李凯林1，杨子迪1
（1.信息工程大学 地理空间信息学院，郑州 450000；
2.61618部队，北京 100080）
作者简介：李雪强（1995—），男，江西南昌人，硕士研究生，主要研究方向为视觉导航、组合导航。
E-mail：291010396@qq.com
通信作者：李建胜 教授 E-mail: ljs2021@vip.henu.edu.cn
引用格式：李雪强,李建胜,王安成，等.视觉/惯性/UWB组合导航技术综述[J].测绘科学,2023,48(6):49-58.
转自：“测绘学术资讯”微信公众号
如有侵权，请联系本站删除！
