面向智能驾驶的高精度多源融合定位综述

面向智能驾驶的高精度多源融合定位综述

许智理,闫倬豪,李星星,申志恒,周宇轩,吴宗洲,李 昕

(武汉大学测绘学院,武汉 430079）

摘要:

随着信息时代各行各业效率的提升,传统的人工驾驶交通系统已逐渐无法满足人们对高 效率、低风险交通服务的需求,而智能驾驶技术的出现为这一领域带来了机遇。如今,以自动驾驶 为代表的智能驾驶已经成为一种实用的深度交叉技术,其核心模块包括高精度定位、场景感知、决 策规划与控制等。定位模块作为智能驾驶系统中最基本、最核心的功能模块,需具备高精度、高可 用、低时延的性能特点。当前,结合高精度卫星导航、惯性导航以及环境感知的多源融合技术已成 为实现泛在智能驾驶所公认的核心手段,通过充分利用车载传感器的量测信息可以实现精确、可 靠的定位服务。从导航定位中常用的传感器技术出发,对当前智能驾驶领域涉及的高精度定位技 术进行了全面的回顾,给出了主流的基于滤波和因子图优化的多源融合框架,并对代表性算法进 行了整理。最后,总结了现阶段智能驾驶中高精度定位技术的发展现状,并对未来的发展趋势进 行了展望。

0 引言

人工驾驶的传统交通方式面临着交通事故高 发、通 勤 时 间 过 长等 诸 多 问 题。以 自 动 驾 驶为代表的智能驾驶技术在增强交通安全性、缓 解拥堵等方面具有巨大应用潜力,能够满足人们对 于高效率、低风险交通服务的需求,对于交通运输 系统具有重大革新意义。

智能驾驶指能够智能地感知、综合、判断、推理、 决断和记忆并能实施主动控制以及人机交互与协同 的技术。高精度位置信息是智能驾驶感知环境和 决策控制的基础与核心。面向智能驾驶日益复杂的 应用场景,连续、可靠、无缝的高精度位置服务已经成 为产业应用的迫切需求,同时也对现有的导航定位 手段提出了更高要求。目前,车载高精度定位的实 现依赖各种传感器技术,常用技术包括全球卫星导航 系统(globalnavigationsatellitesystem,GNSS)、惯 性导航系统 (inertialnavigationsystem,INS)、视觉 传感器、激光雷达(lightdetectionandranging,LiDAR)、高 精 度 地 图 (high definition map,HD Map)以及轮速计(wheelodometer)。然而, 在复杂多变的城市环境中,使用单一或者两种传感 器组合的定位系统已经逐渐不能满足高可靠、高精 度的定位需求,例如 GNSS的信号容易受到信号衰 减、反射或阻塞的影响,INS精度会受到误差累积的 影响,视觉 和 激 光 雷 达 等 传 感 器 也 存 在 受 重 复 结 构、纹理影响等缺陷。充分利用不同传感器互补特 性的多源融合技术对于提升车载导航定位在城市 复杂环境中的准确和连续性有着重要的实际意义 与应用价值,被视为解决定位系统局限性和脆弱性 的有效方案。

一套完备的多源融合定位方案,需要建立整体 的数据处理流程,包括多源传感器标定、数据预处 理、融合算法与质量控制等环节,以确保高精度定 位服务的可靠性。其中多源融合算法直接影响到定位结果的质量。当下主流的多源融合算法以卡 尔曼滤波(Kalmanfilter,KF)与因子图优化(factor graphoptimization,FGO)两种方式为代表。在 智能驾驶应用中依据算力支持、精度需求与搭载传 感器种类对两种方案作出合理选择与改进能够实 现稳健并泛在的高精度定位。针对智能驾驶的高精度定位应用需求,本文重 点关注智能驾驶系统中的导航定位方法,从不同传 感器技术出发,阐述包括 GNSS、视觉、激光雷达、惯 性测量单元等传感器特性,给出主流的基于滤波和 因子图优化的多源融合框架,并对代表性算法进行 了整理。最后总结当前的技术研究与应用现状,并 对未来智能驾驶导航定位技术的发展作出展望。

1 传感器技术

1.1 全球卫星导航系统

得益于全球覆盖的多频多系统卫星信号在室 外提供的全天候高精度定位服务,GNSS是智能驾 驶导航定位中获取绝对位置的首选技术方案,全球 定位系统(global position ingsystem,GPS)在1991 年便被首次应用于车载 导 航 定 位 当 中。

随着我国北斗三号全球卫星导航系统(BeiDou-3 navigation satellite system,BDS-3)的 正 式 开 通, GPS、伽利略卫星导航系统(Galileo satellite navigation system,Galileo)、格 洛 纳 斯 卫 星 导 航 系 统 (global navigatio nsatellite system,GLONASS)等 全球导航卫星系统的现代化以及准天顶卫星系统 (quasi-zenithsatellitesystem,QZSS)、印度区域卫 星 导 航 系 统(Indian regional navigation satellite  system,IRNSS)等区域导航卫星系统的进一步发 展,如今已经发展出了多频多系统的卫星导航定位 模式,各卫星导航定位系统的基本信息如表1所示。

当下,为满足智能驾驶精度需求,以 RTK(real-time kinematic)、PPP(precise point positioning)、 PPP-RTK 为代表的基于 GNSS相位测量的定位技 术得到 了 广 泛 研 究。其 中,利 用 差 分 定 位 的 RTK 以及网络 RTK(network real-time kinematic, NRTK)[21-22]技术可以通过模糊度固定(ambiguity resolution,AR)技术实现瞬时毫米/厘米级精度的定位,已经成为目前 GNSS车载定位的主流技术 方案;PPP 技术克服了 RTK 以及网络 RTK 技术 需要大量布设基站的弊端,仅利用高精度的载波相 位观测值与伪距观测值以及精密 GNSS产品,即可 完成单台接收机的高精度定位,用户能够在确保自 身位置隐私不泄露的前提下在全球范围内实现厘 米/分米级定位;结合了 RTK 与 PPP 技术优点的PPP-RTK 技术可以在室外开阔环境下达到稳 定的厘米级定位精度,并且具备服务范围广、隐私 性好等优势,近年来成为智能驾驶领域的理想技术方案,部分全球以及区域卫星导航系统以及商业公 司已经开始提供相关服务。不同 GNSS技术方 案的差异如表2所示。

表2 GNSS定位技术对比

1.2 视觉传感器

对于智能驾驶载体来说,相机/视觉传感器是 获取环境纹理信息的主要传感器,依据其工作方式 的不同可以分为单目相机、双目相机、深度相机以 及事件 相 机 等。相 较 于 其 他 传 感 器,相 机 成 本 较 低,体积较小,能够获得外部环境的语义特征,因此 常被用于多源融合的智能驾驶导航定位技术当中。利用视觉特征的视觉同时定位与建图(visual sim-ultaneous localization and mapping,VSLAM)技 术,以相机作为传感器获取外部信息,通过对环境 特征的连续跟踪来同时实现自身的位姿估计以及 环境结构的重建。通常来说,完整的 VSLAM 流程由前端、后端、 回环检测与建图组成。图1展示了一般算法的系统 流程图。如果侧重于自身的位姿估计而不考虑一 致性的建图,则通常称为视觉里程计(visual odome-try,VO)。

根据视觉信息的利用方式,VO 的算法主要分 为两个大类:特征点法和直接法。特征点法 首先提取图像关键点(key-point),通过特征匹配或 光流跟踪等方法实现不同图像帧中特征点的数据 关联,之后利用对极几何、三角化(triangulation)、 PnP(perspective-n-point)及光束法平差(bundlead-justment,BA)等方法估计路标点位置和相机运动。直接法不提取具体的特征点,而是通过直接优化不 同图像帧像素之间的光度误差来同时估计像素深 度和相机运动,可以充分利用图像中具有梯度的区 域信息。两种方法对比如表3所示。

表3 直接法与间接法对比

近年来,深度学习被广泛应用于车载导航的视 觉里程计和回环检测部分。一些端到端的视觉 里程计方法通过神经网络可以直接输出载体 位姿。在回环检测方面,一些在线的深度学习方法 可以通过在闭环之前向系统添加训练数据,从而在 回环检测期间识别车辆周围环境对象和场景,判断 是否发生回环。此外,深度学习也应用于图像数 据处理和地图构建,以获得高精度和快速的车辆位 姿估计。

1.3 激光雷达

激光雷 达 是 智 能 驾 驶 中 常 用 的 传 感 器 之 一。与视觉传感器相比,激光雷达传感器的显著优点是 测距相对准确,误差模型简单,对光照变化不敏感, 采集的点云中直接包含空间信息。因此,基于激光 雷 达 的 SLAM (LiDAR simultaneous localization  and mapping,LiDARSLAM)技术不存在尺度漂移 的问题,可以获得精确的位移估计。此外,激光雷 达也常被用于障碍物检测以及匹配定位技术当中。近年来,随着传感硬件的发展,激光雷达的体积、重 量、成本都有所减小,越来越多地被用于车载定位。相机和 激 光 雷 达 在 传 感 器 特 性 上 的 区 别 如 表 4 所示。

为了 适 应 激 光 雷 达 的 技 术 特 点,在 LiDAR SLAM 前端,算法需要对激光雷达点云数据进行统 一的预处理,其流程如图2所示。

表4 相机与激光雷达的互补特性

图2 激光雷达预处理流程

在实际应用中,需要按照激光雷达的种类选择 合适的算法。按照获取点云信息维度上的区别,激 光雷达可以分为2DLiDAR 与3DLiDAR,纯激光 SLAM 方案也可以分为2D和3D的方案,其代表性 算法如表5所示。

表5 LiDARSLAM 代表算法

相较于2D LiDARSLAM,3D LiDARSLAM 更适用于室外大尺度的复杂场景,但是其数据量和 计算量更大,空间特征匹配也更复杂。由于激光点 云无序、稀疏、纹理信息较弱等特点,激光SLAM 需 要对点云特征进行有效的提取,从而获取高精度的 几何约束信息。在这一点上,现有的LiDARSLAM 系统仍有很大的改进空间。此外,智能驾驶场景中 存在大量的动态物体(车辆、行人等),这对于传统 LiDARSLAM 的 精 度 和 稳 定 性 会 产 生 一 定 的 影 响。近年来,基于深度学习的物体检测技术和多目 标跟踪技术被用于LiDARSLAM,对周围运动物体 和自身车辆进行联合估计,以获得高精度和高鲁棒 性的位姿估计结果。

目前常用的激光雷达传感器依照结构上的区 别可分为机械激光雷达和固态激光雷达。相比于 机械雷达,固态激光雷达具有可靠性高、寿命长、成 本低、体积小、功耗低等优势,这使得固态激光雷达 成为未来自动驾驶系统中的关键传感器之一。大 疆、Ouster等公司发布了多款高效商用固态激光雷 达,一些学者提出了相应的固态激光雷达SLAM 算 法,如 LiLi-OM 、LOAM-Livox 。

1.4 惯性导航系统

惯性导航系统由惯性测量单元(inertialmeasurementunit,IMU)与 惯 性 导 航 算 法 两 部 分 组 成。IMU 能够 提 供 高 频 的 载 体 运 动 信 息,有 效 填 补 GNSS、视觉、LiDAR 等传感器量测空缺,目前被广 泛应用于机器人与车载导航等领域当中。IMU 能够输出内置的三轴陀螺仪与加速度计量测信息,通 过机械编排[9,53-55]在已知载体初始状态的前提下进 行位姿的递推。目前常用的惯导系统包括平台式 惯导 (gimbaled INS,GINS)与 捷 联 式 惯 导 (strap-downINS,SINS)。捷联式惯导在体积和成本上更 具优势,因此消费级车载导航系统更多使用捷联式 惯导。本文中惯导代指捷联式惯导。

惯性器件存在不同种类的误差源,主要包括零偏 偏差、比例因子误差、交叉耦合误差以及随机噪声等。其中零偏误差是惯导的关键指标,不同级别惯导零偏 差别极大,稳定性也各不相同。按照惯导的零偏的水 平,可以将其按精度由高到低分为战略级(strategic grade)、导航级(navigationgrade)、战术级(tacticalgrade)以及微机 械 级(micro-electro-mechanicalsystem, MEMS)4类。惯导精度等级越高,其在纯惯导递推 时抵抗位置发散的能力越强,其成本也越高昂。因此 战略级与导航级惯导一般用于军事、航海航空等高精 度定位领域,而精度相对较低的战术级与微机械级惯 导则更多地用于车载定位中。

由于上电启动时惯导坐标系三轴指向没有确 定方位,因 此 需 要 进 行 初 始 对 准 以 确 定 坐 标 系 指 向。智能驾驶中常用的战术级与微机械级惯导的 初始对准主要包括静基座与动基座两种方法。

在车载 定 位 系 统 中,由 于 递 推 误 差 的 快 速 积 累,使用纯惯性导航技术难以完成导航定位工作。然而,在多源融合算法中,惯性导航系统往往被视 为算法的核心。这是因为IMU 可以提供连续高频 的量测信息。惯性导航系统可以与 GNSS、轮速计 等传感器结合组成 POS系统(position ingandori-entation system),从而提供更为可靠的位置、方向 和速度信息,降低在短时期内面临 GNSS 信号挑战 时的风险。即使面临频繁的短时信号中断,POS系 统仍然可以提供高精度的位置定位结果。此外,与 视觉、LiDAR、高精度地图等具有环境感知功能的 传感器结合,可以利用感知技术获取的特征、结构 以及语义信息实现感知增强定位,避免长时间处于 拒止环境中导致定位结果退化,并能够辅助恢复视觉尺度和补偿点云运动畸变。

高精度地图一般是指由静态图层、语义图层、定 位图层以及动态图层所组合成的复合图层地图。在 隧道与林荫等场景下,SLAM 技术不可避免地存在误 差累积的情况,系统的定位精度不足以满足在城市环 境中的高精度定位需要,此时可以利用离线构建的高 精度地图,通过检测相关环境信息,如交通灯和交通 标志,对定位结果进行增强,实现定位和建图的解 耦。高精度地图与传统地图的区别如表6所示。

表6 高精度地图与传统地图区别

结合基于视觉与 LiDAR 传感器提取的特征制 作的先验高精度地图,能够在利用视觉、LiDAR 方 法进行匹配定位时削弱光照变化与极端天气等不 利因素的影响。利用高精度地图提供的环境 信息,使用感知类型传感器以及基于特征(feature-based)或外观(appearance-based)方法进行定位的 大致流程如图3所示。其中,数据关联指将传感 器获取的数据与地图数据相关联,位置估计指利用 滤波或因子图优化方法进行解算。

1.6 轮速计与运动约束

对于汽车等轮式机器的导航定位来说,轮速计 是一种 能 够 提 供 连 续 速 度 信 息 的 理 想 辅 助 传 感 器。通过获取单位时间内车轮转速,在已知车轮 半径的前提下,轮速计可以得到车轮前进方向的速 度,从而在定位算法中提供量测进行约束。

图3 高精地图相对定位流程

车载场景下,除了直接利用轮速计提供的量测 进行约束以外,通过判断车体运动模式,进行车体 运动约束(vehicle motion constraint,VMC)的方法 也能够有效抑制误差漂移。例如,当车体处于静 止状态时,由于速度、角速度以及加速度等与载体 状态变化相关的速度量在理想状态下均为零,可以 采用零速修正(zero velocity update,ZUPT)与零角 速度修正(zero angular rate update,ZAUPT)的 方式进行约束。当处于运动状态时,由于大多数情 况下车体进行直线行驶,车体坐标系下其侧向与法 向速 度 可 视 为 零,非 完 整 性 约 束 (non-holonomic constraint,NHC)能够采用上述特性对车体二维 速度提供约束。

2 多源数据融合

考虑到各种传感器的不同特点以及互补特性, 对多源传感器数据进行融合可以有效地克服单一 传感器的局限性,提升导航定位效果。本章将重点 关注多源数据融合方法,首先提出基于不同融合方 法的多源融合定位模型,在此基础上对相关传感器。

2.1 状态估计

多源融合算法决定了不同传感器间的信息利 用和融合方式,直接影响到融合定位的结果质量。当前主流融合算法估计器以贝叶斯滤波与因子图 优化为代表,下文将对两种方法展开介绍。

2.1.1 滤波

在传感器融合中,由于位置、速度、姿态、零偏 的估计以及特征检测并不满足线性条件,目前在多 源融合滤波中使用最多的算法是非线性的扩展卡 尔曼滤波(extended Kalman filter,EKF)、无迹 卡尔曼滤波(unscented Kalman filter,UKF)、粒 子滤波(particle filter,PF)等贝叶斯滤波形式。其中,EKF采用线性化的方式将非线性系统近似为 线性系统。UKF与 PF不存在线性化的过程,而是 选择采用一组随机样本(粒子),利用样本均值代替 积分运算的方式来处理非线性问题。相较 EKF 而 言,UKF与 PF 能够达到更高的精度,但考虑采样 过程的 UKF与 PF具有更大的运算成本。当传 感器噪声满足或近似于高斯分布且传感器模型非 线性程度不强时,采用易于使用的 EKF 的方法能 够在确保计算效率的情况下满足智能驾驶服务的 精度需求。

图4 多源融合 EKF流程

现有 的 多 源 融 合 定 位 滤 波 模 型 大 多 建 立 在 GNSS/INS组合导航的基础上,通过加入相机、激 光雷达等环境感知传感器进行增强。感知传感器 技术为高 精 度 定 位 赋 予 了 环 境 信 息,对 于 城 市 峡 谷、隧道以 及 林 荫 道 等 GNSS 信 号 遮 蔽 严 重 的 场 景,通过环境感知提供的特征、结构以及语义信息 可以增强定位,避免长时间处于拒止环境中导致定 位结果退化。由此所建立的多源融合滤波基本框 架如图5所示。

2.1.2 因子图优化

因子 图 优 化 方 法 在 近 年 来 表 现 出 巨 大 潜 力,该方法采用由因子节点(factor)与变量节 点(variable)以及相连接的边所组成的因子图表达 优化问题,以 联 合 概 率 密 度 最 大 化 来 解 决 优 化 问 题。在多源融合定位中,为了将相机与激光雷达等 传感器量测帧间的IMU 数据整合,需要通过IMU 的预积分使位姿解耦,避免重复积分,提高优化效 率。GNSS、相机、雷达等传感器作为观测因子加 入系统中进行联合优化。

得益于多次迭代与迭代过程中的线性化以及 对历史信息的充分利用,基于因子图优化的方法理 论精度比滤波方法更优,但是其对于内存的使用和 计算量也相应地增加。在一些应用中,为了平衡算 法的精度与效率,可以选择采用基于滑动窗口的边 缘化方法。通过消去旧的变量,维护新的变量,在 合适的窗口尺度下将算法的计算负担控制在一定 的范围内。采用滑动窗口的多源融合因子图优 化模型如图6所示。

相比于传统的 EKF方案,紧组合的因子图优化 方案在一定条件下经验证具有更优的解算精度与鲁 棒性。图 7 展 示 了 经 典 的 GNSS/IMU/Camera/ LiDAR等多源融合因子图优化框架。

图7 多源融合因子图优化框架

虽然因子图优化在理论上相对于滤波方法具 有更高的精度优势,但在实时车载导航定位中应用 并不广泛。主要原因是其受限于大量的历史信息 与多次迭代带来的计算负担,需要充足的硬件算力 支持,在实时应用中具有一定的困难。尤其是在进 行多源融合时,多种传感器测量信息的处理进一步 加重了算力负担。然而,精度和扩展性上的优势决 定了它在智能驾驶领域具有广阔的应用前景。近 年来,在智能驾驶领域,以百度 Apollo为代表的无 人车研究项目已经开始尝试采用基于因子图优化 的框架。

2.2 多源融合算法

智能驾驶中的多源融合定位建立在组合导航 的基础上,在智能驾驶导航定位组合当中,结合异 构传感器的不同特性有助于提升整体系统对于不 同环境的适应能力。在传统应用中,由于 GNSS的 绝对定位以及INS的位姿推算能力,基于 GNSS/ INS的 POS系统是应用最为广泛的二者组合方案,能够在室外开阔环境下满足智能驾驶的车道级服 务需求,进行高精度的定位定姿,并且能够抵抗短 时间的 GNSS信号中断。除了基本的固定单 天线 GNSS/INS配置外,基于多天线乃至移动天线 的 POS系统也得到广泛研究,并被验证能够达到更 加精确的定位定姿效果。Li等人利用轮速计 进行量测并辅助车体运动约束,进一步提出了 PPPRTK/INS/Odometer紧组合滤波模型,并在多场景 下验证了其定位定姿精度与稳定性的提升。

对于 GNSS长时间信号失锁的环境,智能驾驶可 以通过搭载的传感器感知环境特征来估计自身的位 姿信息,以实现对单一定位方式的补充,避免定位结 果退化。感知融合定位中常用的传感器包括相机、 LiDAR 等。GNSS/INS/Vision(GIV)、GNSS/INS/ LiDAR(GIL)、GNSS/INS/Vision/LiDAR(GIVL)也 成为智能驾驶中最常用的算法。下文将从以上算法 出发介绍多源异构信息融合(multi-source and hetero-geneous information fusion,MSHIF)算法在智能驾驶中的发展。

2.2.1 GNSS/INS/Vision融合算法

得益于成本相对较低以及能够获取语义信息 的优势,视 觉 通 常 是 进 行 感 知 融 合 定 位 的 首 选 方 案。在 GIV 融合算法发展初期,利用松组合的滤波 与因子图优化算法占据主流。Chu等人利用滤波 方法,结合 GPS差分伪距观测值恢复了相机帧间尺 度信息,完 成 了 GIV 三 者 的 松 组 合,但 该 方 法 在 GNSS拒止环境下可用性不强。利用矩阵的稀 疏性,Indelman等人利用因子图优化方法,实现了 不同传感器的即插即用。松组合算法实现简单, 可以从结果层面上实现抵抗单一传感器退化的目 标。但由于松组合对信息利用并不充分,没有深入 挖掘异构传感器间原始信息的耦合关系,因此整个 系统鲁棒性较弱;在单一传感器位置解算失败时, 系统会退化到二者组合甚至单一传感器定位方案。在松组合 GIV 算法的许多研究中,GNSS主要用来 提供绝对坐标,削弱INS递推发散以及恢复相机帧 间尺度信息,但在进行定位时仅应用了伪距定位的 结果,没有充分利用更高精度载波相位观测。由于 视觉特征点法更适合全局匹配与回环检测,采用直 接法进行多源融合的算法方案较少。Wang等人在 GIV 因子图优化算法中采用了直接法的视觉方案, 并辅 以 磁 力 计 量 测 信 息,效 果 比 VINS(visual-inertial navigation system)算法更优。

随着紧组合研究的不断开展,如何进行原始观测 值层 面 的 耦 合 成 为 研 究 重 点。在 紧 组 合 算 法 中, GNSS由 于 具 有 多 种 观 测 信 息 与 定 位 模 式,融 合 RTK/INS/Vision、PPP/INS/Vision、PPP-RTK/INS/ Vision的 GIV紧组合算法也先后被提出。利用半紧 组合,Wang等人在带滑窗的因子图优化框架下利用 半紧组合结合多系统 GNSS的 PPP方法与 S-VINS (stereoVINS)方法,提升了系统在 GNSS拒止环境下 的表现。Liao等人利用伪距、相位、多普勒多种 GNSS观测实现了紧组合的 GIV 滤波,将 VIO 模型 从局部框架转换到全球框架,利用差分 GNSS在拒止 环境下实现了米级定位。Zhu等人提出利用先验 特征图的方式辅助 GIV 紧组合的算法,实现了城市 环境下厘米级的定位。Cao等人采用紧组合的方 式,将 GNSS伪距、多普勒与视觉约束、惯性约束结合 到紧组合的因子图优化框架中,仅使用一颗卫星量测 信息也能对系统提供增益。

由于相位整周模糊度具有整数特性,考虑相位模 糊度固定的 GNSS定位方案能够提供更高的精度。文献在考虑模糊度固定的情况下实现了 RTK、PPP、PPP-RTK 方法的 GIV 三者滤波紧组 合,并在 GNSS挑战环境中得到了效果验证。图8 与图 9 分 别 展 示 了 RTK/PPP 与 PPP-RTK 结 合 INS与视觉的融合方案测试结果。图8(a)为设备 图,图8(b)为 GNSS 挑 战 环 境 场 景,图 8(c)表 示 GNSS挑战场景下的 GIV 融合定位方案结果,其中 VINS-Fusion(RTK)与 VINS-Fusion(PPP)代 表 VINS松耦合 RTK 或者 PPP 的结果。可以看出, 由于严重的信号中断,基于 RTK 与 PPP的 VINSFusion都偏离了参考值。相比之下,采用 RTK 或 PPP模型的 GIV 三者紧组合系统可以有效抑制位 置发散,相应轨迹能够得到更好的约束并且更加平 滑。图9(a)为设备图,图9(b)为典型场景,图9(c) 为 PPP-RTK/INS/Vision 融 合 定 位 方 案 结 果。PPP-RTK 可以在卫星观测充足的情况下实现厘米 级定位。其他传感器的加入进一步提高了定位性 能,减少了定位序列中由于模糊度固定失败产生的 异常值。在图9(c)中阴影部分所代表的城市地区 卫星数急剧下降的典型情况下,PPP-RTK 定位误差 发散可达 数 米。在 战 术 级IMU 辅 助 下,定 位 仍 能 达 到 厘 米 级 精 度。然而,MEMS-IMU由 于 高 噪 声与零偏不稳定性致使改进有限。但通过将视觉信 息加入 PPP-RTK/MEMS系统后,在准确性与可靠 性方面都达到了 PPP-RTK 与战术级IMU 组合相 同的水平。

图9 PPP-RTK 方案下融合方案不同尺度定位误差序列

基于 GIV 融合代表性成果如表7所示。在表 中,仅在 GNSS、INS、视觉均采用原始观测值进行 融合时,才将该方法视为紧组合方法。其中 P指伪 距,L指相位,D 指多普勒观测值,AR 指模糊度固 定,LC,TC,STC 分别 指 松 组 合、紧 组 合 与 半 紧 组 合。由于松组合算法只利用了 GNSS 单独解算的 位置、速度信息,表中对应部分以“/”代表 GNSS单 独解算结果。

表7 GNSS/INS/Vision融合算法代表性成果

2.2.2 GNSS/INS/LiDAR融合算法

由于LiDAR的精确测距能力,其能够获得较高 精度的位姿推算以及环境三维重建结果,对于智能车 辆应用来说具有较强的实用性。在大尺度场景下,结 合了 GNSS/INS/LiDAR 三种传感器的 GIL算法得 到广泛研究。受 LiDAR 硬件发展的影响,GIL算法 早期以融合2DLiDAR为主,Soloviev在2008年较早 地提出了GIL的紧组合滤波方案,在城市环境中实现 了厘米级的轨迹重建。利用松组合形式,Gao等 人采 用 创 新 的 扫 描 匹 配 算 法 提 升 了 GPS/INS/ LiDAR组合的精度与稳定性。随着3DLiDAR的 普及应用,融合3DLiDAR 的 GIL 算 法 成 为 主 流。Chiang等人利用3DLiDAR,提出了一种INS/GNSS/ Refresh-SLAM 算法,实现了车道级定位,但只涉及了 平面速度。Shan等人提出了基于因子图优化的 LIO-SAM(LiDAR inertial odometry with smoothing  andmapping)框架,通过可选的 GPS因子纠正INS/ LiDAR组合结果的发散。在 GIL的质量控制方 面,Wang等人利用3D-LiDAR辅助GNSS/INS组合, 在故 障 检 测、定 位 性 能 与 完 好 性 评 估 均 得 到 了 提升。

由于 LiDAR 数据量巨大,在 GIL 紧组合的应 用中,虽然融合算法精度进一步提升,但数据处 理压力对整个定位系统的实时性带来了挑战。文 献使用 GNSS的 RTK 方法与INS与 LiDAR 进行融合,提高了 GNSS挑战环境下 RTK 固定率 与稳定性,但由于 LiDAR数据量大的影响,RTK 结 果输出延迟。Li等人提出了一种PPP/INS/PF(plane feature)-LiDAR算法,首次将 GNSS伪距以及载波相 位量测、MEMS-IMU 数据以及LiDAR平面特征紧组合在滤波框架当中并实现了实时应用,增强了GIL算 法的应用能力,文献中对比了PF-LiDAR与PLAP (point to line and plane)-LiDAR等方法在融合中的 表现,其中 GNSS 挑战环境下的测试结果如图 10 所示,其中图10(a)为设备图,图10(b)为典型场景, 图10(c)、图10(d)和图10(e)分 别 为 定 位、测 速、定姿结果。由定位误差序列图可以发现,所有方案垂直精度都低于水平精度,主要原因是 GNSS与 LiDAR 在 垂 直 方 向 的 可 观 测 性 较 弱。与 PPP/ INS/PF-LiDAR松组合类似,PPP/INS紧组合积分 存在明 显 的 位 置 发 散。通 过 与 LiDAR 进 行 紧 组 合,定位结果更加平滑,整体精度也提升了一个量 级,其 中 PPP/INS/PF-LiDAR 相 比 PPP/INS/ PLAP-LiDAR精度进一步提高。不同方法激光雷 达部分的平均运行时长如表8所示。基于 GIL 的 融合算法代表性成果总结如表9所示。

表8 激光雷达部分平均处理时间

表9 GNSS/INS/LiDAR融合算法代表性成果

2.2.3 GNSS/INS/Vision/LiDAR融合算法

GNSS/INS/Vision/LiDAR四者融合基本上建 立在上述三者融合方案之上,属于较为综合的组合 导航方案。由于涉及传感器种类多,系统设计相对 复杂,目前文献中关于四者融合的算法研究较少, 已有的代表性成果如表10所示。

表10GNSS/INS/Vision/LiDAR融合算法代表性成果

对于因子图优化的方法来说,四者融合的计算 负担较重。利用 GNSS单独解算提供的绝对位置 进 行约束是较为可行的方法。Wang等人在基于因子图的紧组合双目视觉/惯性/激光雷达 SLAM 的 基础上,利用 GNSS(PPP/RTK)提供的绝对位置信 息,实 现 了 一 种 解 耦 合 的 多 传 感 器 融 合 定 位 算 法。Lee等人基于 MSCKF 提出了 MINS方法, 实现了 GIVL四者组合,并通过了实时测试。Li 等人通过滤波方法在原始观测值层面上对 GNSS/ INS/Vision/LiDAR 进行了紧组合,充分利用了异 构传感 器 信 息,对 传 感 器 退 化 具 有 自 然 的 鲁 棒 性。文献分析了四者紧组合相较三者与二 者组合在多场景下的定位性能提升,其定位效果如 图11所示,图11(a)为设备图,图11(b)为典型场 景,图11(c)、图11(d)和图11(e)分别为定位、测速、 定姿结果。可以看出四者融合的方法在 GNSS 拒 止环境下具有最优的综合定位、测速与定姿性能, 这些提升主要来自鲁棒的视觉与激光雷达提供的 3D环境特征,尤其是在长隧道的环境下表现出了更 强的抑制定位结果发散的能力,如图12。图12(a) 为长隧道典型场景,图12(b)为不同算法在长隧道 场景下的定位结果。然而该方法带来了巨大的运 算资源负担。如何实现 GIVL紧组合算法的实时应 用,将是未来的研究重点。

图11 GNSS挑战环境下 GIVL紧组合算法测试结果

图12 长隧道环境下不同算法鲁棒性对比

2.3 挑战与机遇

2.3.1 挑战

近年来,关于多源融合定位的系统实现以及性 能评估已经有了较多的研究,其结果表明,对于智 能驾驶而言,多源融合技术大幅提高了定位系统的 精度与鲁棒性。但对于进一步实现实时与泛在的 智能驾驶而言,多源融合技术仍面临着如下挑战:

1)在半开阔以及 GNSS拒止等极端场景下,现 有的多源融合算法定位性能仍有所欠缺。由于极 端环境下往往面临严重的多径效应、NLOS以及特 征退化等影响,单一传感器定位性能退化严重,相 互之间增益有限。例如文献[97]在长隧道中,仅能 实现米级定位。对于车位级甚至未来更高精度的 定位需求而言,当前的多源融合算法难以满足需要。

2)融合传感器数目以及种类的增加对定位模 块带来沉重负担。对于多源融合算法而言,尽管传 感器冗余能够提供更高的定位精度,但却增加了算 力负担。对于算力有限的智能驾驶平台而言,定位 模块的算力压力不仅影响到定位服务性能,而且可能为评估、规划与决策等其他模块带来风险。

3)高精度传感器价格昂贵,制作鲁棒的高精度 消费级多源融合定位平台具有挑战性。高精度传 感器具有更高的精度与稳定性,但却价格高昂。除 了硬件本身的成本,还需要考虑相应定位服务的成 本,例如 RTK 技术需要相应厂商的基站配合提供 高精度定位服务。

2.3.2 机遇

近年来,随着导航定位应用领域的进一步拓宽 以及制造业技术的进一步发展,定位算法与传感器 硬件都开始展现出新的发展趋势,为智能驾驶的定 位性能提供了新的机遇:

1)多 车 协 同 与 多 源 同 构 等 算 法 得 到 广 泛 关 注。多车协同定位算法优化了集群智能体的 定位性能。随着智能网联车的应用,多车协同的定 位算法得到推广,对于未来基于 V2V(vehicletovehicle)的集群智能驾驶应用来说具有重要意义。多 源同构进一步提升了多源融合定位的精度与鲁棒 性。除了本文所详细讨论的多源异构定位之外,多 源同构 定 位 方 法 也 得 到 了 广 泛 研 究。多 天 线、多 IMU 定位等多源同构定位方案在现有的研究中展 现出巨大的应用前景。

2)传感器技术的快速进步。高精度定位需求 的上升推动了传感器需求爆发式增长,传感器制造 能力与应用也迎来了技术性突破。例如,多频多星 座系统与低轨卫星增强、MEMSIMU 性能进一步 提升、事件相机与4D 雷达技术的发展以及相关传 感器成本的下降,都为高精度智能驾驶提供了更大 的发展空间。

3 结论

本文介绍了智能驾驶中常用的传感器技术,分 别阐述了目前采用 GNSS、视觉、LiDAR、INS等技 术的定位方法与发展现状。由于没有任何一种单 一的传感器可以满足城市多种复杂环境下的高精 度定位,本文从弥补单一技术缺陷的角度出发,进 一步总结了基于滤波与因子图优化的多源融合定 位框架,并介绍了 GIV、GIL 与 GIVL 融合方式的 代表性成果。结果表明,多源融合的定位方法大幅 提升了智能驾驶定位模块的精度与鲁棒性。

然而,目前智能驾驶的多源融合定位方法仍面 临一些挑战,例如在极端场景下的定位性能退化、 多源数据严重影响定位模块的实时性、多源传感器平台搭建成本高昂。同时,导航定位应用领域的进 一步拓宽及硬件制造能力的提升为智能驾驶的多 源融合方案提供了新的机遇。多机协同、多源同构 等方向的研究将会进一步提升智能驾驶的定位性 能,传感器的革新会加速上述技术的应用。

（原文有删减）

作者简介：许智理(2000-),男,研究生,主要从事室内外无缝实时定位、多源融合定位方向的研究。

基金资助：国家重点研发项目(2021YFB2501100);湖北珞珈实验室专项基金资助项目(220100006)

引用格式：许智理,闫倬豪,李星星，等.面向智能驾驶的高精度多源融合定位综述[J].导航定位与授时,2023,10(3):1-20.

转自：“测绘学术资讯”微信公众号

如有侵权，请联系本站删除！