
标题:基于彩色点云地图双稀疏约束与分层优化的视觉里程计方法
作者:张轩轩,李由,张天翔,文志超,郭学立,郑镇奇,古富强
关键词:基于地图的定位;视觉里程计;彩色点云地图;双重稀疏;分层优化

Fig: Overview of the proposed camera-only map-based localization framework
Robust and efficient visual odometry using colored point cloud maps via dual-sparsity and hierarchical optimization
Xuanxuan Zhang, You Li*, Tianxiang Zhang, Zhenqi Zheng, Xueli Guo, Zhichao Wen & Fuqiang Gu
Satellite Navigation (2026) 7: 9
引用文章:
Zhang, X., Li, Y., Zhang, T. et al. Robust and efficient visual odometry using colored point cloud maps via dual-sparsity and hierarchical optimization. Satell Navig 7, 9 (2026). https://doi.org/10.1186/s43020-026-00196-x
PDF文件下载链接:
https://link.springer.com/article/10.1186/s43020-026-00196-x
-长按识别二维码查看/下载全文-

Editorial Summary
Dual-Sparsity Visual Odometry with Colored Maps
Reliable localization is essential for navigation in GNSS-challenged environments, where monocular visual odometry often suffers from accumulated drift and multi-sensor fusion increases hardware complexity. This paper proposes a robust and efficient camera-only visual odometry system using prebuilt colored point cloud maps. The method directly exploits the global map as a constraint and leverages the shared color information between camera images and colored point clouds to improve localization accuracy and robustness. A dual-sparsity matching strategy is introduced to retain high-gradient points in both the map and image observations, reducing redundant computation and avoiding local optima. Furthermore, a hierarchical optimization-based iterative Kalman filtering framework combines geometric reprojection with photometric refinement in a coarse-to-fine manner. Experiments on public and self-collected datasets demonstrate significant improvements in accuracy, robustness, and efficiency for long-term localization in complex environments.
1. 提出“单相机+地图”的轻量化定位方案。面向地下停车场、室内、隧道等 GNSS 失效场景,本文采用“离线建图 + 在线单目定位”方案,将彩色点云地图作为全局观测约束参与定位,从机制上抑制视觉里程计长期漂移。
2. 提出“地图—图像双向稀疏匹配”机制。针对点云地图信息冗余、地图—图像跨模态关联易受环境影响的问题,本文在地图侧保留高视觉梯度点,在图像侧提取高梯度区域,实现“稀疏对稀疏”匹配,降低计算量并提升复杂场景下的鲁棒性。
3. 提出“几何+光度”的分层优化方法。针对复杂环境中定位易漂移的问题,本文先通过几何重投影实现粗定位,再利用颜色一致性进行精细优化,并结合金字塔迭代更新,实现稳定、接近实时的视觉定位。
内容简介
在地下停车场、室内走廊、城市峡谷等环境中,GNSS 信号往往容易失效,而纯视觉里程计(VO)虽然成本低、部署方便,却只能依赖相邻图像之间的相对运动进行估计,因此随着运行时间增加,误差会不断累计,最终出现“越走越偏”的问题。为了提高定位精度,现有方法通常会融合激光雷达、IMU、GNSS 等多种传感器。但这类方案通常会增加设备成本、系统复杂度和标定维护负担,在资源受限的轻量化平台上进行大规模部署时仍面临一定挑战。
近年来,基于地图的视觉定位方法开始受到关注。这类方法通过提前构建全局地图,在在线阶段利用地图对相机位姿进行约束,从而抑制长期漂移。但在实际应用中,仍然面临几个关键难点:
地图与图像中存在大量冗余信息,计算开销较大,实时性仍有提升空间;
图像与点云属于不同模态,传统异构关联在弱纹理、视角变化等场景下稳定性易受影响;
在弱纹理、大白墙、重复结构等退化场景中,优化过程可能陷入局部最优,进而影响定位精度和稳定性。
针对上述问题,本文提出了一种基于彩色点云地图的视觉定位方法。该方法首先利用高精度多传感器系统离线构建彩色点云地图;随后,在在线阶段仅依赖普通单目相机完成定位。不同于传统方法只利用几何信息,本文进一步利用图像与点云之间共享的“颜色信息”,建立更加稳定的地图—图像关联关系。
在此基础上,本文提出:
地图—图像“双向稀疏”匹配机制;
基于几何与光度联合约束的分层优化方法;
多分辨率迭代 Kalman 更新框架。
最终实现了在复杂场景下的高精度、鲁棒、接近实时的视觉定位。实验结果表明,在地下停车场、遮挡、快速运动、弱纹理等复杂环境中,本文方法依然能够保持稳定定位;相比文中对比的视觉里程计与地图定位方法,本文方法的轨迹漂移更小,定位精度和运行效率均得到明显提升。
图文展示
我们的框架如图1所示,整体分为稀疏彩色点云地图构建与视觉定位两个阶段。首先,在离线建图阶段,系统基于LiDAR–IMU子系统进行高精度位姿估计并生成稠密点云地图,同时通过视觉子系统完成相机内参与图像梯度估计,将几何信息与颜色信息融合,构建出仅保留高视觉梯度特征的稀疏彩色点云地图。在在线定位阶段,仅依赖单目相机输入,通过特征提取与前向传播获得初始状态,并利用地图—图像投影及可见性筛选(HPR)建立稳定的2D–3D对应关系;随后,在IESKF框架下进行分层优化更新,先通过PnP重投影实现几何约束下的稳定位姿估计,再通过光度一致性进一步精细优化,从而实现由全局地图持续约束的高精度、鲁棒视觉定位。

图1框架流程图
Ⅰ 与视觉里程计对比
图2系统性展示了本文方法与 ORB-SLAM3、VINS-Mono 在多个典型场景下的定位性能对比。每一组左侧为轨迹与真值的叠加结果,右侧为误差随时间变化的残差曲线。从 R3live_1/2 等常规场景可以看出,三种方法均能完成定位,但本文方法的轨迹整体更贴近真值,残差曲线始终维持在较低水平且波动较小;而在 R3live_3/4等退化场景中(如低纹理、大白墙、结构重复),ORB-SLAM3 出现跟踪失败或明显偏移,VINS-Mono 则因尺度漂移导致误差随时间持续累积、曲线明显上升,而本文方法的残差并未出现随时间发散的趋势,整体保持平稳收敛。
在更具实际挑战的 WHU-Motion 数据集中(右半部分),这一特性更加突出。在遮挡、快速旋转及大尺度地下停车场等复杂环境下,对比方法的残差曲线普遍随时间增长甚至出现发散,而本文方法的误差整体被限制在较小范围内,未出现明显的“越走越偏”现象,轨迹与真值在长时间运行中保持较好一致性。整体结果表明,得益于彩色点云地图提供的持续全局约束以及“几何+光度”的分层优化机制,本文方法有效抑制了累计漂移,展现出较好的长期稳定定位能力。

图2轨迹对比与残差时序变化图
Ⅱ 与基于地图的视觉定位方法对比
首先从轨迹对比(图3)来看,在 R3live 与 WHU-Motion 多个序列中,本文方法(红色)整体与真值轨迹高度重合,而 DSL(蓝色)在复杂区域逐渐出现偏移,尤其是在遮挡、弱纹理及视角剧烈变化区域(黄色框标注处)更为明显。这种差异在长轨迹与复杂环境中尤为突出:DSL 依赖局部几何匹配,容易产生累计误差,而本文方法由于引入彩色点云地图的全局约束,使得轨迹在长时间运行过程中仍能保持稳定一致,未出现明显漂移或结构错位。

图3轨迹对比图
从定量精度结果(图4)可以进一步验证这一现象。在本文实验设置下,本文方法在各测试序列中均取得优于 DSL 的定位结果,在部分退化场景中提升尤为显著,例如 R3live_5 上绝对轨迹误差从 1.883 m 降至 0.152 m(提升 91.92%),Whu_1 和 Whu_2 分别提升 95.28% 和 94.13%。同时,在 R3live_3 和 R3live_4 等极端退化场景中,DSL甚至无法完成定位(标记为×),而本文方法仍能保持厘米级到米级精度(如 0.076 m 和 1.556 m),体现出更强的鲁棒性和可用性。这说明本文方法不仅“更准”,而且在困难场景下“能用且稳定”。

图4绝对轨迹误差(米)对比
在效率方面(图5),本文方法同样具有明显优势。得益于双向稀疏策略与分层优化机制,整体运行时间与数据时长基本一致,具备接近实时性能;在多数序列中均优于或接近 DSL,尤其是在复杂场景中优势更明显,例如 Whu_1 从 121.11 s 降至 63.34 s,效率提升约 47.7%。相比之下,在本文测试场景和实验设置下,DSL 由于需要处理较多点云与匹配计算,运行时间普遍高于数据时长,实时应用仍存在一定压力。
综合来看,这三组实验共同表明:本文方法通过“彩色点云全局约束 + 双向稀疏匹配+几何光度分层优化”的设计,有效抑制了轨迹长期漂移,实现了定位精度提升与计算效率同步优化,在复杂真实场景中具备实用价值。

图5运行时间(秒)对比

▍通讯作者简介
李由,武汉大学教授,长期聚焦无人自主导航系统及其应用研究,自研了小型化实时感知-导航-避障软硬件系统,服务基础设施运维、应急救援等领域应用。服务领域内多个学术组织、期刊与会议。
撰稿:本文作者
校对:李教授
推荐阅读
李广云教授:位置未知的UWB单锚点辅助视觉/惯性导航
关于我们

Satellite Navigation(《卫星导航(英文)》)创办于2020年,SCIE、EI、Scopus等收录,是中国科学院空天信息创新研究院主办的英文学术期刊,主编是杨元喜院士,主要报道卫星导航相关的最新高水平科研成果与综述文章及通讯,在 Springer Nature开放获取(open access)出版。可免费获取全文,欢迎关注和投稿。
Website:http://satellite-navigation.springeropen.com/
E-mail:satellite-navigation@aircas.ac.cn
Tel:86-10-58887063

SANA 微信公众号
长按二维码关注我们