来源：视觉语言导航
原文链接：https://mp.weixin.qq.com/s/9kXzOiI8PZmPJ-ms-llsJg
✨ 导读：无人机高空作业常遭遇GPS信号失效，纯视觉里程计又会随时间持续漂移。本文提出NGPS视觉定位框架，将无人机下视影像与卫星图做深度特征匹配，搭配自适应多传感器融合，在60-150米高空实现2.94米定位精度，比纯单目VIO提升3.5倍，还能同步输出实时2.5D正射地图，整套方案可在嵌入式平台实时运行。
作者：Sanket Sharma 单位：独立研究者 论文标题：NGPS: GPS-Denied Aerial Geo-Localization and 2.5D Reconstruction via Deep Satellite Image Matching and Multi-Rate Sensor Fusion 论文链接：https://arxiv.org/abs/2607.18936 代码链接：https://github.com/snktshrma/ngps_flight
? 研究背景
精准定位是无人机自主执行测绘、巡检、搜救等任务的核心前提，但现实场景中存在大量GPS不可靠的场景：城市峡谷遮挡、信号干扰、对抗环境等，都可能让GNSS定位完全失效。
目前主流的替代方案是视觉惯性里程计（VIO），仅靠相机+IMU就能输出高频位姿，但它有个天生的短板——误差会随时间持续累积漂移，飞行距离越远、时间越长，偏差越大；而回环检测在大范围探索任务里很难生效，没法从根本上解决漂移问题。
针对高空飞行场景，无人机的下视视角和卫星影像高度相似，刚好可以用来做绝对定位的参考。但真正落地还需解决多个核心难题：卫星图与航拍图的分辨率差异、无人机姿态变化带来的视角偏移、场景外观随时间变化、嵌入式平台算力有限等。NGPS框架就是为了系统性解决这些问题而生的。
? 核心创新点
自适应置信度加权融合：根据RANSAC内点率、重投影误差、特征匹配置信度三个指标，动态调整卫星定位结果的噪声权重——匹配质量高就大力校正漂移，质量差就自动降权，相比固定噪声方案RMSE提升11%。 速度预测式搜索策略：用VIO估计的飞行速度，提前预测无人机当前位置，以此为中心裁剪卫星图搜索区域，避免高速飞行时目标飞出窗口。在4m/s飞行速度下，匹配失败率直接降低32%。 异步多速率时序融合队列：针对绝对定位（1-2Hz）、VIO（10-20Hz）、IMU（100-200Hz）三类频率差异巨大的传感器，用时间优先级队列严格按时间戳顺序融合，完美解决异构数据的时序对齐问题，相比简单插值方案精度提升35%。 实时2.5D地理参考重建：以NGPS绝对位姿为锚点，结合VINS位姿图全局优化，边飞行边生成带地理坐标的正射影像和数字表面模型（DSM），可直接用于地形感知与路径规划。 嵌入式端实时落地验证：整套系统在Jetson Orin NX边缘计算平台上可实时运行，5组真实飞行测试平均定位RMSE达2.94米，相比纯单目VIO精度提升3.5倍。
? 技术方案详解
整体系统架构
NGPS基于ROS2搭建，和ArduPilot飞控深度集成，采用「低频绝对校正+高频相对输出」的两级融合架构，三大核心模块各司其职：
?️ NGPS视觉定位模块：匹配卫星图输出绝对地理位姿，1-2Hz ? VIO视觉惯性模块：紧耦合优化输出高频相对位姿，10-20Hz ⚖️ UKF融合模块：异步融合多源数据，输出漂移校正后的位姿，再送入飞控做最终控制
这种架构既保证了全局定位无漂移，又能输出高频位姿满足飞控的实时性要求。
视觉惯性里程计（VIO）模块
VIO部分基于VINS-Fusion实现，针对高空场景做了专项优化：
采用IMU预积分+滑动窗口光束法平差的紧耦合框架 针对高空视差小、纹理稀疏的特点，优化KLT光流跟踪策略 通过Allan方差标定IMU噪声参数，视觉-IMU联合初始化恢复度量尺度
视觉地理定位模块
1).深度特征提取与匹配
用SuperPoint提取图像关键点和特征描述子，再用LightGlue完成特征匹配。LightGlue的自适应推理深度、点剪枝、双向交叉注意力等设计，既能保证匹配鲁棒性，又能在嵌入式平台上高效运行。
系统设置了两道质量门槛：匹配点数量不少于20个，单匹配置信度不低于0.5；最终用RANSAC算法求解单应性矩阵，剔除外点。
2).速度预测核提取
如果以上次定位结果为中心裁剪卫星图，无人机飞快了很容易跑出搜索窗口，导致匹配失败。 NGPS用UKF输出的机体速度，前向预测当前位置，以此为中心裁剪卫星搜索核：
同时还会对核区域做旋转补偿，再缩放到统一尺寸用于匹配。这样不管飞快飞慢，搜索窗口都能稳稳跟住无人机，大幅提升高速场景的匹配成功率。
多方法融合旋转估计
朝向估计不准，位置解算就会偏离。NGPS用三种方法互补估计旋转角，再取中值输出，同时加入时域平滑和异常值剔除：
单应性矩阵分解：从归一化单应性矩阵提取旋转角 关键点统计：计算所有匹配点对的角度差，取中值 轮廓拟合：把相机视场投影到卫星图，拟合最小外接矩形求朝向
最终融合后的旋转RMSE仅1.94°，比单一方法精度提升30%以上。
自适应置信度UKF融合
1).状态定义
UKF维护15维运动学状态，包含位置、姿态、速度、角速度和加速度：
IMU偏置估计由前端VINS-Fusion完成，UKF专注于多源数据的运动学融合。
2).自适应噪声加权
卫星匹配的质量不是恒定的，场景纹理、光照、视角都会影响精度，固定权重显然不是最优解。 NGPS把三个匹配质量指标融合成一个置信度分数γ：
再用这个置信度动态缩放测量噪声协方差：
简单来说就是：匹配质量越高，系统越信任这个绝对定位结果，校正力度越大；匹配质量差，就自动降低权重，不让它带偏状态估计。
3).异步时间优先级队列
三种传感器频率差了上百倍，怎么对齐融合是个核心难题。 NGPS设计了时间优先级队列：所有测量数据都打上精确时间戳，按时间顺序排队；UKF每次从最早的测量开始处理，先把状态预测到对应时刻，再执行更新。 这种严格按时间顺序处理的机制，完美解决了多速率异构数据的融合问题，精度远高于简单插值或抽点方案。
2.5D地理参考正射重建
定位精度有了保障，建图就是水到渠成的事：
先做VINS位姿图全局优化，加入NGPS绝对位置约束，用Huber损失抵抗外点干扰： 用优化后的位姿，通过单应性变换把每帧影像投影到地平面，逐帧拼接成带地理坐标的正射影像 同步生成数字表面模型（DSM），支持地形感知路径规划
高度估计与飞控集成
水平位置靠NGPS+VIO融合，高度则交给飞控端多源融合：
40m以内：激光测距仪做主传感器，精度最高 40m以上：自动切换SRTM地形数据库+气压计，保证全高度段都有稳定的离地高度估计
UKF只向飞控输出水平位置和速度，高度由飞控独立解算，分工清晰稳定。
? 实验结果
测试设置
硬件平台：定制六旋翼无人机，搭载Cube Orange Plus飞控、Jetson Orin NX计算单元、下视稳定云台相机 参考与真值：卫星参考图来自Google Earth，定位真值由厘米级RTK-GPS提供 测试数据：5组真实飞行序列，覆盖60-150m高度、2-4m/s速度，包含城市、郊区、农田、混合地形等多种场景
定位精度表现
1).整体方案对比
完整方案平均定位RMSE达到2.94米，相比纯单目VIO精度提升3.5倍，有效抑制了长距离飞行的漂移累积。
2).分场景性能
不同场景下的表现各有差异：
?️ 城市100m：RMSE 1.82m，匹配成功率92.4%，纹理丰富效果最优 ?️ 郊区80m：RMSE 1.94m，表现稳定 ? 农田60m：RMSE 2.73m，纹理重复度高，自适应融合在此场景收益最大 ?️ 150m高空：RMSE 6.04m，地面分辨率下降导致精度降低，但仍远优于纯VIO
3).旋转精度
多方法中值融合后，旋转精度显著提升：
4).和公开基线对比
和同配置单目VIO的公开结果相比，NGPS在所有测试条件下都大幅领先：
60m/2m/s：单目VIO ATE 55.81m，NGPS仅1.94m 80m/3m/s：单目VIO ATE 6.74m，NGPS仅1.88m 单目VIO在40m/2m/s下完全发散，NGPS仍能保持2.41m的ATE
计算性能
在Jetson Orin NX嵌入式平台上的耗时表现：
SuperPoint特征提取：GPU 47ms LightGlue特征匹配：GPU 318ms 全流水线速率：GPU加速下约2.6Hz UKF融合：单步<1ms，稳定输出10-20Hz融合结果
LightGlue的自适应深度机制可以让简单图像对提前终止推理，最多减少40%匹配耗时，是嵌入式实时运行的关键。
消融实验验证
匹配阈值：0.5是精度和成功率的最佳平衡点，太低引入外点，太高匹配失败率飙升 自适应融合：比固定噪声方案RMSE降低11%，最大误差降低12%，效果优于二值门控 速度预测核：4m/s高速下，匹配成功率从64.3%提升到84.7%，失败率下降32% 时序队列：比按到达顺序处理精度高20%，比固定抽点方案高35%
局限性
适用高度建议≥40m，保证航拍视角与卫星图足够相似 低纹理区域、卫星图与实地场景差异过大时，匹配性能会下降 匹配短暂失效时会退化为纯VIO传播，漂移会短暂累积 实时运行依赖GPU加速
✨ 总结
NGPS为高空无人机的GPS拒止导航提供了一套完整、可落地的解决方案：用卫星图深度匹配做绝对位姿锚点，用自适应置信度UKF和多速率队列做多传感器高效融合，同时附带实时2.5D地理建图能力。
这套方案在真实飞行中实现了米级定位精度，性能远超传统纯VIO方案，且能在边缘计算设备上实时运行，可广泛应用于无人机测绘、侦察、巡检等GPS信号不可靠的场景。 未来团队将继续优化域自适应特征、自适应核尺寸、低高度多尺度匹配等方向，进一步拓展系统的适用范围和鲁棒性。
