Logo
Loading...
期刊
专家
顶会专区
ECCV 2026|有尺度! 单目深度估计模型在航拍领域不再失准, 中大等提出AerialMetric

 

来源:遥感与深度学习

原文链接:https://mp\.weixin\.qq\.com/s/UIC2vgnAd\_8oNHb4nyEvlA

题目:AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World

会议:ECCV 2026

论文:https://arxiv\.org/abs/2606\.29716

项目:https://kuieless\.github\.io/AerialMetric\-ECCV2026\-page/

代码:https://github\.com/kuieless/AerialMetric\-ECCV2026

数据与权重:https://huggingface\.co/datasets/Kuiee/AerialMetric\-ECCV2026

单位:中山大学深圳校区、深圳市未来智联网络研究院、香港中文大学理工学院(深圳)、电子科技大学深圳高等研究院

作者:Zhongqiang Song、Guanying Chen、Yuqi Zhang、Yin Zou、Chuanyu Fu、Zhiyuan Yuan、Chuan Huang、Shuguang Cui、Xiaochun Cao

ECCV2026遥感方向合集:ECCV2026

创新点

1、构建AerialMetric航拍单目度量深度数据集与评测基准包含52K真实图像—深度对和16K合成图像—深度对,覆盖真实航拍、受控采集、合成场景和互联网无人机视频。

2、设计Decoupled子集,解耦分析高度、俯仰角和FOV的影响。

3、建立面向多种数据来源的可靠度量深度生成流程。

4、提出MoGe2-Aerial,显著提升航拍场景下的度量深度估计性能,同时能保持地面场景泛化能力。

背景

单目度量深度估计需要从一张RGB图像中恢复真实米制距离。现有模型主要在室内、街景和车载数据上训练,直接用于无人机图像时仍面临三个问题:

域差异:飞行高度、俯仰角、FOV和场景尺度变化明显,模型容易产生尺度偏差。

数据不足:现有航拍数据多用于检测或分割,缺少规模充足、几何可靠的度量深度真值。

评测受限:高度、俯仰角和FOV通常相互耦合,也缺少开放世界航拍场景的统一测试。

本文思路:构建四个互补子集,系统评测UAV成像变量,并通过参数高效微调完成模型适配

数据

AerialMetric包含约52K对真实RGB-Depth数据和16K对合成RGB-Depth数据,由四个功能互补的子集组成。

Oblique:25个真实倾斜摄影场景、约47K对数据,用于大规模真实航拍训练与评测。

Decoupled:4个受控场景、约4.6K对数据,正交组合4种俯仰角、2种高度和2种FOV。

Synthetic:7个合成场景、约16K对数据,补充真实采集难以覆盖的视角和场景。

Wild:100个互联网无人机视频场景、约1.1K对数据,仅用于开放世界泛化评测。

方法

数据集构建管线

AerialMetric针对不同数据来源设计了不同的深度构建流程,这套设计在几何可靠性与场景覆盖之间做了取舍:可控数据提供精确监督,开放世界视频则用于检验真实泛化。

真实航拍数据:对于带LiDAR的数据,通过点云与相机几何进行深度投影;对于只有RGB与GPS/位姿信息的数据,则通过多视图重建得到三维网格,再将网格渲染为像素对齐的metric depth。

合成数据:Unreal Engine管线可以直接读取渲染深度;Google Earth Studio数据则通过多视图重建与深度投影获得对应监督。

互联网视频:先恢复相机位姿与尺度无关的三维结构,再利用可识别地标的真实尺寸估计全局尺度,将相对深度转换为pseudo-metric depth。Wild子集只用于评测,不参与训练。**

**

模型适配:以MoGe2为基础进行LoRA微调,并混合真实航拍、合成和少量地面数据,得到MoGe2-Aerial。

结果与分析

实验表明,地面预训练模型直接用于航拍图像时难以恢复准确的真实尺度。MoGe2-Aerial在真实航拍、受控采集和Wild场景中明显提升,同时基本保持原有的地面性能。

以下结果中,AbsRel越低越好,δ1越高越好。

1. 航拍测试集

2.地面测试集

3. 互联网In-The-Wild测试集

4. 微调策略消融

5. 可视化分析

 

原文链接: https://www.leiphone.com/category/private/g35Qpojt7q1pKwOV.html