来源：遥感和深度学习
原文链接：https://mp.weixin.qq.com/s/kvFykKLlDoECC_M2-1aaQg
题目：RBE-Flow: Recurrent Bayesian Estimation on Feature Manifolds for Cross-Modal Registration
期刊：European Conference on Computer Vision（ECCV 2026）
论文：https://arxiv.org/abs/2607.02471
数据：OSdataset、WHU-OPT-SAR、RoadScene
代码：https://github.com/NEU-Liuxuecong/RBE-Flow
年份：2026
单位：东北大学
创新点
提出RBE-Flow，将跨模态稠密光流估计重新表述为特征流形上的闭环循环贝叶斯估计问题，而非传统的前馈回归。 设计循环流形优化（RMO）模块，通过求解特征度量非线性最小二乘问题生成带不确定性的流观测。 提出不确定性自适应概率更新（UAPU）模块，利用确定性Sigma点投影实现MMSE最优的贝叶斯融合，并将后验协方差反馈以自适应调节优化阻尼。 设计几何感知修正NLL损失，通过动态方差下界防止方差坍塌，提升不确定性标定的可靠性。
背景
跨模态图像配准（如光学-SAR、可见光-红外）在遥感分析、三维场景理解和自主导航等领域具有重要应用价值，但由于不同传感机制导致的强非线性辐射差异（强度反转、斑点噪声、光谱差异）以及几何形变，使得配准任务面临高度非凸的匹配优化空间。
现有的确定性回归或标准优化方法缺乏不确定性感知能力，在面对模糊区域或强噪声时容易产生过度自信的错误更新，导致误差累积，难以在复杂跨模态场景下保持稳定精细的配准精度。
数据
文章在三个跨模态数据集上进行了实验验证。
OSdataset
光学-SAR数据集，覆盖森林、农田、河流等多种地形类型。 数据划分为1172/153/288（训练/验证/测试）。
WHU-OPT-SAR
光学-SAR数据集，聚焦于复杂城市场景。 数据划分为7000/700/700（训练/验证/测试）。
RoadScene
可见光-红外（RGB-IR）数据集，采集不同光照条件下的街景与交通场景。 该数据集基于MURF经过裁剪与扩展得到，划分为5120/640/640（训练/验证/测试）。
方法
整体框架
RBE-Flow构建了一个闭环循环贝叶斯估计框架，将流估计视为动态状态估计问题，核心由多尺度特征提取、初始化模块以及循环的RMO-UAPU耦合模块组成。
多尺度特征提取（MFE）
使用权重共享的ResNet编码器提取1/2、1/4、1/8三种尺度特征。 深层特征用于全局初始化，浅层特征保留细节，用于后续局部观测。
迭代初始化模块
局部特征初始化（LFI）：通过自注意力与跨注意力机制融合多尺度特征，生成兼具语义与纹理信息的特征表示。 全局流初始化（GFI）：基于1/8尺度特征计算稠密相关矩阵，通过软最大化得到初始稠密光流场，为后续优化提供可靠起点。
循环流形优化模块（RMO）
谱熵引导的相关融合：构建局部窗口与池化特征两级相关体，并利用熵度量自适应融合不同尺度的相关信息。 协方差自适应阻尼优化：利用ConvGRU预测雅可比矩阵、残差梯度及阻尼系数，并将上一时刻后验协方差引入阻尼调节，在高不确定性时更保守地更新，通过类LM求解得到流增量。
不确定性自适应概率更新模块（UAPU）
不确定性扩散的先验传播：将流状态建模为随机游走过程，并通过QNet预测过程噪声以更新先验协方差。 非线性流形分布投影：生成确定性Sigma点并通过可学习的观测网络投影到观测空间，计算预测观测均值。 不确定性门控的后验融合：计算创新协方差与状态-观测交叉协方差，得到MMSE最优的贝叶斯融合增益，更新后验流估计与协方差，并将结果反馈至RMO形成闭环。
损失函数设计
初始化损失：对粗尺度初始流采用L1损失进行监督。 几何感知修正NLL损失：引入随几何误差幅度动态调整的方差下界，防止方差坍塌并强制高误差区域具有高不确定性，同时对多次迭代结果进行加权深度监督。
结果与分析
RBE-Flow在三个跨模态数据集上均取得了优于现有手工设计、稀疏、半稠密及稠密匹配方法的配准精度，尤其在严格亚像素阈值下表现出更强的鲁棒性和稳定性。消融实验表明，全局初始化、概率损失、RMO与UAPU模块的逐步引入均带来了性能提升，其中RMO与UAPU的协同作用对亚像素级精度提升贡献最为显著。
