来源：工业AI眼

文章链接：https://mp.weixin.qq.com/s/xyZ6eUfkYpZkJW6jGgKA-A

在工业智能制造的质检场景中，仅依靠 RGB 图像（类似我们日常拍的照片）来检测产品缺陷，往往容易漏掉那些三维的、几何结构上的细微瑕疵。因此，多模态异常检测（MAD） 应运而生——它通过融合 RGB 图像和深度图像（包含物体几何信息），试图让 AI 质检员“既看清颜色，又摸清形状”。

然而，近期来自东北大学等机构的研究人员发现，当前的多模态异常检测模型普遍存在一个“隐形杀手”——跨模态融合偏见。简单来说，就是在模型训练初期，某一模态（如 RGB）会“霸占”学习主导权，迅速获取大量信息，而另一模态（如深度图）则被压制，沦为“配角”。这种不平衡直接拖累了最终的检测性能。

为了解决这一问题，研究团队提出了一种名为 UCFB（Understanding and Overcoming Cross-modal Fusion Bias） 的即插即用框架，从 Fisher 信息 的独特视角切入，成功缓解了融合偏见，并在多个数据集上取得了显著的性能提升。该研究已被 ACM MM 2026（多媒体领域顶会） 接收。

• 论文链接：https://arxiv.org/pdf/2608.00986

• 发布时间：2026-08-02

一、问题缘起：多模态融合为何会“偏科”？

研究团队首先做了一个有趣的实验。他们分别让模型在“单模态”下（只用 RGB 或只用深度图）和“多模态”下（两者同时使用）进行训练，并引入 Fisher 信息矩阵的迹（Trace of FIM） 作为衡量每个模态“信息获取量”的指标。

**** 文中的 Figure 1 清晰地展示了这一现象：在单模态设置下，RGB 和深度模态的信息获取水平相近，变化趋势也一致。但在多模态联合训练时，某一模态的信息获取量会显著高于另一模态，即出现了“强模态压制弱模态”的现象。这种偏见并非偶然，而是贯穿于 CFM、EasyNet 等主流基线模型中。

团队将此现象形象地比作“两个学生一起学习，一个拼命抢答，另一个逐渐失声，最终团队总分反而不如各自单独学习时的表现”。

二、核心洞察：早期训练阶段是关键“黄金窗口”

为了进一步探究这一偏见如何影响最终性能，团队设计了 5 组精巧的消融实验（Ablation Cases），通过在训练早期或后期对输入图像进行模糊处理，模拟模态信息受损的情况。

** 所示：

• Case 1-4 表明：如果在训练早期对某一模态进行干扰（如模糊处理），模型性能（I-AUROC/Pro）会急剧下降，且即使延长训练时间也无法挽回。
• 相反，如果在训练后期进行同样干扰（Case 5），性能影响则微乎其微。

则从信息获取曲线的角度佐证了上述结论：一旦在早期确立了主导模态，被压制模态的信息获取量将长期处于低位，且无法通过延长训练来弥补。

核心结论：训练初期是纠正跨模态融合偏见的“黄金窗口”。如果能在早期动态平衡各模态的信息获取速度，就能从根源上避免偏见固化。

三、解决方案：UCFB 框架如何“拨乱反正”？

基于上述洞察，团队提出了 UCFB 框架。其核心思路可以概括为两招：

1. 单模态自适应调节（Unimodal Adaptive Adjustment, UAA）UCFB 会实时计算每个模态的 Fisher 信息获取量，一旦识别出“主导模态”且处于“关键学习期”，就会主动减缓该模态的学习速度，为被压制模态腾出成长空间。

• Figure 3 展示了 UCFB 的整体流程：先判断主导模态，再判断是否处于关键期，最后通过动态正则化项调整权重。

• Figure 4（左） 显示，引入 UCFB 后，RGB 和深度模态的 FIM 轨迹均显著提升，意味着两者都获取了更充足的信息。
• Figure 4（右） 进一步对比了深度模态在有无 UCFB 下的 FIM 值，带 UCFB 的曲线明显更高，说明被压制模态的信息获取得到了有效增强。

2. 典型相关分析（Canonical Similarity Analysis, CSA）在调节速度的同时，UCFB 还引入 CSA 模块，强制 RGB 和深度特征进行更深入的交互与对齐，确保两者能协同提取共享的、与任务相关的信息，而不是各自为政。

四、实验结果：全面领先，即插即用

团队在 MVTec 3D-AD 和 Eyecandies 两大主流数据集上，将 UCFB 集成到 EasyNet、CFM、IUF、3D-ADNAS 四种现有方法中，进行了单类、多类和少样本（Few-shot）设置下的全面验证。

• 单/多类设置（Table 2 & 3）：集成 UCFB 后，所有基线方法的 I-AUROC（图像级检测准确率）均获得稳定提升。例如，在 MVTec 3D-AD 单类设置下，IUF 方法从 95.2% 提升至 **97.1%**；在多类设置下，CFM 从 92.4% 提升至 **93.0%**。

• 少样本设置（Table 4 & 5）：在仅提供 5 张、10 张训练样本的极端条件下，UCFB 依然能带来 0.3%~1.2% 的稳定增益，证明了其强大的泛化性。

• 可视化对比（Figure 5）：直观展示了 UCFB 辅助下的异常定位热图，其缺陷区域更聚焦、更清晰，显著优于原始基线方法。

五、总结与启发

这篇论文的价值不仅在于提出了一个新的算法，更在于它从 Fisher 信息理论的高度，首次系统性地揭示并验证了多模态异常检测中“融合偏见”的存在机理与危害。作者通过扎实的实证分析，找到了早期训练这一关键干预窗口，并给出了简洁高效的解决方案。

对于从事工业质检、多模态学习或异常检测研究的开发者和研究人员而言，UCFB 提供了一种全新的、可即插即用的思路——不必重新设计复杂的融合网络，只需在训练初期“扶弱抑强”，就能显著突破现有性能瓶颈。

正如论文结语所期待的：“我们希望这项工作能激发更多关于缓解跨模态融合偏见的研究，从而打破现有 MAD 方法的性能天花板。”