来源：多模态信息融合

原文链接：https://mp\.weixin\.qq\.com/s/QjD1bmw0Bvoga3Jx6BpHOQ

01｜引言

多曝光融合的目的就是把同一个场景下的不同曝光的照片的优点结合起来，使得高光不过曝、暗部有层次、运动的地方没有拖影。但是真实的设备不会一直用固定的方式去拍摄：在夜晚、逆光或者是室内和室外交接的地方，可能需要两帧、三帧甚至是五帧的数据来完成一次融合。

现有的深度模型一般会将输入帧的数量写入到通道维度或者并行交互结构之中，如果曝光帧数发生变化的话，那么该模型就必须改变自身的结构并且进行重新训练。而FreeMEF所要做的就是使同一个网络可以接收到不同数量的曝光帧并且要保证细节恢复和消除虚影的能力一直存在。

02｜核心信息

论文标题：There and Back Again: A Flexible-Frame Transformer for Multi-Exposure Fusion

作者：Lishen Qu、Yao Liu、Shihao Zhou、Jie Liang、Hui Zeng、Lei Zhang、Jufeng Yang*

单位：南开国际先进研究院（深圳·福田）、鹏城实验室、南开大学计算机学院、香港理工大学、OPPO 研究院

论文链接：

https://arxiv\.org/abs/2606\.27905

代码链接：

https://github\.com/qulishen/FreeMEF

03｜研究动机

矛盾之一：固定的帧率会限制真实的部署

第一种情况就是固定的帧约束。直接将多帧特征进行拼接的话，就会使输入层、融合层以及帧数之间产生关联。而FreeMEF则是通过共享特征提取器以及循环状态更新的方式来实现对序列长度的解耦。

矛盾二：相似性悖论

第二，相似性悖论。标准注意力偏向于高相似度的地方，但是饱和区的基础特征已经被扭曲了，正好是最难和健康的参照特征相匹配的地方。因此，最需要修复的位置可能会得到最小的权重。

对于过曝或者欠曝的部分，基准帧的结构和亮度都已经严重失真了，和健康的参照特征之间的相似度也最小。所以传统的注意力往往会把最大的权重放在最需要修复的地方。

04｜创新点

1. 模型可以适用于任何数量的曝光帧

FreeMEF 提出的是参考曝光和基准曝光在信息流上的分离，在参考帧用循环状态逐帧累加的方式得到，所以输入帧的数量只会影响循环次数而不会影响网络结构。

2、用RSSM来建立可变长度的全局状态

RSSM 通过可变形对齐、注意力状态空间方程和门控更新来把多帧曝光信息稳定地写入到一个全局隐藏状态中去。

3、用EAHA和AFFN来修复饱和区

EAHA 用基准查询和参考查询之间的极值图来实现自适应切换，AFFN 利用全局曝光统计数据来调整局部特征的亮度和对比度。

05｜核心方法

RSSM：逐帧汇集任意多张曝光

每一张图片都会被送入一个轻量级的特征提取模块中去。然后RSSM就会把当前时刻的特征和上一个时刻的隐藏状态做可变形对齐，并且用Attentive State-Space Equation来建模出长距离的空间-序列的关系。这里的隐藏状态并不是简单的累加，而是通过门控的方式来更新的：有多少信息要保留下来，又有多少信息需要被加入进来，这一切都是由网络根据具体内容来决定的。因此2 帧、3 帧或者 5 帧的区别只在于循环次数的不同，并没有改变模型本身的结构。

式（8）：门控地把当前的曝光信息存到全局隐藏的状态中去。

EAHA：极值感知混合查询

GFGB 中的 EAHA 同时有两个查询：一个是基准帧，用来保持正常的曝光区域的内容一致；另一个是全局参考状态，在基准帧过曝或者欠曝的时候作为备用检索入口。网络预测出极值图 E，并且对这两个查询做空间上的自适应混合。正常的区域用基准帧，饱和的地方就变成参考状态这样就可以防止最重要的地方没有参照依据了。

式（11）：极值图E决定了每一个地方是更加信任基准查询还是参考查询。

AFFN：全局曝光诱导仿射调制

除了把缺少的纹理“搬回来”之外，还需要解决LDR和目标融合图像在亮度、对比度上的差异问题。AFFN从全局参照的状态中抽取描述向量，并且推算出缩放参数γ和偏移参数β，然后对局部特征进行仿射调整。EAHA 选择去哪里获取资料，AFFN 选择如何恢复亮度和对比度。

式（13）：全局曝光状态产生各个通道的尺寸和位移参数。

《从哪里来，到哪里去》的意思

“去”的过程就是将各个曝光帧按照顺序写入RSSM中，从而得到一个不依赖于帧数的全局参考状态；而“回”的过程则是使该状态沿着GFGB回到基准帧，并在多层次的Transformer里逐渐恢复饱和区。先解耦基准特征和参考特征，然后选择性地进行融合防止并行早融合把运动错位直接写入到统一特征中去。

06｜实验结果

在标准3帧模式下，FreeMEF 在Kalantari数据集中可以得到28.418dB PSNR，0.948SSIM，0.081LPIPS相对于第二名，PSNR提高了1.192dB，在Real-HDRV上得到的结果为26.077dB、0.940和0.074，PSNR增加了0.515dB。模型的计算量是41.496G FLOPS比很多 transformer 的基线都要低。

FreeMEF 更好的定位方式是跨数据集测试，在 Kalantari 的三帧数据上进行训练之后再用 SICE 的二、三、五帧序列进行测试，得到的 PSNR 分别为17.087分贝、19.326分贝、22.269分贝和第二名相比，第一名为1.748dB，第二名为0.657dB，第三名为1.116dB。对照的方法要根据帧数来改变输入层，并且要重新训练。FreeMEF 不改变结构也不重新训练。

07 消融和讨论

模块消融的结果是去掉RSSM、EAHA、AFFN之后，PSNR降低0.526dB、0.581dB、0.397dB。其中EAHA 造成的伤害最严重饱和区怎样发起查询，并不算是辅助设计，而是决定参考信息是否真的可以被调用的重要因素。

循环结构也就意味着顺序会起作用，在五帧实验里，由最暗变为最亮的顺序可以得到22.269dB的结果，而由最亮变到最暗则会降到21.463dB。作者提出应该使较长曝光时间的帧排在后面进行融合，以防止最后阶段受到来自较暗帧中的噪声的影响。也就是说可变长度并不等同于顺序不敏感。

论文公开存在的问题有颜色偏移如果曝光级差太大，则融合的结果和真实的场景颜色会有很小的差别，在之后的研究中可以考虑曝光顺序自适应、颜色一致性的约束以及和真实的相机曝光策略一起进行优化的问题。

08 总结和展望

FreeMEF 不仅可以用来做多曝光融合，还可以把 Mamba/SSM 和其他一些问题一起放在同一个信息流里：RSSM 可以解决由于输入帧数不同而产生的问题，EAHA 解决饱和区低相似度检索问题AFFN解决全局亮度和对比度校正问题之后，就将传统的“固定三帧网络”推向了更加接近实际设备的程度。单模型、多种配置部署。

从应用的角度来看，FreeMEF最重要的价值就是把多曝光融合由原来的“一个曝光方案对应一个模型”提升为单个模型可以适用于各种曝光设置还可以根据曝光顺序的变化来进行调整，同时保持颜色的一致性，并且和真实的相机曝光控制一起进行优化。

原文链接: https://www.leiphone.com/category/private/yaw6QBm8HbtqaFrJ.html