来源：多模态信息融合
文章链接：https://mp.weixin.qq.com/s/X3SPTbVUlwPIEWRWfBSb9Q
Shift-IISR·红外超分辨率
可见光先验，红外又该如何适配呢？
一张低分辨率的红外图片，想要恢复出清晰的结构来，但是却因为可见光扩散模型而被补出了“不属于红外”的纹理。北科大Shift-IISR不重训整个扩散骨干，而是在两条引导路径上分别纠正全局模态分布和局部几何结构。
论文：Decoupling Cross-Modality Manifold Discrepancy: Leveraging Visible Diffusion Priors for Infrared Super-Resolution
作者：Yunpeng Hua*, Hongwei Yu*, Jiawei Li, Qiankun Liu, Huimin Ma, Jiansheng Chen†
单位：University of Science and Technology Beijing（北京科技大学）
论文链接：
https://arxiv.org/abs/2607.21174
代码链接：
https://github.com/Assassink8/Shift-IISR
PART 01 问题和目的
红外超分辨率(IISR)并不是把画面拍得“像照片”就可以了。可见光预训练扩散模型虽然具有很强的生成能力，但是它的纹理和亮度先验并不等于红外成像规律。原论文Fig. 1中用“可见光流形→红外流形”来表示：未经校正的生成轨迹很容易出现跨模态偏移。
主要矛盾并不是“扩散模型不够强大”，而生成得越逼真，也有可能离热成像真实物理特征越远。因此本文工作关键词的理解是分布一致性和结构一致性。
两种不一致
① 全局分布偏移：灰度强度、热目标响应以及整个统计特征都和红外真值不符。② 局部结构异质性：边界、细长的目标以及局部几何细节都出现了畸变。单纯的微调可能会失去原来的扩散先验；一次边缘约束很难控制住多次去噪。
方法动机还包含训练资源：高质量的红外对样本数量有限，直接从头开始大规模训练红外扩散模型成本很高；完全微调可见光骨干的话可能会破坏原有的生成能力。
PART 02 · Shift-IISR整体框架
作者用ResShift的潜空间残差扩散作为骨干，并且冻结了预训练UNet以及编码器，同时引入了GRM（紫色）和LSR（绿色）两条路径：GRM重写时间嵌入，引导模态分布；LSR会修正每一部分的隐变量，并且引导局部结构。橙色虚线表示的是训练过程中的操作。
ResShift 在潜空间中使用的是逐渐向低分辨率方向迁移的残差迁移，并不是简单的从纯噪声中恢复出图片来。简化后的潜变量表达式为：
其中z₀是高分辨率目标的潜变量，zᵧ是低分辨率条件的潜变量；αₜ用来控制残差迁移，ε是高斯噪声。
全局表示调制
GRM 用共享特征提取器E来处理同一个场景下的低分辨率红外和可见光潜特征，并且通过训练一个模态二分类器来促使特征捕捉到可以区别的红外统计信息。在实际生成的过程中，利用可以学习的门控和投影层来把红外表示注入到UNet的时间嵌入中，并不是直接替换整个扩散模型。
对于同一个场景的两种模态编码（训练过程）：
经过门控之后得到要注入到扩散骨干中的红外先验：
它的时间嵌入调制方式为：
门控g初始化为-2，σ是Sigmoid；γshift(t) 会随着时间的变化而变化。注意：文中所用的可见光图像是为了在训练过程中不同模态之间的对比不是实际红外超分输入端必须额外提供的一种模态。
Fig. 3｜GRM 内部共享特征提取器E和模态分类器C的具体结构
PART 03 · LSR局部结构精修
LSR在低分辨率红外潜特征的基础上使用Sobel提取边缘并进行均值归一化；结构残差根据时间步来调整其强度，并且在每次去噪的过程中都会产生一些中间潜变量。约束不只在最后输出的时候起作用，在重建的过程中也会对细节产生影响。
局部结构先验的计算和注入的过程分别是：
在此基础上，δstr(t)=γstr(t)·δnorm，ξ=10⁻⁶以避免归一化分母为零。Sobel 来自LR 红外潜变量并不是把原始可见光边缘强行复制到红外结果里去。
时间调度、双路协同
LSR结构引导在反向采样的初期比较强，之后逐渐减弱；GRM 用的是独立的时间调制系数来调节模态表示注入。在训练过程中，模态判别器和生成分支会交替进行优化，最后用扩散重建损失以及模态分类辅助损失的加权平均来代替原来的损失函数。
Lcls是用红外标签0、可见光标签1来训练的模态分类损失，λ用来平衡去噪重建和模态辨识。论文中提到了判别器和GRM分支之间的交替优化来提高训练稳定性的内容。
灰度直方图和真实值比较：展示模型对于全局强度分布进行校正的效果
实验结果
在M3FD的Set5/Set15/Set20上，Shift-IISR的LPIPS分别为0.162/0.156/0.191，SSIM 为 0.935/0.927/0.934，均排在比较方法的第一位；PSNR也稍小于CoRPLE。消融也支持GRM和LSR一起使用效果更好。作者还报告了下游检测和语义分割方面的改进，但是不能把这样的实验当作跨设备真实的部署保证。
按照CoRPLE标准来比较的话，Set5的PSNR为35.129，而Set5的PSNR为35.269；所以更加准确的表述就是感知质量、结构一致性的表现非常出色，PSNR也具有竞争力并不是所有的指标都是第一名。
Table 1 三组测试子集完整的答案
从单纯的骨干成员变为同时加入GRM和LSR：PSNR由原来的28.302提高到了34.099，SSIM也由原来的0.699提升至0.931
去掉任意一条分支之后的不同之处
目标检测和语义分割的下游任务之间的比较
超分的结果在进行红外目标检测的时候可以做可视化的对比
超分的结果在进行语义分割的时候用来展示边界以及类别的可视化对比
研究启发：在迁移生成式基座的时候，并不是要全部改变预训练权重，而是要区分出“需要修正的模态统计偏置”以及“需要保护的任务结构”。。这可以作为研究设计的一个思路来用；并不是所有的红外成像场景都已经得到验证
