Logo
Loading...
期刊
专家
顶会专区
DualRefIQA:用双参考跨越超分辨率质量评价鸿沟|ACM MM 2026
GAIR DAO 2026-10-15

来源:STRUCTatP

文章链接:https://mp.weixin.qq.com/s/4WPh0X2CgEWNeFRH28N-NA

当超分辨率模型把一张模糊的小图变得清晰锐利时,我们该如何判断它是真的“恢复”了图像细节,还是只是生成了看似真实的错误纹理?

长期以来,超分辨率图像质量评价面临着一个两难问题:全参考指标需要真实高清图像,并且容易惩罚合理但未对齐的生成细节;无参考指标虽然不依赖高清真值,却可能被清晰但错误的“幻觉纹理”所迷惑。如何在没有真实高清参考的情况下,同时衡量内容保真度与感知质量,成为超分辨率评价中的关键问题。

STRUCT小组徐圣涵同学的论文Bridging the Reference Gap: Dual-Reference SR-IQA with Generated Image Guidance as Perceptual Anchors被ACM MM 2026接收。论文针对这一问题提出了双参考超分辨率图像质量评价框架DualRefIQA。该方法使用原始低分辨率图像约束内容保真度,并以大型生成模型合成的高质量图像作为感知质量参照,将“内容是否正确”与“纹理是否自然”进行显式解耦。

同时,论文构建了包含超过17万组图像三元组及人类主观质量分数的DSRQ数据集。实验表明,DualRefIQA在无需真实高清参考图像的条件下,取得了更符合人类主观感知的评价结果,并能够作为训练目标,进一步提升超分辨率模型的重建质量。

DualRefIQA:用双参考跨越超分辨率质量评价鸿沟|ACM MM 2026

图1:传统全参考、无参考评价方法面临的矛盾,以及 DualRefIQA 的双参考解决方案


01

背景:现有超分辨率图像质量评价困境

随着生成对抗网络和扩散模型的发展,超分辨率模型已经能够为严重退化的低分辨率图像生成丰富的高频细节。然而,生成能力越强,质量评价也越困难。

现有的超分辨率图像质量评价方法主要包括以下三类:

1. 全参考图像质量评价(FR-IQA)

PSNR、SSIM、LPIPS等全参考指标通过比较超分辨率结果与真实高清图像之间的差异来衡量质量。这类方法依赖严格对齐的高清真值,但在真实应用场景中,高清真值通常无法获得。与此同时,大型生成模型产生的合理细节不一定与参考图像逐像素对应,因此也可能被全参考指标错误惩罚。

2. 无参考图像质量评价(NR-IQA)

无参考方法仅根据待评价图像判断其清晰度和自然度,不需要高清真值。但由于缺乏可靠的内容约束,当超分辨率模型生成了清晰却错误的结构或纹理时,这类指标仍可能给出较高分数。

3. 部分参考图像质量评价(RR-IQA)

简化参考方法尝试利用低分辨率输入提供部分参考信息。然而,低分辨率图像与高清图像位于差异较大的视觉分布中,仅依靠低分辨率输入,难以充分判断高频纹理是否自然。

因此,现有评价方法往往顾此失彼:过于强调保真度,会错罚合理但未对齐的生成细节;过于强调感知质量,又可能奖励语义错误的幻觉内容。针对这一问题,我们思考:能否使用两个功能互补的参考,分别评价内容保真度与感知质量,从而让评价结果更符合人类判断?


02

DualRefIQA核心方法

DualRefIQA的核心思想可以概括为:使用低分辨率原图回答“内容对不对”,使用生成的高质量参考图像回答“纹理好不好”。

围绕这一思路,论文设计了双参考评价范式、空间去对齐模块和非对称双分支网络。

DualRefIQA:用双参考跨越超分辨率质量评价鸿沟|ACM MM 2026

图2:DualRefIQA整体框架


1. 双参考评价范式

对于一幅待评价的超分辨率图像,DualRefIQA同时引入两类参考:

内容锚点(Content Anchor):原始低分辨率输入。它保留了场景主体、整体布局和低频结构,与超分辨率结果在宏观内容上天然对应,可以帮助模型判断是否出现结构偏移、语义篡改或错误生成。

感知锚点(Perceptual Anchor):由大型生成模型根据低分辨率输入生成的高质量图像。它并不是严格的像素级真值,而是作为高质量纹理和自然观感的代理,为感知质量评价提供参照。

两个参考具有天然的互补性:低分辨率图像内容可靠,但缺少高频细节;生成图像纹理丰富,但可能存在结构偏移。通过二者相互约束,模型既不会盲目奖励幻觉纹理,也不会因为像素未对齐而否定合理的生成细节。


2. 空间去对齐模块

生成参考图像通常具有更高的分辨率和更丰富的纹理,但它与待评价图像并不严格对齐。如果直接使用双三次插值缩小生成图像,大量关键高频信息会被模糊;如果进行逐像素比较,又会把正常的位置偏差当作质量问题。

为此,DualRefIQA提出了空间去对齐模块(Spatial De-Align, SDA)。该模块首先使用 Pixel Unshuffle,将高分辨率图像的空间信息重新排列到通道维度,在不丢失像素信息的前提下降低空间尺寸;随后通过轻量残差网络融合通道信息,得到保留高频纹理的感知参考。

这种设计不要求生成参考与待评价图像严格配准,同时能够充分保留生成图像中的纹理统计。消融实验表明,去除SDA并改用普通双三次下采样后,模型在DSRQ数据集上的 SRCC从0.6913降至0.5847,证明了高频纹理保留对于感知质量评价的重要性。


3. 非对称双分支评价

由于两个参考承担不同职责,DualRefIQA为它们设计了不同的处理方式:

保真度路径(Fidelity Path)采用卷积模块和通道注意力,对超分辨率图像与低分辨率输入进行局部比较,重点捕捉结构错误、语义偏移和局部失真。

感知路径(Perceptual Path)采用交叉注意力,在较大范围内比较超分辨率图像与生成参考的纹理分布。该路径不要求两幅图像逐像素对齐,更适合评价生成细节的自然度与丰富度。

模型进一步提取Swin Transformer中间层至深层的语义特征,在保留结构信息的同时,降低对细微像素错位的敏感性。最终,两条路径得到的特征被融合,并通过回归网络预测图像的主观质量分数。



03

DSRQ数据集与实验结果

为了支持双参考超分辨率质量评价,论文构建了DSRQ(Dual Reference SR Quality Assessment)数据集。该数据集包含超过17万组样本,每组数据由以下内容组成:

·待评价的超分辨率图像;

·对应的低分辨率内容参考;

·由大型生成模型生成的高质量感知参考;

·由人工评价汇总得到的平均主观意见分数(MOS)。

在数据构建过程中,论文通过模糊、下采样、噪声、JPEG压缩和上采样等操作模拟复杂退化,并使用大型生成模型在保持原始内容、构图和色彩的条件下生成高质量参考。DSRQ同时支持无参考、全参考和双参考三种评价范式,为不同质量评价方法提供了统一的比较基准。

论文在DSRQ和ISRGen-QA两个数据集上,与多类经典及最新图像质量评价方法进行了比较,并采用 SRCC、PLCC、KRCC和RMSE衡量预测分数与人类主观评分的一致性。

在DSRQ数据集上,DualRefIQA取得了0.6913的SRCC、0.6922的PLCC 和0.5343 的KRCC,在不使用真实高清图像的方法中取得最佳表现,超过多种经过目标数据微调的无参考评价指标。

在包含复杂生成失真和结构伪影的ISRGen-QA数据集上,DualRefIQA取得了0.7773 的SRCC和0.8324的PLCC,显著优于其他无参考方法。尽管部分全参考指标依靠真实高清图像取得了更高的相关性,但这类高清参考在真实超分辨率应用中通常无法获得。DualRefIQA无需真实高清真值,仍然取得了接近全参考方法的评价性能。

DualRefIQA:用双参考跨越超分辨率质量评价鸿沟|ACM MM 2026

表1:DualRefIQA与无参考、全参考图像质量评价方法的定量比较


消融实验进一步验证了双参考范式的必要性。从可视化结果中也可以看到,传统无参考指标容易给存在严重幻觉纹理的图像过高分数,而全参考指标可能过度惩罚合理但未对齐的细节。DualRefIQA能够同时识别结构偏差和纹理质量,其评价排序与人工MOS更加一致。

DualRefIQA:用双参考跨越超分辨率质量评价鸿沟|ACM MM 2026

图3:不同质量评价方法的视觉对比,DualRefIQA的预测分数与人类主观评价更加一致


除了用于评价图像,DualRefIQA还可以反向指导超分辨率模型训练。论文将其作为感知损失,用于微调代表性的超分辨率网络RCAN。实验表明,引入DualRefIQA后,模型能够生成更锐利、更自然的高频纹理,同时避免严重的结构失真。

DualRefIQA:用双参考跨越超分辨率质量评价鸿沟|ACM MM 2026

图4:使用DualRefIQA损失微调超分辨率模型后的视觉结果



04

总结

DualRefIQA针对超分辨率质量评价中的参考缺失问题,提出了一种双参考评价范式。该方法以低分辨率输入作为内容锚点,以生成的高质量参考图像作为感知锚点,并通过空间去对齐模块和非对称双分支网络,分别建模结构保真度与纹理自然度。

相比传统方法,DualRefIQA具有三方面优势:

1. 无需真实高清参考:仅使用实际可获得的低分辨率输入和生成参考图像即可完成质量评价,更贴近真实应用环境。

2. 兼顾内容与感知质量:既能够惩罚语义偏移和结构幻觉,也能够认可自然、合理但未严格对齐的生成细节。

3. 从评价走向优化:DualRefIQA不仅能够给出更符合人类感知的质量分数,还可以作为训练目标,指导超分辨率模型生成更自然的纹理。

随着超分辨率模型快速发展,图像恢复正在从“还原像素”走向“生成可信细节”,相应的质量评价方法也需要从单一相似度比较转向对内容、纹理和人类感知的综合判断。DualRefIQA展示了大型生成模型作为感知参照的潜力,也为图像恢复、增强和编辑任务的质量评价提供了新的研究方向。


DualRefIQA:用双参考跨越超分辨率质量评价鸿沟|ACM MM 2026