来源：我爱计算机视觉

原文链接：https://mp\.weixin\.qq\.com/s/3xekNy\_ObCYtS2\-mFkos1g

扩散Transformer（Diffusion Transformers, DiT）如今已成为高保真视觉生成领域的黄金标准，像广为人知的 FLUX.1 和 HunyuanVideo 等模型，其生成效果确实令人惊叹。然而，这种惊艳效果的背后，是极其高昂的推理延迟——在单张 A100 显卡上，FLUX.1-dev 生成一张图片需要耗费将近 24 秒。这种顺序（sequential）的去噪机制，严重制约了它的实时部署。

为了攻克这一瓶颈，学术界近期涌现出了许多“缓存并预测”的免训练加速方案（如 TaylorSeer、HiCache 等），试图通过多项式来预测特征轨迹。然而，这些方案在面对高加速比（比如 5 倍加速）时，往往会遭遇画质“雪崩式”的退化。

浙江大学的研究团队在最新被 ECCV 2026 录用的论文中，深入剖析了这一失败的根源，并提出了一种名为ResilPhase 的免训练、即插即用加速框架。它不仅在 FLUX.1-dev 和 HunyuanVideo 上实现了近 5 倍的无损加速，而且将额外显存开销降到了近乎为零的0.27 GB。

背景与动机：传统外推方案的三大硬伤

要理解 ResilPhase 为什么有效，需要先审视传统的外推加速方案卡在了哪里。作者指出，现有的预测缓存方案在空间、时间和数值逼近三个维度上存在硬伤：

方法详解：重构无导数的有界相位空间外推

为了彻底解决上述痛点，ResilPhase 抛弃了传统的逐层预测和导数逼近，从空间、时间和数值逼近三个维度对加速推理进行了重构。

1. ODE对齐的宏观轨迹目标（Global Drift）

为了斩断空间上的误差累积，ResilPhase 将预测目标从“逐层的微观特征”提升到了“全局的常微分方程（Ordinary Differential Equation, ODE）状态演化”。

作者定义了全局漂移（Global Drift, GD），记为。它表示模型的最终输出 与初始输入 之间的端到端状态位移：

在跳过的推理步骤中，推理过程不再去计算或预测那几十层 Transformer 块的中间特征，而是直接用一个宏观预测器 来外推这个全局漂移。最终的输出直接通过简单的加法重建：

输入与输出流程：

这种设计将空间误差的累积上界从 降到了，不仅彻底避免了误差在层间的放大，还因为不需要缓存任何中间层特征，将缓存的显存开销降到了近乎为零。

2. 无导数的重心拉格朗日外推

虽然全局漂移（GD）的轨迹非常平滑，但其高阶时间导数依然嘈杂。为了绕开导数计算，ResilPhase 引入了无导数的重心拉格朗日插值法（Barycentric Lagrange Interpolation）。

对于 个历史数据点，其插值多项式为：

其中，重心权重 仅与时间步的相对位置有关。这意味着在推理前，可以直接预计算并缓存这些权重，在实际推理时，外推的计算复杂度仅为，且完全避开了不稳定的有限差分导数。

输入与输出流程：

3. 即插即用的相位映射（Phase Mapping）

为了从根本上抑制龙格现象引起的边缘振荡，ResilPhase 首次提出将物理时间步 投影到一个有界的连续相位空间 中进行外推。

输入与输出流程：

论文中设计了两种映射机制：

实验与结果：5倍加速下的无损神话

研究团队在 FLUX.1-dev、HunyuanVideo 和 DiT-XL/2 等主流模型上进行了广泛的测试。

1. FLUX.1-dev 文生图表现

在 FLUX.1-dev 上，未加速的 50 步采样耗时 23.69 秒。

如 Table 1 所示，在相似的加速比下，ResilPhase 的表现令人惊艳。在4.97倍 的高加速比下（耗时缩短至 4.77 秒），ResilPhase 依然保持了1.0258 的 ImageReward 和29.536 的 PSNR。而同等加速比下的 TaylorSeer，其 ImageReward 跌落至 0.6241，LPIPS 飙升至 0.8012，画面出现了严重的语义崩坏和伪影。

2. HunyuanVideo 文生视频表现

在 HunyuanVideo 的文生视频任务中，ResilPhase 同样展现出了统治级的画质保持能力。在4.98倍 加速下，其 VBench 得分高达79.78，PSNR 达到18.920，在运动一致性和细节保留上显著超越了 TeaCache 和 ToCa 等强劲基线。

3. 极低的显存开销与强大的即插即用性

得益于Global Drift 的宏观设计，ResilPhase 避开了对逐层特征的缓存。实验表明，传统方案（如 TaylorSeer、HiCache）在运行 FLUX.1-dev 时会带来额外的+7.35 GB 显存开销，而 ResilPhase 仅增加了+0.27 GB，几乎是零开销，这让消费级显卡部署 5 倍加速的 FLUX 变为了现实。

值得一提的是，Phase Mapping 具有极强的普适性。将其作为即插即用的稳定器直接嵌入现有的 TaylorSeer 或 HiCache 中，能让这些原本在高倍率下崩溃的算法，其 ImageReward 和 LPIPS 指标得到立竿见影的巨大提升。

写在最后

ResilPhase 是经典数值分析理论与现代深度学习推理优化的结合，回归到数学模型的探讨，用拉格朗日插值和切比雪夫节点这样经典的工具，同样能优雅地解开“高加速比下画质崩溃”的死结。

目前该项目已在 GitHub 开源，如果想要在本地体验 5 倍加速且近乎不占额外显存的 FLUX.1，不妨先去给作者点个 Star 再体验一下。

原文链接: https://www.leiphone.com/category/private/oKC0UfSUJcvt9Aul.html