来源：Deepvisionary

原文链接：https://mp\.weixin\.qq\.com/s/1bJKvSqYA6DsCElE6c\-ICQ

生成式 AI 行业有一个公开的秘密:它最赚钱的应用,恰恰是最烧钱的应用。视频生成模型每生成一秒画面,背后都是几十上百次扩散去噪迭代;商用视频生成 API 的毛利,很大一部分被推理电费吃掉了。

2026 年 7 月 9 日,阿里云与上海交大在 ECCV 2026 一口气发表三篇 DiT 推理加速论文——Gaussian Process Rectified Feature Cache、LinCa、AViTS,给出了三个不同层面的加速方案:最快的组合方案能拿到 14.76 倍加速,而且已经集成进通义吴映的 DiT 引擎。论文发在顶会不稀奇,稀奇的是"论文发出来之前,产品已经用上了"。

这篇我们把这三种加速思路的原理讲透,并聊聊为什么"缓存与稀疏化"会成为 2026 年推理加速的主旋律。

背景:DiT 时代的推理账本

2025–2026 年,视频生成完成了从 U-Net 到 DiT(Diffusion Transformer)的架构迁移。DiT 让生成质量大幅提升,代价是推理开销结构性的变贵:

去噪步数多

序列超长

缓存利用率低

账本的结论很直接:视频生成的单位成本,是文本生成的几个数量级。 谁能把推理成本砍下来,谁就能把视频生成从"演示品"变成"生意"——这正是这三篇论文的商业语境。

第一篇:GP-Rectified Feature Cache——给缓存装上"误差修正"

思路的起点是一个朴素观察:扩散模型相邻去噪步之间,特征图高度相似,那能不能把上一步的特征缓存下来,下一步直接复用?

答案是可以,但有一个陷阱:误差会累积。如果每步都直接用旧特征,误差像滚雪球一样越滚越大,最后生成质量崩坏。GP-Rectified Feature Cache(GPRFC)的贡献,是用高斯过程建模特征随时间的演化,对缓存特征做"时序误差纠正"——不是机械地复用,而是预测"这一步的特征应该从缓存值偏移多少",再把偏移加回去。

一句话总结它的定位:它解决的是"复用缓存时怎么保证不出错"的机制问题,是缓存类方法的"安全阀"。单独使用时它提供稳健的加速收益,更重要的是它能与下文两种方法叠加,作为它们的基础设施。

第二篇:LinCa——可学习分解,5.51–6.95 倍

LinCa(Learnable Decomposition of Feature Cache)的切入点更激进:缓存里的特征,不是所有部分都值得缓存。

它把特征缓存做了可学习分解——一部分是"高频细节",对生成质量至关重要,必须每步重算;另一部分是"低频结构",变化缓慢,可以放心复用。分解不是靠手工规则,而是靠学习得到:模型自己学会哪些特征维度可以偷懒、哪些必须认真。

效果:在多种视频/图像生成模型上实现 5.51–6.95 倍加速。这个量级意味着什么?一个原本要 30 秒生成一段视频的在线服务,可以压到 5 秒以内——从"用户愿意等"变成"用户感觉不到等"。

第三篇:AViTS——自适应时空 Token 选择,最高 14.76 倍

如果说 LinCa 在"特征维度"上做文章,AViTS(Adaptive Video Token Selection)就在"token 数量"上做文章。

视频里其实充满了"不值得看"的内容:静态背景、几乎不变的天空、重复纹理。AViTS 的核心思想是自适应时空 Token 选择——在空间维度上,识别并跳过那些"本期不需要重算"的 token;在时间维度上,对变化剧烈的帧多分配计算、对静止帧少分配计算。哪个 token 该算、哪个该跳,由模型根据当前状态动态决定,而不是固定模板。

结果:在 FLUX 上实现 6.34 倍加速;当它与步长蒸馏(把去噪步数从几十步蒸馏到几步)配合使用时,最高达到 14.76 倍。

这里有个关键点:14.76 倍不是"锦上添花",而是量级跃迁。推理成本降到原来的 1/14,意味着同一个 GPU 集群能支撑 14 倍的生成请求——对任何视频生成商业化的团队,这等于把"单位成本"这一项直接改写。

三篇论文速览

为什么"缓存与稀疏化"是 2026 年推理加速的主旋律

把这三篇论文放进更大的坐标系里看,会发现它们和 7 月 30 日 arXiv 上的 ReToken(用可学习 embedding 从预填充视觉 KV cache 选稀疏 token,长视觉上下文 VLM 在 Visual Haystacks 提升 13.4 分)共享同一个方法论内核:

缓存

稀疏化

这两个词,正在成为 2026 年推理优化的事实标准。原因有三:

第一,模型能力的增长已经超过算力供给的增长。 100 万 token 上下文、万亿参数、视频生成——模型在"吃"更多的计算,而数据中心不能无限扩张。省着花,成了唯一的路。

第二,缓存和稀疏化是"无损优先"的工程学。 与蒸馏、量化这种"改变模型本身"的手段不同,缓存与稀疏化首先追求"同样的模型、更少的计算"。它对现有模型的适配成本最低,收益却立竿见影。

第三,它们是可叠加的。 蒸馏压步数、缓存压重复计算、稀疏化压 token、量化压精度——四层可以叠加使用,AViTS+蒸馏的 14.76 倍就是证明。真正的生产级加速方案,从来不是单一技巧,而是"工具箱"。

通义吴映的商业意义:论文进引擎

三篇论文最值得注意的不是学术贡献,而是那句"已集成进通义吴映 DiT 引擎"。它传递了两个信号:

信号一:中国云厂商开始用"推理效率"打差异化。 当各家视频生成模型的画面质量趋同,真正能拉开差距的,是"同样的画质,你比我便宜多少、快多少"。论文-引擎-商业化的闭环速度,决定了这个差距的领先时间。

信号二:推理成本是 2026 年视频生成商业化的胜负手。 14.76 倍的加速意味着:原本只能服务 100 万次生成的算力,现在能服务 1400 万次。在视频生成这个"按量计费、毛利敏感"的市场,谁的成本曲线更陡,谁就能把价格战打得更久、把市场份额拿得更稳。

结论与行动建议

判断:2026 年是生成式 AI 的"省电时刻"。 ECCV 2026 阿里云三篇论文展示的不是三个孤立技巧,而是一条明确的工程路线:缓存 + 稀疏化 + 蒸馏的多层叠加,把视频生成的推理成本往下砍一到两个数量级。当这个路线被集成进产品引擎,它就不再是论文,而是定价权和市场份额。

给读者的行动建议:

如果你的业务在跑视频/图像生成,立刻核算推理成本结构

把"推理优化"当成一个持续投入的工程方向,而不是一次性调优

做应用层的团队,把"单位生成成本"写进产品路线图

原文链接: https://www.leiphone.com/category/private/y7UXp4imDWSIEbRm.html