Gairdao Community

西湖大学MiLAB两项VLA成果连中ACM MM、CoRL：让通用模型更统一、可持续学习｜ACM MM 2026

acmmmacm2026

热门论文

会前预热

GAIR DAO 2026-10-16

*来源：西湖机器人

*

文章链接：https://mp\.weixin\.qq\.com/s/FJh\_\_9hEIzArZXuGCWV9\-w

进入2026年，具身智能的竞争重心已转向底层模型的通用性与持续进化能力。

VLA（视觉-语言-动作，Vision-Language-Action）模型被视为通往通用具身智能最有希望的技术路线之一。但VLA要从实验室走向规模化应用，还需要回答两个核心问题：

● 理解任务、预测环境变化与生成动作，能否在统一模型中协调完成？

● 模型持续学习新任务时，如何避免历史任务能力退化？

近日，西湖大学王东林教授创立并领衔的机器智能实验室（MiLAB）两项最新工作分别给出了回答，一项工作被多媒体顶级会议ACM MM 2026录用，并被收录为口头报告（Oral）；另一项工作被机器人学习顶级会议CoRL 2026录用。两项工作沿“统一架构—持续进化”的脉络展开。

一个模型，统筹理解、预测与动作

MMaDA-VLA｜ACM MM 2026（Oral）

**

**

现有VLA方法通常在视觉语言模型上附加专门的动作模块，增加了模型结构与训练的复杂性；或将动作离散化后按固定顺序逐个生成，限制了动作序列的整体协调，长程任务中容易累积误差。扩散式VLA开始通过并行预测改善动作生成，但部分方法由自回归模型改造而来，pretrain与下游扩散式生成之间存在范式差异。

MMaDA-VLA是一种统一多模态理解与生成的原生离散扩散VLA模型：它将语言、图像与机器人动作纳入统一的离散标记（Token）空间，以一致的掩码预测目标开展pretrain与任务微调。

生成过程中，模型通过多轮并行去噪，联合预测未来场景画面与一段连续动作，使动作生成能够持续利用未来视觉预测的中间信息。原文对此有一个形象的解释：这就像反复完善一份“行动草稿”，让整段动作保持协调，并用预测的未来画面指导动作生成。混合注意力机制则在同一模态内部充分交换信息，同时控制不同模态之间的信息传递。

由此，多模态理解、环境变化预测与动作决策被整合进单一模型，无需额外引入独立的世界模型，为提升长程操作的连贯性与可靠性提供了新的思路。

MMaDA-VLA总览：统一离散Token、混合注意力与迭代去噪

实验方面，MMaDA-VLA先在约5300万个跨机器人平台训练样本上完成pretrain，再针对具体任务微调：LIBERO基准平均任务成功率达98.0% ；CALVIN跨环境测试中，连续五项子任务平均完成4.78项；在真实机械臂上完成了物体取放、积木堆叠、抽屉收纳、餐具整理等任务。执行阶段，模型根据新的视觉观察持续更新预测，形成闭环控制。

• 论文题目：

MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation

• 论文地址：

https://arxiv\.org/abs/2603\.25406

• 代码地址：

https://github\.com/yliu\-cs/MMaDA\-VLA

持续学习：缓解VLA的灾难性遗忘

Info-VLA｜CoRL 2026

现有VLA模型在持续学习过程中容易发生灾难性遗忘：学习新任务后，历史任务的保持与泛化性能明显下降。已有方法主要关注参数或样本层面的保持，却忽略了视觉、语言与动作之间跨模态信息结构的退化——这会直接导致模型跨模态对齐能力下降。

Info-VLA是一种基于信息论约束的持续VLA对齐框架，从表示质量与结构保持两个方面应对这一问题：

重放教师锚点：利用滚动教师模型构建稳定的表示锚点，通过教师–学生对比学习保持历史表示空间的几何结构，减缓表示漂移；

跨模态互信息保持：引入条件互信息约束，持续保持视觉、语言与动作之间的统计依赖关系，从整体上维护跨模态信息结构。