在过去几年中，视频生成技术取得了令人瞩目的进展。从基于扩散模型的方法到大规模视频基础模型，生成结果在视觉质量上已经逐渐逼近真实世界。然而，当我们进一步审视这些模型时，一个更本质的问题开始显现：它们究竟是在“理解世界”，还是仅仅在“拟合像素分布”？ 传统视频生成方法大多建立在 2D 图像空间之上，通过逐帧建模来合成动态内容。这种范式虽然在短时间尺度和视觉表现上表现出色，但也暴露出一系列根本性...

【封面图片来源：网站名中国科学院自动化研究所，所有者：GThinker】 一、研究背景  多模态大语言模型（MLLM）在文本推理领域已展现出强大的迭代反思能力，但在涉及复杂视觉场景的推理任务中，依然存在明显缺陷——研究团队将其定义为视觉惯性（Visual Inertia）现象：尽管 MLLM 在文本语境中擅长进行多轮迭代推理并修正错误，但在视觉推理过程中往往不加质疑地依赖最...

【封面图片来源：网站名中国科学院自动化研究所，所有者：MeanFuser】 一、研究背景   端到端自动驾驶近年来取得了飞速进展，生成模型在多模态轨迹规划中展现出巨大潜力。现有基于锚点引导的生成方法能有效刻画驾驶行为的不确定性并提升整体性能，但存在一个内在矛盾：这类方法依赖离散锚点词汇表，并要求其在测试阶段充分覆盖轨迹分布以保证鲁棒性，从而在词汇规模与模型性能之间引入不可调...

一、研究背景   多模态生成是计算机视觉最活跃的研究方向之一。 虚拟试衣（Virtual Try-on）是电商零售核心场景，但传统方法严重依赖人体姿态识别、图像分割等辅助模型，流程冗长，外部误差累积明显；生成质量上，面料质感失真、蕾丝花纹丢失、透明材质处理困难等问题长期困扰用户体验，制约了商业落地。RefTON 开创性地引入服装上身参考图作为视觉指引，仅需人物原图与目标服装...

一、研究背景   大型视觉语言模型（VLM）虽然在2D图像理解和语言推理上表现优异，但在3D空间推理能力上存在明显短板——它们往往难以准确理解物体的相对位置关系、深度信息及3D几何结构，直接制约了其在机器人、自动驾驶等具身智能场景中的应用。 现有多模态融合方法主要存在两大问题：一是浅层融合（Early Fusion）仅在模型输入或早期阶段融合视觉与语言，难以在高层建立细粒度...

你可能遇到过这样一种情况，一个模型原本只做一件事的时候表现很好，但一旦不断往里面加新任务，它反而开始变差了。不是彻底失效，而是变得不稳定，有些能力开始下降，有些结果开始波动。问题不在于模型不会，而在于它原本会的东西，被后来加入的任务“挤掉了一部分”。 这背后其实有一个很少被说清楚的问题。模型的能力并不是一块一块独立放进去的，而是共享同一套内部表示空间。简单理解，就是所有任务都在“用同一块地...

过去一段时间，AI 视频最让人惊艳的，往往都是前几秒。人物状态自然，光影氛围到位，动作也足够流畅，很容易让人产生一种感觉，视频生成已经离真正可用不远了。 但行业越往前走，问题也越清楚，真正难的从来不是做出一小段漂亮画面，而是能不能把这种质量稳定地延续下去。一旦视频时长被拉长，很多模型就会开始慢慢失稳，人物、场景和动作表面上还在延续，内部却已经出现细节漂移和时序松动。 这也是为什么，今天 ...

过去两年，视频生成的发展几乎是指数级的。从最早只能生成模糊片段，到如今可以生成具有叙事结构、光影一致性甚至风格控制的长视频，行业表面上已经接近一个阶段性成熟。 但如果把评价标准从“能不能生成一段视频”稍微提高到“能不能控制镜头”，问题就会完全暴露出来。当前大多数模型仍然停留在一种近似二维的生成范式中，它们擅长在时间上延续视觉模式，却缺乏对空间结构的稳定建模能力。 一旦涉及视角变化，模型往...

过去两年，视频生成模型的发展呈现出一个非常明显的趋势：视觉质量在快速逼近真实世界。从最初的模糊片段，到如今可以生成具有复杂场景、多主体交互甚至长时序叙事的视频，模型在纹理、光影和语义一致性方面已经取得了长足进步。一些系统甚至被称为通用世界模型的雏形，试图通过数据驱动的方式重建现实世界的运行规律。 但随着分辨率和时长的提升，一个更深层的问题开始暴露出来：模型在视觉上越来越真实，却在物理上仍然...

试想一下，当机器人伸手去拿桌上的杯子，刚把杯子抬起来，又停住了，随后把它放回原位，然后再次伸手去拿。同一个动作，它重复了一遍，像是忘记了自己刚刚已经做过什么。类似的情况在真实环境中并不少见：按钮明明已经按下，却还在反复按，明明抽屉已经关好，却还在继续推。 这些失败并不是因为它“看不清”，而是因为它缺乏一套能够模拟时空演化的“世界模型”。当前的视觉语言行动模型虽然能够理解图像与指令，但在连续...