【封面图片来源：网站名中国科学院自动化研究所，所有者：GThinker】 一、研究背景  多模态大语言模型（MLLM）在文本推理领域已展现出强大的迭代反思能力，但在涉及复杂视觉场景的推理任务中，依然存在明显缺陷——研究团队将其定义为视觉惯性（Visual Inertia）现象：尽管 MLLM 在文本语境中擅长进行多轮迭代推理并修正错误，但在视觉推理过程中往往不加质疑地依赖最...

一、研究背景   大型视觉语言模型（VLM）虽然在2D图像理解和语言推理上表现优异，但在3D空间推理能力上存在明显短板——它们往往难以准确理解物体的相对位置关系、深度信息及3D几何结构，直接制约了其在机器人、自动驾驶等具身智能场景中的应用。 现有多模态融合方法主要存在两大问题：一是浅层融合（Early Fusion）仅在模型输入或早期阶段融合视觉与语言，难以在高层建立细粒度...

很多人其实已经在不知不觉中接触到了多智能体协作带来的变化。 电商大促时，仓库里往往不是一台机器人在工作，而是一整组机器人同时分拣、运输、避让和交接。自动驾驶真正困难的地方，也不只是让一辆车学会开，而是让很多辆车在同一条路上彼此配合。现实中的很多复杂任务，本质上都不是单个智能体可以独立完成的，智能系统也是一样。 但现实世界并不会给这些系统太多试错机会。仓库机器人撞一次货架，工业机械臂装错一...

很多人在使用文生图工具时都会遇到类似的情况，输入一段很清晰的描述，希望画面中人物站在左边、动物在右边，或者希望海报上出现一段完整可读的文字，但生成结果却常常让人失望。 要么位置关系混乱，要么文字变形，要么整体画面看起来不自然。继续调整参数，有时结果会更接近描述，但画面质量却明显下降，颜色变得奇怪，结构开始扭曲。反复尝试之后，往往需要生成十几张甚至几十张图，才能勉强挑出一张可用的。 这种既...

过去一段时间，AI 视频最让人惊艳的，往往都是前几秒。人物状态自然，光影氛围到位，动作也足够流畅，很容易让人产生一种感觉，视频生成已经离真正可用不远了。 但行业越往前走，问题也越清楚，真正难的从来不是做出一小段漂亮画面，而是能不能把这种质量稳定地延续下去。一旦视频时长被拉长，很多模型就会开始慢慢失稳，人物、场景和动作表面上还在延续，内部却已经出现细节漂移和时序松动。 这也是为什么，今天 ...

过去两年，视频生成的发展几乎是指数级的。从最早只能生成模糊片段，到如今可以生成具有叙事结构、光影一致性甚至风格控制的长视频，行业表面上已经接近一个阶段性成熟。 但如果把评价标准从“能不能生成一段视频”稍微提高到“能不能控制镜头”，问题就会完全暴露出来。当前大多数模型仍然停留在一种近似二维的生成范式中，它们擅长在时间上延续视觉模式，却缺乏对空间结构的稳定建模能力。 一旦涉及视角变化，模型往...

过去两年，视频生成模型的发展呈现出一个非常明显的趋势：视觉质量在快速逼近真实世界。从最初的模糊片段，到如今可以生成具有复杂场景、多主体交互甚至长时序叙事的视频，模型在纹理、光影和语义一致性方面已经取得了长足进步。一些系统甚至被称为通用世界模型的雏形，试图通过数据驱动的方式重建现实世界的运行规律。 但随着分辨率和时长的提升，一个更深层的问题开始暴露出来：模型在视觉上越来越真实，却在物理上仍然...

试想一下，当机器人伸手去拿桌上的杯子，刚把杯子抬起来，又停住了，随后把它放回原位，然后再次伸手去拿。同一个动作，它重复了一遍，像是忘记了自己刚刚已经做过什么。类似的情况在真实环境中并不少见：按钮明明已经按下，却还在反复按，明明抽屉已经关好，却还在继续推。 这些失败并不是因为它“看不清”，而是因为它缺乏一套能够模拟时空演化的“世界模型”。当前的视觉语言行动模型虽然能够理解图像与指令，但在连续...

很多人都有这样的体验：让 AI 画一个角色，第一张很好看，但第二张开始有点不一样，第三张基本就像换了个人。你让它做一套海报，单张都不错，但放在一起风格却完全不统一，再或者你让它画一个故事分镜，人物形象会一会胖一会瘦，甚至连脸都对不上，你只是改一下衣服颜色，它却顺手把脸也改了。 这些看起来像小问题，但在真实应用中却是致命的。在 IP 设计、品牌视觉、内容生产甚至工业和医疗场景中，要求的从来不...

现如今，扩散模型已经成为当前图像生成领域的核心技术之一。从文本生成图像到复杂视觉内容合成，这类模型已经能够生成高度逼真的画面。然而，在真实应用场景中，人们对生成模型的要求并不仅仅是“生成逼真图像”，而是希望模型能够严格按照提示完成特定任务。 例如，在要求生成包含指定文字的图像时，模型可能 simply 将文字放大到占据画面大部分区域，从而轻松获得 OCR 系统的高分，而在需要生成多个对象的...