“请把杯子拿起来”。这句话对你来说轻而易举。因为你看到了杯子，理解了“拿起来”的含义，手自然地伸过去、捏住、提起。但对一个 AI 系统来说，这中间隔着数道几乎不可逾越的鸿沟：语言到动作、动作到视觉、视觉到空间、空间到执行。 传统做法是强迫模型学会直接映射，通过输入一段文字或一组动作参数，让其直接输出像素级的视频帧或关节角度。这种方法在受限环境和充足标注数据下勉强可行，但一旦面对真实世界的复杂...

从街景到仿真，离线地理信息正在成为车辆理解复杂道路的新线索。 作者丨郑佳美 编辑丨马晓宁 大模型的发展表明，智能体不能只依赖一次性的上下文输入，还需要能够检索、利用和管理长期记忆。自动驾驶也正在走向类似的路径：车辆不应只是根据当前摄像头和传感器看到的内容做即时判断，而应具备一种可检索的空间记忆，能够调取当前位置长期积累的道路结构信息。对于自动驾驶来说，这种记忆可以来自街景图、卫星图、历史地图...

从仿真构造到多主体配合，AI 正在补齐行动决策链条。 作者丨郑佳美 编辑丨马晓宁 过去，视觉模型更多是在回答“看见了什么”，但当 AI 进入自动驾驶、游戏、机器人和多智能体协作场景时，问题已经不只是识别环境，而是“看见之后如何行动”。 一辆自动驾驶汽车不能只知道前方有车，还要判断如何避让、如何规划路线，甚至要在遮挡、夜晚和复杂天气中借助外部信息补足感知，一个游戏智能体不能只识别画面里的角色、...

LegoOcc：无需语义体素标注，也能识别开放类别。 作者丨郑佳美 编辑丨岑 峰 真正的室内空间智能，并不只是让机器认出画面里有一张桌子，而是让它理解真实三维物理空间内：哪里可以通行、哪里存在遮挡、哪些物体能够交互。 对于未来的家庭机器人和护理机器人来说，理解一个房间并不只是完成图像分类。它意味着，机器人能够根据一句自然语言找到玄关柜旁的雨伞，能够在夜间识别走廊中的充电线是否可能绊倒老人，也...

如果回看过去十年的计算机视觉发展，其主线其实非常清晰：从早期以 ImageNet classification 为代表的“识别范式”，到以检测、分割为核心的“结构理解”，再到扩散模型推动的“生成范式”，视觉研究始终围绕一个核心目标展开——让机器更准确地“看见世界”。 然而，这一路径在近两年开始出现明显的边界：当模型已经可以在静态图像上达到接近甚至超过人类的感知水平时，“看得更准”本身，正在变...

在过去几年中，视频生成技术取得了令人瞩目的进展。从基于扩散模型的方法到大规模视频基础模型，生成结果在视觉质量上已经逐渐逼近真实世界。然而，当我们进一步审视这些模型时，一个更本质的问题开始显现：它们究竟是在“理解世界”，还是仅仅在“拟合像素分布”？ 传统视频生成方法大多建立在 2D 图像空间之上，通过逐帧建模来合成动态内容。这种范式虽然在短时间尺度和视觉表现上表现出色，但也暴露出一系列根本性局...

【封面图片来源：网站名中国科学院自动化研究所，所有者：MeanFuser】一、研究背景 端到端自动驾驶近年来取得了飞速进展，生成模型在多模态轨迹规划中展现出巨大潜力。现有基于锚点引导的生成方法能有效刻画驾驶行为的不确定性并提升整体性能，但存在一个内在矛盾：这类方法依赖离散锚点词汇表，并要求其在测试阶段充分覆盖轨迹分布以保证鲁棒性，从而在词汇规模与模型性能之间引入不可调和的权衡——词汇太少则覆...

一、研究背景 视觉重定位（Visual Relocalization）是机器人和自动驾驶的基础能力：当系统回到一个曾经建图的场景时，如何通过单张图像精准估计6自由度相机位姿。这一任务在弱纹理场景、图像数据库稀疏或视角变化剧烈时面临严峻挑战。现有方法存在三个核心痛点：一是图像稀疏瓶颈，数据库图像有限时，初始位姿检索和粗匹配精度下降明显；二是特征匹配局限，单一特征类型难以兼顾粗匹配的全局视角覆盖...

很多人其实已经在不知不觉中接触到了多智能体协作带来的变化。 电商大促时，仓库里往往不是一台机器人在工作，而是一整组机器人同时分拣、运输、避让和交接。自动驾驶真正困难的地方，也不只是让一辆车学会开，而是让很多辆车在同一条路上彼此配合。现实中的很多复杂任务，本质上都不是单个智能体可以独立完成的，智能系统也是一样。 但现实世界并不会给这些系统太多试错机会。仓库机器人撞一次货架，工业机械臂装错一次零...

试想一下，当机器人伸手去拿桌上的杯子，刚把杯子抬起来，又停住了，随后把它放回原位，然后再次伸手去拿。同一个动作，它重复了一遍，像是忘记了自己刚刚已经做过什么。类似的情况在真实环境中并不少见：按钮明明已经按下，却还在反复按，明明抽屉已经关好，却还在继续推。 这些失败并不是因为它“看不清”，而是因为它缺乏一套能够模拟时空演化的“世界模型”。当前的视觉语言行动模型虽然能够理解图像与指令，但在连续任...