“请把杯子拿起来”。这句话对你来说轻而易举。因为你看到了杯子，理解了“拿起来”的含义，手自然地伸过去、捏住、提起。但对一个 AI 系统来说，这中间隔着数道几乎不可逾越的鸿沟：语言到动作、动作到视觉、视觉到空间、空间到执行。 传统做法是强迫模型学会直接映射，通过输入一段文字或一组动作参数，让其直接输出像素级的视频帧或关节角度。这种方法在受限环境和充足标注数据下勉强可行，但一旦面对真实世界的复杂...

从街景到仿真，离线地理信息正在成为车辆理解复杂道路的新线索。 作者丨郑佳美 编辑丨马晓宁 大模型的发展表明，智能体不能只依赖一次性的上下文输入，还需要能够检索、利用和管理长期记忆。自动驾驶也正在走向类似的路径：车辆不应只是根据当前摄像头和传感器看到的内容做即时判断，而应具备一种可检索的空间记忆，能够调取当前位置长期积累的道路结构信息。对于自动驾驶来说，这种记忆可以来自街景图、卫星图、历史地图...

代码驱动的视觉感知，正在为大模型补上「看」这门必修课。 作者丨陈淑瑜 编辑丨岑 峰 如果把过去几年多模态大模型在STEM领域的进展放在一起审视，会发现一个相当微妙的错位。研究者们几乎把全部精力都押在了推理能力的提升上，强化学习、思维链、自我纠错……各种花式推理策略层出不穷，模型在文本推理基准上的得分也确实在节节攀升。 但一个尴尬的事实始终摆在那里：当模型被丢进一道需要看图才能解答的几何题时，...

从仿真构造到多主体配合，AI 正在补齐行动决策链条。 作者丨郑佳美 编辑丨马晓宁 过去，视觉模型更多是在回答“看见了什么”，但当 AI 进入自动驾驶、游戏、机器人和多智能体协作场景时，问题已经不只是识别环境，而是“看见之后如何行动”。 一辆自动驾驶汽车不能只知道前方有车，还要判断如何避让、如何规划路线，甚至要在遮挡、夜晚和复杂天气中借助外部信息补足感知，一个游戏智能体不能只识别画面里的角色、...

视频智能正从画面生成走向运动控制、动态建模、信号理解与真实场景应用。 作者丨郑佳美 编辑丨马晓宁 过去，视频生成更多是在解决“像不像”的问题：人物是否清晰，画面是否流畅，风格是否统一。但随着模型能力提升，视频真正困难的部分开始显现出来——它不是一组漂亮帧的连续播放，而是一个由时间、空间、运动、相机、光照和物理信号共同构成的动态系统。 只要模型无法理解这些隐含结构，它生成的视频就可能看似逼真，...

LegoOcc：无需语义体素标注，也能识别开放类别。 作者丨郑佳美 编辑丨岑 峰 真正的室内空间智能，并不只是让机器认出画面里有一张桌子，而是让它理解真实三维物理空间内：哪里可以通行、哪里存在遮挡、哪些物体能够交互。 对于未来的家庭机器人和护理机器人来说，理解一个房间并不只是完成图像分类。它意味着，机器人能够根据一句自然语言找到玄关柜旁的雨伞，能够在夜间识别走廊中的充电线是否可能绊倒老人，也...

2025 年到 2026 年，如果要问生成式 AI 领域最值得关注的研究方向，流匹配（Flow Matching） 是一个无法绕开的答案。 从去年起，这个名字开始频繁出现在顶会论文里、被工业界反复讨论、被拿来和统治了图像生成领域长达五年的扩散模型正面比较。 所谓流匹配，本质上是用常微分方程路径（ODE path）替代扩散模型的随机微分方程路径，让数据从噪声到图像的转变不再依赖数百步迭代，从而...

【封面图片来源：网站名微信公众号，所有者：极市平台】一、背景 工业质检和医疗影像分析中，传统方法采用"一个任务一个模型"的碎片化模式，检测不同模态（如RGB、红外、3D深度）需要部署多个专用模型，导致运维成本高、泛化能力差。现有方法存在域干扰问题——直接融合多域特征会引入噪声，导致大量误报。能否构建一个通用的"大脑"，既能理解多模态融合信息，又能针对不同任务动态调用"专家知识"？这一问题的解...

【封面图片来源：网站名微信公众号，所有者：机器之心】 一、背景 在多模态大模型飞速发展的今天，如何精准地将密集的"图像块（Patch）"表示与对应概念的"文本嵌入"对齐，依然是阻碍模型迈向更细粒度理解的"致命弱点"。研究团队在消融实验中发现了一个反直觉现象：通过块级别蒸馏出的小参数学生模型，在零样本分割等密集型图文对齐任务上，性能竟然大幅反超了规模巨大的教师模型！。论文提出 TIPSv2，通...

过去几年，视觉生成与视觉理解领域的技术推进，整体上始终沿着一条相对明确的路径展开：当一套建模范式被验证有效之后，后续的大量工作往往都会围绕这套既有框架持续做模型扩容、训练增强、采样优化与局部模块修补，以此换取更高的性能上限。 无论是扩散生成、视频 world model，还是动作建模与视觉匹配，主流研究在很长时间里都更多表现为对既有系统的持续加固，而不是对底层假设本身的重新审视。 但从今年 ...