近年来，多模态大模型的发展正在不断推动视觉理解能力的提升。从图像分类、目标检测到视觉问答等任务，视觉系统已经能够在多种场景中实现较高水平的识别和推理能力。然而，在更复杂的层级视觉识别任务中，现有模型仍然存在明显不足。 现实世界中的许多视觉概念天然具有层级结构，例如生物分类体系中的“界—门—纲—目—科—属—种”，以及商品分类、医学诊断等领域中的多层级标签体系。这类任务不仅要求模型识别具体类别，...

视觉语言导航（Vision-Language Navigation），顾名思义，就是让智能体跟着自然语言指令进行导航，即智能体需要结合理解自然语言指令与视野中可以看到的图像信息完成线路规划，从而到达目标位置。 2019年，一篇关于视觉语言导航的论文拿下CVPR2019 最佳学生论文奖，让这一新兴研究方向，迎来高光时刻。 论文的一作王鑫，当时还是加州大学圣塔芭芭拉分校王威廉组的博士生。在拿下C...

机器人在新场景下失灵，根源不是不懂物理，而是空间表征错了——用极少参数校准这一层，就能打开通往原生世界动作模型的路。 作者丨张 璐 编辑丨齐铖湧 让机器人真正理解世界，需要更大的语言模型、更逼真的视频生成，还是别的什么？ 雷峰网(公众号：雷峰网)小编在中山大学与 X-Era AI Lab 团队的研究中f x了一个意外的答案：很多时候，机器人在新场景下失灵，不是因为它不懂物理，而是因为它"看到...