代码驱动的视觉感知，正在为大模型补上「看」这门必修课。 作者丨陈淑瑜 编辑丨岑 峰 如果把过去几年多模态大模型在STEM领域的进展放在一起审视，会发现一个相当微妙的错位。研究者们几乎把全部精力都押在了推理能力的提升上，强化学习、思维链、自我纠错……各种花式推理策略层出不穷，模型在文本推理基准上的得分也确实在节节攀升。 但一个尴尬的事实始终摆在那里：当模型被丢进一道需要看图才能解答的几何题时，...

【封面图片来源：网站名微信公众号，所有者：机器之心】 一、背景 在多模态大模型飞速发展的今天，如何精准地将密集的"图像块（Patch）"表示与对应概念的"文本嵌入"对齐，依然是阻碍模型迈向更细粒度理解的"致命弱点"。研究团队在消融实验中发现了一个反直觉现象：通过块级别蒸馏出的小参数学生模型，在零样本分割等密集型图文对齐任务上，性能竟然大幅反超了规模巨大的教师模型！。论文提出 TIPSv2，通...

如果回看过去十年的计算机视觉发展，其主线其实非常清晰：从早期以 ImageNet classification 为代表的“识别范式”，到以检测、分割为核心的“结构理解”，再到扩散模型推动的“生成范式”，视觉研究始终围绕一个核心目标展开——让机器更准确地“看见世界”。 然而，这一路径在近两年开始出现明显的边界：当模型已经可以在静态图像上达到接近甚至超过人类的感知水平时，“看得更准”本身，正在变...

【封面图片来源：网站名中国科学院自动化研究所，所有者：GThinker】一、研究背景 多模态大语言模型（MLLM）在文本推理领域已展现出强大的迭代反思能力，但在涉及复杂视觉场景的推理任务中，依然存在明显缺陷——研究团队将其定义为视觉惯性（Visual Inertia）现象：尽管 MLLM 在文本语境中擅长进行多轮迭代推理并修正错误，但在视觉推理过程中往往不加质疑地依赖最初的视觉解释，即使这种...

一、研究背景 多模态生成是计算机视觉最活跃的研究方向之一。虚拟试衣（Virtual Try-on）是电商零售核心场景，但传统方法严重依赖人体姿态识别、图像分割等辅助模型，流程冗长，外部误差累积明显；生成质量上，面料质感失真、蕾丝花纹丢失、透明材质处理困难等问题长期困扰用户体验，制约了商业落地。RefTON 开创性地引入服装上身参考图作为视觉指引，仅需人物原图与目标服装图，就能实现高保真的虚拟...

一、研究背景 大型视觉语言模型（VLM）虽然在2D图像理解和语言推理上表现优异，但在3D空间推理能力上存在明显短板——它们往往难以准确理解物体的相对位置关系、深度信息及3D几何结构，直接制约了其在机器人、自动驾驶等具身智能场景中的应用。现有多模态融合方法主要存在两大问题：一是浅层融合（Early Fusion）仅在模型输入或早期阶段融合视觉与语言，难以在高层建立细粒度的几何-语义关联；二是后...

过去两年，视频生成的发展几乎是指数级的。从最早只能生成模糊片段，到如今可以生成具有叙事结构、光影一致性甚至风格控制的长视频，行业表面上已经接近一个阶段性成熟。 但如果把评价标准从“能不能生成一段视频”稍微提高到“能不能控制镜头”，问题就会完全暴露出来。当前大多数模型仍然停留在一种近似二维的生成范式中，它们擅长在时间上延续视觉模式，却缺乏对空间结构的稳定建模能力。 一旦涉及视角变化，模型往往无...

过去两年，视频生成模型的发展呈现出一个非常明显的趋势：视觉质量在快速逼近真实世界。从最初的模糊片段，到如今可以生成具有复杂场景、多主体交互甚至长时序叙事的视频，模型在纹理、光影和语义一致性方面已经取得了长足进步。一些系统甚至被称为通用世界模型的雏形，试图通过数据驱动的方式重建现实世界的运行规律。 但随着分辨率和时长的提升，一个更深层的问题开始暴露出来：模型在视觉上越来越真实，却在物理上仍然不...

试想一下，当机器人伸手去拿桌上的杯子，刚把杯子抬起来，又停住了，随后把它放回原位，然后再次伸手去拿。同一个动作，它重复了一遍，像是忘记了自己刚刚已经做过什么。类似的情况在真实环境中并不少见：按钮明明已经按下，却还在反复按，明明抽屉已经关好，却还在继续推。 这些失败并不是因为它“看不清”，而是因为它缺乏一套能够模拟时空演化的“世界模型”。当前的视觉语言行动模型虽然能够理解图像与指令，但在连续任...

在视觉生成领域，从图像生成到视频生成，研究的核心问题正逐渐从“能否生成内容”转向“能否生成可控且结构正确的内容”。 尤其是在人物动画生成任务中，研究人员不仅希望模型能够生成具有真实感的画面，还希望生成过程能够受到精确控制，例如通过输入人物图像与动作姿态序列，使模型自动生成连续的人物动画。在这一方向上，姿态驱动的人物图像动画已经取得了显著进展。然而，这些方法大多集中于单人物场景，当生成对象扩展...