Agent 时代真正的变革，才刚刚开始。 作者丨岑峰 过去一年，日新月异的Agent 赛道完成了一轮螺旋式上升的范式循环： 2025 年 3 月，Manus 以三级结构落地，首次将 “数字化员工” 产品化，完成了全行业的用户启蒙； 随后 OpenClaw 凭借本地化部署、数据主权与轻量化体验迅速爆火，验证了市场对 AI 操控电脑（Computer Use）的真实付费意愿； 近期，Anthropic 携原生系统级能力的 Claude Code 强势入场，以底层架构优势冲击工业级市场。 三款现象级产品接连引爆，标志着 Computer Use 已成为大厂与创业者的核心战场，Agent 发展正式从 “单体能力比拼” 进入 “系统工程与生态卡位” 的深水区。 "这说明了Agent的演进不是线性的，而是螺旋式上升的。"在GAIR Live第27期的圆桌讨论中，OpenManus核心贡献者张佳钇这样评价。就在Claude Code发布的同一时期，Manus、OpenClaw、Codex等Agent产品密集涌现，整个行业仿佛在一夜之间进入了"深水区"。 这场由OpenManus...

MultiAnimate：利用身份编码与空间关系建模提升互动生成稳定性。 作者丨郑佳美 编辑丨岑 峰 在视觉生成领域，从图像生成到视频生成，研究的核心问题正逐渐从“能否生成内容”转向“能否生成可控且结构正确的内容”。 尤其是在人物动画生成任务中，研究人员不仅希望模型能够生成具有真实感的画面，还希望生成过程能够受到精确控制，例如通过输入人物图像与动作姿态序列，使模型自动生成连续的人物动画。在这一方向上，姿态驱动的人物图像动画已经取得了显著进展。然而，这些方法大多集中于单人物场景，当生成对象扩展到多人物时，问题的复杂度会显著增加。 而在在多人物动画生成过程中，模型不仅需要保持每个人物外观的稳定性，还必须在动态过程中正确建立人物与动作之间的对应关系，并处理人物之间的空间交互。如果模型无法持续区分不同人物，生成结果就容易出现身份混淆、动作错位或空间关系不合理等问题。因此，如何在复杂互动过程中保持人物身份一致，并同时建模多人物之间的空间关系，已经成为多人物视频生成研究中的关键挑战。...

HiF-VLA：一种利用运动信息建模时间，让机器人实现连续决策的视觉-语言-动作模型。 作者丨郑佳美 编辑丨岑 峰 试想一下，当机器人伸手去拿桌上的杯子，刚把杯子抬起来，又停住了，随后把它放回原位，然后再次伸手去拿。同一个动作，它重复了一遍，像是忘记了自己刚刚已经做过什么。类似的情况在真实环境中并不少见：按钮明明已经按下，却还在反复按，明明抽屉已经关好，却还在继续推。 这些失败并不是因为它“看不清”，而是因为它缺乏一套能够模拟时空演化的“世界模型”。当前的视觉语言行动模型虽然能够理解图像与指令，但在连续任务中仍然只能依赖当前观测做决策，一旦任务变成长步骤流程，例如拿起物体、移动、放置再到关闭装置，就容易出现动作重复和决策中断的问题，其根本原因在于缺乏对时间的理解能力。 这一问题正在成为具身智能发展的关键瓶颈。现有方法大多基于“看到什么就做什么”的即时反应机制，在短任务中表现良好，但在长序列任务中容易出现动作不连贯和决策漂移。如何让模型不仅能感知当前状态，还能记住过去并预判未来，成为新的核心挑战。...

PAM仅需初始/目标手部姿态与物体几何信息，即可生成高保真交互视频。 Project Page：https://link.zhihu.com/?target=https%3A//gasaiyu.github.io/PAM.github.io/ 01 TL；DR ▪ 在只给定初始姿态、目标姿态和不含外观的物体几何信息的输入下，如何直接生成逼真的手物交互（HOI）视频？ ▪ 现有方法存在一系列问题：姿态合成方法只能预测 MANO 轨迹，而不能生成像素细节；文生图方法能生成能产生外观，但缺乏动态信息；而视频生成方法目前大多依赖完整的姿态序列和首帧作为输入，导致其无法真正应用于 Sim-to-Real数据生成管线。 ▪ 我们提出PAM (Pose-Appearance-Motion)，一个统一的数据生成引擎，利用姿态、外观和运动的解耦生成过程，完美解决上述痛点。 ▪ 这是第一个仅需条件初始姿态、目标姿态和物体的几何信息作为输入，即可实现高质量 Sim-to-Real 手物交互视频生成的框架，且利用这个管线合成的数据能显著提升下游任务（例如手部姿态估计）的性能。 02 简介...

ProPhy：一种让视频生成同时具备视觉真实和物理合理能力的方法。 作者丨郑佳美 编辑丨岑 峰 试想一下，当机器人伸手去拿桌上的杯子，刚把杯子抬起来，又停住了，随后把它放回原位，然后再次伸手去拿。同一个动作，它重复了一遍，像是忘记了自己刚刚已经做过什么。类似的情况在真实环境中并不少见：按钮明明已经按下，却还在反复按，明明抽屉已经关好，却还在继续推。 过去两年，视频生成模型的发展呈现出一个非常明显的趋势：视觉质量在快速逼近真实世界。从最初的模糊片段，到如今可以生成具有复杂场景、多主体交互甚至长时序叙事的视频，模型在纹理、光影和语义一致性方面已经取得了长足进步。一些系统甚至被称为通用世界模型的雏形，试图通过数据驱动的方式重建现实世界的运行规律。 但随着分辨率和时长的提升，一个更深层的问题开始暴露出来：模型在视觉上越来越真实，却在物理上仍然不可信。也就是说，模型擅长生成看起来像真实世界的画面，却并不真正理解现实世界是如何运作的。这种差距在动态场景中尤为明显。当场景涉及接触、受力、流动或能量传递时，模型往往无法维持一致的物理逻辑。...

FreeLOC：一种面向长视频生成的分层自适应推理校正方法。 作者丨郑佳美 编辑丨岑 峰 过去一段时间，AI 视频最让人惊艳的，往往都是前几秒。人物状态自然，光影氛围到位，动作也足够流畅，很容易让人产生一种感觉，视频生成已经离真正可用不远了。 但行业越往前走，问题也越清楚，真正难的从来不是做出一小段漂亮画面，而是能不能把这种质量稳定地延续下去。一旦视频时长被拉长，很多模型就会开始慢慢失稳，人物、场景和动作表面上还在延续，内部却已经出现细节漂移和时序松动。 这也是为什么，今天 AI 视频行业真正卡住的地方，已经不只是能不能生成片段，而是能不能生成连续、稳定、可以承载完整情境的内容。 比如一段厨房视频里，镜头从备菜推进到下锅，再切到摆盘，观众期待看到的是同一个空间、同一套器具和同一份食材被自然地串联起来。再比如一段城市通勤视频里，人物从地铁口走到街边店铺，镜头可以变化，但人物状态、环境关系和动作逻辑不能越走越散。 只有解决这种长时间稳定性问题，AI 视频才真正有机会从展示走向创作和生产。也正是在这样的背景下，西湖大学的张驰团队提出了《Free-Lunch Long Video...

C²FG：利用 score 差异实现动态引导控制的生成方法。 作者丨郑佳美 编辑丨岑 峰 很多人第一次觉得图像生成模型已经足够强，往往是在它能快速画出一张看上去不错的图的时候。但真正开始频繁使用之后，又会慢慢发现另一面。 比如做一张活动主视觉，前几次生成里主体、色调、氛围都对了，可一放大细节就会发现手部、材质、边缘关系经不起看。再比如给一篇文章配封面，模型明明理解了主题，却总在最后呈现时把重点元素放错位置，或者让画面风格和语义之间出现轻微但难以忽视的偏差。 这正是当前生成式 AI 进入大规模应用之后，行业越来越在意的一类问题。今天的 diffusion 模型已经不缺生成能力，缺的是更稳定、更可控、也更符合真实使用过程的生成机制。 过去几年，行业主要依靠更大的模型、更多的数据和更强的算力推动效果上升，但当模型能力不断逼近高位之后，很多问题开始不再表现为能不能生成，而是能不能稳定地生成对。换句话说，竞争的重点正在从模型会不会画，转向模型能不能在每一步都朝着正确方向画。 这个变化非常关键，因为它意味着生成模型的发展正在从规模驱动走向机制驱动。 在这个背景下，来自上海交通大学与...

ESM：阻断子空间干扰，实现多任务能力稳定共存。 作者丨郑佳美 编辑丨岑 峰 你可能遇到过这样一种情况，一个模型原本只做一件事的时候表现很好，但一旦不断往里面加新任务，它反而开始变差了。不是彻底失效，而是变得不稳定，有些能力开始下降，有些结果开始波动。问题不在于模型不会，而在于它原本会的东西，被后来加入的任务“挤掉了一部分”。 这背后其实有一个很少被说清楚的问题。模型的能力并不是一块一块独立放进去的，而是共享同一套内部表示空间。简单理解，就是所有任务都在“用同一块地方存信息”。 当任务变多时，它们不是并排存在，而是在争这块空间里最重要的那些位置。谁占得多，谁就更稳定；谁被挤掉，谁的性能就下降。这就是为什么，多任务融合经常不是越多越强，而是越多越乱。 现实中，这种问题其实非常普遍。比如一个持续迭代的系统，不断往里加新能力，每一次看起来只是“多做了一件事”，但实际上是在重新分配内部的表示空间。如果没有好的机制，新的能力往往会影响旧的能力，最后系统变成一个需要不断修补的状态，而不是自然扩展。 在这样的背景下，来自东南大学的耿新团队提出了论文《Model Merging in...

一个只会高效执行任务的Agent，真的能在真实的人类数字生态中存活下来吗？ 论文作者包括来自上海交通大学的 Jiachen Zhu、Congmin Zheng、Yong Yu、Lingyu Yang、Weinan Zhang、Rong Shan、Weiwen Liu、Jianghao Lin，以及来自卡内基梅隆大学的 Zeyu Zheng。 原论文名称： TURING TEST ON SCREEN: A BENCHMARK FOR MOBILE GUI AGENT HUMANIZATION https://huggingface.co/papers/2604.09574 https://arxiv.org/abs/2604.09574 多模态大模型（LMMs）的出现从根本上重塑了人机交互的格局。通过赋予系统感知视觉界面并执行复杂交互的能力，我们正在见证从静态脚本向自动化图形用户界面（GUI）Agent的范式转变。这些Agent能够模拟用户，在移动设备APP中执行任务，使人们有望将大量数字化任务交给AI来自动化完成。...

DistDF：从点对点误差转向联合分布对齐，重构时间序列预测的损失函数。 作者丨郑佳美 编辑丨岑 峰 在时间序列预测研究中，一个耐人寻味的现象长期存在： 一方面，模型结构不断演进，从循环网络到 Transformer，再到频域与混合结构；另一方面，几乎所有方法在训练阶段依赖同一类损失函数，即以均方误差（MSE）为代表的点对点误差。 这使得时间序列预测在方法论层面呈现出一种隐性的停滞，即研究重心持续向模型表达能力倾斜，而对损失函数所隐含的统计假设缺乏系统反思。 点对点误差的核心假设在于，标签序列中的各时间步可被视为给定历史条件下相互独立的预测对象。然而，这一假设与时间序列数据的生成机制之间始终存在偏差。 真实世界中的时间序列由随机过程演化而来，不同时间点之间存在显著的相关关系。将多步预测问题拆解为一组独立的回归任务，不可避免地为损失函数引入了结构性偏差，使模型难以学习标签序列的整体形态、相关结构以及条件依赖关系。 针对这一问题，北京大学林宙辰团队深入剖析了此类结构性偏差的成因。在此基础上，团队提出了 DistDF：一种通过联合分布对齐训练预测模型的损失函数。DistDF...