机器人学习的数据瓶颈正在质变。过去是“数据不够多”，现在是“数据的结构不对”——堆更多高质量遥操作数据，既不可持续，也不够用。

在 RSS 2026 Workshop「Data-Centric Robotics: What Data Do Robots Really Need?」（悉尼科技大学，2026 年 7 月 17 日）上，七位讲者从四个方向拆解了这个问题。我们把最值得记住的四条路径，以及它们背后正在重演的 LLM 式数据认知转变，梳理如下。

一、元数据：让低质量数据变成资产

Physical Intelligence 的 Ashwin Balakrishna 用一个类比开场：2022 年视频描述、代码生成各需专用模型，今天一个通用模型全包。背后的隐藏收益是组合泛化——跨任务联合训练，涌现出超越单任务之和的能力。机器人领域一直有“性能 vs 广度”的张力：Diffusion Policy、ACT 证明单任务能很灵巧，RT-2 证明一个模型能做很多任务、但都是简单 pick-and-place。π₀.₇ 要填的正是“既广又灵巧且可靠”的空缺。

核心洞察是：光有多样数据不够，还需要丰富的元数据——不只描述“任务是什么”，还要描述“任务是怎么做的”：详细语言标注、质量标签、生成的子目标。

最有说服力的证据是洗衣叠衣的 scaling 曲线：数据按质量从高到低分段加入。不带元数据时，数据越多性能反而下降——模型只是在模仿，数据越差模型越差；带元数据条件化之后，即使平均质量在下降，性能仍随数据增加而提升，因为测试时可以直接“要求好行为”。Ashwin 的类比很妙：就像用 Claude Code 时加一句“make no mistakes”，反而能带来更好表现。

π₀.₇ 还展现三种涌现能力：组合式指令泛化（完成违背数据集强偏置的反向任务）、组合式本体泛化（双臂采集、单臂零样本测试，模型表现已追平人类遥操作）、组合式可教性（把任务拆解逐步引导即可完成，类比思维链）。

元数据的本质，是把“数据质量”从一道运营难题，重新定义成建模问题：与其费力筛掉坏数据，不如让模型知道什么是坏的、推理时再要求好的。这精准对应了 LLM 从“清洗最干净语料”到 instruction tuning / RLHF 的认知转变。

二、灵巧操作需要多条数据引擎并行

Amazon / 芝加哥大学的 Haozhi Qi 关注点不同：灵巧手的数据极难采集，问题出在源头。他先做了个实验：用手驱动夹爪切苹果——视觉和推理都由人解决，依然很难。结论：要在为人设计的环境里工作，必须配多指手。但换手带来三大难题：硬件不如夹爪可靠、自由度太高需腕-指协调、人类难以遥操作导致数据规模化极难。

他把数据路径分为三条，各有优势和硬伤：仿真+RL 吞吐万倍于真机，但要逐任务设计奖励、触觉难仿真；遥操作无本体 gap，但灵巧手遥操作极难；人类视频海量富含意图，但拿不到动作标签、无法捕捉力的交互。

他的三项工作各打一条硬伤：(a) 仿真技能原语+人在回路——先在仿真用“不完美物理”训 RL 策略学到粗略旋转，再把它当技能原语，人只控手臂、决定何时激活，手指协调全交给策略，最终策略只靠触觉就能泛化到没训练过的螺母；(b) SPIDER——用基于采样的 MPC 把人类视频的运动学轨迹转成动力学可行的动作标签，让海量人类数据变成可执行轨迹，也顺带为 sim-to-real 提供天然奖励信号；(c) OSMO 触觉手套——人戴手套采数据，部署时直接套到机器人 Psyonic 仿生手上，视觉与触觉 gap 同时压缩，约 50 条演示即可训出真机擦拭策略。

灵巧操作的答案不是“选一条路”，而是把不同需求委派给不同数据引擎——仿真学复杂短时程技能，人类遥操作补意图，手套补力信号。圆桌上他更提醒，有些动作人类根本无法遥操作，需要引入“system zero”技能原语层，把灵巧手抽象成低维动作来缩小差距。

三、数据金字塔应该倒过来：遥操作是撬动一切的基座

Georgia Tech 的 Simar Kareer 提出更根本的问题：什么数据才是真正的基础设施？他同意经典“数据金字塔”的数量关系（网络数据最多、遥操作最少），但反对依赖关系——真正让你能利用自由形态数据源的，是足够多样的遥操作数据基座。

支撑来自 EgoMimic：定义“具身人类数据”（图像+手部位置），把人当机器人一样训。关键机制是人和机器人共享每一个参数，梯度直达底层动作预测，而非 MimicPlay 那种人类数据只教“做什么”、教不了“怎么做”的层次化架构。决定性实验：只换预训练 checkpoint，预训练越多样，人类数据带来的增益越大。

EgoVerse 数据集（1,362 小时 / 80,000 episodes / 1,965 任务 / 2,087 名演示者）进一步验证：最大提升来自“对齐的人类数据 + 自由数据 + 机器人数据”三者同用——一定量的 in-domain 数据是撬动更多样数据的“锚点”。Simar 还给出全场最锋利的技术洞察：人类数据里我们称为“动作”的其实是“状态”（未来手部位置是测出来的状态），这与机器人“commanded action + 控制器 gap + state”根本不同——这正是触觉不可替代的原因。

“倒置金字塔”的价值不在“哪层托底”，而在提醒我们：数据之间的“关系结构”才是关键。一定量的对齐数据，让模型学会不变性、在只有人类数据的区域做插值。他自己在圆桌上表述得更谨慎也更准确——重点不是哪层托底，而是数据源之间的关系。

四、光靠数据无法零样本一切，需要反事实搜索

Stanford 的 Wenlong Huang（导师 Fei-Fei Li）论点截然不同：即使数据问题全解决也不够——有些行为根本不存在于任何数据集。他用 PI 的翻袜子视频切入：机器人把袜子缠夹爪上、从内侧拉出来翻面。这事不在任何预训练/后训练数据里，人类却有独创能力，且极难用语言推理（ChatGPT 给的回答“荒谬到不想读完”）。

核心主张：自主获取新行为必须依赖反事实推理——给定标称轨迹，要能评估“如果我采取很不一样的动作会怎样”。论据是 AlphaGo 第 37 手无人下过、AI 自己找到；Noam Brown 的结果——围棋上去掉测试时搜索，需把数据扩大 10 万倍才等价。若机器人比围棋更难（“我们有一切理由相信确实如此”），反事实推理就必须存在。

答案在 3D 空间。PointWorld（CVPR 2026）把状态和动作统一表示为 3D 点流，作为零样本真实世界模拟器，已为 DROID 数据集 60%+ 场景标注近仿真级深度与位姿。后续工作显示：先 2D 视频预训练、再仅 15 小时微调，环境动力学预测保真度反而更好，且零额外数据泛化到未见环境/夹爪/机器人。

Wenlong 的路线对应 LLM 2024-2025 的测试时计算转向。但他的类比隐含一个未经检验的前提：机器人任务存在类似围棋那样廉价可靠的评估信号——这正是瓶颈所在。这更像方向性押注，而非已验证的路径。

五、两篇 Spotlight 与圆桌精华

Ambient Diffusion Policy（最佳论文，MIT CSAIL）：发现机器人动作扩散是分层的——高噪声层学规划、低噪声层细化运动。据此按噪声层级分配次优数据用途，搭塔任务比协同训练 baseline 高 33%、比直接过滤 OOD 高 84%。它是全场唯一把“数据质量”从模糊运营问题转成明确算法结构的工作，且“高噪声=规划、低噪声=运动”的分层假设本身，就是对扩散策略一个独立的、可验证的理解贡献。

OMG（清华 MARS Lab）：把运动生成与物理执行解耦，统一 retarget 异构人类动作到 Unitree G1 空间，聚合出 1,100+ 小时可执行动作，文本/音频/人类参考多模态可零样本组合。

圆桌上四条路线代表当场承认彼此必要性，无路线之争：Ashwin 指出高质量遥操作无可替代但规模有限，底层灵巧行为仍无法从可扩展数据源获得；Haozhi 补充需引入技能原语层；Simar 强调数据源间关系；Wenlong 认为短期靠适应、长期需提出全新策略。

六、值得记住的判断

最扎实的是 π₀.₇ 的元数据 scaling 与 Simar 的预训练强度消融——都证明数据价值取决于模型/标注结构，而非数据本身质量。

给研究者与产业界的启示：算法上，把质量当可学习信号而非筛选目标；硬件上，力/触觉传感器价格正快速下降、一两年内将普及；落地上，按多样性覆盖与质量选数据，别被“金字塔”概念框住；评估上，视频模型对分布过采样极敏感，策展难度远高于 VLA。

一个贯穿全场却没人明说的主题：机器人正在重演 LLM 的数据认知转变——从“清洗最干净语料”到“从脏数据里榨价值”，同时还在经历测试时计算转向。而 Physical Intelligence 是这场讨论的引力中心（Simar 的关键实验在 PI 实习期完成、Ashwin 来自 PI、翻袜子视频来自 PI），许多共识可能带有 PI 数据配方的路径依赖。

参考链接

• 全场录像：https://www.youtube.com/watch?v=J6TXewW22vs

• π₀.₇ 技术博客：https://www.physicalintelligence.company/blog/pi07

• EgoMimic（arXiv:2410.24221）：https://arxiv.org/abs/2410.24221

• PointWorld（CVPR 2026，arXiv:2601.03782）：https://arxiv.org/abs/2601.03782

• Ambient Diffusion Policy（arXiv:2606.12365）：https://arxiv.org/abs/2606.12365

• DROID 数据集（arXiv:2403.12945）：https://arxiv.org/abs/2403.12945

原文链接: https://www.leiphone.com/category/private/DtnVR3tZAuEQLCzs.html