这是 RSS 2026 Data-Centric Robotics Workshop 的收尾环节，包含两篇 spotlight 报告和最后的圆桌讨论。

表面看，大家聊的是“机器人到底该喂什么数据”；真正有意思的，是四位讲者在三个问题上没能达成一致——数据金字塔的依赖关系是不是“底层撬动上层”、零样本能力有没有天花板、以及我们是不是集体漏采了最关键的力觉数据。

Adam Wei（MIT CSAIL，导师 Russ Tedrake）的 Ambient Diffusion Policy 拿了本场最佳论文，核心发现是动作扩散本身是分层的，次优数据不该整批用、也不该整批扔。Kun-Ying Lee（李昆颖，清华大学）线上讲了 OMG，把运动生成和物理执行拆成两层。圆桌由高阳（Yang Gao）主持，四位讲者 Ashwin Balakrishna（Physical Intelligence）、Simar Kareer（佐治亚理工）、Haozhi Qi（Amazon FAR／芝加哥大学，线上）、Wenlong Huang（斯坦福，线上）参与。

以下为完整整理，第一人称，按原顺序。文中【观察】为编者注。

Adam Wei 的核心发现是：动作扩散本身是分层的。在高噪声层级，模型学的是高层规划——去抓哪个方块、放进哪个箱子；在低噪声层级，学的是抓取细节和平滑度。于是次优数据不该整批用、也不该整批扔，而该按噪声层级分配：规划对、动作差的数据，只在高噪声用；动作好、任务错的数据，只在低噪声用。

结果很直接：搭塔任务上比联合训练高 33%，比直接过滤掉分布外数据高 84%。而且随着次优数据规模变大，联合训练进入了平台期，ambient 还在涨。

李昆颖（Kun-Ying Lee）的 OMG 把运动生成和物理执行拆开：OMG-DiT 当高层的运动生成大脑，一个预训练的通用动作追踪器在真机上执行。数据侧是 1174.66 小时、36.45 万个片段的机器人可执行运动。文本、音频、人类参考三种模态上的主要误差分别降了 75.6%、70% 和 63.4%。

圆桌上真正的分歧，出在数据金字塔的依赖关系上。Ashwin 的判断是高质量遥操作数据没有替代品；Simar 说得更直接——除非你一开始就有一批机器人基础能力打底，否则你几乎没法从人类第一人称数据里拿到任何东西。他要反驳的不是金字塔的数量分布，而是它暗示的那种“底层撬动上层”的方向。

另一条分歧是：零样本到底够不够。Wenlong Huang 在圆桌上把话说得更明白——世界真的是长尾的，可能根本没有办法把所有事情都零样本做出来，所以得有自主想出新策略的路径。

还有一个被反复提起的缺口：力。一位机械工程背景的听众直接问，说到底重要的是指尖的力和剪切力，可我们没在采这类数据。Ashwin 说量产力传感器要么不可靠、要么迟滞大；Haozhi Qi 说带力矩传感的硬件最近价格降得很快，一两年内会普及。

Adam Wei（MIT CSAIL）　我是 MIT 的博士生，跟 Russ Tedrake 教授做研究。今天我要讲我们最近的工作 Ambient Diffusion Policy，我觉得这是在机器人里从次优数据中学习的一条挺让人兴奋的路子。希望大家在 poster session 上都跟 Tommy 聊过了，他当时在那边，我相信他讲得很好。不过这里是它的演讲版本。

先从这里开始。在机器人领域里，大家常常会为自己的任务采集一小批分布内的、质量非常高的数据，但外面还有一大堆别的数据，可能只是稍微偏离分布。因为它稍微偏离分布，我们可以把它叫做次优数据。这些数据来自非专家遥操作员、不同的机器人、不同的任务、仿真，以及很多其他来源。所以这次演讲的目标是搞清楚，对于图上蓝色标出来的这些次优数据来源，有哪些有原则的算法可以从中学习。

在进入正题之前，我们先快速过一遍扩散策略的训练。在扩散策略里，目标是训练在各个噪声层级上的条件去噪器，这些层级由某个时间轴 t 索引，也就是红色那根轴，通常大家是在自己的高质量数据或者某个机器人数据集上训练的。那如果我给你一些次优数据会怎么样，比如来自互联网的，或者人类第一人称视频这类的。一个常见做法是直接做联合训练，然后对数据集重新加权，但这在根本上是错误的目标，因为你仍然在把这些次优数据里好的部分和坏的部分一起教给你的策略。

（图）Adam Wei 的第一个论点：动作扩散是分层的。红色时间轴从 t=0 到 t=T，对应从低噪声到高噪声。

那我们怎么才能做得更好？要理解这一点，我觉得首先得再深挖一下动作扩散在机器人里到底是怎么工作的。在我们的论文里，经过一些分析，我们基本上证明了机器人的动作扩散实际上是分层的。这意思是，在高噪声层级，机器人学的其实是怎么做高层规划。在这个例子里可以看到，机器人在决定去抓哪个方块，也在决定把方块放进哪个箱子，这些都是高层决策。等到了低噪声层级，可以看到机器人其实只是在细化它的抓取动作，细化平滑度。

我们把这个直觉落地成一个从次优数据中学习的算法。假设你有一批数据，它整体的规划是对的、整体的策略是对的，但可能是个新的遥操作员，底层动作很差。因为高层规划是在高噪声处学到的，那就只在高噪声层级用这批数据，这是说得通的。

再假设你有一些次优数据，它的动作质量其实非常高，但任务可能是分布外的，比如说它是错的那个抓取-放置任务。结果是，你仍然可以学到底层的动作基元，而不去学那个错误的高层规划，办法就是把这批数据限制在低噪声层级。这里我要说明一下，我们把次优数据的使用限制在两个区间里。在论文里我们对这两个区间都给了非常精确的解释，也给出了自动标注这些区间的方法。

（图）Ambient + Open X 的搭塔结果，35 条干净演示打底。四根柱子从左到右依次是：直接过滤数据 8.20 块、联合训练 11.35 块、Ambient 14.50 块、Ambient 加局部性约束 15.15 块。纵轴是平均码放的方块数。

讲讲结果。在我们第一组实验里，我们基本上是用 Open X-Embodiment 作为次优数据或者分布外数据，在我们实验室的两个不同任务上做了测试，搭塔和清理桌面。这里蓝色柱子代表我们算法的两个变体，绿色柱子代表联合训练的基线。可以看到在搭塔任务上，我们搭出来的塔比联合训练基线高 33%，比直接把分布外数据过滤掉的做法高 84%。

另外在清理桌面上，我们探索了扩大次优数据规模的效果。这里 magic soup++ 是 Open X-Embodiment 的一个小子集，custom OXE 是一个大得多的子集。我们发现随着我们不断扩大规模、加进更多次优数据，ambient 的表现实际上开始变好，而联合训练则趋于平台期。所以这两个结果基本上说明，Ambient Diffusion 在挑出次优数据里好的部分去学、忽略掉坏的部分这件事上要好得多。

我们这套框架另一个好的地方是它非常通用。这里说通用，我的意思是它基本上对你动作空间里任何类型的分布偏移都有效。为了说明这一点，我们在三种不同类型的动作次优性上做了测试，比如带噪声的遥操作、仿真、sim-to-real gap，还有任务不匹配。我们发现当用 Ambient Diffusion 从次优数据中学习时，能够稳定地、大幅度地超过联合训练基线。而且这里我们对两个算法的超参数都做了调优，所以比较是公平的。

总结一下，我介绍了一个从次优数据中学习的新算法，核心想法是使用依赖噪声层级的数据使用方式：我们应该把次优数据的使用限制在这些数据真正有益的噪声层级上。这其实是个相当大的项目，如果你有任何问题，很可能我们已经在上面做过实验了，所以我非常鼓励大家去看看论文。非常感谢大家。

Kun-Ying Lee（清华大学（线上））　很抱歉我没能到现场，但今天有机会在线上跟大家分享我们的工作，我很高兴。今天我要介绍我们的工作 OMG，Omni-Modal Motion Generation for Generalist Humanoid Control，面向通用人形控制的全模态运动生成。

大多数人形控制器要么是需要精心设计奖励的任务专用策略，要么是假定参考动作已经存在的动作追踪器。我们的问题是，人形机器人能不能直接理解各种各样的人类意图，把它转成可执行的全身运动？

我先放一个简短的 demo。从文本出发，同一套系统能响应恐龙、僵尸、飞机。只给音频，它随着肖邦的第二号夜曲起舞。它也能跟随人类参考动作。最后，在没有训练过这种组合的情况下，它一边跟随文本指令“跳舞的同时举手”，一边随着 Paper Rings 动。这些例子全都用的是同一个模型。

核心想法是把运动生成和物理执行解耦。OMG-DiT 充当高层的运动生成大脑：给定语言、音频、人类参考，以及机器人最近的运动历史，它预测未来的宇树 G1 轨迹。然后一个预训练的通用动作追踪器作为底层控制器，在真机上执行这条轨迹。这个层级结构让我们可以扩展对人类意图的理解，而不用为每一种模态都学一遍物理控制。

（图）OMG-Data：1174.66 小时机器人可执行运动，36.45 万个片段，30 Hz。整理流程是重定向、标注、仿真、过滤四步。右侧三类条件依次是文本标签、音频标注和人类参考动作。

为了训练这个生成器，我们构建了 OMG-Data。我们汇聚各种异构的运动数据集，把它们重定向到统一的 G1 运动空间，在需要的地方加上语言或音频标注，仿真这些动作，再过滤掉低质量或者物理上不成立的样本。最终的语料包含超过 1,100 小时的机器人可执行运动，组织成大约 36.45 万个片段，覆盖文本、音频和人类参考这几类条件。

在这批数据上，我们训练 OMG-DiT，一个扩散 transformer，它学到的是可行 G1 运动上的共享先验。全局条件，包括运动历史和语言，通过交叉注意力进入；帧对齐的条件，比如音频和人类参考，通过 FiLM adapter 进入。这个设计既可扩展又可组合。比如 PICO 控制是作为一个 18 维的帧对齐关键点信号，通过零初始化的 adapter 加进来的，在适配一开始就保住了预训练先验。推理的时候，classifier-free guidance 把各个模态各自的方向组合起来，使得训练中从未同时出现过的条件组合也能实现。

（图）OMG 的四组结果。左上是文本到运动的微调，只用 1% 数据时 FID 从从头训练的 66.15 降到 13.78；右上是 PICO 关键点遥操作接口的适配，不同数据比例下 OMG 的 MPJPE 都低于从头训练；左下是模型规模行为，B 50M、L 300M、XL 500M 一路把误差压下来；右下是零样本组合，音频加上“举起手来”的文本指令。

在这三种模态上，OMG 都大幅提升了运动质量。跟各模态各自很强的 baseline 相比，主要误差指标在文本上降低了 75.6%，音频上 70%，人类参考控制上 63.4%。更重要的是，生成的这些运动还能被下游的追踪器在真机上执行出来。

除了 benchmark 上的表现，这个共享先验还表现出若干类似基础模型的性质。只用 1% 的目标数据，预训练把 text-to-motion 的 FID 相比从头训练降低了将近 80%。在不同的数据预算下，它也一致地改善了对新的 PICO 控制接口的适配。而且随着我们把模型做大，运动质量还在提升。文本和音频可以零样本组合，同时控制语义和节奏。

总结一下，OMG 有三点贡献。第一，OMG-Data 提供了超过 1,100 小时统一的、机器人可执行的多模态运动。第二，OMG-DiT 通过一个共享先验，把语言、音频、人类参考映射成未来的运动。第三，这个共享先验带来了真机执行、样本高效的适配、可预测的 scaling 以及零样本组合。

我们相信，把运动生成的大脑做大，是通往通用人形控制的一条有希望的路径。谢谢大家。

高阳（主持人，清华大学）　嘿，我是 Yang，我是清华大学的教授，今天由我来主持这场圆桌讨论环节。我们还会有两位线上的讲者，Wenlong 和 Haozhi 会在线上。

这场圆桌讨论，我希望大部分问题都能来自听众，所以如果你有任何问题，就举手。同时我这边也有几个问题想跟讲者们讨论。

我的第一个问题是，这是一场机器人数据的研讨会，我们今天其实谈到了很多不同形态的数据，比如第一人称数据、操作数据，以及未来可能由生成模型产生的数据。所以我想问问，你们怎么看这些不同形态的数据之间会开始互相交叉、收敛，最后可能形成一个统一的方案。

Ashwin Balakrishna（Physical Intelligence）　说实话，我觉得我在这方面的很多看法其实是受到 Simar 那边很多工作的影响。不过，我觉得我们在 Pi 的很多工作里发现的一点是，高质量遥操作数据是没有替代品的。当然，采集高质量遥操作数据，你能做到的规模是有限的，所以你肯定需要能够从人类数据里学习，比如带传感的数据，你需要那些数据，需要所有这些东西，才能真正覆盖住你可能见到的每一种行为的长尾。

我们目前观察到的是，这些更可扩展的数据来源，很多能帮你理解高层的语义概念，甚至是 affordance（可供性）这类东西。但我们还没有解锁出一个配方——至少我没见过——能从这些数据里得到非常底层的灵巧行为。所以这就是高质量遥操作数据补上最后那一块的地方。

Simar Kareer（佐治亚理工）　我想在这上面补充一点。我觉得有两个特别有意思的性质，让我对不同种类数据的相对价值有了一点不一样的看法。

一个是，你在本体这个维度上做泛化所得到的鲁棒性，我觉得非常非常重要。我觉得 Pi 在研究这件事上处在一个很好的位置，因为跨本体数据本来就自然是他们数据配比的一部分。我觉得真正在这上面下功夫，甚至用某些极端的方式，其实会很有帮助——比如说一个疯狂的做法可能是在仿真里，你可以荒谬地随机化你的控制器参数和相机角度。我觉得这类东西其实会进一步提高更多跨本体数据的价值，因为你实际上是在学习在那个维度上泛化。

另一件最近开始让我改变一点想法的事情是，有些建模上的决策也会改变你能从数据里获得的相对价值。最近改变我看法最大的一件事，我想是看到那种世界模型风格的做法。我觉得那改变了我对能从人类数据里获得多少价值的看法，因为它把预测目标的重担更多地压在预测非常好的视频和像素上，我觉得这在本体之间是更可迁移的，并且把底层动作预测这个问题解耦出去，交给你手上那些真正高质量的遥操作数据。所以我觉得建模方式和数据分布，这些东西会影响不同来源的相对有用程度。

Haozhi Qi（Amazon FAR／芝加哥大学（线上））　我可以补充一点。我总体上非常认同数据金字塔这个想法：我们有不同层的数据来源，不同数据有不同的优势和劣势，在质量和成本之间做权衡。我觉得这在其他典型的通用夹爪领域或者灵巧操作研究领域同样适用。

也许在这之上，对灵巧操作还有一点，这也跟人形研究有点类似，就是有些东西我们没法遥操作，所以我们需要引入另一个层级的技能，是有针对性的。比如在人形研究里，他们管它叫 system zero，但我觉得它主要是最底层的控制器，把人的意图转换成更底层的灵巧行为。我通常认为我们能这么容易地遥操作夹爪，是因为我们基本上把动作空间抽象成了一个维度非常低的动作空间，而对于手，我们没有这个。但如果我们可以认为灵巧手能执行若干个技能，它就可以进一步被看作低维动作。所以也许到那时，我们能缩小遥操作手的差距，然后就能让那套在其他类型机器人上有效的配方，同样在灵巧手上跑通。

Wenlong Huang（斯坦福（线上））　那我也许可以讲另一个角度。我其实同意大家说的所有内容，但为了让讨论更有意思，我想提出的一个主张是：也许我们根本就没有办法把所有事情都零样本做出来。因为不管数据怎么样，不管我们怎么想如何扩展数据，最终这个世界真的是长尾的，目标也可以真的非常多样。

所以我们得有某种自主的方式，比如可以先从简单的东西开始，像是适应——我们有一套通用策略，然后让机器人做强化学习来改进。但长期来看，我真的觉得需要有一种方式，能针对某个任务想出新的策略，或者去适应那些真正有挑战的灵巧任务。

数据金字塔，方向反了吗

高阳（主持人）　我觉得有些人会讲那个数据金字塔，就是把不同类型的数据按数量和质量的权衡分成不同层。比如仿真和人类第一人称数据可能数量最大，因为要么采集成本极低，要么可以生成几乎无限的量，所以有人觉得这些应该放在数据金字塔的最底层。然后再往上是比如 UMI 那类数据，各种带一点点更贴近本体路径的设备。再然后，像刚才说的，可能最终你没法用零样本的方式做任何任务，你可以把一些真实世界的数据采集重新放回这个循环里。我想问的是，你们大体上认同这个模式吗？

Simar Kareer（佐治亚理工）　我先说一点，因为我在演讲里想讲的一个点就是这个“倒过来的数据金字塔”。某种程度上我是认同这样一个事实的：我们预期能拿到的数据量，其实天然取决于本体。市场力量决定了人们能多容易地采集人类第一人称数据，这会让它的量非常大，而且显然，互联网的量还要更大。所以数量这部分，我觉得金字塔完全说对了。

我不同意的是它对依赖关系的暗示——实际上是里面不同部分之间的关系。我在那个例子里之所以把它整个翻过来，是因为如果不这样，我觉得有人看那个金字塔会说，噢，那你需要的机器人遥操作数据最少就行了，因为你可以靠下面这些东西。但我觉得这是没有免费午餐的，你实际上要有非常好的基础能力，才可能从这些其他来源里学到东西。所以我觉得金字塔的不同部分之间有很多相互依赖。

高阳（主持人）　你能再展开讲讲吗？所以我们是说，我们某种程度上依赖比如第一人称数据里包含大量多样的行为，这样我们在遥操作那边就可以少采一点数据？

Simar Kareer（佐治亚理工）　我觉得有几件事。我想说的最基本的一点是，除非你一开始就有一批机器人基础能力打底，否则你几乎没法从人类第一人称数据里拿到任何东西。我觉得这是第一种依赖，但还有别的依赖。

比如我越来越发现，让你数据里的某些区块在人类数据和机器人数据之间对得非常齐，实际上会形成一种——它让模型学到一种不变性，模型会说，噢，我现在见过人用左手拿起一个橙子，也见过机器人用左手拿起一个橙子，有了这种对应关系，我觉得它就能在只有人类数据、没有机器人数据的区域里做插值。

所以我想反驳的是，我觉得这不只是数据金字塔的事。金字塔讲的只是你从各个来源需要多少量的数据；很大程度上讲的是数据之间的关系，比如有没有互相匹配的成分，或者你至少得有一样东西打底，才能撬动另一样。我觉得它更像是互相连接的，不同的数据来源彼此依赖，才可能有效果。

【观察】　这场争论的本质，不是“要不要底层数据”，而是“底层数据能不能独立撑起上层能力”。Simar 的“倒金字塔”与其说是把形状翻过来，不如说是对依赖关系的一次重新标注——数据之间不是单向的“底层撬动上层”，而是彼此咬合、互相打底。这对当下不少“用海量第一人称视频训通用策略”的路线，是个相当直接的提醒。

Ashwin Balakrishna（Physical Intelligence）　我完全同意 Simar 的看法，我也发现整体的数据配比非常重要。而且你可以利用数据金字塔上这些不同位置各自的特性，去补上在别的情况下很难补的缺口。所以我感觉，尤其是机器人数据，除非你非常小心，否则到处都是随机的数据孤岛。而在互联网上，你基本没有这个问题，那更像是一个平滑连续的谱系，任何人可能想到的任何事情基本都覆盖到了。

但在机器人数据里，除非你非常小心，如果你只想优化高吞吐的数据采集，那你就会在一个非常固定的本体上、针对同样的任务采一大堆数据。所以在金字塔的不同位置，你落地的方式非常不一样，取决于什么东西容易优化。比如对人类数据，就应该在每一个可能的维度上尽量优化多样性，因为这一点用机器人数据要难得多，尽管你还是需要机器人数据来真正拿到最后那部分。

仿真、第一人称、真机，各自该干什么

听众提问　我很好奇几位嘉宾的直觉。在为大规模机器人学习构建这些数据管线的时候，你们觉得每一类数据各自扮演什么角色，仿真、第一人称、还是真实数据，以及哪些地方某一类可能特别擅长、能满足需求，哪些地方你就是真的需要高质量的那一类。

Ashwin Balakrishna（Physical Intelligence）　今天以我们现在的配方来看，确实好像你会想要有这些运动基元，而现在“运动基元”这个说法要模糊得多，因为它们全都在这些学出来的模型里面，但你会想让这些运动基元来自尽可能高质量的数据。所以我觉得这就是那个想法：也许在一个理想世界里，我会去把我的遥操作采集组织成，确保每一个基本基元，比如抓取、倾倒，还有舀取这些动作，都在若干种场景下被覆盖到，这样模型多少能用上这些东西。

然后剩下的几乎就是那些更多样的数据源的活儿了，让它们在上下文里把这些东西组合起来。比如给定语言，也许是更没见过的语言，还有一个你没见过的视觉观测，模型可以回过头来说，嘿，我知道怎么舀，我也知道怎么拉之类的，而且我知道人做某件事和机器人做某件事之间大致的对应关系，那我就可以把手上这些参数为某个任务组合起来。

Haozhi Qi（Amazon FAR／芝加哥大学（线上））　我觉得目前，也许我的直觉是，那个典型的数据金字塔是底部有多样的野外数据，然后加上相对少一点的可穿戴设备或者其他类型的数据，再上面是遥操作。但我主要想说的论点是，这个数据金字塔的内容和比例也在不断变化。如果我没记错，在数据金字塔最初期的那种范式里，中间那一层大概是仿真数据。

而现在——因为在那个时候，我们对于用 UMI 或者 DexUMI 这类可穿戴设备来做这件事还没有共识，我们也没有很多能捕捉人类动作的高精度手套。但最近这几年，这些设备变得可获得了，采集数据的运营成本也降下来了，所以这类数据也会成为一个关键组成部分，成为这个数据金字塔的中间层。我设想在未来两三年，还会有不同的研究工作，或者就是硬件的发展，可能又一次改变这个数据金字塔。但我想大致的直觉是，你应该按照多样性覆盖和质量来选择这个数据量，而不要被这类数据在概念上的定义框住。

Wenlong Huang（斯坦福（线上））　我补充一个不同的角度，会稍微有点不一样。我觉得金字塔肯定是个很好的想法，但另外还有一面，就是目标，训练目标。我觉得取决于训练目标，这个金字塔会非常不一样。

目前我们所认为的训练目标是我们有某个动作空间。所以如果你想从比如非机器人数据、人类数据或者互联网数据里学，这就变得有点棘手，因为你需要有某种方式来表示动作空间，而通常这会通过提取人手的位姿，或者用某种隐动作表示等等来完成。我觉得这确实是一个被讨论得比数据本身还少的东西。我觉得这也可能很重要，因为它是有影响的，它会相当大地改变整个格局。

Simar Kareer（佐治亚理工）　关于这点我有一点要说。我觉得这正是让数据集筛选这件事变得非常难的原因之一。比如说，我们在做的很多工作都要跟很多不同的第一人称数据供应商打交道，他们会问你：你想要什么数据？什么叫多样的数据？

我在这上面的看法一直在变。我觉得也许我之前对 VLA 有一种过度简化，我觉得当时要宽松得多，数据稍微重复一点也还算可以，某件事情有几百条演示这个量级也还行；而我在视频模型上看到得更多的是，如果你那么做，你会得到非常灾难性的过拟合，而且你真的需要额外去优化的不只是多样性，你还不能对任何区域过采样，因为那样模型真的会坍塌。

所以我感觉，因为这些建模上的决定变化很大，实际上真的很难去筛出对的数据集，因为它跟你所做的那些目标是如此相互依赖。而且这里面有一些隐含的假设，因为在视频建模的语境下，你几乎可以假定你已经接触到了多得多的视频相关数据。所以这让筛选这个问题变得非常难，去定义你想要什么样的多样性真的很棘手，还有你的模型对偏斜的数据分布怎么反应，这也在变。

Ashwin Balakrishna（Physical Intelligence）　我这儿可以补一个想法。我觉得在琢磨“我们该怎么跨这么多不同来源采数据”的时候，一件我会想的事是，理想情况下，为了可扩展性，我们最好只用一个目标函数，而我们在这些不同来源上具体怎么采数据，只取决于我们能多有效地利用那种采集方式的特性，去拿到我们想要的多样性维度和质量。

所以我会这么想：比如人类数据，或者某种程度上仿真数据，如果你有不错的域随机化那套东西，你可以用一种很惊人的方式去随机化环境属性，而这些在机器人数据上从操作层面做起来要难得多；而机器人数据这边，你可以采样到范围广得多的高度灵巧的行为，这些是你在仿真数据里没法有效覆盖的。所以我经常就在想，有什么办法能覆盖所有多样性的维度，同时最好地利用那种采集方式，这样全局上我把想要的都覆盖了，而且是用同一个目标函数能学的方式。

我们真的在采对的那类数据吗

听众提问　我的问题差不多可以归结成：我们真的在采对的那类数据吗？我的背景是机械工程，所以我看到，很明显现在采了大量视觉数据，这很容易采。然后在这个会上，我听到大量关于本体的讨论，还有一套系统跟另一套系统在跟世界交互上的机械等价性。但对我来说，说到底重要的是指尖那里的力和剪切力，可我没怎么看到我们在采这类数据。如果我们不转向那类数据，你觉得这会对我们训练机器去思考“直接跟世界交互”这件事的能力有什么影响，而不是隔着一层去移动和操纵它？

Ashwin Balakrishna（Physical Intelligence）　我可以简单说两句。采集更丰富模态的数据，比如力觉信息，肯定是有帮助的。我觉得我们作为一个社区在实践中面对的一个挑战是，把带高质量力觉传感的数据采集规模化，会相当困难。通常量产的力传感器要么比较不可靠，要么就算可靠，也会有很大的迟滞，所以你不一定能信那个读数，这里有很多挑战。

我们发现有数量惊人的任务，我们能学到关于所用力的隐式信息，基本上只从视觉里学。但我确实觉得那里有一道缺口，更好的力传感器能帮着补上，用来做那种真正非常灵巧的过程。所以我觉得这对社区来说是件重要的事。

Simar Kareer（佐治亚理工）　我对这件事想得最多的角度是，因为我在第一人称数据上做了很多工作，我觉得这真的落在人类数据的可迁移性这一面上。这里有不同的流派，有些人是在赌那种人形机器人加人类数据的路线，而这条流水线要跑通，你得解决很多这类底层的挑战，去拿到更直接的可迁移性。

所以我觉得对认同这条流水线的人来说，你大概确实想在触觉上多投入。因为基本上问题在于，如果你不投入，那从你只用视觉观察到的人类数据里，你只有状态，而你不知道接触力，因为你看不出这个人抓东西抓得有多用力。这还更难，有两个原因：一是机器人上的腕部相机提供了很多这类信息，因为你多少能在视觉上观察到形变；第二件事是状态-动作的落差，在机器人数据上，因为你的状态和动作之间有差值，你能拿到某种隐式的用力程度，但在人类数据里没有这种东西，只有状态。

所以我觉得，对于那种真的想推进“灵巧人类数据零样本迁到人形机器人、把所有落差都补上”的人来说，这会是关键的。但如果你走的更像是跨本体那条路，这可能有帮助，但也许没到 100% 关键的程度。

Haozhi Qi（Amazon FAR／芝加哥大学（线上））　我补充一点。在我脑子里的图景里，我倾向于把它分成两件事。一是视觉规划的能力，大概知道你要往哪儿走，至少先把上下文建立起来，这样你至少能绕开探索问题——如果完全没有接触、没有任何交互，你根本拿不到信号。我觉得这部分数据至少在初期是相当有用的，尽管我们严格来说并没有采集细粒度的、真正的驱动数据，我们采的其实只是已经实现出来的动作和状态。所以我觉得这至少是有帮助的，即便我们没有采那类数据。剩下的部分可以交给遥操作，或者交给那些机器人本体能真正感知力信息之类的领域。

另外我觉得，我们现在的数据集里没有力数据，是有几个原因的。一个原因是这一波机器人学习其实还很年轻，我们现在处在的阶段，是在走一条很有希望的路线——怎么用市面上买得到的机械臂或者手，拿到可泛化的行为。所以在这种情况下，我们很多人是从计算机科学背景出来的，更多把注意力放在学习这一侧：我们怎么去利用模型的能力，而不是硬件的能力？我想这是我们先从泛化入手、然后再去关注机器人问题其他方面的原因之一。

另一方面，我最近观察到一个增长很快的趋势，越来越多人开始做力控操作。我猜这是因为大家逐渐意识到，有些任务光靠位置控制是做不好的，所以从研究角度看，兴趣会越来越多。而且已经有了带力/力矩传感的很好的硬件，不只是触觉传感，还有关节的力矩传感器，价格也在大幅下降，我想在未来一两年里它会变得非常普及。结果就是我们会有越来越多这类数据，然后我们完全可以把这些数据接进现在的流水线，让机器人在操作上做得好得多。

【观察】　力觉数据是这一代机器人学习的“房间里的大象”——所有人都承认它重要，却几乎没人把它放进主采样管线。Ashwin 说量产力传感器不可靠、迟滞大，Haozhi 则判断硬件成本的快速下降正在把这道门推开。等力矩/触觉数据真正进入主干，机器人才算从“隔着一层移动世界”，走向“直接跟世界交互”。

最后一个问题：怎么做数据质量控制

听众提问　我有个关于数据质量控制的问题，因为在我们组里我们经常被时间戳不对齐这类问题困扰，最后导致动作抖动。所以我想问，你们怎么检查数据质量，尤其是遥操作数据？

Ashwin Balakrishna（Physical Intelligence）　大致来说，数据质量有很多个维度可以考虑。我们的一个好处是，我们可以有一套相当复杂的标注流水线，实际上是对数据采集过程的每一个环节都做 QA。所以会有一些很明显的事，比如操作员有没有按基本指令来做，这是语义层面的；然后甚至在底层，去确保你有没有丢帧，有没有丢掉某个本该记录的模态的观测，所有这些东西你都可以马上筛出来。

我觉得非常仔细地关注数据质量当然很重要。但我们在 π0.7 上发现的一件事是，如果数据质量的某些方面你能通过事后采集的标签干净地观察到，那你其实是可以从一部分次优数据里学到东西的。举个例子，如果你缺了一张腕部相机图像，而且没有把这件事标注出来，那你的策略显然会受影响，但如果你把这些大量丢掉再重新训练，也许那样是对的。可如果你有的是一些低质量行为，比如有人把 T 恤拽得很难看，但你有非常详细的语言标注，你所有的机器人数据都描述了它为什么做得不好，那你可能其实没问题。

我觉得整体上作为一个社区，随着我们把机器人数据采集越做越大，我们当然需要有非常仔细的数据质量检查，但我们也得确保在建模和标注上做出这样的选择，让我们真的能吃下低质量数据，因为我们迟早会有这些数据。

高阳（主持人）　好，如果没有别的补充，让我们感谢各位讲者精彩的演讲和精彩的圆桌。

高阳（主持人）　我们现在进入颁奖环节。最佳论文奖表彰的是一份出色的贡献，技术很扎实，与本次 workshop 的主题高度契合，并且对数据科学和机器人学有很强的潜在影响。这篇论文是 Ambient Diffusion Policy，机器人里从次优数据做模仿学习。

感谢各位今天来参加，感谢我们的讲者，也感谢审稿人、组织者，感谢我们的赞助方千寻智能，感谢在场的每一位。希望今天能给大家带来一些新的想法，关于机器人到底需要什么数据。

把这一小时拢起来看，四位讲者其实没在标准答案上达成一致，但他们在几个关键点上把分歧说清楚了——这本身比共识更有价值。

第一，数据金字塔的“方向”比“比例”更重要。Simar 翻过来的不是金字塔的形状，而是它暗示的依赖关系：你没法靠底层的人类数据凭空长出顶层的灵巧操作，得先有一批机器人基础能力打底。换句话说，数据之间不是“底层撬动上层”的单向关系，而是互相咬合的。这对当下很多“用海量第一人称视频训通用策略”的路线，是个直接的提醒——视频能铺量，但铺不出最后那块灵巧能力。

第二，零样本的天花板可能比想象中低。Wenlong 把话说得很直：世界是长尾的，目标可以非常多样，靠堆数据未必能覆盖所有。这意味着自主适应、甚至针对任务想出新策略的能力，会是下一阶段的刚需，而不只是“采集更多”。模仿学习的尽头，可能必须是某种形式的自我改进。

第三，力觉数据是个被集体忽视的缺口。那位机械工程背景的听众点破了一件事：大家采了大量视觉和本体数据，但指尖的力和剪切力几乎没人采。Ashwin 说量产力传感器要么不可靠、要么迟滞大；Haozhi 则认为带力矩传感的硬件价格正在快速下降，一两年内会普及。这个缺口补上之后，机器人从“隔着一层移动世界”到“直接跟世界交互”，可能才真正开始。

回过头看，Ambient Diffusion Policy 拿最佳论文不是偶然——它恰好回应了“次优数据怎么用”这个最实在的工程问题；而圆桌的分歧，则把视野从“怎么用数据”拉到了“该采什么数据”。两者合起来，大概是这一代机器人数据工作最诚实的一张地图：我们既知道手里有用的东西怎么榨干，也终于开始诚实地承认，还有哪些东西根本没采。

原文链接: https://www.leiphone.com/category/private/eOUJNktNDMpyfg0R.html