来源：驽马科技

原文链接：https://mp\.weixin\.qq\.com/s/PUuFXUl61axBxhJSmInUwA

灵巧手最难的一件事，不是把物体夹起来，而是知道自己的手指到底有没有真的碰到它。

人类可以靠视觉、肌肉感觉和手指受力的微小变化来判断接触。机器人通常更直接：在指尖贴触觉传感器。但触觉硬件贵、脆、难集成，换一只手或换一批物体，维护成本就上来了。

今天这篇 IROS 2026 论文 NoContactNoWorries 问了一个很具体的问题：如果不装触觉传感器，只给机器人彩色深度视觉和关节本体感觉，它能不能判断“哪个手指碰到了物体”？

最关键的结果是：在遮挡场景里，完整模型的接触预测 F1 仍有 0.85；只靠视觉的模型掉到 0.51。

团队与论文信息

团队

RRC Lab, IIIT Hyderabad；The University of Manchester

论文

NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation

作者

Soham Patil、Avirup Das、Sourabh Bhosale、Spandan Roy

会议

IEEE/RSJ IROS 2026

项目

https://soham2560\.github\.io/no\-contact\-no\-worries/

为什么接触判断这么关键

对灵巧手来说，接触不是一个附加信息，而是控制闭环的核心。手指有没有碰到物体、哪根手指先接触、接触是否突然丢失，都会影响下一步是继续旋转、调整抓取，还是重新夹紧。

只看相机并不可靠。物体会挡住指尖，手掌也会挡住物体；从一个角度看不见接触，不代表接触没有发生。只看关节位置也不够，因为同一个关节误差可能来自物体阻挡，也可能来自控制误差或姿态变化。

因此，这篇论文的动机很清楚：既然硬件触觉传感器不好大规模部署，就尝试把视觉和本体感觉合起来，生成一个 pseudo-tactile signal，也就是“伪触觉”接触信号。

方法核心：让关节误差和图像一起作证

模型首先用冻结的视觉编码器处理彩色深度图像，得到手、物体和场景的空间特征。与此同时，机器人当前关节位置 q 和目标关节命令 qᶜᵒᵐ 会被编码成本体感觉 token。

关键在于 pose-conditioned spatial fusion。简单说，模型不是盲目看整张图，而是用手指关节状态去查询图像区域：在当前姿态下，哪些视觉区域最可能解释某根手指的接触？

最后，因果 Transformer 会看一段时间窗口。接触往往不是单帧能判断的，真正有用的是：命令关节和实际关节之间的偏差如何变化，物体遮挡如何变化，手指运动是否突然被限制。

训练时用触觉标签，部署时把传感器拿掉

论文在真实机器人上使用力敏电阻 FSR 获取接触真值标签。作者特别说明，这些 FSR 贴在 LEAP Hand 指尖，几何偏差控制在 0.5 mm 以内，用来提供 ground-truth contact labels。

但在模型推理和下游策略部署时，物理触觉传感器会被移除。也就是说，训练阶段可以借助触觉标签监督，真正使用时只靠视觉和本体感觉推断接触。

遮挡才是硬测试：只看图像会明显掉下去

论文把接触可见性单独拿出来分析。结果很有意思：在接触可见时，完整模型 F1 为 0.93；在遮挡时，仍有 0.85。

对比之下，vision-only 模型在可见时 F1 为 0.79，遮挡时掉到 0.51；kinematic depth baseline 在遮挡时也只有 0.54。这个差距说明，接触预测不能只靠“看见指尖碰到物体”，还必须利用关节状态和时序变化。

新物体也能用，不只是记住训练形状

论文在仿真里用五类训练物体，包括 cuboid、pentagonal prism、dodecahedron、star 和 stairs；测试时还加入未见过的 hexagonal prism 和 letter R。

完整模型在仿真 novel objects 上的 F1 分别达到 0.89 和 0.87；真实机器人场景里，对 novel objects 也达到 0.80 和 0.74。它不是只背了某个物体的外形，而是在学习手、物体、关节运动和接触之间的关系。

下游策略为什么会受益

论文还把预测出的接触信号喂给下游强化学习策略，用于 in-hand object reorientation，也就是让灵巧手在掌内旋转物体到目标姿态。

这一步很重要，因为接触预测如果只是离线指标好看，意义有限。真正有价值的是，它能不能帮策略做动作。项目页展示的仿真和真实机器人结果都指向同一个结论：伪触觉信号可以作为下游控制的有效输入。

但它还不能替代所有触觉

这篇文章解决的是 binary contact estimation，也就是判断是否接触。它没有直接恢复接触力大小、剪切力、滑移方向，也没有提供高分辨率触觉图像。

另外，模型仍需要训练阶段的接触标签，真实数据也依赖 FSR 做验证。更复杂的软物体、透明物体、快速滑移和多点连续接触，仍然可能需要更强的传感和建模。

为什么这篇值得关注

灵巧操作很容易被硬件成本卡住。触觉传感器越多，系统越难维护；没有触觉，控制又容易盲。NoContactNoWorries 的价值在于，它给出了一条折中路线：不把触觉硬件当作唯一答案，而是从视觉、本体感觉和时间变化中推断接触。

如果这类 pseudo-tactile signal 能继续提升稳定性，未来灵巧手可能不需要每个指尖都贴上传感器，也能在更多物体和更多任务里获得足够可用的接触反馈。

最后想问

如果未来家用机器人要做精细操作，你更希望它依赖更强的触觉硬件，还是尽量用视觉和本体感觉推断接触？

原文链接: https://www.leiphone.com/category/private/zrgWVxnkncsMYa1i.html