手把手教机器人做精细操作：KineDex框架创新

灵巧手技艺精进，女友的瓶盖难题迎刃而解！

此外，它还能助你一臂之力，无论是挤牙膏还是插拔充电器。

来自同济大学、清华、上海交大及香港大学的研究团队，近期提出了一种针对灵巧操作任务的全新教学方法及策略学习框架——KineDex，其特色在于：

以“真·手把手”的方式，直接将人类动作传导至灵巧手，并同步捕捉高保真触觉信息。

这一创新使得星动纪元灵巧手星动XHAND 1能够顺利应对各种复杂精细的任务。

在瓶盖拧紧、牙膏挤压、注射器按压等九项复杂任务中，KineDex的平均成功率达到了74.4%，且相较于遥操作，其数据采集效率提升了两倍以上。

该研究成果已被CoRL 2025收录。

真·手把手指导灵巧操作学习

目前，机器人学习精细操作的难点在于缺乏高质量的“示范数据”。

传统方法主要依赖遥操作或视频学习，前者因缺乏真实手感而效率低下且易失败；后者虽能模仿人类动作，但因人与机器之间的差异及缺乏触觉信息而效果有限。

总之，这些方法都难以获取包含高保真触觉和力度信息的数据来训练机器人。

在此背景下，团队提出了KineDex解决方案，其核心思想直观而明确：手把手教学。

硬件配置上，包括配备灵巧手的机械臂。团队采用两台RGB相机进行视觉观测：一台固定于工作台前方以获取全局视野，另一台则安装于末端执行器腕部，实现近距离感知操作区域。

首先，采集数据。KineDex数据采集系统的核心理念是让操作者能够“穿戴”灵巧手自由移动，实时执行精细接触任务。为实现这种手把手控制，团队在灵巧手四根手指（非拇指）的背侧安装了环形绑带。

这样可确保操作过程中的接触力实时传递至操作者手部，提供自然触觉反馈。

每次演示均记录视觉观测、本体感知（机械臂末端执行器位姿及灵巧手关节位置）、触觉传感及指尖力等数据。

接下来，处理数据。系统采集的数据不能直接用于视觉运动策略学习，因为摄像头会拍到操作者的手，干扰学习。因此，团队采用图像修复技术从视觉观测中移除操作者身体部位。

针对原始动觉示教数据，团队首先应用Grounded-SAM从视频帧中提取操作者身体部位的掩码，随后将帧序列及其对应掩码输入ProPainter模型修复被遮挡区域。

最终，学习得到的策略接收视觉与触觉信息输入，预测关节位置与接触力，并通过力控执行实现稳健操作。

从挤牙膏到拧瓶盖，无所不能

团队设计了九项任务，重点考察精细力控、多指协调及日常物体交互能力。

这些任务涵盖多种灵巧操作技能，包括挑战性场景：如将牙膏挤到牙刷上（需持续微调压力）、按压注射器（要求单手稳定施力并协调抓握以防滑移或错位）。

该实验采用Franka Emika Panda机械臂搭载星动纪元灵巧手星动XHAND 1。XHAND 1每根手指具有两个关节，拇指与食指额外包含旋转关节，共形成12个自由度。每根手指配备120个触觉传感点。

团队将KineDex与三种消融变体进行对比：

(1) 无力控版本：推理阶段禁用用力控模块，保持训练设置不变；

(2) 无触觉输入版本：训练时从策略输入中移除触觉传感数据，但策略仍预测目标指尖力并采用相同力控策略执行；

(3) 无修复版本：省略图像修复预处理步骤。

针对每项任务进行20次试验评估性能。

KineDex在多数任务中成功率超过70%，在瓶体抓取、杯子抓取等常见拾放场景中达到近100%的成功率。

尽管最后三项更具挑战性的任务中性能略有下降，其平均成功率仍超过50%。这种下降可能源于任务对精细化定位与接触推理的要求更高，超出了当前策略输入的表示能力。

项目链接：

点击这里

尽管面临挑战，实验结果仍证明了KineDex在日常灵巧操作策略学习中的有效性。这得益于其与人类行为的自然契合度以及精确触觉/力反馈的可用性。

"消融实验"结果显示，力控模块的缺失会显著影响系统性能。当禁用该模块时，所有任务的平均成功率骤降至16.7%，即使简单如瓶体抓取任务也难以完成。缺乏力控的灵巧手往往仅接触物体表面而未施加足够压力，导致接触密集型任务频繁失败。

"消融实验"结果同样显示，在特别依赖接触的任务（如拧瓶盖、挤牙膏、注射器按压）上，触觉输入的缺失导致性能显著恶化，平均成功率降低26.7%。如果不移除人的手进行图像修复预处理步骤（即不进行图像修复），将导致所有任务成功率为零且执行过程中出现异常行为。

"对比实验"进一步验证了KineDex相较于遥操作在数据收集方面的优势。结果显示用KineDex收集数据时成功率接近百分之百而遥操作成功率仅为百分之三十九点这意味着遥操作需要更高技巧与反复试错才能生成高质量示教从而导致数据收集效率显著低于KineDex.

"在效率方面"KineDex收集数据的速度要快一倍以上。在复杂的注射器按压任务中KineDex单次示教耗时仅为遥操作的百分之五十；而在简单的瓶体抓取任务中耗时不到遥操作的三分之一。"用户研究也表明人们觉得KineDex这种手把手教学的方式更直观、更高效更容易收集复杂任务的数据。"用户研究"还表明人们普遍认为KineDex的"手把手教学"方式更加直观和高效有助于收集复杂任务的数据。

用户研究也表明人们觉得这种方式更加直观和高效有助于收集复杂任务的数据。