人类视频数量巨大，但把其中的手部动作直接复制给机械手，常因手指数量、关节长度和运动范围不同而失败。南京大学与中国移动研究院提出C2Dex，从单目人类视频中提取稳定的物体接触关系，再把它迁移到机器人灵巧手。在DexYCB任务上，其宽松标准成功率达到57.78%，强基线最高只有17.78%。
不模仿手势，先抓住接触关系
同一个“拿起杯子”动作，人手和机械手不需要摆出完全相同的姿势。真正决定任务是否成功的，是哪些手指接触物体、接触点如何随物体移动，以及这些力学关系能否持续。若只做关节位置映射，形态差异会把自然的人类动作变成机器人无法执行的轨迹。
C2Dex把接触点统一到物体的规范坐标系中。系统从单目视频估计手与物体的运动，在多个帧中聚合稳定接触，过滤偶发遮挡和抖动；随后把这些物体侧约束作为迁移目标，而不是要求机械手逐关节复刻人手。这使同一示范可以跨越不同本体结构。
物体坐标系提供共同参照，人手与机械手只需实现相近的交互关系。
几何优化之后再让策略适应动力学
得到目标接触后，系统使用拉普拉斯交互优化调整机械手轨迹。该优化既追求目标接触，也尽量保持局部几何关系，避免单个手指为了够到接触点而产生扭曲姿态。由此生成的动作是可执行的初始解，但它仍来自视觉与几何估计。
真实抓取还涉及摩擦、重量和控制误差。C2Dex于是用残差强化学习在仿真中继续修正轨迹，让策略围绕几何解学习小幅补偿。前一阶段解决跨本体对齐，后一阶段负责动力学鲁棒性，两者分别处理“动作长什么样”和“动作能否撑住”。
迁移目标不是外观相似的手势，而是围绕物体保持稳定、可执行的接触。
成功率从17.78%升到57.78%
在DexYCB的45项测试中，C2Dex按宽松标准完成26项，成功率57.78%；严格标准为55.56%。对比方法的最佳结果分别只有17.78%和6.67%。在TACO数据上，C2Dex宽松与严格成功率为26.67%和23.33%，基线为10%和0%。
消融结果也显示稳定接触不是装饰模块：移除接触一致性后，DexYCB的宽松和严格成功率降至17.78%与10%。团队进一步在真实机器人上回放戴帽、扫垃圾、擦白板和丢垃圾等动作，展示方法可以从桌面抓取扩展到连续交互。
宽松与严格标准的差别也提供了诊断：前者允许动作达到较接近的任务状态，后者要求更完整地满足目标。C2Dex在DexYCB上的两项数字只相差2.22个百分点，说明多数被判成功的轨迹并非勉强擦线；对照方法则更容易出现碰到物体却没有形成稳定操作的情况。跨到TACO后整体下降，也提示数据域和物体类别变化仍然显著。
真机演示覆盖多类接触动作，用来检验视频迁移轨迹是否具备基本可执行性。
从视频示范走向家庭机器人应用
C2Dex让公开视频和临时拍摄的人类示范成为灵巧手技能来源。家庭机器人可以先从擦桌、整理物品、戴盖和投放垃圾等接触关系清楚的动作开始，把同一段示范迁移给不同尺寸和关节结构的机械手，减少逐台设备重新遥操作的成本。
论文的真机结果属于可行性演示，主要定量成绩仍来自动作重定向基准。下一步需要把目标检测、接近规划、在线重规划和失败恢复接入同一闭环，并在不同材质、重量与摆放位置上重复测试。
物体坐标系已经为跨本体迁移提供共同语言；若感知模块能在执行过程中持续更新接触目标，C2Dex可以从离线轨迹回放扩展为遇到位置变化也能修正的家庭操作策略。
