论文导读
港科大(广州)团队把普通网球视频里的挥拍动作和公开走路数据组合起来,训练了一台能追球、击球的人形机器人。实机人工抛球测试中,正手30球击中27球、反手30球击中26球;与人对打的演示最长持续8轮。这项工作把接球所需的移动、挥拍和时机控制放进了同一套反应策略。
先分清击中和过网
来球偏左或偏右,机器人先移动身体,再用右手上的球拍迎球。论文的实机照片展示了不同位置下的正反手击球,球拍通过3D打印连接件固定在手上。研究团队没有给每个来球位置写一条固定动作,而是让策略根据球和机身的状态决定接下来怎么动。
图:实机试验中不同位置的来球对应不同挥拍画面,绿色虚线标出球的轨迹。
在60次人工抛球试验里,正手和反手各测试30次。正手击中27次,反手击中26次,对应90.00%和86.67%。这两个数字衡量球拍有没有碰到球,不能直接当作有效回球率。正手14球、反手16球越过球网,过网率分别为46.67%和53.33%;过网也不等于落在界内。
把走路和挥拍拼起来
机器人打网球需要同时做两件事:到达击球位置,并在球经过那里时完成挥拍。只有一段漂亮的挥拍动作,身体来不及走过去,仍然接不到球;只有灵活的走路能力,也不知道什么时候抬手。
ATHLETE把这两类材料分开准备,再按目标击球点连接起来。走路来自公开的LAFAN1动作数据,挥拍来自普通网球视频。团队先生成通向击球位置的平滑移动路径,沿着路径安排步行动作,再接上合适的挥拍片段,并用物理仿真纠正整段动作。这样,同一批原始技能可以组成覆盖更多位置和时机的参考动作。
在相同的164段动作规模下,对单条候选来球轨迹的匹配成功率,生成动作库达到42.64%,原始动作库为7.57%。这里测的是参考动作能否在指定时间接近击球点,还不是机器人最终把球打回去的成功率。
图:横轴增加每组候选轨迹数量,曲线比较原始动作库与不同规模生成动作库的匹配成功率。
老师调时机,学生学反应
接下来,团队先训练一套能够调整动作速度的教师策略。同一个挥拍参考不能永远按相同节奏播放:球来得早,动作要加快;球来得晚,就要把击球时刻往后安排。教师在仿真里学习这种时间调整,再通过不断收集学生实际遇到的状态,把经验传给学生策略。
最后一轮训练直接围绕网球任务优化接触位置和回球效果。论文在300条相同来球上比较了这一步的作用:没有最后的任务微调时,正反手击中率很低;完整策略的仿真击中率接近95%,过网率超过91%。因此,拼好动作只是起点,还要让身体和球真正发生合适的接触。
部署后的策略直接读取机器人和球的观测,不再需要输入参考动作,也不需要在线逐段拼接动作库。论文中的实机系统仍用外部动作捕捉获得球的位置和机身姿态,以50Hz运行控制;它没有展示仅靠机载相机完成同等接球效果。
图:框图把参考动作生成、教师训练、学生蒸馏与网球微调分开,右下角展示实机部署。
对打最长持续8轮
团队还与不同网球经验的人类伙伴进行了连续对打。新手参与的最长演示为5轮,专业球员参与时为8轮。连续来回要求机器人在上一拍结束后重新调整身体,为下一次击球准备,展示的已是移动和挥拍的连续协调。
项目页提供实机对打、60次单球测试的组合视频,以及可以在浏览器中运行的仿真演示。交互演示能让观看者改变落点再发球,观察策略如何响应;论文同时说明,它用于展示行为,不替代正式的实验协议。