Learning to play table tennis is a challenging task for robots, as a wide variety of strokes required. Recent advances have shown that deep Reinforcement Learning (RL) is able to successfully learn the optimal actions in a simulated environment. However, the applicability of RL in real scenarios remains limited due to the high exploration effort. In this work, we propose a realistic simulation environment in which multiple models are built for the dynamics of the ball and the kinematics of the robot. Instead of training an end-to-end RL model, a novel policy gradient approach with TD3 backbone is proposed to learn the racket strokes based on the predicted state of the ball at the hitting time. In the experiments, we show that the proposed approach significantly outperforms the existing RL methods in simulation. Furthermore, to cross the domain from simulation to reality, we adopt an efficient retraining method and test it in three real scenarios. The resulting success rate is 98% and the distance error is around 24.9 cm. The total training time is about 1.5 hours.
From Hitter to Player: Separating Motor Execution and Strategy in Competitive Humanoid Table Tennis
Zhejiang University(浙江大学);Ocean University of China(中国海洋大学);Tongji University(同济大学);Shanghai Innovation Institute(上海创新研究院);Tsinghua University(清华大学);RoboParty Lab(RoboParty实验室)
School of Mechanical Engineering, Purdue University(普渡大学机械工程学院);College of Engineering, Purdue University(普渡大学工程学院);School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
Whole Body Model Predictive Control for Spin-Aware Quadrupedal Table Tennis
Department of Mechanical Engineering, Massachusetts Institute of Technology(麻省理工学院机械工程系);Department of Mechanical Engineering, Georgia Institute of Technology(佐治亚理工学院机械工程系);RAI Institute(RAI研究所)
Learning to Play Table Tennis From Scratch using Muscular Robots
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Technische Universität Darmstadt(达姆施塔特工业大学);Facebook AI Research(脸书人工智能研究院)
像乒乓球这样的动态任务对人类来说相对容易学习,但对机器人来说却构成了重大挑战。这样的任务需要在存在飞行球和机器人的不精确状态估计的情况下对快速运动和精确定时进行精确控制。强化学习(RL)在从数据中学习复杂控制任务方面显示出了希望。然而,将基于步骤的强化学习应用于实际系统上的动态任务是安全关键的,因为强化学习需要在高速状态下安全地探索和失败数百万个时间步。在本文中,我们证明了使用无模型强化学习乒乓球的安全学习可以通过使用气动人工肌肉(PAM)驱动的机器人手臂来实现。PAM的柔软性和反向驱动特性防止系统离开其状态空间的安全区域。以这种方式,RL使机器人能够将平均具有5 m \s和12 m \s的真实球返回并粉碎到期望的着陆点。我们的设置允许代理学习这个安全关键任务(i)在算法中没有安全约束,(ii)同时直接在奖励函数中最大化返回球的速度(iii)使用直接作用于真实系统的低级控制的随机策略,以及(iv)在没有任何先验知识的情况下从头开始训练数千次试验(v)。此外,我们提出了HYSR,一个实用的混合模拟和真实的训练,避免在训练过程中播放真实的球随机重放记录的球轨迹模拟和应用行动的真实机器人。这项工作是第一个(a)故障安全学习的安全关键的动态任务,使用拟人机器人手臂,(b)学习精度要求的问题与PAM驱动的系统,尽管控制的挑战和(c)训练机器人打乒乓球没有真正的球。视频和数据集可在muscul…
Athletic Mobile Manipulator System for Robotic Wheelchair Tennis
Georgia Institute of Technology(佐治亚理工学院)
体育运动是人类的一种典型和普遍的表达。从12世纪的法国僧侣发明了现代草地网球的先驱jeu de paget,到三千多年前将玛雅球作为宗教表达形式的K 'iche'人,人类一直在寻求训练他们的思想和身体,以便在体育比赛中脱颖而出。机器人技术的进步为机器人在体育运动中的应用开辟了可能性。然而,关键的挑战仍然存在,因为大多数先前的运动机器人技术工作仅限于原始的传感环境,不需要大量的力生成,或者是在小型化的规模上,不适合人类-机器人联合游戏。在本文中,我们提出了第一个开源的,自主的机器人打规则轮椅网球。我们展示了我们的全栈系统在执行地面击球的性能,并评估每个系统的硬件和软件组件。本文的目标是(1)激发更多的研究,在人类规模的机器人田径运动和(2)建立第一个基准的可再生轮椅网球机器人规则单打比赛。我们的论文为系统设计科学做出了贡献,并为机器人社区提出了一系列关键挑战,以努力实现能够在体育运动中与人类能力相匹配的机器人。
i-Sim2Real: Reinforcement Learning of Robotic Policies in Tight Human-Robot Interaction Loops
Robotics at Google(谷歌机器人部门)
仿真到现实迁移是机器人强化学习的一个强大范例。在仿真中训练策略的能力使得能够以低成本快速地进行安全探索和大规模数据汇集。然而,在机器人策略的仿真到现实迁移中的现有工作通常不涉及任何人-机器人交互,因为准确地模拟人类行为是一个开放的问题。在这项工作中,我们的目标是利用模拟的力量来训练机器人策略,这些策略在部署时能够熟练地与人类进行交互。但是有一个鸡和蛋的问题-如何收集人类与物理机器人交互的例子,以便在没有能够与人类交互的机器人的情况下模拟人类行为?我们提出的方法,迭代模拟到真实(i-S2 R),试图解决这个问题。i-S2 R从一个简单的人类行为模型引导,并在模拟训练和现实世界中部署之间交替进行。在每一次迭代中,人类行为模型和策略都被细化。对于所有的训练,我们应用一种新的进化搜索算法,称为黑盒梯度传感(BGS)。我们评估我们的方法在现实世界中的机器人乒乓球设置,机器人的目标是尽可能长时间地与人类球员合作。乒乓球是一项高速、动态的任务,需要两名球员对彼此的动作做出快速反应,这为人机交互研究提供了一个具有挑战性的测试平台。我们在一个工业机器人手臂上展示了结果,该手臂能够与人类球员合作打乒乓球,平均连续打22次,最多打150次。此外,对于80%的玩家来说,拉力赛的长度比模拟到真实加微调(S2 R +FT)的基线长70%到175%。有关我们的系统运行视频,请访问https://sites.go…
Sim-to-Real Transfer for Muscle-Actuated Robots via Generalized Actuator Networks
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Boston University(波士顿大学);University of Oxford(牛津大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
Integrating Learning-Based Manipulation and Physics-Based Locomotion for Whole-Body Badminton Robot Control
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);DeepCode Robotics(DeepCode机器人公司);Department of Sports, Shanghai Jiao Tong University(上海交通大学体育学院)