Robot table tennis systems require a vision system that can track the ball position with low latency and high sampling rate. Altering the ball to simplify the tracking using for instance infrared coating changes the physics of the ball trajectory. As a result, table tennis systems use custom tracking systems to track the ball based on heuristic algorithms respecting the real time constrains applied to RGB images captured with a set of cameras. However, these heuristic algorithms often report erroneous ball positions, and the table tennis policies typically need to incorporate additional heuristics to detect and possibly correct outliers. In this paper, we propose a vision system for object detection and tracking that focus on reliability while providing real time performance. Our assumption is that by using multiple cameras, we can find and discard the errors obtained in the object detection phase by checking for consistency with the positions reported by other cameras. We provide an open source implementation of the proposed tracking system to simplify future research in robot table tennis or related tracking applications with strong real time requirements. We evaluate the proposed system thoroughly in simulation and in the real system, outperforming previous work. Furthermore, we show that the accuracy and robustness of the proposed system increases as more cameras are added. Finally, we evaluate the table tennis playing performance of an existing method in the real robot using the proposed vision system. We measure a slight increase in performance compared to a previous vision system even after removing all the heuristics previously present to filter out erroneous ball observations.
School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；College of Engineering, Purdue University（普渡大学工程学院）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
Whole Body Model Predictive Control for Spin-Aware Quadrupedal Table Tennis
Department of Mechanical Engineering, Massachusetts Institute of Technology（麻省理工学院机械工程系）；Department of Mechanical Engineering, Georgia Institute of Technology（佐治亚理工学院机械工程系）；RAI Institute（RAI研究所）
Learning to Play Table Tennis From Scratch using Muscular Robots
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technische Universität Darmstadt（达姆施塔特工业大学）；Facebook AI Research（脸书人工智能研究院）
像乒乓球这样的动态任务对人类来说相对容易学习，但对机器人来说却构成了重大挑战。这样的任务需要在存在飞行球和机器人的不精确状态估计的情况下对快速运动和精确定时进行精确控制。强化学习（RL）在从数据中学习复杂控制任务方面显示出了希望。然而，将基于步骤的强化学习应用于实际系统上的动态任务是安全关键的，因为强化学习需要在高速状态下安全地探索和失败数百万个时间步。在本文中，我们证明了使用无模型强化学习乒乓球的安全学习可以通过使用气动人工肌肉（PAM）驱动的机器人手臂来实现。PAM的柔软性和反向驱动特性防止系统离开其状态空间的安全区域。以这种方式，RL使机器人能够将平均具有5 m \s和12 m \s的真实球返回并粉碎到期望的着陆点。我们的设置允许代理学习这个安全关键任务（i）在算法中没有安全约束，（ii）同时直接在奖励函数中最大化返回球的速度（iii）使用直接作用于真实系统的低级控制的随机策略，以及（iv）在没有任何先验知识的情况下从头开始训练数千次试验（v）。此外，我们提出了HYSR，一个实用的混合模拟和真实的训练，避免在训练过程中播放真实的球随机重放记录的球轨迹模拟和应用行动的真实机器人。这项工作是第一个（a）故障安全学习的安全关键的动态任务，使用拟人机器人手臂，（b）学习精度要求的问题与PAM驱动的系统，尽管控制的挑战和（c）训练机器人打乒乓球没有真正的球。视频和数据集可在muscul…
From Hitter to Player: Separating Motor Execution and Strategy in Competitive Humanoid Table Tennis
Zhejiang University（浙江大学）；Ocean University of China（中国海洋大学）；Tongji University（同济大学）；Shanghai Innovation Institute（上海创新研究院）；Tsinghua University（清华大学）；RoboParty Lab（RoboParty实验室）
Athletic Mobile Manipulator System for Robotic Wheelchair Tennis
Georgia Institute of Technology（佐治亚理工学院）
体育运动是人类的一种典型和普遍的表达。从12世纪的法国僧侣发明了现代草地网球的先驱jeu de paget，到三千多年前将玛雅球作为宗教表达形式的K 'iche'人，人类一直在寻求训练他们的思想和身体，以便在体育比赛中脱颖而出。机器人技术的进步为机器人在体育运动中的应用开辟了可能性。然而，关键的挑战仍然存在，因为大多数先前的运动机器人技术工作仅限于原始的传感环境，不需要大量的力生成，或者是在小型化的规模上，不适合人类-机器人联合游戏。在本文中，我们提出了第一个开源的，自主的机器人打规则轮椅网球。我们展示了我们的全栈系统在执行地面击球的性能，并评估每个系统的硬件和软件组件。本文的目标是（1）激发更多的研究，在人类规模的机器人田径运动和（2）建立第一个基准的可再生轮椅网球机器人规则单打比赛。我们的论文为系统设计科学做出了贡献，并为机器人社区提出了一系列关键挑战，以努力实现能够在体育运动中与人类能力相匹配的机器人。
i-Sim2Real: Reinforcement Learning of Robotic Policies in Tight Human-Robot Interaction Loops
Robotics at Google（谷歌机器人部门）
仿真到现实迁移是机器人强化学习的一个强大范例。在仿真中训练策略的能力使得能够以低成本快速地进行安全探索和大规模数据汇集。然而，在机器人策略的仿真到现实迁移中的现有工作通常不涉及任何人-机器人交互，因为准确地模拟人类行为是一个开放的问题。在这项工作中，我们的目标是利用模拟的力量来训练机器人策略，这些策略在部署时能够熟练地与人类进行交互。但是有一个鸡和蛋的问题-如何收集人类与物理机器人交互的例子，以便在没有能够与人类交互的机器人的情况下模拟人类行为？我们提出的方法，迭代模拟到真实（i-S2 R），试图解决这个问题。i-S2 R从一个简单的人类行为模型引导，并在模拟训练和现实世界中部署之间交替进行。在每一次迭代中，人类行为模型和策略都被细化。对于所有的训练，我们应用一种新的进化搜索算法，称为黑盒梯度传感（BGS）。我们评估我们的方法在现实世界中的机器人乒乓球设置，机器人的目标是尽可能长时间地与人类球员合作。乒乓球是一项高速、动态的任务，需要两名球员对彼此的动作做出快速反应，这为人机交互研究提供了一个具有挑战性的测试平台。我们在一个工业机器人手臂上展示了结果，该手臂能够与人类球员合作打乒乓球，平均连续打22次，最多打150次。此外，对于80%的玩家来说，拉力赛的长度比模拟到真实加微调（S2 R +FT）的基线长70%到175%。有关我们的系统运行视频，请访问https://sites.go…
