An Event-Based Perception Pipeline for a Table Tennis Robot
University of Tübingen(蒂宾根大学);Istituto Italiano di Tecnologia(意大利技术研究院)
本文提出首个仅使用事件相机实现实时感知的乒乓球机器人流水线,其更新率比传统帧相机高一个数量级,从而提升球的位置、速度和旋转估计精度,为快速回球控制提供优势。
2025-02-02 cs.CV cs.RO
Stylized Table Tennis Robots Skill Learning with Incomplete Human Demonstrations
Tsinghua University(清华大学);Fudan University(复旦大学);Shanghai Qi Zhi Institute(上海期智研究院)
本文针对强化学习训练机器人控制器风格不真实的问题,提出一种基于不完整人类示教的RL算法,通过示教-拖拽收集数据并结合数据增强,使乒乓球机器人学习风格化技能并适应不同球速。
2023-09-16 cs.RO
Optimal Stroke Learning with Policy Gradient Approach for Robotic Table Tennis
Eberhard Karls University Tübingen(图宾根大学)
学习打乒乓球对机器人来说是一项具有挑战性的任务,因为需要各种各样的击球方式。最近的进展表明,深度强化学习(RL)能够在模拟环境中成功学习最佳动作。然而,RL在真实场景中的适用性仍然有限,由于高勘探工作。在这项工作中,我们提出了一个现实的仿真环境中,多个模型的球的动力学和机器人的运动学。代替训练端到端RL模型,提出了一种新的具有TD3骨干的策略梯度方法,以基于击球时球的预测状态来学习球拍击球。在实验中,我们表明,所提出的方法显着优于现有的RL方法在模拟。此外,为了跨越从模拟到现实的领域,我们采用了一种有效的再训练方法,并在三个真实场景中进行了测试。结果成功率为98%,距离误差约为24.9 cm。总培训时间约为1.5小时。
2021-11-02 cs.RO
Ace! Motion Planning of Professional-Level Table Tennis Serves with a Robot Arm
Sony AI, Tokyo, Japan(索尼人工智能,东京,日本);Sony AI, Zürich, Switzerland(索尼人工智能,苏黎世,瑞士);Sony Group Corporation, Tokyo, Japan(索尼集团公司,东京,日本)
研究乒乓球机器人发球问题,结合运动原语、模型预测控制和贝叶斯优化方法,实现符合官方规则发球,自旋高达550rad/s,速度达6.7m/s,表现与精英球员相当甚至更优。
2026-07-28 cs.RO cs.SY eess.SY
SpinDOE: A ball spin estimation method for table tennis robot
University of Tuebingen(蒂宾根大学)
针对乒乓球旋转测量难度大、现有方法存在局限的问题,提出基于带点球体姿态估计的SpinDOE方法,通过CNN定位点、几何哈希识别、姿态回归实现高精度实时旋转估计,并生成相关轨迹数据集。
2023-03-07 cs.CV cs.RO
Robotic Table Tennis with Model-Free Reinforcement Learning
Robotics at Google(谷歌机器人部门);DeepMind(深度思维);Columbia University(哥伦比亚大学)
我们提出了一个无模型的算法,学习有效的政策能够返回乒乓球控制机器人关节的速率为100赫兹。我们证明了进化搜索(ES)方法作用于基于CNN的非视觉输入策略架构,并在时间上进行卷积,学习紧凑的控制器,从而实现平滑运动。此外,我们表明,适当调整课程学习的任务和奖励,政策能够发展多模态的风格,特别是反手击球,同时实现80%的回报率在广泛的投球。我们观察到,多模态不需要任何建筑先验,如多头架构或分层政策。
2020-05-27 cs.LG cs.RO stat.ML
Hardware Design for Table Tennis Robot Capable of Beating Professional Players
Sony AI(索尼AI);Sony Global Manufacturing & Operations(索尼全球制造与运营)
本文通过分析精英运动员动作,定义工作空间、负载等指标,设计8自由度机器人Ace,采用拓扑优化和逆动力学选型,实现0.8秒全挥杆周期和22米/秒峰值速度,成功击败多位专业选手。
2026-06-26 cs.RO
Physics Models for Sim-to-Real Transfer in Professional-Level Robot Table Tennis
Sony AI, Tokyo, Japan(索尼人工智能,东京,日本);Sony AI, Zürich, Switzerland(索尼人工智能,苏黎世,瑞士)
提出空气动力学、球桌碰撞和球拍接触的物理模型,精确捕捉高速高旋球行为,首次训练出能与专业选手对战的机器人乒乓球AI智能体。
2026-07-02 cs.RO
Bridging the sim2real gap in the table tennis robot with a transformer-based ball states predictor
Sony AI, Zürich, Switzerland(索尼AI,苏黎世,瑞士);Sony AI, Tokyo, Japan(索尼AI,东京,日本)
提出基于Transformer的乒乓球状态预测框架,利用注意力机制建模长程时间依赖,结合大规模真实数据集,并引入SPAD策略替换仿真器,无需重新训练即可缩小sim2real差距。
2026-06-11 cs.RO
Whole Body Model Predictive Control for Spin-Aware Quadrupedal Table Tennis
Department of Mechanical Engineering, Massachusetts Institute of Technology(麻省理工学院机械工程系);Department of Mechanical Engineering, Georgia Institute of Technology(佐治亚理工学院机械工程系);RAI Institute(RAI研究所)
提出一种四足机器人动态乒乓球系统,集成高速感知、带学习残差的物理模型推断旋转与预测轨迹,以及新颖的全身MPC敏捷控制,实现自动产生击球策略并具备与人类对打及应对各种旋转球的能力。
2025-10-09 cs.RO cs.SY eess.SY
Achieving Human Level Competitive Robot Table Tennis
Google DeepMind(谷歌DeepMind)
本文提出首个达到业余人类水平的竞技乒乓球机器人智能体,通过分层模块化策略架构、zero-shot sim-to-real技术及实时适应未见对手,在29场比赛中胜率达45%。
2025-05-01 cs.RO
Diff-Muscle: Efficient Learning for Musculoskeletal Robotic Table Tennis
Department of Computer Science and Technology, Tsinghua University, China(清华大学计算机科学与技术系)
Diff-Muscle通过微分平坦性将高维动作空间转化为低维关节空间,实现高效学习,使肌骨骼机器人在动态乒乓球任务中实现连续回球。
2026-03-09 cs.RO
Hierarchical Policy Design for Sample-Efficient Learning of Robot Table Tennis Through Self-Play
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Brain(谷歌大脑)
用物理身体训练机器人需要开发新的方法和动作表示,使学习代理能够有效地探索策略空间。这项工作研究的背景下,机器人乒乓球样本有效的学习复杂的政策。它使用无模型策略层(需要对对手进行复杂的推理,这在基于模型的方式中很难做到),基于模型的外部对象预测(难以用分析控制方法直接控制,但由可学习且相对简单的物理定律控制)以及机器人本身的分析控制器将学习纳入分层控制框架。人类示范用于训练动力学模型,其与分析控制器一起允许任何身体上能够打乒乓球的机器人无需训练片段。仅使用约7,000个演示轨迹,一个打击策略就可以以约20厘米的误差击中球目标。自我发挥是用来训练合作和对抗策略的顶部模型为基础的打击技能训练从人类示范。在自我游戏中只有大约24,000次罢工后,智能体学会了最好地利用人类动力学模型进行更长时间的合作游戏。进一步的实验表明,该策略的更灵活的变体可以发现人类没有展示的新攻击,并以较低的样本效率为代价实现更高的性能。实验在虚拟现实环境中进行,使用在现实世界中可获得的感官观察。在评估中表现出的高样本效率表明,该方法适合于直接在物理机器人上学习,而无需从仿真中转移模型或策略。补充材料可在https://sites.google.com/view/robottabletennis上查阅
2019-02-17 cs.RO
Event-Time Hybrid Optimal Control for Robotic Table Tennis Serves
针对机器人乒乓球发球的非线性混合系统,提出事件时间最优控制方法,结合两个OCP生成符合约束的发球,求解时间缩短4.1倍,真实机器人实验实现可控落点与各类旋转发球。
2026-08-11 cs.RO
Learning Racket-Ball Bounce Dynamics Across Diverse Rubbers for Robotic Table Tennis
本文提出统一框架,通过10种不同橡胶类型的球拍配置,研究球拍-球碰撞动力学,利用高帧率多相机系统收集数据,建立基于冲击模型的参数估计方法,提升预测精度和不确定性估计。
2026-04-13 cs.RO
Biologically Inspired Event-Based Perception and Sample-Efficient Learning for High-Speed Table Tennis Robots
National University of Defence Technology(国防科技大学);Defense Innovation Institute, AMS(军事科学院国防科技创新研究院);Qiyuan Lab(启元实验室)
本文提出生物启发的高速乒乓球机器人方法,结合事件感知与高效学习,通过异步感知和稀疏数据实现高效检测与决策,提升目标返回精度35.8%。
2026-04-06 cs.RO
Learning to Play Table Tennis From Scratch using Muscular Robots
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Technische Universität Darmstadt(达姆施塔特工业大学);Facebook AI Research(脸书人工智能研究院)
像乒乓球这样的动态任务对人类来说相对容易学习,但对机器人来说却构成了重大挑战。这样的任务需要在存在飞行球和机器人的不精确状态估计的情况下对快速运动和精确定时进行精确控制。强化学习(RL)在从数据中学习复杂控制任务方面显示出了希望。然而,将基于步骤的强化学习应用于实际系统上的动态任务是安全关键的,因为强化学习需要在高速状态下安全地探索和失败数百万个时间步。在本文中,我们证明了使用无模型强化学习乒乓球的安全学习可以通过使用气动人工肌肉(PAM)驱动的机器人手臂来实现。PAM的柔软性和反向驱动特性防止系统离开其状态空间的安全区域。以这种方式,RL使机器人能够将平均具有5 m \s和12 m \s的真实球返回并粉碎到期望的着陆点。我们的设置允许代理学习这个安全关键任务(i)在算法中没有安全约束,(ii)同时直接在奖励函数中最大化返回球的速度(iii)使用直接作用于真实系统的低级控制的随机策略,以及(iv)在没有任何先验知识的情况下从头开始训练数千次试验(v)。此外,我们提出了HYSR,一个实用的混合模拟和真实的训练,避免在训练过程中播放真实的球随机重放记录的球轨迹模拟和应用行动的真实机器人。这项工作是第一个(a)故障安全学习的安全关键的动态任务,使用拟人机器人手臂,(b)学习精度要求的问题与PAM驱动的系统,尽管控制的挑战和(c)训练机器人打乒乓球没有真正的球。视频和数据集可在muscul…
2020-06-10 cs.LG cs.RO
1000 Rallies: An Event-Camera Dataset and Real-Time Learned Ball-State Estimation for Robotic Table Tennis
Sony AI, Zurich(索尼AI,苏黎世)
针对机器人乒乓球中高速球状态估计的实时性需求,构建首个大规模事件相机数据集(1000次对打),提出联合估计球位置与速度的CNN,结合卡尔曼滤波将弹跳点预测误差降低36%,并实现事件驱动的人机实时对打。
2026-06-25 cs.CV cs.RO eess.IV
High Speed Robotic Table Tennis Swinging Using Lightweight Hardware with Model Predictive Control
Biomimetic Robotics Laboratory at Massachusetts Institute of Technology (MIT)(麻省理工学院仿生机器人实验室)
本文提出一种基于轻量化五自由度机械臂与模型预测控制的机器人乒乓球平台,通过最优控制生成多种挥拍轨迹,实现88%成功率、平均出球速度11 m/s的高速击球。
2025-05-02 cs.RO cs.SY eess.SY
GoalsEye: Learning High Speed Precision Table Tennis on a Physical Robot
Google Research(谷歌研究院)
现实世界中的学习目标条件控制是机器人学中一个具有挑战性的开放性问题。强化学习系统具有通过试错法自主学习的潜力,但在实践中,人工奖励设计、确保安全探索和超参数调整的成本往往足以阻止现实世界的部署。另一方面,模仿学习方法提供了一种在现实世界中学习控制的简单方法,但通常需要昂贵的策划演示数据,并且缺乏持续改进的机制。最近,迭代模仿技术已被证明可以从无向演示数据中学习目标定向控制,并通过自我监督目标实现不断改进,但迄今为止的结果仅限于模拟环境。在这项工作中,我们提出的证据表明,迭代模仿学习可以扩展到目标导向的行为在一个真正的机器人在一个动态的设置:高速,精确的乒乓球(例如“土地球在这个特定的目标”)。我们发现,这种方法提供了一种直接的方式来进行连续的机器人学习,没有复杂的奖励设计或仿真到现实迁移。它也是可扩展的--样本效率足够高,可以在几个小时内对物理机器人进行训练。在现实世界的评估中,我们发现,在将球返回到桌面上的特定目标的任务中,所产生的策略可以与业余人类(从机器人实验室随机抽样的球员)相提并论或更好。最后,我们分析了初始无向引导数据集大小对性能的影响,发现预先提供的少量非结构化演示数据大大加快了通用目标达成策略的收敛速度。请访问https://sites.google.com/view/goals-eye获取视频。
2022-10-13 cs.RO
PACE: Physics Augmentation for Coordinated End-to-end Reinforcement Learning toward Versatile Humanoid Table Tennis
School of Mechanical Engineering, Purdue University(普渡大学机械工程学院);College of Engineering, Purdue University(普渡大学工程学院);School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
本文提出一种端到端强化学习框架,通过物理引导的奖励和预测信号,提升人形机器人在乒乓球中的快速感知和协调动作能力,实验显示在不同发球范围下表现优异。
2026-08-05 cs.RO
Black-Box vs. Gray-Box: A Case Study on Learning Table Tennis Ball Trajectory Prediction with Spin and Impacts
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本研究提出一种融合物理模型与数据学习的灰盒乒乓球轨迹预测方法,其性能优于无物理先验的黑盒方法,且用发球机参数初始化旋转可提升长期预测效果,在气动人工肌肉机器人上实现97.7%的回球率。
2023-06-12 cs.LG cs.RO cs.SY
Data-Efficient Online Learning of Ball Placement in Robot Table Tennis
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本研究针对乒乓球机器人回球落点控制问题,提出基于拦截策略的在线优化算法,采用黑盒和灰盒方法近似梯度,在四自由度气动肌肉机械臂上仅需2-5次迭代即可命中任意预设目标,兼具鲁棒性和样本效率。
2023-08-28 cs.RO cs.SY eess.SY
PingpongDuo: Agile Humanoid Table Tennis Doubles with Safe Team Coordination
Shanghai Innovation Institute(上海创新研究院);Archon Robotics(Archon机器人公司);The University of Hong Kong(香港大学);NVIDIA(英伟达公司)
研究人形乒乓球双打需解决交替击球、碰撞风险等问题,提出PingpongDuo分层框架,仿真与现实实验验证其提升回球成功率、实现快速定位与连续击球的性能。
2026-11-16 cs.RO
Robotic Table Tennis: A Case Study into a High Speed Learning System
Google DeepMind(谷歌DeepMind);Stickman Skills Center LLC(斯蒂克曼技能中心有限责任公司)
本文以乒乓球机器人为案例,系统剖析集成高速感知、低延迟控制、安全仿真零样本迁移与自动重置的真实机器人学习系统,并通过实验评估延迟、分布偏移、鲁棒性、超参数和动作空间等关键因素。
2025-02-19 cs.LG cs.RO
From Hitter to Player: Separating Motor Execution and Strategy in Competitive Humanoid Table Tennis
Zhejiang University(浙江大学);Ocean University of China(中国海洋大学);Tongji University(同济大学);Shanghai Innovation Institute(上海创新研究院);Tsinghua University(清华大学);RoboParty Lab(RoboParty实验室)
本研究在竞技人形乒乓球中分离动作执行与策略,通过三步训练提升动作策略,冻结动作栈后训练的策略在比赛中表现优异,可与人类对手完成完整11分制比赛。
2026-10-14 cs.RO
SMASH: Mastering Scalable Whole-Body Skills for Humanoid Ping-Pong with Egocentric Vision
The University of Hong Kong(香港大学);Kinetix AI
本文提出SMASH系统,通过整合可扩展的全身技能学习与 onboard 装置视觉感知,实现无需外部摄像头的敏捷人形乒乓球任务,提升了全身协调与击球动作的多样性和鲁棒性。
2026-04-01 cs.RO
Learning Diverse Robot Striking Motions with Diffusion Models and Kinematically Constrained Gradient Guidance
Institute of Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology(佐治亚理工学院机器人与智能机器研究所);Google DeepMind(谷歌DeepMind)
针对机器人学习样本效率低、难处理多样化行为数据及难融入约束的问题,提出一种离线、约束引导的扩散建模方法,通过运动学约束梯度引导技术指导采样,在模拟空气曲棍球和真实乒乓球任务中分别提升25.4%阻挡率和17.3%成功率。
2025-04-17 cs.LG cs.RO
Feedback modalities for a table setting robot assistant for elder care
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
老年人与机器人的互动需要有效的反馈,以使他们了解互动的状态,以获得最佳的互动质量。本研究探讨不同的反馈方式的影响,在表设置机器人助理老人护理。两种不同的反馈方式(视觉和听觉)和他们的组合进行了评估的三个复杂程度。视觉反馈包括使用LED和GUI屏幕。听觉反馈包括警报(蜂鸣声)和口头命令。结果表明,反馈方式对交互质量的影响较大,复杂性对交互质量的影响较小。口头反馈是显着可取的,并增加了参与者在实验过程中的参与。LED灯和口头命令的结合增加了参与者的理解,有助于互动的质量。
2021-03-15 cs.RO
Tabletop Object Rearrangement: Team ACRV's Entry to OCRTOC
Australian National University (ANU)(澳大利亚国立大学);Monash University(莫纳什大学);Queensland University of Technology (QUT)(昆士兰科技大学)
Open Cloud Robot Table Organization Challenge(OCRTOC)是最全面的基于云的机器人操作竞赛之一。它的重点是重新安排桌面对象使用视觉作为其主要的传感方式。在这篇扩展摘要中,我们介绍了OCRTOC2020的参赛作品以及团队经历的关键挑战。
2021-04-15 cs.RO
Multi-Modal Mutual Information (MuMMI) Training for Robust Self-Supervised Deep Reinforcement Learning
National University of Singapore(新加坡国立大学)
这项工作的重点是使用多个可能不可靠的传感器来学习有用且鲁棒的深度世界模型。我们发现,目前的方法不足以鼓励模态之间的共享表示,这可能会导致下游任务的性能不佳和过度依赖特定的传感器。作为解决方案,我们贡献了一个新的多模态深层潜在状态空间模型,使用互信息下限进行训练。关键的创新是一个专门设计的密度比估计,鼓励每一种形式的潜在代码之间的一致性。我们的任务是在多模态Natural MuJoCo基准和具有挑战性的Table Wiping任务上学习策略(以自我监督的方式)。实验表明,我们的方法明显优于最先进的深度强化学习方法,特别是在存在缺失观测的情况下。
2021-07-06 cs.AI cs.LG cs.RO