An Event-Based Perception Pipeline for a Table Tennis Robot
University of Tübingen（蒂宾根大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出首个仅使用事件相机实现实时感知的乒乓球机器人流水线，其更新率比传统帧相机高一个数量级，从而提升球的位置、速度和旋转估计精度，为快速回球控制提供优势。
2025-02-02 cs.CV cs.RO
Stylized Table Tennis Robots Skill Learning with Incomplete Human Demonstrations
Tsinghua University（清华大学）；Fudan University（复旦大学）；Shanghai Qi Zhi Institute（上海期智研究院）
本文针对强化学习训练机器人控制器风格不真实的问题，提出一种基于不完整人类示教的RL算法，通过示教-拖拽收集数据并结合数据增强，使乒乓球机器人学习风格化技能并适应不同球速。
2023-09-16 cs.RO
Optimal Stroke Learning with Policy Gradient Approach for Robotic Table Tennis
Eberhard Karls University Tübingen（图宾根大学）
学习打乒乓球对机器人来说是一项具有挑战性的任务，因为需要各种各样的击球方式。最近的进展表明，深度强化学习（RL）能够在模拟环境中成功学习最佳动作。然而，RL在真实场景中的适用性仍然有限，由于高勘探工作。在这项工作中，我们提出了一个现实的仿真环境中，多个模型的球的动力学和机器人的运动学。代替训练端到端RL模型，提出了一种新的具有TD3骨干的策略梯度方法，以基于击球时球的预测状态来学习球拍击球。在实验中，我们表明，所提出的方法显着优于现有的RL方法在模拟。此外，为了跨越从模拟到现实的领域，我们采用了一种有效的再训练方法，并在三个真实场景中进行了测试。结果成功率为98%，距离误差约为24.9 cm。总培训时间约为1.5小时。
2021-11-02 cs.RO
Ace! Motion Planning of Professional-Level Table Tennis Serves with a Robot Arm
Sony AI, Tokyo, Japan（索尼人工智能，东京，日本）；Sony AI, Zürich, Switzerland（索尼人工智能，苏黎世，瑞士）；Sony Group Corporation, Tokyo, Japan（索尼集团公司，东京，日本）
研究乒乓球机器人发球问题，结合运动原语、模型预测控制和贝叶斯优化方法，实现符合官方规则发球，自旋高达550rad/s，速度达6.7m/s，表现与精英球员相当甚至更优。
2026-07-28 cs.RO cs.SY eess.SY
SpinDOE: A ball spin estimation method for table tennis robot
University of Tuebingen（蒂宾根大学）
针对乒乓球旋转测量难度大、现有方法存在局限的问题，提出基于带点球体姿态估计的SpinDOE方法，通过CNN定位点、几何哈希识别、姿态回归实现高精度实时旋转估计，并生成相关轨迹数据集。
2023-03-07 cs.CV cs.RO
Robotic Table Tennis with Model-Free Reinforcement Learning
Robotics at Google（谷歌机器人部门）；DeepMind（深度思维）；Columbia University（哥伦比亚大学）
我们提出了一个无模型的算法，学习有效的政策能够返回乒乓球控制机器人关节的速率为100赫兹。我们证明了进化搜索（ES）方法作用于基于CNN的非视觉输入策略架构，并在时间上进行卷积，学习紧凑的控制器，从而实现平滑运动。此外，我们表明，适当调整课程学习的任务和奖励，政策能够发展多模态的风格，特别是反手击球，同时实现80%的回报率在广泛的投球。我们观察到，多模态不需要任何建筑先验，如多头架构或分层政策。
2020-05-27 cs.LG cs.RO stat.ML
Hardware Design for Table Tennis Robot Capable of Beating Professional Players
Sony AI（索尼AI）；Sony Global Manufacturing & Operations（索尼全球制造与运营）
本文通过分析精英运动员动作，定义工作空间、负载等指标，设计8自由度机器人Ace，采用拓扑优化和逆动力学选型，实现0.8秒全挥杆周期和22米/秒峰值速度，成功击败多位专业选手。
2026-06-26 cs.RO
Physics Models for Sim-to-Real Transfer in Professional-Level Robot Table Tennis
Sony AI, Tokyo, Japan（索尼人工智能，东京，日本）；Sony AI, Zürich, Switzerland（索尼人工智能，苏黎世，瑞士）
提出空气动力学、球桌碰撞和球拍接触的物理模型，精确捕捉高速高旋球行为，首次训练出能与专业选手对战的机器人乒乓球AI智能体。
2026-07-02 cs.RO
Bridging the sim2real gap in the table tennis robot with a transformer-based ball states predictor
Sony AI, Zürich, Switzerland（索尼AI，苏黎世，瑞士）；Sony AI, Tokyo, Japan（索尼AI，东京，日本）
提出基于Transformer的乒乓球状态预测框架，利用注意力机制建模长程时间依赖，结合大规模真实数据集，并引入SPAD策略替换仿真器，无需重新训练即可缩小sim2real差距。
2026-06-11 cs.RO
Athletic Mobile Manipulator System for Robotic Wheelchair Tennis
Georgia Institute of Technology（佐治亚理工学院）
体育运动是人类的一种典型和普遍的表达。从12世纪的法国僧侣发明了现代草地网球的先驱jeu de paget，到三千多年前将玛雅球作为宗教表达形式的K 'iche'人，人类一直在寻求训练他们的思想和身体，以便在体育比赛中脱颖而出。机器人技术的进步为机器人在体育运动中的应用开辟了可能性。然而，关键的挑战仍然存在，因为大多数先前的运动机器人技术工作仅限于原始的传感环境，不需要大量的力生成，或者是在小型化的规模上，不适合人类-机器人联合游戏。在本文中，我们提出了第一个开源的，自主的机器人打规则轮椅网球。我们展示了我们的全栈系统在执行地面击球的性能，并评估每个系统的硬件和软件组件。本文的目标是（1）激发更多的研究，在人类规模的机器人田径运动和（2）建立第一个基准的可再生轮椅网球机器人规则单打比赛。我们的论文为系统设计科学做出了贡献，并为机器人社区提出了一系列关键挑战，以努力实现能够在体育运动中与人类能力相匹配的机器人。
2023-02-07 cs.RO
Whole Body Model Predictive Control for Spin-Aware Quadrupedal Table Tennis
Department of Mechanical Engineering, Massachusetts Institute of Technology（麻省理工学院机械工程系）；Department of Mechanical Engineering, Georgia Institute of Technology（佐治亚理工学院机械工程系）；RAI Institute（RAI研究所）
提出一种四足机器人动态乒乓球系统，集成高速感知、带学习残差的物理模型推断旋转与预测轨迹，以及新颖的全身MPC敏捷控制，实现自动产生击球策略并具备与人类对打及应对各种旋转球的能力。
2025-10-09 cs.RO cs.SY eess.SY
Robotic Table Wiping via Reinforcement Learning and Whole-body Trajectory Optimization
Stanford University（斯坦福大学）；Google（谷歌）；Everyday Robots（日常机器人公司）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
我们提出了一个框架，使多用途的辅助移动机器人自动擦桌子清洁溢出物和面包屑。这个问题是具有挑战性的，因为它需要规划擦拭动作，同时推理通过高维视觉观察捕获的碎屑和溢出的不确定的潜在动态。同时，我们必须保证约束满足，以实现在非结构化杂乱环境中的安全部署。为了解决这个问题，我们首先提出了一个随机微分方程模型面包屑和溢出的动态和吸收与机器人雨刷。使用这个模型，我们训练一个基于视觉的策略规划擦拭行动的仿真使用强化学习（RL）。为了实现zero-shot模拟到真实的部署，我们将RL策略与全身轨迹优化框架相结合，以计算执行所需擦拭运动的基础和手臂关节轨迹，同时保证约束满足。我们广泛验证我们的方法在模拟和硬件上。视频：https://youtu.be/inORKP4F3EI
2022-10-19 cs.AI cs.LG cs.RO
Achieving Human Level Competitive Robot Table Tennis
Google DeepMind（谷歌DeepMind）
本文提出首个达到业余人类水平的竞技乒乓球机器人智能体，通过分层模块化策略架构、zero-shot sim-to-real技术及实时适应未见对手，在29场比赛中胜率达45%。
2025-05-01 cs.RO
Diff-Muscle: Efficient Learning for Musculoskeletal Robotic Table Tennis
Department of Computer Science and Technology, Tsinghua University, China（清华大学计算机科学与技术系）
Diff-Muscle通过微分平坦性将高维动作空间转化为低维关节空间，实现高效学习，使肌骨骼机器人在动态乒乓球任务中实现连续回球。
2026-03-09 cs.RO
Hierarchical Policy Design for Sample-Efficient Learning of Robot Table Tennis Through Self-Play
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Brain（谷歌大脑）
用物理身体训练机器人需要开发新的方法和动作表示，使学习代理能够有效地探索策略空间。这项工作研究的背景下，机器人乒乓球样本有效的学习复杂的政策。它使用无模型策略层（需要对对手进行复杂的推理，这在基于模型的方式中很难做到），基于模型的外部对象预测（难以用分析控制方法直接控制，但由可学习且相对简单的物理定律控制）以及机器人本身的分析控制器将学习纳入分层控制框架。人类示范用于训练动力学模型，其与分析控制器一起允许任何身体上能够打乒乓球的机器人无需训练片段。仅使用约7，000个演示轨迹，一个打击策略就可以以约20厘米的误差击中球目标。自我发挥是用来训练合作和对抗策略的顶部模型为基础的打击技能训练从人类示范。在自我游戏中只有大约24，000次罢工后，智能体学会了最好地利用人类动力学模型进行更长时间的合作游戏。进一步的实验表明，该策略的更灵活的变体可以发现人类没有展示的新攻击，并以较低的样本效率为代价实现更高的性能。实验在虚拟现实环境中进行，使用在现实世界中可获得的感官观察。在评估中表现出的高样本效率表明，该方法适合于直接在物理机器人上学习，而无需从仿真中转移模型或策略。补充材料可在https://sites.google.com/view/robottabletennis上查阅
2019-02-17 cs.RO
Event-Time Hybrid Optimal Control for Robotic Table Tennis Serves
针对机器人乒乓球发球的非线性混合系统，提出事件时间最优控制方法，结合两个OCP生成符合约束的发球，求解时间缩短4.1倍，真实机器人实验实现可控落点与各类旋转发球。
2026-08-11 cs.RO
Learning Racket-Ball Bounce Dynamics Across Diverse Rubbers for Robotic Table Tennis
本文提出统一框架，通过10种不同橡胶类型的球拍配置，研究球拍-球碰撞动力学，利用高帧率多相机系统收集数据，建立基于冲击模型的参数估计方法，提升预测精度和不确定性估计。
2026-04-13 cs.RO
Biologically Inspired Event-Based Perception and Sample-Efficient Learning for High-Speed Table Tennis Robots
National University of Defence Technology（国防科技大学）；Defense Innovation Institute, AMS（军事科学院国防科技创新研究院）；Qiyuan Lab（启元实验室）
本文提出生物启发的高速乒乓球机器人方法，结合事件感知与高效学习，通过异步感知和稀疏数据实现高效检测与决策，提升目标返回精度35.8%。
2026-04-06 cs.RO
LHManip: A Dataset for Long-Horizon Language-Grounded Manipulation Tasks in Cluttered Tabletop Environments
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；Queensland University of Technology（昆士兰科技大学）
本文构建 LHManip 真实机器人数据集，提供20类长时程多步骤语言指令操作任务及176,278个观测-动作对，以支持家居场景下的语言条件策略学习。
2024-07-01 cs.AI cs.RO
Learning to Play Table Tennis From Scratch using Muscular Robots
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technische Universität Darmstadt（达姆施塔特工业大学）；Facebook AI Research（脸书人工智能研究院）
像乒乓球这样的动态任务对人类来说相对容易学习，但对机器人来说却构成了重大挑战。这样的任务需要在存在飞行球和机器人的不精确状态估计的情况下对快速运动和精确定时进行精确控制。强化学习（RL）在从数据中学习复杂控制任务方面显示出了希望。然而，将基于步骤的强化学习应用于实际系统上的动态任务是安全关键的，因为强化学习需要在高速状态下安全地探索和失败数百万个时间步。在本文中，我们证明了使用无模型强化学习乒乓球的安全学习可以通过使用气动人工肌肉（PAM）驱动的机器人手臂来实现。PAM的柔软性和反向驱动特性防止系统离开其状态空间的安全区域。以这种方式，RL使机器人能够将平均具有5 m \s和12 m \s的真实球返回并粉碎到期望的着陆点。我们的设置允许代理学习这个安全关键任务（i）在算法中没有安全约束，（ii）同时直接在奖励函数中最大化返回球的速度（iii）使用直接作用于真实系统的低级控制的随机策略，以及（iv）在没有任何先验知识的情况下从头开始训练数千次试验（v）。此外，我们提出了HYSR，一个实用的混合模拟和真实的训练，避免在训练过程中播放真实的球随机重放记录的球轨迹模拟和应用行动的真实机器人。这项工作是第一个（a）故障安全学习的安全关键的动态任务，使用拟人机器人手臂，（b）学习精度要求的问题与PAM驱动的系统，尽管控制的挑战和（c）训练机器人打乒乓球没有真正的球。视频和数据集可在muscul…
2020-06-10 cs.LG cs.RO
1000 Rallies: An Event-Camera Dataset and Real-Time Learned Ball-State Estimation for Robotic Table Tennis
Sony AI, Zurich（索尼AI，苏黎世）
针对机器人乒乓球中高速球状态估计的实时性需求，构建首个大规模事件相机数据集（1000次对打），提出联合估计球位置与速度的CNN，结合卡尔曼滤波将弹跳点预测误差降低36%，并实现事件驱动的人机实时对打。
2026-06-25 cs.CV cs.RO eess.IV
High Speed Robotic Table Tennis Swinging Using Lightweight Hardware with Model Predictive Control
Biomimetic Robotics Laboratory at Massachusetts Institute of Technology (MIT)（麻省理工学院仿生机器人实验室）
本文提出一种基于轻量化五自由度机械臂与模型预测控制的机器人乒乓球平台，通过最优控制生成多种挥拍轨迹，实现88%成功率、平均出球速度11 m/s的高速击球。
2025-05-02 cs.RO cs.SY eess.SY
GoalsEye: Learning High Speed Precision Table Tennis on a Physical Robot
Google Research（谷歌研究院）
现实世界中的学习目标条件控制是机器人学中一个具有挑战性的开放性问题。强化学习系统具有通过试错法自主学习的潜力，但在实践中，人工奖励设计、确保安全探索和超参数调整的成本往往足以阻止现实世界的部署。另一方面，模仿学习方法提供了一种在现实世界中学习控制的简单方法，但通常需要昂贵的策划演示数据，并且缺乏持续改进的机制。最近，迭代模仿技术已被证明可以从无向演示数据中学习目标定向控制，并通过自我监督目标实现不断改进，但迄今为止的结果仅限于模拟环境。在这项工作中，我们提出的证据表明，迭代模仿学习可以扩展到目标导向的行为在一个真正的机器人在一个动态的设置：高速，精确的乒乓球（例如“土地球在这个特定的目标”）。我们发现，这种方法提供了一种直接的方式来进行连续的机器人学习，没有复杂的奖励设计或仿真到现实迁移。它也是可扩展的--样本效率足够高，可以在几个小时内对物理机器人进行训练。在现实世界的评估中，我们发现，在将球返回到桌面上的特定目标的任务中，所产生的策略可以与业余人类（从机器人实验室随机抽样的球员）相提并论或更好。最后，我们分析了初始无向引导数据集大小对性能的影响，发现预先提供的少量非结构化演示数据大大加快了通用目标达成策略的收敛速度。请访问https://sites.google.com/view/goals-eye获取视频。
2022-10-13 cs.RO
PACE: Physics Augmentation for Coordinated End-to-end Reinforcement Learning toward Versatile Humanoid Table Tennis
School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；College of Engineering, Purdue University（普渡大学工程学院）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文提出一种端到端强化学习框架，通过物理引导的奖励和预测信号，提升人形机器人在乒乓球中的快速感知和协调动作能力，实验显示在不同发球范围下表现优异。
2026-08-05 cs.RO
Black-Box vs. Gray-Box: A Case Study on Learning Table Tennis Ball Trajectory Prediction with Spin and Impacts
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本研究提出一种融合物理模型与数据学习的灰盒乒乓球轨迹预测方法，其性能优于无物理先验的黑盒方法，且用发球机参数初始化旋转可提升长期预测效果，在气动人工肌肉机器人上实现97.7%的回球率。
2023-06-12 cs.LG cs.RO cs.SY
Data-Efficient Online Learning of Ball Placement in Robot Table Tennis
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本研究针对乒乓球机器人回球落点控制问题，提出基于拦截策略的在线优化算法，采用黑盒和灰盒方法近似梯度，在四自由度气动肌肉机械臂上仅需2-5次迭代即可命中任意预设目标，兼具鲁棒性和样本效率。
2023-08-28 cs.RO cs.SY eess.SY
PingpongDuo: Agile Humanoid Table Tennis Doubles with Safe Team Coordination
Shanghai Innovation Institute（上海创新研究院）；Archon Robotics（Archon机器人公司）；The University of Hong Kong（香港大学）；NVIDIA（英伟达公司）
研究人形乒乓球双打需解决交替击球、碰撞风险等问题，提出PingpongDuo分层框架，仿真与现实实验验证其提升回球成功率、实现快速定位与连续击球的性能。
2026-10-15 cs.RO
Robotic Table Tennis: A Case Study into a High Speed Learning System
Google DeepMind（谷歌DeepMind）；Stickman Skills Center LLC（斯蒂克曼技能中心有限责任公司）
本文以乒乓球机器人为案例，系统剖析集成高速感知、低延迟控制、安全仿真零样本迁移与自动重置的真实机器人学习系统，并通过实验评估延迟、分布偏移、鲁棒性、超参数和动作空间等关键因素。
2025-02-19 cs.LG cs.RO
From Hitter to Player: Separating Motor Execution and Strategy in Competitive Humanoid Table Tennis
Zhejiang University（浙江大学）；Ocean University of China（中国海洋大学）；Tongji University（同济大学）；Shanghai Innovation Institute（上海创新研究院）；Tsinghua University（清华大学）；RoboParty Lab（RoboParty实验室）
本研究在竞技人形乒乓球中分离动作执行与策略，通过三步训练提升动作策略，冻结动作栈后训练的策略在比赛中表现优异，可与人类对手完成完整11分制比赛。
2026-10-14 cs.RO
A disembodied developmental robotic agent called Samu Bátfai
University of Debrecen（德布勒森大学）
这个名为Samu的代理程序是一个实验，旨在构建一个无实体的DevRob（发育机器人）聊天机器人，它可以像人类一样用自然语言说话。其中一个主要的设计特点是，萨穆可以互动，只用一个字符终端。这不仅对图灵测试或罗布纳奖的实践方面很重要，而且对发展机器人学的基本原理的研究也很重要。我们的目的是创建一个快速原型的Q学习与神经网络逼近的Samu。我们勾勒出这个原型的发展过程的早期阶段，在那里，Samu的任务是预测故事或对话的下一句话。本文的基本目标是使用具有一般函数逼近器的强化学习来达到相同的结果，这些函数逼近器可以通过使用经典的Q查找表在小输入样本上实现。本文最后通过一个实验表明，当使用LZW树来缩小可能的Q动作的数量时，Samu的学习有了显着的改善。
2015-11-09 cs.AI
SMASH: Mastering Scalable Whole-Body Skills for Humanoid Ping-Pong with Egocentric Vision
The University of Hong Kong（香港大学）；Kinetix AI
本文提出SMASH系统，通过整合可扩展的全身技能学习与 onboard 装置视觉感知，实现无需外部摄像头的敏捷人形乒乓球任务，提升了全身协调与击球动作的多样性和鲁棒性。
2026-04-01 cs.RO
Utilizing Human Feedback for Primitive Optimization in Wheelchair Tennis
Georgia Institute of Technology（佐治亚理工学院）
敏捷机器人提出了一个困难的挑战，机器人高速移动，需要精确和低延迟的传感和控制。创建敏捷运动，完成手头的任务，同时安全执行是敏捷机器人获得人类信任的关键要求。这需要设计灵活的新方法，并保持对世界限制的了解。在本文中，我们考虑的问题，建立一个灵活的和自适应的控制器，具有挑战性的敏捷移动操作任务的轮椅网球机器人击球地面中风。我们提出并评估了一个扩展的工作学习罢工的行为，使用概率运动原语（ProMP）框架（1）演示了安全执行的学习原语敏捷移动机械手设置，和（2）提出了一个在线的原始细化程序，利用评估反馈人类的执行轨迹。
2022-12-29 cs.RO
Joint Goal and Strategy Inference across Heterogeneous Demonstrators via Reward Network Distillation
Georgia Institute of Technology（佐治亚理工学院）
强化学习（RL）作为学习如何做出决策的通用框架已经取得了巨大的成功。然而，这种成功依赖于RL专家对奖励函数的交互式手动调整。另一方面，逆强化学习（IRL）试图从容易获得的人类演示中学习奖励函数。然而，IRL有两个主要的局限性：1）奖励模糊性-有无限数量的可能的奖励函数可以解释专家的演示和2）异质性-人类专家采用不同的策略和偏好，这使得从多个演示者学习变得困难，因为演示者寻求最大化相同奖励的共同假设。在这项工作中，我们提出了一种方法，通过网络蒸馏联合推断任务目标和人类的策略偏好。这种方法使我们能够提取一个强大的任务奖励（解决奖励模糊性），并模拟每个策略的目标（处理异质性）。实验结果表明，该算法能较好地恢复任务奖励和策略奖励，并能模拟两个模拟任务和一个真实乒乓球任务中的策略。
2020-11-23 cs.AI cs.LG cs.RO
i-Sim2Real: Reinforcement Learning of Robotic Policies in Tight Human-Robot Interaction Loops
Robotics at Google（谷歌机器人部门）
仿真到现实迁移是机器人强化学习的一个强大范例。在仿真中训练策略的能力使得能够以低成本快速地进行安全探索和大规模数据汇集。然而，在机器人策略的仿真到现实迁移中的现有工作通常不涉及任何人-机器人交互，因为准确地模拟人类行为是一个开放的问题。在这项工作中，我们的目标是利用模拟的力量来训练机器人策略，这些策略在部署时能够熟练地与人类进行交互。但是有一个鸡和蛋的问题-如何收集人类与物理机器人交互的例子，以便在没有能够与人类交互的机器人的情况下模拟人类行为？我们提出的方法，迭代模拟到真实（i-S2 R），试图解决这个问题。i-S2 R从一个简单的人类行为模型引导，并在模拟训练和现实世界中部署之间交替进行。在每一次迭代中，人类行为模型和策略都被细化。对于所有的训练，我们应用一种新的进化搜索算法，称为黑盒梯度传感（BGS）。我们评估我们的方法在现实世界中的机器人乒乓球设置，机器人的目标是尽可能长时间地与人类球员合作。乒乓球是一项高速、动态的任务，需要两名球员对彼此的动作做出快速反应，这为人机交互研究提供了一个具有挑战性的测试平台。我们在一个工业机器人手臂上展示了结果，该手臂能够与人类球员合作打乒乓球，平均连续打22次，最多打150次。此外，对于80%的玩家来说，拉力赛的长度比模拟到真实加微调（S2 R +FT）的基线长70%到175%。有关我们的系统运行视频，请访问https://sites.go…
2022-11-22 cs.RO
Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
强化学习在解决复杂任务时显示出巨大的潜力，可以轻松生成大量数据。在机器人技术中，一种生成训练数据的方法建立在基于从第一原理导出的动力学模型的模拟上。然而，对于例如涉及复杂的软体机器人的任务，设计这样的模型实质上更具挑战性。通过强化学习，能够在日益复杂的场景中有效地进行训练，从而能够利用软体机器人等复杂系统。在这里，我们利用动态复杂性的不平衡来更有效地学习样本。我们（i）将任务抽象为不同的组件，（ii）将简单的动力学部分卸载到模拟中，（iii）将这些虚拟部分相乘以生成更多的事后数据。我们的新方法，后见之明状态（HiS），使用这些数据，并选择最有用的过渡进行训练。它可以与任意的非策略算法一起使用。我们在几个具有挑战性的模拟任务上验证了我们的方法，并证明了它可以单独和与现有的后见之明算法（HER）相结合来提高学习效果。最后，我们评估HiS的物理系统，并表明它提高了一个复杂的乒乓球任务与肌肉机器人的性能。实验的视频和代码可以在webdav.tuebingen.mpg.de/his/上找到。
2023-03-09 cs.AI cs.LG cs.NE
Learning Nonlinear Causal Reductions to Explain Reinforcement Learning Policies
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Alberta（阿尔伯塔大学）；Tübingen AI Center（图宾根人工智能中心）；ELLIS Institute（ELLIS研究所）；Technische Universität Braunschweig（不伦瑞克工业大学）
本文提出非线性因果模型约简框架，通过扰动策略动作并观察累积奖励变化，学习高层的简化因果模型来解释强化学习策略行为，并在合成和实际任务中验证其能揭示策略的行为模式、偏差与失败模式。
2025-07-20 cs.AI cs.LG stat.ML
Learning Diverse Robot Striking Motions with Diffusion Models and Kinematically Constrained Gradient Guidance
Institute of Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所）；Google DeepMind（谷歌DeepMind）
针对机器人学习样本效率低、难处理多样化行为数据及难融入约束的问题，提出一种离线、约束引导的扩散建模方法，通过运动学约束梯度引导技术指导采样，在模拟空气曲棍球和真实乒乓球任务中分别提升25.4%阻挡率和17.3%成功率。
2025-04-17 cs.LG cs.RO
Approaches and Challenges in Robotic Perception for Table-top Rearrangement and Planning
Robotics Research Center, IIIT Hyderabad（国际信息技术研究所海得拉巴分校机器人研究中心）；TCS Research（塔塔咨询服务公司研究部）
桌面重排和规划是一个具有挑战性的问题，在很大程度上依赖于一个优秀的感知堆栈。感知堆栈涉及观察和记录桌子上的3D场景，检测桌子上的物体以及如何操作它们。因此，它极大地影响了系统的任务规划和运动规划堆栈。我们提出了一个全面的概述，并讨论了与感知模块相关的不同挑战。这项工作是我们广泛参与ICRA 2022开放云机器人表组织挑战赛的结果，我们在最终排名中名列第三。
2022-06-03 cs.RO
Hand Over or Place On The Table? A Study On Robotic Object Delivery When The Recipient Is Occupied
Deakin University（迪肯大学）
针对接收者忙碌时的机器人递送问题，通过15人打字游戏实验比较直接交接与桌面放置，证明桌面放置在体验、安全性、直观性和任务干扰上更优。
2025-03-14 cs.HC cs.RO
SpikePingpong: Spike Vision-based Fast-Slow Pingpong Robot System
Peking University（北京大学）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
SpikePingpong系统结合尖峰视觉与模仿学习，实现高精度乒乓球机器人控制，达到92%的30厘米精度成功率。
2026-02-24 cs.CV cs.RO
Generative Visual Foresight Meets Task-Agnostic Pose Estimation in Robotic Table-Top Manipulation
Southern University of Science and Technology（南方科技大学）；LimX Dynamics（LimX动力学）；The University of Hong Kong（香港大学）
该研究提出结合生成式视觉预见与任务无关姿态估计的闭环框架GVF-TAPE，通过生成视频预测与姿态解耦提取实现机器人桌面操作的实时自适应与跨任务泛化，降低对任务特定数据的依赖。
2025-08-30 cs.RO
Improving the interaction of Older Adults with Socially Assistive Robots for Table setting
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本研究提供了用户研究，旨在探索影响老年人和机器人餐桌设置助理之间的互动的因素。考虑了自动化水平（LOA）和透明度水平（LOT）对交互质量的影响。结果表明，LOA和LOT的互作效应对互作效应有显著影响。较低的LOA要求用户控制机器人的一些动作，这会影响老年人在LOT较低的情况下更多地参与交互，LOT较高（更多信息）和LOA较高（更多机器人自主性）。即使较高的LOA影响更多的流畅性的互动，较低的LOA鼓励更多的协作形式的互动，这是一个优先考虑的设计机器人辅助老年人用户。研究结果提供了一些见解共享控制设计，适应的偏好，老年人用户，因为他们与机器人辅助设备，如在本研究中使用的表设置机器人。
2021-03-24 cs.RO
Self-Organizing Aerial Swarm Robotics for Resilient Load Transportation : A Table-Mechanics-Inspired Approach
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）；Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong（香港中文大学机械与自动化工程系）
针对现有空中集群协同运输方法的可扩展性、通信依赖及抗故障鲁棒性问题，提出受桌腿耗散力学启发的去中心化无通信控制方法，经仿真和真机实验验证其在多扰动场景下精度与鲁棒性显著提升。
2025-09-03 cs.RO
ClevrSkills: Compositional Language and Visual Reasoning in Robotics
Qualcomm AI Research（高通人工智能研究中心）
本文提出ClevrSkills基准套件，在ManiSkill2上构建含多模态提示的机器人任务数据集，评估发现预训练VLM在机器人组合推理任务上仍会失败。
2024-11-13 cs.LG cs.RO
Deep Robotic Prediction with hierarchical RGB-D Fusion
Fudan University（复旦大学）；Zhejiang University（浙江大学）
机器人手臂抓取是实现机器人控制任务的基本操作。目前大多数机器人抓取方法都集中在桌面场景中的RGB-D策略或3D空间中的3D点云分析和推理。相比这些方法，我们提出了一种新的实时多模态分层编码器-解码器神经网络，融合RGB和深度数据，实现机器人人形抓在3D空间中只有部分观察。考虑了原始深度数据不确定性的量化和融合RGB的深度估计。我们开发了一种通用的标记方法来标记常见RGB-D数据集上的地面实况。我们评估了我们的方法的有效性和性能的物理机器人设置和我们的方法实现了超过90\%的成功率在桌面和3D空间场景。
2019-09-17 cs.CV cs.RO
Shakebot: A Low-cost, Open-source Robotic Shake Table for Earthquake Research and Education
本文提出了一种基于ROS和3D打印机部件的低成本开源振动台Shakebot，用于地震工程研究与教育，并通过物理实验与数字孪生仿真的一致性验证了不稳定平衡岩石动力学研究。
2024-07-01 cs.RO physics.geo-ph
UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data
University of Science and Technology of China（中国科学技术大学）
提出UMI-Bench 1.0，首个专为UMI风格操作策略设计的真实机器人基准，通过统一协议实现数据收集、场景重置、策略执行、结果记录和任务因素分析，提供可复现的评估平台。
2026-06-09 cs.RO
Tabletop Object Rearrangement: Team ACRV's Entry to OCRTOC
Australian National University (ANU)（澳大利亚国立大学）；Monash University（莫纳什大学）；Queensland University of Technology (QUT)（昆士兰科技大学）
Open Cloud Robot Table Organization Challenge（OCRTOC）是最全面的基于云的机器人操作竞赛之一。它的重点是重新安排桌面对象使用视觉作为其主要的传感方式。在这篇扩展摘要中，我们介绍了OCRTOC2020的参赛作品以及团队经历的关键挑战。
2021-04-15 cs.RO
Axiom Learning and Belief Tracing for Transparent Decision Making in Robotics
Electrical and Computer Engineering, The University of Auckland（奥克兰大学电气与计算机工程学院）；School of Computer Science, University of Birmingham（伯明翰大学计算机学院）
机器人提供其决策和信念描述的能力促进了与人类的有效合作。在包括基于知识的推理方法和数据驱动的学习算法的集成机器人系统中，提供这样的透明度是特别具有挑战性的。为了应对这一挑战，我们的架构结合了非单调逻辑推理、深度学习和决策树归纳的互补优势。在推理和学习过程中，该架构使机器人能够提供其决策，信念和假设行动结果的按需关系描述。这些能力的基础和评估的上下文中的场景理解任务和规划任务，使用模拟图像和图像从物理机器人操纵桌面对象。
2020-10-20 cs.AI cs.RO
Efficient Real-World Online Reinforcement Learning for Robot Manipulation via Centralized Training and Critic Decomposition
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genova（热那亚大学）；TU Delft（代尔夫特理工大学）
本文针对真实世界机器人操作在线强化学习的局限，提出结合CTDE与HRA的框架，在多任务实验中大幅提升了样本效率与任务成功率。
2026-08-11 cs.RO
LoHoRavens: A Long-Horizon Language-Conditioned Benchmark for Robotic Tabletop Manipulation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；TUM（慕尼黑工业大学）
本工作发布了面向机器人桌面操作的长时序语言条件仿真基准LoHoRavens，并研究了字幕生成与可学习接口两种模态桥接基线方法，以评估并推动当前大模型在长时序操作任务上的发展。
2023-10-23 cs.CL cs.CV cs.RO
RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation
E-surfing Digital Life Technology Co., Ltd., China Telecom（中国电信翼数字生活科技有限公司）
RoboCousin是一个基于仿真的数据生成平台，将用户观察转化为资产、场景和专家轨迹，生成超过一百万条双臂操作轨迹，提升仿真到现实的迁移能力。
2026-10-14 cs.AI cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute（阿兰·图灵研究所）
机器人控制任务通常首先在仿真中运行，用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务，但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言，用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面，我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性，用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
CLARA: Classifying and Disambiguating User Commands for Reliable Interactive Robotic Agents
Korea University（高丽大学）；Yonsei University（延世大学）；Google Research（谷歌研究院）
本文提出CLARA方法，利用LLM不确定性估计分类用户命令为清晰、模糊或不可行，并通过零样本情境感知区分模糊与不可行命令，对模糊命令生成问题与用户交互消歧，从而提升交互式机器人可靠性，并在桌面模拟和真实交接实验中验证。
2024-06-26 cs.AI cs.RO
