我们提出Human to Humanoid（H2O，人到人形机器人）框架，这是一种基于强化学习（RL）的框架，仅用一台RGB相机即可实现全尺寸人形机器人的实时全身遥操作。为了构建面向人形机器人的大规模人类动作重定向运动数据集，我们提出了一种可扩展的“sim-to-data（仿真到数据）”流程，借助特权运动模仿器对可行运动进行筛选与挑选。随后，我们利用这些经过优化的运动数据在仿真环境中训练出鲁棒的实时人形机器人运动模仿器，并以零样本方式将其迁移到真实人形机器人上。我们在真实场景中成功实现了动态全身动作的遥操作，涵盖行走、后跳、踢腿、转身、挥手、推搡、拳击等动作。据我们所知，这是首个实现基于学习的实时全身人形机器人遥操作的演示成果。
英文摘要：
We present Human to Humanoid (H2O), a reinforcement learning (RL) based framework that enables real-time whole-body teleoperation of a full-sized humanoid robot with only an RGB camera. To create a large-scale retargeted motion dataset of human movements for humanoid robots, we propose a scalable "sim-to-data" process to filter and pick feasible motions using a privileged motion imitator. Afterwards, we train a robust real-time humanoid motion imitator in simulation using these refined motions and transfer it to the real humanoid robot in a zero-shot manner. We successfully achieve teleoperation of dynamic whole-body motions in real-world scenarios, including walking, back jumping, kicking, turning, waving, pushing, boxing, etc. To the best of our knowledge, this is the first demonstration to achieve learning-based real-time whole-body humanoid teleoperation.
Domain-Adaptive Communication-Rate Optimization for Sim-to-Real Humanoid-Robot Wireless XR Teleoperation
Cooperative Medianet Innovation Center（协作中位网创新中心）；School of Information Science and Electronic Engineering（信息科学与电子工程学院）；Shanghai Jiao Tong University（上海交通大学）
CoHuB: A Simulation Benchmark for Multi-Humanoid Collaboration
Yonsei University（延世大学）；Gwangju Institute of Science and Technology（光州科学技术院）；University of California, Berkeley（加州大学伯克利分校）；Seoul National University（首尔大学）
On the Emergence of Whole-body Strategies from Humanoid Robot Push-recovery Learning
Istituto Italiano di Tecnologia（意大利理工学院）；University of Manchester（曼彻斯特大学）；Massachusetts Institute of Technology（麻省理工学院）；Sapienza Università di Roma（罗马第一大学）；Università degli Studi di Genova（热那亚大学）
One-shot Adaptation of Humanoid Whole-body Motion with Walking Priors
Embodied AI and Robotics (AIR) Lab, NYUAD（纽约大学阿布扎比分校具身人工智能与机器人实验室）；NYUAD Center for Artificial Intelligence and Robotics (CAIR)（纽约大学阿布扎比分校人工智能与机器人中心）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Harvard Ophthalmology AI Lab, Harvard University（哈佛大学眼科人工智能实验室）
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Beijing University of Technology（北京工业大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；JD Explore Academy（京东探索研究院）
Istituto Italiano di Tecnologia（意大利理工学院）；Florida Institute for Human and Machine Cognition（佛罗里达人机认知研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）；Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Tokyo University of Science（东京理科大学）
Unsupervised Neural Motion Retargeting for Humanoid Teleoperation
Graduate School of Informatics, Kyoto University（京都大学 informatics 研究生院）；Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人 产业技术综合研究所 人工智能研究中心）；Advanced Telecommunications Research Institute International (ATR)（国际电气通信基础技术研究所）；Graduate School of Science Technology, Nara Institute of Science and Technology（奈良科学技术研究所 研究生院）
基于云的先进机器人实验室（CARL）集成了全身控制器和基于Web的远程操作，使任何具有Web浏览器的设备都可以访问和控制人形机器人。通过将人形机器人与云集成，可以从任何连接互联网的设备访问它们。增加可访问性很重要，因为很少有人能够访问最先进的人形机器人，限制了它们的发展速度。CARL的实现基于现代软件库、框架和中间件，包括Node.js、Socket.IO、ZMQ、ROS、Robot Web Tools和ControlIt！可行性证明，有经验的人类操作员使用智能手机的网络浏览器来控制梦想家，一个扭矩控制的人形机器人的基础上系列弹性执行器，并使其执行双臂操作任务。该实现可作为许多先进的人形机器人技术的研究和开发的概念验证和基础。
Effective Virtual Reality Teleoperation of an Upper-body Humanoid with Modified Task Jacobians and Relaxed Barrier Functions for Self-Collision Avoidance
CLONE: Closed-Loop Whole-Body Humanoid Teleoperation for Long-Horizon Tasks
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）；School of Psychological and Cognitive Sciences, Peking University（北京大学心理与认知科学学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Yuanpei College, Peking University（北京大学元培学院）；Beijing Key Laboratory of Behavior and Mental Health, Peking University（北京行为与心理健康重点实验室，北京大学）；Joint Laboratory of Embodied AI and Humanoid Robots, BIGAI & UniTree Robotics（BIGAI与UniTree Robotics联合实验室）；Embodied Intelligence Lab, PKU-Wuhan Institute for Artificial Intelligence（embodied intelligence实验室，PKU-Wuhan人工智能研究院）
TeleGate: Whole-Body Humanoid Teleoperation via Gated Expert Selection with Motion Prior
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；AnyWit Robotics Co., Ltd., Shushan District, Hefei, Anhui, China（安徽合肥蜀山 district AnyWit 机器人有限公司）
