Research Challenges and Progress in Robotic Grasping and Manipulation Competitions
University of South Florida（南佛罗里达大学）；National Institute of Standards and Technology (NIST)（美国国家标准与技术研究院）；German Aerospace Center (DLR)（德国航空航天中心）；Worcester Polytechnic Institute (WPI)（伍斯特理工学院）
本文结合最新的机器人抓取与操作竞赛（RGMCs）讨论了机器人抓取与操作的研究进展。我们首先提供了一个概述过去的基准和竞争有关的机器人操作领域。然后，我们讨论了在RGMC中设计操作任务的方法。我们对每项任务的关键挑战进行了详细分析，并根据竞争团队近年来的表现确定了最困难的方面。我们相信，这样的分析是有见地的，以确定未来的研究方向的机器人操作域。
2021-12-09 cs.AI cs.RO
An Attention Transfer Model for Human-Assisted Failure Avoidance in Robot Manipulations
Kent State University（肯特州立大学）
由于现实世界的动态性和硬件的不确定性，机器人不可避免地会在任务执行中失败，导致不期望的甚至危险的执行。为了避免故障并提高机器人性能，在早期阶段识别和纠正异常机器人执行至关重要。然而，由于有限的推理能力和知识存储，它是具有挑战性的机器人自我诊断和纠正自己的异常在规划和执行。为了提高机器人的自诊断能力，提出了一种新的人-机器人注意转移（\textit{\textbf{H2R-AT}}）方法，利用人的指令识别机器人的操作错误。\textit{\textbf{H2R-AT}}是将注意力映射机制融合到一种新的层叠式神经网络模型中，将人类的言语注意力转化为机器人的视觉注意力。通过注意力转移，机器人理解\textit{what}和\textit{where}人类关注的是识别和纠正异常操作。两个代表性的任务场景：“在厨房里为一个人供水”和"在工厂里拿起一个有缺陷的齿轮”被设计在一个具有异常机器人操作的模拟框架CRAIhri中; $252$志愿者被招募来提供大约12000个口头提醒来学习和测试\textit{\textbf{H2R-AT}}。通过$73.68\%$在转移注意力方面的高准确性和$66.86\%$在避免抓取失败方面的高准确性验证了该方法的有效性。
2021-06-29 cs.AI cs.HC cs.RO
Deep Imitation Learning for Bimanual Robotic Manipulation
Northeastern University（东北大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个深度的模仿学习框架，机器人双手操作在一个连续的状态-动作空间。一个核心挑战是将操作技能推广到不同位置的对象。我们假设，在环境中的关系信息建模可以显着提高泛化。为了实现这一点，我们建议（i）分解的多模态动力学元素的运动原语，（ii）参数化每个原语使用一个经常性的图神经网络捕捉相互作用，和（iii）集成一个高层次的计划，组成原语顺序和低层次的控制器，结合原始动力学和逆运动学控制。我们的模型是一个深层次的，模块化的架构。与基线相比，我们的模型更好地推广，并在几个模拟双手机器人操作任务上实现了更高的成功率。我们在https://github.com/Rose-STL-Lab/HDR-IL上开源了模拟、数据和模型的代码。
2020-11-30 cs.AI cs.LG cs.RO
Learning by Watching: A Review of Video-based Learning Approaches for Robot Manipulation
Computer Science Department, Oklahoma State University, Stillwater, Oklahoma, USA（俄克拉荷马州立大学计算机科学系）
本文综述机器人通过被动观看大规模网络视频学习操作技能的方法，梳理相关基础、技术、基准与优势，并指出开放挑战和未来方向。
2025-10-20 cs.AI cs.CV cs.LG
Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration
Nagoya University（名古屋大学）；The University of Tokyo（东京大学）；National Center for Geriatrics and Gerontology（国立长寿医疗研究中心）
本文提出结合GPT-4高层指令分解、YOLO视觉感知及遥操作与DMP的人机协作方法，使基于LLM的机器人能够通过人类指导高效完成复杂操作任务。
2024-07-01 cs.AI cs.HC cs.RO
R3M: A Universal Visual Representation for Robot Manipulation
Stanford University（斯坦福大学）；Meta AI
我们研究了在不同的人类视频数据上预训练的视觉表示如何能够实现下游机器人操作任务的数据高效学习。具体地说，我们使用Ego4D人类视频数据集使用时间对比学习，视频语言对齐和L1惩罚的组合来预训练视觉表示，以鼓励稀疏和紧凑的表示。所得到的表示，R3M，可以被用作下游策略学习的冻结感知模块。在一套12个模拟机器人操作任务中，我们发现，与从头开始训练相比，R3M将任务成功率提高了20%以上，与CLIP和MoCo等最先进的视觉表示相比，提高了10%以上。此外，R3M还能让Franka Panda的手臂在一个真实的、杂乱的公寓里学习一系列操作任务，只需20次演示。代码和预训练模型可在https://tinyurl.com/robotr3m上获得。
2022-11-18 cs.AI cs.CV cs.LG
Benchmarking Robot Manipulation with the Rubik's Cube
University of Washington（华盛顿大学）
机器人操作的基准对于衡量该领域的进展至关重要，但很少有基准能够证明关键的操作技能，拥有标准化的指标，并且可以通过各种机器人平台进行尝试。为了解决缺乏这样的基准测试，我们提出了魔方操作作为一个基准来衡量精确操作和顺序操作的同时表现。魔方的子结构要求精确定位机器人的末端执行器，而其高度可重构的性质，使任务，需要机器人管理整个长序列的动作姿势的不确定性。我们提出了一个协议，用于定量测量魔方操作的准确性和速度。该协议可以由任何通用操纵器尝试，并且仅需要标准的3x3魔方和魔方最初搁置在其上的平坦表面（例如桌子）。我们证明了这个协议的两个不同的基线方法的PR2机器人。第一个基线为基于姿势的魔方操作提供了基本方法。第二个基准演示了该基准对系统性能改进进行量化的能力，特别是由于集成了触摸前传感。为了证明基准的适用性，其他机器人平台和算法的方法，我们提出了所需的功能块，使HERB机器人操纵魔方通过推抓。
2022-02-14 cs.AI cs.RO
ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots
School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）；National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
提出将机器人操作任务形式化为接触合成的基础模型，通过输入物体和机器人的点云及物理属性等，输出接触点和接触力，在多维度物体的仿真和真实实验中达到约90%成功率。
2024-09-25 cs.AI cs.RO
Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；University of Maryland, College Park（马里兰大学帕克分校）；Tsinghua University（清华大学）
针对人类视频预训练机器人视觉表示存在分布偏移、缺动力学信息的问题，提出融合视觉与动作等动力学信息的MCR框架，在仿真和真实机器人操作任务上均显著提升性能。
2024-10-30 cs.AI cs.CV cs.RO
Cross-Embodiment Causal Transfer from Human Videos to Robot Manipulation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Meituan（美团）
该研究针对机器人操作数据收集成本高的问题，提出CBST方法，通过因果束约束从人类视频中迁移操作知识，使机器人无需动作对应即可生成动作，提升了基准任务的成功率。
2026-10-16 cs.AI cs.RO
Memory-based gaze prediction in deep imitation learning for robot manipulation
The University of Tokyo（东京大学）
深度模仿学习是一种很有前途的方法，在自主机器人操作中不需要硬编码的控制规则。目前深度模仿学习在机器人操作中的应用仅限于基于当前时间步状态的反应式控制。然而，未来的机器人也将被要求利用它们在复杂环境中的经验获得的记忆来解决任务（例如，当要求机器人在架子上找到先前使用过的物体时）。在这种情况下，简单的深度模仿学习可能会因为复杂环境造成的分心而失败。我们建议，从顺序的视觉输入的凝视预测，使机器人能够执行需要记忆的操作任务。该算法采用基于Transformer的自注意结构，对基于序列数据的视线估计进行记忆。所提出的方法进行了评估与一个真正的机器人多对象操作任务，需要以前的状态记忆。
2022-02-10 cs.AI cs.CV cs.RO
Multi-task real-robot data with gaze attention for dual-arm fine manipulation
The University of Tokyo（东京大学）
本文提出包含双臂精细操作任务的多任务真实机器人数据集，结合视觉注意力与双动作标签，并应用于DAA模型，在超7k次真实试验中验证了其精细操作能力。
2024-03-19 cs.AI cs.RO
Surfer: Progressive Reasoning with World Models for Robotic Manipulation
Sun Yat-sen University（中山大学）；Monash University（莫纳什大学）；Dataa Robotics（达亚机器人公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出基于世界模型的机器人操作框架 Surfer，通过解耦动作与场景并显式建模多模态信息以提升泛化能力，并构建基于 MuJoCo 的模拟器与 SeaWave 基准，在四级渐进推理任务上达到 54.74% 成功率，超越最佳基线。
2024-03-20 cs.AI cs.CV cs.LG
FOCUS: Object-Centric World Models for Robotics Manipulation
Ghent University（根特大学）
本文提出 FOCUS，一个学习对象中心世界模型的智能体，利用对象中心表示驱动的探索奖励提升机器人操作中的对象交互探索效率，并在仿真和 Franka Emika 机械臂上验证了其有效性。
2023-07-07 cs.AI cs.RO
GP3: A 3D Geometry-Aware Policy with Multi-View Images for Robotic Manipulation
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；HuPan Lab（虎鹏实验室）；Tongji University（同济大学）
本文提出GP3策略，利用多视角RGB图像和空间编码器推断三维几何表示，并结合语言指令生成连续动作，在模拟与真实机器人上均展现出优于现有方法的几何感知操作能力。
2025-09-19 cs.AI cs.RO
Affordance-based Robot Manipulation with Flow Matching
Honda Research Institute EU（本田欧洲研究院）
本文提出将参数高效提示微调用于可供性理解，并以流匹配学习机器人动作轨迹，在10个日常生活任务数据集上验证了该方法在性能、稳定性和推理速度上的优势。
2025-11-07 cs.AI cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了一个遥操作系统，使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务，如折布，锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系，动态运动缩放和重新定位的操作框架，以增加我们的遥操作系统的灵活性。我们假设，降低遥操作的进入门槛将允许更广泛地部署监督自治系统，这将反过来生成现实的数据集，释放机器学习的潜力，用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
MQA: Answering the Question via Robotic Manipulation
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
在本文中，我们提出了一种新的任务，操纵问答（MQA），其中机器人执行操作动作，以改变环境，以回答给定的问题。为了解决这个问题，提出了一个框架，包括一个QA模块和操纵模块。对于问答模块，我们采用了可视化问答任务的方法。对于操作模块，设计了一个深度Q网络（DQN）模型来生成机器人与环境交互的操作动作。我们考虑机器人在一个箱子中连续操作物体直到找到问题的答案的情况，并在仿真环境中建立了一个包含各种物体模型、场景和相应问答对的新数据集。已经进行了大量的实验，以验证所提出的框架的有效性。
2023-02-21 cs.AI cs.CV cs.RO
Amortized Object and Scene Perception for Long-term Robot Manipulation
University of Bremen（不来梅大学）
移动机器人在人类环境中进行长期的操作活动，必须感知各种各样的具有非常不同的视觉特性的对象，并需要在整个任务执行过程中可靠地跟踪这些对象。为了提高效率，机器人的感知能力需要超越当前可感知的范围，并且应该能够回答有关当前和过去场景的查询。在本文中，我们研究了一个长期的机器人操作的感知系统，跟踪不断变化的环境，并建立一个代表性的感知世界。具体来说，我们引入了一个摊销组件，在整个执行周期中传播感知任务。由此产生的查询驱动的感知系统异步集成的结果，从记录的图像到一个符号和数字（我们称之为子符号）表示，形成的感知信念状态的机器人。
2019-03-28 cs.AI cs.CV cs.RO
Perceiving, Reasoning, Adapting: A Dual-Layer Framework for VLM-Guided Precision Robotic Manipulation
本文提出一种渐进式VLM规划算法，通过任务记忆结构、2D拓扑图和3D空间网络实现空间-语义融合，使机器人能够基于实时反馈动态调整并逐步纠错，从而在复杂装配任务中实现快速、精确的精细操作。
2025-03-07 cs.AI cs.RO
SEM: Enhancing Spatial Understanding for Robust Robot Manipulation
Horizon
针对机器人操作中空间理解不足的问题，提出基于扩散的SEM框架，融合三维几何增强与本体感知编码，显著提升操作稳健性与泛化性。
2025-09-24 cs.AI cs.CV cs.RO
Grasp and Motion Planning for Dexterous Manipulation for the Real Robot Challenge
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Toyota Technological Institute（丰田技术研究院）
本报告介绍了我们在真实机器人挑战赛（https：//real-robot-challenge.com/）中的获奖作品。真正的机器人挑战赛是一个三阶段的灵巧操纵比赛，涉及使用TriFinger平台操纵各种矩形物体。我们的方法结合了运动规划与几个运动基元来操纵对象。对于阶段1和阶段2，我们还在模拟中学习了一个残差策略，该策略在控制器上应用纠正措施。我们的方法在第二阶段和第三阶段的比赛中获得了第一名。我们在比赛排行榜上被匿名称为“ardentstork”（https：//real-robot-challenge.com/leader-board）。视频和我们的代码可以在https://github.com/ripl-ttic/real-robot-challenge上找到。
2021-01-08 cs.AI cs.RO
Robotic self-representation improves manipulation skills and transfer learning
University of Hamburg（汉堡大学）
认知科学认为，自我表征对学习和解决问题至关重要。然而，缺乏将这种说法与认知上合理的机器人和强化学习联系起来的计算方法。在本文中，我们通过开发一个模型来弥合这一差距，该模型学习双向动作-效果关联，以从多感官信息中编码身体图式和近个人空间的表征，称为多模态BidAL。通过三个不同的机器人实验，我们证明，这种方法显着稳定的学习为基础的问题解决在嘈杂的条件下，它提高了机器人操作技能的迁移学习。
2020-11-13 cs.AI cs.RO
Instruction-driven history-aware policies for robotic manipulations
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；IIIT Hyderabad（海得拉巴国际信息技术学院）
在人类环境中，机器人被期望完成各种简单的自然语言指令的操作任务。然而，机器人操作极具挑战性，因为它需要细粒度的运动控制、长期记忆以及对以前看不见的任务和环境的概括。为了应对这些挑战，我们提出了一个统一的变压器为基础的方法，考虑到多个输入。特别是，我们的Transformer架构集成了（i）自然语言指令和（ii）多视图场景观察，同时（iii）跟踪观察和动作的完整历史。这样的方法使得能够学习历史和指令之间的依赖性，并且使用多个视图来提高操纵精度。我们评估我们的方法具有挑战性的RLBench基准和现实世界的机器人。值得注意的是，我们的方法可扩展到74个不同的RLBench任务，并优于最先进的。我们还解决了预防条件的任务，并表现出出色的泛化到以前看不见的变化。
2022-12-17 cs.AI cs.CL cs.CV
Efficient Sensorimotor Learning for Open-world Robot Manipulation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本论文面向开放世界机器人操作，提出以规律性为核心的高效感知运动学习方法，通过物体中心先验、空间理解和可复用技能识别，使机器人从少量示范或视频中快速学习并泛化多任务操作技能。
2025-05-07 cs.AI cs.RO
Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information
具有高数据效率的端到端学习机器人操作是机器人技术的关键挑战之一。利用人类演示数据和无监督表示学习的最新方法已被证明是提高RL学习效率的一个有前途的方向。示范数据的使用还允许使用具有模仿学习的离线数据或最近出现的离线强化学习算法来“预热”RL策略。然而，现有的工作往往把离线策略学习和在线探索作为两个独立的过程，这往往是伴随着严重的性能下降，在离线到在线的过渡。此外，许多机器人操作任务涉及复杂的子任务结构，这是非常具有挑战性的稀疏奖励RL解决。在这项工作中，我们提出了一个统一的离线到在线RL框架，解决了过渡性能下降的问题。此外，我们引入目标感知的状态信息的RL代理，这可以大大降低任务的复杂性和加速策略学习。结合先进的无监督表示学习模块，我们的框架实现了很大的训练效率和性能相比，国家的最先进的方法在多个机器人操作任务。
2021-10-21 cs.AI cs.RO
Robustness of Robotic Manipulation: Foundations and Frontiers
Duke University（杜克大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Organifarms
本文系统研究机器人操作鲁棒性，提出正式定义、概率与控制理论框架，并综述感知、规划、控制、策略学习和硬件中的鲁棒性机制及评估方法，展望实现人类级鲁棒性的未来方向。
2026-07-01 cs.AI cs.RO
Never-Ending Behavior-Cloning Agent for Robotic Manipulation
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人国家重点实验室，沈阳自动化研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Automation Science and Engineering, South China University of Technology（自动化科学与工程学院，华南理工大学）；Mohamed bin Zayed University of Artificial Intelligence（马斯达尔大学人工智能学院）
本文提出NBAgent，通过持续学习技能共享和特定属性，解决具身机器人中3D场景表示和人类水平任务学习的挑战。
2025-12-26 cs.AI cs.RO
GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation
UC San Diego（加州大学圣迭戈分校）；UC Los Angeles（加州大学洛杉矶分校）；Meta
GSWorld结合3D高斯泼溅与物理引擎，提出GSDF资产格式，构建含3种机器人和40+物体的数据库，实现零样本sim2real策略学习、DAgger数据收集、可重复基准测试等应用，推动机器人操作闭环开发。
2025-10-23 cs.AI cs.CV cs.RO
Transformer-based deep imitation learning for dual-arm robot manipulation
The University of Tokyo（东京大学）
本研究提出基于Transformer的深度模仿学习方法，利用自注意力机制减少双臂操作中高维状态带来的干扰，在真实机器人上验证了该方法能提升操作性能。
2025-05-21 cs.AI cs.RO
Supportive Actions for Manipulation in Human-Robot Coworker Teams
Georgia Institute of Technology（佐治亚理工学院）；Monash University（莫纳什大学）
机器人与人类的共存越来越多，例如在制造业中的人机团队中，这引发了人们对机器人同行的行为偏好的研究问题。我们长期的行动，支持互动，减少未来的干扰与他人的支持机器人的行动，并调查他们的效用在一个共同定位的操纵方案。我们比较了两种机器人模式在一个共享的表拾取和放置任务：（1）任务导向：机器人只采取行动，以进一步自己的任务目标和（2）支持：机器人有时更喜欢支持行动，以任务为导向的，当他们减少未来的目标冲突。我们的模拟实验，使用简化的人类模型，揭示了支持性的行动减少代理之间的干扰，特别是在更困难的任务，但也导致机器人需要更长的时间来完成任务。我们实现了这些模式的物理机器人在用户研究中，人类和机器人执行对象放置在一个共享的表。我们的研究结果表明，一个支持机器人被认为是一个更有利的同事的人，也减少了干扰与人类在更困难的两种情况。然而，它也花了更长的时间来完成任务，突出了任务效率和人类偏好之间的一个有趣的权衡，需要考虑之前设计的机器人行为的近距离操作场景。
2020-05-02 cs.AI cs.RO
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University（萨班哲大学）
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明，与一些方法，感知和规划的紧密结合提高了计划的质量，以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty
SPIRIT通过结合深度学习的不确定性估计与触觉遥控，实现安全稳健的机器人操作，提升性能与可靠性。
2026-03-05 cs.AI cs.RO
PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation
Johns Hopkins University（约翰霍普金斯大学）；ShanghaiTech University（上海科技大学）
本研究推出首个面向细粒度机器人操作的部件级指令基准PartInstruct，包含丰富标注的物体实例与任务、合成专家演示及测试套件，实验发现现有模型在部件概念落地和长时序部件操作上存在不足。
2025-06-16 cs.AI cs.RO
Learning from Imperfect Demonstrations with Self-Supervision for Robotic Manipulation
Syracuse University（苏利文大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；Peking University（北京大学）；Shanghai University（上海大学）
本文提出SSDF框架，通过自监督学习利用不完美示范数据提升机器人操作任务的性能。
2025-03-17 cs.AI cs.RO
CapsDT: Diffusion-Transformer for Capsule Robot Manipulation
Department of Electronic Engineering, The Chinese University of Hong Kong (CUHK)（电子工程系，香港中文大学（CUHK））
本研究提出CapsDT，一种扩散Transformer模型，用于胃部胶囊机器人操作，通过处理视觉和文本指令生成控制信号，在多种内窥镜任务中达到最先进性能，真实世界模拟成功率为26.25%。
2025-06-19 cs.AI cs.RO
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
Fudan University, China（复旦大学）；Shanghai Artificial Intelligence Laboratory, China（上海人工智能实验室）；Shanghai Jiao Tong University, China（上海交通大学）；The Chinese University of Hong Kong, China（香港中文大学）；The University of Hong Kong, China（香港大学）
SoMA是一种用于机器人软体操作的实-仿真神经模拟器，通过统一的潜在神经空间实现可控、稳定的长周期操作和泛化能力。
2026-07-21 cs.AI cs.CV cs.RO
ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究所）
针对机器人操作中音频数据来源受限的问题，提出ManiWAV音视频采集设备与对应策略接口，从真实场景人类演示学习操作策略，可完成多类接触任务并泛化到新环境。
2024-11-04 cs.AI cs.CV cs.RO
Analysis of Rigid Extended Object Co-Manipulation by Human Dyads: Lateral Movement Characterization
在人与机器人的协同操作中，为了实现人与机器人之间舒适、协调的运动，需要基于人的行为来设计机器人控制器。在本文中，我们描述了一个实验之间的人，人的二人组和我们记录的力和运动数据的领导者，从二人组移动的平移和旋转。然后分析力/运动数据，以确定仅在横向平移期间发现的模式。对于扩展对象，横向平移和原地旋转是模糊的，但本文确定了一种方法来表征横向平移触发器，以供将来在人机交互中使用。本研究有四个主要结果。首先，相互作用力是明显的，是共同操纵的必要条件。第二，最小加加速度轨迹被发现在横向方向上仅用于横向运动。第三，横向运动的开始是由领导者独特的力量触发的。最后，有不同的指标，可以归因于确定哪些对移动最有效的横向方向。
2017-02-02 cs.RO
Towards Operationalizing Social Bonding in Human-Robot Dyads
University of Gothenburg（哥德堡大学）
本文提出用生物行为指标（如压力降低、空间距离缩小、行为同步）操作化人机社会纽带，替代主观心理测量，以促进长期人机协作关系的研究。
2023-10-17 cs.HC cs.RO
Delay-Compensated Stiffness Estimation for Robot-Mediated Dyadic Interaction
Robotics Research Centre, School of Mechanical and Aerospace Engineering, Nanyang Technological University（机器人研究中心，机械与航空航天工程学院，南洋理工大学）；Articares Pte. Ltd.（Articares私人有限公司）
本文提出一种延迟补偿的刚度估计方法，通过代数估计器和归一化加权最小二乘算法，提升远程双人交互中刚度估计的准确性。
2026-01-25 cs.HC cs.RO cs.SY
Stability Boundaries and Motor Performance in Delayed Robot-Mediated Dyadic Interactions
Robotics Research Centre, School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空工程学院机器人研究中心）；Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg（纽伦堡工业大学计算机科学与人工智能系）
本文通过频率域零穿越方法建立了考虑网络诱导时延的机器人介导双人交互系统的稳定性边界，分析了交互刚度对系统稳定性的影响，并通过实验验证了理论稳定性边界与实际运动表现的相关性。
2026-06-29 cs.RO cs.SY eess.SY
Towards Emotion Co-regulation with LLM-powered Socially Assistive Robots: Integrating LLM Prompts and Robotic Behaviors to Support Parent-Neurodivergent Child Dyads
Department of Industrial Design, Eindhoven University of Technology（工业设计系，埃因霍温理工大学）；Department of Biomedical Engineering, Eindhoven University of Technology（生物医学工程系，埃因霍温理工大学）；Department of Engineering, Institute of Science Tokyo（工程系，东京科学研究所）；Department of Engineering, Utrecht University（工程系，乌得勒支大学）
本研究开发了由 LLM 驱动的社交辅助机器人 MiRo-E，整合 LLM 提示与机器人行为，为神经多样性儿童与父母提供情绪协同调节干预，初步测试验证了其积极效果并指出了未来设计方向。
2025-07-14 cs.HC cs.RO
The role of haptic communication in dyadic collaborative object manipulation tasks
Technical University of Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）；University of Bayreuth（拜罗伊特大学）
直观和有效的物理人机协作依赖于人类和机器人的相互可观察性，即两个实体能够解释彼此的意图和动作。这可以通过无数涉及人类感知或意图解码的方法，以及人类-机器人轮流和顺序任务规划来弥补。然而，物理交互通常通过力、扭矩和触觉建立了丰富的通信渠道，这在人机交互的工业实现中经常被忽视。在这项工作中，我们研究了触觉在人类协作物理任务中的作用，以确定如何在人机团队中集成物理通信。我们提出了一个任务，以平衡球在一个目标位置上的董事会上，无论是由一个参与者bimanually，或dyadically由两个参与者，有和没有触觉信息。该任务要求双方实时相互协调，以使球在目标处保持平衡。我们发现，随着训练的完成时间和球的速度峰值的数量减少，参与者逐渐成为一致的刹车策略。此外，我们发现，触觉信息的存在提高了性能（减少完成时间），并导致整体合作运动的增加。总的来说，我们的研究结果表明，人类可以更好地相互协调时，触觉反馈。这些结果也突出了可能的重要性，触觉通信在人与机器人的物理交互，无论是作为一种工具来推断人类的意图，使机器人的行为解释给人类。
2022-03-02 cs.AI cs.HC cs.RO
A Procedure for Classifying Attachments and Affective Social Bonds in Human-Robot Dyads
University of Warwick（华威大学）
本文提出基于发展学、行为生态学和神经内分泌学标准的四问题程序，用于标准化分类人机纽带为依恋、情感社会联结或无关系，并演示其应用以揭示现有研究证据不足，呼吁采用统一分类标准。
2026-09-25 cs.HC cs.RO
Loco-Manipulation with Nonimpulsive Contact-Implicit Planning in a Slithering Robot
Northeastern University（东北大学）；California Institute of Technology（加州理工学院）
本研究针对蛇形机器人的运动-操作一体化需求，提出基于非脉冲隐式接触路径规划的优化方法，构建数学框架并通过仿真与实验验证了该方法的有效性。
2024-04-12 cs.RO cs.SY eess.SY
Scaling Robot Supervision to Hundreds of Hours with RoboTurk: Robotic Manipulation Dataset through Human Reasoning and Dexterity
Stanford University（斯坦福大学）；Nvidia（英伟达）；University of Toronto（多伦多大学）
大型、注释丰富的数据集加速了计算机视觉和自然语言处理等领域的进步，但在机器人领域复制这些成功一直是一个挑战。虽然诸如自我监督的现有数据汇集方法已经导致了大的数据集，但是数据可能具有差的信噪比。相比之下，以前收集人类任务演示的努力提供了更高质量的数据，但它们无法达到相同的数据量。此外，这两种方法都不能保证所收集的数据在解决方案战略方面的多样性。在这项工作中，我们利用和扩展的RoboTurk平台，以扩大数据汇集的机器人操作使用远程遥控。我们平台的主要动机有两个方面：（1）解决先前工作的缺点，并在不牺牲数据质量的情况下，将通过人工监督收集的操作数据总量增加一个数量级;（2）收集多个操作员之间具有挑战性的操作任务的数据，并观察各种紧急行为和解决方案。我们在1周内收集了54名用户超过111小时的机器人操作数据和3项具有挑战性的操作任务，从而形成了通过远程遥控操作收集的最大机器人数据集。我们通过定量和定性分析来评估平台的质量、数据集中演示的多样性以及数据集的实用性。有关其他结果、补充视频以及下载我们的数据集，请访问www.example.com。
2019-11-11 cs.HC cs.LG cs.RO
Joint Decision-Making in Robot Teleoperation: When are Two Heads Better Than One?
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）；Yardi School of Artificial Intelligence（亚迪人工智能学院）；Indian Institute of Technology Delhi（德里印度理工学院）；University of Waterloo（滑铁卢大学）；University College London（伦敦大学学院）
该研究针对机器人遥操作动态任务中单操作员决策不确定性难题，通过100人仿真实验验证置信度共享的联合决策可提升二人组表现，且收益受个体技能与置信度校准度调节，首次证明主动控制时空任务中“两个头脑更优”。
2025-01-28 cs.HC cs.RO
A Survey of Multi-Agent Human-Robot Interaction Systems
University of Waterloo（滑铁卢大学）
本文介绍了人机交互（HRI）领域的文献综述，特别是包含两个以上代理的系统（即，具有多个人和/或多个机器人）。我们确定了三个核心方面的“多代理”HRI系统是有用的，了解这些系统如何不同的二元系统和彼此。这些是团队结构，代理之间的交互方式，以及系统的计算特性。在这些核心方面，我们提出了五个属性的HRI系统，即团队规模，团队组成，交互模式，通信方式，和机器人控制。这些属性用于表征和区分一个系统与另一个系统。我们填充产生的类别与最近的文献中的例子，以及他们的应用程序的简要讨论，并分析这些属性如何不同的情况下，二元人类-机器人系统。我们总结了当前文献中的主要观察结果，并确定了这一领域未来研究的挑战和有前途的领域。为了实现机器人成为社会的一部分并与人类无缝交互的愿景，需要扩展对多人-多机器人系统的研究。这些系统不仅需要几个代理之间的协调，它们还涉及多代理和间接的互动，这是缺乏二元HRI系统。在HRI系统中添加多个代理需要先进的交互方案，行为理解和控制方法，以允许人类和机器人之间的自然交互。此外，在人机混合团队中对人类行为理解的研究也需要更多的关注。这将有助于制定和实施有效的机器人控制策略，在HRI系统中有大量的异构机器人和人类;团队组成反映了许多现实世界的场景。
2022-12-10 cs.RO
A Review on Robot Manipulation Methods in Human-Robot Interactions
Institute of Intelligent Systems Research and Innovation (IISRI), Deakin University（迪肯大学智能系统研究与创新研究所）；Harvard Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学哈佛保尔森工程与应用科学学院）
本文综述了人机交互中机器人操作算法的近期自主与自适应学习方法，重点比较了Reinforcement Learning和Imitation Learning的主要特征与流行算法及其在复杂环境中的应用。
2023-09-09 cs.HC cs.RO
Towards hybrid primary intersubjectivity: a neural robotics library for human science
Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
人机交互正在成为认知科学的一个有趣的研究领域，特别是对于社会认知的研究。互动理论家认为，初级主体间性是一种非精神主义的、前理论的、非概念性的过程，它为某种程度的沟通和理解奠定了基础，并为更高层次的认知技能提供了支持。我们认为，这种低层次的认知互动，控制是共享的二元遭遇，是容易与神经机器人的研究。因此，在这项工作中，我们追求三个主要目标。首先，从主动推理的概念出发，我们研究了初级主体间性作为一种第二人称视角的经验，其特征是预测性参与，其中感知，认知和行动在二元互动中被解释为一个解释学循环。其次，我们提出了一个开放源码的方法命名为\textit{neural robotics library}（NRL）的实验人机交互，并在实时与虚拟笛卡尔机器人（VCBot）进行交互的演示程序。最后，通过一个研究案例，我们讨论了人-机器人（混合）主体间性可以为人类科学研究做出贡献的一些方式，例如发展心理学，教育技术和认知康复领域。
2020-06-29 cs.HC cs.NE cs.RO
Multi-contact MPC for Dynamic Loco-manipulation on Humanoid Robots
University of Southern California（南加州大学）
提出了一种基于多接触模型预测控制（MPC）框架的人形机器人多接触动态轨迹操作控制方法。拟议的框架包括一个多接触动力学模型，能够捕获本地操作中的各种接触模式，例如手与物体接触和脚与地面接触。我们提出的动力学模型表示的对象动态作为一个外力作用在系统上，这简化了模型，使其可行的MPC问题的解决。在数值验证中，我们的多接触MPC框架只需要每个任务的接触时间和所需的状态，让MPC的知识的变化接触模式的预测视野中的本地操作。所提出的框架可以控制人形机器人完成多任务的动态本地操作应用，如有效地拿起和放下物体，同时转向和行走。
2023-03-21 cs.RO cs.SY eess.SY
Vision Based Adaptation to Kernelized Synergies for Human Inspired Robotic Manipulation
Istituto Italiano di Tecnologia（意大利理工学院）；University of Naples Federico II（那不勒斯费德里科二世大学）
与机器人相比，人类由于其非凡的灵巧性和感觉运动组织而在执行精细操作任务方面表现出色。使机器人获得这样的能力，需要一个框架，不仅复制人类的行为，但也集成了自主对象交互的多感官信息。为了解决这些局限性，本研究提出了增强先前开发的内核化协同框架与视觉感知，以自动适应未知的对象。内核化的协同作用，灵感来自人类，保留了相同的减少子空间的对象抓取和操纵。为了检测场景中的对象，使用简化的感知管道，该管道利用具有欧几里德聚类的RANSAC算法和SVM分别用于对象分割和识别。此外，与其他国家的最先进的方法的内核化的协同作用进行了比较分析，以确认其灵活性和有效性的机器人操作任务。在机器人手上进行的实验证实了改进的核化协同框架对与感知环境有关的不确定性的鲁棒性。
2020-12-13 cs.RO cs.SY eess.SY
H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation
针对机器人操作模仿学习的高质量演示数据稀缺问题，本文提出H-RDT框架，通过两阶段训练利用人类操作数据增强双臂机器人操作能力，在仿真和真实实验中均优于现有方法。
2025-08-01 cs.CV cs.LG cs.RO
