Impact of Object Weight in Handovers: Inspiring Robotic Grip Release and Motion from Human Handovers
KTH Royal Institute of Technology(瑞典皇家理工学院)
本研究通过分析交接中物体重量对人类运动和抓取释放的影响,提出了受人类启发的自适应机器人抓取释放与运动策略,并构建了相关数据集,显著提升了机器人与人类交接的自然性、效率和用户感知。
2025-03-04 cs.HC cs.RO
Learning human-to-robot handovers through 3D scene reconstruction
Centre for Intelligent Sensing, Queen Mary University of London(智能感知中心,伦敦女王玛丽大学);Idiap Research Institute and École Polytechnique Fédérale de Lausanne(Idiap研究机构和瑞士洛桑联邦理工学院)
提出H2RH-SGS方法,通过稀疏视角Gaussian Splatting重建人机交接场景生成机器人演示,实现仅从RGB图像学习策略并直接部署于真实环境,无需真实机器人训练。
2025-07-11 cs.CV cs.RO
Model Predictive Control for Fluid Human-to-Robot Handovers
NVIDIA(英伟达);University of Washington(华盛顿大学)
人机切换是人机交互与协作中的一项基本而又具有挑战性的任务。最近,显着的进展已经取得了在人对机器人的未知物体的抓取,通过使用基于学习的把握发生器。然而,如何响应地生成平滑的运动来从人身上获取对象仍然是一个悬而未决的问题。具体地说,规划运动,考虑到人类的舒适度是不是在大多数现有的工作中的人-机器人移交过程的一部分。在本文中,我们建议通过一个有效的模型预测控制(MPC)框架,集成了感知和复杂的特定领域的约束优化问题,以产生平滑的运动。我们引入了一个基于学习的把握可达性模型来选择候选把握,最大限度地提高机器人的可操作性,让它更自由地满足这些约束。最后,我们集成了一个神经网络力/扭矩分类器,从噪声数据中检测接触事件。我们进行了人与机器人的交接实验上的一组不同的对象与几个用户(N=4),并进行了系统的评估,每个模块。研究表明,用户更喜欢我们的MPC方法比基线系统的大幅度。更多结果和视频可在https://sites.google.com/nvidia.com/mpc-for-handover上获得。
2022-03-31 cs.CV cs.RO
Intent-Handover: Grounding Language in Human-Usage Regions for Trustworthy Robot-to-Human Handovers
DANiLab, University of Leicester(莱斯特大学DANiLab);University of Leicester(莱斯特大学);School of Computing and Mathematical Sciences, University of Leicester(莱斯特大学计算与数学科学学院);School of Metallurgy and Materials, University of Birmingham(伯明翰大学冶金与材料学院)
提出Intent-Handover方法,通过视觉语言模型识别目标物体和人类使用区域,结合抓取优化和人体姿态跟踪,实现安全、可信的机器人到人物体交接。
2026-06-23 cs.LG cs.RO
A Multimodal Data Set of Human Handovers with Design Implications for Human-Robot Handovers
KTH Royal Institute of Technology(瑞典皇家理工学院)
本研究通过26名参与者的实验创建了一个包含8672次交接的多模态数据集,分析了物体重量和视觉输入对人类交接的影响,并基于此开发了数据驱动的机器人抓握释放策略,提升了人机交接效果。
2023-04-04 cs.RO
3HANDS Dataset: Learning from Humans for Generating Naturalistic Handovers with Supernumerary Robotic Limbs
Saarland University(萨尔大学);ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
提出3HANDS数据集,通过记录人类日常活动中的递接交互,训练生成模型以产生更自然、低耗力且舒适的超冗余机械臂递接动作。
2025-03-06 cs.CV cs.HC cs.RO
Reactive Human-to-Robot Handovers of Arbitrary Objects
NVIDIA(英伟达);University of Washington(华盛顿大学)
在过去的十年中,人机对象交接一直是机器人技术的一个积极研究领域;然而,很少有技术和系统能够解决交接具有任意外观、大小、形状和刚度的各种对象的挑战。在本文中,我们提出了一个基于视觉的系统,使反应的人对机器人的未知物体的探测器。我们的方法结合了闭环运动规划与实时,时间一致的把握生成,以确保反应性和运动平滑。我们的系统对不同的物体位置和方向是鲁棒的,并且可以抓住刚性和非刚性物体。我们证明了我们的方法的通用性,可用性和鲁棒性的一个新的基准集的26个不同的家庭对象,一个用户研究与天真的用户(N=6)移交一个子集的15个对象,和系统的评估检查不同的方式处理对象。更多的结果和视频可以在https://sites.google.com/nvidia.com/handovers-of-arbitrary-objects上找到。
2021-06-03 cs.CV cs.RO
On-The-Go Robot-to-Human Handovers with a Mobile Manipulator
Monash University(莫纳什大学)
现有的方法来直接机器人到人的交接通常是在固定基座的机器人手臂上实现的,或者是在执行交接之前完全停止的移动操纵器上实现的。我们提出了“在去”的机器人,允许移动的移动机械手移交对象给一个人没有停止。在移动中的移交运动是由一个反应控制器产生的,该控制器允许同时控制底座和手臂。在一项用户研究中,人类接收者主观地评估移动中的移交者比实施“停止并交付”行为的移交者更有效、可预测、自然、更及时和更安全。
2022-03-16 cs.RO
Toward Human-Robot Teaming: Learning Handover Behaviors from 3D Scenes
Centre for Intelligent Sensing, Queen Mary University of London(智能感知中心,伦敦女王玛丽大学);Idiap Research Institute and École Polytechnique Fédérale de Lausanne(IDiap研究机构和日内瓦联邦理工学院)
提出一种仅从RGB图像学习人向机器人交接策略的方法,利用稀疏视图Gaussian Splatting重建场景生成机器人演示,无需真实机器人训练,实现了稳定抓取和防碰撞,促进更无缝鲁棒的人机协作。
2025-08-13 cs.CV cs.HC cs.RO
Kinematically Constrained Human-like Bimanual Robot-to-Human Handovers
Technische Universität Darmstadt(达姆施塔特工业大学);German Research Center for AI(德国人工智能研究中心);Hessian Center for AI(黑森州人工智能中心)
本文提出基于隐半马尔可夫模型和任务空间约束生成运动学受限的类人双臂机器人交接动作,实验显示其比逆运动学基线更自然。
2024-02-22 cs.HC cs.LG cs.RO
An Experimental Validation and Comparison of Reaching Motion Models for Unconstrained Handovers: Towards Generating Humanlike Motions for Human-Robot Handovers
Monash University(莫纳什大学);University of British Columbia(不列颠哥伦比亚大学)
最小Jerk运动模型在文献中长期被引用用于单人任务中的人类点对点到达运动。虽然已经证明,在人类-机器人递送者的联合动作任务中将最小加加速度样轨迹应用于机器人到达运动允许机器人递送者被感知为更仔细、安全和熟练,但尚未验证人类在递送者中的到达运动是否遵循最小加加速度模型。为了在实验上测试和验证人体在无约束的机器人中的运动模型,我们检查了人体在无约束的机器人中的运动(允许人移动整个身体),并与1)最小Jerk模型,2)其变体,解耦最小Jerk模型和3)最近提出的椭圆(圆锥)模型进行了拟合。结果表明,圆锥模型最适合无约束的人类切换到达运动。此外,我们还发现,与被发现是椭圆形的受约束的单人到达运动不同,椭圆和双曲圆锥类型之间存在分裂。我们希望我们的研究结果将有助于指导人类机器人交接任务中更人性化的运动的产生。
2021-08-29 cs.RO
Compliant Blind Handover Control for Human-Robot Collaboration
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学)
针对人机协作中操作者背对机器人的盲交接场景,提出自主交接架构,解决递送安全与物品释放时机问题,推动人机协作协议发展与高效协作。
2024-09-11 cs.RO
Robot to Human Object Handover using Vision and Joint Torque Sensor Modalities
Simon Fraser University(西蒙弗雷泽大学);University of Regina(里贾纳大学)
我们提出了一个机器人到人的对象切换算法,并实现了一个7自由度的手臂配备了3指机械手。该系统执行一个完全自主和鲁棒的对象切换到人类接收器实时。我们的算法依赖于两种互补的传感器模式:手臂上的关节扭矩传感器和用于传感器反馈的手持RGB-D相机。我们的方法是完全隐含的,即,在机器人和人类接收器之间没有明确的通信。通过上述传感器模态获得的信息被用作其相关深度神经网络的输入。当扭矩传感器网络检测到人类接收者的“意图”时,例如:拉,拿,或撞,视觉传感器网络检测接收者的手指是否缠绕在物体上。然后融合网络的输出,基于此决定是否释放对象。尽管在传感器反馈同步,对象和人手检测的实质性挑战,我们的系统实现了强大的机器人到人的交接,在我们初步的真实实验中,使用人类接收器的98%的准确性。
2022-10-27 cs.CV cs.RO
Collaborative Object Handover in a Robot Crafting Assistant
CSIRO Robotics(澳大利亚CSIRO机器人研究所);Monash University(墨尔本大学);Deakin University(德金大学)
本文提出了一种基于人类遥控数据训练的协作传递模型,通过交叉验证和用户研究验证了其在机器人与人类协作中的有效性,并指出了进一步改进的方向。
2025-12-19 cs.RO
Visualizing Robot Intent for Object Handovers with Augmented Reality
Monash University(莫纳什大学)
人类非常善于传达他们的意图,以确定何时何地会发生移交。然而,即使是最先进的机器人实现的机器人,通常也缺乏这种沟通技巧。本研究探讨使用增强现实的机器人的内部状态和意图的可视化人与机器人的交接。具体而言,我们探索使用可视化的3D模型的对象和机器人抓手,以传达机器人的估计,在那里的对象和姿势,机器人打算抓住对象。我们通过一项有16名参与者的用户研究来测试这个设计,其中每个参与者将一个立方体形状的物体交给机器人12次。结果表明,通过增强现实传达机器人意图大大提高了用户对机器人的感知体验。结果还表明,增强现实的有效性更加明显的感知安全和流畅的互动时,机器人在定位对象的错误。
2022-07-06 cs.RO
Preemptive Motion Planning for Human-to-Robot Indirect Placement Handovers
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一种利用注视和手势实时预测人类放置意图并抢占式规划运动的预测-规划流水线,以减少人机间接交接中的机器人空闲时间,并通过案例研究验证其性能与实际效益。
2024-02-20 cs.AI cs.CV cs.LG
Model Predictive Trajectory Planning for Human-Robot Handovers
TU Wien(维也纳技术大学);AIT Austrian Institute of Technology GmbH(奥地利技术研究院有限公司)
本研究提出一种基于路径跟踪模型预测控制的人机交接轨迹规划方法,结合高斯过程回归预测交接位置以自适应调整路径偏差边界,经7自由度协作机械臂实验验证了其有效性与通用性。
2024-04-11 cs.RO
Learning Dynamic Robot-to-Human Object Handover from Human Feedback
National University of Singapore(新加坡国立大学)
对象切换是机器人在许多应用中与人类交互的基本但必不可少的能力,例如,照顾老人和协助制造车间的工人。它看起来很简单,因为人类几乎完美地执行对象移交。然而,人类的成功掩盖了对象切换的复杂性,即两个代理之间的协作物理交互,通信有限。本文提出了一种学习算法的动态对象移交,例如,当机器人移交水瓶马拉松运动员通过水站。我们制定的问题上下文的政策搜索,其中机器人学习对象移交与人类的互动。这里的一个关键挑战是在嘈杂的人类反馈下学习切换任务的潜在奖励。初步实验表明,该机器人能够学会自然地交出水瓶,并且能够适应人类运动的动态。未来的一个挑战是将无模型学习算法与基于模型的规划方法相结合,并使机器人能够适应人类的偏好和物体特征,如形状,重量和表面纹理。
2016-03-21 cs.RO
Object Handovers: a Review for Robotics
Queensland University of Technology(昆士兰科技大学);ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Monash University(莫纳什大学);University of Birmingham(伯明翰大学)
本文综述了人类-机器人对象转换器的文献。移交是一个合作的联合行动,其中一个代理,给予者,给另一个代理,接收者一个对象。物理交换开始于接收者第一次接触给予者持有的物体,结束于给予者完全将物体释放给接收者。然而,重要的认知和物理过程在物理交换之前就开始了,包括启动关于交换地点和时间的隐含协议。从这个角度来看,我们的审查分为两个主要阶段,由上述事件界定:1)移交前阶段,2)物理交换。我们把我们的分析集中在两个演员(给予者和接收者),并报告了机器人给予者(机器人对人类的给予者)和机器人接收者(人类对机器人的给予者)的最新技术水平。我们报告了一个全面的清单,定性和定量指标通常用于评估的相互作用。虽然我们的审查集中在认知水平(例如,预测、感知、运动规划、学习)和物理水平(例如,运动、抓握、抓握释放),我们还简要讨论了安全、社会环境和人体工程学的概念。我们将人与人之间的交互过程中显示的行为与机器人助手的最新技术进行了比较,并确定了机器人助手的主要改进领域,以达到与人类交互相当的性能。最后,我们提出了一个最小的一组指标,应该使用,以便能够公平比较的方法。
2022-01-07 cs.RO cs.SY eess.SY
Learning-based Dynamic Robot-to-Human Handover
Korea University(高丽大学);Queens University(女王大学)
针对移动接收者的机器人交接问题,提出基于1,000例人到人演示的非参数运动生成方法,并结合偏好学习与阻抗控制,实验证明其比静态交接更快、更舒适。
2025-02-18 cs.RO
A Virtual Mechanical Interaction Layer Enables Resilient Human-to-Robot Object Handovers
Department of Engineering, University of Cambridge(剑桥大学工程系);Department of Mechanical Engineering, Massachusetts Institute of Technology(麻省理工学院机械工程系)
本文提出虚拟模型控制层和增强现实技术,提升人机物体传递过程中对物体姿态变化的适应能力,并通过实验验证了其在复杂不确定性下的鲁棒性。
2026-04-29 cs.RO
Towards safe human-to-robot handovers of unknown containers
Queen Mary University of London(伦敦玛丽女王大学)
未知物体的安全人机交互需要准确估计手部姿势和物体属性,如形状、轨迹和重量。准确估计这些属性需要使用扫描的3D对象模型或昂贵的设备,例如运动捕捉系统和标记,或两者兼而有之。然而,用机器人测试切换算法可能对人类是危险的,并且当对象是具有液体的开放容器时,对机器人是危险的。在本文中,我们提出了一个真正的模拟框架,以开发安全的人对机器人的机器人,未知的杯子或饮料杯的物理属性的估计和估计的人手从视频的人操纵容器。我们在模拟中完成了移交,并且我们估计了一个没有被拿着容器的人的手遮挡的区域。我们还量化了仿真中人和物体的安全性。我们验证框架使用公共录音的集装箱操纵之前移交,并显示移交的安全性时,使用噪声估计从一系列的感知算法。
2021-07-03 cs.RO
RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction
Nanyang Technological University(南洋理工大学);College of Computing and Data Science(计算与数据科学学院);Zhejiang University(浙江大学);College of Computer Science and Technology(计算机科学与技术学院);Alibaba Group(阿里巴巴集团)
针对人机物体交接数据集稀缺及现实-模拟差距问题,提出Hand2Bot数据集与PassGen生成流水线,实现高意图识别准确率与低误触发率,支持机器人稳健零样本迁移与早期意图预测。
2026-09-02 cs.CV cs.RO
LLM-Handover:Exploiting LLMs for Task-Oriented Robot-Human Handovers
Robotics System Lab, ETH Zürich(机器人系统实验室,苏黎世联邦理工学院)
提出 LLM-Handover 框架,融合 LLM 推理与部件分割,依据 RGB-D 图像和任务选择便于交接后使用的抓取,并通过新数据集、硬件实验和用户研究验证其有效性。
2025-09-29 cs.RO
ContactHandover: Contact-Guided Robot-to-Human Object Handover
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
本文提出ContactHandover系统,通过预测人类接触点可供性图来引导机器人抓取和递送姿态,在27个家用物体上验证了其提升交接可见性与可达性的效果。
2024-09-30 cs.AI cs.CV cs.RO
Data-driven Grip Force Variation in Robot-Human Handovers
KTH Royal Institute of Technology(KTH皇家理工学院)
在我们的社会环境中经常发生交接,这使得协作机器人系统必须掌握交接技能。在这项工作中,我们的目标是调查之间的关系,为人类给予者的握力变化和感测的相互作用力-扭矩在人与人之间的相互作用,利用数据驱动的方法。训练长短期记忆(LSTM)网络以使用交接中的相互作用力-扭矩来提前预测人类抓握力变化。此外,我们建议利用经过训练的网络,使机器人给予人的人一样的抓地力变化。
2023-03-28 cs.HC cs.RO
Multimodal Human-Intent Modeling for Contextual Robot-to-Human Handovers of Arbitrary Objects
Departmant of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出一种统一方法,利用人类口头和非口头命令选择目标物体,并情境化人类隐性和显性偏好以生成机器人抓取和顺从交接运动,通过真实实验和用户研究验证了其在任意日常物体交接任务中的有效性。
2025-08-05 cs.RO
GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院)
本文提出 GenH2R 框架,通过大规模仿真环境、百万级自动演示和带未来预测的 4D 模仿学习,使机器人能泛化接收未见物体与人机复杂轨迹交接,成功率较基线至少提升 10%。
2024-06-14 cs.CV cs.RO
DexH2R: A Benchmark for Dynamic Dexterous Grasping in Human-to-Robot Handover
ShanghaiTech University(上海科技大学);The University of Hong Kong(香港大学)
本文提出DexH2R真实世界人机交接数据集及DynamicGrasp解决方案,通过遥操作采集自然灵巧运动数据,并系统评估自回归与扩散策略方法,为动态灵巧抓取研究提供基准。
2025-07-02 cs.RO
Early Detection of Human Handover Intentions in Human-Robot Collaboration: Comparing EEG, Gaze, and Hand Motion
KTH Royal Institute of Technology(皇家理工学院);Ericsson Research(爱立信研究院)
本文针对人机协作中区分交接意图与其他动作的研究空白,通过多模态分析比较脑电图、gaze和手部运动信号,首次在同一实验环境中系统开发并测试跨模态意图检测器,发现gaze信号在交接意图检测中最早且最准确。
2025-02-17 cs.HC cs.RO
Reasons People Want Explanations After Unrecoverable Pre-Handover Failures
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
大多数关于人-机器人切换的研究都集中在舒适和高效的HRI的开发上,很少有人研究切换失败。如果在交互开始时发生故障,则会阻止整个切换过程并破坏信任。在这里,我们分析的根本原因,为什么人们希望在一个机器人不能拥有的对象移交的情况下的解释。结果表明,参与者对他们的请求设定了期望,机器人应该在失败后提供解释而不是非语言提示。参与者还希望他们的移交请求可以由机器人完成,如果不能,希望能够根据所提供的解释修复机器人或更改请求。
2021-11-29 cs.AI cs.HC cs.RO
Crafting with a Robot Assistant: Use Social Cues to Inform Adaptive Handovers in Human-Robot Collaboration
Monash University(莫纳什大学);Deakin University(迪肯大学)
本研究在自然手工制作场景中探讨人机交接,通过20名参与者的Wizard-of-Oz实验收集数据并构建FACT HRC数据集,揭示社交线索与任务上下文如何指导交接的时空协调及其对人类活动的影响。
2023-04-05 cs.HC cs.RO
Human-Robot Handovers using Task-Space Quadratic Programming
CNRS-University of Montpellier(法国国家科学研究中心-蒙彼利埃大学);CNRS-AIST Joint Robotics Laboratory(法国国家科学研究中心-产业技术综合研究所联合机器人实验室)
人与机器人之间的双向对象切换实现了机器人以人为中心的制造或服务中的重要功能技能。实现该技能的问题在于任何解决方案处理三个重要方面的能力:(i)切换阶段的同步定时;(ii)对象姿态约束的处理;以及(iii)理解触觉交换以无缝地实现(i)的一些步骤。我们提出了一种新的方法(i)和(ii)包括明确制定的移交过程中的任务空间二次规划控制框架的约束,以实现隐式的时间和轨迹的遭遇。我们的方法是实现熊猫机械臂从人类操作员的对象。
2022-06-18 cs.RO
Stereo Hand-Object Reconstruction for Human-to-Robot Handover
Centre for Intelligent Sensing, Queen Mary University of London, UK(智能感知中心,伦敦女王玛丽大学);Idiap Research Institute and École Polytechnique Fédérale de Lausanne, Switzerland(日内瓦联邦理工学院与IDiap研究机构)
针对人到机器人交接中未见物体与透明物体感知难题,提出概率融合单视图结果的RGB立体手-物重建方法,降低Chamfer距离并支持机器人接收多种家居物体。
2025-05-12 cs.CV cs.RO
Top-1 CORSMAL Challenge 2020 Submission: Filling Mass Estimation Using Multi-modal Observations of Human-robot Handovers
Tampere University(坦佩雷大学);Queen Mary University of London(伦敦玛丽女王大学)
人机对象切换是未来人机协作的关键技术。CORSMAL 2020挑战赛的重点是这个问题的感知部分:机器人需要估计人类持有的容器的填充质量。虽然在图像处理和音频处理中存在单独的强大方法,但是回答这样的问题需要同时处理来自多个传感器的数据。容器的外观、灌装的声音和深度数据提供了基本信息。我们提出了一种多模态方法来预测灌装质量的三个关键指标:灌装类型,灌装水平和容器容量。然后将这些指标结合起来,以估计容器的灌装质量。我们的方法在所有提交给CORSMAL 2020挑战赛的公共和私人子集中获得了Top-1的整体性能,同时没有显示过拟合的证据。我们的源代码是公开的:https://github.com/v-iashin/CORSMAL
2020-12-02 cs.CV cs.HC cs.LG
Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对手持透明物体深度估计受遮挡、光学特性影响精度低的问题,提出结合手部姿态引导的手部感知深度修复方法HADR,构建TransHand-14K数据集验证其性能,并实现了真实人机交接系统。
2024-09-16 cs.CV cs.RO
R2HandoverSim: A Simulation Framework and Benchmark for Robot-to-Human Object Handovers
DANiLab, University of Leicester(莱斯特大学DANiLab);School of Computing and Mathematical Sciences, University of Leicester(莱斯特大学计算与数学科学学院);School of Metallurgy and Materials, University of Birmingham(伯明翰大学冶金与材料学院)
提出R2HandoverSim仿真基准,通过用户研究和五个互补指标评估四种基线方法,证明仿真结果与真实世界评价相关。
2026-06-23 cs.RO
Task-Agnostic Adaptation for Safe Human-Robot Handover
Carnegie Mellon University(卡内基梅隆大学)
人机交互是提高现代生产线柔性的重要组成部分。然而,在现实世界的应用中,任务(\ie,机器人需要操作的条件,例如环境照明条件、要与之交互的人类主体以及硬件平台)可能会变化,并且在这些变化的任务下最佳地且有效地配置和适配机器人系统仍然具有挑战性。为了应对这一挑战,本文提出了一种与任务无关的自适应控制器,该控制器可以1)适应不同的照明条件,2)适应个人行为并确保与不同人交互时的安全性,3)通过不同的控制接口轻松实现跨机器人平台的传输。建议的框架进行了测试,使用FANUC LR Mate 200 id/7 L机器人和Kinova Gen 3机器人的人机交接任务。实验结果表明,所提出的任务无关控制器可以在不同的任务之间实现一致的性能。
2022-09-20 cs.RO
Task-Oriented Robot-Human Handovers on Legged Manipulators
本文提出AFT-Handover框架,通过结合大语言模型和纹理转移实现零样本、可泛化的面向任务的人机交接,提升交接成功率和泛化能力。
2026-03-09 cs.HC cs.RO
A Multimodal Handover Failure Detection Dataset and Baselines
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用科学大学);University of Bremen(不莱梅大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)
针对人类引发的不可预防交接失败缺乏数据集和评估方法的问题,提出含人类诱导失败的多模态交接失败检测数据集及两种基线方法,为该领域研究提供数据支撑与基准。
2025-08-25 cs.CV cs.RO
Leveraging Semantic and Geometric Information for Zero-Shot Robot-to-Human Handover
Southern University of Science and Technology(南方科技大学);Jiaxing Research Institute, Southern University of Science and Technology(南方科技大学嘉兴研究院)
提出一种结合语义和几何信息的零样本机器人到人类递送系统,利用VLMs识别抓取区域并基于距离和角度优化抓取,提升递送成功率和用户体验。
2024-09-26 cs.RO
H2O: A Benchmark for Visual Human-human Object Handover Analysis
Shanghai Jiao Tong University(上海交通大学)
对象切换是一种常见的人类协作行为,引起了机器人学和认知科学研究人员的关注。虽然视觉感知在物体交接任务中起着重要的作用,但整个交接过程已被具体探索。在这项工作中,我们提出了一种新的丰富的注释数据集,H2O,用于人-人对象的视觉分析。H2O包含18 K视频剪辑,涉及15个人,他们互相交出30个对象,是一个多用途的基准。它可以支持几个基于视觉的任务,从中,我们专门提供了一个基线方法,RGPNet,为一个较少探索的任务,名为接收器抓取预测。大量的实验表明,RGPNet可以产生合理的把握的基础上给予者的手对象的状态在移交前阶段。此外,我们还报告了现有基线的手和物体的位姿误差,并表明该数据集可以作为视频演示机器人模仿学习的交接任务。数据集、模型和代码将被公开。
2021-04-23 cs.CV cs.RO
Human-Robot Collaboration in Microgravity: the Object Handover Problem
Institute for Systems and Robotics, Instituto Superior Técnico(系统与机器人研究所,里斯本高等理工学院)
协作太空机器人是一项具有巨大影响力的新兴技术,因为机器人在漫长的任务期间、在紧张的操作时间表下以更高的精度与宇航员协作,以更低的风险和成本促进服务功能,使其更高效、更经济可行。然而,空间中的人机协作仍然是一个挑战,涉及人机交互中的关键问题,包括微重力环境下物体的移动和协作操作。在本文中,我们制定了一个算法,使自由飞行器机器人,配备了一个机械手,在微重力环境中执行一个人和自由飞行器机器人之间的对象切换。为了验证和评估该算法,我们提出了一个系统的用户研究,其目标是了解在交互过程中刚性和顺应性阻抗机器人行为的主观结果影响。结果表明,在任务过程中,刻板行为总体上更可取,迁移成功率更高。
2020-09-18 cs.RO
Optometrist's Algorithm for Personalizing Robot-Human Handovers
BITS-Pilani(贝拉理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出使用验光师算法交互式个性化机器人-人类交接,通过调整速度、位置和力度参数,实验表明该方法能提升交互流畅性并获得用户积极评价。
2023-08-29 cs.RO
A Study of Human-Robot Handover through Human-Human Object Transfer
Samsung AI Center Montreal(三星人工智能中心蒙特利尔分部);McGill University(麦吉尔大学)
本研究借助高分辨率触觉传感器分析人与人物品交接行为,发现危险物品交接更慢且触觉行为随风险变化,为未来实现更安全的人机交互提供了依据。
2023-11-21 cs.HC cs.RO
How Robot Kinematics Influence Human Performance in Virtual Robot-to-Human Handover Tasks
Queen’s University Belfast(贝尔法斯特女王大学)
本研究通过虚拟现实探讨机器人运动学对人类在交接任务中的表现影响,发现机器人提供早期视觉信息和人类样式的轨迹能提升交互准确性。
2025-11-25 cs.HC cs.RO
Comparing Subjective Perceptions of Robot-to-Human Handover Trajectories
Monash University(莫纳什大学);University of British Columbia(不列颠哥伦比亚大学);Australian National University(澳大利亚国立大学);Deakin University(迪肯大学);University of Victoria(维多利亚大学)
出于安全原因,机器人必须在人周围清晰地移动,特别是在可能有身体接触的任务中。其中一个任务是传递,它需要关于物理接触(物体转移)发生的地点和时间的隐式沟通。在这项工作中,我们研究了机器人在到达阶段所使用的轨迹模型是否会影响机器人到人的接收器的主观感知。我们进行了一项用户研究,其中32名参与者被交给三个物体,四个轨迹模型:三个是最小加加速度轨迹的版本,一个是基于椭圆拟合的轨迹。对于所有轨迹,切换的开始位置是固定的,并且允许结束位置在所有轴上围绕固定位置随机变化$\pm$ 3 cm。用户研究发现,在与安全性、可预测性、自然性和其他主观指标相关的调查问题中,切换轨迹之间没有显著差异。虽然这些结果似乎拒绝了轨迹影响人类对移交的感知的假设,但它促使未来的研究调查其他变量的影响,例如机器人速度,对象转移位置,转移点的对象方向,以及明确的通信信号,如凝视和语音。
2022-11-16 cs.RO cs.SY eess.SY
Enhancing Context-Aware Human Motion Prediction for Efficient Robot Handovers
针对人机交接任务中现有运动预测模型计算复杂度高的问题,提出基于 siMLPe 的 IntentMotion 框架,通过引入意图感知条件、任务特定损失函数和意图分类器,在大幅降低误差和参数量并提升推理速度的同时,实现了高效可扩展的实时人机交互。
2025-03-01 cs.RO
Active Perception of Upper-Limb Functional Mobility through Human-Robot Handovers
Italian Institute of Technology(意大利技术研究院);INAIL(意大利工伤事故保险研究所)
本研究将上肢功能移动性估计建模为主动感知问题,提出在线主动感知流程,通过人机交接探测用户并更新贝叶斯信念,经仿真和物理验证可准确恢复损伤系数。
2026-10-27 cs.RO
Learning Human-Robot Handovers Through $π$-STAM: Policy Improvement With Spatio-Temporal Affordance Maps
Sapienza University of Rome(罗马大学)
人机交互的特点是高度的不确定性和不良的问题结构,使他们成为困难的任务。虽然机器学习方法已经显示出有希望的结果,但它们在具有大状态维度的问题(例如在人形机器人的情况下)中的应用仍然有限。另外,通过使用这些方法并且在与人类操作员交互期间,不能获得关于空间约束(例如,社会规则)。在本文中,我们提出了一种新的迭代算法来学习空间启示和生成机器人行为的时空启示图- $π$ -STAM-策略改进。我们的目标是通过使用启示来生成一个适应未知动作语义的策略。通过这种方式,在学习执行人-机器人交接任务时,我们可以(1)有效地生成良好的策略,只需很少的训练片段,(2)轻松编码动作语义,如果可用,则执行先验知识。我们在仿真和真实NAO机器人上实验验证了我们的方法,其任务包括从人类手中拿走物体。实验结果表明,该算法在降低计算量和学习时间的同时,获得了较好的策略。
2016-10-15 cs.RO
Dynamic Handover: Throw and Catch with Bimanual Hands
UC San Diego(加州大学圣迭戈分校);Peking University(北京大学)
本文提出一种基于双臂多指手的动态抛接系统,通过多智能体强化学习在仿真中训练并引入轨迹预测模型等新算法设计实现Sim2Real迁移,在真实世界实验中显著超越多个基线。
2023-09-11 cs.LG cs.RO
MobileH2R: Learning Generalizable Human to Mobile Robot Handover Exclusively from Scalable and Diverse Synthetic Data
Tsinghua University(清华大学);Galbot;Peking University(北京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院)
提出 MobileH2R 框架,通过可扩展的多样化合成人体运动、安全演示生成与 4D 模仿学习,训练移动机器人闭环交接策略,无需真实演示且成功率较基线至少提升 15%。
2025-01-09 cs.RO
A Joint Motion Model for Human-Like Robot-Human Handover
Bielefeld University of Applied Sciences(比勒费尔德应用科学大学);Bielefeld University(比勒费尔德大学)
未来,机器人将出现在日常生活中。这些辅助机器人的开发是一个挑战。辅助机器人的一项基本任务是拿起物体并将其交给人类。通过与用户互动,可预测性、安全性和可靠性等软因素成为发展的重要因素。以前的工作表明,当机器人的行为和移动像人类时,与机器人的合作更容易被接受。在本文中,我们提出了一个运动模型的基础上的运动轮廓的各个关节。这些运动轮廓是基于人-人切换中的关节运动的观察和测量。我们实现了这个关节运动模型(JMM)上的人形和非人形工业机器人显示主体的运动。特别注意的是动作的可识别性和人类相似性。结果表明,与传统模型相比,人们能够识别类似人类的运动,并将JMM的运动感知为更像人类。此外,事实证明,线性关节空间轨迹和JMM之间的差异在工业机器人中比在人形机器人中更明显。
2018-08-28 cs.RO
Temporal Tactile Encoding and Compliance for Intent-Aware Robot-to-Human Bimanual Handover
Istituto Italiano di Tecnologia(意大利技术研究院);Università di Genova(热那亚大学)
该研究提出将VLA模型与柔顺控制器结合,通过时间编码的触觉反馈等多模态信息微调VLA模型,在人机交接任务中验证其性能优于无触觉反馈及无柔顺控制的基准。
2026-10-28 cs.RO