YCB-Handovers Dataset: Analyzing Object Weight Impact on Human Handovers to Adapt Robotic Handover Motion
YCB-Handovers数据集通过分析物体重量对人类交接动作的影响,为机器人运动规划提供数据支持。
2025-12-23 cs.HC cs.RO
Human-Robot Collaboration in Microgravity: the Object Handover Problem
Institute for Systems and Robotics, Instituto Superior Técnico(系统与机器人研究所,里斯本高等理工学院)
协作太空机器人是一项具有巨大影响力的新兴技术,因为机器人在漫长的任务期间、在紧张的操作时间表下以更高的精度与宇航员协作,以更低的风险和成本促进服务功能,使其更高效、更经济可行。然而,空间中的人机协作仍然是一个挑战,涉及人机交互中的关键问题,包括微重力环境下物体的移动和协作操作。在本文中,我们制定了一个算法,使自由飞行器机器人,配备了一个机械手,在微重力环境中执行一个人和自由飞行器机器人之间的对象切换。为了验证和评估该算法,我们提出了一个系统的用户研究,其目标是了解在交互过程中刚性和顺应性阻抗机器人行为的主观结果影响。结果表明,在任务过程中,刻板行为总体上更可取,迁移成功率更高。
2020-09-18 cs.RO
Optometrist's Algorithm for Personalizing Robot-Human Handovers
BITS-Pilani(贝拉理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出使用验光师算法交互式个性化机器人-人类交接,通过调整速度、位置和力度参数,实验表明该方法能提升交互流畅性并获得用户积极评价。
2023-08-29 cs.RO
Enhancing Context-Aware Human Motion Prediction for Efficient Robot Handovers
针对人机交接任务中现有运动预测模型计算复杂度高的问题,提出基于 siMLPe 的 IntentMotion 框架,通过引入意图感知条件、任务特定损失函数和意图分类器,在大幅降低误差和参数量并提升推理速度的同时,实现了高效可扩展的实时人机交互。
2025-03-01 cs.RO
Receiver-Centered Robot-to-Human Handover with Grasp-Aware Object Orientation
University of Modena and Reggio Emilia(摩德纳大学和雷焦艾米利亚大学)
研究针对协作机器人与人类操作员工具交接问题,提出以接收者为中心、语音驱动的自适应交接系统,基于Franka cobot,用LLM识别意图、MediaPipe跟踪手部,动态调整末端执行器方向,经实验验证该系统能减少抓握延迟,提升交互流畅性与信任感知。
2026-07-21 cs.RO
Gesture Recognition for Initiating Human-to-Robot Handovers
Monash University(莫纳什大学)
人机交互对于许多人机交互场景都很有用。重要的是要认识到人类何时打算发起交接,以便机器人在不打算交接时不会试图从人类那里拿走物体。我们提出了一个单一的RGB图像中的二进制分类问题的切换手势识别。三个独立的神经网络模块,用于检测对象,人体关键点和头部方向,实现从RGB图像中提取相关特征,然后将特征向量传递到深度神经网络中以执行二进制分类。我们的研究结果表明,切换手势被正确识别的准确率超过90%。特征的抽象使我们的方法模块化,并可推广到不同的对象和人体类型。
2020-12-30 cs.CV cs.RO
Object Handover Prediction using Gaussian Processes clustered with Trajectory Classification
Technische Universität München(慕尼黑工业大学)
一个机器人系统,近似用户的意图和适当的互补运动是成功的人机交互的关键。虽然现有的可穿戴传感器可以实时监测人体运动,但由于其高度非线性运动通过自由度的冗余来优化,因此人体运动的预测是一个重大挑战。在这里,我们展示了高斯过程(GP)的鲁棒性聚类与随机分类技术的轨迹预测使用对象切换的情况。通过使用双四元数参数化人-人对象切换过程中的真实6D手部运动,实时分类切换配置的变化,然后使用GP预测剩余的手部轨迹。实验结果表明,该方法能够以轨迹的平均值$43.4\%$对切换配置进行分类,并且能够在人体运动的正常变化范围内预测最终的手部配置。总之,我们证明了GPS与随机分类技术相结合,是一个强大的工具,主动估计人与机器人交互的人体运动。
2017-07-10 cs.RO
Human Grasp Classification for Reactive Human-to-Robot Handovers
NVIDIA, USA(NVIDIA(美国));University of Washington, USA(华盛顿大学(美国))
人与机器人之间的物体传递是协作机器人的关键能力。虽然最近对人类机器人的兴趣激增,但大多数先前的研究都集中在机器人到人类的机器人上。此外,在同样重要的人对机器人的机器人抓取方面的工作通常假设人类可以将物体放入机器人的抓取器中。在本文中,我们提出了一种人对机器人的机器人中途满足人类的方法,通过分类人类的物体的把握,并迅速规划相应的轨迹,根据他们的意图从人类的手的对象。为此,我们收集了一个人类抓握数据集,该数据集涵盖了用各种手形和姿势握持物体的典型方式,并在该数据集上学习一个深度模型,将手抓握分类为其中一个类别。我们提出了一个规划和执行的方法,需要从人手的对象,根据检测到的把握和手的位置,并replans必要时,切换中断。通过系统的评估,我们证明了我们的系统比两个基线更流畅的结果。我们还提出了一个用户研究(N = 9)的结果,展示了我们的方法在不同情况下与天真的用户的有效性和可用性。更多的结果和视频可以在http://wyang.me/handovers上找到。
2020-03-12 cs.CV cs.RO
Maximising Coefficiency of Human-Robot Handovers through Reinforcement Learning
Istituto Italiano di Tecnologia(意大利技术研究院);Politecnico di Milano(米兰理工大学);Northumbria University(诺森比亚大学)
针对人机交接中机器人利他行为可能降低交互体验的问题,提出基于人机协同效率奖励的强化学习方法,优化机器人交互参数,提升用户舒适度与信任度。
2023-06-12 cs.RO
Modeling Dynamic Hand-Object Interactions with Applications to Human-Robot Handovers
ETH Zurich(苏黎世联邦理工学院)
本文研究动态手-物交互建模,提出基于物理仿真和强化学习的动态抓取合成方法并扩展至双手与关节物体,同时引入学生-教师框架实现人机交接的仿真到现实迁移,通过合成交互将训练多样性提升100倍且性能与真实数据相当。
2025-03-06 cs.RO
Early Detection of Human Handover Intentions in Human-Robot Collaboration: Comparing EEG, Gaze, and Hand Motion
KTH Royal Institute of Technology(皇家理工学院);Ericsson Research(爱立信研究院)
本文针对人机协作中区分交接意图与其他动作的研究空白,通过多模态分析比较脑电图、gaze和手部运动信号,首次在同一实验环境中系统开发并测试跨模态意图检测器,发现gaze信号在交接意图检测中最早且最准确。
2025-02-17 cs.HC cs.RO
Adaptive vs. Static Robot-to-Human Handover: A Study on Orientation and Approach Direction
Department of Engineering "Enzo Ferrari", University of Modena and Reggio Emilia(工程学院"Enzo Ferrari",摩德纳和雷吉奥艾米利亚大学);Department of Surgery, Medicine, Dentistry and Morphological Sciences, University of Modena and Reggio Emilia(外科、医学、牙科和形态学科学学院,摩德纳和雷吉奥艾米利亚大学)
本文提出了一种自适应框架,通过实时调整物体的交付姿态,提升人类抓取的效率和安全性,实验表明动态对齐能降低用户认知负荷和生理压力,增强对机器人可靠性的信任。
2026-06-23 cs.RO
Crafting with a Robot Assistant: Use Social Cues to Inform Adaptive Handovers in Human-Robot Collaboration
Monash University(莫纳什大学);Deakin University(迪肯大学)
本研究在自然手工制作场景中探讨人机交接,通过20名参与者的Wizard-of-Oz实验收集数据并构建FACT HRC数据集,揭示社交线索与任务上下文如何指导交接的时空协调及其对人类活动的影响。
2023-04-05 cs.HC cs.RO
Task-Oriented Robot-Human Handovers on Legged Manipulators
本文提出AFT-Handover框架,通过结合大语言模型和纹理转移实现零样本、可泛化的面向任务的人机交接,提升交接成功率和泛化能力。
2026-03-09 cs.HC cs.RO
Reasons People Want Explanations After Unrecoverable Pre-Handover Failures
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
大多数关于人-机器人切换的研究都集中在舒适和高效的HRI的开发上,很少有人研究切换失败。如果在交互开始时发生故障,则会阻止整个切换过程并破坏信任。在这里,我们分析的根本原因,为什么人们希望在一个机器人不能拥有的对象移交的情况下的解释。结果表明,参与者对他们的请求设定了期望,机器人应该在失败后提供解释而不是非语言提示。参与者还希望他们的移交请求可以由机器人完成,如果不能,希望能够根据所提供的解释修复机器人或更改请求。
2021-11-29 cs.AI cs.HC cs.RO
A Study of Human-Robot Handover through Human-Human Object Transfer
Samsung AI Center Montreal(三星人工智能中心蒙特利尔分部);McGill University(麦吉尔大学)
本研究借助高分辨率触觉传感器分析人与人物品交接行为,发现危险物品交接更慢且触觉行为随风险变化,为未来实现更安全的人机交互提供了依据。
2023-11-21 cs.HC cs.RO
How Robot Kinematics Influence Human Performance in Virtual Robot-to-Human Handover Tasks
Queen’s University Belfast(贝尔法斯特女王大学)
本研究通过虚拟现实探讨机器人运动学对人类在交接任务中的表现影响,发现机器人提供早期视觉信息和人类样式的轨迹能提升交互准确性。
2025-11-25 cs.HC cs.RO
Ergonomic Optimization in Worker-Robot Bimanual Object Handover: Implementing REBA Using Reinforcement Learning in Virtual Reality
Computational Science Research Center, San Diego State University(圣地亚哥州立大学计算科学研究中心)
本文提出一种基于强化学习的框架,在虚拟现实中利用逆运动学训练,实现工人-机器人双臂物体交接中的实时工效学优化(REBA),提高pHRI安全性与泛化能力。
2024-03-18 cs.RO
Learning Motor Resonance in Human-Human and Human-Robot Interaction with Coupled Dynamical System
Institute for Systems and Robotics, Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院系统与机器人研究所);Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院)
人际交往涉及非常复杂的非语言沟通技巧,如理解他人的目标和行动,并相应地协调我们自己的行动。神经科学将这种机制称为运动共振,在这个意义上,对另一个人的动作和感官体验的感知激活了观察者的大脑,就好像他会执行相同的动作并拥有相同的体验。我们分析和模拟非语言的线索(手臂运动)之间交换的两个人的互动和执行交接动作。本文的贡献如下:(i)计算模型,其使用记录的运动数据,描述每个行动者在交互动作情况下的运动行为,(ii)计算模型,其通过耦合两个行动者的手臂运动,捕获对象移交动作期间“给予者”和“接受者”的行为,以及(iii)将这些模型嵌入iCub机器人中,用于动作执行和识别。我们的研究结果表明:(i)机器人可以解释人的手臂运动并识别移交动作;以及(ii)以“类人”方式行动以接收所识别的移交动作的对象。
2019-05-10 cs.RO
Diffusion-SAFE: Diffusion-Native Human-to-Robot Driving Handover for Shared Autonomy
Stanford University(斯坦福大学)
Diffusion-SAFE通过基于扩散模型的闭环框架实现安全的人机协同驾驶交接,支持从演示中直接进行安全评估和计划生成,实验显示在模拟和真实赛车中均取得高交接成功率。
2026-03-06 cs.RO
Expressing and Inferring Action Carefulness in Human-to-Robot Handovers
Italian Institute of Technology(意大利技术研究院);University of Genoa(热那亚大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Institute for Systems and Robotics (ISR Lisboa)(系统与机器人研究所(里斯本))
本研究提出一种生态学方法,通过分析人类操作物体时的运动学调制来推断物体特征,并设计“表达性”控制器调制机器人运动以传达属性,实验证明该方法能在线推断交接谨慎性并提升任务效率。
2023-09-30 cs.RO
ContactHandover: Contact-Guided Robot-to-Human Object Handover
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
本文提出ContactHandover系统,通过预测人类接触点可供性图来引导机器人抓取和递送姿态,在27个家用物体上验证了其提升交接可见性与可达性的效果。
2024-09-30 cs.AI cs.CV cs.RO
SynH2R: Synthesizing Hand-Object Motions for Learning Human-to-Robot Handovers
NVIDIA(英伟达);ETH Zurich(苏黎世联邦理工学院)
本文提出SynH2R框架,通过合成手-物运动生成大规模交接友好型抓取数据,使机器人仅用合成数据训练即可在模拟与真实环境中达到与依赖真实动作捕捉数据的现有方法相当的性能,并具备更好的扩展性。
2024-12-31 cs.AI cs.RO
Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对手持透明物体深度估计受遮挡、光学特性影响精度低的问题,提出结合手部姿态引导的手部感知深度修复方法HADR,构建TransHand-14K数据集验证其性能,并实现了真实人机交接系统。
2024-09-16 cs.CV cs.RO
Collaborative Behavior Models for Optimized Human-Robot Teamwork
NVIDIA(英伟达);University of Washington(华盛顿大学)
有效的人机协作需要知情的预期。机器人必须预测人类的行动,但在预测错误时也要迅速而直观地做出反应。机器人必须计划自己的行动来解释人类自己的计划,并知道人类的行为会根据机器人的实际行为而改变。这种预测人类未来动作并生成相应运动计划的循环游戏非常难以使用标准技术进行建模。在这项工作中,我们描述了一种新的模型预测控制(MPC)为基础的框架,寻找最佳轨迹的协作,多智能体设置,在其中我们同时计划的机器人,同时预测其外部合作者的行动。我们使用人机交互来证明,有了一个强大的合作者模型,我们的框架在新的、混乱的环境中产生了流畅的、反应性的人机交互。我们的方法有效地生成协调的轨迹,并实现了很高的成功率切换,即使在存在显着的传感器噪声。
2020-09-03 cs.RO
Top-1 CORSMAL Challenge 2020 Submission: Filling Mass Estimation Using Multi-modal Observations of Human-robot Handovers
Tampere University(坦佩雷大学);Queen Mary University of London(伦敦玛丽女王大学)
人机对象切换是未来人机协作的关键技术。CORSMAL 2020挑战赛的重点是这个问题的感知部分:机器人需要估计人类持有的容器的填充质量。虽然在图像处理和音频处理中存在单独的强大方法,但是回答这样的问题需要同时处理来自多个传感器的数据。容器的外观、灌装的声音和深度数据提供了基本信息。我们提出了一种多模态方法来预测灌装质量的三个关键指标:灌装类型,灌装水平和容器容量。然后将这些指标结合起来,以估计容器的灌装质量。我们的方法在所有提交给CORSMAL 2020挑战赛的公共和私人子集中获得了Top-1的整体性能,同时没有显示过拟合的证据。我们的源代码是公开的:https://github.com/v-iashin/CORSMAL
2020-12-02 cs.CV cs.HC cs.LG
On-The-Go Robot-to-Human Handovers with a Mobile Manipulator
Monash University(莫纳什大学)
现有的方法来直接机器人到人的交接通常是在固定基座的机器人手臂上实现的,或者是在执行交接之前完全停止的移动操纵器上实现的。我们提出了“在去”的机器人,允许移动的移动机械手移交对象给一个人没有停止。在移动中的移交运动是由一个反应控制器产生的,该控制器允许同时控制底座和手臂。在一项用户研究中,人类接收者主观地评估移动中的移交者比实施“停止并交付”行为的移交者更有效、可预测、自然、更及时和更安全。
2022-03-16 cs.RO
An Experimental Validation and Comparison of Reaching Motion Models for Unconstrained Handovers: Towards Generating Humanlike Motions for Human-Robot Handovers
Monash University(莫纳什大学);University of British Columbia(不列颠哥伦比亚大学)
最小Jerk运动模型在文献中长期被引用用于单人任务中的人类点对点到达运动。虽然已经证明,在人类-机器人递送者的联合动作任务中将最小加加速度样轨迹应用于机器人到达运动允许机器人递送者被感知为更仔细、安全和熟练,但尚未验证人类在递送者中的到达运动是否遵循最小加加速度模型。为了在实验上测试和验证人体在无约束的机器人中的运动模型,我们检查了人体在无约束的机器人中的运动(允许人移动整个身体),并与1)最小Jerk模型,2)其变体,解耦最小Jerk模型和3)最近提出的椭圆(圆锥)模型进行了拟合。结果表明,圆锥模型最适合无约束的人类切换到达运动。此外,我们还发现,与被发现是椭圆形的受约束的单人到达运动不同,椭圆和双曲圆锥类型之间存在分裂。我们希望我们的研究结果将有助于指导人类机器人交接任务中更人性化的运动的产生。
2021-08-29 cs.RO
Visualizing Robot Intent for Object Handovers with Augmented Reality
Monash University(莫纳什大学)
人类非常善于传达他们的意图,以确定何时何地会发生移交。然而,即使是最先进的机器人实现的机器人,通常也缺乏这种沟通技巧。本研究探讨使用增强现实的机器人的内部状态和意图的可视化人与机器人的交接。具体而言,我们探索使用可视化的3D模型的对象和机器人抓手,以传达机器人的估计,在那里的对象和姿势,机器人打算抓住对象。我们通过一项有16名参与者的用户研究来测试这个设计,其中每个参与者将一个立方体形状的物体交给机器人12次。结果表明,通过增强现实传达机器人意图大大提高了用户对机器人的感知体验。结果还表明,增强现实的有效性更加明显的感知安全和流畅的互动时,机器人在定位对象的错误。
2022-07-06 cs.RO
Evaluating Multimodal Interaction of Robots Assisting Older Adults
University of Illinois Chicago(伊利诺伊大学芝加哥分校);California State University Channel Islands(加州州立大学海峡群岛分校)
我们概述了我们在评估机器人方面的工作,这些机器人通过包括物理互动在内的多种方式与老年人进行互动。我们的论点是,为了提高辅助机器人的有效性:1)机器人需要理解和实现多模态动作,2)机器人不仅应该对人类做出反应,而且需要在必要时采取主动并领导任务。我们首先简要介绍我们提出的多模态交互框架,然后描述两个不同的实验与实际的机器人。在第一个实验中,Baxter机器人使用多模式交互管理器(MIM)框架帮助人类找到并定位对象。在第二个实验中,NAO机器人被用于相同的任务,但是,机器人和人类的角色被颠倒。我们讨论了在这些实验中使用的评估方法,包括不同的指标,用于表征在每种情况下的机器人的性能。最后,我们提供了我们的观点的挑战和机会,为老年人在现实环境中的辅助机器人的评估。
2022-12-20 cs.RO
Model Predictive Trajectory Planning for Human-Robot Handovers
TU Wien(维也纳技术大学);AIT Austrian Institute of Technology GmbH(奥地利技术研究院有限公司)
本研究提出一种基于路径跟踪模型预测控制的人机交接轨迹规划方法,结合高斯过程回归预测交接位置以自适应调整路径偏差边界,经7自由度协作机械臂实验验证了其有效性与通用性。
2024-04-11 cs.RO
Learning Dynamic Robot-to-Human Object Handover from Human Feedback
National University of Singapore(新加坡国立大学)
对象切换是机器人在许多应用中与人类交互的基本但必不可少的能力,例如,照顾老人和协助制造车间的工人。它看起来很简单,因为人类几乎完美地执行对象移交。然而,人类的成功掩盖了对象切换的复杂性,即两个代理之间的协作物理交互,通信有限。本文提出了一种学习算法的动态对象移交,例如,当机器人移交水瓶马拉松运动员通过水站。我们制定的问题上下文的政策搜索,其中机器人学习对象移交与人类的互动。这里的一个关键挑战是在嘈杂的人类反馈下学习切换任务的潜在奖励。初步实验表明,该机器人能够学会自然地交出水瓶,并且能够适应人类运动的动态。未来的一个挑战是将无模型学习算法与基于模型的规划方法相结合,并使机器人能够适应人类的偏好和物体特征,如形状,重量和表面纹理。
2016-03-21 cs.RO
Establishing a Dynamic Multimodal HRI Dataset for Engagement Analysis with a Humanoid Robot
Incheon National University(仁川国立大学)
本文提出一种结构化数据采集协议,构建含可穿戴生理信号等数据的多模态数据集,用于分析人形机器人HRI中的用户参与度,弥补现有研究未充分整合生理信号的不足。
2026-09-04 cs.RO
Validating Virtual Reality for Studying Multimodal Human-Robot Interaction in Socially Aware Robot Navigation
LAAS-CNRS, Universite de Toulouse(法国国家科学研究中心图卢兹分部,图卢兹大学);Inria Nancy(法国国家信息与自动化研究所南锡分部)
研究VR在社交感知机器人导航中研究多模态人机交互的适用性,通过受试者内研究,让参与者在现实与VR环境中与机器人交互,结果显示VR能捕捉交互行为,可成为研究多模态行为的可靠灵活平台。
2026-07-13 cs.RO
Learning-based Dynamic Robot-to-Human Handover
Korea University(高丽大学);Queens University(女王大学)
针对移动接收者的机器人交接问题,提出基于1,000例人到人演示的非参数运动生成方法,并结合偏好学习与阻抗控制,实验证明其比静态交接更快、更舒适。
2025-02-18 cs.RO
A Virtual Mechanical Interaction Layer Enables Resilient Human-to-Robot Object Handovers
Department of Engineering, University of Cambridge(剑桥大学工程系);Department of Mechanical Engineering, Massachusetts Institute of Technology(麻省理工学院机械工程系)
本文提出虚拟模型控制层和增强现实技术,提升人机物体传递过程中对物体姿态变化的适应能力,并通过实验验证了其在复杂不确定性下的鲁棒性。
2026-04-29 cs.RO
Probabilistic Differentiable Filters Enable Ubiquitous Robot Control with Smartwatches
Arizona State University(亚利桑那州立大学)
针对智能设备普适机器人控制的精度与信息稀疏难题,提出基于DEnKF概率可微滤波器,仅用智能手表和手机IMU实现低成本高精度人体姿态估计与人机交接控制,代码已开源。
2023-10-04 cs.RO
Towards safe human-to-robot handovers of unknown containers
Queen Mary University of London(伦敦玛丽女王大学)
未知物体的安全人机交互需要准确估计手部姿势和物体属性,如形状、轨迹和重量。准确估计这些属性需要使用扫描的3D对象模型或昂贵的设备,例如运动捕捉系统和标记,或两者兼而有之。然而,用机器人测试切换算法可能对人类是危险的,并且当对象是具有液体的开放容器时,对机器人是危险的。在本文中,我们提出了一个真正的模拟框架,以开发安全的人对机器人的机器人,未知的杯子或饮料杯的物理属性的估计和估计的人手从视频的人操纵容器。我们在模拟中完成了移交,并且我们估计了一个没有被拿着容器的人的手遮挡的区域。我们还量化了仿真中人和物体的安全性。我们验证框架使用公共录音的集装箱操纵之前移交,并显示移交的安全性时,使用噪声估计从一系列的感知算法。
2021-07-03 cs.RO
Coverage-Driven Verification - An approach to verify code for robots that directly interact with humans
University of Bristol(布里斯托大学);University of the West of England(西英格兰大学)
协作机器人可以改变制造业和医疗保健等多个行业,但它们对验证提出了重大挑战。由于其工作环境的复杂性,有必要在广泛的情况下进行实际的详细测试。我们建议使用覆盖驱动验证(CDV)来应对这一挑战。通过尽可能地自动化基于模拟的测试过程,CDV提供了一个有效的覆盖闭合路径。我们讨论的需要,实际的考虑,并将这种方法从微电子设计验证的人机交互领域的潜在好处。我们证明了所提出的方法的有效性和可行性,通过构建一个自定义的CDV测试平台,并将其应用到对象切换任务的验证。
2015-09-16 cs.RO
Zenbo Patrol: A Social Assistive Robot Based on Multimodal Deep Learning for Real-time Illegal Parking Recognition and Notification
National Chengchi University(国立政治大学)
本研究开发社交辅助机器人Zenbo Patrol,采用GPT-4o多模态模型实现无预处理的高准确率车牌识别与违停判定,检测到违停时即时通过Line通知管理员,可应用于室内停车场场景。
2025-10-05 cs.RO
DexH2R: A Benchmark for Dynamic Dexterous Grasping in Human-to-Robot Handover
ShanghaiTech University(上海科技大学);The University of Hong Kong(香港大学)
本文提出DexH2R真实世界人机交接数据集及DynamicGrasp解决方案,通过遥操作采集自然灵巧运动数据,并系统评估自回归与扩散策略方法,为动态灵巧抓取研究提供基准。
2025-07-02 cs.RO
Development of a Human-Robot Interaction Platform for Dual-Arm Robots Based on ROS and Multimodal Artificial Intelligence
Trường Đại học Công Nghệ - Đại học Quốc gia Hà Nội(河内国家大学科技大学)
本文开发了基于ROS和多模态AI的双臂机器人人机交互平台,实现高精度操作、物体抓取分类及语音控制,实验验证了系统准确性与灵活性。
2024-11-08 cs.RO
The Turkish Ice Cream Robot: Examining Playful Deception in Social Human-Robot Interactions
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学);Ingenuity Labs Research Institute and the Department of Electrical and Computer Engineering, Queen’s University(创新实验室研究机构和电气与计算机工程系,皇后大学);Department of Artificial Intelligence, Yonsei University(人工智能系,延世大学);Robotics Institute, Carnegie Mellon University(机器人研究所,卡内基梅隆大学)
本研究受土耳其冰淇淋小贩启发,设计机器人操纵器并实现五种戏谑欺骗策略,通过91人实验发现该策略增强愉悦感和参与度,但降低信任和安全感,表明戏谑欺骗可用于娱乐场景但需权衡利弊。
2025-09-26 cs.HC cs.RO
An End-to-End Human Simulator for Task-Oriented Multimodal Human-Robot Collaboration
University of Illinois Chicago(伊利诺伊大学芝加哥分校);California State University Channel Islands(加州州立大学海峡群岛分校)
本文提出一种基于神经网络的多模态用户模拟器,支持语言、手势和触觉等多种通信模式训练强化学习智能体,并引入数据增强方法解决数据集有限的挑战,助力家庭辅助机器人开发。
2023-04-02 cs.RO
ERR@HRI 2024 Challenge: Multimodal Detection of Errors and Failures in Human-Robot Interactions
Politecnico di Milano(米兰理工大学);University of Cambridge(剑桥大学);Cornell University(康奈尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);Cankaya University(恰卡亚大学);Cornell Tech(康奈尔科技学院)
ERR@HRI 2024提供含面部、语音和姿态特征的机器人失败多模态基准数据集,推动模型检测机器人错误、用户尴尬与交互破裂。
2024-07-08 cs.RO
REFLEX Dataset: A Multimodal Dataset of Human Reactions to Robot Failures and Explanations
KTH Royal Institute of Technology(皇家理工学院);Lancaster University(兰卡斯特大学)
本文构建多模态数据集 REFLEX,通过标注人类在协作场景中对不同机器人故障、解释层次及策略变化的反应,支持长期人机交互动态研究。
2025-02-20 cs.RO
Visual Proactivity: Enhancing Human-Robot Collaboration Through Intent Communication
Institut de Robotica y Informatica Industrial (CSIC-UPC)(工业机器人信息研究所(CSIC-UPC));Universitat Politecnica de Catalunya - BarcelonaTech (UPC)(加泰罗尼亚理工大学)
本文提出视觉主动性方法,通过视觉反馈让机器人主动沟通意图,在人机交接场景中验证其能增强透明度和协作流畅性。
2026-09-21 cs.RO
Towards Language-Based Modulation of Assistive Robots through Multimodal Models
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML));Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与机器智能研究所(MIRMI));Technical University Munich (TUM)(慕尼黑工业大学(TUM))
本研究旨在通过多模态模型实现基于语言的辅助机器人实时调控,利用语言线索和视觉参考提升人机交互的透明度与灵活性,推动Geriatronics领域交互式机器人系统的发展。
2023-06-27 cs.RO
Human-Robot Handovers using Task-Space Quadratic Programming
CNRS-University of Montpellier(法国国家科学研究中心-蒙彼利埃大学);CNRS-AIST Joint Robotics Laboratory(法国国家科学研究中心-产业技术综合研究所联合机器人实验室)
人与机器人之间的双向对象切换实现了机器人以人为中心的制造或服务中的重要功能技能。实现该技能的问题在于任何解决方案处理三个重要方面的能力:(i)切换阶段的同步定时;(ii)对象姿态约束的处理;以及(iii)理解触觉交换以无缝地实现(i)的一些步骤。我们提出了一种新的方法(i)和(ii)包括明确制定的移交过程中的任务空间二次规划控制框架的约束,以实现隐式的时间和轨迹的遭遇。我们的方法是实现熊猫机械臂从人类操作员的对象。
2022-06-18 cs.RO
M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction
University of Virginia(弗吉尼亚大学)
提出M2HRI框架,通过个性、长期记忆和情境化协调机制赋予每个机器人独特身份,实验表明该方法能提升交互自然性和协调性。
2026-06-23 cs.RO
Learning to Plan in Human-Robot Collaboration: Multimodal Reinforcement Learning for Adaptive Interaction
University of Illinois Chicago(伊利诺伊大学芝加哥分校);California State University Channel Islands(加州州立大学海峡群岛分校)
本文提出一种强化学习方法,自动生成机器人在家庭环境中协助用户定位物体的多模态交互策略,实验表明该方法具有高可用性和可扩展性。
2026-09-23 cs.RO
R2HandoverSim: A Simulation Framework and Benchmark for Robot-to-Human Object Handovers
DANiLab, University of Leicester(莱斯特大学DANiLab);School of Computing and Mathematical Sciences, University of Leicester(莱斯特大学计算与数学科学学院);School of Metallurgy and Materials, University of Birmingham(伯明翰大学冶金与材料学院)
提出R2HandoverSim仿真基准,通过用户研究和五个互补指标评估四种基线方法,证明仿真结果与真实世界评价相关。
2026-06-23 cs.RO
Assist-As-Needed: Adaptive Multimodal Robotic Assistance for Medication Management in Dementia Care
Worcester Polytechnic Institute(沃斯特理工学院)
针对痴呆症患者药物管理能力衰退,提出基于Pepper机器人的自适应多模态辅助框架,按需提供分层干预,以保留自主性并确保依从性。
2025-10-08 cs.RO
Multimodal Safe Control for Human-Robot Interaction
Carnegie Mellon University(卡内基梅隆大学)
针对离散模式及模式内均存在不确定性的人机交互场景,提出基于能量函数的MMSSA安全控制器,在不降低效率的同时提升安全性。
2024-07-01 cs.RO