HiSync: Spatio-Temporally Aligning Hand Motion from Wearable IMU and On-Robot Camera for Command Source Identification in Long-Range HRI
Department of Computer Science;Technology, BNRist Tsinghua University Beijing China;Technology, BNRist, College of AI Tsinghua University Beijing China;Technology Tsinghua University Beijing China;Beijing University of Posts;Academy of Arts \& Design Tsinghua University Beijing China;Qinghai University Xining China;Tsinghua University;Technology, BNRist, College of AI;Technology Tsinghua University;Academy of Arts \& Design Tsinghua University;Qinghai University
HiSync通过同步机器人摄像头光流与手环IMU信号,提取频域手部运动特征并融合多模态数据,实现远距离多用户HRI中的高准确率命令源识别。
2026-03-25 cs.HC cs.RO
CoBaIR: A Python Library for Context-Based Intention Recognition in Human-Robot-Interaction
University of Bremen(不来梅大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
本文提出CoBaIR这一可适配Python库,通过集成两层贝叶斯网络实现基于情境的人机交互意图识别,兼具可解释性、可扩展性,并可在无数据时作为专家系统、有数据时进行微调。
2023-08-10 cs.HC cs.RO
Soft is Safe: Human-Robot Interaction for Soft Robots
Indian Institute of Technology - Kanpur(印度理工学院坎普尔分校)
本文系统回顾了软体机器人与人机交互的研究现状,涵盖软体机器人的控制、设计、材料与制造,分析了HRI的输入输出模态、典型应用、局限性及未来研究机会,指出该领域具有广阔发展前景。
2025-02-03 cs.RO
Robot-stated limitations but not intentions promote user assistance
Sheffield Robotics, University of Sheffield(谢菲尔德大学谢菲尔德机器人中心);Department of Psychology, University of Sheffield(谢菲尔德大学心理学系)
人机交互(HRI)的研究通常是建立在机器人帮助人类实现人类主导的目标或共享任务的前提下。然而,在HRI期间有许多情况下,机器人可能需要人类的帮助来完成共享任务或实现目标。我们使用ROBO-GUIDE模型作为案例研究,并从社会心理学的见解,研究机器人的个性如何影响用户合作。一项针对364名参与者的研究表明,人们可能更喜欢使用讨人喜欢的社交机器人,而不是那些看起来更有能力的机器人;这一结果反映了人类人际关系中已知的社会决策。这项工作进一步证明了社会心理学在开发社交机器人和探索HRI方面的价值。
2016-06-08 cs.HC cs.RO
Hey, Teacher, (Don't) Leave Those Kids Alone: Standardizing HRI Education
Case Western Reserve University(凯斯西储大学)
本文针对人机交互(HRI)领域发展需求,提出标准化本科HRI入门课程方案,涵盖理论实践模块、通用实践平台、论文阅读培训及15周课程细节,以保障跨院校教学质量与一致性。
2025-09-03 cs.CY cs.HC cs.RO
A transparency-based action model implemented in a robotic physical trainer for improved HRI
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出双向透明度动作(TBA)模型,使机器人既能向用户提供透明度信息,也能基于用户反馈采取动作,并在老年人实验中验证高透明度水平能显著提升用户接受度与交互体验。
2024-06-16 cs.HC cs.RO
Learning Human Preferences Over Robot Behavior as Soft Planning Constraints
Meta AI;Yale University(耶鲁大学)
本文提出将人类偏好编码为软规划约束的新问题表述,并通过数据驱动方法在Habitat 2.0重排任务中实现机器人对三类偏好的推断,为自适应规划行为奠定基础。
2024-03-28 cs.RO
Proceedings of the SREC (Social Robots in Therapy and Care) Workshop at HRI 2019
机器人辅助治疗(RAT)已成功地用于人类机器人交互(HRI)研究,通过将社交机器人纳入医疗干预措施,凭借其在社交和情感方面吸引人类用户的能力。用于这些任务的机器人在设计时必须考虑到几个用户组,包括接受治疗的个人和负责治疗的护理专业人员。这些机器人还必须能够感知它们的使用环境,识别人类的行为和意图,并遵循治疗目标进行有意义的个性化治疗。有效的互动需要机器人能够协调,及时的行为来响应社会线索。这意味着能够估计和预测人机交互过程中的参与度、注意力、意向性和情绪状态。社交机器人在治疗和护理方面的另一个挑战是,不同用户在干预期间可能有各种各样的需求和条件,即使他们可能有相同的病理,他们目前的需求和治疗目标也可能有很大的不同。因此,机器人将其行为和交互场景适应与其交互的患者的特定需求,偏好和要求变得至关重要。这种个性化应该根据机器人行为和干预场景来考虑,并且必须反映用户的需求,偏好和要求。
2019-09-05 cs.RO
Personalization in Human-Robot Interaction through Preference-based Action Representation Learning
Purdue University(普渡大学);College of Mechanical and Electrical Engineering, Beijing University of Chemical Technology (BUCT)(北京化工大学机电工程学院)
本文提出PbARL方法,通过基于预训练策略的动作表示学习实现高效人机交互个性化,在保持任务性能的同时提升人类反馈利用效率,并在基准测试和用户研究中验证了其优势。
2025-03-11 cs.RO
A Survey of Multi-Agent Human-Robot Interaction Systems
University of Waterloo(滑铁卢大学)
本文介绍了人机交互(HRI)领域的文献综述,特别是包含两个以上代理的系统(即,具有多个人和/或多个机器人)。我们确定了三个核心方面的“多代理”HRI系统是有用的,了解这些系统如何不同的二元系统和彼此。这些是团队结构,代理之间的交互方式,以及系统的计算特性。在这些核心方面,我们提出了五个属性的HRI系统,即团队规模,团队组成,交互模式,通信方式,和机器人控制。这些属性用于表征和区分一个系统与另一个系统。我们填充产生的类别与最近的文献中的例子,以及他们的应用程序的简要讨论,并分析这些属性如何不同的情况下,二元人类-机器人系统。我们总结了当前文献中的主要观察结果,并确定了这一领域未来研究的挑战和有前途的领域。为了实现机器人成为社会的一部分并与人类无缝交互的愿景,需要扩展对多人-多机器人系统的研究。这些系统不仅需要几个代理之间的协调,它们还涉及多代理和间接的互动,这是缺乏二元HRI系统。在HRI系统中添加多个代理需要先进的交互方案,行为理解和控制方法,以允许人类和机器人之间的自然交互。此外,在人机混合团队中对人类行为理解的研究也需要更多的关注。这将有助于制定和实施有效的机器人控制策略,在HRI系统中有大量的异构机器人和人类;团队组成反映了许多现实世界的场景。
2022-12-10 cs.RO
PrefCLM: Enhancing Preference-based Reinforcement Learning with Crowdsourced Large Language Models
Purdue University(普渡大学);Beijing University of Chemical Technology(北京化工大学)
针对PbRL依赖脚本教师合成反馈、难以适配个性化人机交互偏好的问题,提出PrefCLM框架,用Dempster-Shafer理论融合众包LLM偏好并引入人在回路精化,实验与用户研究验证其性能和满意度优势。
2025-01-07 cs.RO
A MultiModal Social Robot Toward Personalized Emotion Interaction
The George Washington University(乔治华盛顿大学)
人类的情感通过多种方式表达,包括语言和非语言信息。此外,人类用户的情感状态可以是参与和成功交互的水平的指标,适合于机器人用作通过交互优化机器人行为的奖励因素。本研究展示了一个多模态人机交互(HRI)框架与强化学习,以提高机器人的交互政策和个性化的人类用户的情感互动。我们的目标是在社交场景中应用这个框架,让机器人生成一个更自然、更吸引人的HRI框架。
2021-10-08 cs.AI cs.RO
Multimodal Signal Processing and Learning Aspects of Human-Robot Interaction for an Assistive Bathing Robot
National Technical University of Athens(雅典国立技术大学)
我们探索了智能人机交互(HRI)辅助生活的新方面,涉及在自然界面中自动识别和在线验证语音和手势,为HRI提供社交功能。我们介绍了一个完整的框架和资源的现实生活中的场景,老年人的辅助洗澡机器人的支持,解决健康和卫生保健问题。我们贡献了一个新的数据集和一套用于数据采集的工具,以及在I-Support洗澡机器人框架内进行多模态学习的最先进的管道,重点是音频和RGB-D视觉流。我们考虑隐私问题,通过使用Kinect传感器评估深度视觉流以及RGB。这个新数据集上的音频手势识别任务的收益率高达84.5%,而当两种模式融合在一起时,老年用户的I-Support系统的在线验证达到了84%。考虑到具体任务的困难,这些结果足以支持辅助社会HRI的多模态识别领域的进一步研究。在接受论文后,部分数据将公开提供。
2017-11-06 cs.HC cs.MM cs.RO
Improving User Specifications for Robot Behavior through Active Preference Learning: Framework and Evaluation
Department of Electrical and Computer Engineering, University of Waterloo(滑铁卢大学电气与计算机工程系);Monash University(莫纳什大学)
人机交互(HRI)的一个重要挑战是使非专家用户能够为自主机器人指定复杂的任务。最近,主动偏好学习已被应用于HRI交互式地塑造机器人的行为。我们研究了一个框架,用户指定的图形界面上允许的机器人运动的限制,产生一个机器人任务规范。然而,用户可能无法准确地评估这种约束对机器人性能的影响。因此,我们通过迭代地向用户提供可能违反某些约束的替代解决方案来修改规范,并从用户在这些替代方案之间的选择中了解约束的重要性。我们展示了我们的框架,在一个工业设施中的材料运输任务的用户研究。我们表明,几乎所有的用户都接受替代解决方案,从而通过学习过程中获得修订后的规范,并修订导致机器人性能的大幅改善。此外,学习过程减少了来自不同用户的规范之间的差异,从而使规范更加相似。因此,用户的初始规格有最大的影响性能受益最多的互动学习。
2020-03-18 cs.RO
Multimodal Interaction and Intention Communication for Industrial Robots
Technical University of Munich(慕尼黑工业大学);Bosch Corporate Research(博世公司研究部);Örebro University(厄勒布鲁大学)
本文提出非人形工业机器人通过小型拟人代理进行多模态交互,利用大语言模型增强通信,以提升人机交互的安全与效率。
2025-02-25 cs.HC cs.RO
LiHRA: A LiDAR-Based HRI Dataset for Automated Risk Monitoring Methods
Proximity Robotics & Automation GmbH(近距机器人与自动化有限公司);Institute of Industrial Automation and Software Engineering, University of Stuttgart(工业自动化与软件工程学院,斯图加特大学)
LiHRA数据集通过多模态数据支持人机交互风险监测方法的开发,提供高分辨率LiDAR数据和真实碰撞事件,用于训练和评估RM算法。
2025-09-08 cs.RO
Drivers' Manoeuvre Modelling and Prediction for Safe HRI
University of Manchester(曼彻斯特大学);University of Bristol(布里斯托大学)
随着机器人和车辆等自主机器开始执行涉及人类用户的任务,确保它们之间的安全交互成为一个重要问题。将人机交互(HRI)研究的方法转化为人类与其他高度复杂的机器(例如半自动驾驶汽车)之间的交互,可以帮助推进这些机器在需要人类交互的场景中的使用。一种方法涉及理解人类的意图和决策,以估计人类在与机器人交互时的当前和不久的将来的动作。这一想法源于心理学概念“心理理论”(Theory of Mind),该概念已被广泛应用于机器人技术,最近还被应用于自动驾驶和半自动驾驶汽车。在这项工作中,我们探索了如何通过结合来自人体运动,车辆状态和人类输入(例如方向盘,踏板)的数据来预测人类的意图。基于递归神经网络模型的数据驱动的方法被用来对当前的驾驶操作进行分类,并预测未来要执行的操作。一个状态转换模型被用来与一组固定的机动标记数据记录在实时应用的试验。使用不同座椅偏好、驾驶专业知识和臂长的驾驶员对模型进行了训练和测试;机动识别的准确率和召回率指标超过95%,机动预测的准确率和召回率指标超过86%,已知和未知测试对象的预测时间窗口长达1秒。与我们以前的结果相比,性能提高和机动预测是可能的未知的测试科目,而不知道当前的机动。
2021-06-03 cs.HC cs.LG cs.RO
Augmented Reality and Robotics: A Survey and Taxonomy for AR-enhanced Human-Robot Interaction and Robotic Interfaces
University of Calgary(卡尔加里大学);University College London(伦敦大学学院)
本文基于对460篇研究论文的调查,对增强现实和机器人技术进行了分类。增强和混合现实(AR/MR)已经成为增强人机交互(HRI)和机器人接口(例如,致动的和形状改变的界面)。最近,越来越多的HCI、HRI和机器人研究已经证明了AR如何实现人与机器人之间更好的交互。然而,研究往往仍然集中在个人的探索和关键的设计策略,研究问题很少进行系统的分析。在本文中,我们综合和分类这一研究领域在以下方面:1)增强现实的方法; 2)机器人的特点; 3)目的和好处; 4)分类的信息; 5)设计组件和策略的视觉增强; 6)交互技术和方式; 7)应用领域;和8)评估策略。我们制定了关键的挑战和机遇,以指导和通知未来的研究在AR和机器人。
2022-03-07 cs.CV cs.HC cs.RO
Multi-User Personalisation in Human-Robot Interaction: Resolving Preference Conflicts Using Gradual Argumentation
Institut de Robòtica i Informàtica Industrial(机器人与信息技术研究所);CSIC-UPC(西班牙国家科研学院-巴塞罗那理工大学);Institut d’Investigació en Intel·ligència Artificial(人工智能研究所);IIIA-CSIC(人工智能研究所-西班牙国家科研学院)
本文提出MUP-QBAF框架,通过渐进论证解决多用户人机交互中的偏好冲突,提供透明且情境敏感的冲突解决方法。
2026-01-12 cs.AI cs.RO
When Robots Rate Their Own Interactions: Engagement Validity and the Strangeness Failure
Rochester Institute of Technology(罗切斯特理工学院)
提出LLM驱动的机器人从自身视角完成标准化问卷的逆向评价方法,发现机器人在参与度维度与人类一致,但系统性地反转了舒适/陌生感维度,表明当前机器人缺乏评估陌生感所需的内在情感状态。
2026-06-23 cs.RO
Enhancing Explainability with Multimodal Context Representations for Smarter Robots
Bielefeld University(比勒费尔德大学);University of Bonn(波恩大学)
针对人机交互中机器人多模态感知推理及可解释性不足的问题,提出含多模态联合表示与时间对齐模块的通用可解释多模态上下文表示框架,可评估语音与视觉的相关性,助力提升人机交互可解释性。
2025-02-28 cs.AI cs.HC cs.RO
Recognizing Actions from Robotic View for Natural Human-Robot Interaction
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(1 人工智能通用基础理论国家重点实验室,北京大学深圳研究生院);Sun Yat-sen University(2 中山大学);Kiel University(3 科尔堡大学);Lancaster University(4 拉斯特纳大学);State University of New York at Buffalo(5 纽约州立大学布法罗分校)
针对自然人机交互中动作识别基准的不足,研究团队推出大规模机器人视角动作数据集ACTIVE,并提出ACTIVE-PC方法实现远距离动作精准识别,推动相关领域研究发展。
2025-07-30 cs.AI cs.CV cs.RO
XBG: End-to-end Imitation Learning for Autonomous Behaviour in Human-Robot Interaction and Collaboration
Istituto Italiano di Tecnologia(意大利技术研究院);The University of Manchester(曼彻斯特大学)
本研究提出多模态端到端模仿学习系统XBG,通过遥操作采集多场景人机交互数据训练深度神经网络,融合多模态信息赋予ergoCub人形机器人自主交互能力,经多场景测试验证了行为成功率。
2024-06-22 cs.RO
Are Large Language Models Aligned with People's Social Intuitions for Human-Robot Interactions?
King’s College London(伦敦国王学院)
本研究测试LLMs在人机交互中是否与人类直觉一致,通过重现三项用户研究,发现GPT-4在两项中与用户高度相关,但视觉模型和评分偏高问题仍存。
2024-07-09 cs.AI cs.HC cs.RO
Exploring Human-Robot Collaboration: Analysis of Interaction Modalities in Challenging Tasks
Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI(达勒莫勒人工智能研究所(IDSIA));Department of Surgery, Medicine, Dentistry and Morphological Sciences with interest in Transplant, Oncology and Regenerative Medicine, University of Modena and Reggio Emilia(外科、医学、牙科和形态学科学系(关注移植、肿瘤学和再生医学),摩德纳和雷吉奥艾米利亚大学);Department of Sciences and Methods for Engineering (DISMI), University of Modena and Reggio Emilia(工程科学与方法系(DISMI),摩德纳和雷吉奥艾米利亚大学)
研究比较了三种人机协作交互模式:被动、反应式和主动式,在记忆组装七层彩色塔任务中发现主动式协作更受参与者青睐,提升了用户体验。
2026-07-08 cs.RO
M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction
University of Virginia(弗吉尼亚大学)
提出M2HRI框架,通过个性、长期记忆和情境化协调机制赋予每个机器人独特身份,实验表明该方法能提升交互自然性和协调性。
2026-06-23 cs.RO
Multimodal Adversarial Quality Policy for Safe Grasping
本文提出多模态对抗质量策略,通过双补丁优化和梯度平衡策略实现安全抓取,提升多模态环境下机器人抓取的安全性和鲁棒性。
2026-03-10 cs.RO
Multimodal Anomaly Detection for Human-Robot Interaction
LASIGE Faculty of Sciences U. Lisboa, Portugal;Dep. of Information Engineering University of Padova Padova, Italy
本文提出MADRI框架,通过将视频流转换为语义特征向量进行基于重建的异常检测,并结合机器人内部传感器数据和场景图,提升人机协作中多模态异常检测的鲁棒性。
2026-04-10 cs.CV cs.RO
REPAIR-Bench: A Benchmark for Robot Error Perception And Interaction Recovery
针对现有机器人故障研究将失败视为独立事件、仅做二元检测和规则恢复的局限,提出REPAIR-Bench基准,包含41名参与者的214次交互试验,支持故障检测、视觉分类和用户中心恢复预测三项任务,实验表明层次递归模型和微调语言模型取得良好效果。
2026-06-29 cs.RO
Applying General Turn-taking Models to Conversational Human-Robot Interaction
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对人机交互系统话轮转换不自然的问题,首次将TurnGPT和VAP两种通用话轮模型结合使用,无需领域微调,经39人参与的实验验证,该系统更受偏好且能减少响应延迟与打断。
2025-01-15 cs.CL cs.RO
Increasing Transparency of Reinforcement Learning using Shielding for Human Preferences and Explanations
University of Naples Federico II(那不勒斯费德里科二世大学);Institute for High Performance Computing and Networking, CNR(意大利国家研究委员会高性能计算与网络研究所)
本文研究在强化学习中通过屏蔽机制纳入人类偏好并结合解释以提升机器人行为透明度,实验表明该方法能改善可读性、安全性、舒适性和可靠性,为人在环路的机器人应用提供新范式。
2023-11-28 cs.RO
Knowing Where to Look: A Planning-based Architecture to Automate the Gaze Behavior of Social Robots
Furhat Robotics(Furhat机器人公司);KTH Royal Institute of Technology(瑞典皇家理工学院)
凝视线索在人类交流中起着重要的作用,用于协调话轮转换和共同注意,以及调节亲密度。为了与人进行流畅的对话,社交机器人需要表现出类似人类的凝视行为。HRI先前的凝视控制系统(GCS)使用数据驱动或启发式方法自动化机器人凝视。然而,这些系统在本质上往往主要是反应性的。提前规划机器人凝视可以帮助实现更逼真的凝视行为和更好的眼头协调。在本文中,我们提出并实现了一种新的规划为基础的GCS。我们评估我们的系统在一个反应系统和我们提出的系统之间的比较内的主题用户研究(N=26)。结果表明,用户更喜欢所提出的系统,它是更显着的可解释性和更好地调节亲密。
2022-10-06 cs.HC cs.RO
Levels of explanation -- implementation and evaluation of what and when for different time-sensitive tasks
本研究构建了基于详细度和解释模式的高、中、低三种解释层级(LOE),通过远程呈现机器人的模拟医疗任务用户研究,验证了不同时间限制条件下各LOE对任务表现、交互体验等的影响,为HRI中解释信息的传达优化提供依据。
2024-10-30 cs.RO
How personality and memory of a robot can influence user modeling in Human-Robot Interaction
University of Turin(都灵大学)
针对机器人个性如何影响其用户记忆与用户模型这一空白,本文提出反映不同机器人个性的用户模型,以刻画特质、记忆和社交交互的联动。
2024-06-15 cs.RO
Touch in Human Social Robot Interaction: Systematic Literature Review with PRISMA Method
University of Macedonia(马其顿大学)
本文通过PRISMA方法系统综述2001-2023年间42篇关于人类社交机器人交互中触觉的研究,分析材料技术差异、情感关联及研究空白,为未来HRI触觉研究提供指南。
2024-07-16 cs.RO
Learning Multimodal Latent Dynamics for Human-Robot Interaction
TU Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Hessian Center for Artificial Intelligence (Hessian.AI)(黑森人工智能中心)
该研究提出一种结合HMM与变分自编码器的混合方法,从人与人交互中学习人机交互动力学,经逆运动学调整与刚度调制实现柔顺交互,实验验证其泛化性好、用户评价更高,还可用于复杂双臂递物场景。
2025-06-12 cs.HC cs.LG cs.RO
Proceeding of the 1st Workshop on Social Robots Personalisation At the crossroads between engineering and humanities (CONCATENATE)
本研讨会旨在探讨社交机器人个性化的跨学科挑战,汇聚不同领域研究者提出指导原则,解决个性化HRI在定义、实现及法律伦理合规方面的关键问题。
2023-11-23 cs.AI cs.HC cs.RO
Towards Transparency of TD-RL Robotic Systems with a Human Teacher
University of Naples Federico II(那不勒斯费德里科二世大学);Istituto Italiano di Tecnologia(意大利技术研究院)
对自主和灵活的HRI的高要求意味着在机器人控制中部署机器学习(ML)机制的必要性。事实上,使用ML技术,如强化学习(RL),使得机器人在学习过程中的行为对观察用户不透明。在这项工作中,我们提出了一个情感模型,以提高在人-机器人协作场景的RL任务的透明度。我们提出的架构支持RL算法,其情感模型能够接收人类反馈并根据学习过程表现出情感反应。该模型完全基于时间差(TD)误差。该架构在一个隔离的实验室中进行了测试,设置简单。研究结果强调,通过情感反应显示其内部状态足以使机器人对人类老师透明。人们也更喜欢与反应灵敏的机器人互动,因为它们习惯于通过情感和社交信号来理解自己的意图。
2020-05-12 cs.HC cs.RO
Zoomorphic Gestures for Communicating Cobot States
RWTH Aachen University(亚琛工业大学);Institute of Industrial Engineering and Ergonomics(工业工程与人机工程研究所);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);Technical University of Munich(慕尼黑工业大学)
传达机器人状态对于在人类和协作机器人(cobots)之间创建高效且值得信赖的协作至关重要。机器人与人类通信的标准方法在工业环境中面临困难,例如,因为高噪声水平或某些可见度要求。因此,本文提出了基于狗的身体语言的动物形态的手势作为一种可能的替代方案,用于通信状态的外观约束的协作机器人。为了这个目的,我们进行了一个视觉交流基准比较zoomorphic手势,抽象的手势,光显示。我们调查的方式,关于直观的理解,用户体验,和用户偏好。在第一个用户研究(n = 93),我们评估我们提出的所有视觉方式的设计准则。第二个用户研究(n = 214)构成的基准表明,直观的理解和用户体验是最高的两个基于手势的形式。此外,动物形态的姿态比其他形式更受欢迎。这些研究结果表明,动物形态的姿态与他们的好玩的性质,特别适合于新的用户,并可能会减少最初的抑制。
2021-02-22 cs.RO
Multimodal Shared Autonomy for Social Navigation Assistance of Telepresence Robots
Worcester Polytechnic Institute(伍斯特理工学院)
移动远程呈现机器人(MTR)在不断扩大的远程工作世界中越来越受欢迎,为人们积极参与远程活动提供了新的途径。然而,由于有限的情况感知和狭窄的视场,操作MTR的人通常难以在人口密集的环境中导航,这降低了用户的接受度和满意度。共享自主导航主要在静态环境或只有一个行人与机器人交互的情况下进行了研究。我们提出了一种多模式共享自治的方法,利用视觉和触觉指导,在人口稠密的环境中为远程操作员提供导航帮助。它使用了一种修改形式的倒数速度障碍,以产生安全的控制输入,同时考虑到社会化学的约束。两种不同的视觉引导设计,以及触觉力渲染,提出了传达安全的控制输入。我们进行了一项用户研究,比较的优点和局限性的多模式导航辅助触觉或视觉辅助单独在一个共同的导航任务。该研究涉及15名参与者在一个有移动行人的虚拟大厅中操作虚拟远程呈现机器人,使用不同的辅助方式。我们评估了导航性能、透明度和合作以及用户偏好。我们的研究结果表明,参与者更喜欢多模式辅助视觉引导轨迹触觉或视觉方式单独,虽然它对导航性能没有影响。此外,我们发现,视觉引导轨迹传达了更高程度的理解和合作比等效的触觉线索在导航任务。
2022-10-17 cs.HC cs.RO
The Power of Color: A Study on the Effective Use of Colored Light in Human-Robot Interaction
Bielefeld University of Applied Sciences(比勒费尔德应用科学大学);Otto-von-Guericke University Magdeburg(奥托-冯-格里克马格德堡大学);Bielefeld University(比勒费尔德大学)
在交互技术越来越复杂的时代,我们指出了彩色光作为一种简单而廉价的反馈机制的强大功能。由于它在一定距离内是可见的,并且不干扰其他模态,因此它对移动机器人特别有趣。在一项在线调查中,我们要求56名参与者为以视频形式呈现的场景选择最合适的颜色。在这些场景中,移动机器人完成任务,在一些成功的,在其他人失败,因为任务是不可行的,在其他人停止,因为它等待帮助。我们分析了这三类人的颜色偏好有何不同。结果显示,颜色和意义之间存在联系,这取决于参与者的技术亲和力、使用机器人的经验和性别,以及对某一类别颜色偏好的清晰程度。最后,我们发现参与者最喜欢的颜色与颜色偏好无关。
2018-02-21 cs.HC cs.RO
Humor Style Drives Laughter, Topic Shapes Acceptability: Evaluating Bilingual Personal and Political Robot-Delivered AI Jokes
Univ Brest-Bretagne INP, COMMEDIA team, Lab-STICC CNRS UMR 6285(布列塔尼大学-INP,COMMEDIA团队,Lab-STICC CNRS UMR 6285)
本研究通过混合因素设计,评估机器人用双语讲AI生成笑话时,幽默类型(亲和、自我增强、攻击、自贬)和内容(个人vs政治)对趣味性和适当性的影响,发现幽默类型显著影响趣味性,内容影响适当性,语言偏好受内容及参与者流利度影响。
2026-06-12 cs.AI cs.RO
Reimagining Social Robots as Recommender Systems: Foundations, Framework, and Applications
University of Cambridge(剑桥大学)
本文提出将推荐系统应用于社交机器人,以提升个性化能力,通过整合RS技术建立框架并促进跨领域合作。
2026-01-27 cs.IR cs.RO
StARS: Socially Appropriate Robot Actions via a Recommender System-Driven Approach
Bogazici University(博阿齐奇大学);University of Cambridge(剑桥大学)
研究人机交互中社交适宜动作生成问题,提出模型无关框架StARS,结合协同过滤与可学习场景表示生成用户特定适宜性得分,在多数据集评估中提升性能与一致性,支持个性化动作选择。
2026-07-27 cs.IR cs.RO
Towards Balancing Preference and Performance through Adaptive Personalized Explainability
Toyota Research Institute(丰田研究院);Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加州大学伯克利分校)
本研究通过模拟自动驾驶领域的用户研究,发现不同可解释性模式在偏好和性能上存在差异,且偏好与性能不一致,据此提出自适应个性化策略以平衡二者,显著提升性能。
2025-03-21 cs.AI cs.HC cs.RO
Fusion in Context: A Multimodal Approach to Affective State Recognition
KTH: The Royal Institute of Technology(皇家理工学院(KTH));PAL Robotics(PAL机器人公司);Umeå University(于默奥大学)
针对情绪表达受情境影响易误判的问题,提出基于transformer的多模态融合方法,结合面部热数据、动作单元与文本情境,通过模态专属编码器、加法融合与共享transformer实现情境感知情绪识别,在桌面Pacman游戏数据集上验证了有效性。
2024-09-18 cs.RO
'What did the Robot do in my Absence?' Video Foundation Models to Enhance Intermittent Supervision
CSIRO(联邦科学与工业研究组织);Monash University(莫纳什大学)
本文提出利用视频基础模型生成多模态机器人数据摘要的框架,通过用户研究验证查询驱动摘要和故事板能显著提升间歇式监督下的信息检索准确性,首次实现ViFMs在该场景的零样本应用。
2024-11-15 cs.RO
Shared Control in Human Robot Teaming: Toward Context-Aware Communication
UC San Diego(加州大学圣迭戈分校)
在人机交互领域中,共享控制系统的研究越来越多。共享控制是指一个人和智能体以协作的方式为任务的执行做出贡献,通常是通过为机器人提供控制输入。共享控制中最重要的事情之一是人与机器人之间的通信性质,这可以帮助人类-机器人团队处理各种具有挑战性的情况。在本文中,我们确定了共享控制的关键挑战,其中更好的沟通设计可能是有用的,包括当遇到新的情况和背景,解决偏好和性能之间的紧张关系,并减轻认知负担和中断。通过使用四个示例共享控制方案,我们探讨了精心设计的人机通信策略如何帮助解决每一个挑战。我们希望本文将提请注意这些挑战,并协助研究人员在推进共享控制系统的发展。
2022-03-19 cs.RO
Leveraging Semantic and Geometric Information for Zero-Shot Robot-to-Human Handover
Southern University of Science and Technology(南方科技大学);Jiaxing Research Institute, Southern University of Science and Technology(南方科技大学嘉兴研究院)
提出一种结合语义和几何信息的零样本机器人到人类递送系统,利用VLMs识别抓取区域并基于距离和角度优化抓取,提升递送成功率和用户体验。
2024-09-26 cs.RO
Human-Robot Collaborative Minimum Time Search through Sub-priors in Ant Colony Optimization
Institut de Robòtica i Informàtica Industrial (CSIC-UPC)(机器人学与信息研究所(西班牙国家研究委员会-加泰罗尼亚理工大学联合机构))
本文提出SP-MTS-ACO算法,结合CNN先验概率与智能体子先验偏好,解决人机协作最小时间搜索问题,并在真实实验中验证了其在保持效率的同时提升用户搜索感知。
2024-10-01 cs.AI cs.RO
LCMF: Lightweight Cross-Modality Mambaformer for Embodied Robotics VQA
School of Software Northwestern Polytechnical University Xi'an, China(软件学院 西安理工大学中国);Laboratoire L2Tl University Sorbonne Paris Nord Paris, France(L2Tl实验室 索邦巴黎北大学巴黎法国)
本文提出轻量级跨模态Mambaformer框架LCMF,通过多层级跨模态参数共享机制融合Cross-Attention与选择性状态空间模型,在VQA和EQA任务中实现高效多模态融合与语义对齐,同时大幅降低计算开销。
2025-09-23 cs.AI cs.RO
Emotional Tandem Robots: How Different Robot Behaviors Affect Human Perception While Controlling a Mobile Robot
University of Konstanz(康斯坦茨大学);University of Lübeck(吕贝克大学)
本研究聚焦领航-跟随场景,探讨小型移动跟随机器人的情感表达运动模式如何影响人类操作员的感知,发现不同情感行为会显著改变操作员的注意力、压力水平及偏好,为未来协同机器人设计提供了重要参考。
2024-03-06 cs.HC cs.RO
PrefMMT: Modeling Human Preferences in Preference-based Reinforcement Learning with Multimodal Transformers
College of Mechanical and Electrical Engineering, Beijing University of Chemical Technology(北京化工大学机电工程学院);Purdue University(普渡大学)
本文提出PrefMMT多模态Transformer网络,通过解耦状态与动作模态并分层建模模态内时间依赖和模态间交互,提升基于偏好的强化学习中人类偏好建模精度,并在D4RL和Meta-World基准上超越现有方法。
2025-03-11 cs.RO
The Power of Combined Modalities in Interactive Robot Learning
Medical School Ostwestfalen-Lippe(东威斯特法伦-利普医学院);Bielefeld University(比勒费尔德大学)
本研究提出“元模态”概念,通过人类参与者实验验证多模态组合可显著提升交互式机器人学习的表现与可用性,为人机交互任务学习优化提供新方向。
2024-05-13 cs.AI cs.RO