What Are You Looking at? Detecting Human Intention in Gaze based Human-Robot Interaction
University of Antwerp(安特卫普大学)
在基于凝视的人机交互(HRI)中,确定人的意图以进行进一步的交互是很重要的。凝视意图通常被建模为固定。然而,当看一个物体时,它是不自然的,并且很难长时间保持注视在一个点上。扫视可以在人仍然聚焦于对象时发生。人类意图的预测将在扫视期间丢失。此外,当人类意图在对象上时,由于不同的噪声源,注视可能位于对象限界框之外,这将导致错误的否定预测。在这项工作中,我们提出了一种新的方法来检测人类是否专注于HRI应用中的对象。我们通过比较假设注视与实际注视之间的相似性来确定注视意图。我们使用地球移动器的距离(EMD)来衡量相似性和1最近邻分类对象的人正在看。我们的实验结果表明,相比固定,我们的方法可以成功地确定人类的意图,即使在扫视眼球运动,并提高分类精度与嘈杂的凝视数据。我们还证明,在与机器人的互动,所提出的方法可以获得成功的预测内的对象选择的高精度。
2019-09-17 cs.RO
Gaze-based intention estimation: principles, methodologies, and applications in HRI
Honda Research Institute Europe(本田欧洲研究所)
该综述梳理了视觉运动控制的心理学原理,探讨了眼动追踪及基于眼动的模型在人机交互意图识别中的主流方法与应用,并指出了系统设计需考虑的人因问题与局限性。
2023-02-09 cs.AI cs.HC cs.RO
GazeVLA: Learning Human Intention for Robotic Manipulation
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology, Ningbo(宁波东部科技研究院);Peking University(北京大学);ShanghaiTech University(上海科技大学)
本文提出GazeVLA框架,通过学习人类意图弥合人机之间的固有差距,提升机器人操作性能。
2026-11-03 cs.RO
Gaze-Guided Robotic Vascular Ultrasound Leveraging Human Intention Estimation
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出一种视线引导的机器人血管超声系统,通过视线追踪、稳定化模块和视线引导分割网络估计操作者意图,并结合超声置信度方向校正,解决血管分叉时的扫描目标选择与接触稳定性问题。
2025-02-07 cs.RO
GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation
Zhejiang University(浙江大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院);Nanjing Institute of Technology(南京工程学院)
凝视是一种直观和直接的方式来表示个人的意图。然而,当涉及到辅助空中遥操作,旨在执行操作者的意图,很少有人关注凝视。现有的方法直接从遥控器(RC)输入中获取意图,这是不准确的,不稳定的,并且对非专业操作者不友好。此外,大多数遥操作工作不考虑环境感知,这是至关重要的,以保证安全。在本文中,我们提出了GPA遥操作,凝视增强感知觉的辅助遥操作框架,系统地解决了上述问题。该方法利用视线信息捕获操作者的意图,生成与之匹配的拓扑路径,并将其细化为安全可行的轨迹,增强了操作者对感兴趣环境的感知意识。此外,所提出的方法被集成到一个定制的四旋翼系统。大量具有挑战性的室内和室外真实世界的实验和基准比较验证了所提出的系统是可靠的,鲁棒的,甚至适用于不熟练的用户。我们将发布我们的系统源代码,以利于相关研究。
2022-02-07 cs.RO
Early Detection of Human Handover Intentions in Human-Robot Collaboration: Comparing EEG, Gaze, and Hand Motion
KTH Royal Institute of Technology(皇家理工学院);Ericsson Research(爱立信研究院)
本文针对人机协作中区分交接意图与其他动作的研究空白,通过多模态分析比较脑电图、gaze和手部运动信号,首次在同一实验环境中系统开发并测试跨模态意图检测器,发现gaze信号在交接意图检测中最早且最准确。
2025-02-17 cs.HC cs.RO
MindEye-OmniAssist: A Gaze-Driven LLM-Enhanced Assistive Robot System for Implicit Intention Recognition and Task Execution
Hubei Key Laboratory of Brain-Inspired Intelligent Systems, Huazhong University of Science and Technology(脑启发智能系统湖北省重点实验室,华中科技大学);Key Laboratory of the Ministry of Education for Image Processing and Intelligent Control, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(图像处理与智能控制教育部重点实验室,人工智能与自动化学院,华中科技大学);state key laboratory of intelligent vehicle safety technology, chongqing changan automobile co ltd(智能车辆安全技术 state key laboratory,重庆长安汽车有限公司);Science and technology innovation center, China ship development and design centre(科技创新中心,中国船舶工业设计研究中心)
本文提出视线驱动的LLM增强型辅助机器人系统MindEye-OmniAssist,通过结合LLM与视觉基础模型实现开放式隐式意图识别,并在真实实验中取得41/55的任务成功率,提升了辅助系统的通用性与有效性。
2025-08-19 cs.HC cs.RO
Natural grasp intention recognition based on gaze fixation in human-robot interaction
Huazhong University of Science and Technology(华中科技大学);Nagoya University(名古屋大学)
眼动与肢体动作密切相关,因此可以用来推断动作意图。更重要的是,在某些情况下,眼球运动是瘫痪和有严重运动障碍的患者与环境沟通和互动的唯一途径。尽管如此,眼动追踪技术作为一种意图识别方法的应用场景仍然非常有限。本文的目标是实现一种基于自然注视的抓取意图识别方法,使手部运动障碍的用户能够通过直接注视感兴趣的物体来直观地表达他/她想要做什么任务。为此,我们设计了实验来研究不同任务中注视的关系。我们从这些关系中提出了一些定量特征,并对其进行了统计分析。然后设计了一种自然的抓取意图识别方法。实验结果表明,该方法对训练对象的抓取意图识别准确率超过89%.将该方法推广应用于训练集以外的对象,平均准确率超过85%。实际环境下的抓取实验验证了该方法的有效性。
2020-12-16 cs.HC cs.RO
Unclogging Our Arteries: Using Human-Inspired Signals to Disambiguate Navigational Intentions
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
人们善于沟通他们的意图,以避免在狭窄拥挤的环境中航行时发生冲突。在许多情况下,移动机器人既缺乏解释人类意图的能力,也缺乏将自己的意图清楚地传达给共享空间的人的能力。这项工作解决了其中的第二点,利用人们如何通过观察凝视等行为来隐式地相互交流的见解,为移动机器人提供更好的社交导航技能。在一项初步的人类研究中,观察到凝视作为人们在共享空间导航期间解释彼此意图的信号的重要性。本研究是其次是虚拟代理头的开发,安装到顶部的底盘的BWIBot移动机器人平台。将虚拟代理头的性能与LED转向信号进行对比表明,自然主义的、隐式的凝视提示比LED转向信号更容易解释。
2019-11-06 cs.HC cs.RO
Understanding Teacher Gaze Patterns for Robot Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
已知人类注视是操纵任务期间潜在人类意图和目标的强有力指示器。这项工作研究了人类教师向机器人演示任务的凝视模式,并提出了这些模式可用于增强机器人学习的方法。使用动觉教学和视频演示,我们确定新的意图揭示凝视行为在教学过程中。这些被证明是翔实的各种问题,从参考框架推理分割的多步任务。基于我们的研究结果,我们提出了两个概念验证算法,表明凝视数据可以提高多步任务的子任务分类高达6%,奖励推理和策略学习为单步任务高达67%。我们的研究结果提供了一个自然的人类凝视模型的基础,在机器人学习从示范设置和利用人类的目光,以提高机器人学习目前的开放性问题。
2021-11-29 cs.RO
Incorporating Gaze into Social Navigation
目前,大多数社交导航方法都关注参与者在互动中的轨迹和位置。我们目前的工作重点是将目光整合到社交导航中,既要提示附近的行人机器人的预期轨迹,又要使机器人能够读取附近行人的意图。本文记录了一系列的实验,在我们的实验室调查的作用,凝视在社会导航。
2021-07-10 cs.RO
Age-Related Differences in the Perception of Eye-Gaze from a Social Robot
Örebro University(奥雷布罗大学)
研究探讨社会机器人通过指示性眼动改善老年人社会感知能力,旨在设计适应年龄差异的非语言交流方案。
2026-03-09 cs.RO
Unconscious and Intentional Human Motion Cues for Expressive Robot-Arm Motion Design
School of Engineering University of Hyogo(工程学院 京都大学);Faculty of Informatics Kansai University(信息学院 关西大学);Graduate School of Engineering University of Hyogo(工学研究院 京都大学)
本研究以Geister游戏为平台分析人类无意识与有意图的棋子移动动作,据此设计分阶段机器人手臂动作,发现后期撤回阶段的时间安排对印象形成至关重要,且实体机器人呈现能增强运动线索的可解读性。
2025-11-05 cs.HC cs.RO
Where Do Humans Look When Demonstrating to Robots? Human Gaze Behavior in Pick-and-Place Tasks Across Demonstration Devices
Toyota Motor Corporation(丰田汽车公司);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
研究探讨了人类在不同机器人演示设备中 gaze 行为的变化,发现设备特性会影响 gaze 从任务目标线索转向控制监控线索,影响基于 gaze 的模仿学习性能。
2026-06-29 cs.RO
Robot Gaze During Autonomous Navigation and its Effect on Social Presence
Monash University(莫纳什大学);Deakin University(迪肯大学);University of Victoria(维多利亚大学)
本研究探讨了自主导航中机器人注视行为对人类社交存在感的影响,通过现实和在线实验测试了面向路径和面向人的注视行为,发现偏好的注视方式取决于具体场景,交叉通行时面向人的注视更受偏好。
2023-05-10 cs.RO
Comparing Apples to Oranges: LLM-powered Multimodal Intention Prediction in an Object Categorization Task
University of Hamburg(汉堡大学)
本文研究利用大语言模型在人与机器人协作分类任务中预测人类意图,提出融合手势、姿势、表情、环境状态和语言线索的分层多模态方法,并在五个LLM上验证了其推理潜力。
2025-04-08 cs.AI cs.HC cs.RO
Impact of Gaze-Based Interaction and Augmentation on Human-Robot Collaboration in Critical Tasks
Department of Computer Science, Faculty of Engineering, Lund University(计算机科学系,工程学院,卢德大学)
本研究分析了在模拟搜救任务中基于头部注视的机器人控制和注视点视觉增强,发现注视点增强能显著提升任务表现、降低认知负荷并缩短任务时间,强调了注视交互在关键任务中的应用潜力。
2025-08-10 cs.RO
Projecting Robot Intentions Through Visual Cues: Static vs. Dynamic Signaling
Arizona State University(亚利桑那州立大学)
本文在协作分拣任务中比较静态与动态视觉信号对机器人意图传达和人类行为的影响,并通过信息论分析与人体实验证明组合信号可提升效率、降低认知负荷。
2023-08-19 cs.GR cs.RO
Multimodal Interaction and Intention Communication for Industrial Robots
Technical University of Munich(慕尼黑工业大学);Bosch Corporate Research(博世公司研究部);Örebro University(厄勒布鲁大学)
本文提出非人形工业机器人通过小型拟人代理进行多模态交互,利用大语言模型增强通信,以提升人机交互的安全与效率。
2025-02-25 cs.HC cs.RO
MIRAGE: Multimodal Intention Recognition and Admittance-Guided Enhancement in VR-based Multi-object Teleoperation
The Hong Kong Polytechnic University(香港理工大学);University of Jyväskylä(于韦斯屈莱大学)
针对VR多目标遥操作中感知模糊和单模态意图识别局限的问题,提出融合虚拟导纳模型与多模态CNN意图感知网络的共享控制框架,经用户研究验证可提升抓取成功率与运动效率,为多目标抓取提供鲁棒方案。
2025-09-02 cs.HC cs.RO
Action Anticipation: Reading the Intentions of Humans and Robots
Institute for Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Faculty of Technical Sciences(技术科学学院);University of Novi Sad(诺维萨德大学);University of Edinburgh(爱丁堡大学);School of Engineering(工程学院);EPFL(洛桑联邦理工学院)
人类具有处理非语言视觉线索的迷人能力,可以理解和预测其他人的行为。这种“意图解读”能力是由共同的运动指令和动作模型支撑的,我们用它们来解释别人的意图,就好像他们是我们自己的一样。我们研究不同的线索如何有助于在人际交往中的人类行为的易读性。我们的第一个贡献是一个公开的数据集,记录人体运动和眼睛凝视,在一个实验场景中获得的演员与三个主题的互动。根据这些数据,我们进行了一项人类研究,以分析不同的非语言线索对动作感知的重要性。作为我们的第二个贡献,我们使用的运动/凝视记录建立一个计算模型描述两个人之间的互动。作为第三个贡献,我们将此模型嵌入到iCub人形机器人的控制器中,并在相同的场景中以机器人作为演员进行了第二次人类研究,以验证模型的“意图读取”能力。我们的研究结果表明,这是可能的模型(非语言)的信号交换的人类在互动过程中,以及如何将这样的机制在机器人系统中的双重目标:(i)能够“阅读”人类的行动意图,和(ii)采取行动的方式,是清晰的人类。
2018-08-10 cs.RO
Rebellion and Obedience: The Effects of Intention Prediction in Cooperative Handheld Robots
University of Bristol(布里斯托大学)
在这项工作中,我们探索的意图推断的情况下,手持机器人设置的用户动作。手持机器人共享手持工具的形状和属性,同时能够处理任务信息和辅助操作。在这里,我们提出了一个意图预测模型,以提高合作任务解决。该模型从使用机器人安装的远程眼睛跟踪器捕获的用户的凝视模式中获得意图。所提出的模型产生的实时能力和可靠的精度高达1.5秒之前,预测的行动正在执行。我们评估的模型在一个辅助拾取和放置任务,并显示机器人的意图,服从或叛乱影响与机器人的合作。
2019-03-19 cs.RO
Gaze-Based Intention Recognition for Human-Robot Collaboration
University of Genoa(热那亚大学);Shibaura Institute of Technology(芝浦工业大学)
针对人机协作装配场景的空闲状态意图识别需求,对比了集成至层次任务网络规划架构的可穿戴传感器+LSTM、眼动追踪两种方案,经10名参与者测试验证二者性能与用户偏好相当,为后续融合方案提供基础。
2024-05-13 cs.HC cs.RO
Humanizing Robot Gaze Shifts: A Framework for Natural Gaze Shifts in Humanoid Robots
School of Mechanical Science and Engineering, Huazhong University of Science and Technology(机械科学与工程学院,华中科技大学)
本文提出RGS框架,通过结合认知注意力机制与生物模仿运动生成,实现人形机器人自然且上下文合适的人类化目光转移。
2026-02-25 cs.RO
Vision- and tactile-based continuous multimodal intention and attention recognition for safer physical human-robot interaction
本文提出结合简单触觉传感器与机器人摄像头进行姿态和注视分析,实现连续多模态意图与注意力识别,在Baxter上以86%的F1分数区分有意接触与意外碰撞,并通过特征降维提升泛化能力与安全性。
2023-04-19 cs.RO
Knowing Where to Look: A Planning-based Architecture to Automate the Gaze Behavior of Social Robots
Furhat Robotics(Furhat机器人公司);KTH Royal Institute of Technology(瑞典皇家理工学院)
凝视线索在人类交流中起着重要的作用,用于协调话轮转换和共同注意,以及调节亲密度。为了与人进行流畅的对话,社交机器人需要表现出类似人类的凝视行为。HRI先前的凝视控制系统(GCS)使用数据驱动或启发式方法自动化机器人凝视。然而,这些系统在本质上往往主要是反应性的。提前规划机器人凝视可以帮助实现更逼真的凝视行为和更好的眼头协调。在本文中,我们提出并实现了一种新的规划为基础的GCS。我们评估我们的系统在一个反应系统和我们提出的系统之间的比较内的主题用户研究(N=26)。结果表明,用户更喜欢所提出的系统,它是更显着的可解释性和更好地调节亲密。
2022-10-06 cs.HC cs.RO
Learning Multimodal Confidence for Intention Recognition in Human-Robot Interaction
Southeast University(东南大学)
针对人机协作中多模态融合意图识别的不确定性问题,提出结合贝叶斯融合与批量置信度学习的BMCLOP框架,在六自由度机器人实验中性能优于基线方法。
2024-05-23 cs.HC cs.LG cs.RO
Towards Intention Prediction for Handheld Robots: a Case of Simulated Block Copying
University of Bristol(布里斯托大学)
在这项工作中,我们探索的意图推断的情况下,手持机器人设置的用户动作。手持机器人共享手持工具的形状和属性,同时能够处理任务信息和辅助操作。在这里,我们提出了一个意图预测模型,以提高合作任务解决。在块复制任务中,我们使用安装在机器人上的远程眼动跟踪器收集眼睛注视数据,该眼动跟踪器用于为工作空间场景中的任务相关对象创建视觉注意的配置文件。这些配置文件用于预测用户操作,即接下来将拾取哪个块以及它将被放置在哪里。我们的研究结果表明,我们提出的模型可以预测用户的行动,以及提前采摘的准确率为87.94%(500毫秒前)和93.25%(1500毫秒前)放置的行动。
2018-10-15 cs.RO
iCub Knows Where You Look: Exploiting Social Cues for Interactive Object Detection Learning
本研究利用相互凝视、视线跟随、语音和人脸识别等社交线索,在iCub机器人上开发了动态环境下的交互式视觉目标学习系统,使机器人能在干扰物存在时通过自然交互学习新目标。
2022-12-21 cs.RO
Human Gaze and Head Rotation during Navigation, Exploration and Object Manipulation in Shared Environments with Robots
Centre for Applied Autonomous Sensor Systems (AASS), Örebro University(厄勒布鲁大学应用自主传感器系统中心(AASS));TU Munich(慕尼黑工业大学);Robert Bosch GmbH(罗伯特·博世有限公司)
本文基于THÖR-MAGNI数据集研究人机共享环境中注视与头部转动的协调关系,提出人体运动度量指标并结合语义物体标注分析注视分布,以增强机器人对人类意图和注意力的理解。
2024-06-10 cs.RO
Developing Neural Network-Based Gaze Control Systems for Social Robots
Sharif University of Technology(谢里夫理工大学)
本研究利用深度神经网络开发社交机器人眼动控制系统,通过分析不同社交场景下的目光行为,提升机器人在互动中的注意力引导能力。
2026-02-11 cs.RO
Gaze estimation learning architecture as support to affective, social and cognitive studies in natural human-robot interaction
Istituto Italiano di Tecnologia(意大利技术研究院)
本文提出一种仅依赖 iCub 机器人传感器的学习型注视估计架构,用于桌面面对面人机交互,并构建含24名参与者标注图像的新数据集以支持相关研究。
2024-10-25 cs.RO
ARDIE: AR, Dialogue, and Eye Gaze Policies for Human-Robot Collaboration
本文提出ARDIE智能体,融合增强现实、对话与眼动注视,基于决策理论制定联合策略,通过AR渲染可视化未来交互,提升人机协作效率。
2023-05-08 cs.RO
Multimodal Uncertainty Reduction for Intention Recognition in Human-Robot Interaction
TU Darmstadt(达姆施塔特工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Goethe University(歌德大学)
辅助机器人可以通过支持日常生活活动来提高老年人的生活质量和个人独立性。为了保证人与机器人之间安全直观的交互,需要自动识别人类意图。由于人类多模态地传达他们的意图,使用多个模态进行意图识别不仅可以增加对单个模态失败的鲁棒性,而且特别地减少了关于要预测的意图的不确定性。这是可取的,特别是在机器人和潜在的脆弱的人类之间的直接交互的情况下,最小的不确定性,以及关于这种实际的不确定性的知识是必要的。因此,在现有的方法相比,在这项工作中,多模态意图识别的新方法,重点是通过分类器融合的不确定性降低。对于四个考虑的模态语音,手势,注视方向和场景对象的个人意图分类器进行训练,所有这些输出的概率分布在所有可能的意图。通过使用贝叶斯方法独立意见池组合这些输出分布,可以减少关于要识别的意图的不确定性。该方法在一个7自由度的机器人手臂的协作人机交互任务进行评估。结果表明,融合分类器,结合多种形式优于各自的基础分类器,提高精度,鲁棒性,减少不确定性。
2019-07-04 cs.HC cs.LG cs.RO
Gaze2Act: Gaze-Conditioned Vision-Language-Action Policies for Interactive Robot Manipulation
MARS Lab, Nanyang Technological University(MARS实验室,南洋理工大学)
提出Gaze2Act框架,通过将人类注视作为动态意图信号,结合跨视角语义匹配和策略级条件化,实现机器人对复杂交互任务的精确操作。
2026-05-28 cs.RO
The functional and temporal roles of gaze evolve across the phases and constraints of multi-stage robot-mediated manipulation
The BioRobotics Institute, Scuola Superiore Sant’Anna(生物机器人研究所,高等圣安娜学院);Department of Excellence in Robotics and AI, Scuola Superiore Sant’Anna(机器人与人工智能卓越部门,高等圣安娜学院)
研究通过目标导向遥操作实验,发现注视仍与任务目标对齐,但视觉注意力重新分布到机械臂和物体上,增加在线监控,表明预测性注视在改变具身性时得以保留但重组。
2026-08-18 cs.RO
MINT-RVAE: Multi-Cues Intention Prediction of Human-Robot Interaction using Human Pose and Emotion Information from RGB-only Camera Data
College of Science and Engineering, Hamad Bin Khalifa University(哈马德·本·哈利法大学科学与工程学院)
本文提出仅用RGB数据的MINT-RVAE方法,通过合成序列生成、新损失函数与训练策略缓解类别不平衡,实现帧级人机交互意图预测,AUROC达0.95并超越先前工作。
2025-09-26 cs.CV cs.RO
Timely Negotiation and Correction of Shared Intentions With Body Motion
TU Berlin(柏林工业大学)
目前的机器人架构建模的互动行为不太适合的双重任务,顺序离散的行动和即时纳入信息。此外,对于基于身体运动的通信,动作也可以作为协商交互替代方案的线索,并使及时的干预成为可能。本文提出了一种基于稳定的异宿通道网络的动力系统,它提供了丰富的参数集,以不间断地调制运动,同时保持一个紧凑的状态图抽象适合推理,规划和推理。
2019-01-16 cs.RO
Gaze-based, Context-aware Robotic System for Assisted Reaching and Grasping
Imperial College London(帝国理工学院)
辅助机器人系统致力于支持那些有运动障碍的人,使他们能够再次移动并恢复功能。这些系统的主要问题是其低级控制的复杂性,以及如何将其转换为更简单,更高级的命令,这些命令对于人类用户来说是简单和直观的。我们已经创建了一个多模态系统,由不同的传感,决策和驱动方式组成,从而实现直观的人在回路辅助机器人。该系统从用户的凝视中获取线索,解码他们的意图并实现低级运动动作以实现高级任务。这导致用户只需查看感兴趣的对象,机器人系统就可以帮助他们够到这些对象,抓住它们,并使用它们与其他对象进行交互。我们提出了我们的3D凝视估计的方法,和基于语法的实现与机器人系统的动作序列。对8名受试者的3D凝视估计进行了评价,显示总体准确度为$4.68\pm0.14cm$。用5个受试者测试了完整的系统,示出了达到凝视点动作的$100\%$的成功实施和96%的拾取和放置任务的完全实施,以及$76\%$的拾取和倾倒任务。最后,我们提出了一个讨论我们的结果和未来的工作是需要改进的系统。
2019-03-06 cs.HC cs.RO
FAM-HRI: Foundation-Model Assisted Multi-Modal Human-Robot Interaction Combining Gaze and Speech
University of Tuebingen(图宾根大学);Nanyang Technological University(南洋理工大学);Mercedes-Benz(梅赛德斯-奔驰)
本文提出FAM-HRI,一种结合目光和语音的多模态人机交互框架,利用基础模型融合语言和目光输入,以提高任务执行的成功率和交互效率,为肢体障碍者提供实用解决方案。
2026-05-18 cs.HC cs.RO
The Robot in the Room: Influence of Robot Facial Expressions and Gaze on Human-Human-Robot Collaboration
University of Hamburg(汉堡大学)
机器人面部表情和凝视是增强人机交互(HRI)的重要因素,但它们对人类协作和感知的影响还没有得到很好的理解,例如,在协作游戏场景中。在这项研究中,我们设计了一个合作的三元HRI游戏的情况下,两个参与者一起工作,插入到一个形状分类器的对象。一名与会者担任了导游。向导指导扮演演员角色的另一位参与者将遮挡的物体放入分类器。一个人形机器人发出指令,观察互动,并显示社交线索,以引起两个参与者的行为变化。我们测量了人类的合作作为任务完成时间的函数,以及参与者对机器人的感知,将其行为评为智能或随机。参与者还通过填写Godspeed问卷来评估机器人。我们发现,与中性面部表情相比,当机器人在游戏开始时表现出快乐的面部表情时,人类的合作程度更高。我们还发现,当机器人在游戏结束时表现出积极的面部表情时,参与者认为机器人更聪明。机器人的行为也被认为是智能的,当它在互动开始时将目光投向向导,而不是演员。这些发现为机器人面部表情和凝视如何影响人类在协作中的行为和感知提供了见解。
2023-03-24 cs.RO
Human-Like Gaze Behavior in Social Robots: A Deep Learning Approach Integrating Human and Non-Human Stimuli
Sharif University of Technology(谢里夫理工大学)
本研究通过深度学习方法,使社交机器人在各种社交情境中更准确地模仿人类目光行为,提升与人类的互动效果。
2026-02-12 cs.HC cs.RO
Examining the legibility of humanoid robot arm movements in a pointing task
Faculty of Mathematics, Physics;Informatics, Comenius University Bratislava, Slovakia DIBRIS, University of Genoa, Genoa, Italy CONTACT, Italian Institute of Technology, Genoa, Italy Digital Health Dept., Nvision Systems \& Technologies, S.L., Barcelona, Spain Faculty of Education, University of Ljubljana, Slovenia
本研究通过NICO仿人机器人指向实验,验证了多模态优势与视觉主导假说,揭示人类可依据截断运动及身体线索预测机器人意图。
2025-08-07 cs.RO
Model-Based Testing, Using Belief-Desire-Intentions Agents, of Control Code for Robots in Collaborative Human-Robot Interactions
University of Bristol(布里斯托大学);University of the West of England(西英格兰大学)
机器人助手的软件需要进行验证,以确保其安全性和功能正确性。模拟测试允许验证中的高度真实性。然而,在执行大部分代码的同时,生成涵盖人机交互(HRI)任务中有趣的预见和不可预见场景的测试仍然是一个挑战。我们建议使用的信念,愿望,意图(BDI)代理在测试环境中,以增加模拟机器人的现实主义和人性化的刺激水平。人工智能,如代理理论,可以用于更智能的测试生成。在机器人操作系统(ROS)和Gazebo中实现了一个自动化测试平台,用于模拟人形机器人和人之间的协同工作台装配任务。验证了此任务的需求,并发现了一些意外的设计问题,从而可能导致代码改进。我们的研究结果突出了BDI代理的实用性,自动生成有效的和人性化的测试,以获得高的代码覆盖率,相比手写的定向测试,伪随机生成,和其他变体的基于模型的测试生成。此外,BDI代理允许覆盖HRI系统的组合行为,比编写用于模型检验的时序逻辑属性更容易。
2016-03-02 cs.RO
Early Turn-taking Prediction with Spiking Neural Networks for Human Robot Collaboration
Purdue University(普渡大学)
话轮转换对人类团队合作的结构至关重要。人类通常会意识到团队成员的意图,以保持或放弃他们的回合之前,一个转向开关,其中工作的责任分担任务转移。未来的合作机器人也有望提供这种能力。为此,本文提出了认知话轮转换模型(CTTM),它利用认知模型(即,脉冲神经网络),以实现早期话轮转换预测。CTTM框架可以处理多模态人类交际线索(包括隐式和显式),并在早期阶段预测人类话轮转换意图。所提出的框架进行了测试模拟手术过程中,机器人擦洗护士预测外科医生的轮流的意图。结果发现,建议的CTTM框架优于国家的最先进的话轮转换预测算法的大幅度。当呈现对通信线索的部分观察时,它的表现也优于人类(即,少于40%的完整操作)。这种早期预测能力使机器人能够在早期阶段启动轮流行动,从而促进协作并提高整体效率。
2017-09-26 cs.RO
Towards engagement models that consider individual factors in HRI: on the relation of extroversion and negative attitude towards robots to gaze and speech during a human-robot assembly task
Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用实验室);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);TU Darmstadt(达姆施塔特工业大学);LIP6(LIP6实验室);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Sorbonne Universités(索邦大学);UPMC Université Paris 06(巴黎第六大学);Institut des Systèmes Intelligents et de Robotique (ISIR)(智能系统与机器人研究所);Université Paris 8(巴黎第八大学)
估计参与度是人机交互的关键.参与度的测量通常依赖于合作伙伴交换的社会信号的动态,特别是言语和凝视。然而,这些信号的动态可能会受到个人和社会因素的影响,例如人格特质,因为有充分的证据表明,它们会严重影响两个人之间的互动方式。在这里,我们评估两个因素的影响,即外向和对机器人的消极态度,在合作任务中,人类必须亲自操纵机器人组装一个对象的语音和目光。我们评估了外向性和对机器人的消极态度的分数是否与凝视和言语线索的持续时间和频率协变。实验是用人形机器人iCub和N=56名成年参与者进行的。我们发现,性格越外向的人,与机器人交谈的次数越多,时间越长;对机器人持否定态度的人越多,他们就越少看机器人的脸,而更多地看机器人的手。我们的研究结果证实,并提供证据表明,经典的人机交互中使用的参与模型应该考虑到态度和个性特征。
2015-08-19 cs.HC cs.RO