Gaze-based dual resolution deep imitation learning for high-precision dexterous robot manipulation
Laboratory for Intelligent Systems and Informatics, Graduate School of Information Science and Technology, The University of Tokyo(智能系统与信息学实验室,信息科学与技术研究生院,东京大学)
针对高精度操作任务,提出受人类注视双分辨率视觉系统启发的深度模仿学习方法,通过高分辨率中央凹图像精确控制与低分辨率周边图像接近目标,实现穿针引线并提升计算效率。
2025-05-21 cs.AI cs.RO
Understanding Acoustic Patterns of Human Teachers Demonstrating Manipulation Tasks to Robots
Microsoft Research(微软研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人类在向其他人教授新技能或任务时,有效地使用口头语言或口头反应形式的音频信号。虽然演示允许人类以自然的方式教授机器人,但仅从轨迹学习并不能利用其他可用的模式,包括来自人类教师的音频。为了有效地利用伴随人类演示的音频提示,首先重要的是要了解存在什么样的信息并通过这些提示传达。这项工作的特点音频从人类教师演示多步操作任务的Sawyer机器人使用三种特征类型:(1)持续时间的语音使用,(2)在语音或韵律的表现力,和(3)语音的语义内容。我们从四个维度对这些特征进行分析,发现教师在(1)演示类型、(2)音频使用说明、(3)子任务和(4)演示错误等不同情况下,通过口语传达相似的语义概念。然而,语音在持续时间和表现力方面的差异性沿着四个维度存在,突出了人类音频携带的丰富信息,潜在地有利于机器人学习从演示方法的技术进步。
2022-11-01 cs.RO
Bridging Teacher Expectations and Robot Learning via Coupling Dynamics
Oakland University(奥克兰大学)
本文提出一种基于耦合动力学的人机教学交互分类量表,应用于相关文献以探究耦合动力学与教师心智模型不匹配对教学有效性及人类感知的影响。
2026-08-26 cs.HC cs.RO
Multi-task real-robot data with gaze attention for dual-arm fine manipulation
The University of Tokyo(东京大学)
本文提出包含双臂精细操作任务的多任务真实机器人数据集,结合视觉注意力与双动作标签,并应用于DAA模型,在超7k次真实试验中验证了其精细操作能力。
2024-03-19 cs.AI cs.RO
Collaborative Robot Learning from Demonstrations using Hidden Markov Model State Distribution
Rochester Institute of Technology(罗切斯特理工学院)
在机器人技术中,由于经验是昂贵的,因此需要一种交互式和快速的学习方法。机器人学习从示范(RLfD),使机器人学习的政策,从教师执行的演示。RLfD使人类用户能够以直观的方式向机器人添加新的功能,而无需明确地重新编程它。在这项工作中,我们提出了一种新的交互式框架,其中协作机器人从人类教师进行的演示中学习基于轨迹的任务技能。机器人从每个演示中提取特征,称为关键点,并使用隐马尔可夫模型(HMM)学习演示技能的模型。我们的实验结果表明,学习模型可以用来产生一个广义的轨迹为基础的技能。
2018-09-27 cs.RO
Humanizing Robot Gaze Shifts: A Framework for Natural Gaze Shifts in Humanoid Robots
School of Mechanical Science and Engineering, Huazhong University of Science and Technology(机械科学与工程学院,华中科技大学)
本文提出RGS框架,通过结合认知注意力机制与生物模仿运动生成,实现人形机器人自然且上下文合适的人类化目光转移。
2026-02-25 cs.RO
Learning Online from Corrective Feedback: A Meta-Algorithm for Robotics
University of Washington(华盛顿大学)
在模仿学习(IL)的一个关键挑战是,教师很难提供最佳状态动作演示。例如,在机器人技术中,在机器人操纵器上提供动觉演示需要教师同时控制多个自由度。要求最佳状态行动示范的困难限制了教师可以提供高质量反馈的问题空间。作为国家行动示范的替代方案,教师可以提供纠正性反馈,如他们的偏好或奖励。先前的工作已经创建了旨在从特定类型的嘈杂反馈中学习的算法,但在教师和任务中可能需要不同形式的反馈。相反,我们建议,为了从各种场景中学习,我们需要从各种反馈中学习。为了从各种反馈中学习,我们做出以下见解:教师的成本函数是潜在的,我们可以将反馈流建模为损失函数流。然后我们使用任何在线学习算法来最小化这些损失的总和。有了这个洞察力,我们可以从各种反馈中学习,这些反馈与教师的真实成本函数弱相关。我们统一以前的工作到一个一般的纠正反馈元算法,并表明,无论反馈,我们可以获得相同的遗憾界。我们通过学习在机器人赛车平台上执行家庭导航任务来展示我们的方法。我们的研究结果表明,我们的方法可以从各种噪声反馈中快速学习。
2021-04-02 cs.LG cs.RO
GazeGrasp: DNN-Driven Robotic Grasping with Wearable Eye-Gaze Interface
Skoltech(斯科尔科沃科技学院)
本研究提出GazeGrasp眼动操控机器人抓取系统,整合ESP32 CAM、MediaPipe、YOLOv8与UR10机械臂,支持磁吸对齐选物与手势控制,经13人实验验证可提升31%任务效率,为运动障碍人士提供免动手辅助机器人接口。
2025-01-14 cs.RO
Eye, Robot: Learning to Look to Act with a BC-RL Perception-Action Loop
UC Berkeley(伯克利大学)
提出EyeRobot系统,通过BC-RL感知-动作循环联合训练机械眼注视策略与机械手操作策略,实现手眼协调,从而利用单相机有效完成大工作空间操作任务。
2025-09-15 cs.CV cs.RO
Robot Gaze During Autonomous Navigation and its Effect on Social Presence
Monash University(莫纳什大学);Deakin University(迪肯大学);University of Victoria(维多利亚大学)
本研究探讨了自主导航中机器人注视行为对人类社交存在感的影响,通过现实和在线实验测试了面向路径和面向人的注视行为,发现偏好的注视方式取决于具体场景,交叉通行时面向人的注视更受偏好。
2023-05-10 cs.RO
Intent at a Glance: Gaze-Guided Robotic Manipulation via Foundation Models
University of California, Los Angeles(加州大学洛杉矶分校)
GAMMA通过结合基础模型和注视技术,实现无需特定任务训练的机器人操作自主控制,提升人机交互的直观性和可扩展性。
2026-01-08 cs.RO
Gaze2Act: Gaze-Conditioned Vision-Language-Action Policies for Interactive Robot Manipulation
MARS Lab, Nanyang Technological University(MARS实验室,南洋理工大学)
提出Gaze2Act框架,通过将人类注视作为动态意图信号,结合跨视角语义匹配和策略级条件化,实现机器人对复杂交互任务的精确操作。
2026-05-28 cs.RO
Beyond Object Selection:Markerless Gaze-based Robot Placement at Arbitrary Positions
University of Tuebingen(蒂宾根大学);Nanyang Technological University(南洋理工大学);Mercedes-Benz(梅赛德斯-奔驰)
该研究针对基于注视的机器人放置问题,提出无标记交互框架、图基参考选择方法及注视-表面交点误差指标,证实任务层面评估对齐方法的必要性。
2026-09-17 cs.RO
Age-Related Differences in the Perception of Eye-Gaze from a Social Robot
Örebro University(奥雷布罗大学)
研究探讨社会机器人通过指示性眼动改善老年人社会感知能力,旨在设计适应年龄差异的非语言交流方案。
2026-03-09 cs.RO
The Robot in the Room: Influence of Robot Facial Expressions and Gaze on Human-Human-Robot Collaboration
University of Hamburg(汉堡大学)
机器人面部表情和凝视是增强人机交互(HRI)的重要因素,但它们对人类协作和感知的影响还没有得到很好的理解,例如,在协作游戏场景中。在这项研究中,我们设计了一个合作的三元HRI游戏的情况下,两个参与者一起工作,插入到一个形状分类器的对象。一名与会者担任了导游。向导指导扮演演员角色的另一位参与者将遮挡的物体放入分类器。一个人形机器人发出指令,观察互动,并显示社交线索,以引起两个参与者的行为变化。我们测量了人类的合作作为任务完成时间的函数,以及参与者对机器人的感知,将其行为评为智能或随机。参与者还通过填写Godspeed问卷来评估机器人。我们发现,与中性面部表情相比,当机器人在游戏开始时表现出快乐的面部表情时,人类的合作程度更高。我们还发现,当机器人在游戏结束时表现出积极的面部表情时,参与者认为机器人更聪明。机器人的行为也被认为是智能的,当它在互动开始时将目光投向向导,而不是演员。这些发现为机器人面部表情和凝视如何影响人类在协作中的行为和感知提供了见解。
2023-03-24 cs.RO
Impact of Gaze-Based Interaction and Augmentation on Human-Robot Collaboration in Critical Tasks
Department of Computer Science, Faculty of Engineering, Lund University(计算机科学系,工程学院,卢德大学)
本研究分析了在模拟搜救任务中基于头部注视的机器人控制和注视点视觉增强,发现注视点增强能显著提升任务表现、降低认知负荷并缩短任务时间,强调了注视交互在关键任务中的应用潜力。
2025-08-10 cs.RO
Multimodal Gaze Stabilization of a Humanoid Robot based on Reafferences
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
凝视稳定是人形机器人的基础。通过稳定视觉,它增强了对环境的感知,并将兴趣点保持在视野中。在这方面的贡献,多模态凝视稳定相结合的经典逆运动控制与前庭眼和视动反射。受神经科学的启发,它实现了一个前向模型,可以根据反射原理调节反射。这一原理将自发运动从自反反馈回路中过滤出来。在Armar-III人形机器人上的实验验证了该方法的通用性和有效性。它首先表明,每个稳定机制(逆运动学和反射)执行比其他作为一个函数的扰动类型稳定。此外,通过反射组合这三种模态提供了可以处理任何种类的扰动的通用注视稳定器。
2017-03-01 cs.RO
What Are You Looking at? Detecting Human Intention in Gaze based Human-Robot Interaction
University of Antwerp(安特卫普大学)
在基于凝视的人机交互(HRI)中,确定人的意图以进行进一步的交互是很重要的。凝视意图通常被建模为固定。然而,当看一个物体时,它是不自然的,并且很难长时间保持注视在一个点上。扫视可以在人仍然聚焦于对象时发生。人类意图的预测将在扫视期间丢失。此外,当人类意图在对象上时,由于不同的噪声源,注视可能位于对象限界框之外,这将导致错误的否定预测。在这项工作中,我们提出了一种新的方法来检测人类是否专注于HRI应用中的对象。我们通过比较假设注视与实际注视之间的相似性来确定注视意图。我们使用地球移动器的距离(EMD)来衡量相似性和1最近邻分类对象的人正在看。我们的实验结果表明,相比固定,我们的方法可以成功地确定人类的意图,即使在扫视眼球运动,并提高分类精度与嘈杂的凝视数据。我们还证明,在与机器人的互动,所提出的方法可以获得成功的预测内的对象选择的高精度。
2019-09-17 cs.RO
Gaze estimation learning architecture as support to affective, social and cognitive studies in natural human-robot interaction
Istituto Italiano di Tecnologia(意大利技术研究院)
本文提出一种仅依赖 iCub 机器人传感器的学习型注视估计架构,用于桌面面对面人机交互,并构建含24名参与者标注图像的新数据集以支持相关研究。
2024-10-25 cs.RO
Human Gaze and Head Rotation during Navigation, Exploration and Object Manipulation in Shared Environments with Robots
Centre for Applied Autonomous Sensor Systems (AASS), Örebro University(厄勒布鲁大学应用自主传感器系统中心(AASS));TU Munich(慕尼黑工业大学);Robert Bosch GmbH(罗伯特·博世有限公司)
本文基于THÖR-MAGNI数据集研究人机共享环境中注视与头部转动的协调关系,提出人体运动度量指标并结合语义物体标注分析注视分布,以增强机器人对人类意图和注意力的理解。
2024-06-10 cs.RO
The functional and temporal roles of gaze evolve across the phases and constraints of multi-stage robot-mediated manipulation
The BioRobotics Institute, Scuola Superiore Sant’Anna(生物机器人研究所,高等圣安娜学院);Department of Excellence in Robotics and AI, Scuola Superiore Sant’Anna(机器人与人工智能卓越部门,高等圣安娜学院)
研究通过目标导向遥操作实验,发现注视仍与任务目标对齐,但视觉注意力重新分布到机械臂和物体上,增加在线监控,表明预测性注视在改变具身性时得以保留但重组。
2026-08-18 cs.RO
MIHRaGe: A Mixed-Reality Interface for Human-Robot Interaction via Gaze-Oriented Control
Engineering School of São Carlos University of São Paulo(圣保罗大学圣卡洛斯工程学院);Massachussets Institute of Technology(麻省理工学院);Hospital Israelita Albert Einstein(以色列医院阿尔伯特·爱因斯坦医院)
本文提出MIHRaGe混合现实界面,融合注视跟踪与机器人辅助,实现仅用眼动控制机器人,实验显示80%任务成功率,验证了其提升人机交互可及性的潜力。
2025-05-06 cs.RO
Quantifying Teaching Behaviour in Robot Learning from Demonstration
King's College London(伦敦国王学院)
示教学习允许快速部署的机器人操作器的许多任务,依靠一个人告诉机器人做什么,而不是编程它。虽然这种方法提供了许多机会,测量,评估和提高人的教学能力仍然在很大程度上是未开发的机器人操作研究。为此,本文提出了一种示范性示教学习模式,它结合了教师对学习者的理解和影响。该模型用于明确教师在示教学习过程中的目标,为如何定义教学失败和教学效率提供了新的视角。这种方法的好处是在两个实验(N=30和N=36,分别),这突出了教师在提供有效的示范困难,并显示如何~169-180%的教学效率可以通过评价和反馈所提出的框架,相对于无指导的教学实现。
2019-05-10 cs.AI cs.HC cs.LG
Developing Neural Network-Based Gaze Control Systems for Social Robots
Sharif University of Technology(谢里夫理工大学)
本研究利用深度神经网络开发社交机器人眼动控制系统,通过分析不同社交场景下的目光行为,提升机器人在互动中的注意力引导能力。
2026-02-11 cs.RO
Design and Implementation of a Human-Robot Joint Action Framework using Augmented Reality and Eye Gaze
Monash University(莫纳什大学);University of Victoria(维多利亚大学)
当人类共同完成一项联合任务时,每个人都会建立一个关于情况及其演变的内部模型。有效的协作取决于这些个体模型如何重叠以在团队成员之间形成共享的心理模型,这对于人机团队中的协作过程非常重要。准确的共享心智模型的开发和维护需要个人意图的双向沟通以及解释其他团队成员意图的能力。为了实现有效的人机协作,提出了一种新的人机协作联合行动框架的设计与实现,该框架利用增强现实(AR)技术和用户眼睛注视实现意图的双向交流。我们通过一项有37名参与者的用户研究测试了我们的新框架,发现我们的系统提高了任务效率、信任度和任务流畅性。因此,使用AR和眼睛凝视来实现双向通信是改善影响人类和机器人之间协作的核心组件的一种有前途的方法。
2022-08-25 cs.RO
ARDIE: AR, Dialogue, and Eye Gaze Policies for Human-Robot Collaboration
本文提出ARDIE智能体,融合增强现实、对话与眼动注视,基于决策理论制定联合策略,通过AR渲染可视化未来交互,提升人机协作效率。
2023-05-08 cs.RO
Gaze-based Human-Robot Interaction System for Infrastructure Inspections
University of California, Los Angeles(加州大学洛杉矶分校);University of Waterloo(滑铁卢大学)
针对基础设施目视检测主观且不可重复的问题,提出基于凝视与混合现实全息图的人机交互系统,实现缺陷属性实时估计和在线进度监测,并通过受控实验验证其有效性。
2024-03-12 cs.RO
I Can See Your Aim: Estimating User Attention From Gaze For Handheld Robot Collaboration
University of Bristol(布里斯托大学)
本文探讨了估计用户的注意力在合作的手持机器人的设置:一个机器人设计的行为作为一个手持工具,但有水平的任务知识。我们使用一个工具安装的视线跟踪系统,其中,通过试点研究建模后,我们使用的代理估计用户的注意力。然后,该信息用于在选择和参与动态屏幕上的对象的任务中与用户合作。通过视频游戏设置,我们测试了不同程度的机器人自主性,从完全自主,机器人知道它必须做什么和行动,到没有自主权,用户完全控制任务。我们的研究结果衡量性能和主观指标,并显示如何注意力模型有利于用户的互动和偏好。
2018-10-15 cs.RO
Judging by the Look: The Impact of Robot Gaze Strategies on Human Cooperation
University of Hamburg(汉堡大学)
人眼注视在传递信息、传达意图和理解他人的心理状态方面起着重要作用。先前的研究表明,机器人的凝视也会影响人类在互动过程中的决策和策略。然而,有限的研究已经训练人形机器人在基于凝视的数据在人机交互场景。考虑到视线影响社会交流的自然性和改变观察者的决策过程,它应该被视为人机交互中的一个重要组成部分。为了研究机器人凝视对人类的影响,我们提出了一个具体的神经模型来执行类似人类的凝视转移。这是通过扩展社交注意力模型并在观看人类玩游戏时收集的眼动跟踪数据上对其进行训练来实现的。我们将比较人类的行为表现,在机器人采用不同的凝视策略,在人与人的合作游戏的存在。
2022-08-25 cs.HC cs.RO
Gaze-Aware Task Progression Detection Framework for Human-Robot Interaction Using RGB Cameras
Department of Computer Science, Vrije Universiteit Amsterdam(范德比尔特大学阿姆斯特丹计算机科学系);Department of Movement Sciences, Vrije Universiteit Amsterdam(范德比尔特大学阿姆斯特丹运动科学系)
本文提出一种无需校准的框架,利用RGB摄像头和先进的眼动估计技术,通过任务界面与机器人面部的注意力模式检测任务进度,实验表明其在任务完成检测中准确率达77.6%。
2026-03-16 cs.RO
iCub Detecting Gazed Objects: A Pipeline Estimating Human Attention
iCub Detecting Gazed Objects: A Pipeline Estimating Human Attention(iCub 视觉注意力检测:一个人类注意力估计管道)
提出基于视觉反馈的iCub注视物体检测流程,结合人脸检测、注意力预测与在线物体检测,并构建超2.2万张图像的数据集作为桌面HRI基准,验证了其提升社交机器人协作能力的潜力。
2024-05-09 cs.RO
GAZELOAD A Multimodal Eye-Tracking Dataset for Mental Workload in Industrial Human-Robot Collaboration
Department of industrial Automation Technology TU Berlin(工业自动化技术系 柏林技术大学)
GAZELOAD数据集通过多模态眼动数据支持工业人机协作中心理负荷的估计与分析,包含眼动信号、环境数据及自我报告评分,用于算法开发与评估。
2026-01-29 cs.RO
Investigating the Usability of Collaborative Robot control through Hands-Free Operation using Eye gaze and Augmented Reality
Hanyang University(汉阳大学);Hanyang University ERICA(汉阳大学ERICA校区)
本文提出一种基于增强现实和眼动追踪的免手持移动机器人控制方法,通过HoloLens 2实现,实验表明其可用性优于传统操纵杆,可提升人机协作效率。
2023-06-22 cs.RO
Gaze-Guided Robotic Vascular Ultrasound Leveraging Human Intention Estimation
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出一种视线引导的机器人血管超声系统,通过视线追踪、稳定化模块和视线引导分割网络估计操作者意图,并结合超声置信度方向校正,解决血管分叉时的扫描目标选择与接触稳定性问题。
2025-02-07 cs.RO
Incorporating Gaze into Social Navigation
目前,大多数社交导航方法都关注参与者在互动中的轨迹和位置。我们目前的工作重点是将目光整合到社交导航中,既要提示附近的行人机器人的预期轨迹,又要使机器人能够读取附近行人的意图。本文记录了一系列的实验,在我们的实验室调查的作用,凝视在社会导航。
2021-07-10 cs.RO
Analysis of Mutual and Referential Human and Robot Gazes in a Collaborative Word Association Game
Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)(慕尼黑工业大学慕尼黑机器人与机器智能研究所 (MIRMI));Centre for Applied Autonomous Sensor Systems (AASS), Örebro University(厄勒布鲁大学应用自主传感器系统中心 (AASS));Robotics Insitute Germany (RIG)(德国机器人研究所 (RIG))
研究在协作式词语联想游戏中机器人注视对人类视觉注意力的影响及人类是否向机器人寻求确认注视,通过与NAO机器人实验,用多种方式分析互动,发现任务语言方面掩盖注视影响,为相关设计提供见解。
2026-07-15 cs.HC cs.RO
Using Physiological Measures, Gaze, and Facial Expressions to Model Human Trust in a Robot Partner
School of Engineering and Applied Science, University of Virginia(弗吉尼亚大学工程与应用科学学院)
本文首次通过面对面人机监督交互实验构建信任数据集,结合生理指标、注视和面部表情训练机器学习模型,发现多模态传感器组合及Extra Trees、Random Forest、Decision Trees分类器能更准确地检测人对机器人伙伴的信任。
2025-04-07 cs.RO
Perception Is All You Need: A Neuroscience Framework for Low Cost Sensorless Gaze in HRI
Computing and Software, Faculty of Engineering, McMaster University(麦克马斯特大学工程学院计算与软件系)
本文提出一种无需传感器的低成本注视框架,利用人类视觉系统中的凸性假设,通过纸板机器人实现人机交互中的注视跟随,避免了昂贵设备和隐私问题。
2026-04-10 cs.RO
Knowing Where to Look: A Planning-based Architecture to Automate the Gaze Behavior of Social Robots
Furhat Robotics(Furhat机器人公司);KTH Royal Institute of Technology(瑞典皇家理工学院)
凝视线索在人类交流中起着重要的作用,用于协调话轮转换和共同注意,以及调节亲密度。为了与人进行流畅的对话,社交机器人需要表现出类似人类的凝视行为。HRI先前的凝视控制系统(GCS)使用数据驱动或启发式方法自动化机器人凝视。然而,这些系统在本质上往往主要是反应性的。提前规划机器人凝视可以帮助实现更逼真的凝视行为和更好的眼头协调。在本文中,我们提出并实现了一种新的规划为基础的GCS。我们评估我们的系统在一个反应系统和我们提出的系统之间的比较内的主题用户研究(N=26)。结果表明,用户更喜欢所提出的系统,它是更显着的可解释性和更好地调节亲密。
2022-10-06 cs.HC cs.RO
GazeVLA: Learning Human Intention for Robotic Manipulation
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology, Ningbo(宁波东部科技研究院);Peking University(北京大学);ShanghaiTech University(上海科技大学)
本文提出GazeVLA框架,通过学习人类意图弥合人机之间的固有差距,提升机器人操作性能。
2026-11-03 cs.RO
Real-Time Detection of Robot Failures Using Gaze Dynamics in Collaborative Tasks
The University of Melbourne(墨尔本大学)
本研究利用眼动追踪注视动态训练多种机器学习分类器,实现人机协作中执行性与决策性机器人故障的实时检测,其中Random Forest在前5秒数据上分别达到90%和80%的准确率。
2025-02-27 cs.HC cs.RO
Enhancing Reusability of Learned Skills for Robot Manipulation via Gaze Information and Motion Bottlenecks
Graduate School of Information Science and Technology, Mechano-Informatics Department, The University of Tokyo(信息科学与技术研究生学校,机械信息学系,东京大学)
针对机器人操作技能泛化性不足的问题,提出GazeBot算法,利用注视信息和运动瓶颈实现学习动作的高可复用性,在新场景中成功率优于现有模仿学习方法,且训练过程数据驱动。
2025-08-26 cs.CV cs.RO
Utilization of Non-verbal Behaviour and Social Gaze in Classroom Human-Robot Interaction Communications
University of Waterloo(滑铁卢大学)
本文探讨课堂人机交互中利用人类启发的社交凝视模型,以促进更自然的社交互动,并概述了研究场景、模型优势及未来研究目标。
2024-02-04 cs.CL cs.RO
MoGaze: A Dataset of Full-Body Motions that Includes Workspace Geometry and Eye-Gaze
University of Stuttgart(斯图加特大学);TU Berlin(柏林工业大学)
随着机器人越来越多地出现在开放的人类环境中,机器人系统理解和预测人类运动将变得至关重要。这种能力在很大程度上取决于运动捕捉数据的质量和可用性。然而,现有的全身运动数据集很少包括1)长序列的操纵任务,2)工作空间几何形状的3D模型,以及3)眼睛注视,当机器人需要预测人类的运动时,这些都很重要。因此,在本文中,我们提出了一个新的全身运动数据集,用于日常操作任务,其中包括上述内容。运动数据的捕获使用传统的运动捕捉系统的基础上反射标记。此外,我们还使用可穿戴的瞳孔跟踪设备捕获了眼睛注视。正如我们在实验中所示,该数据集可用于全身运动预测算法的设计和评估。此外,我们的实验表明,眼睛凝视是人类意图的一个强有力的预测因素。该数据集包括180分钟的动作捕捉数据,其中执行了1627个拾取和放置动作。它可以在https://humans-to-robots-motion.github.io/mogaze上找到,并计划在不久的将来扩展到两个人的协作任务。
2020-11-23 cs.RO
Gazing at Failure: Investigating Human Gaze in Response to Robot Failure in Collaborative Tasks
The University of Melbourne(墨尔本大学)
本研究通过用户实验发现,人类凝视动态可可靠指示机器人失败类型与时机,为自动检测和恢复提供依据。
2025-02-24 cs.HC cs.RO
Glance-Say: Multimodal Human-Robot Collaboration and Intent Recognition via Sticky Glance
University of Tuebingen(图宾根大学);Nanyang Technological University(南洋理工大学);Mercedes-Benz(梅赛德斯-奔驰)
针对运动障碍者,本文提出多模态交互框架,用粘性注视算法稳定基于注视的意图,引入注视-语音交互范式及共享控制方案,实验表明其在目标跟踪、选择精度及任务时长上效果更佳。
2026-07-07 cs.RO
Gaze Estimation for Human-Robot Interaction: Analysis Using the NICO Platform
本文在共享工作空间的人机交互场景中,利用NICO平台新数据集评估四种视线估计模型,发现角度误差接近通用基准但距离误差达16.48厘米,并给出集成建议。
2026-10-09 cs.CV cs.RO
I Can See it in Your Eyes: Gaze as an Implicit Cue of Uncanniness and Task Performance in Repeated Interactions
Uppsala University(乌普萨拉大学);University of Potsdam(波茨坦大学)
在过去的几年里,广泛的研究一直致力于开发强大的平台和数据驱动的对话模型,以支持长期的人机交互。然而,人们对机器人的看法和与机器人的互动如何随着时间的推移而发展,以及如何通过隐式和连续测量技术准确评估这些方面知之甚少。在本文中,我们通过让参与者参与三个互动会话来探索这一点,其间有多天的零暴露。每个会话包括与机器人的联合任务以及任务之前和之后的两次简短的社交聊天。我们用可穿戴的眼动仪测量参与者的凝视模式,并使用问卷调查来衡量他们对机器人的感知、参与度和联合任务。结果显示,社交聊天中的厌恶目光是机器人的怪异的一个指标,在联合任务中,人们越多地注视机器人,他们的表现就越差。与大多数HRI文献相比,我们的研究结果表明,凝视共同关注的对象,而不是凝视机器人伙伴,是参与联合任务最有意义的预测因素。此外,在重复的互动中的凝视模式的分析揭示,人们在社交聊天中的相互凝视随着时间的推移与他们对机器人的看法一致。这些是HRI社区的关键发现,因为它们意味着凝视行为可以用作人们在社交聊天中对机器人的感知以及他们在联合任务中的参与和任务表现的隐式测量。
2021-02-23 cs.HC cs.RO
Human-Like Gaze Behavior in Social Robots: A Deep Learning Approach Integrating Human and Non-Human Stimuli
Sharif University of Technology(谢里夫理工大学)
本研究通过深度学习方法,使社交机器人在各种社交情境中更准确地模仿人类目光行为,提升与人类的互动效果。
2026-02-12 cs.HC cs.RO
Prioritized Kinematic Control of Joint-Constrained Head-Eye Robots using the Intermediate Value Approach
University of Texas at Austin(德克萨斯大学奥斯汀分校)
现有的头眼机器人凝视控制器只能处理单个注视点。在这里,提出了一种通用的头眼机器人控制器,能够执行笛卡尔空间中的同步和优先的固定轨迹。这使得能够指定具有优先级的多个操作空间行为,使得低优先级头部定向任务的执行不会干扰较高优先级的眼睛注视任务的满足。通过我们的方法,头眼机器人固有地获得仿生前庭眼反射(VOR),这是自我生成的运动下的凝视稳定的能力。所描述的控制器利用递归零空间投影来编码联合限制约束和任务优先级。为了处理关节限制任务作为约束插入或移除时出现的解不连续性,应用中间期望值(IDV)方法。实验验证的控制器的属性与梦想家人形机器人。我们的贡献是(1)制定一个理想的凝视任务作为一个操作空间定向任务,(2)IDV方法的应用细节,优先级的头眼机器人控制器,可以处理中间关节约束,和(3)最小加加速度规范的行为和轨迹生成笛卡尔空间。
2018-09-24 cs.RO
SemanticScanpath: Combining Gaze and Speech for Situated Human-Robot Interaction Using LLMs
Universidad Carlos III de Madrid (UC3M)(马德里卡洛斯三世大学);Honda Research Institute Europe(本田欧洲研究所)
本文提出结合语音和目光的语义扫描路径表示,使语言模型能更准确地理解情境,解决模糊请求。通过文本语义翻译用户扫描路径和语音请求,验证了系统在多个任务和场景中的优越性。
2026-04-08 cs.HC cs.RO
Gaze Behavior During a Long-Term, In-Home, Social Robot Intervention for Children with ASD
Department of Computer Science, Yale University(计算机科学系,耶鲁大学);Center for Child Health, Behavior, and Development, Seattle Children’s Research Institute(儿童健康、行为与发展中心,西雅图儿童研究研究所);Department of Pediatrics, University of Washington School of Medicine(儿科系,华盛顿大学医学院)
本研究探讨为期一个月的家庭内社交机器人干预对ASD儿童注视行为的影响,发现该干预能有效促进儿童与照顾者间的眼神接触和共同注意,且ASD诊断指标可预测注视模式,突显了机器人辅助干预的临床潜力。
2025-01-05 cs.CV cs.RO
Gaze Stabilization for Humanoid Robots: a Comprehensive Framework
Istituto Italiano di Tecnologia(意大利理工学院)
凝视稳定是人形机器人的一个重要要求。以前的工作集中在惯性和视觉信息的整合。很少有人注意到第三个组成部分,这是机器人对自己运动的知识。在这项工作中,我们提出了一个全面的框架凝视稳定的人形机器人。我们专注于补偿的问题,在相机中引起的干扰,由于自我产生的运动的机器人。在这项工作中,我们采用了两个独立的信号稳定:(1)从发送到关节的速度命令,而机器人自主移动的预期项;(2)从板上的陀螺仪,补偿不可预测的外部干扰的反馈项。首先,我们提供的数学公式推导出前向和微分运动学的固定点的立体系统。最后,我们在iCub机器人上测试了我们的方法。我们表明,稳定一致地减少了残留的光流在机器人的运动过程中,在存在外部干扰。我们还表明,颈部自由度的适当整合是至关重要的,以实现正确的稳定。
2014-11-13 cs.CV cs.RO
Towards engagement models that consider individual factors in HRI: on the relation of extroversion and negative attitude towards robots to gaze and speech during a human-robot assembly task
Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用实验室);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);TU Darmstadt(达姆施塔特工业大学);LIP6(LIP6实验室);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Sorbonne Universités(索邦大学);UPMC Université Paris 06(巴黎第六大学);Institut des Systèmes Intelligents et de Robotique (ISIR)(智能系统与机器人研究所);Université Paris 8(巴黎第八大学)
估计参与度是人机交互的关键.参与度的测量通常依赖于合作伙伴交换的社会信号的动态,特别是言语和凝视。然而,这些信号的动态可能会受到个人和社会因素的影响,例如人格特质,因为有充分的证据表明,它们会严重影响两个人之间的互动方式。在这里,我们评估两个因素的影响,即外向和对机器人的消极态度,在合作任务中,人类必须亲自操纵机器人组装一个对象的语音和目光。我们评估了外向性和对机器人的消极态度的分数是否与凝视和言语线索的持续时间和频率协变。实验是用人形机器人iCub和N=56名成年参与者进行的。我们发现,性格越外向的人,与机器人交谈的次数越多,时间越长;对机器人持否定态度的人越多,他们就越少看机器人的脸,而更多地看机器人的手。我们的研究结果证实,并提供证据表明,经典的人机交互中使用的参与模型应该考虑到态度和个性特征。
2015-08-19 cs.HC cs.RO