Human-Robot Collaboration: A Non-Verbal Approach with the NAO Humanoid Robot
本研究探讨NAO仿人机器人在厨房备餐等场景下,通过手势、肢体动作和视觉提示等非语言方式提供反馈以增强人机交互与安全性,发现多提示结合可提升交流效果,为未来机器人设计提供参考。
2025-03-07 cs.RO
Advances in Human-Robot Handshaking
Technical University of Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
使用社会化的拟人机器人来支持各行各业的人类一直在增加。在人机交互(HRI)中,物理交互的非语言行为是更自然交互的关键。握手是一种在许多社交环境中常用的自然交互。这是第一次发生的非语言互动之一,因此应该成为社交机器人的一部分。在本文中,我们探讨了现有的状态,人与机器人握手,并讨论了可能的方式前进,这种物理交互行为。
2020-08-26 cs.HC cs.RO
Understanding the Uncertainty Loop of Human-Robot Interaction
LMU Munich(慕尼黑大学);Honda Research Institute Europe(本田欧洲研究院)
最近,人机交互领域越来越受欢迎,因为机器人在日常任务中支持人类的可能性范围很广。支持机器人的一种形式是社交辅助机器人,其专门用于与人类通信,例如,作为服务机器人或私人伴侣。当它们通过人工智能理解人类时,这些机器人会在某个时候对人类的当前状态做出错误的假设,并给出意想不到的反应。在人与人的对话中,意外的反应经常发生。然而,目前还不清楚这些机器人应该如何行动,如果他们知道人类没有预料到他们的反应,甚至显示出他们的反应的不确定性摆在首位。为此,我们探讨了不同形式的潜在的不确定性,在人类机器人对话和类人如何可以,通过语言和非语言的线索,沟通这些不确定性。
2023-03-14 cs.HC cs.RO
Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(人机学与机器人研究所,卡尔斯鲁厄理工学院);Computer Science Department, Columbia University(计算机科学系,哥伦比亚大学)
本文提出了一种基于分层表示的机器人长期经验语言化方法,利用大规模预训练模型实现零样本学习,通过构建树状数据结构实现事件记忆的自然语言抽象,提升人机交互能力。
2025-08-14 cs.AI cs.RO
An Open-Source Reproducible Chess Robot for Human-Robot Interaction Research
Faculty of Mechanical Engineering, Delft University of Technology(代尔夫特理工大学机械工程学院)
本文提出开源国际象棋机器人OpenChessRobot,通过计算机视觉与语音手势实现人机交互,详细评估其效能并经597人调查显示其在教育和教练场景更受欢迎。
2025-04-04 cs.HC cs.RO
Multimodal Sensing and Machine Learning to Compare Printed and Verbal Assembly Instructions Delivered by a Social Robot
Louisville Automation and Robotics Research Institute (LARRI), University of Louisville(路易斯维尔自动化与机器人研究研究所(LARRI)、路易斯维尔大学)
本文利用BVP和EDA多模态生理信号及CNN/LSTM模型,比较纸质与社交机器人装配指令下的工人负荷,发现CNN结合多模态数据预测效果最佳。
2025-06-01 cs.HC cs.RO
Utilization of Non-verbal Behaviour and Social Gaze in Classroom Human-Robot Interaction Communications
University of Waterloo(滑铁卢大学)
本文探讨课堂人机交互中利用人类启发的社交凝视模型,以促进更自然的社交互动,并概述了研究场景、模型优势及未来研究目标。
2024-02-04 cs.CL cs.RO
Personalizing User Engagement Dynamics in a Non-Verbal Communication Game for Cerebral Palsy
University of Southern California(南加州大学);University of California, Irvine(加州大学欧文分校)
患有脑瘫(CP)的儿童和成人可能会因其运动障碍的症状而出现不自主的上肢运动,导致与看护人和同龄人沟通困难。我们描述了一个社会辅助机器人可以帮助个人与CP练习非语言交际手势使用一个积极的矫形器在一对一的数字猜游戏。我们进行了用户研究和数据汇集与参与者CP,我们发现,参与者更喜欢一个具体的机器人在基于屏幕的代理,我们使用的参与者数据训练个性化的参与者参与动态模型,可用于选择个性化的机器人动作。我们的工作突出了个性化模型在CP用户与社交辅助机器人的互动中的优势,并为该领域未来的工作提供了设计见解。
2021-07-15 cs.RO
Advantages of Multimodal versus Verbal-Only Robot-to-Human Communication with an Anthropomorphic Robotic Mock Driver
Centre for Applied Autonomous Sensor Systems (AASS)(应用自主传感器系统中心(AASS));Örebro University(厄勒布鲁大学);Robert Bosch GmbH(罗伯特·博世有限公司);University of Skövde(舍夫德大学);TU Munich(慕尼黑工业大学)
本文提出拟人化机器人模拟驾驶员ARMoD,通过实验比较多模态与纯语言通信,证明结合注视和手势的多模态方式能提升意图识别、自然注视行为与协作反应速度,并改善人机社会互动。
2023-07-03 cs.RO
Evaluating Gesture Recognition in Virtual Reality
Sapienza Università di Roma(罗马大学);PaleBlue
本文旨在解决人机交互中手势识别系统的数据生成与标准化挑战,提出利用虚拟现实仿真生成数据,并定义可作为地面机器人标准的手势命令。
2024-01-09 cs.HC cs.RO
Help or Hindrance: Understanding the Impact of Robot Communication in Action Teams
Department of Information Science at Cornell University(康奈尔大学信息科学系);Weill Cornell Medicine, Cornell University(韦尔医学院,康奈尔大学)
本研究通过实验室内医疗培训场景实验,探索行动团队中多模态机器人通信对工作负荷和人类感知的影响,发现特定线索组合能有效优化团队表现,为时间敏感环境下人机协作提供实践参考。
2025-06-24 cs.HC cs.RO
Open Challenges on Generating Referring Expressions for Human-Robot Interaction
KTH Royal Institute of Technology(瑞典皇家理工学院)
有效的语言沟通在人机协作中至关重要。当机器人通过口头指令帮助人类伙伴完成任务时,在交互过程中通常会使用指称表达。尽管有许多关于生成指称表达的研究,但有效的互动仍然存在关键的开放性挑战。在这项工作中,我们讨论了其中的一些挑战(即,使用上下文信息、考虑用户的观点、以及以自主的方式处理误解)。
2021-04-19 cs.RO
Affordance-Based Disambiguation of Surgical Instructions for Collaborative Robot-Assisted Surgery
Nagoya University, Japan(名古屋大学)
本文提出一种基于可供性推理的机器人手术助手框架,结合多模态视觉-语言模型与工具能力知识库消解外科医生口头指令歧义,并利用双重集合共形预测保障安全,在胆囊切除术数据集上实现60%消歧率。
2025-09-19 cs.HC cs.RO
Calling for Backup: How Children Navigate Successive Robot Communication Failures
Cornell University(康奈尔大学);Cornell University, Cornell Tech(康奈尔大学、康奈尔科技)
本研究探讨儿童在连续机器人通信故障中的反应,发现儿童在面对错误时调整提示和语音语调,但更易表现出退缩行为,为设计适合儿童的人机交互系统提供了依据。
2026-01-02 cs.HC cs.RO
Sustainable Cloud Services for Verbal Interaction with Embodied Agents
University of Genoa(热那亚大学)
本文介绍了一个基于知识的自主互动的社交机器人和其他会话代理的云系统的设计和实现。该系统对于低成本的机器人和设备特别方便:它可以用作独立的对话系统,也可以作为一个集成,为机器人可能已经具备的任何预先存在的自然语言处理能力提供“后台”对话能力,作为其基本技能的一部分。通过连接到云,开发人员可以通过网络连接管理口头交互,大约有3,000个对话主题可以“闲聊”,还有一个预先准备好的计划库,只需要根据机器人的物理能力。该系统被构造为一组REST API端点,因此可以通过添加新的API来轻松扩展,以提高连接到云的客户端的功能。该系统的另一个关键特征是,它的设计使其客户端的开发变得简单明了:通过这种方式,多个机器人和设备可以轻松地被赋予与用户自主交互的能力,了解何时执行特定操作,并利用云服务提供的所有信息。本文概述并讨论了实验结果,以评估系统的性能方面的响应时间,铺平了道路,其使用的研究和市场解决方案。ROS和流行机器人(如Pepper和NAO)的客户端存储库链接可应要求提供。
2023-03-15 cs.RO
Toward Automated Generation of Affective Gestures from Text:A Theory-Driven Approach
Politecnico di Milano(米兰理工大学);University of Southern California(南加州大学)
人-人和人-机器人交互(HRI)环境中的通信包括语言(基于语音)和非语言(面部表情,眼睛凝视,手势,身体姿势等)。语言组件包含语义和情感信息;因此,HRI到目前为止对手势组件的工作集中在基于规则(将单词映射到手势)和数据驱动(深度学习)的方法上,以基于语义或情感状态生成语音配对手势。因此,大多数手势系统都局限于产生基于语义链接或情感的手势。本文提出了一种基于语义和情感信息的机器人语音手势生成方法,并在此基础上实现了人机交互。我们的模型将文本和情感分析作为输入,并根据形状、强度和速度生成机器人手势。
2021-03-04 cs.RO
Comparing Apples to Oranges: LLM-powered Multimodal Intention Prediction in an Object Categorization Task
University of Hamburg(汉堡大学)
本文研究利用大语言模型在人与机器人协作分类任务中预测人类意图,提出融合手势、姿势、表情、环境状态和语言线索的分层多模态方法,并在五个LLM上验证了其推理潜力。
2025-04-08 cs.AI cs.HC cs.RO
GenComUI: Exploring Generative Visual Aids as Medium to Support Task-Oriented Human-Robot Communication
College of Design and Innovation, Tongji University(同济大学设计与创新学院)
本文提出由 LLM 驱动的 GenComUI,通过动态生成地图标注、路径指示和动画等视觉辅助支持人机任务通信;20 人实验表明其相较纯语音基线可提供连续视觉反馈并提升沟通效果。
2025-02-15 cs.AI cs.HC cs.RO
Cross-modality Force and Language Embeddings for Natural Human-Robot Communication
Electrical Engineering and Computer Science Massachusetts Institute of Technology(电气工程与计算机科学麻省理工学院);Department of Physical Medicine, Harvard Medical School Rehabilitation, Spaulding Rehabilitation Hospital(物理医学系哈佛医学院康复科,斯波尔丁康复医院);Mechanical Engineering Massachusetts Institute of Technology(机械工程麻省理工学院)
本文提出一种将力曲线与单词统一嵌入到潜在空间的跨模态框架,以协同协调语言与触觉通信,实现人机之间类似人类搬物般有效的自然交互。
2025-04-25 cs.AI cs.HC cs.RO
A MultiModal Social Robot Toward Personalized Emotion Interaction
The George Washington University(乔治华盛顿大学)
人类的情感通过多种方式表达,包括语言和非语言信息。此外,人类用户的情感状态可以是参与和成功交互的水平的指标,适合于机器人用作通过交互优化机器人行为的奖励因素。本研究展示了一个多模态人机交互(HRI)框架与强化学习,以提高机器人的交互政策和个性化的人类用户的情感互动。我们的目标是在社交场景中应用这个框架,让机器人生成一个更自然、更吸引人的HRI框架。
2021-10-08 cs.AI cs.RO
Bidirectional Human-Robot Communication for Physical Human-Robot Interaction
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(本田研究院美国)
本文提出BRIDGE系统,通过自然语言实现双向人机通信,提升物理交互中的互动性和透明性。
2026-01-15 cs.RO
Exploring Temporal Dependencies in Multimodal Referring Expressions with Mixed Reality
KTH Royal Institute of Technology(瑞典皇家理工学院);Aalto University(阿尔托大学)
在协作任务中,人们同时依靠语言和非语言线索来相互沟通。为了使人机交互流畅自然地运行,机器人应该具有鲁棒地消除指代表达的歧义的能力。在这项工作中,我们提出了一个模型,可以消除歧义的多模态提取请求使用的方式,如头部运动,手势和语音。我们分析了从混合现实实验中获得的数据,并提出了一个假设,即在这三种模式中对事件的时间依赖性进行建模可以提高模型的预测能力。我们评估了我们的模型的贝叶斯框架来解释所指的表达和不利用时间先验。
2019-02-04 cs.HC cs.RO
Speech-Gesture Mapping and Engagement Evaluation in Human Robot Interaction
Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
本文提出端到端系统,通过TED演讲者手势到语音的映射学习并结合观众注意力反馈,实现机器人非言语手势增强与语音即兴调整,从而提升人机交互参与度。
2018-12-09 cs.HC cs.RO
Why Robots Are Bad at Detecting Their Mistakes: Limitations of Miscommunication Detection in Human-Robot Dialogue
IDLab-AIRO, Ghent University–imec(IDLab-AIRO、根特大学–imec);Ghent University(根特大学);LT3, Ghent University(LT3、根特大学)
本研究评估了机器学习模型在检测人机对话中沟通失败的有效性,发现模型和人类评估员在识别诱导性沟通失败时表现均不佳,揭示了用户即使感知到错误也往往不向机器人传达的根本局限。
2025-06-25 cs.CL cs.HC cs.RO
EDITH: Teaching Robot to Follow Nonverbal Human Intent from Egocentric Vision and Gaze
KAIST(韩国科学技术院);Seoul National University(首尔国立大学)
提出EDITH框架,通过智能眼镜捕捉人类第一人称视角、注视和语言信号,设计分层策略将非语言信号与语言指令结合,实现更自然的人机交互,减少用户表达意图的负担。
2026-10-20 cs.AI cs.RO
Continuous ErrP detections during multimodal human-robot interaction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Duisburg-Essen(杜伊斯堡-埃森大学);Institute of Medical Technology Systems(医疗技术系统研究所)
本研究在多模态人机交互场景中实时检测错误相关电位,提出结合前后滑动窗口的特征选择方法,实现91%的平均分类准确率,并计划用于交互式强化学习以改进交互。
2022-07-25 cs.HC cs.LG cs.RO
EMOTION: Expressive Motion Sequence Generation for Humanoid Robots with In-Context Learning
Apple(苹果公司)
针对现有机器人非语言交流方法表现力不足的问题,提出基于大语言模型上下文学习的EMOTION框架,可生成符合社交场景的手势动作,实验显示其效果在特定场景下媲美甚至超越人类操作,并给出相关设计启示。
2024-10-30 cs.AI cs.RO
Bidirectional Human Interactive AI Framework for Social Robot Navigation
TUBITAK BILGEM(土耳其科学技术研究理事会信息与信息技术研究所);Bogazici University(博阿齐奇大学)
本文提出一个双向人机交互框架,结合机器人语言交流与人类手势引导,使移动机器人能预测行人轨迹并动态调整路径,从而提升社会导航的可信赖性。
2024-05-04 cs.RO
Age-Related Differences in the Perception of Eye-Gaze from a Social Robot
Örebro University(奥雷布罗大学)
研究探讨社会机器人通过指示性眼动改善老年人社会感知能力,旨在设计适应年龄差异的非语言交流方案。
2026-03-09 cs.RO
ExpressionBot: An Emotive Lifelike Robotic Face for Face-to-Face Communication
University of Denver(丹佛大学);Purdue University(普渡大学);Boulder Language Technologies(博尔德语言技术公司)
本文提出了一种情感逼真的机器人脸,称为ExpressionBot,旨在支持机器人和人类之间的语言和非语言交流,其目标是密切建模自然面对面交流的动态。所提出的机器人头部由两个主要部件组成:1)硬件部件,其包含小型投影仪、鱼眼镜头、定制设计的面具和具有3个自由度的颈部系统; 2)面部动画系统,其投影到机器人面具上,能够呈现面部表情、逼真的眼球运动和准确的视觉语音。我们提出了三项研究,比较人机交互与人机交互与基于屏幕的模型的化身。研究表明,机器人面部很受用户欢迎,在面部表情识别和相互目光接触方面具有一些优势。
2015-11-20 cs.RO
Users and Wizards in Conversations: How WoZ Interface Choices Define Human-Robot Interactions
KTH Royal Institute of Technology(瑞典皇家理工学院)
研究探讨了WoZ界面如何影响机器人对话,发现VR界面在用户和社会存在感知上更受青睐,但对魔术师来说更具挑战性并促进更紧密的连接。
2026-03-30 cs.HC cs.RO
eBear: An Expressive Bear-Like Robot
University of Denver(丹佛大学);Purdue University(普渡大学);University of North Texas(北德克萨斯大学)
本文提出了一个拟人化的机器人熊的人与机器人的互动,包括语言和非语言通信的探索。该机器人是由一个具有10个自由度的机械面板和一个配备LCD显示器的嘴组成的混合面。熊的面部表情是根据面部动作编码系统的描述以及达尔文描述的一些动物般的手势设计的。嘴部运动是通过将情绪与语音合成来实现的。用户接受调查已经进行了评估的可爱性,这些面部行为所表现出的电子熊。提出了多核学习方法,融合不同的特征来识别用户的面部表情。实验结果表明,所研制的类熊机器人能够感知基本的面部表情,并能向人类传递情感。
2015-11-20 cs.RO
Detection of social signals for recognizing engagement in human-robot interaction
会话中的参与检测是人机交互的一个重要功能。用户的参与程度会影响机器人的对话策略。我们在这项工作中的动机是检测几种行为,这些行为将被用作实时参与识别模型的社交信号输入。这些行为包括点头、大笑、言语暗示和眼神凝视。我们描述了这些行为的模型,已经从一个大型语料库的人与机器人的互动与Android机器人ERICA。模型的输入数据来自Kinect传感器和麦克风阵列。使用我们的参与识别模型,与使用手动注释作为输入相比,我们可以使用自动社交信号检测的输入来实现合理的性能。
2017-09-29 cs.HC cs.RO
Assist-As-Needed: Adaptive Multimodal Robotic Assistance for Medication Management in Dementia Care
Worcester Polytechnic Institute(沃斯特理工学院)
针对痴呆症患者药物管理能力衰退,提出基于Pepper机器人的自适应多模态辅助框架,按需提供分层干预,以保留自主性并确保依从性。
2025-10-08 cs.RO
Learning Human-like Hand Reaching for Human-Robot Handshaking
Technical University of Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
人类进行的第一个也是最重要的非语言互动之一是握手。它对第一印象有影响,因为触摸可以传达复杂的情绪。这使得握手成为社交机器人的一项重要技能。在本文中,我们提出了一个新的框架,学习达到行为的人与机器人握手行为的人形机器人只使用第三人称的人与人的互动数据。这对于无法通过动觉教学进行演示的不可反向驱动机器人特别有用。我们的方法可以很容易地执行不同的人形机器人。这消除了重新训练的需要,这在与人类交互伙伴一起训练时尤其繁琐。我们通过将学到的行为应用于两个不同的人形机器人,它们具有相似的自由度,但形状和控制限制不同。
2021-03-25 cs.HC cs.RO
Come Closer: The Effects of Robot Personality on Human Proxemics Behaviours
Heriot-Watt University(赫瑞-瓦特大学)
本研究通过固定机器人接待员Charlie,探讨内向与外向个性对人际距离的影响,发现内向机器人引发更近的接近距离,并提出新的人机交互近身空间分区。
2023-09-06 cs.RO
RFM-HRI : A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks
Cornell University, Cornell Tech(康奈尔大学,康奈尔科技)
RFM-HRI数据集通过多模态数据研究医疗机器人故障下的用户反应与恢复偏好,揭示故障对情感和控制的影响,并为安全关键场景的故障恢复提供基础。
2026-03-05 cs.HC cs.RO
An explorative study on how human-robot interaction is taken into account by robot developers in praxis
TU Delft IDE(代尔夫特理工大学工业设计工程学院)
从业者在开发新的机器人系统时如何考虑人机交互?本研究旨在探讨机器人产品的开发团队在其设计和实施过程中是否考虑了人的因素。我们特别感兴趣的是他们旨在实现的非语言沟通方法,以及他们如何处理这些方法的设计过程。尽管可以收集有关机器人操作不同阶段的任务和通信需求的宝贵见解,但本研究的结果表明,人类用户或旁观者的观点经常被忽视,并且缺乏有关工程人机交互方法的知识。这项研究是由11个开发团队组成的机器人制造商和学生在一个机器人建设过程中,代表总共68个个人参与者。
2021-10-05 cs.HC cs.RO
Context-aware collaborative pushing of heavy objects using skeleton-based intention prediction
Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia(人类-机器人接口与交互实验室,意大利技术研究院);Instituto Israelita de Ensino e Pesquisa, Hospital Israelita Albert Einstein(以色列教育与研究学院,以色列医院阿尔伯特·爱因斯坦医院)
针对无直接力反馈的重物协作推拉场景,提出用有向图神经网络分析时空人体姿态以预测运动意图,实验表明机器人辅助可降低人力消耗并提升任务效率。
2025-05-15 cs.RO
A Robot's Expressive Language Affects Human Strategy and Perceptions in a Competitive Game
Carnegie Mellon University(卡内基梅隆大学)
随着机器人越来越多地被赋予社交和沟通能力,它们将在更多的环境中与人类互动,包括合作和竞争。我们探讨人类与机器人的关系的背景下,竞争激烈的Stackelberg安全游戏。我们改变了人形机器人的表达语言(以“鼓励”或“劝阻”的口头评论的形式),并测量对参与者的理性,策略优先级,情绪和对机器人的看法的影响。我们了解到,一个机器人对手,使令人沮丧的评论导致人类玩游戏不那么理性,并认为机器人更消极。我们还贡献了一个简单的开源自然语言处理框架,用于生成表达性的句子,这是用来生成我们的自主社交机器人的语音。
2019-10-24 cs.HC cs.RO
Multimodal Human-Intent Modeling for Contextual Robot-to-Human Handovers of Arbitrary Objects
Departmant of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出一种统一方法,利用人类口头和非口头命令选择目标物体,并情境化人类隐性和显性偏好以生成机器人抓取和顺从交接运动,通过真实实验和用户研究验证了其在任意日常物体交接任务中的有效性。
2025-08-05 cs.RO
Don't Yell at Your Robot: Physical Correction as the Collaborative Interface for Language Model Powered Robots
University of Pennsylvania(宾夕法尼亚大学)
提出利用物理交互实时纠正LLM驱动机器人错误的方法,通过6自由度线性动力系统实现意图重估并转化为自然语言,提升人机协作效率。
2024-12-17 cs.HC cs.RO
An Approach to Elicit Human-Understandable Robot Expressions to Support Human-Robot Interaction
LMU Munich(慕尼黑大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Honda Research Institute EU(本田欧洲研究所)
本文提出结合人类模仿、扮演与手势引出的两阶段方法,为非人形机器人生成并验证人类可理解的非语言表达,并通过6-DoF机械臂研究验证其有效性。
2024-10-01 cs.HC cs.RO
A Sign Language Recognition System with Pepper, Lightweight-Transformer, and LLM
University of Auckland(奥克兰大学)
本文面向 Pepper 机器人构建 ASL 识别与交互系统,结合轻量 Transformer、LLM 提示工程及协同语音手势生成,验证其在真实非语言人机交互场景中的有效性。
2023-09-28 cs.CL cs.CV cs.HC
Avant-Satie! Using ERIK to encode task-relevant expressivity into the animation of autonomous social robots
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico(高等技术学院);University of Lisbon(里斯本大学)
ERIK是一种表达逆运动学技术,以前已经提出和评估算法和有限的用户交互场景。它允许自主社交机器人在跟踪用户的同时传达基于姿势的表达信息。我们开发了一个新的场景,旨在进一步验证前一个场景中一些不支持的说法。我们的实验具有完全自主的Adelino机器人,并得出结论,ERIK可以用来指导用户的选择在执行给定的任务的行动,完全通过其非语言表达队列。
2022-03-02 cs.AI cs.HC cs.RO
Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot
Istituto Italiano di Tecnologia(意大利技术研究院)
本研究在iCub机器人上设计、训练并部署了基于目光和身体姿态的深度学习模型,实现实时听者估计,并评估了其在人机交互中的性能。
2023-11-09 cs.LG cs.RO
Learning Motor Resonance in Human-Human and Human-Robot Interaction with Coupled Dynamical System
Institute for Systems and Robotics, Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院系统与机器人研究所);Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院)
人际交往涉及非常复杂的非语言沟通技巧,如理解他人的目标和行动,并相应地协调我们自己的行动。神经科学将这种机制称为运动共振,在这个意义上,对另一个人的动作和感官体验的感知激活了观察者的大脑,就好像他会执行相同的动作并拥有相同的体验。我们分析和模拟非语言的线索(手臂运动)之间交换的两个人的互动和执行交接动作。本文的贡献如下:(i)计算模型,其使用记录的运动数据,描述每个行动者在交互动作情况下的运动行为,(ii)计算模型,其通过耦合两个行动者的手臂运动,捕获对象移交动作期间“给予者”和“接受者”的行为,以及(iii)将这些模型嵌入iCub机器人中,用于动作执行和识别。我们的研究结果表明:(i)机器人可以解释人的手臂运动并识别移交动作;以及(ii)以“类人”方式行动以接收所识别的移交动作的对象。
2019-05-10 cs.RO
Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
Graduate School of Informatics, Kyoto University(京都大学情报学研究科);Computer Science Department, Boise State University(博伊西州立大学计算机科学系)
本研究提出AffectLoop系统,在Misty II机器人上实现多模态情感动态感知的说话人-听话人共情交互,经试点研究验证可提升共情响应与用户满意度。
2026-08-18 cs.CL cs.HC cs.RO
A Cross-cultural Corpus of Annotated Verbal and Nonverbal Behaviors in Receptionist Encounters
Carnegie Mellon University(卡内基梅隆大学);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校)
我们提出了第一个注释语料库的接待员互动的非语言行为,和第一个非语言语料库(不包括原始的视频和音频数据)的服务遇到免费在线。以美国英语和阿拉伯语为母语的人在卡塔尔多哈和美国匹兹堡的大学大楼接待处参加了自然主义角色扮演。他们手动注释的非语言行为包括注视方向,手部和头部姿势,躯干位置和面部表情。我们讨论了语料库的可能用途,并设想它成为一个有用的工具,人机交互社区。
2012-03-11 cs.CL cs.RO
A Multi-Modal Interaction Framework for Efficient Human-Robot Collaborative Shelf Picking
Dubai Future Labs(迪拜未来实验室);Birla Institute of Technology and Science, Pilani(比拉理工学院皮拉尼分校)
本文提出一种结合多模态交互、LLM思维链与物理仿真推理的人机协作货架拣选框架,通过手势、语音和视觉听觉反馈实现任务分工与安全取箱,并在三类真实实验中验证其有效性。
2025-04-09 cs.HC cs.RO
Clustering Social Touch Gestures for Human-Robot Interaction
University of East Anglia(东英吉利大学);San Francisco State University(旧金山州立大学);Arizona State University(亚利桑那州立大学)
本文通过45名参与者对36个社交触摸标签的分组与标注,利用层次聚类分析手势相似性,得出9个手势聚类,为社交机器人的触摸感知与交互设计提供依据。
2023-04-03 cs.HC cs.RO
SemanticScanpath: Combining Gaze and Speech for Situated Human-Robot Interaction Using LLMs
Universidad Carlos III de Madrid (UC3M)(马德里卡洛斯三世大学);Honda Research Institute Europe(本田欧洲研究所)
本文提出结合语音和目光的语义扫描路径表示,使语言模型能更准确地理解情境,解决模糊请求。通过文本语义翻译用户扫描路径和语音请求,验证了系统在多个任务和场景中的优越性。
2026-04-08 cs.HC cs.RO
Human-Robot Teaming Field Deployments: A Comparison Between Verbal and Non-verbal Communication
Department of Information Science at Cornell University(康奈尔大学信息科学系);Department of Media and Information, Michigan State University(密歇根州立大学媒体与信息系);Weill Cornell Medicine, Cornell University(韦尔医学院,康奈尔大学)
针对医护人员取用药械的挑战及机器人急救推车(RCCs)沟通模态研究空白,通过组间实验比较RCC言语/非言语沟通与传统推车在复苏场景的表现,发现言语沟通更能降低心理负荷,为高风险环境人机协作提供启示。
2025-06-24 cs.HC cs.RO
Une architecture cognitive et affective orient{é}e interaction
UGA(格勒诺布尔-阿尔卑斯大学);LIG(格勒诺布尔信息学实验室);CNRS(法国国家科学研究中心)
在本文中,我们提出了CAIO,一个面向认知和情感交互的架构,用于社会人机交互(HRI),允许机器人对精神状态(包括情感)进行推理,并在身体上,情感上和口头上采取行动。我们还提出了一个简短的场景和实现Nao机器人。
2018-10-22 cs.AI cs.RO