Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(人机学与机器人研究所,卡尔斯鲁厄理工学院);Computer Science Department, Columbia University(计算机科学系,哥伦比亚大学)
本文提出了一种基于分层表示的机器人长期经验语言化方法,利用大规模预训练模型实现零样本学习,通过构建树状数据结构实现事件记忆的自然语言抽象,提升人机交互能力。
2025-08-14 cs.AI cs.RO
Mechanical Chameleons: Evaluating the effects of a social robot's non-verbal behavior on social influence
KTH Royal Institute of Technology(瑞典皇家理工学院)
在本文中,我们提出了一个试点研究,探讨非语言行为如何影响社会机器人的社会影响力。我们还提出了一个模块化的系统,它能够控制非言语行为的基础上,对话者的面部表情(头部运动和面部表情)的实时的,以及一项研究,调查是否有三种不同的策略,面部表情(“静止”、“自然运动”,即从另一对话记录的运动,以及“复制”,即,模仿具有四秒延迟的用户)对“生存任务”中的社会影响和决策制定有任何影响。我们的初步结果显示,这三种情况之间没有显着差异,但这可能是由于研究参与者数量较少等原因。
2021-09-02 cs.HC cs.RO
A Comparison of Visualisation Methods for Disambiguating Verbal Requests in Human-Robot Interaction
KTH Royal Institute of Technology(瑞典皇家理工学院)
拾取人类用户请求的对象是人机交互中的常见任务。当多个对象匹配用户的口头描述时,机器人需要在执行动作之前澄清用户指的是哪个对象。先前的研究集中在感知用户的多模态行为,以补充口头命令或尽量减少后续问题的数量,以减少任务时间。在本文中,我们提出了一个系统的参考消歧的基础上可视化和比较三种方法来消除歧义的自然语言指令。在YuMi机器人的受控实验中,我们研究了三种条件下的工作空间的实时增强-混合现实,增强现实和监视器作为基线-使用时间和准确性等客观指标,以及参与度,沉浸感和显示干扰等主观指标。在准确性和参与的条件之间的显着差异,但没有发现在任务时间的差异。尽管混合现实条件下的出错率更高,但参与者发现该模式比其他两种更吸引人,但总体上显示出对增强现实条件的偏好,而不是监视器和混合现实条件。
2018-01-26 cs.HC cs.RO
Personalizing User Engagement Dynamics in a Non-Verbal Communication Game for Cerebral Palsy
University of Southern California(南加州大学);University of California, Irvine(加州大学欧文分校)
患有脑瘫(CP)的儿童和成人可能会因其运动障碍的症状而出现不自主的上肢运动,导致与看护人和同龄人沟通困难。我们描述了一个社会辅助机器人可以帮助个人与CP练习非语言交际手势使用一个积极的矫形器在一对一的数字猜游戏。我们进行了用户研究和数据汇集与参与者CP,我们发现,参与者更喜欢一个具体的机器人在基于屏幕的代理,我们使用的参与者数据训练个性化的参与者参与动态模型,可用于选择个性化的机器人动作。我们的工作突出了个性化模型在CP用户与社交辅助机器人的互动中的优势,并为该领域未来的工作提供了设计见解。
2021-07-15 cs.RO
Advantages of Multimodal versus Verbal-Only Robot-to-Human Communication with an Anthropomorphic Robotic Mock Driver
Centre for Applied Autonomous Sensor Systems (AASS)(应用自主传感器系统中心(AASS));Örebro University(厄勒布鲁大学);Robert Bosch GmbH(罗伯特·博世有限公司);University of Skövde(舍夫德大学);TU Munich(慕尼黑工业大学)
本文提出拟人化机器人模拟驾驶员ARMoD,通过实验比较多模态与纯语言通信,证明结合注视和手势的多模态方式能提升意图识别、自然注视行为与协作反应速度,并改善人机社会互动。
2023-07-03 cs.RO
Open Challenges on Generating Referring Expressions for Human-Robot Interaction
KTH Royal Institute of Technology(瑞典皇家理工学院)
有效的语言沟通在人机协作中至关重要。当机器人通过口头指令帮助人类伙伴完成任务时,在交互过程中通常会使用指称表达。尽管有许多关于生成指称表达的研究,但有效的互动仍然存在关键的开放性挑战。在这项工作中,我们讨论了其中的一些挑战(即,使用上下文信息、考虑用户的观点、以及以自主的方式处理误解)。
2021-04-19 cs.RO
Sustainable Cloud Services for Verbal Interaction with Embodied Agents
University of Genoa(热那亚大学)
本文介绍了一个基于知识的自主互动的社交机器人和其他会话代理的云系统的设计和实现。该系统对于低成本的机器人和设备特别方便:它可以用作独立的对话系统,也可以作为一个集成,为机器人可能已经具备的任何预先存在的自然语言处理能力提供“后台”对话能力,作为其基本技能的一部分。通过连接到云,开发人员可以通过网络连接管理口头交互,大约有3,000个对话主题可以“闲聊”,还有一个预先准备好的计划库,只需要根据机器人的物理能力。该系统被构造为一组REST API端点,因此可以通过添加新的API来轻松扩展,以提高连接到云的客户端的功能。该系统的另一个关键特征是,它的设计使其客户端的开发变得简单明了:通过这种方式,多个机器人和设备可以轻松地被赋予与用户自主交互的能力,了解何时执行特定操作,并利用云服务提供的所有信息。本文概述并讨论了实验结果,以评估系统的性能方面的响应时间,铺平了道路,其使用的研究和市场解决方案。ROS和流行机器人(如Pepper和NAO)的客户端存储库链接可应要求提供。
2023-03-15 cs.RO
Toward Automated Generation of Affective Gestures from Text:A Theory-Driven Approach
Politecnico di Milano(米兰理工大学);University of Southern California(南加州大学)
人-人和人-机器人交互(HRI)环境中的通信包括语言(基于语音)和非语言(面部表情,眼睛凝视,手势,身体姿势等)。语言组件包含语义和情感信息;因此,HRI到目前为止对手势组件的工作集中在基于规则(将单词映射到手势)和数据驱动(深度学习)的方法上,以基于语义或情感状态生成语音配对手势。因此,大多数手势系统都局限于产生基于语义链接或情感的手势。本文提出了一种基于语义和情感信息的机器人语音手势生成方法,并在此基础上实现了人机交互。我们的模型将文本和情感分析作为输入,并根据形状、强度和速度生成机器人手势。
2021-03-04 cs.RO
A Cross-cultural Corpus of Annotated Verbal and Nonverbal Behaviors in Receptionist Encounters
Carnegie Mellon University(卡内基梅隆大学);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校)
我们提出了第一个注释语料库的接待员互动的非语言行为,和第一个非语言语料库(不包括原始的视频和音频数据)的服务遇到免费在线。以美国英语和阿拉伯语为母语的人在卡塔尔多哈和美国匹兹堡的大学大楼接待处参加了自然主义角色扮演。他们手动注释的非语言行为包括注视方向,手部和头部姿势,躯干位置和面部表情。我们讨论了语料库的可能用途,并设想它成为一个有用的工具,人机交互社区。
2012-03-11 cs.CL cs.RO
Bidirectional Human Interactive AI Framework for Social Robot Navigation
TUBITAK BILGEM(土耳其科学技术研究理事会信息与信息技术研究所);Bogazici University(博阿齐奇大学)
本文提出一个双向人机交互框架,结合机器人语言交流与人类手势引导,使移动机器人能预测行人轨迹并动态调整路径,从而提升社会导航的可信赖性。
2024-05-04 cs.RO
A MultiModal Social Robot Toward Personalized Emotion Interaction
The George Washington University(乔治华盛顿大学)
人类的情感通过多种方式表达,包括语言和非语言信息。此外,人类用户的情感状态可以是参与和成功交互的水平的指标,适合于机器人用作通过交互优化机器人行为的奖励因素。本研究展示了一个多模态人机交互(HRI)框架与强化学习,以提高机器人的交互政策和个性化的人类用户的情感互动。我们的目标是在社交场景中应用这个框架,让机器人生成一个更自然、更吸引人的HRI框架。
2021-10-08 cs.AI cs.RO
Bidirectional Human-Robot Communication for Physical Human-Robot Interaction
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(本田研究院美国)
本文提出BRIDGE系统,通过自然语言实现双向人机通信,提升物理交互中的互动性和透明性。
2026-01-15 cs.RO
Why Robots Are Bad at Detecting Their Mistakes: Limitations of Miscommunication Detection in Human-Robot Dialogue
IDLab-AIRO, Ghent University–imec(IDLab-AIRO、根特大学–imec);Ghent University(根特大学);LT3, Ghent University(LT3、根特大学)
本研究评估了机器学习模型在检测人机对话中沟通失败的有效性,发现模型和人类评估员在识别诱导性沟通失败时表现均不佳,揭示了用户即使感知到错误也往往不向机器人传达的根本局限。
2025-06-25 cs.CL cs.HC cs.RO
Advances in Human-Robot Handshaking
Technical University of Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
使用社会化的拟人机器人来支持各行各业的人类一直在增加。在人机交互(HRI)中,物理交互的非语言行为是更自然交互的关键。握手是一种在许多社交环境中常用的自然交互。这是第一次发生的非语言互动之一,因此应该成为社交机器人的一部分。在本文中,我们探讨了现有的状态,人与机器人握手,并讨论了可能的方式前进,这种物理交互行为。
2020-08-26 cs.HC cs.RO
EDITH: Teaching Robot to Follow Nonverbal Human Intent from Egocentric Vision and Gaze
KAIST(韩国科学技术院);Seoul National University(首尔国立大学)
提出EDITH框架,通过智能眼镜捕捉人类第一人称视角、注视和语言信号,设计分层策略将非语言信号与语言指令结合,实现更自然的人机交互,减少用户表达意图的负担。
2026-10-20 cs.AI cs.RO
EMOTION: Expressive Motion Sequence Generation for Humanoid Robots with In-Context Learning
Apple(苹果公司)
针对现有机器人非语言交流方法表现力不足的问题,提出基于大语言模型上下文学习的EMOTION框架,可生成符合社交场景的手势动作,实验显示其效果在特定场景下媲美甚至超越人类操作,并给出相关设计启示。
2024-10-30 cs.AI cs.RO
Age-Related Differences in the Perception of Eye-Gaze from a Social Robot
Örebro University(奥雷布罗大学)
研究探讨社会机器人通过指示性眼动改善老年人社会感知能力,旨在设计适应年龄差异的非语言交流方案。
2026-03-09 cs.RO
ExpressionBot: An Emotive Lifelike Robotic Face for Face-to-Face Communication
University of Denver(丹佛大学);Purdue University(普渡大学);Boulder Language Technologies(博尔德语言技术公司)
本文提出了一种情感逼真的机器人脸,称为ExpressionBot,旨在支持机器人和人类之间的语言和非语言交流,其目标是密切建模自然面对面交流的动态。所提出的机器人头部由两个主要部件组成:1)硬件部件,其包含小型投影仪、鱼眼镜头、定制设计的面具和具有3个自由度的颈部系统; 2)面部动画系统,其投影到机器人面具上,能够呈现面部表情、逼真的眼球运动和准确的视觉语音。我们提出了三项研究,比较人机交互与人机交互与基于屏幕的模型的化身。研究表明,机器人面部很受用户欢迎,在面部表情识别和相互目光接触方面具有一些优势。
2015-11-20 cs.RO
Understanding the Uncertainty Loop of Human-Robot Interaction
LMU Munich(慕尼黑大学);Honda Research Institute Europe(本田欧洲研究院)
最近,人机交互领域越来越受欢迎,因为机器人在日常任务中支持人类的可能性范围很广。支持机器人的一种形式是社交辅助机器人,其专门用于与人类通信,例如,作为服务机器人或私人伴侣。当它们通过人工智能理解人类时,这些机器人会在某个时候对人类的当前状态做出错误的假设,并给出意想不到的反应。在人与人的对话中,意外的反应经常发生。然而,目前还不清楚这些机器人应该如何行动,如果他们知道人类没有预料到他们的反应,甚至显示出他们的反应的不确定性摆在首位。为此,我们探讨了不同形式的潜在的不确定性,在人类机器人对话和类人如何可以,通过语言和非语言的线索,沟通这些不确定性。
2023-03-14 cs.HC cs.RO
eBear: An Expressive Bear-Like Robot
University of Denver(丹佛大学);Purdue University(普渡大学);University of North Texas(北德克萨斯大学)
本文提出了一个拟人化的机器人熊的人与机器人的互动,包括语言和非语言通信的探索。该机器人是由一个具有10个自由度的机械面板和一个配备LCD显示器的嘴组成的混合面。熊的面部表情是根据面部动作编码系统的描述以及达尔文描述的一些动物般的手势设计的。嘴部运动是通过将情绪与语音合成来实现的。用户接受调查已经进行了评估的可爱性,这些面部行为所表现出的电子熊。提出了多核学习方法,融合不同的特征来识别用户的面部表情。实验结果表明,所研制的类熊机器人能够感知基本的面部表情,并能向人类传递情感。
2015-11-20 cs.RO
SPRITE: Stewart Platform Robot for Interactive Tabletop Engagement
University of Southern California(南加州大学)
本文介绍了一种用于交互式桌面接合的Stewart平台机器人(SPRITE)的设计。该机器人旨在用于社交辅助机器人,这是一个专注于非接触式社交互动的领域,以帮助人们实现与健康,健康和教育相关的目标。我们描述了一系列的桌面,社会辅助机器人的设计目标,包括表达运动,情感交流,友好,无威胁,可定制的外观,和一个安全,强大,易于修复的机械设计。
2020-11-11 cs.RO
An Open-Source Reproducible Chess Robot for Human-Robot Interaction Research
Faculty of Mechanical Engineering, Delft University of Technology(代尔夫特理工大学机械工程学院)
本文提出开源国际象棋机器人OpenChessRobot,通过计算机视觉与语音手势实现人机交互,详细评估其效能并经597人调查显示其在教育和教练场景更受欢迎。
2025-04-04 cs.HC cs.RO
Multimodal Sensing and Machine Learning to Compare Printed and Verbal Assembly Instructions Delivered by a Social Robot
Louisville Automation and Robotics Research Institute (LARRI), University of Louisville(路易斯维尔自动化与机器人研究研究所(LARRI)、路易斯维尔大学)
本文利用BVP和EDA多模态生理信号及CNN/LSTM模型,比较纸质与社交机器人装配指令下的工人负荷,发现CNN结合多模态数据预测效果最佳。
2025-06-01 cs.HC cs.RO
Comparing Apples to Oranges: LLM-powered Multimodal Intention Prediction in an Object Categorization Task
University of Hamburg(汉堡大学)
本文研究利用大语言模型在人与机器人协作分类任务中预测人类意图,提出融合手势、姿势、表情、环境状态和语言线索的分层多模态方法,并在五个LLM上验证了其推理潜力。
2025-04-08 cs.AI cs.HC cs.RO
Enabling a Pepper Robot to provide Automated and Interactive Tours of a Robotics Laboratory
Queensland University of Australia(澳大利亚昆士兰大学)
Pepper机器人已经成为社交机器人进入我们家庭和企业的潜力的广泛认可的面孔。然而,到目前为止,Pepper的商业和研究应用主要限于机器人能够保持静止的角色。这种限制是由于一些技术限制,包括有限的传感能力,并作为一个结果,减少了使用的机器人可以探索的角色的数量。在本文中,我们提出了解决这些问题的方法,目的是为机器人开辟新的研究应用。为了证明我们的方法的适用性,我们在提供开放式机器人实验室的交互式参观的背景下框架这项工作。
2018-04-10 cs.RO
GenComUI: Exploring Generative Visual Aids as Medium to Support Task-Oriented Human-Robot Communication
College of Design and Innovation, Tongji University(同济大学设计与创新学院)
本文提出由 LLM 驱动的 GenComUI,通过动态生成地图标注、路径指示和动画等视觉辅助支持人机任务通信;20 人实验表明其相较纯语音基线可提供连续视觉反馈并提升沟通效果。
2025-02-15 cs.AI cs.HC cs.RO
Assist-As-Needed: Adaptive Multimodal Robotic Assistance for Medication Management in Dementia Care
Worcester Polytechnic Institute(沃斯特理工学院)
针对痴呆症患者药物管理能力衰退,提出基于Pepper机器人的自适应多模态辅助框架,按需提供分层干预,以保留自主性并确保依从性。
2025-10-08 cs.RO
Quori: A Community-Informed Design of a Socially Interactive Humanoid Robot
University of Pennsylvania(宾夕法尼亚大学);Semio AI, Inc.(Semio AI公司);USC(南加州大学)
社交互动机器人的硬件平台可能会受到成本或功能缺乏的限制。本文介绍了整体系统-设计,硬件和软件-Quori,一种新颖的,负担得起的,社会互动的人形机器人平台,促进非接触式人机交互(HRI)的研究。该系统的设计是由HRI研究社区的反馈抽样的动机。整体设计保持了可负担性和功能性的平衡。介绍了Quori的初始测试和为期六个月的部署。10个Quori平台已授予来自美国各地的不同研究人员,以促进HRI研究,从一个共同的平台建立一个社区数据库。
2021-09-02 cs.RO
Evaluating Gesture Recognition in Virtual Reality
Sapienza Università di Roma(罗马大学);PaleBlue
本文旨在解决人机交互中手势识别系统的数据生成与标准化挑战,提出利用虚拟现实仿真生成数据,并定义可作为地面机器人标准的手势命令。
2024-01-09 cs.HC cs.RO
Come Closer: The Effects of Robot Personality on Human Proxemics Behaviours
Heriot-Watt University(赫瑞-瓦特大学)
本研究通过固定机器人接待员Charlie,探讨内向与外向个性对人际距离的影响,发现内向机器人引发更近的接近距离,并提出新的人机交互近身空间分区。
2023-09-06 cs.RO
SInViG: A Self-Evolving Interactive Visual Agent for Human-Robot Interaction
ByteDance Research(字节跳动研究院);Tsinghua University(清华大学)
本文提出自进化交互式视觉智能体SInViG,通过多轮视觉-语言对话消解语言歧义,并利用无标注图像与大语言模型自动持续学习,在多个交互式视觉定位基准上达到最先进性能,并在Franka机器人上验证了自然交互与多样化指令执行能力。
2024-02-20 cs.RO
Customizing Textile and Tactile Skins for Interactive Industrial Robots
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种在工业机器人手臂上快速制造、校准和部署纺织品触觉皮肤的方法,并通过FANUC机器人实验证明其能有效支持工业环境中的人机交互、机器人控制与学习。
2023-08-06 cs.RO
Help or Hindrance: Understanding the Impact of Robot Communication in Action Teams
Department of Information Science at Cornell University(康奈尔大学信息科学系);Weill Cornell Medicine, Cornell University(韦尔医学院,康奈尔大学)
本研究通过实验室内医疗培训场景实验,探索行动团队中多模态机器人通信对工作负荷和人类感知的影响,发现特定线索组合能有效优化团队表现,为时间敏感环境下人机协作提供实践参考。
2025-06-24 cs.HC cs.RO
Context-aware collaborative pushing of heavy objects using skeleton-based intention prediction
Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia(人类-机器人接口与交互实验室,意大利技术研究院);Instituto Israelita de Ensino e Pesquisa, Hospital Israelita Albert Einstein(以色列教育与研究学院,以色列医院阿尔伯特·爱因斯坦医院)
针对无直接力反馈的重物协作推拉场景,提出用有向图神经网络分析时空人体姿态以预测运动意图,实验表明机器人辅助可降低人力消耗并提升任务效率。
2025-05-15 cs.RO
PyRIDE: An Interactive Development Environment for PR2 Robot
University of Technology, Sydney(悉尼科技大学)
基于Python的机器人交互式开发环境(PyRIDE)是一个支持PR 2/ROS(机器人操作系统)平台上机器人技能和行为的快速\textit{interactive}编程的软件。PyRIDE的关键特性之一是其交互式远程访问Python控制台,允许用户以与使用标准Python交互式解释器相同的方式对机器人\textit{online}和\textit{realtime}进行编程。它允许程序在运行时被修改。PyRIDE也是一个软件集成框架,可以抽象和聚合不同的低级ROS软件模块,例如手臂关节电机控制器,并通过统一的Python编程接口公开其功能。PR 2程序员能够实验和开发机器人行为,而无需处理访问底层软件和硬件的具体细节。PyRIDE提供了一种客户端-服务器机制,允许远程用户访问机器人功能,例如远程机器人监控和控制,访问实时机器人摄像头图像数据等。这使得使用不同设备和用户界面的多模态人机交互成为可能。所有这些功能都无缝集成到一个轻量级和可移植的中间件包中。在本文中,我们使用四个真实的场景来演示PyRIDE的关键功能,并说明软件的实用性。
2016-05-30 cs.RO cs.SE
Cross-modality Force and Language Embeddings for Natural Human-Robot Communication
Electrical Engineering and Computer Science Massachusetts Institute of Technology(电气工程与计算机科学麻省理工学院);Department of Physical Medicine, Harvard Medical School Rehabilitation, Spaulding Rehabilitation Hospital(物理医学系哈佛医学院康复科,斯波尔丁康复医院);Mechanical Engineering Massachusetts Institute of Technology(机械工程麻省理工学院)
本文提出一种将力曲线与单词统一嵌入到潜在空间的跨模态框架,以协同协调语言与触觉通信,实现人机之间类似人类搬物般有效的自然交互。
2025-04-25 cs.AI cs.HC cs.RO
Sobi: An Interactive Social Service Robot for Long-Term Autonomy in Open Environments
Leibniz University Hannover(汉诺威莱布尼茨大学)
服务机器人的长期自主性是当前的研究课题,特别是对于随时间变化的动态大规模环境。我们提出了Sobi,一个移动服务机器人开发的开放环境,如室内和室外区域的公共场所的互动指南。该机器人将作为环境建模和人机交互的平台。它的主要硬件和软件组件,我们免费许可作为一个有记录的开源项目,介绍。另一个重点是Sobi的长期自治监控系统,它以有针对性的方式恢复系统组件,以延长系统的总寿命,而无需计划外的干预。我们在16天的室内部署中展示了长期自主能力的第一个结果,其中机器人共巡逻66.6公里,平均每个工作日行驶时间为5.5小时,其间自主充电。在一个有12名参与者的用户研究中,我们评估了用户界面的外观和可用性,该界面允许用户交互式地查询有关环境和方向的信息。
2021-07-28 cs.RO
Interactive Visual Grounding of Referring Expressions for Human-Robot Interaction
National University of Singapore(新加坡国立大学)
本文介绍了INGRESS,一个机器人系统,遵循人类自然语言的指令,以挑选和放置日常物品。这里的核心问题是指称表达的基础:从输入图像和语言表达中推断对象及其关系。INGRESS允许不受约束的对象类别和不受约束的语言表达式。此外,它提出问题,以消除歧义的指涉表达式交互式。为了实现这些,我们采取接地的方法,通过代,并提出了一个两阶段的神经网络模型接地。第一阶段使用神经网络来生成对象的视觉描述,将它们与输入语言表达进行比较,并识别一组候选对象。第二阶段使用另一个神经网络来检查候选对象之间的所有成对关系,并推断出最可能引用的对象。相同的神经网络用于消除歧义的基础和问题生成。实验表明,INGRESS在RefCOCO数据集和人类机器人实验中的表现优于最先进的方法。
2018-06-11 cs.CL cs.CV cs.RO
An Approach to Deploy Interactive Robotic Simulators on the Web for HRI Experiments: Results in Social Robot Navigation
Yale University(耶鲁大学);Rutgers University-Camden(罗格斯大学卡姆登分校)
由于其定性性质,社交机器人导航的评估本质上需要人工输入。出于对人类评估的需求,我们提出了一种在网络上部署交互式富客户端机器人模拟的通用方法。先前的方法实现特定的网络兼容的模拟器或提供工具来构建用于特定研究的模拟器。相反,我们的方法建立在标准的Linux工具上,与远程用户共享图形桌面。我们利用这些工具在Web上部署模拟器,这些模拟器通常局限于桌面计算环境。作为我们的方法的一个示例实现,我们介绍了SEAN实验平台(SEAN-EP)。通过SEAN-EP,远程用户可以在自主导航的社会环境中与移动机器人进行虚拟交互,而无需在计算机上安装任何软件或需要专门的硬件。我们通过在线调查验证了SEAN-EP可以快速扩展人类反馈的收集及其可用性。此外,我们还比较了使用SEAN-EP与机器人互动的参与者的反馈与通过更传统的视频调查获得的反馈。我们的研究结果表明,人类对机器人的看法可能会有所不同,这取决于他们是在模拟中与机器人互动,还是在视频中观察机器人。此外,他们认为,人们认为互动模拟调查比视频调查对精神的要求更低。
2021-08-16 cs.RO
Multimodal Human-Intent Modeling for Contextual Robot-to-Human Handovers of Arbitrary Objects
Departmant of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出一种统一方法,利用人类口头和非口头命令选择目标物体,并情境化人类隐性和显性偏好以生成机器人抓取和顺从交接运动,通过真实实验和用户研究验证了其在任意日常物体交接任务中的有效性。
2025-08-05 cs.RO
Interactive Robot-Environment Self-Calibration via Compliant Exploratory Actions
Yale University(耶鲁大学);Rice University(莱斯大学)
针对现有机器人标定依赖外部传感器和人工干预的问题,提出利用内置力-力矩传感器通过柔顺探索动作自动估计机器人-环境空间关系的自标定框架,实验证明其能准确建立空间关系且无需额外设备或人工干预。
2024-03-19 cs.RO
Continuous ErrP detections during multimodal human-robot interaction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Duisburg-Essen(杜伊斯堡-埃森大学);Institute of Medical Technology Systems(医疗技术系统研究所)
本研究在多模态人机交互场景中实时检测错误相关电位,提出结合前后滑动窗口的特征选择方法,实现91%的平均分类准确率,并计划用于交互式强化学习以改进交互。
2022-07-25 cs.HC cs.LG cs.RO
A Sign Language Recognition System with Pepper, Lightweight-Transformer, and LLM
University of Auckland(奥克兰大学)
本文面向 Pepper 机器人构建 ASL 识别与交互系统,结合轻量 Transformer、LLM 提示工程及协同语音手势生成,验证其在真实非语言人机交互场景中的有效性。
2023-09-28 cs.CL cs.CV cs.HC
Affordance-Based Disambiguation of Surgical Instructions for Collaborative Robot-Assisted Surgery
Nagoya University, Japan(名古屋大学)
本文提出一种基于可供性推理的机器人手术助手框架,结合多模态视觉-语言模型与工具能力知识库消解外科医生口头指令歧义,并利用双重集合共形预测保障安全,在胆囊切除术数据集上实现60%消歧率。
2025-09-19 cs.HC cs.RO
Embodiment in Socially Interactive Robots
University of Southern California(南加州大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
物理体现是一个必要的组成部分,机器人的结构耦合到他们的现实世界的环境。然而,大多数社交互动机器人不需要与环境进行物理交互来执行任务。什么时候以及为什么应该使用实体机器人来代替更简单、更便宜的虚拟代理?本文回顾了现有的工作,探讨社会互动机器人的物理体现的作用。这类机器人不仅能够与人类进行社交互动,而且主要使用它们的社交能力来执行它们所需的功能。社交互动机器人提供娱乐,信息和/或援助;这最后一类通常包含在社交辅助机器人中。在所有情况下,这些机器人都可以实现其主要功能,而无需执行功能性体力工作。为了全面评估现有的身体体现的工作,我们首先回顾工作,从建立相关领域,包括心理学,哲学和社会学。然后,我们系统地回顾了2003年至2017年发表在主要同行评议机器人出版物中的65项研究,这些研究评估了具体化的各个方面。我们研究所选研究的相关方面,重点是比较的实施例,任务评估,机器人的社会角色和测量。我们介绍了机器人的体现,机器人的社会角色,和人类机器人的任务的类型的三个分类。这些分类法用于解构社会互动机器人的设计和互动空间,并促进对已审查研究的分析和讨论。我们使用这种新定义的方法来批判性地讨论现有的作品,揭示社会互动,辅助机器人和服务机器人的具体研究中的主题。
2019-12-01 cs.HC cs.RO
Calling for Backup: How Children Navigate Successive Robot Communication Failures
Cornell University(康奈尔大学);Cornell University, Cornell Tech(康奈尔大学、康奈尔科技)
本研究探讨儿童在连续机器人通信故障中的反应,发现儿童在面对错误时调整提示和语音语调,但更易表现出退缩行为,为设计适合儿童的人机交互系统提供了依据。
2026-01-02 cs.HC cs.RO
Learning Interactive Behaviors for Musculoskeletal Robots Using Bayesian Interaction Primitives
Arizona State University(亚利桑那州立大学);Osaka University(大阪大学);Kyushu Institute of Technology(九州工业大学)
基于气动驱动的肌肉骨骼机器人具有多种特性,如顺应性和反向驱动性,这使得它们特别适合于人机协作。然而,由于其控制固有的非线性和不确定性,为此类系统编程交互和响应行为极具挑战性。在本文中,我们提出了一种学习贝叶斯交互原语肌肉骨骼机器人的方法,给出了一组有限的例子演示。我们表明,这种方法是能够实时的状态估计和响应生成的机器人,其中没有分析模型存在的相互作用。在“握手”任务上的人机交互实验表明,该方法可以推广到新的位置、交互伙伴和移动速度。
2019-08-15 cs.LG cs.RO
Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot
Istituto Italiano di Tecnologia(意大利技术研究院)
本研究在iCub机器人上设计、训练并部署了基于目光和身体姿态的深度学习模型,实现实时听者估计,并评估了其在人机交互中的性能。
2023-11-09 cs.LG cs.RO
Learning Motor Resonance in Human-Human and Human-Robot Interaction with Coupled Dynamical System
Institute for Systems and Robotics, Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院系统与机器人研究所);Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院)
人际交往涉及非常复杂的非语言沟通技巧,如理解他人的目标和行动,并相应地协调我们自己的行动。神经科学将这种机制称为运动共振,在这个意义上,对另一个人的动作和感官体验的感知激活了观察者的大脑,就好像他会执行相同的动作并拥有相同的体验。我们分析和模拟非语言的线索(手臂运动)之间交换的两个人的互动和执行交接动作。本文的贡献如下:(i)计算模型,其使用记录的运动数据,描述每个行动者在交互动作情况下的运动行为,(ii)计算模型,其通过耦合两个行动者的手臂运动,捕获对象移交动作期间“给予者”和“接受者”的行为,以及(iii)将这些模型嵌入iCub机器人中,用于动作执行和识别。我们的研究结果表明:(i)机器人可以解释人的手臂运动并识别移交动作;以及(ii)以“类人”方式行动以接收所识别的移交动作的对象。
2019-05-10 cs.RO
Interactive Robot Programming for Surface Finishing via Task-Centric Mixed Reality Interfaces
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)(机器人与机电系统研究所,德国航空航天中心);University of Lübeck(吕贝克大学);Autonomous Systems Lab, Institute of Computer Technology, TU Wien(自主系统实验室,计算机技术研究所,维也纳技术大学)
本文提出了一种基于任务导向的混合现实接口,使非专家能通过交互式流程直观编程机器人,实现小批量生产中的表面处理任务。
2025-12-29 cs.RO
Long-Term, Store-Front Robotics: Interactive Music for Robotic Arm, Caxixi and Frame Drums
University of Technology Sydney(悉尼科技大学);Macquarie University(麦考瑞大学);Australian Cobotics Centre(澳大利亚协作机器人中心)
本文提出将UR3机械臂、定制框鼓与自适应音乐生成系统结合,在零售环境中进行为期三周的交互式机器人音乐演奏装置展示,验证了工业机器人在艺术表达与提升购物体验方面的技术可行性与艺术潜力。
2024-07-24 cs.RO cs.SD eess.AS
SymBridge: A Human-in-the-Loop Cyber-Physical Interactive System for Adaptive Human-Robot Symbiosis
Shandong University(山东大学);ShanghaiTech University(上海科技大学);The University of Hong Kong(香港大学);LEJU(Shenzhen) Robotics Co., Ltd(LEJU(深圳)机器人有限公司)
SymBridge 是首个融合增强现实的人在环信息物理交互系统,通过多分辨率人体运动特征与环境可供性实现实时自适应人机交互,并利用人类反馈持续优化机器人模型,有效推动人机共生研究。
2025-09-19 cs.RO
Embodied Human Simulation for Quantitative Design and Analysis of Interactive Robotics
School of Aerospace Engineering, Tsinghua University(清华大学航天航空学院)
本文提出了一种基于仿真的具身人类仿真框架,用于交互机器人设计中的定量分析与优化,通过生理学基础的运动行为生成和大规模设计空间探索,提升人机交互的性能。
2026-03-10 cs.AI cs.RO
Didn't see that coming: a survey on non-verbal social human behavior forecasting
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Paradigm(第四范式);Université Paris-Saclay(巴黎萨克雷大学);LISN(法国国家科学研究中心/法国国家信息与自动化研究所交叉学科实验室);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);ChaLearn(ChaLearn机构)
近年来,非语言社会人类行为预测越来越引起研究界的兴趣。它直接应用于人机交互和社会意识的人体运动生成,使其成为一个非常有吸引力的领域。在这项调查中,我们定义的行为预测问题的多个交互式代理的通用方式,旨在统一的社会信号预测和人体运动预测,传统上分离的领域。我们认为,这两个问题的配方是指相同的概念问题,并确定许多共同的基本挑战:未来的随机性,上下文意识,历史利用等,我们还提出了一个分类,包括在过去5年中发表的方法,在一个非常翔实的方式,并介绍了目前的主要关注的社会关于这个问题。为了促进对这一领域的进一步研究,我们还提供了一个总结和友好的概述,视听数据集具有非行为的社会互动。最后,我们描述了在这项任务中使用的最常见的指标及其特定的问题。
2022-03-04 cs.CV cs.RO