Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
Graduate School of Informatics, Kyoto University(京都大学情报学研究科);Computer Science Department, Boise State University(博伊西州立大学计算机科学系)
本研究提出AffectLoop系统,在Misty II机器人上实现多模态情感动态感知的说话人-听话人共情交互,经试点研究验证可提升共情响应与用户满意度。
2026-08-18 cs.CL cs.HC cs.RO
Nadine: An LLM-driven Intelligent Social Robot with Affective Capabilities and Human-like Memory
Centre Universitaire d’Informatique(大学信息中心);University of Geneva(日内瓦大学)
本研究为Nadine社交机器人平台提出由LLM驱动的SoR-ReAct智能体框架,通过集成多模态输入处理、类人长期记忆与情感评估模块,实现了具备类人情感与认知能力的社交机器人系统,提升了人机交互质量。
2024-05-30 cs.AI cs.RO
Affective Robotics For Wellbeing: A Scoping Review
University of Cambridge(剑桥大学)
本文系统回顾了过去十年HRI文献,分析了面向福祉的情感机器人的目标、平台、形状、能力与自主性等特征,并提出未来研究议程与建议。
2023-04-04 cs.RO
Affect-Driven Modelling of Robot Personality for Collaborative Human-Robot Interactions
University of Cambridge(剑桥大学);Istituto Italiano di Tecnologia(意大利理工学院);University of Hamburg(汉堡大学)
协作互动需要社交机器人适应人类情感行为的动态。然而,目前的方法在机器人的情感行为生成集中在瞬时感知,以产生一个一对一的映射观察到的人类表情和静态机器人动作。在本文中,我们提出了一个新的框架,个性驱动的行为生成社交机器人。该框架包括:(i)一个混合神经模型,用于评估面部表情和语音,形成内在的情感表征的机器人,(ii)情感核心,采用自组织神经模型嵌入机器人的个性特征,如耐心和情绪驱动,和(iii)一个强化学习模型,使用机器人的情感评价,学习互动行为。为了进行评估,我们进行了一项用户研究(n = 31),其中NICO机器人作为最后通牒游戏中的提议者。机器人个性的影响,其谈判策略是见证了参与者,谁排名高情感驱动的持久性较高的病人的机器人,而惰性和不耐烦的机器人更高的慷慨和利他行为。
2022-02-25 cs.AI cs.RO
Affective and Conversational Predictors of Re-Engagement in Human-Robot Interactions -- A Student-Centered Study with A Humanoid Social Robot
本研究发现,机器人对话的有趣性和自然性是影响用户重新参与的主要因素,而非情感特征。
2026-02-09 cs.AI cs.HC cs.RO
Une architecture cognitive et affective orient{é}e interaction
UGA(格勒诺布尔-阿尔卑斯大学);LIG(格勒诺布尔信息学实验室);CNRS(法国国家科学研究中心)
在本文中,我们提出了CAIO,一个面向认知和情感交互的架构,用于社会人机交互(HRI),允许机器人对精神状态(包括情感)进行推理,并在身体上,情感上和口头上采取行动。我们还提出了一个简短的场景和实现Nao机器人。
2018-10-22 cs.AI cs.RO
A Procedure for Classifying Attachments and Affective Social Bonds in Human-Robot Dyads
University of Warwick(华威大学)
本文提出基于发展学、行为生态学和神经内分泌学标准的四问题程序,用于标准化分类人机纽带为依恋、情感社会联结或无关系,并演示其应用以揭示现有研究证据不足,呼吁采用统一分类标准。
2026-09-25 cs.HC cs.RO
Fusion in Context: A Multimodal Approach to Affective State Recognition
KTH: The Royal Institute of Technology(皇家理工学院(KTH));PAL Robotics(PAL机器人公司);Umeå University(于默奥大学)
针对情绪表达受情境影响易误判的问题,提出基于transformer的多模态融合方法,结合面部热数据、动作单元与文本情境,通过模态专属编码器、加法融合与共享transformer实现情境感知情绪识别,在桌面Pacman游戏数据集上验证了有效性。
2024-09-18 cs.RO
Cloud-based user modeling for social robots: a first attempt
University of Turin(都灵大学)
社交机器人是一种自主机器人,它通过参与社会情感行为、技能、能力和与其协作角色相关的规则来与人互动。为了实现这些目标,我们认为,建模与用户的互动,并适应用户自己的机器人行为是其社会角色的基础。本文介绍了我们的第一次尝试,将用户建模功能的社会和情感的机器人。我们提出了一个基于云的架构建模的用户-机器人交互,以重用的方法与不同类型的社交机器人。
2022-09-25 cs.RO
SPRITE: Stewart Platform Robot for Interactive Tabletop Engagement
University of Southern California(南加州大学)
本文介绍了一种用于交互式桌面接合的Stewart平台机器人(SPRITE)的设计。该机器人旨在用于社交辅助机器人,这是一个专注于非接触式社交互动的领域,以帮助人们实现与健康,健康和教育相关的目标。我们描述了一系列的桌面,社会辅助机器人的设计目标,包括表达运动,情感交流,友好,无威胁,可定制的外观,和一个安全,强大,易于修复的机械设计。
2020-11-11 cs.RO
Tactile interaction with social robots influences attitudes and behaviour
Ghent University(根特大学);imec(imec(校际微电子中心));AIRO - IDLab(AIRO-IDLab(智能环境与机器人实验室))
本文通过两项实验研究触摸社交机器人对压力、信任和冒险行为的影响,发现情感性触觉交互能降低压力并增加冒险行为,且该效应源于社交属性而非单纯物理接触。
2024-11-19 cs.RO
"How Did They Come Across?" Lessons Learned from Continuous Affective Ratings
Cornell University(康奈尔大学);Honda Research Institute USA, Inc.(本田美国研究所)
本文通过CORAE开源工具收集12组二人互动的情感评分,结合话语分析揭示评分事件与复杂互动现象的映射关系,为人机互动中动态情感理解提供依据。
2023-07-07 cs.HC cs.RO
From the Head or the Heart? An Experimental Design on the Impact of Explanation on Cognitive and Affective Trust
University of Michigan(密歇根大学)
自动驾驶汽车(AV)是一种社交机器人,可以为我们的社会带来潜在的好处。根据现有的文献,自动驾驶解释可以通过减少与自动驾驶的推理和行动相关的不确定性来促进乘客的信任。然而,关于AV解释和信任的文献没有考虑到信任的类型-认知与情感-可能会改变这种关系。然而,现有的文献表明,与信任相关的影响有很大的不同,这取决于它是认知还是情感。为了解决这一缺陷,更好地了解解释对信任的影响,在自动驾驶汽车,我们设计了一项研究,调查解释的有效性认知和情感的信任。我们期望这些结果在设计AV解释以促进AV信任方面具有重要意义。
2021-10-07 cs.AI cs.HC cs.RO
A Socially Adaptable Framework for Human-Robot Interaction
Italian Institute of Technology (IIT)(意大利理工学院);University of Genova(热那亚大学);University of Hertfordshire(赫特福德大学)
在我们的日常生活中,我们习惯于与同伴进行复杂的、个性化的、适应性的互动。为了让社交机器人能够重现这种丰富的、类似人类的互动,它应该意识到我们的需求和情感状态,并能够不断调整自己的行为。针对这个问题提出的一个解决方案是让机器人学习如何选择行为,以最大限度地提高其同伴的互动愉快度,并由内部动机系统指导,为决策过程提供自主权。我们有兴趣研究这种自适应机器人框架如何为不同的用户提供功能和个性化。此外,我们探讨是否包括在认知框架中的适应性和个性化的元素将带来任何额外的丰富的人机交互(HRI),或者如果它会带来不确定性和不可预测性,将不会被接受的机器人的人类同行。为此,我们为人形机器人iCub设计了一个社会适应框架,使其能够感知和重用来自人的情感和交互信号作为基于内部社会动机的适应输入。我们提出了一个比较互动的研究与iCub的用户作为机器人的看护人,和iCub的社会适应是由内部舒适度的指导,随着刺激的量iCub从其看护人收到。我们调查和比较的内部动态的机器人将被认为是由人在一个条件下,当机器人不个性化的互动,并在一个条件下,它是自适应的。最后,我们建立了一个自适应框架可以带来的潜在好处的上下文中有重复的互动与人形机器人。
2020-03-25 cs.RO
From Pets to Robots: MojiKit as a Data-Informed Toolkit for Affective HRI Design
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Sichuan University(四川大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);The Hong Kong University of Science and Technology(香港科技大学)
MojiKit通过结合结构化参考卡片、拟人化机器人原型和行为控制工作室,为影响性人机交互设计提供数据驱动的系统化工具,帮助用户设计更多样化的机器人影响性行为。
2026-03-12 cs.HC cs.RO
PuppetAI: A Customizable Platform for Designing Tactile-Rich Affective Robot Interaction
Department of Human-Computer Interaction(人机交互系);Mohamed bin Zayed University of Artificial Intelligence(莫莫德·本·扎耶德人工智能大学);Department of Robotics(机器人系)
PuppetAI是一种可定制的软机器人交互平台,通过模块化设计和情感表达循环,支持多样化的触觉交互手势研究。
2026-02-04 cs.HC cs.RO
Towards Learning How to Properly Play UNO with the iCub Robot
University of Hamburg(汉堡大学);Istituto Italiano di Tecnologia(意大利技术研究院)
在与另一个人互动时,我们的反应和行为在很大程度上受到互动时间背景下的情绪变化的影响。我们内在的情感评价包括感知、自我评价和具有类似社会经历的情感记忆,这些情感评价将在互动中驱动特定的反应,在大多数情况下,这些反应被视为适当的反应。本文提出了多模态研究的发展路线图,其目的是使机器人能够在人机交互(HRI)场景中提供适当的社会响应。
2019-08-02 cs.AI cs.HC cs.RO
Continual Learning for Affective Robotics: A Proof of Concept for Wellbeing
University of Cambridge(剑桥大学);Özyeğin University(奥兹耶金大学)
维持真实世界的人机交互需要机器人对人类的行为特质敏感,并调整其感知和行为模型以满足这些个人偏好。对于情感机器人来说,这需要学习适应个人情感行为,为每个人提供个性化的交互体验。持续学习(CL)已被证明能够在代理中实现实时适应,允许他们在保留过去知识的同时使用增量获取的数据进行学习。在这项工作中,我们提出了一个新的框架,在现实世界中的应用CL建模个性化的人机交互使用CL为基础的影响感知机制。为了评估所提出的框架,我们进行了一个概念验证的用户研究与20名参与者互动的胡椒机器人使用三种变体的互动行为:静态和脚本,使用基于影响的适应没有个性化,并使用基于影响的适应与持续个性化。我们的研究结果表明,参与者对基于CL的持续个性化有明显的偏好,在机器人的拟人化,动画和可爱性评级中观察到显着的改善,以及被评为温暖和舒适度显着更高的互动,因为机器人被评为显着更好地理解参与者的感受。
2022-08-30 cs.HC cs.RO
Evaluating Transferable Emotion Expressions for Zoomorphic Social Robots using VR Prototyping
University of Glasgow(格拉斯哥大学);Abertay University(阿伯泰大学)
本文利用VR快速原型与被动触觉交互,评估动物形态社交机器人的情感表达模态,发现面部表情及类动物与无歧义模态结合的优势,为情感机器人设计提供方向。
2024-10-20 cs.HC cs.RO
Disambiguating Affective Stimulus Associations for Robot Perception and Dialogue
University of Hamburg(汉堡大学)
有效地识别并将情感应用于交互是社交机器人非常理想的特性。内隐理解主体如何体验世界上不同种类的动作和物体对于自然的HRI交互至关重要,有可能执行积极的动作并避免消极的动作。在本文中,我们利用NICO机器人的外观和能力,使NICO的能力,感知的听觉刺激和时间异步的情感表达之间的连贯的情感关联模型。这是通过结合视觉和语言的情感效价评估来完成的。NICO使用这些信息来决定何时延长会话,以便在关联的表示不连贯的情况下积累更多的情感信息。我们的主要贡献是提供一个NICO机器人的能力,学习感知的听觉刺激和情感表达之间的情感关联。NICO能够对个体受试者和特定刺激物做到这一点,并借助情感驱动的对话系统来纠正情感表达的不连贯性。然后,机器人能够使用该信息来确定受试者在真实HRI场景中对感知到的听觉刺激的享受。
2021-03-05 cs.CL cs.CV cs.RO
Affective Computing for Human-Robot Interaction Research: Four Critical Lessons for the Hitchhiker
University of Cambridge(剑桥大学)
本文批判了直接将预训练情感模型应用于情境人机交互的现有实践,提出四个关键教训,指导研究者如何更好地利用情感计算推进HRI研究。
2023-03-31 cs.HC cs.RO
I am Only Happy When There is Light: The Impact of Environmental Changes on Affective Facial Expressions Recognition
Italian Institute of Technology(意大利技术研究院);Sens.AI R&D Center - Sony(索尼Sens.AI研发中心)
人机交互(HRI)从机器学习领域的进步中受益匪浅,因为它允许研究人员使用高性能模型进行检测和识别等感知任务。特别是深度学习模型,无论是预先训练用于特征提取还是用于分类,现在都是确定HRI场景中人类行为特征的方法,并使社交机器人更好地理解这些行为。由于HRI实验通常是小规模的,并且局限于特定的实验室环境,因此问题是深度学习模型能否很好地推广到特定的交互场景,以及它们对环境变化的鲁棒性如何?如果HRI领域希望将社交机器人同伴放入真实环境中,并且行为一致,即改变照明条件或移动人员仍然应该产生相同的识别结果,则这些问题很重要。在本文中,我们使用FaceChannel框架\cite{Barro20}研究了不同图像条件对人脸表情中唤醒和效价识别的影响。我们的研究结果表明,人类的情感状态的解释可以有很大的不同,无论是积极的或消极的方向,即使只有轻微的改变图像属性。我们总结了在使用深度学习模型以确保对HRI实验的合理解释时需要考虑的重要观点。
2022-10-28 cs.AI cs.CV cs.LG
A MultiModal Social Robot Toward Personalized Emotion Interaction
The George Washington University(乔治华盛顿大学)
人类的情感通过多种方式表达,包括语言和非语言信息。此外,人类用户的情感状态可以是参与和成功交互的水平的指标,适合于机器人用作通过交互优化机器人行为的奖励因素。本研究展示了一个多模态人机交互(HRI)框架与强化学习,以提高机器人的交互政策和个性化的人类用户的情感互动。我们的目标是在社交场景中应用这个框架,让机器人生成一个更自然、更吸引人的HRI框架。
2021-10-08 cs.AI cs.RO
Emotional Expression in Low-Degrees-of-Freedom Robots: Assessing Perception with Reachy Mini
Robotic Musicianship Lab(机器人音乐性实验室);Georgia Institute of Technology(佐治亚理工学院);School of Computing and Communications(计算与通讯学院);Ben-Gurion University of the Negev(贝内尔盖翁大学(内盖夫分校));School of Brain Sciences and Cognition(脑科学与认知学院);The Azrieli National Center for Autism and Neurodevelopment Research(阿兹里尔国家自闭症与神经发育研究中心)
研究探讨了低自由度机器人Reachy Mini在表达不同情绪时,人们如何感知和评估其情绪,发现尽管识别准确度不高,但整体情绪影响社交评价,为低自由度机器人情感交流研究提供了基准。
2026-05-12 cs.HC cs.RO
Toward Personalized Affect-Aware Socially Assistive Robot Tutors in Long-Term Interventions for Children with Autism
University of Southern California(南加州大学);Massachusetts Institute of Technology(麻省理工学院)
情感感知社会辅助机器人(SAR)在增强自闭症谱系障碍(ASD)儿童干预方面显示出巨大的潜力。然而,目前的SAR还不能感知的独特和多样化的一套非典型的认知情感行为,从ASD儿童在一个自动和个性化的方式在长期(多会话)的现实世界的互动。为了弥补这一差距,这项工作设计和验证了个性化的模型唤醒和效价的ASD儿童使用多会话在家里的SAR干预数据集。通过使用监督领域自适应(s-DA)训练机器学习(ML)算法,个性化模型能够在有限的个人数据和从其他研究参与者汇集的更丰富的个人数据之间进行权衡。我们评估了个性化对长期多模态数据集的影响,该数据集由4名ASD儿童组成,共19次会议,并推导出人类注释者之间二元唤醒(IR = 83%)和效价(IR = 81%)标签的评分员间可靠性(IR)评分。我们的研究结果表明,具有s-DA的个性化梯度提升决策树(XGBoost)模型不仅在所有会话的加权平均值上,而且在统计学上(p < .05)在各个会话中优于两个非个性化的个性化和通用模型基线。这项工作铺平了道路,为开发个性化的自主SAR系统针对个人的非典型认知情感和社会情感的需求。
2021-01-30 cs.HC cs.RO
An affective and adaptive educational robot
University of Turin(都灵大学)
在本文中,我们提出了一个教育机器人称为沃利,旨在从事儿童的情感和社会互动。事实上,我们现在专注于它作为一个教育和情感机器人的角色,能够通过编码指令控制,同时通过识别他们的情绪和记住他们的兴趣,并相应地调整其行为,与儿童进行口头和情感互动。
2022-05-20 cs.HC cs.RO
Does It Affect You? Social and Learning Implications of Using Cognitive-Affective State Recognition for Proactive Human-Robot Tutoring
Augsburg University(奥格斯堡大学);Ulm University(乌尔姆大学)
在教育环境中使用机器人已经证明对学生的学习和社会行为有益。为了使他们更上一层楼,提供更有效、更人性化的辅导,适应用户和表达主动性的能力是至关重要的。通过主动采取行动,智能机器人导师可以预测可能出现的学生问题,并提前采取行动以防止负面结果。尽管如此,何时以及如何主动采取行动的决定仍然是一个悬而未决的问题。因此,本文涉及的调查,学生的认知情感状态可以使用的机器人导师触发主动辅导对话。这样做的目的是改善学习体验。出于这个原因,观察到一个概念学习任务场景,其中当检测到负面用户状态时,机器人助理主动提供帮助。在学习任务中,用户的沮丧和困惑状态被认为对任务的结果有负面影响,并被用来触发主动行为。在与40名本科生和博士生的实证用户研究中,我们研究了在检测到困惑和挫折的迹象后,主动行为的启动是否会提高学生对代理的专注和信任。此外,我们还调查了哪种程度的主动对话对促进学生的专注和信任是有用的。结果表明,高积极主动的行为损害信任,特别是当触发在消极的认知情感状态,但有助于保持学生专注于任务时,触发在这些状态。基于我们的研究结果,我们进一步讨论了未来的步骤,以改善机器人辅导系统的主动协助。
2022-12-20 cs.CL cs.RO
SocialHumanoid: Towards Expressive Humanoid Behavior via One-Step Co-Speech Motion Generation
SocialHumanoid提出一步式共语动作生成系统,实现情感可控、低延迟的人形机器人全身动作生成,并引入AffectMoCap数据集提升情感表现力,在BEAT2上取得最优FGD且推理速度约为GestureLSM的6倍。
2026-09-29 cs.CV cs.RO
On the causality between affective impact and coordinated human-robot reactions
Computer science department of The IT-University of Copenhagen(丹麦技术大学计算机科学系)
本文研究主动与人类共享事件反应的机器人如何改变人类对其情感影响的感知,通过两组实验发现约200ms延迟对观察者影响最大,约100ms延迟最能让人类感到对机器人影响最大。
2025-08-06 cs.RO
A Soft Robotic Interface for Chick-Robot Affective Interactions
Queen Mary University of London(伦敦玛丽女王大学);School of Biological and Behavioural Sciences, Queen Mary University of London(伦敦玛丽女王大学生物与行为科学学院)
本文提出了一种以动物为中心的柔软机器人情感接口,用于新生鸡的机器人情感互动研究,通过温度、呼吸样变形和面孔状视觉刺激等安全可控的提示,评估鸡对接口的接受度及与机器人互动。
2026-04-09 cs.HC cs.RO
From Modelling to Understanding Children's Behaviour in the Context of Robotics and Social Artificial Intelligence
Donders Institute for Brain, Cognition, and Behaviour(唐德斯大脑、认知与行为研究所);Radboud University(拉德堡德大学);Joint Research Centre, European Commission(欧盟委员会联合研究中心);Ghent University(根特大学);imec(微电子研究中心);Instituto Superio Técnico(高等技术学院);University of Lisbon(里斯本大学)
理解和模拟儿童在与机器人和社会人工智能系统互动的背景下的认知过程和行为是有意义和有效的机器人干预的基本先决条件。然而,儿童的发展涉及复杂的能力,如探索,创造力和好奇心,这是具有挑战性的模型。此外,孩子们经常以一种与典型的成人行为不同的玩耍方式表达自己。不同的儿童也有不同的需求,在目前的技术水平下,神经多样性儿童的需求没有得到充分解决,这仍然是一个挑战。通过这次研讨会,我们的目标是促进不同学科之间的共同点,如发展科学,人工智能和社会机器人技术,并讨论用户建模和儿童自适应系统领域的前沿研究。
2022-10-20 cs.AI cs.RO