An AI-Driven Virtual Patient for Breaking Bad News: An Expert Formative Study on Facial Expression Intensity
Coburg University of Applied Sciences（科堡应用科学大学）；University of Bamberg（班贝格大学）
研究探讨大语言模型驱动的虚拟患者情感表达设计难题，提出结合大语言模型对话与实时面部动画的框架，通过对七位医学专家评估，发现专家通过多渠道评估情感真实感，为未来医学培训模拟器提出需同步多模态管道的路线图。
2026-07-27 cs.HC
Emotional Avatars: The Interplay between Affect and Ownership of a Virtual Body
人体通过姿势、面部表情和动作影响主人的情绪。目前还不清楚虚拟身体和情感之间是否存在类似的联系。这样的链接可以为虚拟环境提供设计机会，并促进我们对嵌入式VR基本概念的理解。一项最初的实验室外受试者间研究使用商品设备，向207名参与者提供了7种化身操作，与姿势，面部表情和速度有关。我们使用高端VR设备对41名受试者进行了一项基于实验室的受试者间研究，以澄清情感对身体所有权的影响。结果表明，一些化身操作可以微妙地影响。第一项研究发现，面部处理在这方面是最有效的，特别是对积极的影响。此外，身体所有权的影响表现出调节作用：在研究I中，身体所有权与效价不同，但不与唤醒，和研究II表明身体所有权与积极的，但不与消极的影响。
2020-01-17 cs.HC
Emotional Storytelling using Virtual and Robotic Agents
University of Minho（米尼奥大学）；Universidad Politecnica de Madrid（马德里理工大学）；Hongik University（弘益大学）；Interactive Robots and Media Lab (IRML)（交互机器人与媒体实验室（IRML））
为了创建有效的讲故事代理三个基本问题必须回答：第一，是一个物理体现代理更可取的虚拟代理或语音只有叙述？第二，人类的声音比合成的声音有优势吗？第三，故事中不同人物的情感轨迹应该如何与讲故事者在讲故事时的面部表情相关联，以及这与听众脸上的明显情绪如何相关？两项特别设计的研究结果表明，与虚拟实施例相比，物理体现的机器人对听者产生更多的注意力，人类的声音比当前的文本到语音的艺术状态更可取，并且故事的情感线，叙述者的面部表情和听者的情感之间存在复杂而有趣的关系，听众的同情心通过面部表情表现出来。这项工作是向情感讲故事机器人迈出的重要一步，这些机器人可以观察他们的听众并调整他们的风格，以最大限度地提高他们的效率。
2016-07-18 cs.HC cs.RO
AV-EmoDialog: Chat with Audio-Visual Users Leveraging Emotional Cues
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出AV-EmoDialog对话系统，通过端到端地提取语音内容与情感语调、分析细粒度面部表情并整合这些情感线索，生成具有情感和语境感知的响应，在生成恰当响应上优于现有方法。
2024-12-23 cs.AI cs.CV cs.HC
A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
本研究提出一种整合面部表情、身体动作、语音和口语的多模态情感识别系统，为心理评估提供客观、数据驱动的工具，降低误诊风险并提升诊断准确性。
2026-10-16 cs.CL cs.CV cs.HC
Multimodal Integration Challenges in Emotionally Expressive Child Avatars for Training Applications
SimulaMet
针对训练应用中儿童虚拟形象的情感表达，提出结合MetaHuman与Audio2Face的实时架构，通过双PC实现低延迟，研究发现视听一致性对情感识别和真实感至关重要。
2025-07-08 cs.CV cs.HC
Automated Alertness and Emotion Detection for Empathic Feedback During E-Learning
IIT Kharagpur（印度理工学院克勒格布尔分校）
在教育技术的背景下，与用户的移情交互以及学习系统使用诸如视频、语音和文本输入的多个输入的反馈是重要的研究领域。在本文中，一个非侵入性的，独立的模型，智能评估的警觉性和情绪状态，以及产生适当的反馈已被提出。使用非侵入性视觉提示，系统对用户的情绪和警觉状态进行分类，并根据检测到的认知状态使用面部表情、眼睛参数、姿势和手势提供适当的反馈。已经提出了使用诸如PERCLOS和扫视参数的眼睛参数、来自面部表情分析的情绪状态以及来自上身姿势和姿态的相关认知和情绪状态的检测来评估警觉水平。整合这样一个系统在电子学习环境中，预计将提高学生的表现，通过互动，反馈和积极的情绪诱导。
2016-04-01 cs.CV cs.CY cs.HC
Evaluation of Generative Models for Emotional 3D Animation Generation in VR
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文通过用户研究评估了三种先进的语音驱动3D动画方法，在快乐和中性情绪下的情感质量，发现显式建模情绪的方法更准确，但生成模型在面部表情质量和互动质量上仍需改进。
2026-03-30 cs.AI cs.HC cs.MA
Psychological Effect of AI driven marketing tools for beauty/facial feature enhancement
International Institute of Information and Technology, Hyderabad（海得拉巴国际信息技术学院）
本研究通过两个版本的面部评估工具实验，发现AI工具会强化自我客体化和外貌焦虑，且存在性别差异，凸显了负责任AI设计的必要性。
2025-04-13 cs.AI cs.HC
Artificial Emotional Intelligence in Socially Assistive Robots for Older Adults: A Pilot Study
University of Denver（丹佛大学）；DreamFace Technologies, LLC（梦脸科技有限责任公司）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本文介绍了我们最近的研究集成人工情感智能的社交机器人（瑞安），并研究了机器人的有效性，在从事老年人。Ryan是一款社交辅助机器人，旨在通过对话为患有抑郁症和痴呆症的老年人提供陪伴。我们在研究中使用了两个版本的Ryan，共情和非共情。移情Ryan利用多模态情感识别算法和多模态情感表达系统。使用不同的情感输入模式，即面部表情和语音情感，移情瑞安检测用户的情绪状态，并利用情感对话管理器来生成响应。另一方面，没有同理心的瑞恩缺乏面部表情，使用脚本对话，不考虑用户的情绪状态。我们研究了这两个版本的瑞安与10名老年人生活在一个高级护理机构。用户报告的面部尺度情绪测量的统计学显着改善表明与Ryan的共情和非共情版本的交互产生了总体积极的影响。然而，口头话语的数量测量和出口调查分析表明，用户认为共情瑞安更迷人，更讨人喜欢。
2022-01-26 cs.HC cs.RO
Investigating the Effect of LED Signals and Emotional Displays in Human-Robot Shared Workspaces
German International University（德国国际大学）；Intelligent Autonomous Systems Lab（智能自主系统实验室）；Department of Computer Science, TU Darmstadt（计算机科学系，图恩-达姆施塔特技术大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science, TU Darmstadt（认知科学中心，图恩-达姆施塔特技术大学）；Hessian Center for Artificial Intelligence (Hessian.AI)（黑森人工智能中心）
本文通过在Franka Emika Panda机器人上集成LED信号与情感显示，开展18人实验，研究非语言沟通对人机协作的影响，发现情感显示虽提升交互感但对碰撞预判、沟通清晰度和任务效率无显著改善。
2025-09-18 cs.HC cs.RO
The Trusted Caregiver: The Influence of Eye and Mouth Design Incorporating the Baby Schema Effect in Virtual Humanoid Agents on Older Adults Users' Perception of Trustworthiness
本研究针对智能家居护理中虚拟人形智能体的面部设计问题，融入婴儿图式效应探讨眼睛和嘴巴设计对老年用户可信度感知的影响，提出了提升可信度的面部特征设计范式，为相关研究提供重要参考。
2024-11-27 cs.HC
Designing AI-Enabled Games to Support Social-Emotional Learning for Children with Autism Spectrum Disorders
本研究为ASD儿童设计了一款利用AI生成个性化故事的社会情感游戏，通过与专家协同设计提出设计见解，并贡献了微调的AI模型和社会故事数据集。
2024-04-24 cs.HC
RealTalk: Realistic Emotion-Aware Lifelike Talking-Head Synthesis
Northeastern University（东北大学）
RealTalk提出结合VAE、关键点变形模型与三平面注意力NeRF的情绪说话人头合成框架，在保持身份的同时实现高准确度和可控性的情绪表情生成，性能优于现有方法。
2025-08-16 cs.AI cs.CV cs.HC
From Coarse to Nuanced: Cross-Modal Alignment of Fine-Grained Linguistic Cues and Visual Salient Regions for Dynamic Emotion Recognition
Hangzhou Institute for Advanced Study（杭州先进研究院）
提出GRACE方法，通过整合动态运动建模、语义文本细化与token级跨模态对齐，精确定位情绪时空特征，在三个基准数据集上取得SOTA性能。
2025-07-16 cs.AI cs.CV cs.HC
Estimating Emotional Intensity from Body Poses for Human-Robot Interaction
为社交和服务机器人配备在交互过程中感知人类情感强度的能力的需求越来越大。大多数现有的工作集中在确定参与者从面部表情中表达的情绪，但在很大程度上忽略了其他社会线索，特别是肢体语言自发揭示的情绪强度。在本文中，我们提出了一个实时的方法，机器人捕捉参与者的情绪强度波动，从他们的身体姿势。与传统的基于关节位置的方法不同，我们的方法采用局部关节变换作为姿态描述符，该姿态描述符对受试者身体差异以及姿态传感器位置是不变的。此外，我们使用一个长短期记忆递归神经网络（LSTM-RNN）架构，以考虑到特定的情绪背景下，从身体姿势估计情绪强度。数据集评价表明，该方法是有效的，性能优于基线方法的测试数据集上。此外，一系列成功的实地测试物理机器人表明，所提出的方法有效地估计主题的情绪强度实时。此外，配备了我们的方法的机器人被认为是更情绪敏感和更情绪化的智能。
2019-04-20 cs.HC
Do Facial Expressions Predict Ad Sharing? A Large-Scale Observational Study
Microsoft Research（微软研究院）；Wharton School University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
人们经常与他们的社会关系分享新闻和信息，但为什么有些广告比其他广告分享得更多？一项大规模的测试考察了面部反应是否预示着分享。面部表情在情感表达中起着关键作用。使用可扩展的自动面部编码算法，我们量化了数千个人对数百个广告的面部表情。结果表明，并不是所有的情绪在观看过程中表达增加共享，情感和传输之间的关系是更复杂的，而不仅仅是效价。与积极情绪相关的面部动作（即，微笑）与分享的增加有关。但是，虽然一些与消极情绪有关的行为（例如，与悲伤有关的压唇器）与减少的分享有关，其他的（即，鼻子皱纹，与厌恶有关）与分享的增加有关。在人们的自然环境中大规模快速收集面部反应的能力对营销人员具有重要意义，并为进一步研究开辟了一系列途径。
2019-12-21 cs.CV cs.HC
Improving Inclusivity for Emotion Recognition Based on Face Tracking
针对MR/VR中面部追踪情感识别难以应对个体化表情差异的问题，本文为CHI '25研讨会提出多种有无用户干预的改进策略，以提升系统的包容性。
2025-05-07 cs.HC
Rank-O-ToM: Unlocking Emotional Nuance Ranking to Enhance Affective Theory-of-Mind
Chung-Ang University（中央大学）
针对现有面部表情识别模型校准差、难捕捉情感强度与复杂性的问题，研究提出Rank-O-ToM框架，借序数排序对齐置信度与情感谱系，结合合成样本增强情感精细化理解，提升AI情感心智理论能力。
2025-02-24 cs.AI cs.HC
Mirror Ritual: An Affective Interface for Emotional Self-Reflection
Monash University（莫纳什大学）
本文介绍了一种新的形式的实时情感界面，从事用户的概念化的过程中，他们的情绪状态。受巴雷特的情绪建构理论的启发，“镜像反射”旨在扩展用户可访问的情绪概念，并最终引发情绪反射和调节。该界面使用分类的情感-通过面部表情识别获得-作为动态生成诗歌的基础。感知到的情感被用于基于OpenAI的GPT-2模型的诗歌生成系统，该模型在专门策划的语料库上进行了微调。我们评估设备在持续时间内为个人用户培养个性化、有意义体验的能力。一项定性分析显示，参与者能够情感地与镜子互动，每个参与者都在自己的情感景观背景下对其诗歌进行了独特的解释。
2020-04-21 cs.AI cs.HC
Context, Credibility, and Control: User Reflections on AI Assisted Misinformation Tools
本文研究协作式AI如何增强用户识别社交媒体虚假信息的能力，提出集成实时解释、来源聚合和辩论式交互的界面，实验证明其能显著提升评估效果与媒介素养。
2025-06-28 cs.HC cs.SI
Fostering Emotional Perspective-Taking: An Exploration of Affective Face-Tracking Interactions in the VR Narrative Rekindle
Northeastern University（东北大学）
提出利用VR头显内置面部追踪识别玩家情绪，促进玩家与故事角色之间的情感视角转换，从而加深情感联系和叙事参与。
2026-06-01 cs.HC cs.MM
Emotion Detection in Older Adults Using Physiological Signals from Wearable Sensors
University of Tennessee（田纳西大学）；University of Georgia（佐治亚大学）
本研究提出一种基于边缘计算的非侵入式方法，仅利用可穿戴传感器生理信号预测老年人情感强度，在回归任务中取得0.782 r2分数，为ADRD和PTSD患者等群体提供隐私保护的情感识别方案。
2025-07-10 cs.HC cs.LG
Real-time Facial Communication Restores Cooperation After Defection in Social Dilemmas
New York University Abu Dhabi（纽约大学阿布扎比分校）
实时面部交流能有效恢复社会困境中背叛后的合作，通过减少对背叛的严厉解读促进合作恢复。
2026-01-21 cs.GT cs.HC econ.GN
Deep Multi-Facial patches Aggregation Network for Expression Classification from Face Images
人机交互中的情绪智力越来越受到心理学、计算机视觉、神经科学、人工智能等多学科研究者的关注。人类倾向于自然地与计算机进行面对面的交互。人类表情是更好地连接人类和计算机的重要关键。因此，设计能够理解人类表情和情感的界面可以改善人机交互（HCI）以实现更好的通信。在本文中，我们研究了HCI通过一个深多面部补丁聚合网络的人脸表情识别（FER）。从面部部分提取深度特征并聚合用于表情分类。有几个问题可能会影响所提出的框架的性能，如FER数据集的小尺寸和大量的参数学习。为此，提出了两种用于表情生成的数据增强技术，以扩展标记训练。在扩展的Cohn-Konade数据集（CK+）上对该框架进行了评估，并取得了令人满意的结果。
2020-02-24 cs.AI cs.CV cs.HC
Sympathy Begins with a Smile, Intelligence Begins with a Word: Use of Multimodal Features in Spoken Human-Robot Interaction
Heriot-Watt University（赫瑞-瓦特大学）
从人类面部表情或语音韵律中识别社会信号是人机交互研究中的一个热门研究课题。在口语对话社区中也有一长串的研究，调查与对话特征相关的用户满意度。然而，很少有研究涉及多模态的社会信号和语言功能的组合，在口语面对面的人机交互过程中检测到的用户感知的机器人。在本文中，我们展示了人类用户的不同情感的面部表情，结合人类语音的韵律特征和人机对话的特征，与用户的机器人的印象后，对话。我们发现，在用户的识别面部表情的幸福感强烈相关的机器人的可爱性，而对话相关的功能（如人类的回合数或每机器人话语的句子数）与感知机器人智能。此外，我们表明，面部表情，情感特征和韵律是更好的预测人类评级相关的感知机器人的可爱性和拟人化，而语言和非语言功能更经常预测感知机器人的智能和可解释性。因此，这些特征将来可以用作基于原位强化学习的自适应人机对话系统的在线奖励信号。
2017-06-08 cs.CL cs.HC cs.RO
EmoCLIP: A Vision-Language Method for Zero-Shot Video Facial Expression Recognition
School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦大学玛丽女王学院电子工程与计算机科学学院）
提出EmoCLIP，一种利用样本级文本描述作为监督的视觉-语言模型，用于零样本视频面部表情识别，在多个数据集上超越CLIP，并在心理健康症状估计任务中达到与人类专家相当的性能。
2024-03-18 cs.CV cs.HC
End-to-end facial and physiological model for Affective Computing and applications
Pompeu Fabra University（庞培法布拉大学）
近年来，情感计算及其应用已经成为一个快速发展的研究课题。此外，与经典方法相比，深度学习的兴起在情感识别系统中引入了显着的改进。在这项工作中，我们提出了一个多模态情感识别模型的基础上，深度学习技术，使用相结合的外围生理信号和面部表情。此外，我们通过引入从我们内部的生物自动编码器（BAE）提取的潜在特征，对所提出的模型进行了改进。这两个模型都是在AMIGOS数据集上训练和评估的，这些数据集报告了效价、唤醒和情绪状态分类。最后，为了证明使用深度学习技术在情感计算中可能的医学应用，我们将所提出的方法应用于焦虑治疗的评估。为此，通过记录每个患者的面部表情和外周信号（例如心电图（ECG）和皮肤电反应（GSR））来收集简化的多模态数据库。从治疗开始到结束，使用所提出的模型提取效价和唤醒估计，成功地评估了时间域中的不同情绪变化。
2020-01-20 cs.CV cs.HC
See the Emotion: A Facial Emoji Proxy Modeling for EEG Emotion Recognition
Hefei University of Technology（合肥工业大学）；PLA Information Engineering University（中国人民解放军信息工程大学）；University of Science and Technology of China（中国科学技术大学）；MBZUAI
研究将脑电图可解释性重构为跨模态生成任务，提出面部表情符号代理建模框架，把高维脑电图信号转化为面部表情符号，在相关基准测试中取得先进准确率，能生成忠实面部动画展现大脑情感演变。
2026-07-07 cs.CV cs.HC cs.MM
Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning
Department of Electrical Engineering, Columbia University（电气工程系，哥伦比亚大学）
提出Sympatheia语音对话框架，通过从用户语音推断情感并结合连续效价-唤醒度控制信号，实现情感自适应响应，优于基线模型。
2026-05-30 cs.CL cs.HC cs.LG
