Facial emotion expressions in human-robot interaction: A survey
Technical University Darmstadt(达姆施塔特工业大学)
面部表情是一种理想的方式传达一个人的情绪或意图给他人。本概述将集中在人类面部表情识别以及机器人面部表情生成。在人类面部表情识别的情况下,将涵盖预定义数据集上的面部表情识别以及实时面部表情识别。对于机器人面部表情生成,手动编码和自动化方法,即,机器人的面部表情是通过手动编码或自动使用机器学习技术移动机器人的特征(眼睛、嘴巴)而生成的。已有大量的研究在预定义的数据集上实现了高精度的情感表情识别,但是实时的面部表情识别的精度相对较低。在机器人表情生成的情况下,虽然大多数机器人都能够做出基本的面部表情,但使机器人能够自动做到这一点的研究并不多。在这篇综述中,国家的最先进的研究在人机交互过程中的面部表情进行了讨论,导致未来的研究几个可能的方向。
2022-02-08 cs.HC cs.RO
Emotion recognition using a glasses-type wearable device via multi-channel facial responses
本研究提出一种眼镜式非侵入式可穿戴设备,通过采集面部EDA、光电容积脉搏波及左眼局部表情等多通道响应,结合优化的传感器位置与识别算法,将情绪分类准确率较仅用局部表情提升10.1%,可用于日常情绪监测,具备医疗健康应用潜力。
2021-08-26 cs.HC
Exploring the Impact of Emotional Voice Integration in Sign-to-Speech Translators for Deaf-to-Hearing Communication
针对现有ASL翻译技术忽略情感面部表情、健听人易误解手语使用者情绪的问题,本研究证实情感语音整合可将情绪识别率提升32%,并结合DHH群体视角提出设计考量,助力弥合两类群体的沟通差距。
2024-12-07 cs.HC
See the Emotion: A Facial Emoji Proxy Modeling for EEG Emotion Recognition
Hefei University of Technology(合肥工业大学);PLA Information Engineering University(中国人民解放军信息工程大学);University of Science and Technology of China(中国科学技术大学);MBZUAI
研究将脑电图可解释性重构为跨模态生成任务,提出面部表情符号代理建模框架,把高维脑电图信号转化为面部表情符号,在相关基准测试中取得先进准确率,能生成忠实面部动画展现大脑情感演变。
2026-07-07 cs.CV cs.HC cs.MM
Do you see what I see? Taking perspective of others using facial images
尽管许多HCI /情绪识别研究使用面部表情图像,但很少有人仔细检查人们(实验者和参与者)在感知代表预期情绪的表情时的准确性。对这一表述的误解会使数据产生偏差,并对研究的有效性提出质疑。实验的重点是研究被试对表达的误解可能性。该实验将评估人们在不考虑当前情绪和性别的情况下从他人的角度看待问题的能力,以及这些表达是否可以被普遍感知。本研究发现,只要情绪完全在六种基本情绪范围内,使用表情图像进行研究是相对安全的。
2019-10-17 cs.HC
Discovering Gender Differences in Facial Emotion Recognition via Implicit Behavioral Cues
我们研究了以EEG脑信号和眼动形式存在的内隐行为线索在性别识别(GR)和情绪识别(ER)中的效用。具体而言,通过低成本的现成传感器获取所检查的线索。我们要求28名观众(14名女性)从未遮挡(无面具)以及部分遮挡(眼睛和嘴巴被掩盖)的情绪面部识别情绪。获得的实验结果表明,(a)可靠的GR和ER是可实现的EEG和眼睛的功能,(b)不同的认知处理,特别是对负面情绪的男性和女性观察和(c)这些认知差异的一些表现在部分面部遮挡下,由眼睛和嘴面具条件为代表。
2017-08-29 cs.HC
Altering Facial Expression Based on Textual Emotion
Ahsanullah University of Science and Technology(阿赫桑拉工程与技术大学)
人脸及其表情是数字图像的重要主题之一。从图像中检测情感是计算机视觉领域的一项古老任务;然而,执行其逆过程--从图像中合成面部表情--却相当新颖。这种重新生成具有不同面部表情的图像或改变图像中现有表情的操作需要生成对抗网络(GAN)。在本文中,我们的目标是使用GAN来改变图像中的面部表情,其中具有初始表情的输入图像(即,快乐)被改变为不同的表达(即,对同一个人来说,是厌恶的。我们在MUG数据集的修改版本上使用StarGAN技术来实现这一目标。此外,我们进一步扩展了我们的工作,重塑面部表情的图像表示的情感从一个给定的文本。因此,我们应用了一种长短期记忆(LSTM)方法来从文本中提取情感,并将其转发到我们的表情改变模块。作为工作流程的演示,我们还创建了一个博客应用程序原型,该原型可以根据用户的文本情感重新生成具有不同表情的个人资料图片。
2021-12-02 cs.CV cs.HC
Do Facial Expressions Predict Ad Sharing? A Large-Scale Observational Study
Microsoft Research(微软研究院);Wharton School University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
人们经常与他们的社会关系分享新闻和信息,但为什么有些广告比其他广告分享得更多?一项大规模的测试考察了面部反应是否预示着分享。面部表情在情感表达中起着关键作用。使用可扩展的自动面部编码算法,我们量化了数千个人对数百个广告的面部表情。结果表明,并不是所有的情绪在观看过程中表达增加共享,情感和传输之间的关系是更复杂的,而不仅仅是效价。与积极情绪相关的面部动作(即,微笑)与分享的增加有关。但是,虽然一些与消极情绪有关的行为(例如,与悲伤有关的压唇器)与减少的分享有关,其他的(即,鼻子皱纹,与厌恶有关)与分享的增加有关。在人们的自然环境中大规模快速收集面部反应的能力对营销人员具有重要意义,并为进一步研究开辟了一系列途径。
2019-12-21 cs.CV cs.HC
Does the Goal Matter? Emotion Recognition Tasks Can Change the Social Value of Facial Mimicry towards Artificial Agents
Uppsala University(乌普萨拉大学);University of Potsdam(波茨坦大学);Joint Research Centre, European Commission(欧盟委员会联合研究中心);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎综合理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
在本文中,我们提出了一项研究,旨在了解是否体现和人性化的人工代理可以影响人们的自发和指示模仿其面部表情。本研究采用混合实验设计,围绕情绪识别任务进行。参与者被随机分配到一个水平的人性化(受试者之间的变量:类人,字符,或变形的人工代理的面部纹理),并观察到的面部表情显示的人(控制)和三个人工代理不同的实施例(受试者内变量:视频录制的机器人,物理机器人,和虚拟代理)。为了研究自发的和受指导的面部模仿,我们将实验分为两个阶段。在第一阶段,我们要求参与者观察和识别代理人所表现出的情绪。在第二阶段,我们要求他们观察代理人的面部表情,尽可能接近地复制他们的动态,然后识别观察到的情绪。在这两种情况下,我们用自动动作单元(AU)强度检测器评估了参与者的面部表情。与我们的假设相反,我们的研究结果显示,被认为是最不神秘的代理人,最拟人化的,讨人喜欢的,和共同存在的,是一个自发模仿最少。此外,他们表明,指示面部模仿负面预测自发面部模仿。进一步的探索性分析显示,当参与者对他们识别的情绪不太确定时,自发的面部模仿就会出现。因此,我们假设,情感识别目标可以翻转面部模仿的社会价值,因为它将一个可爱的人工代理转换为分心。
2021-05-05 cs.HC cs.RO
Automated UX Insights from User Research Videos by Integrating Facial Emotion and Text Sentiment
本研究整合面部情感识别、语音转文本和文本情感分析等多种模态,从用户研究视频中自动提取可操作的用户体验洞察,并验证了概念可行性。
2025-03-28 cs.HC
Linking Facial Recognition of Emotions and Socially Shared Regulation in Medical Simulation
McGill University(麦吉尔大学);Nanyang Technological University(南洋理工大学);Stanford University(斯坦福大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Mila-Quebec Artificial Intelligence Institute(魁北克人工智能研究所)
该研究利用跨模态分析比较医学模拟中新手与专家的面部情绪和SSRL互动,揭示二者调节策略差异,并为面向新手的定制化支持提供依据。
2025-10-18 cs.HC
Implicit Media Tagging and Affect Prediction from video of spontaneous facial expressions, recorded with depth camera
我们提出了一种方法,自动评估情绪反应,从自发的面部活动记录的深度相机。情绪反应或情感的自动评估是一个具有吸引力的挑战,具有许多应用,包括人机交互,媒体标记和人类情感预测。我们解决这个问题的方法是基于面部肌肉随时间推移的推断活动,如由记录个人面部活动的深度相机捕获的。我们的贡献是双重的:首先,我们构建了一个公开的短视频片段数据库,这些片段在不同的个体中以一致的方式引起强烈的情感反应。每个视频都按照其特征性的情绪反应进行标记,分为4个等级:\emph{Valence, Arousal, Likability}和\emph{Rewatch}(再次观看的欲望)。第二个贡献是基于学习的两步预测方法,该方法使用标记的视频剪辑数据库进行训练和测试。我们的方法能够成功地预测上述4维表示的影响,以及确定在观看记录中最强烈的情绪反应的时期,在一种对正在观看的视频剪辑是盲目的方法中,揭示了独立观众的记录之间的显着高的一致性。
2017-01-18 cs.HC
Exploring Thermography Technology: A Comprehensive Facial Dataset for Face Detection, Recognition, and Emotion
Al-Azhar University(爱资哈尔大学);Scientific Research School of Egypt (SRSEG)(埃及科学研究学院);Helwan University(赫勒万大学);Cairo University(开罗大学)
本研究构建了包含6823张热图像的综合面部数据集,覆盖多条件、多情绪类别,可用于人脸检测、识别与情绪分析等任务,推动热成像技术发展与跨学科研究。
2024-05-28 cs.CV cs.HC
Spontaneous Emotion Recognition from Facial Thermal Images
Indian Institute of Technology(印度理工学院)
计算机视觉中的一个关键研究领域是处理和理解包含人脸的图像。最常见的任务包括人脸检测,面部标志定位,人脸识别和面部表情分析。其他更专业的任务,如情感计算,从视频中提取生命体征或分析社交互动,通常需要执行上述任务中的一项或多项。在我们的工作中,我们分析了大量的热红外图像中的面部图像处理任务,这些任务目前使用基于规则的方法解决或根本没有解决,可以用现代的基于学习的方法来解决。我们已经使用USTC-NVIE数据库进行训练的一些机器学习算法的面部标志定位。
2020-12-13 cs.CV cs.HC eess.IV
Occlusion-Robust Multimodal Emotion Recognition in VR via Fusion of Facial Images and EMG
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);Humboldt University of Berlin(柏林洪堡大学)
针对VR中HMD遮挡上半脸导致情感识别不完整的问题,该研究融合下半脸视频与上半脸EMG,通过晚期融合架构在20名参与者数据集上取得51%宏F1,优于单模态基线,为VR情感识别提供了新方案。
2026-09-04 cs.CV cs.HC
Knowledge-based Emotion Recognition using Large Language Models
本文提出结合情感识别方法与贝叶斯线索整合(BCI),利用大型语言模型推断情境知识,融合去情境化面部表情与上下文信息,在囚徒困境社交任务中实现了媲美人类观察者的情感识别效果。
2024-08-07 cs.HC
Extracting human emotions at different places based on facial expressions and spatial clustering analysis
University of Wisconsin, Madison(威斯康星大学麦迪逊分校);Wuhan University(武汉大学);Peking University(北京大学);New Jersey Institute of Technology(新泽西理工学院)
大数据的出现使我们能够通过应用情感计算,从统计的角度评估不同地点的人类情感。在这项研究中,提出了一种新的框架,用于从不同地点的大规模地理参考照片中提取人类情感。在基于社交媒体网站中收集的用户生成的足迹的空间聚类的地方的构建之后,利用在线认知服务,使用最先进的计算机视觉技术从面部表情中提取人类情感。定义了两个幸福度量标准,用于测量人类在不同地方的情绪。为了验证该框架的可行性,我们以全球80个旅游景点为例,根据从600多万张照片中检测出的200多万张人脸计算出的人类情绪,生成了一个幸福排名列表。在此基础上,结合不同的地理环境,探讨了人类情感与环境因素之间的关系。研究结果表明,不同地点的情绪变化可以用开放性等几个因素来解释。该研究可以提供整合人类情感的见解,以丰富对地理学和基于位置的GIS中的位置感的理解。
2019-05-06 cs.CV cs.HC
Hybrid Facial Expression Recognition (FER2013) Model for Real-Time Emotion Classification and Prediction
University of Abuja(阿布贾大学)
人脸表情识别是人工智能、游戏、人机交互、心理学等领域的重要研究课题。本文提出了一种用于人脸表情识别的混合模型,该模型包括深度卷积神经网络(DCNN)和Haar Cascade深度学习架构。我们的目标是将实时的【形】和数字面部图像分类到考虑的七个面部情感类别之一。本研究中采用的DCNN具有更多的卷积层,ReLU激活函数和多个内核,以增强过滤深度和面部特征提取。此外,还将Haar级联模型用于实时的【形】图像和视频帧中的人脸特征检测。Kaggle存储库(FER-2013)中的灰度图像,然后利用图形处理单元(GPU)计算来加快训练和验证过程。预处理和数据增强技术被应用于提高训练效率和分类性能。实验结果表明,与最先进的(SoTA)实验和研究相比,分类性能有显着提高。此外,与其他传统的模型相比,本文验证了所提出的架构是优越的分类性能,提高了6%,总高达70%的准确性,并具有更少的执行时间为2098.8s。
2022-08-01 cs.AI cs.CV cs.HC
Improvement in Facial Emotion Recognition using Synthetic Data Generated by Diffusion Model
Sikkim Manipal Institute of Technology(锡金马尼帕尔理工学院);National Institute of Technology Sikkim(锡金国家理工学院)
针对面部情感识别数据集类别不平衡问题,本文利用Stable Diffusion模型生成合成数据增强FER2013和RAF-DB训练集,并结合ResEmoteNet模型显著提升了识别准确率。
2024-11-16 cs.CV cs.HC eess.IV
A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
本研究提出一种整合面部表情、身体动作、语音和口语的多模态情感识别系统,为心理评估提供客观、数据驱动的工具,降低误诊风险并提升诊断准确性。
2026-10-16 cs.CL cs.CV cs.HC
In-Depth Analysis of Emotion Recognition through Knowledge-Based Large Language Models
USC ICT(南加州大学 ICT);California State Polytechnic Pomona(加州州立理工大学波莫纳分校);audEERING GmbH(audEERING GmbH(德国音频技术公司))
本文提出结合贝叶斯线索整合与大语言模型情境知识的方法,在囚徒困境社交任务中实现接近人类水平的情感识别,验证了情境信息对自动情感识别的关键作用。
2024-07-17 cs.AI cs.CV cs.HC
From Coarse to Nuanced: Cross-Modal Alignment of Fine-Grained Linguistic Cues and Visual Salient Regions for Dynamic Emotion Recognition
Hangzhou Institute for Advanced Study(杭州先进研究院)
提出GRACE方法,通过整合动态运动建模、语义文本细化与token级跨模态对齐,精确定位情绪时空特征,在三个基准数据集上取得SOTA性能。
2025-07-16 cs.AI cs.CV cs.HC
Facial Emotion Recognition in VR Games
Ontario Tech University(安大略理工大学)
针对VR游戏中HMD遮挡眉眼导致面部情绪识别困难的问题,本研究用修改后的FER2013数据集训练CNN模型识别七种情绪,经两款VR游戏测试验证,该方法可助力开发者打造更具沉浸感的游戏体验。
2023-12-12 cs.CV cs.HC cs.LG
Zero-shot Emotion Annotation in Facial Images Using Large Multimodal Models: Benchmarking and Prospects for Multi-Class, Multi-Frame Approaches
Pennsylvania State University(宾夕法尼亚州立大学);Tsinghua University(清华大学)
本研究探讨了使用GPT-4o-mini模型在FERV39k数据集上进行零样本面部情感标注的可行性,发现三元分类准确率(约64%)优于七类分类(约50%),且多帧整合策略可略微提升标注准确率并降低成本。
2025-08-12 cs.AI cs.CV cs.HC