Accounting for Affect in Pain Level Recognition
University of South Florida(南佛罗里达大学);National Institutes of Health(美国国立卫生研究院)
在这项工作中,我们解决了影响自动疼痛评估的重要性和现实世界中的影响。为了实现这一目标,我们通过合并公开的bioVid疼痛和情绪数据集来策划一个新的生理数据集。然后,我们研究疼痛水平识别这个数据集模拟参与者的自然情感行为。我们的研究结果表明,承认疼痛评估的影响是必不可少的。当我们模拟情感的存在来验证疼痛评估模型时,我们观察到识别性能的下降;相反,当我们考虑情感时,我们观察到识别性能的提升。
2020-11-15 cs.CV
Emotion Recognition from the perspective of Activity Recognition
The Pennsylvania State University(宾夕法尼亚州立大学)
本文从动作识别视角处理情感识别问题,提出一种带注意力机制的三流端到端深度学习回归流水线,通过提取关键帧和面部高注意力区域光流捕获时空信息,在AFEW-VA数据集上优于多个标准基线。
2024-03-24 cs.CV
Oculum afficit: Ocular Affect Recognition
University of Illinois(伊利诺伊大学)
识别人类情感和情绪是一个在学术界和工业界都有广泛应用的问题。计算机视觉中的情感和情绪识别主要依赖于面部图像。随着便携式设备(例如,智能电话和/或智能眼镜)的普及,获取用户面部图像需要焦点、时间和精度。虽然现有的系统对于完整的正面面部工作得很好,但是当使用时,它们对于像设备的操作者的面部那样的局部面部往往工作得不那么好。由于这一点,我们提出了一种方法,在该方法中,我们可以通过观察一个人的眼部区域来准确地推断一个人的整体影响。
2019-05-22 cs.CV
Hybrid CNN-Transformer Model For Facial Affect Recognition In the ABAW4 Challenge
University of Electronic Science and Technology of China(电子科技大学)
本文介绍了我们提交的第四届情感行为分析(ABAW)的竞争。针对多任务学习(MTL)和从合成数据学习(LSD)任务,提出了一种混合CNN-Transformer模型。在验证数据集上的实验结果表明,该方法比基线模型具有更好的性能,验证了该网络的有效性。
2022-07-20 cs.CV
Affect-DML: Context-Aware One-Shot Recognition of Human Affect using Deep Metric Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人类情感识别是一个成熟的研究领域,具有许多应用,例如,在心理护理中,但是现有的方法假设所有感兴趣的情绪都是作为注释的训练样本先验地给出的。然而,通过新颖的心理学理论和在上下文中增加对情感的考虑,人类情感谱的粒度和细化的增加给数据汇集和标记工作带来了相当大的压力。在本文中,我们概念化的一次性识别的情绪的背景下-一个新的问题,旨在识别人类的情感状态在更细的粒子水平从一个单一的支持样本。为了解决这一具有挑战性的任务,我们遵循深度度量学习范式,并引入了一种多模态情感嵌入方法,该方法通过利用人类外观的互补信息和通过语义分割网络获得的语义场景上下文来最小化相同情感嵌入的距离。我们的上下文感知模型的所有流使用加权三重损失和加权交叉熵损失联合优化。我们进行彻底的实验,分类和数值的情感识别任务的分类数据集适应我们的一次性识别问题,揭示了人类的影响,从一个单一的例子分类是一项艰巨的任务。尽管如此,我们模型的所有变体都明显优于随机基线,同时利用语义场景上下文不断改进学习的表示,在一次性情感识别中设置最先进的结果。为了促进对人类情感状态的更普遍表征的研究,我们将在https://github.com/KPeng9510/Affect-DML下向社区公开我们的基准和模型。
2021-11-30 cs.CV
Prior Aided Streaming Network for Multi-task Affective Recognitionat the 2nd ABAW2 Competition
Netease Fuxi AI Lab(网易伏羲人工智能实验室);Southwest University(西南大学)
自动情感识别是人机交互领域的一个重要研究课题。随着深度学习技术和大规模野外标注数据集的发展,面部情感分析现在针对现实世界环境中的挑战。在本文中,我们介绍了我们提交的第二届情感行为分析在野外(ABAW 2)的竞争。在处理不同的情绪表征,包括分类情绪(CE),行动单位(AU),和效价唤醒(VA),我们提出了一个多任务流网络的启发式,这三个表示是内在地相互关联的。此外,我们利用先进的面部表情嵌入作为先验知识,这是能够捕获身份不变的表情特征,同时保持表情相似性,以帮助下游识别任务。对Aff-Wild 2数据集的广泛定量评估和消融研究证明了我们提出的先前辅助流网络方法的有效性。
2021-07-08 cs.CV
CorrLoss: Integrating Co-Occurrence Domain Knowledge for Affect Recognition
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所);University of Bamberg(班贝格大学)
神经网络被广泛采用,但领域知识的集成仍然没有得到充分利用。我们建议整合领域知识的共同发生的面部动作作为一个约束的损失函数,以加强神经网络的训练,影响识别。由于数据集之间的共现模式往往是相似的,因此应用我们的方法可以提高模型的泛化能力,降低过拟合的风险。我们通过显示各种数据集的跨数据集测试的性能提高来证明这一点。我们还表明,我们的方法校准神经网络不同的面部表情的适用性。
2022-10-31 cs.CV
Going Deeper than Tracking: a Survey of Computer-Vision Based Recognition of Animal Pain and Affective States
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Haifa(海法大学);University of São Paulo(圣保罗大学);Swedish University of Agricultural Sciences(瑞典农业科学大学);Universiteit Utrecht(乌得勒支大学);University of Glasgow(格拉斯哥大学);Silo AI;Boğaziçi University(博阿齐奇大学)
动物运动跟踪和姿态识别的进展已经改变了动物行为研究的游戏规则。最近,越来越多的作品比跟踪更“深入”,并解决了动物内部状态的自动识别,如情绪和疼痛,目的是改善动物福利,使其成为该领域系统化的及时时机。本文提供了一个全面的调查计算机视觉为基础的研究,对动物的情感状态和疼痛的识别,解决面部和身体行为分析。我们总结了到目前为止在这个主题中所做的努力-将它们分类到不同的维度,突出挑战和研究差距,并为推进该领域提供最佳实践建议,以及一些未来的研究方向。
2022-06-16 cs.CV
SS-MFAR : Semi-supervised Multi-task Facial Affect Recognition
SSSIHL(斯里沙迪亚赛高等研究所)
自动情感识别在教育、游戏、软件开发、汽车、医疗保健等许多领域都有应用,但在野外数据集上实现可观的性能是一项不平凡的任务。尽管野外数据集比合成数据集更能代表真实世界的场景,但前者存在标签不完整的问题。受半监督学习的启发,在本文中,我们介绍了我们在2022年第四届野外情感行为分析(ABAW)竞赛中提交的多任务学习挑战赛。在这个挑战中考虑的三个任务是效价唤醒(VA)估计,将表情分类为6个基本(愤怒、厌恶、恐惧、快乐、悲伤、惊讶)、中性和“其他”类别以及编号为AU-{1,2,4,6,7,10,12,15,23,24,25,26}的12个动作单元(AU)。我们的方法半监督多任务面部情感识别名为SS-MFAR使用深度残差网络与任务特定的分类器为每个任务以及自适应阈值为每个表情类和半监督学习不完整的标签。源代码可在https://github.com/1980x/ABAW2022DMACS上获得。
2022-08-05 cs.CV
GAViD: A Large-Scale Multimodal Dataset for Context-Aware Group Affect Recognition from Videos
Department of Computer Science and Engineering, Indian Institute of Technology Roorkee(计算机科学与工程系,印度理工学院Roorkee分校);Indian Institute of Technology Ropar(印度理工学院Ropar分校);Zhejiang University(浙江大学);University of Oulu(奥卢大学)
本文提出GAViD数据集和CAGNet网络,用于视频中基于情境的群体情感识别,通过多模态数据和上下文信息提升识别性能,测试准确率达63.20%。
2026-04-17 cs.CV
Comparative Evaluation of Machine Learning Algorithms for Affective State Recognition from Children's Drawings
本文比较了三种深度学习模型在儿童绘画中识别情感状态的效果,探讨了轻量级与深度架构在移动和实时应用中的权衡。
2026-01-26 cs.CV
Survey on RGB, 3D, Thermal, and Multimodal Approaches for Facial Expression Recognition: History, Trends, and Affect-related Applications
Computer Vision Center, UAB(UAB计算机视觉中心);University of Barcelona(巴塞罗那大学);Robotics Institute, CMU(CMU机器人研究所);University of Pittsburgh(匹兹堡大学)
面部表情是人类社会交往的重要方式。近年来,构建能够从图像和视频中自动识别面部表情的系统一直是一个激烈的研究领域。解释这些表达仍然具有挑战性,需要对它们与人类情感的关系进行大量研究。本文介绍了自动RGB,3D,热和多模态面部表情分析的一般概述。我们为该领域定义了一个新的分类法,包括从人脸检测到面部表情识别的所有步骤,并相应地描述和分类最先进的方法。我们还介绍了重要的数据集和最有影响力的方法的基准。最后,我们对趋势,重要问题和未来的研究路线进行了一般性讨论。
2016-06-10 cs.CV
How Image Degradations Affect Deep CNN-based Face Recognition?
TUBITAK BILGEM(土耳其科学技术研究委员会信息与信息安全高级研究中心)
基于深度卷积神经网络(CNN)的人脸识别方法一直主导着该领域。它们在所谓的野外数据集中提供的性能改进是显著的,然而,它们在图像质量下降下的性能尚未被评估。这是特别重要的,因为在现实世界的人脸识别应用中,图像可能包含由于运动模糊、噪声、压缩伪影、颜色失真和遮挡而导致的各种退化。在这项工作中,我们解决了这个问题,并分析了这些图像退化对使用标准LFW闭集识别协议的基于深度CNN的人脸识别方法性能的影响。我们评估了三种流行的深度CNN模型,即AlexNet、VGG-Face和GoogLeNet。结果表明,模糊、噪声和遮挡会导致性能显著下降,而深度CNN模型对失真(如颜色失真和颜色平衡变化)具有鲁棒性。
2016-08-18 cs.CV
AffectReveal: Event-Grounded Emotion Recognition Beyond Visual Appearances
South China University of Technology(华南理工大学);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Tsinghua University(清华大学)
针对视觉情感识别中仅凭表象证据不足的问题,提出事件锚定情感识别EGER及无需微调的AffectReveal框架,通过恢复并验证决定情感的事件,显著提升识别准确率。
2026-09-30 cs.CV
AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition
Great Bay University(大湾大学);Guangming Laboratory(光明实验室)
本文提出AffectAgent,通过协同多智能体推理框架,解决多模态情感识别中的模态模糊和复杂情感依赖问题,引入MB-MoE和RAAF提升表现。
2026-11-17 cs.CV
Multimodal Affect Recognition using Kinect
Louisiana State University(路易斯安那州立大学)
在过去的十年里,情感识别得到了研究者的极大关注。感知导航的计算机系统和设备具有从交互式机器人、智能在线教师到基于情感的导航助手的许多应用。在这项研究中,来自多个模态的数据,如面部,头部,手部,身体和语音被用于情感识别。该研究使用Kinect等颜色和深度传感设备进行面部特征提取和人体关节跟踪。跨多帧的时间特征用于情感识别。事件驱动的决策层融合被用来结合来自每个单独的模态的结果,使用多数投票来识别情绪。该研究还通过将特征与基于规则的情感模板进行匹配来实现情感识别。实验结果表明,多模态情感识别率相结合的情感模板和监督学习是更好的识别率相比,基于监督学习单独。使用时间特征获得的识别率高于仅使用基于位置的特征获得的识别率。
2016-07-09 cs.CV cs.HC
EmotiW 2018: Audio-Video, Student Engagement and Group-Level Affect Prediction
Indian Institute of Technology Ropar(印度理工学院罗巴尔分校);University of Canberra(堪培拉大学);Australian National University(澳大利亚国立大学)
本文详细介绍了第六届情绪识别在野生(EMOTIW)的挑战。2018年ACM多模态交互国际会议(ACM International Conference on Multimodal Interaction 2018),美国科罗拉多州。这项挑战旨在为在情感计算社区工作的研究人员提供一个共同的平台,以便根据“野外”数据对他们的算法进行基准测试。今年的挑战赛包含三个子挑战:a)基于音频视频的情感识别; b)学生参与度预测; c)群体级情感识别。详细讨论了数据库、协议和基线。
2018-08-23 cs.CV
Team RAS in 9th ABAW Competition: Multimodal Compound Expression Recognition Approach
St. Petersburg Federal Research Center of the Russian Academy of Sciences(俄罗斯科学院圣彼得堡联邦研究中心);ITMO University(ITMO大学)
本文提出一种零样本多模态复合表情识别方法,融合六种模态并通过多头概率融合与复合表情转换模块,在多个数据集上取得与监督方法相当的F1分数。
2025-07-04 cs.CV
InFER: A Multi-Ethnic Indian Facial Expression Recognition Dataset
BITS Pilani(pilani校区的比拉斯布尔理工与科学大学(BITS Pilani))
本文构建并发布包含10,200张图像、4,200段视频和600名受试者的多种族印度面部表情识别数据集 InFER,并通过基线及深度 FER 实验验证其实际可用性。
2023-09-30 cs.CV
Towards Intercultural Affect Recognition: Audio-Visual Affect Recognition in the Wild Across Six Cultures
University of Southern California(南加州大学);California Institute of Technology(加州理工学院)
在我们的多元文化世界中,支持人类的情感感知AI系统需要能够感知跨文化情感表达模式的变化。这些系统必须在没有可用于训练模型的注释影响数据集的文化背景下表现良好。情感计算中的一个标准假设是,在同一文化(文化内)中训练和使用的情感识别模型比在一种文化中训练和在不同文化(文化间)中使用的模型表现更好。我们测试这一假设,并提出了第一个系统的跨文化影响识别模型,使用视频的现实世界的二元互动从六种文化。我们开发了一种基于注意力的特征选择方法,在时间因果发现下识别行为线索,可以利用跨文化情感识别模型。在所有六种文化中,我们的研究结果表明,跨文化情感识别模型与文化内模型一样有效或更有效。我们识别和贡献有用的行为特征,跨文化影响识别;在本研究的背景下,从视觉模态的面部特征比音频模态更有用。我们的论文提出了跨文化情感识别系统的未来发展的概念验证和动机,特别是那些部署在低资源的情况下,没有注释的数据。
2022-10-31 cs.CV cs.HC cs.LG
Multimodal Emotion Recognition in Conversations via Class-Wise Adaptive Modality Fusion and Affective Geometry
Eurecat, Centre Tecnològic de Catalunya(加泰罗尼亚技术中心Eurecat);Universitat Pompeu Fabra(庞培法布拉大学)
本研究提出一种结合外观与几何视觉表示、类别自适应模态融合及效价-唤醒先验的ERC方法,在MELD和IEMOCAP上显著提升性能,验证了结构化面部线索与情感几何的互补价值。
2026-09-10 cs.CV
Does color modalities affect handwriting recognition? An empirical study on Persian handwritings using convolutional neural networks
Kosar University of Bojnord(博季诺尔德科萨尔大学);Concordia University(康考迪亚大学)
该研究利用含三种色彩模态的波斯语手写数据集,通过CNN实验探究色彩模态对手写识别的影响,发现黑白图像识别表现更优、效率更高,但不同模态准确率无显著差异。
2023-07-22 cs.CV
Impact of Facial Tattoos and Paintings on Face Recognition Systems
Hochschule Darmstadt(达姆施塔特应用技术大学)
在过去的几年中,人脸识别技术已经显示出令人印象深刻的识别性能,这主要是由于深度卷积神经网络的最新发展。尽管有这些改进,仍然存在影响人脸识别系统性能的几个挑战。在这项工作中,我们研究了面部纹身和绘画对当前人脸识别系统的影响。为此,我们首先收集了一个适当的数据库,其中包含有和没有面部纹身或绘画的个人的图像对。组装的数据库被用来评估如何面部纹身和绘画影响检测,质量估计,以及特征提取和人脸识别系统的比较模块。使用最先进的开放源码和商业系统评估了对这些模块的影响。所得到的结果表明,面部纹身和绘画影响所有的测试模块,特别是对于图像的大面积的脸是覆盖着纹身或绘画。我们的工作是一个初步的案例研究,并表明需要设计算法,这是强大的面部纹身和绘画所造成的视觉变化。
2021-03-27 cs.CV
CAST-Phys: Contactless Affective States Through Physiological signals Database
Department of Information and Communication Technologies, Pompeu Fabra University(信息与通信技术系,庞培法布拉大学);Eurecat Centre Tecnològic(埃鲁卡特技术中心)
CAST-Phys数据库通过多模态远程生理信号实现无接触情绪识别,提供高质量的生理和面部数据以提升情绪识别技术。
2025-12-15 cs.CV
Facial Affect Recognition based on Transformer Encoder and Audiovisual Fusion for the ABAW5 Challenge
Hefei University of Technology(合肥工业大学)
在本文中,我们提出了我们的解决方案,第五届研讨会和比赛的情感行为分析在野外(ABAW),其中包括四个子挑战的效价唤醒(VA)估计,表达(Expr)分类,行动单位(AU)检测和情绪反应强度(ERI)估计。第五届ABAW竞赛的重点是利用不同的模式和数据集进行面部情感识别。在我们的工作中,我们使用大量的sota模型提取强大的音频和视觉特征。Transformer Encoder和TEMMA融合了这些特性。此外,为了避免不同特征之间的尺寸差异可能带来的影响,我们设计了一个仿射模块来将不同的特征对齐到相同的尺寸。大量的实验证明了该方法的优越性。对于VA估计子挑战,我们的方法获得的平均一致性相关系数(CCC)为0.6066。对于表达分类子挑战,平均F1评分为0.4055。对于AU检测子挑战,平均F1评分为0.5296。对于情绪反应强度估计子质询,验证集上的平均pearson相关系数为0.3968。四个子挑战的结果都以较大幅度超过基线。
2023-03-20 cs.CV
AffectNet+: A Database for Enhancing Facial Expression Recognition with Soft-Labels
Ritchie School of Engineering and Computer Science, University of Denver(丹佛大学里奇工程与计算机科学学院);College of Arts, Humanities and Social Sciences, University of Denver(丹佛大学艺术、人文与社会科学学院)
针对面部表情识别中类内差异、类间相似及复合表情识别难题,提出软标签标注方法构建新一代数据集AffectNet+,含多类元数据与复杂度子集,将公开助力更真实的表情识别研究。
2024-10-29 cs.CV
Efficient Facial Expression Analysis For Dimensional Affect Recognition Using Geometric Features
Advanced Digital Sciences Center (ADSC), University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校高级数字科学中心);Amazon Web Services(亚马逊云科技);National University of Singapore(新加坡国立大学)
尽管它们持续流行,但影响识别的分类方法具有局限性,特别是在现实生活中。情感的维度模型为识别微妙的表达和更细粒度的分析提供了重要的优势。我们介绍了一个简单而有效的面部表情分析(FEA)系统的尺寸影响,完全基于几何特征和偏最小二乘(PLS)回归。该系统联合学习从一组面部图像中估计唤醒和效价评级。所提出的方法是鲁棒的,高效的,并表现出与当代深度学习模型相当的性能,同时需要一小部分的计算资源。
2021-06-15 cs.CV cs.HC
Multimodal Emotion Recognition via Causal-Diffusion Bridge (Affect-Diff)
Department of Computer Science -- Data Science(计算机科学系——数据科学部);Fordham University(福特汉姆大学)
针对CMU-MOSEI数据集中情绪类别不平衡问题,Affect-Diff通过因果图、正则化潜在压缩和扩散先验机制提升识别性能,验证了其在平衡准确率和少数类敏感性上的优势。
2026-05-07 cs.CV
Towards Reading Beyond Faces for Sparsity-Aware 4D Affect Recognition
Center for Machine Vision and Signal Analysis (CMVS), University of Oulu(奥卢大学机器视觉与信号分析中心)
在本文中,我们提出了一种用于自动4D面部表情识别(FER)的稀疏感知深度网络。给定4D数据,我们首先提出了一种新的增强方法来解决深度学习的数据限制问题。这是通过将输入数据投影到RGB和深度图图像中,然后迭代地执行随机化通道级联来实现的。在给定的3D地标编码,我们还介绍了一种有效的方法来捕捉面部肌肉运动从三个正交计划(TOP),TOP地标在多个视图。重要的是,我们提出了一个稀疏感知的深度网络来计算多视图上卷积特征的稀疏表示。这不仅对于更高的识别精度是有效的,而且在计算上也是方便的。对于训练,TOP地标和稀疏表示用于训练长短期记忆(LSTM)网络。当学习的特征在多视图上协作时,实现了精细的预测。在BU-4DFE数据集上取得的广泛实验结果表明,我们的方法对4D FER的准确率达到99.69%,比最先进的方法具有重要意义。
2020-08-19 cs.CV
Facial Affect Recognition based on Multi Architecture Encoder and Feature Fusion for the ABAW7 Challenge
Hefei University of Technology(合肥工业大学)
本文针对ABAW7挑战赛的VA估计、Expr分类和AU检测任务,采用最先进模型提取视觉特征,利用Transformer Encoder进行特征融合,并引入仿射模块对齐维度,结果显著优于基线。
2024-07-26 cs.CV
How Does Gender Balance In Training Data Affect Face Recognition Accuracy?
University of Notre Dame(圣母大学)
深度学习方法大大提高了人脸识别的准确率,但一个老问题仍然存在:男性的准确率通常高于女性。通常推测,女性的准确性较低是由于训练数据中的代表性不足。这项工作调查了女性在训练数据中的代表性不足,这确实是女性在测试数据中准确性较低的原因。使用最先进的深度CNN,三种不同的损失函数和两个训练数据集,我们分别在具有不同男性/女性比例的七个子集上进行训练,总共四十二次训练,在三个不同的数据集上进行测试。结果表明:(1)训练数据中的性别平衡并不能转化为测试准确度中的性别平衡,(2)测试准确度中的“性别差距”并不是通过性别平衡的训练集来最小化的,而是通过男性图像多于女性图像的训练集来最小化的,以及(3)训练以最小化准确度差距并不能导致最高的女性、男性或平均准确度
2020-04-06 cs.CV
xTrace: A Facial Expressive Behaviour Analysis Tool for Continuous Affect Recognition
Blueskeye AI;Queen’s University Belfast(女王学院贝尔法斯特)
本文提出xTrace,一种用于非受限环境下面部表情行为分析及连续情感(效价和唤醒度)预测的鲁棒工具,通过在大规模数据集上训练并采用可解释且计算高效的面部情感描述符,在多个基准测试中超越现有SOTA。
2025-10-12 cs.CV
TNTC: two-stream network with transformer-based complementarity for gait-based emotion recognition
Southeast University(东南大学);Zhejiang University(浙江大学)
从视觉特征中自动识别人类情感在许多智能应用中起着至关重要的作用。近年来,基于步态的情感识别,特别是基于步态特征的情感识别受到了广泛的关注,并逐渐提出了许多有效的方法。流行的流程是首先从关节骨架中提取情感特征,然后将骨架关节特征和情感特征聚合为特征向量用于情感分类。然而,这些方法的聚合过程可能是僵化的,导致没有充分利用骨骼关节和情感特征之间的互补关系。同时,在空间和时间域的步态序列的长程相关性很少考虑。为了解决这些问题,我们提出了一种新型的具有基于转换器的互补性的二流网络,称为TNTC。骨架关节和情感特征被编码成两个单独的图像作为两个流的输入,分别。提出了一种新的基于转换器的互补模块(TCM),通过捕获长范围依赖关系,分层地桥接两个流之间的互补性。实验结果表明,TNTC在准确性方面优于最新数据集上的最先进方法。
2021-10-26 cs.CV
EmoNets: Multimodal deep learning approaches for emotion recognition in video
Université de Montréal(蒙特利尔大学);Goethe-Universität Frankfurt(法兰克福歌德大学)
野外情绪识别(Emotional Recognition in the Wild,缩写为EARTIW)挑战赛的任务是将七种情绪中的一种分配给从好莱坞风格电影中提取的短视频片段。这些视频描绘了在现实条件下的情感表现,姿态和照明等属性变化很大,因此值得探索考虑多种模式特征组合的方法来进行标签分配。在本文中,我们提出了使用深度学习技术学习几个专业模型的方法,每个模型都专注于一种模态。其中有一个卷积神经网络,专注于捕捉检测到的人脸中的视觉信息,一个深度信念网络,专注于音频流的表示,一个基于K-Means的“嘴袋”模型,它提取嘴部区域周围的视觉特征,以及一个关系自动编码器,它解决了视频的时空方面。我们探索多种方法,这些方式的线索组合成一个共同的分类。这比我们最强的单模态分类器的预测精度高得多。我们的方法在2013年的挑战赛中获胜,并在2014年的数据集上实现了47.67%的测试集准确率。
2015-03-30 cs.CV cs.LG
Facial Affect Recognition in the Wild Using Multi-Task Learning Convolutional Network
Nuctech
本文提出了一种基于神经网络的方法--多任务情感网络(MTANet),提交给FG 2020的情感行为分析野外挑战赛。该方法是基于SE-ResNet模块的多任务网络。通过多任务学习,该网络可以同时估计和识别三种量化的情感模型:效价和唤醒,动作单元和七种基本情感。MTANet的一致性相关系数(CCC)率为0.28和0.34的效价和唤醒,F1得分为0.427和0.32的AU检测和分类情绪分类。
2020-02-03 cs.CV cs.LG
Bounded Residual Gradient Networks (BReG-Net) for Facial Affect Computing
University of Denver(丹佛大学)
基于残差的神经网络在包括面部表情识别(FER)在内的各种视觉识别任务中表现出了显著的效果。尽管已经做出了巨大的努力来提高使用DNN的FER系统的性能,但是现有的方法对于实际应用来说还不够通用。本文介绍了用于面部表情识别的有界残差梯度网络(BReG-Net),其中ResNet模块的输入和输出之间的快捷连接被替换为具有有界梯度的可微函数。这种配置可以防止网络面临梯度消失或爆炸的问题。我们表明,利用这种非线性单元将导致更浅的网络具有更好的性能。此外,通过使用加权的损失函数,它给了一个更高的优先级,以较少的代表类别,我们可以实现一个整体更好的识别率。我们的实验结果表明,BReG-Nets在三个公开的面部数据库上的表现优于最先进的方法,无论是在情感的分类模型还是维度模型上。
2019-03-05 cs.CV
A Personalized Affective Memory Neural Model for Improving Emotion Recognition
University of Hamburg(汉堡大学);Apprente Inc(Apprente公司)
最近的情感识别模型强烈依赖于有监督的深度学习解决方案来区分一般的情感表达。然而,当识别在线和个性化的面部表情时,它们并不可靠,例如,对个人情感的理解。在本文中,我们提出了一个基于条件对抗自动编码器的神经模型,以学习如何表示和编辑一般的情感表达。然后,我们提出Grow-When-Required网络作为个性化的情感记忆来学习情感表达的个性化方面。在\textit{in-the-wild}数据集上进行评估时,我们的模型在情感识别方面达到了最先进的性能。此外,我们的实验包括消融研究和神经可视化,以解释我们的模型的行为。
2020-05-31 cs.AI cs.CV
Strength-Parity Ensembling with Parameter-Isolated Experts for Multi-Task Affect Recognition
研究在特定规则下从单张无约束面部进行多任务情感识别问题,基于共享情感潜变量提出强度-奇偶规则,用参数隔离解决成员相关性及多样性问题,提升了系统整体验证分数。
2026-07-22 cs.CV
The Circumplex Degeneracy Behind the Rare-Class Limit in Affect Recognition
Faculty of CSE, Ho Chi Minh City University of Technology (HCMUT), VNUHCM(胡志明市理工大学计算机科学与工程学院, 越南国家大学胡志明市分校);Dept. of AI, FPT University(FPT大学人工智能系);Dept. of AI Convergence, Chonnam National University(全南大学人工智能融合系)
通过多任务研究揭示稀有表情识别失败源于Russell圆周上的退化性,而非类别不平衡,并提出圆周代价最优传输项,但增益非几何性,稀有类别错误结构受视觉混淆影响。
2026-06-16 cs.CV
Robust Light-Weight Facial Affective Behavior Recognition with CLIP
Purdue University(普渡大学);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
本文提出基于冻结 CLIP 编码器、可训练 MLP、CVaR 与损失景观平坦化的轻量框架,可同时完成表情分类和 AU 检测,并在 Aff-wild2 上以低计算成本超越基线。
2024-09-08 cs.CV
Most Important Person-guided Dual-branch Cross-Patch Attention for Group Affect Recognition
National Yang Ming Chiao Tung University(国立阳明交通大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Taiwan University(国立台湾大学)
本文提出双分支跨补丁注意力Transformer(DCAT),引入最重要人物(MIP)概念,融合全局与MIP特征,在多个群体情感数据集上超越现有方法,并展示其可迁移至群体凝聚力任务。
2023-10-16 cs.CV
Weakly-supervised Multi-task Learning for Multimodal Affect Recognition
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);Department of Electronic and Computer Engineering(电子与计算机工程系);The Hong Kong University of Science and Technology(香港科技大学)
多通道情感识别是人机交互中增强人际关系的一个重要方面。然而,相关的数据是很难得到的,特别是昂贵的注释,这构成了一个具有挑战性的障碍,建立强大的多模态影响识别系统。在这些相对较小的数据集上训练的模型往往会过拟合,与简单的基线相比,使用复杂的最先进模型所获得的改进是微不足道的。同时,有许多不同的多模态情感识别数据集,尽管每个数据集可能很小。在本文中,我们建议使用弱监督多任务学习来利用这些数据集,以提高每个数据集的泛化性能。具体来说,我们探讨了三个多模态情感识别任务:1)情感识别; 2)情感分析;和3)讽刺识别。我们的实验结果表明,多任务处理可以使所有这些任务受益,实现了高达2.9%的准确率和3.3%F1分数的提高。此外,我们的方法也有助于提高模型性能的稳定性。此外,我们的分析表明,如果任务高度相关,弱监督可以提供与强监督相当的贡献。
2021-04-23 cs.CL cs.CV cs.MM
A Multi-term and Multi-task Analyzing Framework for Affective Analysis in-the-wild
Fujitsu Laboratories Ltd.(富士通研究所)
人类情感识别是人机交互中的一个重要因素。然而,在野外数据的方法开发还不够准确,实际使用。在本文中,我们介绍了提交给2020年野外情感行为分析(ABAW)竞赛的情感识别方法,该方法专注于效价唤醒(VA)和表达(EXP)。由于我们认为情感行为具有许多可观察的特征,这些特征具有自己的时间帧,因此我们将多个优化的时间窗口(短期,中期和长期)引入到我们的分析框架中,用于从视频数据中提取特征参数。此外,使用多个模态数据,包括动作单元、头部姿势、凝视、姿势和ResNet 50或Efficient NET特征,并且在提取这些特征期间进行优化。然后,我们为每个时间窗口生成情感识别模型,并将这些模型集成在一起。此外,考虑到面部表情背后的基本心理状态彼此密切相关,我们将效价,唤醒和表情模型融合在一起,以实现多任务学习。在验证集中,我们的模型获得了0.498的效价唤醒分数和0.471的面部表情分数。这些验证结果表明,我们提出的框架可以有效地提高估计精度和鲁棒性。
2020-10-02 cs.CV
CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition
Italian Institute of Technology(意大利理工学院)
当前的面部表情识别系统在部署到与它们被训练的场景不同的场景时需要昂贵的重新训练例程。使它们偏向于学习特定的面部特征,而不是执行典型的迁移学习方法,可能有助于这些系统在不同的任务中保持高性能,但减少了训练工作。在本文中,我们提出了对比抑制自适应(CIAO),这是一种适应最后一层面部编码器来描述不同数据集上特定情感特征的机制。CIAO在六个不同的数据集上提供了面部表情识别性能的改进,这些数据集具有非常独特的情感表示,特别是与最先进的模型相比。在我们的讨论中,我们深入分析了学习的高级面部特征是如何表示的,以及它们如何对每个数据集的特征做出贡献。最后,我们讨论了CIAO如何在非通用面部表情感知的最新研究结果范围内定位自己,以及它对面部表情识别研究的影响。
2022-08-10 cs.CV
Data Uncertainty Learning in Face Recognition
Megvii Inc.(旷视科技有限公司);University of Science and Technology of China(中国科学技术大学)
建模数据的不确定性是很重要的噪声图像,但很少探索人脸识别。PFE的先驱工作,通过将每个人脸图像嵌入建模为高斯分布来考虑不确定性。这是相当有效的。但是,它使用来自现有模型的固定特征(高斯平均值)。它只估计方差,并依赖于一个临时的和昂贵的指标。因此,它不容易使用。目前还不清楚不确定性如何影响特征学习。这项工作将数据不确定性学习应用于人脸识别,首次同时学习特征(均值)和不确定性(方差)。提出了两种学习方法。它们易于使用,并且在具有挑战性的无约束场景中优于现有的确定性方法以及PFE。我们还提供了有见地的分析如何纳入不确定性估计有助于减少噪声样本的不利影响,影响特征学习。
2020-03-25 cs.CV
A Comparative Study of Transfer Learning for Emotion Recognition using CNN and Modified VGG16 Models
Columbia University in the City of New York(纽约市哥伦比亚大学)
本研究比较了CNN和改进VGG16模型在FER2013与AffectNet数据集上的情感识别性能,发现改进VGG16略优,并强调数据集多样性的重要性。
2024-07-19 cs.CV
Towards Privacy-Preserving Affect Recognition: A Two-Level Deep Learning Architecture
The University of Nottingham(诺丁汉大学);Huawei Technologies Co., Ltd(华为技术有限公司);B-Hive Innovations
利用图像和计算机视觉自动理解和识别人的情感状态可以改善人机和人机交互。然而,隐私已经成为一个非常值得关注的问题,因为用于训练情感模型的人的身份可能在这个过程中暴露。例如,恶意的个人可以利用用户的图像并冒充他们的身份。此外,使用图像的情感识别可能导致歧视性和算法偏见,因为某些信息,如种族,性别和年龄,可以基于面部特征来假设。保护用户隐私和避免滥用其身份的可能解决方案是:(1)从图像数据库中提取匿名的面部特征,即动作单元(AU),丢弃图像并使用AU进行处理和训练,以及(2)联邦学习(FL),即在用户的本地机器中处理原始图像然后将本地训练的模型发送到主处理机进行聚合(中央处理)。在本文中,我们提出了一种用于情感识别的两级深度学习架构,该架构在第1级使用AU,在第2级使用FL来保护用户的身份。该架构由递归神经网络捕获的功能和预测效价和唤醒情感状态之间的时间关系。在我们的实验中,我们评估我们的隐私保护体系结构的性能,使用不同的变化的递归神经网络的RECOLA,一个全面的多模态情感数据库。我们的研究结果显示了最先进的性能$0.426$的效价和$0.401$唤醒使用一致性相关系数评估指标,证明了开发模型的可行性,既准确,又确保隐私的影响识别。
2021-11-14 cs.CV cs.LG
Affective Processes: stochastic modelling of temporal context for emotion and facial expression recognition
Samsung AI Center Cambridge(三星剑桥人工智能中心);University of Nottingham(诺丁汉大学)
时间语境是情感表达识别的关键。现有的方法依赖于循环或自我注意模型来强制时间一致性,在特征级别工作,忽略了特定于任务的时间依赖性,并且无法对上下文不确定性进行建模。为了缓解这些问题,我们建立在神经过程的框架上,提出了一种具有三个关键新组件的明显情感识别方法:(a)具有全局潜变量模型的概率上下文表示;(b)除了特征之外,还使用特定于任务的预测进行时间上下文建模;以及(c)智能时间上下文选择。我们验证我们的方法在四个数据库,两个效价和唤醒估计(SEWA和AffWild 2),和两个动作单元强度估计(DISFA和BP 4D)。结果表明,在一系列强基线以及国家的最先进的方法一致的改善。
2021-03-24 cs.CV cs.LG
Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units and a Unified Framework
University of Greenwich(格林威治大学);Imperial College London(伦敦帝国理工学院)
基于受试者面部表情的情感识别一直是一个主要的研究课题,试图产生能够理解受试者感觉、行为和反应方式的机器。过去,由于无法获得在现实生活中捕获的大量数据,研究主要集中在受控环境上。然而,最近,社交媒体和平台已经被广泛使用。此外,深度学习已经成为解决视觉分析和识别问题的一种手段。本文利用这些进展,并提出了显着的影响分析和识别在野外的贡献。情感分析和识别可以被视为一个双重知识生成问题,涉及:i)创建新的,大型和丰富的野外数据库,ii)设计和训练新型深度神经架构,这些架构能够分析这些数据库的影响,并成功地概括它们在其他数据集上的性能。本文重点关注大型野外数据库,即,Aff-Wild和Aff-Wild 2,并提出了两类使用这些数据库训练的深度神经网络的设计。第一类是指单任务的影响识别,侧重于预测的效价和唤醒维度变量。第二类是指所有主要行为任务的估计,即效价唤醒预测;七种基本面部表情的分类情感分类;面部动作单元检测。提出了一种新的多任务和整体框架,该框架能够在所有现有的野外数据库中联合学习并有效地推广和执行情感识别。大型实验研究表明,在现有的国家的最先进的影响识别所取得的性能改善。
2021-03-29 cs.AI cs.CV cs.LG
Deep Learning for Human Affect Recognition: Insights and New Developments
University of Newcastle(纽卡斯尔大学)
情感自动识别是实现更自然的人机交互的关键一步。最近的趋势包括使用视听和生理传感器的融合进行野外识别,这对传统的机器学习算法来说是一个挑战。自2010年以来,新颖的深度学习算法在该领域的应用越来越多。在本文中,我们回顾了2010年至2017年期间关于人类情感识别的文献,特别关注使用深度神经网络的方法。通过对总共950项研究进行分类,根据它们使用浅层或深层架构,我们能够显示出深度学习的趋势。回顾了233项采用深度神经网络的研究,我们全面量化了它们在这一领域的应用。我们发现,深度学习用于学习多模态传感器数据的(i)空间特征表示,(ii)时间特征表示和(iii)联合特征表示。示例性的最先进的架构说明了进展。我们的研究结果显示了深度架构在人类情感识别中所发挥的作用,并且可以作为研究相关应用的研究人员的参考点。
2019-01-09 cs.AI cs.CV cs.HC
What Affects Learned Equivariance in Deep Image Recognition Models?
Delft University of Technology(代尔夫特理工大学);Synerise
本文提出改进的等变性度量方法,发现习得平移等变性与ImageNet验证准确率相关,并证实数据增强、降低模型容量和卷积归纳偏置能提升神经网络中的习得等变性。
2023-04-07 cs.AI cs.CV
Continuous-Time Audiovisual Fusion with Recurrence vs. Attention for In-The-Wild Affect Recognition
University of Augsburg(奥格斯堡大学);University of Nottingham(诺丁汉大学)
在本文中,我们提出了我们提交的第三届情感行为分析在野外(ABAW)的挑战。学习多模态序列之间的复杂相互作用对于从野外视听数据中识别维度影响至关重要。递归和注意力是文献中两种广泛使用的序列建模机制。为了清楚地了解视听情感识别中的递归模型和注意力模型之间的性能差异,我们提出了一个基于LSTM-RNNs,自我注意力和跨模态注意力的融合模型的综合评估,并对效价和唤醒估计进行了训练。特别是,我们研究了一些关键设计选择的影响:CNN骨干的建模复杂性,这些骨干为时间模型提供了功能,有和没有端到端的学习。我们通过系统地调整网络架构设计和训练优化中涉及的超参数,在野生ABAW语料库上训练视听情感识别模型。我们对视听融合模型的广泛评估表明,LSTM-RNN在与低复杂度CNN骨干结合并以端到端的方式训练时可以优于注意力模型,这意味着注意力模型可能不一定是连续时间多模态情感识别的最佳选择。
2022-03-29 cs.CV cs.LG cs.SD
Does lossy image compression affect racial bias within face recognition?
Durham University(杜伦大学)
是-本研究调查了常见的有损图像压缩对人脸识别算法的影响,关于受试者的种族特征。我们采用最近提出的基于种族表型的偏差分析方法来衡量不同水平的有损压缩的影响,在种族表型类别。此外,我们确定了识别性能的色度子采样和种族相关表型之间的关系。先前的工作研究了有损JPEG压缩算法对当代人脸识别性能的影响。然而,在这种影响如何随不同种族相关的交叉群体而变化以及这种影响的原因方面存在差距。通过广泛的实验设置,我们证明了常见的有损图像压缩方法对特定种族表型类别的面部识别性能有更明显的负面影响,如较深的肤色(高达34.55%)。此外,在压缩过程中去除色度子采样提高了受压缩影响的所有表型类别的错误匹配率(高达15.95%),包括较深的肤色,宽鼻子,大嘴唇和单眼眼睛类别。此外,我们概述的特点,可能是由于这种现象的根本原因的有损压缩算法,如JPEG。
2022-08-16 cs.CV cs.CY cs.LG
Towards Explainable, Privacy-Preserved Human-Motion Affect Recognition
University of Glasgow(格拉斯哥大学)
人体运动特征用于监测神经系统疾病和情绪障碍的进展。由于对情绪的感知也与身体姿势和动作交织在一起,因此可以使用人类步态的情绪识别来定量监测情绪变化。许多现有的解决方案通常使用具有原始位置数据或手动提取的特征的浅机器学习模型来实现这一点。然而,步态是由许多高度表达的特征,可以用来识别人类主体,大多数解决方案未能解决这一问题,无视受试者的隐私。这项工作介绍了一种新的深度神经网络架构,以解开人类的情感和生物特征。特别是,我们提出了一种跨学科的迁移学习技术,用于训练多编码器自编码器深度神经网络,以学习人类运动特征的解纠缠潜在表示。通过从步态数据中分离出受试者的生物特征,我们证明了受试者的隐私得到了保护,同时影响识别性能优于传统方法。此外,我们利用引导梯度CAM提供全球的解释模型的决定跨步态周期。我们评估了我们的方法的有效性,现有的方法在识别情绪使用3D时间联合信号和手动提取的功能。我们还表明,这些数据可以很容易地被利用来暴露受试者的身份。我们的方法显示出高达7%的改善,并突出显示了在平均步态周期中影响最大的关节。
2021-08-27 cs.CV cs.LG