Improving Automatic Emotion Recognition from speech using Rhythm and Temporal feature
Indian Institute of Technology Bhubaneswar（布巴内斯瓦尔印度理工学院）；TU Berlin（柏林工业大学）
本文致力于提高自动情感识别语音节奏和时间特征。到目前为止，自动情感识别的研究大多是基于应用特征，如MFCC，音高和能量或强度。该思想着重于从语言和语音分析中借用节奏特征，并仅基于声学知识将其应用于语音信号。除此之外，我们利用一组时间和响度功能。采用分段单元开始分离有声/无声和无声部分，并在不同的段上探索特征。此后，使用不同的分类器进行分类。在使用IGR过滤器选择顶部特征之后，我们能够在柏林情感数据库上实现80.60%的说话人相关框架的识别率。
2013-03-07 cs.CV
Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation
Dalian University of Technology（大连理工大学）；City University of Hong Kong（香港城市大学）
在本文中，我们提出了一个全自动的系统，从视频生成漫画书，没有任何人为干预。给定输入视频及其字幕，我们的方法首先通过分析字幕提取信息关键帧，并将关键帧风格化为漫画风格的图像。然后，我们提出了一种新颖的自动多页面布局框架，该框架可以跨多个页面分配图像，并基于图像的丰富语义（例如，重要性和图像间关系）。最后，相对于使用相同类型的气球在以前的作品中，我们提出了一种情感感知气球生成方法，通过分析字幕和音频的情感来创建不同类型的单词气球。我们的方法是能够改变气球的形状和气球中的字大小，以响应不同的情绪，导致更丰富的阅读体验。一旦气球被生成，它们通过扬声器检测被放置在其对应的扬声器附近。我们的研究结果表明，我们的方法，不需要任何用户输入，可以生成高质量的漫画页面，视觉丰富的布局和气球。我们的用户研究还表明，用户更喜欢我们生成的结果比那些国家的最先进的漫画生成系统。
2021-01-26 cs.CV
BSL-1K: Scaling up co-articulated sign language recognition using mouthing cues
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Deafness, Cognition and Language Research Centre（聋症、认知与语言研究中心）
最近在细粒度手势和动作分类以及机器翻译方面的进展，指出了自动手语识别成为现实的可能性。在实现这一目标方面取得进展的一个关键障碍是缺乏适当的训练数据，这是由于标志注释的高度复杂性和合格注释者的供应有限。在这项工作中，我们介绍了一种新的可扩展的方法来数据汇集的标志识别连续视频。我们利用弱对齐字幕和关键字识别方法，在1,000小时的视频中自动定位1,000个标志的词汇。我们做出了以下贡献：（1）我们展示了如何使用来自签名者的口形线索来从视频数据中获得高质量的注释-结果是BSL-1 K数据集，一个前所未有的英国手语（BSL）标志的集合;（2）我们证明了我们可以用BSL-1 K来训练强标志识别模型，这些模型还为其他手语和基准提供了出色的预训练-我们在MSASL和WLASL基准上都超过了最先进的水平。最后，（3）我们提出了新的大规模评估集的任务的标志识别和标志发现，并提供基线，我们希望这将有助于刺激在这一领域的研究。
2021-10-13 cs.CV
Extraction of Facial Feature Points Using Cumulative Histogram
Jahangirnagar University（贾汉吉尔纳加尔大学）；University Claude Bernard Lyon1（里昂第一大学（克洛德·贝尔纳））
提出了一种新的基于累积直方图的自适应算法，通过改变阈值，自动提取正视图中的眉角、眼角、鼻孔、鼻尖和嘴角等面部特征点。该方法首先采用Viola-Jones人脸检测器检测出人脸的位置，并在图像中裁剪出人脸区域。从人脸结构的概念出发，在人脸图像中裁剪出诸如右眉、左眉、右眼、左眼、鼻子和嘴区域的六个相关区域。然后计算每个裁剪后的相关区域的直方图，并通过改变不同的阈值来使用其累积直方图值，以自适应的方式创建新的滤波图像。每个相关滤波图像的感兴趣区域的连通分量表示我们各自的特征区域。对眉、眼、嘴滤波图像采用简单的线性搜索算法，对鼻子滤波图像采用轮廓线算法，自动提取出所需的角点。该方法在不同光照、表情和光照条件下对大型BioID正面人脸数据库进行了测试，实验结果平均成功率达到95.27%。
2012-03-15 cs.CV
Automatic Recognition of Facial Displays of Unfelt Emotions
iCV Research Group, Institute of Technology, University of Tartu（塔尔图大学技术研究所 iCV 研究组）；Computer Vision Center（计算机视觉中心）；University of Barcelona（巴塞罗那大学）；University of Autonoma, Barcelona（巴塞罗那自治大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Institute of Physiology and Pathology of Hearing（听力生理学与病理学研究所）；Department of Psychology, University of Tartu（塔尔图大学心理学系）；The Estonian Center of Behavioral and Health Sciences（爱沙尼亚行为与健康科学中心）；Department of Electrical and Electronic Engineering, Hasan Kalyoncu University（哈桑·卡尔永库大学电气与电子工程系）
人类改变他们的面部表情是为了传达他们的内心状态，有时候是为了误导观察者关于他们真实的情绪状态。实验心理学的证据表明，辨别性的面部反应是短暂而微妙的。这表明，当以增加的帧速率以高分辨率捕获时，这种行为将更容易区分。我们提出了SASE-FE，这是第一个与潜在情绪状态一致或不一致的面部表情数据集。我们表明，总体上识别面部运动是否是真实情感的表达的问题可以通过学习数据的时空表示来成功解决。为此，我们提出了一种方法，聚合功能沿基准轨迹在一个深入学习的空间。所提出的模型的性能表明，平均而言，它是更容易区分真正的面部表情的情绪比之间的无感觉的面部表情的情绪和某些情绪对，如蔑视和厌恶是更难以区分比休息。此外，所提出的方法改进了CK+和OULU-CASIA数据集上的视频情感识别结果，并在BP 4D数据库上分类面部动作单元时取得了有竞争力的结果。
2018-01-09 cs.CV
Sparse Attention to Emotion: Efficient Facial Emotion Recognition via Token Reduction
针对现有视觉Transformer面部表情识别方法复杂度高难以边缘部署的问题，提出SAE模型，通过丢弃90%无价值图像令牌实现轻量FER，在RAF-DB数据集上达最优结果且复杂度降90%。
2026-08-11 cs.CV cs.LG
Sparsity in Dynamics of Spontaneous Subtle Emotions: Analysis \& Application
Multimedia University（多媒体大学）
微表情是面部肌肉的微小、突然和短暂的动态行为，是人们自发的微妙情绪的表达方式，对视觉识别提出了很大的挑战。识别任务的突然但重要的动态是时间稀疏的，而其余的，不相关的动态，是时间冗余的。在这项工作中，我们分析和实施稀疏约束，以学习重要的时间和频谱结构，同时消除微表情的不相关的面部动态，这将减轻自发微妙情绪的视觉识别的挑战。通过在CASME II和SMIC这两个仅有的公开的自发微妙情感数据库上进行的几个稀疏度水平的自动自发微妙情感识别实验结果，证实了这一假设。当仅保留原始序列中的显着动态时，自动微妙情感识别的整体性能会得到提高。
2016-02-11 cs.CV
Deep Convolution Network Based Emotion Analysis for Automatic Detection of Mild Cognitive Impairment in the Elderly
University of Strathclyde（思克莱德大学）；Shanghai Jiaotong University（上海交通大学）；University of Leicester（莱斯特大学）；Shanghai University（上海大学）
全世界有相当多的人患有认知障碍。认知障碍的早期检测对患者和护理人员都非常重要。然而，现有的方法有其不足之处，如在临床和神经影像学阶段所涉及的时间消耗和财务费用。已经发现，认知障碍患者表现出异常的情绪模式。在本文中，我们提出了一种新的基于深度卷积网络的系统，通过分析参与者观看设计的视频刺激时面部情绪的演变来检测认知障碍。在我们提出的系统中，一种新的面部表情识别算法开发使用层从MobileNet和支持向量机（SVM），这表明在3个数据集的满意的性能。为了验证所提出的系统在检测认知障碍，61名老年人，包括认知障碍患者和健康人作为对照组已被邀请参加实验，并建立相应的数据集。利用该数据集，该系统成功地实现了73.3%的检测准确率。
2021-11-09 cs.CV
Automatic Image Transformation for Inducing Affect
当前的图像变换和图像匹配算法试图基于目标图像的用户输入或预先设计的滤波器的选择在拍摄的图像中引入艺术效果。这些操作虽然旨在增强图像对观看者的影响，但不包括通过指定影响信息进行图像变换的选项。在本文中，我们提出了一种自动的图像变换方法，转换的源图像，使它可以引起观众的情感影响，如用户所需的。我们提出的新的图像情感转移算法不需要用户指定的目标图像。该算法利用从深度卷积神经网络顶层提取的特征和用户指定的情感分布，从图像数据库中选择多个目标图像进行颜色变换，使得得到的图像具有期望的情感效果。我们的方法可以处理更多样化的一组照片比以前的方法。我们进行了详细的用户研究，显示我们所提出的方法的有效性。失败的情况下，也提供了一个讨论和推理，指出固有的局限性的颜色转移为基础的方法在使用的情感分配。项目页面：http://im.itu.edu.pk/affective-image-transfer/
2021-08-07 cs.CV
EmotioNet Challenge: Recognition of facial expressions of emotion in the wild
The Ohio State University（俄亥俄州立大学）
本文详细介绍的方法和结果的挑战。这一挑战是第一次测试计算机视觉算法在自动分析大量野生动物面部表情图像的能力。挑战分为两个轨道。第一条赛道测试了当前计算机视觉算法在自动检测动作单元（AU）方面的能力。具体来说，我们测试了11个AU的检测。第二个轨道测试了算法识别面部表情图像中情感类别的能力。具体来说，我们测试了16个基本和复合情感类别的识别。挑战的结果表明，目前的计算机视觉和机器学习算法无法可靠地解决这两项任务。当试图识别情感时，当前算法的局限性更加明显。我们还表明，目前的算法不受轻微的分辨率变化，小遮挡，性别或年龄的影响，但3D姿态是性能的一个主要限制因素。我们提供了一个深入的讨论点，需要特别注意前进。
2017-03-03 cs.CV
Human Emotional Facial Expression Recognition
Southeast University（东南大学）
提出了一种基于Adaboost人脸检测器、基于流形学习的特征选择和协同原型分类器的人脸表情自动识别模型。改进的特征选择方法和提出的分类器在合理的处理时间内可以取得较好的误码率性能。
2018-03-28 cs.CV
The Importance of Facial Features in Vision-based Sign Language Recognition: Eyes, Mouth or Full Face?
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本研究针对自动手语识别中面部特征重要性探究不足的问题，用两类深度学习模型系统对比眼睛、嘴巴、全脸的作用，发现嘴巴是最重要的非手动面部特征，可显著提升识别准确率，凸显了融合面部特征的必要性。
2025-07-29 cs.CL cs.CV eess.IV
Real-time Automatic Emotion Recognition from Body Gestures
University of Genova（热那亚大学）
虽然心理学研究表明，身体表情传达重要的情感信息，但迄今为止，情感识别的研究主要集中在面部表情或语音分析上。在本文中，我们提出了一种方法，实时自动识别情感的身体动作。从序列3D骨架中提取一组姿势，运动学和几何特征，并将其馈送到多类SVM分类器。所提出的方法已通过两个不同的系统：一个professionalgrade光学运动捕捉系统，和微软Kinect的数据进行了评估。该系统已被评估的“六种情绪”的识别问题，并使用leave-one-subject-out交叉验证策略，达到了61.3%的整体识别率，这是非常接近人类观察者获得的识别率61.9%。为了进一步测试该系统，开发了两个游戏，其中一个或两个用户必须进行交互，以理解和表达他们的身体的情绪。
2014-02-20 cs.CV cs.HC
Survey on Emotional Body Gesture Recognition
University of Tartu（塔尔图大学）；Lodz University of Technology（罗兹理工大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Hasan Kalyoncu University（哈桑·卡利永丘大学）
在过去的十年中，自动情感识别已经成为一个热门的研究课题。虽然基于面部表情或语音的作品比比皆是，但从肢体动作中识别情感仍然是一个较少探索的主题。我们提出了一个新的全面调查，希望能促进该领域的研究。我们首先介绍情感肢体动作，作为通常所说的“肢体语言”的一个组成部分，并评论性别差异和文化依赖等一般方面。然后，我们定义了一个完整的框架，自动情感身体姿态识别。本文介绍了人体检测技术，评述了RGB和3D环境下的静态和动态人体姿态估计方法。然后，我们评论了最近的文献相关的表示学习和情绪识别的图像的情绪表达的姿态。我们还讨论了多模态方法，结合语音或面部与身体姿势，以提高情感识别。虽然预处理方法（如人体检测和姿态估计）是目前成熟的技术，充分发展强大的大规模分析，我们表明，情感识别的标记数据的数量是稀缺的，没有明确定义的输出空间和表示是浅，主要是基于天真的几何表示。
2018-01-23 cs.CV
Detection of Pitt-Hopkins Syndrome based on morphological facial features
City, University of London（伦敦城市大学）；University of Bari “A. Moro”（巴里大学“莫罗”分校）；IRCCS Fondazione Policlinico Universitario A. Gemelli（IRCCS杰梅利大学综合医院基金会）
这项工作描述了一种自动方法来区分个体与遗传性疾病皮特-霍普金斯综合征（PTHS），和健康的人。作为输入数据，该方法接受不受约束的正面面部照片，从该面部定位与直方图的方向一致性特征描述符。该方法的预处理步骤包括颜色归一化，缩小，旋转和裁剪，以产生一系列具有一致尺寸的人脸图像。68个面部标志自动定位在每个脸上通过级联的回归函数学习通过梯度提升估计形状从初始近似。相对于该初始估计索引的稀疏像素集的强度用于确定地标。一组精心选择的几何特征，例如，嘴的相对宽度，或鼻子的角度，从地标提取。这些特征用于研究PTHS和健康对照两个群体之间的统计学差异。该方法在71名PTHS患者和55名健康对照者身上进行了测试。与鼻和嘴相关的两个几何特征在两个人群中有统计学差异。
2020-03-19 cs.CV
Automatic facial feature extraction and expression recognition based on neural network
本文提出了一种从静止的正面图像中自动提取人脸特征提取，并对人脸表情进行分类和识别的方法。前馈反向传播神经网络被用作分类器，用于将所提供的面部表情分类为七个基本类别，如惊讶、中性、悲伤、厌恶、恐惧、高兴和愤怒。对于面部分割和定位，使用形态学图像处理操作。利用SUSAN边缘检测算子、人脸几何学、边缘投影分析提取眉毛、眼睛、嘴巴和鼻子等永久性人脸特征。在JAFFE人脸表情数据库上进行了实验，训练集的准确率为100%，测试集的准确率为95.26%。
2012-04-10 cs.CV
Automatic local Gabor Features extraction for face recognition
National Engineering School of Sfax（斯法克斯国立工程学院）
本文提出了一种彩色图像中人脸检测与识别的生物特征系统。人脸检测技术是基于肤色信息和模糊分类。提出了一种新的人脸特征（眼、嘴、鼻）的自动检测和几何点提取算法。这些基准点被描述为用于识别的小波分量的集合。为了实现人脸识别，我们使用了神经网络，并研究了它在不同输入下的性能。我们比较了两种类型的特征用于识别：几何距离和Gabor系数，可以单独使用或联合使用。这种比较表明，Gabor系数比几何距离更强大。我们的实验结果表明，如何识别率的重要性，使我们的系统自动人脸检测和识别的有效工具。
2009-07-28 cs.CV
Emotion pattern detection on facial videos using functional statistics
University of Novi Sad（诺威萨德大学）；Lateral DOO（3Lateral DOO公司）；Universitá degli Studi di Milano（米兰大学）
自动分析和理解人类行为的科学兴趣越来越大，特别是面部表情的演变和相应情绪的识别。在本文中，我们提出了一种基于功能方差分析的技术来提取面部肌肉运动的显着模式，以识别录制的视频中的演员所表达的情绪。我们确定是否有情绪组之间的表达的时间相关的差异，通过使用功能的F-检验。这样的结果是朝着构建可靠的自动情感识别系统迈出的第一步
2021-03-01 cs.CV stat.AP
Automatic Detection of Sentimentality from Facial Expressions
Smart Eye AB（Smart Eye AB公司）
在过去的20年里，情感识别受到了计算机视觉界的极大关注。然而，大多数研究都集中在分析六种基本情绪（例如喜悦，愤怒，惊讶），而针对其他情感状态的工作有限。在本文中，我们处理感伤（强烈的温暖或怀旧的感觉），一种新的情感状态，在文学作品中很少，也没有定义其面部标记的指导方针。为此，我们首先收集了4.9K视频的数据集，这些视频是参与者观看一些感伤和非感伤广告的视频，然后我们标记了广告中唤起感伤的时刻。其次，我们使用广告级别的标签和面部动作单位（AU）激活不同的帧定义一些弱帧级的情感标签。第三，我们训练一个多层感知器（MLP）使用的AU激活情感检测。最后，我们定义了两个新的广告级指标来评估我们的模型性能。定量和定性的结果表明，有希望的结果，多愁善感的检测。据我们所知，这是第一个工作，以解决问题的感伤检测。
2022-09-11 cs.CV
Meta Transfer Learning for Facial Emotion Recognition
Queensland University of Technology（昆士兰科技大学）
使用深度学习技术进行自动面部表情识别最近引起了极大的兴趣，但由于缺乏用于深度学习的大型情感数据集，所开发的模型仍然无法很好地推广。为了克服这个问题，在本文中，我们提出利用一种依赖于PathNet的新型迁移学习方法，并研究如何在给定的数据集中积累知识，以及如何将从一个情感数据集捕获的知识转移到另一个情感数据集中，以提高整体性能。为了评估我们的系统的鲁棒性，我们已经进行了两个情感数据集：SAVEE和ENTERFACE的各种实验。实验结果表明，我们提出的系统导致情感识别性能的改善，并表现出显着优于最近的国家的最先进的计划，采用微调/预训练的方法。
2018-05-25 cs.CV
Emotion Recognition for In-the-wild Videos
Chinese Academy of Sciences (CAS) Institute of Computing Technology（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文简要介绍了我们提交给与IEEE自动人脸和手势识别国际会议（FG）2020联合举办的情感行为分析野外比赛的七个基本表情分类赛道。我们的方法结合了深度残差网络（ResNet）和双向长短期记忆网络（BLSTM），在验证集上实现了64.3%的准确率和43.4%的最终度量。
2020-02-13 cs.CV
Using Scene and Semantic Features for Multi-modal Emotion Recognition
Australian National University（澳大利亚国立大学）
本文提出结合场景、语义和个人特征进行多模态情感识别，并使用修改后的EmbraceNet融合身体和姿态特征提升鲁棒性，在EMOTIC数据集上平均精度达40.39%，较前人提升5%。
2023-08-01 cs.CV
Triangular Character Animation Sampling with Motion, Emotion, and Relation
在动画个别角色方面取得了巨大的进步。然而，我们仍然缺乏对角色之间活动的自动控制，特别是那些涉及互动的活动。在本文中，我们提出了一种新的基于能量的框架，通过关联角色的身体运动，面部表情和社会关系来采样和合成动画。我们提出了一个时空与或图（ST-AOG），一个随机语法模型，编码的运动，情感和关系之间的上下文关系，形成一个三角形的条件随机场。我们训练我们的模型从一个标记的数据集的两个字符的相互作用。实验表明，我们的方法可以识别两个字符之间的社会关系和样本的生动的运动和情感的新场景，使用马尔可夫链蒙特卡罗（MCMC）给定的社会关系。因此，我们的方法可以为动画师提供一种自动生成3D角色动画的方法，帮助合成非玩家角色（NPC）之间的交互，并增强虚拟现实（VR）中的机器情感智能（EQ）。
2022-03-09 cs.CV cs.GR
In-Depth Analysis of Emotion Recognition through Knowledge-Based Large Language Models
USC ICT（南加州大学 ICT）；California State Polytechnic Pomona（加州州立理工大学波莫纳分校）；audEERING GmbH（audEERING GmbH（德国音频技术公司））
本文提出结合贝叶斯线索整合与大语言模型情境知识的方法，在囚徒困境社交任务中实现接近人类水平的情感识别，验证了情境信息对自动情感识别的关键作用。
2024-07-17 cs.AI cs.CV cs.HC
Dimensional emotion recognition using visual and textual cues
Faculty of Engineering of University of Porto (FEUP)（波尔图大学工程学院）；INESC TEC（波尔图工程学院科技与高等研究中心）；Faculty of Science of University of Porto (FCUP)（波尔图大学理学院）；UCP-ESB（葡萄牙天主教大学商业经济学院）
本文讨论了一分钟渐进情绪行为挑战（OMG-情绪挑战）范围内的自动情绪识别问题。该挑战的基本目标是在二维情感表示空间（即，唤醒和效价）。所采用的方法是一个加权集成的几个模型，从视频和文本模式。对于基于视频的识别，两种不同类型的视觉提示（即，面部和面部标志）被认为是馈送多输入深度神经网络。关于文本模态，实现了基于简单循环架构的顺序模型。此外，我们还介绍了一个模型的基础上的高层次的功能，以嵌入领域知识的学习过程。在OMG-Emotion验证集上的实验结果证明了所实现的集成模型的有效性，因为它明显优于当前的基线方法。
2018-05-03 cs.AI cs.CL cs.CV
Context Based Emotion Recognition using EMOTIC Dataset
Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Massachusetts Institute of Technology（麻省理工学院）；NVIDIA（英伟达）
在我们的日常生活和社会交往中，我们经常试图感知人们的情绪状态。在为机器提供类似的情感识别能力方面，已经有很多研究。从计算机视觉的角度来看，以前的大部分努力都集中在分析面部表情上，在某些情况下，还包括身体姿势。其中一些方法在特定环境中效果非常好。然而，它们的性能在自然、不受约束的环境中受到限制。心理学研究表明，除了面部表情和身体姿势之外，场景背景还为我们感知人们的情绪提供了重要信息。然而，用于自动情感识别的上下文的处理尚未被深入探索，部分原因是缺乏适当的数据。在本文中，我们提出了EMOTIC，一个数据集的图像的人在一组不同的自然情况下，他们的明显的情绪注释。EMOTIC数据集结合了两种不同类型的情绪表示：（1）一组26个离散类别，以及（2）连续维度效价，唤醒和支配。我们还提出了一个详细的数据集的统计和算法分析以及注释者的协议分析。使用EMOTIC数据集，我们训练不同的CNN模型进行情感识别，将包含人的限界框的信息与从场景中提取的上下文信息相结合。我们的研究结果表明，场景上下文提供了重要的信息，自动识别情绪状态，并激励在这个方向上进一步的研究。数据集和代码是开源的，可在https://github.com/rkosti/emotic上获得，同行评审的已发表文章链接：https://ieeexplore.ieee.org/document/8713881
2020-03-30 cs.CV cs.LG
Salience Adjustment for Context-Based Emotion Recognition
Computer Science, University of Southern California（计算机科学，南加州大学）
本文提出结合贝叶斯线索整合与视觉-语言模型的显著性调整框架，动态加权面部与情境信息，并在囚徒困境场景中验证其可提升情境感知情绪识别性能。
2025-07-17 cs.AI cs.CV
Edge Based Grid Super-Imposition for Crowd Emotion Recognition
Louisiana State University（路易斯安那州立大学）
许多自动连续情感检测系统的研究主要研究了包含个人表达情感的视频和图像的使用。本研究探讨了在一个群体和人群设置的自发情绪的检测。边缘检测与网格线叠加提取特征。根据从参考点的移动的特征移动被用于跟踪来自颜色通道的图像序列。此外，视频数据捕获是在观看来自一组参与者的体育赛事所引起的自发情绪上进行的。该方法是视图和遮挡独立的，并且结果不受多个人混乱地表达各种情绪的影响。0.2的边缘阈值和20的网格阈值显示了最佳的准确性结果。群体情绪分类器的总体准确率为70.9%。
2016-08-07 cs.CV cs.HC
A Siamese Neural Network with Modified Distance Loss For Transfer Learning in Speech Emotion Recognition
Texas A&M University（德州农工大学）
情感自动识别在人机交互过程和物联网技术设计中具有重要作用。然而，情感识别系统中的一个常见问题在于缺乏可靠的标签。通过对感兴趣的样本之间的成对差异进行建模，Siamese网络可以帮助减轻这一挑战，因为它需要比传统深度学习方法更少的样本。本文提出了一种距离损失法，通过对同、差类对之间的相关距离进行优化，将其应用于暹罗网络的微调。我们的系统使用来自源数据的样本来预训练所提出的暹罗神经网络的权重，该权重基于目标数据进行微调。我们提出了一个情感识别任务，使用语音，因为它是最普遍和最常用的生物行为信号之一。我们的目标数据来自RAVDESS数据集，而CREMA-D和eNTERFACE'05分别用作源数据。我们的研究结果表明，提出的距离损失是能够大大有利于暹罗网络的微调过程。此外，源数据的选择对暹罗网络的性能有更大的影响相比，冻结层的数量。这些建议的巨大潜力，应用暹罗网络和成对的差异建模领域的迁移学习自动情感识别。
2020-06-04 cs.CV cs.LG
Gaze-enhanced Crossmodal Embeddings for Emotion Recognition
Technical University of Munich（慕尼黑工业大学）；University of Stuttgart（斯图加特大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
情感表达本质上是多模态的--整合了面部行为、语音和凝视--但它们的自动识别通常限于单一模态，例如电话中的语音。虽然以前的工作提出了跨模态的情感嵌入，以提高单模态识别性能，尽管其重要性，明确表示的凝视不包括在内。我们提出了一种新的方法来情感识别，采用了明确的表示凝视的跨模态情感嵌入框架。我们证明了我们的方法在流行的一分钟渐进式情感识别数据集上的音频和视频情感分类方面优于以前的最新技术水平。此外，我们报告了广泛的消融实验，并提供了详细的见解不同的国家的最先进的凝视表示和整合策略的性能。我们的研究结果不仅强调了凝视对情感识别的重要性，而且还展示了一种实用且高效的方法来利用凝视信息完成这项任务。
2022-04-30 cs.CV cs.LG
Cross Lingual Speech Emotion Recognition: Urdu vs. Western Languages
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；COMSATS University Islamabad (CUI)（伊斯兰堡COMSATS大学）
跨语言语音情感识别是一个重要的实际应用课题。自动语音情感识别系统的性能在跨语料库的情况下会下降，特别是在涉及多种语言或以前看不见的语言（如乌尔都语）的情况下，这些语言的数据有限或没有数据可用。在这项研究中，我们研究了跨语言的乌尔都语情感识别问题，并贡献了URDU-第一个自发的乌尔都语语音情感数据库。使用三种不同的西方语言对乌尔都语和不同的可能的情况下的实验结果进行评估，提出了各种有趣的方面，设计更自适应的情感识别系统，这种有限的语言。在结果中，选择多种语言的训练实例可以提供与基线相当的结果，并增加一部分测试语言数据，而训练可以帮助提高语音情感识别的准确性。URDU数据可供进一步研究。
2020-07-28 cs.CL cs.CV
Continuous Learning Based Novelty Aware Emotion Recognition System
Purdue University（普渡大学）
针对现有情感识别模型采用封闭式学习、未考虑现实中新颖样本分布易导致失效的问题，提出一种基于持续学习的方法，以处理自动情感识别任务中的新颖性问题。
2023-06-14 cs.CV cs.LG cs.MM
Multi-Modal Emotion recognition on IEMOCAP Dataset using Deep Learning
LG Silicon Valley Lab（LG硅谷实验室）；Uber Technologies（优步科技）；Recognition Technologies, Inc.（识别技术公司）
随着对行为各个方面建模技术的不断改进，情感识别已经成为人机交互研究的一个重要领域。随着技术的进步，我们对情感的理解也在不断深入，对自动情感识别系统的需求也越来越大。研究的方向之一是使用神经网络，它擅长于估计依赖于大量和不同来源的输入数据的复杂函数。在本文中，我们试图利用这种有效性的神经网络，使我们能够执行多模式的情绪识别IEMOCAP数据集使用的数据从语音，文本和运动捕捉数据的面部表情，旋转和手部运动。先前的研究集中在IEMOCAP数据集上的语音情感检测上，但我们的方法是第一个使用IEMOCAP提供的多种数据模式进行更强大和准确的情感检测的方法。
2019-11-06 cs.AI cs.CV cs.HC
Harnessing Geometric Constraints from Emotion Labels to improve Face Verification
Worcester Polytechnic Institute（伍斯特理工学院）
对于人脸验证任务，我们探索了利用辅助面部情感标签在训练深度嵌入模型时对嵌入空间施加显式几何约束的实用性。我们引入了几个新的损失函数，结合标准的三重损失[43]或ArcFace损失[10]，提供对嵌入空间的几何约束;我们的损失函数的标签可以使用手动注释或自动检测的辅助情感标签来提供。我们的方法纯粹是在损失函数方面实现的，并且不需要对嵌入函数的神经网络主干进行任何更改。
2021-07-22 cs.AI cs.CG cs.CV
