Beyond Discrete Categories: Multi-Task Valence-Arousal Modeling for Pet Vocalization Analysis
OmniEdge AI Consulting Co., Ltd.(奥米边界人工智能咨询公司)
本文提出连续效价-唤醒模型及多任务学习框架,用于宠物叫声分析,解决了离散分类的模糊性问题,并在验证集上取得高相关性,为宠物情感理解提供了新方法。
2025-10-09 cs.AI cs.SD eess.AS
Valence-Arousal Subspace in LLMs: Circular Emotion Geometry and Multi-Behavioral Control
University of Chicago(芝加哥大学);Shanghai AI Lab(上海人工智能实验室);Harvard University(哈佛大学)
研究揭示大语言模型中的情感向量由二维情感价值-唤醒子空间组织,通过主成分分解和岭回归恢复情感操控向量,实现对生成文本情感属性的单向控制及多下游行为的双向控制。
2026-05-08 cs.AI cs.CL cs.CY
Multimodal Emotion Recognition for One-Minute-Gradual Emotion Challenge
Ping An, Gamma Lab(平安伽马实验室)
以唤醒和效价为模型的连续维度情绪可以刻画复杂的情绪变化。在本文中,我们提出了我们的工作唤醒和效价预测一分钟渐进(OMG)情绪挑战。首先使用各种声学、视频和文本模型从视频中提取多模态表示,然后使用支持向量机(SVM)对多模态信号进行融合以进行最终预测。我们的解决方案实现了一致相关系数(CCC)得分分别为0.397和0.520的唤醒和效价的验证数据集,这优于基线系统的最佳CCC得分为0.15和0.23的唤醒和效价的大幅度。
2018-05-03 cs.AI cs.CL cs.CV
HSEmotion Team at ABAW-10 Competition: Facial Expression Recognition, Valence-Arousal Estimation, Action Unit Detection and Fine-Grained Violence Classification
Sber AI Lab(Sber AI实验室);HSE University(俄罗斯高等经济学院)
本文提出了一种基于预训练EfficientNet模型的快速方法,用于面部情绪理解任务,同时通过滑动窗口平滑噪声以提升预测精度,并在细粒度暴力检测任务中评估了多种预训练架构。
2026-03-13 cs.AI cs.CV
Free energy model of emotional valence in dual-process perceptions
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
适当的唤醒水平会引发积极的情绪,而高唤醒潜力可能会引发消极情绪。为了解释唤醒对情绪效价的影响,我们提出了一个新的数学框架,在人类认知的双重过程中的唤醒电位变化:自动和控制。一个合适的数学公式来解释情感的双重过程仍然是缺席。我们的模型将自由能与唤醒潜力及其变化联系起来,以解释情绪效价。自由能的减少和增加分别会导致积极和消极的情绪。我们形式化的过渡,从自动控制过程中的双重过程作为贝叶斯先验的变化。此外,我们使用自由能增加(FI),当一个人试图改变自己的贝叶斯先验和减少(FR),当一个人成功地识别相同的刺激与改变前,并定义三种情绪:“兴趣”,“困惑”和“无聊”使用的变化模型的情绪价。我们对各种高斯模型参数进行比较的数学分析的结果揭示了以下内容:1)预测误差(PR)增加FR 2)当第一先前方差小于第二先前方差时,PR减小FR,3)先验均值之间的距离总是增加FR。我们还讨论了控制过程中结果与情绪的关联。所提出的数学模型提供了一个一般框架,预测和控制情绪效价的双重过程中,不同的观点和刺激,以及理解的矛盾,唤醒的效价的影响。
2022-10-21 cs.AI cs.IT cs.NE
Symbolic music generation conditioned on continuous-valued emotions
Institute for Systems and Computer Engineering, Technology and Science (INESC TEC)(系统与计算机工程、技术与科学研究所(INESC TEC));University of Coimbra(科英布拉大学);Polytechnic of Porto(波尔图理工学院)
本文提出了一种基于音乐情感驱动的多乐器符号音乐生成方法。我们的方法的主要新颖之处集中在调节一个国家的最先进的Transformer的基础上连续值效价和唤醒标签。此外,我们提供了一个新的大规模数据集的符号音乐配对的情感标签的效价和唤醒。我们以两种方式定量评估我们的方法,首先通过测量其音符预测准确性,其次通过在效价唤醒平面中的回归任务。我们的研究结果表明,我们提出的方法优于条件使用控制令牌,这是目前最先进的代表。
2022-05-04 cs.AI cs.MM eess.AS
Improving Personalisation in Valence and Arousal Prediction using Data Augmentation
New York University Abu Dhabi(纽约大学阿布扎比分校)
针对情感预测中目标个体数据不足的个性化建模难题,提出距离加权增强(DWA)方法,通过片段级相似样本加权扩充数据,在MuSe-Personalisation 2023数据集上有效提升低性能特征表现且不损失高性能特征效果,推进了个性化情感计算的实际应用。
2024-04-13 cs.AI cs.CV cs.LG
Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach
St. Petersburg Federal Research Center of the Russian Academy of Sciences(俄罗斯科学院圣彼得堡联邦研究中心);ITMO University(ITMO大学)
本文提出一种多模态方法,用于在真实环境中估计valence和arousal。结合面部、行为和音频模态,利用GRADA、Transformer、Qwen3-VL-4B-Instruct和Mamba等技术,实现跨模态融合,最终在Aff-Wild2数据集上达到0.658的CCC值。
2026-03-13 cs.AI cs.CV
Multimodal Wearable-Based Olfactory-Induced Emotion Recognition in Arousal-Valence Dimensions
Tianjin University(天津大学)
针对现有嗅觉情感研究的维度失衡与多模态数据不足问题,构建多模态嗅觉情感数据集,提出STF-HFNet模型,在两个数据集上取得最优情感识别准确率。
2026-08-04 cs.AI eess.SP
CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation
Hefei University of Technology(合肥工业大学)
本文提出CETalk框架,以连续VA表示实现音频驱动3D说话头的细粒度情感控制,构建3D-VA-MEAD数据集,实验显示其在唇形同步和情感表现力上优于现有方法,可实现平滑可控的情感过渡。
2026-08-18 cs.AI cs.CV
Free Energy in a Circumplex Model of Emotion
VERSES Research Lab(VERSES研究实验室);University of Oxford(牛津大学);Monash University(莫纳什大学);Université du Québec à Montréal(蒙特利尔魁北克大学)
本文将主动推断中的预期自由能扩展到效价—唤醒二维情绪环丛模型,并通过搜索任务模拟验证先验与对象存在性会导致合理的情绪状态变化。
2024-07-02 cs.AI
Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units and a Unified Framework
University of Greenwich(格林威治大学);Imperial College London(伦敦帝国理工学院)
基于受试者面部表情的情感识别一直是一个主要的研究课题,试图产生能够理解受试者感觉、行为和反应方式的机器。过去,由于无法获得在现实生活中捕获的大量数据,研究主要集中在受控环境上。然而,最近,社交媒体和平台已经被广泛使用。此外,深度学习已经成为解决视觉分析和识别问题的一种手段。本文利用这些进展,并提出了显着的影响分析和识别在野外的贡献。情感分析和识别可以被视为一个双重知识生成问题,涉及:i)创建新的,大型和丰富的野外数据库,ii)设计和训练新型深度神经架构,这些架构能够分析这些数据库的影响,并成功地概括它们在其他数据集上的性能。本文重点关注大型野外数据库,即,Aff-Wild和Aff-Wild 2,并提出了两类使用这些数据库训练的深度神经网络的设计。第一类是指单任务的影响识别,侧重于预测的效价和唤醒维度变量。第二类是指所有主要行为任务的估计,即效价唤醒预测;七种基本面部表情的分类情感分类;面部动作单元检测。提出了一种新的多任务和整体框架,该框架能够在所有现有的野外数据库中联合学习并有效地推广和执行情感识别。大型实验研究表明,在现有的国家的最先进的影响识别所取得的性能改善。
2021-03-29 cs.AI cs.CV cs.LG
VA-DPO: Valence-Arousal Direct Preference Optimization for Controllable Emotion Generation in Language Models
该研究针对现有情感生成无法表达细粒度情感的问题,提出VA-DPO方法,通过效价-唤醒连续目标优化LoRA适配器,在多模型上实现细粒度情感生成且不损害通用性能。
2026-09-09 cs.AI cs.CL cs.LG
Beyond Vision: How Large Language Models Interpret Facial Expressions from Valence-Arousal Values
Universidade Lusófona(卢索福纳大学);University of Cambridge(剑桥大学)
本研究针对LLMs依赖文本输入、视觉-语言模型资源密集且依赖语言先验的问题,提出让LLMs基于面部表情的效价-唤醒(VA)数值推断情感意义,发现其在语义描述任务中表现出与人类解释高度一致的能力。
2025-02-08 cs.AI cs.CL cs.CV
A Multi-Task Learning & Generation Framework: Valence-Arousal, Action Units & Primary Expressions
Imperial College London(伦敦帝国理工学院);University of Oulu(奥卢大学)
在过去的几年里,许多研究工作一直致力于情感分析领域。已经提出了各种方法用于:i)根据主要面部表情的离散情感识别; ii)根据面部动作单元(AU)的情感分析,假设固定的表情强度; iii)根据效价和唤醒(VA)的维度情感分析。这些方法只有在使用大型的、适当注释的数据库开发时才能有效,这些数据库显示了人们在野外的行为,即,在不受控制的环境中。Aff-Wild是第一个大规模的野外数据库(包括300个视频的约1,200,000帧),以VA进行注释。在绝大多数现有的情感数据库中,它们的注释仅限于主要表达,或价唤醒,或动作单元。在本文中,我们首先注释的一部分(周围$234,000$帧)的Aff-Wild数据库中的$8$ AU和另一部分(周围$288,000$帧)的$7$的基本情感类别的条款,使该数据库的部分注释VA,以及AU,或主要的表达。然后,我们建立并解决了情感识别和面部图像生成的多任务学习。多任务学习是使用:i)具有共享隐藏层的深度神经网络,其通过利用情感属性的相互依赖性来学习情感属性; ii)生成对抗网络(GAN)的学习。另一方面,通过GAN的生成器实现图像生成。对于这两个任务,我们仔细设计了适合所检查的设置的损失函数。实验表明,该方法应用于新的注释部分的Aff-Wild数据库时,表现出良好的性能。
2019-12-13 cs.AI cs.CV cs.LG
Information-Theoretic Free Energy as Emotion Potential: Emotional Valence as a Function of Complexity and Novelty
The University of Tokyo(东京大学)
这项研究扩展了我们之前提出的情绪维度的数学模型(Yanagisawa等人,2019,Front Comput Neurosci),将感知的复杂性和新颖性作为唤醒潜力的来源。假设唤醒电位的Berlyne享乐函数(或倒U形曲线,所谓的冯特曲线)。我们将唤醒电位建模为感觉刺激被感知(或识别)后在大脑中处理的信息内容,我们称之为感觉刺激。我们在数学上证明了感觉刺激代表自由能,它相当于信息增益(或来自新奇的信息)和感知复杂性(或来自复杂性的信息)的总和,它们是形成唤醒电位的比较变量。我们证明了经验证据与视觉刺激(蝴蝶的轮廓形状)支持的假设,即感知的新颖性和复杂性的总和形状的倒U形的美丽功能。我们讨论了自由能作为解释情绪引发器的数学原理的潜力。
2020-03-23 cs.AI cs.IT math.IT
Emotional Modulation in Swarm Decision Dynamics
SIANI, Universidad de Las Palmas de Gran Canaria(SIANI,拉斯帕尔马斯德格拉纳达大学)
本文提出基于代理的模型,通过情绪正负性和唤醒度调节交互率,研究情绪对群体决策动态的影响,揭示情绪调节如何影响共识形成和决策结果。
2026-03-10 cs.AI cs.MA
Memo2496: Expert-Annotated Dataset and Dual-view Adaptive Framework for Music Emotion Recognition
Guangdong Provincial Key Laboratory of AI Large Model and Intelligent Cognition(广东省人工智能大模型与智能认知重点实验室);School of Computer Science and Engineering, South China University of Technology(南方科技大学计算机科学与工程学院);Research Centre for AI Large Models and Intelligent Cognition, Pazhou Lab(人工智能大模型与智能认知研究中心,琶洲实验室);Engineering Research Centre of the Ministry of Education on Health Intelligent Perception and Paralleled Digital-Human, South China University of Technology(教育部健康智能感知与并行数字人工程研究中心,南方科技大学)
研究针对音乐情感识别受限于专家注释及跨异构语料库鲁棒性的问题,提出双视图自适应框架DAMER,集成多种技术,在多个数据集实验中取得优异成绩,验证各模块,且数据集和代码公开。
2026-07-23 cs.AI cs.MM cs.SD
You Can't Prefer Emotions You Don't Sample: Intensity Undershoot in DPO-Tuned LLMs
Hanyang University(汉阳大学)
研究发现DPO微调LLM在情感强度上系统欠冲,归因于候选池缺乏极端样本,通过均匀采样更热更大的候选池可提升效价增益并降低外推误差。
2026-09-09 cs.AI cs.CL cs.LG
LogSigma at SemEval-2026 Task 3: Uncertainty-Weighted Multitask Learning for Dimensional Aspect-Based Sentiment Analysis
University of Göttingen(哥廷根大学);LKA NRW(北莱茵-威斯特法伦州刑事警察局)
本文提出 LogSigma 系统,针对 SemEval-2026 任务 3 的维度方面情感分析,通过学习同方差不确定性平衡回归目标,结合语言特定编码器和多种子集成,在五个数据集上取得第一名。
2026-03-26 cs.AI cs.CL
From Affect Prediction to Affect Forecasting: Evidence for Distinct Information Sources in Longitudinal Text
School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST)(国立科技大学电气工程与计算机科学学院);Department of Communication, Quality Management and Information Systems, Mid Sweden University(中瑞典大学通信、质量管理和信息系统系)
本文区分当前情感估计与未来情感变化预报,提出TSAP框架和ACF-Hybrid模型,实验表明文本语义支持当前预测,而数值轨迹动力学更适用于未来变化预报。
2026-06-16 cs.AI cs.CL
CAKE: Compact and Accurate K-dimensional representation of Emotion
Orange Labs(奥兰治实验室);Normandie Univ.(诺曼底大学);UNICAEN(卡昂大学);ENSICAEN(卡昂高等工程师学院);CNRS(法国国家科学研究中心)
心理学界已经建立了许多描述人类情绪状态的模型。此外,深度神经网络(DNN)的性能也非常出色,并且正在成为许多计算机视觉任务中有趣的特征提取工具。受心理学领域研究成果的启发,我们首先研究了情感的紧凑二维表征(称为唤醒效价)与离散情感类别(例如愤怒、快乐、悲伤等)之间的联系。用于计算机视觉领域。它使评估的好处-在离散的情绪推理方面-增加一个额外的维度唤醒价(通常命名为优势)。基于这些观察,我们提出了CAKE,这是一种以多领域方式学习的情感的三维表示,在几个公共数据集上实现了准确的情感识别。此外,我们可视化了DNN表示内部的情感边界是如何组织的,并表明DNN正在隐式地学习情感的唤醒效价描述。最后,我们使用CAKE表示来比较不同公共数据集的注释质量。
2018-08-03 cs.AI cs.CV cs.NE
Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs
研究在开源模型中复现情感向量,发现效价几何结构在层间分布存在差异,且唤醒度编码受语料影响。
2026-06-26 cs.AI cs.CL
Dynamic Time-Alignment of Dimensional Annotations of Emotion using Recurrent Neural Networks
Atos(源讯公司);LIG(格勒诺布尔信息学实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
大多数自动情感识别系统利用情感的时间连续注释来提供对在现实生活交互中观察到的自发表达的细粒度描述。由于情绪是相当主观的,它的注释通常是由几个注释者谁提供一个给定的维度,即一个时间连续的序列描述一个维度,如唤醒或效价的痕迹。然而,相同表达的注释很少在注释器之间一致,无论是在时间上还是在值上,这在用于学习情感预测模型的跟踪中增加了偏差和延迟。因此,我们提出了一种方法,可以动态地补偿注释之间的不一致性,并使用循环神经网络同步的痕迹与相应的声学特征。实验评估进行了几个情绪数据集,包括中国,法国,德国和匈牙利的参与者进行远程互动,无论是在无噪声的条件下,或在野外。结果表明,我们的方法可以显着增加注释者之间的协议,以及痕迹和音频特征之间的相关性,唤醒和效价。此外,在自动预测这些尺寸使用简单的轻量级模型,特别是在无噪声条件下的效价,并在野外捕获的记录唤醒得到改善。
2022-09-21 cs.AI cs.HC cs.SD
Enhancing the Prediction of Emotional Experience in Movies using Deep Neural Networks: The Significance of Audio and Language
University of Mazandaran(马赞德兰大学);Shahrood University of Technology(沙赫鲁德理工大学);Islamic Azad University, Karaj Branch(伊斯兰阿扎德大学卡拉季分校)
本研究融合视觉、音频和语言三种模态,利用预训练深度神经网络在COGNIMUSE数据集上预测电影情感的效价和唤醒度,发现语言对唤醒度影响显著,声音是效价的主要决定因素,视觉影响最小,模型性能超越现有最先进方法。
2023-06-17 cs.AI cs.CV
Modeling Emotional Trajectories in Written Stories Utilizing Transformers and Weakly-Supervised Learning
University of Augsburg(奥格斯堡大学);TU Munich(慕尼黑工业大学);Huawei Technologies(华为技术有限公司);Imperial College London(伦敦帝国学院)
针对故事情感轨迹建模缺乏基准的问题,本文通过引入连续效价和唤醒度标签构建基准,并基于DeBERTa微调与弱监督学习方法进行预测,取得了优异的实验结果。
2024-06-04 cs.AI cs.CL
Emotional Voice Messages (EMOVOME) database: emotion recognition in spontaneous voice messages
本文提出EMOVOME自发语音消息数据库,包含100名西班牙语者的999条真实语音消息,并通过语音和文本模型建立情感识别基线。
2024-06-13 cs.AI cs.CL cs.SD
ASR-based Features for Emotion Recognition: A Transfer Learning Approach
Numediart Institute(Numediart研究所);University of Mons(蒙斯大学)
在过去的十年中,深度学习极大地改善了信号处理的应用。然而,影响计算的领域,如情感语音合成或口语情感识别仍然具有挑战性。在本文中,我们研究了使用神经自动语音识别(ASR)作为情感识别的特征提取器。我们表明,这些功能优于eGeMAPS功能集预测的效价和唤醒情绪的尺寸,这意味着音频到文本映射学习的ASR系统包含的信息,在自发语音的情绪尺寸。我们还研究了ASR的第一层(更接近语音)和最后一层(更接近文本)与效价/唤醒之间的关系。
2018-06-01 cs.AI cs.CL cs.SD
Emotion-driven Piano Music Generation via Two-stage Disentanglement and Functional Representation
UC San Diego(加州大学圣地亚哥分校);National Taiwan University(台湾大学)
本文提出一种两阶段解耦框架,结合新型功能表示,分别对主旋律谱效价和演奏层面唤醒度进行建模,有效解决了钢琴音乐生成中的情感建模不足问题,并展示了广泛的情感控制应用潜力。
2024-07-30 cs.AI cs.SD eess.AS
Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS
本研究提出一种零样本跨被试情感回归方法,将EEG-fNIRS情感轨迹分解为共享与个体结构,利用alpha同步性标记校准,显著优于基线,并验证了该标记的稳健性。
2026-10-05 cs.AI
Accommodating Missing Modalities in Time-Continuous Multimodal Emotion Recognition
Orange Innovation(奥兰治创新公司);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室)
提出基于Transformer的架构,结合交叉与自注意力机制,在时间连续情感识别中处理缺失模态,在Ulm-TSST数据集上唤醒度与效价预测分别提升37%和30%。
2023-11-16 cs.AI cs.LG stat.ML
EPIG: Emotion-Based Prompting for Personalised Image Generation
MARS Research Lab LR17ES05, ISITCom, University of Sousse(苏塞大学ISITCom学院MARS研究实验室LR17ES05)
提出EPIG方法,利用心理学效价-唤醒模型在提示层面增强情感表达,无需训练即可控制生成图像的唤醒度,在10个多样化提示上平均唤醒误差降低14%-17%。
2026-06-12 cs.AI
AImoclips: A Benchmark for Evaluating Emotion Conveyance in Text-to-Music Generation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Seoul National University (SNU)(首尔国立大学)
本研究推出AImoclips基准,通过12种情感意图、6个前沿TTM系统生成的千余段音乐及111名参与者的评分实验,评估文本生成音乐的情感传递效果,发现商业与开源系统的情感偏移方向相反,且所有模型均存在情感中性化偏差,为情感对齐的TTM系统开发提供参考。
2025-09-04 cs.AI cs.SD eess.AS
An Affective Situation Labeling System from Psychological Behaviors in Emotion Recognition
KAIST(韩国科学技术院)
本文提出了一个计算框架,提供情感标签的现实生活中的情况下,称为A-Situ。我们首先定义了一个情感的情况下,作为一个特定的安排有关的情感实体的情绪引发的情况。然后,情感的情况下表示为一组标签的效价唤醒情感空间。基于生理行为的情况下,所提出的框架量化的预期情绪与刺激事件的相互作用引起的。在一个时空的情况下,积累的结果被表示为一个多项式曲线称为情感曲线,在现实世界的情况下,认知和情感感知之间的语义差距的桥梁。我们在真实世界的实验中显示了可靠的情感标记曲线的功效,分别涉及1)我们的系统和现有的用于测量情感的显式评估的结果之间的比较,2)情感状态的生理独特性,以及3)与连续标签相关的生理特征。情感曲线区分情绪状态的效率进行评估,通过主体依赖的分类性能,使用双相干特征来表示离散的情感状态的价唤醒空间。此外,基于脑电图的统计分析揭示了情感曲线的生理相关性。
2019-11-05 cs.AI cs.HC cs.NE
Random Forest Regression for continuous affect using Facial Action Units
University of Pittsburgh(匹兹堡大学);University of South Florida(南佛罗里达大学);Cornell University(康奈尔大学)
在本文中,我们描述了我们的方法,唤醒和效价跟踪的第三届研讨会和比赛的情感行为分析在野外(ABAW)。我们使用OpenFace提取面部特征,并用它们来训练多输出随机森林回归器。我们的方法与基线方法相当。
2022-03-29 cs.AI cs.CV
Emotion in an active inference model of human driving
Delft University of Technology(代尔夫特理工大学);Waymo LLC(Waymo有限责任公司)
本研究在连续状态的驾驶主动推理模型中,扩展了效价与唤醒的情感表征,结合当前状态与未来预测结果,在交互式驾驶场景中验证了该情感信号与实际模式相符。
2026-08-11 cs.AI cs.HC cs.LG
Decoding Human Emotions: Analyzing Multi-Channel EEG Data using LSTM Networks
PES University, Bengaluru, India(班加罗尔印度PES大学)
本研究将 LSTM 网络应用于 DEAP 数据集的多通道 EEG 信号分析,以提升效价、唤醒度等情感状态分类的准确率,在各项指标上均取得约 90% 的准确率,显著提升了情感识别能力。
2024-08-19 cs.AI cs.HC cs.LG