EmoSteer-TTS: Fine-Grained and Training-Free Emotion-Controllable Text-to-Speech via Activation Steering
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent AI Lab(腾讯人工智能实验室)
提出EmoSteer-TTS,通过激活引导实现无需训练的细粒度语音情感控制,支持转换、插值和擦除,优于现有最先进方法。
2025-10-25 cs.AI cs.SD eess.AS
AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models
Keido Labs(Keido实验室)
本文提出AIPsy-Affect,一种480项的临床刺激电池,通过叙事情境引发Plutchik的八种基本情绪,消除关键词混淆,支持情绪机制的可解释性研究。
2026-04-28 cs.AI cs.CL
EPIG: Emotion-Based Prompting for Personalised Image Generation
MARS Research Lab LR17ES05, ISITCom, University of Sousse(苏塞大学ISITCom学院MARS研究实验室LR17ES05)
提出EPIG方法,利用心理学效价-唤醒模型在提示层面增强情感表达,无需训练即可控制生成图像的唤醒度,在10个多样化提示上平均唤醒误差降低14%-17%。
2026-06-12 cs.AI
Bridge then Begin Anew: Generating Target-relevant Intermediate Model for Source-free Visual Emotion Adaptation
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学);NavInfo(四维图新);Hangzhou Dianzi University(杭州电子科技大学)
针对无源领域适应下的视觉情感识别任务,提出BBA框架,通过生成中间模型桥接跨域差距并重新训练目标模型,显著优于现有SFDA和无监督领域适应方法。
2024-12-18 cs.AI cs.CV
Free energy model of emotional valence in dual-process perceptions
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
适当的唤醒水平会引发积极的情绪,而高唤醒潜力可能会引发消极情绪。为了解释唤醒对情绪效价的影响,我们提出了一个新的数学框架,在人类认知的双重过程中的唤醒电位变化:自动和控制。一个合适的数学公式来解释情感的双重过程仍然是缺席。我们的模型将自由能与唤醒潜力及其变化联系起来,以解释情绪效价。自由能的减少和增加分别会导致积极和消极的情绪。我们形式化的过渡,从自动控制过程中的双重过程作为贝叶斯先验的变化。此外,我们使用自由能增加(FI),当一个人试图改变自己的贝叶斯先验和减少(FR),当一个人成功地识别相同的刺激与改变前,并定义三种情绪:“兴趣”,“困惑”和“无聊”使用的变化模型的情绪价。我们对各种高斯模型参数进行比较的数学分析的结果揭示了以下内容:1)预测误差(PR)增加FR 2)当第一先前方差小于第二先前方差时,PR减小FR,3)先验均值之间的距离总是增加FR。我们还讨论了控制过程中结果与情绪的关联。所提出的数学模型提供了一个一般框架,预测和控制情绪效价的双重过程中,不同的观点和刺激,以及理解的矛盾,唤醒的效价的影响。
2022-10-21 cs.AI cs.IT cs.NE
Free Energy-Based Modeling of Emotional Dynamics in Video Advertisements
Hakuhodo DY Holdings Inc.(三井冈田DY控股公司);Hakuhodo Technologies Inc.(三井冈田技术公司);Graduate School of Engineering, The University of Tokyo(东京大学工学系研究生院)
本文提出基于自由能原理的视频广告情感动态建模方法,通过场景级表达特征量化愉悦性、惊讶和习惯化,验证了方法的鲁棒性和泛化能力。
2025-12-22 cs.AI cs.CV
Nine Emotion Centroids: A Label-Free Valence Axis That Transfers Across Four Modalities
KAUST(阿卜杜拉国王科技大学)
本研究提出一种仅用9个情绪类别名称和少量叙事段落即可找到跨视觉、音频等四种模态迁移的无标签效价轴的方法,该轴在多模态情感任务中表现优异且具有机制活性。
2026-08-20 cs.AI cs.CL
Modeling arousal potential of epistemic emotions using Bayesian information gain: Inquiry cycle driven by free energy fluctuations
The University of Tokyo(东京大学)
本研究基于自由能最小化原理的两类信息增益构建认知情绪的数学模型,发现其构成类似冯特曲线的上凸函数,揭示认知情绪驱动的理想探究循环机制,统一大脑自由能原理与唤醒潜力理论。
2023-12-14 cs.AI cs.IT math.IT
EmoDistill: Offline Emotion Skill Distillation for Language Model Agents in Adversarial Negotiation
University of Cambridge(剑桥大学);Technical University of Munich(慕尼黑技术大学);Exiger LLC;The Alan Turing Institute(艾伦·图灵研究所)
提出EmoDistill离线框架,通过隐式Q学习选择情感和低秩适应策略表达情感,蒸馏情感谈判技能到语言模型代理,在四个高风险谈判领域取得最高效用。
2026-09-04 cs.AI cs.CL
Dynamic Time-Alignment of Dimensional Annotations of Emotion using Recurrent Neural Networks
Atos(源讯公司);LIG(格勒诺布尔信息学实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
大多数自动情感识别系统利用情感的时间连续注释来提供对在现实生活交互中观察到的自发表达的细粒度描述。由于情绪是相当主观的,它的注释通常是由几个注释者谁提供一个给定的维度,即一个时间连续的序列描述一个维度,如唤醒或效价的痕迹。然而,相同表达的注释很少在注释器之间一致,无论是在时间上还是在值上,这在用于学习情感预测模型的跟踪中增加了偏差和延迟。因此,我们提出了一种方法,可以动态地补偿注释之间的不一致性,并使用循环神经网络同步的痕迹与相应的声学特征。实验评估进行了几个情绪数据集,包括中国,法国,德国和匈牙利的参与者进行远程互动,无论是在无噪声的条件下,或在野外。结果表明,我们的方法可以显着增加注释者之间的协议,以及痕迹和音频特征之间的相关性,唤醒和效价。此外,在自动预测这些尺寸使用简单的轻量级模型,特别是在无噪声条件下的效价,并在野外捕获的记录唤醒得到改善。
2022-09-21 cs.AI cs.HC cs.SD
Emotional Voice Messages (EMOVOME) database: emotion recognition in spontaneous voice messages
本文提出EMOVOME自发语音消息数据库,包含100名西班牙语者的999条真实语音消息,并通过语音和文本模型建立情感识别基线。
2024-06-13 cs.AI cs.CL cs.SD
Speech Emotion: Investigating Model Representations, Multi-Task Learning and Knowledge Distillation
Apple(苹果公司)
在过去的几年里,从声学语音信号中估计维度情感,如激活,效价和优势,已经被广泛探索。虽然从言语中准确估计激活和支配似乎是可能的,但对效价的估计仍然具有挑战性。以往的研究表明,使用词汇信息可以提高配价估计的性能。词汇信息可以从预先训练的声学模型中获得,其中学习的表示可以改善语音的效价估计。我们研究使用预训练的模型表示来改进声学语音信号的效价估计。我们还探讨了表征的融合,以提高所有三个情感维度的情感估计:激活,效价和优势。此外,我们还研究了预训练模型的表示是否可以提取到使用低级特征训练的模型中,从而产生具有较少参数的模型。我们发现,与标准声学特征基线(mel滤波器组能量)相比,预训练模型嵌入的融合导致效价估计的一致性相关系数CCC相对提高了79%,而从预训练模型嵌入到低维表示的蒸馏产生了相对12%的改善。在两个评估集上观察到这样的性能增益,这表明我们提出的架构在这些评估集上具有普遍性。我们报告新的国家的最先进的“无文本”的声音只有维度情感估计$CCC$值的两个MSP播客评估集。
2022-07-02 cs.AI cs.CL cs.LG
DASentimental: Detecting depression, anxiety and stress in texts via emotional recall, cognitive networks and machine learning
University of Exeter(埃克塞特大学);Max Planck Institute for Human Development(马克斯·普朗克人类发展研究所);University of Warwick(华威大学)
目前大多数的情感量表和对书面文本的情感分析都集中在量化情感的最主要维度--效价(情感)。然而,情绪比效价更广泛、更复杂。区分类似效价的负面情绪在心理健康等背景下可能很重要。该项目提出了一种半监督机器学习模型(DASentimental),用于从书面文本中提取抑郁,焦虑和压力。首先,我们训练模型,以发现$N=200$个体回忆起的情感词序列如何与他们对抑郁焦虑压力量表(DASS-21)的反应相关。在认知网络科学的框架内,我们将每一个回忆起的情绪列表建模为在语义记忆的网络化心理表征上的行走,情绪根据人们记忆中的自由联想而连接。在几种经过测试的机器学习方法中,我们发现一个基于单词序列和语义网络距离训练的多层感知器神经网络可以实现对抑郁症($R = 0.7$)、焦虑症($R = 0.44$)和压力($R = 0.52$)的最新交叉验证预测。虽然受样本量的限制,这种首创的方法,使DAS水平背后的关键语义维度的定量探索。我们发现,语义之间的距离回忆的情绪和二元体“悲伤快乐”是估计抑郁水平的重要特征,但不太重要的焦虑和压力。我们还发现,从“恐惧”的回忆语义距离可以提高预测焦虑,但它变得多余时,考虑“悲伤-快乐”的二元体。采用DASentimental作为一个半监督学习工具来估计文本中的DAS,我们将其应用于142个自杀笔记的数据集。最后,我们讨论了人工智能检测压力、焦虑和抑郁的未来研究的关键方向。
2021-10-26 cs.AI cs.CL cs.CY
PTS-SNN: A Prompt-Tuned Temporal Shift Spiking Neural Networks for Efficient Speech Emotion Recognition
College of Artificial Intelligence, Southwest University, Chongqing, 400715, China(人工智能学院,西南大学,重庆,400715,中国);Chongqing Key Laboratory of Brain Inspired Computing and Intelligent Chips, Chongqing, 400715, China(重庆脑启发计算与智能芯片重点实验室,重庆,400715,中国)
PTS-SNN通过时序移位脉冲编码器和上下文感知膜电位校准策略,实现高效的语音情感识别,准确率与人工神经网络相当,能耗显著降低。
2026-02-09 cs.AI cs.SD
Beyond Vision: How Large Language Models Interpret Facial Expressions from Valence-Arousal Values
Universidade Lusófona(卢索福纳大学);University of Cambridge(剑桥大学)
本研究针对LLMs依赖文本输入、视觉-语言模型资源密集且依赖语言先验的问题,提出让LLMs基于面部表情的效价-唤醒(VA)数值推断情感意义,发现其在语义描述任务中表现出与人类解释高度一致的能力。
2025-02-08 cs.AI cs.CL cs.CV