I Understand How You Feel: Enhancing Deeper Emotional Support Through Multilingual Emotional Validation in Dialogue System
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
提出情感验证在对话系统中的应用，构建多语言语料库M-EDESConv和测试集M-TESC，设计多语言情感感知门控单元MEGUMI进行时机检测，并评估当前LLM在情感验证响应生成中的表现。
2026-06-11 cs.CL cs.SD
Enhancing Emotional Generation Capability of Large Language Models via Emotional Chain-of-Thought
Peng Cheng Laboratory（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出即插即用的情感思维链（ECoT）提示方法，并设计基于Goleman情感智能理论的情感生成评分（EGS）自动评估方法，以提升大型语言模型在情感生成任务中的表现和评估可靠性。
2024-08-07 cs.AI cs.CL
Emotions Where Art Thou: Understanding and Characterizing the Emotional Latent Space of Large Language Models
Georgia Institute of Technology（佐治亚理工学院）
研究揭示了大语言模型中情感的潜在空间结构，通过方向编码和跨语言一致性，展示了对情感的可控表征与可解释性。
2026-01-30 cs.AI cs.CL
TEMPER: Testing Emotional Perturbation in Quantitative Reasoning
Georgia Institute of Technology（佐治亚理工学院）
本文通过构建TEMPER基准，研究情感框架对量化推理准确性的影响，发现情感扰动降低准确率2-10个百分点，但通过中性化可恢复性能，揭示情感风格影响而非内容腐败。
2026-08-13 cs.AI cs.CL
Emotion Transcription in Conversation: A Benchmark for Capturing Subtle and Complex Emotional States through Natural Language
本文提出对话中情感转录任务，通过自然语言描述捕捉细微复杂情绪，构建了包含日本对话数据集，并评估了基线模型性能。
2026-03-07 cs.AI cs.CL
Emotionally-Aware Agents for Dispute Resolution
University of Michigan（密歇根大学）；University of Southern California（南加州大学）；Northwestern University（西北大学）
本研究聚焦纠纷解决场景，利用大规模买卖纠纷对话语料探究情绪表达对结果的影响，证实大语言模型在情绪强度标注上优于传统方法，为情绪与冲突的相关理论提供支撑，也为研发情绪感知纠纷管理智能体提供了依据。
2025-08-28 cs.AI cs.CL
EmoLLM: Appraisal-Grounded Cognitive-Emotional Co-Reasoning in Large Language Models
Department of Computer Science, Emory University（埃默里大学计算机科学系）
EmoLLM通过引入评估推理图结构，实现认知与情感的协同推理，提升对话中情感状态和响应质量，同时保持事实可靠性。
2026-03-17 cs.AI cs.CL
NLP meets psychotherapy: Using predicted client emotions and self-reported client emotions to measure emotional coherence
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Bar-Ilan University（巴伊兰大学）
情绪是通过各种反应系统体验和表达的。情感体验和情感表达之间的一致性被认为对客户的福祉很重要。到目前为止，情绪连贯性（EC）已被研究在一个单一的时间点使用基于实验室的任务相对较小的数据集。没有研究探讨情绪的主观体验和情绪表达之间的EC治疗或这种一致性是否与客户的幸福感。自然语言处理（NLP）方法已被应用于从心理治疗对话中识别情绪，这可以被实施以在更大范围内研究情绪过程。然而，这些方法还没有被用来研究治疗过程中情绪体验和情绪表达之间的一致性，以及它是否与客户的幸福感有关。这项工作提出了一个端到端的方法，我们使用我们的Transformer为基础的情感识别模型的情感预测，研究情绪的连贯性及其诊断潜力的心理治疗研究。我们首先采用我们的Transformer为基础的方法对希伯来语的心理治疗数据集自动标记客户的情绪在话语水平的心理治疗对话。随后，我们调查了客户的自我报告的情绪状态和我们的基于模型的情绪预测之间的情绪一致性。我们还研究了情感连贯性和客户的幸福感之间的关联。我们的研究结果表明，在心理治疗过程中，客户的自我报告的情绪和口头表达的积极和消极情绪之间存在显着的相关性。积极情绪的一致性也与客户的幸福感高度相关。这些结果说明了NLP如何应用于识别心理治疗中的重要情感过程，以改善患有心理健康问题的客户的诊断和治疗。
2022-11-22 cs.AI cs.CL cs.HC
From Emotion Classification to Emotional Reasoning: Enhancing Emotional Intelligence in Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过合成情绪链式思维数据提升大语言模型的情感推理能力，实验表明微调后模型在情绪理解与意识评估上显著提升。
2026-01-04 cs.CL
Emotion is Not Just a Label: Latent Emotional Factors in LLM Processing
本文研究情绪作为潜在因素对LLM处理的影响，分析情绪如何改变transformer模型的注意力几何结构，并提出AURA-QA数据集和情绪正则化框架以提升阅读理解能力。
2026-03-16 cs.AI cs.CL cs.LG
UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；China Mobile（中国移动）
针对LLM TTS难以可解释地合成细粒度情感语音的问题，提出UDDETTS框架，统一离散与维度情感，引入ADV空间并采用半监督训练，实现沿三个维度的线性情感控制，提升端到端合成性能。
2025-09-25 cs.AI cs.CL cs.LG
The Emotional Spectrum of LLMs: Leveraging Empathy and Emotion-Based Markers for Mental Health Support
Università della Svizzera italiana（瑞士意大利语区大学）
本文提出对话系统RACLETTE，通过可解释情感画像与共情对话模型提升心理健康支持中的情感理解与回应能力，并将情感画像作为可解释标记物用于精神障碍的初步筛查。
2024-12-28 cs.AI cs.CL cs.HC
ELSA: A Style Aligned Dataset for Emotionally Intelligent Language Generation
Joyspace AI
本文提出ELSA数据集，通过细粒度情感分类与多种语境风格重写原始句子，并利用大语言模型生成情感细微变化文本，以支持情感条件风格自适应文本生成研究。
2025-04-11 cs.AI cs.CL cs.LG
Emotionally Charged, Logically Blurred: AI-driven Emotional Framing Impairs Human Fallacy Detection
NLLG, University of Technology Nuremberg (UTN)（神经语言学与认知科学实验室，图恩大学（UTN））；Fundamentals of Natural Language Processing, University of Bamberg, Germany（自然语言处理基础，巴姆堡大学，德国）；Ethics and Philosophy of Technology, Delft University of Technology, Netherlands（技术伦理与哲学，代尔夫特理工大学，荷兰）
本文研究了情绪框架如何影响人类谬误检测，发现AI驱动的情绪框架使F1评分平均降低14.5%，情绪愉悦比恐惧或悲伤更能提升说服力。
2026-03-23 cs.CL
The Emotional Voices Database: Towards Controlling the Emotion Dimension in Voice Generation Systems
Northeastern University（东北大学）；University of Mons（蒙斯大学）
在本文中，我们提出了一个数据库的情感语音打算是开源的，用于合成和生成的目的。它包含男性和女性演员的数据在英语和法语的男性演员。该数据库涵盖了5个情感类，因此它可以适合于构建具有连续控制情感维度潜力的合成和语音转换系统。我们通过构建一个简单的MLP系统将中性语音风格转换为愤怒语音风格，并通过CMOS感知测试对其进行评估，从而展示了数据的有效性。尽管该系统是一个非常简单的系统，但测试显示了数据的有效性，这是有希望的未来工作。
2018-06-25 cs.AI cs.CL eess.AS
Converting Anyone's Emotion: Towards Speaker-Independent Emotional Voice Conversion
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是将语音的情感从一种状态转换到另一种状态，同时保持语言内容和说话人身份。以往的情感语音转换研究大多是在情感依赖于说话人的假设下进行的。我们认为，在口语中，说话者之间存在一个共同的情感表达代码，因此，说话者独立的情感状态之间的映射是可能的。在本文中，我们提出了一个独立于说话人的情感语音转换框架，可以转换任何人的情感，而不需要并行数据。我们提出了一种基于VAW-GAN的编码器-解码器结构来学习频谱和韵律映射。我们使用连续小波变换（CWT）进行韵律转换的时间依赖模型。我们还研究了使用F0作为解码器的额外输入，以提高情感转换性能。实验表明，所提出的说话人无关的框架实现了有竞争力的结果，为可见和不可见的发言人。
2020-10-13 cs.AI cs.CL cs.SD
Politics of Feelings: Emotional Expression and Legislative Effectiveness in the U.S. Congress
University of Konstanz（康斯坦茨大学）
本研究利用Transformer情感分类器分析1973-2024年美国国会170万次演讲，发现热情、自豪及情感多样性与立法效能正相关，而愤怒和情感强度负相关，揭示了情感表达对立法结果的影响。
2026-09-10 cs.CL
Emotional Embeddings: Refining Word Embeddings to Capture Emotional Content of Words
UNC Charlotte（北卡罗来纳大学夏洛特分校）；University of Virginia（弗吉尼亚大学）
词嵌入是现代自然语言处理专家工具包中最有用的工具之一。它们包含关于每个单词的各种类型的信息，这使得它们成为在任何NLP任务中表示术语的最佳方式。但有些类型的信息是这些模型无法学习的。词语的情感信息就是其中之一。在本文中，我们提出了一种方法，将情感信息的话到这些模型。我们通过增加一个二级训练阶段来实现这一点，该阶段使用情感词汇和基本情感的心理模型。我们表明，将情感模型拟合到预先训练的词向量中可以提高这些模型在情感相似性度量方面的性能。重新训练的模型比原来的模型表现更好，Word2Vec模型提高了13%，GloVe向量提高了29%。这是文献中提出的第一个这样的模型，虽然是初步的，但这些情感敏感模型可以开辟提高各种情感检测技术性能的途径。
2019-06-19 cs.CL cs.IR
Bridging the prosody GAP: Genetic Algorithm with People to efficiently sample emotional prosody
Max Planck Institute for Empirical Aesthetics（马克斯·普朗克经验美学研究所）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
人类的声音有效地传达了一系列的情感，声学上有细微的变化。现有的情感语音语料库是有限的，因为它们要么（a）高度策划，以诱导特定的情感与预定义的类别，可能无法捕捉情感体验的全部范围，或（b）纠缠在他们的语义和韵律线索，限制了单独研究这些线索的能力。为了克服这一挑战，我们提出了一种新的方法称为"遗传算法与人"（GAP），它集成了人类的决策和生产到一个遗传算法。在我们的设计中，我们允许创作者和评分者共同优化几代人的情感韵律。我们证明了GAP可以有效地从情感语音空间中采样，并捕获广泛的情感，并显示出与最先进的情感语音语料库相当的结果。GAP是独立于语言的，支持大规模的众包，因此可以支持未来的大规模跨文化研究。
2022-05-10 cs.CL
And That's A Fact: Distinguishing Factual and Emotional Argumentation in Online Dialogue
University of Utah（犹他大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）
我们调查的特点，事实和情感的论证风格观察到在网上辩论。使用一组注释的“事实”和“感觉”的辩论论坛帖子，我们提取的模式是高度相关的事实和情感的论点，然后应用自举方法，以找到新的模式在一个更大的池中的未注释的论坛帖子。这个过程自动产生了一个大的模式集，代表与事实和情感语言高度相关的语言表达。最后，我们分析了最具鉴别力的模式，以更好地理解事实和情感论点的定义特征。
2017-09-15 cs.CL
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
针对情感语音数据集不平衡易致模型过拟合的问题，提出结合增强方法的Emotion Extractor，可提取有效泛化的情感表征，在SER任务上超越SOTA基线，还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
Emotion-Regularized Conditional Variational Autoencoder for Emotional Response Generation
National University of Defense Technology（国防科技大学）；University of Science and Technology of China（中国科学技术大学）
本文提出了一种情感正则化条件变分自编码器模型（EZ-CVAE），用于生成情感会话响应。在传统的基于CVAE的情绪反应生成中，情绪标签只是作为先验、后验和解码器网络中的附加条件。考虑到情感风格与语言空间中的语义内容自然纠缠在一起，该模型通过引入额外的情感预测网络，利用情感标签来正则化CVAE潜在空间。在训练阶段，需要估计的潜变量同时预测输入响应的情感标签和标记序列。实验结果表明，与传统的CVAE模型相比，我们的B-CVAE模型可以学习到更多信息和结构化的潜在空间，并且输出比基线CVAE和序列到序列（Seq 2Seq）模型具有更好的内容和情感性能的响应。
2021-04-18 cs.CL
Empathetic Response Generation through Graph-based Multi-hop Reasoning on Emotional Causality
The Hong Kong Polytechnic University（香港理工大学）；Department of Computing（计算机系）
移情反应生成的目的是理解用户的情绪，然后适当地做出反应。大多数现有的作品仅仅关注情感是什么，而忽略了情感是如何被唤起的，从而削弱了模型理解用户的情感体验以产生移情反应的能力。为了解决这个问题，我们考虑情感因果关系，即用户表达了什么样的感受（即，情绪）以及用户为什么有这样的感觉（即，cause）.然后，我们提出了一种新颖的基于图的多跳推理模型来对同理心对话的情感因果关系进行建模。最后，我们证明了我们的模型的有效性EMPATHETICDIALOGUES相比，几个竞争对手的模型。
2021-10-09 cs.CL
Maestro-EVC: Controllable Emotional Voice Conversion Guided by References and Explicit Prosody
Graduate School of Artificial Intelligence（人工智能研究生院）；Dept. of Computer Science and Engineering（计算机科学与工程系）；Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
提出Maestro-EVC框架，通过从独立参考中解耦内容、说话人身份和情感实现可控情感语音转换，并引入时间情感表示与显式韵律建模以精准捕捉情感时间动态，实现高质量且富有表现力的语音合成。
2025-08-09 cs.AI cs.CL cs.SD
EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional Speech Synthesis
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出EmoInstruct-TTS双路径框架，通过情感嵌入和指令条件情感流模型实现细粒度情感控制，提升语音情感可控性和自然度。
2026-06-23 cs.AI cs.CL cs.SD
A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction
Institute of Artificial Intelligence (TeleAI), China Telecom, China（人工智能研究院（TeleAI），中国电信，中国）
本文提出一种通过注入情感归因思维提升情感智能的统一口语语言模型，实现人样交互中的情感感知与响应生成。
2026-01-08 cs.CL cs.SD
CAPE: A Chinese Dataset for Appraisal-based Emotional Generation using Large Language Models
International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA））；University of Michigan（密歇根大学）；Hong Kong University of Science and Technology（香港科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出两阶段自动生成框架构建中文情感语料库CAPE，并基于认知评价理论设计情感预测和下一句话预测任务，实验证明在该数据集上训练的对话智能体能产生更符合人类情感表达的回应，推动了人机交互中情感表达能力的提升。
2024-10-18 cs.CL
Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）；National University of Singapore (NUS)（新加坡国立大学）；University of Bremen（不来梅大学）
情感文本到语音合成（ETTS）近年来取得了很大的进展。然而，所生成的语音通常不能通过其预期的情感类别感知地识别。为了解决这个问题，我们提出了一个新的交互式训练模式的ETTS，表示为i-ETTS，它旨在直接提高情感的可辨别性，通过与语音情感识别（SER）模型进行交互。此外，我们制定了一个迭代训练策略与强化学习，以确保质量的i-ETTS优化。实验结果表明，所提出的i-ETTS优于国家的最先进的基线渲染语音更准确的情感风格。据我们所知，这是强化学习在情感文本到语音合成中的首次研究。
2021-06-14 cs.CL
CauESC: A Causal Aware Model for Emotional Support Conversation
Fudan University（复旦大学）；Huazhong University of Science and Technology（华中科技大学）
针对现有情感支持对话方法忽略情绪成因、未关注互动情绪动态的问题，本文提出因果感知框架CauESC，通过识别情绪成因与效应、独立并整合言语疏导策略，在基准数据集上验证了有效性。
2024-01-31 cs.CL
Utterance Emotion Dynamics in Children's Poems: Emotional Changes Across Age
University of Alberta（阿尔伯塔大学）；National Research Council Canada（加拿大国家研究委员会）
本研究结合词典与机器学习方法分析不同年龄儿童诗歌中的情感动态，发现多种情绪强度、变异性、反应性和调节能力随年龄增长而增强，而效价下降。
2023-06-08 cs.CL
Emotional Dimension Control in Language Model-Based Text-to-Speech: Spanning a Broad Spectrum of Human Emotions
Tongyi Lab, Alibaba Group, Singapore（阿里云实验室，阿里巴巴集团，新加坡）；University of Rochester, United States of America（罗切斯特大学，美国）
本文提出基于语言模型的TTS框架，通过PAD三维情感维度实现更广泛的情感表达，提升语音的自然度和多样性。
2026-01-19 cs.CL cs.SD eess.AS
Reinforcement Learning Based Emotional Editing Constraint Conversation Generation
Hefei University of Technology（合肥工业大学）；Kingsoft Institute of Artificial Intelligence（金山人工智能研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近年来，基于深度神经网络的会话内容生成吸引了众多研究者。然而，传统的神经语言模型往往会生成一般性的回复，缺乏逻辑和情感因素。本文提出了一种会话内容生成模型，该模型将强化学习与情感编辑约束相结合，生成更有意义和可定制的情感回复。该模型根据预先生成的关键词将回复分为三个子句，并使用情感编辑器进一步优化最终回复。该模型将多任务学习与多指标奖励相结合，全面优化回复质量。实验表明，该模型不仅能提高回复的流畅性，而且能显著增强回复的逻辑相关性和情感相关性。
2019-04-17 cs.CL cs.LG
PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models
Telecom SudParis, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）；Aberystwyth University（阿伯里斯特威斯大学）
研究针对大语言模型在复杂情感推理中不如人类的问题，提出PTEI框架，通过提取人格特质并用于人格感知提示引导模型推理，结合对比学习优化检索系统，经实验验证其能增强模型情感理解能力，与CoT推理结合可进一步提升准确率。
2026-07-14 cs.CL cs.IR
EMO-Reasoning: Benchmarking Emotional Reasoning Capabilities in Spoken Dialogue Systems
Zhejiang University（浙江大学）；UC Berkeley（伯克利大学）；National Taiwan University（台湾国立大学）；University of Southern California（南加州大学）
针对口语对话系统缺乏情绪推理评估整体系统的问题，本文提出EMO-Reasoning基准与跨轮次情绪推理评分，通过文本转语音生成数据集并评估七个系统，有效检测情绪不一致，推动情绪感知对话建模发展。
2025-08-26 cs.CL eess.AS
Fine-Grained Emotional Paraphrasing along Emotion Gradients
Westview High School（西景高中）
释义生成，又称。释义是自然语言处理中的一项重要任务。情感释义，即在保持文本意义的同时改变文本中所体现的情感，具有许多潜在的应用，例如，主持在线对话和防止网络欺凌。我们引入了一个新的任务，细粒度的情感释义沿情感梯度，即改变情感强度的释义在细粒度以下的情感维度的平滑变化，同时保持原来的意义。我们提出了一个框架，通过多任务训练微调文本到文本的Transformers来解决这个任务。我们增强了几个广泛使用的释义语料库，通过注释的输入和目标文本与他们的细粒度的情感标签。有了这些标签，在这些语料库上微调文本到文本的Transformers需要多任务训练。在单独的测试集上对微调的Transformers的评估表明，在释义任务中包括细粒度的情感标签显著提高了获得所需情感的高质量释义的机会，即，超过一倍的数量的精确匹配所需的情绪，同时实现了一贯更好的分数在释义指标，如蓝色，ROGUE，和METEOR。
2022-10-30 cs.CL cs.LG
Learning Representations of Emotional Speech with Deep Convolutional Generative Adversarial Networks
Harvey Mudd College（哈维穆德学院）；University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
对于机器学习算法来说，自动评估人类语音中的情感效价历来是一项艰巨的任务。说话者的声音中指示积极或消极情绪状态的微妙变化通常被与情绪强度或情绪激活有关的声音特征“掩盖”。在这项工作中，我们探索了一个表示学习的方法，自动推导出的情感语音的歧视性表示。特别是，我们研究了两种机器学习策略来提高分类器性能：（1）使用深度卷积生成对抗网络（DCGAN）利用未标记数据，以及（2）多任务学习。在我们广泛的实验中，我们利用多任务注释的情感语料库以及大型未标记的会议语料库（约100小时）。我们的独立于说话人的分类实验表明，特别是在我们的调查中使用未标记的数据提高了分类器的性能，两种完全监督的基线方法都大大优于。我们改进了情绪效价的分类，在离散的5点量表上为43.88%，在3点量表上为49.80%，这与最先进的表现具有竞争力。
2017-04-22 cs.CL cs.LG stat.ML
Read it to me: An emotionally aware Speech Narration Application
在这项工作中，我们试图执行情感风格的音频转移。特别地，MelGAN-VC架构被探索用于各种情感对传输。然后使用基于LSTM的音频情感分类器对生成的音频进行分类。我们发现，“悲伤”的音频生成以及相比，“快乐”或“愤怒”，因为人们有类似的悲伤的表达。
2022-09-06 cs.CL cs.LG cs.SD
Emotion Intensity and its Control for Emotional Voice Conversion
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Southern Queensland（南昆士兰大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）；University of Bremen（不来梅大学）
情感语音转换（EVC）旨在转换话语的情感状态，同时保留语言内容和说话人身份。在EVC中，情感通常被视为离散的类别，忽略了语音也传达了听者可以感知的各种强度水平的情感。在本文中，我们的目标是明确的特征和控制的强度的情绪。我们建议将说话者风格从语言内容中分离出来，并将说话者风格编码成一个风格嵌入在一个连续的空间中，形成情感嵌入的原型。我们进一步学习实际的情感编码器从情感标记的数据库，并研究使用相对属性来表示细粒度的情感强度。为了确保情感的可理解性，我们将情感分类损失和情感嵌入相似性损失纳入EVC网络的训练中。根据需要，所提出的网络控制输出语音中的细粒度情感强度。通过客观和主观的评价，我们验证了所提出的网络的情感表达和情感强度控制的有效性。
2022-07-18 cs.CL cs.LG cs.SD
EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
近年来，神经语音合成受到越来越多的关注。深度神经网络在文本语音转换（TTS）任务中取得了很好的效果，但由于缺乏高质量的情感语音数据集和高级情感TTS模型，如何生成更有情感、更有表现力的语音成为研究者面临的新挑战。在本文中，我们首先简要介绍并公开发布了一个普通话情感语音数据集，包括9，724个带有音频文件的样本及其情感人工标注。在此基础上，我们提出了一个简单而有效的架构，情感语音合成称为EM语音。与那些需要额外参考音频作为输入的模型不同，我们的模型可以仅从输入文本中预测情感标签，并以情感嵌入为条件生成更具表达力的语音。在实验阶段，我们首先通过一个情感分类任务来验证我们的数据集的有效性。然后，我们在建议的数据集上训练我们的模型，并进行一系列主观评估。最后，通过在情感语音合成任务中显示出相当的性能，我们成功地证明了所提出的模型的能力。
2021-06-17 cs.CL cs.SD eess.AS
A Methodology for Controlling the Emotional Expressiveness in Synthetic Speech -- a Deep Learning approach
Numediart Institute University of Mons（蒙斯大学Numediart研究所）
在这个项目中，我们的目标是建立一个文本到语音系统能够产生语音与可控的情感表达。我们提出了一种方法来解决这个问题的三个主要步骤。一是情感语音数据的采集。我们讨论了现有数据集的各种格式及其在语音生成中的可用性。第二步是开发一个系统，自动注释数据的情感/表现力的功能。我们比较了几种使用迁移学习的技术，通过其他任务提取这样的表示，并提出了一种方法来可视化和解释声乐和情感特征之间的相关性。第三步是开发一个基于深度学习的系统，以文本和情感/表现力为输入，并产生语音作为输出。我们研究的影响微调从一个中性的TTS对情绪的TTS的可理解性和感知的情绪。
2019-07-05 cs.CL cs.LG cs.SD
Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning
Department of Electrical Engineering, Columbia University（电气工程系，哥伦比亚大学）
提出Sympatheia语音对话框架，通过从用户语音推断情感并结合连续效价-唤醒度控制信号，实现情感自适应响应，优于基线模型。
2026-05-30 cs.CL cs.HC cs.LG
EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation
Electronic Engineering,\ Hong Kong Polytechnic University, Hong Kong SAR, China
研究对话中的多模态情感识别问题，提出情感惯性引导监督对比学习模块EII-SCL，通过构建受惯性影响样本为对比目标提供信息，利用情感惯性先验，无需额外数据，与现有模型无缝集成，实验证明该方法优于现有方法。
2026-07-21 cs.CL cs.HC cs.MM
How emoji and word embedding helps to unveil emotional transitions during online messaging
University of Virginia（弗吉尼亚大学）；School of Data Science（数据科学学院）
在网上聊天时，肢体语言和声音特征不是沟通机制的一部分，这使得准确解释感觉、情绪和态度变得非常困难。使用表情符号来表达情感是这些类型的沟通中的另一种方法。在这个项目中，我们专注于在与聊天机器人的在线消息会话中建模客户的情绪。我们使用情感控制理论（ACT）来预测互动过程中的情绪变化。为了让客户使用表情符号，我们还扩展了ACT使用的情感词典。为此，我们映射到情感空间的xuji2vec嵌入。我们的框架可以发现消息传递过程中的情绪变化以及客户的反应如何相应地改变。
2021-03-23 cs.CL cs.HC cs.SI
