Enhancing Emotional Generation Capability of Large Language Models via Emotional Chain-of-Thought
Peng Cheng Laboratory(鹏城实验室);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出即插即用的情感思维链(ECoT)提示方法,并设计基于Goleman情感智能理论的情感生成评分(EGS)自动评估方法,以提升大型语言模型在情感生成任务中的表现和评估可靠性。
2024-08-07 cs.AI cs.CL
How emoji and word embedding helps to unveil emotional transitions during online messaging
University of Virginia(弗吉尼亚大学);School of Data Science(数据科学学院)
在网上聊天时,肢体语言和声音特征不是沟通机制的一部分,这使得准确解释感觉、情绪和态度变得非常困难。使用表情符号来表达情感是这些类型的沟通中的另一种方法。在这个项目中,我们专注于在与聊天机器人的在线消息会话中建模客户的情绪。我们使用情感控制理论(ACT)来预测互动过程中的情绪变化。为了让客户使用表情符号,我们还扩展了ACT使用的情感词典。为此,我们映射到情感空间的xuji2vec嵌入。我们的框架可以发现消息传递过程中的情绪变化以及客户的反应如何相应地改变。
2021-03-23 cs.CL cs.HC cs.SI
Studying Cultural Differences in Emoji Usage across the East and the West
University of Pennsylvania(宾夕法尼亚大学);Purdue University(普渡大学)
全世界都能接受英语,这表明英语是一种跨文化的、规范的用法。同时,由于表达情感的语言差异和概念化主题的多样性,不同文化间的日语使用也可能存在细微差别。事实上,跨文化心理学的文献已经发现了情感表达的规范和特定文化方式。在本文中,使用社交媒体,我们比较了基于频率,上下文和主题协会在东方国家(中国和日本)和西方国家(美国,英国和加拿大)的日语使用。在东西方,我们的研究考察了a)不同类别的“人”,“饮食”,“旅游”和“地方”等使用的异同,b)潜在的映射的使用差异与先前确定的文化差异,在用户的表达不同的概念,如死亡,金钱的情绪和家庭,和c)验证的心理语言类别与埃克曼的情绪的相对对应。对东方和西方汉字使用的分析揭示了可识别的规范和文化特定模式。本研究揭示了日语在跨文化交际中的运用方式。
2019-04-04 cs.CL
Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
情感的感知和表达是对话系统或会话代理成功的关键因素。然而,这个问题还没有被研究在大规模的会话生成到目前为止。在本文中,我们提出了情感聊天机(ECM),可以产生适当的反应,不仅在内容(相关和语法),而且在情感(情感一致)。据我们所知,这是第一个解决大规模会话生成中的情感因素的工作。ECM使用三种新的机制来解决这个问题,分别是(1)通过嵌入情感类别来建模情感表达的高层抽象,(2)捕获内隐内部情感状态的变化,以及(3)使用具有外部情感词汇的外显情感表达。实验结果表明,该模型不仅可以生成内容上合适的响应,而且可以生成情感上合适的响应。
2018-06-01 cs.AI cs.CL
Emotion-aware Chat Machine: Automatic Emotional Response Generation for Human-like Emotional Interaction
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学);Northeastern University(东北大学);Singapore Management University(新加坡管理大学)
对给定帖子的响应在语义级和情感级的一致性对于对话系统提供类人交互是必不可少的。然而,这一挑战在文献中没有得到很好的解决,因为大多数方法在生成响应时忽略了帖子所传达的情感信息。本文通过提出一种统一的端到端神经架构来解决这个问题,该架构能够同时编码帖子中的语义和情感,以生成具有适当表达的情感的更智能的响应。在真实数据上的大量实验表明,该方法在内容一致性和情感适当性方面都优于现有的方法。
2021-06-06 cs.AI cs.CL
On the Use of Emojis to Train Emotion Classifiers
Jordan University of Science and Technology(约旦科技大学);Al-Buraimi University College(布莱米大学学院)
如今,情绪的自动检测被不同领域的许多应用所采用,如安全信息学、电子学习、幽默检测、定向广告等。这些应用中的许多应用专注于社交媒体,并将此问题视为分类问题,这需要准备训练数据。由人类专家注释训练数据的典型方法被认为是耗时的、劳动密集的并且有时易于出错。此外,这种方法不容易扩展到新的领域/语言,因为这种扩展需要注释新的训练数据。在这项研究中,我们提出了一个远程监督学习的方法,训练句子自动注释的基础上,他们的表情符号。与手动创建的训练数据相比,这种训练数据的产生将非常便宜,因此,可以容易地获得大得多的训练数据。另一方面,该训练数据自然会具有较低的质量,因为它可能在注释中包含一些错误。尽管如此,我们的实验表明,训练分类器便宜,大,可能错误的数据注释使用这种方法导致更准确的结果相比,训练相同的分类器更昂贵,更小,无错误的手动注释训练数据。我们的实验是在一个内部的情感阿拉伯语推文数据集上进行的,我们考虑的分类器是:支持向量机(SVM),多项式朴素贝叶斯(MNB)和随机森林(RF)。除了使用单个分类器进行实验之外,我们还考虑使用分类器的集成。结果表明,使用自动标注的训练数据(仅比手动标注的数据大一个数量级)在几乎所有考虑的设置中给出更好的结果。
2019-02-26 cs.CL
emojiSpace: Spatial Representation of Emojis
University of Virginia(弗吉尼亚大学)
在消息通信期间没有非语言提示的情况下,用户使用表情符号表达他们的部分情绪。因此,在文本消息语言模型的词汇表中具有表情符号可以显著改善许多自然语言处理(NLP)应用,例如在线通信分析。另一方面,词嵌入模型通常在非常大的文本语料库上训练,例如维基百科或谷歌新闻数据集,其中包含很少的表情符号样本。在这项研究中,我们创建了emojiSpace,这是一个使用Python中Genism库中的word 2 vec模型的组合单词-emoji嵌入。我们在超过40亿条推文的语料库上训练了emojiSpace,并通过在包含超过6700万条推文的Twitter数据集上实施情感分析作为外部任务来对其进行评估。对于这项任务,我们比较了随机森林(RF)和线性支持向量机(SVM)的两种不同的分类器的性能。为了进行评估,我们将emojiSpace的性能与其他两个预训练的嵌入进行了比较,并证明了emojiSpace的性能优于两者。
2022-09-12 cs.CL cs.LG
Emotions Where Art Thou: Understanding and Characterizing the Emotional Latent Space of Large Language Models
Georgia Institute of Technology(佐治亚理工学院)
研究揭示了大语言模型中情感的潜在空间结构,通过方向编码和跨语言一致性,展示了对情感的可控表征与可解释性。
2026-01-30 cs.AI cs.CL
TEMPER: Testing Emotional Perturbation in Quantitative Reasoning
Georgia Institute of Technology(佐治亚理工学院)
本文通过构建TEMPER基准,研究情感框架对量化推理准确性的影响,发现情感扰动降低准确率2-10个百分点,但通过中性化可恢复性能,揭示情感风格影响而非内容腐败。
2026-08-13 cs.AI cs.CL
NLP meets psychotherapy: Using predicted client emotions and self-reported client emotions to measure emotional coherence
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));Bar-Ilan University(巴伊兰大学)
情绪是通过各种反应系统体验和表达的。情感体验和情感表达之间的一致性被认为对客户的福祉很重要。到目前为止,情绪连贯性(EC)已被研究在一个单一的时间点使用基于实验室的任务相对较小的数据集。没有研究探讨情绪的主观体验和情绪表达之间的EC治疗或这种一致性是否与客户的幸福感。自然语言处理(NLP)方法已被应用于从心理治疗对话中识别情绪,这可以被实施以在更大范围内研究情绪过程。然而,这些方法还没有被用来研究治疗过程中情绪体验和情绪表达之间的一致性,以及它是否与客户的幸福感有关。这项工作提出了一个端到端的方法,我们使用我们的Transformer为基础的情感识别模型的情感预测,研究情绪的连贯性及其诊断潜力的心理治疗研究。我们首先采用我们的Transformer为基础的方法对希伯来语的心理治疗数据集自动标记客户的情绪在话语水平的心理治疗对话。随后,我们调查了客户的自我报告的情绪状态和我们的基于模型的情绪预测之间的情绪一致性。我们还研究了情感连贯性和客户的幸福感之间的关联。我们的研究结果表明,在心理治疗过程中,客户的自我报告的情绪和口头表达的积极和消极情绪之间存在显着的相关性。积极情绪的一致性也与客户的幸福感高度相关。这些结果说明了NLP如何应用于识别心理治疗中的重要情感过程,以改善患有心理健康问题的客户的诊断和治疗。
2022-11-22 cs.AI cs.CL cs.HC
Emotion Transcription in Conversation: A Benchmark for Capturing Subtle and Complex Emotional States through Natural Language
本文提出对话中情感转录任务,通过自然语言描述捕捉细微复杂情绪,构建了包含日本对话数据集,并评估了基线模型性能。
2026-03-07 cs.AI cs.CL
Emotionally-Aware Agents for Dispute Resolution
University of Michigan(密歇根大学);University of Southern California(南加州大学);Northwestern University(西北大学)
本研究聚焦纠纷解决场景,利用大规模买卖纠纷对话语料探究情绪表达对结果的影响,证实大语言模型在情绪强度标注上优于传统方法,为情绪与冲突的相关理论提供支撑,也为研发情绪感知纠纷管理智能体提供了依据。
2025-08-28 cs.AI cs.CL
Unlocking Cross-Lingual Sentiment Analysis through Emoji Interpretation: A Multimodal Generative AI Approach
University of North Texas(北得克萨斯大学)
本研究利用ChatGPT的多模态能力,在32个国家的多语言数据集上验证了表情符号作为跨语言通用情感标记的可靠性,发现基于LLM的表情符号情感准确率达81.43%,且随表情符号数量增加而提升。
2024-12-23 cs.AI cs.CL
From Emotion Classification to Emotional Reasoning: Enhancing Emotional Intelligence in Large Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文通过合成情绪链式思维数据提升大语言模型的情感推理能力,实验表明微调后模型在情绪理解与意识评估上显著提升。
2026-01-04 cs.CL
Enhancing Collective Intelligence in Large Language Models Through Emotional Integration
University of Iowa(爱荷华大学);Tulane University(杜兰大学);ByWater Institute(拜沃特研究所)
本研究通过 GoEmotions 数据集和 LoRA 微调 DarkIdol-Llama-3.1-8B 模型以整合情感多样性,验证了情感整合能在保持预测精度的同时塑造响应模式,从而有效增强大型语言模型的集体智能。
2025-03-05 cs.AI cs.CL cs.CY
Emotion is Not Just a Label: Latent Emotional Factors in LLM Processing
本文研究情绪作为潜在因素对LLM处理的影响,分析情绪如何改变transformer模型的注意力几何结构,并提出AURA-QA数据集和情绪正则化框架以提升阅读理解能力。
2026-03-16 cs.AI cs.CL cs.LG
UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);China Mobile(中国移动)
针对LLM TTS难以可解释地合成细粒度情感语音的问题,提出UDDETTS框架,统一离散与维度情感,引入ADV空间并采用半监督训练,实现沿三个维度的线性情感控制,提升端到端合成性能。
2025-09-25 cs.AI cs.CL cs.LG
Detecting Emotional Dynamic Trajectories: An Evaluation Framework for Emotional Support in Language Models
针对现有LLMs情绪支持评估依赖静态对话的局限,提出基于轨迹的评估框架,构建含328个情绪语境和1152个干扰事件的基准,引入三个轨迹指标,揭示模型情绪支持能力差异并为开发提供见解。
2025-11-12 cs.CL
The Emotional Spectrum of LLMs: Leveraging Empathy and Emotion-Based Markers for Mental Health Support
Università della Svizzera italiana(瑞士意大利语区大学)
本文提出对话系统RACLETTE,通过可解释情感画像与共情对话模型提升心理健康支持中的情感理解与回应能力,并将情感画像作为可解释标记物用于精神障碍的初步筛查。
2024-12-28 cs.AI cs.CL cs.HC
Converting Anyone's Emotion: Towards Speaker-Independent Emotional Voice Conversion
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
情感语音转换的目的是将语音的情感从一种状态转换到另一种状态,同时保持语言内容和说话人身份。以往的情感语音转换研究大多是在情感依赖于说话人的假设下进行的。我们认为,在口语中,说话者之间存在一个共同的情感表达代码,因此,说话者独立的情感状态之间的映射是可能的。在本文中,我们提出了一个独立于说话人的情感语音转换框架,可以转换任何人的情感,而不需要并行数据。我们提出了一种基于VAW-GAN的编码器-解码器结构来学习频谱和韵律映射。我们使用连续小波变换(CWT)进行韵律转换的时间依赖模型。我们还研究了使用F0作为解码器的额外输入,以提高情感转换性能。实验表明,所提出的说话人无关的框架实现了有竞争力的结果,为可见和不可见的发言人。
2020-10-13 cs.AI cs.CL cs.SD
Can Large Language Models be Good Emotional Supporter? Mitigating Preference Bias on Emotional Support Conversation
Yonsei University(延世大学);Ajou University(安江大学)
本研究分析LLMs在情感支持对话中的策略选择偏好,发现高偏好阻碍有效支持,提出外部辅助可缓解偏差,并指出现有LLMs难以独立成为好的情感支持者。
2025-05-26 cs.CL
ELSA: A Style Aligned Dataset for Emotionally Intelligent Language Generation
Joyspace AI
本文提出ELSA数据集,通过细粒度情感分类与多种语境风格重写原始句子,并利用大语言模型生成情感细微变化文本,以支持情感条件风格自适应文本生成研究。
2025-04-11 cs.AI cs.CL cs.LG
Acquiring Common Chinese Emotional Events Using Large Language Model
School of Artificial Intelligence and Software Engineering, Nanyang Normal University(南阳师范学院人工智能与软件工程学院);Key Laboratory of Intelligent Information Processing, Institute of Computer Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能信息处理重点实验室)
本文提出利用中文大语言模型结合指示词提示、质量过滤和情感分类,构建了包含102,218个带极性标签的中文常见情感事件知识库,并在情感原因抽取任务中验证了其应用价值。
2025-11-07 cs.CL
The Emotional Voices Database: Towards Controlling the Emotion Dimension in Voice Generation Systems
Northeastern University(东北大学);University of Mons(蒙斯大学)
在本文中,我们提出了一个数据库的情感语音打算是开源的,用于合成和生成的目的。它包含男性和女性演员的数据在英语和法语的男性演员。该数据库涵盖了5个情感类,因此它可以适合于构建具有连续控制情感维度潜力的合成和语音转换系统。我们通过构建一个简单的MLP系统将中性语音风格转换为愤怒语音风格,并通过CMOS感知测试对其进行评估,从而展示了数据的有效性。尽管该系统是一个非常简单的系统,但测试显示了数据的有效性,这是有希望的未来工作。
2018-06-25 cs.AI cs.CL eess.AS
Emotional Embeddings: Refining Word Embeddings to Capture Emotional Content of Words
UNC Charlotte(北卡罗来纳大学夏洛特分校);University of Virginia(弗吉尼亚大学)
词嵌入是现代自然语言处理专家工具包中最有用的工具之一。它们包含关于每个单词的各种类型的信息,这使得它们成为在任何NLP任务中表示术语的最佳方式。但有些类型的信息是这些模型无法学习的。词语的情感信息就是其中之一。在本文中,我们提出了一种方法,将情感信息的话到这些模型。我们通过增加一个二级训练阶段来实现这一点,该阶段使用情感词汇和基本情感的心理模型。我们表明,将情感模型拟合到预先训练的词向量中可以提高这些模型在情感相似性度量方面的性能。重新训练的模型比原来的模型表现更好,Word2Vec模型提高了13%,GloVe向量提高了29%。这是文献中提出的第一个这样的模型,虽然是初步的,但这些情感敏感模型可以开辟提高各种情感检测技术性能的途径。
2019-06-19 cs.CL cs.IR
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen(圣加仑大学);Reykjavik University(雷克雅未克大学)
针对情感语音数据集不平衡易致模型过拟合的问题,提出结合增强方法的Emotion Extractor,可提取有效泛化的情感表征,在SER任务上超越SOTA基线,还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
Maestro-EVC: Controllable Emotional Voice Conversion Guided by References and Explicit Prosody
Graduate School of Artificial Intelligence(人工智能研究生院);Dept. of Computer Science and Engineering(计算机科学与工程系);Pohang University of Science and Technology (POSTECH)(釜山科学技术大学)
提出Maestro-EVC框架,通过从独立参考中解耦内容、说话人身份和情感实现可控情感语音转换,并引入时间情感表示与显式韵律建模以精准捕捉情感时间动态,实现高质量且富有表现力的语音合成。
2025-08-09 cs.AI cs.CL cs.SD
EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional Speech Synthesis
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(科大讯飞研究院);Huawei Technologies Co., Ltd.(华为技术有限公司)
提出EmoInstruct-TTS双路径框架,通过情感嵌入和指令条件情感流模型实现细粒度情感控制,提升语音情感可控性和自然度。
2026-06-23 cs.AI cs.CL cs.SD
Politics of Feelings: Emotional Expression and Legislative Effectiveness in the U.S. Congress
University of Konstanz(康斯坦茨大学)
本研究利用Transformer情感分类器分析1973-2024年美国国会170万次演讲,发现热情、自豪及情感多样性与立法效能正相关,而愤怒和情感强度负相关,揭示了情感表达对立法结果的影响。
2026-09-10 cs.CL
Bridging the prosody GAP: Genetic Algorithm with People to efficiently sample emotional prosody
Max Planck Institute for Empirical Aesthetics(马克斯·普朗克经验美学研究所);Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所)
人类的声音有效地传达了一系列的情感,声学上有细微的变化。现有的情感语音语料库是有限的,因为它们要么(a)高度策划,以诱导特定的情感与预定义的类别,可能无法捕捉情感体验的全部范围,或(b)纠缠在他们的语义和韵律线索,限制了单独研究这些线索的能力。为了克服这一挑战,我们提出了一种新的方法称为"遗传算法与人"(GAP),它集成了人类的决策和生产到一个遗传算法。在我们的设计中,我们允许创作者和评分者共同优化几代人的情感韵律。我们证明了GAP可以有效地从情感语音空间中采样,并捕获广泛的情感,并显示出与最先进的情感语音语料库相当的结果。GAP是独立于语言的,支持大规模的众包,因此可以支持未来的大规模跨文化研究。
2022-05-10 cs.CL
A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction
Institute of Artificial Intelligence (TeleAI), China Telecom, China(人工智能研究院(TeleAI),中国电信,中国)
本文提出一种通过注入情感归因思维提升情感智能的统一口语语言模型,实现人样交互中的情感感知与响应生成。
2026-01-08 cs.CL cs.SD
Knowledge Bridging for Empathetic Dialogue Generation
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);Tencent AI Lab(腾讯人工智能实验室);Department of Computer Science, The University of Hong Kong(香港大学计算机科学系)
外部知识的缺乏使得移情对话系统难以从有限的对话历史中感知内隐情感并学习情感交互。针对上述问题,我们提出利用外部知识,包括常识知识和情感词汇知识,在移情对话生成中明确地理解和表达情感。我们首先通过与外部知识的共同交互来丰富对话历史,并构建情感上下文图。然后,我们从知识丰富的情感上下文图中学习情感上下文表示,并提取情感信号,这是预测反应中表达的情感的先决条件。最后,为了产生移情反应,我们提出了一种情绪交叉注意力机制,从情绪上下文图中学习情绪依赖。在基准数据集上进行的大量实验验证了该方法的有效性。此外,我们发现我们的方法的性能可以通过与正交工作的预训练模型集成来进一步提高。
2021-12-29 cs.CL
Emotion-Regularized Conditional Variational Autoencoder for Emotional Response Generation
National University of Defense Technology(国防科技大学);University of Science and Technology of China(中国科学技术大学)
本文提出了一种情感正则化条件变分自编码器模型(EZ-CVAE),用于生成情感会话响应。在传统的基于CVAE的情绪反应生成中,情绪标签只是作为先验、后验和解码器网络中的附加条件。考虑到情感风格与语言空间中的语义内容自然纠缠在一起,该模型通过引入额外的情感预测网络,利用情感标签来正则化CVAE潜在空间。在训练阶段,需要估计的潜变量同时预测输入响应的情感标签和标记序列。实验结果表明,与传统的CVAE模型相比,我们的B-CVAE模型可以学习到更多信息和结构化的潜在空间,并且输出比基线CVAE和序列到序列(Seq 2Seq)模型具有更好的内容和情感性能的响应。
2021-04-18 cs.CL
Empathetic Response Generation through Graph-based Multi-hop Reasoning on Emotional Causality
The Hong Kong Polytechnic University(香港理工大学);Department of Computing(计算机系)
移情反应生成的目的是理解用户的情绪,然后适当地做出反应。大多数现有的作品仅仅关注情感是什么,而忽略了情感是如何被唤起的,从而削弱了模型理解用户的情感体验以产生移情反应的能力。为了解决这个问题,我们考虑情感因果关系,即用户表达了什么样的感受(即,情绪)以及用户为什么有这样的感觉(即,cause).然后,我们提出了一种新颖的基于图的多跳推理模型来对同理心对话的情感因果关系进行建模。最后,我们证明了我们的模型的有效性EMPATHETICDIALOGUES相比,几个竞争对手的模型。
2021-10-09 cs.CL
Exploratory Study into Relations between Cognitive Distortions and Emotional Appraisals
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
针对认知扭曲与情绪评估长期被孤立研究的现状,本文通过探索性计算研究分析二者关联模式及认知重构的情绪调节作用,为相关跨学科研究提供参考。
2025-03-26 cs.CL
Emotional Dimension Control in Language Model-Based Text-to-Speech: Spanning a Broad Spectrum of Human Emotions
Tongyi Lab, Alibaba Group, Singapore(阿里云实验室,阿里巴巴集团,新加坡);University of Rochester, United States of America(罗切斯特大学,美国)
本文提出基于语言模型的TTS框架,通过PAD三维情感维度实现更广泛的情感表达,提升语音的自然度和多样性。
2026-01-19 cs.CL cs.SD eess.AS
PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models
Telecom SudParis, Institut Polytechnique de Paris(巴黎电信学院,巴黎综合理工学院);Aberystwyth University(阿伯里斯特威斯大学)
研究针对大语言模型在复杂情感推理中不如人类的问题,提出PTEI框架,通过提取人格特质并用于人格感知提示引导模型推理,结合对比学习优化检索系统,经实验验证其能增强模型情感理解能力,与CoT推理结合可进一步提升准确率。
2026-07-14 cs.CL cs.IR
Read it to me: An emotionally aware Speech Narration Application
在这项工作中,我们试图执行情感风格的音频转移。特别地,MelGAN-VC架构被探索用于各种情感对传输。然后使用基于LSTM的音频情感分类器对生成的音频进行分类。我们发现,“悲伤”的音频生成以及相比,“快乐”或“愤怒”,因为人们有类似的悲伤的表达。
2022-09-06 cs.CL cs.LG cs.SD
I Understand How You Feel: Enhancing Deeper Emotional Support Through Multilingual Emotional Validation in Dialogue System
Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
提出情感验证在对话系统中的应用,构建多语言语料库M-EDESConv和测试集M-TESC,设计多语言情感感知门控单元MEGUMI进行时机检测,并评估当前LLM在情感验证响应生成中的表现。
2026-06-11 cs.CL cs.SD
EMO-Reasoning: Benchmarking Emotional Reasoning Capabilities in Spoken Dialogue Systems
Zhejiang University(浙江大学);UC Berkeley(伯克利大学);National Taiwan University(台湾国立大学);University of Southern California(南加州大学)
针对口语对话系统缺乏情绪推理评估整体系统的问题,本文提出EMO-Reasoning基准与跨轮次情绪推理评分,通过文本转语音生成数据集并评估七个系统,有效检测情绪不一致,推动情绪感知对话建模发展。
2025-08-26 cs.CL eess.AS
Fine-Grained Emotional Paraphrasing along Emotion Gradients
Westview High School(西景高中)
释义生成,又称。释义是自然语言处理中的一项重要任务。情感释义,即在保持文本意义的同时改变文本中所体现的情感,具有许多潜在的应用,例如,主持在线对话和防止网络欺凌。我们引入了一个新的任务,细粒度的情感释义沿情感梯度,即改变情感强度的释义在细粒度以下的情感维度的平滑变化,同时保持原来的意义。我们提出了一个框架,通过多任务训练微调文本到文本的Transformers来解决这个任务。我们增强了几个广泛使用的释义语料库,通过注释的输入和目标文本与他们的细粒度的情感标签。有了这些标签,在这些语料库上微调文本到文本的Transformers需要多任务训练。在单独的测试集上对微调的Transformers的评估表明,在释义任务中包括细粒度的情感标签显著提高了获得所需情感的高质量释义的机会,即,超过一倍的数量的精确匹配所需的情绪,同时实现了一贯更好的分数在释义指标,如蓝色,ROGUE,和METEOR。
2022-10-30 cs.CL cs.LG
Emotion Intensity and its Control for Emotional Voice Conversion
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Southern Queensland(南昆士兰大学);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学);University of Bremen(不来梅大学)
情感语音转换(EVC)旨在转换话语的情感状态,同时保留语言内容和说话人身份。在EVC中,情感通常被视为离散的类别,忽略了语音也传达了听者可以感知的各种强度水平的情感。在本文中,我们的目标是明确的特征和控制的强度的情绪。我们建议将说话者风格从语言内容中分离出来,并将说话者风格编码成一个风格嵌入在一个连续的空间中,形成情感嵌入的原型。我们进一步学习实际的情感编码器从情感标记的数据库,并研究使用相对属性来表示细粒度的情感强度。为了确保情感的可理解性,我们将情感分类损失和情感嵌入相似性损失纳入EVC网络的训练中。根据需要,所提出的网络控制输出语音中的细粒度情感强度。通过客观和主观的评价,我们验证了所提出的网络的情感表达和情感强度控制的有效性。
2022-07-18 cs.CL cs.LG cs.SD
EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
近年来,神经语音合成受到越来越多的关注。深度神经网络在文本语音转换(TTS)任务中取得了很好的效果,但由于缺乏高质量的情感语音数据集和高级情感TTS模型,如何生成更有情感、更有表现力的语音成为研究者面临的新挑战。在本文中,我们首先简要介绍并公开发布了一个普通话情感语音数据集,包括9,724个带有音频文件的样本及其情感人工标注。在此基础上,我们提出了一个简单而有效的架构,情感语音合成称为EM语音。与那些需要额外参考音频作为输入的模型不同,我们的模型可以仅从输入文本中预测情感标签,并以情感嵌入为条件生成更具表达力的语音。在实验阶段,我们首先通过一个情感分类任务来验证我们的数据集的有效性。然后,我们在建议的数据集上训练我们的模型,并进行一系列主观评估。最后,通过在情感语音合成任务中显示出相当的性能,我们成功地证明了所提出的模型的能力。
2021-06-17 cs.CL cs.SD eess.AS
A Methodology for Controlling the Emotional Expressiveness in Synthetic Speech -- a Deep Learning approach
Numediart Institute University of Mons(蒙斯大学Numediart研究所)
在这个项目中,我们的目标是建立一个文本到语音系统能够产生语音与可控的情感表达。我们提出了一种方法来解决这个问题的三个主要步骤。一是情感语音数据的采集。我们讨论了现有数据集的各种格式及其在语音生成中的可用性。第二步是开发一个系统,自动注释数据的情感/表现力的功能。我们比较了几种使用迁移学习的技术,通过其他任务提取这样的表示,并提出了一种方法来可视化和解释声乐和情感特征之间的相关性。第三步是开发一个基于深度学习的系统,以文本和情感/表现力为输入,并产生语音作为输出。我们研究的影响微调从一个中性的TTS对情绪的TTS的可理解性和感知的情绪。
2019-07-05 cs.CL cs.LG cs.SD
Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning
Department of Electrical Engineering, Columbia University(电气工程系,哥伦比亚大学)
提出Sympatheia语音对话框架,通过从用户语音推断情感并结合连续效价-唤醒度控制信号,实现情感自适应响应,优于基线模型。
2026-05-30 cs.CL cs.HC cs.LG
EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation
Electronic Engineering,\ Hong Kong Polytechnic University, Hong Kong SAR, China
研究对话中的多模态情感识别问题,提出情感惯性引导监督对比学习模块EII-SCL,通过构建受惯性影响样本为对比目标提供信息,利用情感惯性先验,无需额外数据,与现有模型无缝集成,实验证明该方法优于现有方法。
2026-07-21 cs.CL cs.HC cs.MM