Time out of Mind: Generating Rate of Speech conditioned on emotion and speaker
语音合成在过去十年中取得了显着的进步,从而产生了高度可理解的语音。进一步的研究已经产生了可以产生可变语音的模型,包括有条件的情感表达。问题在于,然而,在一个短语级的修改和韵律声乐功能的重点。使用CREMA-D数据集,我们训练了一个以情感为条件的GAN,为给定的输入文本生成价值长度。这些字长是相对于中性语音的,并且可以通过语音合成置标语言(SSML)提供给文本到语音(TTS)系统以生成更有表达力的语音。此外,还使用隐式最大似然估计(IMLE)训练生成模型,并包括与GANs的比较分析。与开箱即用的模型相比,我们能够在中性语音的客观测量方面实现更好的性能,并在快乐语音方面实现更好的时间对齐。然而,主观评价还需要进一步的研究。
2023-01-31 cs.CL cs.SD eess.AS
SCoPE: Shift-Aware Speaker-Conditioned Priors for Emotion Recognition in Conversations
University of Hamburg(汉堡大学)
针对对话情感识别中现有方法的局限,提出SCoPE模块,利用说话者情感历史建模先验,纳入情感转移预测并采用转移感知融合机制,在多模态IEMOCAP数据集上取得优于现有模型的性能。
2026-07-24 cs.CL cs.SD eess.AS
Automatically Classifying Emotions based on Text: A Comparative Exploration of Different Datasets
Florida Gulf Coast University(佛罗里达海湾海岸大学)
基于文本的情感分类是近年来受到越来越多关注的一项具有广泛应用前景的任务。本文提出了一个初步的研究,其目标是帮助研究人员和从业人员了解相对较新的数据集以及一般的情绪分类。我们专注于最近在相关文献中提出的三个数据集,并探索传统和最先进的深度学习模型在数据中存在不同特征时的性能。我们还探讨了使用数据增强,以提高性能。我们的实验工作表明,国家的最先进的模型,如RoberTa执行所有情况下最好的。我们还提供了观察和讨论,突出了这些数据集中情感分类的复杂性,并测试了模型对我们收集和标记的实际社交媒体帖子的适用性。
2023-02-28 cs.CL
Automatic Extraction of Relationships among Motivations, Emotions and Actions from Natural Language Texts
CogBeauty Lab(认知美容实验室)
本文提出基于图和 LLM 的无标注框架,从食品评论文本中构建动机、情绪与行动关系图,并评估生成质量与错误类型。
2024-08-02 cs.CL
Automatic Emotion Experiencer Recognition
University of Stuttgart(斯图加特大学)
本文针对情绪体验者(emoter)的自动识别任务,提供了基线实验,并评估了其对下游情绪分类和评估检测的影响,结果表明该任务具有挑战性,推动了未来的联合建模研究。
2023-07-27 cs.CL
Automatic Emotion Modelling in Written Stories
University of Augsburg(奥格斯堡大学);Huawei Technologies(华为技术有限公司);Imperial College London(伦敦帝国学院)
针对书面故事缺少情感标注基准的问题,本文构建连续效价与唤醒度标注,并提出基于 ELECTRA 及上下文、LSTM/Transformer 层的预测方法,取得最佳 CCC 分别为 .7338 和 .6302。
2022-12-21 cs.CL
Evaluating Emotion Arcs Across Languages: Bridging the Global Divide in Sentiment Analysis
University of Alberta(阿尔伯塔大学);National Research Council Canada(加拿大国家研究委员会);LMU Munich(慕尼黑大学)
本研究首次系统性定量评估自动生成的情感弧,对比机器学习与纯词典方法,通过多语言多数据集实验证明纯词典方法聚合多实例可生成准确情感弧,且英语词典自动翻译能为资源匮乏语言生成高质量情感弧,助力全球多语言情感研究。
2023-11-04 cs.CL
Emotion-aware Chat Machine: Automatic Emotional Response Generation for Human-like Emotional Interaction
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学);Northeastern University(东北大学);Singapore Management University(新加坡管理大学)
对给定帖子的响应在语义级和情感级的一致性对于对话系统提供类人交互是必不可少的。然而,这一挑战在文献中没有得到很好的解决,因为大多数方法在生成响应时忽略了帖子所传达的情感信息。本文通过提出一种统一的端到端神经架构来解决这个问题,该架构能够同时编码帖子中的语义和情感,以生成具有适当表达的情感的更智能的响应。在真实数据上的大量实验表明,该方法在内容一致性和情感适当性方面都优于现有的方法。
2021-06-06 cs.AI cs.CL
Generation of lyrics lines conditioned on music audio clips
University of Waterloo(滑铁卢大学)
我们提出了一个系统,用于生成新的歌词线的音乐音频的条件。双峰神经网络模型学习生成以任何给定的短音频片段为条件的线。该模型由频谱变分自编码器和文本VAE组成。自动和人工评估都证明了我们的模型在生成与给定音频片段匹配的情感影响线方面的有效性。该系统旨在作为歌曲作者的创作工具。
2020-09-30 cs.CL
An Analysis of Emotion Communication Channels in Fan Fiction: Towards Emotional Storytelling
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);University of Stuttgart(斯图加特大学)
人类讲述的故事以情感为中心,这一点得到了文学和心理学众多研究的支持。近年来,自动讲故事的研究转向了情感讲故事,其中人物的情感在情节发展中起着重要作用。然而,这些研究主要是利用情感来生成命题陈述,如“A对B有感情”或“A面对B”。与此同时,情感行为并不能归结为这样的命题描述,因为人类在沟通情感时表现出复杂且高度可变的模式,无论是口头还是非口头。在本文中,我们分析了情感是如何表达的非语言在一个语料库的风扇小说短篇小说。我们的分析表明,人类写的故事通过各种非语言渠道传达角色情感。我们发现,一些非语言渠道,如面部表情和声音特征的字符,更强烈地与喜悦,而手势和身体姿势更容易发生与信任。基于我们的分析,我们认为,自动讲故事系统应该考虑到情感的变化时,产生的字符的情感描述。
2019-06-06 cs.CL
"You are an expert annotator": Automatic Best-Worst-Scaling Annotations for Emotion Intensity Modeling
Merck Data & AI Organization, Merck Group(默克集团默克数据与人工智能部门);Institut für Maschinelle Sprachverarbeitung, University of Stuttgart(斯图加特大学机器语言处理研究所);Fundamentals of Natural Language Processing, University of Bamberg(班贝格大学自然语言处理基础研究所);Merck IT Centre, Merck Group(默克集团默克IT中心)
本研究自动化情感强度标注,比较三种方法发现最佳-最差标度可靠性最高,微调模型性能接近人工标注训练模型。
2026-09-17 cs.CL
Frustratingly Easy Sentiment Analysis of Text Streams: Generating High-Quality Emotion Arcs Using Emotion Lexicons
University of Alberta(阿尔伯塔大学);National Research Council Canada(加拿大国家研究委员会)
自动生成的情感弧线--捕捉个人或群体随着时间的推移的感受--广泛用于工业和研究。然而,有很少的工作,评估所产生的弧。这在一定程度上是由于建立真正的(黄金)情感弧的困难。我们的工作,第一次,系统和定量评估自动生成的情感弧。我们还比较了生成情感弧的两种常见方法:机器学习(ML)模型和仅词汇(LexO)方法。利用大量不同的数据集,我们系统地研究了情感词典的质量与可以由其生成的情感弧的质量之间的关系,我们还研究了实例级情感检测系统的质量与情感弧的质量之间的关系。(比如说从ML模型)和可以用它生成的情感弧的质量。我们表明,尽管在实例级别上明显较差,LexO方法通过聚合来自数百个实例的信息,在生成情感弧方面非常准确。这对商业开发以及心理学、公共卫生、数字人文等领域的研究具有广泛的影响,这些领域重视简单的可解释方法,而不需要特定领域的训练数据、编程专业知识和高碳足迹模型。
2022-10-13 cs.CL
K-ESConv: Knowledge Injection for Emotional Support Dialogue Systems via Prompt Learning
Huazhong University of Science and Technology(华中科技大学);Fudan University(复旦大学)
针对自动心理咨询需大量专业知识的需求,提出基于提示学习的知识注入方法K-ESConv,将论坛情感知识融入回复生成,在ESConv数据集上评估显示其效果优于基线,提升回复质量。
2023-12-16 cs.CL
Steering Follows Geometry, Not Labels: Emotion Directions in a Full-Duplex Speech Model
Independent Researcher(独立研究者)
本研究在开源全双工语音模型Moshi中,通过均值差异激活转向探索情感控制,发现情感可线性解码但转向效果不均,快乐、愤怒、惊讶共享方向,悲伤独特可转向。
2026-10-08 cs.CL cs.SD
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon(亚马逊公司)
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别(ASR)和情感分类任务上同时预训练SER模型,以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后,我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法,在那里我们实现了最好的一致性相关系数(CCC)为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Challenges in Translation of Emotions in Multilingual User-Generated Content: Twitter as a Case Study
Centre for Translation Studies(翻译研究中心);University of Surrey(萨里大学);RGCL(语言计算研究组);University of Wolverhampton(伍尔弗汉普顿大学)
虽然情感是普遍的概念,但将不同色调的情感从一种语言转换到另一种语言对人类翻译人员来说可能并不总是那么简单,更不用说机器翻译系统了。此外,认知状态是通过对经验的言语解释来建立的,而言语解释又受到言语语境和文化语境的双重影响。在许多语言语境中,情感的表达构成了信息的关键组成部分。对于用户生成内容(UGC)来说尤其如此,它可以是对产品或服务的评论,推文或社交媒体帖子的形式。最近,Twitter等多语言网站提供UGC的自动翻译以接触其语言多样的用户已成为普遍做法。在这种情况下,翻译用户的情感的过程是完全自动的,没有人为干预,既不用于后期编辑也不用于准确性检查。在这项研究中,我们评估自动翻译工具是否可以在用户生成的多语言数据(如推文)中成功地传递情感。我们发现,有特定的Twitter数据的语言现象,在不同语言的情感翻译构成了挑战。我们总结了这些挑战的语言特征列表,并显示这些功能在不同的语言对是多么频繁。我们还评估了常用方法的能力,用于评估MT系统在保留源文本中的情感方面的性能。
2021-06-20 cs.CL
Automatic Scoring of Dream Reports' Emotional Content with Large Language Models
University of Sussex(萨塞克斯大学);IMT School for Advanced Studies(IMT高等研究院)
在梦的研究领域,对梦的内容的研究通常依赖于对做梦者从睡眠中醒来时提供的口头报告的分析。这个任务通常是由经过训练的注释者通过手动评分来完成的,这需要花费大量的时间。虽然一致的工作表明,自然语言处理(NLP)工具可以支持梦报告的自动分析,但提出的方法缺乏对报告的完整上下文进行推理的能力,并且需要大量的数据预处理。此外,在大多数情况下,这些方法没有经过标准手动评分方法的验证。在这项工作中,我们通过采用大语言模型(LLM)来研究和复制梦报告的手动注释来解决这些限制,使用现成和定制方法的混合物,重点关注报告的情感参考。我们的研究结果表明,现成的方法实现了低性能可能是鉴于内在的语言差异,在不同的(组)个人收集的报告。另一方面,所提出的定制文本分类方法实现了高性能,这是对潜在的偏见的鲁棒性。总的来说,这些观察结果表明,我们的方法可以在大型梦境数据集的分析中找到应用,并且可能有利于研究结果的可重复性和可比性。
2023-02-28 cs.CL
Automatic Classifiers Underdetect Emotions Expressed by Men
University of Technology Sydney(技术大学悉尼大学);University of Konstanz(康斯坦茨大学);Medical University of Vienna(维也纳医学院);University of Ulm(乌尔姆大学);Complexity Science Hub(复杂科学中心)
本文发现自动分类器对男性表达的情绪检测存在系统性偏差,需谨慎使用以确保公平性。
2026-01-08 cs.CL cs.CY
Research on emotionally intelligent dialogue generation based on automatic dialogue system
University of the People(人民大学);Sehan University(世翰大学);Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);Universidad Internacional Isabel I de Castilla(卡斯蒂利亚伊莎贝尔一世国际大学);AMA University(AMA大学)
本研究将情感智能技术融入自动对话系统,利用深度学习与自然语言处理创建能实时检测情绪和疼痛信号并提供共情交互的对话生成模型,提升了系统的用户体验和交互质量。
2024-04-17 cs.AI cs.CL
Challenges in Providing Automatic Affective Feedback in Instant Messaging Applications
Academia Sinica(中央研究院);Carnegie Mellon University(卡内基梅隆大学)
即时消息是计算机媒介通信的主要渠道之一。然而,人类通过基于文本的通信来理解他人的情感是非常有限的。为了将情感感知技术引入即时通讯,我们开发了一个系统,它可以自动检测最终用户在Facebook Messenger上收到的消息的情感,并相应地在他们的智能手机上提供彩色提示。我们在两周的时间跨度内对20名参与者进行了部署研究。在本文中,我们揭示了五个挑战,以及我们在基于用户反馈和聊天记录的研究中观察到的例子,包括(i)情绪的连续性,(ii)多用户对话,(iii)不同用户之间的不同动态,(iv)情绪的错误分类和(v)非常规内容。我们相信,这一讨论将有利于情感计算的即时通信的未来探索,也为会话情感感知的研究提供了启示。
2017-02-09 cs.CL cs.HC
Automatic Fake News Detection: Are current models "fact-checking" or "gut-checking"?
Harvard University(哈佛大学)
自动假新闻检测模型表面上是基于逻辑的,其中标题中的声明的真实性可以通过支持或反驳在结果Web查询中发现的证据来确定。这些模型被认为在某种程度上是推理的;然而,已经表明,这些相同的结果,或者更好的结果,可以在根本不考虑索赔的情况下实现-只有证据。这意味着其他信号包含在所检查的证据中,并且可能基于可操纵的因素,例如情绪,情感或词性(POS)频率,这些因素容易受到对抗性输入的影响。我们通过多种形式的神经和非神经预处理和风格转移来中和其中的一些信号,并发现这种无关指标的扁平化可以诱导模型实际上需要声明和证据来表现良好。最后,我们构建了一个模型,使用情感向量建立了一个词汇,并通过“情感注意”机制,适当地加权某些情绪。我们提供了可量化的结果,证明我们的假设,可操作的功能正在被用于事实核查。
2022-04-14 cs.CL
Appraisal Theories for Emotion Classification in Text
Institut für Maschinelle Sprachverarbeitung, University of Stuttgart(斯图加特大学机器语言处理研究所);Leibniz-Institut für Wissensmedien(莱布尼茨知识媒体研究所);University of Tübingen(蒂宾根大学)
自动情感分类主要被公式化为文本分类,其中文本单元被分配给来自预定义库存的情感,例如遵循Paul Ekman提出的基本情感类别(恐惧,喜悦,愤怒,厌恶,悲伤,惊讶)或Robert Plutchik(添加信任,预期)。这种方法在某种程度上忽略了现有的心理学理论,这些理论提供了关于事件感知的解释。例如,某人发现一条蛇的描述与恐惧有关,基于对不愉快和不可控制的情况的评估。这种情绪重建甚至在没有获得主观感受的明确报告的情况下也是可能的(例如,用“我害怕”来表达这一点。").因此,自动分类方法需要学习事件的属性作为潜在变量(例如,与蛇相遇相关的不确定性和精神或身体努力导致恐惧)。在本文中,我们建议这样的解释事件明确,以下理论的认知评价的事件,并显示其潜在的情感分类时,被编码的分类模型。我们的研究结果表明,高质量的评价维度分配的事件描述导致离散的情感类别的分类的改善。我们公开了我们的评价注释情感相关事件描述语料库。
2020-11-03 cs.CL
Ethics Sheet for Automatic Emotion Recognition and Sentiment Analysis
National Research Council Canada(加拿大国家研究委员会)
情感在我们生活中的重要性和普遍性使得情感计算成为一项非常重要和充满活力的工作。用于自动情感识别(AER)和情感分析的系统可以是巨大进步的促进者(例如,在改善公共卫生和商业方面),而且也是造成巨大危害的因素(例如,镇压持不同政见者和操纵选民)。因此,情感计算社区必须积极参与其创作的伦理后果。在本文中,我综合并组织了人工智能伦理和情感识别文献中的信息,提出了与AER相关的五十个伦理考虑因素。值得注意的是,该表充实了隐藏在AER通常如何构建以及通常对数据,方法和评估所做的选择中的假设。特别注意AER对隐私和社会群体的影响。在此过程中,为负责任的AER提出了关键建议。该表的目的是促进和鼓励更多的思考为什么要自动化,如何自动化,以及如何在构建AER系统之前判断成功。此外,该表作为一个有用的介绍性文件的情绪识别(补充调查文章)。
2022-03-20 cs.AI cs.CL
ELSA: A Style Aligned Dataset for Emotionally Intelligent Language Generation
Joyspace AI
本文提出ELSA数据集,通过细粒度情感分类与多种语境风格重写原始句子,并利用大语言模型生成情感细微变化文本,以支持情感条件风格自适应文本生成研究。
2025-04-11 cs.AI cs.CL cs.LG
EmoDistill: Offline Emotion Skill Distillation for Language Model Agents in Adversarial Negotiation
University of Cambridge(剑桥大学);Technical University of Munich(慕尼黑技术大学);Exiger LLC;The Alan Turing Institute(艾伦·图灵研究所)
提出EmoDistill离线框架,通过隐式Q学习选择情感和低秩适应策略表达情感,蒸馏情感谈判技能到语言模型代理,在四个高风险谈判领域取得最高效用。
2026-09-04 cs.AI cs.CL
Controlling Emotion in Text-to-Speech with Natural Language Prompts
University of Stuttgart(斯图加特大学)
本文提出一种基于自然语言情感提示的 TTS 条件化系统,通过在 transformer 架构中融合说话人与提示嵌入并动态更换训练提示,实现准确情感迁移且保持音色、音质与可懂度。
2024-06-11 cs.CL cs.SD eess.AS
Multi-Task Learning of Generation and Classification for Emotion-Aware Dialogue Response Generation
Waseda University(早稻田大学)
要让计算机自然地与人类互动,它需要像人类一样。在本文中,我们提出了一个神经反应生成模型与多任务学习的生成和分类,专注于情感。我们的模型基于BART(Lewis等人,2020),一种预先训练的Transformer编码器-解码器模型,被训练以同时生成响应和识别情绪。此外,我们加权的任务的损失,以控制参数的更新。自动评估和众包手动评估表明,所提出的模型使生成的反应更情绪化。
2021-05-25 cs.CL
Climate and Weather: Inspecting Depression Detection via Emotion Recognition
Shanghai Jiao Tong University(上海交通大学)
自动抑郁检测已经吸引了越来越多的关注,但仍然是一个具有挑战性的任务。心理学研究表明,抑郁情绪与情绪的表达和感知密切相关,这激发了人们对情绪识别知识是否可以转移到抑郁检测中的研究。本文将情感识别模型中提取的预训练特征用于抑郁检测,并进一步将情感模态与音频、文本融合,形成多模态抑郁检测。所提出的情感转移提高了DAIC-WOZ的抑郁检测性能,并增加了训练稳定性。分析抑郁个体表达的情绪如何被进一步感知,为进一步理解抑郁与情绪的关系提供了线索。
2022-05-05 cs.CL
From Rational Answers to Emotional Resonance: The Role of Controllable Emotion Generation in Language Models
State Key Laboratory on Technologies for Chinese Medicine Pharmaceutical Process Control and Intelligent Manufacture(中药制药过程控制与智能制造技术国家重点实验室);Zhejiang Lab(浙江实验室)
针对大语言模型情感表达不一致的问题,提出基于情感向量的可控情感生成框架,通过注入隐藏状态实现无需训练的细粒度情感调制,在保持语义的同时增强情感表达,优于现有基线。
2025-10-14 cs.CL
Emotion Detection From Tweets Using a BERT and SVM Ensemble Model
The Military Technical Academy “Ferdinand I” of Bucharest(布加勒斯特“斐迪南一世”军事技术学院)
自动识别Twitter数据中表达的情绪具有广泛的应用。我们通过向由四种情绪组成的基准数据集添加一个中性类来创建一个平衡良好的数据集:恐惧,悲伤,喜悦和愤怒。在这个扩展的数据集上,我们研究了使用支持向量机(SVM)和双向编码器表示从Transformers(BERT)的情感识别。我们提出了一种新的集成模型相结合的BERT和SVM模型。实验结果表明,该模型对推文中的情感识别达到了0.91的最高准确率。
2022-08-09 cs.CL
Natural Language Processing for Cognitive Analysis of Emotions
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Institut Universitaire de France(法国大学研究院);CentraleSupélec(中央理工-高等电力学院)
文本中的情感分析有两个主要的局限性:带注释的黄金标准语料库大多是小而同质的,情感识别往往被简化为一个层次的分类问题。为了解决这些问题,我们引入了一个新的注释方案来探索情感及其原因,以及一个新的法国数据集,由情感场景的自传体描述组成。本文采用A.芬克尔帮助人们改善他们的情绪管理。该方法需要由接受过认知分析培训的教练手动分析情绪事件。我们提出了一个基于规则的方法来自动注释情绪和它们的语义角色(例如情绪原因),以方便教练识别相关方面。我们研究未来的方向,情感分析使用图结构。
2022-10-11 cs.CL
Evaluating Subjective Cognitive Appraisals of Emotions from Large Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究构建了CovidET-Appraisals数据集,评估大型语言模型自动预测和解释认知评价的能力,发现开源模型在此任务上表现不佳,为情感智能模型的发展提出新挑战。
2023-10-22 cs.CL
MIME: MIMicking Emotions for Empathetic Response Generation
University of Michigan(密歇根大学);Singapore University of Technology and Design(新加坡科技设计大学);CIC, Instituto Politécnico Nacional(墨西哥国立理工学院计算研究中心)
目前的移情反应生成方法将输入文本中表达的情感集合视为一个平面结构,其中所有情感都被统一处理。我们认为,移情反应往往模仿用户的情绪在不同程度上,这取决于其积极性或消极性和内容。我们表明,这种基于极性的情感集群和情感模仿的结果,在改进的同理心和上下文相关性的反应相比,国家的最先进的。此外,我们引入随机性的情绪混合物,产生情感上更多样化的移情反应比以前的工作。我们使用自动和基于人为的评估来证明这些因素对同理心反应生成的重要性。MIME的实现可以在https://github.com/declare-lab/MIME上公开获得。
2020-10-04 cs.CL
E-CORE: Emotion Correlation Enhanced Empathetic Dialogue Generation
University of Science and Technology of China(中国科学技术大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出情感相关性增强的同理心对话生成框架E-CORE,通过多分辨率情感图建模情感相关性,并设计相关性感知聚合与软/硬策略的解码器,有效提升了情感感知准确性与回复生成的质量。
2023-11-25 cs.AI cs.CL
COMMA: Modeling Relationship among Motivations, Emotions and Actions in Language-based Human Activities
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
动机、情感和行为是人类活动中相互关联的基本要素。虽然动机和情感一直被认为是探索人们如何在人类活动中采取行动的核心,但相对而言,很少有研究支持分析人类心理状态和行动之间的关系。我们提出的第一项研究,探讨建模的动机,情感和行动的可行性,在基于语言的人类活动,命名为COMMA(人类活动的认知框架)。在COMMA的指导下,我们定义了三个自然语言处理任务(情感理解、动机理解和条件动作生成),并通过从故事常识中自动抽取样本,构建了一个具有挑战性的数据集Hail。NLP应用程序上的实验结果证明了该关系建模的有效性。此外,我们的模型受COMA启发,可以更好地揭示动机,情绪和行动之间的本质关系比现有的方法。
2022-09-14 cs.AI cs.CL
Emotion-Aligned Generation in Diffusion Text to Speech Models via Preference-Guided Optimization
本文提出EASPO框架,通过偏好引导优化实现扩散文本到语音模型的情感对齐生成,提升语音的表达性和自然度。
2026-02-06 cs.AI cs.CL cs.SD
An Estimation of Online Video User Engagement from Features of Continuous Emotions
University of Augsburg(奥格斯堡大学);Imperial College(帝国理工学院)
众所周知,描绘情感和可信度可以增加视频内容的吸引力。然而,这些信号和在线用户参与之间的因果关系还没有得到很好的理解。这种有限的理解部分是由于情感注释数据的稀缺性以及表达用户在线参与的各种形式。在这篇文章中,我们利用了一个大型的YouTube评论视频数据集,其中包括ca。600个小时的维度唤醒,效价和可信度注释。我们研究了从这些信号中提取的特征,这些特征针对各种用户参与度指标,包括视图,喜欢/不喜欢比率以及评论的情绪。在此过程中,我们确定了单个功能的积极和消极影响,以及与用户参与度相关的每个维度中的可解释模式。我们的研究结果表明,较小的边界范围和波动的唤醒导致用户参与度的增加。此外,所提取的时间序列特征揭示了每个维度的显著(p<0.05)相关性,例如低于信号平均值的计数(唤醒)、峰值的数量(效价)和绝对能量(可信度)。由此,概述了旨在自动预测几个用户参与指标的方法的功能的有效组合。在用户参与度预测范例中,我们将所有功能与半自动(跨任务)和自动(特定于任务的)特征选择方法进行比较。这些选定的特征集似乎优于所有特征的使用,例如,使用所有特征实现每天1.55个喜欢(Lp/d)与效价的平均绝对误差;这通过半自动和自动选择分别提高到1.33和1.23 Lp/d(数据平均值为9.72 Lp/d,标准差为1.25)。28.75 Lp/d)。
2021-05-04 cs.CL cs.MM
Emotion is Not Just a Label: Latent Emotional Factors in LLM Processing
本文研究情绪作为潜在因素对LLM处理的影响,分析情绪如何改变transformer模型的注意力几何结构,并提出AURA-QA数据集和情绪正则化框架以提升阅读理解能力。
2026-03-16 cs.AI cs.CL cs.LG
Dimensional emotion recognition using visual and textual cues
Faculty of Engineering of University of Porto (FEUP)(波尔图大学工程学院);INESC TEC(波尔图工程学院科技与高等研究中心);Faculty of Science of University of Porto (FCUP)(波尔图大学理学院);UCP-ESB(葡萄牙天主教大学商业经济学院)
本文讨论了一分钟渐进情绪行为挑战(OMG-情绪挑战)范围内的自动情绪识别问题。该挑战的基本目标是在二维情感表示空间(即,唤醒和效价)。所采用的方法是一个加权集成的几个模型,从视频和文本模式。对于基于视频的识别,两种不同类型的视觉提示(即,面部和面部标志)被认为是馈送多输入深度神经网络。关于文本模态,实现了基于简单循环架构的顺序模型。此外,我们还介绍了一个模型的基础上的高层次的功能,以嵌入领域知识的学习过程。在OMG-Emotion验证集上的实验结果证明了所实现的集成模型的有效性,因为它明显优于当前的基线方法。
2018-05-03 cs.AI cs.CL cs.CV
EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
近年来,神经语音合成受到越来越多的关注。深度神经网络在文本语音转换(TTS)任务中取得了很好的效果,但由于缺乏高质量的情感语音数据集和高级情感TTS模型,如何生成更有情感、更有表现力的语音成为研究者面临的新挑战。在本文中,我们首先简要介绍并公开发布了一个普通话情感语音数据集,包括9,724个带有音频文件的样本及其情感人工标注。在此基础上,我们提出了一个简单而有效的架构,情感语音合成称为EM语音。与那些需要额外参考音频作为输入的模型不同,我们的模型可以仅从输入文本中预测情感标签,并以情感嵌入为条件生成更具表达力的语音。在实验阶段,我们首先通过一个情感分类任务来验证我们的数据集的有效性。然后,我们在建议的数据集上训练我们的模型,并进行一系列主观评估。最后,通过在情感语音合成任务中显示出相当的性能,我们成功地证明了所提出的模型的能力。
2021-06-17 cs.CL cs.SD eess.AS
Emotion and Sentiment Guided Paraphrasing
Westview High School(韦斯特维尤高中);Portland State University(波特兰州立大学)
本研究提出沿情感梯度的细粒度情感释义新任务,重构带细粒度情感标签的释义数据集,提出利用预训练语言模型的情感引导释义框架,显著提升高质量目标情绪释义的生成概率与相关指标得分。
2023-06-08 cs.CL cs.LG
ViNTER: Image Narrative Generation with Emotion-Arc-Aware Transformer
The University of Tokyo(东京大学);RIKEN(理化学研究所)
图像叙事生成是从图像出发,以主观视角创造故事的任务。鉴于作者、读者和人物的主观感受在讲故事中的重要性,图像叙事生成方法应该考虑人类情感。在这项研究中,我们提出了一种新的图像叙事生成方法称为ViNTER(视觉叙事Transformer与情感弧表示),它以“情感弧”作为输入,以捕捉一系列的情感变化。由于情感弧代表了情感变化的轨迹,因此我们可以将故事中情感变化的详细信息包含到模型中。我们提出了自动和手动评估的图像叙事数据集的实验结果,并证明了所提出的方法的有效性。
2022-04-07 cs.CL cs.CV
Large Language Models Understand and Can be Enhanced by Emotional Stimuli
Institute of Software, CAS(中国科学院软件研究所);Microsoft(微软);William&Mary(威廉与玛丽学院);Department of Psychology, Beijing Normal University(北京师范大学心理学系);HKUST(香港科技大学)
本文首次探索LLMs对情感刺激的理解能力,提出EmotionPrompt方法,在45个任务和人类研究中显著提升性能,为人类与LLMs互动开辟新途径。
2023-11-12 cs.AI cs.CL cs.HC
Modulating Language Models with Emotions
Dartmouth College(达特茅斯学院);ProtagoLabs;University of Texas at Austin(德克萨斯大学奥斯汀分校)
生成体现不同情感的上下文感知语言是构建移情NLP系统的重要一步。在本文中,我们提出了调制层归一化化的配方-一种受计算机视觉启发的技术-使我们能够使用大规模的语言模型的情感反应生成。在MojiTalk数据集上的自动和人工评估中,我们提出的调制层归一化方法在保持多样性,流畅性和一致性的同时优于先前的基线方法。即使只使用10%的可用训练数据,我们的方法也获得了有竞争力的性能。
2021-08-17 cs.CL cs.LG
Controllable Affective Generation via Latent Vector Steering
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Tencent Jarvis Lab(腾讯Jarvis实验室)
针对大语言模型对齐后情感响应平淡的问题,提出轻量框架EmoVec,通过调控潜在向量实现可控情感生成,实验验证其能提升情感显著性且保留语义等特性。
2026-08-27 cs.AI cs.CL
MPCG: Multi-Round Persona-Conditioned Generation for Modeling the Evolution of Misinformation with LLMs
National University of Singapore(新加坡国立大学)
本文提出MPCG多轮角色条件生成框架,利用未审查大语言模型模拟虚假信息在不同意识形态角色间的迭代演化,并通过多维评估验证其语义漂移、角色一致性和对现有检测器的显著性能冲击。
2025-09-20 cs.CL cs.SI
Distribution-based Emotion Recognition in Conversation
University of Cambridge(剑桥大学)
本文提出基于分布的对话情感识别框架,将ERC建模为序列到序列的情感分布估计问题,并引入贝叶斯训练损失改进不确定性估计,在IEMOCAP上取得更好的分类准确率与不确定性估计。
2022-11-09 cs.CL cs.SD eess.AS
A conversational gesture synthesis system based on emotions and semantics
Department of Information Technology, VNUHCM -- University of Science(越南科学大学信息科技系)
本文提出DeepGesture,一种基于扩散的 gesture 合成系统,通过多模态信号生成具有情感和语义条件的手势,提升数字人类的自然表达能力。
2026-01-29 cs.CL cs.HC cs.LG
A Methodology for Controlling the Emotional Expressiveness in Synthetic Speech -- a Deep Learning approach
Numediart Institute University of Mons(蒙斯大学Numediart研究所)
在这个项目中,我们的目标是建立一个文本到语音系统能够产生语音与可控的情感表达。我们提出了一种方法来解决这个问题的三个主要步骤。一是情感语音数据的采集。我们讨论了现有数据集的各种格式及其在语音生成中的可用性。第二步是开发一个系统,自动注释数据的情感/表现力的功能。我们比较了几种使用迁移学习的技术,通过其他任务提取这样的表示,并提出了一种方法来可视化和解释声乐和情感特征之间的相关性。第三步是开发一个基于深度学习的系统,以文本和情感/表现力为输入,并产生语音作为输出。我们研究的影响微调从一个中性的TTS对情绪的TTS的可理解性和感知的情绪。
2019-07-05 cs.CL cs.LG cs.SD