GMP-TL: Gender-augmented Multi-scale Pseudo-label Enhanced Transfer Learning for Speech Emotion Recognition
Kyushu University（九州大学）；University of Alberta（阿尔伯塔大学）；Ximalaya Inc.（喜马拉雅公司）
本文提出GMP-TL框架，通过性别增强多尺度伪标签迁移学习结合预训练HuBERT与两阶段微调，在IEMOCAP数据集上WAR达80.0%、UAR达82.0%，超越单模态并媲美多模态SER方法。
2024-09-23 cs.AI cs.SD eess.AS
Switchboard-Affect: Emotion Perception Labels from Conversational Speech
Apple（苹果公司）
本研究提出Switchboard-Affect数据集，通过众包标注自然对话语音的情感类别与维度，评估SER模型发现愤怒泛化差，并公开标签以促进研究。
2025-10-14 cs.LG cs.SD eess.AS
Fractal Dimension Pattern Based Multiresolution Analysis for Rough Estimator of Person-Dependent Audio Emotion Recognition
Qingdao University（青岛大学）；Macau University of Science and Technology（澳门科技大学）
音频分析与识别作为一种通用的表达方式，在现实生活中有着广泛的应用，因此受到了人们的广泛关注。音频情感识别（AER）试图通过给定的语音信号来理解人的情感状态，并在友好的人机界面上得到了广泛的研究。区别于其他已有的工作，音频情感的人依赖模式进行，并计算分形维数特征的声学特征提取。此外，它能够有效地学习听觉情感的内在特征，而话语特征是从每个子带的分形维数学习。实验结果表明，该方法能够提供音频情感识别的比较性能。
2016-12-02 cs.AI cs.LG cs.SD
Effective Cross-Utterance Language Modeling for Conversational Speech Recognition
National Taiwan Normal University（国立台湾师范大学）；Chunghwa Telecom Laboratories（中华电信研究所）
会话言语通常在话语层面上体现为松散的句法结构，但同时在连续的话语之间表现出主题连贯关系。先前的工作已经表明，用循环神经网络或长短期记忆语言模型（LM）捕获较长的上下文信息可能在排除长范围上下文的同时遭受最近偏差。为了捕捉词与词之间以及话语之间的长期语义交互，提出了会话语音自动语音识别（ASR）中不同会话历史融合的语言建模方法。此外，一种新的音频融合机制，管理融合和利用当前话语的声学嵌入和其相应的会话历史的语义内容，在合作的方式。为了充实我们的想法，我们将ASR N-best假设重新评分任务框架为预测问题，利用BERT（一种标志性的预训练LM）作为成分工具，以便于从给定的N-best假设列表中选择Oracle假设。在AMI基准数据集上进行的实证实验似乎证明了我们的方法相对于当前一些顶级方法的可行性和有效性。所提出的方法不仅实现了显着的推理时间减少，但也提高了会话语音的ASR性能。
2022-06-01 cs.CL cs.SD eess.AS
FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）
会话文语转换（TTS）的目的是在会话语境中合成具有正确的语言和情感韵律的话语。利用当前话语和对话历史在话语级的相关性来提高合成语音的表达能力。然而，在词汇层面上的对话历史中的细粒度信息也对话语的韵律表达有重要影响，这在先前的工作中没有得到很好的研究。因此，我们提出了一种新的表达会话TTS模型，称为FCTalker，学习细粒度和粗粒度的上下文依赖在语音生成的同时。具体而言，FCTalker包括细粒度和粗粒度编码器，以利用单词和话语级上下文依赖性。为了对话语及其对话历史之间的单词级依赖关系进行建模，细粒度对话编码器构建在对话BERT模型之上。实验结果表明，所提出的方法优于所有基线，并产生更多的表达语音，是上下文适当的。我们在https://github.com/walker-hyf/FCTalker上发布源代码。
2022-10-27 cs.CL cs.SD eess.AS
Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University（佛罗里达国际大学）
针对2024年SLT-GenSEC挑战赛，提出基于上下文对话分割与提示优化的LLM语音情感识别方法，最佳提交未加权准确率超基线20%，获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University（高丽大学）
提出 JELLY 框架，通过多个部分 LoRA 微调 LLM，并结合情感感知 Q-former 编码器实现情感识别与上下文推理，以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
Improving Transformer-based Conversational ASR by Inter-Sentential Attention Mechanism
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
基于转换器的模型已经证明了它们在自动语音识别（ASR）任务中的有效性，甚至表现出优于传统混合框架的性能。Transformers的主要思想是通过自我注意层来捕获话语中的长距离全局上下文。然而，对于像会话语音这样的场景，这种话语级建模将忽略跨话语的上下文依赖性。在本文中，我们提出了显式建模的Transformer为基础的端到端的会话语音识别架构的内部信息。具体而言，对于编码器网络，我们捕获的上下文先前的语音，并将这些历史信息纳入当前输入的上下文感知的残余注意力机制。对于解码器，当前话语的预测也通过条件解码器框架以历史语言信息为条件。我们展示了我们所提出的方法在几个开源对话语料库上的有效性，并且所提出的方法一致地提高了基于话语级transformer的ASR模型的性能。
2022-07-02 cs.CL cs.SD eess.AS
Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling
Inner Mongolian University（内蒙古大学）；ByteDance（字节跳动）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对对话语音合成中情感表现力不足、数据稀缺的问题，提出含异构图上下文建模和对比学习渲染器的ECSS模型，在标注的DailyTalk数据集上表现优于基线。
2023-12-19 cs.CL cs.SD eess.AS
Multi-Task Learning with Auxiliary Speaker Identification for Conversational Emotion Recognition
Wuhan University（武汉大学）；Tianjin University（天津大学）
会话情感识别在自然语言处理领域引起了越来越多的关注。与普通的情感识别不同，有效的说话人敏感话语表示是CER的一个主要挑战。在本文中，我们利用说话人辨识（SI）作为一个辅助任务，以提高在会话中的话语表示。通过这种方法，我们可以从额外的SI语料库中学习更好的说话人感知的上下文表示。两个基准数据集上的实验表明，该架构是非常有效的CER，获得新的国家的最先进的结果在两个数据集上。
2020-03-05 cs.CL cs.SD eess.AS
EmoCaps: Emotion Capsule based Model for Conversational Emotion Recognition
Central South University（中南大学）；Hunan University（湖南大学）
会话中的情感识别（ERC）旨在分析会话中说话者的状态，识别他们的情感。近年来的ERC研究主要关注语境建模，而忽视了语境情感倾向的表征。为了有效地提取多模态信息和话语的情感倾向，本文提出了一种新的情感胶囊结构-此外，我们设计了一个端到端的ERC模型，称为ERC Caps，它提取的情感向量，通过一个上下文分析模型，从上下文结构和获得的情感分类结果。通过两个基准数据集的实验，我们的模型表现出更好的性能比现有的国家的最先进的模型。
2022-03-25 cs.CL cs.SD eess.AS
Emotion-Anchored Contrastive Learning Framework for Emotion Recognition in Conversation
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文提出情感锚定对比学习框架EACL，利用标签编码作为锚点并设计辅助损失与适配过程，有效区分相似情感，在对话情感识别中取得最先进性能。
2024-03-29 cs.CL cs.SD eess.AS
Large-Context Conversational Representation Learning: Self-Supervised Learning for Conversational Documents
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话公司媒体情报研究所）
本文提出了一种新的自监督学习方法，用于处理由人与人之间对话的转录文本组成的会话文档。理解会话文档的关键技术之一是话语级顺序标注，其中标签以逐个话语的方式从文档中估计。话语级顺序标记的主要问题是难以收集标记的会话文档，因为手动注释非常昂贵。为了解决这个问题，我们提出了大上下文会话表示学习（LC-CRL），一种专门用于会话文档的自监督学习方法。LC-CRL中的自监督学习任务涉及基于大上下文语言建模使用所有周围话语来估计话语。通过这种方式，LC-CRL使我们能够有效地利用未标记的会话文档，从而增强了话语级顺序标记。使用呼叫中心会话数据集进行场景分割的实验结果表明了该方法的有效性。
2021-02-16 cs.CL cs.LG
LastResort at SemEval-2024 Task 3: Exploring Multimodal Emotion Cause Pair Extraction as Sequence Labelling Task
IIIT Hyderabad（印度信息技术研究所海得拉巴分校）
本文将多模态情绪原因对抽取建模为话语标注与序列标注任务，结合不同编码器、BiLSTM 上下文建模和 CRF 层，在 SemEval-2024 任务 3 官方排行榜上以 0.1759 的 F1 分数排名第 8。
2024-04-02 cs.CL cs.SD eess.AS
Neutral Utterances are Also Causes: Enhancing Conversational Causal Emotion Entailment with Social Commonsense Knowledge
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
会话因果情感蕴涵的目的是从会话中检测出非中性目标话语的因果话语。在这项工作中，我们建立对话图，以克服隐含的上下文建模的原始蕴涵风格。在前面工作的基础上，我们进一步将情感信息引入到图中。情感信息可以显著促进与目标话语情感相同的因果话语的检测。然而，仍然很难检测到不同情绪的因果话语，特别是中性的。原因是模型在推理因果线索和在话语之间传递它们方面受到限制。为了缓解这个问题，我们引入了社会常识知识（CSK）并提出了知识增强对话图（KEC）。KEC在两个话语之间传播CSK。由于并不是所有的CSK都是情感上适合的，因此我们提出了一种情感实现的知识选择策略来过滤CSK。为了处理KEC，我们进一步构建了知识增强有向无环图网络。实验结果表明，我们的方法优于基线，并推断出更多的原因与不同的情绪从目标话语。
2022-05-07 cs.CL
A Joint Model for Dropped Pronoun Recovery and Conversational Discourse Parsing in Chinese Conversational Speech
Beijing University of Posts and Telecommunications（北京邮电大学）；Renmin University of China（中国人民大学）；Brandeis University（布兰迪斯大学）
本文提出了一个用于汉语会话语音中的联合脱落代词恢复（DPR）和会话语篇分析（CDP）的神经模型。我们发现，DPR和CDP是密切相关的，一个联合模型有利于这两项任务。我们将我们的模型称为DiscProReco，它首先使用有向图卷积网络（GCN）对会话中每个话语中的标记进行编码。然后，话语的令牌状态被聚合以产生每个话语的单个状态。然后将话语状态馈送到双仿射分类器中以构建会话话语图。第二（多关系）GCN然后被应用于话语状态以产生话语的话语关系增强表示，其然后与每个话语中的标记状态融合在一起作为到丢弃的代词恢复层的输入。联合模型在一个新的结构解析增强的丢弃代词恢复（SPDPR）数据集上进行训练和评估，我们用两种类型的信息进行了注释。在SPDPR数据集和其他基准测试上的实验结果表明，DiscProReco的性能明显优于这两项任务的最新基线。
2021-06-07 cs.CL
Cross-utterance Reranking Models with BERT and Graph Convolutional Networks for Conversational Speech Recognition
National Taiwan Normal University（台湾师范大学）
如何有效地将跨话语信息引入神经语言模型（LM）已成为自动语音识别（ASR）的一个有趣的问题。现有的研究工作，提高语境化的LM通常把以前的话语作为一个序列的额外的输入，并可能无法捕捉这些话语之间的复杂的全球结构的依赖关系。有鉴于此，我们在本文中试图表示的历史语境信息的话语图结构的数据，以提取跨话语，全球词的相互作用关系。为此，我们将图卷积网络（GCN）应用于所得到的图，以获得相应的历史单词的GCN嵌入。GCN最近在社会网络分析、文本摘要等方面发现了它的多用途应用，这主要是由于它能够有效地捕获元素之间丰富的关系信息。然而，GCN在ASR的背景下，特别是在处理会话语音方面，仍然存在很大的不足。此外，我们框架ASR N-最好的重新排序作为一个预测问题，利用双向编码器表示从Transformers（BERT）作为车辆，不仅抓住本地固有的词规律性模式固有的候选假设，但也纳入跨话语，历史词的互动线索蒸馏GCN为促进性能。在AMI基准数据集上进行的大量实验似乎证实了我们的方法的实用性，与当前一些顶级方法有关。
2021-10-01 cs.CL eess.AS
End-to-End Conversational Search for Online Shopping with Utterance Transfer
Shanghai Jiao Tong University（上海交通大学）；Amazon.com, Inc.（亚马逊公司）
成功的会话搜索系统可以为在线购物客户提供自然、自适应和交互式的购物体验。然而，从头开始构建这样的系统面临着现实的挑战，从不完善的产品模式/知识和缺乏训练对话data.In这项工作中，我们首先提出了ConvSearch，一个端到端的会话搜索系统，深入结合了对话系统与搜索。它利用文本配置文件来检索产品，与单独使用产品属性相比，它对不完善的产品模式/知识更鲁棒。然后，我们提出了一种话语传输方法，通过使用现有的对话从其他领域，并利用电子商务零售商的搜索行为数据生成对话话语，以解决缺乏数据的挑战。通过话语转移，我们引入了一个新的在线购物会话搜索数据集。实验表明，我们的话语转移方法可以显着提高训练对话数据的可用性，而无需众包，会话搜索系统显着优于最佳测试基线。
2021-09-12 cs.AI cs.CL
Emotion-Aware Transformer Encoder for Empathetic Dialogue Generation
Delhi Technological University（德里理工大学）
现代会话代理被训练成模仿人类交流的方式。为了在情感上与用户建立联系，这些虚拟代理需要了解用户的情感状态。Transformers是序列到序列学习中的最新技术水平，其涉及使用来自话语-响应对的词嵌入来训练编码器-解码器模型。我们提出了一个情感感知的Transformer编码器，用于捕获用户话语中的情商，以产生类似人类的移情反应。本文的贡献如下：1）在输入话语上训练的情感检测器模块确定用户在初始阶段中的情感状态2）提出了一种新颖的Transformer编码器，其将词嵌入与情感嵌入相加并归一化，从而集成了输入话语的语义和情感方面3）编码器和解码器栈属于Transformer。XL体系结构，这是语言建模的最新技术水平。在基准Facebook AI移情对话数据集上的实验证实了我们模型的有效性，与现有方法相比，生成的响应获得了更高的BLEU-4分数。智能虚拟代理现在是一个现实，包括影响作为一种模态在所有人机界面预见在不久的将来。
2022-04-24 cs.CL cs.SD eess.AS
Enriching Speech Emotion Representations with Conversational Context
Université Paris-Saclay, CEA, List（巴黎萨克雷大学，法国原子能委员会，List）；LISN, CNRS, Université Paris-Saclay（LISN，法国国家科学研究中心，巴黎萨克雷大学）
本文提出ACERT模块，通过整合灵活长度的对话上下文窗口来捕捉语音交互中的情感演变，在IEMOCAP、SAFE和MELD数据集上超越现有方法，验证了情感与对话连续性的关键作用。
2026-09-23 cs.CL eess.AS
Conversational implicatures in English dialogue: Annotated dataset
International Institute of Information Technology（国际信息技术学院）；LTRC（语言技术研究中心）
人类的对话经常包含与所使用的句子含义完全不同的话语，并且被对话者清楚地理解。但是在人机交互中，机器无法理解隐含的含义，除非它用包含话语的隐含含义以及话语和它发出的上下文的数据集进行训练。在语言学中，会话含义是说话人话语中不属于明示内容的意义。在本文中，我们介绍了一个数据集的对话片段的三个组成部分，这是上下文，话语，和隐含的意义。这些隐含的意义就是会话含义。这些话语是通过从托福（英语作为外语的考试）等英语考试的听力理解部分转录，以及从IMSDb（互联网电影剧本数据库）上的电影剧本中抓取对话来收集的。话语被手动地用含义注释。
2019-11-25 cs.CL
Intra- and Inter-modal Context Interaction Modeling for Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）
针对对话语音合成中多模态历史与目标语句交互建模不足的问题，本文提出III-CSS系统，通过四种模态组合和对比学习模块显式建模模态内与模态间交互，在DailyTalk上取得了更优的韵律表现力。
2024-12-25 cs.CL cs.SD eess.AS
Hierarchical Transformer Network for Utterance-level Emotion Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
虽然文本情感识别已经取得了很大的进展，但在话语级情感识别（ULER）领域，仍然有许多问题需要解决。在本文中，我们解决了一些挑战，在ULER的对话系统。(1)同样的话语在不同的语境中或来自不同的说话者时，可以传递不同的情感。(2)长距离的上下文信息很难有效地捕捉。(3)与传统的文本分类问题不同，该任务由有限数量的数据集支持，其中大多数包含不充分的对话或语音。为了解决这些问题，我们提出了一个分层的Transformer框架（除了其他研究的描述，“Transformer”在本文中通常是指编码器部分的Transformer）与较低级别的Transformer模型的单词级输入和较高级别的Transformer捕获的话语级嵌入的上下文。我们使用一个预先训练好的语言模型Transformers的双向编码器表示（BERT）作为底层的Transformer，相当于在模型中引入了外部数据，在一定程度上解决了数据不足的问题。此外，我们首次在模型中加入了说话人嵌入，这使得我们的模型能够捕捉说话人之间的交互。在三个对话情感数据集Friends、QuestionPush和EmoryNLP上的实验表明，我们提出的分层Transformer网络模型在每个数据集上的宏F1方面分别比最先进的方法提高了1.98%、2.83%和3.94%。
2020-02-18 cs.CL cs.LG cs.SD
Disentangled Variational Autoencoder for Emotion Recognition in Conversations
The University of Manchester（曼彻斯特大学）
本文提出VAD-VAE模型，通过变分自编码器重构目标话语并从潜在空间解耦效价-唤醒度-支配度三种情感表示，结合情感词典监督和互信息最小化，在对话情感识别任务中超越现有最优模型。
2023-05-23 cs.CL cs.SD eess.AS
Spatio-temporal variation of conversational utterances on Twitter
National Institute of Physics, University of the Philippines, Diliman（菲律宾大学迪利曼分校国家物理研究所）
会话反映了一种语言的现有规范。在此之前，我们发现，在200年的时间里，书籍和电影中的英语虚构对话的话语长度缩短了。在这项工作中，我们表明，这种缩短甚至发生了短暂的3年（2009年9月至2012年12月）使用2.29亿从Twitter的话语。此外，来自美国的地理标记的推文的子集显示话语长度和黑人人口的州一级百分比之间的反比。我们认为，缩短的话语可以解释为越来越多的使用行话，包括杜撰的话。
2013-11-02 cs.CL cs.SI physics.soc-ph
EmoInHindi: A Multi-label Emotion and Intensity Annotated Dataset in Hindi for Emotion Recognition in Dialogues
Indian Institute of Technology Patna（印度理工学院巴特那分校）
人工智能（AI）的长期目标是创建类似人类的对话系统。这样的系统应该有能力发展与用户的情感联系，因此在对话中的情感识别是一个重要的任务。在对话中的情感检测是一项具有挑战性的任务，因为人类通常在一个单一的话语中传达不同程度的强度的多种情感。此外，对话的话语中的情感可能取决于使任务更复杂的先前话语。情感识别一直都有很大的需求。然而，大多数现有的会话中的多标签情感和强度检测数据集都是英文的。为此，我们在印地语中创建了一个大型会话数据集，名为MindInHindi，用于包含1，814个对话的会话中的多标签情感和强度识别，总共有44，247个话语。我们准备我们的数据集在绿野仙踪的方式为犯罪受害者的心理健康和法律咨询。对话的每个话语都用来自16个情感类别的一个或多个情感类别（包括中性）及其相应的强度值进行注释。我们还提出了强上下文基线，可以检测情感（S）和相应的强度的话语给定的会话上下文。
2022-05-27 cs.CL
On the Cost and Benefits of Training Context with Utterance or Full Conversation Training: A Comparative Stud
Divergence 2% LLC（Divergence 2% 公司）
本文通过 H100 上 20 GPU 小时的对比实验，评估对话式 TTS 的上下文话语级训练与完整对话训练，证明前者 MOS 更高、训练省时且可避免说话人相似度幻觉。
2025-05-12 cs.CL cs.SD eess.AS
Estimating the Uncertainty in Emotion Attributes using Deep Evidential Regression
University of Cambridge（剑桥大学）；Tsinghua University（清华大学）
本文提出深度证据情感回归（DEER），通过为话语情感属性引入 normal-inverse gamma 先验并用深度神经网络预测超参数，联合估计情感属性及其任意和认知不确定性，在 MSP-Podcast 和 IEMOCAP 上取得最先进结果。
2023-06-11 cs.CL cs.SD eess.AS
Distribution-based Emotion Recognition in Conversation
University of Cambridge（剑桥大学）
本文提出基于分布的对话情感识别框架，将ERC建模为序列到序列的情感分布估计问题，并引入贝叶斯训练损失改进不确定性估计，在IEMOCAP上取得更好的分类准确率与不确定性估计。
2022-11-09 cs.CL cs.SD eess.AS
Estimating the Uncertainty in Emotion Class Labels with Utterance-Specific Dirichlet Priors
University of Cambridge（剑桥大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出基于逐话语狄利克雷先验的贝叶斯损失和双分支模型，建模情感标注不确定性，并在IEMOCAP和MSP-Podcast上取得最先进分类与不确定性检测性能。
2022-11-17 cs.CL
EmotionX-IDEA: Emotion BERT -- an Affectional Model for Conversation
Intelligent Data Engineering and Applications Laboratory（智能数据工程与应用实验室）；National Tsing Hua University（国立清华大学）
本文研究了预训练语言模型BERT的情感识别能力。根据BERT框架的性质，我们将BERT应用于连续对话情感预测任务，这在很大程度上依赖于会话级上下文感知理解。实验表明，通过将连续对话映射到由话语和应答话语构成的因果话语对中，模型可以更好地捕捉应答话语的情感。本方法在Friends和Push的测试数据集中分别获得了0.815和0.885的微F1分数。
2019-08-17 cs.CL
Topic Propagation in Conversational Search
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of Pisa（比萨大学）；Georgetown University（乔治城大学）
在会话语境中，用户将她的多方面信息需求表达为一系列自然语言问题，即，话语从一个给定的主题开始，对话通过用户的话语和系统的回复。由于自然语言的模糊性以及难以检测话语之间可能的主题转移和语义关系，与会话中给定话语相关的文档的检索是具有挑战性的。我们采用2019年TREC会话助理跟踪（CAST）框架来实验模块化架构，执行：（i）主题感知话语重写，（ii）检索重写话语的候选段落，以及（iii）基于神经的候选段落重新排名。我们提出了一个全面的实验评估的架构评估传统的IR指标在小的截止。实验结果表明，我们的技术的有效性，实现了0.28（+93%）的P@1和0.19（+89.9%）的nDCG@3 w.r.t. CAST基线。
2020-04-29 cs.CL cs.IR
HiGRU: Hierarchical Gated Recurrent Units for Utterance-level Emotion Recognition
The Chinese University of Hong Kong（香港中文大学）；Meitu（美图）；The Hang Seng University of Hong Kong（香港恒生大学）
针对对话系统中话语级情感识别面临的三大挑战：（1）同一个词在不同的语境中表达不同的情感;（2）某些情感在一般对话中很少见;（3）长距离语境信息难以有效获取。因此，我们提出了一个分层的门控递归单元（HiGRU）框架，较低级别的GRU模型的单词级输入和上层GRU捕获的话语级嵌入的上下文。此外，我们将该框架提升为两个变体，HiGRU与个体特征融合（HiGRU-f）和HiGRU与自我注意和特征融合（HiGRU-sf），从而可以充分利用单词/话语级别的个体输入和远程上下文信息。在IEMOCAP、Friends和QuestionPush三个对话情感数据集上的实验表明，我们提出的HiGRU模型在每个数据集上分别比现有方法提高了8.7%、7.5%和6.0%。特别是，通过仅利用IEMOCAP中的文本特征，我们的HiGRU模型比具有文本、视频和音频三模态特征的最先进的会话记忆网络（CMN）至少提高了3.8%。
2019-04-09 cs.CL
Conversational Analysis using Utterance-level Attention-based Bidirectional Recurrent Neural Networks
University of Hamburg（汉堡大学）
最近的对话行为识别方法表明，从前面的话语的上下文是重要的分类后续的。结果表明，当考虑到上下文时，性能迅速提高。我们提出了一个基于话语级注意力的双向递归神经网络（Utt-Att-BiRNN）模型来分析先前话语的重要性，以分类当前话语。在我们的设置中，BiRNN被赋予当前和先前话语的输入集。我们的模型优于以前的模型，只使用前面的话语作为上下文使用的语料库。文章的另一个贡献是发现每个话语中的信息量来对后续的话语进行分类，并表明基于上下文的学习不仅提高了性能，而且在分类中实现了更高的置信度。我们使用字符和单词级别的功能来表示的话语。结果是字符和单词的特征表示，并作为一个集成模型的两个表示。我们发现，当分类短的话语，最近的前面的话语有助于更高的程度。
2018-06-20 cs.AI cs.CL cs.HC
ConText at WASSA 2024 Empathy and Personality Shared Task: History-Dependent Embedding Utterance Representations for Empathy and Emotion Prediction in Conversations
INESC-ID；Instituto Superior Técnico, University of Lisbon（里斯本大学高级技术学院）；Faculdade de Letras, University of Lisbon（里斯本大学文学院）
本文提出利用历史对话上下文与预训练语言模型相结合的话语表示方法，在 WASSA 2024 共情与情绪预测任务中分别取得 CONV-turn 第一和 CONV-dialog 第二的成绩。
2024-07-04 cs.CL
EmotionX-HSU: Adopting Pre-trained BERT for Emotion Classification
The Hang Seng University of Hong Kong（香港恒生大学）
本文描述了我们对SocialNLP 2019的共享任务--ApprotionX-2019的方法。为了检测来自电视节目Friends和Facebook聊天日志Push的两个数据集的每个话语的情感，我们提出了基于两步深度学习的方法：（i）将每个话语编码为表示其含义的向量序列;以及（ii）使用简单的softmax分类器来预测话语可能携带的四个候选者中的一个情感。请注意，标记话语的来源并不丰富，我们利用一个经过良好训练的模型，称为BERT，将从大量语料库中学习到的部分知识转移到我们的模型中。然后，我们专注于微调我们的模型，直到它很好地适应域内数据。所提出的模型的性能通过微F1分数来评估，即，对Friends和PredictionPush的测试集分别为79.1%和86.2%。我们的模型在11个提交中排名第3。
2019-07-23 cs.CL
Utterance Emotion Dynamics in Children's Poems: Emotional Changes Across Age
University of Alberta（阿尔伯塔大学）；National Research Council Canada（加拿大国家研究委员会）
本研究结合词典与机器学习方法分析不同年龄儿童诗歌中的情感动态，发现多种情绪强度、变异性、反应性和调节能力随年龄增长而增强，而效价下降。
2023-06-08 cs.CL
Conversational Emotion Analysis via Attention Mechanisms
CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
不同于对单个话语的情感识别，我们提出了一个多模态学习框架，利用话语之间的关系和依赖关系进行会话情感分析。注意力机制被应用于声学特征和词汇特征的融合。然后将这些融合表示馈送到基于自注意的双向门控递归单元（GRU）层以捕获长期上下文信息。为了模仿不同说话人的真实交互模式，说话人嵌入也被用作额外的输入，以区分会话对话期间的说话人身份。为了验证所提出的方法的有效性，我们进行了实验IEMOCAP数据库。实验结果表明，我们的方法表现出绝对的2.42%的性能提高了国家的最先进的战略。
2019-10-24 cs.CL cs.LG eess.AS
ConCET: Entity-Aware Topic Classification for Open-Domain Conversational Agents
Emory University（埃默里大学）
在开放域会话系统中识别每个用户话语的主题（域）是所有后续语言理解和响应任务的关键步骤。特别地，对于复杂域，话语通常被路由到负责该域的单个组件。因此，正确地将用户话语映射到正确的域是至关重要的。为了解决这个问题，我们引入了ConCET：一个并发的可信度感知的会话主题分类器，它将实体类型信息与话语内容特征结合在一起。具体来说，ConCET利用实体信息来丰富话语表示，将字符，单词和实体类型嵌入到单个表示中。然而，对于具有数百万个可用实体的丰富域，将需要不切实际的标记训练数据量。为了补充我们的模型，我们提出了一个简单而有效的方法，用于生成合成训练数据，以增加通常有限数量的标记训练数据，使用常用的知识库，以生成额外的标记话语。我们首先在一个名为Self-Dialogue的公开可用的人与人对话数据集上广泛评估ConCET和我们提出的训练方法，以根据以前最先进的方法校准我们的方法;其次，我们在与真实用户进行人机对话的大型数据集上评估ConCET，作为Amazon Alexa Prize的一部分收集。我们的研究结果表明，ConCET显著提高了两个数据集上的主题分类性能，包括比最先进的深度学习方法提高了8-10%。我们补充我们的定量结果与系统性能的详细分析，这可用于进一步改进的会话代理。
2020-05-28 cs.CL
Context-Dependent Embedding Utterance Representations for Emotion Recognition in Conversations
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Faculdade de Letras, University of Lisbon（里斯本大学文学院）
本文提出利用 RoBERTa 将历史对话轮次与目标话语共同编码，生成上下文相关话语嵌入，用于 ERC，并在 DailyDialog 和 EmoWOZ 上验证有效性。
2023-06-03 cs.AI cs.CL
Automated Utterance Generation
University of Pennsylvania（宾夕法尼亚大学）；Passage AI
对话式人工智能助理越来越受欢迎，问答是任何对话式助理的重要组成部分。使用相关的话语作为特征的问答已被证明可以提高准确率和召回率，用于检索正确的答案由会话助理。因此，话语生成已经成为一个重要的问题，其目标是从由标题和描述组成的知识库文章中生成相关的话语（句子或短语）。然而，生成好的话语通常需要大量的手动工作，从而产生了对自动话语生成的需求。在本文中，我们提出了一个话语生成系统，1）使用提取摘要提取重要的句子的描述，2）使用多种释义技术，以产生一个不同的标题和摘要句的释义集，和3）选择好的候选释义的帮助下，一个新的候选选择算法。
2020-04-08 cs.AI cs.CL cs.LG
TSAM: A Two-Stream Attention Model for Causal Emotion Entailment
Tencent Inc（腾讯公司）
因果情感蕴涵（CEE）旨在发现会话话语中情感背后的潜在原因。以往的工作形式化的CEE独立的话语对分类问题，与情感和说话人的信息被忽略。本文从一个新的视角，在一个共同的框架内考虑CEE。我们同步分类多个话语，捕捉话语之间的相关性，在全球范围内，并提出了一个双流注意力模型（TSAM），有效地模拟说话人的情感影响的会话历史。具体地说，TSAM包括三个模块：情绪注意力网络（EAN），说话人注意力网络（SAN）和交互模块。EAN和SAN并行地合并情感和说话者信息，并且后续交互模块通过相互BiAffine变换在EAN和SAN之间有效地交换相关信息。大量的实验结果表明，我们的模型达到了新的国家的最先进的（SOTA）的性能和性能显著优于基线。
2022-09-22 cs.AI cs.CL
Knowledge-Bridged Causal Interaction Network for Causal Emotion Entailment
因果情感蕴涵旨在识别会话中与目标话语有关的非中性情感的因果话语。以往的研究局限于对会话语境的深入理解和对情感原因的准确推理。为此，我们提出了知识桥接因果互动网络（KBCIN）与常识知识（CSK）杠杆作为三个桥梁。具体来说，我们为每个会话构建一个会话图，并利用以事件为中心的CSK作为语义级桥（S桥），通过CSK增强的图形注意力模块来捕获会话上下文中的深层话语间依赖关系。此外，社交互动CSK还充当了情感层面的桥梁（E-bridge）和行动层面的桥梁（A-bridge），将候选话语与目标话语连接起来，为情感互动模块和行动互动模块推理目标情感提供了明确的因果线索。实验结果表明，我们的模型实现了更好的性能比大多数基线模型。我们的源代码可在https://github.com/circle-hit/KBCIN上公开获取。
2022-12-06 cs.CL
Discourse-Aware Emotion Cause Extraction in Conversations
Soochow University（苏州大学）
会话中的情感原因提取旨在提取会话中包含情感原因的话语。大多数先前的研究集中在建模会话上下文与顺序编码，忽略了话语和会话特定功能的ECEC之间的信息交互。在本文中，我们探讨的话语结构在处理话语互动和会话特定功能的ECEC的重要性。为此，我们提出了一个话语感知模型（DAM）的这项任务。具体地说，我们联合使用多任务学习（MTL）框架的话语分析模型ECEC和显式编码的话语结构通过门控图神经网络（门控GNN），我们的模型中集成了丰富的话语交互信息。此外，我们使用门控GNN来进一步增强我们的ECEC模型与会话特定的功能。基准语料库上的结果表明，DAM优于国家的最先进的（SOTA）系统在文献中。这表明，话语结构可能包含一个潜在的联系之间的情感话语和相应的原因表达。同时也验证了会话特征的有效性.本文的代码将在GitHub上提供。
2022-10-26 cs.CL
Triple GNNs: Introducing Syntactic and Semantic Information for Conversational Aspect-Based Quadruple Sentiment Analysis
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；The National Computer Network Emergency Response Technical Team/Coordination Center of China（国家计算机网络应急技术处理协调中心）
本文提出Triple GNNs网络，结合GCN建模话语内句法依赖和DualGATs建模话语间语义交互，显著提升对话式四元组情感分析性能。
2024-03-15 cs.CL
Quantized-Dialog Language Model for Goal-Oriented Conversational Systems
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一种新的方法来解决对话学习的背景下，面向目标的会话系统。其关键思想是将对话空间划分为集群，并在集群中创建语言模型，从而允许准确选择对话中的下一个话语。语言模型依赖于与话语聚类相关联的n-gram。这种量化的对话语言模型方法已被应用到最新的对话系统技术挑战（DSTC 6）的端到端的目标导向的轨道。我们的目标是找到正确的系统话语从一个池的候选人，以完成用户和自动餐厅预订系统之间的对话。我们的研究结果表明，本文提出的技术实现了高精度的选择正确的候选话语，并优于其他国家的最先进的方法的基础上神经网络。
2018-12-26 cs.CL
Emotion recognition by fusing time synchronous and time asynchronous representations
Cambridge University（剑桥大学）
本文提出了一种新的用于多模态情感识别的双分支神经网络模型结构，它由一个时间同步分支（TSB）和一个时间异步分支（TAB）组成。为了捕获每个单词与其声学实现之间的相关性，TSB在每个输入窗口帧处组合语音和文本模态，然后跨时间进行池化以形成单个嵌入向量。相比之下，TAB通过将来自多个上下文话语的句子文本嵌入到另一个嵌入向量中来提供跨话语信息。最终的情感分类使用TSB和TAB嵌入。IEMOCAP数据集上的实验结果表明，两个分支结构实现了最先进的结果，在4路分类与所有常见的测试设置。当使用自动语音识别（ASR）输出，而不是手动转录的参考文本，它示出的跨话语信息大大提高了对ASR错误的鲁棒性。此外，通过为所有其他情绪合并额外的类，具有ASR假设的最终5路分类系统可以被视为更现实的情绪识别系统的原型。
2021-07-22 cs.CL cs.LG cs.SD
EmotionLines: An Emotion Corpus of Multi-Party Conversations
Academia Sinica（中央研究院）；Carnegie Mellon University（卡内基梅隆大学）
感受情感是区分人与机器的关键特征。在所有用于情感检测的多模态资源中，文本数据集是除了语义之外包含最少附加信息的数据集，因此被广泛用于测试所开发的系统。然而，大多数文本情感数据集仅由单个单词，句子或文档的情感标签组成，这使得讨论情感的上下文流具有挑战性。在本文中，我们介绍了第一个仅基于文本内容对每个对话中的所有话语进行情感标签的数据集-对话在QuestionLines是从朋友电视脚本和私人Facebook信使对话收集。然后，由5个亚马逊MTurker在每个话语上标记七种情绪中的一种，六种Ekman的基本情绪加上中性情绪。来自2，000个对话的总共29，245个话语被标记在提示行中。在本文中，我们还为情感检测模型提供了几个强大的基线。
2018-05-30 cs.CL
Think Twice: A Human-like Two-stage Conversational Agent for Emotional Response Generation
Tianjin University（天津大学）；Quesoar Co. Ltd.（Quesoar有限公司）；China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司）
针对情感对话中情感与语义相互制约及标注数据稀缺问题，提出两阶段对话智能体：先由无语料标注的模型生成语义原型回复，再用可控情感精炼器进行修改，在情感生成和语义保持上均优于对比模型。
2024-10-01 cs.CL cs.HC
Building a Dialogue Corpus Annotated with Expressed and Experienced Emotions
Waseda University（早稻田大学）
在交流中，人类会识别对话者的情绪，并以适当的情绪做出回应，例如同情和安慰。为了开发一个具有类似人类能力的对话系统，我们提出了一种构建带有两种情感标注的对话语料库的方法。我们从Twitter上收集对话，并用说话者放入话语中的情感（表达的情感）和听者在听完话语后感受到的情感（体验的情感）来注释每个话语。我们用这种方法建立了一个日语对话语料库，并对其进行了统计分析，揭示了表达和体验情感之间的差异。我们进行了两种情绪的识别实验。实验结果表明，被试对已体验情绪的识别存在困难，对两种情绪的多任务学习效果较好。我们希望所构建的语料库能够为对话中的情感识别和情感感知的对话应答生成研究提供帮助。
2022-05-24 cs.CL
Rewriting Conversational Utterances with Instructed Large Language Models
University of Pisa（比萨大学）；ISTI-CNR（ISTI-CNR研究院）
本文研究了使用指令微调大型语言模型在对话环境中重写用户问题以提升对话搜索有效性，在TREC CAST数据集上的实验表明该方法在多项检索指标上较最先进技术取得显著提升。
2024-10-10 cs.AI cs.CL cs.HC
Improved Frame Level Features and SVM Supervectors Approach for the Recogniton of Emotional States from Speech: Application to categorical and dimensional states
Université Tunis El Manar（突尼斯埃尔马纳尔大学）；Ecole Nationale d'Ingénieurs de Tunis-ENIT（突尼斯国家工程学院）
语音情感识别系统的目的是将说话人的话语分为不同的情感状态，如厌恶、无聊、悲伤、中性和快乐。语音情感识别中常用的语音特征依赖于全局话语级韵律特征。在我们的工作中，我们评估帧级特征提取的影响。语音样本来自柏林情感数据库，从这些话语中提取的特征是能量，梅尔频率倒谱系数的不同变体，速度和加速度特征。
2014-06-23 cs.CL cs.LG
PT-CoDE: Pre-trained Context-Dependent Encoder for Utterance-level Emotion Recognition
The Chinese University of Hong Kong（香港中文大学）
话语级情感识别是人工智能领域中理解人类行为和开发移情聊天机器的重要研究课题。与传统的文本分类问题不同，该任务由有限数量的数据集支持，其中大多数包含不充分的对话或语音。这样的数据稀缺问题限制了为这项任务训练更大、更强大的模型的可能性。鉴于迁移学习在自然语言处理（NLP）中的成功应用，本文提出了一种基于上下文相关编码器（CodeE）的ULER预训练方法。从本质上讲，CoDE是一个分层的架构，包含一个话语编码器和一个会话编码器，使其不同于那些旨在预训练通用句子编码器的工作。此外，我们提出了一个新的预训练任务，名为“会话完成”（CoCo），它试图从候选答案中选择正确的答案，以填补一个掩蔽的话语在一个问题的对话。CoCo任务是在纯电影字幕上执行的，这样我们的CoDE就可以以无监督的方式进行预训练。最后，预训练的CoDE（PT-CoDE）针对ULER进行了微调，并在五个数据集上显着提高了模型性能。
2019-10-20 cs.CL
Introducing "Forecast Utterance" for Conversational Data Science
Auburn University（奥本大学）
本文引入Forecast Utterance概念，将其构建为槽位填充问题，并采用EE和QA两种零样本方法自动解释用户预测目标，实验验证了其有效性与可行性。
2023-09-07 cs.CL cs.HC
