Improving Transformer-based Conversational ASR by Inter-Sentential Attention Mechanism
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
基于转换器的模型已经证明了它们在自动语音识别（ASR）任务中的有效性，甚至表现出优于传统混合框架的性能。Transformers的主要思想是通过自我注意层来捕获话语中的长距离全局上下文。然而，对于像会话语音这样的场景，这种话语级建模将忽略跨话语的上下文依赖性。在本文中，我们提出了显式建模的Transformer为基础的端到端的会话语音识别架构的内部信息。具体而言，对于编码器网络，我们捕获的上下文先前的语音，并将这些历史信息纳入当前输入的上下文感知的残余注意力机制。对于解码器，当前话语的预测也通过条件解码器框架以历史语言信息为条件。我们展示了我们所提出的方法在几个开源对话语料库上的有效性，并且所提出的方法一致地提高了基于话语级transformer的ASR模型的性能。
2022-07-02 cs.CL cs.SD eess.AS
Situated and Interactive Multimodal Conversations
Facebook（脸书）
下一代虚拟助理被设想为处理多模态输入（例如，视觉、先前交互的记忆，以及用户的话语），并执行多模式动作（例如，除了生成系统的话语之外还显示路线）。我们引入情境交互式多模态对话（SIMMC）作为一个新的方向，旨在训练代理，采取多模态行动接地在一个共同发展的多模态输入上下文，除了对话的历史。我们提供了两个SIMMC数据集，总共约13K人与人之间的对话（约169K话语），使用多模态向导奥兹（WoZ）设置，在两个购物领域：（a）家具（在共享的虚拟环境中接地）和（b）时尚（在不断发展的图像集接地）。我们还提供日志的项目出现在每个场景中，上下文NLU和共指注释，使用一个新的和统一的框架SIMMC会话行为的用户和助理的话语。最后，我们提出了SIMMC中的几个任务作为客观的评估协议，如结构API预测和响应生成。我们将这些SIMMC任务上的现有模型集合作为强基线进行基准测试，并展示了丰富的多模态会话交互。我们的数据、注释、代码和模型都是公开的。
2020-11-10 cs.AI cs.CL cs.HC
Semi-Supervised Model Training for Unbounded Conversational Speech Recognition
Marchex Inc.（Marchex公司）
对于会话式大词汇量连续语音识别（LVCSR）任务，通常使用多达约两千小时的音频来训练现有技术的模型。然而，标记的会话音频的收集是极其昂贵、费力且容易出错的。此外，像Fisher English（2004）或Switchboard（1992）这样的学术语料库不足以在会话语音的无界空间中以足够的精度训练模型。这些语料库也是陈旧的，由于过时的声学电话功能和快速发展的口语词汇和成语在过去的几十年。利用我们的未标记的电话数据集的巨大规模，我们提出了一种技术来构建一个现代的，高质量的会话语音训练语料库的顺序上的数以亿计的话语（或数万小时）的声学和语言模型训练。我们描述的数据汇集，选择和训练，评估我们更新的语音识别系统的测试语料库的7 K手动转录的话语的结果。我们显示相对字出错率（WER）减少{35%，19%}的{代理，呼叫者}话语在我们的种子模型和5%的绝对WER改善IBM沃森STT在这个会话语音任务。
2017-05-26 cs.CL
Exploring Robustness in Doctor-Patient Conversation Summarization: An Analysis of Out-of-Domain SOAP Notes
Columbia University（哥伦比亚大学）
本研究探讨了医患对话生成式摘要模型在域外数据上的鲁棒性，通过比较通用模型和SOAP导向模型，并结合LIWC分析，发现格式不匹配并非性能下降主因，同时揭示了模型产生的信息缺失与幻觉问题。
2024-06-05 cs.CL cs.LG
Dialogue Act Segmentation for Vietnamese Human-Human Conversational Texts
Thainguyen University (TNU)（太原大学（TNU））；University of Information and Communication Technology（信息与通信技术学院）；Vietnam National University, Hanoi (VNU)（河内越南国家大学（VNU））；University of Engineering and Technology（工程技术学院）
对话行为识别在会话理解中起着重要的作用。它已被广泛应用于对话系统、自动机器翻译、自动语音识别等领域，尤其适用于虚拟助手、聊天机器人等具有人机自然语言对话界面的系统。识别对话行为的第一步是识别话语中对话行为的边界。在本文中，我们专注于分割的话语根据对话行为的边界，即功能段识别，越南语的话语。我们仔细研究了两种方法中的功能段识别：（1）使用最大熵（ME）和条件随机场（CRF）的机器学习方法;（2）使用带有CRF层的双向长短期记忆（LSTM）的深度学习方法（Bi-LSTM-CRF）在两个不同的会话数据集上进行了测试：（1）Facebook消息（消息数据）;（2）电话对话的转录（电话数据）。据我们所知，这是第一个将基于深度学习的方法应用于对话行为分割的工作。结果表明，与传统的机器学习方法相比，深度学习方法的性能明显更好。此外，这也是第一个研究解决越南语的对话行为和功能段识别。
2017-08-16 cs.CL
Deep Learning Based Multi-modal Addressee Recognition in Visual Scenes with Utterances
Tokyo Institute of Technology（东京工业大学）；Yahoo Japan Corporation（雅虎日本公司）
随着智能系统（例如智能扬声器）的广泛使用，收信人识别已经成为人机交互中的关注点，因为越来越多的人期望这样的系统能够理解复杂的社交场景，包括户外、医院和医院。由于以前的研究通常只关注预先指定的任务，例如控制灵巧家庭等有限的会话情况，因此我们创建了一个名为“具有话语的视觉场景中的收件人识别”（ARVSU）的模拟数据集，其中包含视觉场景中大量的图像变化，带有注释的话语和每个场景的对应收件人。我们还提出了一个基于多模态深度学习的模型，该模型考虑了不同的人类线索，特别是眼睛凝视和话语语料库的转录，以预测在各种现实生活中的对话场景中从特定说话者的角度来看的对话收件人。据我们所知，我们是第一个引入端到端深度学习模型的公司，该模型结合了视觉和话语的转录，用于收件人识别。因此，我们的研究表明，未来的收件人识别可以达到理解人类意图的能力，在许多以前未探索的社会情况下，我们的模态数据集是促进这一领域的研究的第一步。
2018-09-12 cs.AI cs.LG
Speech Recognition and Multi-Speaker Diarization of Long Conversations
UC San Diego（加州大学圣迭戈分校）
传统上，语音识别（ASR）和说话者日记（SD）模型被分别训练以产生具有说话者标签的丰富对话转录。最近的进展表明，联合ASR和SD模型可以学习利用音频词汇相互依赖性来提高单词日记化性能。我们引入了一个新的基准，从每周一次的This American Life广播节目中收集的长达一小时的播客，以更好地比较这些方法时，适用于扩展的多扬声器对话。我们发现，当话语边界已知时，训练单独的ASR和SD模型表现得更好，但否则联合模型可以表现得更好。为了处理具有未知话语边界的长对话，我们引入了一种跨越注意解码算法和数据增强技术，结合模型预训练，提高了ASR和SD。
2020-11-05 cs.LG cs.SD eess.AS
DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition
Sun Yat-sen University（中山大学）
本文介绍了我们的开拓性努力，情感识别会话（ERC）与预先训练的语言模型。与常规文档不同，会话语句交替出现于不同的当事人，并且在以前的工作中通常被组织为层次结构。这样的结构不利于应用预先训练的语言模型，如XLNet。为了解决这个问题，我们提出了一个所有功能于一身的XLNet模型，即对话XL，具有增强的内存来存储更长的历史上下文和对话感知的自我注意力来处理多方结构。具体来说，我们首先修改XLNet的复发机制，从段级到话语级，以便更好地模拟会话数据。其次，我们引入了对话感知的自我注意力，以取代XLNet中的香草自我注意力，以捕获有用的说话者内部和说话者之间的依赖关系。广泛的实验进行了四个ERC基准与主流模型进行比较。实验结果表明，该模型在所有数据集上的性能都优于基线。实验结果验证了DialogXL关键模块的作用。
2020-12-16 cs.AI cs.CL cs.IR
KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction
Nagoya University（名古屋大学）；National Institute of Informatics（信息学研究所）；Keio University（庆应义塾大学）；Waseda University（早稻田大学）
针对全双工对话中重叠等同时现象，提出KABURI-TTS，以每说话人音素栅格为输入，在语音活动条件下双声道渲染语音，实现可控双人对话生成，提升自然度并产生更多重叠与轮换。
2026-09-09 cs.CL cs.SD
Distribution-based Emotion Recognition in Conversation
University of Cambridge（剑桥大学）
本文提出基于分布的对话情感识别框架，将ERC建模为序列到序列的情感分布估计问题，并引入贝叶斯训练损失改进不确定性估计，在IEMOCAP上取得更好的分类准确率与不确定性估计。
2022-11-09 cs.CL cs.SD eess.AS
Optimizing Conversational Quality in Spoken Dialogue Systems with Reinforcement Learning from AI Feedback
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团）
本文提出多奖励RLAIF框架，通过结合语义、音频质量和情感一致性奖励，提升语音对话系统的对话质量。
2026-01-27 cs.CL cs.SD
MirrorBench: A Benchmark to Evaluate Conversational User-Proxy Agents for Human-Likeness
SAP Labs（SAP实验室）
本文提出MirrorBench基准测试，用于评估对话用户代理的人类化能力，通过结合多种词汇多样性指标和LLM评估指标，揭示用户代理与真实人类用户之间的系统性差距。
2026-05-17 cs.AI cs.LG
Towards Fairness in Classifying Medical Conversations into SOAP Sections
Abridge AI Inc.（Abridge AI公司）
随着机器学习算法在医疗保健领域的广泛应用，算法公平性的问题变得更加重要。我们的工作旨在识别和理解部署模型中的差异，该模型将医患对话分类为医疗SOAP说明的各个部分。我们采用了几个指标来衡量分类器性能的差异，并发现在一部分弱势群体的小差异。对这些对话中的语言进行更深入的分析并进一步对这些群体进行分层表明，这些差异与医疗预约的类型有关，而且往往归因于医疗预约的类型（例如，精神科医生与内科医生）。我们的研究结果强调了理解数据本身可能存在的差异以及这如何影响模型公平分配利益的能力的重要性。
2020-12-02 cs.CL cs.CY
Does Your Voice Assistant Remember? Analyzing Conversational Context Recall and Utilization in Voice Interaction Models
Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）；AIIS, ASRI, INMC, ISRC, and IPAI, Seoul National University（人工智能研究所、人工智能研究室、智能网络中心、信息科学研究中心和人工智能与人工智能研究所，首尔国立大学）
本研究提出ContextDialog基准，系统评估开源语音交互模型对过去对话内容的回忆与利用能力，发现语音模型在回忆语音信息时比文本模型更困难，即使采用检索增强生成仍存在问题，并据此提出改进记忆与检索鲁棒性的方向。
2025-05-23 cs.SD eess.AS
LLM supervised Pre-training for Multimodal Emotion Recognition in Conversations
Indian Institute of Science（印度科学学院）
本文提出利用LLM生成伪标签预训练文本模型，结合语音嵌入分层训练，在IEMOCAP、MELD和CMU-MOSI上实现对话多模态情感识别，并在两个数据集上取得最优结果。
2025-01-20 cs.SD eess.AS
MedFilter: Improving Extraction of Task-relevant Utterances from Doctor-Patient Conversations through Integration of Discourse Structure and Ontological Knowledge
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
从会话数据中提取信息抽取尤其具有挑战性，因为会话的以任务为中心的性质允许人类有效地传达隐式信息，但对于机器来说是具有挑战性的。根据对话中说话者的角色，话语之间的挑战可能会有所不同，特别是当相关专业知识在角色之间不对称分布时。此外，随着更多的共享上下文通过在对话中较早隐含传达的信息而建立，挑战也可能在对话中增加。在本文中，我们提出了新的建模方法MedFilter，它解决了这些见解，以提高识别和分类任务相关的话语的性能，并在这样做，积极影响下游信息抽取任务的性能。我们在近7，000次医患对话的语料库中评估了这种方法，其中MedFilter用于识别讨论中与医学相关的贡献（在PR曲线下面积方面比SOTA基线提高了10%）。识别与任务相关的话语有利于下游医疗处理，在症状、药物和投诉的提取方面分别实现了15%、105%和23%的改进。
2022-06-21 cs.CL cs.LG
Multi-Turn Beam Search for Neural Dialogue Modeling
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
在神经对话建模中，神经网络被训练以预测下一个话语，并且在推理时，近似解码算法被用于在给定先前话语的情况下生成下一个话语。虽然这种自回归框架允许我们在训练过程中对整个对话进行建模，但推理是非常次优的，因为错误的话语可能会影响未来的话语。虽然束搜索比贪婪搜索产生更好的结果，我们认为，它仍然是贪婪的，在整个对话的上下文中，因为它不考虑未来的话语。我们提出了一种新的对话级推理方法，通过显式建模的对话伙伴和跨多个会话轮运行束搜索。给定下一个话语的一组候选者，我们展开对话若干回合，并在初始假设集中识别出产生最有可能的未来话语序列的候选话语。我们通过使用Persona-Chat数据集进行人类评估来实证验证我们的方法，并发现我们的多圈束搜索产生了更好的对话响应。我们提出了三个近似的合作伙伴模型，并观察到更多的知情合作伙伴模型提供更好的性能。
2019-11-12 cs.CL cs.LG
Modeling Multi-turn Conversation with Deep Utterance Aggregation
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
多轮会话理解是构建智能对话系统的主要挑战。本文主要研究基于检索的多轮会话响应匹配问题，其相关工作仅将会话话语连接起来，忽略了先前话语之间的交互作用，从而进行上下文建模。在本文中，我们制定以前的话语到上下文使用建议的深度话语聚合模型，形成一个细粒度的上下文表示。详细地说，首先引入自匹配注意力来路由每个话语中的重要信息。然后，该模型匹配的反应与每个细化的话语和最终的匹配得分后，注意轮聚合。实验结果表明，我们的模型优于国家的最先进的方法在三个多轮对话基准，包括新引入的电子商务对话语料库。
2018-11-06 cs.CL
Neutral Utterances are Also Causes: Enhancing Conversational Causal Emotion Entailment with Social Commonsense Knowledge
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
会话因果情感蕴涵的目的是从会话中检测出非中性目标话语的因果话语。在这项工作中，我们建立对话图，以克服隐含的上下文建模的原始蕴涵风格。在前面工作的基础上，我们进一步将情感信息引入到图中。情感信息可以显著促进与目标话语情感相同的因果话语的检测。然而，仍然很难检测到不同情绪的因果话语，特别是中性的。原因是模型在推理因果线索和在话语之间传递它们方面受到限制。为了缓解这个问题，我们引入了社会常识知识（CSK）并提出了知识增强对话图（KEC）。KEC在两个话语之间传播CSK。由于并不是所有的CSK都是情感上适合的，因此我们提出了一种情感实现的知识选择策略来过滤CSK。为了处理KEC，我们进一步构建了知识增强有向无环图网络。实验结果表明，我们的方法优于基线，并推断出更多的原因与不同的情绪从目标话语。
2022-05-07 cs.CL
AdCOFE: Advanced Contextual Feature Extraction in Conversations for emotion classification
Lakehead University（湖首大学）
对话中的情感识别是各种虚拟聊天机器人的重要一步，这些机器人需要基于意见的反馈，如社交媒体线程，在线支持和更多应用程序。当前会话模型中的情感识别面临着以下问题：（a）会话的两个对话之间的上下文信息丢失，（b）未能给予每个话语中的重要标记适当的重要性，以及（c）无法传递来自先前话语的情感信息。通过使用自然语言的知识图谱、情感词典和短语在话语的所有级别（词和位置嵌入）执行唯一的特征提取来解决这些问题。在会话数据集上的情感识别实验表明，AdCOFE有利于捕捉会话中的情感。
2021-04-09 cs.CL cs.LG
Findings on Conversation Disentanglement
School of Computing and Information System（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
会话解纠缠（Conversation disentanglement）是识别会话中的独立线程的任务，是会话问答和会话摘要等多方会话NLP应用中的重要预处理步骤。将其框架为话语到话语分类问题-即给定感兴趣的话语（UOI），找到它回复的过去话语-我们探索了许多基于变换的模型，并发现BERT与手工制作的特征相结合仍然是一个强大的基线。然后，我们建立了一个多任务学习模型，共同学习话语到话语和话语到线程分类。当我们的模型出错时，观察到地面真实标签（过去的话语）是最佳候选者，我们尝试使用二分图作为后处理步骤，以学习如何将一组UOI与过去的话语进行最佳匹配。在Ubuntu IRC数据集上的实验表明，该方法有可能优于传统的贪婪方法，即简单地为每个UOI独立选择最高概率的候选人，这表明了一个有前途的未来研究方向。
2021-12-10 cs.CL
Automated Utterance Generation
University of Pennsylvania（宾夕法尼亚大学）；Passage AI
对话式人工智能助理越来越受欢迎，问答是任何对话式助理的重要组成部分。使用相关的话语作为特征的问答已被证明可以提高准确率和召回率，用于检索正确的答案由会话助理。因此，话语生成已经成为一个重要的问题，其目标是从由标题和描述组成的知识库文章中生成相关的话语（句子或短语）。然而，生成好的话语通常需要大量的手动工作，从而产生了对自动话语生成的需求。在本文中，我们提出了一个话语生成系统，1）使用提取摘要提取重要的句子的描述，2）使用多种释义技术，以产生一个不同的标题和摘要句的释义集，和3）选择好的候选释义的帮助下，一个新的候选选择算法。
2020-04-08 cs.AI cs.CL cs.LG
Discourse-Aware Emotion Cause Extraction in Conversations
Soochow University（苏州大学）
会话中的情感原因提取旨在提取会话中包含情感原因的话语。大多数先前的研究集中在建模会话上下文与顺序编码，忽略了话语和会话特定功能的ECEC之间的信息交互。在本文中，我们探讨的话语结构在处理话语互动和会话特定功能的ECEC的重要性。为此，我们提出了一个话语感知模型（DAM）的这项任务。具体地说，我们联合使用多任务学习（MTL）框架的话语分析模型ECEC和显式编码的话语结构通过门控图神经网络（门控GNN），我们的模型中集成了丰富的话语交互信息。此外，我们使用门控GNN来进一步增强我们的ECEC模型与会话特定的功能。基准语料库上的结果表明，DAM优于国家的最先进的（SOTA）系统在文献中。这表明，话语结构可能包含一个潜在的联系之间的情感话语和相应的原因表达。同时也验证了会话特征的有效性.本文的代码将在GitHub上提供。
2022-10-26 cs.CL
Extracting Structured Data from Physician-Patient Conversations By Predicting Noteworthy Utterances
Carnegie Mellon University（卡内基梅隆大学）；Abridge AI Inc（Abridge AI公司）
尽管有各种各样的努力来挖掘各种形式的医疗数据，但医生和患者在护理时的对话仍然是一个未开发的见解来源。在本文中，我们利用这些数据来提取结构化信息，这些信息可能有助于医生在电子健康记录中进行访视后记录，从而可能减轻文书工作的负担。在这项探索性研究中，我们描述了一个新的数据集，包括对话成绩单，访问后的总结，相应的支持证据（在成绩单），和结构化的标签。我们专注于在器官系统（RoS）审查中识别相关诊断和异常的任务。一个方法上的挑战是对话很长（大约1500个单词），这使得现代深度学习模型很难将它们用作输入。为了解决这个问题，我们提取值得注意的话语-对话中可能被引用作为支持某个摘要句子的证据的部分。我们发现，通过首先过滤（预测）值得注意的话语，我们可以显着提高识别诊断和RoS异常的预测性能。
2020-07-14 cs.AI cs.CL cs.LG
Spatio-temporal variation of conversational utterances on Twitter
National Institute of Physics, University of the Philippines, Diliman（菲律宾大学迪利曼分校国家物理研究所）
会话反映了一种语言的现有规范。在此之前，我们发现，在200年的时间里，书籍和电影中的英语虚构对话的话语长度缩短了。在这项工作中，我们表明，这种缩短甚至发生了短暂的3年（2009年9月至2012年12月）使用2.29亿从Twitter的话语。此外，来自美国的地理标记的推文的子集显示话语长度和黑人人口的州一级百分比之间的反比。我们认为，缩短的话语可以解释为越来越多的使用行话，包括杜撰的话。
2013-11-02 cs.CL cs.SI physics.soc-ph
ConText at WASSA 2024 Empathy and Personality Shared Task: History-Dependent Embedding Utterance Representations for Empathy and Emotion Prediction in Conversations
INESC-ID；Instituto Superior Técnico, University of Lisbon（里斯本大学高级技术学院）；Faculdade de Letras, University of Lisbon（里斯本大学文学院）
本文提出利用历史对话上下文与预训练语言模型相结合的话语表示方法，在 WASSA 2024 共情与情绪预测任务中分别取得 CONV-turn 第一和 CONV-dialog 第二的成绩。
2024-07-04 cs.CL
Who did They Respond to? Conversation Structure Modeling using Masked Hierarchical Transformer
Boston University（波士顿大学）；AWS AI Labs（AWS人工智能实验室）
会话结构对于理解会话动态的本质和为许多下游应用提供特征（例如会话摘要）都是有用的。在这项工作中，我们定义的问题的会话结构建模识别父话语（S）的每一个话语在会话中的响应。以前的工作通常需要一对话语来决定一个话语是否是另一个的父话语。我们相信整个祖先的历史是一个非常重要的信息源，以作出准确的预测。因此，我们设计了一种新的屏蔽机制来引导祖先流，并利用Transformer模型聚合所有祖先来预测父话语。我们的实验是在Reddit数据集（Zhang，Culbertson和Paritosh 2017）和Ubuntu IRC数据集（Kummerfeld等人2019）上进行的。此外，我们还报告了在Reddit平台上的一个新的更大语料库上的实验，并发布了这个数据集。我们表明，该模型，考虑到祖先的历史对话，显着优于几个强基线，包括BERT模型在所有数据集上
2019-11-25 cs.CL
On the Cost and Benefits of Training Context with Utterance or Full Conversation Training: A Comparative Stud
Divergence 2% LLC（Divergence 2% 公司）
本文通过 H100 上 20 GPU 小时的对比实验，评估对话式 TTS 的上下文话语级训练与完整对话训练，证明前者 MOS 更高、训练省时且可避免说话人相似度幻觉。
2025-05-12 cs.CL cs.SD eess.AS
Automated Utterance Labeling of Conversations Using Natural Language Processing
The University of British Columbia（不列颠哥伦比亚大学）；Carleton University（卡尔顿大学）；Arizona State University（亚利桑那州立大学）
会话数据在心理学中是必不可少的，因为它可以帮助研究人员了解个人的认知过程，情绪和行为。话语标记是分析这类数据的常用策略。NLP算法的发展使研究人员能够自动完成这项任务。然而，心理会话数据对NLP研究人员提出了一些挑战，包括多标签分类，大量的类别和有限的可用数据。这项研究探讨了在成年过渡对话的背景下，NLP方法生成的自动标签如何与人类标签相媲美。我们提出了应对心理学研究中提出的三个常见挑战的策略。我们的研究结果表明，具有领域自适应的深度学习方法（Roberta-CON）优于所有其他机器学习方法;我们提出的分层标签系统被证明可以帮助研究人员战略性地分析会话数据。我们的Python代码和NLP模型可以在https://github.com/mlaricheva/automated_labeling上找到。
2022-08-12 cs.CL
Efficient Long-distance Latent Relation-aware Graph Neural Network for Multi-modal Emotion Recognition in Conversations
Central South University of Forestry and Technology（中南林业科技大学）；Changsha Medical University（长沙医学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出ELR-GNN模型，通过扩张广义前向推送算法和情感关系感知算子高效捕获长距离话语依赖，并结合早期与自适应晚期融合机制，在IEMOCAP和MELD上取得最优性能且显著降低运行时间。
2024-08-31 cs.AI cs.CL cs.LG
Finding Dominant User Utterances And System Responses in Conversations
IBM Research Labs（IBM研究院）
有几种对话框架允许手动指定意图和基于规则的对话流。基于规则的框架为对话框设计者提供了良好的控制，但代价是更加耗时和费力。如果我们能够从用户和代理之间的先前对话中自动识别用户意图和相应的响应，则对话设计者的工作可以减少。在本文中，我们提出了一种方法来找到这些频繁的用户话语（作为意图的例子）和相应的代理响应。我们提出了一种新的SimCluster算法，扩展了标准的K-means算法，同时聚类用户的话语和代理话语，考虑到他们的邻接信息。该方法还对齐这些聚类以提供成对的意图和响应组。我们将我们的结果与在真实数据集上使用简单Kmeans聚类产生的结果进行比较，并观察到F1分数的绝对改善高达10%。通过在人工数据集上的实验，我们证明了在数据方差较大的情况下，该算法比K-means算法具有更大的优势。
2017-10-29 cs.CL
Intent Mining from past conversations for conversational agent
Accenture Labs（埃森哲实验室）
对话系统是AI社区的主要兴趣。聊天机器人越来越多地被部署来提供全天候支持并提高客户参与度。许多商业机器人构建框架遵循一种标准方法，该方法要求构建和训练意图模型以识别用户输入。意图模型在有监督的设置中使用文本话语和意图标签对的集合进行训练。为不同的意图收集大量和广泛的训练数据是机器人构建过程中的瓶颈。此外，标记一百到数千个具有意图的对话的成本是一项耗时费力的工作。在本文中，我们提出了一个意图发现框架，包括4个主要步骤：使用预训练的领域不可知对话行为分类器从对话中提取文本话语（数据提取），相似用户话语的自动聚类（聚类），使用Intent标签手动注释聚类（标记）并将意图标签传播到来自先前步骤的话语，其未被映射到任何聚类（标签传播）;以从原始会话生成意图训练数据。针对不平衡数据的聚类问题，提出了一种新的基于密度的聚类算法ITER-DBSCAN。主题专家（具有领域专业知识的注释者）手动查看聚类的用户话语，并提供用于发现的意图标签。我们进行了用户研究，以验证在意图覆盖率、准确性和节省手动注释时间方面生成的训练意图模型的有效性。虽然系统被开发用于构建会话系统的意图模型，但是该框架也可以用于短文本聚类或作为标记框架。
2021-01-18 cs.AI cs.CL cs.LG
Beyond Isolated Utterances: Conversational Emotion Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
语音情感识别是指根据说话人的语音记录来识别说话人的情感状态。虽然目前大多数的方法都集中在从孤立的话语推断情感，我们认为，这是不足以实现会话情感识别（CER），它涉及到在对话中识别情感。在这项工作中，我们提出了几种方法CER治疗它作为一个序列标记任务。我们研究了CER的Transformer架构，并使用IEMOCAP语料库在上下文和无上下文场景下将其与ResNet-34和BiLSTM架构进行了比较。基于自我注意力机制的内部工作原理，我们提出了DiverseCatAugment（DCA），一种增强方案，它将Transformer模型的性能提高了3.3%的绝对微f1，对孤立的话语提高了3.6%。我们通过引入对话者感知的Transformer模型进一步提高了性能，在该模型中，我们学习对话者索引嵌入的字典来利用日记化的对话。
2021-09-13 cs.CL cs.SD eess.AS
Topic Propagation in Conversational Search
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of Pisa（比萨大学）；Georgetown University（乔治城大学）
在会话语境中，用户将她的多方面信息需求表达为一系列自然语言问题，即，话语从一个给定的主题开始，对话通过用户的话语和系统的回复。由于自然语言的模糊性以及难以检测话语之间可能的主题转移和语义关系，与会话中给定话语相关的文档的检索是具有挑战性的。我们采用2019年TREC会话助理跟踪（CAST）框架来实验模块化架构，执行：（i）主题感知话语重写，（ii）检索重写话语的候选段落，以及（iii）基于神经的候选段落重新排名。我们提出了一个全面的实验评估的架构评估传统的IR指标在小的截止。实验结果表明，我们的技术的有效性，实现了0.28（+93%）的P@1和0.19（+89.9%）的nDCG@3 w.r.t. CAST基线。
2020-04-29 cs.CL cs.IR
Context-Dependent Embedding Utterance Representations for Emotion Recognition in Conversations
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Faculdade de Letras, University of Lisbon（里斯本大学文学院）
本文提出利用 RoBERTa 将历史对话轮次与目标话语共同编码，生成上下文相关话语嵌入，用于 ERC，并在 DailyDialog 和 EmoWOZ 上验证有效性。
2023-06-03 cs.AI cs.CL
Effective Context Modeling Framework for Emotion Recognition in Conversations
FPT Software AI Center（FPT软件人工智能中心）；The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本文提出基于GNN的ConxGNN框架，通过多尺度异构图和超图并行捕捉对话上下文与多模态关系，结合跨模态注意力与损失重加权机制，在IEMOCAP和MELD数据集上实现了最先进的情感识别性能。
2024-12-21 cs.CL cs.LG
PAGE: A Position-Aware Graph-Based Model for Emotion Cause Entailment in Conversation
Hangzhou City University（浙大城市学院）；Pennsylvania State University（宾夕法尼亚州立大学）
会话因果情感蕴涵（Conversational Causal Emotion Entailment，C2E2）是一种旨在识别会话中目标情感对应的原因的任务。会话中的话语顺序影响因果推理。然而，目前大多数的位置编码策略忽略了话语和说话人之间的顺序关系。为了解决这个问题，我们设计了一种新的位置感知图来编码整个对话，完全建模话语之间的因果关系。综合实验表明，我们的方法在两个具有挑战性的测试集上始终达到最先进的性能，证明了我们的模型的有效性。我们的源代码可以在Github上找到：https://github.com/XiaojieGu/PAGE。
2023-03-03 cs.CL
Conversation Disentanglement with Bi-Level Contrastive Learning
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；Singapore Management University（新加坡管理大学）
本文提出基于双层对比学习的对话解耦模型，同时建模话语间关系和话语与会话原型的关系，在监督和无监督设置下均取得最优性能。
2024-08-30 cs.CL
Filling Conversation Ellipsis for Better Social Dialog Understanding
Zhejiang University（浙江大学）；University of California, Davis（加州大学戴维斯分校）
省略现象普遍存在于社会会话中。省略增加了一系列下游语言理解任务的难度，例如对话行为预测和语义角色标注。我们建议通过自动完成句子来解决省略，以提高语言理解。然而，自动省略补全可能导致输出不能准确地反映用户意图。为了解决这个问题，我们提出了一种方法，该方法同时考虑了具有省略的原始话语和对话行为和语义角色标注任务中自动完成的话语。具体来说，我们首先完成用户话语解决省略使用端到端指针网络模型。然后，我们训练一个预测模型，使用包含省略的话语和我们自动完成的话语。最后，我们结合这两个话语的预测结果，使用一个选择模型，是由专家知识指导。在社交会话中，我们的方法在F1得分上分别提高了1.3%和2.5%的对话行为预测和语义角色标注。我们还提出了一个开放域的人机对话数据集手动完成用户的话语和注释后，手动完成的语义角色标注。
2019-11-25 cs.AI cs.CL
Post-hoc Utterance Refining Method by Entity Mining for Faithful Knowledge Grounded Conversations
Korea University（高丽大学）
本文提出事后精炼方法REM，通过挖掘来源知识中的关键实体来修正知识接地对话中的实体级幻觉，提升生成回复的忠实度与质量。
2024-06-16 cs.AI cs.CL
NUANCED: Natural Utterance Annotation for Nuanced Conversation with Estimated Distributions
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Facebook
现有的会话系统大多是以代理为中心的，其假设用户话语将紧密遵循系统本体（用于NLU或对话状态跟踪）。然而，在现实世界的场景中，非常希望用户能够以他们自己的方式自由地说话。这是非常困难的，如果不是不可能的，为用户适应未知的系统本体。在这项工作中，我们试图建立一个以用户为中心的对话系统。由于没有一个干净的映射用户的自由形式的话语的本体，我们首先模型的用户偏好估计分布在系统本体和映射用户的话语，这样的分布。学习这种映射对现有知识的推理提出了新的挑战，从事实知识，常识知识到用户自己的情况。为此，我们构建了一个名为NUANCED的新数据集，专注于会话推荐的现实设置。NUANCED通过对话模拟和释义收集，包含5.1 k个对话、26 k个高质量用户响应回合。我们进行实验，显示我们的问题设置的有用性和挑战。我们相信NUANCED可以作为一个有价值的资源，推动现有的研究从以代理为中心的系统，以用户为中心的系统。代码和数据可在\url{https://github.com/facebookresearch/nuanced}上公开获取。
2021-09-09 cs.CL
PT-CoDE: Pre-trained Context-Dependent Encoder for Utterance-level Emotion Recognition
The Chinese University of Hong Kong（香港中文大学）
话语级情感识别是人工智能领域中理解人类行为和开发移情聊天机器的重要研究课题。与传统的文本分类问题不同，该任务由有限数量的数据集支持，其中大多数包含不充分的对话或语音。这样的数据稀缺问题限制了为这项任务训练更大、更强大的模型的可能性。鉴于迁移学习在自然语言处理（NLP）中的成功应用，本文提出了一种基于上下文相关编码器（CodeE）的ULER预训练方法。从本质上讲，CoDE是一个分层的架构，包含一个话语编码器和一个会话编码器，使其不同于那些旨在预训练通用句子编码器的工作。此外，我们提出了一个新的预训练任务，名为“会话完成”（CoCo），它试图从候选答案中选择正确的答案，以填补一个掩蔽的话语在一个问题的对话。CoCo任务是在纯电影字幕上执行的，这样我们的CoDE就可以以无监督的方式进行预训练。最后，预训练的CoDE（PT-CoDE）针对ULER进行了微调，并在五个数据集上显着提高了模型性能。
2019-10-20 cs.CL
Towards Exploiting Background Knowledge for Building Conversation Systems
Indian Institute of Technology Madras（马德拉斯印度理工学院）
现有的对话数据集包含一系列的话语和响应，而没有任何明确的背景知识与它们相关联。这导致了模型的发展，这些模型将对话视为序列到序列生成任务（即，给定话语序列生成响应序列）。这不仅是一种过于简单化的对话观点，而且与人类严重依赖关于主题的背景知识（而不是简单地依赖先前的话语序列）的对话方式截然不同。例如，人类通常（不自觉地）产生从他们已经阅读的关于主题的背景文章复制或适当修改的话语。为了促进这种模仿人类对话过程的自然对话模型的开发，我们创建了一个包含电影聊天的新数据集，其中每个响应都是通过复制和/或修改来自非结构化背景知识（例如关于电影的情节，评论和评论）的句子来显式生成的。我们使用三种不同的模型在该数据集（来自9 K对话的90 K话语）上建立基线结果：（i）基于纯生成的模型，其忽略背景知识;（ii）基于生成的模型，其在需要时学习从背景知识复制信息;以及（iii）基于跨度预测的模型，其预测背景知识中的适当响应跨度。
2018-09-21 cs.CL
MPC-BERT: A Pre-Trained Language Model for Multi-Party Conversation Understanding
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）
近年来，用于多方会话（MPC）的各种神经模型在诸如收信人识别、说话人辨识和响应预测等任务上取得了令人印象深刻的改进。然而，这些现有的MPC的方法通常表示单独的对话者和话语，忽略了MPC中固有的复杂结构，可以提供关键的对话者和话语语义，并将加强会话理解过程。为此，我们提出了MPC-BERT，这是一种用于MPC理解的预训练模型，它考虑在具有多个精心设计的自监督任务的统一模型中学习谁对谁说了什么。具体地，这些任务通常可以被分类为（1）对话者结构建模，包括回复话语识别、相同说话者搜索和指针一致性区分，以及（2）话语语义建模，包括掩蔽共享话语恢复和共享节点检测。我们评估MPC BERT的三个下游任务，包括收件人识别，说话人辨识和响应选择。实验结果表明，MPC-BERT优于以前的方法的大幅度，并实现了新的国家的最先进的性能在所有三个下游任务在两个基准测试。
2021-06-03 cs.CL
Mimicking the Thinking Process for Emotion Recognition in Conversation with Prompts and Paraphrasing
Wuhan University（武汉大学）；Tsinghua University（清华大学）
针对对话情绪识别中上下文、说话者背景及标签差异的建模难题，提出模拟人类思维过程的框架，通过两类提示和复述机制分别处理三类因素，在三个基准上超越现有最优基线。
2023-06-11 cs.CL
Multi-modal Anchor Gated Transformer with Knowledge Distillation for Emotion Recognition in Conversation
School of Computer Science and Technology, China University of Mining and Technology（计算机科学与技术学院，中国矿业大学）；Mine Digitization Engineering Research Center of Ministry of Education, China University of Mining and Technology（教育部矿山数字化工程研究中心，中国矿业大学）
针对对话情感识别中模态贡献差异与帧级对齐复杂性问题，提出MAGTKD模型，利用提示学习增强文本表示、知识蒸馏强化弱模态，并通过多模态锚点门控Transformer整合话语级特征，在IEMOCAP和MELD数据集上达到SOTA。
2025-06-23 cs.CL cs.LG
Balancing Objectives in Counseling Conversations: Advancing Forwards or Looking Backwards
Cornell University（康奈尔大学）
在整个对话过程中，参与者做出的选择可以引导互动的流程。这样的选择在危机咨询领域尤为突出，咨询师的困难是在两个关键目标之间取得平衡：推动对话走向解决方案，并同情地解决危机情况。在这项工作中，我们开发了一种无人监督的方法来量化辅导员如何管理这种平衡。我们的主要直觉是，如果一个话语只能得到一个狭窄范围的适当回答，那么它的目标可能是向前推进对话，朝着这个范围内的目标前进。同样地，仅能适当地遵循窄范围的可能话语的话语可能反向地旨在解决该范围内的特定情况。通过运用这种直觉，我们可以将每个话语映射到一个连续的方向轴上，该方向轴捕捉到它旨在向前或向后引导对话流程的程度。这种无监督的方法使我们能够在一个大型的危机咨询对话数据集中描述咨询师的行为，在那里我们表明，已知的咨询策略直观地与这个轴一致。我们还说明了我们的措施可以指示对话的进展，以及其有效性。
2020-05-08 cs.CL
CausalDialogue: Modeling Utterance-level Causality in Conversations
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出 CausalDialogue 数据集和因果增强损失函数 ExMATE，通过在话语层面建模因果关系来提升神经对话模型生成的多样性与敏捷性，并构建基准验证其效果。
2023-07-08 cs.CL
EmotionX-IDEA: Emotion BERT -- an Affectional Model for Conversation
Intelligent Data Engineering and Applications Laboratory（智能数据工程与应用实验室）；National Tsing Hua University（国立清华大学）
本文研究了预训练语言模型BERT的情感识别能力。根据BERT框架的性质，我们将BERT应用于连续对话情感预测任务，这在很大程度上依赖于会话级上下文感知理解。实验表明，通过将连续对话映射到由话语和应答话语构成的因果话语对中，模型可以更好地捕捉应答话语的情感。本方法在Friends和Push的测试数据集中分别获得了0.815和0.885的微F1分数。
2019-08-17 cs.CL
Improving Bot Response Contradiction Detection via Utterance Rewriting
Amazon Alexa AI（亚马逊Alexa人工智能部门）
虽然基于大型神经模型的聊天机器人通常可以在开放域对话中产生流畅的响应，但一个突出的错误类型是与前面的对话回合相矛盾或不一致。先前的工作已经将机器人响应中的矛盾检测视为类似于自然语言推理的任务，例如，检测一对机器人话语之间的矛盾。然而，会话中的话语可能包含共指或省略，并且照原样使用这些话语可能并不总是足以识别矛盾。本文通过重写所有机器人话语来恢复先行词和省略，从而提高矛盾检测的效率。我们策划了一个新的话语重写数据集，并建立了一个重写模型。我们的经验表明，该模型可以产生令人满意的重写，使机器人话语更完整。此外，使用重写的话语显著提高了矛盾检测性能，例如，AUPR和联合准确性得分（检测矛盾和证据）分别增加了6.5%和4.5%（绝对增加）。
2022-07-25 cs.AI cs.CL
Contextual Dialogue Act Classification for Open-Domain Conversational Agents
Emory University（埃默里大学）
对会话中的用户话语的一般意图进行分类，也称为对话行为（DA），例如，开放式问题、意见陈述或意见请求是会话主体的自然语言理解（NLU）的关键步骤。虽然DA分类已经在人与人的对话中得到了广泛的研究，但对于新兴的开放域自动会话代理，它还没有得到充分的探索。此外，尽管话语级DA分类取得了重大进展，但对对话话语的充分理解需要会话语境。另一个挑战是缺乏开放领域人机对话的可用标记数据。为了解决这些问题，我们提出了一种新的方法，CDAC（上下文对话行为分类器），一个简单而有效的上下文对话行为分类的深度学习方法。具体来说，我们使用迁移学习来调整在人机对话中训练的模型，以预测人机对话中的对话行为。为了研究我们方法的有效性，我们在著名的Switchboard人机对话数据集上训练我们的模型，并对其进行微调，以预测人机对话数据中的对话行为，这些数据是作为Amazon Alexa Prize 2018竞赛的一部分收集的。结果表明，CDAC模型在Switchboard数据集上的表现比话语级最先进的基线高出8.0%，并且与最新报道的最先进的上下文DA分类结果相当。此外，我们的研究结果表明，微调的CDAC模型的手动标记的人机对话的小样本，使CDAC更准确地预测对话行为在真实用户的对话，建议未来的改进方向。
2020-05-28 cs.CL
Online Coreference Resolution for Dialogue Processing: Improving Mention-Linking on Real-Time Conversations
Emory University（埃默里大学）
本文提出了一个共指消解的方向，用于在线解码主动生成的输入，如对话，其中模型接受一个话语及其过去的上下文，然后发现在当前话语中提到的，以及他们的参考，在每个对话轮。一个基线和四个增量更新的模型，适用于这个新的设置，其中涉及不同的方面，包括单例，发言人接地编码和跨话轮提及语境化。我们的方法在三个数据集上进行了评估：Friends，OntoNotes和BOLT。结果表明，每个方面都带来了稳定的改善，我们最好的模型超过基线10%，为这种设置提供了一个有效的系统。进一步的分析突出了任务的特点，如解决的重要性提到回忆。
2022-05-21 cs.CL cs.LG
Improving Clinical Note Generation from Complex Doctor-Patient Conversation
Université de Montréal & Mila - Quebec AI（蒙特利尔大学及魁北克AI实验室）
该研究针对临床笔记手动撰写耗时的问题，推出CliniKnote数据集，提出带关键词的K-SOAP笔记格式，并开发自动化生成流水线，相较标准LLM微调方法显著提升了效率与性能。
2025-06-16 cs.AI cs.CL
DialBERT: A Hierarchical Pre-Trained Model for Conversation Disentanglement
Queen’s University（女王大学）；University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）
解纠缠是一个问题，其中多个对话同时发生在同一个通道中，听者应该决定哪一个话语是他将回应的对话的一部分。我们提出了一个新的模型，名为对话BERT（DialBERT），它集成了本地和全局语义在一个单一的消息流，解开的对话，混合在一起。我们采用BERT在话语级捕获每个话语对中的匹配信息，并使用BiLSTM聚合和合并上下文级信息。基于F1-Score，与BERT相比，参数仅增加3%，就实现了12%的改进。该模型在IBM提出的新数据集上实现了最先进的结果，并大大超过了以前的工作。
2021-09-13 cs.CL
