Semi-supervised Bootstrapping of Dialogue State Trackers for Task Oriented Modelling
Cambridge University（剑桥大学）；Imperial College London（帝国理工学院）；PolyAI Limited（PolyAI有限公司）
对话系统极大地受益于对详细注释的优化，例如转录的话语、内部对话状态表示和对话行为标签。然而，收集这些注释既昂贵又耗时，阻碍了对话建模领域的发展。在本文中，我们研究了半监督学习方法，能够减少所需的中间标记的量。我们发现，通过利用未注释的数据，对话状态的回合级别注释的量可以显着减少时，建立一个神经对话系统。我们对MultiWOZ语料库的分析，涵盖了一系列的领域和主题，发现注释可以减少高达30%，同时保持等效的系统性能。我们还描述和评估了为MultiWOZ语料库创建的第一个端到端对话模型。
2019-11-26 cs.CL
Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding
Columbia University（哥伦比亚大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
对话理解任务往往需要大量的注释数据才能取得良好的绩效，这在资源匮乏的环境中提出了挑战。为了缓解这一障碍，我们探索了Few-Shot数据增强的对话理解，提示大型预训练的语言模型，并提出了一种新的方法，迭代增强质量，通过应用弱监督过滤器。我们在DailyDialog中的情感和行为分类任务以及Facebook多语言任务导向对话中的意图分类任务上评估了我们的方法。在我们的增强数据与Few-Shot地面实况数据混合的基础上进行微调的模型能够在两个数据集上接近或超过现有的最先进性能。特别是对于DailyDialog，使用10%的地面真实数据，我们的表现优于使用100%数据的当前最先进的模型。
2022-11-02 cs.AI cs.CL cs.LG
Self- and Pseudo-self-supervised Prediction of Speaker and Key-utterance for Multi-party Dialogue Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多方对话机器阅读理解（MRC）带来了巨大的挑战，因为它涉及多个说话人在一个对话，导致复杂的说话人信息流和嘈杂的对话环境。为了缓解这些困难，以前的模型专注于如何使用复杂的基于图形的模块和额外的手动标记数据来整合这些信息，这在实际场景中通常很少见。在本文中，我们设计了两个劳动自由的自我和伪自我监督的预测任务的发言人和关键话语隐式建模的发言人的信息流，并捕捉显着的线索，在一个漫长的对话。在两个基准数据集上的实验结果证明了我们的方法在竞争基线和当前最先进模型上的有效性。
2021-09-16 cs.CL
WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue
India Machine Learning（印度机器学习）；Amazon（亚马逊）
多回合设置中的智能对话系统不仅应该生成高质量的响应，而且还应该生成可以导致对话的长期成功的响应。虽然目前的方法提高了响应质量，但它们忽略了对话数据中存在的训练信号。我们可以利用这些信号来生成弱监督的训练数据，用于学习对话策略和奖励估计器，并使策略采取行动（生成响应），这可以预见成功（奖励）对话的未来方向。我们模拟一个代理和用户之间的对话（建模类似于代理与监督学习目标）相互作用。代理使用动态阻塞来生成排名不同的响应，并使用探索-利用来在Top-K响应中进行选择。每个模拟的状态-动作对都使用三个质量模块进行评估（作为弱注释）：语义相关性，语义一致性和一致性流。两个基准的实证研究表明，我们的模型可以显着优于响应质量，并导致一个成功的对话上的自动评估和人类的判断。
2023-01-11 cs.CL
SelF-Eval: Self-supervised Fine-grained Dialogue Evaluation
Harbin Institute of Technology（哈尔滨工业大学）
本文介绍了一种新的自监督细粒度对话评估框架（SelF-Eval）。其核心思想是建立话轮质量和整个对话质量之间的相关性模型。我们首先提出了一种新的自动数据构造方法，可以自动分配细粒度的分数任意对话数据。然后，我们训练\textbf{SelF-Eval}与多层次的对比学习模式，这有助于区分不同的分数水平。多个基准测试的实验结果表明，SelF-Eval与人类评估高度一致，优于最先进的模型。本文对实验结果进行了详细的分析。我们的代码可以在GitHub上找到。
2022-09-16 cs.CL
Weakly-Supervised Neural Response Selection from an Ensemble of Task-Specialised Dialogue Agents
Alt Inc.（奥尔特公司）；University of Liverpool（利物浦大学）
包含不同类型的代理与人类对话的对话引擎很受欢迎。然而，对话是动态的，在这个意义上，所选择的响应将改变会话的飞行，影响会话中的后续话语，这使得响应选择一个具有挑战性的问题。我们建模的问题，选择最佳的反应，从一组由一组异构的对话代理所产生的反应，考虑到会话的历史，并提出了一个\emph{Neural Response Selection}方法。所提出的方法被训练来预测一个连贯的一组反应在一个单一的对话，考虑自己的预测通过课程训练机制。我们的实验结果表明，该方法可以准确地选择最合适的反应，从而显着提高用户体验的对话系统。
2020-05-06 cs.AI cs.CL cs.LG
SuperDialseg: A Large-scale Dataset for Supervised Dialogue Segmentation
The University of Tokyo（东京大学）；Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
本文提出SuperDialseg，一个基于文档对话的大规模监督数据集，含9,478个对话，并提供18个模型的基准，验证了监督学习在对话分割中的有效性及跨域泛化能力。
2023-10-15 cs.CL
Two-Level Supervised Contrastive Learning for Response Selection in Multi-Turn Dialogue
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ByteDance AI Lab（字节跳动人工智能实验室）
在多话轮对话中，如何从多个候选者中选出一个合适的回答是基于检索的对话系统的关键问题。现有的工作形式化的任务之间的匹配的话语和候选人，并使用交叉熵损失的学习模型。本文将对比学习应用到该问题中，利用监督对比损失。通过这种方式，可以在嵌入空间中更远地分离正例的学习表示和负例的表示，并且可以增强匹配的性能。我们进一步发展了一种新的监督对比学习方法，称为两级监督对比学习，并采用该方法在多轮对话的响应选择。我们的方法利用两种技术：句子标记洗牌（STS）和句子重新排序（SR）的监督对比学习。在三个基准数据集上的实验结果表明，该方法明显优于对比学习基线和最先进的方法的任务。
2022-03-01 cs.CL
Self-supervised Dialogue Learning for Spoken Conversational Question Answering
Peking University（北京大学）；Yale University（耶鲁大学）；Peng Cheng Laboratory（鹏城实验室）
在口语会话式问答（SCQA）中，通过检索然后分析固定的口语文档（包括多部分会话）来生成对应问题的答案。大多数SCQA系统只考虑从有序的话语中检索信息。然而，对话的顺序对于建立一个健壮的口语问答系统是非常重要的，而话语顺序的改变会严重地导致低质量和不连贯的语料库。为此，我们引入了一种自监督学习方法，包括不连贯辨别、插入检测和问题预测，以显式捕获口语文档之间的共指消解和对话连贯性。具体来说，我们设计了一个联合学习框架，其中辅助自监督任务可以使预训练的SCQA系统实现更连贯和更有意义的口语对话学习。我们还利用所提出的自监督学习任务来捕获句内连贯性。实验结果表明，我们提出的方法提供了更连贯的，有意义的，适当的反应，产生优越的性能增益相比，原来的预训练语言模型。我们的方法在Spoken-CoQA数据集上实现了最先进的结果。
2021-06-24 cs.AI cs.CL cs.LG
Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Microsoft Corporation（微软公司）；Center for Data Science, Peking University（北京大学数据科学研究中心）
建立一个智能的对话系统，能够根据多轮上下文选择适当的响应是一个很大的挑战性任务。现有的研究集中在构建一个上下文响应匹配模型与各种神经架构或PLM和典型的学习与一个单一的响应预测任务。这些方法忽略了对话数据中包含的许多潜在的训练信号，这些信号可能有利于上下文理解并产生更好的响应预测特征。此外，通过传统方式监督的现有对话系统中检索的响应仍然面临一些关键挑战，包括不连贯和不一致。为了解决这些问题，在本文中，我们提出了学习的上下文响应匹配模型与辅助自我监督任务设计的对话数据的基础上预先训练的语言模型。具体而言，我们引入了四个自我监督的任务，包括下一个会话预测，话语恢复，不连贯检测和一致性判别，并联合训练基于PLM的响应选择模型与这些辅助任务在多任务的方式。通过这种方式，辅助任务可以指导匹配模型的学习，以达到更好的局部最优，并选择更合适的响应。两个基准测试的实验结果表明，所提出的辅助自监督任务带来了显着的改善多轮响应选择检索为基础的对话，我们的模型在两个数据集上取得了新的国家的最先进的结果。
2020-09-14 cs.CL
DialogueBERT: A Self-Supervised Learning based Dialogue Pre-training Encoder
JD AI（京东人工智能）；Xiaoduo AI（晓多人工智能）
随着人工智能的快速发展，会话机器人已经在主流电子商务平台中盛行，它可以及时提供便捷的客户服务。为了满足用户，会话机器人需要理解用户的意图，检测用户的情感，并从会话语句中提取关键实体。然而，理解对话被认为是一项非常具有挑战性的任务。与一般的语言理解不同，对话中的话语是从不同的角色交替出现的，并且通常被组织成层次结构。为了促进对话的理解，在本文中，我们提出了一种新的上下文对话编码器（即对话BERT）的基础上流行的预训练的语言模型BERT。设计了五个自监督学习预训练任务来学习会话话语的特殊性。四种不同的输入嵌入，包括话轮嵌入，角色嵌入，标记嵌入和位置嵌入的集成来捕捉话语之间的关系。DialogueBERT在真实场景中预先训练了7000万个对话，然后在三个不同的下游对话理解任务中进行了微调。实验结果表明，DialogueBERT在意图识别、情感识别和命名实体识别方面分别取得了88.63%、94.25%和97.04%F1的优异成绩，大大优于几个强基线。
2021-09-22 cs.AI cs.CL
CSS: Combining Self-training and Self-supervised Learning for Few-shot Dialogue State Tracking
CUHK-Shenzhen（香港中文大学（深圳））；JD AI Research（京东人工智能研究院）；Pengcheng Lab（鹏城实验室）
Few-Shot对话状态跟踪（DST）是用有限的标记数据训练DST模型的现实问题。现有的Few-Shot方法主要传递从外部标记的对话数据（例如，从问答、对话摘要、机器阅读理解任务等）然而，收集大量的外部标记数据是费力的，并且外部数据可能不会有效地有助于DST特定的任务。在本文中，我们提出了一个称为CSS的Few-Shot DST框架，它结合了自训练和自监督学习方法。DST任务的未标记数据被纳入自训练迭代中，其中伪标签由预先在有限的标记数据上训练的DST模型预测。此外，一个对比的自我监督的方法是用来学习更好的表示，其中的数据是增加的dropout操作训练模型。MultiWOZ数据集上的实验结果表明，我们提出的CSS在几个Few-Shot场景中达到了有竞争力的性能。
2022-10-11 cs.CL
Semi-Supervised Dialogue Policy Learning via Stochastic Reward Estimation
The University of Melbourne（墨尔本大学）；Twitter Inc.（推特公司）
在面向任务的对话系统中，对话策略优化往往要等到任务完成后才能得到反馈。这不足以训练中间对话回合，因为监督信号（或奖励）仅在对话结束时提供。为了解决这个问题，已经引入了奖励学习来从最优策略的状态-动作对中学习，以提供逐向奖励。这种方法需要人与人对话的完整状态-动作注释（即，专家演示），这是劳动密集型的。为了克服这一局限性，我们提出了一种新的奖励学习方法的半监督策略学习。所提出的方法学习动态模型作为对对话进程进行建模的奖励函数（即，状态-动作序列），或者有或者没有注释。动态模型通过预测对话进度是否与专家演示一致来计算奖励。我们还建议学习动作嵌入，以更好地推广奖励函数。所提出的方法优于竞争策略学习基线MultiWOZ，一个基准多域数据集。
2020-05-09 cs.AI cs.CL
End-to-End Optimization of Task-Oriented Dialogue Model with Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
在本文中，我们提出了一个基于神经网络的面向任务的对话系统，可以优化端到端的深度强化学习（RL）。该系统能够跟踪对话状态，与知识库接口，并将查询结果纳入代理的响应，成功地完成面向任务的对话。对话策略学习采用混合监督和深度RL方法进行。我们首先训练的对话代理在监督的方式直接从面向任务的对话语料库学习，并进一步优化它与用户交互过程中的深度RL。在两个不同的对话任务域上的实验中，我们的模型在跟踪对话状态和产生合理的系统响应方面表现出鲁棒的性能。我们表明，与监督训练模型相比，基于深度强化学习的优化显著提高了任务成功率，减少了对话长度。我们进一步展示了训练面向任务的对话模型端到端的好处，与对话模拟和人类评估的实验结果相比，组件优化。
2017-11-30 cs.CL
"Mm, Wat?" Detecting Other-initiated Repair Requests in Dialogue
ALMAnaCH, INRIA Paris（ALMAnaCH，INRIA巴黎）；Télécom Paris, SES, Institut Polytechnique de Paris, I3-CNRS（Télécom巴黎，SES，巴黎高等理工学院，I3-CNRS）；Télécom Paris, LTCI, Institut Polytechnique de Paris（Télécom巴黎，LTCI，巴黎高等理工学院）；CNRS, ISIR, Sorbonne University（CNRS，ISIR，索邦大学）；ISIR, Sorbonne University（ISIR，索邦大学）
针对对话智能体难识别用户他人发起修复（OIR）导致对话中断的问题，提出融合语言与韵律特征的多模态模型检测荷兰语对话OIR，验证韵律特征的补充提升作用，为多模态对话理解及模型优化提供参考。
2025-10-28 cs.CL
Enhancing Semantic Understanding with Self-supervised Methods for Abstractive Dialogue Summarization
Samsung SDS（三星数据系统）
语境化的词嵌入可以在自然语言理解中产生最先进的性能。最近，预训练的深度上下文文本编码器（如BERT）在改进包括抽象摘要在内的自然语言任务方面显示出了潜力。现有的对话摘要方法集中于将大语言模型结合到由新闻文章而不是多个说话人的对话组成的大规模语料库上训练的摘要任务中。在本文中，我们引入自监督的方法来弥补不足，训练的对话摘要模型。我们的原则是检测不连贯的信息流使用借口对话文本，以提高BERT的能力，语境化的对话文本表示。我们使用增强的BERT在共享的编码器-解码器架构上构建并微调抽象对话摘要模型。我们经验评估我们的抽象对话摘要与SAMSum语料库，最近推出的数据集与抽象对话摘要。我们所有的方法都有助于改善ROUGE评分的抽象总结。通过广泛的消融研究，我们还提出了一个敏感性分析的关键模型超参数，切换话语和掩蔽对话者的概率。
2022-09-01 cs.AI cs.CL
Consistent Dialogue Generation with Self-supervised Feature Learning
Microsoft Research（微软研究院）
生成与对话上下文一致的响应是构建参与对话代理的核心挑战之一。我们证明了神经会话模型可以通过在整个会话中保持与主题和人物角色相关的某些功能来生成一致的响应。过去的工作需要外部监督，利用通常无法获得的用户身份等功能。在我们的方法中，主题和人物特征提取器使用对比训练方案，利用对话数据的自然结构进行训练。我们还采用了一个功能，解开损失，与可控的响应生成技术相结合，使我们能够促进或降级某些学习的主题和人物角色的功能。评估结果表明，该模型的能力，捕捉有意义的主题和人物角色的功能。所学习的特征的并入在两个对话数据集上生成的响应的质量方面带来了显著的改进。
2021-08-11 cs.CL
Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning
Google Research（谷歌研究院）
尽管最近在自然语言理解和生成方面取得了进展，并且对会话机器人的开发进行了数十年的研究，但构建能够与人类“在野外”进行丰富的开放式对话的自动代理仍然是一个艰巨的挑战。在这项工作中，我们开发了一个实时的，开放式的对话系统，使用强化学习（RL）来大规模地增强机器人的对话技能。我们的工作对简洁的嵌入使用SOTA（监督）语言模型与RL技术，特别适合于动态的动作空间，随着对话的进展而变化的会话状态。通过使用众包数据进行训练，我们的新系统能够在Google Assistant真实用户的现场实验中，在几个感兴趣的指标方面大大超过（强）基线监督模型。
2022-07-25 cs.CL cs.LG
Semi-Supervised Dialogue Abstractive Summarization via High-Quality Pseudolabel Selection
AWS AI Labs（亚马逊AI实验室）；Virginia Tech（弗吉尼亚理工大学）
针对现有半监督方法不适用于生成式对话摘要的问题，提出包含语义不变性、覆盖度、忠实度三维度的SiCF评分法筛选高质量伪标签，提升半监督对话摘要性能。
2024-03-06 cs.AI cs.CL
Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management
University of Cambridge（剑桥大学）
深度强化学习（RL）方法在对话策略优化方面具有巨大的潜力。然而，他们在学习的早期阶段表现不佳。这对于与真实用户的在线学习来说尤其成问题。介绍了两种方法来解决这个问题。首先，为了加快学习过程，提出了两种样本有效的神经网络算法：具有经验重放的信任域行动者-评论家（TRACER）和具有经验重放的情节自然行动者-评论家（eNACER）。对于TRACER，信任区域有助于控制学习步长并避免灾难性的模型变化。对于eNACER，自然梯度标识策略空间中的最陡上升方向以加速收敛。这两个模型都采用了离策略学习和经验重放来提高样本效率。其次，为了缓解冷启动问题，在在线强化学习之前，利用示范数据语料库来预训练模型。结合这两种方法，我们展示了一种实用的方法来学习基于RL的深度对话策略，并展示了它们在面向任务的信息搜索领域中的有效性。
2017-07-05 cs.AI cs.CL cs.LG
Continuously Learning Neural Dialogue Management
University of Cambridge（剑桥大学）
我们描述了一个两步的方法，在面向任务的口语对话系统的对话管理。提出了一个统一的神经网络框架，使系统能够首先通过监督从一组对话数据中学习，然后通过强化学习不断改善其行为，所有这些都使用基于梯度的算法在一个单一的模型上。实验表明，监督模型的有效性，在基于语料库的评价，与用户模拟，并与付费人类科目。强化学习的使用进一步提高了模型在两种交互式环境中的性能，特别是在高噪声条件下。
2016-06-08 cs.CL cs.LG
Zero-Shot Dialogue Disentanglement by Self-Supervised Entangled Response Selection
Carnegie Mellon University（卡内基梅隆大学）
首次提出零样本对话解耦方法，通过自监督训练网络收集的多参与者回复选择数据集，无需标注即可实现25的聚类F1分数，且仅用10%标注数据微调即可接近全量数据性能。
2023-06-26 cs.CL
Learning Dialogue Representations from Consecutive Utterances
Northwestern University（西北大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
学习高质量的对话表示对于解决各种面向对话的任务至关重要，特别是考虑到对话系统经常遭受数据稀缺。在本文中，我们介绍了对话句子嵌入（DSE），一个自我监督的对比学习方法，学习有效的对话表示适合广泛的对话任务。DSE通过将同一对话的连续话语作为对比学习的正对来从对话中学习。尽管它的简单性，DSE实现了显着更好的表示能力比其他对话表示和通用的句子表示模型。我们评估DSE的五个下游的对话任务，检查在不同的语义粒度的对话表示。在Few-Shot和zero-shot设置下的实验表明，DSE的性能大大优于基线。例如，在6个数据集上的单次意图分类中，它在最强的无监督基线上实现了13%的平均性能提升。我们还提供了我们的模型的优点和局限性的分析。
2022-07-21 cs.CL cs.LG
Explicit State Tracking with Semi-Supervision for Neural Dialogue Generation
Fudan University（复旦大学）；National University of Singapore（新加坡国立大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
对话生成的任务旨在自动提供响应给定先前的话语。跟踪对话状态是判断用户意图的一个重要环节。然而，\emph{expensive nature of state labeling}和\emph{weak interpretability}使得对话状态跟踪对于面向任务和非面向任务的对话生成都是具有挑战性的问题：对于在面向任务的对话中生成响应，状态跟踪通常从人工注释的语料库中学习，其中人工注释对于训练来说是昂贵的;对于在非面向任务的对话中生成响应，由于对话状态的数量不受限制，大多数现有工作忽略了显式状态跟踪。在本文中，我们提出了\emph{semi-supervised explicit dialogue state tracker}（SEDST）的神经对话生成。为此，我们的方法有两个核心成分：\emph{CopyFlowNet}和\emph{posterior regularization}。具体来说，我们提出了一个编码器-解码器架构，命名为\emph{CopyFlowNet}，表示一个明确的对话状态的概率分布在词汇空间。为了优化训练过程，我们采用后验正则化策略来整合间接监督。在任务型和非任务型对话语料库上进行的大量实验证明了该模型的有效性。此外，我们发现，我们提出的半监督对话状态跟踪器实现了国家的最先进的监督学习基线状态跟踪过程中的性能相当。
2018-08-31 cs.CL
Recommendation as a Communication Game: Self-Supervised Bot-Play for Goal-oriented Dialogue
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（Facebook人工智能）
传统的推荐系统产生静态的而不是交互式的推荐，不受用户的具体请求、澄清或当前情绪的影响，并且如果用户的口味未知，可能会出现冷启动问题。这些问题可以通过将推荐视为交互式对话任务来缓解，其中专家推荐器可以依次询问某人的偏好，对他们的请求做出反应，并推荐更合适的项目。在这项工作中，我们收集了一个目标驱动的推荐对话数据集（GoRecDial），其中包括9，125个对话游戏和81，260个对话回合，这些对话是由两个相互推荐电影的人类工作者组成的。该任务被专门设计为两个玩家之间的合作游戏，朝着一个可量化的共同目标努力。我们利用数据集开发一个端到端的对话系统，可以同时交谈和推荐。模型首先被训练来模仿人类玩家的行为，而不考虑任务目标本身（监督训练）。然后，我们在两个配对的预训练模型（机器人游戏）之间的模拟机器人对话上微调我们的模型，以实现对话目标。我们的实验表明，与机器人游戏进行微调的模型学习了改进的对话策略，当与人类配对时更经常达到对话目标，并且与没有机器人游戏训练的模型相比，被人类评为更一致。数据集和代码通过ParlAI框架公开提供。
2019-09-09 cs.AI cs.CL
Replicating Complex Dialogue Policy of Humans via Offline Imitation Learning with Supervised Regularization
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
针对任务型对话中模仿人类策略的难题，提出一种无需用户模拟器、利用状态转移信息并引入正则化技巧的离线模仿学习模型，在四个公开数据集的动作预测任务上取得更优性能。
2023-05-06 cs.AI cs.CL
TRACER: Early Failure Detection for Task-Oriented Dialogue
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
研究面向任务对话的早期故障检测问题，核心方法是结合信念状态变化的轨迹信号与对话状态文本表示预测对话是否失败，贡献是能在对话结束前检测故障信号，优于基线方法。
2026-07-07 cs.CL
MCP: Self-supervised Pre-training for Personalized Chatbots with Multi-level Contrastive Sampling
Renmin University of China（中国人民大学）；University of Montreal（蒙特利尔大学）
个性化聊天机器人专注于赋予聊天机器人一致的个性，以表现得像真实用户一样，并进一步充当个人助理。以前的研究已经探索了从用户的对话历史中生成隐式用户简档，以构建个性化的聊天机器人。然而，这些研究仅使用响应生成损失来训练整个模型，因此容易遭受数据稀疏的问题。此外，他们过分强调最终生成的响应的质量，而忽略了用户的对话历史之间的相关性和融合，导致粗糙的数据表示和性能下降。为了解决这些问题，我们提出了一个自监督学习框架MCP，用于从用户的对话历史中捕获更好的表示，以用于个性化聊天机器人。具体来说，我们应用对比采样方法来利用隐藏在用户对话历史中的监督信号，并生成用于增强模型的预训练样本。我们设计了三个预训练任务，基于三种类型的对比对用户对话历史，即响应对，序列增强对，和用户对。我们预先训练的话语编码器和历史编码器的对比目标，并使用这些预先训练的编码器生成用户简档，而个性化的响应生成。在两个真实数据集上的实验结果表明，与现有的方法相比，我们提出的模型MCP有显着的改善。
2022-12-14 cs.AI cs.CL cs.LG
Building Persona Consistent Dialogue Agents with Offline Reinforcement Learning
Columbia University（哥伦比亚大学）
针对开放域对话系统人格不一致问题，提出离线强化学习框架，结合监督学习与RL优势，并引入VaRMI重要性采样降低方差，实验证明提升人格一致性与对话质量。
2023-10-16 cs.CL
Improving alignment of dialogue agents via targeted human judgements
DeepMind（深度思维）
我们提出了麻雀，信息寻求对话代理培训更有帮助，正确的，无害的提示相比，语言模型基线。我们使用基于人类反馈的强化学习来训练我们的模型，其中增加了两个新的功能，以帮助人类评分员判断代理行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应该遵循的自然语言规则，并分别询问评分员每一条规则。我们证明，这种分解使我们能够收集更有针对性的人的判断代理行为，并允许更有效的规则条件奖励模型。第二，我们的代理人在收集对模型陈述的偏好判断时，从支持事实主张的来源提供证据。对于事实问题，Sparrow提供的证据支持78%的抽样回答。Sparrow比基线更受欢迎，同时对人类的对抗性探测更具弹性，在探测时只有8%的时间违反我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学习遵循我们的规则，但它可能会表现出分布偏差。
2022-09-28 cs.CL cs.LG
Improving Limited Labeled Dialogue State Tracking with Self-Supervision
Salesforce Research（Salesforce研究院）
现有的对话状态跟踪（DST）模型需要大量的标记数据。然而，收集高质量的标签是昂贵的，特别是当域名数量增加时。在本文中，我们解决了一个实际的DST问题，很少讨论，即，有效地学习有限的标记数据。我们提出并研究了两个自我监督的目标：保持潜在的一致性和建模会话行为。我们鼓励DST模型在给定扰动输入的情况下具有一致的潜在分布，使其对未知场景更具鲁棒性。我们还添加了一个辅助话语生成任务，建模会话行为和对话状态之间的潜在相关性。实验结果表明，当在MultiWOZ数据集上使用1%的标记数据时，我们提出的自监督信号可以将联合目标精度提高8.95%.如果将一些未标记的数据作为半监督学习进行联合训练，我们可以获得额外的1.76%的改进。我们分析和可视化我们提出的自监督信号如何帮助DST任务，并希望刺激未来的数据高效DST研究。
2020-10-26 cs.AI cs.CL
Semi-Supervised Variational Reasoning for Medical Dialogue Generation
Shandong University（山东大学）；Baidu Inc.（百度公司）；University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（阿霍德德尔海兹集团）
医疗对话生成的目的是提供自动和准确的反应，以帮助医生以有效的方式获得诊断和治疗建议。在医学对话中，两个关键特征与响应生成相关：患者状态（如症状，药物）和医生行为（如诊断，治疗）。在医疗场景中，由于高成本和隐私要求，大规模的人类注释通常不可用。因此，当前的医疗对话生成方法通常不明确地考虑患者状态和医生动作，而是专注于隐式表示。我们提出了一个端到端的变分推理方法，医疗对话生成。为了能够处理有限数量的标记数据，我们引入患者状态和医生的行动作为潜变量，明确的患者状态跟踪和医生策略学习，分别与分类先验。我们提出了一个变分贝叶斯生成方法来近似后验分布在病人的状态和医生的行动。我们使用一个有效的随机梯度变分贝叶斯估计来优化推导出的证据下限，其中提出了一个2阶段的折叠推理方法，以减少模型训练过程中的偏差。提出了一种由动作分类器和两个推理检测器组成的医生策略网络，以增强推理能力。我们对从医疗平台收集的三个数据集进行了实验。我们的实验结果表明，所提出的方法优于国家的最先进的基线方面的客观和主观的评价指标。我们的实验还表明，我们提出的半监督推理方法达到了相当的性能，作为国家的最先进的完全监督学习基线医生策略学习。
2021-05-13 cs.AI cs.CL
Response Enhanced Semi-supervised Dialogue Query Generation
Xiamen University（厦门大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tencent AI Lab（腾讯AI Lab）
本文提出半监督框架SemiDQG，利用未标注对话和响应增强查询生成器(RA)提供伪查询与奖励信号，通过相似度筛选和REINFORCE算法训练查询生成器，在跨域和低资源场景下显著超越ChatGPT等基线。
2024-02-16 cs.AI cs.CL
Mitigating Negative Style Transfer in Hybrid Dialogue System
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海市智能信息处理重点实验室）
随着对话系统功能的发展，实现用户特定目标并参与与用户的开放话题聊天的混合对话系统正吸引越来越多的关注。现有的研究利用多任务融合技术同时学习两个任务，但忽略了由独特的文本风格差异引起的负迁移现象。因此，基于潜变量模型的对比学习被用来解耦潜空间中的各种文本体裁。我们为不同的数据集设计了监督和自我监督的正样本和负样本构造。此外，为了利用解耦潜变量中包含的风格信息，我们采用了一个风格前缀，该前缀进一步包含潜变量，以控制具有不同风格的响应的生成。我们在三个对话数据集上进行了广泛的实验，包括一个混合对话数据集和两个面向任务的对话数据集。实验结果表明，我们的方法可以减轻负风格迁移问题，并在多个对话数据集上实现最先进的性能。
2022-12-14 cs.CL
Search-Engine-augmented Dialogue Response Generation with Cheaply Supervised Query Production
Xiamen University（厦门大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Oxford（牛津大学）
知识辅助的对话响应生成旨在用相关的外部知识来增强聊天机器人，希望生成更多信息的响应。之前的大部分工作假设相关知识作为输入给出或从静态知识池中检索。然而，这种假设违反了现实世界的情况，其中知识不断更新，聊天机器人必须动态检索有用的知识。我们提出了一个对话模型，可以访问来自任何搜索引擎的大量和动态的信息响应生成。查询生成器是系统的核心模块，用于从对话上下文中生成查询，并与搜索引擎进行交互。我们设计了一个训练算法，使用廉价的噪声监督的查询生产者，其中的信号是通过比较检索到的文章与下一个对话响应。结果，查询生成器被调整而无需对黄金查询进行任何人工注释，使得其容易地转移到其他域和搜索引擎。实验表明，我们的查询生成器可以实现R@1和R@5率为62.4%和74.8%的检索黄金知识，和整体模型产生更好的响应，在强大的知识辅助基线使用BART和其他典型的系统。
2023-02-16 cs.AI cs.CL
Who Speaks Next? Multi-party AI Discussion Leveraging the Systematics of Turn-taking in Murder Mystery Games
School of Engineering, Utsunomiya University（宇都宫大学工学院）
本研究针对多智能体对话控制难题，提出融合会话相邻对选择与内部状态自选机制的Murder Mystery Agents框架，经剧本杀场景验证可减少对话中断、提升推理与信息共享能力，为多智能体对话系统设计提供参考。
2025-02-21 cs.AI cs.CL
Structural Pre-training for Dialogue Comprehension
Shanghai Jiao Tong University（上海交通大学）
预训练的语言模型（PrLM）表现出优越的性能，因为它们具有从自我监督的预训练中学习通用语言表示的强大能力。然而，即使在强大的PrLM的帮助下，它仍然是具有挑战性的有效地捕捉任务相关的知识，从对话文本，丰富的说话人意识的话语之间的相关性。在这项工作中，我们提出了SPIDER，结构预训练的对话阅读器，捕捉对话的独特功能。为了模拟类似对话的特征，除了原始的LM目标之外，我们还提出了两个训练目标：1）话语顺序恢复，预测对话上下文中置换话语的顺序; 2）句子主干正则化，正则化模型以提高总结的主谓宾三元组的事实正确性。在广泛使用的对话基准上的实验结果验证了新引入的自监督任务的有效性。
2021-05-23 cs.AI cs.CL
Task Oriented Dialogue as a Catalyst for Self-Supervised Automatic Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；Amazon Alexa AI（亚马逊Alexa AI）
针对ASR系统错误导致NLU应用失败且助手无法离线学习的问题，提出自监督对比微调方法CLC，利用不成功对话中的伪影改进模型，在公开元数据集OD3和真实系统中分别实现最高19.2%和6.7%的性能提升。
2024-01-04 cs.CL cs.LG cs.SD
Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue
Carnegie Mellon University（卡内基梅隆大学）；ANT GROUP（蚂蚁集团）
上下文建模在构建多轮对话系统中起着重要的作用。为了充分利用语境信息，系统可以使用不完全话语重写（IUR）方法，通过将当前话语和语境信息合并成一个自包含的话语，将多轮对话简化为单轮对话。然而，以前的方法忽略了原始查询和重写查询之间的意图一致性。可以进一步改进对原始查询中的省略或共指位置的检测。在本文中，我们引入了对比学习和多任务学习来联合建模的问题。我们的方法受益于精心设计的自我监督的目标，作为辅助任务，以捕捉语义在文本级和令牌级。实验表明，我们提出的模型在几个公共数据集上达到了最先进的性能。
2022-03-22 cs.CL cs.LG
SQATIN: Supervised Instruction Tuning Meets Question Answering for Improved Dialogue NLU
University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）；PolyAI Limited（PolyAI有限公司）
本文提出SQATIN框架，将指令微调与问答形式化相结合用于对话NLU，在域内训练和跨域迁移上均超越现有模型，尤其显著提升跨域迁移性能。
2024-04-08 cs.CL
Hierarchical Knowledge Distillation for Dialogue Sequence Labeling
NTT Media Intelligence Laboratories, NTT Corporation（NTT公司NTT媒体情报实验室）
提出了一种新的会话序列标注的知识蒸馏方法。对话序列标记是一个监督学习任务，它估计目标对话文档中每个话语的标签，并且对于诸如对话行为估计之类的许多应用都是有用的。准确的标签往往是实现了一个分层结构的大模型，包括话语级和对话级的网络，捕捉内的话语和话语之间的上下文，分别。然而，由于其大的模型大小，这样的模型不能被部署在资源受限的设备上。为了克服这一困难，我们专注于知识蒸馏，通过提取一个大的和高性能的教师模型的知识来训练一个小的模型。我们的核心思想是提取知识，同时保持教师模型捕获的复杂上下文。为此，所提出的方法，分层知识蒸馏，训练的小模型，不仅提取的概率分布的标签分类，但也训练的话语级和对话级上下文的知识，在教师模型，通过训练模型模仿教师模型的输出在每个级别。对话行为估计和通话场景分割实验验证了该方法的有效性。
2021-11-22 cs.CL cs.LG
Creating and Characterizing a Diverse Corpus of Sarcasm in Dialogue
University of Utah（犹他大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
社交媒体中讽刺和挖苦的使用使我们能够第一次大规模地研究它们。然而，它们的多样性使得很难构建一个高质量的讽刺对话语料库。在这里，我们描述了创建大规模、高度多样化的在线辩论论坛对话语料库的过程，以及我们以反问和夸张的形式操作讽刺类别的新颖方法。我们表明，我们可以使用词汇句法线索，可靠地检索讽刺话语的准确性高。为了证明我们的语料库的属性和质量，我们进行了监督学习实验，简单的功能，并表明，我们实现了更高的精度和F比以前的工作在辩论论坛对话的讽刺。我们采用弱监督的语言模式学习器，定性地分析了每个类中的语言差异。
2017-09-15 cs.CL
Beyond Supervised Clarification: Input Rewriting with LLMs for Dialogue Discourse Parsing
研究在无监督条件下利用LLM零样本或基于解析器反馈重写输入以提升对话篇章解析性能，发现重写常引入回归，提出选择性干预问题并识别可重写性预测为关键缺失能力。
2026-07-03 cs.CL
Unsupervised Dialogue Act Induction using Gaussian Mixtures
University of West Bohemia（西波西米亚大学）
提出了一种新的无监督的对话行为诱导方法。给定对话语句的顺序，任务是为它们分配代表它们在对话中的功能的标签。话语被表示为编码其含义的实值向量。我们的对话模型的隐马尔可夫模型与高斯混合估计的排放概率。我们使用Gibbs抽样进行后验推理。我们目前的结果标准交换机DAMSL语料库。与强监督基线相比，我们的算法取得了令人满意的结果，并优于其他无监督算法。
2017-02-08 cs.CL
Discourse Structure Extraction from Pre-Trained and Fine-Tuned Language Models in Dialogues
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）；University of British Columbia（不列颠哥伦比亚大学）；IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；ANITI（图卢兹人工智能与自然智能研究所）
针对对话篇章处理的数据稀疏问题，提出基于PLMs注意力矩阵的无监督和半监督方法，结合对话定制微调任务，在STAC语料库上取得显著效果。
2023-06-25 cs.CL
Deploying a Retrieval based Response Model for Task Oriented Dialogues
Amazon（亚马逊）
工业环境中面向任务的对话系统需要具有高会话能力，易于适应不断变化的情况并符合业务约束。本文描述了一个3步的过程来开发一个会话模型，满足这些标准，并可以有效地扩展到一个大的响应候选人的排名。首先，我们提供了一个简单的算法来半自动地从历史对话中创建一个高覆盖率的模板集，而无需任何注释。其次，我们提出了一个神经架构，将对话上下文和适用的业务约束编码为配置文件功能，用于对下一轮进行排名。第三，我们描述了一个两阶段的学习策略，自我监督训练，然后通过人在环平台收集的有限数据进行监督微调。最后，我们描述了离线实验，并提出了部署我们的模型与人在循环与现场客户在线交谈的结果。
2022-10-25 cs.CL
Multi-Party Supervised Fine-tuning of Language Models for Multi-Party Dialogue Generation
Beijing Institute of Technology, Beijing, China（北京理工大学）；Beihang University, Beijing, China（北航）；Geely AI Lab, Beijing, China（Geely人工智能实验室）
针对大语言模型难以适配多方对话的问题，本研究提出多方微调框架MuPaS及两种训练策略，实验证明其在多方回复、说话人预测等方面效果最优，可支撑更多复杂多方应用。
2025-06-11 cs.AI cs.CL
GOLD: Improving Out-of-Scope Detection in Dialogues using Data Augmentation
ASAPP；Columbia University（哥伦比亚大学）
实用的对话系统需要检测范围外（OOS）话语的鲁棒方法，以避免会话中断和相关的故障模式。直接用标记的OOS示例训练模型会产生合理的性能，但获取此类数据是一个资源密集型过程。为了解决这个有限的数据问题，以前的方法集中在更好地建模范围内（INS）的例子的分布。我们引入黄金作为一个正交技术，增加现有的数据，训练更好的OOS检测器在低数据制度。GOLD使用来自辅助数据集的样本生成伪标记候选项，并通过一种新的过滤机制只保留最有益的候选项进行训练。在三个目标基准的实验中，顶级GOLD模型在所有关键指标上都优于所有现有方法，与基线性能中位数相比，相对增益分别为52.4%、48.9%和50.3%。我们还分析了OOS数据的独特属性，以确定最佳应用我们提出的方法的关键因素。
2021-09-07 cs.CL
Reasoning over Object Descriptions Improves Coreference Resolution in Task-Based Dialogue Systems
本文提出一种单模态测试时推理方法，通过详细物体元数据和对话历史推理提升指代消解，实验表明在SIMMC 2.1数据集上效果显著，且在少样本设置下能有效泛化到新场景和物体。
2026-04-30 cs.CL
Dialogos: a Robust System for Human-Machine Spoken Dialogue on the Telephone
本文介绍了Dialogos，在面向任务的领域的电话上的人机对话的实时系统。该系统已经过测试，在一个大的试验，没有经验的用户，它已被证明是足够强大的，允许自发的互动，以获得良好的识别性能的用户和那些得到较低的分数。该系统的鲁棒行为已经实现了通过结合使用特定的语言模型在识别阶段的分析，对自发的语音现象的宽容，一个强大的解析器的活动，并使用基于语用的对话知识。不同模块的这种集成允许处理不同层次分析的部分或全部故障。我们报告的现场试验数据的系统和评估结果的整体系统和子模块。
1996-12-20 cmp-lg cs.CL
Words Like Knives: Backstory-Personalized Modeling and Detection of Violent Communication
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（人工智能研究院）
本文基于非暴力沟通理论构建PersonaConflicts Corpus，研究关系背景故事对人类和LLMs冲突检测的影响，发现背景故事显著影响人类感知而模型难以有效利用，并持续高估信息的积极感受，强调个性化对LLMs作为沟通调解者的重要性。
2025-08-22 cs.CL
Semi-Supervised Clustering with Contrastive Learning for Discovering New Intents
MYbank, Ant Group（蚂蚁集团网商银行）
现实世界中的大多数对话系统依赖于预定义的意图和答案来提供问答服务，因此，从大型语料库中发现潜在的意图对于构建此类对话服务非常重要。考虑到大多数场景中已知的意图很少，大多数意图等待被发现，我们专注于半监督文本聚类，并试图使所提出的方法受益于标记样本，以获得更好的整体聚类性能。在本文中，我们提出了深度对比半监督聚类（DCSC），它的目的是在一个半监督的方式聚类文本样本，并提供分组的意图给操作人员。为了使DCSC充分利用有限的已知意图，我们提出了一个两阶段的DCSC训练过程，其中DCSC将在标记样本和未标记样本上进行训练，并获得更好的文本表示和聚类性能。我们在两个公共数据集上进行了实验，将我们的模型与几种流行的方法进行了比较，结果表明DCSC在所有数据集和情况下都取得了最佳性能，表明了我们工作中改进的效果。
2022-01-07 cs.AI cs.CL cs.LG
Discovering Customer-Service Dialog System with Semi-Supervised Learning and Coarse-to-Fine Intent Detection
Tianjin University（天津大学）；China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司）
任务导向对话（Task-oriented dialogue，TOD）旨在通过多轮对话帮助用户实现特定的目标。最近，基于大型预训练模型已经获得了良好的结果。然而，标签数据的稀缺性阻碍了TOD系统的大规模有效开发。在这项工作中，我们构建了一个基于教师/学生范式的弱监督数据集，该范式利用了大量未标记的对话。此外，我们建立了一个模块化的对话系统和集成的粗到细粒度的用户意图检测分类。实验结果表明，该方法能够以较高的成功率达到对话目标，并产生更连贯的响应。
2022-12-23 cs.CL
Improving Mild Cognitive Impairment Prediction via Reinforcement Learning and Dialogue Simulation
Michigan State University（密歇根州立大学）；University of Michigan（密歇根大学）；Oregon Health & Science University（俄勒冈健康与科学大学）
轻度认知功能障碍（MCI）是从正常衰老向痴呆（尤其是阿尔茨海默病）发展的前驱期。尽管MCI患者存在轻度认知功能下降，但他们具有正常的整体认知能力，因此很难与正常衰老区分开来。使用从参与者和受过训练的采访者之间记录的对话互动中获得的转录数据，并将监督学习模型应用于这些数据，最近的临床试验显示了区分MCI和正常衰老的有希望的结果。然而，与医务人员的大量互动在实践中仍然会产生大量的医疗费用。在本文中，我们提出了一种新的强化学习（RL）框架，训练一个有效的对话代理现有的成绩单从临床试验。具体而言，代理人被训练为勾画特定疾病的词汇概率分布，从而以最大化诊断准确性和最小化会话回合数的方式进行会话。我们评估了所提出的强化学习框架对MCI诊断的性能。结果表明，虽然只使用了几个回合的谈话，我们的框架可以显着优于最先进的监督学习方法。
2018-02-18 cs.CL cs.LG stat.ML
