A non-hierarchical attention network with modality dropout for textual response generation in multimodal dialogue systems
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent Cloud Xiaowei（腾讯云小微）
现有的基于文本和图像的多模态对话系统使用传统的分层递归编码器-解码器（HRED）框架，其具有用于对话语表示进行建模的话语级编码器和用于对上下文表示进行建模的上下文级编码器。尽管这些研究取得了很好的效果，但仍然面临以下挑战：（1）文本特征和视觉特征之间的交互不够细粒度。(2)上下文表示不能提供上下文的完整表示。为了解决上述问题，我们提出了一个非层次的注意力网络与模态辍学，放弃了HRED框架，并利用注意力模块编码每个话语和建模的上下文表示。为了评估我们提出的模型，我们在一个公共的多模态对话数据集上进行了全面的实验。自动和人工评估表明，我们提出的模型优于现有的方法，并达到最先进的性能。
2021-10-20 cs.CL
A Stack-Propagation Framework for Low-Resource Personalized Dialogue Generation
Harbin Institute of Technology（哈尔滨工业大学）
针对个性化对话数据稀缺问题，本文提出堆叠一个 Transformer 编码器与两个解码器的栈传播框架，以一致性理解正则化回复生成，在低资源设置下提升回复质量与角色一致性。
2024-10-26 cs.AI cs.CL
Emotion-Aware Transformer Encoder for Empathetic Dialogue Generation
Delhi Technological University（德里理工大学）
现代会话代理被训练成模仿人类交流的方式。为了在情感上与用户建立联系，这些虚拟代理需要了解用户的情感状态。Transformers是序列到序列学习中的最新技术水平，其涉及使用来自话语-响应对的词嵌入来训练编码器-解码器模型。我们提出了一个情感感知的Transformer编码器，用于捕获用户话语中的情商，以产生类似人类的移情反应。本文的贡献如下：1）在输入话语上训练的情感检测器模块确定用户在初始阶段中的情感状态2）提出了一种新颖的Transformer编码器，其将词嵌入与情感嵌入相加并归一化，从而集成了输入话语的语义和情感方面3）编码器和解码器栈属于Transformer。XL体系结构，这是语言建模的最新技术水平。在基准Facebook AI移情对话数据集上的实验证实了我们模型的有效性，与现有方法相比，生成的响应获得了更高的BLEU-4分数。智能虚拟代理现在是一个现实，包括影响作为一种模态在所有人机界面预见在不久的将来。
2022-04-24 cs.CL cs.SD eess.AS
Copy-Enhanced Heterogeneous Information Learning for Dialogue State Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Unisound Information Technology Co., Ltd（北京云知声信息技术有限公司）
对话状态跟踪（DST）是面向任务的对话系统中的一个重要组成部分，它估计用户在每个对话回合的目标。然而，大多数先前的方法通常遭受以下问题。许多判别模型，特别是端到端（E2 E）模型，很难提取出候选本体中不存在的未知值;而以往的生成模型，虽然可以从话语中提取未知值，但由于忽略了预定义本体的语义信息，导致性能下降。此外，以前的生成模型通常需要手工制作的列表来规范化生成的值。如何整合预定义本体和对话文本（异构文本）的语义信息以生成未知值并提高性能成为一个严峻的挑战。本文提出了一种基于多编码器-解码器的复制增强异构信息学习模型CEDST（Copy Enhanced Heterogeneous Information Learning Model with Multiple Encoder-Decoder for DST），该模型通过从异构文本中复制值，有效地生成包括未知值在内的所有可能值。同时，CEDST通过多个编码器有效地将大的状态空间分解为若干个小的状态空间，并采用多个解码器充分利用这些小的状态空间来产生值。多编解码器架构可以显著提高性能。实验表明，CEDST可以达到最先进的结果在两个数据集和我们构造的数据集与许多未知值。
2019-08-21 cs.CL
An Empirical Study of Multitask Learning to Improve Open Domain Dialogue Systems
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文通过在GPT-2解码器模型上引入四种辅助任务进行多任务学习，验证其能小幅一致地提升开放域对话系统在PersonaChat和DailyDialog上的表现。
2023-04-17 cs.CL
On Task-Level Dialogue Composition of Generative Transformer Model
McGill University（麦吉尔大学）；Mila（米拉）；OpenAI（开放人工智能研究中心）；Google Brain（谷歌大脑）
面向任务的对话系统通过对话帮助用户完成诸如预定电影票和订购食物之类的任务。由深度神经网络参数化的生成模型被广泛用于这种系统中的下一个转弯响应生成。对于系统的用户来说，想要在同一会话中完成多个任务是很自然的，但是生成模型组合多个任务的能力还没有得到很好的研究。在这项工作中，我们首先研究的影响，训练人与人的任务导向的对话，以提高能力，组成多个任务的Transformer生成模型。为此，我们提出并探索了两种解决方案：（1）从人与人的单任务对话中创建用于训练的合成多任务对话数据，以及（2）使用辅助损失强制编码器表示对单任务和多任务对话保持不变。我们的实验结果突出了即使是Transformer模型的复杂变体在学习从单个任务对话组成多个任务时的困难。
2020-10-09 cs.AI cs.CL
Dynamic Knowledge Fusion for Multi-Domain Dialogue State Tracking
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（中国电信人工智能研究院（TeleAI））
本文提出一种动态知识融合框架，通过对比学习和结构化提示提升多领域对话状态跟踪的准确性和泛化能力。
2026-03-11 cs.AI cs.CL
Improving Response Quality with Backward Reasoning in Open-domain Dialogue Systems
University of Amsterdam（阿姆斯特丹大学）；Microsoft（微软）；Ahold Delhaize（阿霍德德尔海兹）
在设计类人开放域对话系统时，能够生成信息丰富且连贯的对话响应至关重要。基于编码器-解码器的对话模型在解码步骤期间倾向于产生通用和沉闷的响应，因为最可预测的响应很可能是非信息响应而不是最合适的响应。为了缓解这个问题，我们提出了训练的生成模型，以双向的方式，通过添加一个反向推理步骤的香草编码器-解码器的训练。所提出的反向推理步骤推动模型产生更多信息和连贯的内容，因为正向生成步骤的输出用于在反向方向上推断对话上下文。我们的方法的优点是，正向生成和反向推理步骤是通过使用一个潜在变量，以促进双向优化同时训练。我们的方法可以在不引入边信息的情况下提高响应质量（例如，预先训练的主题模型）。所提出的双向响应生成方法实现了响应质量的最先进性能。
2021-04-30 cs.CL
Building an Efficient and Effective Retrieval-based Dialogue System via Mutual Learning
Microsoft Corporation（微软公司）；Peking University（北京大学）
建立基于检索的对话系统，可以从预先建立的索引中选择合适的反应，已经越来越受到研究者的关注。对于这项任务，采用预先训练的语言模型（如BERT）已经在许多基准测试中取得了显着进展。存在两种常见的方法，包括交叉编码器，其对输入执行完全关注，以及双编码器，其分别对上下文和响应进行编码。前者在精度上有相当大的提高，但在实际中往往不适用于大规模检索，因为在测试时需要对每个样本给予充分的关注。后者对数十亿个索引是有效的，但性能不佳。在这项工作中，我们建议结合这两个世界的最好的建立一个检索系统。具体来说，我们采用快速双编码器来取代传统的基于特征的预检索模型（如BM 25），并设置响应重排序模型作为一个更复杂的架构（如交叉编码器）。为了进一步提高我们的框架的有效性，我们训练的预检索模型和重新排序模型在同一时间通过相互学习，这使得两个模型在整个训练过程中相互学习。我们在两个基准测试上进行了实验，评估结果证明了我们提出的框架的效率和有效性。
2021-10-01 cs.CL
Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems
The Hong Kong University of Science and Technology（香港科技大学）；Salesforce Research（赛富时研究院）
对领域本体的过度依赖和跨领域知识共享的缺乏是对话状态跟踪的两个实际问题，但研究较少。现有的方法通常在推理期间跟踪未知时隙值方面存在不足，并且通常难以适应新的域。在本文中，我们提出了一个可转移的对话状态生成器（TRADE），它使用复制机制从话语中生成对话状态，在预测（域，槽，值）三元组时促进知识转移。我们的模型是由一个话语编码器，一个槽门，和一个状态发生器，这是跨域共享。实证结果表明，TRADE在MultiWOZ（一个人与人之间的对话数据集）的五个领域中实现了48.62%的最先进的联合目标准确率。此外，我们通过模拟zero-shot和Few-Shot的对话状态跟踪看不见的领域，它的传输能力。TRADE在其中一个zero-shot域中实现了60.58%的联合目标准确度，并且能够适应Few-Shot情况而不会忘记已经训练过的域。
2019-05-26 cs.AI cs.CL
A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation
Shandong University（山东大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；University of Amsterdam（阿姆斯特丹大学）
非结构化面向角色的对话系统（UPDS）已经被证明在通过利用预定义的自然语言用户角色描述（例如，“我是一个素食主义者”）。然而，预定义的用户角色描述通常很短，并且仅限于几个描述性词语，这使得难以将它们与对话相关联。因此，现有的方法要么无法使用的角色描述或使用它们不正确时，生成人物角色一致的响应。为了解决这个问题，我们提出了一个神经主题扩展框架，即人物角色探索和利用（PEE），它能够扩展预定义的用户角色描述与语义相关的内容，然后利用它们来生成对话响应。PEE由两个主要模块组成：角色探索和角色开发。前者通过使用基于变分自动编码器（VAE）的主题模型挖掘和关联现有对话语料库来学习扩展预定义的用户角色描述。后者通过利用预定义的和扩展的用户角色描述来学习生成角色一致的响应。为了使角色开发能够更好地利用用户的角色描述，我们还引入了两个面向角色的损失函数：面向角色匹配（Persona-oriented Matching，P-Match）损失和面向角色词袋（Persona-oriented Bag-of-Words，P-BoWs）损失，分别用于监督编码器和解码器中的角色选择。实验结果表明，我们的方法优于国家的最先进的基线，在自动和人工评估。
2020-02-06 cs.AI cs.CL cs.LG
PoE: a Panel of Experts for Generalized Automatic Dialogue Assessment
National University of Singapore（新加坡国立大学）；Universidad Politécnica de Madrid（马德里理工大学）；Robert Bosch (SEA) Pte Ltd（博世（东南亚）私人有限公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
预计聊天机器人将在多个领域拥有丰富的知识，例如日常聊天，信息交换和情感情况下的接地。为了有效地衡量这样的会话代理的质量，基于模型的自动对话评估指标（ADEM），预计将在多个领域表现良好。尽管取得了重大进展，但在一个领域运作良好的ADEM不一定推广到另一个领域。这就需要一个专用的领域泛化网络架构。为了解决多域对话评估任务，我们提出了一个专家小组（PoE），一个多任务网络，由一个共享的Transformer编码器和一个轻量级适配器的集合。共享编码器捕获跨域对话的一般知识，而每个适配器专门用于一个特定的域并充当域专家。为了验证这个想法，我们构建了一个高质量的多域对话数据集，利用数据增强和伪标签。PoE网络在16个对话评估数据集上进行了全面评估，这些数据集涵盖了广泛的对话领域。它在所有评估数据集的平均斯皮尔曼相关性方面达到了最先进的性能。它表现出更好的zero-shot泛化比现有的国家的最先进的ADEM和能力，很容易适应新的领域与Few-Shot迁移学习。
2022-12-18 cs.CL
Adversarial Evaluation of Dialogue Models
Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）
最近RNN编码器-解码器模型的应用在完全数据驱动的对话系统中取得了实质性进展，但评估仍然是一个挑战。对抗性损失可能是一种直接评估生成的对话响应听起来像来自人类的程度的方法。这可以减少对人类评估的需求，同时更直接地评估生成任务。在这项工作中，我们通过训练RNN来区分对话模型的样本与人类生成的样本来研究这个想法。虽然我们发现一些证据表明这种设置可能是可行的，但我们也注意到，在其实际应用中仍然存在许多问题。我们讨论这两个方面，并得出结论，未来的工作是必要的。
2017-01-27 cs.CL
A Static and Dynamic Attention Framework for Multi Turn Dialogue Generation
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对多轮对话历史建模中基于 RNN 的层级编码存在梯度消失的问题，本文提出融合静态与动态注意力的框架，并在 Ubuntu 和 Opensubtitles 上验证其有效性。
2024-10-28 cs.AI cs.CL
Improving Context Modelling in Multimodal Dialogue Generation
Heriot-Watt University（赫瑞-瓦特大学）；Adeptmind Inc.（Adeptmind公司）
在这项工作中，我们调查的任务，文本响应生成在多模态任务导向的对话系统。我们的工作是基于最近发布的多模态对话（MMD）数据集（Saha等人，2017年，在时尚领域。我们引入了一个多模态扩展的分层递归编码器-解码器（HRED）模型，并表明这种扩展优于强基线基于文本的相似性度量。我们还展示了当前的视觉和语言模型的缺点，通过对我们的系统的输出进行错误分析。
2018-10-20 cs.CL
Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems
NTT Communication Science Laboratories（日本电信电话公司通信科学实验室）
近年来，基于Transformer编码器-解码器模型，已经提出了几种高性能的会话系统。虽然以前的研究分析了模型参数和解码方法对主观对话评价的影响与整体指标，他们没有分析微调数据集的差异如何影响用户的详细印象。此外，基于transformer的方法仅针对英语进行了验证，而不适用于日语等语言间距离较大的语言。在这项研究中，我们开发了大规模的基于transformer的日语对话模型和日语聊天数据集，以研究基于transformer的方法构建聊天对话系统的有效性。我们评估和分析了人类对话在不同微调数据集、模型参数和附加信息使用中的印象。
2021-09-11 cs.AI cs.CL
Learning Neural Templates for Recommender Dialogue System
Sun Yat-sen University（中山大学）；Microsoft Corporation（微软公司）
尽管最近的端到端神经模型在会话推荐系统（CRS）上取得了可喜的进展，但仍然存在两个关键挑战。首先，建议的项目不能总是准确和适当地纳入生成的答复。第二，只有训练语料中提到的项目才有机会在对话中被推荐。为了解决这些挑战，我们引入了一个新的框架，称为NTRD的推荐对话系统，从项目推荐的对话生成。NTRD有两个关键组成部分，即，响应模板生成器和项目选择器。前者采用编码器-解码器模型来生成与目标项目相关联的槽位置的响应模板，而后者使用足够的注意力机制来填充具有适当项目的槽位置。我们的方法结合了经典的槽填充方法（通常是可控的）和现代神经NLG方法（通常更自然和准确）的优势。大量的实验表明，我们的NTRD显着优于以前的国家的最先进的方法。此外，我们的方法具有独特的优势，产生新的项目，没有出现在训练集的对话语料库。代码可在\url{https://github.com/jokieleung/NTRD}上获得。
2021-09-25 cs.AI cs.CL
Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models
Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
我们调查的任务，建立开放的领域，会话对话系统的基础上使用生成模型的大型对话语料库。生成模型产生的系统响应是逐字自动生成的，为现实的，灵活的交互开辟了可能性。为了支持这一目标，我们将最近提出的分层递归编码器-解码器神经网络扩展到对话域，并证明该模型与最先进的神经语言模型和退避n元模型具有竞争力。我们研究了这种方法和类似方法的局限性，并展示了如何通过从更大的问答对语料库和预训练的词嵌入中引导学习来提高其性能。
2016-04-06 cs.AI cs.CL cs.LG
A Sequence-to-Sequence Approach to Dialogue State Tracking
University College London（伦敦大学学院）；ByteDance AI Lab（字节跳动人工智能实验室）
研究了面向任务的对话系统中的对话状态跟踪问题。构建高效的DST模块仍然是一个具有挑战性的问题，尽管最近已经取得了重大进展。本文提出了一种新的对话状态跟踪方法，称为Seq 2Seq-DU，它将DST形式化为一个序列到序列的问题。Seq 2Seq-DU采用两个基于BERT的编码器分别对对话中的话语和模式描述进行编码，一个参与者计算话语嵌入和模式嵌入之间的注意力，一个解码器生成指针来表示对话的当前状态。Seq 2Seq-DU具有以下优点。它可以联合建模意图、槽和槽值;它可以利用基于BERT的话语和模式的丰富表示;它可以有效地处理分类和非分类槽以及看不见的模式。此外，Seq 2Seq-DU还可以用于对话系统的NLU（自然语言理解）模块中。在不同设置的基准数据集（SGD、MultiWOZ2.2、MultiWOZ2.1、WOZ2.0、DSTC 2、M2M、SNIPS和ATIS）上的实验结果表明，Seq 2Seq-DU优于现有方法。
2021-05-29 cs.AI cs.CL cs.IR
Leveraging Slot Descriptions for Zero-Shot Cross-Domain Dialogue State Tracking
The Hong Kong University of Science and Technology（香港科技大学）；Facebook；Columbia University（哥伦比亚大学）
Zero-shot跨域对话状态跟踪（DST）使我们能够在看不见的域中处理面向任务的对话，而无需收集域内数据。本文提出了一种时隙描述增强的zero-shot跨域DST生成方法。具体来说，我们的模型首先使用预先训练的自注意编码器对对话上下文和时隙进行编码，并以自回归方式生成时隙值。此外，我们将插槽类型知情的描述，捕获跨插槽的共享信息，以促进跨领域的知识转移。在MultiWOZ数据集上的实验结果表明，该方法在跨域zero-shot条件下显著改善了现有的最新结果。
2021-05-10 cs.CL
Towards Universal Dialogue Act Tagging for Task-Oriented Dialogues
Amazon（亚马逊）
用于构建面向任务的对话系统的机器学习方法需要带有标签的大型会话数据集来进行训练。我们对从人与人的对话中构建面向任务的对话系统感兴趣，这些对话可能在现有的客户服务中心日志中大量可用，或者可以从人群工作人员那里收集。注释这些数据集可能非常昂贵。最近发布了多个带注释的面向任务的人机对话数据集，但是它们的注释模式在不同的集合中有所不同，即使是对于定义良好的类别，如对话行为（DA）。我们提出了一个通用的DA模式面向任务的对话，并调整现有的注释数据集与我们的模式。我们的目标是训练一个通用DA标记器（U-DAT）的任务导向的对话，并使用它来标记人与人的对话。我们调查了多个数据集，提出了手动和自动化的方法来调整不同的模式，并在人与人对话的目标语料库上呈现结果。在无监督学习实验中，我们在人与人对话中的系统回合上获得了54.1%的F1分数。在半监督设置中，F1分数增加到57.7%，否则需要至少1.7K手动注释转弯。对于新的域，我们展示了进一步的改进，当未标记或标记的目标域数据可用。
2019-07-05 cs.AI cs.CL
End-to-end optimization of goal-driven and visually grounded dialogue systems
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；University of Montreal（蒙特利尔大学）；DeepMind
对话系统的端到端设计最近已经成为一个热门的研究课题，这要归功于强大的工具，如用于序列到序列学习的编码器-解码器架构。然而，大多数当前的方法将人机对话管理作为监督学习问题，旨在预测给定对话的完整历史的参与者的下一个话语。这种观点过于简单化，无法反映对话所固有的规划问题及其基础性质，使对话的背景大于唯一的历史。这就是为什么到目前为止，只有闲聊和问答任务使用端到端架构来解决。在本文中，我们介绍了一种深度强化学习方法，以优化视觉接地面向任务的对话，基于策略梯度算法。这种方法在通过Mechanical Turk收集的120 k对话数据集上进行了测试，并在解决生成自然对话的问题和在复杂图片中发现特定对象的任务方面提供了令人鼓舞的结果。
2017-03-15 cs.CL
A Sequence-to-Sequence Model for User Simulation in Spoken Dialogue Systems
Maluuba Research（马鲁巴研究院）
用户模拟对于生成足够的数据来训练统计口语对话系统是必不可少的。以前的用户模拟模型有几个缺点，如无法考虑到对话历史，需要刚性的结构，以确保连贯的用户行为，严重依赖于一个特定的域，无法输出几个用户的意图在一个对话回合，或要求一个概括的动作空间的易处理性。本文介绍了一种数据驱动的用户模拟器的基础上的编码器-解码器的递归神经网络。该模型将一系列对话上下文作为输入，并输出与用户意图相对应的一系列对话行为。对话上下文包括关于机器动作和用户目标的状态的信息。我们在对话状态跟踪挑战2（DSTC 2）数据集上显示，根据F分数，序列到序列模型的性能优于基于martina的模拟器和n-gram模拟器。此外，我们展示了如何使用这个模型可以在原来的动作空间，从而更精细的粒度用户行为模型。
2016-06-30 cs.CL
Schema Encoding for Transferable Dialogue State Tracking
POSTECH（浦项科技大学）；Graduate School of Artificial Intelligence（人工智能研究生院）
对话状态跟踪是面向任务的对话系统的一个重要子任务。最近的工作集中在DST的深度神经模型上。然而，神经模型需要大量的数据集进行训练。此外，将它们应用到另一个领域需要一个新的数据集，因为神经模型通常被训练来模仿给定的数据集。在本文中，我们提出了可转移对话状态跟踪（SETDST），这是一个神经DST方法有效地转移到新的域模式编码。可转移的DST可以帮助对话系统的发展，即使在目标领域的数据集很少。我们使用模式编码器不仅仅是为了模仿数据集，而是为了理解数据集的模式。我们的目标是通过编码新的模式并将其用于多域设置上的DST来将模型转移到新的域。因此，SET-DST在MultiWOZ 2.1上将接头精度提高了1.46个点。
2022-10-05 cs.CL
Designing dialogue systems: A mean, grumpy, sarcastic chatbot in the browser
University of Innsbruck（因斯布鲁克大学）；MLT Labs（MLT实验室）
在这项工作中，我们探索了一个基于深度学习的对话系统，从对话设计的角度生成讽刺和幽默的回应。我们在一个精心策划的3000个问答对的数据集上训练了一个seq 2seq模型，这是我们的意思，脾气暴躁，讽刺聊天机器人的核心。我们表明，端到端系统从小数据集中非常快速地学习模式，因此能够将表示抽象概念的简单语言结构转移到看不见的设置。我们还在浏览器中部署了基于LSTM的编码器-解码器模型，用户可以直接与聊天机器人进行交互。人类评分员评估了语言质量，创造力和人类特征，揭示了该系统的优势，局限性和未来研究的潜力。
2019-09-20 cs.CL
Polite Dialogue Generation Without Parallel Data
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
文体对话响应生成，在基于个性的会话代理中具有有价值的应用，是一项具有挑战性的任务，因为响应需要流畅，上下文相关，以及语言准确。此外，常规到风格对的并行数据集通常不可用。我们提出了三个弱监督模型，可以在没有并行数据的情况下生成不同的礼貌（或粗鲁）对话响应。我们的后期融合模型（Fusion）将编码器-注意力-解码器对话模型的解码器与在独立礼貌话语上训练的语言模型合并。我们的标签微调（LFT）模型在训练期间为每个源序列预先添加一个礼貌评分缩放标签（由我们最先进的礼貌分类器预测），并且在测试时能够通过简单地缩放标签嵌入相应的分数来生成礼貌，中立和粗鲁的响应。我们的强化学习模型（Polite-RL）通过分配与采样响应的礼貌分类器得分成比例的奖励来鼓励礼貌生成。我们还提出了两个检索为基础的礼貌对话模型基线。人类评价验证，虽然融合和基于检索的模型实现礼貌与较差的上下文相关性，LFT和礼貌RL模型可以产生显着更礼貌的反应，而不牺牲对话质量。
2018-05-08 cs.AI cs.CL cs.LG
Incorporating Joint Embeddings into Goal-Oriented Dialogues with Multi-Task Learning
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）
基于注意力的编码解码器神经网络模型最近在面向目标的对话系统中显示出了有希望的结果。然而，这些模型在保留其端到端文本生成功能的同时，很难推理和合并状态完整的知识。由于这些模型可以极大地受益于用户意图和知识图谱集成，在本文中，我们提出了一种基于RNN的端到端编码器-解码器架构，该架构使用知识图谱和语料库的联合嵌入作为输入进行训练。该模型提供了用户意图与文本生成的额外集成，使用多任务学习范式以及额外的正则化技术进行训练，以惩罚生成错误的实体作为输出。该模型还在推理期间结合了知识图谱实体查找，以保证基于所提供的本地知识图谱生成的输出是状态完整的。最后，我们使用BLEU分数对模型进行了评估，实证评估表明，我们提出的架构可以帮助改善面向任务的对话系统的性能。
2020-01-28 cs.CL cs.LG cs.NE
Analysing the potential of seq-to-seq models for incremental interpretation in task-oriented dialogue
Institute for Logic Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
我们研究了在面向任务的对话的合成数据集上训练的编码器-解码器模型如何处理不流利，例如犹豫和自我纠正。我们发现，与早期的研究结果相反，不流利性对有注意力的seq-to-seq模型的任务成功率影响很小。使用可视化和诊断分类器，我们分析了由模型逐步构建的表示，并发现模型很少甚至没有意识到不流利的结构。然而，在数据中添加不流畅似乎有助于模型整体上创建更清晰的表示，这一点可以从不同模型表现出的注意力模式中得到证明。
2018-08-28 cs.CL
Generating Responses Expressing Emotion in an Open-domain Dialogue System
University of Alberta（阿尔伯塔大学）
基于神经网络的开放式会话代理根据从大量成对话语中学习到的预测模型自动生成响应。生成的响应通常可以作为一个句子接受，但通常是沉闷的，通用的，当然没有任何情感。在本文中，我们提出了神经模型，学习表达一个给定的情感在生成的响应。我们提出了四种模型，并根据3个基线进行评估。具有多个注意层的基于编码器-解码器框架的模型在表达所需情感方面提供了最佳的整体性能。虽然它在所有情绪上的表现都不优于其他模型，但在大多数情况下，它都呈现出令人鼓舞的结果。
2018-11-15 cs.AI cs.CL cs.LG
Schema-Guided Dialogue State Tracking Task at DSTC8
Google Research（谷歌研究院）
本文概述了第八届对话系统技术挑战赛的模式引导对话状态跟踪任务。该任务的目标是开发适用于大规模虚拟助理的对话状态跟踪模型，重点是跨域的数据高效联合建模和新API的zero-shot泛化。该任务提供了一个新的数据集，包括跨越16个领域的训练集中的16000多个对话，以突出这些挑战，以及能够zero-shot推广到新API的基线模型。25个小组参与了开发一系列神经网络模型的工作，大大超过了基准模型的性能。提交的资料采用了各种预先训练的编码器和数据增强技术。本文介绍了任务定义，数据集和评估方法。我们还总结了提交的系统的方法和结果，以突出国家的最先进的整体趋势。
2020-02-02 cs.CL
Scalable Neural Dialogue State Tracking
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
对话状态跟踪器（DST）是对话系统中的关键组件，旨在估计每个对话回合处的可能用户目标的信念。目前的大多数DST跟踪器都使用递归神经网络，并且基于复杂的架构，这些架构管理对话的几个方面，包括用户话语，系统动作以及在领域本体中定义的槽值对。然而，这种神经架构的复杂性导致对话状态预测中的相当大的延迟，这限制了模型在现实世界应用中的部署，特别是当任务可扩展性（即时隙量）是一个关键因素时。在本文中，我们提出了一种用于对话状态跟踪的创新神经模型，称为全局编码器和时隙注意解码器（G-SAT），它可以以非常低的延迟时间预测对话状态，同时保持高水平的性能。我们报告的三种不同的语言（英语，意大利语和德语）的WoZ2.0数据集的实验，并表明，所提出的方法提供了竞争优势，国家的最先进的DST系统，无论是在准确性和预测的时间复杂度方面，超过15倍的速度比其他系统。
2019-10-22 cs.CL
Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
由于缺乏训练数据和异构的知识源，基于知识的对话系统的构建具有挑战性。由于训练数据中覆盖的主题有限，现有系统在看不见的主题上表现不佳。此外，异构的知识源使得系统推广到其他任务具有挑战性，因为不同知识表示中的知识源需要不同的知识编码器。为了解决这些挑战，我们提出了PLUG，一种语言模型，同质化不同的知识来源，以一个统一的知识表示知识为基础的对话生成任务。PLUG是预先训练的对话生成任务的条件下，一个统一的基本知识表示。它可以推广到不同的下游知识为基础的对话生成任务与几个训练样本。两个基准测试的实证评估表明，我们的模型在不同的知识为基础的任务，以及推广。它可以在完全监督设置下实现与最先进方法相当的性能，并且在zero-shot和Few-Shot设置下显著优于其他方法。
2022-07-31 cs.CL
Explicit State Tracking with Semi-Supervision for Neural Dialogue Generation
Fudan University（复旦大学）；National University of Singapore（新加坡国立大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
对话生成的任务旨在自动提供响应给定先前的话语。跟踪对话状态是判断用户意图的一个重要环节。然而，\emph{expensive nature of state labeling}和\emph{weak interpretability}使得对话状态跟踪对于面向任务和非面向任务的对话生成都是具有挑战性的问题：对于在面向任务的对话中生成响应，状态跟踪通常从人工注释的语料库中学习，其中人工注释对于训练来说是昂贵的;对于在非面向任务的对话中生成响应，由于对话状态的数量不受限制，大多数现有工作忽略了显式状态跟踪。在本文中，我们提出了\emph{semi-supervised explicit dialogue state tracker}（SEDST）的神经对话生成。为此，我们的方法有两个核心成分：\emph{CopyFlowNet}和\emph{posterior regularization}。具体来说，我们提出了一个编码器-解码器架构，命名为\emph{CopyFlowNet}，表示一个明确的对话状态的概率分布在词汇空间。为了优化训练过程，我们采用后验正则化策略来整合间接监督。在任务型和非任务型对话语料库上进行的大量实验证明了该模型的有效性。此外，我们发现，我们提出的半监督对话状态跟踪器实现了国家的最先进的监督学习基线状态跟踪过程中的性能相当。
2018-08-31 cs.CL
RADE: Reference-Assisted Dialogue Evaluation for Open-Domain Dialogue
Shandong University（山东大学）；Bloomberg（彭博社）
本文提出参考辅助对话评估方法 RADE，通过引入额外参考回复并采用多任务学习框架，缓解开放域对话评估中的一对多问题，在多个数据集上取得优于现有基线的人类相关性表现。
2023-09-18 cs.CL
Enhancing Goal-oriented Proactive Dialogue Systems via Consistency Reflection and Correction
Soochow University（苏州大学）
针对目标导向主动对话系统中响应与上下文不一致的问题，提出两阶段一致性反思与修正框架，通过反思识别不一致并修正，在多种模型和三个数据集上显著提升一致性。
2025-06-18 cs.CL
Learning to Retrieve Entity-Aware Knowledge and Generate Responses with Copy Mechanism for Task-Oriented Dialogue Systems
University of Science and Technology of China（中国科学技术大学）；Queen’s University（女王大学）
第9届对话系统技术挑战赛（DSTC 9）的第一个主题是面向任务的非结构化知识访问会话建模，要求建立一个系统，在给定对话历史和知识访问的情况下生成响应。这个挑战可以分为三个子任务，（1）知识寻求转向检测，（2）知识选择，和（3）知识接地响应生成。我们使用预训练的语言模型，ELECTRA和ROBERTa，作为我们不同子任务的基本编码器。对于子任务1和子任务2，使用领域和实体等粗粒度信息来增强知识使用。对于子任务3，我们使用一个隐变量来更好地编码对话历史和选择的知识，并结合复制机制生成响应。同时，对模型的最终输出进行了一些有用的后处理策略，以便在生成任务中进一步使用知识。如发布的评估结果所示，我们提出的系统在客观指标下排名第二，在人类指标下排名第四。
2020-12-22 cs.AI cs.CL cs.LG
DialogueBERT: A Self-Supervised Learning based Dialogue Pre-training Encoder
JD AI（京东人工智能）；Xiaoduo AI（晓多人工智能）
随着人工智能的快速发展，会话机器人已经在主流电子商务平台中盛行，它可以及时提供便捷的客户服务。为了满足用户，会话机器人需要理解用户的意图，检测用户的情感，并从会话语句中提取关键实体。然而，理解对话被认为是一项非常具有挑战性的任务。与一般的语言理解不同，对话中的话语是从不同的角色交替出现的，并且通常被组织成层次结构。为了促进对话的理解，在本文中，我们提出了一种新的上下文对话编码器（即对话BERT）的基础上流行的预训练的语言模型BERT。设计了五个自监督学习预训练任务来学习会话话语的特殊性。四种不同的输入嵌入，包括话轮嵌入，角色嵌入，标记嵌入和位置嵌入的集成来捕捉话语之间的关系。DialogueBERT在真实场景中预先训练了7000万个对话，然后在三个不同的下游对话理解任务中进行了微调。实验结果表明，DialogueBERT在意图识别、情感识别和命名实体识别方面分别取得了88.63%、94.25%和97.04%F1的优异成绩，大大优于几个强基线。
2021-09-22 cs.AI cs.CL
Contrast and Generation Make BART a Good Dialogue Emotion Recognizer
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Peng Cheng Laboratory（鹏城实验室）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海市智能信息处理重点实验室）
在对话系统中，具有相似语义的话语在不同的语境下可能具有不同的情感。因此，建立说话人相关的长距离语境情感关系模型在对话情感识别中起着关键作用。同时，区分不同的情感类别是不平凡的，因为它们通常具有语义相似的情感。为此，我们采用有监督的对比学习，使不同的情绪互斥，以更好地识别相似的情绪。同时，我们利用一个辅助响应生成任务，以提高模型的能力，处理上下文信息，从而迫使模型识别情感相似的语义在不同的情况下。为了实现这些目标，我们使用预训练的编码器-解码器模型BART作为我们的骨干模型，因为它非常适合理解和生成任务。在四个数据集上的实验表明，我们提出的模型在对话情感识别方面比现有的模型获得了更好的结果。消融研究进一步证明了监督对比损失和生成损失的有效性。
2022-01-24 cs.CL
Data-Efficient Goal-Oriented Conversation with Dialogue Knowledge Transfer Networks
Heriot-Watt University（赫瑞-瓦特大学）；Amazon Alexa AI（亚马逊Alexa AI）
面向目标的对话系统现在被广泛采用的行业，它是至关重要的，以保持一个快速的原型周期的新产品和领域。数据驱动的对话系统开发必须适应这一要求-因此，减少训练此类系统所需的数据和注释量是一个中心研究问题。在本文中，我们提出了对话知识转移网络（DiKTNet），一个国家的最先进的方法，以目标为导向的对话生成，只使用几个例子对话（即少样本学习），其中没有一个被注释。我们通过执行两阶段训练来实现这一点。首先，我们在多个领域的目标导向对话的大型来源MetaLWOz语料库上进行无监督对话表示预训练。其次，在传输阶段，我们使用此表示以及其他2个具有不同通用性水平的文本知识源来训练DiKTNet：ELMo编码器和主数据集的源域。我们的主要数据集是斯坦福多领域对话语料库。我们在BLEU和实体F1分数方面评估了我们的模型，并表明我们的方法在一系列基线模型以及之前最先进的对话生成模型ZSDG上有显著且一致的改进。后者的改进--在实体F1中高达10%，BLEU得分平均为3%--仅使用相当于ZSDG域内训练数据10%的数据就实现了。
2019-10-03 cs.CL
Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems
Singapore Management University（新加坡管理大学）；Institute of Inforcomm Research (I2R)（信息通信研究院）；Salesforce Research Asia（Salesforce亚洲研究院）
开发基于视频的对话系统（VGDS），其中基于给定视频的视觉和音频方面进行对话，比传统的基于图像或文本的对话系统具有更大的挑战性，因为（1）视频的特征空间跨越多个图片帧，使得难以获得语义信息;以及（2）对话代理必须感知和处理来自不同模态（音频、视频、字幕等）的信息。以获得全面的了解。大多数现有的工作都是基于RNN和序列到序列架构，这对于捕获复杂的长期依赖关系（如视频）不是很有效。为了克服这一点，我们提出了多模态Transformer网络（MTN）来编码视频并整合来自不同模态的信息。我们还提出了查询感知注意通过自动编码器提取查询感知功能的非文本模态。我们开发了一个训练过程来模拟令牌级解码，以提高推理过程中生成的响应质量。我们在对话系统技术挑战7（DSTC 7）上获得了最先进的性能。我们的模型也推广到另一个多模态视觉为基础的对话任务，并获得了良好的性能。我们使用PyTorch实现了我们的模型，代码发布在www.example.com上。
2019-07-02 cs.CL
On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
计算准确的奖励函数的能力对于通过强化学习优化对话策略至关重要。在现实世界的应用中，使用明确的用户反馈作为奖励信号通常是不可靠的，并且收集成本很高。如果用户的意图是预先知道的，或者数据可用于离线预训练任务成功预测器，则可以缓解这个问题。实际上，这两种方法都不适用于大多数现实世界的应用。在这里，我们提出了一个在线的学习框架，通过主动学习与高斯过程模型的奖励模型一起，通过联合训练的对话政策。该高斯过程对使用递归神经网络编码器-解码器以无监督方式生成的连续空间对话表示进行操作。实验结果表明，该框架能够显着降低数据标注成本，并减轻嘈杂的用户反馈对话策略学习。
2016-06-02 cs.CL cs.LG
Task Conditioned BERT for Joint Intent Detection and Slot-filling
Universidade NOVA de Lisboa（新里斯本大学）；Farfetch（发发奇）
本文提出任务条件化BERT，通过在统一Transformer编码器上同时条件化意图和多种槽位推断，在MultiWOZ上使联合意图与槽位检测最高提升14.4%，并在真实对话中取得较高性能。
2023-08-11 cs.CL
Reasoning over Object Descriptions Improves Coreference Resolution in Task-Based Dialogue Systems
本文提出一种单模态测试时推理方法，通过详细物体元数据和对话历史推理提升指代消解，实验表明在SIMMC 2.1数据集上效果显著，且在少样本设置下能有效泛化到新场景和物体。
2026-04-30 cs.CL
SAGE: State-Grounded, Abstention-Aware Evaluation of Task-Oriented Dialogue Agents
Microsoft（微软）
SAGE是一种基于状态、感知弃权的任务型对话智能体评估方法，其SAGE-Core零LLM成本且在四个数据集切片上表现不劣于各类LLM评判器，经人工审计标签保真度高。
2026-09-02 cs.AI cs.CL cs.LG
UniDS: A Unified Dialogue System for Chit-Chat and Task-oriented Dialogues
University of Science and Technology of China（中国科学技术大学）
随着深度学习的进步，聊天对话系统和面向任务的对话系统取得了巨大的进步。然而，这两个系统在当前的方法中通常被单独处理。为了实现与人类更自然的交互，对话代理需要能够聊天和完成任务。为此，我们提出了一个统一的对话系统（UniDS）与上述两个技能。特别是，我们设计了一个统一的对话数据模式，兼容聊天和面向任务的对话，我们训练UniDS与混合对话数据从一个预先训练的聊天对话模型。无需向SOTA基线添加额外的参数，UniDS可以在统一的框架中处理闲聊和面向任务的对话。实验结果表明，建议的UniDS工程以及纯聊天系统，它优于最先进的面向任务的对话系统。更重要的是，UniDS实现了更好的鲁棒性，因为它能够在两种类型的对话之间平滑切换。这些结果证明了建立一个一对多的对话系统的可行性和潜力。
2021-10-15 cs.CL
A Template-guided Hybrid Pointer Network for Knowledge-basedTask-oriented Dialogue Systems
University of Oxford（牛津大学）；Tencent（腾讯）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；ByteDance（字节跳动）；Amazon Web Services（亚马逊云科技）
现有的基于神经网络的面向任务的对话系统大多遵循编码器-解码器模式，解码器完全依赖于源文本来生成单词序列，通常存在不稳定性和可读性差的问题。受传统的基于模板的生成方法的启发，本文提出了一种基于模板的混合指针网络，用于基于知识的面向任务的对话系统，该网络从预先构建的特定领域的会话知识库中获取若干潜在相关的答案作为指导答案，并将指导答案结合到编码和解码过程中.具体来说，我们设计了一个内存指针网络模型与门控机制，充分利用检索到的答案和地面实况响应之间的语义相关性。我们在四个广泛使用的面向任务的数据集上评估了我们的模型，包括一个模拟数据集和三个手动创建的数据集。实验结果表明，该模型实现了显着更好的性能比国家的最先进的方法在不同的自动评估指标。
2021-06-10 cs.CL
A Cognitive Stimulation Dialogue System with Multi-source Knowledge Fusion for Elders with Cognitive Impairment
The University of Hong Kong（香港大学）
本文针对中文认知障碍老年人对话数据稀疏问题，构建CSConv数据集并提出多源知识融合方法，生成符合认知刺激原则和情感支持策略的开放式回应，实验验证了其有效性。
2023-05-14 cs.CL
DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents
Idiap Research Institute（Idiap研究所）；Telefónica Innovación Digital（西班牙电信创新数字公司）；Logitech（罗技公司）；Brno University of Technology（布尔诺理工大学）
该研究推出首个衡量对话智能体过程性幻觉的基准DialFork，定义三项评估任务并提出FlowKL、FlowScore指标，实验显示FlowScore优于基线，以MIT许可发布该基准供学界使用。
2026-11-02 cs.AI cs.CL cs.LG
Adversarial Domain Adaptation for Variational Neural Language Generation in Dialogue Systems
Japan Advanced Institute of Science and Technology（北陆先端科学技术大学院大学）
领域自适应是指从源领域学习一个模型，使其在不同的目标领域表现良好。在口语对话系统中，当源域有足够的标注数据，而目标域的标注数据有限时，自然语言生成（NLG）就显得尤为重要。如何最大限度地利用源领域的现有能力是领域自适应的关键问题。在本文中，我们提出了一个对抗性的训练过程，训练一个基于变分编码器-解码器的语言生成器通过多个适应步骤。在这个过程中，模型首先在源域数据上进行训练，然后在两个建议的评论家的指导下在一小组目标域话语上进行微调。实验结果表明，该方法能够有效地利用源领域中已有的知识，通过少量的领域内数据来适应另一个相关领域。
2018-08-08 cs.CL
BoK: Introducing Bag-of-Keywords Loss for Interpretable Dialogue Response Generation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
针对标准语言建模损失不足以支撑对话建模的问题，提出关键词袋（BoK）辅助损失，通过预测下轮话语关键词增强回复生成的质量与可解释性，在两类架构及多个数据集上验证了有效性与指标潜力。
2025-01-17 cs.CL
Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking
Université de Montréal（蒙特利尔大学）
本文研究了开放词汇表下的多领域对话状态跟踪问题。现有的方法利用BERT编码器和基于复制的RNN解码器，其中编码器预测状态操作，并且解码器生成新的时隙值。然而，在这种堆叠的编码器-解码器结构中，操作预测目标仅影响BERT编码器，而值生成目标主要影响RNN解码器。在本文中，我们提出了一个纯粹的基于transformer的框架，其中一个单一的BERT工程作为编码器和解码器。这样做，操作预测目标和价值生成目标可以联合优化用于DST的该BERT。在解码阶段，我们重新使用编码器的隐藏状态在相应的解码器层的自注意力机制，以构建一个扁平的编码器-解码器架构，有效的参数更新。实验结果表明，我们的方法大大优于现有的国家的最先进的框架，它也取得了非常有竞争力的性能最好的基于本体的方法。
2021-04-08 cs.AI cs.CL
DialoGen: Generalized Long-Range Context Representation for Dialogue Systems
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Indian Institute of Technology Patna（印度理工学院巴特那分校）
针对对话中超出最近 k 条话语的长程依赖问题，本文提出 DialoGen 编码器-解码器框架，通过检索最相关历史话语实现紧凑上下文表示，并在 DailyDialog 与 MultiWOZ 上达到接近 SOTA 的效果。
2023-10-03 cs.CL
Towards a Universal NLG for Dialogue Systems and Simulators with Future Bridging
MediaTek Research（联发科研究院）；Imperial College London（帝国理工学院）
在对话系统流水线中，自然语言生成（NLG）单元将对话方向和内容转换为相应的自然语言实现。对话系统的最近趋势是首先在大型数据集上进行预训练，然后使用用特定于应用的特征注释的数据集以监督的方式进行微调。虽然可以从自定义注释中学习新的行为，但所需的工作量严重限制了训练集的数量，并且特定于应用程序的性质限制了重用。鉴于最近成功的数据驱动的方法，我们提出了新的未来桥接NLG（FBNLG）概念的对话系统和模拟器。关键的一步是FBNLG接受未来的用户或系统话语，以桥接当前的上下文。未来的桥接可以在无注释的数据集上进行自我监督训练，将NLG的训练与系统的其他部分解耦。一个FBNLG，预先训练了大量的数据集，预计将适用于经典或新的对话场景，以最小的适应工作。我们评估了一个原型FBNLG表明，未来的桥接可以是一个可行的方法，一个通用的Few-Shot NLG面向任务和聊天对话。
2021-05-24 cs.AI cs.CL cs.LG
RECAP: Retrieval-Enhanced Context-Aware Prefix Encoder for Personalized Dialogue Response Generation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
针对聊天机器人一致人设构建难题，提出名为RECAP的检索增强个性化对话回复生成方法，通过分层Transformer检索器和上下文感知前缀编码器实现信息融合，在英文Reddit对话数据集上表现优于现有最优基线。
2023-06-12 cs.AI cs.CL
