Context-Aware Dialog Re-Ranking for Task-Oriented Dialog Systems
Sony Corporation（索尼公司）；Carnegie Mellon University（卡内基梅隆大学）
对话响应排名用于通过考虑响应候选与对话历史的关系来对响应候选进行排名。虽然研究者已经提出了这个概念的开放域对话，很少有人关注面向任务的对话。此外，没有以前的研究分析是否响应排序可以提高现有的对话系统在真实的人机对话与语音识别错误的性能。在本文中，我们提出了一个上下文感知的对话响应重新排序系统。我们的系统通过两个步骤对响应进行重新排序：（1）计算每个候选响应和当前对话上下文的匹配分数;（2）将匹配分数和来自现有对话系统的候选响应的概率分布相结合，以进行响应重新排序。通过使用基于神经词嵌入的模型和手工或基于逻辑回归的集成模型，我们已经改进了最近提出的端到端面向任务的对话系统在具有语音识别错误的真实对话上的性能。
2018-11-28 cs.CL
DivTOD: Unleashing the Power of LLMs for Diversifying Task-Oriented Dialogue Representations
Meituan（美团）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出 DivTOD 预训练模型，通过与大语言模型协作迁移多样化知识并去除矛盾领域知识，在多个下游任务型对话任务上超越强基线，有效学习对话的内在多样性。
2024-03-31 cs.CL
KETOD: Knowledge-Enriched Task-Oriented Dialogue
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Meta
现有的对话系统研究大多将面向任务的对话和聊天作为独立的研究领域。为了构建一个可以与用户自然无缝对话的类人助理，构建一个有效进行两种类型对话的对话系统非常重要。在这项工作中，我们研究如何面向任务的对话和知识为基础的闲聊可以有效地整合到一个单一的模型。为此，我们创建了一个新的数据集，KETOD（知识丰富的面向任务的对话），在那里我们自然地丰富了基于相关实体知识的闲聊面向任务的对话。我们还提出了两个新的模型，SimpleToDPlus和组合器，所提出的任务。自动和人工评估的实验结果表明，所提出的方法可以显着提高知识丰富的响应生成的性能，同时保持有竞争力的面向任务的对话性能。我们相信我们的新数据集将是未来研究的宝贵资源。我们的数据集和代码可在\url{https://github.com/facebookresearch/ketod}上公开获得。
2022-05-11 cs.CL
Sequence-to-Sequence Learning for Task-oriented Dialogue with Dialogue State Representation
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
面向任务的对话系统的经典流水线模型需要对对话状态进行显式建模，并手工构建动作空间来查询特定领域的知识库。相反，序列到序列模型学习将对话历史映射到当前回合的响应，而无需显式的知识库查询。在这项工作中，我们提出了一个新的框架，利用经典的管道和序列到序列模型的优势。我们的框架模型的对话状态作为一个固定大小的分布式表示，并使用此表示查询知识库通过注意力机制。在斯坦福多回合多领域面向任务的对话数据集上的实验表明，我们的框架在自动和人工评估方面都显着优于其他基于序列到序列的基线模型。
2018-06-12 cs.CL
Training Neural Response Selection for Task-Oriented Dialogue Systems
PolyAI Limited（PolyAI有限公司）
尽管它们在聊天机器人文献中很受欢迎，但基于检索的模型对面向任务的对话系统的影响不大，其应用的主要障碍是大多数面向任务的对话任务的低数据机制。受语言建模中预训练最近成功的启发，我们提出了一种有效的方法，用于在面向任务的对话中部署响应选择。为了训练面向任务的对话任务的响应选择模型，我们提出了一种新的方法：1）在大型通用领域对话语料库上预训练响应选择模型;然后2）针对目标对话领域微调预训练模型，仅依赖于小的领域内数据集来捕获给定对话领域的细微差别。我们的评估六个不同的应用领域，从电子商务到银行，证明了所提出的培训方法的有效性。
2019-06-07 cs.CL
Precognition in Task-oriented Dialogue Understanding: Posterior Regularization by Future Context
Ant Group（蚂蚁集团）
面向任务的对话系统是近年来研究的热点。在面向任务的对话系统中，对话理解被广泛用于理解用户的意图、情感和对话状态。大多数以前的作品，这种歧视性的任务只模型当前查询或历史对话。即使在某些工作中，整个对话流被建模，它是不适合现实世界的面向任务的会话，因为未来的上下文是不可见的，在这种情况下。在本文中，我们提出了联合模型的历史和未来的信息，通过后验正则化方法。更具体地说，通过将当前话语和过去的上下文建模为先验，将整个对话流建模为后验，我们优化了这些分布之间的KL距离，以在训练过程中正则化我们的模型。只有历史信息才能用于推理。在两个对话数据集上的实验验证了该方法的有效性，与所有基线模型相比，取得了更好的结果。
2022-03-07 cs.CL
Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Samsung Research（三星研究院）
在这项工作中，我们提出了一种混合学习方法，通过在线用户交互训练面向任务的对话系统。用于学习面向任务的对话的流行方法包括在监督的预训练模型上应用具有用户反馈的强化学习。这种学习方法的效率可能受到离线训练和在线交互式学习阶段之间的对话状态分布的不匹配的影响。为了解决这一挑战，我们提出了一种混合模仿和强化学习的方法，与对话代理可以有效地学习，从人类的教学和反馈与用户的互动。我们设计了一个基于神经网络的面向任务的对话代理，可以优化端到端的学习方法。实验结果表明，我们的端到端的对话代理可以有效地学习，从它所犯的错误，通过模仿学习从用户教学。在模仿学习阶段之后应用具有用户反馈的强化学习进一步提高了代理成功完成任务的能力。
2018-04-18 cs.CL
Relevance of Unsupervised Metrics in Task-Oriented Dialogue for Evaluating Natural Language Generation
Microsoft Maluuba（微软 Maluuba）
诸如BLEU的自动化度量在机器翻译文献中被广泛使用。它们最近也被对话界用于评估对话回应的生成。然而，以前的工作中的对话响应生成表明，这些指标不密切相关的非面向任务的对话设置与人类的判断。任务导向型对话的回答表达的领域较窄，多样性较低。因此，有理由认为，这些自动化的指标将与人类的判断在面向任务的设置，其中生成任务包括翻译成一个句子的对话行为。我们进行了实证研究，以证实是否是这样。我们的研究结果表明，这些自动化的指标有更强的相关性与人类的判断，在面向任务的设置相比，在非面向任务的设置。我们还观察到，这些指标与提供多个地面真实参考句子的数据集的相关性更好。此外，我们表明，一些目前可用的语料库面向任务的语言生成可以解决简单的模型和倡导更具挑战性的数据集。
2017-06-29 cs.CL
An End-to-End Trainable Neural Network Model with Belief Tracking for Task-Oriented Dialog
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的端到端的可训练神经网络模型面向任务的对话系统。该模型能够跟踪对话状态，向知识库（KB）发出API调用，并将结构化的KB查询结果合并到系统响应中，以成功地完成面向任务的对话。该模型通过共同学习信念跟踪和KB结果处理条件的对话历史，产生结构良好的系统响应。我们使用从第二个对话状态跟踪挑战（DSTC 2）语料库转换的数据集来评估餐厅搜索域中的模型。实验结果表明，该模型可以鲁棒地跟踪对话状态给定的对话历史。此外，我们的模型在产生适当的系统响应方面表现出良好的效果，优于使用每个响应准确度评估指标的先前端到端可训练神经网络模型。
2017-08-20 cs.CL
CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
为了推进多领域（跨领域）对话建模，以及缓解中国面向任务的数据集的不足，我们提出了CrossWOZ，第一个大规模的中国跨领域向导Oz面向任务的数据集。它包含6 K对话会话和5个领域的102 K话语，包括酒店，餐厅，景点，地铁和出租车。此外，语料库包含了丰富的用户和系统双方的对话状态和对话行为的注释。大约60%的对话具有跨域用户目标，这些目标有利于域间依赖，并鼓励对话中跨域的自然过渡。我们还提供了一个用户模拟器和几个基准模型的流水线面向任务的对话系统，这将有助于研究人员比较和评估他们的模型在这个语料库。CrossWOZ的大尺寸和丰富的注释使其适合研究跨域对话建模中的各种任务，如对话状态跟踪、策略学习、用户模拟等。
2020-02-28 cs.CL
Dialog-to-Actions: Building Task-Oriented Dialogue System via Action-Level Generation
Meituan Group（美团集团）；Peking University（北京大学）
针对工业场景中任务型对话系统在可控性和效率上的瓶颈，提出基于动作级生成的对话系统，通过构建对话动作序列并训练 Seq2Seq 模型生成动作再转换为响应，实现轻量且具竞争力的可控高效方案。
2023-04-03 cs.CL
Towards Task-Oriented Dialogue in Mixed Domains
FPT Technology Research Institute（FPT技术研究院）；FPT University（FPT大学）；Vietnam National University（越南国家大学）
本文研究了混合域环境下的任务型对话问题。我们使用两个相关的国家的最先进的对话系统的对话轮序列中的不同域之间的交替的效果进行研究。我们首先表明，一个专门的状态跟踪组件在多个领域中发挥着重要的作用，并给出了更好的结果比一个端到端的面向任务的对话系统。然后，我们提出了一个混合系统，这是能够提高约28%的平均绝对点在一个标准的多域对话数据集的信念跟踪精度。这些实验结果为改进我们的商业聊天机器人平台FPT.AI提供了一些有用的见解，该平台目前已被部署用于许多实际的聊天机器人应用。
2019-09-05 cs.CL
Adversarial Learning of Task-Oriented Neural Dialog Models
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了一个对抗性学习方法的奖励估计强化学习（RL）为基础的面向任务的对话模型。当前大多数基于RL的面向任务的对话系统都需要访问来自用户反馈或用户评级的奖励信号。然而，这种用户评级在实践中可能并不总是一致或可用的。此外，使用RL的在线对话策略学习通常需要向用户进行大量查询，从而遭受样本效率问题。为了解决这些挑战，我们提出了一种对抗性学习方法，直接从对话样本中学习对话奖励。这样的奖励进一步用于利用基于策略梯度的RL来优化对话策略。在餐馆搜索领域的评估中，我们表明，与强基线方法相比，所提出的对抗性对话学习方法实现了高级对话成功率。我们进一步讨论了在线对抗对话学习中的协变量偏移问题，并展示了如何通过部分访问用户反馈来解决这个问题。
2018-05-30 cs.CL
Dialog2API: Task-Oriented Dialogue with API Description and Example Programs
AWS AI Labs（亚马逊云科技人工智能实验室）
功能性和对话体验是任务导向对话系统的两个重要因素。具有封闭模式的常规方法（例如，会话语义解析）经常失败，因为功能和对话体验都受到底层模式的强烈约束。我们引入了一种新的面向任务的对话模式-Dialog 2API-以极大地扩展功能并提供无缝的对话体验。会话模型通过生成和执行触发一组预定义API的程序来与环境交互。该模型还管理对话策略，并通过生成适当的自然语言响应与用户交互。通过允许生成自由形式的程序，Dialog 2API通过组合不同的API来支持复合目标，而不受限制的程序修订提供了自然和强大的对话体验。为了方便Dialog 2API，核心模型提供了API文档，执行环境和可选的一些用程序注释的示例对话。我们提出了一种为Dialog 2API量身定制的方法，其中对话状态由程序堆栈表示，最近提到的程序位于堆栈的顶部。Dialog 2API可用于许多应用场景，如软件自动化和客户服务。在本文中，我们为AWS S3 API构建了一个数据集，并展示了上下文学习基线的评估结果。
2022-12-20 cs.CL
Modeling Long Context for Task-Oriented Dialogue State Generation
Soochow University（苏州大学）
基于最近提出的可转移的对话状态生成器（TRADE），预测对话状态，从话语连接的对话上下文，我们提出了一个多任务学习模型，一个简单而有效的话语标记技术和双向语言模型作为辅助任务的面向任务的对话状态生成。通过使模型能够学习更好地表示长对话上下文，我们的方法试图解决当输入对话上下文序列较长时基线性能显着下降的问题。在我们的实验中，我们提出的模型比基线实现了7.03%的相对改进，在MultiWOZ 2.0数据集上建立了52.04%的新的最先进的联合目标准确度。
2020-04-29 cs.CL
BORT: Back and Denoising Reconstruction for End-to-End Task-Oriented Dialog
JD AI Research（京东人工智能研究院）
典型的端到端面向任务的对话系统将上下文转换为对话状态，并在其上生成响应，这通常面临来自先前生成的不准确的对话状态和响应的错误传播的问题，特别是在低资源场景中。为了缓解这些问题，我们提出了BORT，一个后端和去噪重建方法的端到端面向任务的对话系统。为了提高对话状态的准确性，由于不准确的对话状态不能恢复相应的输入上下文，因此使用反向重建来从生成的对话状态重建原始输入上下文。为了增强模型的去噪能力以减少错误传播的影响，使用去噪重建来重建损坏的对话状态和响应。在MultiWOZ 2.0和CamRest676上进行的大量实验表明了BORT的有效性。此外，BORT在zero-shot域和低资源场景中展示了其高级功能。
2022-05-05 cs.CL
BootTOD: Bootstrap Task-oriented Dialogue Representations by Aligning Diverse Responses
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan（美团）
针对任务型对话预训练中对比框架依赖正负样本且缺乏多样性的问题，本文提出 BootTOD，通过自举对齐上下文与上下文加响应表示并利用多响应目标建模一对多多样性，在下游任务上超过 TOD 基线。
2024-03-02 cs.CL
Searching for Snippets of Open-Domain Dialogue in Task-Oriented Dialogue Datasets
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire Interdisciplinaire des Sciences du Numérique（数字科学跨学科实验室）
本研究通过主题建模探索Schema-Guided Dialogues和MultiWOZ训练集，发现面向任务对话数据中自然存在社交闲聊序列，为闲聊与任务对话的结合研究提供了依据。
2023-11-23 cs.CL
TOD-DA: Towards Boosting the Robustness of Task-oriented Dialogue Modeling on Spoken Conversations
Baidu Inc.（百度公司）
面向任务的对话系统一直受到获取大规模、高质量带注释对话的困难的困扰。此外，大多数公开可用的数据集仅包括书面对话，这不足以反映实际口语对话系统中的实际人类行为。在本文中，我们提出了面向任务的对话数据增强（TOD-DA），一种新的模型无关的数据增强范例，以提高面向任务的对话建模的口语对话的鲁棒性。TOD-DA由两个模块组成：1）对话丰富，用于扩展面向任务的对话的训练数据，以缓解数据稀疏性; 2）口语对话模拟器，用于模拟不同粒度的口语风格表达和语音识别错误，以弥合书面和口语对话之间的差距。通过这些设计，我们的方法在DSTC 10 Track 2的两个任务中均排名第一，DSTC 10 Track 2是面向任务的口语对话建模的基准，证明了我们提出的TOD-DA的优越性和有效性。
2021-12-23 cs.CL
Iterative Policy Learning in End-to-End Trainable Task-Oriented Neural Dialog Models
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个深度强化学习（RL）框架，用于端到端面向任务的对话系统中的迭代对话策略优化。使用RL学习对话策略的流行方法包括让对话代理学习用户模拟器。然而，构建一个可靠的用户模拟器并不简单，它通常和构建一个好的对话代理一样困难。我们通过模拟两个代理之间的对话来联合优化对话代理和具有深度RL的用户模拟器来解决这一挑战。我们首先引导一个基本的对话代理和一个基本的用户模拟器直接从对话语料库与监督训练。然后，我们通过让两个代理进行面向任务的对话并使用深度RL迭代优化其策略来进一步改进它们。对话代理和用户模拟器都是用可以端到端训练的神经网络模型设计的。我们的实验结果表明，与监督训练和单智能体RL训练基线模型相比，所提出的方法在任务成功率和总任务奖励方面都有很大的改进。
2017-09-18 cs.CL
Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users
Seoul National University（首尔大学）；Amazon（亚马逊）
本文提出 Multi-User MultiWOZ 数据集和查询改写任务，将多用户聊天改写为单用户式查询，在不改动现有对话系统的前提下显著提升对话状态跟踪性能。
2023-10-31 cs.CL
Adapting Task-Oriented Dialogue Models for Email Conversations
Microsoft（微软）
意图检测是会话助理的任何自然语言理解（NLU）系统的关键部分。检测正确的意图对于存在多个指令和意图的电子邮件对话来说是必不可少的，但也很困难。在这样的设置中，对话上下文可以成为用于检测来自助理的用户请求的关键消歧因素。一个突出的方式纳入上下文是建模过去的会话历史，如面向任务的对话模型。然而，电子邮件对话（长格式）的性质限制了直接使用面向任务的对话模型的最新进展。因此，在本文中，我们提供了一个有效的迁移学习框架（EMToD），允许对话模型的最新发展，以适应长形式的对话。我们表明，所提出的EMToD框架的意图检测性能提高了45%，超过预训练的语言模型和30%的面向任务的电子邮件对话的预训练的对话模型。此外，所提出的框架的模块化性质允许即插即用的任何未来的发展，在预先训练的语言和面向任务的对话模型。
2022-08-19 cs.CL
"How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations
Amazon Alexa AI（亚马逊Alexa人工智能部门）
由于现有的数据集，对话建模的大多数工作都是在书面对话上进行的。然而，书面对话不足以完全捕获口头对话的性质以及实际口头对话系统中的潜在语音识别错误。本文提出了一种新的面向任务的口语会话基准，旨在研究多领域对话状态跟踪和基于知识的对话建模。我们报告说，现有的最先进的书面对话训练模型在我们的口语数据上表现不佳，正如预期的那样。此外，我们观察到改进的任务性能时，利用n-最好的语音识别假设，如通过结合预测的基础上个别假设。我们的数据集可以对面向任务的对话系统进行基于语音的基准测试。
2021-09-28 cs.CL
Hello, It's GPT-2 -- How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems
Cambridge University（剑桥大学）；PolyAI Limited（PolyAI有限公司）
数据稀缺是一个长期存在的关键挑战，它阻碍了跨多个领域的面向任务的对话系统的快速开发：面向任务的对话模型预计将从少量的特定于任务的数据中学习语法，句法，对话推理，决策和语言生成。在本文中，我们证明了语言建模预训练和迁移学习的最新进展有望克服这个问题。我们提出了一个面向任务的对话模型，只对文本输入操作：它有效地绕过明确的政策和语言生成模块。在TransferTransfo框架之上构建（Wolf等人，2019）和生成模型预训练（Radford et al.，2019），我们从MultiWOZ数据集验证了复杂的多领域面向任务的对话方法。我们的自动和人工评估表明，所提出的模型与强大的任务特定神经基线相当。从长远来看，我们的方法有望缓解数据稀缺问题，并支持构建更具吸引力和更雄辩的面向任务的会话代理。
2019-08-04 cs.CL
Adding Chit-Chat to Enhance Task-Oriented Dialogues
Cornell University（康奈尔大学）；Facebook（脸书公司）；Facebook AI Research（脸书人工智能研究院）
现有的对话语料库和模型通常是在两个不相交的动机下设计的：而面向任务的系统专注于实现功能目标（例如，预订酒店），开放域聊天机器人旨在进行社交参与对话。在这项工作中，我们建议通过将Chit-Chat添加到ENhance Task-Oriented对话（ACCENTOR）来集成这两种类型的系统，目标是使虚拟助理对话更具吸引力和互动性。具体来说，我们提出了一种人类<->AI协作数据汇集方法，用于生成多样化的聊天响应，以最小的注释工作来增强面向任务的对话。然后，我们将我们新的基于聊天的注释呈现给来自两个流行的面向任务的数据集（Schema-Guided Dialogue和MultiWOZ 2.1）的23.8K对话，并通过人工评估展示了它们相对于原始对话的优势。最后，我们提出了三种新的模型，用于将闲聊添加到面向任务的对话中，明确训练以预测用户目标并生成上下文相关的闲聊响应。自动和人工评估表明，与最先进的面向任务的基线相比，我们的模型可以在任务和聊天之间进行代码切换，以更吸引人，有趣，知识渊博和人性化，同时保持有竞争力的任务性能。
2021-05-01 cs.CL
Learning End-to-End Goal-Oriented Dialog
Facebook AI Research（Facebook人工智能研究院）
面向目标的应用程序中使用的传统对话系统需要大量特定于领域的手工制作，这阻碍了扩展到新领域。端到端对话系统，其中所有组件都是从对话本身训练的，摆脱了这个限制。但是，最近在闲聊对话中取得的令人鼓舞的成功可能不会延续到目标导向的环境中。本文提出了一个测试床，打破了面向目标的应用程序中的端到端对话系统的优点和缺点。在餐厅预订的背景下，我们的任务需要操纵句子和符号，以便正确地进行对话，发出API调用并使用这些调用的输出。我们表明，基于内存网络的端到端对话系统可以达到有前途的，但不完美的，性能和学习执行非平凡的操作。我们通过将我们的系统与第二次对话状态跟踪挑战（Henderson et al.，2014年a）。我们从在线礼宾服务中提取的数据显示了类似的结果模式。
2017-03-30 cs.CL
DORA: Toward Policy Optimization for Task-oriented Dialogue System with Efficient Context
Pohang University of Science and Technology（浦项科技大学）
最近，强化学习（RL）已经通过使用潜在动作来解决监督学习（SL）的缺点，被应用于面向任务的对话系统。在本文中，我们提出了一个多领域的面向任务的对话系统，称为对话系统与优化循环的行动政策使用有效的上下文（DORA），使用SL，随后应用RL优化对话系统使用循环的对话政策。这种对话策略会反复生成显式的系统操作，作为单词级别和高级策略。因此，DORA在SL和RL步骤期间通过使用考虑有效上下文而不是整个对话历史的显式系统动作策略而被明显优化。系统行为既可解释又可控制，而潜在行为则不然。DORA将MultiWOZ 2.0的成功率提高了6.6分，将MultiWOZ 2.1的成功率提高了10.9分。
2021-07-07 cs.CL
Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems
Maluuba Research（Maluuba 研究院）
本文介绍了Frames数据集（Frames可在http：//www.maluuba.com/Frames上获得），这是一个包含1369个人与人之间对话的语料库，每个对话平均有15个回合。我们开发了这个数据集来研究记忆在目标导向的对话系统中的作用。基于帧，我们引入了一个任务称为帧跟踪，它扩展了状态跟踪的设置，同时跟踪多个状态。我们为此任务提出了一个基线模型。我们表明，框架也可以用来研究记忆中的对话管理和信息呈现通过自然语言生成。
2017-04-13 cs.CL
Mars: Modeling Context & State Representations with Contrastive Learning for End-to-End Task-Oriented Dialog
JD AI Research（京东人工智能研究院）
本文提出端到端任务型对话系统 Mars，通过两种对比学习策略建模对话上下文与信念/动作状态表示的关系，发现与语义状态差异更大的上下文表示更有利于多轮对话，并在 MultiWOZ 2.0、CamRest676 和 CrossWOZ 上取得最优性能。
2023-07-10 cs.CL
UBAR: Towards Fully End-to-End Task-Oriented Dialog Systems with GPT-2
Sun Yat-sen University（中山大学）
本文介绍了我们的面向任务的对话系统UBAR模型面向任务的对话对话会话级别。具体而言，UBAR是通过在整个对话会话的序列上微调大型预训练单向语言模型GPT-2来获得的，该整个对话会话的序列由每个对话回合的用户话语、信念状态、数据库结果、系统动作和系统响应组成。此外，UBAR在更现实的设置中进行评估，其中其对话上下文可以访问用户话语及其生成的所有内容，例如信念状态，系统行为和系统响应。在MultiWOZ数据集上的实验结果表明，UBAR在多个设置中实现了最先进的性能，响应生成、策略优化和端到端建模的综合得分分别提高了4.7、3.5和9.4分。深入的分析表明，会话级的训练序列制定和生成的对话上下文是必不可少的UBAR作为一个完全端到端的面向任务的对话系统在现实生活中。我们还检查了UBAR向数据有限的新领域的传输能力，并提供了可视化和案例研究来说明UBAR在对话会话级别建模方面的优势。
2021-03-18 cs.CL
UBARv2: Towards Mitigating Exposure Bias in Task-Oriented Dialogs
Sun Yat-sen University（中山大学）
本文研究了面向任务的对话系统中的曝光偏差问题，其中模型在多个回合中生成的内容在训练时驱动对话上下文远离地面真实分布，引入错误传播并损害TOD系统的鲁棒性。为了弥合多轮面向任务的对话框的训练和推理之间的差距，我们提出了会话级采样，该采样在训练期间将模型显式暴露给采样生成的对话上下文内容。此外，我们采用了基于丢弃的一致性正则化和掩蔽策略R-Mask，以进一步提高模型的鲁棒性和性能。所提出的UBARv 2在标准化评估基准MultiWOZ上实现了最先进的性能，大量实验表明了所提出方法的有效性。
2022-09-15 cs.CL
Gaining Insights into Unrecognized User Utterances in Task-Oriented Dialog Systems
IBM Research（IBM研究院）
快速增长的市场需求的自动对话代理能够面向目标的行为，导致许多技术行业的领导者投入大量精力到面向任务的对话系统。这些系统的成功高度依赖于其意图识别的准确性-推断用户请求的目标或含义并将其映射到已知意图之一以进行进一步处理的过程。因此，深入了解未识别的话语（系统无法将用户请求归因于已知意图）是持续改进面向目标的对话系统的关键过程。我们提出了一个端到端的管道处理未识别的用户话语，部署在现实世界中，商业任务导向的对话系统，包括专门定制的聚类算法，一种新的方法来集群代表提取，和集群命名。我们评估了所提出的组件，展示了它们在分析未识别用户请求方面的优势。
2022-10-24 cs.CL
Coreference Augmentation for Multi-Domain Task-Oriented Dialogue State Tracking
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
对话状态跟踪（DST）是通过估计给定对话历史的信念状态来推断用户目标的过程，在面向任务的对话系统中起着至关重要的作用。在多话轮会话中观察到的共指现象没有解决现有的DST模型，导致次优性能。在本文中，我们提出了共指对话状态跟踪器（CDST），显式模型的共指功能。特别是，在每一轮，该模型联合预测的共指域插槽对，并提取共指值的对话上下文。在MultiWOZ 2.1数据集上的实验结果表明，该模型达到了最先进的联合目标的准确率为56.47%。
2021-06-16 cs.CL
GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection
Alibaba（阿里巴巴）
预先训练的模型在增强面向任务的对话系统方面已被证明是强大的。然而，目前的预训练方法主要集中在提高对话理解和生成任务，而忽略了开发的对话策略。在本文中，我们提出了GALAXY，一种新的预训练的对话模型，显式地学习对话策略，从有限的标记对话和大规模的未标记的对话语料库，通过半监督学习。具体来说，我们在预训练期间引入了一个对话行为预测任务来进行策略优化，并采用一致性正则化项来在未标记对话框的帮助下改进学习的表示。我们还实现了一个门控机制来衡量合适的未标记的对话框样本。实证结果表明，GALAXY大大提高了面向任务的对话系统的性能，并在基准数据集上取得了新的最先进的结果：In-Car，MultiWOZ2.0和MultiWOZ2.1，分别将其端到端综合得分提高了2.5，5.3和5.5分。我们还表明，GALAXY有一个更强的Few-Shot能力比现有的模型在各种低资源设置。
2022-03-29 cs.CL
MultiWOZ 2.3: A multi-domain task-oriented dialogue dataset enhanced with annotation corrections and co-reference annotation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huawei Technologies（华为技术有限公司）；Tsinghua University（清华大学）
面向任务的对话系统已经取得了前所未有的进展，多个国家的最先进的（SOTA）模型的支持下，一些公开可用的MultiWOZ数据集。对话状态注释容易出错，导致次优性能。在纠正原始MultiWOZ数据集中存在的注释错误方面已经做出了各种努力。在本文中，我们介绍了MultiWOZ 2.3，其中我们区分了对话行为中的不正确注释和对话状态，在发布更新的数据集时识别出缺乏共同引用。为了保证对话行为和对话状态之间的一致性，我们实现了共指功能，并统一了对话行为和对话状态的注释。我们在MultiWOZ 2.3上更新了自然语言理解和对话状态跟踪的最新性能，结果显示比以前版本的MultiWOZ数据集（2.0-2.2）有显著改进。
2021-06-14 cs.CL
Topic-Aware Response Generation in Task-Oriented Dialogue with Unstructured Knowledge Access
University College London（伦敦大学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
为了缓解结构化数据库的有限覆盖的问题，最近的面向任务的对话系统将外部非结构化知识，以指导系统响应的生成。然而，这些通常使用单词或句子级别的相似性来检测相关的知识上下文，这只能部分捕获主题级别的相关性。在本文中，我们研究如何更好地整合主题信息的知识为基础的面向任务的对话，并提出了“主题感知响应生成”（TARG），一个端到端的响应生成模型。TARG结合了多个主题感知的注意力机制，以获得对对话话语和外部知识源的重要性加权方案，从而更好地理解对话历史。实验结果表明，TARG在知识选择和响应生成方面达到了最先进的性能，在Doc 2Dial上的EM，F1和BLEU-4中分别比以前的最先进性能高出3.2，3.6和4.2分，并在DSTC 9上与以前的工作进行了比较;两者都是以知识为基础的面向任务的对话数据集。
2022-12-10 cs.CL
Graph Neural Network Policies and Imitation Learning for Multi-Domain Task-Oriented Dialogues
Avignon University（阿维尼翁大学）；Orange Labs（奥兰治实验室）
面向任务的对话系统被设计成在与人对话的同时实现特定目标。在实践中，他们可能必须同时处理多个领域和任务。因此，对话管理器必须能够考虑到域的变化，并计划在不同的域/任务，以处理多域对话。然而，在这种情况下，强化学习变得困难，因为状态-动作维度更大，而奖励信号仍然很少。我们的实验结果表明，基于图神经网络结合不同程度的模仿学习的结构化策略可以有效地处理多领域对话。报告的实验强调结构化的政策比标准的政策的好处。
2022-10-11 cs.CL
Quantized-Dialog Language Model for Goal-Oriented Conversational Systems
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一种新的方法来解决对话学习的背景下，面向目标的会话系统。其关键思想是将对话空间划分为集群，并在集群中创建语言模型，从而允许准确选择对话中的下一个话语。语言模型依赖于与话语聚类相关联的n-gram。这种量化的对话语言模型方法已被应用到最新的对话系统技术挑战（DSTC 6）的端到端的目标导向的轨道。我们的目标是找到正确的系统话语从一个池的候选人，以完成用户和自动餐厅预订系统之间的对话。我们的研究结果表明，本文提出的技术实现了高精度的选择正确的候选话语，并优于其他国家的最先进的方法的基础上神经网络。
2018-12-26 cs.CL
Multijugate Dual Learning for Low-Resource Task-Oriented Dialogue System
Fudan University（复旦大学）
本文提出多分支对偶学习方法，通过挖掘不确定话语与确定性对话状态之间的对齐信息，在不增加参数的前提下提升低资源任务型对话系统的数据利用效率和泛化能力，并在多个基准上取得最优结果。
2023-05-25 cs.CL
Contextual Data Augmentation for Task-Oriented Dialog Systems
Amazon Alexa（亚马逊Alexa）
本文提出一种基于完整对话上下文的用户话语生成模型，结合新的提示设计和输出重排序，在MultiWoZ和SGD基准上将对话成功率提升高达8%。
2023-10-16 cs.CL
TRACER: Early Failure Detection for Task-Oriented Dialogue
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
研究面向任务对话的早期故障检测问题，核心方法是结合信念状态变化的轨迹信号与对话状态文本表示预测对话是否失败，贡献是能在对话结束前检测故障信号，优于基线方法。
2026-07-07 cs.CL
Key-Value Retrieval Networks for Task-Oriented Dialogue
Ford Research Innovation Center（福特研究创新中心）
神经任务导向的对话系统通常难以与知识库平滑地接口。在这项工作中，我们试图通过提出一种新的神经对话代理来解决这个问题，该代理能够通过一种新型的键值检索机制有效地维持接地的多域话语。该模型是端到端可区分的，并且不需要显式地对对话状态或信念跟踪器进行建模。我们还发布了一个包含3,031个对话的新数据集，这些对话基于底层知识库，涵盖车载个人助理领域的三个不同任务：日历调度、天气信息检索和兴趣点导航。我们的架构同时对来自所有领域的数据进行训练，并且根据自动和人工评估指标，在所提供的领域上显著优于基于规则的竞争系统和其他现有的神经对话架构。
2017-07-14 cs.CL
Using a KG-Copy Network for Non-Goal Oriented Dialogues
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；Volkswagen Group Research（大众汽车集团研究部）
非目标导向的生成式对话系统缺乏用有根据的事实生成答案的能力。知识图谱可以被认为是对现实世界的一种抽象，它由有充分根据的事实组成。本文解决了通过将知识图谱集成到对话系统响应生成过程中，以端到端的方式生成良好接地响应的问题。本文提出了一个非目标导向对话的数据集，在足球领域，不同的俱乐部和国家队的交谈，以及这些球队的知识图谱。还提出了一种新的神经网络架构作为该数据集的基线，它可以将知识图谱集成到响应生成过程中，产生清晰的、基于知识的响应。经验证据表明，所提出的模型表现优于其他国家的最先进的知识图谱集成对话系统。
2019-10-17 cs.CL
DiactTOD: Learning Generalizable Latent Dialogue Acts for Controllable Task-Oriented Dialogue Systems
Columbia University（哥伦比亚大学）；AWS AI Labs（AWS 人工智能实验室）
本文提出端到端潜在对话行为模型DiactTOD，通过在潜在空间表示对话行为，在大型语料库预训练后实现零样本预测与控制回复生成，并在MultiWOZ数据集的多种设置下达到最先进性能。
2023-08-01 cs.CL
Q-TOD: A Query-driven Task-oriented Dialogue System
Baidu Inc.（百度公司）
现有的面向任务的流水线对话系统通常难以适应未知领域，而端到端系统在实践中受到大规模知识库的困扰。本文介绍了一种新颖的查询驱动的面向任务的对话系统，即Q-TOD。从对话上下文的基本信息提取到一个查询，这是进一步用来检索相关的知识记录响应生成。首先，由于查询是以自然语言的形式进行的，而不局限于知识库的模式，因此Q-TOD中的领域自适应问题得到了明显的缓解。其次，由于查询使知识检索与生成脱钩，Q-TOD摆脱了知识库可扩展性的问题。为了评估所提出的Q-TOD的有效性，我们收集了三个公开的面向任务的对话数据集的查询注释。全面的实验验证了Q-TOD优于强基线，并在这些数据集上建立了新的最先进的性能。
2022-10-14 cs.CL
A Survey on Recent Advances and Challenges in Reinforcement Learning Methods for Task-Oriented Dialogue Policy Learning
The Chinese University of Hong Kong（香港中文大学）
本文从强化学习视角系统综述任务型对话策略学习，归纳主要问题、解决方案及方法分类，并展望对话管理未来研究方向。
2022-07-11 cs.CL
Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System
University of Cambridge（剑桥大学）；Amazon AWS AI（亚马逊AWS人工智能）；The Chinese University of Hong Kong（香港中文大学）
预训练的语言模型最近已被证明有利于面向任务的对话（TOD）系统。尽管他们的成功，现有的方法往往制定这个任务作为一个级联的生成问题，这可能会导致错误积累在不同的子任务和更大的数据注释开销。在这项研究中，我们提出了PPTOD，一个统一的即插即用模型面向任务的对话。此外，我们引入了一个新的对话多任务预训练策略，允许模型学习的主要TOD任务完成技能，从异构对话语料库。我们在三个基准TOD任务上广泛测试了我们的模型，包括端到端对话建模，对话状态跟踪和意图分类。实验结果表明，PPTOD在高资源和低资源场景下的所有评估任务上都达到了新的水平。此外，与以前的SOTA方法的比较表明，由PPTOD生成的响应是更真实的正确性和语义一致的判断由人类注释。
2022-03-01 cs.CL
Are Current Task-oriented Dialogue Systems Able to Satisfy Impolite Users?
Singapore University of Technology and Design（新加坡科技设计大学）
面向任务的对话（TOD）系统已经帮助用户完成了许多任务，包括订票和服务查询。虽然现有的TOD系统在满足客户需求方面表现出了良好的性能，但这些系统大多假设用户会礼貌地与对话代理进行交互。这种假设是不现实的，因为不耐烦或沮丧的客户也可能不礼貌地与TOD系统交互。本文旨在通过调查不礼貌用户对TOD系统的影响来填补这一研究空白。具体来说，我们构建了一个不礼貌的对话语料库，并进行了广泛的实验，以评估我们的不礼貌的对话语料库的最先进的TOD系统。我们的实验结果表明，现有的TOD系统无法处理不礼貌的用户话语。我们还提出了一个数据增强方法，以提高在不礼貌的对话TOD性能。然而，处理不礼貌的对话仍然是一个非常具有挑战性的研究任务。我们希望通过发布不礼貌对话语料库和建立基准评估，鼓励更多的研究者对这一新的具有挑战性的研究任务进行研究。
2022-10-24 cs.CL
Explicit State Tracking with Semi-Supervision for Neural Dialogue Generation
Fudan University（复旦大学）；National University of Singapore（新加坡国立大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
对话生成的任务旨在自动提供响应给定先前的话语。跟踪对话状态是判断用户意图的一个重要环节。然而，\emph{expensive nature of state labeling}和\emph{weak interpretability}使得对话状态跟踪对于面向任务和非面向任务的对话生成都是具有挑战性的问题：对于在面向任务的对话中生成响应，状态跟踪通常从人工注释的语料库中学习，其中人工注释对于训练来说是昂贵的;对于在非面向任务的对话中生成响应，由于对话状态的数量不受限制，大多数现有工作忽略了显式状态跟踪。在本文中，我们提出了\emph{semi-supervised explicit dialogue state tracker}（SEDST）的神经对话生成。为此，我们的方法有两个核心成分：\emph{CopyFlowNet}和\emph{posterior regularization}。具体来说，我们提出了一个编码器-解码器架构，命名为\emph{CopyFlowNet}，表示一个明确的对话状态的概率分布在词汇空间。为了优化训练过程，我们采用后验正则化策略来整合间接监督。在任务型和非任务型对话语料库上进行的大量实验证明了该模型的有效性。此外，我们发现，我们提出的半监督对话状态跟踪器实现了国家的最先进的监督学习基线状态跟踪过程中的性能相当。
2018-08-31 cs.CL
An Interpretable Neuro-Symbolic Reasoning Framework for Task-Oriented Dialogue Generation
The University of Melbourne（墨尔本大学）
本文研究了面向任务的对话系统的可解释性问题。以前，大多数基于神经的面向任务的对话系统采用隐式推理策略，使模型预测无法解释给人类。为了获得一个透明的推理过程，我们引入神经符号执行显式推理，证明模型的决策推理链。由于推导推理链需要多跳推理面向任务的对话，现有的神经符号方法会导致错误传播，由于一个阶段的设计。为了克服这一点，我们提出了一个两阶段的方法，包括一个假设发生器和推理。我们首先得到多个假设，即，潜在的操作，以执行所需的任务，通过假设生成器。然后，推理器验证每个假设，并选择有效的假设进行最终预测。整个系统的训练是利用原始文本对话，而不使用任何推理链注释。在两个公共基准数据集上的实验结果表明，该方法不仅取得了较好的结果，而且引入了一个可解释的决策过程。
2022-03-11 cs.CL
Chat Detection in an Intelligent Assistant: Combining Task-oriented and Non-task-oriented Spoken Dialogue Systems
The University of Tokyo（东京大学）；Yahoo Japan Corporation（雅虎日本公司）
最近出现的智能手机和家用电子产品上的智能助理（例如，Siri和Alexa）可以被视为特定领域任务导向的口语对话系统和开放领域非任务导向的口语对话系统的新混合体。为了实现这样的混合对话系统，本文研究确定用户是否要与系统聊天。为了解决这个任务缺乏基准数据集的问题，我们构建了一个新的数据集，包括从商业智能助理的真实日志数据中收集的15; 160个话语（并将发布数据集以促进未来的研究活动）。此外，我们调查使用推文和Web搜索查询处理开放域的用户话语，其特征在于聊天检测的任务。实验表明，虽然简单的监督方法是有效的，但使用推文和搜索查询进一步将F1分数从86.21提高到87.53。
2018-07-24 cs.CL
Action-Based Conversations Dataset: A Corpus for Building More In-Depth Task-Oriented Dialogue Systems
ASAPP；Columbia University（哥伦比亚大学）
现有的面向目标的对话数据集主要侧重于确定位置和价值。然而，在现实中的客户支持互动往往涉及代理商以下多步骤的程序来自明确定义的公司政策以及.为了在更现实的环境中研究客户服务对话系统，我们引入了基于会话的对话数据集（ABCD），这是一个完全标记的数据集，包含超过10K的人与人之间的对话，其中包含55个不同的用户意图，这些用户意图需要受策略约束的独特动作序列来实现任务成功。我们提出了两个额外的对话任务，动作状态跟踪和级联对话成功，并建立了一系列基线，涉及大规模的，预先训练的语言模型在这个数据集上。实证结果表明，虽然更复杂的网络优于更简单的模型，但在ABCD上仍存在相当大的差距（50.8%的绝对准确率）。
2021-04-01 cs.CL
Unsupervised Slot Schema Induction for Task-oriented Dialog
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
精心设计的模式描述了如何收集和注释对话语料库是一个先决条件，以建立面向任务的对话系统。在实际应用中，手动设计模式可能容易出错、费力、迭代和缓慢，特别是在模式复杂的情况下。为了减轻这个昂贵和耗时的过程中，我们提出了一个无监督的方法槽模式感应从未标记的对话语料库。利用域内语言模型和无监督解析结构，我们的数据驱动的方法提取候选插槽没有约束，然后由粗到细聚类，以诱导插槽类型。我们将我们的方法与几个强监督基线进行了比较，并在MultiWoz和SGD数据集上的槽模式归纳中显示出显着的性能改进。我们还证明了下游应用程序，包括对话状态跟踪和响应生成的诱导模式的有效性。
2022-05-09 cs.CL
D4: a Chinese Dialogue Dataset for Depression-Diagnosis-Oriented Chat
Shanghai Jiao Tong University（上海交通大学）；Shanghai Mental Health Center（上海市精神卫生中心）；Shanghai Jiao Tong University School of Medicine（上海交通大学医学院）
在抑郁症诊断指导的临床会话中，医生在充分的情感支持下发起对话，引导患者根据临床诊断标准暴露他们的症状。这种对话系统与现有的单一用途的人机对话系统不同，因为它结合了面向任务和闲聊，具有对话主题和过程的独特性。但由于与精神疾病相关的社会污名，与抑郁症咨询和诊断相关的对话数据很少公开。基于ICD-11和DSM-5抑郁症临床诊断标准，设计了一个3阶段的程序，构建了一个抑郁症诊断聊天中文对话数据集D $^4$，该数据集模拟了抑郁症诊断过程中医患之间的对话，包括专业精神科医生对每次对话的诊断结果和症状总结。在新构建的数据集上，建立了反映抑郁症诊断过程的四个任务：反应生成，主题预测，对话摘要，抑郁发作和自杀风险的严重程度分类。多尺度评估结果表明，与基于规则的机器人相比，可以实现在我们的数据集上训练的更具同理心驱动和诊断准确性的对话系统。
2022-10-24 cs.CL
