An Empirical Study on the Overlapping Problem of Open-Domain Dialogue Datasets
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligent Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
开放域对话系统旨在通过文本与人类进行对话，对话研究严重依赖于基准数据集。在这项工作中，我们观察到的重叠问题，在DailyDialog和OpenSubtitles，两个流行的开放域对话基准数据集。然后，我们的系统分析表明，这种重叠可以被利用来获得虚假的最先进的性能。最后，我们通过清理这些数据集并为未来的研究建立适当的数据处理程序来解决这个问题。
2022-05-08 cs.AI cs.CL
EDA: Enriching Emotional Dialogue Acts using an Ensemble of Neural Annotators
University of Hamburg（汉堡大学）
情感和对话行为的识别丰富了会话分析，有助于构建自然的对话系统。情感解读使我们理解情感，而对话行为则反映话语的意图和施为功能。然而，大多数文本和多模态会话情感语料库只包含情感标签，而不包含对话行为。为了解决这个问题，我们建议使用一个在对话行为语料库上训练的各种递归神经模型的池，有上下文和没有上下文。这些神经模型用对话行为标签标注情感语料库，并且集成标注器提取最终的对话行为标签。我们标注了两个可访问的多模态情感语料库：IEMOCAP和MELD。我们分析了情感和对话行为标签的共现，发现了特定的关系。例如，接受/同意对话行为经常伴随着喜悦的情绪、悲伤的道歉和喜悦的感谢发生。我们将情感对话行为（EDA）语料库公开提供给研究界进行进一步的研究和分析。
2020-03-16 cs.AI cs.CL cs.RO
Hierarchical Context Enhanced Multi-Domain Dialogue System for Multi-domain Task Completion
Ping An（平安）
DSTC 8-track 1挑战赛的任务1旨在开发一个端到端的多领域对话系统，以实现游客咨询台设置下的复杂用户目标。本文介绍了我们提交的解决方案，层次上下文增强对话系统（HCEDS），为这项任务。我们的系统的主要动机是全面探索的潜力，层次背景下充分理解复杂的对话。更具体地说，我们应用BERT来捕获令牌级信息，并采用注意力机制来捕获令牌级信息。排行榜上的结果表明，我们的系统实现了第一名的自动评价和第二名的人的评价。
2020-03-03 cs.AI cs.CL
Dynamic Knowledge Fusion for Multi-Domain Dialogue State Tracking
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（中国电信人工智能研究院（TeleAI））
本文提出一种动态知识融合框架，通过对比学习和结构化提示提升多领域对话状态跟踪的准确性和泛化能力。
2026-03-11 cs.AI cs.CL
EVA: An Open-Domain Chinese Dialogue System with Large-Scale Generative Pre-Training
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
虽然预先训练的语言模型显著提高了对话系统的生成能力，但与英语对话系统相比，开放域汉语对话系统仍然受到对话数据和模型大小的限制。在本文中，我们提出了EVA，一个中文对话系统，其中包含最大的中文预训练对话模型与2.8 B参数。为了建立这个模型，我们从各种公共社交媒体上收集了最大的中文对话数据集WDC-Dialogue。该数据集包含1.4B上下文响应对，并用作EVA的预训练语料库。大量的自动和人工评估实验表明，EVA优于其他中文预训练的对话模型，特别是在多轮交互的人-机器人对话。
2021-08-03 cs.AI cs.CL
Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems
The Hong Kong University of Science and Technology（香港科技大学）；Salesforce Research（赛富时研究院）
对领域本体的过度依赖和跨领域知识共享的缺乏是对话状态跟踪的两个实际问题，但研究较少。现有的方法通常在推理期间跟踪未知时隙值方面存在不足，并且通常难以适应新的域。在本文中，我们提出了一个可转移的对话状态生成器（TRADE），它使用复制机制从话语中生成对话状态，在预测（域，槽，值）三元组时促进知识转移。我们的模型是由一个话语编码器，一个槽门，和一个状态发生器，这是跨域共享。实证结果表明，TRADE在MultiWOZ（一个人与人之间的对话数据集）的五个领域中实现了48.62%的最先进的联合目标准确率。此外，我们通过模拟zero-shot和Few-Shot的对话状态跟踪看不见的领域，它的传输能力。TRADE在其中一个zero-shot域中实现了60.58%的联合目标准确度，并且能够适应Few-Shot情况而不会忘记已经训练过的域。
2019-05-26 cs.AI cs.CL
Easy Turn: Integrating Acoustic and Linguistic Modalities for Robust Turn-Taking in Full-Duplex Spoken Dialogue Systems
针对全双工对话中话轮转换检测依赖闭源、大模型或单模态的问题，提出开源双模态 Easy Turn 模型及 1,145 小时数据集，在开源测试集上达到最优准确率。
2025-09-28 cs.AI cs.CL
Teacher-Student Framework Enhanced Multi-domain Dialogue Generation
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
非常需要处理多域任务的对话系统。在面向任务的对话系统中，如何记录会话状态是一个关键问题。通常我们使用人类定义的特征作为对话状态，并应用状态跟踪器来提取这些特征。然而，这样的系统的性能受到状态跟踪器的误差传播的限制。在本文中，我们提出了一个对话生成模型，不需要外部状态跟踪器，仍然受益于人类标记的语义数据。通过使用教师-学生框架，多个教师模型首先在各自的领域进行训练，从标记状态学习对话策略。然后将学习到的知识和经验合并并转移到一个通用的学生模型中，该模型将原始话语作为其输入。实验表明，在我们的框架下训练的对话系统性能优于使用信念跟踪器。
2020-05-26 cs.AI cs.CL
Sub-domain Modelling for Dialogue Management with Hierarchical Reinforcement Learning
Cambridge University（剑桥大学）
人类对话本质上是复杂的，通常跨越许多不同的主题/领域。这使得对话系统的策略学习非常具有挑战性。标准的扁平强化学习方法没有提供用于对这样的对话进行建模的有效框架。在本文中，我们专注于多域对话管理的不足探索的问题。首先，我们提出了一种新的方法，分层强化学习使用的选项框架。接下来，我们表明，所提出的架构学习速度更快，并达到一个更好的政策比现有的平面。此外，我们还展示了如何通过一组额外的新动作来适应更复杂的系统。在这样做的过程中，我们表明，我们的方法有可能促进更复杂的多域对话系统的政策优化。
2017-07-17 cs.AI cs.CL
Flexible and Scalable State Tracking Framework for Goal-Oriented Dialogue Systems
Amazon Alexa AI（亚马逊Alexa人工智能）
面向目标的对话系统通常依赖于专门为单个任务或领域开发的组件。这以两种不同的方式限制了这样的系统：如果任务域中有更新，则对话系统通常需要更新或完全重新训练。将这样的对话系统扩展到不同的和多个域也更困难。传统对话系统中的对话状态跟踪器就是这样一个组件--它通常被设计成适合定义良好的应用领域。例如，状态变量通常是手动预定义的实体集合上的分类分布（Henderson等人，2013），导致了不灵活且难以扩展的对话系统。在本文中，我们提出了一种新的对话状态跟踪方法，可以推广到多个领域，而无需结合任何特定领域的知识。在该框架下，独立地学习离散对话状态变量，并且不需要对话状态变量的预定义的一组可能值的信息。此外，它允许添加任意对话上下文作为功能，并允许多个值与单个状态变量相关联。这些特征使得扩展对话状态空间变得更加容易。我们评估我们的框架使用广泛使用的对话状态跟踪挑战数据集（DSTC 2），并表明，我们的框架产生竞争力的结果与其他国家的最先进的结果，尽管结合很少的领域知识。我们还表明，这个框架可以受益于广泛可用的外部资源，如预先训练的词嵌入。
2018-11-30 cs.AI cs.CL
Counterfactual Data Augmentation via Perspective Transition for Open-Domain Dialogues
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
开放领域对话系统的构建需要高质量的对话数据集。对话数据承认对于给定对话历史的各种各样的响应，特别是具有不同语义的响应。然而，在大多数情况下，收集高质量的数据集是劳动密集型和耗时的。在本文中，我们提出了一个数据增强方法，自动增加高质量的响应与不同的语义反事实推理。具体来说，给定一个观察到的对话，我们的反事实生成模型首先推断语义上不同的反应，取代观察到的答复的角度与替代的。此外，我们的数据选择方法过滤掉有害的扩增反应。实验结果表明，我们的数据增强方法可以增加高质量的响应与不同的语义为一个给定的对话历史，并可以在多个下游任务的竞争基线。
2022-10-30 cs.AI cs.CL
JMultiWOZ: A Large-Scale Japanese Multi-Domain Task-Oriented Dialogue Dataset
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）
本研究构建了首个日语大规模多领域任务型对话数据集JMultiWOZ，评估表明其与MultiWOZ2.2基准相当，并揭示了基于LLM的方法在日语任务完成能力上的局限性。
2024-03-26 cs.AI cs.CL
Manual-Guided Dialogue for Flexible Conversational Agents
Tsinghua University（清华大学）；Tencent Inc.（腾讯公司）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；WeChat AI, Tencent Inc.（腾讯微信人工智能部）
如何有效地构建和使用对话数据，以及如何在不同领域大规模部署模型是构建面向任务的对话系统的两个关键问题。在本文中，我们提出了一种新的手动引导对话计划，以减轻这些问题，代理学习的任务，从对话和手册。该手册是一个非结构化的文本文档，指导代理在对话期间与用户和数据库进行交互。我们提出的方案减少了对话模型对细粒度领域本体的依赖，使它们更灵活地适应不同的领域。然后，我们贡献了一个完全注释的多域数据集MagDial来支持我们的计划。它介绍了三个对话建模子任务：指令匹配，参数填充和响应生成。对这些子任务进行建模与人类代理的行为模式是一致的。实验表明，人工引导的对话方案提高了数据效率和领域的可扩展性，在建立对话系统。数据集和基准将公开提供，以促进未来的研究。
2022-08-16 cs.AI cs.CL
Multi-Domain Dialogue Acts and Response Co-Generation
Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）
对于面向任务的对话系统来说，生成流畅且信息丰富的响应是至关重要的。现有的管道方法通常首先预测多个对话行为，并使用它们来帮助响应生成。这种方法至少有两个缺点。首先，忽视了多域对话行为的内在结构。第二，行为和响应之间的语义关联没有考虑响应生成。为了解决这些问题，我们提出了一个神经共代模型，同时产生对话行为和反应。与那些管道方法不同，我们的行为生成模块保留了多域对话行为的语义结构，我们的响应生成模块根据需要动态地处理不同的行为。我们训练的两个模块联合使用的不确定性损失，以调整其任务的权重自适应。在大规模MultiWOZ数据集上进行了大量的实验，结果表明，我们的模型在自动和人工评估方面都比几种最先进的模型取得了非常有利的改进。
2020-04-26 cs.AI cs.CL
ViWOZ: A Multi-Domain Task-Oriented Dialogue Systems Dataset For Low-resource Language
VNU（越南国立大学）
目前大多数面向任务的对话系统（ToD），尽管有有趣的结果，是专为少数语言，如中文和英文。因此，由于缺乏标准的数据集和评估策略，它们在低资源语言中的性能仍然是一个重大问题。为了解决这个问题，我们提出了ViWOZ，一个完全注释的越南语面向任务的对话数据集。ViWOZ是越南语（一种低资源语言）中第一个多回合、多领域任务导向的数据集。该数据集由总共5，000个对话组成，其中包括60，946个完全注释的话语。此外，我们提供了一个全面的基准测试，在低资源语言场景中的模块化和端到端模型。有了这些特征，ViWOZ数据集使未来的研究能够创建一个面向多语言任务的对话系统。
2022-03-15 cs.AI cs.CL
Learning to Memorize in Neural Task-Oriented Dialogue Systems
The Hong Kong University of Science and Technology（香港科技大学）
在这篇论文中，我们利用神经复制机制和记忆增强的神经网络（MANNs）来解决神经任务导向对话学习的挑战。我们通过在多域对话状态跟踪、基于检索的对话系统和基于生成的对话系统中实现良好的性能来展示我们的策略的有效性。我们首先提出了一个可转移的对话状态生成器（TRADE），利用其复制机制，摆脱对话本体和领域之间的知识共享。我们还评估看不见的域对话状态跟踪，并表明，贸易使zero-shot对话状态跟踪，可以适应新的Few-Shot域，而不会忘记以前的域。第二，我们利用人工神经网络来改善基于检索的对话学习。他们能够捕捉对话顺序的依赖关系，并记住长期的信息。我们还提出了一个记录的delexicalization复制策略，以取代真正的实体值与有序的实体类型。我们的模型被证明超过其他检索基线，特别是当对话有大量的回合。最后，我们用两个模型来处理基于生成的对话学习，即内存到序列（Mem2Seq）和全局到局部内存指针网络（GLMP）。Mem2Seq是第一个将多跳内存注意力与复制机制相结合的模型。GLMP进一步引入了响应草图和双指针复制的概念。我们表明，GLMP实现了最先进的性能对人类的评价。
2019-05-19 cs.AI cs.CL
A Static and Dynamic Attention Framework for Multi Turn Dialogue Generation
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对多轮对话历史建模中基于 RNN 的层级编码存在梯度消失的问题，本文提出融合静态与动态注意力的框架，并在 Ubuntu 和 Opensubtitles 上验证其有效性。
2024-10-28 cs.AI cs.CL
Multi-Task Learning for Situated Multi-Domain End-to-End Dialogue Systems
National Taiwan University（国立台湾大学）
面向任务的对话系统是自然语言处理领域的一个研究热点。以前的工作表明，使用一个基于GPT-2的模型通过因果语言建模来预测信念状态和反应是有效的。在本文中，我们利用多任务学习技术，在具有多个领域，多个模态和输出格式更加多样性的更具挑战性的数据集上训练基于GPT-2的模型。只使用一个模型，我们的方法实现了更好的性能，在所有的子任务，跨域，任务和特定于域的模型相比。此外，我们评估了几个建议的策略GPT-2为基础的对话系统与全面的消融研究，表明所有的技术可以进一步提高性能。
2021-10-11 cs.AI cs.CL
FaceChat: An Emotion-Aware Face-to-face Dialogue Framework
Columbia University（哥伦比亚大学）
虽然像ChatGPT这样的当前对话系统在基于文本的交互方面取得了重大进展，但它们往往忽视了其他模式在增强整体用户体验方面的潜力。我们提出了FaceChat，一个基于网络的对话框架，使情感敏感和面对面的对话。通过无缝集成自然语言处理、计算机视觉和语音处理方面的尖端技术，FaceChat提供了高度沉浸式和引人入胜的用户体验。FaceChat框架具有广泛的潜在应用，包括咨询，情感支持和个性化客户服务。该系统被设计为简单和灵活的平台，为未来的研究人员推进多模态对话系统领域。该代码可在https://github.com/qywu/FaceChat上公开获取。
2023-03-08 cs.AI cs.CL
Prompt Learning for Domain Adaptation in Task-Oriented Dialogue
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；NVIDIA（英伟达）
对话设计者在创建面向任务的生产质量对话系统时继续面临重大障碍。模式开发和数据汇集的复杂性和成本通常是这些设计人员的主要障碍，限制了他们创建自然的用户友好体验的能力。我们将用户意图的分类框架为规范形式的生成，使用自然语言的轻量级语义表示。我们表明，规范形式提供了一个很有前途的替代传统方法的意图分类。通过调整冻结的大语言模型的软提示，我们表明，规范形式推广非常好的新的，看不见的领域在零或Few-Shot设置。该方法也是样本效率，降低了复杂性和努力开发新的面向任务的对话域。
2022-11-10 cs.AI cs.CL
Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems
Singapore Management University（新加坡管理大学）；Institute of Inforcomm Research (I2R)（信息通信研究院）；Salesforce Research Asia（Salesforce亚洲研究院）
开发基于视频的对话系统（VGDS），其中基于给定视频的视觉和音频方面进行对话，比传统的基于图像或文本的对话系统具有更大的挑战性，因为（1）视频的特征空间跨越多个图片帧，使得难以获得语义信息;以及（2）对话代理必须感知和处理来自不同模态（音频、视频、字幕等）的信息。以获得全面的了解。大多数现有的工作都是基于RNN和序列到序列架构，这对于捕获复杂的长期依赖关系（如视频）不是很有效。为了克服这一点，我们提出了多模态Transformer网络（MTN）来编码视频并整合来自不同模态的信息。我们还提出了查询感知注意通过自动编码器提取查询感知功能的非文本模态。我们开发了一个训练过程来模拟令牌级解码，以提高推理过程中生成的响应质量。我们在对话系统技术挑战7（DSTC 7）上获得了最先进的性能。我们的模型也推广到另一个多模态视觉为基础的对话任务，并获得了良好的性能。我们使用PyTorch实现了我们的模型，代码发布在www.example.com上。
2019-07-02 cs.CL
DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue
Carnegie Mellon University（卡内基梅隆大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
面向任务的对话研究的一个长期目标是能够灵活地调整对话模型以适应新的领域。为了推进这一方向的研究，我们引入了DialogLUE（对话语言理解评估），这是一个公共基准，由7个面向任务的对话数据集组成，涵盖4个不同的自然语言理解任务，旨在鼓励基于表示的迁移，领域自适应和样本有效任务学习的对话研究。我们发布了几个强大的基线模型，通过在大型开放域对话语料库上进行预训练和任务自适应自监督训练，在普通BERT架构上展示了性能改进，并在7个任务中的5个任务上获得了最先进的结果。通过DialogLUE基准、基线方法和我们的评估脚本，我们希望能够促进开发更通用的面向任务的对话模型的目标。
2020-10-01 cs.AI cs.CL
Multi-View Zero-Shot Open Intent Induction from Dialogues: Multi Domain Batch and Proxy Gradient Transfer
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）
针对任务导向对话中的零样本开放意图归纳，本文提出融合 SBERT、MDB 与 PGT 的语义多视角模型，利用多域知识和 Siamese 聚类微调显著提升性能。
2023-08-13 cs.AI cs.CL
Transferable Dialogue Systems and User Simulators
University of Cambridge（剑桥大学）；Alibaba Group（阿里巴巴集团）
训练对话系统的困难之一是缺乏训练数据。我们探讨了通过对话系统和用户模拟器之间的交互来创建对话数据的可能性。我们的目标是开发一个建模框架，可以通过两个代理之间的自我发挥，将新的对话场景。在这个框架中，我们首先在源域对话的集合上对两个代理进行预训练，这使得代理能够通过自然语言相互交谈。通过对少量目标域数据的进一步微调，代理继续进行交互，目的是使用具有结构化奖励函数的强化学习来改善其行为。在MultiWOZ数据集上的实验中，研究了两个实际的迁移学习问题：1）领域自适应和2）单域到多域迁移。我们证明了所提出的框架是非常有效的引导性能的两个代理迁移学习。我们还表明，我们的方法导致对话系统性能的改善，在完整的数据集。
2021-07-25 cs.AI cs.CL
Fusing task-oriented and open-domain dialogues in conversational agents
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
构建智能对话系统的目标在很大程度上是在两种范式下分别追求的：面向任务的对话（TOD）系统，它执行面向目标的功能，和开放域对话（ODD）系统，它专注于非面向目标的闲聊。这两种对话模式可以在同一个对话中无缝地交织在一起，就像友好的人类助手很容易做到的那样。这种能力在会话代理中是可取的，因为集成使它们更容易访问和有用。我们的论文解决了这个问题，融合多轮对话中的TOD和ODD。基于流行的TOD数据集MultiWOZ，我们通过重写现有的TOD转弯并添加新的ODD转弯来构建新的数据集FusedChat。该过程构造包含来自两种对话模式的交换的会话会话。它具有模式间上下文依赖性，即，对话从两种模式的相互依存转向了两种模式的相互依存。丰富的依赖模式，包括共指和省略的功能。新的数据集包含60k个新的人类书写的ODD回合和5k个重写的TOD回合，提供了一个测试对话模型执行模式间对话能力的基准。这是一项更具挑战性的任务，因为模型必须确定适当的对话模式并基于模式间上下文生成响应。但这样的模型可以更好地模仿人类水平的对话能力。我们评估了基线模型，包括基于分类的两阶段模型和二合一融合模型。我们公开发布FusedChat和基线，以推动未来在模式间对话系统https://github.com/tomyoung903/FusedChat上的工作。
2022-04-04 cs.AI cs.CL
Deep Reinforcement Learning for Multi-Domain Dialogue Systems
University of Lincoln（林肯大学）；Samsung Electronics Co. Ltd.（三星电子有限公司）
标准的深度强化学习方法，如用于多任务（域）的深度Q网络（DQN），面临可扩展性问题。本文提出了一种多域对话策略学习方法--NDQN，并将其应用于餐饮酒店领域的信息搜索口语对话系统。实验结果比较DQN（基线）与NDQN（建议）使用模拟报告，我们提出的方法具有更好的可扩展性，是有希望的多域对话系统的行为优化。
2016-11-26 cs.AI cs.CL cs.LG
CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
为了推进多领域（跨领域）对话建模，以及缓解中国面向任务的数据集的不足，我们提出了CrossWOZ，第一个大规模的中国跨领域向导Oz面向任务的数据集。它包含6 K对话会话和5个领域的102 K话语，包括酒店，餐厅，景点，地铁和出租车。此外，语料库包含了丰富的用户和系统双方的对话状态和对话行为的注释。大约60%的对话具有跨域用户目标，这些目标有利于域间依赖，并鼓励对话中跨域的自然过渡。我们还提供了一个用户模拟器和几个基准模型的流水线面向任务的对话系统，这将有助于研究人员比较和评估他们的模型在这个语料库。CrossWOZ的大尺寸和丰富的注释使其适合研究跨域对话建模中的各种任务，如对话状态跟踪、策略学习、用户模拟等。
2020-02-28 cs.CL
'No' Matters: Out-of-Distribution Detection in Multimodality Long Dialogue
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
针对多模态长对话中的分布外检测问题，提出融合视觉语言模型的DIAEF评分框架，可检测图文不匹配及未见标签场景，实验验证其效果优于单模态且长对话鲁棒性强，为相关研究建立基准。
2024-10-31 cs.AI cs.CL cs.LG
Joint Turn and Dialogue level User Satisfaction Estimation on Multi-Domain Conversations
LinkedIn（领英）；Amazon（亚马逊）
对话级别质量估计对于优化数据驱动的对话管理至关重要。目前的自动化方法来估计转向和对话级别的用户满意度采用手工制作的功能，并依赖于复杂的注释方案，这降低了训练模型的泛化能力。我们提出了一种新的用户满意度估计方法，最大限度地减少了自适应多任务损失函数，以共同预测轮级响应质量标签提供的专家和明确的对话级评级提供的最终用户。提出的基于BiLSTM的深度神经网络模型自动权衡每个回合对估计对话级别评级的贡献，隐式编码时间依赖性，并消除了手工制作功能的需要。在从28个Alexa域、两个对话系统和三个用户组中采样的对话上，联合对话级满意度估计模型的线性相关性能分别比基线深度神经网络和基准梯度提升回归模型提高了27%（0.43->0.70）和7%（0.63->0.70）。
2020-10-08 cs.AI cs.CL cs.LG
A Framework for Building Closed-Domain Chat Dialogue Systems
C4A Research Institute, Inc.（C4A研究所）；Honda Research Institute Japan Co., Ltd.（本田日本研究所）；Osaka University（大阪大学）
本文介绍了HRIChat，一个开发封闭域聊天对话系统的框架。已经发现能够参与聊天对话对于改善人类与对话系统之间的通信是有效的。本文的重点是封闭域系统，因为他们将是有用的，当结合面向任务的对话系统在同一领域。HRIChat支持领域相关的语言理解，因此它可以很好地处理特定领域的话语。此外，HRIChat可以集成基于状态转换网络的对话管理和基于反应的对话管理。FoodChatbot是食品和餐馆领域的应用程序，已通过用户研究开发和评估。其结果表明，合理良好的系统可以开发与HRIChat。本文还报告了从FoodChatbot的开发和评估中吸取的经验教训。
2020-07-21 cs.CL
Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired Data
NetEase Inc.（网易公司）；Tsinghua University（清华大学）；Samsung Research China - Beijing（三星电子中国研究院（北京））；Alibaba Group（阿里巴巴集团）
开放领域对话系统的最新进展依赖于在大规模数据上训练的神经模型的成功。然而，收集大规模的对话数据通常是耗时耗力的。为了解决这个数据困境，我们提出了一种新颖的数据增强方法，通过利用不成对的数据来训练开放域对话模型。具体而言，首先提出了一个数据级蒸馏过程，以构建增强对话，其中的帖子和响应都是从未配对的数据中检索的。一个排名模块被用来过滤掉低质量的对话。此外，采用模型级提取过程来将在高质量配对数据上训练的教师模型提取为增强的对话对，从而防止对话模型受到增强数据中的噪声的影响。自动和手动评估表明，我们的方法可以产生高质量的对话对与不同的内容，和建议的数据级和模型级对话蒸馏可以提高竞争基线的性能。
2020-11-10 cs.CL
RiSAWOZ: A Large-Scale Multi-Domain Wizard-of-Oz Dataset with Rich Semantic Annotations for Task-Oriented Dialogue Modeling
Soochow University（苏州大学）；Tianjin University（天津大学）
为了缓解多领域数据不足的问题，并为面向任务的对话建模捕捉话语现象，我们提出了一个具有丰富语义标注的大规模多领域中文Wizard-of-Oz数据集RiSAWOZ。RiSAWOZ包含11.2K人对人（H2 H）多回合语义注释对话，其中超过15万个话语跨越12个领域，这比之前所有注释的H2 H对话数据集都要大。单域对话和多域对话都有，分别占65%和35%。每一个对话都有全面的对话注释，包括自然语言描述形式的对话目标、领域、对话状态和用户侧和系统侧的动作。除了传统的对话注释外，我们还特别提供对话语现象的语言注释，例如，省略和共指，在对话中，这是有用的对话共指和省略决议的任务。除了完整的注释数据集外，我们还详细描述了数据集的数据汇集过程、统计和分析。文中给出了一系列的基准测试模型和结果，包括自然语言理解（意图检测和槽填充）、对话状态跟踪和对话上下文到文本的生成，以及共指和省略消解，为该语料库的后续研究提供了基线比较。
2020-10-17 cs.CL
Towards Task-Oriented Dialogue in Mixed Domains
FPT Technology Research Institute（FPT技术研究院）；FPT University（FPT大学）；Vietnam National University（越南国家大学）
本文研究了混合域环境下的任务型对话问题。我们使用两个相关的国家的最先进的对话系统的对话轮序列中的不同域之间的交替的效果进行研究。我们首先表明，一个专门的状态跟踪组件在多个领域中发挥着重要的作用，并给出了更好的结果比一个端到端的面向任务的对话系统。然后，我们提出了一个混合系统，这是能够提高约28%的平均绝对点在一个标准的多域对话数据集的信念跟踪精度。这些实验结果为改进我们的商业聊天机器人平台FPT.AI提供了一些有用的见解，该平台目前已被部署用于许多实际的聊天机器人应用。
2019-09-05 cs.CL
Large-Scale Multi-Domain Belief Tracking with Knowledge Sharing
University of Cambridge（剑桥大学）
健壮的对话信念跟踪是保持高质量对话系统的关键组成部分。对话系统试图解决的任务正变得越来越复杂，需要可扩展到多域、语义丰富的对话。然而，大多数目前的方法有困难的领域，因为依赖于对话本体的模型参数的规模。在本文中，介绍了一种新的方法，充分利用对话语句和本体术语之间的语义相似性，允许跨域的信息共享。评估是在最近收集的多域对话数据集上进行的，比目前可用的语料库大一个数量级。我们的模型在处理多域对话方面表现出很强的能力，同时在单域对话跟踪任务中优于现有的最先进的模型。
2018-07-17 cs.CL
CTRLStruct: Dialogue Structure Learning for Open-Domain Response Generation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Shandong University（山东大学）
对话结构发现是对话生成的关键。结构良好的主题流可以利用背景信息和预测未来的主题，以帮助产生可控和可解释的反应。然而，以往的研究大多集中在任务型对话中的对话结构学习，而不是更复杂、更具挑战性的开放域对话。在本文中，我们提出了一个新的框架CTRLStruct对话结构学习，有效地探索主题级的对话集群，以及他们的过渡与未标记的信息。准确地说，由双向Transformer编码的对话话语通过特殊设计的对比学习任务进一步训练以提高表征。然后，我们执行聚类的话语级表示和形成的主题级集群，可以被认为是对话结构图中的顶点。通过模仿数据集中的专家行为来计算图中指示顶点之间的转移概率的边。最后，将对话结构图集成到对话模型中，实现受控响应生成。在两个流行的开放域对话数据集上的实验表明，与一些优秀的对话模型相比，该模型能够产生更连贯的响应，并且在对话话语表示方面优于一些典型的句子嵌入方法。代码可以在GitHub上找到。
2023-03-02 cs.CL
Domain State Tracking for a Simplified Dialogue System
POSTECH（浦项科技大学）；Computer Science and Engineering（计算机科学与工程学院）；Graduate School of Artificial Intelligence（人工智能研究生院）
面向任务的对话系统旨在帮助用户实现特定领域的目标。最近的神经对话系统使用整个对话历史来获得在多个会话回合上积累的丰富上下文信息。然而，随着回合数的增加，对话历史变得越来越长，从而增加了存储器使用和计算成本。在本文中，我们提出了点（域状态跟踪简化对话系统），一个面向任务的对话系统，使用一个简化的输入上下文，而不是整个对话的历史。然而，忽略对话历史可能会导致从先前会话轮中丢失上下文信息。为了解决这个问题，DoTS除了跟踪信念状态之外还跟踪域状态，并将其用于输入上下文。使用这种简化的输入，DoTS将通知率和成功率分别提高了1.09个点和1.24个点，与MultiWOZ上以前的最先进模型相比，MultiWOZ是一个众所周知的基准。
2021-03-11 cs.CL
Graph Neural Network Policies and Imitation Learning for Multi-Domain Task-Oriented Dialogues
Avignon University（阿维尼翁大学）；Orange Labs（奥兰治实验室）
面向任务的对话系统被设计成在与人对话的同时实现特定目标。在实践中，他们可能必须同时处理多个领域和任务。因此，对话管理器必须能够考虑到域的变化，并计划在不同的域/任务，以处理多域对话。然而，在这种情况下，强化学习变得困难，因为状态-动作维度更大，而奖励信号仍然很少。我们的实验结果表明，基于图神经网络结合不同程度的模仿学习的结构化策略可以有效地处理多领域对话。报告的实验强调结构化的政策比标准的政策的好处。
2022-10-11 cs.CL
On the Effectiveness of Integration Methods for Multimodal Dialogue Response Retrieval
Myongji University（明州大学）；Kyungpook National University（庆北国立大学）；Yonsei University（延世大学）；Pohang University of Science and Technology（坡山科学技术大学）
针对多模态对话回复检索任务，该研究将其拆解为三个子任务，提出基于两阶段和端到端的三种融合方法，实验验证端到端方法性能相当，参数共享策略可减参并提升性能。
2025-06-13 cs.CL
MME-CRS: Multi-Metric Evaluation Based on Correlation Re-Scaling for Evaluating Open-Domain Dialogue
Meituan（美团）；Beijing University of Posts and Telecommunications（北京邮电大学）
开放域对话自动评测是对话系统的重要组成部分。近年来，基于学习的评价指标在开放域对话评价中取得了很好的效果。然而，这些指标只关注少数品质，很难全面评估对话。此外，这些指标缺乏一个有效的评分合成方法，不同的评价质量。为了解决上述问题，我们提出了一种基于相关性重新缩放的多度量评估（MME-CRS）来评估开放域对话。首先，我们建立了一个评估指标组成的5组并行的子指标称为多度量评估（MME），全面评估对话的质量。此外，我们提出了一种新的得分合成方法称为相关性重新缩放（CRS）模型之间的关系的子指标和不同的质量。在DSTC 10 track 5 subtask 1自动开放域对话评估挑战赛的最终测试数据中，MME-CRS以较大的优势排名第一，证明了该方法的有效性。
2022-06-19 cs.CL
MALA: Cross-Domain Dialogue Generation with Action Learning
The University of Melbourne（墨尔本大学）；Twitter Inc.（推特公司）
面向任务的对话反应生成包括两个基本部分：对话规划和表面实现。然而，这两个组成部分在其目标上有差异，即，完成任务和语言质量。为了处理这种差异，已经引入了条件反应生成，其中生成过程被分解为动作决策和语言生成通过显式动作表征。为了获得动作表征，最近的研究学习潜在的动作在无监督的方式的基础上的话语词汇相似性。这种行动学习方法容易出现语言表面的混乱，从而影响任务的完成和语言质量。为了解决这个问题，我们提出了多阶段自适应潜在动作学习（MALA），通过区分话语对对话进程的影响来学习语义潜在动作。我们使用话语引起的对话状态的转换建模话语效果，并开发了一个语义相似性测量，估计话语是否有类似的效果。为了在没有对话状态的域上学习语义动作，MsALA逐步扩展跨域的语义相似性度量，即，从调整共享操作到学习特定领域的操作。使用多域数据集SMD和MultiWOZ的实验表明，我们提出的模型在任务完成和语言质量方面都比基线模型取得了一致的改进。
2020-10-13 cs.AI cs.CL cs.LG
DiQAD: A Benchmark Dataset for End-to-End Open-domain Dialogue Assessment
Shandong University（山东大学）；Baidu Inc.（百度公司）；Leiden University（莱顿大学）
本文发布了大规模开放域对话质量评估基准数据集DiQAD，基于符合人类判断的维度对约10万条真实用户对话进行标注，并报告基线模型性能作为基准。
2023-10-25 cs.CL
Coreference Augmentation for Multi-Domain Task-Oriented Dialogue State Tracking
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
对话状态跟踪（DST）是通过估计给定对话历史的信念状态来推断用户目标的过程，在面向任务的对话系统中起着至关重要的作用。在多话轮会话中观察到的共指现象没有解决现有的DST模型，导致次优性能。在本文中，我们提出了共指对话状态跟踪器（CDST），显式模型的共指功能。特别是，在每一轮，该模型联合预测的共指域插槽对，并提取共指值的对话上下文。在MultiWOZ 2.1数据集上的实验结果表明，该模型达到了最先进的联合目标的准确率为56.47%。
2021-06-16 cs.CL
Leveraging Slot Descriptions for Zero-Shot Cross-Domain Dialogue State Tracking
The Hong Kong University of Science and Technology（香港科技大学）；Facebook；Columbia University（哥伦比亚大学）
Zero-shot跨域对话状态跟踪（DST）使我们能够在看不见的域中处理面向任务的对话，而无需收集域内数据。本文提出了一种时隙描述增强的zero-shot跨域DST生成方法。具体来说，我们的模型首先使用预先训练的自注意编码器对对话上下文和时隙进行编码，并以自回归方式生成时隙值。此外，我们将插槽类型知情的描述，捕获跨插槽的共享信息，以促进跨领域的知识转移。在MultiWOZ数据集上的实验结果表明，该方法在跨域zero-shot条件下显著改善了现有的最新结果。
2021-05-10 cs.CL
UniConv: A Unified Conversational Neural Architecture for Multi-domain Task-oriented Dialogues
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
建立一个端到端的会话代理多领域的面向任务的对话一直是一个开放的挑战，主要有两个原因。首先，跟踪多个域的对话状态是不平凡的，因为对话代理必须从所有相关域获得完整的状态，其中一些可能具有域之间的共享槽以及仅针对一个域的唯一槽。其次，对话代理还必须处理跨域的各种类型的信息，包括对话上下文、对话状态和数据库，以生成对用户的自然响应。与现有的通常被设计为单独训练每个模块的方法不同，我们提出了“UniConv”--一种用于多领域面向任务的对话中的端到端会话系统的新型统一神经架构，其被设计为联合训练（i）通过独立地在槽和域级别学习信号来跟踪对话状态的双层状态跟踪器，以及（ii）联合对话行为和响应生成器，其合并来自各种输入组件的信息并且同时对对话行为和目标响应进行建模。我们在MultiWOZ2.1基准测试中进行了对话状态跟踪、上下文到文本和端到端设置方面的全面实验，实现了优于竞争基准的性能。
2020-11-15 cs.CL cs.LG
An Ontology-Based Dialogue Management System for Banking and Finance Dialogue Systems
Com Innovation Center（4Com创新中心）
在对话系统中保持对话状态是众所周知的困难任务。我们介绍了一个基于本体的对话管理器（OntoDM），对话管理器，保持会话的状态，提供了一个基础的回指解析和驱动会话通过领域本体。银行和金融领域通过丰富的产品集和专有名词、命名实体和动词的特异性来消除上下文的歧义。我们使用本体作为知识库和对话管理器的基础;知识库组件和对话管理器组件在某种意义上合并。领域知识用于跟踪感兴趣的实体，即本体的节点（类），这些节点恰好是产品和服务。通过这种方式，我们在某种意义上也介绍了会话记忆和注意力。我们将语言学方法、领域驱动的关键词排名和领域本体进行了很好的融合，以创建领域驱动的对话方式。建议的框架用于我们内部的德语银行和金融聊天机器人。还介绍了德语语言处理和金融银行领域聊天机器人语言模型和词汇的一般挑战。这项工作仍在进行中，因此尚未引入成功指标。
2018-04-13 cs.CL
Microsoft Dialogue Challenge: Building End-to-End Task-Completion Dialogue Systems
Microsoft（微软）
该提案引入了一个对话挑战，用于构建端到端的任务完成对话系统，其目标是鼓励对话研究社区在标准数据集和统一的实验环境上进行合作和基准测试。在本次特别会议中，我们将发布三个领域（电影票预订，餐厅预订和出租车预订）的人工注释对话数据，以及每个领域内置模拟器的实验平台，用于培训和评估目的。最终提交的系统将在模拟环境中进行评估，并由人类法官进行评估。
2018-09-14 cs.AI cs.CL cs.LG
Training Neural Response Selection for Task-Oriented Dialogue Systems
PolyAI Limited（PolyAI有限公司）
尽管它们在聊天机器人文献中很受欢迎，但基于检索的模型对面向任务的对话系统的影响不大，其应用的主要障碍是大多数面向任务的对话任务的低数据机制。受语言建模中预训练最近成功的启发，我们提出了一种有效的方法，用于在面向任务的对话中部署响应选择。为了训练面向任务的对话任务的响应选择模型，我们提出了一种新的方法：1）在大型通用领域对话语料库上预训练响应选择模型;然后2）针对目标对话领域微调预训练模型，仅依赖于小的领域内数据集来捕获给定对话领域的细微差别。我们的评估六个不同的应用领域，从电子商务到银行，证明了所提出的培训方法的有效性。
2019-06-07 cs.CL
Towards Scalable Multi-domain Conversational Agents: The Schema-Guided Dialogue Dataset
Google Research（谷歌研究院）
Google Assistant、Alexa和Siri等虚拟助理为跨多个域的大量服务和API提供对话界面。这样的系统需要支持不断增加的服务数量，这些服务可能具有重叠的功能。此外，这些服务中的一些服务几乎没有可用的训练数据。现有的面向任务的对话的公共数据集不足以捕捉这些挑战，因为它们覆盖几个领域，并假设每个域的一个静态本体。在这项工作中，我们介绍了模式引导对话（SGD）数据集，包含超过16k的多域会话跨越16个域。我们的数据集在规模上超过了现有的面向任务的对话语料库，同时也突出了与构建大规模虚拟助手相关的挑战。它为许多任务提供了一个具有挑战性的测试平台，包括语言理解、槽填充、对话状态跟踪和响应生成。沿着同样的思路，我们提出了一个模式引导的范式为任务导向的对话，其中预测的意图和插槽，作为输入，使用他们的自然语言描述的动态设置。这允许单个对话系统容易地支持大量服务，并且便于新服务的简单集成，而不需要额外的训练数据。基于所提出的范例，我们发布了一个对话状态跟踪模型，能够zero-shot推广到新的API，同时在常规设置中保持竞争力。
2020-01-29 cs.CL
Domain Transfer in Dialogue Systems without Turn-Level Supervision
University of Copenhagen（哥本哈根大学）；University of Cambridge（剑桥大学）
面向任务的对话系统在很大程度上依赖于专门的对话状态跟踪（DST）模块来动态地预测整个对话中的用户意图。最先进的DST模型通常以监督的方式从转弯级别的手动注释进行训练。然而，这些注释的获得成本很高，这使得难以为新领域创建准确的对话系统。为了解决这些限制，我们提出了一种方法，基于强化学习，转移DST模型到新的领域，而无需回合级监督。在几个领域中，我们的实验表明，这种方法可以快速地将现成的模型适应新的领域，并与使用回合级监督训练的模型表现相当。我们还表明，我们的方法可以通过随后对对话级奖励的微调优化来改进使用回合级监督训练的模型。
2019-09-16 cs.CL
MultiWOZ 2.3: A multi-domain task-oriented dialogue dataset enhanced with annotation corrections and co-reference annotation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huawei Technologies（华为技术有限公司）；Tsinghua University（清华大学）
面向任务的对话系统已经取得了前所未有的进展，多个国家的最先进的（SOTA）模型的支持下，一些公开可用的MultiWOZ数据集。对话状态注释容易出错，导致次优性能。在纠正原始MultiWOZ数据集中存在的注释错误方面已经做出了各种努力。在本文中，我们介绍了MultiWOZ 2.3，其中我们区分了对话行为中的不正确注释和对话状态，在发布更新的数据集时识别出缺乏共同引用。为了保证对话行为和对话状态之间的一致性，我们实现了共指功能，并统一了对话行为和对话状态的注释。我们在MultiWOZ 2.3上更新了自然语言理解和对话状态跟踪的最新性能，结果显示比以前版本的MultiWOZ数据集（2.0-2.2）有显著改进。
2021-06-14 cs.CL
Predictive Engagement: An Efficient Metric For Automatic Evaluation of Open-Domain Dialogue Systems
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
用户参与度是评价开放域对话系统质量的关键指标。先前的工作集中在会话级别的参与，通过使用启发式构造的功能，如回合数和总时间的对话。在本文中，我们调查的可能性和有效性，估计话语级的参与，并定义了一个新的度量，{ \em预测参与}，自动评估的开放域对话系统。我们的实验表明，（1）人类注释者在评估话语级参与分数方面具有高度一致性;（2）会话级参与分数可以从正确聚合的话语级参与分数中预测。此外，我们表明，话语水平的参与分数可以从数据中学习。这些分数可以改善开放域对话系统的自动评估指标，如与人类判断的相关性所示。这表明，预测参与可以用作训练更好的对话模型的实时反馈。
2020-01-24 cs.CL
PairEval: Open-domain Dialogue Evaluation with Pairwise Comparison
KAIST AI（韩国科学技术院人工智能学院）
提出PairEval，一种基于成对比较的开放域对话评估指标，利用开源中等规模语言模型实现，在多个基准上比基线更贴近人类判断，并更稳健地检测重复和说话者不敏感等故障。
2024-07-18 cs.CL
Building a Role Specified Open-Domain Dialogue System Leveraging Large-Scale Language Models
NAVER CLOVA；NAVER AI Lab（NAVER人工智能实验室）
最近的开放领域对话模式带来了许多突破。然而，构建聊天系统是不可扩展的，因为它通常需要大量的人与人之间的对话数据，特别是在强制执行角色、风格或安全等功能时。在这项工作中，我们研究了开放域的对话系统施加角色的挑战，使系统保持一致的角色，同时自然地与人类交谈的目标。为了实现这一点，系统必须满足角色规范，该角色规范包括关于所述特征的某些条件以及关于是否允许某些类型的话语的系统策略。为此，我们提出了一个高效的数据汇集框架，利用大规模语言模型的上下文少样本学习，从头开始构建角色满意的对话数据集。然后，我们比较各种架构的开放域对话系统在满足角色规范，同时保持会话能力。自动和人工评估表明，我们的模型返回很少的出界话语，保持竞争力的一般指标的性能。我们发布了我们为进一步研究而构建的韩语对话数据集。
2022-04-30 cs.CL
PoE: a Panel of Experts for Generalized Automatic Dialogue Assessment
National University of Singapore（新加坡国立大学）；Universidad Politécnica de Madrid（马德里理工大学）；Robert Bosch (SEA) Pte Ltd（博世（东南亚）私人有限公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
预计聊天机器人将在多个领域拥有丰富的知识，例如日常聊天，信息交换和情感情况下的接地。为了有效地衡量这样的会话代理的质量，基于模型的自动对话评估指标（ADEM），预计将在多个领域表现良好。尽管取得了重大进展，但在一个领域运作良好的ADEM不一定推广到另一个领域。这就需要一个专用的领域泛化网络架构。为了解决多域对话评估任务，我们提出了一个专家小组（PoE），一个多任务网络，由一个共享的Transformer编码器和一个轻量级适配器的集合。共享编码器捕获跨域对话的一般知识，而每个适配器专门用于一个特定的域并充当域专家。为了验证这个想法，我们构建了一个高质量的多域对话数据集，利用数据增强和伪标签。PoE网络在16个对话评估数据集上进行了全面评估，这些数据集涵盖了广泛的对话领域。它在所有评估数据集的平均斯皮尔曼相关性方面达到了最先进的性能。它表现出更好的zero-shot泛化比现有的国家的最先进的ADEM和能力，很容易适应新的领域与Few-Shot迁移学习。
2022-12-18 cs.CL
