CHAI: A CHatbot AI for Task-Oriented Dialogue with Offline Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
传统上，为对话代理生成自然语言可以被视为统计学习问题：确定人类提供的数据中的模式，并生成具有类似统计属性的适当响应。然而，对话也可以被视为一个目标导向的过程，说话者试图完成一项特定的任务。强化学习（RL）算法是专门为解决这类目标导向问题而设计的，但应用RL的最直接方法--通过人类对话中的试错学习--成本很高。在本文中，我们研究如何离线强化学习可以完全使用从人类说话者收集的静态数据集来训练对话代理。我们的实验表明，最近开发的离线强化学习方法可以与语言模型相结合，以产生更好地完成任务目标的现实对话代理。
2022-04-18 cs.CL cs.LG
Building Task-Oriented Visual Dialog Systems Through Alternative Optimization Between Dialog Policy and Language Generation
University of California, Davis（加州大学戴维斯分校）
强化学习（Reinforcement learning，RL）是面向任务的可视化对话系统学习最优对话策略的有效方法。一种常见的做法是在神经序列到序列（seq2seq）框架上应用RL，其中动作空间是解码器中的输出词汇表。然而，很难设计一个奖励函数，可以在学习有效的策略和生成自然的对话响应之间实现平衡。本文提出了一种新的框架，交替训练图像猜测的RL策略和监督seq2seq模型，以提高对话生成质量。我们评估我们的框架上的GuessWhich任务和框架实现了国家的最先进的性能，在任务完成和对话质量。
2019-10-28 cs.AI cs.CL cs.LG
End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient
Amazon（亚马逊）
学习面向目标的对话策略通常利用监督学习算法离线执行，或者利用强化学习（RL）在线执行。此外，随着公司积累了大量客户和训练有素的人类代理之间的对话记录，编码器-解码器方法已经流行起来，因为代理话语可以直接被视为监督，而不需要话语级注释。然而，这样的方法的一个潜在的缺点是，他们近视生成下一个代理话语，而不考虑对话级的考虑。为了解决这个问题，本文描述了一种离线RL方法，用于从未注释的语料库中学习，该方法可以在话语和对话级别上优化面向目标的策略。我们引入了一个新的奖励函数，并使用上政策和关闭政策策略梯度离线学习策略，而不需要在线用户交互或显式的状态空间定义。
2017-12-07 cs.AI cs.CL cs.LG
Answerer in Questioner's Mind: Information Theoretic Approach to Goal-Oriented Visual Dialog
Seoul National University（首尔大学）；Surromind Robotics（Surromind机器人公司）
面向目标的对话由于其在人工智能中的广泛应用而受到关注。目标导向的对话任务发生在提问者问一个行动导向的问题，回答者回答问题的意图是让提问者知道要采取的正确行动。为了提出足够的问题，最近已经应用了深度学习和强化学习。然而，由于学习一系列句子的复杂性，这些方法很难找到一个称职的递归神经提问者。受心理理论的启发，我们提出了一种新的面向目标对话的信息论算法“提问者的回答者”（AQM）。在AQM中，提问者根据回答者的近似概率模型进行提问和推断。提问者通过明确计算候选意图和每个问题的可能答案的信息增益，选择一个合理的问题来确定回答者的意图。我们在两个面向目标的可视化对话框任务上测试我们的框架：“MNIST计数对话框”和“GuessWhat？！".在我们的实验中，主动队列管理的性能优于比较算法的大幅度。
2018-11-28 cs.AI cs.CL cs.CV
Learning Goal-Oriented Visual Dialog Agents: Imitating and Surpassing Analytic Experts
National Chiao Tung University（国立交通大学）
本文研究了面向目标的视觉对话任务中提问者的学习问题。以前的几个作品采用无模型强化学习。大多数人从有限的人类生成的数据集预训练模型。我们认为，使用有限的示范启动提问者是不够的，由于大的政策搜索空间。受最近提出的信息理论方法的启发，我们开发了两个分析专家，作为高质量的示范源模仿学习。然后，我们利用强化学习来改进模型，使其朝着目标导向的目标发展。关于GuessWhat的实验结果？！实验结果表明，该方法综合了模仿学习和强化学习的优点，达到了最先进的性能.
2019-07-24 cs.AI cs.LG
Learning to Learn End-to-End Goal-Oriented Dialog From Related Dialog Tasks
University of Michigan（密歇根大学）
对于感兴趣的每个面向目标的对话任务，需要收集大量数据以用于神经对话系统的端到端学习。收集这些数据是一个昂贵和耗时的过程。相反，我们表明，我们可以只使用少量的数据，从相关的对话任务的数据补充。单纯地从相关数据中学习无法提高性能，因为相关数据可能与目标任务不一致。我们描述了一种基于元学习的方法，该方法选择性地从相关的对话任务数据中学习。我们的方法导致显着的准确性提高，在一个例子对话任务。
2021-10-10 cs.CL cs.LG
Variational Hierarchical Dialog Autoencoder for Dialog State Tracking Data Augmentation
Seoul National University（首尔国立大学）；Adobe Research（奥多比研究院）
最近的工作表明，生成式数据增强（其中从深度生成模型生成的合成样本补充训练数据集）使NLP任务受益。在这项工作中，我们将这种方法扩展到面向目标的对话框的对话状态跟踪任务。由于面向目标的对话在话语和相关注释上的固有层次结构，深度生成模型必须能够捕获不同层次和类型的对话特征之间的一致性。我们提出了变分层次对话自动编码器（VHDA）建模的完整方面的面向目标的对话，包括语言特征和底层结构化注释，即扬声器信息，对话行为，和目标。所提出的架构的目的是模型的每一个方面的目标为导向的对话，使用相互连接的潜在变量，并学会生成连贯的目标为导向的对话，从潜在的空间。为了克服训练复杂变分模型时出现的训练问题，我们提出了适当的训练策略。在各种对话数据集上的实验表明，该模型通过生成式数据增强提高了下游对话跟踪器的鲁棒性。我们还发现了我们的统一方法建模面向目标的对话框的额外好处：对话框响应生成和用户模拟，我们的模型优于以前的强大基线。
2020-10-07 cs.CL cs.LG
UniConv: A Unified Conversational Neural Architecture for Multi-domain Task-oriented Dialogues
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
建立一个端到端的会话代理多领域的面向任务的对话一直是一个开放的挑战，主要有两个原因。首先，跟踪多个域的对话状态是不平凡的，因为对话代理必须从所有相关域获得完整的状态，其中一些可能具有域之间的共享槽以及仅针对一个域的唯一槽。其次，对话代理还必须处理跨域的各种类型的信息，包括对话上下文、对话状态和数据库，以生成对用户的自然响应。与现有的通常被设计为单独训练每个模块的方法不同，我们提出了“UniConv”--一种用于多领域面向任务的对话中的端到端会话系统的新型统一神经架构，其被设计为联合训练（i）通过独立地在槽和域级别学习信号来跟踪对话状态的双层状态跟踪器，以及（ii）联合对话行为和响应生成器，其合并来自各种输入组件的信息并且同时对对话行为和目标响应进行建模。我们在MultiWOZ2.1基准测试中进行了对话状态跟踪、上下文到文本和端到端设置方面的全面实验，实现了优于竞争基准的性能。
2020-11-15 cs.CL cs.LG
Personalization in Goal-Oriented Dialog
Artificial Intelligence Laboratory（人工智能实验室）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
人类对话建模的主要目标是创建可以在开放式和面向目标的场景中与人交互的代理。端到端训练的神经对话系统是这种通用对话模型的重要研究方向，因为它们不依赖于任何特定于情况的手工规则。然而，将个性化纳入此类系统在很大程度上是一个未探索的主题，因为没有现有的语料库来促进此类工作。在本文中，我们提出了一个新的数据集的目标为导向的对话，这是受扬声器配置文件附加到他们。我们分析了现有的基于内存网络的端到端对话系统的缺点，并提出了修改的架构，使个性化。我们还调查个性化的对话作为一个多任务学习问题，并表明，一个单一的模型，共享功能之间的各种配置文件优于单独的模型，每个配置文件。
2017-12-15 cs.CL cs.LG
Constraint based Knowledge Base Distillation in End-to-End Task Oriented Dialogs
IIT Delhi（印度理工学院德里分校）；IBM Research（IBM研究院）
端到端面向任务的对话系统基于对话历史和伴随的知识库（KB）生成响应。推断与话语最相关的那些KB实体对于响应生成是至关重要的。现有技术通过对不相关的KB信息进行软过滤来扩展到大KB。在本文中，我们提出了一种新的过滤技术，包括（1）一个成对的相似性为基础的过滤器，识别相关的信息，尊重的n元结构的知识库记录。以及（2）辅助损失，其有助于分离上下文无关的KB信息。我们还提出了一个新的度量--多集实体F1，它解决了现有实体F1度量中的正确性问题。三个公开的面向任务的对话数据集上的实验结果表明，我们提出的方法优于现有的国家的最先进的模型。
2021-09-15 cs.CL cs.LG
In-Context Learning User Simulators for Task-Oriented Dialog Systems
Telepathy Labs GmbH（Telepathy Labs有限公司）
本文利用大语言模型的上下文学习能力，依据用户目标和少量对话示例构建任务型对话用户模拟器，避免规则编写与大量标注，并通过交互错误分析指出改进方向。
2023-06-01 cs.CL cs.LG
Augmenting Task-Oriented Dialogue Systems with Relation Extraction
University of Michigan（密歇根大学）；Bloomberg（彭博）；Vanderbilt University（范德堡大学）
标准的面向任务的对话管道使用意图分类和槽填充来解释用户话语。虽然这种方法可以处理各种各样的查询，但它不能提取处理包含槽之间关系的更复杂查询所需的信息。我们建议将关系抽取集成到这个管道中，作为扩展对话系统功能的有效方法。我们评估我们的方法，使用一个内部数据集的插槽和关系注释跨越三个域。最后，我们展示了如何插槽填充注释计划可以简化，一旦关系注释的表达能力，减少插槽的数量，同时仍然捕捉用户的意图。
2022-10-24 cs.CL cs.LG
A Challenge on Semi-Supervised and Reinforced Task-Oriented Dialog Systems
Tsinghua University（清华大学）；China Mobile（中国移动）
半监督和强化的面向任务的对话系统的挑战，与EMNLP 2022 SereTOD研讨会位于同一地点。
2022-09-25 cs.CL
Recent Advances and Challenges in Task-oriented Dialog System
Tsinghua University（清华大学）；Institute for Artificial Intelligence, Tsinghua University (THUAI)（清华大学人工智能研究院）；Beijing National Research Center for Information Science & Technology（北京信息科学与技术国家研究中心）
由于其在人机交互和自然语言处理中的重要性和价值，面向任务的对话系统受到了学术界和工业界越来越多的关注。在本文中，我们调查最近的进展和挑战，面向任务的对话系统。我们还讨论了面向任务的对话系统的三个关键主题：（1）提高数据效率，以促进在低资源设置对话建模，（2）建模多轮动态对话策略学习，以实现更好的任务完成性能，（3）集成领域本体知识到对话模型。此外，我们还回顾了对话评价的最新进展和一些广泛使用的语料库。我们相信，这项调查，虽然不完整，可以揭示未来的研究在面向任务的对话系统。
2020-06-23 cs.CL
End-to-End Optimization of Task-Oriented Dialogue Model with Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
在本文中，我们提出了一个基于神经网络的面向任务的对话系统，可以优化端到端的深度强化学习（RL）。该系统能够跟踪对话状态，与知识库接口，并将查询结果纳入代理的响应，成功地完成面向任务的对话。对话策略学习采用混合监督和深度RL方法进行。我们首先训练的对话代理在监督的方式直接从面向任务的对话语料库学习，并进一步优化它与用户交互过程中的深度RL。在两个不同的对话任务域上的实验中，我们的模型在跟踪对话状态和产生合理的系统响应方面表现出鲁棒的性能。我们表明，与监督训练模型相比，基于深度强化学习的优化显著提高了任务成功率，减少了对话长度。我们进一步展示了训练面向任务的对话模型端到端的好处，与对话模拟和人类评估的实验结果相比，组件优化。
2017-11-30 cs.CL
Context-Aware Dialog Re-Ranking for Task-Oriented Dialog Systems
Sony Corporation（索尼公司）；Carnegie Mellon University（卡内基梅隆大学）
对话响应排名用于通过考虑响应候选与对话历史的关系来对响应候选进行排名。虽然研究者已经提出了这个概念的开放域对话，很少有人关注面向任务的对话。此外，没有以前的研究分析是否响应排序可以提高现有的对话系统在真实的人机对话与语音识别错误的性能。在本文中，我们提出了一个上下文感知的对话响应重新排序系统。我们的系统通过两个步骤对响应进行重新排序：（1）计算每个候选响应和当前对话上下文的匹配分数;（2）将匹配分数和来自现有对话系统的候选响应的概率分布相结合，以进行响应重新排序。通过使用基于神经词嵌入的模型和手工或基于逻辑回归的集成模型，我们已经改进了最近提出的端到端面向任务的对话系统在具有语音识别错误的真实对话上的性能。
2018-11-28 cs.CL
Learning from Relevant Subgoals in Successful Dialogs using Iterative Training for Task-oriented Dialog Systems
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Amazon（亚马逊公司）
本文提出子目标感知迭代训练方法 SUIT，通过远程监督识别成功对话中的关键子目标并迭代生成高质量训练数据，在任务型对话基准上取得最先进性能。
2024-11-25 cs.AI cs.CL cs.LG
Chat, Shift and Perform: Bridging the Gap between Task-oriented and Non-task-oriented Dialog Systems
Keio University（庆应义塾大学）
我们提出了CASPER（ChAt，Shift和PERform），一个新的对话系统，包括三种类型的对话模型：颤振，移位器，和表演者。Shifter是专为主题切换而设计的，它可以实现从开放域聊天到面向任务的对话的无缝对话流。在一项用户研究中，CASPER在响应的自然性、缺乏强迫话题切换和满意度方面给人留下了更好的印象，而与以端到端方式训练的基线对话系统相比。在消融研究中，我们发现，自然的反应，对话满意度和任务引出率提高时，移位器被删除CASPER相比，表明主题转移与移位器支持自然的任务导向对话的介绍。
2022-06-05 cs.AI cs.CL
User Modeling for Task Oriented Dialogues
Google AI（谷歌人工智能）
我们介绍了端到端的神经网络为基础的模型，用于模拟面向任务的对话系统的用户。对话系统中的用户模拟从两个不同的角度来看是至关重要的：（i）不同对话模型的自动评估，以及（ii）训练面向任务的对话系统。我们设计了一个分层的序列到序列模型，首先编码的初始用户的目标和系统变成固定长度的表示使用递归神经网络（RNN）。然后，它使用另一个RNN层对对话历史进行编码。在每一轮中，用户响应都是从对话级别RNN的隐藏表示中解码出来的。这种层次化的用户模拟器（HUS）方法允许模型捕获用户目标中未被发现的部分，而不需要显式的对话状态跟踪。我们进一步开发了几个变种，利用潜变量模型注入随机变化到用户响应，以促进模拟用户响应的多样性和一种新的目标正则化机制，以惩罚用户响应偏离初始用户目标。我们评估电影票预订领域的建议模型，系统地互动每个用户模拟器与各种对话系统政策训练与不同的目标和用户。
2018-11-11 cs.AI cs.CL cs.LG
Training Neural Response Selection for Task-Oriented Dialogue Systems
PolyAI Limited（PolyAI有限公司）
尽管它们在聊天机器人文献中很受欢迎，但基于检索的模型对面向任务的对话系统的影响不大，其应用的主要障碍是大多数面向任务的对话任务的低数据机制。受语言建模中预训练最近成功的启发，我们提出了一种有效的方法，用于在面向任务的对话中部署响应选择。为了训练面向任务的对话任务的响应选择模型，我们提出了一种新的方法：1）在大型通用领域对话语料库上预训练响应选择模型;然后2）针对目标对话领域微调预训练模型，仅依赖于小的领域内数据集来捕获给定对话领域的细微差别。我们的评估六个不同的应用领域，从电子商务到银行，证明了所提出的培训方法的有效性。
2019-06-07 cs.CL
Generative Dialog Policy for Task-oriented Dialog Systems
对于能够在诸如订票和餐厅预订的各种活动中帮助用户的面向任务的对话系统的需求日益增加。在面向任务的对话系统中，为了有效地完成对话，对话策略起着关键的作用。现有的面向任务的对话系统通过分类获取对话策略，既可以为一个对话行为分配一个对话行为及其相应的参数，也可以为多个对话行为分配多个对话行为而不分配相应的参数。事实上，一个好的对话政策应该同时构建多种对话行为及其相应的参数。然而，现有的基于分类的方法很难实现这一目标。因此，为了解决上述问题，我们提出了一种新的生成式对话策略学习方法。该方法利用注意力机制寻找给定对话上下文和输入话语的相关片段，然后通过seq2seq方式构造面向任务的对话系统的对话策略。在两个基准数据集上的大量实验表明，该模型的性能显着优于最先进的基线。此外，我们还公开发布了我们的代码。
2019-09-17 cs.AI cs.CL
CookDial: A dataset for task-oriented dialogs grounded in procedural documents
Ghent University（根特大学）；imec（比利时微电子研究中心）
这项工作提出了一个新的对话数据集CookDial，它有助于研究具有程序知识理解的面向任务的对话系统。该语料库包含260个人与人之间的任务导向对话，其中一个代理，给出一个食谱文档，指导用户烹饪一道菜。CookDial中的对话具有两个独特的功能：（i）对话流和支持文档之间的程序对齐;（ii）复杂的代理决策，包括分割长句，解释硬指令和解决对话上下文中的共指。此外，我们确定了三个具有挑战性的（子）任务，在假设的面向任务的对话系统：（1）用户问题理解，（2）代理动作帧预测，（3）代理响应生成。对于这些任务中的每一个，我们都开发了一个神经基线模型，并在CookDial数据集上进行了评估。我们公开发布了CookDial数据集，包括对话框和食谱文档的丰富注释，以刺激对特定于域的基于文档的对话框系统的进一步研究。
2022-06-17 cs.CL
Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Samsung Research（三星研究院）
在这项工作中，我们提出了一种混合学习方法，通过在线用户交互训练面向任务的对话系统。用于学习面向任务的对话的流行方法包括在监督的预训练模型上应用具有用户反馈的强化学习。这种学习方法的效率可能受到离线训练和在线交互式学习阶段之间的对话状态分布的不匹配的影响。为了解决这一挑战，我们提出了一种混合模仿和强化学习的方法，与对话代理可以有效地学习，从人类的教学和反馈与用户的互动。我们设计了一个基于神经网络的面向任务的对话代理，可以优化端到端的学习方法。实验结果表明，我们的端到端的对话代理可以有效地学习，从它所犯的错误，通过模仿学习从用户教学。在模仿学习阶段之后应用具有用户反馈的强化学习进一步提高了代理成功完成任务的能力。
2018-04-18 cs.CL
An End-to-End Trainable Neural Network Model with Belief Tracking for Task-Oriented Dialog
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的端到端的可训练神经网络模型面向任务的对话系统。该模型能够跟踪对话状态，向知识库（KB）发出API调用，并将结构化的KB查询结果合并到系统响应中，以成功地完成面向任务的对话。该模型通过共同学习信念跟踪和KB结果处理条件的对话历史，产生结构良好的系统响应。我们使用从第二个对话状态跟踪挑战（DSTC 2）语料库转换的数据集来评估餐厅搜索域中的模型。实验结果表明，该模型可以鲁棒地跟踪对话状态给定的对话历史。此外，我们的模型在产生适当的系统响应方面表现出良好的效果，优于使用每个响应准确度评估指标的先前端到端可训练神经网络模型。
2017-08-20 cs.CL
Goal-Oriented Multi-Task BERT-Based Dialogue State Tracker
Neural Networks and Deep Learning Lab（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
对话状态跟踪（DST）是Alexa或Siri等虚拟助手的核心组件。为了完成各种任务，这些助手需要支持越来越多的服务和API。第八届对话系统技术挑战赛的模式引导状态跟踪轨道强调了不可见服务的DST问题。组织者引入了具有多域对话的模式引导对话（SGD）数据集，并发布了zero-shot对话状态跟踪模型。在这项工作中，我们提出了一个面向GOaL的多任务基于BERT的对话状态跟踪器（GOLOMB）的启发架构的阅读理解问答系统。该模型“查询”对话历史与插槽和服务的描述以及插槽的可能值。这允许在多域对话中传输槽值，并具有扩展到看不见的槽类型的能力。我们的模型在SGD数据集上实现了53.97%的联合目标准确率，优于基线模型。
2020-02-05 cs.CL cs.LG stat.ML
CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
为了推进多领域（跨领域）对话建模，以及缓解中国面向任务的数据集的不足，我们提出了CrossWOZ，第一个大规模的中国跨领域向导Oz面向任务的数据集。它包含6 K对话会话和5个领域的102 K话语，包括酒店，餐厅，景点，地铁和出租车。此外，语料库包含了丰富的用户和系统双方的对话状态和对话行为的注释。大约60%的对话具有跨域用户目标，这些目标有利于域间依赖，并鼓励对话中跨域的自然过渡。我们还提供了一个用户模拟器和几个基准模型的流水线面向任务的对话系统，这将有助于研究人员比较和评估他们的模型在这个语料库。CrossWOZ的大尺寸和丰富的注释使其适合研究跨域对话建模中的各种任务，如对话状态跟踪、策略学习、用户模拟等。
2020-02-28 cs.CL
DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue
Carnegie Mellon University（卡内基梅隆大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
面向任务的对话研究的一个长期目标是能够灵活地调整对话模型以适应新的领域。为了推进这一方向的研究，我们引入了DialogLUE（对话语言理解评估），这是一个公共基准，由7个面向任务的对话数据集组成，涵盖4个不同的自然语言理解任务，旨在鼓励基于表示的迁移，领域自适应和样本有效任务学习的对话研究。我们发布了几个强大的基线模型，通过在大型开放域对话语料库上进行预训练和任务自适应自监督训练，在普通BERT架构上展示了性能改进，并在7个任务中的5个任务上获得了最先进的结果。通过DialogLUE基准、基线方法和我们的评估脚本，我们希望能够促进开发更通用的面向任务的对话模型的目标。
2020-10-01 cs.AI cs.CL
Dialog-to-Actions: Building Task-Oriented Dialogue System via Action-Level Generation
Meituan Group（美团集团）；Peking University（北京大学）
针对工业场景中任务型对话系统在可控性和效率上的瓶颈，提出基于动作级生成的对话系统，通过构建对话动作序列并训练 Seq2Seq 模型生成动作再转换为响应，实现轻量且具竞争力的可控高效方案。
2023-04-03 cs.CL
Towards Task-Oriented Dialogue in Mixed Domains
FPT Technology Research Institute（FPT技术研究院）；FPT University（FPT大学）；Vietnam National University（越南国家大学）
本文研究了混合域环境下的任务型对话问题。我们使用两个相关的国家的最先进的对话系统的对话轮序列中的不同域之间的交替的效果进行研究。我们首先表明，一个专门的状态跟踪组件在多个领域中发挥着重要的作用，并给出了更好的结果比一个端到端的面向任务的对话系统。然后，我们提出了一个混合系统，这是能够提高约28%的平均绝对点在一个标准的多域对话数据集的信念跟踪精度。这些实验结果为改进我们的商业聊天机器人平台FPT.AI提供了一些有用的见解，该平台目前已被部署用于许多实际的聊天机器人应用。
2019-09-05 cs.CL
Adversarial Learning of Task-Oriented Neural Dialog Models
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了一个对抗性学习方法的奖励估计强化学习（RL）为基础的面向任务的对话模型。当前大多数基于RL的面向任务的对话系统都需要访问来自用户反馈或用户评级的奖励信号。然而，这种用户评级在实践中可能并不总是一致或可用的。此外，使用RL的在线对话策略学习通常需要向用户进行大量查询，从而遭受样本效率问题。为了解决这些挑战，我们提出了一种对抗性学习方法，直接从对话样本中学习对话奖励。这样的奖励进一步用于利用基于策略梯度的RL来优化对话策略。在餐馆搜索领域的评估中，我们表明，与强基线方法相比，所提出的对抗性对话学习方法实现了高级对话成功率。我们进一步讨论了在线对抗对话学习中的协变量偏移问题，并展示了如何通过部分访问用户反馈来解决这个问题。
2018-05-30 cs.CL
BORT: Back and Denoising Reconstruction for End-to-End Task-Oriented Dialog
JD AI Research（京东人工智能研究院）
典型的端到端面向任务的对话系统将上下文转换为对话状态，并在其上生成响应，这通常面临来自先前生成的不准确的对话状态和响应的错误传播的问题，特别是在低资源场景中。为了缓解这些问题，我们提出了BORT，一个后端和去噪重建方法的端到端面向任务的对话系统。为了提高对话状态的准确性，由于不准确的对话状态不能恢复相应的输入上下文，因此使用反向重建来从生成的对话状态重建原始输入上下文。为了增强模型的去噪能力以减少错误传播的影响，使用去噪重建来重建损坏的对话状态和响应。在MultiWOZ 2.0和CamRest676上进行的大量实验表明了BORT的有效性。此外，BORT在zero-shot域和低资源场景中展示了其高级功能。
2022-05-05 cs.CL
Semi-Supervised Dialogue Policy Learning via Stochastic Reward Estimation
The University of Melbourne（墨尔本大学）；Twitter Inc.（推特公司）
在面向任务的对话系统中，对话策略优化往往要等到任务完成后才能得到反馈。这不足以训练中间对话回合，因为监督信号（或奖励）仅在对话结束时提供。为了解决这个问题，已经引入了奖励学习来从最优策略的状态-动作对中学习，以提供逐向奖励。这种方法需要人与人对话的完整状态-动作注释（即，专家演示），这是劳动密集型的。为了克服这一局限性，我们提出了一种新的奖励学习方法的半监督策略学习。所提出的方法学习动态模型作为对对话进程进行建模的奖励函数（即，状态-动作序列），或者有或者没有注释。动态模型通过预测对话进度是否与专家演示一致来计算奖励。我们还建议学习动作嵌入，以更好地推广奖励函数。所提出的方法优于竞争策略学习基线MultiWOZ，一个基准多域数据集。
2020-05-09 cs.AI cs.CL
Searching for Snippets of Open-Domain Dialogue in Task-Oriented Dialogue Datasets
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire Interdisciplinaire des Sciences du Numérique（数字科学跨学科实验室）
本研究通过主题建模探索Schema-Guided Dialogues和MultiWOZ训练集，发现面向任务对话数据中自然存在社交闲聊序列，为闲聊与任务对话的结合研究提供了依据。
2023-11-23 cs.CL
Variational Reward Estimator Bottleneck: Learning Robust Reward Estimator for Multi-Domain Task-Oriented Dialog
Korea University（高丽大学）；Massachusetts Institute of Technology（麻省理工学院）
尽管在面向多领域任务的对话系统的对抗学习方法中取得了显着的成功，但通过对抗逆强化学习训练对话策略通常无法平衡策略生成器和奖励估计器的性能。在优化过程中，奖励估计器通常会对策略生成器进行优化，并产生过多的无信息梯度。我们提出了变分回报估计瓶颈（VRB），这是一种有效的正则化方法，旨在约束输入和回报估计之间的非生产性信息流。VRB通过利用互信息上的信息瓶颈来捕获鉴别特征。多领域面向任务的对话数据集上的实验结果表明，VRB显着优于以前的方法。
2020-05-31 cs.AI cs.CL
Iterative Policy Learning in End-to-End Trainable Task-Oriented Neural Dialog Models
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个深度强化学习（RL）框架，用于端到端面向任务的对话系统中的迭代对话策略优化。使用RL学习对话策略的流行方法包括让对话代理学习用户模拟器。然而，构建一个可靠的用户模拟器并不简单，它通常和构建一个好的对话代理一样困难。我们通过模拟两个代理之间的对话来联合优化对话代理和具有深度RL的用户模拟器来解决这一挑战。我们首先引导一个基本的对话代理和一个基本的用户模拟器直接从对话语料库与监督训练。然后，我们通过让两个代理进行面向任务的对话并使用深度RL迭代优化其策略来进一步改进它们。对话代理和用户模拟器都是用可以端到端训练的神经网络模型设计的。我们的实验结果表明，与监督训练和单智能体RL训练基线模型相比，所提出的方法在任务成功率和总任务奖励方面都有很大的改进。
2017-09-18 cs.CL
Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users
Seoul National University（首尔大学）；Amazon（亚马逊）
本文提出 Multi-User MultiWOZ 数据集和查询改写任务，将多用户聊天改写为单用户式查询，在不改动现有对话系统的前提下显著提升对话状态跟踪性能。
2023-10-31 cs.CL
An empirical assessment of deep learning approaches to task-oriented dialog management
深度学习在与会话界面相关的领域（如语音识别）提供了非常积极的结果，但其对对话管理的潜在好处尚未得到充分研究。在本文中，我们使用来自不同应用领域的三个对话语料库对深度学习对话管理的不同配置进行了评估，这些对话语料库的大小、维度和可能的系统响应各不相同。我们的研究结果使我们能够确定可能对准确性产生影响的几个方面，包括用于特征提取的方法，输入表示，上下文考虑和所采用的深层神经网络的超参数。
2021-08-07 cs.CL cs.HC cs.LG
Hello, It's GPT-2 -- How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems
Cambridge University（剑桥大学）；PolyAI Limited（PolyAI有限公司）
数据稀缺是一个长期存在的关键挑战，它阻碍了跨多个领域的面向任务的对话系统的快速开发：面向任务的对话模型预计将从少量的特定于任务的数据中学习语法，句法，对话推理，决策和语言生成。在本文中，我们证明了语言建模预训练和迁移学习的最新进展有望克服这个问题。我们提出了一个面向任务的对话模型，只对文本输入操作：它有效地绕过明确的政策和语言生成模块。在TransferTransfo框架之上构建（Wolf等人，2019）和生成模型预训练（Radford et al.，2019），我们从MultiWOZ数据集验证了复杂的多领域面向任务的对话方法。我们的自动和人工评估表明，所提出的模型与强大的任务特定神经基线相当。从长远来看，我们的方法有望缓解数据稀缺问题，并支持构建更具吸引力和更雄辩的面向任务的会话代理。
2019-08-04 cs.CL
Learning End-to-End Goal-Oriented Dialog
Facebook AI Research（Facebook人工智能研究院）
面向目标的应用程序中使用的传统对话系统需要大量特定于领域的手工制作，这阻碍了扩展到新领域。端到端对话系统，其中所有组件都是从对话本身训练的，摆脱了这个限制。但是，最近在闲聊对话中取得的令人鼓舞的成功可能不会延续到目标导向的环境中。本文提出了一个测试床，打破了面向目标的应用程序中的端到端对话系统的优点和缺点。在餐厅预订的背景下，我们的任务需要操纵句子和符号，以便正确地进行对话，发出API调用并使用这些调用的输出。我们表明，基于内存网络的端到端对话系统可以达到有前途的，但不完美的，性能和学习执行非平凡的操作。我们通过将我们的系统与第二次对话状态跟踪挑战（Henderson et al.，2014年a）。我们从在线礼宾服务中提取的数据显示了类似的结果模式。
2017-03-30 cs.CL
Multimodal Hierarchical Reinforcement Learning Policy for Task-Oriented Visual Dialog
University of California, Davis（加利福尼亚大学戴维斯分校）；Carnegie Mellon University（卡内基梅隆大学）
创建一个能够理解视觉和语言的智能对话系统是人工智能（AI）的最终目标之一~ \cite{winograd1972understanding}。广泛的研究集中在视觉到语言生成，然而，有限的研究已经触及到这两种模式结合在一个目标驱动的对话上下文。我们提出了一个多模态层次强化学习框架，动态集成视觉和语言的面向任务的视觉对话。该框架联合学习多模态对话状态表示和分层对话策略，以提高对话任务的成功率和效率。我们还提出了一种新的技术，状态自适应，在对话状态表示集成上下文感知。我们在一个图像猜测游戏中评估了所提出的框架和状态自适应技术，并取得了可喜的成果。
2018-05-08 cs.CL
DORA: Toward Policy Optimization for Task-oriented Dialogue System with Efficient Context
Pohang University of Science and Technology（浦项科技大学）
最近，强化学习（RL）已经通过使用潜在动作来解决监督学习（SL）的缺点，被应用于面向任务的对话系统。在本文中，我们提出了一个多领域的面向任务的对话系统，称为对话系统与优化循环的行动政策使用有效的上下文（DORA），使用SL，随后应用RL优化对话系统使用循环的对话政策。这种对话策略会反复生成显式的系统操作，作为单词级别和高级策略。因此，DORA在SL和RL步骤期间通过使用考虑有效上下文而不是整个对话历史的显式系统动作策略而被明显优化。系统行为既可解释又可控制，而潜在行为则不然。DORA将MultiWOZ 2.0的成功率提高了6.6分，将MultiWOZ 2.1的成功率提高了10.9分。
2021-07-07 cs.CL
What Did You Say? Task-Oriented Dialog Datasets Are Not Conversational!?
Google（谷歌）
面向任务对话的高质量数据集对于虚拟助手的开发至关重要。然而，三个最相关的大规模对话数据集有一个共同的缺陷：对话状态更新可以跟踪，在很大程度上，通过一个模型，只考虑当前用户的话语，忽略对话的历史。在这项工作中，我们概述了一个分类的会话和上下文的影响，我们用它来检查MultiWOZ，SGD和SMCalFlow，其中最新的和广泛使用的面向任务的对话数据集。我们以独立于模型的方式分析数据集，并使用强大的文本到文本基线（T5）通过实验证实了这些发现。我们发现，MultiWOZ的回合中只有不到4%和SGD的回合中有10%是会话式的，而SMCalFlow在其当前版本中根本不是会话式的：其对话状态跟踪任务可以简化为单交换语义解析。最后，我们概述了真正的会话对话数据集的必要条件。
2022-03-07 cs.CL
Towards Universal Dialogue Act Tagging for Task-Oriented Dialogues
Amazon（亚马逊）
用于构建面向任务的对话系统的机器学习方法需要带有标签的大型会话数据集来进行训练。我们对从人与人的对话中构建面向任务的对话系统感兴趣，这些对话可能在现有的客户服务中心日志中大量可用，或者可以从人群工作人员那里收集。注释这些数据集可能非常昂贵。最近发布了多个带注释的面向任务的人机对话数据集，但是它们的注释模式在不同的集合中有所不同，即使是对于定义良好的类别，如对话行为（DA）。我们提出了一个通用的DA模式面向任务的对话，并调整现有的注释数据集与我们的模式。我们的目标是训练一个通用DA标记器（U-DAT）的任务导向的对话，并使用它来标记人与人的对话。我们调查了多个数据集，提出了手动和自动化的方法来调整不同的模式，并在人与人对话的目标语料库上呈现结果。在无监督学习实验中，我们在人与人对话中的系统回合上获得了54.1%的F1分数。在半监督设置中，F1分数增加到57.7%，否则需要至少1.7K手动注释转弯。对于新的域，我们展示了进一步的改进，当未标记或标记的目标域数据可用。
2019-07-05 cs.AI cs.CL
Mars: Modeling Context & State Representations with Contrastive Learning for End-to-End Task-Oriented Dialog
JD AI Research（京东人工智能研究院）
本文提出端到端任务型对话系统 Mars，通过两种对比学习策略建模对话上下文与信念/动作状态表示的关系，发现与语义状态差异更大的上下文表示更有利于多轮对话，并在 MultiWOZ 2.0、CamRest676 和 CrossWOZ 上取得最优性能。
2023-07-10 cs.CL
Aligning Dialogue Agents with Global Feedback via Large Language Model Multimodal Reward Decomposition
MIT（麻省理工学院）；CMU（卡内基梅隆大学）
本文提出了一种基于大语言模型的多模态奖励分解方法，通过分解会话级反馈来提升对话生成质量，无需人工反馈。
2026-02-11 cs.CL
A Study on Dialogue Reward Prediction for Open-Ended Conversational Agents
University of Lincoln（林肯大学）；Samsung Research（三星研究院）
会话代理中包括的对话历史的量通常被低估和/或以经验的方式设置，因此可能是幼稚的方式。这表明，考虑到对话历史和相应表示的量可以在会话系统的整体性能中发挥重要作用，迫切需要对最佳上下文窗口进行原则性调查。本文研究对话代理可靠预测对话奖励所需的历史量。对话奖励预测的任务被选择用于调查不同量的对话历史的影响及其对系统性能的影响。使用18 K人与人对话的数据集的实验结果报告说，至少10个句子的冗长对话历史比简短的对话历史更受欢迎（在我们的实验中，25个句子是最好的），并且冗长的历史对于训练目标对话奖励和预测之间具有强正相关性的对话奖励预测器是有用的。
2018-12-02 cs.AI cs.CL
UBAR: Towards Fully End-to-End Task-Oriented Dialog Systems with GPT-2
Sun Yat-sen University（中山大学）
本文介绍了我们的面向任务的对话系统UBAR模型面向任务的对话对话会话级别。具体而言，UBAR是通过在整个对话会话的序列上微调大型预训练单向语言模型GPT-2来获得的，该整个对话会话的序列由每个对话回合的用户话语、信念状态、数据库结果、系统动作和系统响应组成。此外，UBAR在更现实的设置中进行评估，其中其对话上下文可以访问用户话语及其生成的所有内容，例如信念状态，系统行为和系统响应。在MultiWOZ数据集上的实验结果表明，UBAR在多个设置中实现了最先进的性能，响应生成、策略优化和端到端建模的综合得分分别提高了4.7、3.5和9.4分。深入的分析表明，会话级的训练序列制定和生成的对话上下文是必不可少的UBAR作为一个完全端到端的面向任务的对话系统在现实生活中。我们还检查了UBAR向数据有限的新领域的传输能力，并提供了可视化和案例研究来说明UBAR在对话会话级别建模方面的优势。
2021-03-18 cs.CL
UBARv2: Towards Mitigating Exposure Bias in Task-Oriented Dialogs
Sun Yat-sen University（中山大学）
本文研究了面向任务的对话系统中的曝光偏差问题，其中模型在多个回合中生成的内容在训练时驱动对话上下文远离地面真实分布，引入错误传播并损害TOD系统的鲁棒性。为了弥合多轮面向任务的对话框的训练和推理之间的差距，我们提出了会话级采样，该采样在训练期间将模型显式暴露给采样生成的对话上下文内容。此外，我们采用了基于丢弃的一致性正则化和掩蔽策略R-Mask，以进一步提高模型的鲁棒性和性能。所提出的UBARv 2在标准化评估基准MultiWOZ上实现了最先进的性能，大量实验表明了所提出方法的有效性。
2022-09-15 cs.CL
Gaining Insights into Unrecognized User Utterances in Task-Oriented Dialog Systems
IBM Research（IBM研究院）
快速增长的市场需求的自动对话代理能够面向目标的行为，导致许多技术行业的领导者投入大量精力到面向任务的对话系统。这些系统的成功高度依赖于其意图识别的准确性-推断用户请求的目标或含义并将其映射到已知意图之一以进行进一步处理的过程。因此，深入了解未识别的话语（系统无法将用户请求归因于已知意图）是持续改进面向目标的对话系统的关键过程。我们提出了一个端到端的管道处理未识别的用户话语，部署在现实世界中，商业任务导向的对话系统，包括专门定制的聚类算法，一种新的方法来集群代表提取，和集群命名。我们评估了所提出的组件，展示了它们在分析未识别用户请求方面的优势。
2022-10-24 cs.CL
Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
在客户服务系统中，对话摘要可以通过自动为客户和代理尝试解决有关特定主题的问题的长时间对话创建摘要来提高服务效率。在这项工作中，我们专注于面向主题的对话摘要，它生成高度抽象的摘要，保留对话的主要思想。在口语对话中，大量的对话噪音和共同的语义可能会掩盖潜在的信息内容，使一般的主题建模方法难以应用。此外，对于客户服务而言，特定角色的信息至关重要，是不可或缺的一部分。为了有效地进行主题建模的对话和捕获多角色的信息，在这项工作中，我们提出了一种新的主题增强的两阶段对话摘要（TDS）与显着性感知神经主题模型（SATM）共同面向主题的客户服务对话摘要。对真实世界的中国客户服务数据集的综合研究证明了我们的方法对几个强基线的优越性。
2021-06-25 cs.CL
Coreference Augmentation for Multi-Domain Task-Oriented Dialogue State Tracking
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
对话状态跟踪（DST）是通过估计给定对话历史的信念状态来推断用户目标的过程，在面向任务的对话系统中起着至关重要的作用。在多话轮会话中观察到的共指现象没有解决现有的DST模型，导致次优性能。在本文中，我们提出了共指对话状态跟踪器（CDST），显式模型的共指功能。特别是，在每一轮，该模型联合预测的共指域插槽对，并提取共指值的对话上下文。在MultiWOZ 2.1数据集上的实验结果表明，该模型达到了最先进的联合目标的准确率为56.47%。
2021-06-16 cs.CL
Fantastic Rewards and How to Tame Them: A Case Study on Reward Learning for Task-oriented Dialogue Systems
Salesforce Research（赛富时研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
当学习面向任务的对话（ToD）代理时，强化学习（RL）技术可以自然地用于训练对话策略以实现用户特定的目标。以往的研究主要集中在采用先进的强化学习技术来训练ToD智能体，而对奖励函数的设计研究较少。本文旨在回答如何有效地学习和利用奖励函数来训练端到端（E2E）ToD代理的问题。具体来说，我们引入两个广义目标奖励函数学习，经典的学习排名文献的启发。此外，我们利用学习的奖励函数来指导E2E ToD代理的训练。通过所提出的技术，我们在Multiwoz 2.0数据集上的E2E响应生成任务上取得了有竞争力的结果。源代码和检查点在https://github.com/Shentao-YANG/Fantastic_Reward_ICLR2023上公开发布。
2023-02-20 cs.CL
GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection
Alibaba（阿里巴巴）
预先训练的模型在增强面向任务的对话系统方面已被证明是强大的。然而，目前的预训练方法主要集中在提高对话理解和生成任务，而忽略了开发的对话策略。在本文中，我们提出了GALAXY，一种新的预训练的对话模型，显式地学习对话策略，从有限的标记对话和大规模的未标记的对话语料库，通过半监督学习。具体来说，我们在预训练期间引入了一个对话行为预测任务来进行策略优化，并采用一致性正则化项来在未标记对话框的帮助下改进学习的表示。我们还实现了一个门控机制来衡量合适的未标记的对话框样本。实证结果表明，GALAXY大大提高了面向任务的对话系统的性能，并在基准数据集上取得了新的最先进的结果：In-Car，MultiWOZ2.0和MultiWOZ2.1，分别将其端到端综合得分提高了2.5，5.3和5.5分。我们还表明，GALAXY有一个更强的Few-Shot能力比现有的模型在各种低资源设置。
2022-03-29 cs.CL
OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue
Shanghai Jiao Tong University（上海交通大学）；AISpeech Co., Ltd.（思必驰有限公司）
提出了一种面向任务的端到端对话的本体感知预训练语言模型（OPAL）。与聊天对话模型不同，面向任务的对话模型至少实现两个特定于任务的模块：对话状态跟踪器（DST）和响应生成器（RG）。对话状态由域-槽-值三元组组成，作为用户搜索域相关数据库的约束条件。带有注释的结构化对话状态的大规模面向任务的对话数据通常是不可访问的。它阻碍了为面向任务的对话开发预先训练好的语言模型。我们提出了一个简单而有效的预训练方法来缓解这个问题，它包括两个预训练阶段。第一阶段是对大规模上下文文本数据进行预训练，其中文本的结构化信息由信息提取工具提取。为了弥合预训练方法和下游任务之间的差距，我们设计了两个预训练任务：类似本体的三重恢复和下一个文本生成，分别模拟DST和RG。第二阶段是根据TOD数据对预训练模型进行微调。实验结果表明，我们提出的方法取得了令人兴奋的提升，并获得竞争力的性能，即使没有任何TOD数据的CamRest 676和MultiWOZ基准。
2022-09-10 cs.CL
