An Ontology-Based Dialogue Management System for Banking and Finance Dialogue Systems
Com Innovation Center（4Com创新中心）
在对话系统中保持对话状态是众所周知的困难任务。我们介绍了一个基于本体的对话管理器（OntoDM），对话管理器，保持会话的状态，提供了一个基础的回指解析和驱动会话通过领域本体。银行和金融领域通过丰富的产品集和专有名词、命名实体和动词的特异性来消除上下文的歧义。我们使用本体作为知识库和对话管理器的基础;知识库组件和对话管理器组件在某种意义上合并。领域知识用于跟踪感兴趣的实体，即本体的节点（类），这些节点恰好是产品和服务。通过这种方式，我们在某种意义上也介绍了会话记忆和注意力。我们将语言学方法、领域驱动的关键词排名和领域本体进行了很好的融合，以创建领域驱动的对话方式。建议的框架用于我们内部的德语银行和金融聊天机器人。还介绍了德语语言处理和金融银行领域聊天机器人语言模型和词汇的一般挑战。这项工作仍在进行中，因此尚未引入成功指标。
2018-04-13 cs.CL
Sub-domain Modelling for Dialogue Management with Hierarchical Reinforcement Learning
Cambridge University（剑桥大学）
人类对话本质上是复杂的，通常跨越许多不同的主题/领域。这使得对话系统的策略学习非常具有挑战性。标准的扁平强化学习方法没有提供用于对这样的对话进行建模的有效框架。在本文中，我们专注于多域对话管理的不足探索的问题。首先，我们提出了一种新的方法，分层强化学习使用的选项框架。接下来，我们表明，所提出的架构学习速度更快，并达到一个更好的政策比现有的平面。此外，我们还展示了如何通过一组额外的新动作来适应更复杂的系统。在这样做的过程中，我们表明，我们的方法有可能促进更复杂的多域对话系统的政策优化。
2017-07-17 cs.AI cs.CL
Integrating Pre-trained Model into Rule-based Dialogue Management
Microsoft（微软）
基于规则的对话管理由于其可解释性仍然是工业面向任务的对话系统最流行的解决方案。然而，当场景变得越来越复杂时，开发人员很难保持对话逻辑。另一方面，数据驱动的对话系统，通常具有端到端的结构，在学术研究中很受欢迎，并且更容易处理复杂的会话，但是这样的方法需要大量的训练数据，并且行为的可解释性较差。在本文中，我们提出了一种方法，利用基于规则和数据驱动的对话管理器（DM）的力量。本文首先介绍了Carina Dialog System（CDS，一个先进的工业对话系统）中的数据模型。然后，我们提出了“模型触发器”的设计，使DM可训练，从而可扩展到场景的变化。此外，我们集成了预先训练的模型，并赋予DM Few-Shot能力。实验结果证明了该方法的有效性和较强的Few-Shot能力。
2021-02-17 cs.AI cs.CL
Empathetic Response Generation with State Management
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
一个好的同理心对话系统应该首先跟踪和理解用户的情绪，然后用适当的情绪进行回复。然而，目前的方法，这一任务要么集中在提高用户的情感的理解或提出更好的应对策略，很少有作品考虑在同一时间。我们的工作试图填补这一空缺。受面向任务的对话系统的启发，我们提出了一个新的移情反应生成模型与情感感知的对话管理。情感感知对话管理包括两个部分：（1）情感状态跟踪，维护用户当前的情感状态;（2）移情对话策略选择，根据情感状态跟踪的结果预测目标情感和用户意图。然后，预测的信息用于指导响应的生成。实验结果表明，动态管理不同的信息可以帮助模型产生更多的移情反应相比，在自动和人工评估的几个基线。
2022-08-03 cs.CL
What Does The User Want? Information Gain for Hierarchical Dialogue Policy Optimisation
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）；University of Cambridge（剑桥大学）
面向任务的对话系统的对话管理组件通常经由强化学习（RL）来优化。通过RL进行优化非常容易受到样本效率低下和不稳定的影响。被称为封建对话管理的分层方法通过分解动作空间向更有效的学习迈出了一步。然而，由于只有在对话结束时才提供奖励，它仍然存在不稳定性。我们建议使用基于信息增益的内在奖励来解决这个问题。我们建议的奖励有利于解决不确定性或在必要时询问用户的行为。它使策略能够学习如何有效地检索用户的需求，这是每个面向任务的对话中不可或缺的一个方面。我们的算法，我们称之为FeudalGain，在PyDial框架的大多数环境中实现了最先进的结果，优于更复杂的方法。我们通过仿真实验和人体试验证实了我们的算法的样本效率和稳定性。
2021-09-15 cs.CL cs.LG
Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management
University of Cambridge（剑桥大学）
深度强化学习（RL）方法在对话策略优化方面具有巨大的潜力。然而，他们在学习的早期阶段表现不佳。这对于与真实用户的在线学习来说尤其成问题。介绍了两种方法来解决这个问题。首先，为了加快学习过程，提出了两种样本有效的神经网络算法：具有经验重放的信任域行动者-评论家（TRACER）和具有经验重放的情节自然行动者-评论家（eNACER）。对于TRACER，信任区域有助于控制学习步长并避免灾难性的模型变化。对于eNACER，自然梯度标识策略空间中的最陡上升方向以加速收敛。这两个模型都采用了离策略学习和经验重放来提高样本效率。其次，为了缓解冷启动问题，在在线强化学习之前，利用示范数据语料库来预训练模型。结合这两种方法，我们展示了一种实用的方法来学习基于RL的深度对话策略，并展示了它们在面向任务的信息搜索领域中的有效性。
2017-07-05 cs.AI cs.CL cs.LG
Improving Dialogue Management: Quality Datasets vs Models
Siani（西亚尼）；ULPGC（拉斯帕尔马斯大学）
本文指出任务型对话系统性能瓶颈在于数据集质量而非模型，通过设计合成对话生成器控制Multiwoz 2.1和SGD数据集中的错误，证明数据集错误与模型性能下降成正比。
2023-10-23 cs.AI cs.CL
Infusing Emotions into Task-oriented Dialogue Systems: Understanding, Management, and Generation
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文首次将情感建模完整融入任务导向对话系统的理解、管理与生成全流程，并通过扩展EmoWOZ数据集及模拟与真人交互实验，证明该方法能同时提升用户情感体验和任务成功率。
2024-08-05 cs.CL
Hybrid Supervised Reinforced Model for Dialogue Systems
Worldline；INSA de Rouen（鲁昂国立应用科学学院）
提出了一种基于深度递归Q-网络（DRQN）的面向任务的对话系统的递归混合模型和训练过程。该模型处理对话管理所需的两项任务：状态跟踪和决策。它基于将人机交互建模为嵌入交互上下文的潜在表示来引导讨论。该模型实现了更高的性能，学习速度和鲁棒性比非经常性的基线。此外，结果允许解释和验证的政策演变和潜在的代表性信息明智的。
2020-11-04 cs.CL cs.LG
DiagGPT: An LLM-based and Multi-agent Dialogue System with Automatic Topic Management for Flexible Task-Oriented Dialogue
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有大语言模型在复杂诊断类任务型对话中表现不足的问题，本文提出具备自动主题管理功能的多智能体系统DiagGPT，可拓展大模型的任务型对话适用场景、提升交互灵活性，实验验证其性能优异。
2024-04-15 cs.AI cs.CL
A Benchmarking Environment for Reinforcement Learning Based Task Oriented Dialogue Management
University of Cambridge（剑桥大学）
对话助理正迅速成为不可或缺的日常辅助工具。为了避免手工制作所需对话流所需的大量工作，对话管理（DM）模块可以被转换为连续的马尔可夫决策过程（MDP），并通过强化学习（RL）进行训练。近年来，研究了几种RL模型。然而，由于缺乏一个通用的基准框架，很难对不同的模型及其推广到不同环境的能力进行公平的比较。因此，本文提出了一套具有挑战性的模拟环境对话模型的开发和评估。为了提供一些基线，我们研究了一些代表性的参数算法，即深度强化学习算法- DQN，A2 C和Natural Actor-Critic，并将它们与非参数模型GP-SARSA进行比较。环境和策略模型都是使用公开的PyDial工具包实现的，并在线发布，以便为进一步的实验建立一个测试平台框架，并促进实验的可重复性。
2018-04-06 cs.CL cs.NE stat.ML
OmniDialog: An Omnipotent Pre-training Model for Task-Oriented Dialogue System
National University of Singapore（新加坡国立大学）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）
提出OmniDialog，首个统一预训练对话管理、生成与理解任务的模型，通过多任务学习整合7个任务、15个数据集，在四项下游任务上验证了其有效性，尤其擅长长对话等困难样本。
2023-12-28 cs.CL
A Framework for Building Closed-Domain Chat Dialogue Systems
C4A Research Institute, Inc.（C4A研究所）；Honda Research Institute Japan Co., Ltd.（本田日本研究所）；Osaka University（大阪大学）
本文介绍了HRIChat，一个开发封闭域聊天对话系统的框架。已经发现能够参与聊天对话对于改善人类与对话系统之间的通信是有效的。本文的重点是封闭域系统，因为他们将是有用的，当结合面向任务的对话系统在同一领域。HRIChat支持领域相关的语言理解，因此它可以很好地处理特定领域的话语。此外，HRIChat可以集成基于状态转换网络的对话管理和基于反应的对话管理。FoodChatbot是食品和餐馆领域的应用程序，已通过用户研究开发和评估。其结果表明，合理良好的系统可以开发与HRIChat。本文还报告了从FoodChatbot的开发和评估中吸取的经验教训。
2020-07-21 cs.CL
AgentGraph: Towards Universal Dialogue Management with Structured Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Heinrich Heine University Düsseldorf（海因里希·海涅大学（杜塞尔多夫））
在面向任务的口语对话系统中，对话策略起着重要的作用。它决定如何回应用户。最近提出的深度强化学习（DRL）方法已被用于策略优化。然而，这些深度模型仍然具有挑战性，原因有两个：1）许多基于DRL的策略不是样本有效的。2)大多数模型不具备在不同域之间进行策略迁移的能力。在本文中，我们提出了一个通用的框架，AgentGraph，来解决这两个问题。提出的AgentGraph是基于GNN的架构和基于DRL的算法的结合。它可以被看作是多智能体强化学习方法之一。每个代理对应于图中的一个节点，该图根据对话域本体定义。当做出决定时，每个代理可以与图上的邻居进行通信。在AgentGraph框架下，我们进一步提出了基于Dual GNN的对话策略，该策略隐式地将每个回合中的决策分解为高层全局决策和低层局部决策。实验表明，AgentGraph模型在PyDial基准测试的18个任务中的大多数任务上的表现都明显优于传统的强化学习方法。此外，当从源任务转移到目标任务时，这些模型不仅具有可接受的初始性能，而且在目标任务上收敛得更快。
2019-05-27 cs.AI cs.CL cs.LG
Taming the Beast: Learning to Control Neural Conversational Models
The Hong Kong University of Science and Technology（香港科技大学）
本文研究了基于深度学习的端到端生成式对话系统在面向任务和聊天场景下的可控性。特别地，我们研究了控制生成对话系统的不同方面，包括控制风格和主题以及不断添加和组合对话技巧。自第一个对话系统商业化以来的三十年中，这种系统的基本架构基本上保持不变，由四个流水线基本组件组成，即自然语言理解（NLU）、对话状态跟踪（DST）、对话管理器（DM）和自然语言生成（NLG）。对话管理器是模块化系统的关键组成部分，它控制响应的内容和风格。该模块通常按规则编程，并设计为高度可控和易于扩展。随着强大的“深度学习“架构的出现，端到端生成式对话系统被提出来优化整体系统性能并简化训练。然而，这些系统不能像模块化对话管理器那样容易地控制和扩展。这是因为使用了单个神经系统，其通常是大型的预训练语言模型（例如，GPT-2），因此难以通过手术改变期望的属性（例如，风格、主题等）。更重要的是，不可控的对话系统会产生攻击性甚至有毒的反应。因此，本论文主要研究面向任务和聊天场景的端到端生成式对话系统的可控方法。在整个章节中，我们描述了1）如何控制聊天模型的风格和主题，2）如何持续控制和扩展面向任务的对话系统，以及3）如何组合和控制多技能对话模型。
2021-08-24 cs.AI cs.CL cs.LG
Strategic Dialogue Management via Deep Reinforcement Learning
Heriot-Watt University（赫瑞-瓦特大学）
具有战略技能的智能代理，可以在与其他自然或人工代理的交互过程中进行谈判，仍然不发达。本文描述了一个成功的应用深度强化学习（DRL）训练智能代理的战略会话技能，在情景对话设置。以前的研究已经使用监督学习和传统的强化学习技术，后者使用表格表示或学习线性函数逼近的策略代理的行为建模。在这项研究中，我们应用DRL与一个高维的状态空间的战略棋盘游戏的卡坦岛的定居者-在那里，玩家可以提供资源，以换取他人，他们也可以回答由其他玩家提供。我们的实验结果表明，基于DRL的学习策略显著优于几个基线，包括随机，基于规则和基于监督的行为。基于DRL的策略与3个自动播放器（“机器人”）相比具有53%的胜率，而在此设置中在对话语料库上训练的受监督播放器与相同的3个机器人相比仅实现了27%。这一结果支持了DRL是一个有前途的框架，用于训练对话系统和具有谈判能力的战略代理的主张。
2015-11-25 cs.AI cs.LG
Reinforcement Learning for Personalized Dialogue Management
ING Bank N.V.（ING银行）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究提出两种基于强化学习的个性化对话管理方法，通过扩展POMDP状态或按用户背景分段，在金融产品推荐等四个领域验证其优于手工标准。
2019-08-01 cs.AI cs.CL cs.HC
Towards Unified Dialogue System Evaluation: A Comprehensive Analysis of Current Evaluation Protocols
Emory University（埃默里大学）
随着基于对话式人工智能的对话管理越来越成为一个热门话题，对标准化和可靠的评估程序的需求变得更加迫切。目前的情况下，建议各种评估协议，以评估聊天为导向的对话管理系统，使得它很难进行公平的比较研究，在不同的方法，并获得一个深刻的理解他们的价值。为了促进这一研究，必须制定一项更有力的评估协议。本文提出了一个全面的综合自动化和人类的评价方法对对话系统，找出他们的缺点，同时积累证据，对最有效的评价维度。从过去两年的20篇论文进行了调查，分析三种类型的评估协议：自动化，静态和交互式。最后，将这些论文中使用的评估维度与我们对Alexa Prize 2020收集的系统-用户对话数据的专家评估进行了比较。
2020-06-10 cs.CL
Uncertainty Estimates for Efficient Neural Network-based Dialogue Policy Optimisation
Cambridge University（剑桥大学）
在统计对话管理中，对话管理器学习将信念状态映射到系统要执行的动作的策略。有效的勘探是成功的政策优化的关键。目前的深度强化学习方法非常有前途，但依赖于ε-贪婪探索，因此在学习过程中使用户随机选择动作。诸如高斯过程SARSA（GPSARSA）的替代方法估计不确定性并且是样本有效的，从而导致更好的用户体验，但是以更大的计算复杂度为代价。本文研究了在对话管理的背景下从深度Q网络（DQN）中提取不确定性估计的方法。我们执行了一个广泛的深度贝叶斯方法基准来提取不确定性估计，即Bayes-By-Backprop，dropout，其具体变化，bootstrapped合奏和alpha发散，将其与DQN算法相结合。
2017-11-30 cs.CL cs.LG cs.NE
Alquist 2.0: Alexa Prize Socialbot Based on Sub-Dialogue Models
FEE, CTU Prague（捷克理工大学电气工程学院）；CIIRC, CTU Prague（捷克理工大学捷克信息学、机器人与控制论研究所）
本文介绍了名为Alquist的对话系统的第二个版本，该系统将参加2018年亚马逊Alexa奖。我们介绍了一个系统，利用基于本体的主题结构称为主题节点。每个节点由若干子对话组成，每个子对话都有自己的基于LSTM的对话管理模型。子对话可以根据主题层次结构或用户意图触发，这允许机器人在每个会话期间创建独特的体验。
2020-11-06 cs.CL
Joint On-line Learning of a Zero-shot Spoken Semantic Parser and a Reinforcement Learning Dialogue Manager
University of Avignon（阿维尼翁大学）
尽管最近在对话系统的设计方面取得了许多进展，但真正的瓶颈仍然是获取训练其组件所需的数据。与许多其他语言处理应用程序不同，对话系统需要与用户进行交互，因此使用预先记录的数据开发它们是复杂的。在以前的作品的基础上，在线学习是追求在这里作为一个最方便的方式来解决这个问题。数据汇集、注释和在学习算法中的使用在单个过程中执行。主要的困难是：引导一个初始的基本系统，并控制用户端的额外成本水平。考虑到性能良好的解决方案可以直接用于语音识别和合成，本研究仅侧重于学习口语语言理解和对话管理模块。联合学习的几个变种进行了调查和测试与用户试验，以确认整体在线学习后，只需几百个训练对话，可以超越基于专家的系统。
2018-10-01 cs.CL cs.LG
Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems
Maluuba Research（Maluuba 研究院）
本文介绍了Frames数据集（Frames可在http：//www.maluuba.com/Frames上获得），这是一个包含1369个人与人之间对话的语料库，每个对话平均有15个回合。我们开发了这个数据集来研究记忆在目标导向的对话系统中的作用。基于帧，我们引入了一个任务称为帧跟踪，它扩展了状态跟踪的设置，同时跟踪多个状态。我们为此任务提出了一个基线模型。我们表明，框架也可以用来研究记忆中的对话管理和信息呈现通过自然语言生成。
2017-04-13 cs.CL
Bootstrapping a User-Centered Task-Oriented Dialogue System
The Ohio State University（俄亥俄州立大学）
我们介绍了TacoBot，这是一个面向任务的对话系统，专为首届Alexa Prize TaskBot挑战赛而设计，可帮助用户完成多步烹饪和家居装修任务。TacoBot的设计以用户为中心的原则，并致力于提供协作和可访问的对话体验。为此，它配备了准确的语言理解，灵活的对话管理，并参与响应生成。此外，TacoBot还拥有强大的搜索引擎和自动化的端到端测试套件。在引导TacoBot的开发过程中，我们探索了一系列数据增强策略，以训练先进的神经语言处理模型，并通过收集的真实对话不断改善对话体验。在半决赛结束时，TacoBot的平均评分为3.55/5.0。
2022-07-21 cs.AI cs.CL cs.LG
Joint Turn and Dialogue level User Satisfaction Estimation on Multi-Domain Conversations
LinkedIn（领英）；Amazon（亚马逊）
对话级别质量估计对于优化数据驱动的对话管理至关重要。目前的自动化方法来估计转向和对话级别的用户满意度采用手工制作的功能，并依赖于复杂的注释方案，这降低了训练模型的泛化能力。我们提出了一种新的用户满意度估计方法，最大限度地减少了自适应多任务损失函数，以共同预测轮级响应质量标签提供的专家和明确的对话级评级提供的最终用户。提出的基于BiLSTM的深度神经网络模型自动权衡每个回合对估计对话级别评级的贡献，隐式编码时间依赖性，并消除了手工制作功能的需要。在从28个Alexa域、两个对话系统和三个用户组中采样的对话上，联合对话级满意度估计模型的线性相关性能分别比基线深度神经网络和基准梯度提升回归模型提高了27%（0.43->0.70）和7%（0.63->0.70）。
2020-10-08 cs.AI cs.CL cs.LG
Goal-Oriented Chatbot Dialog Management Bootstrapping with Transfer Learning
School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）；Swisscom AG（瑞士电信公司）
目标导向（GO）对话系统，俗称目标导向聊天机器人，帮助用户在封闭域中实现预定义的目标（例如预订电影票）。第一步是通过使用自然语言理解技术来理解用户的目标。一旦知道目标，机器人必须管理对话以实现该目标，该对话是根据学习的策略进行的。对话系统的成功取决于策略的质量，而策略的质量又依赖于策略学习方法（例如深度强化学习）的高质量训练数据的可用性。由于领域的特殊性，可用的数据量通常太低，无法培训良好的对话策略。在本文中，我们介绍了一种迁移学习方法，以减轻低域内数据可用性的影响。与没有迁移学习的模型相比，我们基于迁移学习的方法将机器人的成功率相对于远距离域提高了20%，而对于近距离域，我们的成功率提高了一倍多。此外，迁移学习聊天机器人学习策略的速度快了5到10倍。最后，由于迁移学习方法是补充额外的处理，如热启动，我们表明，他们的联合应用程序给出了最好的结果。
2018-07-24 cs.CL
Evaluate On-the-job Learning Dialogue Systems and a Case Study for Natural Language Understanding
LIMSI（LIMSI机构）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LNE（LNE机构）
在职学习是指在开放的环境中，在生产中使用的同时不断学习，这意味着系统必须自己处理以前从未见过的情况和元素。似乎特别适合在职学习的系统是对话系统，因为它们可以利用与用户的互动来收集反馈，以便随着时间的推移调整和改进其组件。一些进行在职学习的对话系统已经建立和评估，但尚未确定一般方法。因此，在本文中，我们提出了第一个通用的方法来评估在职学习对话系统。我们还描述了一个面向任务的对话系统，提高了工作的自然语言组件，通过其用户交互。最后，我们评估我们的系统与所描述的方法。
2021-02-26 cs.CL
Learning Latent Beliefs and Performing Epistemic Reasoning for Efficient and Meaningful Dialog Management
TCS Innovation Labs, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS创新实验室）
许多对话管理框架允许系统设计者直接定义信任规则来实现有效的对话策略。因为这些规则是直接定义的，所以这些组件被称为手工制作的。随着对话变得越来越复杂，状态、转换和政策决策的数量变得非常大。为了促进对话策略的设计过程中，我们提出了一种方法来自动学习信念规则使用监督机器学习方法。我们验证我们的想法在学生顾问对话域，在那里我们提取潜在的信念，如学生是好奇的，困惑和中立的，等等。此外，我们还进行认知推理，有助于根据学生的情绪状态定制对话，从而提高对话系统的整体效率。我们的潜在信念识别方法显示出87%的准确性，这导致有效和有意义的对话管理。
2019-05-21 cs.AI cs.CL
Lifelong and Interactive Learning of Factual Knowledge in Dialogues
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
对话系统越来越多地使用存储真实世界事实的知识库（KB）来帮助生成高质量的响应。然而，由于KB固有地是不完整的并且在对话期间保持固定，因此它限制了对话系统回答问题和处理涉及不在KB中的实体或关系的问题的能力。在本文中，我们试图提出一个引擎的连续和交互式学习知识（CILK）的对话系统，使他们能够不断地和交互式学习和推断新的知识在对话过程中。随着时间的推移积累了更多的知识，他们将能够更好地学习并回答更多的问题。我们的实证评估表明，CILK是有前途的。
2019-12-21 cs.AI cs.CL cs.HC
Towards Learning Transferable Conversational Skills using Multi-dimensional Dialogue Modelling
Heriot-Watt University（赫瑞瓦特大学）；Interaction Lab（互动实验室）
最近的统计方法已经改进了口语对话系统的鲁棒性和可伸缩性。然而，尽管最近在领域自适应方面取得了进展，但它们对域内数据的依赖仍然限制了它们的跨域可伸缩性。在本文中，我们认为，这个问题可以通过扩展现有的模型来反映和利用人类对话的多维性来解决。我们提出了我们的多维度，统计对话管理框架，其中可转移的会话技能可以通过分离出域独立的通信维度和使用多智能体强化学习来学习。我们与模拟用户的初步实验表明，我们可以加快学习过程中学习的政策。
2018-03-31 cs.CL
Deep Reinforcement Learning for On-line Dialogue State Tracking
Key Lab. of Shanghai Education Commission for Intelligent Interaction and Cognitive Eng.（上海市教育委员会智能交互与认知工程重点实验室）；SpeechLab, Department of Computer Science and Engineering（计算机科学与工程系语音实验室）；Brain Science and Technology Research Center（脑科学与技术研究中心）；Shanghai Jiao Tong University, Shanghai, China（上海交通大学）
对话状态跟踪（DST）是对话管理中的一个重要模块。它通常被视为一个有监督的训练问题，这不利于在线优化。本文提出了一种新的基于同伴教学的深度强化学习（DRL）在线DST优化框架。据我们所知，这是第一次努力，以优化DRL框架内的DST模块的在线面向任务的口语对话系统。此外，还可以进一步共同更新对话政策。实验表明，在线DST优化可以有效地提高对话管理器的性能，同时保持使用预定义策略的灵活性。DST和政策的联合培训可以进一步提高绩效。
2020-09-22 cs.CL
Emora STDM: A Versatile Framework for Innovative Dialogue System Development
Emory University（埃默里大学）
本文介绍了Emora STDM（状态转换对话管理器），这是一个对话系统开发框架，为基于聊天的对话管理器的快速原型设计以及复杂交互的协作开发提供了新的工作流程。我们的框架通过支持两种流行的对话管理方法（状态机和信息状态）之间的互操作性来满足广泛的专业知识水平。我们的自然语言表达式包允许模式匹配、自定义NLP模块和数据库查询的无缝集成，使工作流程更加高效。作为一个用户研究，我们采用这个框架，以跨学科的本科课程，同时具有技术和非技术背景的学生能够在很短的时间内开发创造性的对话经理。
2020-06-11 cs.AI cs.CL
Roll Up Your Sleeves: Working with a Collaborative and Engaging Task-Oriented Dialogue System
The Ohio State University（俄亥俄州立大学）
本文推出任务型数字助手TacoBot，通过集成语言理解、对话管理及基于LLM的数据增强策略，为多步骤现实任务提供高效协作的对话体验，并开源该框架作为实用范例。
2023-07-29 cs.CL
Athena: Constructing Dialogues Dynamically with Discourse Constraints
University of California, Santa Cruz（加州大学圣克鲁兹分校）
这份报告介绍了雅典娜，一个对话系统的口头交谈的热门话题和时事。我们开发了一个灵活的主题不可知的对话管理方法，动态配置对话的基础上，实体和主题的一致性的一般原则。Athena的对话管理器使用基于契约的方法，其中话语约束被分派到响应生成器的集群。这使得Athena能够从动态源获得响应，例如知识图谱遍历和基于特征的即时响应检索方法。在描述了对话系统架构之后，我们对Athena在2019年Alexa Prize竞赛期间参与的对话进行了分析。最后，我们对几个用户进行了研究，以更好地了解个人用户的特点如何影响系统的评级报告。
2020-11-21 cs.CL
A Survey on Recent Advances and Challenges in Reinforcement Learning Methods for Task-Oriented Dialogue Policy Learning
The Chinese University of Hong Kong（香港中文大学）
本文从强化学习视角系统综述任务型对话策略学习，归纳主要问题、解决方案及方法分类，并展望对话管理未来研究方向。
2022-07-11 cs.CL
End-to-end optimization of goal-driven and visually grounded dialogue systems
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；University of Montreal（蒙特利尔大学）；DeepMind
对话系统的端到端设计最近已经成为一个热门的研究课题，这要归功于强大的工具，如用于序列到序列学习的编码器-解码器架构。然而，大多数当前的方法将人机对话管理作为监督学习问题，旨在预测给定对话的完整历史的参与者的下一个话语。这种观点过于简单化，无法反映对话所固有的规划问题及其基础性质，使对话的背景大于唯一的历史。这就是为什么到目前为止，只有闲聊和问答任务使用端到端架构来解决。在本文中，我们介绍了一种深度强化学习方法，以优化视觉接地面向任务的对话，基于策略梯度算法。这种方法在通过Mechanical Turk收集的120 k对话数据集上进行了测试，并在解决生成自然对话的问题和在复杂图片中发现特定对象的任务方面提供了令人鼓舞的结果。
2017-03-15 cs.CL
Bootstrapping incremental dialogue systems from minimal data: the generalisation power of dialogue grammars
Heriot-Watt University（赫瑞瓦特大学）
我们研究了一种端到端的方法，用于从少量未注释的对话数据自动诱导基于任务的对话系统。它结合了增量语义语法-动态语义和类型论（DS-TTR）-与强化学习（RL），其中语言生成和对话管理是一个联合决策问题。这样产生的系统是渐进的：对话是逐字处理的，以前被证明是支持自然的，自发的对话必不可少的。我们假设，语法中丰富的语言知识应该能够处理大量的对话变体，即使在很少的对话上进行训练。我们的实验表明，我们的模型可以处理74%的Facebook AI bAbI数据集，即使只训练了0.13%的数据（5个对话）。它还可以处理65%的bAbI+，这是我们通过系统地添加增量对话现象（如重启和自我纠正）创建的语料库。我们将我们的模型与最先进的检索模型MemN 2N进行比较。我们发现，在语义准确性方面，MemN 2N对bAbI+转换的鲁棒性非常差，即使在完整的bAbI数据集上进行训练也是如此。
2017-09-22 cs.CL
Modeling Multi-Action Policy for Task-Oriented Dialogues
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Uber AI（优步人工智能）
在面向任务的对话系统中，对话管理（DM）对与用户的交互质量起着关键作用。在大多数现有的方法中，代理预测每轮只有一个DM政策行动。这大大限制了会话代理的表达能力，并引入了可能挑战用户耐心的不必要的交互。更长的对话也会导致更多错误，系统需要更加强大才能处理它们。在本文中，我们比较了几种模型的性能预测多个行为的任务，为每一个回合。提出了一种新的策略模型的基础上称为门控连续动作槽（gCAS），克服了现有模型的局限性的循环细胞。实验结果表明，gCAS优于其他方法。代码可在https://leishu02.github.io/上获得
2019-08-30 cs.CL
Cascaded LSTMs based Deep Reinforcement Learning for Goal-driven Dialogue
Beijing University of Posts and Telecommunications（北京邮电大学）；ZTE Corporation（中兴通讯股份有限公司）
本文提出了一种深度神经网络模型，用于在目标驱动的对话系统中联合建模自然语言理解（NLU）和对话管理（DM）。该模型由三部分组成。网络底部的长短期记忆（LSTM）将每个对话回合中的话语编码为一个回合嵌入。对话嵌入由网络中间的LSTM学习，并通过馈送所有回合嵌入来更新。顶部是一个前向深度神经网络，它将对话嵌入转换为不同对话动作的Q值。级联LSTM的强化学习网络的联合优化，利用在每个对话轮收到的奖励作为唯一的监督信息。网络中没有显式的NLU和对话状态。实验结果表明，我们的模型在会议室预订任务上优于传统的马尔可夫决策过程（MDP）模型和带有深度Q网络的单个LSTM。对话嵌入的可视化表明，该模型可以学习对话状态的表示。
2019-10-31 cs.AI cs.CL
Causal-aware Safe Policy Improvement for Task-oriented dialogue
Salesforce Research（赛富时研究院）
最近强化学习（RL）在解决复杂任务方面的成功通常归功于其探索和利用训练环境的能力。样本效率通常不是问题，因为便宜的模拟器可用于对策略上的数据进行采样。另一方面，面向任务的对话通常是从使用人类演示收集的离线数据中学习的。收集不同的演示并注释它们是昂贵的。不幸的是，使用在非政策数据上训练的RL方法容易出现偏差和泛化问题，这进一步加剧了人类响应的随机性和对话管理系统的非马尔可夫信念状态。为此，我们提出了一个面向任务的对话策略学习的批量强化学习框架：因果感知安全策略改进（CASPI）。这种方法保证了对话策略的性能，并根据人类响应背后的意图来学习塑造奖励，而不仅仅是模仿演示数据;这种与批量RL的结合有助于整体提高框架的样本效率。我们证明了这个框架的有效性对话上下文到文本生成和端到端的对话任务的Multiwoz2.0数据集。在这两种情况下，所提出的方法在这些指标上优于现有技术。在端到端的情况下，我们的方法只训练了10%的数据，在四个评估指标中有三个能够超过当前状态。
2021-03-10 cs.AI cs.CL cs.LG
DiagESC: Dialogue Synthesis for Integrating Depression Diagnosis into Emotional Support Conversation
Graduate School of Artificial Intelligence, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
针对现有心理健康对话系统无法识别需专业医疗干预个体的问题，本研究提出诊断性情感支持对话任务，构建DESC数据集，经评估其抑郁诊断能力更优且对话质量良好。
2024-08-12 cs.CL
Bootstrapping incremental dialogue systems: using linguistic knowledge to learn from minimal data
Heriot-Watt University（赫瑞-瓦特大学）
我们提出了一种方法，用于从非常少量的未注释的对话数据中诱导新的对话系统，展示了如何使用强化学习（RL），结合增量和语义语法-动态学习（DS）-允许系统发现，生成和理解许多新的对话变体。该方法避免了使用昂贵和耗时的对话行为注释，并支持比回合制系统更自然（增量）的对话。在这里，语言生成和对话管理被视为一个联合决策/优化问题，并自动构建的MDP模型RL。与实现的系统，我们表明，这种方法使广泛的对话变化被自动捕获，即使系统是从只有一个单一的对话训练。这些变体包括问答对、回答过度和回答不足、自我纠正和他人纠正、澄清互动、分裂话语和省略。这种泛化属性的结果，从结构知识和DS语法中存在的约束，并强调了最近的系统只使用机器学习技术构建的一些限制。
2016-12-01 cs.AI cs.CL cs.HC
Dialogue Systems Engineering: A Survey and Future Directions
SANKEN, University of Osaka（大阪大学SANKEN研究所）；C4A Research Institute, Inc.（C4A研究机构）；Musashi University（Musashi大学）；Equmenopolis, Inc.（Equmenopolis公司）
本文提出对话系统工程概念，基于SWEBOK 4.0知识领域进行综述，识别未探索主题并展望未来方向，旨在高效构建和运营对话系统。
2025-08-04 cs.AI cs.CL cs.SE
Continual Learning in Task-Oriented Dialogue Systems
The Hong Kong University of Science and Technology（香港科技大学）；Facebook（脸书）
面向任务的对话系统中的持续学习可以让我们随着时间的推移添加新的领域和功能，而不会产生整个系统重新训练的高成本。在本文中，我们提出了一个面向任务的对话系统的持续学习基准37个领域不断学习的四个设置，如意图识别，状态跟踪，自然语言生成，和端到端。此外，我们实现并比较了多个现有的持续学习基线，并提出了一种基于剩余适配器的简单而有效的架构方法。我们的实验表明，所提出的架构方法和一个简单的基于重放的策略执行良好，但他们都达到了多任务学习基线，在那里所有的数据都显示在一次，显示在面向任务的对话系统的持续学习是一项具有挑战性的任务，性能较差。此外，我们揭示了几个权衡不同的持续学习方法的参数使用和内存大小，这是重要的面向任务的对话系统的设计。拟议的基准与几个基线一起发布，以促进这一方向的更多研究。
2020-12-31 cs.AI cs.CL
A Weighted Heterogeneous Graph Based Dialogue System
University of Science and Technology of China（中国科学技术大学）
基于知识的对话系统在不同的应用中吸引了越来越多的研究兴趣。然而，对于疾病诊断，由于传统的知识图谱的边是未加权的，所以广泛使用的知识图谱很难表示症状-症状关系和疾病-疾病关系。疾病诊断对话系统的研究大多高度依赖于数据驱动的方法和统计特征，缺乏对疾病与疾病、疾病与症状关系的深刻理解。为了解决这个问题，这项工作提出了一个加权异构图为基础的对话系统的疾病诊断。具体来说，我们基于症状共现和拟议的症状频率-逆疾病频率构建了一个加权异构图。然后，本文提出了一种基于图的深度Q网络（Graph-DQN）用于对话管理。通过将图卷积网络（GCN）与DQN相结合，从加权异构图的结构和属性信息中学习疾病和症状的嵌入，Graph-DQN能够更好地捕捉疾病-疾病关系和疾病-症状关系。实验结果表明，所提出的对话系统的竞争对手的国家的最先进的模型。更重要的是，所提出的对话系统能够以较少的对话次数完成任务，并且对具有相似症状的疾病具有更好的区分能力。
2020-12-26 cs.AI cs.CL
Are You for Real? Detecting Identity Fraud via Dialogue Interactions
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Mobvoi（出门问问）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
身份欺诈检测在许多现实世界的场景中非常重要，例如金融行业。然而，以前很少有研究解决这个问题。在本文中，我们专注于身份欺诈检测贷款申请，并提出解决这个问题，一个新的交互式对话系统，其中包括两个模块。一个是知识图谱（KG）构造器，用于组织每个贷款申请人的个人信息。另一种是结构化对话管理，它可以根据个人KG动态生成一系列问题来询问申请人并确定其身份状态。我们还提出了一个启发式的用户模拟器的基础上的问题分析，以评估我们的方法。实验表明，可训练对话系统可以有效地检测欺诈者，并且与基于规则的系统相比具有更高的识别准确率。此外，我们学习的对话策略是可解释的和灵活的，这有助于促进现实世界的应用。
2019-08-19 cs.AI cs.CL
End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis
Sun Yat-Sen University（中山大学）；Soochow University（苏州大学）；Dark Matter AI Inc.（暗物质人工智能公司）
除了目前越来越受到关注的会话聊天机器人或面向任务的对话系统之外，我们还在开发一种用于自动医疗诊断的对话系统，该系统与患者对话，收集他们自我报告之外的其他症状，并自动进行诊断。除了会话对话系统面临的挑战（如话题转换连贯性和问题理解）外，自动医疗诊断还对医学知识和疾病关系背景下的对话合理性提出了更严格的要求。现有的对话系统（Madotto，Wu，and Fung 2018; Wei et al. 2018; Li et al. 2017）主要依赖于数据驱动的学习，无法对额外的专家知识图谱进行编码。在这项工作中，我们提出了一个端到端的知识路由的关系对话系统（KR-DS），无缝地将丰富的医学知识图谱到对话管理中的主题转换，并使其与自然语言理解和自然语言生成合作。提出了一种新的知识路由深度Q网络（KR-DQN）来管理主题转换，它集成了一个用于编码不同症状和疾病对之间关系的关系精化分支和一个用于主题决策的知识路由图分支。在公共医疗对话数据集上进行的广泛实验表明，我们的KR-DS显著击败了最先进的方法（诊断准确率超过8%）。我们进一步展示了我们的KR-DS在新收集的医疗对话系统数据集上的优越性，该数据集在保留患者和医生之间的原始自我报告和对话数据方面更具挑战性。
2019-03-18 cs.CL
Dual Hierarchical Dialogue Policy Learning for Legal Inquisitive Conversational Agents
Georgetown University（乔治城大学）；Singapore Management University（新加坡国立管理学院）
本文提出双层级强化学习框架，用于法律场景中主动提取信息的对话代理，通过协调策略管理和细粒度生成，提升法律目标达成能力。
2026-05-15 cs.CL
Dialogue Strategy Adaptation to New Action Sets Using Multi-dimensional Modelling
Cambridge Research Laboratory, Toshiba Europe Limited（东芝欧洲有限公司剑桥研究实验室）
为新领域和应用构建统计口语对话系统的主要瓶颈是需要大量的训练数据。为了解决这个问题，我们采用了多维度的对话管理方法，并评估其潜在的迁移学习。具体来说，我们利用预先训练的任务无关的政策，以加快训练扩展的任务特定的动作集，其中请求插槽的单个摘要动作被多个插槽特定的请求动作所取代。策略优化和评估实验，使用一个基于ARIMA的用户模拟器表明，有限的训练数据，更好的性能水平时，可以实现所提出的多维自适应方法。我们证实了这一改进，在我们的口语对话系统的众包人类用户的评价，比较部分训练的政策。多维系统（在目标场景中对有限的训练数据进行适配）比一维基线（在相同量的训练数据上不进行适配）表现出7%的感知成功率。
2022-04-14 cs.AI cs.CL
LLM-Driven Multi-Turn Task-Oriented Dialogue Synthesis for Realistic Reasoning
本文提出基于LLM的多轮任务导向对话合成框架，通过三级优化生成真实推理场景下的对话，提升LLM的逻辑推理能力。
2026-02-27 cs.AI cs.CL
Learning Knowledge Bases with Parameters for Task-Oriented Dialogue Systems
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
面向任务的对话系统要么是模块化的，具有单独的对话状态跟踪（DST）和管理步骤，要么是端到端可训练的。在这两种情况下，知识库（KB）在满足用户要求方面发挥着重要作用。模块化系统依赖于DST与KB进行交互，这在注释和推理时间方面是昂贵的。端到端系统直接使用KB作为输入，但是当KB大于几百个条目时，它们无法扩展。在本文中，我们提出了一种方法来嵌入知识库，任何大小，直接到模型参数。生成的模型不需要任何DST或模板响应，也不需要KB作为输入，并且可以通过微调动态更新其KB。我们评估我们的解决方案在五个面向任务的对话数据集与小，中，大KB大小。我们的实验表明，端到端模型可以有效地将知识库嵌入其参数中，并在所有评估的数据集上实现有竞争力的性能。
2020-09-28 cs.AI cs.CL
Structured Dialogue System for Mental Health: An LLM Chatbot Leveraging the PM+ Guidelines
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；East China Normal University（华东师范大学）；Wuhan Research Institute of Posts and Telecommunications（武汉邮电科学研究院）
本文提出基于LLM的心理咨询聊天机器人SuDoSys，利用WHO的PM+指南实现阶段感知的多轮对话，通过阶段控制器等组件维持对话流，并采用模拟客户的新技术自动评估，生成连贯响应。
2024-11-16 cs.CL
Findings from Experiments of On-line Joint Reinforcement Learning of Semantic Parser and Dialogue Manager with real Users
LIA, Avignon Universty（阿维尼翁大学计算机科学实验室）
对话系统的设计近年来取得了很大的进展，但获取大量的数据仍然是一个障碍，他们的快速发展，为一个新的任务或语言。此外，用批量数据训练交互式系统并不令人满意。在线学习是追求在本文中作为一种方便的方式来缓解这些困难。在系统模块启动后，单个过程处理数据汇集、注释和用于训练算法。一个新的挑战是如何控制用户在线学习的成本。我们的工作重点是学习语义解析和对话管理模块（语音识别和合成提供现成的解决方案）。在这种情况下，我们研究了几个变种的同时学习，在用户试验中进行测试。在我们的实验中，他们都有不同的优点，都可以达到良好的性能，只有几百个训练对话和超越手工制作的系统。这些实验的分析给了我们一些见解，在本文中讨论的，到系统的培训师建立一个连贯和恒定的行为策略，使一个快速和高质量的培训阶段的困难。
2021-10-25 cs.CL cs.HC
Lifelong and Continual Learning Dialogue Systems
Intel Labs（英特尔实验室）；University of Illinois at Chicago (UIC)（伊利诺伊大学芝加哥分校）；Indian Institute of Technology (IIT) - Roorkee（印度理工学院鲁尔基分校）
本书提出终身学习对话系统范式，使聊天机器人能在与用户和环境的自主交互中持续学习语言、知识、样本与对话技能，并综述相关技术进展与未来挑战。
2024-06-17 cs.AI cs.CL cs.HC
Converse: A Tree-Based Modular Task-Oriented Dialogue System
Salesforce Research（赛富时研究院）；Google Research（谷歌研究院）；Microsoft（微软）；Temple University（天普大学）
创建一个可以与人类进行有意义的对话以帮助完成任务的系统是人工智能（AI）的最终目标之一。它从一开始就定义了AI的含义。最近在这一领域已经取得了很大的成就，语音助理产品进入了我们的日常生活，聊天机器人系统在客户服务中变得司空见惯。乍一看，对话系统似乎并不缺乏选择。然而，今天频繁部署的对话系统似乎都在与一个关键弱点作斗争--它们很难构建，也更难维护。斗争的核心是需要编写机器人和人类用户之间交互的每一个回合。这使得对话系统更难以维护，因为任务变得更复杂并且更多的任务被添加到系统中。在本文中，我们提出了Converse，一个灵活的基于树的模块化面向任务的对话系统。Converse使用与或树结构来表示任务，并提供强大的多任务对话管理。Converse支持任务依赖和任务切换，这是与其他开源对话框架相比的独特功能。与此同时，Converse的目标是使机器人构建过程变得简单，无论是专业还是非专业的软件开发人员。该代码可在https://github.com/salesforce/Converse上获得。
2022-05-09 cs.AI cs.CL
