Sample Efficient Deep Reinforcement Learning for Dialogue Systems with Large Action Spaces
University of Cambridge（剑桥大学）；DeepMind Technologies（深度思维科技）
在口语对话系统中，我们的目标是部署人工智能来构建可以与人类对话的自动对话代理。这项工作的一部分是策略优化任务，它试图找到一个描述如何响应人类的策略，以函数的形式获取对话的当前状态并返回系统的响应。在本文中，我们研究了深度强化学习方法来解决这个问题。特别注意演员批评的方法，关闭政策强化学习与经验重放，以及各种方法，旨在减少偏差和方差的估计。当结合使用时，这些方法导致先前提出的ACER算法在游戏环境中产生有竞争力的结果。然而，这些环境是完全可观察的，并有一个相对较小的动作集，所以在本文中，我们研究应用ACER对话政策优化。我们表明，这种方法击败了目前最先进的深度学习方法，用于口语对话系统。这不仅导致了一个更有效的算法，可以更快地训练，但也允许我们在更困难的环境中应用该算法比以前。因此，我们在一个非常大的动作空间中进行了学习实验，这个空间的动作数量比以前考虑的多两个数量级。我们发现，宏碁列车明显快于目前的国家的最先进的。
2018-02-11 cs.AI cs.CL cs.LG
Modelling Hierarchical Structure between Dialogue Policy and Natural Language Generator with Option Framework for Task-oriented Dialogue System
Imperial College London（帝国理工学院）；Laiye Network Technology Co. Ltd.（来也网络科技有限公司）；KAIST（韩国科学技术院）；University of Bath（巴斯大学）
设计面向任务的对话系统是一个具有挑战性的研究课题，因为它不仅需要生成满足用户要求的话语，而且要保证可理解性。许多先前的工作训练端到端（E2 E）模型与监督学习（SL），然而，在标注系统话语的偏见仍然是一个瓶颈。强化学习（RL）通过使用不可微的评估度量（例如，成功率）作为奖励。尽管如此，现有的工作与强化学习表明，生成的系统话语的可理解性可能会损坏时，提高性能，满足用户的请求。在我们的工作中，我们（1）提出了对话策略和自然语言生成器（NLG）之间的层次结构建模与选项框架，称为HDNO，其中潜在的对话行为被应用，以避免设计特定的对话行为表示;（2）通过分层强化学习（HRL）训练HDNO，以及建议在训练期间在对话策略和NLG之间的异步更新，以理论上保证它们收敛到局部最大化器;以及（3）建议使用用语言模型建模的词典作为额外奖励，以进一步提高可理解性。我们在MultiWoz 2.0和MultiWoz 2.1（多域对话数据集）上测试了HDNO，并与使用RL，LaRL和HDSA训练的单词级E2 E模型进行了比较，显示了自动评估指标和人工评估的性能改进。最后，我们论证了潜在对话行为的语义，以说明HDNO的可解释性。
2021-02-19 cs.AI cs.CL cs.LG
Rethinking Supervised Learning and Reinforcement Learning in Task-Oriented Dialogue Systems
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
面向任务的对话系统的对话策略学习近年来取得了很大的进展，主要是通过采用强化学习方法。然而，这些方法已经变得非常复杂。现在是时候重新评估它了。我们真的在开发基于强化学习的对话代理方面取得了进展吗？我们演示了如何（1）传统的监督学习与（2）无模拟器的对抗学习方法一起使用，以实现与最先进的基于RL的方法相当的性能。首先，我们引入一个简单的对话动作解码器来预测适当的动作。然后，对传统的多标签对话策略学习方案进行扩展，增加密集层，提高对话Agent的性能。最后，我们采用Gumbel-Softmax估计交替训练对话代理和对话奖励模型，而不使用强化学习。基于我们广泛的实验，我们可以得出结论，所提出的方法可以实现更稳定和更高的性能，更少的努力，如领域知识所需的设计一个用户模拟器和棘手的参数调整强化学习。我们的主要目标不是用监督学习击败强化学习，而是展示重新思考强化学习和监督学习在优化面向任务的对话系统中的作用的价值。
2020-09-21 cs.CL cs.LG
End-to-end LSTM-based dialog control optimized with supervised and reinforcement learning
Microsoft Research（微软研究院）
本文提出了一个面向任务的对话系统的端到端学习模型。该模型的主要组件是一个递归神经网络（LSTM），它将原始对话历史直接映射到系统操作的分布。LSTM自动推断对话历史的表示，这减轻了系统开发人员对对话状态的大量手动功能工程。此外，开发人员可以提供表达业务规则的软件，并提供对编程API的访问，使LSTM能够代表用户在现实世界中采取行动。LSTM可以使用监督学习（SL）进行优化，其中领域专家提供LSTM应该模仿的示例对话框;或者使用强化学习（RL），其中系统通过直接与最终用户交互来改进。实验表明，SL和RL是互补的：SL可以从少量的训练对话框中获得合理的初始策略;使用SL训练的策略启动RL优化可以大大加快RL的学习率。
2016-06-03 cs.AI cs.CL cs.LG
Subgoal Discovery for Hierarchical Dialogue Policy Learning
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）；Google Inc.（谷歌公司）
开发智能体参与复杂的目标导向对话是具有挑战性的，部分原因是在长时间的对话中，主要的学习信号非常稀疏。在本文中，我们提出了一个分而治之的方法，发现和利用隐藏的结构的任务，使有效的策略学习。首先，成功的例子对话，我们提出了子目标发现网络（SDN）划分一个复杂的目标为导向的任务成一组简单的子目标在无监督的方式。然后，我们使用这些子目标，通过分层强化学习来学习多层次策略。我们证明了我们的方法，通过建立一个对话代理的复合任务的旅行规划。模拟和真实用户的实验表明，我们的方法与需要人类定义子目标的最先进的方法相比具有竞争力。此外，我们表明，学习的子目标往往是人类理解的。
2018-09-22 cs.AI cs.CL cs.LG
Towards End-to-End Learning for Dialog State Tracking and Management using Deep Reinforcement Learning
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一个端到端的框架，面向任务的对话系统使用的深度递归Q网络（DRQN）的变体。该模型能够与关系数据库接口，并共同学习语言理解和对话策略的策略。此外，我们提出了一种混合算法，结合了强化学习和监督学习的强度，以实现更快的学习速度。我们评估了20个问题的游戏会话游戏模拟器上提出的模型。结果表明，该方法优于基于模块的基线和学习的潜在对话状态的分布式表示。
2016-09-15 cs.AI cs.CL cs.LG
Strategic Dialogue Management via Deep Reinforcement Learning
Heriot-Watt University（赫瑞-瓦特大学）
具有战略技能的智能代理，可以在与其他自然或人工代理的交互过程中进行谈判，仍然不发达。本文描述了一个成功的应用深度强化学习（DRL）训练智能代理的战略会话技能，在情景对话设置。以前的研究已经使用监督学习和传统的强化学习技术，后者使用表格表示或学习线性函数逼近的策略代理的行为建模。在这项研究中，我们应用DRL与一个高维的状态空间的战略棋盘游戏的卡坦岛的定居者-在那里，玩家可以提供资源，以换取他人，他们也可以回答由其他玩家提供。我们的实验结果表明，基于DRL的学习策略显著优于几个基线，包括随机，基于规则和基于监督的行为。基于DRL的策略与3个自动播放器（“机器人”）相比具有53%的胜率，而在此设置中在对话语料库上训练的受监督播放器与相同的3个机器人相比仅实现了27%。这一结果支持了DRL是一个有前途的框架，用于训练对话系统和具有谈判能力的战略代理的主张。
2015-11-25 cs.AI cs.LG
Deep Reinforcement Learning for Inquiry Dialog Policies with Logical Formula Embeddings
NEC Data Science Research Laboratories（NEC数据科学研究实验室）；PKSHA Technology Inc.（PKSHA科技公司）
本文首次尝试使用深度强化学习（DRL）来学习查询对话系统（IDS）的策略。大多数IDS框架用逻辑公式表示对话状态和对话行为。为了使学习查询对话策略更有效，我们引入了一个基于递归神经网络的逻辑公式嵌入框架。实验结果表明，基于DRL和逻辑公式嵌入框架的查询对话策略的效果与现有的基于规则的查询对话策略的效果相当，甚至更好。
2017-08-02 cs.AI cs.CL
Composite Task-Completion Dialogue Policy Learning via Hierarchical Deep Reinforcement Learning
Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）
构建一个对话代理来完成复杂的任务，如旅行计划，是具有挑战性的，因为代理必须学习共同完成多个子任务。例如，代理需要预订酒店并预订航班，以便在到达和酒店入住之间留出足够的通勤时间。本文通过在马尔可夫决策过程（MDP）的数学框架中制定任务来解决这一挑战，并提出了一种分层的深度强化学习方法来学习在不同时间尺度上操作的对话管理器。对话管理器包括：（1）在子任务或选项中进行选择的顶层对话策略，（2）选择基本动作以完成顶层策略给定的子任务的底层对话策略，以及（3）帮助确保满足所有跨子任务约束的全局状态跟踪器。在模拟和真实用户的旅行规划任务上的实验表明，我们的方法在三个基线上都有显著的改进，两个基线基于手工规则，另一个基线基于平面深度强化学习。
2017-07-22 cs.AI cs.CL cs.LG
Dialogue Generation: From Imitation Learning to Inverse Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research AI（微软人工智能研究院）
对抗性对话生成模型的性能依赖于由机器人产生的奖励信号的质量。来自一个差的应答器的奖励信号可能非常稀疏和不稳定，这可能导致生成器陷入局部最优或产生无意义的应答。为了缓解第一个问题，我们首先将最近提出的对抗性对话生成方法扩展到对抗性模仿学习解决方案。然后，在对抗逆强化学习的框架下，我们提出了一种新的对话生成奖励模型，可以为生成器训练提供更加准确和精确的奖励信号。我们在两个注释设置中使用自动度量和人工评估来评估所得到的模型的性能。我们的实验结果表明，我们的模型可以产生更多的高质量的响应，并实现更高的整体性能比国家的最先进的。
2018-12-09 cs.AI cs.CL cs.LG
Way Off-Policy Batch Deep Reinforcement Learning of Implicit Human Preferences in Dialog
Massachusetts Institute of Technology（麻省理工学院）
大多数深度强化学习（RL）系统都无法有效地从非策略数据中学习，特别是如果它们无法在环境中进行在线探索。这些都是将RL应用于现实世界问题的关键缺点，在现实世界中，收集数据是昂贵的，并且模型必须在部署与环境交互之前进行离线测试-例如，从人类交互中学习的系统。因此，我们开发了一类新的非策略批量RL算法，它能够有效地离线学习，而无需从固定的一批人类交互数据中进行探索。我们利用在数据上预先训练的模型作为强先验，并使用KL控制来惩罚RL训练期间与此先验的偏差。我们还使用基于丢弃的不确定性估计来降低目标Q值，作为双Q学习的更有效的替代方案。该算法在开放域对话生成问题上进行了测试-这是一个具有20，000维动作空间的具有挑战性的强化学习问题。使用我们的Way Off-Policy算法，我们可以从收集的人类交互数据中事后提取多个不同的奖励函数，并从所有这些中有效地学习。我们通过将这些系统部署到开放域环境中与人类对话来测试这些系统的真实泛化，并证明我们的算法在离线批量RL中比以前的方法有了显着的改进。
2019-07-08 cs.AI cs.LG stat.ML
Post-processing Networks: Method for Optimizing Pipeline Task-oriented Dialogue Systems using Reinforcement Learning
Nagoya University（名古屋大学）
许多研究已经提出了通过使用强化学习联合训练系统中的模块来优化整个管道面向任务的对话系统的对话性能的方法。然而，这些方法是有限的，因为它们只能应用于使用可训练的基于神经的方法实现的模块。为了解决这个问题，我们提出了一种方法，用于优化由任意方法实现的对话性能的模块组成的流水线系统。使用我们的方法，基于神经的组件称为后处理网络（PPN）安装在这样的系统中，对每个模块的输出进行后处理。通过使用强化学习更新所有PPN以提高系统的整体对话性能，而不需要每个模块是可区分的。通过对MultiWOZ数据集的对话模拟和人工评估，我们表明我们的方法可以提高由各种模块组成的流水线系统的对话性能。
2022-07-25 cs.AI cs.CL
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
我们提出了一种新算法，可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索，从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法比常见的探索策略（如ε-greedy，Boltzmann，bootstrapping和基于内在奖励的策略）学习得更快。此外，我们还证明了，在重放缓冲区中加入一些成功的经验，可以使Q学习在可能失败的情况下变得可行。
2017-11-20 cs.AI cs.CL cs.LG
CHAI: A CHatbot AI for Task-Oriented Dialogue with Offline Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
传统上，为对话代理生成自然语言可以被视为统计学习问题：确定人类提供的数据中的模式，并生成具有类似统计属性的适当响应。然而，对话也可以被视为一个目标导向的过程，说话者试图完成一项特定的任务。强化学习（RL）算法是专门为解决这类目标导向问题而设计的，但应用RL的最直接方法--通过人类对话中的试错学习--成本很高。在本文中，我们研究如何离线强化学习可以完全使用从人类说话者收集的静态数据集来训练对话代理。我们的实验表明，最近开发的离线强化学习方法可以与语言模型相结合，以产生更好地完成任务目标的现实对话代理。
2022-04-18 cs.CL cs.LG
There are Levels to It: Red Teaming Dialogue With Hierarchical Reinforcement Learning
本文提出将LLM红队测试形式化为马尔可夫决策过程，采用分层强化学习训练生成式智能体，通过细粒度token级有害性奖励学习多轮攻击策略，以发现现有方法遗漏的微妙漏洞，实现更稳健的AI部署。
2026-10-14 cs.AI cs.LG
Sub-domain Modelling for Dialogue Management with Hierarchical Reinforcement Learning
Cambridge University（剑桥大学）
人类对话本质上是复杂的，通常跨越许多不同的主题/领域。这使得对话系统的策略学习非常具有挑战性。标准的扁平强化学习方法没有提供用于对这样的对话进行建模的有效框架。在本文中，我们专注于多域对话管理的不足探索的问题。首先，我们提出了一种新的方法，分层强化学习使用的选项框架。接下来，我们表明，所提出的架构学习速度更快，并达到一个更好的政策比现有的平面。此外，我们还展示了如何通过一组额外的新动作来适应更复杂的系统。在这样做的过程中，我们表明，我们的方法有可能促进更复杂的多域对话系统的政策优化。
2017-07-17 cs.AI cs.CL
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
Microsoft Research（微软研究院）；Google Inc.（谷歌公司）；Citadel（城堡投资）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）
我们提出了一种新算法，可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索，从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法学习速度远远快于常见的探索策略，如$ε$ -贪婪，玻尔兹曼，自举，和内在的奖励为基础的。此外，我们还证明了，在重放缓冲区中加入一些成功的经验，可以使Q学习在可能失败的情况下变得可行。
2017-11-23 cs.LG cs.NE stat.ML
Cascaded LSTMs based Deep Reinforcement Learning for Goal-driven Dialogue
Beijing University of Posts and Telecommunications（北京邮电大学）；ZTE Corporation（中兴通讯股份有限公司）
本文提出了一种深度神经网络模型，用于在目标驱动的对话系统中联合建模自然语言理解（NLU）和对话管理（DM）。该模型由三部分组成。网络底部的长短期记忆（LSTM）将每个对话回合中的话语编码为一个回合嵌入。对话嵌入由网络中间的LSTM学习，并通过馈送所有回合嵌入来更新。顶部是一个前向深度神经网络，它将对话嵌入转换为不同对话动作的Q值。级联LSTM的强化学习网络的联合优化，利用在每个对话轮收到的奖励作为唯一的监督信息。网络中没有显式的NLU和对话状态。实验结果表明，我们的模型在会议室预订任务上优于传统的马尔可夫决策过程（MDP）模型和带有深度Q网络的单个LSTM。对话嵌入的可视化表明，该模型可以学习对话状态的表示。
2019-10-31 cs.AI cs.CL
Reinforcement Learning for Personalized Dialogue Management
ING Bank N.V.（ING银行）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究提出两种基于强化学习的个性化对话管理方法，通过扩展POMDP状态或按用户背景分段，在金融产品推荐等四个领域验证其优于手工标准。
2019-08-01 cs.AI cs.CL cs.HC
Deep Reinforcement Learning For Modeling Chit-Chat Dialog With Discrete Attributes
Mila, Université de Montréal（蒙特利尔大学Mila）；Google Research（谷歌研究院）
开放域对话系统面临的挑战是重复的，并产生通用的反应。在本文中，我们表明，通过调节可解释的离散对话属性和组成属性的响应生成，它有助于提高模型的困惑，并导致不同的和有趣的非冗余的响应。我们建议将对话属性预测公式化为强化学习（RL）问题，并使用策略梯度方法来优化使用长期奖励的话语生成。与现有的RL方法，制定令牌预测作为一个政策，我们的方法通过限制动作空间对话属性，从而降低了策略优化的复杂性，使策略优化更实用和样本效率。我们证明了这一点与实验和人类的评价。
2019-09-14 cs.CL cs.LG
Personalizing a Dialogue System with Transfer Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
训练个性化的面向任务的对话系统是困难的，因为从每个个体收集的数据通常是不足的。在小数据集上训练的个性化对话系统可能会过度适应，难以适应不同的用户需求。解决该问题的一种方法是将多个用户的数据的集合视为源域，将单个用户的数据视为目标域，并且执行从源域到目标域的迁移学习。基于这一思想，我们提出了“PETAL”（Personalized Task-oriented diALogue），一个基于POMDP的迁移学习框架来学习个性化的对话系统。该系统首先从源域学习共同的对话知识，然后将这些知识适应目标用户。该框架考虑了源用户和目标用户之间的差异，避免了负迁移问题。个性化POMDP中的策略可以学习为不同的用户适当地选择不同的动作。在真实咖啡购物数据和仿真数据上的实验结果表明，该个性化对话系统能够针对不同用户选择不同的最优动作，从而有效地提高了个性化设置下的对话质量。
2017-05-26 cs.AI cs.CL cs.LG
An Asynchronous Updating Reinforcement Learning Framework for Task-oriented Dialog System
Beijing University of Posts and Telecommunications（北京邮电大学）
提出异步更新强化学习框架AURL，通过异步更新对话状态跟踪与策略模块、结合课程学习和多用户模型，在SSD-PHONE数据集上实现对话成功率31.37%的提升。
2023-05-04 cs.AI cs.CL cs.HC
Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning
Microsoft Research（微软研究院）；Brown University（布朗大学）；JPMorgan Chase（摩根大通）
递归神经网络（RNN）的端到端学习是对话系统的一个有吸引力的解决方案;然而，目前的技术是数据密集型的，需要数千个对话框来学习简单的行为。我们介绍了混合代码网络（HCN），它将RNN与编码为软件和系统动作模板的特定领域知识相结合。与现有的端到端方法相比，HCN大大减少了所需的训练数据量，同时保留了推断对话状态的潜在表示的关键优势。此外，HCN可以用监督学习、强化学习或两者的混合来优化。HCN在bAbI对话数据集上获得了最先进的性能，并且优于两个商业部署的面向客户的对话系统。
2017-04-24 cs.AI cs.CL
Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management
University of Cambridge（剑桥大学）
深度强化学习（RL）方法在对话策略优化方面具有巨大的潜力。然而，他们在学习的早期阶段表现不佳。这对于与真实用户的在线学习来说尤其成问题。介绍了两种方法来解决这个问题。首先，为了加快学习过程，提出了两种样本有效的神经网络算法：具有经验重放的信任域行动者-评论家（TRACER）和具有经验重放的情节自然行动者-评论家（eNACER）。对于TRACER，信任区域有助于控制学习步长并避免灾难性的模型变化。对于eNACER，自然梯度标识策略空间中的最陡上升方向以加速收敛。这两个模型都采用了离策略学习和经验重放来提高样本效率。其次，为了缓解冷启动问题，在在线强化学习之前，利用示范数据语料库来预训练模型。结合这两种方法，我们展示了一种实用的方法来学习基于RL的深度对话策略，并展示了它们在面向任务的信息搜索领域中的有效性。
2017-07-05 cs.AI cs.CL cs.LG
Learning Goal-Oriented Visual Dialog Agents: Imitating and Surpassing Analytic Experts
National Chiao Tung University（国立交通大学）
本文研究了面向目标的视觉对话任务中提问者的学习问题。以前的几个作品采用无模型强化学习。大多数人从有限的人类生成的数据集预训练模型。我们认为，使用有限的示范启动提问者是不够的，由于大的政策搜索空间。受最近提出的信息理论方法的启发，我们开发了两个分析专家，作为高质量的示范源模仿学习。然后，我们利用强化学习来改进模型，使其朝着目标导向的目标发展。关于GuessWhat的实验结果？！实验结果表明，该方法综合了模仿学习和强化学习的优点，达到了最先进的性能.
2019-07-24 cs.AI cs.LG
Improving Proactive Dialog Agents Using Socially-Aware Reinforcement Learning
Augsburg University（奥格斯堡大学）；Ulm University（乌尔姆大学）
本文提出一种结合社会与任务特征的社会感知强化学习方法，用于优化对话代理的主动行为，以提升任务成功率、效率和用户信任，从而改善人机合作。
2023-06-22 cs.AI cs.CL cs.HC
What Does The User Want? Information Gain for Hierarchical Dialogue Policy Optimisation
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）；University of Cambridge（剑桥大学）
面向任务的对话系统的对话管理组件通常经由强化学习（RL）来优化。通过RL进行优化非常容易受到样本效率低下和不稳定的影响。被称为封建对话管理的分层方法通过分解动作空间向更有效的学习迈出了一步。然而，由于只有在对话结束时才提供奖励，它仍然存在不稳定性。我们建议使用基于信息增益的内在奖励来解决这个问题。我们建议的奖励有利于解决不确定性或在必要时询问用户的行为。它使策略能够学习如何有效地检索用户的需求，这是每个面向任务的对话中不可或缺的一个方面。我们的算法，我们称之为FeudalGain，在PyDial框架的大多数环境中实现了最先进的结果，优于更复杂的方法。我们通过仿真实验和人体试验证实了我们的算法的样本效率和稳定性。
2021-09-15 cs.CL cs.LG
Knowledge acquisition for dialogue agents using reinforcement learning on graph representations
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Utrecht University（乌得勒支大学）
本文提出一种对话智能体，将知识表示为RDF知识图谱，通过强化学习在对话中选择有效图模式以主动获取并整合新知识，验证了将用户作为信息来源的可行性。
2024-06-27 cs.AI cs.CL
Reinforcement Learning of Multi-Domain Dialog Policies Via Action Embeddings
University of Pennsylvania（宾夕法尼亚大学）；Facebook AI（脸书人工智能）；Facebook AI Research（脸书人工智能研究院）；Facebook Assistant（脸书助手部门）
通过强化学习学习面向任务的对话策略通常需要与用户进行大量交互，这在实践中使得这种方法无法用于现实世界的应用。为了减少数据需求，我们建议利用来自不同对话域的数据，从而减少每个给定域所需的数据量。特别是，我们建议学习域不可知的动作嵌入，它捕获通用结构，通知系统如何在当前对话上下文下采取行动，然后专门用于特定的域。我们展示了这种方法是如何能够学习与用户的互动显着减少，减少了35%的对话框的数量需要学习，和更高的熟练程度比训练单独的政策，为每个域的一组模拟域。
2022-07-01 cs.CL cs.LG
AgentGraph: Towards Universal Dialogue Management with Structured Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Heinrich Heine University Düsseldorf（海因里希·海涅大学（杜塞尔多夫））
在面向任务的口语对话系统中，对话策略起着重要的作用。它决定如何回应用户。最近提出的深度强化学习（DRL）方法已被用于策略优化。然而，这些深度模型仍然具有挑战性，原因有两个：1）许多基于DRL的策略不是样本有效的。2)大多数模型不具备在不同域之间进行策略迁移的能力。在本文中，我们提出了一个通用的框架，AgentGraph，来解决这两个问题。提出的AgentGraph是基于GNN的架构和基于DRL的算法的结合。它可以被看作是多智能体强化学习方法之一。每个代理对应于图中的一个节点，该图根据对话域本体定义。当做出决定时，每个代理可以与图上的邻居进行通信。在AgentGraph框架下，我们进一步提出了基于Dual GNN的对话策略，该策略隐式地将每个回合中的决策分解为高层全局决策和低层局部决策。实验表明，AgentGraph模型在PyDial基准测试的18个任务中的大多数任务上的表现都明显优于传统的强化学习方法。此外，当从源任务转移到目标任务时，这些模型不仅具有可接受的初始性能，而且在目标任务上收敛得更快。
2019-05-27 cs.AI cs.CL cs.LG
Adaptive Natural Language Generation for Task-oriented Dialogue via Reinforcement Learning
Nagoya University（名古屋大学）
当在现实世界的面向任务的对话系统中实现自然语言生成（NLG）组件时，不仅需要生成如在训练数据上学习的自然话语，而且需要生成适于对话环境的话语（例如，来自环境声音的噪声）和用户（例如，具有低水平理解能力的用户）。受语言生成任务的强化学习（RL）的最新进展的启发，我们提出了ANTOR，一种通过强化学习为面向任务的对话自适应自然语言生成的方法。在ANTOR中，一个自然语言理解（NLU）模块，它对应于用户对系统话语的理解，被纳入RL的目标函数。如果NLG的意图被正确地传达给理解系统话语的NLU，则NLG被给予积极的奖励。我们在MultiWOZ数据集上进行了实验，我们证实了ANTOR可以针对语音识别错误和不同词汇水平的用户生成自适应的话语。
2022-09-16 cs.AI cs.CL
Learning Cooperative Visual Dialog Agents with Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Virginia Tech（弗吉尼亚理工大学）
我们介绍了第一个目标驱动的培训视觉问答和对话代理。具体来说，我们提出了一个合作的“图像猜测”游戏之间的两个代理- Qbot和Qubot-谁沟通的自然语言对话，使Qbot可以选择一个看不见的图像从一系列的图像。我们使用深度强化学习（RL）来学习这些代理端到端的策略-从像素到多代理多轮对话再到游戏奖励。我们展示了两个实验结果。首先，作为纯RL（从头开始）的“健全性检查”演示，我们展示了合成世界的结果，其中代理在未接地词汇中进行通信，即，没有预先指定含义的符号（X，Y，Z）。我们发现两个机器人发明了自己的通信协议，并开始使用某些符号来询问/回答某些视觉属性（形状/颜色/样式）。因此，我们证明了接地的语言和沟通之间的“视觉”对话代理没有人的监督。其次，我们在VisDial数据集上进行了大规模的真实图像实验，在那里我们用监督对话数据进行了预训练，并表明RL“微调”代理的性能显着优于SL代理。有趣的是，RL Qbot学会了问一些RBT擅长的问题，最终产生了更多信息的对话和更好的团队。
2017-03-21 cs.AI cs.CL cs.CV
Dynamic Dialogue Policy for Continual Reinforcement Learning
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
持续学习是人类学习的关键组成部分之一，也是人工智能的必然要求。由于对话可以潜在地跨越无限多的主题和任务，面向任务的对话系统必须具有持续学习的能力，动态地适应新的挑战，同时保留已经获得的知识。尽管对话政策的持续强化学习很重要，但在很大程度上仍未得到解决。缺乏一个框架，培训协议，基线模型和适当的指标，迄今为止阻碍了这方面的研究。在这项工作中，我们正好填补了这一空白，使对话政策优化的研究从静态到动态学习。我们提供了一个持续学习算法，基线架构和评估持续学习模型的指标。此外，我们提出了动态对话策略Transformer（DDPT），一种新的动态架构，可以无缝地集成新的知识，能够处理大的状态空间，并获得显着的zero-shot性能时，暴露于看不见的域，没有任何增长的网络参数大小。
2022-10-10 cs.CL cs.LG
Improving a sequence-to-sequence nlp model using a reinforcement learning policy algorithm
Sidi Mohamed Ben Abdallah University（西迪·穆罕默德·本·阿卜杜拉大学）
目前，对话生成（聊天机器人）的神经网络模型显示出很大的希望，为聊天代理生成答案。但他们是短视的，因为他们一次预测一个话语，而忽略了它们对未来结果的影响。对对话的未来方向进行建模对于生成连贯、有趣的对话至关重要，这一需求导致了依赖于强化学习的传统NLP对话模型。在本文中，我们将解释如何通过使用深度强化学习来预测聊天机器人对话中的未来奖励，从而将这些目标结合起来。该模型模拟两个虚拟代理之间的对话，与策略梯度的方法来奖励序列，表现出三个有用的会话特征：流动的非正式性，连贯性和简单的响应（相关的前瞻性功能）。我们根据其多样性，长度和人类的复杂性来评估我们的模型。在对话模拟中，评估表明，所提出的模型产生更多的互动响应，并鼓励更持续的成功对话。这项工作是为了纪念在对话的长期成功的基础上开发神经对话模型的初步步骤。
2022-12-28 cs.AI cs.CL cs.LG
Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration
Columbia University（哥伦比亚大学）；University of California Davis（加州大学戴维斯分校）；Intel Labs（英特尔研究院）
说服性对话系统反映了机器在口头交流之外进行战略行动的能力，因此区别于面向任务或开放领域的对话系统，具有自己独特的价值。然而，重复和不一致的问题仍然存在于对话响应生成中，并且可能严重影响用户体验并阻碍说服结果。此外，尽管强化学习（RL）方法在游戏等战略任务中取得了巨大成功，但它们需要一个复杂的用户模拟器来向对话系统提供实时反馈，这限制了RL在说服对话中的应用。为了解决这些问题，以更好的说服对话系统，我们应用强化学习细化语言模型基线没有用户模拟器，并通过奖励提取重复，不一致和任务相关性的重复级别的信息。此外，为了更好地完成说服任务，该模型从人类示范学习模仿人类的说服行为，并选择最有说服力的反应。实验结果表明，该模型在捐赠说服任务中的自动评价和人工评价结果均优于现有的对话模型，并根据用户反馈生成更多样化、一致性和说服力更强的对话。
2022-10-22 cs.AI cs.CL
Model-based Bayesian Reinforcement Learning for Dialogue Management
University of Oslo（奥斯陆大学）
强化学习方法越来越多地用于根据经验优化对话策略。目前大多数技术是无模型的：它们直接估计各种动作的效用，而没有明确的交互动力学模型。在本文中，我们研究了基于模型的贝叶斯强化学习的替代策略。贝叶斯推断用于保持模型参数的后验分布，反映模型的不确定性。随着收集更多数据并同时用于规划代理的动作，该参数分布逐渐细化。在这个学习框架内，我们进行了实验的过渡模型的两种替代形式化，一个编码与标准的多项式分布，和一个结构与概率规则。我们展示了我们的方法的潜力与实证结果构建从向导的奥兹数据在人机交互场景中的用户模拟器。结果表明，特别是捕获高层次的规则先验领域知识的好处。
2013-04-05 cs.AI
Imperfect also Deserves Reward: Multi-Level and Sequential Reward Modeling for Better Dialog Management
Tencent Jarvis Lab（腾讯Jarvis实验室）；RALI & Mila, Université de Montréal（蒙特利尔大学RALI实验室与Mila研究所）；Sun Yat-sen University（中山大学）
在面向任务的对话系统中，训练基于强化学习（RL）的对话管理模块存在样本效率低和收敛速度慢的问题，针对这一问题，人们提出了多种策略在训练RL时给予适当的奖励，但这些奖励缺乏可解释性，无法准确估计真实对话中状态-动作对的分布。在本文中，我们提出了一个多层次的奖励建模方法，将奖励分解为三个层次：域，行为和插槽。基于反向对抗强化学习，我们设计的奖励模型能够为状态-动作对提供更准确、更可解释的奖励信号，大量的测试表明，我们的方法可以应用于广泛的基于强化学习的对话系统，并显著提高了性能和收敛速度.
2021-04-10 cs.AI cs.CL cs.LG
Dialogue Diplomats: An End-to-End Multi-Agent Reinforcement Learning System for Automated Conflict Resolution and Consensus Building
School of Computing and Engineering（计算与工程学院）；College of Engineering（工程学院）；University of Wollongong（沃灵顿大学）
Dialogue Diplomats通过端到端多智能体强化学习框架，结合分层共识网络、渐进谈判协议和上下文感知奖励机制，实现复杂环境中的自动化冲突解决与共识构建。
2025-11-20 cs.AI cs.MA
Learning to Generate Prompts for Dialogue Generation through Reinforcement Learning
National Taiwan University（台湾大学）；Intel Labs（英特尔研究院）
许多文献表明，基于语义的学习是一种有效的方法，利用大型预训练的语言模型。最近的工作还展示了通过插入适当的提示来引导聊天机器人输出的可能性。通常使用基于干扰的方法来干扰提示。然而，有些语言模型甚至不对公众开放。在这项工作中，我们首先探索了提示和强化学习（RL）的组合，以引导模型的生成，而无需访问任何模型的参数。其次，为了减少训练工作量并增强对未知任务的泛化能力，我们应用多任务学习来使模型更好地学习泛化到新任务。实验结果表明，我们提出的方法可以成功地控制几个国家的最先进的（SOTA）对话模型，而无需访问其参数。此外，该模型展示了快速适应未知任务的强大能力，比基线模型的步骤更少。
2022-10-13 cs.AI cs.CL cs.LG
MEETING BOT: Reinforcement Learning for Dialogue Based Meeting Scheduling
TCS Research, New Delhi（塔塔咨询服务公司研究部（TCS Research），新德里）
在本文中，我们提出了会议机器人，一个基于强化学习的会话系统，与多个用户进行交互，以安排会议。该系统能够解释用户话语并将其映射到首选时隙，然后将其馈送到强化学习（RL）系统，目标是收敛到一个合适的时隙。RL系统能够适应用户偏好和环境变化，满足到达率，同时仍然有效地调度。通过利用MLP作为策略函数的近似器，经由具有探索的策略梯度来执行学习。结果表明，该系统优于标准调度算法的整体调度效率。此外，当用户始终拒绝或接受某些时段（例如周五下午与周四上午）的会议时，或者当会议由更高级的成员召集时，系统能够调整其策略。
2018-12-28 cs.AI cs.CL cs.LG
Feudal Reinforcement Learning for Dialogue Management in Large Domains
University of Cambridge（剑桥大学）；PolyAI Limited（PolyAI有限公司）
强化学习（RL）是解决对话策略优化的一种很有前途的方法。然而，传统的强化学习算法由于维数灾难而无法扩展到大的域。我们提出了一种新的对话管理架构，基于封建RL，它分解成两个步骤的决定;第一步，主策略选择一个子集的原始动作，和第二步，其中一个原始动作是从选定的子集中选择。包含在领域本体中的结构信息用于抽象对话状态空间，在每个步骤中使用抽象状态的不同部分进行决策。这与插槽之间的信息共享机制相结合，增加了大型域的可扩展性。我们表明，基于Deep-Q网络的这种方法的实现在几个对话领域和环境中显着优于以前的最先进技术，而不需要任何额外的奖励信号。
2018-03-08 cs.AI cs.CL cs.NE
Structured Fusion Networks for Dialog
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
神经对话模型表现出了很强的性能，但是它们的端到端本质缺乏对话的显式结构的表示。这导致了可概括性、可控性和数据饥渴性的丧失。相反，更传统的对话系统确实具有显式结构的强大模型。本文介绍了几种方法显式地将结构纳入对话的神经模型。结构化融合网络首先学习与传统对话系统的结构化组件相对应的神经对话模块，然后将这些模块合并到更高级别的生成模型中。结构化融合网络在MultiWOZ数据集上获得了强大的结果，无论是否使用强化学习。结构化融合网络被证明具有几个有价值的属性，包括更好的领域泛化能力，在减少数据的情况下提高性能，以及在强化学习过程中对发散的鲁棒性。
2019-07-23 cs.AI cs.CL cs.LG
Dream to Chat: Model-based Reinforcement Learning on Dialogues with User Belief Modeling
Geely AI Lab（Geely人工智能实验室）；Beijing Institute of Technology（北京理工大学）
本文提出DreamCUB框架，通过构建对话世界模型预测用户信念（情绪、情感、意图），结合模型强化学习提升对话质量，在情绪分类和情感识别上达到最优，并具有良好的迁移性。
2025-09-26 cs.AI cs.CL
Towards End-to-End Reinforcement Learning of Dialogue Agents for Information Access
Microsoft Research（微软研究院）；National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了KB-InfoBot --一个多轮对话代理，它可以帮助用户搜索知识库（KBs），而无需编写复杂的查询。这种面向目标的对话代理通常需要与外部数据库进行交互，以访问真实世界的知识。以前的系统通过向知识库发出符号查询来根据条目的属性检索条目来实现这一点。然而，这种符号操作打破了系统的可微性，并阻止了神经对话代理的端到端训练。在本文中，我们解决了这个限制，取代符号查询诱导的“软”后验分布的KB，表明用户感兴趣的实体。将软检索过程与强化学习器相结合，在模拟和真实用户中都能获得更高的任务成功率和奖励。我们还提出了一个完全神经端到端的代理，完全从用户反馈训练，并讨论其应用到个性化的对话代理。源代码可在https://github.com/MiuLab/KB-InfoBot上获得。
2017-04-20 cs.CL cs.LG
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced（加州大学默塞德分校）
如何有效地发现子目标是分层强化学习（HRL）中的一个挑战性问题。在本文中，我们表明，内在动机学习提高了探索的效率，导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外，我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）
定义会话代理的动作空间并使用强化学习优化其决策过程是一个持久的挑战。通常的做法是使用手工制作的对话行为或输出词汇表，例如在神经编码器解码器中，作为动作空间。两者都有各自的局限性。本文提出了一种新的潜在的行动框架，把一个端到端的对话代理的行动空间作为潜在的变量，并开发无监督的方法，以诱导自己的行动空间的数据。全面的实验进行检查连续和离散的行动类型和两种不同的优化方法的基础上随机变分推理。结果表明，所提出的潜在行动实现了优越的经验性能的改善，比以前的字级策略梯度方法的DealOrNoDeal和MultiWoz对话。我们的详细分析也提供了关于各种潜在变量的策略学习方法的见解，可以作为在未来的研究中开发更好的潜在行动的基础。
2019-04-15 cs.AI cs.CL
Learning from Real Users: Rating Dialogue Success with Neural Networks for Reinforcement Learning in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
为了训练统计口语对话系统（SDS），必须有一个精确的方法来测量任务的成功。到目前为止，训练依赖于向模拟或付费用户呈现任务，并通过观察所呈现的任务是否完成来推断对话的成功。然而，我们的目标是能够从真正的用户根据自己的意志行事，在这种情况下，它是不平凡的成功率，因为任何先验知识的任务是根本不可用。可以利用用户反馈，但发现不一致。因此，在这里，我们提出了两个神经网络模型，评估一系列的回合水平功能，以评价对话的成功。重要的是，这些模型不使用用户任务的任何先验知识。该模型在由模拟用户生成的对话上进行训练，然后使用最佳模型来训练在线策略，该策略被示出为使用用户任务的先验知识来执行至少与基线系统一样好。我们注意到，这些模式还应有助于评估安全数据交换和监测基于规则的安全数据交换对话。
2015-08-13 cs.CL cs.LG
Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations
University of California, Berkeley（加州大学伯克利分校）
本文提出利用LLM事后反思能力，通过离线强化学习重写次优对话数据，训练交互式对话智能体，在心理健康支持和慈善捐赠任务中显著优于现有方法。
2024-11-07 cs.AI cs.CL cs.LG
Improving Mild Cognitive Impairment Prediction via Reinforcement Learning and Dialogue Simulation
Michigan State University（密歇根州立大学）；University of Michigan（密歇根大学）；Oregon Health & Science University（俄勒冈健康与科学大学）
轻度认知功能障碍（MCI）是从正常衰老向痴呆（尤其是阿尔茨海默病）发展的前驱期。尽管MCI患者存在轻度认知功能下降，但他们具有正常的整体认知能力，因此很难与正常衰老区分开来。使用从参与者和受过训练的采访者之间记录的对话互动中获得的转录数据，并将监督学习模型应用于这些数据，最近的临床试验显示了区分MCI和正常衰老的有希望的结果。然而，与医务人员的大量互动在实践中仍然会产生大量的医疗费用。在本文中，我们提出了一种新的强化学习（RL）框架，训练一个有效的对话代理现有的成绩单从临床试验。具体而言，代理人被训练为勾画特定疾病的词汇概率分布，从而以最大化诊断准确性和最小化会话回合数的方式进行会话。我们评估了所提出的强化学习框架对MCI诊断的性能。结果表明，虽然只使用了几个回合的谈话，我们的框架可以显着优于最先进的监督学习方法。
2018-02-18 cs.CL cs.LG stat.ML
Ensemble-Based Deep Reinforcement Learning for Chatbots
University of Lincoln（林肯大学）；Samsung Research（三星研究院）
可训练的聊天机器人表现出流畅和类似人类的对话仍然是人工智能的一大挑战。深度强化学习（DRL）有望解决这一挑战，但其成功应用仍然是一个悬而未决的问题。本文描述了一种应用于基于值的DRL聊天机器人的新的基于集成的方法，该方法使用有限动作集作为意义表示的形式。在我们的方法中，虽然对话动作来自句子聚类，但我们集合中的训练数据集来自对话聚类。后者旨在诱导专门的代理人学习以特定的方式进行交互。为了使用我们提出的方法促进神经聊天机器人训练，我们假设对话数据仅为原始文本-没有任何手动标记的数据。使用聊天数据的实验结果表明，（1）可以诱导接近人类的对话策略，（2）推广到看不见的数据是一个困难的问题，（3）训练聊天机器人代理的集合对于使用单个代理来提高性能至关重要。除了使用保留的数据进行评估外，我们的结果还得到了人类评估的进一步支持，该评估对对话的流畅性，连贯性和一致性进行了评估-这表明我们提出的对话奖励与人类判断密切相关。
2019-08-27 cs.AI cs.CL cs.LG
DialogXpert: Driving Intelligent and Emotion-Aware Conversations through Online Value-Based Reinforcement Learning with LLM Priors
School of Information Technology, Monash University Malaysia（墨尔本大学马来西亚分校信息科技学院）；Singapore University of Technology and Design（新加坡科技设计大学）
DialogXpert利用冻结LLM生成候选动作，结合紧凑Q网络进行在线价值强化学习，实现情感感知的主动对话，在多个基准中成功率超94%，并显著提升谈判效果。
2025-05-23 cs.AI cs.CL
Joint On-line Learning of a Zero-shot Spoken Semantic Parser and a Reinforcement Learning Dialogue Manager
University of Avignon（阿维尼翁大学）
尽管最近在对话系统的设计方面取得了许多进展，但真正的瓶颈仍然是获取训练其组件所需的数据。与许多其他语言处理应用程序不同，对话系统需要与用户进行交互，因此使用预先记录的数据开发它们是复杂的。在以前的作品的基础上，在线学习是追求在这里作为一个最方便的方式来解决这个问题。数据汇集、注释和在学习算法中的使用在单个过程中执行。主要的困难是：引导一个初始的基本系统，并控制用户端的额外成本水平。考虑到性能良好的解决方案可以直接用于语音识别和合成，本研究仅侧重于学习口语语言理解和对话管理模块。联合学习的几个变种进行了调查和测试与用户试验，以确认整体在线学习后，只需几百个训练对话，可以超越基于专家的系统。
2018-10-01 cs.CL cs.LG
Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning
Google Research（谷歌研究院）
尽管最近在自然语言理解和生成方面取得了进展，并且对会话机器人的开发进行了数十年的研究，但构建能够与人类“在野外”进行丰富的开放式对话的自动代理仍然是一个艰巨的挑战。在这项工作中，我们开发了一个实时的，开放式的对话系统，使用强化学习（RL）来大规模地增强机器人的对话技能。我们的工作对简洁的嵌入使用SOTA（监督）语言模型与RL技术，特别适合于动态的动作空间，随着对话的进展而变化的会话状态。通过使用众包数据进行训练，我们的新系统能够在Google Assistant真实用户的现场实验中，在几个感兴趣的指标方面大大超过（强）基线监督模型。
2022-07-25 cs.CL cs.LG
DeepSAGE: Stage-Aware Reinforcement Learning for Structured CBT Counseling Dialogue
DeepSAGE是融合LLM与DRL的阶段感知咨询对话框架，经评估在阶段目标完成与对话效率上优于6种替代方案，为AI咨询提供了有前景的新路径。
2026-08-25 cs.AI
