Semi-Supervised Dialogue Policy Learning via Stochastic Reward Estimation
The University of Melbourne（墨尔本大学）；Twitter Inc.（推特公司）
在面向任务的对话系统中，对话策略优化往往要等到任务完成后才能得到反馈。这不足以训练中间对话回合，因为监督信号（或奖励）仅在对话结束时提供。为了解决这个问题，已经引入了奖励学习来从最优策略的状态-动作对中学习，以提供逐向奖励。这种方法需要人与人对话的完整状态-动作注释（即，专家演示），这是劳动密集型的。为了克服这一局限性，我们提出了一种新的奖励学习方法的半监督策略学习。所提出的方法学习动态模型作为对对话进程进行建模的奖励函数（即，状态-动作序列），或者有或者没有注释。动态模型通过预测对话进度是否与专家演示一致来计算奖励。我们还建议学习动作嵌入，以更好地推广奖励函数。所提出的方法优于竞争策略学习基线MultiWOZ，一个基准多域数据集。
2020-05-09 cs.AI cs.CL
Adaptive Natural Language Generation for Task-oriented Dialogue via Reinforcement Learning
Nagoya University（名古屋大学）
当在现实世界的面向任务的对话系统中实现自然语言生成（NLG）组件时，不仅需要生成如在训练数据上学习的自然话语，而且需要生成适于对话环境的话语（例如，来自环境声音的噪声）和用户（例如，具有低水平理解能力的用户）。受语言生成任务的强化学习（RL）的最新进展的启发，我们提出了ANTOR，一种通过强化学习为面向任务的对话自适应自然语言生成的方法。在ANTOR中，一个自然语言理解（NLU）模块，它对应于用户对系统话语的理解，被纳入RL的目标函数。如果NLG的意图被正确地传达给理解系统话语的NLU，则NLG被给予积极的奖励。我们在MultiWOZ数据集上进行了实验，我们证实了ANTOR可以针对语音识别错误和不同词汇水平的用户生成自适应的话语。
2022-09-16 cs.AI cs.CL
Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration
Columbia University（哥伦比亚大学）；University of California Davis（加州大学戴维斯分校）；Intel Labs（英特尔研究院）
说服性对话系统反映了机器在口头交流之外进行战略行动的能力，因此区别于面向任务或开放领域的对话系统，具有自己独特的价值。然而，重复和不一致的问题仍然存在于对话响应生成中，并且可能严重影响用户体验并阻碍说服结果。此外，尽管强化学习（RL）方法在游戏等战略任务中取得了巨大成功，但它们需要一个复杂的用户模拟器来向对话系统提供实时反馈，这限制了RL在说服对话中的应用。为了解决这些问题，以更好的说服对话系统，我们应用强化学习细化语言模型基线没有用户模拟器，并通过奖励提取重复，不一致和任务相关性的重复级别的信息。此外，为了更好地完成说服任务，该模型从人类示范学习模仿人类的说服行为，并选择最有说服力的反应。实验结果表明，该模型在捐赠说服任务中的自动评价和人工评价结果均优于现有的对话模型，并根据用户反馈生成更多样化、一致性和说服力更强的对话。
2022-10-22 cs.AI cs.CL
Investigation of Language Understanding Impact for Reinforcement Learning Based Dialogue Systems
Microsoft Research（微软研究院）；National Taiwan University（国立台湾大学）
语言理解是口语对话系统的关键组成部分。在本文中，我们调查如何语言理解模块的影响对话系统的性能进行了一系列的系统实验，面向任务的神经对话系统在强化学习为基础的设置。实证研究表明，在不同类型的语言理解错误中，槽级错误比意图级错误对对话系统整体性能的影响更大。此外，我们的实验表明，基于强化学习的对话系统能够学习什么时候和什么确认，以实现更好的性能和更大的鲁棒性。
2017-03-21 cs.AI cs.CL cs.LG
Deep Reinforcement Learning for Multi-Domain Dialogue Systems
University of Lincoln（林肯大学）；Samsung Electronics Co. Ltd.（三星电子有限公司）
标准的深度强化学习方法，如用于多任务（域）的深度Q网络（DQN），面临可扩展性问题。本文提出了一种多域对话策略学习方法--NDQN，并将其应用于餐饮酒店领域的信息搜索口语对话系统。实验结果比较DQN（基线）与NDQN（建议）使用模拟报告，我们提出的方法具有更好的可扩展性，是有希望的多域对话系统的行为优化。
2016-11-26 cs.AI cs.CL cs.LG
Dream to Chat: Model-based Reinforcement Learning on Dialogues with User Belief Modeling
Geely AI Lab（Geely人工智能实验室）；Beijing Institute of Technology（北京理工大学）
本文提出DreamCUB框架，通过构建对话世界模型预测用户信念（情绪、情感、意图），结合模型强化学习提升对话质量，在情绪分类和情感识别上达到最优，并具有良好的迁移性。
2025-09-26 cs.AI cs.CL
Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）
定义会话代理的动作空间并使用强化学习优化其决策过程是一个持久的挑战。通常的做法是使用手工制作的对话行为或输出词汇表，例如在神经编码器解码器中，作为动作空间。两者都有各自的局限性。本文提出了一种新的潜在的行动框架，把一个端到端的对话代理的行动空间作为潜在的变量，并开发无监督的方法，以诱导自己的行动空间的数据。全面的实验进行检查连续和离散的行动类型和两种不同的优化方法的基础上随机变分推理。结果表明，所提出的潜在行动实现了优越的经验性能的改善，比以前的字级策略梯度方法的DealOrNoDeal和MultiWoz对话。我们的详细分析也提供了关于各种潜在变量的策略学习方法的见解，可以作为在未来的研究中开发更好的潜在行动的基础。
2019-04-15 cs.AI cs.CL
An Application of Reinforcement Learning to Dialogue Strategy Selection in a Spoken Dialogue System for Email
AT&T Shannon Laboratory（AT&T Shannon实验室）
本文描述了一种新的方法，通过该方法，口语对话系统可以学习选择一个最佳的对话策略，从它的经验与人类用户交互。该方法基于强化学习和口语对话系统的性能建模的组合。强化学习组件应用Q学习（Watkins，1989），而性能建模组件应用PARADISE评估框架（Walker等人，1997）来学习强化学习中使用的性能函数（奖励）。我们用一个名为ELVIS（EmaiL语音交互系统）的口语对话系统来说明该方法，该系统支持通过电话访问电子邮件。我们进行了一组实验，训练的最佳对话策略的语料库中的219个对话，人类用户通过电话与ELVIS互动。然后，我们测试的18个对话语料库的策略。我们表明，ELVIS可以学习优化其策略选择代理的主动性，阅读消息，并总结电子邮件文件夹。
2011-06-01 cs.AI
An Asynchronous Updating Reinforcement Learning Framework for Task-oriented Dialog System
Beijing University of Posts and Telecommunications（北京邮电大学）
提出异步更新强化学习框架AURL，通过异步更新对话状态跟踪与策略模块、结合课程学习和多用户模型，在SSD-PHONE数据集上实现对话成功率31.37%的提升。
2023-05-04 cs.AI cs.CL cs.HC
DialogXpert: Driving Intelligent and Emotion-Aware Conversations through Online Value-Based Reinforcement Learning with LLM Priors
School of Information Technology, Monash University Malaysia（墨尔本大学马来西亚分校信息科技学院）；Singapore University of Technology and Design（新加坡科技设计大学）
DialogXpert利用冻结LLM生成候选动作，结合紧凑Q网络进行在线价值强化学习，实现情感感知的主动对话，在多个基准中成功率超94%，并显著提升谈判效果。
2025-05-23 cs.AI cs.CL
A Challenge on Semi-Supervised and Reinforced Task-Oriented Dialog Systems
Tsinghua University（清华大学）；China Mobile（中国移动）
半监督和强化的面向任务的对话系统的挑战，与EMNLP 2022 SereTOD研讨会位于同一地点。
2022-09-25 cs.CL
Recommendation as a Communication Game: Self-Supervised Bot-Play for Goal-oriented Dialogue
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（Facebook人工智能）
传统的推荐系统产生静态的而不是交互式的推荐，不受用户的具体请求、澄清或当前情绪的影响，并且如果用户的口味未知，可能会出现冷启动问题。这些问题可以通过将推荐视为交互式对话任务来缓解，其中专家推荐器可以依次询问某人的偏好，对他们的请求做出反应，并推荐更合适的项目。在这项工作中，我们收集了一个目标驱动的推荐对话数据集（GoRecDial），其中包括9，125个对话游戏和81，260个对话回合，这些对话是由两个相互推荐电影的人类工作者组成的。该任务被专门设计为两个玩家之间的合作游戏，朝着一个可量化的共同目标努力。我们利用数据集开发一个端到端的对话系统，可以同时交谈和推荐。模型首先被训练来模仿人类玩家的行为，而不考虑任务目标本身（监督训练）。然后，我们在两个配对的预训练模型（机器人游戏）之间的模拟机器人对话上微调我们的模型，以实现对话目标。我们的实验表明，与机器人游戏进行微调的模型学习了改进的对话策略，当与人类配对时更经常达到对话目标，并且与没有机器人游戏训练的模型相比，被人类评为更一致。数据集和代码通过ParlAI框架公开提供。
2019-09-09 cs.AI cs.CL
Distributed Structured Actor-Critic Reinforcement Learning for Universal Dialogue Management
Shanghai Jiao Tong University（上海交通大学）
面向任务的口语对话系统（SDS）旨在帮助人类用户完成特定任务（例如，酒店预订）。对话管理是SDS的核心部分。对话管理有两个主要任务：对话信念状态跟踪（总结对话历史）和对话决策（决定如何回复用户）。在这项工作中，我们只专注于设计一个政策，选择哪些对话动作来响应用户。时序系统的决策过程可以抽象为一个部分可观测的马尔可夫决策过程（POMDP）。在此框架下，强化学习方法可以用于自动化策略优化。在过去的几年中，有许多深度强化学习（DRL）算法，使用神经网络（NN）作为函数逼近器，研究对话策略。
2020-09-22 cs.CL
Replicating Complex Dialogue Policy of Humans via Offline Imitation Learning with Supervised Regularization
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
针对任务型对话中模仿人类策略的难题，提出一种无需用户模拟器、利用状态转移信息并引入正则化技巧的离线模仿学习模型，在四个公开数据集的动作预测任务上取得更优性能。
2023-05-06 cs.AI cs.CL
End-to-end LSTM-based dialog control optimized with supervised and reinforcement learning
Microsoft Research（微软研究院）
本文提出了一个面向任务的对话系统的端到端学习模型。该模型的主要组件是一个递归神经网络（LSTM），它将原始对话历史直接映射到系统操作的分布。LSTM自动推断对话历史的表示，这减轻了系统开发人员对对话状态的大量手动功能工程。此外，开发人员可以提供表达业务规则的软件，并提供对编程API的访问，使LSTM能够代表用户在现实世界中采取行动。LSTM可以使用监督学习（SL）进行优化，其中领域专家提供LSTM应该模仿的示例对话框;或者使用强化学习（RL），其中系统通过直接与最终用户交互来改进。实验表明，SL和RL是互补的：SL可以从少量的训练对话框中获得合理的初始策略;使用SL训练的策略启动RL优化可以大大加快RL的学习率。
2016-06-03 cs.AI cs.CL cs.LG
Towards End-to-End Learning for Dialog State Tracking and Management using Deep Reinforcement Learning
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一个端到端的框架，面向任务的对话系统使用的深度递归Q网络（DRQN）的变体。该模型能够与关系数据库接口，并共同学习语言理解和对话策略的策略。此外，我们提出了一种混合算法，结合了强化学习和监督学习的强度，以实现更快的学习速度。我们评估了20个问题的游戏会话游戏模拟器上提出的模型。结果表明，该方法优于基于模块的基线和学习的潜在对话状态的分布式表示。
2016-09-15 cs.AI cs.CL cs.LG
SimpleDS: A Simple Deep Reinforcement Learning Dialogue System
Heriot-Watt University（赫瑞-瓦特大学）
本文介绍了“SimpleDS”，这是一个简单且公开可用的对话系统，经过深度强化学习训练。与之前的强化学习对话系统相比，该系统通过直接从最后一个系统的原始文本和（嘈杂的）用户响应执行动作选择来避免手动特征工程。我们的初步结果，在餐厅领域，表明它确实是可能的，以诱导合理的对话行为的方法，其目的是高水平的自动化对话控制智能交互代理。
2016-01-18 cs.AI cs.LG
Self-Supervised Dialogue Learning
University of California, Santa Barbara（加州大学圣巴巴拉分校）
在连贯的对话中，话语的顺序往往是有意义的，而话语顺序的变化可能导致低质量和不连贯的对话。我们认为顺序信息是对话学习的一个重要的监督信号，然而，它被许多以前的对话系统所忽视。因此，在本文中，我们引入了一个自监督学习任务，不一致的顺序检测，明确捕捉对话中的会话流。给定采样的话语对三元组，任务是预测它是有序的还是无序的。然后，我们提出了一个基于采样的自监督网络SSN执行预测与采样的三重参考从以前的对话历史。此外，我们设计了一个联合学习框架，SSN可以通过对抗训练引导对话系统实现更连贯和相关的对话学习。我们证明了所提出的方法可以应用于开放域和面向任务的对话场景，并在OpenSubtitles和Movie-Ticket Booking数据集上实现了新的最先进的性能。
2019-06-30 cs.CL
Optimizing Dialogue Management with Reinforcement Learning: Experiments with the NJFun System
Syntek Capital（辛泰克资本）；University of Pittsburgh（匹兹堡大学）；University of Pennsylvania（宾夕法尼亚大学）
设计口语对话系统的对话策略涉及许多重要的选择。本文提出了一种用于自动优化对话策略的强化学习方法，该方法解决了将强化学习应用于与人类用户的工作对话系统的技术挑战。我们报告的设计，建设和实证评估NJFun，实验口语对话系统，为用户提供有关有趣的事情在新泽西州做的信息。我们的研究结果表明，通过强化学习优化其性能，NJFun显著提高了系统性能。
2011-06-03 cs.AI cs.LG
Deep Reinforcement Learning for Dialogue Generation
Stanford University（斯坦福大学）；Ohio State University（俄亥俄州立大学）；Microsoft Research（微软研究院）
最近的对话生成神经模型为会话代理生成响应提供了很大的希望，但往往是短视的，一次预测一个话语，而忽略了它们对未来结果的影响。对对话的未来方向进行建模对于生成连贯、有趣的对话至关重要，这一需求导致传统的NLP对话模型借鉴了强化学习。在本文中，我们展示了如何整合这些目标，应用深度强化学习来模拟聊天机器人对话中的未来奖励。该模型模拟了两个虚拟代理之间的对话，使用策略梯度方法奖励序列，显示三个有用的会话属性：信息性（非重复性回合），连贯性和易于回答（相关的前瞻性功能）。我们评估我们的模型的多样性，长度以及与人类法官，表明该算法产生更多的互动响应，并设法培养一个更持久的对话模拟。这项工作标志着学习基于对话长期成功的神经会话模型的第一步。
2016-09-29 cs.CL
End-to-End Optimization of Task-Oriented Dialogue Model with Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
在本文中，我们提出了一个基于神经网络的面向任务的对话系统，可以优化端到端的深度强化学习（RL）。该系统能够跟踪对话状态，与知识库接口，并将查询结果纳入代理的响应，成功地完成面向任务的对话。对话策略学习采用混合监督和深度RL方法进行。我们首先训练的对话代理在监督的方式直接从面向任务的对话语料库学习，并进一步优化它与用户交互过程中的深度RL。在两个不同的对话任务域上的实验中，我们的模型在跟踪对话状态和产生合理的系统响应方面表现出鲁棒的性能。我们表明，与监督训练模型相比，基于深度强化学习的优化显著提高了任务成功率，减少了对话长度。我们进一步展示了训练面向任务的对话模型端到端的好处，与对话模拟和人类评估的实验结果相比，组件优化。
2017-11-30 cs.CL
Composite Task-Completion Dialogue Policy Learning via Hierarchical Deep Reinforcement Learning
Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）
构建一个对话代理来完成复杂的任务，如旅行计划，是具有挑战性的，因为代理必须学习共同完成多个子任务。例如，代理需要预订酒店并预订航班，以便在到达和酒店入住之间留出足够的通勤时间。本文通过在马尔可夫决策过程（MDP）的数学框架中制定任务来解决这一挑战，并提出了一种分层的深度强化学习方法来学习在不同时间尺度上操作的对话管理器。对话管理器包括：（1）在子任务或选项中进行选择的顶层对话策略，（2）选择基本动作以完成顶层策略给定的子任务的底层对话策略，以及（3）帮助确保满足所有跨子任务约束的全局状态跟踪器。在模拟和真实用户的旅行规划任务上的实验表明，我们的方法在三个基线上都有显著的改进，两个基线基于手工规则，另一个基线基于平面深度强化学习。
2017-07-22 cs.AI cs.CL cs.LG
Dialogue Generation: From Imitation Learning to Inverse Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research AI（微软人工智能研究院）
对抗性对话生成模型的性能依赖于由机器人产生的奖励信号的质量。来自一个差的应答器的奖励信号可能非常稀疏和不稳定，这可能导致生成器陷入局部最优或产生无意义的应答。为了缓解第一个问题，我们首先将最近提出的对抗性对话生成方法扩展到对抗性模仿学习解决方案。然后，在对抗逆强化学习的框架下，我们提出了一种新的对话生成奖励模型，可以为生成器训练提供更加准确和精确的奖励信号。我们在两个注释设置中使用自动度量和人工评估来评估所得到的模型的性能。我们的实验结果表明，我们的模型可以产生更多的高质量的响应，并实现更高的整体性能比国家的最先进的。
2018-12-09 cs.AI cs.CL cs.LG
Rethinking Supervised Learning and Reinforcement Learning in Task-Oriented Dialogue Systems
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
面向任务的对话系统的对话策略学习近年来取得了很大的进展，主要是通过采用强化学习方法。然而，这些方法已经变得非常复杂。现在是时候重新评估它了。我们真的在开发基于强化学习的对话代理方面取得了进展吗？我们演示了如何（1）传统的监督学习与（2）无模拟器的对抗学习方法一起使用，以实现与最先进的基于RL的方法相当的性能。首先，我们引入一个简单的对话动作解码器来预测适当的动作。然后，对传统的多标签对话策略学习方案进行扩展，增加密集层，提高对话Agent的性能。最后，我们采用Gumbel-Softmax估计交替训练对话代理和对话奖励模型，而不使用强化学习。基于我们广泛的实验，我们可以得出结论，所提出的方法可以实现更稳定和更高的性能，更少的努力，如领域知识所需的设计一个用户模拟器和棘手的参数调整强化学习。我们的主要目标不是用监督学习击败强化学习，而是展示重新思考强化学习和监督学习在优化面向任务的对话系统中的作用的价值。
2020-09-21 cs.CL cs.LG
Feudal Reinforcement Learning for Dialogue Management in Large Domains
University of Cambridge（剑桥大学）；PolyAI Limited（PolyAI有限公司）
强化学习（RL）是解决对话策略优化的一种很有前途的方法。然而，传统的强化学习算法由于维数灾难而无法扩展到大的域。我们提出了一种新的对话管理架构，基于封建RL，它分解成两个步骤的决定;第一步，主策略选择一个子集的原始动作，和第二步，其中一个原始动作是从选定的子集中选择。包含在领域本体中的结构信息用于抽象对话状态空间，在每个步骤中使用抽象状态的不同部分进行决策。这与插槽之间的信息共享机制相结合，增加了大型域的可扩展性。我们表明，基于Deep-Q网络的这种方法的实现在几个对话领域和环境中显着优于以前的最先进技术，而不需要任何额外的奖励信号。
2018-03-08 cs.AI cs.CL cs.NE
Adaptive Dialog Policy Learning with Hindsight and User Modeling
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
强化学习方法已经被用于根据基于语言的交互体验来计算对话策略。效率在对话策略学习中特别重要，因为与人交互的成本相当大，并且低质量对话的用户体验非常差。为了提高对话策略学习的效率，我们开发了算法LHUA（后见之明学习，用户建模和适应），第一次，使对话代理自适应地学习后见之明从模拟和真实用户。模拟和事后诸葛亮分别为对话代理提供更多的经验和更多的（积极的）增援。实验结果表明，在成功率和政策质量，LHUA优于文献中的竞争基线，包括其无模拟，无适应，无事后诸葛亮同行。
2020-05-07 cs.AI cs.CL
A Survey on Recent Advances and Challenges in Reinforcement Learning Methods for Task-Oriented Dialogue Policy Learning
The Chinese University of Hong Kong（香港中文大学）
本文从强化学习视角系统综述任务型对话策略学习，归纳主要问题、解决方案及方法分类，并展望对话管理未来研究方向。
2022-07-11 cs.CL
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
我们提出了一种新算法，可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索，从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法比常见的探索策略（如ε-greedy，Boltzmann，bootstrapping和基于内在奖励的策略）学习得更快。此外，我们还证明了，在重放缓冲区中加入一些成功的经验，可以使Q学习在可能失败的情况下变得可行。
2017-11-20 cs.AI cs.CL cs.LG
Reward-Balancing for Statistical Spoken Dialogue Systems using Multi-objective Reinforcement Learning
University of Cambridge（剑桥大学）
强化学习被广泛用于对话策略优化，其中奖励函数通常由多于一个分量组成，例如，对话的成功和对话的长度。在这项工作中，我们提出了一个结构化的方法，通过寻找最佳的奖励组件权重，找到这些组件之间的良好平衡。为了使这种搜索可行，我们使用多目标强化学习来显着减少所需的训练对话的数量。我们应用我们提出的方法来找到六个域的优化组件权重，并将它们与默认基线进行比较。
2017-07-19 cs.CL stat.ML
Response Enhanced Semi-supervised Dialogue Query Generation
Xiamen University（厦门大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tencent AI Lab（腾讯AI Lab）
本文提出半监督框架SemiDQG，利用未标注对话和响应增强查询生成器(RA)提供伪查询与奖励信号，通过相似度筛选和REINFORCE算法训练查询生成器，在跨域和低资源场景下显著超越ChatGPT等基线。
2024-02-16 cs.AI cs.CL
Semi-supervised Bootstrapping of Dialogue State Trackers for Task Oriented Modelling
Cambridge University（剑桥大学）；Imperial College London（帝国理工学院）；PolyAI Limited（PolyAI有限公司）
对话系统极大地受益于对详细注释的优化，例如转录的话语、内部对话状态表示和对话行为标签。然而，收集这些注释既昂贵又耗时，阻碍了对话建模领域的发展。在本文中，我们研究了半监督学习方法，能够减少所需的中间标记的量。我们发现，通过利用未注释的数据，对话状态的回合级别注释的量可以显着减少时，建立一个神经对话系统。我们对MultiWOZ语料库的分析，涵盖了一系列的领域和主题，发现注释可以减少高达30%，同时保持等效的系统性能。我们还描述和评估了为MultiWOZ语料库创建的第一个端到端对话模型。
2019-11-26 cs.CL
Deep Reinforcement Learning for On-line Dialogue State Tracking
Key Lab. of Shanghai Education Commission for Intelligent Interaction and Cognitive Eng.（上海市教育委员会智能交互与认知工程重点实验室）；SpeechLab, Department of Computer Science and Engineering（计算机科学与工程系语音实验室）；Brain Science and Technology Research Center（脑科学与技术研究中心）；Shanghai Jiao Tong University, Shanghai, China（上海交通大学）
对话状态跟踪（DST）是对话管理中的一个重要模块。它通常被视为一个有监督的训练问题，这不利于在线优化。本文提出了一种新的基于同伴教学的深度强化学习（DRL）在线DST优化框架。据我们所知，这是第一次努力，以优化DRL框架内的DST模块的在线面向任务的口语对话系统。此外，还可以进一步共同更新对话政策。实验表明，在线DST优化可以有效地提高对话管理器的性能，同时保持使用预定义策略的灵活性。DST和政策的联合培训可以进一步提高绩效。
2020-09-22 cs.CL
Enhancing End-to-End Multi-Task Dialogue Systems: A Study on Intrinsic Motivation Reinforcement Learning Algorithms for Improved Training and Adaptability
BITS Pilani WILP（比尔拉技术与科学学院皮拉尼工作整合学习项目）；Fisher Investments（费雪投资）
本研究针对端到端多任务对话系统奖励贫乏的问题，引入随机网络蒸馏和好奇心驱动的内在动机强化学习算法，在MultiWOZ数据集上使平均成功率达73%，显著优于PPO基线并提升了跨领域适应性。
2024-03-25 cs.AI cs.CL
WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue
India Machine Learning（印度机器学习）；Amazon（亚马逊）
多回合设置中的智能对话系统不仅应该生成高质量的响应，而且还应该生成可以导致对话的长期成功的响应。虽然目前的方法提高了响应质量，但它们忽略了对话数据中存在的训练信号。我们可以利用这些信号来生成弱监督的训练数据，用于学习对话策略和奖励估计器，并使策略采取行动（生成响应），这可以预见成功（奖励）对话的未来方向。我们模拟一个代理和用户之间的对话（建模类似于代理与监督学习目标）相互作用。代理使用动态阻塞来生成排名不同的响应，并使用探索-利用来在Top-K响应中进行选择。每个模拟的状态-动作对都使用三个质量模块进行评估（作为弱注释）：语义相关性，语义一致性和一致性流。两个基准的实证研究表明，我们的模型可以显着优于响应质量，并导致一个成功的对话上的自动评估和人类的判断。
2023-01-11 cs.CL
Personalizing a Dialogue System with Transfer Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
训练个性化的面向任务的对话系统是困难的，因为从每个个体收集的数据通常是不足的。在小数据集上训练的个性化对话系统可能会过度适应，难以适应不同的用户需求。解决该问题的一种方法是将多个用户的数据的集合视为源域，将单个用户的数据视为目标域，并且执行从源域到目标域的迁移学习。基于这一思想，我们提出了“PETAL”（Personalized Task-oriented diALogue），一个基于POMDP的迁移学习框架来学习个性化的对话系统。该系统首先从源域学习共同的对话知识，然后将这些知识适应目标用户。该框架考虑了源用户和目标用户之间的差异，避免了负迁移问题。个性化POMDP中的策略可以学习为不同的用户适当地选择不同的动作。在真实咖啡购物数据和仿真数据上的实验结果表明，该个性化对话系统能够针对不同用户选择不同的最优动作，从而有效地提高了个性化设置下的对话质量。
2017-05-26 cs.AI cs.CL cs.LG
Discovering Customer-Service Dialog System with Semi-Supervised Learning and Coarse-to-Fine Intent Detection
Tianjin University（天津大学）；China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司）
任务导向对话（Task-oriented dialogue，TOD）旨在通过多轮对话帮助用户实现特定的目标。最近，基于大型预训练模型已经获得了良好的结果。然而，标签数据的稀缺性阻碍了TOD系统的大规模有效开发。在这项工作中，我们构建了一个基于教师/学生范式的弱监督数据集，该范式利用了大量未标记的对话。此外，我们建立了一个模块化的对话系统和集成的粗到细粒度的用户意图检测分类。实验结果表明，该方法能够以较高的成功率达到对话目标，并产生更连贯的响应。
2022-12-23 cs.CL
GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection
Alibaba（阿里巴巴）
预先训练的模型在增强面向任务的对话系统方面已被证明是强大的。然而，目前的预训练方法主要集中在提高对话理解和生成任务，而忽略了开发的对话策略。在本文中，我们提出了GALAXY，一种新的预训练的对话模型，显式地学习对话策略，从有限的标记对话和大规模的未标记的对话语料库，通过半监督学习。具体来说，我们在预训练期间引入了一个对话行为预测任务来进行策略优化，并采用一致性正则化项来在未标记对话框的帮助下改进学习的表示。我们还实现了一个门控机制来衡量合适的未标记的对话框样本。实证结果表明，GALAXY大大提高了面向任务的对话系统的性能，并在基准数据集上取得了新的最先进的结果：In-Car，MultiWOZ2.0和MultiWOZ2.1，分别将其端到端综合得分提高了2.5，5.3和5.5分。我们还表明，GALAXY有一个更强的Few-Shot能力比现有的模型在各种低资源设置。
2022-03-29 cs.CL
CHAI: A CHatbot AI for Task-Oriented Dialogue with Offline Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
传统上，为对话代理生成自然语言可以被视为统计学习问题：确定人类提供的数据中的模式，并生成具有类似统计属性的适当响应。然而，对话也可以被视为一个目标导向的过程，说话者试图完成一项特定的任务。强化学习（RL）算法是专门为解决这类目标导向问题而设计的，但应用RL的最直接方法--通过人类对话中的试错学习--成本很高。在本文中，我们研究如何离线强化学习可以完全使用从人类说话者收集的静态数据集来训练对话代理。我们的实验表明，最近开发的离线强化学习方法可以与语言模型相结合，以产生更好地完成任务目标的现实对话代理。
2022-04-18 cs.CL cs.LG
Two-Level Supervised Contrastive Learning for Response Selection in Multi-Turn Dialogue
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ByteDance AI Lab（字节跳动人工智能实验室）
在多话轮对话中，如何从多个候选者中选出一个合适的回答是基于检索的对话系统的关键问题。现有的工作形式化的任务之间的匹配的话语和候选人，并使用交叉熵损失的学习模型。本文将对比学习应用到该问题中，利用监督对比损失。通过这种方式，可以在嵌入空间中更远地分离正例的学习表示和负例的表示，并且可以增强匹配的性能。我们进一步发展了一种新的监督对比学习方法，称为两级监督对比学习，并采用该方法在多轮对话的响应选择。我们的方法利用两种技术：句子标记洗牌（STS）和句子重新排序（SR）的监督对比学习。在三个基准数据集上的实验结果表明，该方法明显优于对比学习基线和最先进的方法的任务。
2022-03-01 cs.CL
Semi-Supervised Knowledge-Grounded Pre-training for Task-Oriented Dialog Systems
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan（美团）
神经方法的最新进展极大地改善了任务导向对话（task-oriented dialogue，TOD）系统，帮助用户完成他们的目标。然而，这样的系统依赖于昂贵的手动标记的对话框，这在实际场景中是不可用的。在本文中，我们为SereTOD 2022挑战赛的第二轨道提出了我们的模型，这是在大规模真实世界的中国TOD数据集MobileCS上构建半监督和增强的TOD系统的第一个挑战。我们建立了一个知识为基础的对话模型，制定对话历史和本地知识库作为输入，并预测系统的响应。我们对标记和未标记的数据进行半监督预训练。我们的系统在自动评估和人机交互方面都取得了第一名的成绩，特别是BLEU（+7.64）和Success（+13.6\%）比第二名更高。
2022-12-23 cs.CL
Weakly-Supervised Neural Response Selection from an Ensemble of Task-Specialised Dialogue Agents
Alt Inc.（奥尔特公司）；University of Liverpool（利物浦大学）
包含不同类型的代理与人类对话的对话引擎很受欢迎。然而，对话是动态的，在这个意义上，所选择的响应将改变会话的飞行，影响会话中的后续话语，这使得响应选择一个具有挑战性的问题。我们建模的问题，选择最佳的反应，从一组由一组异构的对话代理所产生的反应，考虑到会话的历史，并提出了一个\emph{Neural Response Selection}方法。所提出的方法被训练来预测一个连贯的一组反应在一个单一的对话，考虑自己的预测通过课程训练机制。我们的实验结果表明，该方法可以准确地选择最合适的反应，从而显着提高用户体验的对话系统。
2020-05-06 cs.AI cs.CL cs.LG
Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management
University of Cambridge（剑桥大学）
深度强化学习（RL）方法在对话策略优化方面具有巨大的潜力。然而，他们在学习的早期阶段表现不佳。这对于与真实用户的在线学习来说尤其成问题。介绍了两种方法来解决这个问题。首先，为了加快学习过程，提出了两种样本有效的神经网络算法：具有经验重放的信任域行动者-评论家（TRACER）和具有经验重放的情节自然行动者-评论家（eNACER）。对于TRACER，信任区域有助于控制学习步长并避免灾难性的模型变化。对于eNACER，自然梯度标识策略空间中的最陡上升方向以加速收敛。这两个模型都采用了离策略学习和经验重放来提高样本效率。其次，为了缓解冷启动问题，在在线强化学习之前，利用示范数据语料库来预训练模型。结合这两种方法，我们展示了一种实用的方法来学习基于RL的深度对话策略，并展示了它们在面向任务的信息搜索领域中的有效性。
2017-07-05 cs.AI cs.CL cs.LG
Advancing Semi-Supervised Task Oriented Dialog Systems by JSA Learning of Discrete Latent Variable Models
Tsinghua University（清华大学）；China Mobile Research Institute（中国移动研究院）
利用未标记的对话数据开发半监督的面向任务的对话（TOD）系统吸引了越来越多的兴趣。对于潜在状态TOD模型的半监督学习，经常使用变分学习，但是受到通过离散潜在变量传播的梯度的恼人的高方差和间接优化目标对数似然的缺点的影响。最近，一种替代算法，称为联合随机逼近（JSA），已经出现了学习离散潜变量模型与令人印象深刻的性能。在本文中，我们提出了应用JSA的半监督学习的潜在状态TOD模型，这是被称为JSA-TOD。据我们所知，JSA-TOD代表了第一个工作，在开发基于JSA的半监督学习离散潜变量条件模型，如在TOD系统中的长序列生成问题。大量的实验表明，JSA-TOD显着优于其变分学习对应。值得注意的是，使用20%标签的半监督JSA-TOD在MultiWOZ2.1上的表现接近全监督基线。
2022-07-25 cs.CL
Deep Reinforcement Learning For Modeling Chit-Chat Dialog With Discrete Attributes
Mila, Université de Montréal（蒙特利尔大学Mila）；Google Research（谷歌研究院）
开放域对话系统面临的挑战是重复的，并产生通用的反应。在本文中，我们表明，通过调节可解释的离散对话属性和组成属性的响应生成，它有助于提高模型的困惑，并导致不同的和有趣的非冗余的响应。我们建议将对话属性预测公式化为强化学习（RL）问题，并使用策略梯度方法来优化使用长期奖励的话语生成。与现有的RL方法，制定令牌预测作为一个政策，我们的方法通过限制动作空间对话属性，从而降低了策略优化的复杂性，使策略优化更实用和样本效率。我们证明了这一点与实验和人类的评价。
2019-09-14 cs.CL cs.LG
Sample-efficient Deep Reinforcement Learning for Dialog Control
Brown University（布朗大学）；Microsoft Research（微软研究院）
将对话策略表示为递归神经网络（RNN）是有吸引力的，因为它处理部分可观察性，推断状态的潜在表示，并且可以使用监督学习（SL）或强化学习（RL）进行优化。对于RL，策略梯度方法是自然的，但是样本效率低。在本文中，我们提出了3种方法来减少使用RL优化基于RNN的对话策略所需的对话框数量。其关键思想是维护第二个RNN来预测当前策略的值，并将经验重放应用于两个网络。在两个任务中，与标准策略梯度方法相比，这些方法将所需的对话/情节数量减少了约三分之一。
2016-12-18 cs.AI cs.LG stat.ML
Stylistic Dialogue Generation via Information-Guided Reinforcement Learning Strategy
University of Cambridge（剑桥大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
文体响应生成对于构建用于工业用途的吸引人的对话系统至关重要。虽然它吸引了很多研究兴趣，现有的方法往往产生文体的反应，在内容质量（相关性和流畅性）的成本。为了在内容质量和风格之间实现更好的平衡，我们引入了一种新的训练策略，称为信息引导强化学习（IG-RL）。在IG-RL中，鼓励训练模型探索风格表达，同时限制其内容质量。这是通过采用强化学习策略与统计风格的信息指导质量保持的探索。在两个数据集上的实验表明，该方法在整体响应性能方面优于几个强基线。
2020-04-05 cs.CL
Improving a sequence-to-sequence nlp model using a reinforcement learning policy algorithm
Sidi Mohamed Ben Abdallah University（西迪·穆罕默德·本·阿卜杜拉大学）
目前，对话生成（聊天机器人）的神经网络模型显示出很大的希望，为聊天代理生成答案。但他们是短视的，因为他们一次预测一个话语，而忽略了它们对未来结果的影响。对对话的未来方向进行建模对于生成连贯、有趣的对话至关重要，这一需求导致了依赖于强化学习的传统NLP对话模型。在本文中，我们将解释如何通过使用深度强化学习来预测聊天机器人对话中的未来奖励，从而将这些目标结合起来。该模型模拟两个虚拟代理之间的对话，与策略梯度的方法来奖励序列，表现出三个有用的会话特征：流动的非正式性，连贯性和简单的响应（相关的前瞻性功能）。我们根据其多样性，长度和人类的复杂性来评估我们的模型。在对话模拟中，评估表明，所提出的模型产生更多的互动响应，并鼓励更持续的成功对话。这项工作是为了纪念在对话的长期成功的基础上开发神经对话模型的初步步骤。
2022-12-28 cs.AI cs.CL cs.LG
GoChat: Goal-oriented Chatbots with Hierarchical Reinforcement Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；UCAS（中国科学院大学）
一个像人类一样交谈的聊天机器人应该是目标导向的（即，在对话中有目的），这超出了语言生成。然而，现有的对话系统通常严重依赖于繁琐的手工制作的规则或昂贵的标记数据集来实现目标。在本文中，我们提出了面向目标的聊天机器人（GoChat），这是一个端到端训练聊天机器人的框架，可以最大限度地提高离线多轮对话数据集的长期回报。我们的框架利用分层强化学习（HRL），其中高层政策通过确定一些子目标来引导会话朝向最终目标，而低层政策通过生成相应的话语来响应来实现子目标。在我们对真实世界的金融反欺诈对话数据集的实验中，我们的方法在响应生成的质量和完成目标的成功率方面都优于以前的方法。
2020-05-26 cs.AI cs.CL
Dialogue Evaluation with Offline Reinforcement Learning
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
面向任务的对话系统旨在通过自然语言交互实现用户目标。理想情况下，它们是由人类用户进行评估的，但是在开发阶段的每个迭代中都无法实现。模拟用户可能是一个替代方案，但他们的发展是不平凡的。因此，研究人员求助于现有的人与人之间的语料库，这是更实用，更容易复制的离线指标。不幸的是，它们在反映对话系统的真实性能方面是有限的。例如，BLEU与人类判断的相关性很差，现有的基于语料库的指标（如成功率）忽略了对话上下文的不匹配。仍然需要一个可靠的度量面向任务的系统，具有良好的泛化能力和与人类判断的强相关性。在本文中，我们提出了使用离线强化学习的对话评估的基础上的静态语料库。这样的评估器通常被称为批评者，并用于策略优化。我们更进一步，表明离线RL评论家可以在静态语料库上训练任何对话系统作为外部评估者，允许在各种类型的系统之间进行对话性能比较。这种方法的好处是语料库和模型独立，同时实现与人类判断的强相关性，我们通过交互式用户试验证实。
2022-09-02 cs.CL
Improving Proactive Dialog Agents Using Socially-Aware Reinforcement Learning
Augsburg University（奥格斯堡大学）；Ulm University（乌尔姆大学）
本文提出一种结合社会与任务特征的社会感知强化学习方法，用于优化对话代理的主动行为，以提升任务成功率、效率和用户信任，从而改善人机合作。
2023-06-22 cs.AI cs.CL cs.HC
Sample Efficient Deep Reinforcement Learning for Dialogue Systems with Large Action Spaces
University of Cambridge（剑桥大学）；DeepMind Technologies（深度思维科技）
在口语对话系统中，我们的目标是部署人工智能来构建可以与人类对话的自动对话代理。这项工作的一部分是策略优化任务，它试图找到一个描述如何响应人类的策略，以函数的形式获取对话的当前状态并返回系统的响应。在本文中，我们研究了深度强化学习方法来解决这个问题。特别注意演员批评的方法，关闭政策强化学习与经验重放，以及各种方法，旨在减少偏差和方差的估计。当结合使用时，这些方法导致先前提出的ACER算法在游戏环境中产生有竞争力的结果。然而，这些环境是完全可观察的，并有一个相对较小的动作集，所以在本文中，我们研究应用ACER对话政策优化。我们表明，这种方法击败了目前最先进的深度学习方法，用于口语对话系统。这不仅导致了一个更有效的算法，可以更快地训练，但也允许我们在更困难的环境中应用该算法比以前。因此，我们在一个非常大的动作空间中进行了学习实验，这个空间的动作数量比以前考虑的多两个数量级。我们发现，宏碁列车明显快于目前的国家的最先进的。
2018-02-11 cs.AI cs.CL cs.LG
Model-based Bayesian Reinforcement Learning for Dialogue Management
University of Oslo（奥斯陆大学）
强化学习方法越来越多地用于根据经验优化对话策略。目前大多数技术是无模型的：它们直接估计各种动作的效用，而没有明确的交互动力学模型。在本文中，我们研究了基于模型的贝叶斯强化学习的替代策略。贝叶斯推断用于保持模型参数的后验分布，反映模型的不确定性。随着收集更多数据并同时用于规划代理的动作，该参数分布逐渐细化。在这个学习框架内，我们进行了实验的过渡模型的两种替代形式化，一个编码与标准的多项式分布，和一个结构与概率规则。我们展示了我们的方法的潜力与实证结果构建从向导的奥兹数据在人机交互场景中的用户模拟器。结果表明，特别是捕获高层次的规则先验领域知识的好处。
2013-04-05 cs.AI
AgentGraph: Towards Universal Dialogue Management with Structured Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Heinrich Heine University Düsseldorf（海因里希·海涅大学（杜塞尔多夫））
在面向任务的口语对话系统中，对话策略起着重要的作用。它决定如何回应用户。最近提出的深度强化学习（DRL）方法已被用于策略优化。然而，这些深度模型仍然具有挑战性，原因有两个：1）许多基于DRL的策略不是样本有效的。2)大多数模型不具备在不同域之间进行策略迁移的能力。在本文中，我们提出了一个通用的框架，AgentGraph，来解决这两个问题。提出的AgentGraph是基于GNN的架构和基于DRL的算法的结合。它可以被看作是多智能体强化学习方法之一。每个代理对应于图中的一个节点，该图根据对话域本体定义。当做出决定时，每个代理可以与图上的邻居进行通信。在AgentGraph框架下，我们进一步提出了基于Dual GNN的对话策略，该策略隐式地将每个回合中的决策分解为高层全局决策和低层局部决策。实验表明，AgentGraph模型在PyDial基准测试的18个任务中的大多数任务上的表现都明显优于传统的强化学习方法。此外，当从源任务转移到目标任务时，这些模型不仅具有可接受的初始性能，而且在目标任务上收敛得更快。
2019-05-27 cs.AI cs.CL cs.LG
Imperfect also Deserves Reward: Multi-Level and Sequential Reward Modeling for Better Dialog Management
Tencent Jarvis Lab（腾讯Jarvis实验室）；RALI & Mila, Université de Montréal（蒙特利尔大学RALI实验室与Mila研究所）；Sun Yat-sen University（中山大学）
在面向任务的对话系统中，训练基于强化学习（RL）的对话管理模块存在样本效率低和收敛速度慢的问题，针对这一问题，人们提出了多种策略在训练RL时给予适当的奖励，但这些奖励缺乏可解释性，无法准确估计真实对话中状态-动作对的分布。在本文中，我们提出了一个多层次的奖励建模方法，将奖励分解为三个层次：域，行为和插槽。基于反向对抗强化学习，我们设计的奖励模型能够为状态-动作对提供更准确、更可解释的奖励信号，大量的测试表明，我们的方法可以应用于广泛的基于强化学习的对话系统，并显著提高了性能和收敛速度.
2021-04-10 cs.AI cs.CL cs.LG
