Deep Reinforcement Learning for On-line Dialogue State Tracking
Key Lab. of Shanghai Education Commission for Intelligent Interaction and Cognitive Eng.（上海市教育委员会智能交互与认知工程重点实验室）；SpeechLab, Department of Computer Science and Engineering（计算机科学与工程系语音实验室）；Brain Science and Technology Research Center（脑科学与技术研究中心）；Shanghai Jiao Tong University, Shanghai, China（上海交通大学）
对话状态跟踪（DST）是对话管理中的一个重要模块。它通常被视为一个有监督的训练问题，这不利于在线优化。本文提出了一种新的基于同伴教学的深度强化学习（DRL）在线DST优化框架。据我们所知，这是第一次努力，以优化DRL框架内的DST模块的在线面向任务的口语对话系统。此外，还可以进一步共同更新对话政策。实验表明，在线DST优化可以有效地提高对话管理器的性能，同时保持使用预定义策略的灵活性。DST和政策的联合培训可以进一步提高绩效。
2020-09-22 cs.CL
Replicating Complex Dialogue Policy of Humans via Offline Imitation Learning with Supervised Regularization
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
针对任务型对话中模仿人类策略的难题，提出一种无需用户模拟器、利用状态转移信息并引入正则化技巧的离线模仿学习模型，在四个公开数据集的动作预测任务上取得更优性能。
2023-05-06 cs.AI cs.CL
Stylistic Dialogue Generation via Information-Guided Reinforcement Learning Strategy
University of Cambridge（剑桥大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
文体响应生成对于构建用于工业用途的吸引人的对话系统至关重要。虽然它吸引了很多研究兴趣，现有的方法往往产生文体的反应，在内容质量（相关性和流畅性）的成本。为了在内容质量和风格之间实现更好的平衡，我们引入了一种新的训练策略，称为信息引导强化学习（IG-RL）。在IG-RL中，鼓励训练模型探索风格表达，同时限制其内容质量。这是通过采用强化学习策略与统计风格的信息指导质量保持的探索。在两个数据集上的实验表明，该方法在整体响应性能方面优于几个强基线。
2020-04-05 cs.CL
Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Samsung Research（三星研究院）
在这项工作中，我们提出了一种混合学习方法，通过在线用户交互训练面向任务的对话系统。用于学习面向任务的对话的流行方法包括在监督的预训练模型上应用具有用户反馈的强化学习。这种学习方法的效率可能受到离线训练和在线交互式学习阶段之间的对话状态分布的不匹配的影响。为了解决这一挑战，我们提出了一种混合模仿和强化学习的方法，与对话代理可以有效地学习，从人类的教学和反馈与用户的互动。我们设计了一个基于神经网络的面向任务的对话代理，可以优化端到端的学习方法。实验结果表明，我们的端到端的对话代理可以有效地学习，从它所犯的错误，通过模仿学习从用户教学。在模仿学习阶段之后应用具有用户反馈的强化学习进一步提高了代理成功完成任务的能力。
2018-04-18 cs.CL
Interactive Question Clarification in Dialogue via Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）
在现实世界的对话系统中，处理模棱两可的问题一直是一个长期存在的问题。虽然通过提问来澄清是人类交互的常见形式，但很难定义适当的问题来从用户那里引出更具体的意图。在这项工作中，我们提出了一个强化模型，以澄清模糊的问题，建议改进的原始查询。我们首先制定一个集合划分问题，选择一组标签，使我们能够区分潜在的明确意图。我们将选择的标签作为意图短语列出给用户以供进一步确认。然后，所选择的标签连同原始用户查询一起用作细化的查询，可以更容易地识别合适的响应。该模型使用具有深度策略网络的强化学习进行训练。我们根据真实世界的用户点击来评估我们的模型，并在几个不同的实验中展示了显着的改进。
2020-12-17 cs.CL
Rethinking Supervised Learning and Reinforcement Learning in Task-Oriented Dialogue Systems
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
面向任务的对话系统的对话策略学习近年来取得了很大的进展，主要是通过采用强化学习方法。然而，这些方法已经变得非常复杂。现在是时候重新评估它了。我们真的在开发基于强化学习的对话代理方面取得了进展吗？我们演示了如何（1）传统的监督学习与（2）无模拟器的对抗学习方法一起使用，以实现与最先进的基于RL的方法相当的性能。首先，我们引入一个简单的对话动作解码器来预测适当的动作。然后，对传统的多标签对话策略学习方案进行扩展，增加密集层，提高对话Agent的性能。最后，我们采用Gumbel-Softmax估计交替训练对话代理和对话奖励模型，而不使用强化学习。基于我们广泛的实验，我们可以得出结论，所提出的方法可以实现更稳定和更高的性能，更少的努力，如领域知识所需的设计一个用户模拟器和棘手的参数调整强化学习。我们的主要目标不是用监督学习击败强化学习，而是展示重新思考强化学习和监督学习在优化面向任务的对话系统中的作用的价值。
2020-09-21 cs.CL cs.LG
Reward-Balancing for Statistical Spoken Dialogue Systems using Multi-objective Reinforcement Learning
University of Cambridge（剑桥大学）
强化学习被广泛用于对话策略优化，其中奖励函数通常由多于一个分量组成，例如，对话的成功和对话的长度。在这项工作中，我们提出了一个结构化的方法，通过寻找最佳的奖励组件权重，找到这些组件之间的良好平衡。为了使这种搜索可行，我们使用多目标强化学习来显着减少所需的训练对话的数量。我们应用我们提出的方法来找到六个域的优化组件权重，并将它们与默认基线进行比较。
2017-07-19 cs.CL stat.ML
An Efficient Task-Oriented Dialogue Policy: Evolutionary Reinforcement Learning Injected by Elite Individuals
School of Computer Science and Technology, Changsha University of Science and Technology, China（长沙理工大学计算机科学与技术学院）；School of Computer Science and Engineering, Central South University, China（中南大学计算机科学与工程学院）；School of Information and Computing Sciences, Utrecht University, Netherlands（乌特勒支大学信息与计算科学学院）
本文提出一种融合进化算法全局搜索与深度强化学习局部优化的任务型对话策略方法，并引入精英个体注入机制提升搜索效率，在四个数据集上验证了其能有效平衡探索与利用并减少探索时间。
2025-06-05 cs.CL
Post-processing Networks: Method for Optimizing Pipeline Task-oriented Dialogue Systems using Reinforcement Learning
Nagoya University（名古屋大学）
许多研究已经提出了通过使用强化学习联合训练系统中的模块来优化整个管道面向任务的对话系统的对话性能的方法。然而，这些方法是有限的，因为它们只能应用于使用可训练的基于神经的方法实现的模块。为了解决这个问题，我们提出了一种方法，用于优化由任意方法实现的对话性能的模块组成的流水线系统。使用我们的方法，基于神经的组件称为后处理网络（PPN）安装在这样的系统中，对每个模块的输出进行后处理。通过使用强化学习更新所有PPN以提高系统的整体对话性能，而不需要每个模块是可区分的。通过对MultiWOZ数据集的对话模拟和人工评估，我们表明我们的方法可以提高由各种模块组成的流水线系统的对话性能。
2022-07-25 cs.AI cs.CL
Neural Generation of Dialogue Response Timings
ADAPT Centre（ADAPT中心）；School of Engineering（工程学院）；Trinity College Dublin（都柏林圣三一学院）
人类对话中的口头响应偏移的定时已经被示出基于对话的上下文元素而变化。我们提出了神经模型，模拟这些响应偏移量的分布，同时考虑到响应转向以及前面的转向。这些模型被设计成集成到增量口语对话系统（SDS）的流水线中。我们使用离线实验以及人类听力测试来评估我们的模型。我们表明，人类听众认为某些响应时间是更自然的对话上下文的基础上。将这些模型引入SDS管道可以增加交互的感知自然度。
2020-05-18 cs.CL
Sub-domain Modelling for Dialogue Management with Hierarchical Reinforcement Learning
Cambridge University（剑桥大学）
人类对话本质上是复杂的，通常跨越许多不同的主题/领域。这使得对话系统的策略学习非常具有挑战性。标准的扁平强化学习方法没有提供用于对这样的对话进行建模的有效框架。在本文中，我们专注于多域对话管理的不足探索的问题。首先，我们提出了一种新的方法，分层强化学习使用的选项框架。接下来，我们表明，所提出的架构学习速度更快，并达到一个更好的政策比现有的平面。此外，我们还展示了如何通过一组额外的新动作来适应更复杂的系统。在这样做的过程中，我们表明，我们的方法有可能促进更复杂的多域对话系统的政策优化。
2017-07-17 cs.AI cs.CL
Cascaded LSTMs based Deep Reinforcement Learning for Goal-driven Dialogue
Beijing University of Posts and Telecommunications（北京邮电大学）；ZTE Corporation（中兴通讯股份有限公司）
本文提出了一种深度神经网络模型，用于在目标驱动的对话系统中联合建模自然语言理解（NLU）和对话管理（DM）。该模型由三部分组成。网络底部的长短期记忆（LSTM）将每个对话回合中的话语编码为一个回合嵌入。对话嵌入由网络中间的LSTM学习，并通过馈送所有回合嵌入来更新。顶部是一个前向深度神经网络，它将对话嵌入转换为不同对话动作的Q值。级联LSTM的强化学习网络的联合优化，利用在每个对话轮收到的奖励作为唯一的监督信息。网络中没有显式的NLU和对话状态。实验结果表明，我们的模型在会议室预订任务上优于传统的马尔可夫决策过程（MDP）模型和带有深度Q网络的单个LSTM。对话嵌入的可视化表明，该模型可以学习对话状态的表示。
2019-10-31 cs.AI cs.CL
Investigation of Language Understanding Impact for Reinforcement Learning Based Dialogue Systems
Microsoft Research（微软研究院）；National Taiwan University（国立台湾大学）
语言理解是口语对话系统的关键组成部分。在本文中，我们调查如何语言理解模块的影响对话系统的性能进行了一系列的系统实验，面向任务的神经对话系统在强化学习为基础的设置。实证研究表明，在不同类型的语言理解错误中，槽级错误比意图级错误对对话系统整体性能的影响更大。此外，我们的实验表明，基于强化学习的对话系统能够学习什么时候和什么确认，以实现更好的性能和更大的鲁棒性。
2017-03-21 cs.AI cs.CL cs.LG
Deep Reinforcement Learning for Multi-Domain Dialogue Systems
University of Lincoln（林肯大学）；Samsung Electronics Co. Ltd.（三星电子有限公司）
标准的深度强化学习方法，如用于多任务（域）的深度Q网络（DQN），面临可扩展性问题。本文提出了一种多域对话策略学习方法--NDQN，并将其应用于餐饮酒店领域的信息搜索口语对话系统。实验结果比较DQN（基线）与NDQN（建议）使用模拟报告，我们提出的方法具有更好的可扩展性，是有希望的多域对话系统的行为优化。
2016-11-26 cs.AI cs.CL cs.LG
Adaptive Natural Language Generation for Task-oriented Dialogue via Reinforcement Learning
Nagoya University（名古屋大学）
当在现实世界的面向任务的对话系统中实现自然语言生成（NLG）组件时，不仅需要生成如在训练数据上学习的自然话语，而且需要生成适于对话环境的话语（例如，来自环境声音的噪声）和用户（例如，具有低水平理解能力的用户）。受语言生成任务的强化学习（RL）的最新进展的启发，我们提出了ANTOR，一种通过强化学习为面向任务的对话自适应自然语言生成的方法。在ANTOR中，一个自然语言理解（NLU）模块，它对应于用户对系统话语的理解，被纳入RL的目标函数。如果NLG的意图被正确地传达给理解系统话语的NLU，则NLG被给予积极的奖励。我们在MultiWOZ数据集上进行了实验，我们证实了ANTOR可以针对语音识别错误和不同词汇水平的用户生成自适应的话语。
2022-09-16 cs.AI cs.CL
Dynamic Dialogue Policy for Continual Reinforcement Learning
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
持续学习是人类学习的关键组成部分之一，也是人工智能的必然要求。由于对话可以潜在地跨越无限多的主题和任务，面向任务的对话系统必须具有持续学习的能力，动态地适应新的挑战，同时保留已经获得的知识。尽管对话政策的持续强化学习很重要，但在很大程度上仍未得到解决。缺乏一个框架，培训协议，基线模型和适当的指标，迄今为止阻碍了这方面的研究。在这项工作中，我们正好填补了这一空白，使对话政策优化的研究从静态到动态学习。我们提供了一个持续学习算法，基线架构和评估持续学习模型的指标。此外，我们提出了动态对话策略Transformer（DDPT），一种新的动态架构，可以无缝地集成新的知识，能够处理大的状态空间，并获得显着的zero-shot性能时，暴露于看不见的域，没有任何增长的网络参数大小。
2022-10-10 cs.CL cs.LG
Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration
Columbia University（哥伦比亚大学）；University of California Davis（加州大学戴维斯分校）；Intel Labs（英特尔研究院）
说服性对话系统反映了机器在口头交流之外进行战略行动的能力，因此区别于面向任务或开放领域的对话系统，具有自己独特的价值。然而，重复和不一致的问题仍然存在于对话响应生成中，并且可能严重影响用户体验并阻碍说服结果。此外，尽管强化学习（RL）方法在游戏等战略任务中取得了巨大成功，但它们需要一个复杂的用户模拟器来向对话系统提供实时反馈，这限制了RL在说服对话中的应用。为了解决这些问题，以更好的说服对话系统，我们应用强化学习细化语言模型基线没有用户模拟器，并通过奖励提取重复，不一致和任务相关性的重复级别的信息。此外，为了更好地完成说服任务，该模型从人类示范学习模仿人类的说服行为，并选择最有说服力的反应。实验结果表明，该模型在捐赠说服任务中的自动评价和人工评价结果均优于现有的对话模型，并根据用户反馈生成更多样化、一致性和说服力更强的对话。
2022-10-22 cs.AI cs.CL
Dream to Chat: Model-based Reinforcement Learning on Dialogues with User Belief Modeling
Geely AI Lab（Geely人工智能实验室）；Beijing Institute of Technology（北京理工大学）
本文提出DreamCUB框架，通过构建对话世界模型预测用户信念（情绪、情感、意图），结合模型强化学习提升对话质量，在情绪分类和情感识别上达到最优，并具有良好的迁移性。
2025-09-26 cs.AI cs.CL
Learning from Real Users: Rating Dialogue Success with Neural Networks for Reinforcement Learning in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
为了训练统计口语对话系统（SDS），必须有一个精确的方法来测量任务的成功。到目前为止，训练依赖于向模拟或付费用户呈现任务，并通过观察所呈现的任务是否完成来推断对话的成功。然而，我们的目标是能够从真正的用户根据自己的意志行事，在这种情况下，它是不平凡的成功率，因为任何先验知识的任务是根本不可用。可以利用用户反馈，但发现不一致。因此，在这里，我们提出了两个神经网络模型，评估一系列的回合水平功能，以评价对话的成功。重要的是，这些模型不使用用户任务的任何先验知识。该模型在由模拟用户生成的对话上进行训练，然后使用最佳模型来训练在线策略，该策略被示出为使用用户任务的先验知识来执行至少与基线系统一样好。我们注意到，这些模式还应有助于评估安全数据交换和监测基于规则的安全数据交换对话。
2015-08-13 cs.CL cs.LG
Improving Multi-Domain Task-Oriented Dialogue System with Offline Reinforcement Learning
Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
针对任务型对话系统监督微调导致的暴露偏差等问题，提出基于GPT2的离线强化学习优化方法，以成功率与BLEU加权奖励引导，在MultiWOZ2.1上信息率提升1.60%，成功率提升3.17%。
2024-11-08 cs.AI cs.CL cs.HC
Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning
Google Research（谷歌研究院）
尽管最近在自然语言理解和生成方面取得了进展，并且对会话机器人的开发进行了数十年的研究，但构建能够与人类“在野外”进行丰富的开放式对话的自动代理仍然是一个艰巨的挑战。在这项工作中，我们开发了一个实时的，开放式的对话系统，使用强化学习（RL）来大规模地增强机器人的对话技能。我们的工作对简洁的嵌入使用SOTA（监督）语言模型与RL技术，特别适合于动态的动作空间，随着对话的进展而变化的会话状态。通过使用众包数据进行训练，我们的新系统能够在Google Assistant真实用户的现场实验中，在几个感兴趣的指标方面大大超过（强）基线监督模型。
2022-07-25 cs.CL cs.LG
A Benchmarking Environment for Reinforcement Learning Based Task Oriented Dialogue Management
University of Cambridge（剑桥大学）
对话助理正迅速成为不可或缺的日常辅助工具。为了避免手工制作所需对话流所需的大量工作，对话管理（DM）模块可以被转换为连续的马尔可夫决策过程（MDP），并通过强化学习（RL）进行训练。近年来，研究了几种RL模型。然而，由于缺乏一个通用的基准框架，很难对不同的模型及其推广到不同环境的能力进行公平的比较。因此，本文提出了一套具有挑战性的模拟环境对话模型的开发和评估。为了提供一些基线，我们研究了一些代表性的参数算法，即深度强化学习算法- DQN，A2 C和Natural Actor-Critic，并将它们与非参数模型GP-SARSA进行比较。环境和策略模型都是使用公开的PyDial工具包实现的，并在线发布，以便为进一步的实验建立一个测试平台框架，并促进实验的可重复性。
2018-04-06 cs.CL cs.NE stat.ML
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
我们提出了一种新算法，可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索，从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法比常见的探索策略（如ε-greedy，Boltzmann，bootstrapping和基于内在奖励的策略）学习得更快。此外，我们还证明了，在重放缓冲区中加入一些成功的经验，可以使Q学习在可能失败的情况下变得可行。
2017-11-20 cs.AI cs.CL cs.LG
Personalizing a Dialogue System with Transfer Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
训练个性化的面向任务的对话系统是困难的，因为从每个个体收集的数据通常是不足的。在小数据集上训练的个性化对话系统可能会过度适应，难以适应不同的用户需求。解决该问题的一种方法是将多个用户的数据的集合视为源域，将单个用户的数据视为目标域，并且执行从源域到目标域的迁移学习。基于这一思想，我们提出了“PETAL”（Personalized Task-oriented diALogue），一个基于POMDP的迁移学习框架来学习个性化的对话系统。该系统首先从源域学习共同的对话知识，然后将这些知识适应目标用户。该框架考虑了源用户和目标用户之间的差异，避免了负迁移问题。个性化POMDP中的策略可以学习为不同的用户适当地选择不同的动作。在真实咖啡购物数据和仿真数据上的实验结果表明，该个性化对话系统能够针对不同用户选择不同的最优动作，从而有效地提高了个性化设置下的对话质量。
2017-05-26 cs.AI cs.CL cs.LG
Continuously Learning Neural Dialogue Management
University of Cambridge（剑桥大学）
我们描述了一个两步的方法，在面向任务的口语对话系统的对话管理。提出了一个统一的神经网络框架，使系统能够首先通过监督从一组对话数据中学习，然后通过强化学习不断改善其行为，所有这些都使用基于梯度的算法在一个单一的模型上。实验表明，监督模型的有效性，在基于语料库的评价，与用户模拟，并与付费人类科目。强化学习的使用进一步提高了模型在两种交互式环境中的性能，特别是在高噪声条件下。
2016-06-08 cs.CL cs.LG
Collaborative Multi-Agent Dialogue Model Training Via Reinforcement Learning
Uber AI（优步AI）
我们提出了第一个完整的尝试，同时训练会话代理，仅通过自我生成的语言进行通信。使用DSTC 2作为种子数据，我们为每个代理训练了自然语言理解（NLU）和生成（NLG）网络，并让代理在线交互。我们将这种互动建模为一个随机合作博弈，其中每个代理（玩家）都有一个角色（“助手”，“游客”，“食客”等）。和他们自己的目标，并且只能通过他们生成的自然语言进行交互。因此，每个代理都需要学习在具有多个不确定性来源的环境中进行最佳操作（自己的NLU和NLG，其他代理的NLU，策略和NLG）。在我们的评估中，我们表明随机游戏代理优于基于深度学习的监督基线。
2019-07-24 cs.CL cs.HC
An Offline Mobile Conversational Agent for Mental Health Support: Learning from Emotional Dialogues and Psychological Texts with Student-Centered Evaluation
Department of Electrical Engineering and Computer Science, Indian Institute of Science Education and Research Bhopal（电子工程与计算机科学系，比哈尔印度科学教育与研究中心）
本文提出EmoSApp，一个离线智能手机应用，利用定制知识数据集训练的语言模型，提供心理健康支持，并通过学生和专业人员的定性评估及多项基准测试验证其在低资源环境下的有效性。
2025-12-10 cs.AI cs.CL cs.CY
Findings from Experiments of On-line Joint Reinforcement Learning of Semantic Parser and Dialogue Manager with real Users
LIA, Avignon Universty（阿维尼翁大学计算机科学实验室）
对话系统的设计近年来取得了很大的进展，但获取大量的数据仍然是一个障碍，他们的快速发展，为一个新的任务或语言。此外，用批量数据训练交互式系统并不令人满意。在线学习是追求在本文中作为一种方便的方式来缓解这些困难。在系统模块启动后，单个过程处理数据汇集、注释和用于训练算法。一个新的挑战是如何控制用户在线学习的成本。我们的工作重点是学习语义解析和对话管理模块（语音识别和合成提供现成的解决方案）。在这种情况下，我们研究了几个变种的同时学习，在用户试验中进行测试。在我们的实验中，他们都有不同的优点，都可以达到良好的性能，只有几百个训练对话和超越手工制作的系统。这些实验的分析给了我们一些见解，在本文中讨论的，到系统的培训师建立一个连贯和恒定的行为策略，使一个快速和高质量的培训阶段的困难。
2021-10-25 cs.CL cs.HC
Sample Efficient Deep Reinforcement Learning for Dialogue Systems with Large Action Spaces
University of Cambridge（剑桥大学）；DeepMind Technologies（深度思维科技）
在口语对话系统中，我们的目标是部署人工智能来构建可以与人类对话的自动对话代理。这项工作的一部分是策略优化任务，它试图找到一个描述如何响应人类的策略，以函数的形式获取对话的当前状态并返回系统的响应。在本文中，我们研究了深度强化学习方法来解决这个问题。特别注意演员批评的方法，关闭政策强化学习与经验重放，以及各种方法，旨在减少偏差和方差的估计。当结合使用时，这些方法导致先前提出的ACER算法在游戏环境中产生有竞争力的结果。然而，这些环境是完全可观察的，并有一个相对较小的动作集，所以在本文中，我们研究应用ACER对话政策优化。我们表明，这种方法击败了目前最先进的深度学习方法，用于口语对话系统。这不仅导致了一个更有效的算法，可以更快地训练，但也允许我们在更困难的环境中应用该算法比以前。因此，我们在一个非常大的动作空间中进行了学习实验，这个空间的动作数量比以前考虑的多两个数量级。我们发现，宏碁列车明显快于目前的国家的最先进的。
2018-02-11 cs.AI cs.CL cs.LG
Enhancing End-to-End Multi-Task Dialogue Systems: A Study on Intrinsic Motivation Reinforcement Learning Algorithms for Improved Training and Adaptability
BITS Pilani WILP（比尔拉技术与科学学院皮拉尼工作整合学习项目）；Fisher Investments（费雪投资）
本研究针对端到端多任务对话系统奖励贫乏的问题，引入随机网络蒸馏和好奇心驱动的内在动机强化学习算法，在MultiWOZ数据集上使平均成功率达73%，显著优于PPO基线并提升了跨领域适应性。
2024-03-25 cs.AI cs.CL
Dialogue Systems for Emotional Support via Value Reinforcement
Graduate School of Data Science（数据科学研究生院）；Department of Psychology（心理学系）
提出一种价值驱动的情感支持对话系统训练方法，利用Reddit在线对话在多轮中识别并强化求助者的积极价值观，实验证明其优于基线并获治疗师认可。
2025-05-31 cs.AI cs.CL cs.CY
A User Simulator for Task-Completion Dialogues
Microsoft Research（微软研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（国立台湾大学）
尽管人们对面向任务的对话系统的学习能力有着广泛的兴趣，但有几个障碍会阻碍研究和开发的进展。首先，强化学习者通常需要与环境进行交互，因此不能直接使用传统的对话语料库。其次，每个任务都提出了具体的挑战，需要单独的任务特定的注释数据语料库。第三，为面向任务的对话收集和注释人机或人与人的对话需要广泛的领域知识。因为建立一个合适的数据集可能既经济上昂贵又耗时，一种流行的方法是基于示例对话的语料库来建立用户模拟器。然后，当代理与模拟器交互时，可以以在线方式训练强化学习代理。在这些模拟器上训练的对话代理可以作为一个有效的起点。一旦智能体掌握了模拟器，它们就可以被部署到真实的环境中与人类进行交互，并继续接受在线培训。为了减轻经验算法比较对话，本文介绍了一个新的，公开的模拟框架，我们的模拟器，专为电影预订域，利用规则和收集的数据。模拟器支持两个任务：电影票预订和电影搜索。最后，我们展示了几个代理，并详细介绍了在建议的框架中添加和测试自己的代理的过程。
2017-11-13 cs.AI cs.CL cs.LG
On the Effectiveness of Offline RL for Dialogue Response Generation
ASAPP（ASAPP公司）；Cornell University（康奈尔大学）
针对教师强制训练需精确匹配人类语言的局限，本文研究多种离线强化学习方法用于对话回复生成序列级目标最大化的效果，经多数据集、模型与指标评估，证实其性能优于教师强制且训练稳定、预算可控。
2023-07-23 cs.CL
Dialogue manager domain adaptation using Gaussian process reinforcement learning
口语对话系统允许人类使用自然语音与机器交互。因此，它们有许多好处。通过使用语音作为主要的通信媒介，计算机界面可以促进快速、人性化的信息获取。近年来，语音界面变得越来越流行，Siri、Google Now、Cortana和Amazon Alexa等个人助理的兴起就是明证。最近，数据驱动的机器学习方法已被应用于对话建模，并且在有限领域应用中取得的结果与传统方法相当或优于传统方法。基于高斯过程的方法特别有效，因为它们能够从有限的训练数据中估计出良好的模型。此外，它们提供了对不确定性的明确估计，这对于强化学习特别有用。本文探讨了扩展这些方法以建模多个对话域所需的其他步骤。我们表明，高斯过程强化学习是一个优雅的框架，自然支持一系列的方法，包括先验知识，贝叶斯委员会机器和多智能体学习，以促进可扩展和适应性强的对话系统。
2016-09-09 cs.CL
Dialogue Is Not Enough to Make a Communicative BabyLM (But Neither Is Developmentally Inspired Reinforcement Learning)
Center for Language and Cognition (CLCG), University of Groningen（语言与认知中心（CLCG）、格罗宁根大学）；CRC 1646 – Linguistic Creativity in Communication, Bielefeld University（语言交流创造性研究（CRC 1646）、比尔特诺夫大学）
本文探讨了仅通过对话数据预训练是否能生成有效的小型语言模型，并通过多种微调策略提升模型的交际能力，发现DPO微调在自定义对话基准测试中表现更优。
2025-10-23 cs.CL
PersuaRL: Reinforcement Learning-Driven Multi-Expert Selection for Persuasive Dialogue Generation in Insurance
Indian Institute of Technology Patna（印度巴特那印度理工学院）；Ramakrishna Mission Vivekananda Educational and Research Institute（罗摩克里希纳使命维韦卡南达教育与研究学院）；Accenture Labs（埃森哲实验室）
本研究针对保险领域说服性对话需求，提出PersuaRL强化学习框架，结合自主构建的InsureDial数据集，在基准数据集上验证其优于基线，可生成高说服性的对话响应。
2026-09-02 cs.CL
Offline Reinforcement Learning for Mixture-of-Expert Dialogue Management
University of Massachusetts（马萨诸塞大学）；Google Research（谷歌研究院）；Amazon（亚马逊）
本文提出利用专家混合语言模型结构设计多种离线强化学习算法，通过缩小动作空间来提升对话管理智能体的意图多样性与整体性能。
2023-10-29 cs.AI cs.CL cs.LG
Knowledge acquisition for dialogue agents using reinforcement learning on graph representations
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Utrecht University（乌得勒支大学）
本文提出一种对话智能体，将知识表示为RDF知识图谱，通过强化学习在对话中选择有效图模式以主动获取并整合新知识，验证了将用户作为信息来源的可行性。
2024-06-27 cs.AI cs.CL
Towards End-to-End Reinforcement Learning of Dialogue Agents for Information Access
Microsoft Research（微软研究院）；National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了KB-InfoBot --一个多轮对话代理，它可以帮助用户搜索知识库（KBs），而无需编写复杂的查询。这种面向目标的对话代理通常需要与外部数据库进行交互，以访问真实世界的知识。以前的系统通过向知识库发出符号查询来根据条目的属性检索条目来实现这一点。然而，这种符号操作打破了系统的可微性，并阻止了神经对话代理的端到端训练。在本文中，我们解决了这个限制，取代符号查询诱导的“软”后验分布的KB，表明用户感兴趣的实体。将软检索过程与强化学习器相结合，在模拟和真实用户中都能获得更高的任务成功率和奖励。我们还提出了一个完全神经端到端的代理，完全从用户反馈训练，并讨论其应用到个性化的对话代理。源代码可在https://github.com/MiuLab/KB-InfoBot上获得。
2017-04-20 cs.CL cs.LG
Composite Task-Completion Dialogue Policy Learning via Hierarchical Deep Reinforcement Learning
Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）
构建一个对话代理来完成复杂的任务，如旅行计划，是具有挑战性的，因为代理必须学习共同完成多个子任务。例如，代理需要预订酒店并预订航班，以便在到达和酒店入住之间留出足够的通勤时间。本文通过在马尔可夫决策过程（MDP）的数学框架中制定任务来解决这一挑战，并提出了一种分层的深度强化学习方法来学习在不同时间尺度上操作的对话管理器。对话管理器包括：（1）在子任务或选项中进行选择的顶层对话策略，（2）选择基本动作以完成顶层策略给定的子任务的底层对话策略，以及（3）帮助确保满足所有跨子任务约束的全局状态跟踪器。在模拟和真实用户的旅行规划任务上的实验表明，我们的方法在三个基线上都有显著的改进，两个基线基于手工规则，另一个基线基于平面深度强化学习。
2017-07-22 cs.AI cs.CL cs.LG
Joint On-line Learning of a Zero-shot Spoken Semantic Parser and a Reinforcement Learning Dialogue Manager
University of Avignon（阿维尼翁大学）
尽管最近在对话系统的设计方面取得了许多进展，但真正的瓶颈仍然是获取训练其组件所需的数据。与许多其他语言处理应用程序不同，对话系统需要与用户进行交互，因此使用预先记录的数据开发它们是复杂的。在以前的作品的基础上，在线学习是追求在这里作为一个最方便的方式来解决这个问题。数据汇集、注释和在学习算法中的使用在单个过程中执行。主要的困难是：引导一个初始的基本系统，并控制用户端的额外成本水平。考虑到性能良好的解决方案可以直接用于语音识别和合成，本研究仅侧重于学习口语语言理解和对话管理模块。联合学习的几个变种进行了调查和测试与用户试验，以确认整体在线学习后，只需几百个训练对话，可以超越基于专家的系统。
2018-10-01 cs.CL cs.LG
Dialogue Generation: From Imitation Learning to Inverse Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research AI（微软人工智能研究院）
对抗性对话生成模型的性能依赖于由机器人产生的奖励信号的质量。来自一个差的应答器的奖励信号可能非常稀疏和不稳定，这可能导致生成器陷入局部最优或产生无意义的应答。为了缓解第一个问题，我们首先将最近提出的对抗性对话生成方法扩展到对抗性模仿学习解决方案。然后，在对抗逆强化学习的框架下，我们提出了一种新的对话生成奖励模型，可以为生成器训练提供更加准确和精确的奖励信号。我们在两个注释设置中使用自动度量和人工评估来评估所得到的模型的性能。我们的实验结果表明，我们的模型可以产生更多的高质量的响应，并实现更高的整体性能比国家的最先进的。
2018-12-09 cs.AI cs.CL cs.LG
Feudal Reinforcement Learning for Dialogue Management in Large Domains
University of Cambridge（剑桥大学）；PolyAI Limited（PolyAI有限公司）
强化学习（RL）是解决对话策略优化的一种很有前途的方法。然而，传统的强化学习算法由于维数灾难而无法扩展到大的域。我们提出了一种新的对话管理架构，基于封建RL，它分解成两个步骤的决定;第一步，主策略选择一个子集的原始动作，和第二步，其中一个原始动作是从选定的子集中选择。包含在领域本体中的结构信息用于抽象对话状态空间，在每个步骤中使用抽象状态的不同部分进行决策。这与插槽之间的信息共享机制相结合，增加了大型域的可扩展性。我们表明，基于Deep-Q网络的这种方法的实现在几个对话领域和环境中显着优于以前的最先进技术，而不需要任何额外的奖励信号。
2018-03-08 cs.AI cs.CL cs.NE
Deep Active Learning for Dialogue Generation
University of Waterloo（滑铁卢大学）；Huawei Technologies（华为技术有限公司）
我们提出了一个在线的，端到端的，神经生成会话模型的开放域对话。它使用离线两阶段监督学习和在线人在回路主动学习的独特组合进行训练。虽然大多数现有的研究提出了离线监督或手工制作的奖励功能，在线强化，我们设计了一种新的交互式学习机制的基础上汉明多样的束搜索响应生成和一个字符的用户反馈，在每一步。实验表明，我们的模型内在地促进了语义相关和有趣的反应的生成，并可用于训练代理定制的人物角色，情绪和会话风格。
2017-06-16 cs.AI cs.CL cs.NE
Mutual Reinforcement of LLM Dialogue Synthesis and Summarization Capabilities for Few-Shot Dialogue Summarization
Johns Hopkins University（约翰斯·霍普金斯大学）；Apple Research（苹果研究院）
提出MRDS机制，通过相互强化LLM的对话合成与摘要能力，以合成数据增强少样本训练，显著提升对话摘要性能。
2025-02-24 cs.AI cs.CL cs.LG
UP-NRPA: User Portrait based Nested Rollout Policy Adaptation for Planning with Large Language Models in Goal-oriented Dialogue Systems
School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；Anhui Provincial Key Laboratory of Security Artificial Intelligence, Anhui University（安徽大学安徽省安全人工智能重点实验室）；Pengcheng Laboratory（鹏城实验室）
提出 UP-NRPA 在线框架，利用大语言模型和用户画像实时自适应调整对话策略，无需离线强化学习，在协作与非协作对话基准中实现 100% 任务成功率，谈判任务销售列表比提升 56.41%。
2026-06-15 cs.AI cs.CL
Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management
University of Cambridge（剑桥大学）
深度强化学习（RL）方法在对话策略优化方面具有巨大的潜力。然而，他们在学习的早期阶段表现不佳。这对于与真实用户的在线学习来说尤其成问题。介绍了两种方法来解决这个问题。首先，为了加快学习过程，提出了两种样本有效的神经网络算法：具有经验重放的信任域行动者-评论家（TRACER）和具有经验重放的情节自然行动者-评论家（eNACER）。对于TRACER，信任区域有助于控制学习步长并避免灾难性的模型变化。对于eNACER，自然梯度标识策略空间中的最陡上升方向以加速收敛。这两个模型都采用了离策略学习和经验重放来提高样本效率。其次，为了缓解冷启动问题，在在线强化学习之前，利用示范数据语料库来预训练模型。结合这两种方法，我们展示了一种实用的方法来学习基于RL的深度对话策略，并展示了它们在面向任务的信息搜索领域中的有效性。
2017-07-05 cs.AI cs.CL cs.LG
AgentGraph: Towards Universal Dialogue Management with Structured Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Heinrich Heine University Düsseldorf（海因里希·海涅大学（杜塞尔多夫））
在面向任务的口语对话系统中，对话策略起着重要的作用。它决定如何回应用户。最近提出的深度强化学习（DRL）方法已被用于策略优化。然而，这些深度模型仍然具有挑战性，原因有两个：1）许多基于DRL的策略不是样本有效的。2)大多数模型不具备在不同域之间进行策略迁移的能力。在本文中，我们提出了一个通用的框架，AgentGraph，来解决这两个问题。提出的AgentGraph是基于GNN的架构和基于DRL的算法的结合。它可以被看作是多智能体强化学习方法之一。每个代理对应于图中的一个节点，该图根据对话域本体定义。当做出决定时，每个代理可以与图上的邻居进行通信。在AgentGraph框架下，我们进一步提出了基于Dual GNN的对话策略，该策略隐式地将每个回合中的决策分解为高层全局决策和低层局部决策。实验表明，AgentGraph模型在PyDial基准测试的18个任务中的大多数任务上的表现都明显优于传统的强化学习方法。此外，当从源任务转移到目标任务时，这些模型不仅具有可接受的初始性能，而且在目标任务上收敛得更快。
2019-05-27 cs.AI cs.CL cs.LG
Improving a sequence-to-sequence nlp model using a reinforcement learning policy algorithm
Sidi Mohamed Ben Abdallah University（西迪·穆罕默德·本·阿卜杜拉大学）
目前，对话生成（聊天机器人）的神经网络模型显示出很大的希望，为聊天代理生成答案。但他们是短视的，因为他们一次预测一个话语，而忽略了它们对未来结果的影响。对对话的未来方向进行建模对于生成连贯、有趣的对话至关重要，这一需求导致了依赖于强化学习的传统NLP对话模型。在本文中，我们将解释如何通过使用深度强化学习来预测聊天机器人对话中的未来奖励，从而将这些目标结合起来。该模型模拟两个虚拟代理之间的对话，与策略梯度的方法来奖励序列，表现出三个有用的会话特征：流动的非正式性，连贯性和简单的响应（相关的前瞻性功能）。我们根据其多样性，长度和人类的复杂性来评估我们的模型。在对话模拟中，评估表明，所提出的模型产生更多的互动响应，并鼓励更持续的成功对话。这项工作是为了纪念在对话的长期成功的基础上开发神经对话模型的初步步骤。
2022-12-28 cs.AI cs.CL cs.LG
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research（谷歌研究院）；Heidelberg University（海德堡大学）；NEC Laboratories Europe（NEC欧洲实验室）
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息？在离线强化学习（RL）设置中使用这样的交互日志是一种有前途的方法。然而，由于NLP任务的性质和生产系统的限制，出现了一系列的挑战。我们对这些挑战进行了简要概述，并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
Learning to Generate Prompts for Dialogue Generation through Reinforcement Learning
National Taiwan University（台湾大学）；Intel Labs（英特尔研究院）
许多文献表明，基于语义的学习是一种有效的方法，利用大型预训练的语言模型。最近的工作还展示了通过插入适当的提示来引导聊天机器人输出的可能性。通常使用基于干扰的方法来干扰提示。然而，有些语言模型甚至不对公众开放。在这项工作中，我们首先探索了提示和强化学习（RL）的组合，以引导模型的生成，而无需访问任何模型的参数。其次，为了减少训练工作量并增强对未知任务的泛化能力，我们应用多任务学习来使模型更好地学习泛化到新任务。实验结果表明，我们提出的方法可以成功地控制几个国家的最先进的（SOTA）对话模型，而无需访问其参数。此外，该模型展示了快速适应未知任务的强大能力，比基线模型的步骤更少。
2022-10-13 cs.AI cs.CL cs.LG
MEETING BOT: Reinforcement Learning for Dialogue Based Meeting Scheduling
TCS Research, New Delhi（塔塔咨询服务公司研究部（TCS Research），新德里）
在本文中，我们提出了会议机器人，一个基于强化学习的会话系统，与多个用户进行交互，以安排会议。该系统能够解释用户话语并将其映射到首选时隙，然后将其馈送到强化学习（RL）系统，目标是收敛到一个合适的时隙。RL系统能够适应用户偏好和环境变化，满足到达率，同时仍然有效地调度。通过利用MLP作为策略函数的近似器，经由具有探索的策略梯度来执行学习。结果表明，该系统优于标准调度算法的整体调度效率。此外，当用户始终拒绝或接受某些时段（例如周五下午与周四上午）的会议时，或者当会议由更高级的成员召集时，系统能够调整其策略。
2018-12-28 cs.AI cs.CL cs.LG
Reinforcement Learning for Personalized Dialogue Management
ING Bank N.V.（ING银行）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究提出两种基于强化学习的个性化对话管理方法，通过扩展POMDP状态或按用户背景分段，在金融产品推荐等四个领域验证其优于手工标准。
2019-08-01 cs.AI cs.CL cs.HC
Semi-Offline Reinforcement Learning for Optimized Text Generation
Changyu Chen, Xiting Wang, Yiqiao Jin, Victor Ye Dong, Li Dong, Jie Cao, Yi Liu, Rui Yan（未知机构）
本文提出了一种半离线强化学习方法，平衡了探索能力和训练成本，并在优化成本、渐近误差和过拟合误差界方面实现了最优的强化学习设置。
2026-06-04 cs.AI cs.CL cs.LG
