Dynamic Dialogue Policy for Continual Reinforcement Learning
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
持续学习是人类学习的关键组成部分之一，也是人工智能的必然要求。由于对话可以潜在地跨越无限多的主题和任务，面向任务的对话系统必须具有持续学习的能力，动态地适应新的挑战，同时保留已经获得的知识。尽管对话政策的持续强化学习很重要，但在很大程度上仍未得到解决。缺乏一个框架，培训协议，基线模型和适当的指标，迄今为止阻碍了这方面的研究。在这项工作中，我们正好填补了这一空白，使对话政策优化的研究从静态到动态学习。我们提供了一个持续学习算法，基线架构和评估持续学习模型的指标。此外，我们提出了动态对话策略Transformer（DDPT），一种新的动态架构，可以无缝地集成新的知识，能够处理大的状态空间，并获得显着的zero-shot性能时，暴露于看不见的域，没有任何增长的网络参数大小。
2022-10-10 cs.CL cs.LG
Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning
Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）；National Taiwan University（台湾大学）
通过强化学习（RL）训练任务完成对话代理是昂贵的，因为它需要与真实用户进行许多交互。一种常见的替代方法是使用用户模拟器。然而，用户模拟器通常缺乏人类对话者的语言复杂性，并且其设计中的偏见可能会降低代理。为了解决这些问题，我们提出了Deep Dyna-Q，据我们所知，它是第一个集成了任务完成对话策略学习规划的深度RL框架。我们纳入对话代理的环境模型，称为世界模型，模仿真实的用户响应，并产生模拟的经验。在对话策略学习过程中，世界模型不断更新真实的用户体验，以接近真实的用户行为，反过来，对话代理使用真实的经验和模拟的经验进行优化。我们的方法的有效性证明了在模拟和人在循环设置的电影票预订任务。
2018-05-23 cs.AI cs.CL cs.LG
Semi-Supervised Dialogue Policy Learning via Stochastic Reward Estimation
The University of Melbourne（墨尔本大学）；Twitter Inc.（推特公司）
在面向任务的对话系统中，对话策略优化往往要等到任务完成后才能得到反馈。这不足以训练中间对话回合，因为监督信号（或奖励）仅在对话结束时提供。为了解决这个问题，已经引入了奖励学习来从最优策略的状态-动作对中学习，以提供逐向奖励。这种方法需要人与人对话的完整状态-动作注释（即，专家演示），这是劳动密集型的。为了克服这一局限性，我们提出了一种新的奖励学习方法的半监督策略学习。所提出的方法学习动态模型作为对对话进程进行建模的奖励函数（即，状态-动作序列），或者有或者没有注释。动态模型通过预测对话进度是否与专家演示一致来计算奖励。我们还建议学习动作嵌入，以更好地推广奖励函数。所提出的方法优于竞争策略学习基线MultiWOZ，一个基准多域数据集。
2020-05-09 cs.AI cs.CL
Anti-Overestimation Dialogue Policy Learning for Task-Completion Dialogue System
KU Leuven（鲁汶大学）；Temple University（天普大学）
针对强化学习对话策略中的动作价值高估问题，提出动态部分平均估计器DPAV并集成到深度Q网络，在多领域对话数据集上以更低计算量取得更优或持平效果，且完成了收敛性与偏差界的理论证明。
2024-04-13 cs.AI cs.CL
Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning
Google Research（谷歌研究院）
尽管最近在自然语言理解和生成方面取得了进展，并且对会话机器人的开发进行了数十年的研究，但构建能够与人类“在野外”进行丰富的开放式对话的自动代理仍然是一个艰巨的挑战。在这项工作中，我们开发了一个实时的，开放式的对话系统，使用强化学习（RL）来大规模地增强机器人的对话技能。我们的工作对简洁的嵌入使用SOTA（监督）语言模型与RL技术，特别适合于动态的动作空间，随着对话的进展而变化的会话状态。通过使用众包数据进行训练，我们的新系统能够在Google Assistant真实用户的现场实验中，在几个感兴趣的指标方面大大超过（强）基线监督模型。
2022-07-25 cs.CL cs.LG
Switch-based Active Deep Dyna-Q: Efficient Adaptive Planning for Task-Completion Dialogue Policy Learning
Microsoft Research（微软研究院）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Carnegie Mellon University（卡内基梅隆大学）
用强化学习训练任务完成对话代理通常需要大量真实的用户体验。Dyna-Q算法通过集成世界模型来扩展Q学习，因此可以使用由世界模型生成的模拟经验来有效地提高训练效率。然而，Dyna-Q的有效性取决于世界模型的质量-或者隐含地，用于Q学习的真实与模拟经验的预先指定的比率。为此，我们扩展了最近提出的Deep Dyna-Q（DDQ）框架，集成了一个切换器，可以自动确定是否使用真实或模拟的经验进行Q学习。此外，我们探索使用主动学习提高样本效率，通过鼓励世界模型产生模拟的经验，在状态-动作空间的代理没有（充分）探索。我们的研究结果表明，通过结合开关和主动学习，新的框架命名为基于开关的主动深度动态Q（Switch-DDQ），导致显着改善DDQ和Q学习基线在模拟和人类的评估。
2018-11-19 cs.AI cs.CL cs.LG
Dialogue Planning via Brownian Bridge Stochastic Process for Goal-directed Proactive Dialogue
The Hong Kong Polytechnic University（香港理工大学）
提出基于布朗桥随机过程的对话规划方法，建模对话路径动态，利用预训练语言模型生成路径作为提示，提升目标导向对话的连贯性和成功率。
2023-05-09 cs.CL cs.LG
Training an adaptive dialogue policy for interactive learning of visually grounded word meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）
我们提出了一个多模态的对话系统，从人类导师的感知接地词义的交互式学习。该系统集成了一个增量的，语义解析/生成框架-动态分类和类型论与记录（DS-TTR）-与一组视觉分类器，在整个交互过程中学习和地面的意义表示，它产生。我们使用这个系统与一个模拟的人类导师的互动，学习的含义，学习率的准确性，和努力/成本的导师研究不同的对话政策和能力的影响。我们表明，学习代理的整体性能受到以下因素的影响：（1）谁在对话中采取主动;（2）表达/使用他们对视觉属性的信心水平的能力;以及（3）处理椭圆和增量构建对话的能力。最终，我们训练了一种自适应对话策略，该策略优化了分类器准确性和辅导成本之间的权衡。
2017-09-29 cs.AI cs.CL cs.LG
CALM-IT: Enhancing Synthetic Motivational Interviewing Dialogue Quality with Conversational Dynamics
Georgia Institute of Technology（佐治亚理工学院）；Northwell Health（北well健康）；Columbia University（哥伦比亚大学）
提出CALM-IT框架，通过显式建模客户与咨询师状态的演变来生成和评估长形式动机访谈对话，在8,232个合成对话语料上优于基线方法，尤其在MITI 4.2全局评分和客户接受率上表现最佳。
2026-10-15 cs.CL
UP-NRPA: User Portrait based Nested Rollout Policy Adaptation for Planning with Large Language Models in Goal-oriented Dialogue Systems
School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；Anhui Provincial Key Laboratory of Security Artificial Intelligence, Anhui University（安徽大学安徽省安全人工智能重点实验室）；Pengcheng Laboratory（鹏城实验室）
提出 UP-NRPA 在线框架，利用大语言模型和用户画像实时自适应调整对话策略，无需离线强化学习，在协作与非协作对话基准中实现 100% 任务成功率，谈判任务销售列表比提升 56.41%。
2026-06-15 cs.AI cs.CL
Plug-and-Play Policy Planner for Large Language Model Powered Dialogue Agents
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）
针对大语言模型对话策略规划能力受限、难迁移的问题，提出即插即用策略规划器PPDPP，通过监督微调与目标导向强化学习训练，在三类主动对话任务上显著优于现有方法。
2024-03-11 cs.AI cs.CL
A General Highly Accurate Online Planning Method Integrating Large Language Models into Nested Rollout Policy Adaptation for Dialogue Tasks
本文提出NRPA-GD方法，利用大语言模型实现无需训练的对话策略规划，通过嵌套回滚策略适应在目标导向对话任务中取得优异表现。
2025-11-17 cs.AI cs.CL
CIG: Measuring Conversational Information Gain in Deliberative Dialogues with Semantic Memory Dynamics
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
本文提出CIG框架，通过语义记忆动态评估辩论对话中每个发言对集体理解的推进，展示基于记忆动态的指标比传统方法更有效。
2026-04-20 cs.CL
WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue
India Machine Learning（印度机器学习）；Amazon（亚马逊）
多回合设置中的智能对话系统不仅应该生成高质量的响应，而且还应该生成可以导致对话的长期成功的响应。虽然目前的方法提高了响应质量，但它们忽略了对话数据中存在的训练信号。我们可以利用这些信号来生成弱监督的训练数据，用于学习对话策略和奖励估计器，并使策略采取行动（生成响应），这可以预见成功（奖励）对话的未来方向。我们模拟一个代理和用户之间的对话（建模类似于代理与监督学习目标）相互作用。代理使用动态阻塞来生成排名不同的响应，并使用探索-利用来在Top-K响应中进行选择。每个模拟的状态-动作对都使用三个质量模块进行评估（作为弱注释）：语义相关性，语义一致性和一致性流。两个基准的实证研究表明，我们的模型可以显着优于响应质量，并导致一个成功的对话上的自动评估和人类的判断。
2023-01-11 cs.CL
Bridging Cultural Nuances in Dialogue Agents through Cultural Value Surveys
Huazhong University of Science and Technology（华中科技大学）；University of Copenhagen（哥本哈根大学）；South China University of Technology（华南理工大学）
本文提出首个文化视角对话基准cuDialog，并开发基线模型提取文化属性，通过结合文化维度与对话编码特征，提升对话智能体的个性化和质量。
2024-02-02 cs.CL
