Model-based Bayesian Reinforcement Learning for Dialogue Management
University of Oslo（奥斯陆大学）
强化学习方法越来越多地用于根据经验优化对话策略。目前大多数技术是无模型的：它们直接估计各种动作的效用，而没有明确的交互动力学模型。在本文中，我们研究了基于模型的贝叶斯强化学习的替代策略。贝叶斯推断用于保持模型参数的后验分布，反映模型的不确定性。随着收集更多数据并同时用于规划代理的动作，该参数分布逐渐细化。在这个学习框架内，我们进行了实验的过渡模型的两种替代形式化，一个编码与标准的多项式分布，和一个结构与概率规则。我们展示了我们的方法的潜力与实证结果构建从向导的奥兹数据在人机交互场景中的用户模拟器。结果表明，特别是捕获高层次的规则先验领域知识的好处。
2013-04-05 cs.AI
AgentGraph: Towards Universal Dialogue Management with Structured Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Heinrich Heine University Düsseldorf（海因里希·海涅大学（杜塞尔多夫））
在面向任务的口语对话系统中，对话策略起着重要的作用。它决定如何回应用户。最近提出的深度强化学习（DRL）方法已被用于策略优化。然而，这些深度模型仍然具有挑战性，原因有两个：1）许多基于DRL的策略不是样本有效的。2)大多数模型不具备在不同域之间进行策略迁移的能力。在本文中，我们提出了一个通用的框架，AgentGraph，来解决这两个问题。提出的AgentGraph是基于GNN的架构和基于DRL的算法的结合。它可以被看作是多智能体强化学习方法之一。每个代理对应于图中的一个节点，该图根据对话域本体定义。当做出决定时，每个代理可以与图上的邻居进行通信。在AgentGraph框架下，我们进一步提出了基于Dual GNN的对话策略，该策略隐式地将每个回合中的决策分解为高层全局决策和低层局部决策。实验表明，AgentGraph模型在PyDial基准测试的18个任务中的大多数任务上的表现都明显优于传统的强化学习方法。此外，当从源任务转移到目标任务时，这些模型不仅具有可接受的初始性能，而且在目标任务上收敛得更快。
2019-05-27 cs.AI cs.CL cs.LG
Strategic Dialogue Management via Deep Reinforcement Learning
Heriot-Watt University（赫瑞-瓦特大学）
具有战略技能的智能代理，可以在与其他自然或人工代理的交互过程中进行谈判，仍然不发达。本文描述了一个成功的应用深度强化学习（DRL）训练智能代理的战略会话技能，在情景对话设置。以前的研究已经使用监督学习和传统的强化学习技术，后者使用表格表示或学习线性函数逼近的策略代理的行为建模。在这项研究中，我们应用DRL与一个高维的状态空间的战略棋盘游戏的卡坦岛的定居者-在那里，玩家可以提供资源，以换取他人，他们也可以回答由其他玩家提供。我们的实验结果表明，基于DRL的学习策略显著优于几个基线，包括随机，基于规则和基于监督的行为。基于DRL的策略与3个自动播放器（“机器人”）相比具有53%的胜率，而在此设置中在对话语料库上训练的受监督播放器与相同的3个机器人相比仅实现了27%。这一结果支持了DRL是一个有前途的框架，用于训练对话系统和具有谈判能力的战略代理的主张。
2015-11-25 cs.AI cs.LG
Reinforcement Learning for Personalized Dialogue Management
ING Bank N.V.（ING银行）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究提出两种基于强化学习的个性化对话管理方法，通过扩展POMDP状态或按用户背景分段，在金融产品推荐等四个领域验证其优于手工标准。
2019-08-01 cs.AI cs.CL cs.HC
Cascaded LSTMs based Deep Reinforcement Learning for Goal-driven Dialogue
Beijing University of Posts and Telecommunications（北京邮电大学）；ZTE Corporation（中兴通讯股份有限公司）
本文提出了一种深度神经网络模型，用于在目标驱动的对话系统中联合建模自然语言理解（NLU）和对话管理（DM）。该模型由三部分组成。网络底部的长短期记忆（LSTM）将每个对话回合中的话语编码为一个回合嵌入。对话嵌入由网络中间的LSTM学习，并通过馈送所有回合嵌入来更新。顶部是一个前向深度神经网络，它将对话嵌入转换为不同对话动作的Q值。级联LSTM的强化学习网络的联合优化，利用在每个对话轮收到的奖励作为唯一的监督信息。网络中没有显式的NLU和对话状态。实验结果表明，我们的模型在会议室预订任务上优于传统的马尔可夫决策过程（MDP）模型和带有深度Q网络的单个LSTM。对话嵌入的可视化表明，该模型可以学习对话状态的表示。
2019-10-31 cs.AI cs.CL
Bootstrapping incremental dialogue systems: using linguistic knowledge to learn from minimal data
Heriot-Watt University（赫瑞-瓦特大学）
我们提出了一种方法，用于从非常少量的未注释的对话数据中诱导新的对话系统，展示了如何使用强化学习（RL），结合增量和语义语法-动态学习（DS）-允许系统发现，生成和理解许多新的对话变体。该方法避免了使用昂贵和耗时的对话行为注释，并支持比回合制系统更自然（增量）的对话。在这里，语言生成和对话管理被视为一个联合决策/优化问题，并自动构建的MDP模型RL。与实现的系统，我们表明，这种方法使广泛的对话变化被自动捕获，即使系统是从只有一个单一的对话训练。这些变体包括问答对、回答过度和回答不足、自我纠正和他人纠正、澄清互动、分裂话语和省略。这种泛化属性的结果，从结构知识和DS语法中存在的约束，并强调了最近的系统只使用机器学习技术构建的一些限制。
2016-12-01 cs.AI cs.CL cs.HC
Planning and Acting under Uncertainty: A New Model for Spoken Dialogue Systems
University of Science & Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；Microsoft Research, China（微软亚洲研究院）
不确定性在口语对话系统中起着核心作用。一些随机模型，如马尔可夫决策过程（MDP）的对话管理器建模。但部分可观察的系统状态和用户意图阻碍了对话状态的自然表示。当用户意图的不确定性增加时，基于MDP的系统会快速退化。我们提出了一种新的对话模型的基础上部分可观察马尔可夫决策过程（POMDP）。我们使用隐藏的系统状态和用户意图作为状态集，解析器的结果和低层信息作为观察集，域动作和对话修复动作作为动作集。这里的低层信息是从不同的输入模态中提取的，包括语音、键盘、鼠标等，使用贝叶斯网络。由于精确算法的局限性，我们集中在启发式近似算法和它们的适用性POMDP的对话管理。我们还提出了两种方法，网格点的选择在基于网格的近似算法。
2013-01-10 cs.AI
Causal-aware Safe Policy Improvement for Task-oriented dialogue
Salesforce Research（赛富时研究院）
最近强化学习（RL）在解决复杂任务方面的成功通常归功于其探索和利用训练环境的能力。样本效率通常不是问题，因为便宜的模拟器可用于对策略上的数据进行采样。另一方面，面向任务的对话通常是从使用人类演示收集的离线数据中学习的。收集不同的演示并注释它们是昂贵的。不幸的是，使用在非政策数据上训练的RL方法容易出现偏差和泛化问题，这进一步加剧了人类响应的随机性和对话管理系统的非马尔可夫信念状态。为此，我们提出了一个面向任务的对话策略学习的批量强化学习框架：因果感知安全策略改进（CASPI）。这种方法保证了对话策略的性能，并根据人类响应背后的意图来学习塑造奖励，而不仅仅是模仿演示数据;这种与批量RL的结合有助于整体提高框架的样本效率。我们证明了这个框架的有效性对话上下文到文本生成和端到端的对话任务的Multiwoz2.0数据集。在这两种情况下，所提出的方法在这些指标上优于现有技术。在端到端的情况下，我们的方法只训练了10%的数据，在四个评估指标中有三个能够超过当前状态。
2021-03-10 cs.AI cs.CL cs.LG
Vehicle Dispatching and Routing of On-Demand Intercity Ride-Pooling Services: A Multi-Agent Hierarchical Reinforcement Learning Approach
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Central University of Finance and Economics（中央财经大学）
本研究针对按需城际拼车服务中车辆调度与路径规划的复杂性，提出一种结合多智能体封建强化学习与自适应大邻域搜索的两级在线车队管理框架，有效缓解供需不平衡并显著提升系统利润与订单完成率。
2024-03-20 cs.AI cs.LG cs.SY
An Affective Robot Companion for Assisting the Elderly in a Cognitive Game Scenario
University of Hamburg（汉堡大学）
能够识别人类用户的情感被认为是人机交互（HRI）场景中非常理想的特性。然而，大多数当代的方法很少尝试以主动的方式应用已识别的情感特征来调节机器人决策和对话，以使用户受益。在这份立场文件中，我们提出了一种方法，将识别的情绪纳入一个基于强化学习（RL）的对话管理模块，以适应其对话响应，试图使认知训练任务，如2048益智游戏，更愉快的用户。
2018-07-12 cs.AI cs.HC cs.RO
Memory-augmented Dialogue Management for Task-oriented Dialogue Systems
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
对话管理根据当前对话状态决定对话系统的下一步动作，在面向任务的对话系统中起着核心作用。由于对话管理不仅需要访问本地话语，而且需要访问整个对话会话的全局语义，因此对远程历史信息进行建模是一个关键问题。为此，我们提出了一种新的内存增强对话管理模型（MAD），它采用了一个内存控制器和两个额外的内存结构，即，槽值存储器和外部存储器。槽值存储器通过记忆和更新语义槽的值（例如，菜系、价格和位置）来跟踪对话状态，外部存储器通过存储更多的上下文信息来增强传统递归神经网络的隐藏状态的表示。为了有效地更新对话状态，我们还提出了槽级关注用户的话语提取特定的语义信息，为每个槽。实验表明，我们的模型可以获得最先进的性能，并优于现有的基线。
2018-05-01 cs.AI cs.CL cs.IR
GraphWOZ: Dialogue Management with Conversational Knowledge Graphs
University of Bamberg（班贝格大学）；Norwegian Computing Center（挪威计算中心）
我们提出了一种新的对话管理方法，使用会话知识图谱作为对话状态的核心表示。为此，我们引入了一个新的数据集，GraphWOZ，它包括向导的奥兹对话，其中人类参与者与机器人作为接待员进行交互。与大多数现有的对话管理工作相比，GraphWOZ依赖于一个明确表示为动态知识图谱的对话状态，而不是一组固定的插槽。该图由不同数量的实体（如个人、地点、事件、话语和提及）以及它们之间的关系（如人是团体的一部分或参加活动）组成。然后根据新的观察结果和系统动作定期更新该图。GraphWOZ与详细的手动注释一起发布，这些注释与用户意图、系统响应以及用户和系统回合中发生的参考关系有关。基于GraphWOZ，我们提出了两个对话管理任务，即会话实体链接和响应排名的实验结果。对于会话实体链接，我们展示了如何将话语提及连接到知识图谱中的相应实体，该知识图谱具有依赖于基于字符串和基于图形的特征的组合的神经模型。然后，通过将图的相关内容汇总为文本来执行响应排名，该文本与对话历史连接并用作输入以对给定对话状态的可能响应进行评分。
2022-11-23 cs.AI cs.CL
Prior Lessons of Incremental Dialogue and Robot Action Management for the Age of Language Models
Boise State University（博伊西州立大学）；Norwegian Computing Center（挪威计算中心）；University of Potsdam（波茨坦大学）
本文回顾了单词级或更低级别的增量交互系统文献，指出现有大型语言模型因处理单调性而缺乏增量修正能力，重点调研了对话管理器的增量建模，并为大型语言模型时代的具身机器人平台提出了实用增量对话管理的要求。
2025-04-02 cs.AI cs.CL
Integrating Pre-trained Model into Rule-based Dialogue Management
Microsoft（微软）
基于规则的对话管理由于其可解释性仍然是工业面向任务的对话系统最流行的解决方案。然而，当场景变得越来越复杂时，开发人员很难保持对话逻辑。另一方面，数据驱动的对话系统，通常具有端到端的结构，在学术研究中很受欢迎，并且更容易处理复杂的会话，但是这样的方法需要大量的训练数据，并且行为的可解释性较差。在本文中，我们提出了一种方法，利用基于规则和数据驱动的对话管理器（DM）的力量。本文首先介绍了Carina Dialog System（CDS，一个先进的工业对话系统）中的数据模型。然后，我们提出了“模型触发器”的设计，使DM可训练，从而可扩展到场景的变化。此外，我们集成了预先训练的模型，并赋予DM Few-Shot能力。实验结果证明了该方法的有效性和较强的Few-Shot能力。
2021-02-17 cs.AI cs.CL
An Approach to Inference-Driven Dialogue Management within a Social Chatbot
Emory University（埃默里大学）
我们提出了一个聊天机器人实现一种新的对话管理方法的基础上逻辑推理。我们没有将对话框定为一系列响应生成任务，而是将对话建模为一个协作推理过程，在这个过程中，说话者共享信息以实时的合成新知识。我们的聊天机器人管道在三个主要阶段完成了这个建模。第一阶段将用户话语翻译成符号谓词表示。然后，第二阶段使用这种结构化表示结合更大的知识库，使用高效的图匹配来合成新的谓词。在第三个也是最后一个阶段，我们的机器人选择一小部分谓词，并将它们翻译成英语响应。这种方法有助于理解用户输入的潜在语义，灵活的主动性，以及与对话上下文新颖且一致的响应。
2021-10-31 cs.AI cs.CL
Towards a Neural Era in Dialogue Management for Collaboration: A Literature Survey
University of Florida（佛罗里达大学）
该文献综述梳理了协作对话系统中对话管理从传统方法到神经时代的演进，分析了数据驱动及神经方法的应用与主流趋势，为人机协作对话管理的未来发展及大语言模型潜力挖掘提供基础背景。
2023-07-18 cs.CL
Rasa: Open Source Language Understanding and Dialogue Management
Rasa
我们介绍了一对工具，Rasa NLU和Rasa Core，它们是用于构建会话式软件的开源Python库。他们的目的是使基于机器学习的对话管理和语言理解对非专业软件开发人员来说是可访问的。在设计理念方面，我们的目标是易于使用，并从最少（或没有）初始训练数据引导。这两个包都有大量的文档，并附带了一套全面的测试。代码可在https://github.com/RasaHQ/上获得
2017-12-15 cs.AI cs.CL cs.LG
Distributed Structured Actor-Critic Reinforcement Learning for Universal Dialogue Management
Shanghai Jiao Tong University（上海交通大学）
面向任务的口语对话系统（SDS）旨在帮助人类用户完成特定任务（例如，酒店预订）。对话管理是SDS的核心部分。对话管理有两个主要任务：对话信念状态跟踪（总结对话历史）和对话决策（决定如何回复用户）。在这项工作中，我们只专注于设计一个政策，选择哪些对话动作来响应用户。时序系统的决策过程可以抽象为一个部分可观测的马尔可夫决策过程（POMDP）。在此框架下，强化学习方法可以用于自动化策略优化。在过去的几年中，有许多深度强化学习（DRL）算法，使用神经网络（NN）作为函数逼近器，研究对话策略。
2020-09-22 cs.CL
A Mixture-of-Expert Approach to RL-based Dialogue Management
Google Research（谷歌研究院）
尽管最近在语言模型（LM）方面取得了进展，但它们在对话管理（DM）问题和进行丰富对话的能力方面的应用仍然是一个挑战。我们使用强化学习（RL）来开发一个对话代理，避免短视（输出通用话语），并最大限度地提高整体用户满意度。大多数现有的RL方法DM训练的代理在单词级别，因此，必须处理一个组合复杂的动作空间，即使是一个中等大小的词汇。因此，他们很难产生一个成功的和引人入胜的对话，即使他们是热开始与预先训练的LM。为了解决这个问题，我们开发了一个基于RL的DM使用一种新的混合专家语言模型（MoE-LM），它包括（i）一个LM能够学习不同的语义会话历史，（ii）一些{ \em专门} LM（或专家）能够生成对应于特定属性或个性的话语，以及（iii）基于RL的DM，其利用由专家生成的话语执行对话规划。我们的MoE方法提供了更大的灵活性，以生成具有不同意图的合理话语，并允许RL专注于会话级别的DM。我们比较它与SOTA基线开放域对话，并证明其有效性的多样性和敏感性的生成的话语和整体DM性能。
2022-05-31 cs.AI cs.CL
A Flexible Schema-Guided Dialogue Management Framework: From Friendly Peer to Virtual Standardized Cancer Patient
University of Rochester（罗切斯特大学）
在最近的工作中，一个模式指导的对话管理方法已被证明是有效的，在创建强大的可定制的虚拟代理能够充当友好的同行或任务助手。然而，这些方法在开放式的混合主动领域的成功应用仍然是难以捉摸的-特别是在医疗领域，如虚拟标准化患者，这种复杂的互动是司空见惯的-需要更广泛和灵活的对话管理能力比以前的系统提供。在本文中，我们描述了一个用于开发SOPHIE的通用模式引导对话管理框架，SOPHIE是一种虚拟标准化癌症患者，允许医生方便地练习与患者的互动。我们对医学生和苏菲之间的对话进行了众包评估。我们的代理人被判断为产生自然的反应，情感上适当的，并与她作为癌症患者的角色相一致。此外，它显著优于在人类标准化患者语料库上微调的端到端神经模型，证明了模式引导方法的优势。
2022-07-15 cs.AI cs.CL cs.HC
DiagGPT: An LLM-based and Multi-agent Dialogue System with Automatic Topic Management for Flexible Task-Oriented Dialogue
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有大语言模型在复杂诊断类任务型对话中表现不足的问题，本文提出具备自动主题管理功能的多智能体系统DiagGPT，可拓展大模型的任务型对话适用场景、提升交互灵活性，实验验证其性能优异。
2024-04-15 cs.AI cs.CL
A Compact Architecture for Dialogue Management Based on Scripts and Meta-Outputs
我们描述了一个体系结构的口语对话接口的半自治系统，通过语言，对话和领域知识的连续表示转换语音信号。每一步都会产生一个输出，以及一个描述转换的元输出，并以一个简单脚本语言的可执行程序作为最终结果。输出/元输出的区别允许清晰地处理不同的任务，例如解决代词，纠正用户误解和优化脚本。
2000-06-09 cs.CL
A Benchmarking Environment for Reinforcement Learning Based Task Oriented Dialogue Management
University of Cambridge（剑桥大学）
对话助理正迅速成为不可或缺的日常辅助工具。为了避免手工制作所需对话流所需的大量工作，对话管理（DM）模块可以被转换为连续的马尔可夫决策过程（MDP），并通过强化学习（RL）进行训练。近年来，研究了几种RL模型。然而，由于缺乏一个通用的基准框架，很难对不同的模型及其推广到不同环境的能力进行公平的比较。因此，本文提出了一套具有挑战性的模拟环境对话模型的开发和评估。为了提供一些基线，我们研究了一些代表性的参数算法，即深度强化学习算法- DQN，A2 C和Natural Actor-Critic，并将它们与非参数模型GP-SARSA进行比较。环境和策略模型都是使用公开的PyDial工具包实现的，并在线发布，以便为进一步的实验建立一个测试平台框架，并促进实验的可重复性。
2018-04-06 cs.CL cs.NE stat.ML
Action State Update Approach to Dialogue Management
Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
会话管理器是对话系统的关键组成部分，它的主要功能之一是话语解释。我们提出的动作状态更新方法（ASU）的话语解释，具有统计训练的二进制分类器用于检测对话状态更新行动的文本中的用户话语。我们的目标是在没有特定领域的自然语言理解组件的情况下解释用户输入中的引用表达式。为了训练模型，我们使用主动学习来自动选择模拟的训练样本。与用户模拟和交互式的人类评价，我们表明，ASU的方法成功地解释用户的话语在对话系统，包括那些与参考表达。
2020-11-10 cs.CL
Continuously Learning Neural Dialogue Management
University of Cambridge（剑桥大学）
我们描述了一个两步的方法，在面向任务的口语对话系统的对话管理。提出了一个统一的神经网络框架，使系统能够首先通过监督从一组对话数据中学习，然后通过强化学习不断改善其行为，所有这些都使用基于梯度的算法在一个单一的模型上。实验表明，监督模型的有效性，在基于语料库的评价，与用户模拟，并与付费人类科目。强化学习的使用进一步提高了模型在两种交互式环境中的性能，特别是在高噪声条件下。
2016-06-08 cs.CL cs.LG
Conversation Graph: Data Augmentation, Training and Evaluation for Non-Deterministic Dialogue Management
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
面向任务的对话系统通常依赖于大量高质量的训练数据或需要复杂的手工规则。然而，考虑到对话的复杂性，现有数据集的规模往往有限。此外，传统的训练信号推断不适合于非确定性代理行为，即在相同的对话状态下将多个动作视为有效。我们提出了会话图（ConvGraph），一个基于图的对话表示，可以利用数据增强，多参考训练和评估的非确定性代理。ConvGraph生成新的对话路径，以增加数据量和多样性。对三个数据集的内在和外在评估表明，使用ConvGraph进行数据增强和/或多参考训练可以将对话成功率提高6.4%。
2020-11-04 cs.CL
Memory OS of AI Agent
Beijing University of Posts and Telecommunications（北京邮电大学）；Tencent AI Lab（腾讯AI实验室）
本文提出MemoryOS记忆操作系统，通过三级分层存储及动态更新机制管理AI智能体记忆，并在LoCoMo基准上显著提升长对话的连贯性与个性化表现。
2025-05-30 cs.AI
VOnDA: A Framework for Ontology-Based Dialogue Management
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
我们提出了VOnDA，一个框架来实现对话系统中的对话管理功能。尽管VOnDA是独立于域的，但它是针对对话系统定制的，重点是社交通信，这意味着需要长期记忆和高用户适应性。对于这些用于健康环境或老年人护理的系统，误差幅度非常低，并且对对话过程的控制是最重要的。这同样适用于商业应用程序，其中客户的信任处于风险之中。VOnDA的规范和存储层依赖于（扩展的）RDF/OWL，其提供了通用和统一的表示，并促进了与外部数据源的互操作性，例如，物理传感器。
2019-10-01 cs.CL cs.HC
Athena 2.0: Contextualized Dialogue Management for an Alexa Prize SocialBot
University of California Santa Cruz（加州大学圣克鲁兹分校）
Athena 2.0是一款Alexa Prize SocialBot，在过去两届Alexa Prize Grand Challenges中入围决赛。Athena成功的一个原因是其新颖的对话管理策略，该策略允许它动态地从组件模块构建对话和响应，从而在每次交互中都产生新颖的对话。在这里，我们描述雅典娜的系统设计和性能在Alexa奖在20/21比赛。Athena的现场演示以及视频记录将引发对对话式AI最新技术的讨论。
2021-11-03 cs.CL
In Prospect and Retrospect: Reflective Memory Management for Long-term Personalized Dialogue Agents
Arizona State University（亚利桑那州立大学）；Google Cloud AI Research（谷歌云AI研究院）；Google Cloud AI（谷歌云AI）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对长期个性化对话中的记忆粒度僵化与检索固定问题，提出 RMM，通过多粒度前瞻记忆构建和基于引用证据的在线 RL 回顾式检索优化，在 LongMemEval 等基准上显著提升性能。
2025-07-28 cs.AI cs.CL
DYCP: Dynamic Context Pruning for Long-Form Dialogue with LLMs
Computer Science Emory University（计算机科学 埃默里大学）
DYCP通过动态识别和检索对话段落，提升长格式对话中LLM的上下文管理效率，实现更精确的上下文选择和推理效率提升。
2026-06-08 cs.AI cs.CL
A Dialogue Annotation Scheme for Weight Management Chat using the Trans-Theoretical Model of Health Behavior Change
Institute for Creative Technologies, University of Southern California（南加州大学创意技术研究所）
在这项研究中，我们收集和注释人与人的角色扮演对话在体重管理领域。对话中有两个角色：寻找减肥方法的“寻求者”和提供建议以帮助“寻求者”减肥旅程的“帮助者”。收集的聊天对话，然后用一种新的注释方案进行注释，该方案的灵感来自流行的健康行为改变理论，称为“健康行为改变的跨理论模型”。我们还构建了分类器来自动预测语料库中使用的注释标签。我们发现，分类精度提高时，提供的对话者的句子的甲骨文分割相比，直接分类未分割的句子。
2018-07-11 cs.CL
Offline Reinforcement Learning for Mixture-of-Expert Dialogue Management
University of Massachusetts（马萨诸塞大学）；Google Research（谷歌研究院）；Amazon（亚马逊）
本文提出利用专家混合语言模型结构设计多种离线强化学习算法，通过缩小动作空间来提升对话管理智能体的意图多样性与整体性能。
2023-10-29 cs.AI cs.CL cs.LG
An Ontology-Based Dialogue Management System for Banking and Finance Dialogue Systems
Com Innovation Center（4Com创新中心）
在对话系统中保持对话状态是众所周知的困难任务。我们介绍了一个基于本体的对话管理器（OntoDM），对话管理器，保持会话的状态，提供了一个基础的回指解析和驱动会话通过领域本体。银行和金融领域通过丰富的产品集和专有名词、命名实体和动词的特异性来消除上下文的歧义。我们使用本体作为知识库和对话管理器的基础;知识库组件和对话管理器组件在某种意义上合并。领域知识用于跟踪感兴趣的实体，即本体的节点（类），这些节点恰好是产品和服务。通过这种方式，我们在某种意义上也介绍了会话记忆和注意力。我们将语言学方法、领域驱动的关键词排名和领域本体进行了很好的融合，以创建领域驱动的对话方式。建议的框架用于我们内部的德语银行和金融聊天机器人。还介绍了德语语言处理和金融银行领域聊天机器人语言模型和词汇的一般挑战。这项工作仍在进行中，因此尚未引入成功指标。
2018-04-13 cs.CL
Latent-IM: Latent Interaction Management for Speech LLMs
该研究针对语音大语言模型提出Latent-IM框架，将对话动作控制分为选择与实现两个耦合问题，可提升对话动作准确率12.5个百分点，性能与微调相当。
2026-07-30 cs.CL
G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents
Sungkyunkwan University（成均馆大学）
提出G-Long框架，利用微调小语言模型进行结构化三元组提取和关联检索，并引入注意力感知重要性评分机制，在降低计算开销的同时，在响应生成和记忆检索上达到最优性能。
2026-06-12 cs.AI cs.CL
LLM-Enhanced Dialogue Management for Full-Duplex Spoken Dialogue Systems
Tencent AI Lab（腾讯人工智能实验室）
本文提出一种基于大语言模型的语义语音活动检测模块，用于高效管理全双工语音对话系统的轮询，通过轻量级大语言模型实现意图和非意图打断的区分，并通过短间隔处理输入语音以实现实时决策，同时减少计算开销。
2026-06-03 cs.CL eess.AS
Empathetic Response Generation with State Management
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
一个好的同理心对话系统应该首先跟踪和理解用户的情绪，然后用适当的情绪进行回复。然而，目前的方法，这一任务要么集中在提高用户的情感的理解或提出更好的应对策略，很少有作品考虑在同一时间。我们的工作试图填补这一空缺。受面向任务的对话系统的启发，我们提出了一个新的移情反应生成模型与情感感知的对话管理。情感感知对话管理包括两个部分：（1）情感状态跟踪，维护用户当前的情感状态;（2）移情对话策略选择，根据情感状态跟踪的结果预测目标情感和用户意图。然后，预测的信息用于指导响应的生成。实验结果表明，动态管理不同的信息可以帮助模型产生更多的移情反应相比，在自动和人工评估的几个基线。
2022-08-03 cs.CL
Infusing Emotions into Task-oriented Dialogue Systems: Understanding, Management, and Generation
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文首次将情感建模完整融入任务导向对话系统的理解、管理与生成全流程，并通过扩展EmoWOZ数据集及模拟与真人交互实验，证明该方法能同时提升用户情感体验和任务成功率。
2024-08-05 cs.CL
OmniDialog: An Omnipotent Pre-training Model for Task-Oriented Dialogue System
National University of Singapore（新加坡国立大学）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）
提出OmniDialog，首个统一预训练对话管理、生成与理解任务的模型，通过多任务学习整合7个任务、15个数据集，在四项下游任务上验证了其有效性，尤其擅长长对话等困难样本。
2023-12-28 cs.CL
Learning Latent Beliefs and Performing Epistemic Reasoning for Efficient and Meaningful Dialog Management
TCS Innovation Labs, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS创新实验室）
许多对话管理框架允许系统设计者直接定义信任规则来实现有效的对话策略。因为这些规则是直接定义的，所以这些组件被称为手工制作的。随着对话变得越来越复杂，状态、转换和政策决策的数量变得非常大。为了促进对话策略的设计过程中，我们提出了一种方法来自动学习信念规则使用监督机器学习方法。我们验证我们的想法在学生顾问对话域，在那里我们提取潜在的信念，如学生是好奇的，困惑和中立的，等等。此外，我们还进行认知推理，有助于根据学生的情绪状态定制对话，从而提高对话系统的整体效率。我们的潜在信念识别方法显示出87%的准确性，这导致有效和有意义的对话管理。
2019-05-21 cs.AI cs.CL
A Framework for Building Closed-Domain Chat Dialogue Systems
C4A Research Institute, Inc.（C4A研究所）；Honda Research Institute Japan Co., Ltd.（本田日本研究所）；Osaka University（大阪大学）
本文介绍了HRIChat，一个开发封闭域聊天对话系统的框架。已经发现能够参与聊天对话对于改善人类与对话系统之间的通信是有效的。本文的重点是封闭域系统，因为他们将是有用的，当结合面向任务的对话系统在同一领域。HRIChat支持领域相关的语言理解，因此它可以很好地处理特定领域的话语。此外，HRIChat可以集成基于状态转换网络的对话管理和基于反应的对话管理。FoodChatbot是食品和餐馆领域的应用程序，已通过用户研究开发和评估。其结果表明，合理良好的系统可以开发与HRIChat。本文还报告了从FoodChatbot的开发和评估中吸取的经验教训。
2020-07-21 cs.CL
Towards Lifelong Dialogue Agents via Timeline-based Memory Management
Yonsei University（延世大学）；Seoul National University（首尔大学）
针对终身对话智能体，提出THEANINE框架，通过时间与因果链接管理大规模记忆并生成记忆时间线以增强响应生成，同时引入TeaFarm评估方案解决记忆整合评估的局限。
2025-01-29 cs.CL
Uncertainty Estimates for Efficient Neural Network-based Dialogue Policy Optimisation
Cambridge University（剑桥大学）
在统计对话管理中，对话管理器学习将信念状态映射到系统要执行的动作的策略。有效的勘探是成功的政策优化的关键。目前的深度强化学习方法非常有前途，但依赖于ε-贪婪探索，因此在学习过程中使用户随机选择动作。诸如高斯过程SARSA（GPSARSA）的替代方法估计不确定性并且是样本有效的，从而导致更好的用户体验，但是以更大的计算复杂度为代价。本文研究了在对话管理的背景下从深度Q网络（DQN）中提取不确定性估计的方法。我们执行了一个广泛的深度贝叶斯方法基准来提取不确定性估计，即Bayes-By-Backprop，dropout，其具体变化，bootstrapped合奏和alpha发散，将其与DQN算法相结合。
2017-11-30 cs.CL cs.LG cs.NE
Detect, Explain, Escalate: Sustainable Dialogue Breakdown Management for LLM Agents
Department of Electrical and Computer Engineering and Ingenuity Labs Research Institute, Queen’s University（电气与计算机工程系和Ingenuity Labs研究研究所，皇后大学）
本文提出了一种可持续对话破裂管理框架，通过高效检测器和升级架构，在LLM代理中实现资源高效的对话破裂管理，提升对话AI的可靠性和成本效益。
2026-01-08 cs.CL
Metrics for Evaluating Dialogue Strategies in a Spoken Language System
在本文中，我们描述了一组不同的对话管理策略，在一个实时口语系统的评估指标。我们提出的一组指标提供了有用的见解，在评估对话管理中的特定选择如何影响人机对话的整体质量。评估使用既定的指标：交易成功，系统答案的上下文适当性，计算正常和纠正的对话。我们还定义了一个新的指标，隐式恢复，它允许测量的能力，对话管理器处理错误的不同层次的分析。我们报告的评估数据，从几个实验中，我们比较了两种不同的方法，对话修复策略使用的一组指标，我们认为。
1996-12-17 cmp-lg cs.CL
Towards Unified Dialogue System Evaluation: A Comprehensive Analysis of Current Evaluation Protocols
Emory University（埃默里大学）
随着基于对话式人工智能的对话管理越来越成为一个热门话题，对标准化和可靠的评估程序的需求变得更加迫切。目前的情况下，建议各种评估协议，以评估聊天为导向的对话管理系统，使得它很难进行公平的比较研究，在不同的方法，并获得一个深刻的理解他们的价值。为了促进这一研究，必须制定一项更有力的评估协议。本文提出了一个全面的综合自动化和人类的评价方法对对话系统，找出他们的缺点，同时积累证据，对最有效的评价维度。从过去两年的20篇论文进行了调查，分析三种类型的评估协议：自动化，静态和交互式。最后，将这些论文中使用的评估维度与我们对Alexa Prize 2020收集的系统-用户对话数据的专家评估进行了比较。
2020-06-10 cs.CL
Joint Turn and Dialogue level User Satisfaction Estimation on Multi-Domain Conversations
LinkedIn（领英）；Amazon（亚马逊）
对话级别质量估计对于优化数据驱动的对话管理至关重要。目前的自动化方法来估计转向和对话级别的用户满意度采用手工制作的功能，并依赖于复杂的注释方案，这降低了训练模型的泛化能力。我们提出了一种新的用户满意度估计方法，最大限度地减少了自适应多任务损失函数，以共同预测轮级响应质量标签提供的专家和明确的对话级评级提供的最终用户。提出的基于BiLSTM的深度神经网络模型自动权衡每个回合对估计对话级别评级的贡献，隐式编码时间依赖性，并消除了手工制作功能的需要。在从28个Alexa域、两个对话系统和三个用户组中采样的对话上，联合对话级满意度估计模型的线性相关性能分别比基线深度神经网络和基准梯度提升回归模型提高了27%（0.43->0.70）和7%（0.63->0.70）。
2020-10-08 cs.AI cs.CL cs.LG
DevNous: An LLM-Based Multi-Agent System for Grounding IT Project Management in Unstructured Conversation
International Hellenic University（国际希腊大学）；European Commission（欧盟委员会）
研究团队提出DevNous，一种基于LLM的多智能体系统，通过集成团队聊天环境自动将非结构化对话转化为结构化IT项目管理工件，并构建了160轮对话的公共基准，实现81.3%的准确率，贡献了架构模式与首个经验基线。
2025-08-12 cs.AI cs.CL
Goal-Oriented Chatbot Dialog Management Bootstrapping with Transfer Learning
School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）；Swisscom AG（瑞士电信公司）
目标导向（GO）对话系统，俗称目标导向聊天机器人，帮助用户在封闭域中实现预定义的目标（例如预订电影票）。第一步是通过使用自然语言理解技术来理解用户的目标。一旦知道目标，机器人必须管理对话以实现该目标，该对话是根据学习的策略进行的。对话系统的成功取决于策略的质量，而策略的质量又依赖于策略学习方法（例如深度强化学习）的高质量训练数据的可用性。由于领域的特殊性，可用的数据量通常太低，无法培训良好的对话策略。在本文中，我们介绍了一种迁移学习方法，以减轻低域内数据可用性的影响。与没有迁移学习的模型相比，我们基于迁移学习的方法将机器人的成功率相对于远距离域提高了20%，而对于近距离域，我们的成功率提高了一倍多。此外，迁移学习聊天机器人学习策略的速度快了5到10倍。最后，由于迁移学习方法是补充额外的处理，如热启动，我们表明，他们的联合应用程序给出了最好的结果。
2018-07-24 cs.CL
Towards Learning Transferable Conversational Skills using Multi-dimensional Dialogue Modelling
Heriot-Watt University（赫瑞瓦特大学）；Interaction Lab（互动实验室）
最近的统计方法已经改进了口语对话系统的鲁棒性和可伸缩性。然而，尽管最近在领域自适应方面取得了进展，但它们对域内数据的依赖仍然限制了它们的跨域可伸缩性。在本文中，我们认为，这个问题可以通过扩展现有的模型来反映和利用人类对话的多维性来解决。我们提出了我们的多维度，统计对话管理框架，其中可转移的会话技能可以通过分离出域独立的通信维度和使用多智能体强化学习来学习。我们与模拟用户的初步实验表明，我们可以加快学习过程中学习的政策。
2018-03-31 cs.CL
Deep Reinforcement Learning for On-line Dialogue State Tracking
Key Lab. of Shanghai Education Commission for Intelligent Interaction and Cognitive Eng.（上海市教育委员会智能交互与认知工程重点实验室）；SpeechLab, Department of Computer Science and Engineering（计算机科学与工程系语音实验室）；Brain Science and Technology Research Center（脑科学与技术研究中心）；Shanghai Jiao Tong University, Shanghai, China（上海交通大学）
对话状态跟踪（DST）是对话管理中的一个重要模块。它通常被视为一个有监督的训练问题，这不利于在线优化。本文提出了一种新的基于同伴教学的深度强化学习（DRL）在线DST优化框架。据我们所知，这是第一次努力，以优化DRL框架内的DST模块的在线面向任务的口语对话系统。此外，还可以进一步共同更新对话政策。实验表明，在线DST优化可以有效地提高对话管理器的性能，同时保持使用预定义策略的灵活性。DST和政策的联合培训可以进一步提高绩效。
2020-09-22 cs.CL
A Survey on Recent Advances and Challenges in Reinforcement Learning Methods for Task-Oriented Dialogue Policy Learning
The Chinese University of Hong Kong（香港中文大学）
本文从强化学习视角系统综述任务型对话策略学习，归纳主要问题、解决方案及方法分类，并展望对话管理未来研究方向。
2022-07-11 cs.CL
Modeling Multi-Action Policy for Task-Oriented Dialogues
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Uber AI（优步人工智能）
在面向任务的对话系统中，对话管理（DM）对与用户的交互质量起着关键作用。在大多数现有的方法中，代理预测每轮只有一个DM政策行动。这大大限制了会话代理的表达能力，并引入了可能挑战用户耐心的不必要的交互。更长的对话也会导致更多错误，系统需要更加强大才能处理它们。在本文中，我们比较了几种模型的性能预测多个行为的任务，为每一个回合。提出了一种新的策略模型的基础上称为门控连续动作槽（gCAS），克服了现有模型的局限性的循环细胞。实验结果表明，gCAS优于其他方法。代码可在https://leishu02.github.io/上获得
2019-08-30 cs.CL
