Beyond Single-User Dialogue: Assessing Multi-User Dialogue State Tracking Capabilities of Large Language Models
Chung-Ang University（Chung-Ang 大学）
本研究针对现有对话状态追踪基准难以覆盖多用户交互复杂性的问题，通过基于言语行为理论生成第二位用户话语扩展数据集，评估发现大语言模型在多用户对话状态追踪任务中性能显著下降，为后续相关模型优化指明方向。
2025-06-12 cs.AI cs.CL
A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
我们解决了面向任务的会话系统的对话信念状态跟踪（DST）问题。最近利用基于transformer的模型来解决这个问题的方法已经取得了很好的效果。然而，训练这些模型在计算资源和时间方面都是昂贵的。此外，收集高质量的注释对话数据集仍然是研究人员面临的挑战，因为训练这些模型需要大量的注释。在最近成功的预训练语言模型和基于样本的学习的推动下，我们探索了基于样本的少样本学习用于对话信念状态跟踪。我们制定的DST问题作为一个2阶段的基于语义的语言建模任务和训练语言模型的任务，并提出了一个全面的实证分析，他们的单独和联合性能。我们展示了基于递归的方法在DST的少样本学习中的潜力，并为未来的改进提供了方向。
2022-04-18 cs.AI cs.CL
KILDST: Effective Knowledge-Integrated Learning for Dialogue State Tracking using Gazetteer and Speaker Information
Samsung Research（三星研究院）；Samsung Research India Bangalore（三星研究院印度班加罗尔分院）
对话状态跟踪（DST）是对话系统的核心研究内容，受到了广泛的关注。此外，有必要定义一个可以处理用户之间对话的新问题，作为从用户之间的对话中提取和推荐信息的对话式AI的一步。因此，我们引入了一个新的任务- DST从用户之间的对话安排一个事件（DST-USERS）。DST-USERS任务更具挑战性，因为它要求模型理解和跟踪用户之间对话中的对话状态，并理解谁建议了时间表，谁同意了所建议的时间表。为了方便DST-USERS研究，我们开发了计划时间表的用户之间的对话数据集。需要在对话中提取的带注释的槽值是日期、时间和位置。以前的方法，如机器阅读理解（MRC）和传统的DST技术，并没有取得良好的效果，在我们广泛的评估。通过采用知识集成的学习方法，我们取得了优异的成绩。该模型结构有效地结合了地名词典特征和说话人信息。我们对计划日程的用户之间的对话数据集的评估表明，我们的模型优于基线模型。
2023-01-18 cs.AI cs.CL
Enhancing Dialogue State Tracking Models through LLM-backed User-Agents Simulation
NewsBreak（纽斯布雷克公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究利用GPT-4模拟用户代理交互生成对话数据，结合两阶段微调LLaMA 2，在公开基准上超越仅用真实数据训练的基线，并能快速适应新领域。
2024-05-17 cs.AI cs.CL
Robust Dialog State Tracking for Large Ontologies
Adobe Research（奥多比研究院）；MIT（麻省理工学院）；Massachusetts Institute of Technology（麻省理工学院）
对话状态跟踪挑战4（DSTC 4）与前三个版本的区别如下：本体中存在的槽值对的数量要大得多，没有给出口语语言理解输出，并且在子对话级别标记话语。本文描述了一种新的对话状态跟踪方法，旨在这些条件下，使用精心设计的字符串匹配，共指消解定制的对话框和其他一些改进工作鲁棒。该方法可以正确地识别话语中未明确存在的许多值。在最后的评估中，我们的方法在7个参赛团队和24个参赛作品中获得第一名。通过我们的方法实现的F1分数分别比话语级评估和子对话级评估的亚军高出9和7个百分点。
2016-05-07 cs.AI cs.CL cs.LG
Intent-driven In-context Learning for Few-shot Dialogue State Tracking
School of Intelligent Systems Engineering Sun Yat-sen University Shenzhen, China
本文提出 IDIC-DST，通过意图驱动的对话信息增强、噪声屏蔽、输入重写与相似示例检索，利用大语言模型在少样本 DST 中达到 MultiWOZ 2.1/2.4 最优性能。
2024-12-04 cs.AI cs.CL
Non-Autoregressive Dialog State Tracking
Salesforce Research（Salesforce研究）；Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究）
最近在面向任务的对话的对话状态跟踪（DST）的努力已经朝着开放词汇或基于生成的方法，其中模型可以从对话历史本身生成槽值候选人。这些方法表现出良好的性能增益，特别是在复杂的对话域与动态槽值。然而，它们在两个方面存在不足：（1）它们不允许模型显式地学习跨域和时隙的信号，以检测（域，时隙）对之间的潜在依赖关系;以及（2）现有模型遵循自回归方法，当对话在多个域和多个回合上演变时，会产生很高的时间成本。在本文中，我们提出了一种新的框架，非自回归对话状态跟踪（NADST），它可以考虑域和插槽之间的潜在依赖关系，以优化模型，更好地预测对话状态作为一个完整的集合，而不是单独的插槽。特别是，我们的方法的非自回归性质，不仅使解码并行显着减少延迟的DST实时对话响应生成，但也检测插槽之间的依赖关系，除了插槽和域级别令牌级别。我们的实证结果表明，我们的模型在MultiWOZ 2.1语料库上的所有领域都达到了最先进的联合准确度，并且随着对话历史的不断延长，我们模型的延迟比以前的最先进水平低一个数量级。
2020-02-19 cs.AI cs.CL cs.LG
Zero-shot Multi-Domain Dialog State Tracking Using Descriptive Rules
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；CONICET-UBA（阿根廷科学与技术研究委员会-布宜诺斯艾利斯大学联合机构）；SRI International（SRI国际公司）
在这项工作中，我们提出了一个框架，将描述性的逻辑规则在国家的最先进的神经网络，使他们能够学习如何处理看不见的标签，而不引入任何新的训练数据。通过在网络的损失函数中增加一个惩罚不遵守设计规则的网络状态的项，将规则集成到现有网络中，而不修改它们的体系结构。作为一个案例研究，该框架被应用到现有的基于神经的对话状态跟踪器。我们的实验表明，包含逻辑规则允许预测看不见的标签，而不会恶化的预测能力的原始系统。
2020-09-17 cs.AI cs.CL
Beyond Ontology in Dialogue State Tracking for Goal-Oriented Chatbot
Yonsei Univ.（延世大学）；Onoma AI
本研究提出一种无需预定义本体论的对话状态跟踪方法，结合指令微调、提示策略与反幻觉机制，并利用变分图自编码器预测用户意图，在JGA上达到42.57%，超越现有无本体模型，提升了目标导向聊天机器人的适应性和准确性。
2024-10-30 cs.AI cs.CL
Towards End-to-End Learning for Dialog State Tracking and Management using Deep Reinforcement Learning
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一个端到端的框架，面向任务的对话系统使用的深度递归Q网络（DRQN）的变体。该模型能够与关系数据库接口，并共同学习语言理解和对话策略的策略。此外，我们提出了一种混合算法，结合了强化学习和监督学习的强度，以实现更快的学习速度。我们评估了20个问题的游戏会话游戏模拟器上提出的模型。结果表明，该方法优于基于模块的基线和学习的潜在对话状态的分布式表示。
2016-09-15 cs.AI cs.CL cs.LG
Enhancing Visual Dialog State Tracking through Iterative Object-Entity Alignment in Multi-Round Conversations
Beijing Information Science and Technology University（北京信息科技大学）；Beijing University of Technology（北京工业大学）
针对现有视觉对话方法忽略轮次级对话信息流的问题，提出多轮对话状态跟踪模型MDST，以视觉-语言二元组构建对话状态表示，在VisDial v1.0生成式任务上取得SOTA，且生成答案更一致类人。
2024-08-13 cs.AI cs.CL cs.CV
Is one brick enough to break the wall of spoken dialogue state tracking?
Orange Innovation（Orange创新）
本文提出一种完全神经化的口语对话状态追踪方法，并与级联方法深入比较，表明联合优化在音频原生场景下具有竞争力，同时指出上下文传播需考虑先前上下文的不确定性。
2024-07-01 cs.AI cs.CL eess.AS
A Generative User Simulator with GPT-based Architecture and Goal State Tracking for Reinforced Multi-Domain Dialog Systems
Tsinghua University（清华大学）；Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute（清华大学-中国移动通信集团有限公司联合研究院）；China Mobile Research Institute（中国移动研究院）
为面向任务的对话系统（DS）的强化学习（RL）构建用户模拟器（US）已受到越来越多的关注，但仍面临一些基本挑战。首先，目前还不清楚我们是否可以利用预训练的语言模型来设计，例如，基于GPT-2的US，以赶上最近先进的基于GPT-2的DS并与之交互。其次，US的一个重要组成部分是用户目标可以被有效地整合和跟踪;但如何灵活地集成目标状态跟踪并开发多领域的端到端可训练US仍然是一个挑战。在这项工作中，我们提出了一个生成式用户模拟器（GUS）与GPT-2为基础的架构和目标状态跟踪对解决上述两个挑战。在MultiWOZ2.1上进行了大量的实验。分别使用GUS、经典的基于ARMA的用户模拟器（ABUS）和其他消融模拟器通过RL训练不同的DS，并比较跨模型评估、基于语料库的评估和人类评估。GUS在所有三项评估任务中均取得了优异的结果。
2022-10-18 cs.AI cs.CL
OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（Adobe研究）
本文提出 OnGoal 聊天界面，通过实时目标对齐反馈、评估解释和进展概览帮助用户管理 LLM 多轮对话目标，实验表明其能减少达成目标的时间与精力，并增强参与度和韧性。
2025-08-28 cs.AI cs.HC cs.LG
Dialog State Tracking with Reinforced Data Augmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
神经对话状态跟踪器通常由于缺乏带注释的训练数据的数量和多样性而受到限制。在本文中，我们通过提出一个基于强化学习（RL）的数据增强框架来解决这个困难，该框架可以生成高质量的数据来改进神经状态跟踪器。具体来说，我们引入了一种新的上下文强盗生成器来学习细粒度的增强策略，可以通过为特定上下文选择合适的替代品来生成新的有效实例。此外，通过在生成器和状态跟踪器之间交替学习，我们可以不断改进生成策略，为神经状态跟踪器生成更多高质量的训练数据。在WoZ和MultiWoZ（餐厅）数据集上的实验结果表明，该框架显著提高了现有模型的性能，特别是在训练数据有限的情况下。
2019-11-18 cs.AI cs.CL cs.LG
MA-DST: Multi-Attention Based Scalable Dialog State Tracking
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
面向任务的对话代理为用户提供了一个自然语言接口来完成他们的任务。对话状态跟踪（DST）通常是这些系统的核心组件，它跟踪系统在整个对话中对用户目标的理解。为了实现准确的多域DST，该模型需要对过去的话语和槽语义之间的依赖关系进行编码，并理解对话上下文，包括远程跨域引用。我们引入了一种新的架构，这个任务的会话历史和插槽语义编码更强大的使用注意力机制在多个粒度。特别是，我们使用交叉注意力模型的上下文和插槽之间的关系在不同的语义水平和自我注意力来解决跨域共指。此外，我们提出的架构不依赖于事先知道的域本体，也可以用于新的域或看不见的槽值的zero-shot设置。与MultiWoZ 2.1数据集上目前最先进的技术相比，我们的模型在全数据设置中将联合目标准确度提高了5%（绝对），在zero-shot设置中提高了2%（绝对）。
2020-02-07 cs.AI cs.CL cs.LG
SynthDST: Synthetic Data is All You Need for Few-Shot Dialog State Tracking
Carnegie Mellon University（卡内基梅隆大学）；Apple Inc.（苹果公司）
SynthDST利用LLMs仅凭对话模式和少量模板合成带标注对话数据，实现少样本DST，在MultiWOZ上相比零样本提升4-5%联合目标准确率，并恢复近98%的人工数据性能。
2024-02-03 cs.AI cs.CL cs.LG
