Act-Aware Slot-Value Predicting in Multi-Domain Dialogue State Tracking
Georgia Institute of Technology（佐治亚理工学院）
作为面向任务的对话系统的重要组成部分，对话状态跟踪（DST）的目的是跟踪人机交互，并生成用于管理对话的状态表示。对话状态的表示依赖于领域本体和用户的目标。在几个目标范围有限的面向任务的对话中，对话状态可以表示为一组槽值对。随着对话系统的能力扩展到支持越来越自然的通信，将对话行为处理纳入对话模型设计变得至关重要。缺乏这样的考虑限制了具有特定目标和本体的对话的对话状态跟踪模型的可扩展性。为了解决这个问题，我们制定并纳入对话行为，并利用机器阅读理解的最新进展，预测分类和非分类类型的插槽多域对话状态跟踪。实验结果表明，我们的模型可以提高对话状态跟踪的MultiWOZ 2.1数据集上的整体准确性，并表明，纳入对话行为可以指导未来面向任务的对话系统的对话状态设计。
2022-08-04 cs.AI cs.CL
Improving Longer-range Dialogue State Tracking
Google Research（谷歌研究院）
对话状态跟踪（DST）是面向任务的对话系统中的一个关键组成部分。虽然DST模型在简短的对话中捕获信念状态相对容易，但随着对话长度的增加，由于注入更多分散注意力的上下文，DST的任务变得更具挑战性。在本文中，我们的目标是提高DST的整体性能，特别注重处理较长的对话。我们从三个方面解决这个问题：1）一个模型，旨在使分层槽状态预测; 2）通用和特定任务的语言理解的平衡训练过程; 3）数据扰动，提高了模型的能力，在处理较长的对话。我们在MultiWOZ基准上进行实验，并通过一组消融测试来证明每个组件的有效性，特别是在较长的对话中。
2021-05-05 cs.AI cs.CL cs.LG
S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs
Pennsylvania State University（宾夕法尼亚州立大学）；University of Washington（华盛顿大学）；Microsoft（微软）
本文提出S3-DST，通过结构化提示与预分析回忆机制，在零样本开放域对话中联合实现对话分割与逐段状态跟踪，并在多个数据集上超越现有最优方法。
2023-09-16 cs.AI cs.CL
Intent-driven In-context Learning for Few-shot Dialogue State Tracking
School of Intelligent Systems Engineering Sun Yat-sen University Shenzhen, China
本文提出 IDIC-DST，通过意图驱动的对话信息增强、噪声屏蔽、输入重写与相似示例检索，利用大语言模型在少样本 DST 中达到 MultiWOZ 2.1/2.4 最优性能。
2024-12-04 cs.AI cs.CL
Beyond Single-User Dialogue: Assessing Multi-User Dialogue State Tracking Capabilities of Large Language Models
Chung-Ang University（Chung-Ang 大学）
本研究针对现有对话状态追踪基准难以覆盖多用户交互复杂性的问题，通过基于言语行为理论生成第二位用户话语扩展数据集，评估发现大语言模型在多用户对话状态追踪任务中性能显著下降，为后续相关模型优化指明方向。
2025-06-12 cs.AI cs.CL
Semantic Parsing by Large Language Models for Intricate Updating Strategies of Zero-Shot Dialogue State Tracking
Beijing University of Posts and Telecommunications（北京邮电大学）
提出ParsingDST方法，利用大语言模型语义解析将对话转为JSON，引入复杂更新策略，在MultiWOZ上显著提升零样本DST的JGA和槽位准确率。
2023-11-25 cs.AI cs.CL cs.LG
KILDST: Effective Knowledge-Integrated Learning for Dialogue State Tracking using Gazetteer and Speaker Information
Samsung Research（三星研究院）；Samsung Research India Bangalore（三星研究院印度班加罗尔分院）
对话状态跟踪（DST）是对话系统的核心研究内容，受到了广泛的关注。此外，有必要定义一个可以处理用户之间对话的新问题，作为从用户之间的对话中提取和推荐信息的对话式AI的一步。因此，我们引入了一个新的任务- DST从用户之间的对话安排一个事件（DST-USERS）。DST-USERS任务更具挑战性，因为它要求模型理解和跟踪用户之间对话中的对话状态，并理解谁建议了时间表，谁同意了所建议的时间表。为了方便DST-USERS研究，我们开发了计划时间表的用户之间的对话数据集。需要在对话中提取的带注释的槽值是日期、时间和位置。以前的方法，如机器阅读理解（MRC）和传统的DST技术，并没有取得良好的效果，在我们广泛的评估。通过采用知识集成的学习方法，我们取得了优异的成绩。该模型结构有效地结合了地名词典特征和说话人信息。我们对计划日程的用户之间的对话数据集的评估表明，我们的模型优于基线模型。
2023-01-18 cs.AI cs.CL
SF-DST: Few-Shot Self-Feeding Reading Comprehension Dialogue State Tracking with Auxiliary Task
Graduate School of Artificial Intelligence, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
Few-Shot对话状态跟踪（DST）模型以可靠的准确性跟踪对话中的用户请求，即使数据量很小。在本文中，我们介绍了一个本体无关的Few-Shot DST与自我喂养的信念状态输入。自馈信念状态输入通过总结先前对话来增加多轮对话中的准确性。此外，我们新开发了一个槽门辅助任务。这个新的辅助任务有助于区分对话中是否提到了一个槽。我们的模型在multiWOZ 2.0上的四个域的Few-Shot设置中获得了最佳分数。
2022-09-16 cs.CL
Injecting linguistic knowledge into BERT for Dialogue State Tracking
the Chinese University of Hong Kong（香港中文大学）
针对对话状态跟踪模型数据需求大、可解释性弱的问题，提出用无监督框架提取语言知识注入BERT的方法，借助CPM提取关联句法语义的特征，在多任务基准上实现准确率提升并增强模型可解释性。
2024-07-03 cs.AI cs.CL cs.LG
BERT-DST: Scalable End-to-End Dialogue State Tracking with Bidirectional Encoder Representations from Transformer
Carnegie Mellon University（卡内基梅隆大学）
对话状态跟踪（DST）中一个重要但很少解决的问题是动态本体的可扩展性（例如，电影、餐馆）和看不见的槽值。我们专注于一个特定的条件，其中本体是未知的状态跟踪器，但目标槽值（除了没有和dontcare），可能在训练过程中看不见，可以在对话上下文中找到的词段。先前的方法通常依赖于从n-gram枚举或时隙标记器输出的候选生成，这可能是低效的或遭受错误传播。我们提出了BERT-DST，一个端到端的对话状态跟踪器，直接从对话上下文中提取插槽值。我们使用BERT作为对话上下文编码器，其上下文化的语言表示适合于可扩展的DST，以从其语义上下文中识别槽值。此外，我们采用编码器参数共享在所有槽有两个优点：（1）参数的数量不与本体线性增长。(2)语言表征知识可以在槽之间转移。实证评估表明，跨时隙参数共享的BERT-DST在基准可扩展DST数据集Sim-M和Sim-R上的性能优于先前的工作，并在标准DSTC 2和WOZ 2.0数据集上实现了有竞争力的性能。
2019-07-05 cs.CL
DSTEA: Improving Dialogue State Tracking via Entity Adaptive Pre-training
Korea University（高丽大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）；Sejong University（世宗大学）
本文提出 DSTEA，通过多方式识别对话关键实体并进行选择性知识掩码的实体自适应预训练，在无需直接注入外部知识的情况下提升多个 DST 模型在 MultiWOZ 系列数据集上的性能。
2023-07-23 cs.CL
Enhancing Dialogue State Tracking Models through LLM-backed User-Agents Simulation
NewsBreak（纽斯布雷克公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究利用GPT-4模拟用户代理交互生成对话数据，结合两阶段微调LLaMA 2，在公开基准上超越仅用真实数据训练的基线，并能快速适应新领域。
2024-05-17 cs.AI cs.CL
Overview of the Ninth Dialog System Technology Challenge: DSTC9
本文介绍了第九届对话系统技术挑战赛（DSTC-9）。这个版本的DSTC集中在应用端到端对话技术的四个不同的任务，即对话系统，1。面向任务的对话框非结构化知识访问建模，2。面向多领域任务的对话，3.对话的交互式评估，以及4.情境交互式多模态对话。本文介绍了任务定义、提供的数据集、基线和每个轨道的评价设置。我们还总结了提交的系统的结果，以突出国家的最先进的技术的任务的总体趋势。
2020-11-12 cs.CL
Tracking of enriched dialog states for flexible conversational information access
Tsinghua University（清华大学）
对话状态跟踪（DST）是面向任务的对话系统中用于会话信息访问的关键组件。当前对话系统中的一种常见做法是通过一组槽值对来定义对话状态。这种对话状态的表示和基于槽填充的DST已被广泛采用，但存在三个缺点。(1)对话状态可以只包含一个槽的单个值，并且（2）可以只包含用户对槽的值的肯定偏好。(3)目前基于任务的对话系统主要集中在搜索任务上，而查询任务在实践中也很常见。上述观察促使我们丰富当前的对话状态表示，并收集一个全新的关于电影的对话数据集，在此基础上，我们建立了一个新的DST，称为丰富的DST（EDST），灵活地访问电影信息。EDST支持搜索任务、查询任务以及它们的混合任务。我们表明，新的EDST方法不仅在爱奇艺数据集上取得了良好的效果，而且在传统的对话数据集，WOZ 2. 0和DSTC 2上也优于其他最先进的DST方法。
2018-02-24 cs.CL
Schema Encoding for Transferable Dialogue State Tracking
POSTECH（浦项科技大学）；Graduate School of Artificial Intelligence（人工智能研究生院）
对话状态跟踪是面向任务的对话系统的一个重要子任务。最近的工作集中在DST的深度神经模型上。然而，神经模型需要大量的数据集进行训练。此外，将它们应用到另一个领域需要一个新的数据集，因为神经模型通常被训练来模仿给定的数据集。在本文中，我们提出了可转移对话状态跟踪（SETDST），这是一个神经DST方法有效地转移到新的域模式编码。可转移的DST可以帮助对话系统的发展，即使在目标领域的数据集很少。我们使用模式编码器不仅仅是为了模仿数据集，而是为了理解数据集的模式。我们的目标是通过编码新的模式并将其用于多域设置上的DST来将模型转移到新的域。因此，SET-DST在MultiWOZ 2.1上将接头精度提高了1.46个点。
2022-10-05 cs.CL
Efficient Context and Schema Fusion Networks for Multi-Domain Dialogue State Tracking
State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院人工智能教育部重点实验室）；SpeechLab, Department of Computer Science and Engineering（计算机科学与工程系语音实验室）；Shanghai Jiao Tong University（上海交通大学）
对话状态跟踪（DST）的目的是估计当前的对话状态给定的所有前面的对话。对于多域DST，数据稀疏性问题是一个主要的障碍，由于增加的候选状态和对话长度的数量。为了有效地编码对话上下文，我们利用先前的对话状态（预测）和当前对话话语作为DST的输入。为了考虑不同域槽之间的关系，利用了包含先验知识的模式图。本文提出了一种新颖的上下文和模式融合网络，利用内部和外部注意力机制对对话上下文和模式图进行编码。实验结果表明，我们的方法可以获得新的国家的最先进的性能的开放词汇DST在MultiWOZ 2.0和MultiWOZ 2.1基准测试。
2020-10-07 cs.AI cs.CL
Improving Limited Labeled Dialogue State Tracking with Self-Supervision
Salesforce Research（Salesforce研究院）
现有的对话状态跟踪（DST）模型需要大量的标记数据。然而，收集高质量的标签是昂贵的，特别是当域名数量增加时。在本文中，我们解决了一个实际的DST问题，很少讨论，即，有效地学习有限的标记数据。我们提出并研究了两个自我监督的目标：保持潜在的一致性和建模会话行为。我们鼓励DST模型在给定扰动输入的情况下具有一致的潜在分布，使其对未知场景更具鲁棒性。我们还添加了一个辅助话语生成任务，建模会话行为和对话状态之间的潜在相关性。实验结果表明，当在MultiWOZ数据集上使用1%的标记数据时，我们提出的自监督信号可以将联合目标精度提高8.95%.如果将一些未标记的数据作为半监督学习进行联合训练，我们可以获得额外的1.76%的改进。我们分析和可视化我们提出的自监督信号如何帮助DST任务，并希望刺激未来的数据高效DST研究。
2020-10-26 cs.AI cs.CL
Recurrent Neural Networks for Dialogue State Tracking
Charles University in Prague（布拉格查理大学）
本文讨论了使用循环神经网络（RNN）的对话状态跟踪模型。我们目前的实验标准的对话状态跟踪（DST）数据集，DSTC 2。一方面，RNN模型成为DST中最先进的模型，另一方面，大多数最先进的模型都是基于回合的，需要特定于网络的预处理（例如DSTC 2特定）才能实现这样的结果。我们实现了两个架构，可以用于增量设置，几乎不需要预处理。我们比较他们的性能的基准DSTC 2，并讨论他们的属性。只有琐碎的预处理，我们的模型的性能接近国家的最先进的结果。
2016-07-13 cs.CL
Deep Reinforcement Learning for On-line Dialogue State Tracking
Key Lab. of Shanghai Education Commission for Intelligent Interaction and Cognitive Eng.（上海市教育委员会智能交互与认知工程重点实验室）；SpeechLab, Department of Computer Science and Engineering（计算机科学与工程系语音实验室）；Brain Science and Technology Research Center（脑科学与技术研究中心）；Shanghai Jiao Tong University, Shanghai, China（上海交通大学）
对话状态跟踪（DST）是对话管理中的一个重要模块。它通常被视为一个有监督的训练问题，这不利于在线优化。本文提出了一种新的基于同伴教学的深度强化学习（DRL）在线DST优化框架。据我们所知，这是第一次努力，以优化DRL框架内的DST模块的在线面向任务的口语对话系统。此外，还可以进一步共同更新对话政策。实验表明，在线DST优化可以有效地提高对话管理器的性能，同时保持使用预定义策略的灵活性。DST和政策的联合培训可以进一步提高绩效。
2020-09-22 cs.CL
Interpretable and Robust Dialogue State Tracking via Natural Language Summarization with LLMs
Technological University of Peru（秘鲁理工大学）
针对传统槽位—值 DST 难处理开放域与噪声问题，提出 NL-DST，用 LLM 生成自然语言状态描述，并在两个数据集上显著提升准确率、鲁棒性与可解释性。
2025-03-11 cs.CL
CSS: Combining Self-training and Self-supervised Learning for Few-shot Dialogue State Tracking
CUHK-Shenzhen（香港中文大学（深圳））；JD AI Research（京东人工智能研究院）；Pengcheng Lab（鹏城实验室）
Few-Shot对话状态跟踪（DST）是用有限的标记数据训练DST模型的现实问题。现有的Few-Shot方法主要传递从外部标记的对话数据（例如，从问答、对话摘要、机器阅读理解任务等）然而，收集大量的外部标记数据是费力的，并且外部数据可能不会有效地有助于DST特定的任务。在本文中，我们提出了一个称为CSS的Few-Shot DST框架，它结合了自训练和自监督学习方法。DST任务的未标记数据被纳入自训练迭代中，其中伪标签由预先在有限的标记数据上训练的DST模型预测。此外，一个对比的自我监督的方法是用来学习更好的表示，其中的数据是增加的dropout操作训练模型。MultiWOZ数据集上的实验结果表明，我们提出的CSS在几个Few-Shot场景中达到了有竞争力的性能。
2022-10-11 cs.CL
Improving Dialogue State Tracking through Combinatorial Search for In-Context Examples
Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学）；Department of Computer Science and Engineering, Seoul National University（计算机科学与工程系，首尔国立大学）
本文提出CombiSearch方法，通过组合搜索评估上下文示例对DST性能的组合影响来训练检索器，在MultiWOZ上实现20倍数据效率提升和12%的DST性能上界绝对提升，并良好泛化到SGD数据集。
2025-06-03 cs.AI cs.CL cs.IR
UNO-DST: Leveraging Unlabelled Data in Zero-Shot Dialogue State Tracking
National University of Singapore（新加坡国立大学）；NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出UNO-DST，通过联合训练、自训练、逆向提示辅助任务与循环一致性利用目标域未标注数据，实现自动标签构建并提升零样本DST性能。
2024-04-03 cs.CL
A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking
National Technical University of Athens（雅典国立技术大学）；Athena Research Center（雅典娜研究中心）
面向任务的对话系统通常采用对话状态跟踪器（DST）来成功地完成对话。最近的最先进的DST实现依赖于不同服务的模式来提高模型鲁棒性并处理对新域的zero-shot泛化[1]，然而这样的方法[2，3]通常需要多个大规模Transformer模型和长输入序列才能良好地执行。我们提出了一个单一的多任务BERT为基础的模型，共同解决了意图预测，请求插槽预测和插槽填充三个DST任务。此外，我们提出了一个有效的和简约的编码的对话历史和服务模式，以进一步提高性能。对SGD数据集的评估表明，我们的方法比基线SGP-DST的性能要好得多，与最先进的方法相比，性能也很好，同时计算效率要高得多。进行了广泛的消融研究，以检查我们模型成功的因素。
2022-07-02 cs.CL cs.LG
Dual Learning for Dialogue State Tracking
Key Lab. of Shanghai Education Commission for Intelligent Interaction and Cognitive Eng.（上海市教育委员会智能交互与认知工程重点实验室）；SpeechLab, Department of Computer Science and Engineering（计算机科学与工程系SpeechLab）；Brain Science and Technology Research Center（脑科学与技术研究中心）；Shanghai Jiao Tong University, Shanghai, China（上海交通大学）
在面向任务的多轮对话系统中，对话状态是指用户目标在对话历史背景中的紧凑表示。对话状态跟踪（DST）是对每一轮对话的状态进行估计。由于对复杂的对话历史上下文的依赖，DST数据注释比单句语言理解更昂贵，这使得任务更具挑战性。在这项工作中，我们制定DST作为一个序列生成问题，并提出了一种新的双重学习框架，充分利用未标记的数据。在双重学习框架中，有两个代理：原始跟踪代理（话语到状态生成器）和双重话语生成代理（状态到话语生成器）。与传统的监督学习框架相比，对偶学习可以在没有标记数据的情况下，分别通过重构误差和奖励信号迭代更新两个智能体。在以往的DST方法中，奖励稀疏性问题难以解决。在这项工作中，重新制定的DST作为一个序列生成模型有效地解决了这个问题。我们称之为原始追踪剂双重DST。在MultiWOZ2.1数据集上的实验结果表明，提出的双DST算法具有很好的性能，尤其是在标记数据有限的情况下。它实现了与完全使用标记数据的系统相当的性能。
2020-09-22 cs.CL
XQA-DST: Multi-Domain and Multi-Lingual Dialogue State Tracking
University of Cambridge（剑桥大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
对话状态跟踪（DST）是面向任务的对话（ToD）系统的重要组成部分，它跟踪与对话历史有关的所有重要信息：在整个对话中使用最可能的值填充插槽。现有的方法通常依赖于一组预定义的值，并且很难推广到新领域中以前看不见的插槽。为了克服这些挑战，我们提出了一个领域不可知的提取问答（QA）的方法与跨域共享的权重。为了理清ToD中复杂的领域信息，我们训练我们的DST与一种新的域过滤策略，排除域外的问题样本。通过一个独立的分类器，预测存在多个域的上下文，我们的模型通过提取活动域中的跨度来处理DST。实证结果表明，我们的模型可以有效地利用领域不可知的QA数据集，通过两个阶段的微调，同时在DST领域的可扩展性和开放的词汇。通过在MultiWOZ 2.1上实现zero-shot域自适应结果，显示出较强的可移植性，平均JGA为36.7%。它进一步实现了跨语言迁移，具有最先进的zero-shot结果，在WOZ 2.0上从英语到德语的66.2% LGA和从英语到意大利语的75.7% LGA。
2023-02-25 cs.CL
OLISIA: a Cascade System for Spoken Dialogue State Tracking
Orange Innovation（Orange创新中心）；Aix-Marseille Université（艾克斯-马赛大学）；Avignon Université（阿维尼翁大学）
本文提出OLISIA级联系统，集成ASR与DST模型，通过归一化ASR输出、数据增强及增大模型规模，在DSTC11 Track 3中排名第一，有效缩小了书面与口语对话的性能差距。
2023-08-31 cs.AI cs.CL cs.SD
Efficient Dialogue State Tracking by Selectively Overwriting Memory
Clova AI, NAVER Corp.（NAVER公司Clova AI）
最近的作品在对话状态跟踪（DST）集中在一个开放的基于词汇的设置，以解决可扩展性和泛化问题的预定义的基于本体的方法。然而，它们是低效的，因为它们从头开始预测每一个回合的对话状态。在这里，我们认为对话状态作为一个显式的固定大小的内存，并提出了一个选择性的存储机制，更有效的DST。该机制由两个步骤组成：（1）预测每个存储器槽上的状态操作，以及（2）用新的值来存储存储器，其中只有少数是根据预测的状态操作生成的。该方法将DST分解为两个子任务，并引导解码器只关注其中一个任务，从而减轻了解码器的负担。这提高了培训和DST性能的有效性。我们的SOM-DST（Selectively Overwriting Memory for Dialogue State Tracking）模型在基于开放词汇的DST设置中实现了最先进的联合目标准确率，MultiWOZ 2.0为51.72%，MultiWOZ 2.1为53.01%。此外，我们分析了当前和地面真值给定情况之间的准确性差距，并建议改善状态操作预测以提高DST性能是一个有前途的方向。
2020-05-04 cs.CL
Hybrid Dialogue State Tracking for Persian Chatbots: A Language Model-Based Approach
Computer Engineering Department, Amirkabir University of Technology（阿米尔卡比尔技术大学计算机工程系）
针对传统基于规则的波斯语对话状态跟踪适配性不足的问题，提出融合规则与BERT、XGBoost、GPT及在线智能体的混合DST模型，在波斯语多轮对话数据集上实现准确率和连贯性的显著提升。
2025-10-01 cs.AI cs.CL
Fine-Tuning BERT for Schema-Guided Zero-Shot Dialogue State Tracking
University of Science and Technology of China（中国科学技术大学）
我们在对话系统技术挑战8（DSTC 8）中介绍了我们在轨道4上的工作。DSTC 8-Track 4旨在在zero-shot设置下执行对话状态跟踪（DST），其中模型需要在给定这些目标API的模式定义的情况下对看不见的服务API进行泛化。作为Siri、Alexa和Google Assistant等众多虚拟助手的核心，DST跟踪用户的目标和对话历史中发生的事情，主要包括意图预测、槽填充和用户状态跟踪，测试模型的自然语言理解能力。最近，预训练的语言模型已经取得了最先进的结果，并在各种NLP任务上显示出令人印象深刻的泛化能力，这为语言理解提供了一种很有前途的零样本学习方法。在此基础上，我们提出了一个模式引导的范例zero-shot对话状态跟踪（SGP-DST）微调BERT，最流行的预训练语言模型之一。SGP-DST系统包含四个模块，分别用于意图预测、时隙预测、时隙转移预测和用户状态汇总。根据官方评估结果，我们的SGP-DST（team 12）在25个参赛团队中，在联合目标准确性（排名提交的主要评估指标）方面排名第三，在所需的F1位置上排名第一。
2020-02-01 cs.CL
A Dual Prompt Learning Framework for Few-Shot Dialogue State Tracking
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Sichuan University（四川大学）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）
对话状态跟踪模块是面向任务的对话系统了解用户目标和需求的重要组成部分。收集包括槽和值的对话状态标签可能是昂贵的，特别是随着对话系统在越来越多的新兴领域中的广泛应用。在本文中，我们专注于如何利用语言理解和生成能力的预训练语言模型的DST。我们设计了一个双重提示学习框架，用于Few-Shot DST。具体来说，我们将槽生成和值生成的学习视为双重任务，并基于这种双重结构设计了两个提示语，分别将这两个任务的任务相关知识融入其中。以这种方式，DST任务可以在Few-Shot设置下被有效地公式化为语言建模任务。在两个面向任务的对话数据集上的实验结果表明，该方法不仅优于现有的Few-Shot方法，而且能够生成不可见的槽.这表明，DST相关的知识可以从PLM中探索，并利用快速学习的帮助下，有效地解决低资源的DST。
2023-01-26 cs.CL
Conversational Semantic Parsing for Dialog State Tracking
Apple（苹果公司）
我们考虑对话状态跟踪（DST）的新视角，即在对话过程中估计用户目标的任务。通过将DST制定为一个基于层次表示的语义解析任务，我们可以将语义组合性、跨领域知识共享和共同引用结合起来。我们提出了TreeDST，一个包含27 k会话的数据集，其中注释了树结构的对话状态和系统行为。我们描述了一个编码器-解码器框架的DST与分层表示，这导致了20%的改进，比国家的最先进的DST方法，操作上的槽值对的平面意义空间。
2021-05-13 cs.CL
An End-to-End Dialogue State Tracking System with Machine Reading Comprehension and Wide & Deep Classification
Pingan Life Insurance of China, Ltd（中国平安人寿保险股份有限公司）
本文介绍了我们的方法在DSTC 8轨道4：模式引导对话状态跟踪。该任务的目标是预测意图和槽在每个用户轮完成对话状态跟踪（DST）的基础上提供的信息的任务的模式。与传统的分段式DST不同，我们提出了一种端到端的DST系统，以避免对话轮之间的错误积累。DST系统由用于非范畴槽的机器阅读理解（MRC）模型和用于范畴槽的宽深模型组成。据我们所知，这是MRC和Wide & Deep模型第一次以完全端到端的方式应用于DST问题。实验结果表明，该框架在包含50% zero-shot服务的测试数据集上取得了良好的性能，联合目标准确率为0.8652，槽标记F1-Score为0.9835。
2020-02-02 cs.CL
On Tracking Dialogue State by Inheriting Slot Values in Mentioned Slot Pools
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
对话状态跟踪（DST）是面向任务的对话系统的一个组成部分。它负责根据对话话语提取和管理槽值，其中每个槽代表完成任务的信息的重要部分，并且槽值在每个对话轮中循环更新。但是，许多DST模型无法适当地更新插槽值。这些模型可能会重复继承在前几轮中提取的错误槽值，导致整个DST任务失败。他们也不能很好地更新间接提到的插槽。本研究设计了一个模型与提到槽池（MSP），以解决更新问题。MSP是一个特定于槽的存储器，它记录了所有可能被继承的槽值，我们的模型根据MSP和对话上下文更新槽值。我们的模型拒绝继承以前的插槽值时，它断言的值是错误的。然后，它从当前对话上下文中重新提取槽值。随着上下文信息随着对话的进行而积累，新的值更有可能是正确的。它还可以通过从MSP中选择一个值来跟踪间接提到的插槽。实验结果表明，我们的模型在MultiWOZ 2.1和2.2数据集上达到了最先进的DST性能。
2022-04-24 cs.AI cs.CL
Fully Statistical Neural Belief Tracking
PolyAI；Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）
本文提出了一种改进现有的数据驱动的神经信念跟踪（NBT）框架的对话状态跟踪（DST）。现有的NBT模型使用手工制作的信念状态更新机制，每当模型被部署到新的对话域时，该机制涉及昂贵的手动重新调整步骤。我们表明，这种更新机制可以与NBT模型的语义解码和上下文建模部分联合学习，消除了DST框架中最后一个基于规则的模块。我们提出了两种不同的统计更新机制，并表明对话动态可以建模与一个非常小的额外的模型参数。在我们对三种语言的DST评估中，我们表明该模型具有竞争力的性能，并为构建资源轻的DST模型提供了一个强大的框架。
2018-05-29 cs.AI cs.CL cs.LG
An Asynchronous Updating Reinforcement Learning Framework for Task-oriented Dialog System
Beijing University of Posts and Telecommunications（北京邮电大学）
提出异步更新强化学习框架AURL，通过异步更新对话状态跟踪与策略模块、结合课程学习和多用户模型，在SSD-PHONE数据集上实现对话成功率31.37%的提升。
2023-05-04 cs.AI cs.CL cs.HC
Recurrent Polynomial Network for Dialogue State Tracking
Shanghai Jiao Tong University（上海交通大学）
对话状态跟踪（DST）是一个过程，以估计随着对话的进展，对话状态的分布。最近的研究约束马尔可夫贝叶斯多项式（CMBP）框架迈出了第一步之间的差距，基于规则和统计方法的DST。本文提出了一种新的框架--递归多项式网络（RPN），进一步弥补了这一不足。RPN的独特结构使该框架具有CMBP的所有优点，包括效率，可移植性和可解释性。此外，RPN比CMBP实现了更多的统计方法属性。在第二次和第三次对话状态跟踪挑战（DSTC-2/3）的数据库上评价RPN。实验表明，RPN可以显着优于传统的基于规则的方法和统计方法具有相似的特征集。与现有的统计DST方法相比，RPN具有更丰富的特征，具有很强的竞争力。
2015-11-21 cs.CL
Neural Dialogue State Tracking with Temporally Expressive Networks
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）；University of Leeds（利兹大学）
对话状态跟踪是口语对话系统的重要组成部分。现有的DST模型要么忽略了跨对话轮的时间特征依赖关系，要么未能显式地对对话中的时间状态依赖关系进行建模。在这项工作中，我们提出了时间表达网络（TEN），以联合建模DST中的两种类型的时间依赖关系。TEN模型利用了递归网络和概率图形模型的强大功能。在标准数据集上的测试结果表明，该方法能有效地提高匝数-电平-状态预测和状态聚合的精度。
2020-10-03 cs.CL
In-Context Learning for Few-Shot Dialogue State Tracking
University of Washington（华盛顿大学）；University of Hong Kong（香港大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
收集和注释面向任务的对话是耗时且昂贵的;因此，零和少样本学习可以极大地有益于对话状态跟踪（DST）。在这项工作中，我们提出了一个上下文学习（ICL）框架的zero-shot和少样本学习DST，其中一个大型的预训练语言模型（LM）的测试实例和一些样本作为输入，并直接解码的对话状态没有任何参数更新。为了更好地利用LM提示符中的表格域描述，我们将DST重新表述为文本到SQL的问题。我们还提出了一种新的方法来检索注释的对话作为范例。MultiWOZ的实证结果表明，我们的方法IC-DST大大优于以前的微调国家的最先进的模型在Few-Shot设置。此外，我们测试IC-DST在zero-shot设置，其中该模型只需要一个固定的任务指令作为输入，发现它优于以前的zero-shot方法的大幅度。
2022-10-25 cs.CL
A Sequence-to-Sequence Approach to Dialogue State Tracking
University College London（伦敦大学学院）；ByteDance AI Lab（字节跳动人工智能实验室）
研究了面向任务的对话系统中的对话状态跟踪问题。构建高效的DST模块仍然是一个具有挑战性的问题，尽管最近已经取得了重大进展。本文提出了一种新的对话状态跟踪方法，称为Seq 2Seq-DU，它将DST形式化为一个序列到序列的问题。Seq 2Seq-DU采用两个基于BERT的编码器分别对对话中的话语和模式描述进行编码，一个参与者计算话语嵌入和模式嵌入之间的注意力，一个解码器生成指针来表示对话的当前状态。Seq 2Seq-DU具有以下优点。它可以联合建模意图、槽和槽值;它可以利用基于BERT的话语和模式的丰富表示;它可以有效地处理分类和非分类槽以及看不见的模式。此外，Seq 2Seq-DU还可以用于对话系统的NLU（自然语言理解）模块中。在不同设置的基准数据集（SGD、MultiWOZ2.2、MultiWOZ2.1、WOZ2.0、DSTC 2、M2M、SNIPS和ATIS）上的实验结果表明，Seq 2Seq-DU优于现有方法。
2021-05-29 cs.AI cs.CL cs.IR
Multi-task learning for Joint Language Understanding and Dialogue State Tracking
Google AI（谷歌人工智能）
本文提出了一种新的方法，多任务学习的语言理解（LU）和对话状态跟踪（DST）在面向任务的对话系统。多任务训练使得能够共享负责对LU和DST两者的用户话语进行编码的神经网络层，并且在减少网络参数的数量的同时提高性能。在我们提出的框架中，DST对到目前为止提到的每个插槽的一组候选值进行操作。这些候选集是使用当前用户话语的LU槽注释、对应于先前系统话语的对话动作和针对先前回合估计的对话状态来生成的，使得DST能够处理具有可能值的大的或无界的集合的槽并且处理在训练期间未看到的槽值。此外，为了弥合训练和推理之间的差距，我们研究了对当前用户话语的LU输出以及前一轮的DST输出使用预定采样。
2018-11-13 cs.CL
A Zero-Shot Open-Vocabulary Pipeline for Dialogue Understanding
Koç University（科克大学）；KUIS AI Lab（库伊斯人工智能实验室）
本文提出一种零样本开放词汇流水线，将领域分类与DST统一，并通过问答重构和自我精炼提示，在Multi-WOZ 2.1上以更少API请求实现最高20%的JGA提升。
2025-03-07 cs.AI cs.CL
Diable: Efficient Dialogue State Tracking as Operations on Tables
University of Cambridge（剑桥大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
提出Diable，将对话状态追踪形式化为表格操作任务，在MultiWoz上实现2.4倍时间效率提升并保持准确率与鲁棒性。
2023-11-01 cs.CL cs.LG
A Multichannel Convolutional Neural Network For Cross-language Dialog State Tracking
Panasonic Corporation（松下公司）
第五届对话状态跟踪挑战赛（DSTC 5）引入了一种新的跨语言对话状态跟踪场景，要求参与者基于英语训练语料库构建跟踪器，同时使用未标记的中文语料库对其进行评估。虽然数据集中提供了英文和中文语料的计算机生成的翻译，但这些翻译包含错误，不小心使用它们很容易损害所构建的跟踪器的性能。为了解决这个问题，我们提出了一个多通道卷积神经网络（CNN）架构，其中我们把英语和汉语作为一个单一的CNN模型的不同输入通道。在DSTC 5的评估中，我们发现这种多通道架构可以有效地提高对翻译错误的鲁棒性。此外，我们的DSTC 5方法纯粹是基于机器学习的，不需要关于目标语言的先验知识。我们认为这是在跨语言上下文中构建跟踪器的理想属性，因为不是每个开发人员都熟悉这两种语言。
2017-01-23 cs.AI cs.CL cs.LG
ASSIST: Towards Label Noise-Robust Dialogue State Tracking
University College London（伦敦大学学院）
MultiWOZ 2.0数据集极大地推动了对话状态跟踪（DST）的研究。然而，在其状态注释中发现了大量的噪声。这种噪声给训练DST模型带来了巨大的挑战。虽然最近已经发布了几个改进版本，包括MultiWOZ 2.1-2.4，但仍然存在大量噪声标签，特别是在训练集中。此外，纠正所有有问题的注释是昂贵的。在本文中，而不是进一步提高标注质量，我们提出了一个通用的框架，名为ASSIST（lAbel noiSe-robustdilementstate Tracking），训练DST模型鲁棒噪声标签。ASSIST首先通过使用在小的干净数据集上训练的辅助模型为训练集中的每个样本生成伪标签，然后将生成的伪标签和香草噪声标签放在一起来训练主模型。我们从理论上证明了ASSIST的有效性。实验结果还表明，与仅使用普通噪声标签相比，ASSIST在MultiWOZ 2.0上将DST的联合目标精度提高了$28.16\%$，在MultiWOZ 2.4上提高了$8.41\%$。
2022-03-11 cs.AI cs.CL
Preview, Attend and Review: Schema-Aware Curriculum Learning for Multi-Domain Dialog State Tracking
Alibaba Group（阿里巴巴集团）；Ingenuity Labs Research Institute（创意实验室研究所）；Queen’s University（女王大学）
现有的对话状态跟踪（DST）模型是用随机顺序的对话数据训练的，忽略了数据集中丰富的结构信息。在本文中，我们建议使用课程学习（CL），以更好地利用课程结构和图式结构的任务导向的对话。具体来说，我们提出了一个模型不可知的框架称为模式感知课程学习的对话状态跟踪（SaCLog），它包括一个预览模块，预训练的DST模型与模式信息，课程模块，优化模型与CL，和审查模块，增加误预测的数据，以加强CL培训。我们表明，我们提出的方法提高了基于transformer和基于RNN的DST模型（TripPy和TRADE）的DST性能，并在WOZ2.0和MultiWOZ2.1上实现了新的最先进的结果。
2021-06-01 cs.CL
A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
我们解决了面向任务的会话系统的对话信念状态跟踪（DST）问题。最近利用基于transformer的模型来解决这个问题的方法已经取得了很好的效果。然而，训练这些模型在计算资源和时间方面都是昂贵的。此外，收集高质量的注释对话数据集仍然是研究人员面临的挑战，因为训练这些模型需要大量的注释。在最近成功的预训练语言模型和基于样本的学习的推动下，我们探索了基于样本的少样本学习用于对话信念状态跟踪。我们制定的DST问题作为一个2阶段的基于语义的语言建模任务和训练语言模型的任务，并提出了一个全面的实证分析，他们的单独和联合性能。我们展示了基于递归的方法在DST的少样本学习中的潜力，并为未来的改进提供了方向。
2022-04-18 cs.AI cs.CL
STN4DST: A Scalable Dialogue State Tracking based on Slot Tagging Navigation
Beijing Institute of Technology（北京理工大学）
处理未知时隙值的可扩展性是对话状态跟踪（DST）中的一个重要问题。据我们所知，以前的可扩展DST方法通常依赖于从槽标记输出的候选生成或对话上下文中的跨度提取。然而，基于候选生成的DST往往遭受错误传播，由于其流水线的两阶段的过程中，同时跨度提取的DST有生成无效跨度的风险，在缺乏语义约束的开始和结束位置指针。针对上述不足，提出一种基于槽标记导航的可扩展对话状态跟踪方法，通过槽标记和槽值位置预测的联合学习，实现了一个端到端的单步指针，快速准确地定位和提取槽值，特别是对于未知槽值。在多个基准数据集上的实验表明，该模型的性能大大优于最先进的基线。
2021-06-17 cs.CL
Schema-Guided Dialogue State Tracking Task at DSTC8
Google Research（谷歌研究院）
本文概述了第八届对话系统技术挑战赛的模式引导对话状态跟踪任务。该任务的目标是开发适用于大规模虚拟助理的对话状态跟踪模型，重点是跨域的数据高效联合建模和新API的zero-shot泛化。该任务提供了一个新的数据集，包括跨越16个领域的训练集中的16000多个对话，以突出这些挑战，以及能够zero-shot推广到新API的基线模型。25个小组参与了开发一系列神经网络模型的工作，大大超过了基准模型的性能。提交的资料采用了各种预先训练的编码器和数据增强技术。本文介绍了任务定义，数据集和评估方法。我们还总结了提交的系统的方法和结果，以突出国家的最先进的整体趋势。
2020-02-02 cs.CL
Turn-Level Active Learning for Dialogue State Tracking
University of Technology Sydney（悉尼科技大学）；University of Liverpool（利物浦大学）；University College London（伦敦大学学院）；University of Wollongong（伍伦贡大学）
针对任务导向对话系统中对话状态跟踪（DST）数据逐轮标注成本高的问题，提出一种新型轮次级主动学习框架，通过主动选择对话轮次进行标注，在显著减少标注数据量的同时实现与传统方法相当的DST性能。
2023-10-23 cs.CL
Choice Fusion as Knowledge for Zero-Shot Dialogue State Tracking
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
随着在新领域中以更低的成本部署对话系统的需求，zero-shot对话状态跟踪（DST），它在面向任务的对话中跟踪用户的需求，而不需要在期望的领域进行训练，越来越受到关注。尽管先前的工作已经利用问答（QA）数据来减少DST中对域内训练的需求，但是它们未能明确地对用于跟踪对话状态的知识转移和融合进行建模。为了解决这个问题，我们提出了CoFunDST，它是在领域无关的QA数据集上训练的，并直接使用槽值的候选选择作为zero-shot对话状态生成的知识，基于T5预训练的语言模型。具体来说，CoFunDST选择与参考上下文高度相关的选择，并将它们融合以初始化解码器来约束模型输出。我们的实验结果表明，我们提出的模型在MultiWOZ 2.1上的大多数领域中实现了优于现有zero-shot DST方法的联合目标精度。大量的分析表明，我们提出的方法，以改善zero-shot DST学习QA的有效性。
2023-02-25 cs.CL
Attention Guided Dialogue State Tracking with Sparse Supervision
Singapore University of Technology and Design（新加坡科技设计大学）；Amazon Development Center Germany GmbH（亚马逊德国研发中心有限公司）
对话状态跟踪（DST）的现有方法依赖于回合级别对话状态注释，其大规模获取是昂贵的。在呼叫中心中，对于管理预订或订阅等任务，用户目标可以与操作相关联（例如，API调用）。这些动作日志可以大量使用，并且可以用于学习对话状态。然而，与回合级别注释不同，这种记录的动作仅在对话中稀疏可用，仅为DST模型提供弱监督形式。为了有效地学习具有稀疏标签的DST，我们扩展了最先进的编码器-解码器模型。该模型学习对话历史的槽感知表示，其专注于相关回合以指导解码器。我们在两个公共多域DST数据集（MultiWOZ和模式指导对话）上展示了两种设置的结果，即使用回合级别和稀疏监督进行训练。所提出的方法在这两种情况下都比基线有所改进。更重要的是，我们用稀疏监督训练的模型在性能上与完全监督的基线相比具有竞争力，同时具有更多的数据和成本效益。
2021-01-28 cs.CL
Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking
Brno University of Technology（布拉格技术大学）
提出联合训练口语DST数据和跨域文本DST数据的方法，解决口语数据稀缺和跨域泛化问题，无需目标域口语训练数据即可获得良好性能。
2026-06-23 cs.CL cs.SD eess.AS
Goal-Oriented Multi-Task BERT-Based Dialogue State Tracker
Neural Networks and Deep Learning Lab（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
对话状态跟踪（DST）是Alexa或Siri等虚拟助手的核心组件。为了完成各种任务，这些助手需要支持越来越多的服务和API。第八届对话系统技术挑战赛的模式引导状态跟踪轨道强调了不可见服务的DST问题。组织者引入了具有多域对话的模式引导对话（SGD）数据集，并发布了zero-shot对话状态跟踪模型。在这项工作中，我们提出了一个面向GOaL的多任务基于BERT的对话状态跟踪器（GOLOMB）的启发架构的阅读理解问答系统。该模型“查询”对话历史与插槽和服务的描述以及插槽的可能值。这允许在多域对话中传输槽值，并具有扩展到看不见的槽类型的能力。我们的模型在SGD数据集上实现了53.97%的联合目标准确率，优于基线模型。
2020-02-05 cs.CL cs.LG stat.ML
