A Survey of Intent Classification and Slot-Filling Datasets for Task-Oriented Dialog
Vanderbilt University（范德堡大学）
本综述系统梳理了面向任务型对话的意图分类与槽填充公开数据集，分析其特点与优劣，并探讨其在评估大型语言模型零样本NLU能力中的新角色。
2026-09-09 cs.CL
Semi-Supervised Few-Shot Intent Classification and Slot Filling
Microsoft AI（微软人工智能研究院）
意图分类（IC）和槽填充（SF）是现代自然语言理解（NLU）系统的两个基本任务。收集和注释大量数据以训练用于此类系统的深度学习模型是不可扩展的。这个问题可以通过使用快速监督元学习技术（如原型网络）从少数例子中学习来解决。在这项工作中，我们系统地研究了对比学习和无监督数据增强方法如何使这些现有的有监督元学习管道受益于联合建模的IC/SF任务。通过对标准IC/SF基准测试（SNIPS和ATIS）的广泛实验，我们表明我们提出的半监督方法优于标准的监督元学习方法：对比损失与原型网络相结合，对于IC和SF任务，始终优于现有的最先进技术，而数据增强策略主要提高了Few-Shot IC。
2021-09-17 cs.CL
Few-shot Intent Classification and Slot Filling with Retrieved Examples
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）；Cornell University（康奈尔大学）；Google Assistant（谷歌助手）
少样本学习出现在重要的实际场景中，例如当自然语言理解系统需要为新兴的、资源稀缺的领域学习新的语义标签时。在本文中，我们探讨检索为基础的方法，意图分类和插槽填充任务，在Few-Shot设置。基于检索的方法基于检索索引中与输入相似的标记示例进行预测，因此可以通过更改索引而无需重新训练模型来适应新的领域。然而，将这些方法应用于具有复杂标签空间的任务（如插槽填充）并非易事。为此，我们提出了一个跨度级检索方法，通过一个新的批处理softmax目标，学习类似的上下文表示的跨度相同的标签。在推理时，我们使用检索到的span的标签来构建具有最高聚合得分的最终结构。我们的方法优于以前的系统在各种Few-Shot设置的CLINC和SNIPS基准。
2021-04-12 cs.CL
Multi-lingual Intent Detection and Slot Filling in a Joint BERT-based Model
Almawave（阿尔马维）
意图检测和槽填充是口语自然语言理解中的两个主要任务。常见的方法在基于注意力的递归框架中采用联合深度学习架构。在这项工作中，我们的目标是利用这些任务的“复发少”模型的成功。我们引入Bert-Joint，即，多语言联合文本分类和序列标记框架。两个著名的英语基准的实验评估表明，该模型可以获得强大的性能，即使在很少的注释数据。此外，我们为意大利语注释了一个新的数据集，我们观察到了类似的表现，而无需改变模型。
2019-07-05 cs.CL cs.LG
Bengali Intent Classification with Generative Adversarial BERT
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；Chittagong University of Engineering and Technology（吉大港工程技术大学）
该研究构建了包含30个类别的孟加拉语意图分类数据集BNIntent30，并提出GAN-BnBERT模型，结合BERT上下文嵌入与GAN生成建模能力，在该数据集上性能优于Bi-LSTM和独立BERT分类模型。
2023-12-17 cs.CL
ESIE-BERT: Enriching Sub-words Information Explicitly with BERT for Joint Intent Classification and SlotFilling
Southwestern University of Finance and Economics（西南财经大学）；Innovation Research Institute of Digital Economy and Interdisciplinary Sciences（数字经济与交叉科学创新研究院）；School of Business Administration, Faculty of Business Administration（工商管理学院（工商管理学部））
自然语言理解（NLU）有两个核心任务：意图分类和槽填充。预训练语言模型的成功使这两项任务取得了重大突破。其中一个有前途的解决方案称为BERT，可以联合优化这两个任务。我们注意到，基于BERT的模型通过字段算法将每个复杂的令牌转换为多个子令牌，这会产生令牌和标签之间的长度不匹配。这导致基于BERT的模型在标签预测方面做得不好，限制了模型性能的提高。许多现有的模型可以兼容这个问题，但一些隐藏的语义信息被丢弃在微调过程中。我们解决这个问题，通过引入一种新的联合方法上的BERT显式模型的多个子令牌功能后的单词标记化，从而有助于这两个任务。我们的方法可以很好地提取复杂的令牌的子词注意力适配器（SAA），它保留了整体的话语信息的上下文特征。此外，我们提出了一个意图注意适配器（IAA），以获得完整的句子功能，以帮助用户预测意图。实验结果表明，我们提出的模型是显着改善两个公共基准数据集。特别是，在航空公司旅行信息系统（ATIS）数据集上，空位填充F1分数从96.1提高到98.2（绝对值2.1%）。
2023-02-02 cs.AI cs.CL
Intent Detection and Slots Prompt in a Closed-Domain Chatbot
PeopleStrong
在本文中，我们介绍了一种方法，用于预测回答职业相关查询的聊天机器人的查询意图和插槽。我们采取多阶段的方法，其中两个过程（意图分类和插槽标记）在不同阶段通知对方的决策。该模型将问题分解为多个阶段，每次解决一个问题，并将当前阶段的相关结果传递到下一个阶段，从而减少后续阶段的搜索空间，并最终在每个阶段之后使分类和标记更加可行。我们还观察到，在每个阶段之后，在槽标记中放松模糊实体匹配的规则（通过在每个阶段保持单独的命名实体标记器）有助于我们提高性能，尽管以误报为代价。我们的模型已经达到了最先进的性能，在我们的数据集上，意图分类的F1得分为77.63%，插槽标记的F1得分为82.24%，我们将与论文一起公开发布。
2019-01-10 cs.AI cs.CL
An Explicit-Joint and Supervised-Contrastive Learning Framework for Few-Shot Intent Classification and Slot Filling
Dalian University of Technology（大连理工大学）；Peking University（北京大学）
意图分类（IC）和槽填充（SF）是面向任务的对话系统中的关键构建块。这两项任务密切相关，可以相互促进。由于只有少数话语可以用于识别快速出现的新意图和槽，因此在实现IC和SF时经常发生数据稀缺问题。然而，很少有IC/SF模型表现良好时，每个类的训练样本的数量是相当少的。在本文中，我们提出了一种新的显式联合和监督对比学习框架的Few-Shot意图分类和插槽填充。其要点如下。(i)该模型通过双向交互提取意图和槽表示，并扩展原型网络实现显式联合学习，保证了IC和SF任务能够相互增强。(ii)该模型集成了有监督的对比学习，确保来自同一类的样本被拉到一起，而来自不同类的样本被推开。此外，该模型遵循一种不常见但实用的情节构造方法，摆脱了传统的固定方式和镜头的设置，并允许不平衡的数据集。在三个公共数据集上的大量实验表明，我们的模型可以取得令人满意的性能。
2021-10-26 cs.AI cs.CL
Decoupling Representation and Knowledge for Few-Shot Intent Classification and Slot Filling
Huazhong University of Science and Technology（华中科技大学）；iWudao Tech；Banma Network Technology（斑马网络技术）
针对少样本意图分类和槽填充，提出解耦通用语义表示与领域特定知识迁移的方法，通过捕获意图-槽位和槽位-槽位关系，在Snips和FewJoint上达到最优性能。
2023-12-21 cs.AI cs.CL
Semantic Parsing for Task Oriented Dialog using Hierarchical Representations
Facebook Conversational AI（Facebook 对话人工智能）；Facebook AI Research（Facebook 人工智能研究院）
面向任务的对话系统通常首先将用户话语解析为包括意图和槽的语义框架。以前关于面向任务的意图和槽填充工作的工作被限制为每个查询一个意图和每个令牌一个槽标签，因此无法对复杂的组合请求进行建模。替代的语义解析系统已经将查询表示为逻辑形式，但是这些对于注释和解析是具有挑战性的。我们提出了一个层次化的语义解析的注释方案，允许组合查询的表示，并可以有效地和准确地解析标准的选区解析模型。我们发布了一个44k注释查询的数据集（fb.me/semanticparsingdialog），并表明解析模型在这个数据集上的性能优于序列到序列的方法。
2018-10-18 cs.CL
Effectiveness of Pre-training for Few-shot Intent Classification
The Hong Kong Polytechnic University（香港理工大学）；Fano Labs（范诺实验室）
本研究针对少样本意图分类任务，发现仅用约千条公开标注数据微调BERT得到的IntentBERT，性能优于现有基于大规模无标注语料的预训练模型，证实了少样本意图检测的可行性与跨域泛化性。
2024-09-15 cs.CL
Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection
IBM Consulting Italy（IBM意大利咨询公司）；IBM Research Europe（IBM欧洲研究院）
本文提出 Zero-Shot-BERT-Adapters 两阶段零样本流水线，将多语言意图分类建模为 NLI，并在已知与未见意图任务上优于基线。
2023-12-08 cs.CL cs.LG
Leveraging Pretrained ASR Encoders for Effective and Efficient End-to-End Speech Intent Classification and Slot Filling
NVIDIA（英伟达）
本文提出用 ASR 预训练编码器初始化端到端 Conformer-Transformer，并结合 Adapter 实现高效 SICSF，在 SLURP 上达到新最优且首次追平 oracle ASR 级联模型。
2023-07-13 cs.CL cs.CV cs.SD
MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages
Amazon（亚马逊）
我们提供了MASSIVE数据集-多语言Amazon Slu资源包（SLURP），用于插槽填充，意图分类和虚拟助手评估。MASSIVE包含1 M真实、并行、标记的虚拟助理话语，涵盖51种语言、18个领域、60种意图和55个插槽。MASSIVE是由专业翻译人员创建的，他们将仅限英语的SLURP数据集本地化为来自29个属的50种不同类型的语言。我们还介绍了XLM-R和mT5的建模结果，包括精确匹配精度，意图分类精度和插槽填充F1得分。我们已经公开发布了我们的数据集、建模代码和模型。
2022-06-17 cs.AI cs.CL cs.LG
Diagnosing Transformers in Task-Oriented Semantic Parsing
Facebook（脸书）
现代面向任务的语义解析方法通常使用seq 2seq Transformers将文本话语映射到由意图和槽组成的语义框架。虽然这些模型在经验上是强大的，但它们的具体优点和缺点在很大程度上仍未得到探索。在这项工作中，我们研究BART和XLM-R，两个国家的最先进的解析器，跨单语和多语言设置。我们的实验产生了几个关键结果：基于transformer的解析器不仅要消除意图/插槽的歧义，而且还要生成语法有效的框架。虽然预训练给Transformers注入了句法归纳偏差，但我们发现将话语跨度复制到帧中的歧义通常会导致树无效，这表明跨度提取是当前解析器的主要瓶颈。然而，作为一线希望，我们展示了基于transformer的解析器为框架是否可能正确或不正确提供了足够的指标，使它们更容易部署在生产环境中。
2021-05-27 cs.CL
JPIS: A Joint Model for Profile-based Intent Detection and Slot Filling with Slot-to-Intent Attention
VinAI Research（VinAI研究院）
针对基于用户画像的意图检测与槽填充研究不足的问题，提出联合模型JPIS，融合画像信息并引入槽到意图注意力机制，在中文基准数据集ProSLU上取得最优整体准确率。
2023-12-16 cs.CL
MISCA: A Joint Model for Multiple Intent Detection and Slot Filling with Intent-Slot Co-Attention
VinAI Research（VinAI研究院）
本文提出 MISCA 联合模型，通过意图-槽位协同注意力与标签注意力避免图构建和 token 级意图投票，并在 MixATIS、MixSNIPS 上取得最先进性能。
2023-12-10 cs.CL
Intent Detection and Slot Filling for Vietnamese
VinAI Research（VinAI研究院）
意图检测和槽填充是口语和自然语言理解中的重要任务。然而，越南语在这些研究课题中是一种低资源语言。在本文中，我们为越南人提供了第一个公共意图检测和插槽填充数据集。此外，我们还提出了一个用于意图检测和槽填充的联合模型，该模型扩展了最近最先进的JointBERT+CRF模型，具有意图槽注意层，以通过“软”意图标签嵌入将意图上下文信息显式地纳入槽填充。在我们的越南数据集上的实验结果表明，我们提出的模型显着优于JointBERT+CRF。我们公开发布我们的数据集和模型的实现：https://github.com/VinAIResearch/JointIDSF
2021-06-09 cs.CL
Traffic Event Detection as a Slot Filling Problem
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec
在本文中，我们介绍了新的问题提取细粒度的交通信息从Twitter流也公开提供两个（构建）交通相关的数据集从比利时和布鲁塞尔首都地区。特别地，我们用几种模型进行实验以识别（i）推文是否与交通相关，以及（ii）在推文与交通相关的情况下，识别关于事件的更细粒度的信息（例如，事件的类型，事件发生的地点）。为此，我们将（i）识别推文是否是交通相关事件的问题框定为文本分类子任务，以及（ii）识别更细粒度的交通相关信息的问题框定为时隙填充子任务，其中细粒度信息（例如，其中事件已经发生）被表示为特定类型的槽/实体。我们建议使用几种方法，处理这两个子任务，无论是单独或在一个联合设置，我们评估所提出的方法解决交通事件检测问题的有效性。实验结果表明，所提出的架构实现了高性能分数（即，在F $_{1}$得分方面超过95%）对两个子任务的构建数据集（即，文本分类和槽填充），即使在迁移学习场景中也是如此。此外，通过在包括推文的每个令牌中并入推文级信息（对于基于BERT的模型）可以导致联合设置的性能改进。
2021-09-13 cs.CL
GL-GIN: Fast and Accurate Non-Autoregressive Model for Joint Multiple Intent Detection and Slot Filling
Harbin Institute of Technology（哈尔滨工业大学）
多意图SLU可以处理一个话语中的多个意图，这引起了越来越多的关注。然而，最先进的联合模型严重依赖于自回归方法，导致两个问题：推理速度慢和信息泄漏。本文探索了一种非自回归模型用于联合多意图检测和槽填充，实现了更快速、更准确的检测。具体来说，我们提出了一个全局-局部图交互网络（GL-GIN），其中提出了一个局部槽感知图交互层来模拟槽依赖，以减轻不协调槽问题，而引入了一个全局意图-槽图交互层来模拟多个意图与话语中所有槽之间的交互。在两个公共数据集上的实验结果表明，我们的框架实现了最先进的性能，同时速度提高了11.5倍。
2021-06-03 cs.CL
Joint Multiple Intent Detection and Slot Filling via Self-distillation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
意图检测和槽填充是自然语言理解（NLU）中的两个主要任务，用于从用户的话语中识别用户的需求。这两项任务高度相关，经常联合训练。然而，大多数先前的作品假设每个话语仅对应于一个意图，忽略了用户话语在许多情况下可以包括多个意图的事实。在本文中，我们提出了一种新的自蒸馏联合NLU模型（SDJN）的多意图NLU。首先，我们将多意图检测作为一个弱监督问题，并采用多实例学习（MIL）方法。然后，我们通过自蒸馏设计了一个辅助循环，其中有三个顺序排列的解码器：初始槽解码器，MIL意图解码器和最终槽解码器。每个解码器的输出将作为下一个解码器的辅助信息。利用MIL Intent Decoder提供的辅助知识，我们将Final Slot Decoder设置为教师模型，将知识传递回Initial Slot Decoder以完成循环。辅助循环使意图和插槽能够相互深入指导，并进一步提高整体NLU性能。在两个公共多意图数据集上的实验结果表明，与其他模型相比，我们的模型具有很强的性能。
2021-08-18 cs.CL
Joint Slot Filling and Intent Detection via Capsule Neural Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Alibaba Group（阿里巴巴集团）；Tencent Medical AI Lab（腾讯医疗人工智能实验室）；Institute for Data Science, Tsinghua University（清华大学数据科学研究院）
能够将单词识别为槽并检测话语的意图一直是自然语言理解中的一个尖锐问题。现有的工作要么单独对待槽填充和意图检测在一个管道的方式，或采用联合模型，顺序标记槽，同时总结话语级的意图，而不显式地保持单词，槽，和意图之间的层次关系。为了利用语义层次结构进行有效的建模，我们提出了一个基于胶囊的神经网络模型，通过动态路由协议模式完成插槽填充和意图检测。提出了一种重新路由方案，以进一步协同使用推断的意图表示的槽填充性能。两个真实世界的数据集上的实验表明，我们的模型相比，其他替代模型架构，以及现有的自然语言理解服务的有效性。
2019-07-08 cs.CL
From Disfluency Detection to Intent Detection and Slot Filling
VinAI Research（VinAI研究院）；The University of Melbourne（墨尔本大学）
我们提出了第一个实证研究调查的影响，不流利的意图检测和槽填充下游任务的检测。我们对越南语进行了这项研究-这是一种低资源语言，以前没有研究，也没有公共数据集可用于不流利检测。首先，我们通过手动添加上下文不流畅并对其进行注释来扩展流畅的越南语意图检测和插槽填充数据集PhoATIS。然后，我们进行实验，使用强基线的不流利检测和联合意图检测和插槽填充，这是基于预训练的语言模型。我们发现：（i）不流利性对下游意图检测和槽填充任务的性能产生负面影响，以及（ii）在不流利性上下文中，预训练的多语言语言模型XLM-R有助于产生比预训练的单语言语言模型PhoBERT更好的意图检测和槽填充性能，并且这与通常在流利性上下文中发现的相反。
2022-09-17 cs.CL
BERT-DST: Scalable End-to-End Dialogue State Tracking with Bidirectional Encoder Representations from Transformer
Carnegie Mellon University（卡内基梅隆大学）
对话状态跟踪（DST）中一个重要但很少解决的问题是动态本体的可扩展性（例如，电影、餐馆）和看不见的槽值。我们专注于一个特定的条件，其中本体是未知的状态跟踪器，但目标槽值（除了没有和dontcare），可能在训练过程中看不见，可以在对话上下文中找到的词段。先前的方法通常依赖于从n-gram枚举或时隙标记器输出的候选生成，这可能是低效的或遭受错误传播。我们提出了BERT-DST，一个端到端的对话状态跟踪器，直接从对话上下文中提取插槽值。我们使用BERT作为对话上下文编码器，其上下文化的语言表示适合于可扩展的DST，以从其语义上下文中识别槽值。此外，我们采用编码器参数共享在所有槽有两个优点：（1）参数的数量不与本体线性增长。(2)语言表征知识可以在槽之间转移。实证评估表明，跨时隙参数共享的BERT-DST在基准可扩展DST数据集Sim-M和Sim-R上的性能优于先前的工作，并在标准DSTC 2和WOZ 2.0数据集上实现了有竞争力的性能。
2019-07-05 cs.CL
Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
Carnegie Mellon University（卡内基梅隆大学）
基于注意力的编码器-解码器神经网络模型最近在机器翻译和语音识别中显示出有希望的结果。在这项工作中，我们提出了一个基于注意力的神经网络模型的联合意图检测和槽填充，这两个关键步骤，许多语音理解和对话系统。与机器翻译和语音识别不同，对齐在槽填充中是显式的。我们探索不同的策略，将此对齐信息的编码器-解码器框架。借鉴编码器-解码器模型中的注意力机制，我们进一步提出在基于编码器的RNN模型中引入注意力。这种关注为意图分类和插槽标签预测提供了额外的信息。我们的独立任务模型在基准ATIS任务上实现了最先进的意图检测出错率和插槽填充F1得分。我们的联合训练模型在意图检测上进一步获得了0.56%的绝对（23.8%的相对）错误减少，并且在独立任务模型上获得了0.23%的绝对增益。
2016-09-06 cs.CL
Intent Recognition and Unsupervised Slot Identification for Low Resourced Spoken Dialog Systems
Carnegie Mellon University（卡内基梅隆大学）
意图识别和槽识别是口语语言理解（SLU）系统的重要组成部分。在本文中，我们提出了一种新的方法对这些任务的背景下，低资源和非书面语言。我们提出了一个基于声学的SLU系统，它使用通用的电话识别系统将语音转换为音标。我们建立了一个无词的自然语言理解模块，它可以从这些音标中进行意图识别和槽识别。我们提出的SLU系统执行资源丰富的情况下，具有竞争力，并显着优于现有的方法，可用数据量减少。我们观察到泰米尔语的意图分类改善了10%以上，僧伽罗语的意图分类改善了5%以上。我们还提出了一种新的方法对无监督槽识别使用归一化的注意力分数。该方法可用于无监督的时隙标记、数据增强以及仅用一个语音记录以一次性方式为新时隙生成数据
2021-09-28 cs.CL
Towards Zero-Shot Frame Semantic Parsing with Task Agnostic Ontologies and Simple Labels
Meta AI；Northwestern University（西北大学）
提出OpenFSP框架，利用领域无关槽位类型和简单标签，结合句子编码器匹配算法，实现零样本框架语义解析，在TopV2数据集上优于强基线。
2023-05-05 cs.CL cs.LG
Task Conditioned BERT for Joint Intent Detection and Slot-filling
Universidade NOVA de Lisboa（新里斯本大学）；Farfetch（发发奇）
本文提出任务条件化BERT，通过在统一Transformer编码器上同时条件化意图和多种槽位推断，在MultiWOZ上使联合意图与槽位检测最高提升14.4%，并在真实对话中取得较高性能。
2023-08-11 cs.CL
A Persian Benchmark for Joint Intent Detection and Slot Filling
Amirkabir University of Technology（阿米卡比尔理工大学）；Fasa University（法萨大学）
自然语言理解（NLU）在当今的技术中非常重要，因为它使机器能够理解和处理人类语言，从而改善人机交互，并在虚拟助手，聊天机器人和基于语言的AI系统等领域取得进步。本文强调了推进低资源语言NLU领域的重要性。由于意图检测和槽填充是NLU中的关键任务，因此过去已经使用了广泛使用的数据集ATIS和SNIPS。但是，这些数据集仅适用于英语，不支持其他语言。在这项工作中，我们的目标是通过创建一个波斯基准联合意图检测和插槽填充的基础上ATIS数据集来解决这一差距。为了评估我们的基准测试的有效性，我们采用了最先进的意图检测和插槽填充方法。
2023-03-01 cs.CL
Generalized Multiple Intent Conditioned Slot Filling
UiPath（UiPath公司）；University College London（伦敦大学学院）
本文提出一种广义多意图条件槽位填充方法，通过移除意图唯一性约束，将其转化为JSON生成任务并使用T5模型训练，结合DBpedia与GPT-3生成的数据集，显著提升了性能并具备泛化能力。
2023-05-18 cs.CL
Zero-Shot Slot and Intent Detection in Low-Resource Languages
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文面向低资源语言的零样本槽位与意图检测，评估多种模型与设置，并验证 mT0 在未见语言和 SID 任务上的泛化能力，最佳模型较基线最高提升 30 个 F1 点。
2023-04-26 cs.CL
A Generative Model for Joint Multiple Intent Detection and Slot Filling
DataSelect AI；University of Hong Kong（香港大学）
本文提出一种生成模型，同时解决多意图检测和槽填充问题，通过引入归纳偏置的注意力解码器，并构建新的多意图SLU数据集，实现在公开数据集上的最佳性能。
2026-02-12 cs.CL
Noise-BERT: A Unified Perturbation-Robust Framework with Noise Alignment Pre-training for Noisy Slot Filling Task
Beijing University of Posts and Telecommunications（北京邮电大学）
针对对话系统槽填充任务受输入噪声扰动、现有方法泛化性不足的问题，提出带噪声对齐预训练的Noise-BERT框架，结合对比学习与对抗训练，在噪声槽填充任务上性能超越现有最优模型，兼具有效性与泛化性。
2024-03-06 cs.CL
Towards Joint Intent Detection and Slot Filling via Higher-order Attention
口语语言理解的两个主要任务是意图检测和语槽填充。最近，注意力机制已被证明是有效的，在联合优化这两个任务的互动方式。然而，最新的基于注意力的研究成果只集中在一阶注意力设计上，而忽略了对高阶注意力机制的探索。在本文中，我们提出了一个双线性注意力块，它利用双线性池来同时利用上下文和通道双线性注意力分布来捕获输入意图或槽特征之间的二阶交互。更高甚至无穷阶的相互作用是通过堆叠许多块并将指数线性单元（ELU）分配给块来构建的。在解码阶段之前，我们引入了动态特征融合层，以更有效的方式隐式地融合意图和槽信息。从技术上讲，我们首先计算两个相关矩阵来对两个特征进行加权，而不是简单地连接意图和槽特征。此外，我们提出了高阶注意力网络的SLU任务。两个基准数据集上的实验表明，我们的方法产生的改进相比，国家的最先进的方法。我们还提供讨论，以证明所提出的方法的有效性。
2021-09-22 cs.CL
Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection
Sofia University “St. Kliment Ohridski”（圣克莱门特·奥里季斯基索菲亚大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学））
在自然语言理解中，检测用户的意图并在话语的词之间找到对应的槽是重要的任务。它们相互关联的性质使得它们的联合建模成为训练此类模型的标准部分。此外，缺乏数据和专门词汇也带来了额外的挑战。最近，预训练语言模型的进展，即ELMo和BERT等情境化模型，通过挖掘训练非常大的模型的潜力，对特定任务数据集进行几步微调，彻底改变了该领域。在这里，我们利用这样的模型，即BERT和RoBERTa，我们设计了一个新的架构上。此外，我们提出了一个意图池注意力机制，我们加强了插槽填充任务融合意图分布，文字功能，和令牌表示。在标准数据集上的实验结果表明，我们的模型的性能优于当前的非BERT技术水平以及一些更强的基于BERT的基线。
2021-10-05 cs.CL
OneNet: Joint Domain, Intent, Slot Prediction for Spoken Language Understanding
Amazon Alexa Brain（亚马逊Alexa智能大脑部门）；Microsoft Research（微软研究院）；Toyota Technological Institute（丰田理工学院）
在实践中，大多数口语语言理解系统以流水线方式处理用户输入;首先预测域，然后根据预测域的语义框架推断意图和语义槽。然而，流水线方法有一些缺点：错误传播和缺乏信息共享。为了解决这些问题，我们提出了一个统一的神经网络，共同执行域，意图和插槽预测。我们的方法采用多任务学习的原则架构，为每个任务折叠最先进的模型。再加上一些成分，例如对拼写敏感的输入编码和课程培训，我们的模型在所有领域的所有三个任务中都有了显著的改进，包括使用Oracle预测进行领域检测，对商业个人助理的真实用户数据。
2018-01-16 cs.CL
Lexicon-injected Semantic Parsing for Task-Oriented Dialog
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
最近，使用对话系统的分层表示的语义解析已经吸引了大量的关注。面向任务的语法分析（TOP）是一种以意图和槽作为嵌套树节点标签的树表示，已被提出用于分析用户话语。先前的TOP解析方法局限于处理看不见的动态槽值（例如，添加了新的歌曲和位置），这对于真实的对话系统来说是一个紧迫的问题。为了缓解这个问题，我们首先提出了一个新的跨度分裂表示跨度为基础的分析器，优于现有的方法。在此基础上，提出了一种新的词典注入语义分析器，该分析器将树表示的槽标签作为词典，并将词汇特征注入到分析器的跨度表示中。一个额外的插槽消歧技术涉及到从词典中删除不适当的跨度匹配的发生。我们最好的解析器在TOP数据集上产生了一个新的最先进的结果（87.62%），并证明了它对实际面向任务的对话中频繁更新的槽词典条目的适应性，而不需要重新训练。
2022-11-26 cs.AI cs.CL
Enhancing Slot Tagging with Intent Features for Task Oriented Natural Language Understanding using BERT
Samsung R&D Institute（三星研发院）；Indian Institute of Technology（印度理工学院）
最近的联合意图检测和插槽标记模型与单独的模型相比，性能有所提高。在许多真实世界的数据集中，槽标签和值与其意图标签有很强的相关性。在这种情况下，意图标签信息可以充当槽标记模型的有用特征。在本文中，我们通过3种技术在联合意图和插槽检测模型的插槽标记任务中研究了利用意图标签特征的效果。我们在基准口语数据集SNIPS和ATIS以及大型私人Bixby数据集上评估了我们的技术，并观察到在最先进的模型上改进了插槽标记性能。
2022-05-23 cs.AI cs.CL
Recent Neural Methods on Slot Filling and Intent Classification for Task-Oriented Dialogue Systems: A Survey
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
近年来，在深度学习技术和对会话AI的高需求的推动下，已经提出了各种方法来解决在面向任务的对话系统中引出和理解用户需求的能力。我们专注于两个核心任务，插槽填充（SF）和意图分类（IC），并调查如何基于神经的模型已经迅速发展，以解决自然语言理解对话系统。我们介绍了三种神经体系结构：独立模型，分别对SF和IC进行建模，联合模型，同时利用两个任务的共同利益，以及迁移学习模型，将模型扩展到新的领域。我们讨论了SF和IC的研究现状，并强调了仍然需要注意的挑战。
2020-11-01 cs.CL
A Stack-Propagation Framework with Token-Level Intent Detection for Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）
意图检测和槽填充是构建口语语言理解（SLU）系统的两个主要任务。这两个任务紧密相连，插槽通常高度依赖于意图。在本文中，我们提出了一个新的框架SLU更好地纳入意图信息，进一步指导槽填充。在我们的框架中，我们采用了一个联合模型与堆栈传播，可以直接使用的意图信息作为输入槽填充，从而捕捉意图语义知识。此外，为了进一步减轻错误传播，我们执行堆栈传播框架的令牌级意图检测。在两个公开数据集上的实验表明，我们的模型达到了最先进的性能，并大大优于其他以前的方法。最后，我们使用双向编码器表示从Transformer（BERT）模型在我们的框架中，这进一步提高了我们在SLU任务的性能。
2019-09-05 cs.CL
Joint Intent Detection and Slot Filling with Wheel-Graph Attention Networks
Guangdong University of Technology（广东工业大学）
意图检测和槽填充是构建口语语言理解系统的两个基本任务。多个基于深度学习的联合模型在这两项任务上都表现出了出色的效果。在本文中，我们提出了一个新的联合模型与轮图注意力网络（Wheel-GAT），它能够建模相关的连接直接的意图检测和插槽填充。为了构建话语的图形结构，我们创建意图节点、槽节点和有向边。意图节点可以提供用于槽填充的话语级语义信息，而槽节点还可以提供用于意图的本地关键字信息。实验表明，我们的模型在两个公共数据集上的性能优于多个基线。此外，我们还证明，使用双向编码器表示从Transformer（BERT）模型进一步提高了SLU任务的性能。
2021-02-09 cs.AI cs.CL
A Financial Service Chatbot based on Deep Bidirectional Transformers
The Vanguard Group（先锋集团）
我们开发了一个使用深度双向Transformer模型（BERT）的聊天机器人来处理金融投资客户服务中的客户问题。机器人可以识别381个意图，并决定何时说“我不知道”，并将不相关/不确定的问题升级到人类操作员。我们的主要创新贡献是讨论了BERT的不确定性度量，其中三种不同的方法在实际问题上进行了系统的比较。我们研究了BERT中的两个不确定性度量，信息熵和方差，然后通过混合整数规划来优化决策阈值。另一个新的贡献是使用BERT作为自动拼写校正中的语言模型。带有意外拼写错误的输入会显著降低意图分类性能。所提出的方法结合了掩蔽语言模型和单词编辑距离的概率，以找到拼写错误的单词的最佳更正。聊天机器人和整个对话式AI系统是使用开源工具开发的，并部署在我们公司的内部网中。所提出的方法可以是有用的行业寻求类似的内部解决方案，在其特定的业务领域。我们在Github上分享了我们所有的代码和一个基于公共数据集构建的聊天机器人示例。
2020-02-17 cs.CL cs.LG stat.ML
Add Noise, Tasks, or Layers? MaiNLP at the VarDial 2025 Shared Task on Norwegian Dialectal Slot and Intent Detection
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；MaiNLP
该研究参加 VarDial 2025 挪威方言 SID 共享任务，系统比较训练语言、字符噪声、辅助任务和 Layer Swapping，最佳模型达到 97.6% 意图准确率与 85.6% 槽位 F1。
2025-01-07 cs.CL
A Co-Interactive Transformer for Joint Slot Filling and Intent Detection
Harbin Institute of Technology（哈尔滨工业大学）
意图检测和槽填充是构建口语语言理解（SLU）系统的两个主要任务。这两个任务密切相关，一个任务的信息可以在另一个任务中使用。以前的研究要么单独建模这两个任务，要么只考虑从意图到插槽的单一信息流。现有的方法都没有同时对两个任务之间的双向连接进行建模。在本文中，我们提出了一个共同互动的Transformer，以考虑这两个任务之间的交叉影响。我们没有采用vanilla Transformer中的自我注意力机制，而是提出了一个协同交互模块，通过在两个相关任务之间建立双向连接来考虑交叉影响。此外，所提出的协同交互模块可以堆叠，以通过共同的功能逐步增强彼此。在两个公共数据集（SNIPS和ATIS）上的实验结果表明，我们的模型达到了最先进的性能，并有相当大的改进（整体访问率分别为+3.4%和+0.9%）。大量的实验经验验证，我们的模型成功地捕捉到相互作用的知识。
2021-03-08 cs.CL
Improving Dialectal Slot and Intent Detection with Auxiliary Tasks: A Multi-Dialectal Bavarian Case Study
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对巴伐利亚多方言 SID 数据稀缺问题，本文构建慕尼黑方言数据集并比较多种辅助任务与训练范式，发现中间任务训练及 NER 最有效，显著提升意图分类与槽位填充性能。
2025-01-07 cs.CL
Zero-Shot Learning for Joint Intent and Slot Labeling
AWS AI Labs（亚马逊云科技人工智能实验室）
获得面向任务的对话系统的基于训练神经网络（NN）的自然语言理解（NLU）组件所需的大量的任务级意图和令牌级槽标签注释是昂贵且困难的，特别是对于具有大量且不断增长的意图和槽类型的许多现实世界任务。虽然零样本学习方法，不需要标记的例子-只有功能和辅助信息-已经提出了只用于插槽标签，我们表明，可以有利地执行联合zero-shot意图分类和插槽标签。我们证明了捕获意图和插槽之间的依赖关系，以及在zero shot设置中的话语中的不同插槽之间的依赖关系的价值。我们描述了NN架构，翻译之间的单词和句子嵌入空间，并证明这些修改是必要的，使零样本学习这项任务。我们展示了强基线的实质性改进，并通过可视化和消融研究解释了每个架构修改背后的直觉。
2022-11-29 cs.AI cs.CL
Joint Intent Detection And Slot Filling Based on Continual Learning Model
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
槽填充和意图检测已经成为自然语言理解领域的一个重要课题。尽管槽填充与意图检测密切相关，但是这两个任务所需的信息的特性是不同的，而这些方法中的大多数可能没有完全意识到这个问题。此外，有效地平衡两个任务的准确性是联合学习模型不可避免的问题。本文提出了一种持续学习相关模型（CLIM），该模型考虑了不同特征的语义信息，有效地平衡了意图检测和槽填充之间的准确性。实验结果表明，CLIM在ATIS和Snips上实现了最先进的槽填充和意图检测性能。
2021-02-22 cs.CL eess.AS
Multi-grained Label Refinement Network with Dependency Structures for Joint Intent Detection and Slot Filling
Nankai University（南开大学）
槽填充和意图检测是自然语言理解领域的两个基本任务。由于这两个任务之间的强相关性，以前的研究致力于建模与多任务学习或设计功能交互模块，以提高每个任务的性能。然而，现有的方法都没有考虑句子的结构信息和两个任务的标签语义之间的相关性。话语的意图和语义成分取决于句子的句法成分。在本文中，我们研究了一个多粒度的标签细化网络，它利用依赖结构和标签语义嵌入。考虑到增强句法表示能力，我们通过图注意层将句子的依存结构引入到模型中。为了捕捉句法信息和任务标签之间的语义依赖关系，我们通过注意力机制将任务特定特征与相应的标签嵌入相结合。实验结果表明，我们的模型在两个公共数据集上达到了竞争性的性能。
2022-09-09 cs.CL
SlotRefine: A Fast Non-Autoregressive Model for Joint Intent Detection and Slot Filling
Peking University（北京大学）；University of Washington（华盛顿大学）；Wuhan University（武汉大学）
槽填充和意图检测是口语语言理解（SLU）系统的两个主要任务。在本文中，我们提出了一种新的非自回归模型命名为SlotRefine联合意图检测和插槽填充。此外，我们设计了一种新的两遍迭代机制来处理非自回归模型的条件独立性所引起的不协调槽问题。实验表明，我们的模型显着优于以前的模型在插槽填充任务，同时大大加快解码（高达X 10.77）。深入分析表明：1）预训练方案可以进一步增强我们的模型; 2）两遍机制确实可以弥补不协调的时隙。
2020-10-31 cs.AI cs.CL cs.LG
Automatic Intent-Slot Induction for Dialogue Systems
Ping An Life Insurance of China, Ltd.（中国平安人寿保险股份有限公司）
自动和准确地识别用户意图并从他们的口语中填充相关联的槽是对话系统成功的关键。传统的方法需要手动定义DOMAIN-INTENT-SLOT模式，并要求许多领域专家注释相应的话语，在此基础上训练神经模型。这一过程带来的挑战，信息共享阻碍，模式外，或数据稀疏的开放域对话系统。为了应对这些挑战，我们探索了一个新的任务{ \em自动意图槽归纳}，并提出了一个新的域独立的工具。也就是说，我们设计了一个由粗到精的三步过程，包括角色标记、概念挖掘和模式挖掘（RCAP）：（1）角色标记：从用户的话语中提取关键词，并通过序列标记将其分类为四个粗略定义的意图角色;（2）概念挖掘：将提取的意图角色提及聚类并将其命名为抽象的细粒度概念;（3）模式挖掘：将Apriori算法应用于意图角色模式的挖掘，并利用这些粗粒度的意图角色标签和细粒度的概念自动推断意图槽。在域内和域外数据集上的实验结果表明：（1）RCAP可以生成令人满意的SLU模式，性能优于现有的监督学习方法：（2）RCAP可以直接应用于域外数据集，在意图检测和槽填充上分别提高了76%和41%;（3）我们的RCAP在通用意图槽提取方面表现出了强大的功能，并且人工工作量更少，这为新领域的模式归纳和可推广的对话系统的不可见意图槽发现开辟了途径。
2021-03-16 cs.AI cs.CL
AGIF: An Adaptive Graph-Interactive Framework for Joint Multiple Intent Detection and Slot Filling
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
在现实世界中，用户通常在同一话语中具有多个意图。遗憾的是，大多数口语语言理解（SLU）模型要么主要关注单个意图场景，要么简单地将所有令牌的整体意图上下文向量合并，而忽略了用于令牌级槽预测的细粒度多意图信息集成。在本文中，我们提出了一个自适应图形交互框架（AGIF）的联合多意图检测和插槽填充，其中我们引入了一个意图插槽图交互层来模拟插槽和意图之间的强相关性。这种交互层自适应地应用于每个token，有利于自动提取相关的意图信息，为token级的slot预测提供细粒度的意图信息集成。在三个多意图数据集上的实验结果表明，该框架获得了实质性的改善，达到了最先进的性能。此外，我们的框架在两个单意图数据集上实现了新的最先进的性能。
2020-10-17 cs.CL cs.SD eess.AS
Parallel Intent and Slot Prediction using MLB Fusion
Samsung R&D Institute, India - Bangalore（三星研发研究所印度班加罗尔分部）
意图和槽识别是口语语言理解的两个重要任务。对于自然语言话语，这两个任务之间存在高度相关性。已经使用递归神经网络（RNN）、卷积神经网络（CNN）和基于注意力的模型对其中的每一个做了大量的工作。过去的大多数工作使用两个单独的模型进行意图和时隙预测。他们中的一些人还使用了序列到序列类型的模型，其中在评估话语级意图之后预测时隙。在这项工作中，我们提出了一个并行的意图和插槽预测技术，其中单独的双向门控递归单元（GRU）用于每个任务。我们使用MLB（多模态低秩双线性注意力网络）融合来提高意图和时隙学习的性能。据我们所知，这是第一次尝试使用这种技术对基于文本的问题。此外，我们提出的方法在两个基准数据集上的意图和槽预测方面都优于现有的最先进的结果
2020-03-20 cs.AI cs.CL eess.AS
MIDAS: Multi-level Intent, Domain, And Slot Knowledge Distillation for Multi-turn NLU
The University of Sydney（悉尼大学）；Kyung Hee University（庆熙大学）；The University of Melbourne（墨尔本大学）
本文提出MIDAS方法，通过多级意图、领域和槽位知识蒸馏构建多教师模型指导学生模型，有效提升多轮对话NLU性能。
2025-05-30 cs.CL
Explainable Slot Type Attentions to Improve Joint Intent Detection and Slot Filling
Samsung Research America（三星美国研究院）；Carnegie Mellon University（卡内基梅隆大学）
联合意图检测和槽填充是自然语言理解（NLU）中的一个关键研究课题。现有的联合意图和槽填充系统共同分析和计算所有槽类型的特征，并且重要的是，无法解释槽填充模型决策。在这项工作中，我们提出了一种新的方法：（i）学习生成额外的插槽类型特定的功能，以提高准确性和（ii）首次在联合NLU模型中提供插槽填充决策的解释。我们使用一组二进制分类器进行额外的约束监督，用于插槽类型特定的特征学习，从而确保在此过程中学习到适当的注意力权重，以解释话语的插槽填充决策。我们的模型本质上是可解释的，不需要任何事后处理。我们在两个广泛使用的数据集上评估了我们的方法，并显示了准确性的提高。此外，还详细分析了独占槽的可解释性。
2022-10-19 cs.AI cs.CL cs.LG
