Position-aware Self-attention with Relative Positional Encodings for Slot Filling
Center for Information and Language Processing（信息与语言处理中心）；Ludwig Maximilian University of Munich（慕尼黑大学）
本文介绍了如何将自注意与相对位置编码的任务的关系抽取。我们建议使用自注意编码器层与一个额外的位置感知注意层，考虑到查询和对象在句子中的位置。自注意编码器还使用相对位置编码的自定义实现，该相对位置编码允许句子中的每个单词考虑其左右上下文。该模型的评估是在TACRED数据集上完成的。所提出的模型仅依赖于注意力（不使用递归层或卷积层），同时提高了w.r.t.以前的艺术状态。
2018-07-09 cs.AI cs.CL cs.LG
TEST_POSITIVE at W-NUT 2020 Shared Task-3: Joint Event Multi-task Learning for Slot Filling in Noisy Text
Penn State（宾夕法尼亚州立大学）；UNC at Chapel Hill（北卡罗来纳大学教堂山分校）；NC State（北卡罗来纳州立大学）
从Twitter中提取COVID-19事件的竞争是开发可以从推文中自动提取相关事件的系统。构建的系统应该为每个事件识别不同的预定义时隙，以便回答重要的问题（例如，谁被检测为阳性？人的年龄是多少？他/她在哪里？）。为了应对这些挑战，我们提出了联合事件多任务学习（JOELIN）模型。通过统一的全局学习框架，我们利用不同事件的所有训练数据来学习和微调语言模型。此外，我们实现了一个类型感知的后处理过程中使用命名实体识别（NER），以进一步过滤的预测。JOELIN在微型F1中的表现超过BERT基线17.2%。
2020-09-29 cs.CL cs.LG cs.SI
Improving Dialectal Slot and Intent Detection with Auxiliary Tasks: A Multi-Dialectal Bavarian Case Study
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对巴伐利亚多方言 SID 数据稀缺问题，本文构建慕尼黑方言数据集并比较多种辅助任务与训练范式，发现中间任务训练及 NER 最有效，显著提升意图分类与槽位填充性能。
2025-01-07 cs.CL
Bi-directional Joint Neural Networks for Intent Classification and Slot Filling
University of Sydney（悉尼大学）
意图分类和槽填充是自然语言理解的两个关键任务。传统上，这两项任务是独立进行的。然而，最近的意图分类和插槽填充的联合模型已经达到了最先进的性能，并证明了这两个任务之间存在很强的关系。本文提出了一种双向联合的意图分类和槽填充模型，该模型通过BERT和双向联合的自然语言理解机制（包括intent2slot和slot2intent），实现意图分类和槽填充之间的相互性能增强。评估结果表明，我们的模型在意图分类准确性，插槽填充F1方面取得了最先进的结果，并在应用于公开可用的基准数据集ATIS（88.6%）和SNIPS（92.8%）时显着提高了语义框架的准确性。
2022-02-26 cs.CL
Intent Detection and Slot Filling for Vietnamese
VinAI Research（VinAI研究院）
意图检测和槽填充是口语和自然语言理解中的重要任务。然而，越南语在这些研究课题中是一种低资源语言。在本文中，我们为越南人提供了第一个公共意图检测和插槽填充数据集。此外，我们还提出了一个用于意图检测和槽填充的联合模型，该模型扩展了最近最先进的JointBERT+CRF模型，具有意图槽注意层，以通过“软”意图标签嵌入将意图上下文信息显式地纳入槽填充。在我们的越南数据集上的实验结果表明，我们提出的模型显着优于JointBERT+CRF。我们公开发布我们的数据集和模型的实现：https://github.com/VinAIResearch/JointIDSF
2021-06-09 cs.CL
Type-aware Convolutional Neural Networks for Slot Filling
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
槽填充任务旨在从文本中提取关于实体的查询的答案，例如“Who founded Apple”。在本文中，我们专注于槽填充系统的关系分类组件。我们提出了类型感知的卷积神经网络，以受益于实体和关系分类之间的相互依赖性。特别是，我们探讨了不同的方式集成的关系参数的命名实体类型到一个神经网络的关系分类，包括联合训练和结构化的预测方法。据我们所知，这是第一次研究类型感知神经网络的插槽填充。类型感知模型可以为我们的插槽填充管道带来最佳结果。联合训练的性能与结构化预测相当。为了了解插槽填充管道的不同组件的影响，我们进行了召回分析，手动错误分析和几个消融研究。这种分析对其他填补空缺的研究人员特别重要，因为正式的填补空缺评价只评估管道产出。分析表明，特别共指消解和我们的卷积神经网络对槽填充管道的最终性能有很大的积极影响。所提出的模型，我们的系统的源代码以及我们的共指资源是免费提供的。
2019-10-01 cs.CL
A survey of joint intent detection and slot-filling models in natural language understanding
The University of Sydney（悉尼大学）
意图分类和槽填充是自然语言理解的两个关键任务。传统上，这两项任务被认为是独立进行的。然而，最近，用于意图分类和槽填充的联合模型已经实现了最先进的性能，并且已经证明这两个任务之间存在很强的关系。本文是对过去在自然语言理解方面的工作的汇编，特别是联合意图分类和槽填充。到目前为止，我们在这项研究中观察到三个里程碑：意图检测，以确定扬声器的意图，插槽填充，以标记语音/文本中的每个单词标记，最后，联合意图分类和插槽填充任务。在这篇文章中，我们描述了趋势，方法，问题，数据集，意图分类和插槽填充的评估指标。我们还讨论了代表性的性能值，描述共享的任务，并提供指针，以未来的工作，在以前的作品。为了解释最新的趋势，我们提供了多个表格，描述和总结了过去在不同维度上的研究，包括特征类型、基本方法和使用的数据集域。
2021-02-22 cs.CL
From Disfluency Detection to Intent Detection and Slot Filling
VinAI Research（VinAI研究院）；The University of Melbourne（墨尔本大学）
我们提出了第一个实证研究调查的影响，不流利的意图检测和槽填充下游任务的检测。我们对越南语进行了这项研究-这是一种低资源语言，以前没有研究，也没有公共数据集可用于不流利检测。首先，我们通过手动添加上下文不流畅并对其进行注释来扩展流畅的越南语意图检测和插槽填充数据集PhoATIS。然后，我们进行实验，使用强基线的不流利检测和联合意图检测和插槽填充，这是基于预训练的语言模型。我们发现：（i）不流利性对下游意图检测和槽填充任务的性能产生负面影响，以及（ii）在不流利性上下文中，预训练的多语言语言模型XLM-R有助于产生比预训练的单语言语言模型PhoBERT更好的意图检测和槽填充性能，并且这与通常在流利性上下文中发现的相反。
2022-09-17 cs.CL
JPIS: A Joint Model for Profile-based Intent Detection and Slot Filling with Slot-to-Intent Attention
VinAI Research（VinAI研究院）
针对基于用户画像的意图检测与槽填充研究不足的问题，提出联合模型JPIS，融合画像信息并引入槽到意图注意力机制，在中文基准数据集ProSLU上取得最优整体准确率。
2023-12-16 cs.CL
Impact of Coreference Resolution on Slot Filling
Center for Information and Language Processing (CIS)（信息与语言处理中心）；LMU Munich（慕尼黑大学）
在本文中，我们证明了共指消解的重要性，自然语言处理的TAC槽填充共享任务的例子。我们说明了自动共指消解系统的优点和缺点，并提供实验结果表明，它们提高了性能的插槽填充端到端设置。最后，我们发布KBP链，一个包含自动提取的共指链从TAC源语料库的资源，以支持其他研究人员在这个问题上的工作。
2017-10-26 cs.CL
Robust Zero-Shot Cross-Domain Slot Filling with Example Values
MIT（麻省理工学院）；Google Research（谷歌研究院）；Amazon Alexa AI（亚马逊Alexa人工智能）
面向任务的对话系统越来越依赖于基于深度学习的槽填充模型，通常需要针对目标域的大量标记训练数据。然而，通常很少或没有目标域训练数据可用，或者训练和目标域模式可能不对齐，这对于类似网站上的web表单是常见的。先前的zero-shot槽填充模型使用槽描述来学习概念，但是对于未对齐的模式不鲁棒。我们建议利用插槽的描述和少量的插槽值的例子，这可能是很容易获得的，学习语义表示的插槽是跨域和鲁棒的错位模式。我们的方法在两个多域数据集上的性能优于最先进的模型，特别是在低数据设置中。
2019-06-17 cs.CL
Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
Carnegie Mellon University（卡内基梅隆大学）
基于注意力的编码器-解码器神经网络模型最近在机器翻译和语音识别中显示出有希望的结果。在这项工作中，我们提出了一个基于注意力的神经网络模型的联合意图检测和槽填充，这两个关键步骤，许多语音理解和对话系统。与机器翻译和语音识别不同，对齐在槽填充中是显式的。我们探索不同的策略，将此对齐信息的编码器-解码器框架。借鉴编码器-解码器模型中的注意力机制，我们进一步提出在基于编码器的RNN模型中引入注意力。这种关注为意图分类和插槽标签预测提供了额外的信息。我们的独立任务模型在基准ATIS任务上实现了最先进的意图检测出错率和插槽填充F1得分。我们的联合训练模型在意图检测上进一步获得了0.56%的绝对（23.8%的相对）错误减少，并且在独立任务模型上获得了0.23%的绝对增益。
2016-09-06 cs.CL
Bridge to Target Domain by Prototypical Contrastive Learning and Label Confusion: Re-explore Zero-Shot Learning for Slot Filling
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Group（美团集团）
Zero-shot跨域缝隙填充技术在目标域数据稀缺的情况下，消除了数据相关性，引起了广泛的研究。然而，现有的方法大多不能有效地将知识转移到目标领域，只能拟合目标领域中可见槽的分布，而对目标领域中不可见槽的知识转移效果较差。为了解决这个问题，我们提出了一种新的方法，基于原型对比学习与动态标签混淆策略的zero-shot插槽填充。原型对比学习的目的是重构标签的语义约束，我们引入标签混淆策略来动态建立源域和目标域之间的标签依赖。实验结果表明，我们的模型实现了显着的改善，同时也设置了新的国家的最先进的槽填充任务。
2021-10-07 cs.CL
Joint Slot Filling and Intent Detection via Capsule Neural Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Alibaba Group（阿里巴巴集团）；Tencent Medical AI Lab（腾讯医疗人工智能实验室）；Institute for Data Science, Tsinghua University（清华大学数据科学研究院）
能够将单词识别为槽并检测话语的意图一直是自然语言理解中的一个尖锐问题。现有的工作要么单独对待槽填充和意图检测在一个管道的方式，或采用联合模型，顺序标记槽，同时总结话语级的意图，而不显式地保持单词，槽，和意图之间的层次关系。为了利用语义层次结构进行有效的建模，我们提出了一个基于胶囊的神经网络模型，通过动态路由协议模式完成插槽填充和意图检测。提出了一种重新路由方案，以进一步协同使用推断的意图表示的槽填充性能。两个真实世界的数据集上的实验表明，我们的模型相比，其他替代模型架构，以及现有的自然语言理解服务的有效性。
2019-07-08 cs.CL
BERT for Joint Intent Classification and Slot Filling
Speech Lab, DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团，语音实验室）
意图分类和槽填充是自然语言理解的两个基本任务。它们通常受到小规模人类标记的训练数据的影响，导致泛化能力差，特别是对于稀有词。最近，一种新的语言表示模型，BERT（来自Transformers的双向编码器表示），有助于在大规模未标记语料库上预训练深度双向表示，并在简单的微调后为各种各样的自然语言处理任务创建了最先进的模型。然而，还没有太多的努力，探索BERT的自然语言的理解。本文提出了一种基于BERT的联合意图分类和时隙填充模型。实验结果表明，与基于注意力的递归神经网络模型和槽门模型相比，该模型在多个公共基准数据集上的意图分类准确率、槽填充F1和句子级语义框架准确率都有显著提高.
2019-02-28 cs.CL
Simple is Better! Lightweight Data Augmentation for Low Resource Slot Filling and Intent Classification
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
基于神经元的模型在有相当大的域内训练数据时，在槽填充和意图分类方面取得了优异的性能。然而，由于新的域被频繁地添加，创建相当大的数据是昂贵的。我们表明，轻量级的增强，一组增强方法，涉及词跨度和句子级别的操作，解决数据稀缺的问题。我们在有限的数据设置上的实验表明，轻量级增强在ATIS和SNIPS数据集上的插槽填充上产生了显着的性能改善，并且相对于更复杂的、最先进的增强方法，实现了具有竞争力的性能。此外，当与预先训练的基于LM的模型结合时，轻量级增强也是有益的，因为它改进了基于BERT的联合意图和槽填充模型。
2020-09-08 cs.CL
Linguistically-Enriched and Context-Aware Zero-shot Slot Filling
University of California, Riverside（加州大学河滨分校）
槽填充是识别话语中对应于某些参数的单词的连续跨度（即，时隙）。槽填充是现代面向任务的对话系统中最重要的挑战之一。监督学习方法已被证明在应对这一挑战方面是有效的，但它们需要在给定域中大量的标记训练数据。然而，新的域（即，在训练中看不见）可能在部署之后出现。因此，这些模型必须无缝地适应和填充可见域和不可见域中的槽--不可见域包含没有训练数据的不可见槽类型，甚至不可见域中的可见槽通常在不同的上下文中呈现。此设置通常称为zero-shot插槽填充。很少有工作集中在这个设置，有限的实验评估。现有的模型，主要依赖于上下文无关的嵌入为基础的相似性措施无法检测槽值在看不见的域或这样做，只有部分。我们提出了一个新的zero-shot槽填充神经模型LEONA，它分为三个步骤。步骤一通过利用（a）语言特征;（b）命名实体识别线索;（c）来自预先训练的语言模型的上下文嵌入来获取话语单词的域无关的、上下文感知的表示。第二步微调这些丰富的表示，并为每个单词生成与槽无关的标签。第三步利用可推广的上下文感知话语槽相似性特征在单词级别，使用槽独立的标签，并将它们上下文化，以产生槽特定的预测每个单词。我们对四个不同的公共数据集的全面评估表明，对于SNIPS，ATIS，MultiWOZ和SGD数据集上的未知域，我们的方法平均分别优于SOTA模型17.52%，22.15%，17.42%和17.95%。
2021-01-16 cs.CL
Comparing Convolutional Neural Networks to Traditional Models for Slot Filling
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
我们解决的关系分类的背景下，插槽填充，寻找和评估的任务，如“史蒂夫乔布斯”的插槽X在“X创立苹果”。我们提出了一个卷积神经网络，它根据关系参数将输入句子分成三个部分，并将其与最先进的传统关系分类方法进行比较。最后，我们结合不同的方法，并表明组合优于单独的方法。我们还分析了体裁差异对表演的影响。
2016-04-04 cs.CL
Elastic CRFs for Open-ontology Slot Filling
Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University（清华大学语音处理与机器智能实验室）；China Mobile Research Institute（中国移动研究院）
提出弹性条件随机场（eCRF）模型，通过自然语言描述的嵌入表示槽并建模，解决传统槽填充无法检测新标签及忽略槽间语义相关性的问题，在域内和跨域任务中表现优异。
2024-05-29 cs.CL
GL-GIN: Fast and Accurate Non-Autoregressive Model for Joint Multiple Intent Detection and Slot Filling
Harbin Institute of Technology（哈尔滨工业大学）
多意图SLU可以处理一个话语中的多个意图，这引起了越来越多的关注。然而，最先进的联合模型严重依赖于自回归方法，导致两个问题：推理速度慢和信息泄漏。本文探索了一种非自回归模型用于联合多意图检测和槽填充，实现了更快速、更准确的检测。具体来说，我们提出了一个全局-局部图交互网络（GL-GIN），其中提出了一个局部槽感知图交互层来模拟槽依赖，以减轻不协调槽问题，而引入了一个全局意图-槽图交互层来模拟多个意图与话语中所有槽之间的交互。在两个公共数据集上的实验结果表明，我们的框架实现了最先进的性能，同时速度提高了11.5倍。
2021-06-03 cs.CL
Revisit Out-Of-Vocabulary Problem for Slot Filling: A Unified Contrastive Frameword with Multi-level Data Augmentations
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Group（美团集团）
在真实的对话场景中，现有的槽填充模型，这往往是记忆实体模式，有一个显着降低泛化面临的词汇表（OOV）的问题。为了解决这个问题，我们提出了一个基于多级数据增强的OOV鲁棒槽填充模型，从词和槽的角度来解决OOV问题。我们提出了一个统一的对比学习框架，该框架将原始样本和增强样本的表示拉在一起，以使模型能够抵抗OOV问题。我们从一些特定的插槽评估模型的性能和精心设计的测试数据与OOV词扰动，以进一步证明OOV词的有效性。在两个数据集上的实验表明，我们的方法优于以前的SOTA方法在OOV槽和字。
2023-02-27 cs.CL
A Persian Benchmark for Joint Intent Detection and Slot Filling
Amirkabir University of Technology（阿米卡比尔理工大学）；Fasa University（法萨大学）
自然语言理解（NLU）在当今的技术中非常重要，因为它使机器能够理解和处理人类语言，从而改善人机交互，并在虚拟助手，聊天机器人和基于语言的AI系统等领域取得进步。本文强调了推进低资源语言NLU领域的重要性。由于意图检测和槽填充是NLU中的关键任务，因此过去已经使用了广泛使用的数据集ATIS和SNIPS。但是，这些数据集仅适用于英语，不支持其他语言。在这项工作中，我们的目标是通过创建一个波斯基准联合意图检测和插槽填充的基础上ATIS数据集来解决这一差距。为了评估我们的基准测试的有效性，我们采用了最先进的意图检测和插槽填充方法。
2023-03-01 cs.CL
Generalized Multiple Intent Conditioned Slot Filling
UiPath（UiPath公司）；University College London（伦敦大学学院）
本文提出一种广义多意图条件槽位填充方法，通过移除意图唯一性约束，将其转化为JSON生成任务并使用T5模型训练，结合DBpedia与GPT-3生成的数据集，显著提升了性能并具备泛化能力。
2023-05-18 cs.CL
Reduce, Reuse, Recycle: New uses for old QA resources
University College London（伦敦大学学院）
我们研究了将重新利用的通用QA数据和模型应用于最近提出的关系抽取任务。我们发现，SQuAD上的训练产生更好的zero-shot性能和更强大的泛化相比，任务特定的训练集。我们还表明，标准的QA架构（例如FastQA或Biopsy）可以应用于插槽填充查询，而无需修改模型。
2018-12-13 cs.CL
Multi-Domain Adversarial Learning for Slot Filling in Spoken Language Understanding
Carnegie Mellon University（卡内基梅隆大学）
本文旨在研究口语语言理解（SLU）中槽填充任务的跨域表征。最近发布的大多数SLU模型都是针对特定领域的，适用于单个任务领域。为每个单独的任务域注释数据在经济上是昂贵的并且不可扩展的。在这项工作中，我们提出了一种对抗性训练方法，用于学习可以在多个领域共享的共同特征和表示。产生这种共享表示的模型可以与在单个领域SLU数据上训练的模型相结合，以减少开发新领域所需的训练样本量。在我们使用来自多个领域的数据集进行的实验中，我们表明对抗性训练有助于学习更好的领域通用SLU模型，从而提高了插槽填充F1得分。我们进一步表明，在领域通用模型上应用对抗性学习也有助于在模型与特定领域模型联合优化时实现更高的槽填充性能。
2017-11-30 cs.CL
Generative Zero-Shot Prompt Learning for Cross-Domain Slot Filling with Inverse Prompting
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Group（美团集团）；University of Surrey（萨里大学）
本文提出生成式零样本提示学习框架与逆向提示策略，仅微调少量提示参数即可提升跨领域槽填充的泛化性和鲁棒性，在未见槽上F1提升13.44%。
2023-07-06 cs.CL
Information Extraction Using the Structured Language Model
本文提出了一种数据驱动的方法来信息抽取（视为模板填充）使用结构化语言模型（SLM）作为统计分析器。模板填充的任务被转换为使用SLM的约束解析。该模型是从一组用帧/槽标签和跨度注释的句子中自动训练的。培训分阶段进行：首先，训练受约束的句法分析器，使得对训练数据的分析满足指定的语义跨度，然后，丰富非终端标签以包含语义信息，最后，在从前一阶段得到的分析树上训练受约束的句法+语义分析器。尽管使用的训练数据量很小，但该模型的性能优于为MiPad -个人信息管理-任务手动编写的简单语义语法的槽级准确性。
2001-08-29 cs.CL cs.IR
Introducing "Forecast Utterance" for Conversational Data Science
Auburn University（奥本大学）
本文引入Forecast Utterance概念，将其构建为槽位填充问题，并采用EE和QA两种零样本方法自动解释用户预测目标，实验验证了其有效性与可行性。
2023-09-07 cs.CL cs.HC
PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Group（美团集团）；University of Surrey（萨里大学）；China Mobile Research Institute（中国移动研究院）
大多数现有的槽填充模型倾向于从训练数据中记忆实体的固有模式和相应的上下文。然而，这些模型可能会导致系统故障或不期望的输出时，暴露于口语干扰或变化在实践中。提出了一种扰动语义结构感知迁移方法，用于训练扰动鲁棒的槽填充模型。具体来说，我们引入了两种基于MLM的训练策略，分别从无监督语言扰动语料库中学习上下文语义结构和词分布。然后，我们将从上游训练过程中学习到的语义知识转移到原始样本中，并通过一致性处理过滤生成的数据。这些程序旨在提高插槽填充模型的鲁棒性。实验结果表明，我们的方法始终优于以前的基本方法，并获得了很强的泛化能力，同时防止记忆的实体和上下文的固有模式的模型。
2022-09-15 cs.CL
Sequential Convolutional Neural Networks for Slot Filling in Spoken Language Understanding
University of Stuttgart（斯图加特大学）
我们研究了卷积神经网络（CNN）在口语语言理解中的槽填充任务的使用。我们提出了一种新的CNN结构的序列标记，考虑到以前的上下文单词与保留的顺序信息，并特别注意当前单词与其周围的上下文。此外，它结合了过去和未来的信息进行分类。我们提出的CNN架构甚至优于以前最好的集成递归神经网络模型，并在ATIS基准数据集上实现了最先进的结果，F1得分为95.61%，而无需使用任何额外的语言知识和资源。
2016-06-24 cs.CL
Intent Classification and Slot Filling for Privacy Policies
University of California, Los Angeles（加州大学洛杉矶分校）；University of Virginia（弗吉尼亚大学）；Fordham University（福特汉姆大学）
了解隐私政策对用户至关重要，因为它使他们能够了解对他们重要的信息。隐私政策文档中的句子解释隐私惯例，组成文本跨度传达有关该惯例的进一步具体信息。我们将预测句子中解释的隐私实践称为意图分类，并将共享特定信息的文本跨度识别为槽填充。在这项工作中，我们提出了PolicyIE，一个英文语料库，包括5,250个意图和11,788槽注释跨越31个网站和移动应用程序的隐私政策。PolicyIE语料库是一个具有挑战性的现实世界的基准与有限的标记的例子，反映了从领域专家收集大规模注释的成本。我们提出了两种替代的神经方法作为基线，（1）意图分类和槽填充作为联合序列标记，（2）将它们建模为序列到序列（Seq 2Seq）学习任务。实验结果表明，这两种方法在意图分类上都有较好的效果，而Seq 2Seq方法在槽填充上的效果明显优于序列标记方法。我们进行了详细的错误分析，以揭示所提出的语料库的挑战。
2021-06-04 cs.CL
Knowledge-Aware Audio-Grounded Generative Slot Filling for Limited Annotated Data
University of Cambridge（剑桥大学）；PolyAI Ltd.（PolyAI有限公司）；Tsinghua University（清华大学）
本文提出知识感知音频基座生成式槽填充框架 KA2G，通过文本生成、音频基座和外部知识条件化，提升语音任务导向对话在少样本和零样本下的槽填充鲁棒性与数据效率。
2023-07-04 cs.CL
CIS at TAC Cold Start 2015: Neural Networks and Coreference Resolution for Slot Filling
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
本文介绍了用于2015年TAC冷启动评估的CIS槽填充系统。它扩展和改进了我们去年为评估建立的系统。本文主要介绍了我们去年系统的变化。特别是，它侧重于共指和分类成分。为了进行相互引用，我们进行了一些分析并准备了一个资源来简化我们的端到端系统并改进其运行时。对于分类，我们建议使用神经网络。我们已经训练了卷积和递归神经网络，并将它们与传统的评估方法相结合，即模式和支持向量机。我们的2015年评估旨在直接评估每个网络对系统端到端性能的影响。CIS系统在参与任务的所有插槽填充系统中获得了第3名。
2018-11-06 cs.CL
Ontology-Enhanced Slot Filling
NYU Shanghai（上海纽约大学）
槽填充是面向任务的对话系统中对话状态跟踪的基本任务。在多领域任务导向的对话系统中，用户的话语和系统的响应可能会提到多个命名实体和属性值。系统需要选择那些由用户确认的，并将它们填充到指定的插槽中。一个困难是，由于对话会话包含多个系统-用户回合，由于输入单词令牌和GPU存储器的容量有限，将所有令牌馈送到诸如BERT的深度模型中可能具有挑战性。在本文中，我们研究了本体增强的方法，通过匹配命名实体出现在所有的对话轮使用本体。在先前的对话轮中匹配的实体将被累积和编码为基于BERT的对话状态跟踪器的附加输入。此外，我们的改进包括本体约束检查和插槽名称标记化的纠正。实验结果表明，我们的本体增强的对话状态跟踪器提高了联合目标的准确率（槽F1）从52.63%（91.64%）到53.91%（92%）的MultiWOZ 2.1语料库。
2021-08-25 cs.CL
Joint Multiple Intent Detection and Slot Filling via Self-distillation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
意图检测和槽填充是自然语言理解（NLU）中的两个主要任务，用于从用户的话语中识别用户的需求。这两项任务高度相关，经常联合训练。然而，大多数先前的作品假设每个话语仅对应于一个意图，忽略了用户话语在许多情况下可以包括多个意图的事实。在本文中，我们提出了一种新的自蒸馏联合NLU模型（SDJN）的多意图NLU。首先，我们将多意图检测作为一个弱监督问题，并采用多实例学习（MIL）方法。然后，我们通过自蒸馏设计了一个辅助循环，其中有三个顺序排列的解码器：初始槽解码器，MIL意图解码器和最终槽解码器。每个解码器的输出将作为下一个解码器的辅助信息。利用MIL Intent Decoder提供的辅助知识，我们将Final Slot Decoder设置为教师模型，将知识传递回Initial Slot Decoder以完成循环。辅助循环使意图和插槽能够相互深入指导，并进一步提高整体NLU性能。在两个公共多意图数据集上的实验结果表明，与其他模型相比，我们的模型具有很强的性能。
2021-08-18 cs.CL
STIL -- Simultaneous Slot Filling, Translation, Intent Classification, and Language Identification: Initial Results using mBART on MultiATIS++
Amazon Alexa AI（亚马逊Alexa人工智能部门）
时隙填充、翻译、意图分类和语言识别（STIL）是多语言自然语言理解（NLU）的一个新任务。通过同时执行槽填充和翻译成单一输出语言（在这种情况下为英语），下游系统组件的某些部分可以是单语的，从而降低开发和维护成本。使用多语言BART模型给出了结果（Liu et al.，2020）使用MultiATIS ++数据集对7种语言进行了微调。当不执行翻译时，mBART的性能与测试语言的当前最先进系统（Xu等人的跨语言BERT（2020））相当，平均意图分类准确率更高（96.07%对95.50%），但平均槽F1更差（89.87%对90.81%）。当执行同时翻译时，平均意图分类准确度相对仅降低1.7%，平均槽F1相对仅降低1.2%。
2020-10-02 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp（安特卫普大学）；TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务，使用弱监督的方法继续工作。我们研究了使用再训练技术的优点，该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入：（1）基于条件随机场和基于记忆的学习的判别序列标记器和（2）概率上下文无关文法归纳。实验结果表明，这种设置可以显着提高F分数，而不需要额外的信息源。此外，定性分析表明，弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
PromptNER: Prompt Locating and Typing for Named Entity Recognition
Zhejiang University（浙江大学）；NetEase Inc.（网易公司）
本文提出PromptNER，通过双槽多提示模板统一实体定位与类型标注，并设计动态模板填充机制，在跨域少样本NER中平均超越最先进模型7.7%。
2023-05-26 cs.CL
Combining Word Feature Vector Method with the Convolutional Neural Network for Slot Filling in Spoken Language Understanding
CloudMinds Technology Inc.（达闼科技有限公司）
槽填充是口语语言理解（SLU）和自然语言处理（NLP）中的重要问题，其涉及识别用户的意图并将语义概念分配给句子中的每个词。本文提出了一种词特征向量的方法，并将其结合到卷积神经网络（CNN）中。我们考虑了18个单词特征，每个单词特征都是通过合并相似的单词标签来构建的。通过引入外部库的概念，我们提出了一种特征集的方法，这是有利于建立一个词从训练数据集和功能之间的关系。计算结果报告使用ATIS数据集和传统的CNN以及双向顺序CNN的比较也提出。
2018-06-18 cs.CL
Zero-shot Slot Filling in the Age of LLMs for Dialogue Systems
Uniphore（尤尼福尔（Uniphore））
针对对话系统中零样本槽位填充难以直接应用于动态对话数据的问题，提出自动数据标注（含槽位归纳）与黑盒知识蒸馏策略，在内部数据集上F1提升26%，并设计高效架构使相对F1提升34%且低延迟。
2024-11-28 cs.CL
Noise-BERT: A Unified Perturbation-Robust Framework with Noise Alignment Pre-training for Noisy Slot Filling Task
Beijing University of Posts and Telecommunications（北京邮电大学）
针对对话系统槽填充任务受输入噪声扰动、现有方法泛化性不足的问题，提出带噪声对齐预训练的Noise-BERT框架，结合对比学习与对抗训练，在噪声槽填充任务上性能超越现有最优模型，兼具有效性与泛化性。
2024-03-06 cs.CL
Slot Filling as a Reasoning Task for SpeechLLMs
本文提出通过推理任务提升语音大语言模型在槽填充任务中的性能，探讨了不同基础模型对推理语音LLM的影响。
2025-10-22 cs.CL
Recent Neural Methods on Slot Filling and Intent Classification for Task-Oriented Dialogue Systems: A Survey
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
近年来，在深度学习技术和对会话AI的高需求的推动下，已经提出了各种方法来解决在面向任务的对话系统中引出和理解用户需求的能力。我们专注于两个核心任务，插槽填充（SF）和意图分类（IC），并调查如何基于神经的模型已经迅速发展，以解决自然语言理解对话系统。我们介绍了三种神经体系结构：独立模型，分别对SF和IC进行建模，联合模型，同时利用两个任务的共同利益，以及迁移学习模型，将模型扩展到新的领域。我们讨论了SF和IC的研究现状，并强调了仍然需要注意的挑战。
2020-11-01 cs.CL
Deep Cascade Multi-task Learning for Slot Filling in Online Shopping Assistant
Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang Cainiao Supply Chain Management Co.（浙江菜鸟供应链管理有限公司）
槽填充是对话系统中自然语言理解（NLU）的关键任务。最先进的方法将其视为序列标记问题，并采用BiLSTM-CRF等模型。虽然这些模型在标准基准数据集上工作得相对较好，但它们在电子商务的背景下面临挑战，其中插槽标签信息量更大，表达方式更丰富。在这项工作中，电子商务知识库的独特结构的启发，我们提出了一种新的多任务模型级联和剩余连接，共同学习段标记，命名实体标记和槽填充。实验证明了所提出的级联和残差结构的有效性。在一个新的中国电子商务购物助手数据集上，我们的模型在F1得分上比强基线方法有14.6%的优势，同时在标准数据集上达到了有竞争力的准确性。此外，在这种占主导地位的电子商务平台上进行的在线测试显示，理解用户话语的准确性提高了130%。我们的模型已经在电子商务平台上投入生产。
2019-05-06 cs.CL
MISCA: A Joint Model for Multiple Intent Detection and Slot Filling with Intent-Slot Co-Attention
VinAI Research（VinAI研究院）
本文提出 MISCA 联合模型，通过意图-槽位协同注意力与标签注意力避免图构建和 token 级意图投票，并在 MixATIS、MixSNIPS 上取得最先进性能。
2023-12-10 cs.CL
Few-shot Intent Classification and Slot Filling with Retrieved Examples
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）；Cornell University（康奈尔大学）；Google Assistant（谷歌助手）
少样本学习出现在重要的实际场景中，例如当自然语言理解系统需要为新兴的、资源稀缺的领域学习新的语义标签时。在本文中，我们探讨检索为基础的方法，意图分类和插槽填充任务，在Few-Shot设置。基于检索的方法基于检索索引中与输入相似的标记示例进行预测，因此可以通过更改索引而无需重新训练模型来适应新的领域。然而，将这些方法应用于具有复杂标签空间的任务（如插槽填充）并非易事。为此，我们提出了一个跨度级检索方法，通过一个新的批处理softmax目标，学习类似的上下文表示的跨度相同的标签。在推理时，我们使用检索到的span的标签来构建具有最高聚合得分的最终结构。我们的方法优于以前的系统在各种Few-Shot设置的CLINC和SNIPS基准。
2021-04-12 cs.CL
Recurrent Neural Networks with Pre-trained Language Model Embedding for Slot Filling Task
University of California, Los Angeles（加州大学洛杉矶分校）
近年来，基于循环神经网络（RNN）的模型被应用于口语语言理解中的槽填充问题，并取得了很好的效果。在本文中，我们研究了将预训练的语言模型合并到基于RNN的槽填充模型中的效果。我们对航空公司旅游信息系统（ATIS）数据语料库的评估表明，我们可以显着减少标记的训练数据的大小，并实现相同水平的槽填充性能，通过将额外的词嵌入和语言模型嵌入层预训练的非标记语料库。
2018-12-14 cs.CL cs.LG
Explainable Slot Type Attentions to Improve Joint Intent Detection and Slot Filling
Samsung Research America（三星美国研究院）；Carnegie Mellon University（卡内基梅隆大学）
联合意图检测和槽填充是自然语言理解（NLU）中的一个关键研究课题。现有的联合意图和槽填充系统共同分析和计算所有槽类型的特征，并且重要的是，无法解释槽填充模型决策。在这项工作中，我们提出了一种新的方法：（i）学习生成额外的插槽类型特定的功能，以提高准确性和（ii）首次在联合NLU模型中提供插槽填充决策的解释。我们使用一组二进制分类器进行额外的约束监督，用于插槽类型特定的特征学习，从而确保在此过程中学习到适当的注意力权重，以解释话语的插槽填充决策。我们的模型本质上是可解释的，不需要任何事后处理。我们在两个广泛使用的数据集上评估了我们的方法，并显示了准确性的提高。此外，还详细分析了独占槽的可解释性。
2022-10-19 cs.AI cs.CL cs.LG
Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection
Sofia University “St. Kliment Ohridski”（圣克莱门特·奥里季斯基索菲亚大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学））
在自然语言理解中，检测用户的意图并在话语的词之间找到对应的槽是重要的任务。它们相互关联的性质使得它们的联合建模成为训练此类模型的标准部分。此外，缺乏数据和专门词汇也带来了额外的挑战。最近，预训练语言模型的进展，即ELMo和BERT等情境化模型，通过挖掘训练非常大的模型的潜力，对特定任务数据集进行几步微调，彻底改变了该领域。在这里，我们利用这样的模型，即BERT和RoBERTa，我们设计了一个新的架构上。此外，我们提出了一个意图池注意力机制，我们加强了插槽填充任务融合意图分布，文字功能，和令牌表示。在标准数据集上的实验结果表明，我们的模型的性能优于当前的非BERT技术水平以及一些更强的基于BERT的基线。
2021-10-05 cs.CL
Explainable Abuse Detection as Intent Classification and Slot Filling
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
为了主动为社交媒体用户提供安全的在线体验，需要能够检测有害帖子并及时提醒平台版主的系统。为了保证执行一致的政策，版主提供了详细的指导方针。相比之下，大多数最先进的模型从标记的示例中了解滥用是什么，因此将其预测建立在虚假线索上，例如存在不可靠的群体标识符。在这项工作中，我们引入了政策意识的滥用检测的概念，放弃了不切实际的期望，系统可以可靠地学习哪些现象构成滥用，从检查数据本身。我们提出了一个机器友好的政策表示，主持人希望执行，通过将其分解为一个集合的意图和插槽。我们收集并注释了一个包含3,535个具有此类插槽的英文帖子的数据集，并展示了意图分类和插槽填充的架构如何用于滥用检测，同时为模型决策提供了依据。
2022-10-06 cs.CL
Adaptive End-to-End Metric Learning for Zero-Shot Cross-Domain Slot Filling
Tianjin University（天津大学）；University of Electronic Science and Technology of China（电子科技大学）
针对零样本跨领域槽位填充中两阶段流水线方法的计算效率低和泛化能力弱问题，提出一种自适应端到端度量学习方案，结合级联式联合学习框架、上下文感知软标签表示和槽位级对比表示学习，有效缓解数据和标签偏移，在公共基准上表现优于竞争基线。
2023-10-23 cs.CL
SlotRefine: A Fast Non-Autoregressive Model for Joint Intent Detection and Slot Filling
Peking University（北京大学）；University of Washington（华盛顿大学）；Wuhan University（武汉大学）
槽填充和意图检测是口语语言理解（SLU）系统的两个主要任务。在本文中，我们提出了一种新的非自回归模型命名为SlotRefine联合意图检测和插槽填充。此外，我们设计了一种新的两遍迭代机制来处理非自回归模型的条件独立性所引起的不协调槽问题。实验表明，我们的模型显着优于以前的模型在插槽填充任务，同时大大加快解码（高达X 10.77）。深入分析表明：1）预训练方案可以进一步增强我们的模型; 2）两遍机制确实可以弥补不协调的时隙。
2020-10-31 cs.AI cs.CL cs.LG
Joint Intent Detection And Slot Filling Based on Continual Learning Model
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
槽填充和意图检测已经成为自然语言理解领域的一个重要课题。尽管槽填充与意图检测密切相关，但是这两个任务所需的信息的特性是不同的，而这些方法中的大多数可能没有完全意识到这个问题。此外，有效地平衡两个任务的准确性是联合学习模型不可避免的问题。本文提出了一种持续学习相关模型（CLIM），该模型考虑了不同特征的语义信息，有效地平衡了意图检测和槽填充之间的准确性。实验结果表明，CLIM在ATIS和Snips上实现了最先进的槽填充和意图检测性能。
2021-02-22 cs.CL eess.AS
Joint Intent Detection and Slot Filling with Wheel-Graph Attention Networks
Guangdong University of Technology（广东工业大学）
意图检测和槽填充是构建口语语言理解系统的两个基本任务。多个基于深度学习的联合模型在这两项任务上都表现出了出色的效果。在本文中，我们提出了一个新的联合模型与轮图注意力网络（Wheel-GAT），它能够建模相关的连接直接的意图检测和插槽填充。为了构建话语的图形结构，我们创建意图节点、槽节点和有向边。意图节点可以提供用于槽填充的话语级语义信息，而槽节点还可以提供用于意图的本地关键字信息。实验表明，我们的模型在两个公共数据集上的性能优于多个基线。此外，我们还证明，使用双向编码器表示从Transformer（BERT）模型进一步提高了SLU任务的性能。
2021-02-09 cs.AI cs.CL
