Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN
Samsung Research America(三星美国研究院);University of California, Santa Barbara(加州大学圣巴巴拉分校)
现代个人助理中的口语语言理解(SLU)的一个主要任务是从话语中提取语义概念,称为槽填充。虽然现有的槽填充模型试图改善提取新的概念,没有看到在训练数据,在实践中的性能仍然不能令人满意。最近的研究收集了问题和答案注释的数据,以了解什么是未知的,应该问,但由于沉重的数据汇集工作,实际上是不可扩展的。在本文中,我们将softmax为基础的插槽填充神经架构,以模拟序列的不确定性,没有问题的监督。我们设计了一个Dirichlet先验RNN模型,通过退化作为RNN模型训练的softmax层来建模高阶不确定性。为了进一步增强不确定性建模的鲁棒性,我们提出了一种新的多任务训练来校准狄利克雷浓度参数。我们收集看不见的概念,从SLU基准数据集Snips和ATIS创建两个测试数据集。在这两个和另一个现有的概念学习基准数据集上,我们表明,我们的方法比最先进的方法显著高出8.18%。我们的方法是通用的,可以应用于任何RNN或Transformer的插槽填充模型与softmax层。
2020-10-16 cs.AI
Tri-level Joint Natural Language Understanding for Multi-turn Conversational Datasets
The University Of Sydney(悉尼大学);The University Of Western Australia(西澳大学)
本文提出三层联合自然语言理解方法,在意图和槽位基础上引入领域层并实现三层语义交互,首次在多轮对话数据集上验证其槽位填充和意图检测性能优于现有最优联合模型。
2023-05-28 cs.CL
MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages
Amazon(亚马逊)
我们提供了MASSIVE数据集-多语言Amazon Slu资源包(SLURP),用于插槽填充,意图分类和虚拟助手评估。MASSIVE包含1 M真实、并行、标记的虚拟助理话语,涵盖51种语言、18个领域、60种意图和55个插槽。MASSIVE是由专业翻译人员创建的,他们将仅限英语的SLURP数据集本地化为来自29个属的50种不同类型的语言。我们还介绍了XLM-R和mT5的建模结果,包括精确匹配精度,意图分类精度和插槽填充F1得分。我们已经公开发布了我们的数据集、建模代码和模型。
2022-06-17 cs.AI cs.CL cs.LG
New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark
Université Paris-Saclay, CNRS, LISN(巴黎-萨克雷大学、法国国家科学研究中心、计算机科学与数字技术实验室);Avignon Université, LIA(阿维尼翁大学、计算机科学实验室);QWANT(Qwant公司)
本文针对法语MEDIA数据集缺少意图标注的问题,提出半自动方法构建带意图标注的增强版本,并用联合模型开展意图分类与槽填充实验,扩展了该基准的适用任务范围。
2024-03-28 cs.AI cs.CL
In-game Toxic Detection: Bi-directional Representations with Attention Residuals
University of Sydney(悉尼大学)
针对游戏内毒性检测中短文本与俚语挑战,提出带注意力残差的双向表示模型BRAR,在槽填充任务上优于基线。
2026-09-29 cs.AI cs.CL cs.LG
Explainable Slot Type Attentions to Improve Joint Intent Detection and Slot Filling
Samsung Research America(三星美国研究院);Carnegie Mellon University(卡内基梅隆大学)
联合意图检测和槽填充是自然语言理解(NLU)中的一个关键研究课题。现有的联合意图和槽填充系统共同分析和计算所有槽类型的特征,并且重要的是,无法解释槽填充模型决策。在这项工作中,我们提出了一种新的方法:(i)学习生成额外的插槽类型特定的功能,以提高准确性和(ii)首次在联合NLU模型中提供插槽填充决策的解释。我们使用一组二进制分类器进行额外的约束监督,用于插槽类型特定的特征学习,从而确保在此过程中学习到适当的注意力权重,以解释话语的插槽填充决策。我们的模型本质上是可解释的,不需要任何事后处理。我们在两个广泛使用的数据集上评估了我们的方法,并显示了准确性的提高。此外,还详细分析了独占槽的可解释性。
2022-10-19 cs.AI cs.CL cs.LG
SlotRefine: A Fast Non-Autoregressive Model for Joint Intent Detection and Slot Filling
Peking University(北京大学);University of Washington(华盛顿大学);Wuhan University(武汉大学)
槽填充和意图检测是口语语言理解(SLU)系统的两个主要任务。在本文中,我们提出了一种新的非自回归模型命名为SlotRefine联合意图检测和插槽填充。此外,我们设计了一种新的两遍迭代机制来处理非自回归模型的条件独立性所引起的不协调槽问题。实验表明,我们的模型显着优于以前的模型在插槽填充任务,同时大大加快解码(高达X 10.77)。深入分析表明:1)预训练方案可以进一步增强我们的模型; 2)两遍机制确实可以弥补不协调的时隙。
2020-10-31 cs.AI cs.CL cs.LG
Joint Intent Detection and Slot Filling with Wheel-Graph Attention Networks
Guangdong University of Technology(广东工业大学)
意图检测和槽填充是构建口语语言理解系统的两个基本任务。多个基于深度学习的联合模型在这两项任务上都表现出了出色的效果。在本文中,我们提出了一个新的联合模型与轮图注意力网络(Wheel-GAT),它能够建模相关的连接直接的意图检测和插槽填充。为了构建话语的图形结构,我们创建意图节点、槽节点和有向边。意图节点可以提供用于槽填充的话语级语义信息,而槽节点还可以提供用于意图的本地关键字信息。实验表明,我们的模型在两个公共数据集上的性能优于多个基线。此外,我们还证明,使用双向编码器表示从Transformer(BERT)模型进一步提高了SLU任务的性能。
2021-02-09 cs.AI cs.CL
HierarchicalContrast: A Coarse-to-Fine Contrastive Learning Framework for Cross-Domain Zero-Shot Slot Filling
College of Computer Science and Technology(计算机科学与技术学院);Zhejiang University(浙江大学)
针对跨域零样本槽位填充在未见槽位上泛化能力差的问题,提出基于高斯分布嵌入的由粗到细分层对比学习框架HiCL,并设计迭代标签集语义推断方法独立评估未见槽位,在四个数据集上取得优于或可比的性能。
2023-10-20 cs.AI cs.CL
Zero-shot Slot Filling with DPR and RAG
IBM Research AI(IBM研究院人工智能)
从给定的文档集合中自动提取知识图谱(KG)的能力是人工智能中的一个长期存在的问题。评估这种能力的一种方法是通过填补空缺的任务。给定以[Entity,Slot,?]形式的实体查询,系统被要求通过从一个或多个相关段落中产生或提取缺失值来“填充”该槽。这种功能对于创建自动知识库填充系统至关重要,这种需求正在不断增长,尤其是在企业应用程序中。最近,在评估语言模型方面出现了一个很有前途的方向,就像我们评估知识库一样,而槽填充任务是最适合这个意图的。该领域的最新进展试图使用基于检索的语言模型以端到端的方式解决此任务。像检索增强生成(RAG)这样的模型在不涉及复杂的信息抽取管道的情况下显示出令人惊讶的良好性能。然而,这些模型在KILT基准测试中的两个槽填充任务上所实现的结果仍然没有达到现实世界的信息抽取系统所要求的水平。在本文中,我们描述了我们所采取的几种策略,以改善检索器和生成器的RAG,以使其成为一个更好的槽填充。我们的KGI 0系统(可在https://github.com/IBM/retrieve-write-slot-filling获得)在T-REx和zsRE数据集上都以较大的优势登上了KILT排行榜的第一名。
2021-04-17 cs.AI cs.CL
GenSF: Simultaneous Adaptation of Generative Pre-trained Models and Slot Filling
Carnegie Mellon University(卡内基梅隆大学)
在迁移学习中,必须在预训练模型和下游任务之间实现强对齐。先前的工作已经通过提出特定于任务的预训练目标来做到这一点,这牺牲了迁移学习范例的固有可扩展性。相反,我们通过同时修改预训练模型和下游任务的制定来实现强对齐,这更有效,并保留了迁移学习的可扩展性。我们提出了GenSF(生成式插槽填充),它利用生成式预训练的开放域对话模型进行插槽填充。GenSF(1)通过合并关于任务的归纳偏差来适应预训练模型,(2)通过重新制定插槽填充来适应下游任务,以更好地利用预训练模型的能力。GenSF在两个槽填充数据集上实现了最先进的结果,在Few-Shot和zero-shot设置下具有强大的增益。我们在zero-shot插槽填充中实现了9个F1分数的提高。这突出了预训练模型和下游任务之间强对齐的价值。
2021-06-13 cs.AI cs.CL cs.LG
Bi-directional Joint Neural Networks for Intent Classification and Slot Filling
University of Sydney(悉尼大学)
意图分类和槽填充是自然语言理解的两个关键任务。传统上,这两项任务是独立进行的。然而,最近的意图分类和插槽填充的联合模型已经达到了最先进的性能,并证明了这两个任务之间存在很强的关系。本文提出了一种双向联合的意图分类和槽填充模型,该模型通过BERT和双向联合的自然语言理解机制(包括intent2slot和slot2intent),实现意图分类和槽填充之间的相互性能增强。评估结果表明,我们的模型在意图分类准确性,插槽填充F1方面取得了最先进的结果,并在应用于公开可用的基准数据集ATIS(88.6%)和SNIPS(92.8%)时显着提高了语义框架的准确性。
2022-02-26 cs.CL
Intent Detection and Slot Filling for Vietnamese
VinAI Research(VinAI研究院)
意图检测和槽填充是口语和自然语言理解中的重要任务。然而,越南语在这些研究课题中是一种低资源语言。在本文中,我们为越南人提供了第一个公共意图检测和插槽填充数据集。此外,我们还提出了一个用于意图检测和槽填充的联合模型,该模型扩展了最近最先进的JointBERT+CRF模型,具有意图槽注意层,以通过“软”意图标签嵌入将意图上下文信息显式地纳入槽填充。在我们的越南数据集上的实验结果表明,我们提出的模型显着优于JointBERT+CRF。我们公开发布我们的数据集和模型的实现:https://github.com/VinAIResearch/JointIDSF
2021-06-09 cs.CL
Type-aware Convolutional Neural Networks for Slot Filling
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));LMU Munich(慕尼黑大学)
槽填充任务旨在从文本中提取关于实体的查询的答案,例如“Who founded Apple”。在本文中,我们专注于槽填充系统的关系分类组件。我们提出了类型感知的卷积神经网络,以受益于实体和关系分类之间的相互依赖性。特别是,我们探讨了不同的方式集成的关系参数的命名实体类型到一个神经网络的关系分类,包括联合训练和结构化的预测方法。据我们所知,这是第一次研究类型感知神经网络的插槽填充。类型感知模型可以为我们的插槽填充管道带来最佳结果。联合训练的性能与结构化预测相当。为了了解插槽填充管道的不同组件的影响,我们进行了召回分析,手动错误分析和几个消融研究。这种分析对其他填补空缺的研究人员特别重要,因为正式的填补空缺评价只评估管道产出。分析表明,特别共指消解和我们的卷积神经网络对槽填充管道的最终性能有很大的积极影响。所提出的模型,我们的系统的源代码以及我们的共指资源是免费提供的。
2019-10-01 cs.CL
Robust Retrieval Augmented Generation for Zero-shot Slot Filling
IBM Research AI(IBM研究院人工智能);Thomas J. Watson Research Center(托马斯·J·沃森研究中心)
从给定的文档集合中自动归纳出高质量的知识图谱仍然是人工智能中具有挑战性的问题。解决这一问题的一种方法是通过一项相关任务的进步,即所谓的插槽填充。在这个任务中,给定一个[Entity,Slot,?]形式的实体查询,要求系统通过利用从给定文档集合中的相关段落提取的证据来生成或提取缺失值来填充该槽。该领域的最新研究尝试使用基于检索的语言模型以端到端的方式解决这一任务。在本文中,我们提出了一种新的方法,zero-shot槽填充,扩展密集通道检索与硬否定和强大的训练程序的检索增强生成模型。我们的模型报告了T-REx和zsRE插槽填充数据集的巨大改进,改进了通道检索和插槽值生成,并在KILT排行榜中排名前1位。此外,我们证明了我们的系统的鲁棒性,通过零/少样本学习的组合,显示其领域自适应能力的新变体的TACRED数据集的插槽填充。我们发布源代码和预训练模型。
2021-09-14 cs.AI cs.CL cs.IR
A survey of joint intent detection and slot-filling models in natural language understanding
The University of Sydney(悉尼大学)
意图分类和槽填充是自然语言理解的两个关键任务。传统上,这两项任务被认为是独立进行的。然而,最近,用于意图分类和槽填充的联合模型已经实现了最先进的性能,并且已经证明这两个任务之间存在很强的关系。本文是对过去在自然语言理解方面的工作的汇编,特别是联合意图分类和槽填充。到目前为止,我们在这项研究中观察到三个里程碑:意图检测,以确定扬声器的意图,插槽填充,以标记语音/文本中的每个单词标记,最后,联合意图分类和插槽填充任务。在这篇文章中,我们描述了趋势,方法,问题,数据集,意图分类和插槽填充的评估指标。我们还讨论了代表性的性能值,描述共享的任务,并提供指针,以未来的工作,在以前的作品。为了解释最新的趋势,我们提供了多个表格,描述和总结了过去在不同维度上的研究,包括特征类型、基本方法和使用的数据集域。
2021-02-22 cs.CL
From Disfluency Detection to Intent Detection and Slot Filling
VinAI Research(VinAI研究院);The University of Melbourne(墨尔本大学)
我们提出了第一个实证研究调查的影响,不流利的意图检测和槽填充下游任务的检测。我们对越南语进行了这项研究-这是一种低资源语言,以前没有研究,也没有公共数据集可用于不流利检测。首先,我们通过手动添加上下文不流畅并对其进行注释来扩展流畅的越南语意图检测和插槽填充数据集PhoATIS。然后,我们进行实验,使用强基线的不流利检测和联合意图检测和插槽填充,这是基于预训练的语言模型。我们发现:(i)不流利性对下游意图检测和槽填充任务的性能产生负面影响,以及(ii)在不流利性上下文中,预训练的多语言语言模型XLM-R有助于产生比预训练的单语言语言模型PhoBERT更好的意图检测和槽填充性能,并且这与通常在流利性上下文中发现的相反。
2022-09-17 cs.CL
JPIS: A Joint Model for Profile-based Intent Detection and Slot Filling with Slot-to-Intent Attention
VinAI Research(VinAI研究院)
针对基于用户画像的意图检测与槽填充研究不足的问题,提出联合模型JPIS,融合画像信息并引入槽到意图注意力机制,在中文基准数据集ProSLU上取得最优整体准确率。
2023-12-16 cs.CL
Impact of Coreference Resolution on Slot Filling
Center for Information and Language Processing (CIS)(信息与语言处理中心);LMU Munich(慕尼黑大学)
在本文中,我们证明了共指消解的重要性,自然语言处理的TAC槽填充共享任务的例子。我们说明了自动共指消解系统的优点和缺点,并提供实验结果表明,它们提高了性能的插槽填充端到端设置。最后,我们发布KBP链,一个包含自动提取的共指链从TAC源语料库的资源,以支持其他研究人员在这个问题上的工作。
2017-10-26 cs.CL
Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
作为面向任务的对话系统中的一项基本任务,槽填充需要一定领域的大量训练数据。然而,并不总是有这种数据。因此,跨域插槽填充自然出现,以应对这种数据稀缺问题。在本文中,我们提出了一个粗到精的方法(教练)跨域槽填充。我们的模型首先通过检测令牌是否是插槽实体来学习插槽实体的一般模式。然后预测插槽实体的特定类型。此外,我们提出了一个模板正则化的方法,以提高自适应鲁棒性的话语模板的基础上,通过正则化的表示。实验结果表明,我们的模型显着优于国家的最先进的方法在槽填充。此外,我们的模型也可以应用到跨域的命名实体识别任务,它实现了更好的适应性能比其他现有的基线。该代码可在https://github.com/zliucr/coach上获得。
2020-04-24 cs.CL
An Approach to Build Zero-Shot Slot-Filling System for Industry-Grade Conversational Assistants
IBM Research(IBM研究院);IBM Watson(IBM沃森)
本文提出通过精心构造覆盖多场景的任务数据来微调小型 LLM,构建低延迟、零样本工业级槽位填充系统,F1 较最佳基线相对提升 6.9%,延迟降低 57%。
2024-06-13 cs.AI cs.CL
C2C-GenDA: Cluster-to-Cluster Generation for Data Augmentation of Slot Filling
Harbin Institute of Technology(哈尔滨工业大学)
槽填充是口语语言理解的一个基本模块,经常受到训练数据数量和多样性不足的影响。为了弥补这一点,我们提出了一种新的集群到集群生成框架的数据增强(DA),命名为C2C-GenDA。它通过在保持语义的同时将现有的话语重建成替代表达来扩大训练集。不同于以往的DA作品,重建一个接一个独立的话语,C2C-GenDA联合编码多个现有的话语相同的语义,同时解码多个看不见的表达。联合生成多个新话语允许考虑所生成的实例之间的关系并鼓励多样性。此外,编码多个现有的话语赋予C2C更广泛的现有表达,有助于减少重复现有数据的生成。在ATIS和Snips数据集上的实验表明,当只有数百个训练语句时,C2C-GenDA增强的实例分别提高了7.99(11.9%)和5.76(13.6%)的F-分数。
2020-12-13 cs.AI cs.CL
USFD at KBP 2011: Entity Linking, Slot Filling and Temporal Bounding
University of Sheffield(谢菲尔德大学)
本文介绍了谢菲尔德大学在2011年TAC KBP实体链接和插槽填充任务的条目。我们选择参与单语实体连接任务、单语槽填充任务和时间槽填充任务。我们着手建立一个框架,用于知识库人口的实验。这个框架被创建,并应用于多个KBP任务。我们证明,我们提出的框架是有效的,适合协作开发的努力,以及在教学环境中的有用。最后,我们提出的结果,虽然非常温和,提供的改进的数量级大于我们2010年的尝试。
2012-03-22 cs.CL
Robust Zero-Shot Cross-Domain Slot Filling with Example Values
MIT(麻省理工学院);Google Research(谷歌研究院);Amazon Alexa AI(亚马逊Alexa人工智能)
面向任务的对话系统越来越依赖于基于深度学习的槽填充模型,通常需要针对目标域的大量标记训练数据。然而,通常很少或没有目标域训练数据可用,或者训练和目标域模式可能不对齐,这对于类似网站上的web表单是常见的。先前的zero-shot槽填充模型使用槽描述来学习概念,但是对于未对齐的模式不鲁棒。我们建议利用插槽的描述和少量的插槽值的例子,这可能是很容易获得的,学习语义表示的插槽是跨域和鲁棒的错位模式。我们的方法在两个多域数据集上的性能优于最先进的模型,特别是在低数据设置中。
2019-06-17 cs.CL
Co-guiding Net: Achieving Mutual Guidances between Multiple Intent Detection and Slot Filling via Heterogeneous Semantics-Label Graphs
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);Centre for Frontier Artificial Intelligence Research(前沿人工智能研究中心);A*STAR(新加坡科技研究局)
最近的基于图的联合多意图检测和槽填充模型已经通过对从意图预测到槽填充解码的指导进行建模而获得了有希望的结果。然而,现有方法(1)仅对\textit{unidirectional guidance}从意图到槽进行建模;(2)采用\textit{homogeneous graphs}对槽语义节点和意图标签节点之间的交互进行建模,这限制了性能。在本文中,我们提出了一种新的模型称为共同指导网,它实现了一个两阶段的框架,实现两个任务之间的\textit{mutual guidances}。在第一阶段中,产生两个任务的初始估计标签,然后在第二阶段中利用它们来对相互指导进行建模。具体来说,我们提出了两个\textit{heterogeneous graph attention networks}工作在建议的两个\textit{heterogeneous semantics-label graphs},有效地表示语义节点和标签节点之间的关系。在MixATIS数据集上的实验结果表明,该模型的整体准确率比现有模型提高了19.3%.
2022-11-05 cs.AI cs.CL
Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
Carnegie Mellon University(卡内基梅隆大学)
基于注意力的编码器-解码器神经网络模型最近在机器翻译和语音识别中显示出有希望的结果。在这项工作中,我们提出了一个基于注意力的神经网络模型的联合意图检测和槽填充,这两个关键步骤,许多语音理解和对话系统。与机器翻译和语音识别不同,对齐在槽填充中是显式的。我们探索不同的策略,将此对齐信息的编码器-解码器框架。借鉴编码器-解码器模型中的注意力机制,我们进一步提出在基于编码器的RNN模型中引入注意力。这种关注为意图分类和插槽标签预测提供了额外的信息。我们的独立任务模型在基准ATIS任务上实现了最先进的意图检测出错率和插槽填充F1得分。我们的联合训练模型在意图检测上进一步获得了0.56%的绝对(23.8%的相对)错误减少,并且在独立任务模型上获得了0.23%的绝对增益。
2016-09-06 cs.CL
Recurrent Neural Networks with Pre-trained Language Model Embedding for Slot Filling Task
University of California, Los Angeles(加州大学洛杉矶分校)
近年来,基于循环神经网络(RNN)的模型被应用于口语语言理解中的槽填充问题,并取得了很好的效果。在本文中,我们研究了将预训练的语言模型合并到基于RNN的槽填充模型中的效果。我们对航空公司旅游信息系统(ATIS)数据语料库的评估表明,我们可以显着减少标记的训练数据的大小,并实现相同水平的槽填充性能,通过将额外的词嵌入和语言模型嵌入层预训练的非标记语料库。
2018-12-14 cs.CL cs.LG
mcBERT: Momentum Contrastive Learning with BERT for Zero-Shot Slot Filling
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
为了解决目标域可用数据有限的问题,Zero-shot孔填充受到了相当大的关注。零样本学习的一个重要因素是使模型学习广义和可靠的表示。为此,我们提出了mc BERT(代表与BERT的动量对比学习),以开发一个强大的零射击(zero-shot)插槽填充模型。mcBERT使用BERT来初始化两个编码器,即查询编码器和密钥编码器,并且通过应用动量对比学习来训练。我们在SNIPS基准测试上的实验结果表明,mcBERT大大优于以前的模型,记录了一个新的国家的最先进的。此外,我们还表明,组成mcBERT的每个组件有助于性能的提高。
2022-06-28 cs.AI cs.CL cs.LG
A Bi-model based RNN Semantic Frame Parsing Model for Intent Detection and Slot Filling
Samsung Research America(三星美国研究院)
意图检测和槽填充是构建口语语言理解(SLU)系统的两个主要任务。多个基于深度学习的模型在这些任务上表现出良好的效果。最有效的算法是基于序列到序列模型(或“编码器-解码器”模型)的结构,并使用单独的模型或联合模型生成意图和语义标签。然而,大多数以前的研究,要么把意图检测和槽填充作为两个独立的并行任务,或使用序列到序列模型来生成语义标签和意图。这些方法中的大多数使用一个(联合)基于NN的模型(包括编码器-解码器结构)来对两个任务进行建模,因此可能无法充分利用它们之间的交叉影响。在本文中,新的基于双模型的RNN语义框架解析网络结构的设计,以执行意图检测和槽填充任务联合,通过考虑它们的交叉影响,彼此使用两个相关的双向LSTM(BLSTM)。我们的具有解码器的双模型结构在基准ATIS数据上实现了最先进的结果,具有约0.5 $\%$意图准确性改进和0.9 $\%$槽填充改进。
2018-12-26 cs.AI cs.CL cs.LG
Bridge to Target Domain by Prototypical Contrastive Learning and Label Confusion: Re-explore Zero-Shot Learning for Slot Filling
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Group(美团集团)
Zero-shot跨域缝隙填充技术在目标域数据稀缺的情况下,消除了数据相关性,引起了广泛的研究。然而,现有的方法大多不能有效地将知识转移到目标领域,只能拟合目标领域中可见槽的分布,而对目标领域中不可见槽的知识转移效果较差。为了解决这个问题,我们提出了一种新的方法,基于原型对比学习与动态标签混淆策略的zero-shot插槽填充。原型对比学习的目的是重构标签的语义约束,我们引入标签混淆策略来动态建立源域和目标域之间的标签依赖。实验结果表明,我们的模型实现了显着的改善,同时也设置了新的国家的最先进的槽填充任务。
2021-10-07 cs.CL
Joint Intent Detection And Slot Filling Based on Continual Learning Model
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
槽填充和意图检测已经成为自然语言理解领域的一个重要课题。尽管槽填充与意图检测密切相关,但是这两个任务所需的信息的特性是不同的,而这些方法中的大多数可能没有完全意识到这个问题。此外,有效地平衡两个任务的准确性是联合学习模型不可避免的问题。本文提出了一种持续学习相关模型(CLIM),该模型考虑了不同特征的语义信息,有效地平衡了意图检测和槽填充之间的准确性。实验结果表明,CLIM在ATIS和Snips上实现了最先进的槽填充和意图检测性能。
2021-02-22 cs.CL eess.AS
Joint Slot Filling and Intent Detection via Capsule Neural Networks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Alibaba Group(阿里巴巴集团);Tencent Medical AI Lab(腾讯医疗人工智能实验室);Institute for Data Science, Tsinghua University(清华大学数据科学研究院)
能够将单词识别为槽并检测话语的意图一直是自然语言理解中的一个尖锐问题。现有的工作要么单独对待槽填充和意图检测在一个管道的方式,或采用联合模型,顺序标记槽,同时总结话语级的意图,而不显式地保持单词,槽,和意图之间的层次关系。为了利用语义层次结构进行有效的建模,我们提出了一个基于胶囊的神经网络模型,通过动态路由协议模式完成插槽填充和意图检测。提出了一种重新路由方案,以进一步协同使用推断的意图表示的槽填充性能。两个真实世界的数据集上的实验表明,我们的模型相比,其他替代模型架构,以及现有的自然语言理解服务的有效性。
2019-07-08 cs.CL
Learning to Bridge Metric Spaces: Few-shot Joint Learning of Intent Detection and Slot Filling
Harbin Institute of Technology(哈尔滨工业大学)
在本文中,我们研究了用于对话语言理解的Few-Shot联合学习。大多数现有的Few-Shot模型每次只学习一个任务,只有很少的例子。然而,对话语言理解包含两个密切相关的任务,即,意图检测和槽填充,并且通常受益于联合学习这两个任务。这就需要新的少样本学习技术,这些技术能够从几个示例中捕获任务关系,并联合学习多个任务。为了实现这一点,我们提出了一个基于相似性的少样本学习方案,称为对比原型合并网络(ConProm),它学习桥接数据丰富域上的意图和槽的度量空间,然后将桥接的度量空间适应特定的Few-Shot域。在两个公共数据集Snips和FewJoint上的实验表明,我们的模型在一次和五次拍摄设置中显着优于强基线。
2021-05-25 cs.AI cs.CL
A Novel Bi-directional Interrelated Model for Joint Intent Detection and Slot Filling
Beijing University of Posts and Telecommunications(北京邮电大学)
口语语言理解(SLU)系统包括两个主要任务,槽填充(SF)和意图检测(ID)。两种任务的联合模型正在成为SLU的发展趋势。但是现有的节点模型没有建立节点意图和节点槽之间的双向关联关系。在本文中,我们提出了一种新的双向相关模型的联合意图检测和槽填充。我们引入SF-ID网络来建立这两个任务之间的直接联系,以帮助它们相互促进。此外,我们在SF-ID网络内部设计了一种全新的迭代机制,以增强双向关联连接。实验结果表明,在ATIS和Snips数据集上,与最先进的模型相比,我们的模型在文本级语义框架准确率上的相对提高分别为3.79%和5.42%。
2019-06-30 cs.AI cs.CL eess.AS
BERT for Joint Intent Classification and Slot Filling
Speech Lab, DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团,语音实验室)
意图分类和槽填充是自然语言理解的两个基本任务。它们通常受到小规模人类标记的训练数据的影响,导致泛化能力差,特别是对于稀有词。最近,一种新的语言表示模型,BERT(来自Transformers的双向编码器表示),有助于在大规模未标记语料库上预训练深度双向表示,并在简单的微调后为各种各样的自然语言处理任务创建了最先进的模型。然而,还没有太多的努力,探索BERT的自然语言的理解。本文提出了一种基于BERT的联合意图分类和时隙填充模型。实验结果表明,与基于注意力的递归神经网络模型和槽门模型相比,该模型在多个公共基准数据集上的意图分类准确率、槽填充F1和句子级语义框架准确率都有显著提高.
2019-02-28 cs.CL
Simple is Better! Lightweight Data Augmentation for Low Resource Slot Filling and Intent Classification
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
基于神经元的模型在有相当大的域内训练数据时,在槽填充和意图分类方面取得了优异的性能。然而,由于新的域被频繁地添加,创建相当大的数据是昂贵的。我们表明,轻量级的增强,一组增强方法,涉及词跨度和句子级别的操作,解决数据稀缺的问题。我们在有限的数据设置上的实验表明,轻量级增强在ATIS和SNIPS数据集上的插槽填充上产生了显着的性能改善,并且相对于更复杂的、最先进的增强方法,实现了具有竞争力的性能。此外,当与预先训练的基于LM的模型结合时,轻量级增强也是有益的,因为它改进了基于BERT的联合意图和槽填充模型。
2020-09-08 cs.CL
An Explicit-Joint and Supervised-Contrastive Learning Framework for Few-Shot Intent Classification and Slot Filling
Dalian University of Technology(大连理工大学);Peking University(北京大学)
意图分类(IC)和槽填充(SF)是面向任务的对话系统中的关键构建块。这两项任务密切相关,可以相互促进。由于只有少数话语可以用于识别快速出现的新意图和槽,因此在实现IC和SF时经常发生数据稀缺问题。然而,很少有IC/SF模型表现良好时,每个类的训练样本的数量是相当少的。在本文中,我们提出了一种新的显式联合和监督对比学习框架的Few-Shot意图分类和插槽填充。其要点如下。(i)该模型通过双向交互提取意图和槽表示,并扩展原型网络实现显式联合学习,保证了IC和SF任务能够相互增强。(ii)该模型集成了有监督的对比学习,确保来自同一类的样本被拉到一起,而来自不同类的样本被推开。此外,该模型遵循一种不常见但实用的情节构造方法,摆脱了传统的固定方式和镜头的设置,并允许不平衡的数据集。在三个公共数据集上的大量实验表明,我们的模型可以取得令人满意的性能。
2021-10-26 cs.AI cs.CL
Joint Multiple Intent Detection and Slot Filling with Supervised Contrastive Learning and Self-Distillation
Posts and Telecommunications Institute of Technology(邮电技术学院)
本文提出双向联合模型,结合监督对比学习和自蒸馏,解决多意图检测与槽填充的联合训练难题,在MixATIS和MixSNIPS上超越现有最佳模型。
2023-08-28 cs.AI cs.CL
Linguistically-Enriched and Context-Aware Zero-shot Slot Filling
University of California, Riverside(加州大学河滨分校)
槽填充是识别话语中对应于某些参数的单词的连续跨度(即,时隙)。槽填充是现代面向任务的对话系统中最重要的挑战之一。监督学习方法已被证明在应对这一挑战方面是有效的,但它们需要在给定域中大量的标记训练数据。然而,新的域(即,在训练中看不见)可能在部署之后出现。因此,这些模型必须无缝地适应和填充可见域和不可见域中的槽--不可见域包含没有训练数据的不可见槽类型,甚至不可见域中的可见槽通常在不同的上下文中呈现。此设置通常称为zero-shot插槽填充。很少有工作集中在这个设置,有限的实验评估。现有的模型,主要依赖于上下文无关的嵌入为基础的相似性措施无法检测槽值在看不见的域或这样做,只有部分。我们提出了一个新的zero-shot槽填充神经模型LEONA,它分为三个步骤。步骤一通过利用(a)语言特征;(b)命名实体识别线索;(c)来自预先训练的语言模型的上下文嵌入来获取话语单词的域无关的、上下文感知的表示。第二步微调这些丰富的表示,并为每个单词生成与槽无关的标签。第三步利用可推广的上下文感知话语槽相似性特征在单词级别,使用槽独立的标签,并将它们上下文化,以产生槽特定的预测每个单词。我们对四个不同的公共数据集的全面评估表明,对于SNIPS,ATIS,MultiWOZ和SGD数据集上的未知域,我们的方法平均分别优于SOTA模型17.52%,22.15%,17.42%和17.95%。
2021-01-16 cs.CL
Comparing Convolutional Neural Networks to Traditional Models for Slot Filling
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));LMU Munich(慕尼黑大学)
我们解决的关系分类的背景下,插槽填充,寻找和评估的任务,如“史蒂夫乔布斯”的插槽X在“X创立苹果”。我们提出了一个卷积神经网络,它根据关系参数将输入句子分成三个部分,并将其与最先进的传统关系分类方法进行比较。最后,我们结合不同的方法,并表明组合优于单独的方法。我们还分析了体裁差异对表演的影响。
2016-04-04 cs.CL
Elastic CRFs for Open-ontology Slot Filling
Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University(清华大学语音处理与机器智能实验室);China Mobile Research Institute(中国移动研究院)
提出弹性条件随机场(eCRF)模型,通过自然语言描述的嵌入表示槽并建模,解决传统槽填充无法检测新标签及忽略槽间语义相关性的问题,在域内和跨域任务中表现优异。
2024-05-29 cs.CL
GL-GIN: Fast and Accurate Non-Autoregressive Model for Joint Multiple Intent Detection and Slot Filling
Harbin Institute of Technology(哈尔滨工业大学)
多意图SLU可以处理一个话语中的多个意图,这引起了越来越多的关注。然而,最先进的联合模型严重依赖于自回归方法,导致两个问题:推理速度慢和信息泄漏。本文探索了一种非自回归模型用于联合多意图检测和槽填充,实现了更快速、更准确的检测。具体来说,我们提出了一个全局-局部图交互网络(GL-GIN),其中提出了一个局部槽感知图交互层来模拟槽依赖,以减轻不协调槽问题,而引入了一个全局意图-槽图交互层来模拟多个意图与话语中所有槽之间的交互。在两个公共数据集上的实验结果表明,我们的框架实现了最先进的性能,同时速度提高了11.5倍。
2021-06-03 cs.CL
Improving Slot Filling by Utilizing Contextual Information
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
槽填充是口语语言理解的子任务之一,其目的是从给定的自然语言话语中提取语义成分。它被公式化为序列标记任务。最近,研究表明上下文信息对于这项任务至关重要。然而,现有的模型以受限的方式采用上下文信息,例如,使用自我注意力。这些方法无法区分上下文对词表征和词标签的影响。为了解决这个问题,在本文中,我们提出了一种新的方法,将上下文信息在两个不同的水平,即,表示级别和特定任务(即,标签)水平。我们对SF上的三个基准数据集进行了广泛的实验,结果表明我们的模型在SF任务的所有三个基准数据集上都获得了新的最先进的结果。
2020-05-30 cs.AI cs.CL
Revisit Out-Of-Vocabulary Problem for Slot Filling: A Unified Contrastive Frameword with Multi-level Data Augmentations
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Group(美团集团)
在真实的对话场景中,现有的槽填充模型,这往往是记忆实体模式,有一个显着降低泛化面临的词汇表(OOV)的问题。为了解决这个问题,我们提出了一个基于多级数据增强的OOV鲁棒槽填充模型,从词和槽的角度来解决OOV问题。我们提出了一个统一的对比学习框架,该框架将原始样本和增强样本的表示拉在一起,以使模型能够抵抗OOV问题。我们从一些特定的插槽评估模型的性能和精心设计的测试数据与OOV词扰动,以进一步证明OOV词的有效性。在两个数据集上的实验表明,我们的方法优于以前的SOTA方法在OOV槽和字。
2023-02-27 cs.CL
Prior Knowledge Driven Label Embedding for Slot Filling in Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
自然语言理解(NLU)中的传统槽填充为每个单词预测一个独热向量。这种形式的标签表示缺乏语义相关性建模,这导致严重的数据稀疏问题,特别是在将NLU模型适应新领域时。为了解决这个问题,本文提出了一种新的标签嵌入的插槽填充框架。这里,使用先验知识为每个时隙构造分布式标签嵌入。三种编码方法进行了研究,将不同种类的先验知识插槽:原子概念,插槽描述,插槽范例。所提出的标签嵌入倾向于共享文本模式,并重用具有不同槽标签的数据。这使得它对于具有有限数据的自适应NLU非常有用。此外,由于标签嵌入独立于NLU模型,因此它与几乎所有基于深度学习的槽填充模型兼容。在三个数据集上对所提出的方法进行了评估。单域和领域自适应任务的实验表明,标签嵌入实现了显着的性能改善,传统的一个热标签表示,以及先进的zero-shot方法。
2020-03-22 cs.CL cs.LG
Improving Slot Filling Performance with Attentive Neural Networks on Dependency Structures
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心)
Slot Filling(SF)旨在从大量源文档集合中提取给定实体的某些类型属性(或slot,如person:cities\_of\_residence)的值。在本文中,我们提出了一个有效的DNN架构SF与以下新策略:(1)。采用正则化依赖图而不是原始句子作为DNN的输入,以压缩查询和候选填充器之间的广泛上下文;(2)。结合两种注意力机制:从查询和候选填充器学习的局部注意力和从外部知识库学习的全局注意力,以指导模型更好地选择指示性上下文来确定槽类型。实验表明,该框架在关系抽取(F-score绝对增益16%)和槽填充验证(F-score绝对增益高达8.5%)方面均优于现有技术。
2017-07-04 cs.CL
Multi-Domain Adversarial Learning for Slot Filling in Spoken Language Understanding
Carnegie Mellon University(卡内基梅隆大学)
本文旨在研究口语语言理解(SLU)中槽填充任务的跨域表征。最近发布的大多数SLU模型都是针对特定领域的,适用于单个任务领域。为每个单独的任务域注释数据在经济上是昂贵的并且不可扩展的。在这项工作中,我们提出了一种对抗性训练方法,用于学习可以在多个领域共享的共同特征和表示。产生这种共享表示的模型可以与在单个领域SLU数据上训练的模型相结合,以减少开发新领域所需的训练样本量。在我们使用来自多个领域的数据集进行的实验中,我们表明对抗性训练有助于学习更好的领域通用SLU模型,从而提高了插槽填充F1得分。我们进一步表明,在领域通用模型上应用对抗性学习也有助于在模型与特定领域模型联合优化时实现更高的槽填充性能。
2017-11-30 cs.CL
Generative Zero-Shot Prompt Learning for Cross-Domain Slot Filling with Inverse Prompting
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Group(美团集团);University of Surrey(萨里大学)
本文提出生成式零样本提示学习框架与逆向提示策略,仅微调少量提示参数即可提升跨领域槽填充的泛化性和鲁棒性,在未见槽上F1提升13.44%。
2023-07-06 cs.CL
Decoupling Representation and Knowledge for Few-Shot Intent Classification and Slot Filling
Huazhong University of Science and Technology(华中科技大学);iWudao Tech;Banma Network Technology(斑马网络技术)
针对少样本意图分类和槽填充,提出解耦通用语义表示与领域特定知识迁移的方法,通过捕获意图-槽位和槽位-槽位关系,在Snips和FewJoint上达到最优性能。
2023-12-21 cs.AI cs.CL
Group is better than individual: Exploiting Label Topologies and Label Relations for Joint Multiple Intent Detection and Slot Filling
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);Centre for Frontier Artificial Intelligence Research(前沿人工智能研究中心);A*STAR(新加坡科技研究局)
最近的联合多意图检测和槽填充模型使用标签嵌入来实现语义-标签交互。然而,它们将所有标签和标签嵌入视为不相关的个体,忽略了它们之间的依赖关系。此外,他们独立地对这两个任务进行解码,而不利用它们之间的相关性。因此,本文首先构造了一个异构标签图(HLG),它包含两种拓扑结构:(1)基于标签同现模式和标签层次的统计依赖关系;(2)标签节点之间的丰富关系。然后,我们提出了一个新的模型称为ReLa-Net。它可以捕获来自HLG的标记之间的有益相关性。标签相关性被用来增强语义-标签交互。此外,我们还提出了标签感知的相互依赖解码机制,以进一步利用标签相关性进行解码。实验结果表明,我们的ReLa-Net显着优于以前的模型。值得注意的是,ReLa-Net在MixATIS数据集上的整体准确性方面超过了之前最好的模型20%以上。
2022-11-05 cs.AI cs.CL
PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Group(美团集团);University of Surrey(萨里大学);China Mobile Research Institute(中国移动研究院)
大多数现有的槽填充模型倾向于从训练数据中记忆实体的固有模式和相应的上下文。然而,这些模型可能会导致系统故障或不期望的输出时,暴露于口语干扰或变化在实践中。提出了一种扰动语义结构感知迁移方法,用于训练扰动鲁棒的槽填充模型。具体来说,我们引入了两种基于MLM的训练策略,分别从无监督语言扰动语料库中学习上下文语义结构和词分布。然后,我们将从上游训练过程中学习到的语义知识转移到原始样本中,并通过一致性处理过滤生成的数据。这些程序旨在提高插槽填充模型的鲁棒性。实验结果表明,我们的方法始终优于以前的基本方法,并获得了很强的泛化能力,同时防止记忆的实体和上下文的固有模式的模型。
2022-09-15 cs.CL
Sequential Convolutional Neural Networks for Slot Filling in Spoken Language Understanding
University of Stuttgart(斯图加特大学)
我们研究了卷积神经网络(CNN)在口语语言理解中的槽填充任务的使用。我们提出了一种新的CNN结构的序列标记,考虑到以前的上下文单词与保留的顺序信息,并特别注意当前单词与其周围的上下文。此外,它结合了过去和未来的信息进行分类。我们提出的CNN架构甚至优于以前最好的集成递归神经网络模型,并在ATIS基准数据集上实现了最先进的结果,F1得分为95.61%,而无需使用任何额外的语言知识和资源。
2016-06-24 cs.CL
Intent Classification and Slot Filling for Privacy Policies
University of California, Los Angeles(加州大学洛杉矶分校);University of Virginia(弗吉尼亚大学);Fordham University(福特汉姆大学)
了解隐私政策对用户至关重要,因为它使他们能够了解对他们重要的信息。隐私政策文档中的句子解释隐私惯例,组成文本跨度传达有关该惯例的进一步具体信息。我们将预测句子中解释的隐私实践称为意图分类,并将共享特定信息的文本跨度识别为槽填充。在这项工作中,我们提出了PolicyIE,一个英文语料库,包括5,250个意图和11,788槽注释跨越31个网站和移动应用程序的隐私政策。PolicyIE语料库是一个具有挑战性的现实世界的基准与有限的标记的例子,反映了从领域专家收集大规模注释的成本。我们提出了两种替代的神经方法作为基线,(1)意图分类和槽填充作为联合序列标记,(2)将它们建模为序列到序列(Seq 2Seq)学习任务。实验结果表明,这两种方法在意图分类上都有较好的效果,而Seq 2Seq方法在槽填充上的效果明显优于序列标记方法。我们进行了详细的错误分析,以揭示所提出的语料库的挑战。
2021-06-04 cs.CL
Knowledge-Aware Audio-Grounded Generative Slot Filling for Limited Annotated Data
University of Cambridge(剑桥大学);PolyAI Ltd.(PolyAI有限公司);Tsinghua University(清华大学)
本文提出知识感知音频基座生成式槽填充框架 KA2G,通过文本生成、音频基座和外部知识条件化,提升语音任务导向对话在少样本和零样本下的槽填充鲁棒性与数据效率。
2023-07-04 cs.CL