Speaker-Sensitive Dual Memory Networks for Multi-Turn Slot Tagging
Amazon Alexa Brain（亚马逊Alexa Brain）；Microsoft Research（微软研究院）
在多轮对话中，自然语言理解模型由于对上下文信息视而不见而可能引入明显的错误。为了整合对话历史，我们提出了一个具有说话者敏感双记忆网络的神经架构，该网络根据说话者的不同对话语进行不同的编码。这解决了系统可用信息的不同程度-系统只知道用户话语的表面形式，而它具有系统输出的确切语义。我们对商业个人助理Microsoft Cortana的真实用户数据进行了实验。结果表明，使用上下文信息的最先进的槽标记模型的性能显着提高。
2017-11-29 cs.CL
Enhancing Slot Tagging with Intent Features for Task Oriented Natural Language Understanding using BERT
Samsung R&D Institute（三星研发院）；Indian Institute of Technology（印度理工学院）
最近的联合意图检测和插槽标记模型与单独的模型相比，性能有所提高。在许多真实世界的数据集中，槽标签和值与其意图标签有很强的相关性。在这种情况下，意图标签信息可以充当槽标记模型的有用特征。在本文中，我们通过3种技术在联合意图和插槽检测模型的插槽标记任务中研究了利用意图标签特征的效果。我们在基准口语数据集SNIPS和ATIS以及大型私人Bixby数据集上评估了我们的技术，并观察到在最先进的模型上改进了插槽标记性能。
2022-05-23 cs.AI cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp（安特卫普大学）；TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务，使用弱监督的方法继续工作。我们研究了使用再训练技术的优点，该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入：（1）基于条件随机场和基于记忆的学习的判别序列标记器和（2）概率上下文无关文法归纳。实验结果表明，这种设置可以显着提高F分数，而不需要额外的信息源。此外，定性分析表明，弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Inverse is Better! Fast and Accurate Prompt for Few-shot Slot Tagging
Harbin Institute of Technology（哈尔滨工业大学）
近年来，学习方法在少样本学习中取得了令人瞩目的成功。这些方法用提示句段修改输入样本，并解码标签标记以将样本映射到相应的标签。然而，这样的范例对于槽标记的任务是非常低效的。由于槽标记样本是一个句子中的多个连续的单词，提示方法必须枚举所有的n-gram标记跨度来找到所有可能的槽，这大大降低了预测速度。为了解决这个问题，我们引入了一个反向范式的提示。与经典的将标记映射到标签的提示不同，我们可以根据给定的插槽类型来预测插槽值。这种反向提示仅需要对每个时隙类型进行一轮预测，并且大大加快了预测速度。此外，我们提出了一种新的迭代预测策略，模型通过考虑不同时隙类型之间的关系来学习改进预测。我们发现，有点令人惊讶的是，所提出的方法不仅预测速度更快，而且显着提高了效果（在10次拍摄设置上提高了6.1 F1分数），并实现了新的最先进的性能。
2022-04-02 cs.AI cs.CL
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Intent Detection and Slots Prompt in a Closed-Domain Chatbot
PeopleStrong
在本文中，我们介绍了一种方法，用于预测回答职业相关查询的聊天机器人的查询意图和插槽。我们采取多阶段的方法，其中两个过程（意图分类和插槽标记）在不同阶段通知对方的决策。该模型将问题分解为多个阶段，每次解决一个问题，并将当前阶段的相关结果传递到下一个阶段，从而减少后续阶段的搜索空间，并最终在每个阶段之后使分类和标记更加可行。我们还观察到，在每个阶段之后，在槽标记中放松模糊实体匹配的规则（通过在每个阶段保持单独的命名实体标记器）有助于我们提高性能，尽管以误报为代价。我们的模型已经达到了最先进的性能，在我们的数据集上，意图分类的F1得分为77.63%，插槽标记的F1得分为82.24%，我们将与论文一起公开发布。
2019-01-10 cs.AI cs.CL
LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging
Amazon（亚马逊）
我们提出了LINGUIST，一种用于生成意图分类和插槽标记（IC+ST）的注释数据的方法，通过微调AlexaTM 5B，一个50亿参数的多语言序列到序列（seq2seq）模型，在灵活的指令提示符上。在SNIPS数据集的10次新意图设置中，LINGUIST大大超过了最先进的方法（反向翻译和示例外推），显示出目标意图的绝对改善，IC回忆为+1.9分，ST F1分数为+2.5分。在mATIS++数据集的zero-shot跨语言设置中，LINGUIST在6种语言的ST F1评分上的表现超过了具有插槽对齐的机器翻译的强基线，绝对值为+4.14分，同时匹配IC的性能。最后，我们验证了我们的结果在内部大规模的多语言数据集的会话代理IC+ST，并显示出显着的改善基线，使用回译，释义和插槽目录回复。据我们所知，我们是第一个演示大规模seq2seq模型的指令微调，以控制多语言意图和插槽标记数据生成的输出。
2022-09-20 cs.AI cs.CL cs.LG
Sound Natural: Content Rephrasing in Dialog Systems
Facebook（Facebook（脸书））
我们引入了一项重新措辞的新任务，以获得更自然的虚拟助理。目前，虚拟助理在意图槽标记的范例中工作，并且槽值直接按原样传递到执行引擎。但是，在某些情况下，这种设置会失败，例如当用户给出的查询需要在重复之前进行更改或将其发送给另一个用户时。例如，对于像“问我的妻子，如果她可以接孩子”或“提醒我吃药”这样的查询，我们需要将内容改写为“你能接孩子吗”和“吃药”在本文中，我们研究了消息传递作为用例的改写问题，并发布了3000对原始查询和改写查询的数据集。我们表明，BART，一个预先训练的基于transformers的掩蔽语言模型与自回归解码，是一个强大的基线的任务，并通过添加一个复制指针和复制损失，它显示改进。我们分析了不同的权衡基于BART和基于LSTM的seq2seq模型，并提出了一个蒸馏基于LSTM的seq2seq作为最佳的实用模型。
2020-11-03 cs.CL cs.LG
Learning when to trust distant supervision: An application to low-resource POS tagging using cross-lingual projection
The University of Melbourne（墨尔本大学）
语言注释的跨语言投影受到许多偏差和噪声源的影响，导致不能直接使用的不可靠注释。在本文中，我们介绍了一种新的序列标记方法，该方法使用显式去偏层来学习纠正跨语言投影的错误。这是作为两个语料库的联合学习，一个标记为黄金标准，另一个标记为投影标签。我们仅使用1,000个标记有黄金标准标记的令牌进行评估，以及更丰富的并行数据。我们的系统在八个模拟的低资源环境中达到或超过了最先进的水平，以及两种真正的低资源语言，马达加斯加语和基尼亚卢旺达语。
2016-07-05 cs.CL
Character-Level Feature Extraction with Densely Connected Networks
Korea University（高丽大学）；Amazon Alexa（亚马逊Alexa）
在各种自然语言处理任务中，生成字符级特征是获得良好结果的重要步骤。为了减轻在生成手工制作的特征时对人力的需求，已经提出了利用诸如卷积神经网络（CNN）或递归神经网络（RNN）之类的神经架构来自动提取这样的特征的方法，并且已经显示出很好的结果。然而，CNN生成与位置无关的特征，而RNN很慢，因为它需要顺序处理字符。在本文中，我们提出了一种新的方法，使用密集连接的网络自动提取字符级的功能。所提出的方法不需要任何语言或任务特定的假设，并显示出鲁棒性和有效性，同时比基于CNN或RNN的方法更快。在三个序列标记任务-槽标记，词性（POS）标记和命名实体识别（NER）上评估该方法-我们获得了最先进的性能，在槽标记和POS标记上分别具有96.62 F1分数和97.73%的准确率，并且与NER上的最先进的91.13 F1分数相当。
2018-07-26 cs.CL
MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers
Azure Text Analytics, Microsoft Cloud & AI（微软云与人工智能部门Azure文本分析团队）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能团队）；Alexa AI, Amazon（亚马逊Alexa人工智能团队）
Cortana、Alexa和Siri等会话代理不断通过添加新域来提高其功能。对新领域的支持包括设计和开发用于领域分类、意图分类和槽标记（包括命名实体识别）的多个NLU组件。每个组件只有在大量标记数据上训练时才能表现良好。第二，这些组件部署在有限内存的设备上，这需要一些模型压缩。第三，对于诸如健康领域的某些领域，难以找到覆盖所有所需槽类型的单个训练数据集。为了克服这些问题，我们提出了一个多任务的转换器为基础的神经网络结构的插槽标记。我们认为使用多个数据集覆盖不同的插槽类型作为一个多任务学习问题的槽标签的培训。生物医学领域的实验结果表明，所提出的方法优于以前的国家的最先进的系统槽标记不同的基准生物医学数据集的（时间和内存）的效率和有效性。输出时隙标注器可以由会话代理使用以更好地识别输入话语中的实体。
2020-01-24 cs.CL cs.LG stat.ML
Iterative Delexicalization for Improved Spoken Language Understanding
Samsung Research America（三星美国研究院）
近年来，基于递归神经网络（RNN）的联合意图分类和槽标记模型在构建口语语言理解和对话系统方面取得了巨大的成功。然而，这些模型遭受槽的性能不佳，这些槽在部署后经常遇到槽值的大的语义变化（例如，消息文本、部分电影/艺术家名称）。虽然通过子串匹配对输入话语中的槽进行贪婪去词汇化可以部分地提高性能，但它通常会产生不正确的输入。此外，这样的技术不能对具有在训练时未看到的词汇表外槽值的槽进行解词汇化。在本文中，我们提出了一种新的迭代去词汇化算法，它可以准确地去词汇化的输入，即使与词汇槽值。基于模型的信心，当前的delexicalized输入，我们的算法提高delexicalization在每次迭代收敛到最好的输入具有最高的信心。我们在基准测试和内部数据集上表明，我们的算法可以大大提高基于RNN的模型的解析性能，特别是对于分布外的槽值。
2019-10-15 cs.CL
End-to-End Slot Alignment and Recognition for Cross-Lingual NLU
University of Maryland（马里兰大学）；Amazon AI（亚马逊人工智能）
面向目标的对话系统的上下文中的自然语言理解（NLU）通常包括意图分类和槽标记任务。将NLU系统扩展到新语言的现有方法使用机器翻译，其具有从源到翻译的话语的槽标签投影，并且因此对投影误差敏感。在这项工作中，我们提出了一种新的端到端模型，学习对齐和预测目标槽标签联合跨语言迁移。我们介绍了MultiATIS++，一个新的多语言的NLU语料库，扩展了多语言ATIS语料库的九种语言，跨越四个语言家族，并评估我们的方法使用语料库。结果表明，我们的方法在大多数语言上都优于使用快速对齐的简单标签投影方法，并且在训练时间只有一半的情况下，与更复杂的最先进的投影方法相比，我们的方法具有竞争力的性能。我们向社区发布了我们的MultiATIS++语料库，以继续未来对跨语言NLU的研究。
2020-10-08 cs.CL cs.LG
Robust Spoken Language Understanding with RL-based Value Error Recovery
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室）
口语语言理解（SLU）旨在提取结构化的语义表示（例如，槽-值对），其遭受自动语音识别（ASR）的错误。为了减轻由ASR错误引起的问题，以前的作品可以将输入自适应应用于语音识别文本，或者通过搜索发音中最相似的候选者来校正预测值中的ASR错误。然而，这两种方法是分开和独立应用的。在这项工作中，我们提出了一个新的鲁棒SLU框架，以指导SLU输入自适应与基于规则的值错误恢复模块。该框架由槽标记模型和基于规则的值错误恢复模块组成。我们追求的适应槽标记模型，可以提取潜在的槽值对提到的ASR假设，并适用于现有的值错误恢复模块。在值错误恢复之后，我们可以通过将细化的槽值对与注释进行比较来实现监督信号（奖励）。由于值错误恢复的操作是不可微的，我们利用基于策略梯度的强化学习（RL）来优化SLU模型。在公开的CATSLU数据集上的实验表明了该方法的有效性，它可以提高SLU的鲁棒性，并显著优于基线。
2020-09-07 cs.AI cs.CL
Unsupervised Cross-Lingual Part-of-Speech Tagging with Monolingual Corpora Only
School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语言学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出了一种仅使用单语语料的无监督跨语言词性标注框架，通过无监督神经机器翻译构建伪平行句子对，并利用多源投影技术提升词性标注性能。
2026-02-10 cs.CL
An Enhanced Span-based Decomposition Method for Few-Shot Sequence Labeling
Peking University（北京大学）；Tencent（腾讯）
Few-Shot序列标记（FSSL）是标记模型的规范范例，例如，命名实体识别和槽填充，以推广一个新兴的，资源稀缺的领域。最近，基于度量的元学习框架被认为是一种很有前途的FSSL方法。然而，大多数现有的工作分配一个标签的基础上，每个令牌级的相似性，这忽略了命名实体或槽的完整性。为此，在本文中，我们提出了ESD，一种增强的基于跨度的FSSL分解方法。ESD将FSSL定义为测试查询和支持实例之间的跨级匹配问题。具体地说，ESD将跨度匹配问题分解为一系列跨度级的过程，主要包括增强的跨度表示、类原型聚合和跨度冲突解决。大量的实验表明，ESD实现了两个流行的FSSL基准测试，FewNERD和SNIPS的新的国家的最先进的结果，并被证明是更强大的嵌套和嘈杂的标记场景。我们的代码可在https://github.com/Wangpeiyi9979/ESD上获得。
2022-05-06 cs.CL
Cross-Register Projection for Headline Part of Speech Tagging
Bloomberg（彭博有限合伙企业）
词性标注是一项常见的NLP任务。最先进的标记器通常在新闻正文上达到超过97%的标记级准确率，这表明这个问题已经得到了很好的理解。然而，英语新闻标题的语域（headlinese）与长文本的语域有很大的不同，导致词性标注模型在标题上表现不佳。在这项工作中，我们自动标注新闻标题与POS标签投影预测标签从相应的句子中的新闻机构。我们训练一个多领域的POS标签的长形式和标题文本，并表明，联合训练两个寄存器提高了训练，只是一个或天真地连接训练集。我们对来自Google句子压缩语料库的超过5，248个英语新闻标题的新注释语料库进行了评估，并表明我们的模型每个标记的相对错误减少了23%，每个标题减少了19%。此外，我们证明了更好的标题POS标签可以提高基于语法的开放式信息抽取系统的性能。我们提供POSH，即POS标记的标题语料库，以鼓励研究改进的新闻标题NLP模型。
2021-09-15 cs.AI cs.CL
Cross-Lingual Morphological Tagging for Low-Resource Languages
University of Oxford（牛津大学）；Google Inc.（谷歌公司）
形态丰富的语言通常缺乏开发准确的自然语言处理工具所需的注释语言资源。我们提出了适合于训练形态标签丰富的标签集低资源的语言，而不使用直接监督模型。我们的方法扩展了现有的方法投影跨语言的词性标签，使用bitext推断一个给定的单词类型或令牌的可能的标签上的约束。我们提出了一个标记模型，使用Wsabie，一个判别式嵌入为基础的模型与基于排名的学习。在我们对11种语言的评估中，该模型的平均性能与基线弱监督HMM相当，同时更具可扩展性。多语言实验表明，该方法在相关语言对之间进行投影时表现最好。尽管固有的有损投影，我们表明，我们的模型预测的形态标签提高了下游性能的解析器平均+0.6 LAS。
2016-06-14 cs.CL
Graph-Based Multilingual Label Propagation for Low-Resource Part-of-Speech Tagging
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）
词性标注是NLP管道的重要组成部分，但许多低资源语言缺乏用于训练的标记数据。在这种情况下，用于训练POS标注器的既定方法是通过从高资源语言转移来创建标记的训练集。在本文中，我们提出了一种新的方法，将标签从多个高资源源低资源的目标语言。我们正式POS标签投影为基于图的标签传播。给定一个句子在多种语言中的翻译，我们通过对齐所有语言对的单词来创建一个以单词为节点、对齐链接为边的图。然后，我们使用一个带有Transformer层的图神经网络将节点标签从源传播到目标。我们表明，我们的传播创建的训练集，使我们能够训练POS标记的一组不同的语言。当与增强的上下文嵌入相结合时，我们的方法实现了低资源语言的无监督POS标记的新的最先进技术。
2022-10-31 cs.CL
Chinese Spelling Correction as Rephrasing Language Model
Shanghai Jiao Tong University（上海交通大学）
本文针对中文拼写纠错中字符级标注过度依赖错误、泛化与迁移受限的问题，提出通过填充槽位改写整句的 ReLM，在微调和零样本基准上取得显著领先结果。
2024-02-28 cs.CL
Adobe-MIT submission to the DSTC 4 Spoken Language Understanding pilot task
Adobe Research（奥多比研究院）；MIT（麻省理工学院）；Massachusetts Institute of Technology（麻省理工学院）
对话状态跟踪挑战4（DSTC 4）提出了几个试点任务。在本文中，我们专注于口语语言理解试点任务，其中包括标记一个给定的话语与言语行为和语义槽。我们比较不同的分类器：最好的系统在语音行为识别测试集上对游客和导游分别获得0.52和0.67的F1分数，并且对导游和游客都获得0.52的语义标注F1分数。
2016-05-07 cs.AI cs.CL cs.LG
Prior Omission of Dissimilar Source Domain(s) for Cost-Effective Few-Shot Learning
The Chinese University of Hong Kong（香港中文大学）
Few-Shot槽标注是自然语言理解领域的一个新兴研究课题。有了足够的源域标注数据，关键的挑战是如何训练和调整模型到另一个目标域，只有很少的标签。传统的Few-Shot方法使用来自源域的所有数据，而不考虑域间关系，并且隐含地假设域中的每个样本贡献相等。然而，我们的实验表明，不同领域之间的数据分布偏差将显着影响自适应性能。此外，从不同领域传递知识甚至会引入一些额外的噪声，从而影响模型的性能。为了解决这个问题，我们提出了一个有效的基于相似性的方法来选择数据从源域。此外，我们提出了一个共享专用网络（SP-Net）的Few-Shot插槽标记任务。来自同一类的单词会有一些共同的特征。我们从目标域上的有限注释数据中提取这些共享特征，并将它们合并在一起作为标签嵌入，以帮助我们预测目标域上的其他未标记数据。实验表明，我们的方法优于国家的最先进的方法与较少的源数据。结果还证明了某些来自不同来源的训练数据是冗余的，甚至对自适应是不利的。
2021-09-11 cs.AI cs.CL
Few-Shot NLU with Vector Projection Distance and Abstract Triangular CRF
AISpeech Co., Ltd.（思必驰科技股份有限公司）；Shanghai Jiao Tong University（上海交通大学）
数据稀疏性问题是自然语言理解（NLU）的一个关键挑战，特别是对于新的目标领域。通过在源域中训练NLU模型并将模型直接应用于任意目标域（即使没有微调），Few-Shot NLU对于缓解数据稀缺问题至关重要。在本文中，我们提出了改进的原型网络与矢量投影距离和抽象的三角条件随机场（CRF）的Few-Shot自然语言理解。向量投影距离利用上下文词嵌入在标签向量上的投影作为词-标签相似性，其等效于归一化线性模型。抽象的三角形CRF学习域不可知的标签转换，用于联合意图分类和槽填充任务。大量的实验表明，我们提出的方法可以显着超过强基线。具体来说，我们的方法可以实现一个新的国家的最先进的两个Few-Shot NLU基准（Few-Joint和SNIPS）在中文和英文没有微调的目标领域。
2021-12-09 cs.CL
Cross-Lingual Syntactic Transfer through Unsupervised Adaptation of Invertible Projections
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
跨语言迁移是构建低资源语言句法分析工具的有效途径。然而，当迁移到类型学上遥远的语言时，迁移是困难的，特别是当既没有注释的目标数据也没有平行语料库时。在本文中，我们专注于跨语言迁移到远距离语言的方法，并提出学习一个生成模型与结构化的前，利用标记的源数据和未标记的目标数据联合。通过一个正则化的对数似然目标，源模型和目标模型的参数被软共享。采用可逆投影来学习新的语际潜在嵌入空间，该空间补偿不完美的跨语言词嵌入输入。我们评估我们的方法上的两个句法任务：词性（POS）标记和依存句法分析。在通用依存关系树库上，我们使用英语作为唯一的源语料库，并转换到广泛的目标语言。在这个数据集中的10种语言是远离英语，我们的方法产生了平均5.2%的绝对改善POS标记和8.3%的绝对改善依存句法分析的直接转移方法，使用最先进的判别模型。
2021-04-29 cs.CL cs.LG
Segmenting Natural Language Sentences via Lexical Unit Analysis
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了词汇单元分析（LUA），一般序列分割任务的框架。给定一个自然语言句子，LUA评分的所有有效的分割候选人，并利用动态规划（DP），以提取最大的得分。LUA具有许多吸引人的特性，例如内在地保证预测的分割是有效的，并促进全局最优的训练和推理。此外，LUA的实际时间复杂度可以降低到线性时间，这是非常有效的。我们在15个数据集上对句法组块、命名实体识别、槽填充、汉语分词和汉语词性标注等5个任务进行了广泛的实验。我们的模特已经在其中13个项目上取得了最先进的表现。结果还表明，识别长片段的F1得分显著提高。
2021-04-16 cs.CL
Adaptive Self-training for Few-shot Neural Sequence Labeling
SUNY Buffalo（纽约州立大学布法罗分校）；Microsoft Research AI（微软研究院AI）；Microsoft AI（微软AI）
序列标记是自然语言处理（NLP）任务中的一项重要技术，如命名实体识别（NER）、对话系统的槽标记和语义解析。当对大量特定于任务的标记数据进行微调时，大规模预训练的语言模型在这些任务上获得了非常好的性能。然而，由于人工注释的高成本以及敏感用户应用程序的隐私和数据访问限制，这种大规模的标记数据集很难获得几个任务和领域。这对于需要在标记级进行这种注释的序列标记任务来说是加剧的。在这项工作中，我们开发了一些技术来解决神经序列标签模型的标签稀缺性挑战。具体来说，我们开发了自我训练和元学习技术，用于训练具有少量标签的神经序列标记器。虽然自我训练是从大量未标记数据中学习的有效机制，但元学习有助于自适应样本重新加权，以减轻噪声伪标签的错误传播。在六个基准数据集上进行了大量的实验，包括两个大规模多语言NER和四个面向任务的对话系统的槽标记数据集，证明了我们的方法的有效性。对于每个任务，每个类只有10个标记的示例，我们的方法比最先进的系统提高了10%，证明了其在低资源环境中的有效性。
2020-12-11 cs.AI cs.CL cs.LG
MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark
Facebook（脸书）
由于缺乏可用的数据集，将面向任务的对话系统的语义解析模型扩展到新的语言通常是昂贵且耗时的。现有的数据集有几个缺点：a）它们包含很少的语言b）它们包含少量的每种语言的标记示例c）它们基于非组合查询的简单意图和槽检测范式。在本文中，我们提出了一个新的多语言数据集，称为MTOP，包括10万注释话语6种语言在11个领域。我们使用这个数据集和其他公开可用的数据集，对使用各种最先进的多语言预训练模型进行面向任务的语义解析进行全面的基准测试研究。对于两个现有的多语言数据集，我们在Slot F1上实现了+6.3点的平均改进，超过了他们实验中报告的最佳结果。此外，我们展示了强大的zero-shot性能，使用预训练模型结合自动翻译和对齐，并提出了远程监督方法，以减少槽标签投影中的噪声。
2021-01-27 cs.CL cs.LG
AFD-SLU: Adaptive Feature Distillation for Spoken Language Understanding
School of Advanced Manufacturing and Robotics（先进制造与机器人学院）；Peking University（北京大学）；National Institute of Defense Technology Innovation（国防科技创新国家研究院）；Academy of Military Sciences（军事科学院）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）
AFD-SLU通过自适应特征蒸馏框架，将教师模型的语义表示转移到轻量级学生模型，提升语音语言理解的准确率与效率。
2026-02-11 cs.CL
Everything Is All It Takes: A Multipronged Strategy for Zero-Shot Cross-Lingual Information Extraction
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Rochester（罗切斯特大学）
零镜头跨语言信息抽取（IE）描述了在给定仅以某个其它语言（通常是英语）的现有注释的情况下，针对某个目标语言的IE模型的构造。虽然预先训练的多语言编码器的进步表明了一个简单的乐观"训练英语，运行在任何语言"，我们发现通过彻底的探索和技术的扩展，新老方法的结合，导致更好的性能比任何一个跨语言的战略，特别是。我们探索了包括数据投影和自我训练在内的技术，以及不同的预训练编码器如何影响它们。我们使用英语到阿拉伯语的IE作为我们的初始示例，在此设置中，事件提取，命名实体识别，词性标记和依存句法分析表现出很强的性能。然后，我们将数据投影和自我训练应用于八种目标语言的三个任务。因为没有一组技术在所有任务中表现最好，我们鼓励从业者在寻求改进zero-shot训练时探索本工作中描述的技术的各种配置。
2021-09-14 cs.CL
The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations
University of Groningen（格罗宁根大学）；École Normale Supérieure de Cachan（卡尚高等师范学院）；University of Trento（特伦托大学）
平行意义库是一个翻译语料库，注释了共享的正式意义表示，包括超过1100万个单词，分为四种语言（英语，德语，意大利语和荷兰语）。我们的方法是基于跨语言的投影：自动生成（和手动校正）的语义注释的英语句子映射到他们的词对齐的翻译，假设翻译是保持意义。语义标注包括五个主要步骤：（i）句子和词项的文本分割;（ii）组合范畴语法的句法分析;（iii）通用语义标注;（iv）符号化;（v）基于话语表征理论的成分语义分析。这些步骤使用以半监督方式训练的统计模型来执行。所采用的注释模型都是语言中立的。我们的初步结果很有希望。
2017-02-13 cs.CL
A Data Efficient End-To-End Spoken Language Understanding Architecture
端到端体系结构最近已经被提出用于口语语言理解（SLU）和语义解析。基于大量的数据，这些模型联合学习声学和语言序列特征。这样的架构在域、意图和槽检测的上下文中给出了非常好的结果，它们在更复杂的语义组块和标记任务中的应用不太容易。为此，在许多情况下，模型与外部语言模型组合以增强其性能。在本文中，我们介绍了一个数据高效的系统，它是端到端训练的，没有额外的，预先训练的外部模块。我们的方法的一个关键特征是一个增量训练过程，其中声学，语言和语义模型依次训练。所提出的模型具有合理的大小，并在使用小的训练数据集的同时实现了与最先进的竞争结果。特别是，我们达到24.02%的概念出错率（CER）的媒体/测试，而媒体/训练没有任何额外的数据。
2020-02-14 cs.CL cs.LG cs.SD
MuQ: Self-Supervised Music Representation Learning with Mel Residual Vector Quantization
Tencent AI Lab（腾讯AI实验室）
本文提出 MuQ，通过梅尔残差向量量化进行自监督音乐表示学习，以少量数据超越以往模型，并结合对比学习在零样本音乐标签任务上达到最先进水平。
2025-01-03 cs.AI cs.CL cs.LG
End-to-End Neural Transformer Based Spoken Language Understanding
Amazon（亚马逊）
口语语言理解（Spoken language understanding，SLU）是指从语音信号中推断语义信息的过程。虽然神经Transformers在自然语言处理（NLP）领域的最先进的神经架构中始终提供最佳性能，但它们在密切相关的领域中的优点，即，口语语言理解（SLU）尚未被研究。在本文中，我们介绍了一种基于端到端神经变换的SLU模型，该模型可以预测嵌入在音频信号中的可变长度域、意图和槽向量，而无需中间令牌预测架构。这种新的体系结构利用了自注意力机制，通过该机制，音频信号被变换到允许提取由话语暗示的语义上下文的各种子子空间。我们的端到端Transformer SLU预测Fluent Speech Commands数据集中的域，意图和插槽的准确率分别为98.1 \%，99.6 \%和99.6 \%，并且比利用递归和卷积神经网络组合的SLU模型的性能高1.4 \%，而我们的模型的大小比这些架构小25\%。此外，由于自注意层中的独立子空间投影，该模型是高度并行的，这使得它成为设备上SLU的良好候选者。
2020-08-12 cs.CL cs.SD eess.AS
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）
虽然Few-Shot分类已被广泛探索与基于相似性的方法，Few-Shot序列标记构成了一个独特的挑战，因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性，我们建议利用条件随机场（CRF）在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数，并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时，不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题，我们引入了依赖转移机制，转移抽象标签转换模式。此外，相似性方法依赖于高质量的样本表示，这对于序列标记是具有挑战性的，因为当测量单词与不同句子中的单词的相似性时，单词的含义是不同的。为了弥补这一点，我们利用最近的上下文嵌入技术，并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明，我们的模型显着优于最强的少样本学习基线分别为11.76（21.2%）和12.18（97.7%）的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Two Step CCA: A new spectral method for estimating vector models of words
University of Pennsylvania（宾夕法尼亚大学）；The Wharton School（沃顿商学院）
未标记数据通常用于学习表示，这些表示可用于补充监督学习器中的基线特征。例如，对于单词位于非常高维空间（词汇表的大小）中的文本应用，可以通过单词共现矩阵的特征分解（例如，使用PCA或CCA）来学习低秩“字典”。本文提出了一种新的基于CCA的谱方法来学习特征词词典。我们改进的过程计算两组CCA，第一组CCA在给定单词的左右上下文之间，第二组CCA在由CCA产生的投影与单词本身之间。我们从理论上证明了这种两步过程比简单的单步的过程具有更低的样本复杂度，并且还说明了我们的方法的经验有效性和我们的两步CCA（TSCCA）过程在词性标注和情感分类任务上学习到的表征的丰富性。
2012-06-27 cs.CL cs.LG
