Slot Self-Attentive Dialogue State Tracking
University College London（伦敦大学学院）；Uppsala University（乌普萨拉大学）
在面向任务的对话系统中，对话状态跟踪器是一个不可或缺的组成部分，它可以跟踪用户在对话过程中的意图。实现这一目标的典型方法是填写完成任务所必需的多个预定义插槽。虽然近年来提出了各种对话状态跟踪方法，但大多数方法都是单独预测每个时隙的值，而没有考虑时隙之间的相关性。在本文中，我们提出了一个槽自注意力机制，可以自动学习槽的相关性。具体而言，首先利用槽令牌注意力从对话上下文中获得槽特定的特征。然后对这些特征进行堆叠槽自注意，以学习槽之间的相关性。我们在两个多领域面向任务的对话数据集上进行了全面的实验，包括MultiWOZ 2.0和MultiWOZ 2.1。实验结果表明，我们的方法在两个数据集上都达到了最先进的性能，验证了考虑时隙相关性的必要性和有效性。
2021-01-22 cs.AI cs.CL
Inverse is Better! Fast and Accurate Prompt for Few-shot Slot Tagging
Harbin Institute of Technology（哈尔滨工业大学）
近年来，学习方法在少样本学习中取得了令人瞩目的成功。这些方法用提示句段修改输入样本，并解码标签标记以将样本映射到相应的标签。然而，这样的范例对于槽标记的任务是非常低效的。由于槽标记样本是一个句子中的多个连续的单词，提示方法必须枚举所有的n-gram标记跨度来找到所有可能的槽，这大大降低了预测速度。为了解决这个问题，我们引入了一个反向范式的提示。与经典的将标记映射到标签的提示不同，我们可以根据给定的插槽类型来预测插槽值。这种反向提示仅需要对每个时隙类型进行一轮预测，并且大大加快了预测速度。此外，我们提出了一种新的迭代预测策略，模型通过考虑不同时隙类型之间的关系来学习改进预测。我们发现，有点令人惊讶的是，所提出的方法不仅预测速度更快，而且显着提高了效果（在10次拍摄设置上提高了6.1 F1分数），并实现了新的最先进的性能。
2022-04-02 cs.AI cs.CL
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Intent Detection and Slots Prompt in a Closed-Domain Chatbot
PeopleStrong
在本文中，我们介绍了一种方法，用于预测回答职业相关查询的聊天机器人的查询意图和插槽。我们采取多阶段的方法，其中两个过程（意图分类和插槽标记）在不同阶段通知对方的决策。该模型将问题分解为多个阶段，每次解决一个问题，并将当前阶段的相关结果传递到下一个阶段，从而减少后续阶段的搜索空间，并最终在每个阶段之后使分类和标记更加可行。我们还观察到，在每个阶段之后，在槽标记中放松模糊实体匹配的规则（通过在每个阶段保持单独的命名实体标记器）有助于我们提高性能，尽管以误报为代价。我们的模型已经达到了最先进的性能，在我们的数据集上，意图分类的F1得分为77.63%，插槽标记的F1得分为82.24%，我们将与论文一起公开发布。
2019-01-10 cs.AI cs.CL
CASA-NLU: Context-Aware Self-Attentive Natural Language Understanding for Task-Oriented Chatbots
Amazon AI（亚马逊人工智能）
自然语言理解是对话系统的核心组成部分。它通常涉及两个任务-意图分类（IC）和插槽标记（SL），然后是对话管理（DM）组件。这样的NLU系统迎合孤立的话语，从而将上下文管理的问题推到DM。然而，上下文信息对于正确预测会话中的意图和时隙至关重要。上下文NLU的先前工作在所使用的上下文信号的类型以及对它们对模型的影响的理解方面受到限制。在这项工作中，我们提出了一个上下文感知的自我注意的NLU（CASA-NLU）模型，使用多个信号，如以前的意图，插槽，对话行为和话语在一个可变的上下文窗口，除了当前用户的话语。CASA-NLU在两个会话数据集上的表现优于循环上下文NLU基线，其中一个数据集的IC任务增益高达7%。此外，CASA-NLU的非上下文变体在标准公共数据集- Snips和ATIS上实现了IC任务的最新性能。
2019-09-18 cs.CL cs.LG
LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging
Amazon（亚马逊）
我们提出了LINGUIST，一种用于生成意图分类和插槽标记（IC+ST）的注释数据的方法，通过微调AlexaTM 5B，一个50亿参数的多语言序列到序列（seq2seq）模型，在灵活的指令提示符上。在SNIPS数据集的10次新意图设置中，LINGUIST大大超过了最先进的方法（反向翻译和示例外推），显示出目标意图的绝对改善，IC回忆为+1.9分，ST F1分数为+2.5分。在mATIS++数据集的zero-shot跨语言设置中，LINGUIST在6种语言的ST F1评分上的表现超过了具有插槽对齐的机器翻译的强基线，绝对值为+4.14分，同时匹配IC的性能。最后，我们验证了我们的结果在内部大规模的多语言数据集的会话代理IC+ST，并显示出显着的改善基线，使用回译，释义和插槽目录回复。据我们所知，我们是第一个演示大规模seq2seq模型的指令微调，以控制多语言意图和插槽标记数据生成的输出。
2022-09-20 cs.AI cs.CL cs.LG
Leveraging Slot Descriptions for Zero-Shot Cross-Domain Dialogue State Tracking
The Hong Kong University of Science and Technology（香港科技大学）；Facebook；Columbia University（哥伦比亚大学）
Zero-shot跨域对话状态跟踪（DST）使我们能够在看不见的域中处理面向任务的对话，而无需收集域内数据。本文提出了一种时隙描述增强的zero-shot跨域DST生成方法。具体来说，我们的模型首先使用预先训练的自注意编码器对对话上下文和时隙进行编码，并以自回归方式生成时隙值。此外，我们将插槽类型知情的描述，捕获跨插槽的共享信息，以促进跨领域的知识转移。在MultiWOZ数据集上的实验结果表明，该方法在跨域zero-shot条件下显著改善了现有的最新结果。
2021-05-10 cs.CL
Character-Level Feature Extraction with Densely Connected Networks
Korea University（高丽大学）；Amazon Alexa（亚马逊Alexa）
在各种自然语言处理任务中，生成字符级特征是获得良好结果的重要步骤。为了减轻在生成手工制作的特征时对人力的需求，已经提出了利用诸如卷积神经网络（CNN）或递归神经网络（RNN）之类的神经架构来自动提取这样的特征的方法，并且已经显示出很好的结果。然而，CNN生成与位置无关的特征，而RNN很慢，因为它需要顺序处理字符。在本文中，我们提出了一种新的方法，使用密集连接的网络自动提取字符级的功能。所提出的方法不需要任何语言或任务特定的假设，并显示出鲁棒性和有效性，同时比基于CNN或RNN的方法更快。在三个序列标记任务-槽标记，词性（POS）标记和命名实体识别（NER）上评估该方法-我们获得了最先进的性能，在槽标记和POS标记上分别具有96.62 F1分数和97.73%的准确率，并且与NER上的最先进的91.13 F1分数相当。
2018-07-26 cs.CL
MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers
Azure Text Analytics, Microsoft Cloud & AI（微软云与人工智能部门Azure文本分析团队）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能团队）；Alexa AI, Amazon（亚马逊Alexa人工智能团队）
Cortana、Alexa和Siri等会话代理不断通过添加新域来提高其功能。对新领域的支持包括设计和开发用于领域分类、意图分类和槽标记（包括命名实体识别）的多个NLU组件。每个组件只有在大量标记数据上训练时才能表现良好。第二，这些组件部署在有限内存的设备上，这需要一些模型压缩。第三，对于诸如健康领域的某些领域，难以找到覆盖所有所需槽类型的单个训练数据集。为了克服这些问题，我们提出了一个多任务的转换器为基础的神经网络结构的插槽标记。我们认为使用多个数据集覆盖不同的插槽类型作为一个多任务学习问题的槽标签的培训。生物医学领域的实验结果表明，所提出的方法优于以前的国家的最先进的系统槽标记不同的基准生物医学数据集的（时间和内存）的效率和有效性。输出时隙标注器可以由会话代理使用以更好地识别输入话语中的实体。
2020-01-24 cs.CL cs.LG stat.ML
Iterative Delexicalization for Improved Spoken Language Understanding
Samsung Research America（三星美国研究院）
近年来，基于递归神经网络（RNN）的联合意图分类和槽标记模型在构建口语语言理解和对话系统方面取得了巨大的成功。然而，这些模型遭受槽的性能不佳，这些槽在部署后经常遇到槽值的大的语义变化（例如，消息文本、部分电影/艺术家名称）。虽然通过子串匹配对输入话语中的槽进行贪婪去词汇化可以部分地提高性能，但它通常会产生不正确的输入。此外，这样的技术不能对具有在训练时未看到的词汇表外槽值的槽进行解词汇化。在本文中，我们提出了一种新的迭代去词汇化算法，它可以准确地去词汇化的输入，即使与词汇槽值。基于模型的信心，当前的delexicalized输入，我们的算法提高delexicalization在每次迭代收敛到最好的输入具有最高的信心。我们在基准测试和内部数据集上表明，我们的算法可以大大提高基于RNN的模型的解析性能，特别是对于分布外的槽值。
2019-10-15 cs.CL
Generative Conversational Networks
Amazon Alexa AI（亚马逊Alexa人工智能部门）
受最近元学习和生成教学网络工作的启发，我们提出了一个称为生成会话网络的框架，在该框架中，会话代理学习生成自己的标记训练数据（给定一些种子数据），然后根据该数据进行训练以执行给定的任务。我们使用强化学习来优化数据生成过程，其中奖励信号是代理在任务上的表现。任务可以是任何与语言相关的任务，从意图检测到完整的面向任务的对话。在这项工作中，我们证明了我们的方法能够从种子数据中进行概括，并且在有限的数据和有限的计算设置中表现良好，在多个数据集上的意图检测和插槽标记有显着的收益：ATIS，TOD，SNIPS和Promisants8k。我们在意图检测方面平均提高了35%，在插槽标记方面平均提高了21%，而这些都是从种子数据训练的基线模型。我们还对生成的数据的新颖性进行了分析，并为意图检测，插槽标记和非目标导向的对话提供了生成的示例。
2021-07-16 cs.CL cs.HC
A Scope Sensitive and Result Attentive Model for Multi-Intent Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）；BNU-UIC Institute of Artificial Intelligence and Future Networks（北师港浸大人工智能与未来网络研究院）；Beijing Normal University (Zhuhai)（北京师范大学（珠海））；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）
多意图口语语言理解（SLU）作为一种新的、更为复杂的口语理解场景，正受到越来越多的关注。与传统SLU不同，此场景中的每个Intent都有其特定的范围。范围之外的语义信息甚至会阻碍预测，这极大地增加了意图检测的难度。更严重的是，用这些不准确的意图标签填充引导槽会遇到错误传播问题，导致整体性能不令人满意。为了解决这些问题，本文提出了一种基于Transformer的范围敏感结果注意力网络（SSRAN），它包含范围识别器（SR）和结果注意力网络（RAN）。范围识别器将范围信息分配给每个标记，减少了范围外标记的干扰。结果注意力网络有效地利用了槽填充和意图检测结果之间的双向交互，减轻了错误传播问题。在两个公共数据集上的实验表明，我们的模型显着提高了SLU性能（5.4%和2.1%的总体准确率）超过最先进的基线。
2022-11-22 cs.CL cs.SD eess.AS
Improving Robustness of Task Oriented Dialog Systems
Facebook Assistant（Facebook助手）；Google（谷歌）
对话系统中面向任务的语言理解通常使用意图（查询的任务）和槽（该任务的参数）来建模。意图检测和槽标记，反过来，分别使用句子分类和单词标记技术建模。与现有文献中讨论的计算机视觉模型的对抗攻击问题类似，这些意图槽标记模型通常对输入的微小变化过于敏感-当对查询进行微小更改时预测不同且通常不正确的标签，从而降低其准确性和可靠性。然而，评估模型对这些变化的鲁棒性对于语言来说更难，因为单词是离散的，并且对查询的自动变化（例如添加“噪声”）有时会改变查询的含义，从而改变查询的标签。在本文中，我们首先描述了如何创建一个对抗性测试集来衡量这些模型的鲁棒性。此外，我们引入并调整了对抗性训练方法以及使用反向翻译的数据增强来缓解这些问题。我们的实验表明，这两种技术大大提高了系统的鲁棒性，可以结合起来，以产生最好的结果。
2019-11-12 cs.AI cs.CL
Robust Spoken Language Understanding with RL-based Value Error Recovery
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室）
口语语言理解（SLU）旨在提取结构化的语义表示（例如，槽-值对），其遭受自动语音识别（ASR）的错误。为了减轻由ASR错误引起的问题，以前的作品可以将输入自适应应用于语音识别文本，或者通过搜索发音中最相似的候选者来校正预测值中的ASR错误。然而，这两种方法是分开和独立应用的。在这项工作中，我们提出了一个新的鲁棒SLU框架，以指导SLU输入自适应与基于规则的值错误恢复模块。该框架由槽标记模型和基于规则的值错误恢复模块组成。我们追求的适应槽标记模型，可以提取潜在的槽值对提到的ASR假设，并适用于现有的值错误恢复模块。在值错误恢复之后，我们可以通过将细化的槽值对与注释进行比较来实现监督信号（奖励）。由于值错误恢复的操作是不可微的，我们利用基于策略梯度的强化学习（RL）来优化SLU模型。在公开的CATSLU数据集上的实验表明了该方法的有效性，它可以提高SLU的鲁棒性，并显著优于基线。
2020-09-07 cs.AI cs.CL
An Enhanced Span-based Decomposition Method for Few-Shot Sequence Labeling
Peking University（北京大学）；Tencent（腾讯）
Few-Shot序列标记（FSSL）是标记模型的规范范例，例如，命名实体识别和槽填充，以推广一个新兴的，资源稀缺的领域。最近，基于度量的元学习框架被认为是一种很有前途的FSSL方法。然而，大多数现有的工作分配一个标签的基础上，每个令牌级的相似性，这忽略了命名实体或槽的完整性。为此，在本文中，我们提出了ESD，一种增强的基于跨度的FSSL分解方法。ESD将FSSL定义为测试查询和支持实例之间的跨级匹配问题。具体地说，ESD将跨度匹配问题分解为一系列跨度级的过程，主要包括增强的跨度表示、类原型聚合和跨度冲突解决。大量的实验表明，ESD实现了两个流行的FSSL基准测试，FewNERD和SNIPS的新的国家的最先进的结果，并被证明是更强大的嵌套和嘈杂的标记场景。我们的代码可在https://github.com/Wangpeiyi9979/ESD上获得。
2022-05-06 cs.CL
Zero-Shot Adaptive Transfer for Conversational Language Understanding
Microsoft Corporation（微软公司）
像Alexa和Google Assistant这样的会话代理需要不断通过添加新的域来提高其语言理解能力。训练每个新领域需要大量的标记数据。虽然领域自适应方法减轻了注释成本，但是现有方法受到增加的训练时间和次优概念对齐的影响。为了解决这个问题，我们引入了一种新的Zero-Shot自适应传输方法槽标记，利用槽描述跨域传输可重用的概念，并享有有效的训练，没有任何明确的概念对齐。在与我们的商业个人数字助理相关的10个域的数据集上进行的广泛实验表明，我们的模型在很大程度上优于以前的最先进的系统，并且在低数据状态下实现了更高的改进。
2018-08-29 cs.CL
Attentive Contextual Carryover for Multi-Turn End-to-End Spoken Language Understanding
Alexa Speech, Amazon（亚马逊Alexa语音部门）
近年来，在端到端（E2E）口语语言理解（SLU）系统中已经看到了显著的进步，该系统直接从口语音频预测意图和时隙。虽然已经利用对话历史来改进传统的基于文本的自然语言理解系统，但是当前的E2E SLU方法还没有在多轮和面向任务的对话中结合这样的关键上下文信号。在这项工作中，我们提出了一个上下文E2E SLU模型架构，它使用了一个多头注意力机制，编码以前的话语和对话行为（由语音助手采取的行动）的多轮对话。我们详细介绍了替代方法，以将这些背景整合到最先进的经常性和基于transformer的模型中。当应用于语音助手收集的大量去识别的话语数据集时，我们的方法分别将平均单词和语义出错率降低了10.8%和12.6%。我们还提出了一个公开的数据集上的结果，并表明我们的方法显着提高了非上下文基线的性能
2021-12-13 cs.AI cs.CL
Chinese Spelling Correction as Rephrasing Language Model
Shanghai Jiao Tong University（上海交通大学）
本文针对中文拼写纠错中字符级标注过度依赖错误、泛化与迁移受限的问题，提出通过填充槽位改写整句的 ReLM，在微调和零样本基准上取得显著领先结果。
2024-02-28 cs.CL
PIN: A Novel Parallel Interactive Network for Spoken Language Understanding
Peking University（北京大学）
口语语言理解（SLU）是口语对话系统的重要组成部分，其通常由意图检测（ID）和槽填充（SF）任务组成。最近，基于递归神经网络（RNN）的方法实现了SLU的最新技术。值得注意的是，在现有的基于RNN的方法中，ID和SF任务通常被联合建模以利用它们之间的相关性信息。然而，我们注意到，到目前为止，通过支持ID和SF之间的双向和显式信息交换来获得更好的性能的努力还没有得到很好的研究，此外，很少有研究试图捕获本地上下文信息来提高SF的性能。基于这些发现，本文提出了并行交互网络（PIN）模型的ID和SF之间的相互指导。具体而言，给定一个话语，高斯自注意编码器被引入到生成的上下文感知的特征嵌入的话语，能够捕获本地上下文信息。以话语的特征嵌入为基础，开发了Slot2Intent模块和Intent2Slot模块，实现了ID和SF任务的双向信息流捕获。最后，通过构建协作机制，融合Slot2Intent和Intent2Slot模块的信息，进一步降低预测偏差。SNIPS和ATIS，证明了我们的方法的有效性，它实现了具有竞争力的结果与国家的最先进的模型。更重要的是，通过使用由预训练的语言模型BERT生成的话语的特征嵌入，我们的方法实现了所有比较方法中的最先进的。
2020-09-28 cs.CL
Adobe-MIT submission to the DSTC 4 Spoken Language Understanding pilot task
Adobe Research（奥多比研究院）；MIT（麻省理工学院）；Massachusetts Institute of Technology（麻省理工学院）
对话状态跟踪挑战4（DSTC 4）提出了几个试点任务。在本文中，我们专注于口语语言理解试点任务，其中包括标记一个给定的话语与言语行为和语义槽。我们比较不同的分类器：最好的系统在语音行为识别测试集上对游客和导游分别获得0.52和0.67的F1分数，并且对导游和游客都获得0.52的语义标注F1分数。
2016-05-07 cs.AI cs.CL cs.LG
Prior Omission of Dissimilar Source Domain(s) for Cost-Effective Few-Shot Learning
The Chinese University of Hong Kong（香港中文大学）
Few-Shot槽标注是自然语言理解领域的一个新兴研究课题。有了足够的源域标注数据，关键的挑战是如何训练和调整模型到另一个目标域，只有很少的标签。传统的Few-Shot方法使用来自源域的所有数据，而不考虑域间关系，并且隐含地假设域中的每个样本贡献相等。然而，我们的实验表明，不同领域之间的数据分布偏差将显着影响自适应性能。此外，从不同领域传递知识甚至会引入一些额外的噪声，从而影响模型的性能。为了解决这个问题，我们提出了一个有效的基于相似性的方法来选择数据从源域。此外，我们提出了一个共享专用网络（SP-Net）的Few-Shot插槽标记任务。来自同一类的单词会有一些共同的特征。我们从目标域上的有限注释数据中提取这些共享特征，并将它们合并在一起作为标签嵌入，以帮助我们预测目标域上的其他未标记数据。实验表明，我们的方法优于国家的最先进的方法与较少的源数据。结果还证明了某些来自不同来源的训练数据是冗余的，甚至对自适应是不利的。
2021-09-11 cs.AI cs.CL
Segmenting Natural Language Sentences via Lexical Unit Analysis
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了词汇单元分析（LUA），一般序列分割任务的框架。给定一个自然语言句子，LUA评分的所有有效的分割候选人，并利用动态规划（DP），以提取最大的得分。LUA具有许多吸引人的特性，例如内在地保证预测的分割是有效的，并促进全局最优的训练和推理。此外，LUA的实际时间复杂度可以降低到线性时间，这是非常有效的。我们在15个数据集上对句法组块、命名实体识别、槽填充、汉语分词和汉语词性标注等5个任务进行了广泛的实验。我们的模特已经在其中13个项目上取得了最先进的表现。结果还表明，识别长片段的F1得分显著提高。
2021-04-16 cs.CL
Adaptive Self-training for Few-shot Neural Sequence Labeling
SUNY Buffalo（纽约州立大学布法罗分校）；Microsoft Research AI（微软研究院AI）；Microsoft AI（微软AI）
序列标记是自然语言处理（NLP）任务中的一项重要技术，如命名实体识别（NER）、对话系统的槽标记和语义解析。当对大量特定于任务的标记数据进行微调时，大规模预训练的语言模型在这些任务上获得了非常好的性能。然而，由于人工注释的高成本以及敏感用户应用程序的隐私和数据访问限制，这种大规模的标记数据集很难获得几个任务和领域。这对于需要在标记级进行这种注释的序列标记任务来说是加剧的。在这项工作中，我们开发了一些技术来解决神经序列标签模型的标签稀缺性挑战。具体来说，我们开发了自我训练和元学习技术，用于训练具有少量标签的神经序列标记器。虽然自我训练是从大量未标记数据中学习的有效机制，但元学习有助于自适应样本重新加权，以减轻噪声伪标签的错误传播。在六个基准数据集上进行了大量的实验，包括两个大规模多语言NER和四个面向任务的对话系统的槽标记数据集，证明了我们的方法的有效性。对于每个任务，每个类只有10个标记的示例，我们的方法比最先进的系统提高了10%，证明了其在低资源环境中的有效性。
2020-12-11 cs.AI cs.CL cs.LG
Sound Natural: Content Rephrasing in Dialog Systems
Facebook（Facebook（脸书））
我们引入了一项重新措辞的新任务，以获得更自然的虚拟助理。目前，虚拟助理在意图槽标记的范例中工作，并且槽值直接按原样传递到执行引擎。但是，在某些情况下，这种设置会失败，例如当用户给出的查询需要在重复之前进行更改或将其发送给另一个用户时。例如，对于像“问我的妻子，如果她可以接孩子”或“提醒我吃药”这样的查询，我们需要将内容改写为“你能接孩子吗”和“吃药”在本文中，我们研究了消息传递作为用例的改写问题，并发布了3000对原始查询和改写查询的数据集。我们表明，BART，一个预先训练的基于transformers的掩蔽语言模型与自回归解码，是一个强大的基线的任务，并通过添加一个复制指针和复制损失，它显示改进。我们分析了不同的权衡基于BART和基于LSTM的seq2seq模型，并提出了一个蒸馏基于LSTM的seq2seq作为最佳的实用模型。
2020-11-03 cs.CL cs.LG
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）
虽然Few-Shot分类已被广泛探索与基于相似性的方法，Few-Shot序列标记构成了一个独特的挑战，因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性，我们建议利用条件随机场（CRF）在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数，并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时，不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题，我们引入了依赖转移机制，转移抽象标签转换模式。此外，相似性方法依赖于高质量的样本表示，这对于序列标记是具有挑战性的，因为当测量单词与不同句子中的单词的相似性时，单词的含义是不同的。为了弥补这一点，我们利用最近的上下文嵌入技术，并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明，我们的模型显着优于最强的少样本学习基线分别为11.76（21.2%）和12.18（97.7%）的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
