Syntax-aware Neural Semantic Role Labeling with Supertags
University of Washington（华盛顿大学）；Google（谷歌）；Yale University（耶鲁大学）；Elemental Cognition, LLP（元素认知有限责任合伙公司）
我们引入了一个新的语法感知模型依赖的语义角色标注，优于英语和西班牙语的语法不可知模型。我们使用BiLSTM来标记文本，其中包含从依赖解析中提取的超级标记，并将这些超级标记与单词和词性一起输入到深度高速公路BiLSTM中，以进行语义角色标注。我们的模型结合了早期模型的优势，执行SRL的基础上，一个完整的依赖关系解析与最近的模型，使用没有语法信息。我们的本地和非集成模型在CoNLL 09英语和西班牙语数据集上实现了最先进的性能。SRL模型受益于语法信息，我们表明，supertagging是一个简单的，强大的，强大的方式将语法纳入神经SRL系统。
2019-04-03 cs.CL
Learning to Learn and Predict: A Meta-Learning Approach for Multi-Label Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
自然语言处理中的许多任务可以看作是多标签分类问题。然而，大多数现有模型都是用标准交叉熵损失函数训练的，并且使用固定的预测策略（例如，阈值为0.5），这完全忽略了不同标签之间的复杂性和依赖性。在本文中，我们提出了一种元学习方法来捕获这些复杂的标签依赖关系。更具体地说，我们的方法利用元学习器来联合学习不同标签的训练策略和预测策略。然后使用训练策略训练具有交叉熵损失函数的分类器，并且进一步实施预测策略以进行预测。在细粒度实体分类和文本分类上的实验结果表明，该方法可以获得更准确的多标签分类结果。
2019-09-09 cs.CL cs.LG
Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification
National University of Singapore（新加坡国立大学）
细粒度分类涉及处理具有大量类别的数据集，这些类别之间存在细微差异。引导模型专注于区分这些通常容易混淆的类之间的维度，是提高细粒度任务性能的关键。在这项工作中，我们分析了两个细粒度的文本分类任务，情感分类和情感分析的预训练语言模型的对比微调。我们自适应地嵌入类关系到一个对比的目标函数，以帮助不同的权重的积极和消极的，特别是，加权密切混淆的负面比不太相似的负面的例子。我们发现，标签感知的对比损失优于以前的对比方法，在更大的数量和/或更容易混淆的类的存在下，并帮助模型产生更有区别的输出分布。
2021-09-12 cs.AI cs.CL
CSAGN: Conversational Structure Aware Graph Network for Conversational Semantic Role Labeling
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Tencent AI Lab（腾讯AI Lab）
会话语义角色标注被认为是实现对话理解的关键步骤。然而，它仍然是一个主要的挑战，现有的CSRL解析器处理会话结构信息。在本文中，我们提出了一个简单而有效的架构CSRL，旨在解决这个问题。我们的模型是基于一个会话结构感知图网络显式编码的扬声器相关信息。我们还提出了一个多任务学习方法，以进一步改善模型。在基准数据集上的实验结果表明，我们提出的训练目标的模型显着优于以前的基线。
2021-11-04 cs.AI cs.CL cs.LG
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh（爱丁堡大学）；Cardiff University（卡迪夫大学）
针对现有层次多标签文本分类（HMTC）对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题，提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL，在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Uncertainty-Aware Label Refinement for Sequence Labeling
Microsoft Research Asia（微软亚洲研究院）；Fudan University（复旦大学）
用于标签解码的条件随机场（CRF）在序列标签任务中已经变得无处不在。然而，局部标签依赖和低效率的Viterbi译码一直是一个需要解决的问题。在这项工作中，我们引入了一种新的两阶段标签解码框架来建模长期标签依赖关系，同时计算效率更高。一个基本模型首先预测草稿标签，然后一个新的双流自注意模型根据长范围标签依赖关系对这些草稿预测进行改进，可以实现并行解码以实现更快的预测。此外，为了减轻不正确的草稿标签的副作用，使用贝叶斯神经网络来指示错误概率高的标签，这可以极大地帮助防止错误传播。在三个序列标记基准上的实验结果表明，该方法不仅优于基于CRF的方法，而且大大加快了推理过程。
2020-12-19 cs.CL
Phrase Grounding by Soft-Label Chain Conditional Random Field
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
短语接地任务旨在将图像的给定标题中提到的每个实体接地到该图像中的相应区域。虽然在如何对同一标题进行不同提及之间存在明显的依赖关系，但旨在捕获这种依赖关系的先前结构化预测方法需要诉诸近似推理或不可微损失。在本文中，我们将短语接地制定为序列标记任务，将候选区域视为潜在标签，并使用神经链条件随机场（CRF）来模拟相邻提及区域之间的依赖关系。与标准序列标记任务相比，短语基础任务被定义为使得可能存在多个正确的候选区域。为了解决这种黄金标签的多样性，我们定义了所谓的软标签链CRF，并提出了一种算法，可以方便地进行端到端的训练。我们的方法在Flickr30k实体数据集上建立了一个新的最先进的短语。分析表明，我们的模型既受益于CRF捕获的实体依赖关系，也受益于软标签训练机制。我们的代码可在\url{github.com/liujch1998/SoftLabelCCRF}上获得
2019-09-01 cs.CL
Cross-Task Instance Representation Interactions and Label Dependencies for Joint Information Extraction with Graph Convolutional Networks
University of Oregon（俄勒冈大学）
现有的信息抽取（IE）工作主要是分别解决四个主要任务（实体提及识别、关系抽取、事件触发器检测和参数抽取），因此未能从任务之间的相互依赖性中获益。本文提出了一种新的深度学习模型，可以在一个模型中同时解决IE的四个任务（称为FourIE）。与之前联合执行四个IE任务的工作相比，FourIE具有两个新的贡献来捕获任务之间的相互依赖性。首先，在表示层面，我们引入了四个任务的实例之间的交互图，用于丰富一个实例的预测表示与其他任务的相关实例。其次，在标签级别，我们提出了一个依赖图的信息类型在四个IE任务，捕捉输入句子中表达的类型之间的连接。引入了一种新的正则化机制来加强黄金依赖图和预测依赖图之间的一致性，以改善表示学习。我们表明，该模型实现了最先进的性能，联合IE单语和多语言学习设置与三种不同的语言。
2021-03-26 cs.CL
Label-Dependencies Aware Recurrent Neural Networks
CNRS（法国国家科学研究中心）；ENS Paris（巴黎高等师范学校）；Université Sorbonne Nouvelle - Paris 3（新索邦大学（巴黎第三大学））；PSL Research University（巴黎文理研究大学）；USPC (Université Sorbonne Paris Cité)（索邦巴黎西岱大学）
在过去的几年里，循环神经网络（RNN）已经被证明在几个NLP任务上是有效的。尽管取得了如此巨大的成功，但他们对\emph{sequence labeling}建模的能力仍然有限。这导致研究将RNN与已经在该领域证明有效的模型（如CRF）相结合的解决方案。在这项工作中，我们提出了一个简单得多但非常有效的解决方案：简单Jordan RNN的进化，其中标签作为输入被重新注入网络，并以与单词相同的方式转换为嵌入。我们将这个RNN变体与所有其他RNN模型，Elman和Jordan RNN，LSTM和GRU，在两个着名的口语语言理解（SLU）任务上进行比较。由于标签嵌入及其在隐藏层的组合，所提出的变体比Elman和Jordan RNN使用更多的参数，但比LSTM和GRU少得多，比其他RNN更有效，但也优于复杂的CRF模型。
2017-06-06 cs.CL
Fine-grained Entity Typing via Label Reasoning
University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
传统的实体分类方法基于独立的分类范式，这使得它们难以识别相互依赖的、长尾的和细粒度的实体类型。在本文中，我们认为标签之间隐含的外在和内在依赖关系可以提供关键知识来应对上述挑战。为此，我们提出了\emph{Label Reasoning Network(LRN)}，顺序原因细粒度的实体标签通过发现和利用标签依赖关系的知识所蕴含的数据。具体而言，LRN利用自回归网络进行演绎推理，利用二分属性图进行标签之间的归纳推理，可以有效地以序列到集合、端到端的方式对复杂的标签依赖进行建模、学习和推理。实验表明，LRN在标准的超细粒度实体分类基准测试中达到了最先进的性能，并且可以有效地解决长尾标签问题。
2021-09-13 cs.CL
Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields
University of Bristol（布里斯托尔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们比较了不同的模型低资源多任务序列标记，利用不同任务的标签序列之间的依赖关系。我们的分析针对的是每个示例都有多个任务标签的数据集。当前的方法要么为每个任务使用单独的模型，要么使用标准的多任务学习来学习共享的特征表示。然而，这些方法忽略了标签序列之间的相关性，这可以在具有小训练数据集的设置中提供重要信息。为了分析哪些场景可以从不同任务中的标签之间的依赖关系建模中获益，我们重新审视了动态条件随机场（CRF），并将其与深度神经网络相结合。我们比较了单任务，多任务和动态CRF设置三个不同的数据集在句子和文档水平在英语和德语低资源的情况下。我们表明，将来自预训练词性标记器的银色标签作为辅助任务可以提高下游任务的性能。我们发现，特别是在低资源的情况下，任务预测之间的相互依赖关系的显式建模优于单任务以及标准的多任务模型。
2020-05-01 cs.CL
Context-Aware Self-Attention Networks
University of Macau（澳门大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
自注意模型在并行计算方面表现出了灵活性，在建模长期和短期依赖关系方面也表现出了有效性。然而，它计算表示之间的依赖关系，而不考虑上下文信息，这已被证明是有用的建模在各种自然语言任务中的神经表示之间的依赖关系。在这项工作中，我们专注于通过捕捉丰富的上下文来改善自我注意网络。为了保持自注意力网络的简单性和灵活性，我们建议将查询和关键层的转换上下文化，这些转换用于计算元素之间的相关性。具体来说，我们利用嵌入全局和深层上下文的内部表示，从而避免依赖外部资源。在WMT 14英-德和WMT 17汉英翻译任务上的实验结果证明了所提方法的有效性和通用性。此外，我们进行了广泛的分析，量化的上下文向量如何参与自我注意模型。
2019-02-15 cs.CL
Leveraging Sentence-level Information with Encoder LSTM for Semantic Slot Filling
IBM Research（IBM研究院）；IBM Watson
递归神经网络（RNN）及其特有的结构之一，长短期记忆（LSTM），已被广泛用于序列标记。在本文中，我们首先增强了基于LSTM的序列标记，以显式地对标签依赖进行建模。然后，我们提出了另一种增强，将全球信息跨越整个输入序列。后一种方法，编码器-标记器LSTM，首先用编码器LSTM将整个输入序列编码成一个固定长度的向量，然后使用这个编码向量作为另一个LSTM的初始状态进行序列标记。结合这些方法，我们可以预测标签序列，考虑标签依赖和整个输入序列的信息。在自然语言理解的一个重要组成部分--槽填充任务的实验中，我们使用标准ATIS语料库，获得了95.66%的最新F1分数。
2016-08-31 cs.CL
Transformer-GCRF: Recovering Chinese Dropped Pronouns with General Conditional Random Fields
Beijing University of Posts and Telecommunications（北京邮电大学）；Renmin University of China（中国人民大学）；Brandeis University（布兰迪斯大学）
在中文对话中，代词经常被丢弃，恢复丢弃的代词对于机器翻译等NLP应用非常重要。现有的方法通常将其表述为预测每个标记之前是否有丢弃的代词及其类型的序列标记任务。每个话语被认为是一个序列，并独立标记。虽然这些方法已经显示出了希望，但独立地标记每个话语忽略了相邻话语中的代词之间的依赖关系。对这些依赖关系进行建模对于提高丢弃代词恢复的性能至关重要。在本文中，我们提出了一个新的框架，结合Transformer网络的强度与一般条件随机场（GCRF）的模型之间的依赖关系在相邻的话语代词。三个中文对话数据集的结果表明，Transformer-GCRF模型的性能优于最先进的丢弃代词恢复模型。探索性分析也表明，GCRF确实有助于捕捉相邻话语中代词之间的依赖关系，从而有助于提高性能。
2020-10-07 cs.CL
TLAG: An Informative Trigger and Label-Aware Knowledge Guided Model for Dialogue-based Relation Extraction
Peking University（北京大学）
基于对话的关系抽取（DRE）旨在预测对话中所提及的论元对的关系类型。最新的生物增强方法提出了触发预测任务，以促进DRE。然而，这些方法不能充分利用触发信息，甚至会给关系抽取带来噪声。为了解决这些问题，我们提出了TLAG，它充分利用触发器和标签感知的知识来指导关系抽取。首先，我们设计了一个自适应触发融合模块，充分利用触发信息。然后，我们引入标签感知知识，以进一步提高我们的模型的性能。在DialogRE数据集上的实验结果表明，TLAG的性能优于基准模型，详细的分析表明了该方法的有效性。
2023-03-30 cs.CL
A Label Dependence-aware Sequence Generation Model for Multi-level Implicit Discourse Relation Recognition
School of Software, East China Jiaotong University（华东交通大学软件学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Soochow University（苏州大学）；Xiamen University（厦门大学）
隐性语篇关系识别是语篇分析中的一个重要课题。大多数现有的方法训练多个模型来独立地预测多级标签，而忽略了层次结构的标签之间的依赖性。本文将多级IDRR看作是一个条件标签序列生成任务，提出了一个标签依赖感知的序列生成模型（LDSGM），该模型首先设计一个标签关注编码器，学习输入实例的全局表示及其特定级别的上下文，并在其中整合标签依赖以获得更好的标签嵌入.然后，我们采用一个标签序列解码器，以自顶向下的方式输出预测的标签，其中预测的更高级别的标签直接用于指导当前级别的标签预测。我们进一步开发了一种相互学习的增强训练方法，以利用自下而上方向的标签依赖性，该依赖性由训练过程中引入的辅助解码器捕获。在PDTB数据集上的实验结果表明，该模型在多级IDRR上达到了最先进的性能。我们将在https://github.com/nlpersECJTU/LDSGM上发布我们的代码。
2021-12-22 cs.CL
Discourse-Aware Neural Extractive Text Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）
最近，BERT已被用于最先进的文本摘要模型中的文档编码。然而，基于摘要的提取模型往往会导致提取的摘要中出现冗余或无信息的短语。此外，BERT无法很好地捕捉整个文档中的长距离依赖关系，因为它是在句子对而不是文档上进行预训练的。为了解决这些问题，我们提出了一个话语感知的神经摘要模型- DiscoBert。DiscoBert在更细的粒度上提取子空间话语单元（而不是句子）作为提取选择的候选者。为了捕捉语篇单位之间的长程依赖关系，本文基于语义树和共指提及构建了结构化语篇图，并用图卷积网络进行编码。实验表明，该模型优于国家的最先进的方法，由一个显着的利润率流行的摘要基准相比，其他BERT的基础模型。
2020-04-25 cs.CL
Investigating Typed Syntactic Dependencies for Targeted Sentiment Classification Using Graph Attention Neural Network
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Harbin Institute of Technology（哈尔滨工业大学）；Westlake Institute for Advanced Study（西湖高等研究院）
目标情感分类预测输入文本中给定目标提及的情感极性。主要的方法采用神经网络对输入的句子进行编码，并提取目标提及与其上下文之间的关系。最近，图神经网络已经被研究用于集成任务的依赖语法，实现了最先进的结果。然而，现有的方法不考虑依赖性标签信息，这可能是直观有用的。为了解决这个问题，我们研究了一种新的关系图注意力网络，它集成了类型化的句法依赖信息。标准基准测试的结果表明，我们的方法可以有效地利用标签信息，以提高有针对性的情感分类性能。我们的最终模型显著优于最先进的基于语法的方法。
2020-12-17 cs.CL
Learning Multi-level Dependencies for Robust Word Recognition
Michigan State University（密歇根州立大学）；TAL Education Group（好未来教育集团）
考虑到最近意识到脆弱的机器学习模型在噪声的存在下很容易被破坏的危险情况，鲁棒的语言处理系统变得越来越重要。在本文中，我们介绍了一个强大的单词识别框架，捕捉多层次的顺序依赖噪声的句子。该框架采用了一个序列到序列模型的字符，每个字，其输出是一个字级的双向递归神经网络。我们进行了大量的实验，以验证该框架的有效性。结果表明，所提出的框架优于国家的最先进的方法，他们也表明，字符级的依赖关系可以在单词识别中发挥重要作用。
2019-11-22 cs.CL
Cost-sensitive Regularization for Label Confusion-aware Event Detection
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
在监督事件检测中，大多数错误标记发生在少量混淆类型对之间，包括相同粗糙类型的兄弟子类型和相同粗糙类型的兄弟-NIL对。为了解决这个标签混淆问题，本文提出了代价敏感正则化，它可以迫使训练过程更多地集中在优化混淆类型对上。具体来说，我们在训练损失中引入了一个成本加权项，这会对混淆标签对之间的错误标签进行更多的惩罚。此外，我们还提出了两个估计，可以有效地衡量这种标签混淆的基础上，实例级或人口级的统计。在TAC-KBP 2017数据集上的实验表明，该方法可以显著提高不同模型在英语和汉语事件检测中的性能。
2019-06-14 cs.CL
Jointly Modeling Inter- & Intra-Modality Dependencies for Multi-modal Learning
New York University（纽约大学）；Grossman School of Medicine（格罗斯曼医学院）；Genentech（基因泰克）；CIFAR（加拿大高级研究院）
针对监督多模态学习中传统方法仅孤立捕捉跨模态或模态内依赖关系的局限，提出I2M2框架，从生成模型视角联合建模两种依赖关系，在医疗健康及视觉-语言数据集上性能优于传统方法。
2024-12-05 cs.CL cs.CV cs.LG
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Label-aware Double Transfer Learning for Cross-Specialty Medical Named Entity Recognition
Shanghai Jiao Tong University（上海交通大学）；Synyi LLC.（Synyi有限责任公司）
电子病历中的命名实体识别是医学文本挖掘中最基本、最关键的问题之一。不同专业的临床医生撰写的病历，其术语和书写风格往往有很大的差异。专业的差异和人工标注的成本使得训练通用的医学NER系统变得尤为困难。在本文中，我们提出了一个标签感知的双迁移学习框架（La-DTL）的跨专业NER，使一个专业设计的医疗NER系统可以方便地应用到另一个以最小的注释工作。可转移性由两个部分保证：（i）我们提出标签感知的MMD用于特征表示转移，以及（ii）我们执行参数转移，其理论上界也是标签感知的。我们进行了广泛的实验12跨专业NER任务。实验结果表明，La-DTL提供了一致的精度提高强基线。此外，在非医疗NER场景上的实验结果表明，La-DTL具有无缝适应广泛NER任务的潜力。
2018-04-28 cs.AI cs.CL
Towards Few-shot Entity Recognition in Document Images: A Label-aware Sequence-to-Sequence Framework
University of California, San Diego（加州大学圣地亚哥分校）
实体识别是理解文档图像的一项基本任务。传统的序列标记框架将实体类型视为类ID，并依赖于大量的数据和高质量的注释来学习语义，这在实践中通常是昂贵的。在本文中，我们的目标是建立一个实体识别模型，只需要几个镜头的注释文档图像。为了克服数据限制，我们建议利用标签表面名称来更好地通知目标实体类型语义的模型，并将标签嵌入到空间嵌入空间中以捕获区域和标签之间的空间对应关系。具体来说，我们超越了序列标记，并开发了一个新的标签感知seq 2seq框架，激光。该模型遵循一个新的标签计划，生成的标签表面名称逐字显式生成实体后。在训练过程中，LASER通过更新标签表面名称表示来细化标签语义，并加强标签区域相关性。通过这种方式，LASER通过语义和布局对应从文档图像中识别实体。在两个基准数据集上的大量实验证明了激光在Few-Shot设置下的优越性。
2022-03-30 cs.AI cs.CL cs.CV
