Bidirectional LSTM-CRF Models for Sequence Tagging
Baidu research(百度研究院)
在本文中,我们提出了各种基于长短期记忆(LSTM)的序列标记模型。这些模型包括LSTM网络、双向LSTM(BI-LSTM)网络、带有条件随机场(CRF)层的LSTM(LSTM-CRF)和带有CRF层的双向LSTM(BI-LSTM-CRF)。我们的工作是第一个将双向LSTM CRF(表示为BI-LSTM-CRF)模型应用于NLP基准序列标记数据集。我们表明,由于双向LSTM组件,BI-LSTM-CRF模型可以有效地使用过去和未来的输入特征。它还可以使用句子级别的标签信息,这要归功于CRF层。BI-LSTM-CRF模型可以在POS,分块和NER数据集上产生最先进的(或接近)准确性。此外,它是鲁棒的,与以前的观察相比,对词嵌入的依赖性更小。
2015-08-09 cs.CL
Neural Factor Graph Models for Cross-lingual Morphological Tagging
Language Technologies Institute(语言技术研究所);Machine Learning Department(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
形态分析涉及预测单词的句法特征(例如{POS:Noun,Case:Acc,Gender:Fem})。以前在形态标记方面的工作通过使用来自同一家族的高资源语言(HRL)进行跨语言训练来提高低资源语言(LRL)的性能,但受到严格的(通常是错误的)假设的限制,即标记集在HRL和LRL之间完全重叠。在本文中,我们提出了一种跨语言的形态标记的方法,旨在通过放松这一假设,以提高语言之间的信息共享。所提出的模型使用具有神经网络潜力的阶乘条件随机场,使得有可能(1)利用神经网络表示的表达能力来平滑表面形式中的表面差异,(2)对标签之间的成对和传递关系进行建模,以及(3)准确地生成在训练数据中看不见或罕见的标签集。在通用语义树库中的四种语言上的实验表明,该方法比现有的跨语言方法具有更高的标注准确率。
2018-07-11 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp(安特卫普大学);TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务,使用弱监督的方法继续工作。我们研究了使用再训练技术的优点,该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入:(1)基于条件随机场和基于记忆的学习的判别序列标记器和(2)概率上下文无关文法归纳。实验结果表明,这种设置可以显着提高F分数,而不需要额外的信息源。此外,定性分析表明,弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
g2pW: A Conditional Weighted Softmax BERT for Polyphone Disambiguation in Mandarin
E.SUN Financial Holding CO., LTD.(玉山金融控股股份有限公司);National Kaohsiung Normal University(国立高雄师范大学)
多音字消歧是汉语形音转换中最关键的任务。以前的研究已经使用预训练的语言模型,限制输出和来自词性(POS)标记的额外信息来解决这个问题。受这些策略的启发,我们提出了一种新的方法,称为g2pW,它适应可学习的软最大权值条件的输出BERT与感兴趣的多音字符及其词性标记。而不是使用硬掩模在以前的作品中,我们的实验表明,学习候选音素的软加权函数的性能。此外,我们提出的g2pW不需要额外的预训练的POS标记模型,同时使用POS标签作为辅助功能,因为我们训练的POS标记模型,同时与统一的编码器。实验结果表明,我们的g2pW优于现有的方法在公共CPP数据集。所有代码、模型重量和用户友好的软件包都是公开的。
2022-08-25 cs.CL cs.SD eess.AS
Few-Shot Event Detection with Prototypical Amortized Conditional Random Field
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Xiaomi Inc.(小米公司)
当需要用少量样本识别新的事件类型时,事件检测往往会遇到困难。以往的工作试图通过先识别再分类的方式解决这个问题,但忽略了事件类型之间的触发差异,从而遭受错误传播。在本文中,我们提出了一种新的统一模型,将任务转换为一个Few-Shot标记问题的双部分标记计划。为此,我们首先提出了原型摊销条件随机场(PA-CRF)模型的标签依赖在Few-Shot的情况下,它近似的标签之间的转换分数的基础上的标签原型。然后,高斯分布的过渡分数建模,以减轻不确定的估计所造成的数据不足。实验结果表明,统一模型的工作优于现有的识别,然后分类模型和我们的PA-CRF进一步取得了最好的结果在基准数据集FewEvent。我们的代码和数据可在http://github.com/congxin95/PA-CRF上获得。
2021-05-24 cs.CL
Multi-Task Cross-Lingual Sequence Tagging from Scratch
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个用于序列标记的深度层次递归神经网络。给定一个单词序列,我们的模型在字符和单词级别上采用深度门控递归单元来编码形态和上下文信息,并应用条件随机场层来预测标签。我们的模型是任务独立的,语言独立的,和功能工程免费。通过共享架构和参数,我们进一步将模型扩展到多任务和跨语言联合训练。我们的模型在多个基准任务(包括POS标记,组块和NER)上以多种语言实现了最先进的结果。我们还证明了多任务和跨语言联合训练可以提高各种情况下的性能。
2016-08-09 cs.CL cs.LG
A Conditional Cascade Model for Relational Triple Extraction
Northeastern University(东北大学)
基于标记的方法是关系三元组抽取的主流方法之一。然而,他们中的大多数人都受到阶级不平衡问题的严重影响。在这里,我们提出了一种新的基于标记的模型,从以下两个方面来解决这个问题。首先,在模型级别,我们提出了一个三步提取框架,可以大大减少样本的总数,这隐含地降低了所提到的问题的严重性。其次,在模型内层次,我们提出了一种基于置信度阈值的交叉熵损失,可以直接忽略主要类中的一些样本。我们评估纽约时报和WebNLG的建议模型。大量的实验表明,它可以有效地解决上述问题,并在两个数据集上取得了最先进的结果。我们模型的源代码可以在https://github.com/neukg/ConCasRTE上找到。
2021-08-20 cs.AI cs.CL
Modeling sequential annotations for sequence labeling with crowds
City University of Hong Kong(香港城市大学)
群体顺序注释可以是构建用于序列标记的大型数据集的有效且具有成本效益的方式。与标记独立实例不同,对于群体顺序注释,标签序列的质量依赖于注释者在捕获序列中每个标记的内部依赖性方面的专业知识水平。在本文中,我们提出了建模序列标注与人群(SA-SLC)。首先,开发了一个条件概率模型来联合建模顺序数据和注释者的专业知识,其中分类分布被引入到估计的可靠性,每个注释器捕获本地和非本地标签依赖顺序注释。为了加快边缘化的模型,有效的标签序列推理(VLSE)的方法,提出了从人群顺序标注获得有效的地面实况标签序列。VLSE从令牌级导出可能的地面实况标签,并在标签序列解码的前向推理中进一步修剪子路径。VLSE减少了候选标签序列的数量,并提高了可能的地面实况标签序列的质量。对自然语言处理中的多个序列标注任务的实验结果表明了该模型的有效性。
2022-09-20 cs.CL cs.LG
Revisiting Character-Based Neural Machine Translation with Capacity and Compression
Google AI(谷歌人工智能)
翻译字符而不是单词或单词片段有可能简化神经机器翻译(NMT)的处理管道,并通过消除超参数和手动特征工程来改善结果。然而,它会导致更长的序列,其中每个符号包含的信息更少,从而产生建模和计算挑战。在本文中,我们表明,建模问题可以解决标准的序列到序列架构的足够的深度,并在字符级别上运行的深度模型优于相同的模型操作的单词片段。这一结果意味着,处理字符输入的替代架构更好地被视为减少计算时间的方法,而不是更长的序列建模的改进方法。从这个角度来看,我们评估了字符级NMT的几种技术,验证它们与我们的深度字符基线模型的性能不匹配,并评估它们提供的性能与计算时间的权衡。在这个框架内,我们还对NMT的条件计算随时间的变化进行了第一次评估,其中模型学习哪些时间步可以跳过,而不是让它们由训练开始前指定的固定时间表来决定。
2018-08-29 cs.CL
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学);Alibaba Group(阿里巴巴集团)
在本文中,我们探讨了槽标记只有几个标记的支持句(a.k.a. Few-Shot)。与其他Few-Shot分类问题相比,Few-Shot槽标记面临着独特的挑战,因为它需要对标签之间的依赖关系进行建模。但是,由于标签集的差异,很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题,我们在条件随机场(CRF)中引入了一个折叠依赖转移机制,以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中,CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性,我们提出了一个标签增强的任务自适应投影网络(L-TapNet)的基础上,国家的最先进的Few-Shot分类模型- TapNet,利用标签名称语义表示标签。实验结果表明,我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Masked Conditional Random Fields for Sequence Labeling
Xiaomi AI(小米AI)
基于条件随机场(CRF)的神经模型是解决序列标记问题的最有效方法之一。尽管CRF取得了巨大的成功,但它的缺点是偶尔会产生非法的标签序列,例如,在“0”标签之后紧接着含有“I-”标签的序列,这是基础BIO标签方案所禁止的。在这项工作中,我们提出了掩蔽条件随机场(MCRF),一个易于实现的CRF变体,在训练和解码阶段对候选路径施加限制。我们表明,所提出的方法彻底解决了这个问题,并带来了一致的改善现有的CRF为基础的模型,几乎为零的额外成本。
2021-03-19 cs.CL cs.LG
FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm
School of Management, University of Science and Technology of China(中国科学技术大学管理学院)
金融命名实体识别(FinNER)是金融文本信息抽取领域的一个具有挑战性的课题,其目的是从非结构化的金融文本中抽取大量的金融知识。使用序列标记框架来实现FinNER任务被广泛接受。然而,这样的序列标注模型不能充分利用文本中的语义信息。相反,我们制定了FinNER任务作为一个机器阅读理解(MRC)的问题,并提出了一个新的模型称为FinBERT-MRC。该算法利用精心设计的查询引入重要的先验信息,提取目标实体的起始索引和结束索引,无需条件随机场(CRF)等解码模块。我们在公开的中国金融数据集ChFinAnn和真实的商业数据集AdminPunish上进行了实验。FinBERT-MRC模型在两个数据集上的平均F1得分分别为92.78%和96.80%,与BiLSTM-CRF,BERT-Tagger和BERT-CRF等序列标记模型相比,平均F1增益分别为+3.94%和+0.89%。源代码可在www.example.com上获得。
2022-05-31 cs.CL
Part-of-Speech Tagging of Odia Language Using statistical and Deep Learning-Based Approaches
NIT Rourkela(鲁尔克拉国家技术学院)
自动词性标注是许多自然语言处理(NLP)任务的预处理步骤,例如名称实体识别(NER)、语音处理、信息抽取、词义消歧和机器翻译。它在英语和欧洲语言中已经取得了可喜的成果,但在印度语言中,特别是在Odia语言中,由于缺乏支持工具,资源和语言形态的丰富性,它还没有得到很好的探索。不幸的是,我们无法为Odia找到一个开源的POS标记器,并且只有少数尝试为Odia语言开发POS标记器。这项研究工作的主要贡献是提出了一种条件随机场(CRF)和基于深度学习的方法(CNN和双向长短期记忆)来开发Odia词性标注器。我们使用了一个可公开访问的语料库,数据集使用印度标准局(BIS)标记集进行注释。然而,全球大多数语言都使用带有通用重复性(UD)标记集的数据集。因此,为了保持一致性,Odia数据集应该使用相同的tagset。因此我们构造了一个从BIS标签集到UD标签集的简单映射。我们实验了不同的特征集输入到CRF模型中,观察了构造的特征集的影响。基于深度学习的模型包括Bi-LSTM网络、CNN网络、CRF层、字符序列信息和预训练的词向量。利用卷积神经网络(CNN)和Bi-LSTM网络提取字符序列信息。六种不同的组合的神经序列标签模型的实施,并研究其性能指标。据观察,具有字符序列特征和预训练词向量的Bi-LSTM模型取得了显着的最先进的结果。
2022-07-07 cs.CL
An Evaluation of Recent Neural Sequence Tagging Models in Turkish Named Entity Recognition
Demiroren Teknoloji A.S.(德米罗伦技术公司);Istanbul Technical University(伊斯坦布尔理工大学);MEF University(MEF大学)
命名实体识别(NER)是一个广泛研究的任务,提取和分类命名实体的文本。NER不仅在诸如关系抽取和问答等下游语言处理应用中至关重要,而且在诸如在线数字媒体内容的实时分析等大规模大数据操作中也至关重要。土耳其语是一种形态丰富的语言,最近的研究工作证明了神经架构对格式良好的文本的有效性,并通过将任务制定为序列标记问题来产生最先进的结果。在这项工作中,我们实证研究使用最近的神经架构(双向长短期记忆和变压器为基础的网络)提出了土耳其NER标记在相同的设置。我们的研究结果表明,基于transformer的网络可以对长距离上下文进行建模,克服了BiLSTM网络的局限性,其中利用了字符,子词和单词级别的不同输入特征。我们还提出了一个基于transformer的网络,它具有一个条件随机场(CRF)层,可以在一个常见的数据集上得到最先进的结果(95.95\% f-测量)。我们的研究有助于量化迁移学习对处理形态丰富的语言的影响的文献。
2020-05-18 cs.CL cs.LG
Conditional set generation using Seq2seq models
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);EPFL(洛桑联邦理工学院)
条件集合生成学习从输入的令牌序列到集合的映射。一些NLP任务,如实体类型和对话情感标记,是集合生成的实例。Seq 2Seq模型是集合生成的流行选择,它将集合视为序列,并且没有充分利用其关键属性,即顺序不变性和基数。我们提出了一种新的算法,有效地采样信息订单的组合空间的标签订单。我们通过预先设置集合大小并利用Seq 2Seq模型使用的自回归因子分解来联合建模集合基数和输出。我们的方法是一种独立于模型的数据增强方法,该方法赋予任何Seq 2Seq模型以顺序不变性和基数的信号。在这个增强的数据上训练Seq 2Seq模型(没有任何额外的注释),在不同模型的四个基准数据集上获得了20%的平均相对改进:BART,T5和GPT-3。使用SETAUG的代码可从https://setgen.structgen.com获得。
2022-10-24 cs.AI cs.CL
Embedded-State Latent Conditional Random Fields for Sequence Labeling
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
复杂的文本信息抽取任务通常被称为序列标记或\emph{shallow parsing},其中字段是使用局部标签提取的,这些标签通过在具有约束转换的图形模型中进行概率推理而变得一致。最近,使用递归神经网络(如LSTM)提取的丰富特征对这些模型进行局部参数化已经变得很常见,同时通过简单的线性链模型强制执行一致的输出,表示连续标签之间的马尔可夫依赖关系。然而,简单的图形模型结构掩盖了输出标签之间通常复杂的非局部约束。例如,许多字段(如名字)只能出现固定的次数,或者在存在其他字段的情况下出现。虽然RNN为序列标记提供了越来越强大的上下文感知局部特征,但它们尚未与输出分布中具有类似表达力的全局图形模型集成。我们的模型超越了线性链CRF,每个输出标签包含多个隐藏状态,但是用低秩对数势评分矩阵参数化它们的转换,有效地学习隐藏状态的嵌入空间。推理变量的这种增强的潜在空间补充了RNN的丰富特征表示,并允许精确的全局推理服从复杂的,学习的非局部输出约束。我们对几个数据集进行了实验,结果表明,当在推理时需要全局输出约束时,该模型的性能优于基线CRF+RNN模型,并探索了可解释的潜在结构。
2018-09-28 cs.CL cs.LG stat.ML
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学)
虽然Few-Shot分类已被广泛探索与基于相似性的方法,Few-Shot序列标记构成了一个独特的挑战,因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性,我们建议利用条件随机场(CRF)在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数,并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时,不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题,我们引入了依赖转移机制,转移抽象标签转换模式。此外,相似性方法依赖于高质量的样本表示,这对于序列标记是具有挑战性的,因为当测量单词与不同句子中的单词的相似性时,单词的含义是不同的。为了弥补这一点,我们利用最近的上下文嵌入技术,并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明,我们的模型显着优于最强的少样本学习基线分别为11.76(21.2%)和12.18(97.7%)的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
AUC Maximization for Low-Resource Named Entity Recognition
Monash University(莫纳什大学);VinUniversity(范安大学);University at Buffalo(布法罗大学)
本文首次将AUC最大化引入低资源命名实体识别,通过组合两个最大化AUC的二分类器,在数据不平衡和低资源场景下显著优于传统交叉熵和条件随机场损失函数,且方法对嵌入、模型和领域具有通用性。
2023-04-13 cs.CL cs.LG