Improving Low-Resource Sequence Labeling with Knowledge Fusion and Contextual Label Explanations
School of Computer Science, Peking University（北京大学计算机科学学院）；Institute of Computational Social Science, Peking University (Qingdao)（北京大学计算社会科学研究所）；College of Computer and Data Science, Fuzhou University（福州大学计算机与数据科学学院）
针对低资源特定领域中文序列标注的适用性不足与语义偏差问题，提出结合LLM知识增强工作流与KnowFREE模型的框架，通过上下文标签解释与扩展标签特征，实现了低资源场景下的最优性能。
2025-10-04 cs.CL
Capturing Long-range Contextual Dependencies with Memory-enhanced Conditional Random Fields
尽管在广泛的NLP任务中成功应用，但条件随机场（“CRF”），特别是线性链变体，只能对局部特征进行建模。虽然这在推理易处理性方面有重要的好处，但它限制了模型捕获项目之间的长期依赖关系的能力。尝试扩展CRF以捕获长程依赖性在很大程度上是以计算复杂性和近似推理为代价的。在这项工作中，我们提出了一个扩展CRF整合外部存储器，从内存网络的灵感，从而使CRF将信息远远超出相邻的步骤。两个任务的实验显示，与强CRF和LSTM基线相比，有了实质性的改进。
2017-10-12 cs.CL
BioFLAIR: Pretrained Pooled Contextualized Embeddings for Biomedical Sequence Labeling Tasks
Manipal Institute of Technology（马尼帕尔理工学院）；Elsevier Labs（爱思唯尔实验室）
生物医学命名实体识别（NER）是生物医学信息处理中的一个具有挑战性的问题。由于BERT、GPT和XLNet等技术的进步，bioNER基准测试的性能不断提高。FLAIR（1）是一种替代嵌入模型，其计算强度低于其他提到的模型。我们在各种生物NER任务上测试FLAIR及其预训练的PubMed嵌入（我们称之为BioFLAIR），并将其与BERT类型网络的结果进行比较。我们还研究了少量额外的预训练对PubMed内容的影响，以及FLAIR和ELMO模型的结合。我们发现，通过提供的嵌入，FLAIR的性能与BERT网络不相上下-甚至在一个基准上建立了一个新的最先进的水平。额外的预培训并没有提供明显的好处，尽管这可能会随着更多的预培训而改变。将FLAIR嵌入与其他嵌入叠加通常会提高基准测试结果。
2019-08-13 cs.CL
Constraining Linear-chain CRFs to Regular Languages
University of Stuttgart（斯图加特大学）
本文提出正则约束CRF（RegCCRF），通过将输出空间限定为正则语言来引入非局部约束，证明约束训练优于约束解码，并在语义角色标注上取得领先结果。
2023-08-11 cs.CL cs.LG
Regular-pattern-sensitive CRFs for Distant Label Interactions
University of Bamberg（巴姆堡大学）；Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
本研究提出正则模式敏感CRFs（RPCRFs），通过用户指定的正则表达式标签模式增强标准线性链CRFs的长距离标签交互建模能力，在保证精确训练与推断可处理的同时，在合成数据集上验证了有效性。
2025-06-16 cs.CL cs.LG
Type-Balanced Contextual Learning for Incremental Named Entity Recognition
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Kyoto University（京都大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent, AI Lab（腾讯人工智能实验室）
针对增量命名实体识别中基于伪标签方法的偏差上下文问题，提出含句子对学习方案和上下文一致性损失的TBCL方法，经多数据集多设置实验验证有效。
2026-09-01 cs.CL
Hierarchical Multi Task Learning with Subword Contextual Embeddings for Languages with Rich Morphology
University of Tokyo（东京大学）；Bogazici University（海峡大学）
形态信息对于自然语言处理中的许多序列标注任务都是非常重要的。然而，现有的方法严重依赖于手动注释或外部软件来捕获此信息。在这项研究中，我们提出使用子词上下文嵌入来捕获丰富的形态语言的形态信息。此外，据我们所知，我们将这些嵌入在一个层次化的多任务设置中，这是以前没有使用过的。评估依存句法分析（DEP）和命名实体识别（NER）的任务，这是受益匪浅的形态信息，我们的最终模型优于以前的国家的最先进的模型在这两个任务的土耳其语。此外，我们表现出18.86%和4.61%F-1比以前提出的多任务学习者在相同的设置为DEP和NER任务，分别净改善。五个不同的MTL设置的实证结果表明，将子词上下文嵌入带来了显着的改善这两个任务。此外，我们观察到，多任务学习一贯提高DEP组件的性能。
2020-04-25 cs.CL cs.IR cs.LG
Semantic Frame Parsing for Information Extraction : the CALOR corpus
Orange Labs（奥兰治实验室）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统实验室）
本文介绍了一个公开可用的语料库的法国百科全书的历史文本注释根据伯克利框架网络形式主义。我们的方法与以前使用FrameNet进行语义解析的工作相比的主要区别在于，我们对全文解析不感兴趣，而是对部分解析感兴趣。我们的目标是从FrameNet资源中选择对目标应用框架有用的最小框架集，在我们的例子中是从百科文档中提取信息抽取。这种方法利用了比通过全文解析获得的语料库更大的语料库的手动注释，因此为框架解析的替代方法打开了大门，而不是迄今为止在FrameNet 1.5基准语料库上使用的方法。在这项研究中比较的方法依赖于一个集成的序列标记模型，共同优化帧识别和语义角色分割和识别。比较的模型是CRF和多任务双LSTM。
2018-12-19 cs.AI cs.CL
Multi-level biomedical NER through multi-granularity embeddings and enhanced labeling
Isfahan University of Technology（伊斯法罕理工大学）；Medical University of Vienna（维也纳医科大学）
本文提出一种混合方法，结合BERT、多通道CNN和BiLSTM+CRF，并引入增强标注预处理，以提升生物医学命名实体识别性能，在i2b2/2010数据集上取得90.11的F1分数。
2023-12-24 cs.AI cs.CL cs.LG
Improved and Efficient Conversational Slot Labeling through Question Answering
PolyAI Limited（PolyAI有限公司）
基于transformer的预训练语言模型（PLM）在大多数自然语言理解（NLU）任务中提供了无与伦比的性能，包括一系列问答（QA）任务。我们假设QA方法的改进也可以直接用于对话NLU;但是，对话任务必须是\textit{reformatted}到QA任务。特别是，我们专注于建模和研究\textit{slot labeling}（SL），NLU对话的一个重要组成部分，通过QA光学，旨在提高其性能和效率，并使其更有效和更有弹性地处理有限的任务数据。为此，我们做了一系列的贡献：1）我们演示了QA调整的PLM如何应用于SL任务，达到新的最先进的性能，在这种低数据制度中特别明显的大增益。2)我们建议利用上下文信息，需要解决模糊的值，简单地通过自然语言。3)通过使用轻量级而有效的适配器模块，提高了面向QA的微调的效率和紧凑性。4)权衡了QA数据集的一些质量，我们用更大的自动生成的QA数据集进行QA调优，达到了更高的性能。最后，我们的分析表明，我们的新的基于QA的插槽标签模型，支持的PLM，达到高数据制度的性能上限，要求在未来的工作更具挑战性和更细致入微的基准。
2022-04-05 cs.CL
FlairNLP at SemEval-2023 Task 6b: Extraction of Legal Named Entities from Legal Texts using Contextual String Embeddings
Univeristy of Colorado, Boulder（科罗拉多大学博尔德分校）
针对印度法院判决书的法律命名实体识别任务，论文比较多种序列标注架构，发现基于 Flair Embeddings 的 Bi-LSTM 效果最佳，并发布 BIO 格式数据集。
2023-06-03 cs.CL
Dual Supervision Framework for Relation Extraction with Distant Supervision and Human Annotation
Seoul National University（首尔国立大学）
由于关系抽取在知识库构建和问答等实际应用中的重要性，关系抽取得到了广泛的研究。大多数现有的工作训练模型的远程监督数据或人类注释的数据。为了利用人工注释的高准确性和远程监督的廉价成本，我们提出了双重监督框架，有效地利用这两种类型的数据。然而，简单地结合两种类型的数据来训练RE模型可能会降低预测精度，因为远程监督具有标记偏差。我们使用两个独立的预测网络HA-Net和DS-Net分别通过人工注释和远程监督来预测标签，以防止由于远程监督的不正确标签而导致的准确性下降。此外，我们还提出了一个额外的损失项，称为不一致惩罚，使HA-Net能够从远程监督标签中学习。此外，我们利用额外的网络，通过考虑上下文信息自适应地评估标签偏差。我们对文件级和文档级RE的性能研究证实了双重监督框架的有效性。
2020-11-24 cs.AI cs.CL
Neural Token Segmentation for High Token-Internal Complexity
The Open University（开放大学）；Bar Ilan University（巴伊兰大学）
将原始文本标记为单词单元是NLP管道中关键任务的重要预处理步骤，例如标记，解析，命名实体识别等。对于大多数语言来说，这个标记化步骤很简单。然而，对于具有高标记内部复杂性的语言，需要进一步的标记到分词。以前的典型分割研究是基于字符水平的框架，没有涉及语境化的表示。上下文化向量和BERT在许多应用中显示出显著的效果，但没有显示出提高语言分割本身的性能。在这里，我们提出了一种新的神经分割模型，它结合了两个世界中最好的，上下文化的令牌表示和字符级解码，这是特别有效的语言与高令牌内部复杂性和极端的形态歧义。与最先进的技术相比，我们的模型在希伯来语和阿拉伯语的分割准确性方面有了很大的改进，并在现有管道上进一步改进了下游任务，如词性标记，依存句法分析和命名实体识别。当在相同的设置下将我们的分段优先管道与联合分段和标记进行比较时，我们表明，与神经元之前的研究相反，管道性能更优越。
2022-03-21 cs.CL
Exploiting Global Contextual Information for Document-level Named Entity Recognition
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Naval University of Engineering（海军工程大学）
现有的大多数命名实体识别方法都是基于序列标记模型的，其重点是捕获局部上下文依赖关系。然而，以一个句子作为输入的方式防止了非顺序的全局上下文的建模，这是有用的，特别是当局部上下文信息是有限的或模糊的。为此，我们提出了一个称为全局上下文增强文档级NER（GCDoc）的模型，以利用两个级别的全局上下文信息，即，单词和句子。在词级，构建文档图来建模词之间更广泛的依赖关系，然后通过图神经网络（GNN）获得每个词的丰富的上下文表示。为了避免噪声信息的干扰，我们进一步提出了两种策略。首先，我们应用认识不确定性理论来找出表示不太可靠的标记，从而帮助修剪文档图。然后提出一种选择性辅助分类器，有效地学习文档图中边的权重，降低噪声邻居节点的重要性。在句子层面，为了适当地建模单个句子之外的更广泛的上下文，我们采用了一个跨句子模块，该模块对相邻的句子进行编码，并通过注意力和门控机制将其与当前的句子表示融合。在两个基准NER数据集（CoNLL 2003和Ontonotes 5.0英文数据集）上的实验证明了该模型的有效性。我们的模型在CoNLL 2003数据集上的F1得分达到92.22（BERT为93.40），在Ontonotes 5.0数据集上达到88.32（BERT为90.49），达到了新的最先进的性能。
2021-06-02 cs.AI cs.CL
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练，为广泛的自然语言处理任务提供了强大的性能基础。然而，这种方法的适用性是未知的，当目标域从预训练语料库变化很大。我们特别感兴趣的场景是，标记数据仅在一个规范的源域（如newstext）中可用，而目标域与标记文本和预训练文本都不同。为了解决这种情况下，我们提出了域自适应微调，其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域：早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同，领域自适应微调在强BERT基线上产生了实质性的改进，在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是，域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
Low-Resource Sequence Labeling via Unsupervised Multilingual Contextualized Representations
Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
以前的跨语言序列标记任务的工作要么需要并行数据或桥梁的两种语言，通过逐字匹配。这样的要求和假设对于大多数语言是不可行的，特别是对于具有大的语言距离的语言，例如，英文和中文。在这项工作中，我们提出了一个多语言语言模型与深度语义对齐（MLMA）生成语言无关的跨语言序列标记表示。我们的方法只需要单语语料库，没有双语资源，并利用深语境表示。实验结果表明，我们的方法在欧洲语言中实现了新的最先进的NER和POS性能，并且在英语和汉语等遥远的语言对上也是有效的。
2019-10-24 cs.CL
Keyphrase Extraction from Scholarly Articles as Sequence Labeling using Contextualized Embeddings
NUS（新加坡国立大学）；Bloomberg（彭博）；MIDAS-IIIT-Delhi（德里印德拉普拉斯塔信息技术学院MIDAS）
在本文中，我们制定了从学术文章中提取关键词作为一个序列标签任务解决使用BiLSTM-CRF，在输入文本中的单词表示使用深上下文嵌入。我们在三个不同的基准数据集（Inspec，SemEval 2010，SemEval 2017）上使用上下文化和固定的词嵌入模型来评估所提出的架构，并与现有流行的无监督和监督技术进行比较。我们的研究结果量化的好处（a）使用语境化的嵌入（例如BERT）固定的词嵌入（例如手套）;（b）使用BiLSTM-CRF架构与语境化的词嵌入直接微调的语境化的词嵌入模型，（c）使用特定体裁的语境化的嵌入（SciBERT）。通过错误分析，我们还提供了一些关于为什么特定模型比其他模型更好的见解。最后，我们提出了一个案例研究，我们分析了两个最好的模型（BERT和SciBERT）的不同的自我注意层，以更好地理解每个关键词提取任务的预测。
2019-10-19 cs.CL
Learning to Contextually Aggregate Multi-Source Supervision for Sequence Labeling
University of Southern California（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
序列标记是解决各种自然语言处理问题的基本框架。它的性能在很大程度上受到监督学习场景中标注质量和数量的影响，并且获得地面真值标签通常是昂贵的。在许多情况下，地面真值标签并不存在，但是可以访问噪声注释或来自不同域的注释。在本文中，我们提出了一个新的框架共识网络（ConNet），可以在来自多个来源的注释上进行训练（例如，群组注释、跨域数据.）。它学习每个源的个体表示，并通过上下文感知注意模块动态地聚合特定于源的知识。最后，它导致一个模型，反映了多个来源之间的协议（共识）。我们在两个实际的多源学习环境中评估了所提出的框架：人群注释学习和无监督跨领域模型自适应。大量的实验结果表明，我们的模型在这两种设置中实现了显着的改进，比现有的方法。我们还表明，该方法可以适用于各种任务，并应付不同的编码器。
2020-04-16 cs.CL cs.LG
Bidirectional Recurrent Neural Networks for Medical Event Detection in Electronic Health Records
University of Massachusetts（马萨诸塞大学）；Bedford VAMC and CHOIR（贝德福德退伍军人医疗中心与CHOIR）
从电子健康记录（EHR）中的非结构化文本中提取医疗事件及其属性的序列标记是实现EHR语义理解的关键步骤。它在健康信息学中有重要的应用，包括药物警戒和药物监测。该领域中的现有技术监督机器学习模型基于条件随机场（CRF），其特征从固定的上下文窗口计算。在这个应用中，我们探索了各种递归神经网络框架，并表明它们的性能明显优于CRF模型。
2016-07-12 cs.CL cs.LG cs.NE
Efficient Contextualized Representation: Language Model Pruning for Sequence Labeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
已经做出了许多努力来利用预训练的语言模型（LM）来促进自然语言处理任务，并且为各种应用带来了显著的改进。为了充分利用几乎无限的语料库和捕捉各种层次的语言信息，需要大尺寸的LM;但对于特定的任务，这些信息中只有一部分是有用的。这种大尺寸的LM，即使在推理阶段，也可能导致繁重的计算工作量，使得它们对于大规模应用来说过于耗时。在这里，我们建议压缩庞大的LM，同时保留有用的信息，对于一个特定的任务。由于模型的不同层保持不同的信息，我们开发了一种层选择方法，模型修剪稀疏诱导正则化。通过引入密集连接，我们可以在不影响其他层的情况下分离任何层，并将浅而宽的LM拉伸为深而窄。在模型训练中，LM是通过逐层退出来学习的，以获得更好的鲁棒性。在两个基准数据集上的实验证明了该方法的有效性。
2018-09-10 cs.CL
Pareto Probing: Trading Off Accuracy for Complexity
University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）；ETH Zürich（苏黎世联邦理工学院）
本文提出以Pareto超体积作为探测指标来权衡探测复杂度与性能，发现简单探测任务不足以评估上下文表示，并证明完整依存句法分析能更有效揭示上下文与非上下文表示在句法知识上的差距。
2023-12-04 cs.CL cs.LG
Sentence Compression as Deletion with Contextual Embeddings
CINNAMON LAB（肉桂实验室）；Hung Yen University of Technology and Education（兴安技术教育大学）；The University of Queensland（昆士兰大学）
句子压缩是在保留重要信息的同时创建输入句子的较短版本的任务。在本文中，我们扩展的任务压缩删除使用上下文嵌入。不同于以前的工作通常使用非上下文嵌入（手套或Word2Vec），我们利用上下文嵌入，使我们的模型捕捉输入的上下文。更准确地说，我们利用由双向长短期记忆和条件随机场堆叠的上下文嵌入来处理序列标记。在基准Google数据集上的实验结果表明，通过利用上下文嵌入，我们的模型实现了一个新的最先进的F分数相比，强大的方法报告的领导者板。
2020-06-05 cs.CL cs.IR cs.LG
Polyglot Contextual Representations Improve Crosslingual Transfer
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们介绍了Rosita，一种通过在多种语言的文本上训练单个语言模型来生成多语言上下文单词表示的方法。我们的方法结合了上下文单词表示与多语言表示学习的优点。我们从不同的语言对（英语/阿拉伯语和英语/中文）产生语言模型，并将它们用于依存句法分析，语义角色标注和命名实体识别，并与单语和非上下文变体进行比较。我们的研究结果为多语学习的好处提供了进一步的证据，在多语学习中，表征在多种语言中共享。
2019-03-18 cs.CL
Syntax-Enhanced Self-Attention-Based Semantic Role Labeling
Alibaba Group（阿里巴巴集团）
语义角色标注（SRL）是自然语言处理的一项基本任务，旨在发现句子中每个谓词的语义角色。本文探讨了如何将句法知识有效地融入自主学习任务。我们提出了不同的方法编码的句法信息来自不同的质量和表示的依赖树，我们提出了一个语法增强的自我注意力模型，并将其与其他两个强基线方法进行比较，我们进行实验，以及新出版的深语境单词表示。实验结果表明，在CoNLL-2009数据集上，通过适当地引入高质量的句法信息，我们的模型在中文SRL任务上取得了新的性能。
2019-10-24 cs.CL
Beyond The Text: Analysis of Privacy Statements through Syntactic and Semantic Role Labeling
New York University（纽约大学）
本文制定了一个新的任务，从隐私政策中提取隐私参数，通过上下文完整性，一个既定的社会理论框架推理隐私规范的镜头。由律师撰写的隐私政策篇幅冗长，往往包含不完整和模糊的陈述。在本文中，我们表明，传统的NLP任务，包括最近提出的基于加密的解决方案，不足以解决隐私参数提取问题，并提供较差的精度和召回率。我们描述了4种不同类型的传统方法，可以部分地适应于解决不同程度的成功的参数提取任务：隐马尔可夫模型，BERT微调模型，依赖类型解析（DP）和语义角色标注（SRL）。基于对36个现实世界的主要企业的隐私政策的详细评估，我们证明了一个解决方案，结合语法DP加上特定类型的SRL任务提供了最高的准确性，从隐私声明中检索上下文隐私参数。我们还观察到，结合特定领域的知识对于实现高精度和召回率至关重要，从而激发了新的NLP研究来解决隐私领域的这一重要问题。
2020-10-01 cs.CL cs.CY
More Embeddings, Better Sequence Labelers?
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉成像工程研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
最近的工作提出了一个家庭的上下文嵌入，显着提高了序列标签的准确性超过非上下文嵌入。然而，我们是否可以建立更好的序列标签，通过结合不同的嵌入在各种设置没有明确的结论。本文在18个数据集和8种语言上对3个任务进行了广泛的实验，研究了不同嵌入连接的序列标记准确性，并得到了三个观察结果：（1）在资源丰富和跨域设置以及某些低资源设置条件下，连接更多嵌入变体会导致更好的准确性;（2）将附加的上下文子词嵌入与上下文字符嵌入连接损害了极低资源设置中的准确性;（3）基于（1）的结论，连接附加的相似上下文嵌入不能导致进一步的改进。我们希望这些结论可以帮助人们在各种环境中建立更强大的序列标记器。
2021-06-02 cs.CL cs.LG
MIDAS at SemEval-2020 Task 10: Emphasis Selection using Label Distribution Learning and Contextual Embeddings
NSIT-Delhi（德里奈塔吉苏巴斯理工学院）；IIIT Delhi（德里 Indraprastha 信息技术学院）；IIT Dhanbad（丹巴德印度理工学院）；Bloomberg LP（彭博有限合伙企业）
本文介绍了我们提交给SemEval 2020 -任务10的书面文本中的重点选择。我们把这个重点选择问题看作是一个序列标签任务，我们用各种上下文嵌入模型来表示底层文本。我们还采用标签分布学习来解释注释者的分歧。我们对模型架构的选择、层的可训练性和不同的上下文嵌入进行了实验。我们表现最好的架构是不同模型的组合，整体匹配得分为0.783，在31个参赛团队中排名第15。最后，我们分析的结果，在词性标记，句子长度和单词排序。
2020-09-06 cs.CL
Span Labeling Approach for Vietnamese and Chinese Word Segmentation
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
在本文中，我们提出了一个跨度标记的方法来模拟越南语分词，即SPAN SEG的n元语法信息。我们比较了跨度标记的方法与条件随机场使用编码器具有相同的架构。由于越南语和汉语具有相似的语言现象，我们在越南树库基准数据集和五个汉语基准数据集上对所提出的方法进行了评估。通过我们的实验结果，当所提出的方法SpanSeg都应用上下文预训练的语言模型XLM-RoBERTa和预测的词边界信息时，在越南树库基准测试中，SpanSeg比序列标记方法获得了更高的性能，最先进的F分数为98.31%。此外，我们在BERT和ZEN预训练的汉语语言模型上对跨度标记方法进行了微调实验，这些方法具有更少的参数，更快的推理时间，以及比以前最先进的方法具有竞争力或更高的F分数，使用词罩记忆网络的分词，在五个汉语基准上。
2021-10-01 cs.CL
HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized Word Embeddings
University of Hamburg（汉堡大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；University of Mannheim（曼海姆大学）；Samsung R&D Institute Russia（三星俄罗斯研发中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
我们提出了我们的语义框架归纳系统，该系统在子任务B.1中表现出最佳性能，并在SemEval 2019任务2的子任务A中获得亚军（QasemiZadeh等人，2019年）。我们的方法将这个任务分为两个独立的步骤：动词聚类使用词和它们的上下文嵌入和角色标签结合这些嵌入与句法特征。这些步骤的简单组合显示出非常有竞争力的结果，并且可以扩展到处理其他数据集和语言。
2019-05-05 cs.CL
Improving Slot Filling by Utilizing Contextual Information
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）
槽填充是口语语言理解的子任务之一，其目的是从给定的自然语言话语中提取语义成分。它被公式化为序列标记任务。最近，研究表明上下文信息对于这项任务至关重要。然而，现有的模型以受限的方式采用上下文信息，例如，使用自我注意力。这些方法无法区分上下文对词表征和词标签的影响。为了解决这个问题，在本文中，我们提出了一种新的方法，将上下文信息在两个不同的水平，即，表示级别和特定任务（即，标签）水平。我们对SF上的三个基准数据集进行了广泛的实验，结果表明我们的模型在SF任务的所有三个基准数据集上都获得了新的最先进的结果。
2020-05-30 cs.AI cs.CL
NOWJ @BioCreative IX ToxHabits: An Ensemble Deep Learning Approach for Detecting Substance Use and Contextual Information in Clinical Texts
University of Engineering and Technology（工程大学）；University of Engineering（工程大学）；Technology, Vietnam National University（技术，越南国家大学）
本文提出了一种集成深度学习方法，用于在西班牙临床文本中检测有毒物质使用及上下文信息，实现了较高的F1和精度指标。
2026-02-10 cs.AI cs.CL
An Investigation of Potential Function Designs for Neural CRF
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
神经线性链CRF模型是序列标记中应用最广泛的方法之一。在本文中，我们研究了一系列越来越有表现力的潜在功能的神经CRF模型，它不仅集成了发射和转换功能，但也明确地把上下文单词的表示作为输入。我们广泛的实验表明，分解的四线性势函数的基础上的两个相邻的标签和两个相邻的词的矢量表示一致地达到最佳性能。
2020-11-11 cs.CL cs.LG
Investigating Self-Attention Network for Chinese Word Segmentation
Westlake University（西湖大学）
神经网络已经成为中文分词的主流方法。大多数现有的模型将任务转换为序列标记，使用BiLSTM-CRF表示输入并进行输出预测。最近，基于注意力的序列模型已经成为LSTM的一个极具竞争力的替代方案，它通过并行计算实现了更好的运行速度。本文研究了自注意网络在中文分词中的应用，并与BiLSTM-CRF模型进行了比较。此外，使用BERT的上下文字符嵌入的影响进行了研究，并提出了一种方法，将词的信息集成到SAN分割。结果表明，SAN提供了非常有竞争力的结果相比，BiLSTM，与BERT和词的信息进一步提高了领域内和跨领域的分割。我们的最终模型给出了6个异构域基准测试的最佳结果。
2019-07-26 cs.CL
Detecting Unassimilated Borrowings in Spanish: An Annotated Corpus and Approaches to Modeling
UNED（西班牙国立远程教育大学）；Brandeis University（布兰迪斯大学）
这项工作提出了一个新的资源，借用识别和分析的性能和错误的几个模型在这项任务。我们引入了一个新的注释语料库的西班牙语新闻专线丰富的未同化的词汇借款-从一种语言的话，被引入到另一个没有正字法的适应-并用它来评估几个序列标签模型（CRF，BiLSTM-CRF，和基于转换器的模型）执行。该语料库包含370，000个标记，并且比以前可用于此任务的语料库更大，更密集，OOV丰富，主题多样。我们的研究结果表明，一个BiLSTM-CRF模型与子词嵌入以及基于transformer的嵌入预训练的代码交换数据或上下文化的词嵌入的组合优于由多语言BERT模型获得的结果。
2022-03-30 cs.CL
