首页/论文/2109.08396

arXiv 2109.083962021-09-17cs.CL

再现“没有大写时的名词和名词”

reproducing "ner and pos when nothing is capitalized"

ethz（苏黎世联邦理工学院）

Andreas Kuster, Jakub Filipek, Viswa Virinchi Muppirala

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

大写是许多NLP任务中的重要特征，例如命名实体识别（NER）或词性标注（POS）。我们试图重现论文的结果，该论文展示了当训练数据和测试数据之间的套管不匹配时如何减轻显着的性能下降。特别是，我们表明，小写50%的数据集提供了最佳的性能，匹配的索赔原始文件。我们还表明，在我们试图重现的几乎所有实验中，我们的表现都略低，这表明可能有一些隐藏的因素影响我们的表现。最后，我们将所有的工作都放在一个公共的github仓库中。

英文摘要：

Capitalization is an important feature in many NLP tasks such as Named Entity Recognition (NER) or Part of Speech Tagging (POS). We are trying to reproduce results of paper which shows how to mitigate a significant performance drop when casing is mismatched between training and testing data. In particular we show that lowercasing 50% of the dataset provides the best performance, matching the claims of the original paper. We also show that we got slightly lower performance in almost all experiments we have tried to reproduce, suggesting that there might be some hidden factors impacting our performance. Lastly, we make all of our work available in a public github repository.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

当没有大写时，为ner和pos

ner and pos when nothing is capitalized

University of Pennsylvania（宾夕法尼亚大学）

对于那些使用大写的语言来说，大写是命名实体识别（NER）和词性（POS）标记的基本NLP任务的重要信号。事实上，这是一个如此强烈的信号，以至于在常见的小写场景中，例如嘈杂的Web文本或机器翻译输出，这些任务的模型性能急剧下降。在这项工作中，我们进行了系统的分析，解决这个问题，只修改外壳的训练或测试数据使用lowercasing和truecasing方法。虽然以前的工作和第一印象可能会建议训练一个无大小写的模型，或在测试时使用truecaser，我们表明，最有效的策略是一个串联的大小写和小写的训练数据，产生一个单一的模型与高性能的大小写和uncased文本。正如我们的实验所示，这一结果适用于任务和输入表示。最后，我们表明，我们提出的解决方案在噪声域外的Twitter数据的提及检测中提供了8%的F1改进。

2019-08-31cs.CL

基于上下文嵌入的捷克语文本处理：POS标记、词形化、解析和NER

Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER

Charles University（查理大学）

语境化嵌入是一种根据语境获取适当词义的方法。我们评估了两种预计算这种嵌入的方法，BERT和Flair，在四个捷克文本处理任务：词性（POS）标记，词形化，依赖分析和命名实体识别（NER）。前三个任务，词性标注，词形还原和依存句法分析，评估两个语料库：布拉格依存树库3.5和通用的依存关系2.3。在捷克命名实体语料库1.1和2.0上评估命名实体识别（NER）。我们报告了上述任务和语料库的最新结果。

2021-04-12cs.CL

越南语POS标记和NER的神经序列标记

Neural sequence labeling for Vietnamese POS Tagging and NER

Hanoi Univ of Science and Technology（河内科技大学）；VCCorp（VCCorp公司）

本文提出了一种用于越南语序列标注任务的神经结构，包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型，该模型是双向长短期记忆和条件随机场的组合，它依赖于关于单词的两个信息源：从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明，该方法在两个任务上都达到了最佳的性能：词性标注的准确率为93.52%，NER标注的F1为94.88%.我们的源代码在这里可用。

2018-11-12cs.CL

NERDA-Con：扩展NER模型用于持续学习--整合不同任务和更新分布偏移

NERDA-Con: Extending NER models for Continual Learning -- Integrating Distinct Tasks and Updating Distribution Shifts

Manipal Institute of Technology（马尼帕尔理工学院）

随着在生物医学信息抽取管道和社交媒体分析等领域的应用越来越多，命名实体识别（NER）已成为知识提取不可或缺的工具。然而，随着语言结构和词汇的逐渐转变，NER受到分布偏移的困扰，使其变得多余或不重新训练就不那么有利可图。基于大语言模型（LLM）从头开始对新获取的数据重新训练NER带来了经济上的缺点。相反，仅使用新获取的数据进行重新训练将导致对先前获取的知识的灾难性遗忘。因此，我们提出了NERDA-Con，这是一个通过将弹性权重合并（EWC）的概念纳入NER微调NERDA管道来训练具有LLM基础的NER的管道。由于我们相信我们的工作具有在持续学习和NER的管道中使用的意义，我们开源了我们的代码，并在https://github.com/SupritiVijay/NERDA-Con和https://pypi.org/project/NERDA-Con/上提供了同名NERDA-Con的微调库。

2022-06-28cs.CL

FLAT：使用扁平点阵Transformer的中国NER

FLAT: Chinese NER Using Flat-Lattice Transformer

Fudan University（复旦大学）

近年来，字-词格结构已被证明是有效的中文命名实体识别（NER），通过合并字的信息。然而，由于格结构的复杂性和动态性，大多数现有的基于格的模型难以充分利用GPU的并行计算，通常具有较低的推理速度。在本文中，我们提出了FLAT：Flat-Lattice Transformer，它将格型结构转换成由跨距组成的扁平结构。每个跨度对应于一个字符或潜在单词及其在原始网格中的位置。借助Transformer的强大功能和精心设计的位置编码，FLAT可以充分利用格信息，并具有出色的并行化能力。在四个数据集上的实验表明，FLAT在性能和效率上优于其他基于词典的模型。

2020-05-23cs.CL

基于置信度的多类正无标记学习的远程监督命名实体识别

Distantly Supervised Named Entity Recognition via Confidence-Based Multi-Class Positive and Unlabeled Learning

Iowa State University（爱荷华州立大学）

本文研究了远程监控下的命名实体识别问题。由于外部字典和/或知识库的不完整性，这种远距离注释的训练数据通常遭受高的假阴性率。为此，我们制定了远程监督NER（DS-NER）的问题，通过多类积极和无标签（MPU）学习，并提出了一种理论和实践上新颖的CONFidence-based MPU（Conf-MPU）的方法。为了处理不完整的注释，Conf-MPU包括两个步骤。首先，为作为实体令牌的每个令牌估计置信度分数。然后，建议Conf-MPU风险估计训练一个多类分类器的NER任务。在两个由各种外部知识标记的基准数据集上的实验表明，所提出的Conf-MPU比现有的DS-NER方法的优越性。

2022-03-03cs.CLcs.LG

更多相关论文收起更多论文

NERsocial：利用RapidNER构建适用于人机交互的高效命名实体识别数据集

NERsocial: Efficient Named Entity Recognition Dataset Construction for Human-Robot Interaction Utilizing RapidNER

Division of Information Science, NAIST（信息科学部，奈良先端科学技术大学院大学）

针对NER方法跨领域适配难的问题，提出RapidNER框架，通过知识图谱子图提取、多源文本构建人机交互领域NERsocial数据集、ES标注方案三步法高效建库，验证了其加速数据集创建的能力。

2024-11-28cs.CLcs.RO

社会媒体文本不确定切分信息的中文NER表示

Incorporating Uncertain Segmentation Information into Chinese NER for Social Media Text

Tongji University（同济大学）；Tencent（腾讯）

中文分词是中文命名实体识别（NER）系统提供词级信息的必要手段。然而，在处理社交媒体文本等口语数据时，分割错误传播是中文NER的一个挑战。在本文中，我们提出了一个模型（UIcwsNN），专门用于识别实体从中国的社交媒体文本，特别是利用模糊信息的分词。这种不确定信息包含了句子的所有潜在分割状态，为模型推断深层词级特征提供了通道。我们提出了一个三部曲（即，候选位置嵌入->位置选择性注意->自适应词卷积）来编码不确定的分词信息并获得适当的词级表示。在社交媒体语料库上的实验结果表明，该模型有效地消除了分割错误级联问题，与现有方法相比，性能提高了2%以上。

2020-06-15cs.CLcs.LG

重新审视远程监督命名实体识别：一个新基准与一种简单方法

Re-Examine Distantly Supervised NER: A New Benchmark and a Simple Approach

Iowa State University（爱荷华州立大学）

针对远程监督NER依赖大验证集的问题，提出新基准QTL和基于课程学习的正-未标记方法CuPUL，在小验证集上稳健有效。

2024-12-16cs.CLcs.LG

AdaK-NER：一种用于不完整标注命名实体识别的自适应Top-K方法

AdaK-NER: An Adaptive Top-K Approach for Named Entity Recognition with Incomplete Annotations

最先进的命名实体识别（NER）模型严重依赖于大量的完全注释的训练数据。然而，可访问的数据往往是不完整的注释，因为注释者通常缺乏全面的知识，在目标领域。通常，默认情况下，未注释的标记被视为非实体，而我们强调这些标记可以是非实体或任何实体的一部分。本文研究了不完全标注数据下的NER建模问题，在不完全标注数据下，只有一小部分命名实体被标注，而未标注的标记被每个可能的标记等价地多标注，考虑到多标记，大量的可能路径会分散训练模型对黄金路径（ground truth label序列）的注意力，从而影响学习能力。在本文中，我们提出了AdaK-NER，称为自适应top-K方法，以帮助模型专注于一个较小的可行区域，在那里黄金路径更有可能被定位。通过在英文和中文数据集上的大量实验，我们证明了该方法的优越性，在CoNLL-2003和两个中文数据集上的F值与现有的最先进的方法相比平均提高了2%和10%以上。

2022-06-09cs.AIcs.CL