Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging
Korea University（高丽大学）；Amazon Alexa（亚马逊Alexa）
由于韩语是一种高度粘着的、字符丰富的语言，因此以前关于韩语形态分析的工作通常采用被称为字素的子字符特征的使用，或者以其他方式利用全面的先验语言知识（即，已知形态变换形式或动作的字典）。这些模型是在假设字符级、无词典的形态分析由于所需动作的数量而难以处理的情况下创建的。在这项研究中，我们提出了一个多阶段的基于动作的模型，可以执行形态变换和词性标记使用任意单位的输入，并将其应用到字符级的朝鲜语形态分析的情况下。在不使用先验语言知识的模型中，我们使用我们提出的数据驱动的Bi-LSTM模型，在世宗朝鲜语语料库中实现了最先进的单词和单词级别的标记准确性。
2018-06-28 cs.CL
Character Transformations for Non-Autoregressive GEC Tagging
Charles University（查理大学）
我们提出了一个基于字符的非自回归GEC方法，自动生成的字符转换。最近，校正编辑的每字分类已被证明是当前编码器-解码器GEC系统的有效的、可并行化的替代方案。我们发现，单词替换编辑可能是次优的，并导致爆炸的规则拼写，变音符号和错误的形态丰富的语言，并提出了一种方法，从GEC语料库生成字符转换。最后，我们训练字符转换模型，捷克，德国和俄罗斯，达到坚实的结果和显着的加速相比，自回归系统。源代码发布于https://github.com/ufal/wnut2021_character_transformations_gec。
2021-11-17 cs.CL
Neural Morphological Tagging from Characters for Morphologically Rich Languages
DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）
本文研究了基于神经特征的词法标注方法，该方法适用于词法复杂且标注集较大的语言。我们系统地探索了各种神经架构（DNN，CNN，CNNHighway，LSTM，BLSTM），以获得基于字符的词向量，并结合双向LSTM，在端到端环境中对跨词上下文进行建模。我们探索基于大量未标记数据训练的基于单词的向量的补充使用。我们的形态标记实验表明，对于“简单”模型配置，网络架构的选择（CNN与CNNHighway与LSTM与BLSTM）或使用预训练的词嵌入的增强可能很重要，并明显影响准确性。例如，通过增加深度来增加模型容量，并仔细优化神经网络可以带来实质性的改进，并且准确性（但不是训练时间）的差异变得更小，甚至可以忽略不计。总的来说，我们最好的形态标记为德国和捷克优于最好的结果，在文献中报道了很大的利润。
2016-06-21 cs.CL
Neural Semi-Markov Conditional Random Fields for Robust Character-Based Part-of-Speech Tagging
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；University of Patras（帕特雷大学）；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
标记的更高级模型已被证明在处理标记内噪声和词汇表外单词方面是有效的。但这些模型仍然依赖于正确的令牌边界。在本文中，我们提出了一种新的端到端的字符级模型，并证明了它的有效性，在多语言设置和令牌边界是嘈杂的。我们的模型是一个半马尔可夫条件随机场，具有用于字符和段表示的神经网络。它不需要tokenizer。该模型与各种语言的最先进的基线相匹配，并且在嘈杂的英语版本的词性标记基准数据集上的表现明显优于它们。我们的代码和噪声数据集可以在http://cistern.cis.lmu.de/semiCRF上公开获得。
2020-01-02 cs.CL
Morphosyntactic Tagging with a Meta-BiLSTM Model over Context Sensitive Token Encodings
Google Inc.（谷歌公司）
神经网络，特别是循环神经网络的兴起，在词性标注准确性方面产生了显著的进步。这些模型的一个共同特征是存在丰富的初始单词编码。这些编码通常由具有学习和预训练的词嵌入的基于递归字符的表示组成。然而，这些编码不考虑比单个单词更宽的上下文，并且单词或子单词信息仅通过随后的递归层进行交互。在本文中，我们研究的模型，使用循环神经网络与初始字符和单词为基础的表示的上下文。特别是，我们表明，最佳的结果是通过整合这些上下文敏感的表示，通过同步训练与元模型，学会结合他们的状态。我们目前的结果与国家的最先进的性能对一些语言的词性和形态标记。
2018-05-21 cs.CL
Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-stage Span Labeling
Multimedia Communications Laboratory, University of Information Technology（信息技术大学多媒体通信实验室）；University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
汉语分词和词性标注是计算语言学和自然语言处理应用中必不可少的任务。许多研究者仍然在争论深度学习时代对中文分词和词性标注的需求。然而，解决歧义和检测未登录词在这一领域具有挑战性的问题。以往的汉语分词和词性标注联合研究主要遵循基于字符的标注模型，侧重于n-gram特征建模。与以往的工作不同，我们提出了一个神经模型命名为SpanSegTag联合中文分词和词性标记的跨度标记，其中每个n-gram的概率是词和词性标记的主要问题。我们使用双仿射操作的左，右边界表示的连续字符模型的n-gram。我们的实验表明，我们的基于BERT的模型SpanSegTag在CTB 5，CTB 6和UD上实现了具有竞争力的性能，或者与使用BERT或ZEN编码器的当前最先进的方法相比，在CTB 7和CTB 9基准数据集上实现了显着的改进。
2021-12-17 cs.CL
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asian（微软亚洲研究院）；Educational Testing Service Research（美国教育考试服务中心研究院）
双向长短期记忆循环神经网络（BLSTM-RNN）已被证明是非常有效的标记序列数据，例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段，已经得到了广泛的应用。在这项研究中，我们提出了使用BLSTM-RNN与词嵌入的词性（POS）标注任务。在Penn Treebank WSJ测试集上进行测试时，达到了97.40的标记准确率。在不使用形态特征的情况下，该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
Towards JointUD: Part-of-speech Tagging and Lemmatization using Recurrent Neural Networks
YerevaNN；Yerevan State University（埃里温国立大学）
本文描述了我们提交给CoNLL 2018 UD共享任务的内容。我们已经扩展了基于LSTM的神经网络设计的序列标记，以额外生成字符级序列。该网络被联合训练以产生词元、词性标签和形态特征。句子分割、标记化和依存句法分析由UDPipe1.2基线处理。结果表明，所提出的多任务架构的可行性，虽然它的性能仍然远远没有达到最先进的水平。
2018-09-10 cs.CL
Neural sequence labeling for Vietnamese POS Tagging and NER
Hanoi Univ of Science and Technology（河内科技大学）；VCCorp（VCCorp公司）
本文提出了一种用于越南语序列标注任务的神经结构，包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型，该模型是双向长短期记忆和条件随机场的组合，它依赖于关于单词的两个信息源：从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明，该方法在两个任务上都达到了最佳的性能：词性标注的准确率为93.52%，NER标注的F1为94.88%.我们的源代码在这里可用。
2018-11-12 cs.CL
Reduce Meaningless Words for Joint Chinese Word Segmentation and Part-of-speech Tagging
Xiamen University（厦门大学）；Tsinghua University（清华大学）
传统的汉语分词和词性标注（S&T）联合方法具有泛化能力，不能识别出在训练数据中没有出现的新词。一个不受欢迎的副作用是，许多无意义的单词将被错误地创建。我们提出了一个有效的和高效的框架S&T，引入功能，以显着减少无意义的单词生成。一个通用的词典，维基百科和一个大规模的原始语料库的2000亿个字符被用来生成基于词的特征的词。基于词格的框架包括一个基于字符的模型和一个基于词的模型，以利用我们的基于词的功能。在Penn中文树库5上的实验表明，与基线相比，该方法的无意义词生成减少了62.9%。因此，用于分割的F1度量增加到0.984。
2013-05-25 cs.CL
Character-Level Feature Extraction with Densely Connected Networks
Korea University（高丽大学）；Amazon Alexa（亚马逊Alexa）
在各种自然语言处理任务中，生成字符级特征是获得良好结果的重要步骤。为了减轻在生成手工制作的特征时对人力的需求，已经提出了利用诸如卷积神经网络（CNN）或递归神经网络（RNN）之类的神经架构来自动提取这样的特征的方法，并且已经显示出很好的结果。然而，CNN生成与位置无关的特征，而RNN很慢，因为它需要顺序处理字符。在本文中，我们提出了一种新的方法，使用密集连接的网络自动提取字符级的功能。所提出的方法不需要任何语言或任务特定的假设，并显示出鲁棒性和有效性，同时比基于CNN或RNN的方法更快。在三个序列标记任务-槽标记，词性（POS）标记和命名实体识别（NER）上评估该方法-我们获得了最先进的性能，在槽标记和POS标记上分别具有96.62 F1分数和97.73%的准确率，并且与NER上的最先进的91.13 F1分数相当。
2018-07-26 cs.CL
Overview of the NLPCC 2015 Shared Task: Chinese Word Segmentation and POS Tagging for Micro-blog Texts
Fudan University（复旦大学）
本文综述了第四届CCF自然语言处理与中文计算会议（NLPCC 2015）的共同课题：微博文本的中文分词和词性标注。与目前流行的新闻专线数据集不同，该共享任务的数据集由相对非正式的微文本组成。共享任务包括两个子任务：（1）单个汉语分词和（2）联合汉语分词和词性标注。每个子任务有三个轨道，以区分具有不同资源的系统。我们首先介绍数据集和任务，然后描述参与系统的不同方法，报告测试结果，并对这些结果进行概述分析。在http://nlp.fudan.edu.cn/nlpcc2015上有一个在线系统可供公开登记和评估。
2015-06-30 cs.CL
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen（格罗宁根大学）；University of Copenhagen（哥本哈根大学）；Bar-Ilan University（巴伊兰大学）
双向长短期记忆（bi-LSTM）网络最近被证明可以成功地用于各种NLP序列建模任务，但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题，并评估双LSTM与字，字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型，它将POS标记损失函数与一个辅助损失函数相结合，该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能，尤其适用于形态复杂的语言。我们的分析表明，双LSTM对训练数据大小和标签损坏（在小噪声水平下）的敏感性低于以前的假设。
2016-07-21 cs.CL
Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation
RIKEN AIP（理化学研究所先进智能项目中心）；Tohoku University（东北大学）；Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
预训练的上下文和非上下文子词嵌入已经在250多种语言中可用，允许大规模多语言NLP。然而，虽然并不缺乏预训练的嵌入，但明显缺乏系统的评估使得从业者很难在它们之间做出选择。在这项工作中，我们进行了广泛的评估比较非上下文子词嵌入，即FastText和BPEmb，和上下文表示方法，即BERT，多语言命名实体识别和词性标注。我们发现，总的来说，BERT，BPEmb和字符表示的组合在语言和任务中效果最好。更详细的分析揭示了不同的优点和缺点：多语言BERT在中高资源语言中表现良好，但在低资源环境中表现不如非上下文子词嵌入。
2019-06-04 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个广泛的评估，最近提出的三种方法，在89个语料库中的54种语言的通用嵌入2.3在三个任务：词性标注，词形还原，和依存句法分析的上下文嵌入。采用BERT，Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入，UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一，也是EPE 2018的总冠军，我们对三种上下文化的词嵌入方法进行了一对一的比较，以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果，与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
Hybrid Neural Tagging Model for Open Relation Extraction
Tongji University（同济大学）
开放式关系抽取（ORE）通过从非结构化文本中发现任意关系元组来获得语义表示仍然是一个挑战。传统的方法严重依赖于特征工程或句法分析，它们效率低下或错误级联。最近，利用监督深度学习结构来解决ORE任务是一种非常有前途的方法。然而，目前存在两个主要的挑战：（1）缺乏足够的标注语料来支持有监督的训练;（2）探索适合开放关系抽取特点的特定神经结构。在本文中，为了克服这些困难，我们建立了一个大规模的，高质量的训练语料库，在一个完全自动化的方式，并设计了一个标记方案，以协助转换成一个序列标记处理的ORE任务。此外，我们提出了一个混合神经网络模型（HNN 4 ORT）的开放关系标注。该模型使用有序神经元LSTM来编码潜在的语法信息，以捕获参数和关系之间的关联。它还出现了一种新的双重意识机制，包括局部意识注意和全局意识卷积。这种双重感知的互补性使得模型可以将文本级语义作为全局视角，同时实现显著的局部特征，实现稀疏标注。在各种测试集上的实验结果表明，与传统方法或其他神经模型相比，我们的模型可以达到最先进的性能。
2020-02-13 cs.CL
Multi Task Deep Morphological Analyzer: Context Aware Joint Morphological Tagging and Lemma Prediction
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西印度大学分校））
由语素重组所引入的歧义为一个词构造了几个可能的屈折变化，使得在形态丰富语言（Morphologically Rich Languages，MRL）中预测句法特征成为一项众所周知的复杂任务。我们提出了多任务深度形态分析器（MT-DMA），这是一种基于印地语和乌尔都语单词级标签标记的多任务学习的字符级神经形态分析器。MT-DMA通过在一个可训练的框架中联合学习所有这些标记来预测印度-雅利安语言单词的一组六个形态标记：词性（POS）、性别（G）、数字（N）、人称（P）、格（C）、时态-体-情态（TAM）标记以及引理（L）。我们通过同时优化多个损失函数和共享用于上下文感知形态分析的初始参数来展示这种深度神经网络的训练的有效性。利用多目标遗传算法为每个标签优化的语音空间中的字符级特征，我们的模型建立了一个新的国家的最先进的准确率得分后，所有七个任务的两种语言。MT-DMA是公开的：代码，模型和数据可在https://github.com/Saurav0074/morph_analyzer上获得。
2019-09-16 cs.CL
Heidelberg-Boston @ SIGTYP 2024 Shared Task: Enhancing Low-Resource Language Analysis With Character-Aware Hierarchical Transformers
Heidelberg University（海德堡大学）；Sattler College（萨特勒学院）
本工作向SIGTYP 2024共享任务受限子任务提交系统，针对13种历史语言，采用分层分词结合DeBERTa-V3架构进行词性与形态标注，并利用字符级T5模型进行词形还原，从头预训练后获得第一名。
2024-05-30 cs.CL
LemMED: Fast and Effective Neural Morphological Analysis with Short Context Windows
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
我们提出了LemMED，一个字符级的编码器-解码器的上下文形态分析（结合词形化和标记）。LemMED扩展并以另外两个基于注意力的模型命名，即Lematus，一个上下文lemmatizer，和MED，一个形态（再）变化模型。我们的方法不需要训练单独的词形化和标记模型，也不需要额外的资源和工具，如形态词典或转换器。此外，LemMED仅依赖于字符级表示和本地上下文。虽然该模型原则上可以在句子级别上考虑全局上下文，但我们的实验表明，在每个目标词周围仅使用单个词的上下文不仅在计算上更可行，而且也会产生更好的结果。我们在SIMGMORPHON-2019共享任务的框架中评估LemMED，该任务涉及组合词形化和标记。在平均性能方面，LemMED在13个系统中排名第5，仅在使用上下文嵌入的提交中表现最好。
2020-10-21 cs.CL
Chinese Spelling Correction as Rephrasing Language Model
Shanghai Jiao Tong University（上海交通大学）
本文针对中文拼写纠错中字符级标注过度依赖错误、泛化与迁移受限的问题，提出通过填充槽位改写整句的 ReLM，在微调和零样本基准上取得显著领先结果。
2024-02-28 cs.CL
Boosting Named Entity Recognition with Neural Character Embeddings
IBM Research（IBM研究院）；Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）
大多数最先进的命名实体识别（NER）系统依赖于手工制作的功能和其他NLP任务的输出，如词性（POS）标记和文本组块。在这项工作中，我们提出了一个独立于语言的NER系统，只使用自动学习功能。我们的方法基于CharWNN深度神经网络，它使用单词级和字符级表示（嵌入）来执行顺序分类。我们进行了大量的实验，使用两个注释语料库在两种不同的语言：HAREM我语料库，其中包含葡萄牙语的文本;和SPA CoNLL-2002语料库，其中包含西班牙语的文本。我们的实验结果阴影光的神经字符嵌入NER的贡献。此外，我们证明了相同的神经网络，已成功地应用于POS标签也可以实现最先进的结果语言无关NER，使用相同的超参数，没有任何手工制作的功能。对于HAREM I语料库，CharWNN在总场景（10个NE类）的F1得分中优于最先进的系统7.9分，在选择性场景（5个NE类）的F1得分中优于最先进的系统7.2分。
2015-05-25 cs.CL
Is POS Tagging Necessary or Even Helpful for Neural Dependency Parsing?
Institute of Artificial Intelligence, School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院人工智能研究院）
在前深度学习时代，词性标记已被认为是依存句法分析中特征工程不可或缺的成分。但是，相当多的工作集中在联合标记和解析模型，以避免错误传播。相比之下，最近的研究表明，POS标签变得不那么重要，甚至无用的神经解析，特别是当使用基于字符的单词表示。然而，无论是从经验上还是从语言学上，都没有足够的研究关注这一问题。为了回答这个问题，我们设计并比较了三种典型的多任务学习框架，共享-松散，共享-紧密和堆栈，用于基于最先进的biaffine解析器的联合标记和解析。考虑到它是便宜得多的POS标签注释比解析树，我们还调查了大规模异构POS标签数据的利用。我们在英文和中文数据集上进行了实验，结果清楚地表明，使用Stack联合框架时，词性标注（同质和异构）仍然可以显着提高解析性能。我们进行详细的分析，并从语言方面获得更多的见解。
2020-08-14 cs.CL cs.LG
Improving part-of-speech tagging via multi-task learning and character-level word representations
ABBYY（ABBYY公司）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在本文中，我们探讨了如何提高POS标记使用各种类型的辅助损失和不同的词表示。作为基线，我们使用了BiLSTM标签器，它能够在序列标签任务上实现最先进的结果。提出了一种基于前向神经网络的字符级词表示方法。这种表示在模型的速度和性能方面给了我们更好的结果。我们还应用了一种新的技术，用现有的词向量来预训练这种词表示。最后，我们为序列标签任务设计了一种新的辅助损失变体：对相邻标签的额外预测。这种损失迫使模型学习标签序列中的依赖关系，并加速训练过程。我们测试这些方法对英语和俄语。
2018-07-02 cs.AI cs.CL cs.LG
Translation via Annotation: A Computational Study of Translating Classical Chinese into Japanese
Department of Linguistics University of Colorado, Boulder（语言学系科罗拉多大学博尔德分校）；School of Computer Science University of Oklahoma（计算机科学学院俄克拉荷马大学）
本文提出通过注释系统将古典汉语翻译成日语，利用LLM和新数据集提升低资源环境下序列标注任务的性能。
2026-01-21 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了Charagram嵌入，一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示，然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估：单词相似性，句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构，在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Building a Kannada POS Tagger Using Machine Learning and Neural Network Models
Manipal Institute of Technology（马尼帕尔理工学院）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
POS标记是许多NLP应用程序的初步任务。卡纳达语是一种相对较差的印度语言，可供使用的高质量NLP工具数量非常有限。一个准确可靠的POS Tagger对于许多NLP任务来说是必不可少的，比如浅层解析，依存句法分析，情感分析，命名实体识别。我们提出了一个统计POS标注卡纳达语使用不同的机器学习和神经网络模型。我们的卡纳达语POS标记器的性能比最先进的卡纳达语POS标记器高出6%。我们在本文中的贡献是三倍-建立一个通用的POS标记，比较不同的建模技术的性能，探索使用字符和词嵌入一起卡纳达语POS标记。
2018-08-09 cs.CL
LemmaTag: Jointly Tagging and Lemmatizing for Morphologically-Rich Languages with BRNNs
Institute of Formal and Applied Linguistics（形式与应用语言学研究所）；Department of Applied Mathematics（应用数学系）；Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）
我们提出了LemmaTag，这是一种无特征的神经网络架构，它通过使用具有字符级和单词级嵌入的双向RNN来联合生成句子的词性标签和词元。我们证明了这两个任务受益于共享网络的编码部分，预测标签子类别，并使用标签输出作为输入的lemmatizer。我们在几种具有复杂形态的语言中评估了我们的模型，该模型在捷克语、德语和阿拉伯语的词性标记和词形化方面都超过了最先进的准确性。
2018-08-27 cs.CL cs.LG cs.NE
VCWE: Visual Character-Enhanced Word Embeddings
Fudan University（复旦大学）
汉语是一种语标书写系统，汉字的字形包含着丰富的句法和语义信息。在本文中，我们提出了一个模型来学习中文词嵌入通过三个层次的组合：（1）一个卷积神经网络，以提取字符的视觉形状的字符内的组合;（2）一个递归神经网络与自我注意组成的字符表示到词嵌入;（3）Skip-Gram框架，直接从上下文信息捕获非组合。评估表明，我们的模型在四个任务：词相似度，情感分析，命名实体识别和词性标注的优越性能。
2019-03-25 cs.CL
Item Tagging for Information Retrieval: A Tripartite Graph Neural Network based Approach
Tsinghua University（清华大学）；Pengcheng Lab（鹏城实验室）
标注是提高信息检索相关性匹配的一种有效方法，特别是在文本描述不丰富的情况下。无论是多标签文本分类还是图像标注，都已经有了大量的研究。然而，有一个缺乏公开发表的工作，在项目标记专门为IR。直接应用传统的多标签分类模型项目标记是次优的，由于在IR的独特特性的无知。在这项工作中，我们建议制定项目标记项目节点和标签节点之间的链接预测问题。为了丰富条目的表示，我们利用IR任务中可用的查询日志，并构建了一个查询-条目-标签三方图。该公式化产生了利用具有多种类型的节点和边的异构图神经网络的TagGNN模型。与以往的研究不同，我们还优化了完整的标签预测和部分标签完成的情况下，在一个统一的框架，通过一个主要的双重损失机制。在开放和工业数据集上的实验结果表明，我们的TagGNN方法优于最先进的多标签分类方法。
2020-08-26 cs.CL cs.IR cs.LG
An Evaluation of Recent Neural Sequence Tagging Models in Turkish Named Entity Recognition
Demiroren Teknoloji A.S.（德米罗伦技术公司）；Istanbul Technical University（伊斯坦布尔理工大学）；MEF University（MEF大学）
命名实体识别（NER）是一个广泛研究的任务，提取和分类命名实体的文本。NER不仅在诸如关系抽取和问答等下游语言处理应用中至关重要，而且在诸如在线数字媒体内容的实时分析等大规模大数据操作中也至关重要。土耳其语是一种形态丰富的语言，最近的研究工作证明了神经架构对格式良好的文本的有效性，并通过将任务制定为序列标记问题来产生最先进的结果。在这项工作中，我们实证研究使用最近的神经架构（双向长短期记忆和变压器为基础的网络）提出了土耳其NER标记在相同的设置。我们的研究结果表明，基于transformer的网络可以对长距离上下文进行建模，克服了BiLSTM网络的局限性，其中利用了字符，子词和单词级别的不同输入特征。我们还提出了一个基于transformer的网络，它具有一个条件随机场（CRF）层，可以在一个常见的数据集上得到最先进的结果（95.95\% f-测量）。我们的研究有助于量化迁移学习对处理形态丰富的语言的影响的文献。
2020-05-18 cs.CL cs.LG
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen（格罗宁根大学）
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记，与基线字符级模型相比，我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型，但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成，在性能上会有很小的提高。
2017-04-19 cs.CL
Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation
Carnegie Mellon University（卡内基梅隆大学）；INESC-ID（葡萄牙系统与计算机工程研究所（ID 版））；Instituto Superior Técnico（里斯本高等理工学院）
我们介绍了一个模型，用于构建矢量表示的单词组成字符使用双向LSTM。相对于传统的单词表示模型，每个单词类型都有独立的向量，我们的模型只需要一个单一的向量，每个字符类型和一组固定的参数组成的模型。尽管这个模型的紧凑性，更重要的是，在语言中的形式-功能关系的任意性，我们的“组成”的单词表示产生的语言建模和词性标注的最先进的结果。相对于传统基线的优势在形态丰富的语言中特别明显（例如，土耳其语）。
2016-05-23 cs.CL
To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP
Technical University of Darmstadt（达姆施塔特工业大学）
数据饥渴的深度神经网络已经成为许多NLP任务的标准，包括传统的序列标记任务。尽管它们在高资源语言上具有最先进的性能，但在低资源场景中仍然落后于统计对手。对付这个问题的一种方法是文本增强，即，从现有数据生成新的合成训练数据点。虽然NLP最近见证了大量的文本增强技术，但该领域仍然缺乏对各种语言和序列标记任务的系统性能分析。为了填补这一空白，我们研究了三种类型的文本增强方法，它们对语法进行更改（例如，裁剪子句子），标记（例如，随机字插入）和字符（例如，字符交换）级别。我们系统地比较了他们的词性标记，依赖性分析和语义角色标注的一组不同的语言家族使用各种模型，包括依赖于预训练的多语言上下文语言模型，如mBERT的架构。增强最显着地提高了依存关系分析，其次是词性标注和语义角色标注。我们发现实验技术是有效的形态丰富的语言，而不是分析语言，如越南语。我们的研究结果表明，增强技术可以进一步改善基于mBERT的强基线。我们确定的字符级的方法是最一致的表演者，而同义词替换和语法增强提供不一致的改进。最后，我们讨论的结果最严重地依赖于任务，语言对，和模型类型。
2021-11-18 cs.AI cs.CL
Gated Task Interaction Framework for Multi-task Sequence Tagging
Ulster University（阿尔斯特大学）
最近的研究表明，神经模型可以在几个序列标记/标签问题上实现高性能，而无需显式使用语言特征，如词性（POS）标签。这些模型仅使用字符级和词嵌入向量作为输入来训练。其他人已经表明，语言特征可以提高神经模型在组块和命名实体识别（NER）等任务上的性能。然而，性能的变化取决于语言特征和目标任务之间的语义相关程度;在某些情况下，语言特征可能会对性能产生负面影响。本文提出了一种方法来共同学习这些语言特征，以及目标序列标记任务与一个新的多任务学习（MTL）框架称为门控任务交互（GTI）网络解决多个序列标记任务。GTI网络通过神经门模块利用多个任务之间的关系。这些门模块控制不同任务之间的信息流。在用于组块和NER的基准数据集上的实验表明，我们的框架在有和没有外部训练资源的情况下训练的性能优于其他竞争基线。
2019-09-29 cs.CL cs.LG stat.ML
Neural Token Segmentation for High Token-Internal Complexity
The Open University（开放大学）；Bar Ilan University（巴伊兰大学）
将原始文本标记为单词单元是NLP管道中关键任务的重要预处理步骤，例如标记，解析，命名实体识别等。对于大多数语言来说，这个标记化步骤很简单。然而，对于具有高标记内部复杂性的语言，需要进一步的标记到分词。以前的典型分割研究是基于字符水平的框架，没有涉及语境化的表示。上下文化向量和BERT在许多应用中显示出显著的效果，但没有显示出提高语言分割本身的性能。在这里，我们提出了一种新的神经分割模型，它结合了两个世界中最好的，上下文化的令牌表示和字符级解码，这是特别有效的语言与高令牌内部复杂性和极端的形态歧义。与最先进的技术相比，我们的模型在希伯来语和阿拉伯语的分割准确性方面有了很大的改进，并在现有管道上进一步改进了下游任务，如词性标记，依存句法分析和命名实体识别。当在相同的设置下将我们的分段优先管道与联合分段和标记进行比较时，我们表明，与神经元之前的研究相反，管道性能更优越。
2022-03-21 cs.CL
Hidden Markov Chains, Entropic Forward-Backward, and Part-Of-Speech Tagging
IBM GBS France, Watson Department（IBM法国全球业务服务部沃森部门）；Institut Polytechnique de Paris, Telecom Sudparis, SAMOVAR（巴黎综合理工学院、南巴黎电信学院、SAMOVAR实验室）
在自然语言处理（NLP）问题中，考虑观察的特征（也称为特征）的能力是必不可少的。隐马尔可夫链（HMC）模型与经典的前向-后向概率相关联，不能处理任意大小的前缀或后缀等任意特征，除非具有独立性条件。20年来，这一预设鼓励了其他序列模型的发展，从最大熵马尔可夫模型（MEMM）开始，它优雅地整合了任意特征。更普遍的是，它导致了对NLP的HMC的忽视。在本文中，我们表明，这个问题是不是由于HMC本身，但其恢复算法的计算方式。我们提出了一种新的方法来计算HMC的基础上的简化使用原来的熵向前和熵向后（EFB）的概率。我们的方法允许考虑HMC框架中的功能，以相同的方式在MEMM框架。我们说明了HMC使用EFB在词性标注中的效率，显示了其优于基于MEMM的恢复。作为一个角度，我们还指定了带有EFB的HMC如何作为递归神经网络的替代方案，以深度架构处理序列数据。
2020-05-21 cs.CL cs.LG stat.ML
Morphological Embeddings for Named Entity Recognition in Morphologically Rich Languages
Boğaziçi University（海峡大学）；Huawei R&D Center（华为研发中心）
在这项工作中，我们提出了土耳其和捷克命名实体识别的93.59，%和79.59，%的新的最先进的结果（Lample等人，2016）。我们的贡献，提出了几个方案表示一个词的形态分析的背景下，命名实体识别。我们表明，这种表示与单词和字符嵌入的串联提高了性能。这些表示方案上的标记性能的效果也进行了研究。
2017-06-01 cs.CL
Learning Meta-Embeddings by Using Ensembles of Embedding Sets
Center for Information and Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
深度学习中的词嵌入（词的分布式表示）对自然语言处理（NLP）中的许多任务都有好处。然而，不同的嵌入集在所捕获的语义的质量和特征方面差异很大。本文提出了一种集成方法，而不是依赖于一个更先进的算法进行嵌入学习，结合不同的公共嵌入集的目的是学习元嵌入。词相似性和类比任务和词性标注的实验表明，元嵌入比单个嵌入集有更好的性能。元嵌入的一个优点是增加了词汇覆盖率。我们将公开发布我们的元嵌入。
2015-12-30 cs.CL
Learning Better Internal Structure of Words for Sequence Labeling
eBay Research（eBay研究院）
基于神经网络的神经模型最近被证明对许多NLP任务非常有用。然而，在学习句子和单词的表示的方法之间存在着复杂性的差距。虽然大多数用于学习句子表示的字符模型都是深度和复杂的，但用于学习单词表示的模型是肤浅和简单的。此外，尽管对学习字符嵌入进行了大量研究，但仍然不清楚哪种架构最适合捕获字符到单词的表示。为了解决这些问题，我们首先调查学习单词和句子表征的方法之间的差距。我们对不同的最先进的卷积模型进行了详细的实验和比较，并研究了其组成部分的优点和缺点。此外，我们提出了IntNet，这是一种漏斗形的宽卷积神经架构，没有下采样，通过从有限的监督训练语料库中组成单词的字符来学习单词内部结构的表示。我们评估我们提出的模型上的六个序列标记数据集，包括命名实体识别，词性标注，和句法组块。我们的深入分析表明，IntNet显著优于其他字符嵌入模型，并在不依赖任何外部知识或资源的情况下获得了最先进的性能。
2018-10-29 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而，词嵌入对于下游NLP任务的有效性受到词汇表外（OOV）词的限制，对于这些词，嵌入不存在。在本文中，我们提出了MIMICK，一种方法来生成OOV词嵌入组成，通过学习一个函数的拼写分布嵌入。与之前的工作不同，MIMICK不需要对原始词嵌入语料库进行重新训练;相反，学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上，MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中，它与有监督的基于字符的模型具有竞争力（和互补性）。
2017-07-21 cs.CL
Character Feature Engineering for Japanese Word Segmentation
DG Lab, Digital Garage, Inc.（DG实验室，数字车库公司）
在分词问题上，机器学习架构工程往往会引起关注。然而，问题表示本身，一直保持几乎静态的词格排名或字符序列标记，至少二十年。对于词汇表外（OOV）问题，后者往往比前者显示出更强的预测能力。当问题升级到快速适应时，这是工业应用的常见场景，通常应用部分注释的主动学习或使用额外的词汇资源进行重新训练，然而，从某种程度上基于单词的角度来看。不仅最终用户难以遵守语言上一致的词边界决策，而且永久使用估计权重分叉模型的风险/成本也很少负担得起。为了克服这一障碍，这项工作提供了一种替代方案，它使用关于字符组成的语言直觉，这样一个复杂的特征集及其派生方案可以使动态词典扩展与模型保持不变。实验结果表明，所提出的解决方案，有或没有外部的词汇，表现出竞争力的F1分数和OOV召回在不同的数据集。
2019-10-03 cs.CL cs.LG
Explaining Character-Aware Neural Networks for Word-Level Prediction: Do They Discover Linguistic Rules?
IDLab, Ghent University - imec（根特大学-imec IDLab实验室）
当前，在不同的基于神经网络的自然语言处理算法中使用了语义级特征。然而，人们对这些模型学习的字符级模式知之甚少。此外，模型往往只是定量比较，而缺乏定性分析。在本文中，我们研究了神经网络学习哪些字符级模式，以及这些模式是否与手动定义的分词和注释一致。为此，我们将上下文分解技术（Murdoch et al. 2018）扩展到卷积神经网络，这使我们能够比较卷积神经网络和双向长短期记忆网络。我们评估和比较这些模型的任务，形态标记三种不同的语言，并表明这些模型隐含地发现可理解的语言规则。我们的实现可以在https://github.com/FredericGodin/ContextualDecomposition-NLP上找到。
2018-08-28 cs.AI cs.CL cs.LG
Semi-supervised URL Segmentation with Recurrent Neural Networks Pre-trained on Knowledge Graph Entities
Google Research（谷歌研究院）
将域名（如openresearch）拆分为组成词open和research对于文本到语音合成和网络搜索等应用程序非常重要。我们将这个问题与经典的中文分词问题联系起来，并证明了基于循环神经网络（RNNs）以字符为输入的标注模型的有效性。为了弥补训练数据不足的问题，提出了一种基于大型知识库的连接实体名称预训练方法。预训练将模型提高了33%，并将序列准确率提高到85%。
2020-11-05 cs.CL cs.LG
Learning Mutually Informed Representations for Characters and Subwords
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 entanglement 模型，将字符与子词视为两种模态并生成相互增强的表示，在多类英文 NLP 任务及噪声、低资源场景中优于骨干模型和更大的预训练模型。
2024-04-08 cs.CL cs.LG
Can Character-based Language Models Improve Downstream Task Performance in Low-Resource and Noisy Language Scenarios?
Inria Paris（巴黎研究所）；Sorbonne Université（索邦大学）
本文研究基于字符的语言模型在低资源、高噪声场景下的表现，以 NArabizi 和含噪法语数据为例，证明仅用少量数据训练的字符模型在下游任务上可接近大规模预训练模型性能。
2025-06-03 cs.CL cs.LG
