Joint Diacritization, Lemmatization, Normalization, and Fine-Grained Morphological Tagging
New York University Abu Dhabi(纽约大学阿布扎比分校)
闪族语言可以是高度模糊的,有几个相同的表面形式的解释,和形态丰富,有许多语素实现几个形态特征。对于方言内容来说,这一问题更加严重,因为方言内容更容易受到干扰,而且缺乏标准的正字法。形态特征可以是词汇化的,如词元和变音形式,或者是非词汇化的,如性别、数字和词性标签等。词汇化和非词汇化特征的联合建模可以识别更复杂的形态模式,这提供了更好的上下文建模,并进一步消除歧义的词汇选择。然而,不同的建模粒度会使关节建模更加困难。我们的方法联合建模不同的功能,无论是词汇化(在字符级别上),我们也模型表面形式规范化,或非词汇化(在单词级别上)。我们使用阿拉伯语作为测试用例,并实现了现代标准阿拉伯语的最新结果,相对误差减少了20%,埃及阿拉伯语(阿拉伯语的方言变体)减少了11%。
2019-10-05 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了一个广泛的评估,最近提出的三种方法,在89个语料库中的54种语言的通用嵌入2.3在三个任务:词性标注,词形还原,和依存句法分析的上下文嵌入。采用BERT,Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入,UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一,也是EPE 2018的总冠军,我们对三种上下文化的词嵌入方法进行了一对一的比较,以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果,与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
The Frankfurt Latin Lexicon: From Morphological Expansion and Word Embeddings to SemioGraphs
Goethe Universität Frankfurt am Main(法兰克福大学)
在这篇文章中,我们提出了法兰克福拉丁语词典(FLL),一个词汇资源中世纪拉丁语,用于拉丁语文本的词形化和词形化的后期编辑。我们描述了lemmatizers的发展,并测试他们对Capitularies语料库(包括法兰克皇家法令,6世纪中期至9世纪中期),语料库创建作为处理中世纪拉丁语的参考最近的进展。我们还考虑使用有限的众包过程,旨在不断审查和更新的FLL的lemmatizations后校正。从这个词形还原过程产生的文本开始,我们描述了通过词嵌入的FLL的扩展,通过符号图的交互式遍历完成了数字增强的解释循环。通过这种方式,本文主张对词形化有一个更全面的理解,包括经典的机器学习以及智能后校正,特别是基于底层词汇资源的图形表示的解释过程形式的人类计算。
2020-05-21 cs.CL
LemMED: Fast and Effective Neural Morphological Analysis with Short Context Windows
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
我们提出了LemMED,一个字符级的编码器-解码器的上下文形态分析(结合词形化和标记)。LemMED扩展并以另外两个基于注意力的模型命名,即Lematus,一个上下文lemmatizer,和MED,一个形态(再)变化模型。我们的方法不需要训练单独的词形化和标记模型,也不需要额外的资源和工具,如形态词典或转换器。此外,LemMED仅依赖于字符级表示和本地上下文。虽然该模型原则上可以在句子级别上考虑全局上下文,但我们的实验表明,在每个目标词周围仅使用单个词的上下文不仅在计算上更可行,而且也会产生更好的结果。我们在SIMGMORPHON-2019共享任务的框架中评估LemMED,该任务涉及组合词形化和标记。在平均性能方面,LemMED在13个系统中排名第5,仅在使用上下文嵌入的提交中表现最好。
2020-10-21 cs.CL
Evaluating Shortest Edit Script Methods for Contextual Lemmatization
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学 HiTZ 中心 - Ixa)
本文将词元还原视为词元分类任务,通过仅修改模型学习的最短编辑脚本(SES)标签,客观评估了不同 SES 表示对七种语言词元还原性能的影响,发现分离大小写与编辑操作及使用多语言预训练模型效果最佳。
2024-03-25 cs.CL
Improving Lemmatization of Non-Standard Languages with Joint Learning
University of Antwerp(安特卫普大学);Tilburg University(蒂尔堡大学)
标准语言的词形化涉及(i)对形态差异进行抽象,以及(ii)解决屈折词的标记-词元歧义,以便将它们映射到字典词目。在本文中,我们的目标是提高一组非标准的历史语言,其中的难度增加了一个额外的方面(iii):拼写变化,由于缺乏正字法标准的词形还原性能。我们的方法作为一个字符串转换任务的编码器-解码器架构,我们丰富的句子上下文信息,使用分层的句子编码器。我们在训练句子编码器联合进行词形化和语言建模时,显示了对最先进技术的显着改进。至关重要的是,我们的架构不需要POS或形态注释,这并不总是适用于历史语料库。此外,我们还在一组类型多样的标准语言上测试了所提出的模型,结果与没有增强的句子表示和以前最先进的系统的模型相当或更好。最后,为了鼓励未来处理非标准变体的工作,我们发布了本研究所基于的非标准语言数据集,该数据集基于可公开访问的来源。
2019-03-16 cs.CL
UDPipe at SIGMORPHON 2019: Contextualized Embeddings, Regularization with Morphological Categories, Corpora Merging
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了我们对SIGMORPHON 2019共享任务的贡献:形态学中的跨语言和上下文,任务2:上下文形态分析和词形化。我们提交了UDPipe 2.0的修改,它是CoNLL 2018共享任务中表现最好的系统之一:从原始文本到通用语法的多语言解析,也是2018年外部解析器评估共享任务的总冠军。作为我们的第一个改进,我们使用预训练的上下文嵌入(BERT)作为网络的额外输入;其次,我们使用单个形态特征作为正则化;最后,我们合并相同语言的选定语料库。在词形还原任务中,我们的系统以95.78的词形还原准确率远远超过所有提交的系统(第二名为95.00,第三名为94.46)。在形态分析中,我们的系统紧随其后:我们的形态分析准确率为93.19,获胜系统的93.23。
2019-08-19 cs.CL
eFontes. Part of Speech Tagging and Lemmatization of Medieval Latin Texts.A Cross-Genre Survey
Institute of Polish Language (Polish Academy of Sciences)(波兰科学院波兰语言研究所);AGH University(AGH大学);Enelpol(恩内波尔公司);Jagiellonian University(雅盖隆大学)
本文提出基于Transformers的eFontes模型,用于中世纪拉丁文本的词形还原、词性标注和形态特征确定,在UD及自建波兰中世纪拉丁语料库上训练,取得较高准确率,并展望扩展至命名实体识别。
2024-06-29 cs.CL cs.LG
Hybrid lemmatization in HuSpaCy
Institute of Informatics, University of Szeged(塞格德大学信息学研究所)
针对形态丰富语言词形还原的难题,本文提出结合神经模型、词典与手工规则的混合词形还原器,在匈牙利数据集上验证效果,并以三个HuSpaCy模型形式发布。
2023-06-13 cs.CL
Lexicon and Rule-based Word Lemmatization Approach for the Somali Language
Jamhuriya University(贾姆胡里亚大学);Aston University(阿斯顿大学)
本文针对低资源的索马里语,开发了基于词典和规则的词形还原器,构建了包含1247个词根和7173个派生词的初始词典及还原规则,在120篇文档测试中短文本准确率达95.87%。
2023-08-03 cs.CL
The SIGMORPHON 2019 Shared Task: Morphological Analysis in Context and Cross-Lingual Transfer for Inflection
Johns Hopkins University(约翰斯·霍普金斯大学);University of Melbourne(墨尔本大学);Allen Institute for AI(艾伦人工智能研究所);Google(谷歌);University of Helsinki(赫尔辛基大学);Stony Brook University(石溪大学);University of Colorado(科罗拉多大学)
SIGMORPHON 2019分享了关于跨语言迁移和形态学语境分析的任务,研究了100种语言对之间的屈折变化的迁移学习,以及66种语言的语境词形化和形态句法描述。第一个任务通过考察形态屈折变化知识从高资源语言到低资源语言的迁移来发展过去几年的屈折变化任务。今年还提出了一个新的第二个挑战词形化和形态特征分析的背景。所有提交的作品都有一个神经组件,并建立在今年的强大基线或前几年共享任务的高排名系统上。每个参与团队的准确性都比拐点任务的基线有所提高(尽管不是Levenshtein距离),而上下文分析任务中的每个团队都在最先进的神经和非神经基线上有所提高。
2020-02-25 cs.CL
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
Harvard University(哈佛大学)
本文提出结合跨语言迁移学习与无监督聚类的方法,用于发现低资源班图语言的形态特征,在Giriama语言中发现2,455个词的名词类分配及两个新形态模式,通过外部验证和语料扩展验证了方法的有效性。
2026-04-24 cs.CL cs.LG
A Freely Available Morphological Analyzer, Disambiguator and Context Sensitive Lemmatizer for German
在本文中,我们提出了Morphy,德语形态,词性标注和上下文敏感的词形化的综合工具。它拥有超过320,000个单词形式的大型词典,加上它处理德语复合名词的能力,保证了广泛的形态覆盖范围。句法歧义可以用标准的统计词性标注器来解决。通过使用标记器的输出,词形化器可以确定正确的词根,即使是有歧义的单词形式。完整的软件包是免费提供的,可以从万维网下载。
1998-09-23 cs.CL
Nefnir: A high accuracy lemmatizer for Icelandic
Reykjavik University(雷克雅未克大学);University of Iceland(冰岛大学)
词形化是在语料库中寻找词的基本形态的过程,是处理形态丰富的语言的许多自然语言处理任务中的一个重要步骤。我们描述和评估Nefnir,一个新的开源的冰岛lemmatizer。Nefnir使用后缀替换规则,从一个大型的形态数据库,lemmatize标记的文本。评估表明,对于正确标记的文本,Nefnir获得了99.55%的准确度,对于使用PoS标签器标记的文本,获得的准确度为96.88%。
2019-07-27 cs.CL
Neural Morphology Dataset and Models for Multiple Languages, from the Large to the Endangered
University of Helsinki(赫尔辛基大学)
我们训练神经模型用于形态分析,生成和词法丰富的语言的词形化。我们提出了一种方法,自动提取大量的训练数据从FST的22种语言,其中17个濒危。神经模型遵循与FST相同的标记集,以便可以将它们与FST一起用作回退系统。源代码、模型和数据集已在Zenodo上发布。
2021-05-26 cs.CL
Building a Lemmatizer and a Spell-checker for Sorani Kurdish
University of Kurdistan(库尔德斯坦大学);Paris Descartes University(巴黎笛卡尔大学)
本文旨在提出一个词形化和词级错误纠正系统的索拉尼库尔德语。我们提出了一种基于形态规则和n-gram语言模型的混合方法。我们分别将我们的词形化和纠错系统称为Peyv和Rêns,这是我们所知的为Sorani Kurdish提供的第一个工具。Peyv lemmatizer的准确率为86.7%。对于Rênés,使用词典,我们获得了96.4%的准确率,而没有词典,校正系统具有87%的准确率。作为两个基本的文本处理工具,这些工具可以为进一步研究更多的Sorani库尔德语自然语言处理应用铺平道路。
2018-09-27 cs.CL
BanLemma: A Word Formation Dependent Rule and Dictionary Based Bangla Lemmatizer
Giga Tech Limited(吉加科技有限公司);University of Dhaka(达卡大学);Bangladesh Computer Council(孟加拉国计算机委员会);Fordham University(福特汉姆大学);North South University(北南大学)
针对孟加拉语形态丰富、屈折度高导致词形还原困难的问题,本研究提出依赖构词法、结合语言学规则与词典的BanLemma词形还原器,采用后缀标记序列构建规则,在多数据集上取得了有竞争力的准确率,并开源了相关资源。
2023-11-06 cs.CL
Neural Polysynthetic Language Modelling
École de Technologie Supérieure(高等技术学院);Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);Facebook(脸书);Google(谷歌);Microsoft(微软);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Research University Higher School of Economics (HSE University)(国立研究型大学高等经济学院(HSE大学));Indiana University Bloomington(印第安纳大学伯明顿分校);Carnegie Mellon University(卡内基梅隆大学)
自然语言处理的研究通常假设对英语和其他广泛使用的语言工作良好的方法是“语言不可知论”。在高资源语言中,特别是那些分析语言,一种常见的方法是将共同词根的形态不同变体视为完全独立的词类型。这假设每个词根的形态变化有限,并且大多数会出现在足够大的语料库中,因此模型可以充分学习关于每个形式的统计数据。当这两种假设都不成立时,通常会使用词干提取、词形还原或子词切分等方法,特别是在西班牙语或俄语等比英语有更多屈折变化的合成语言的情况下。在文献中,芬兰语或土耳其语等语言被认为是挑战常见建模假设的复杂性的极端例子。然而,当考虑到世界上所有的语言时,芬兰语和土耳其语更接近平均水平。当我们考虑多合成语言(那些处于形态复杂性极端的语言)时,像词干提取、词形还原或子词建模这样的方法可能是不够的。这些语言具有非常高的hapax legomena数量,表明需要对单词进行适当的形态处理,否则模型不可能捕获足够的单词统计数据。我们研究了当前最先进的语言建模,机器翻译和文本预测的四个多合成语言:瓜拉尼语,圣劳伦斯岛尤皮克,阿拉斯加中部尤皮克,和因纽特人。然后,我们提出了一种新的语言建模框架,结合知识表示从有限状态形态分析与张量积表示,以使神经语言模型能够处理各种类型的变体语言。
2020-05-13 cs.CL
Contextualization of Morphological Inflection
University of Melbourne(墨尔本大学);University of Cambridge(剑桥大学);Johns Hopkins University(约翰斯·霍普金斯大学)
自然语言生成的关键是产生正确的屈折文本。在本文中,我们隔离的任务,预测一个完全曲折的句子,其部分词形化的版本。与传统的形态变化或表面实现不同,我们的任务输入不提供“黄金”标签,指定在每个词形化的单词上实现什么形态特征;相反,这些特征必须从原始上下文中推断出来。我们开发了一个神经混合图形模型,可以在预测变形形式之前显式重建形态特征,并将其与直接预测变形形式而不依赖任何形态注释的系统进行比较。我们在Universal Approximations树库中的几种类型多样的语言上进行了实验,展示了将语言动机的潜变量纳入NLP模型的实用性。
2019-05-04 cs.CL
Lemma Dilemma: On Lemma Generation Without Domain- or Language-Specific Training Data
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学希茨中心 - Ixa,巴斯克国家大学UPV/EHU);Humboldt-Universität zu Berlin(柏林洪堡大学)
本文实证研究大型语言模型在无监督训练数据条件下的上下文词元化能力,发现LLMs仅凭少量示例即可在12种语言上达到最先进结果,优于域外微调的编码器方法。
2025-10-08 cs.CL
A Structured Variational Autoencoder for Contextual Morphological Inflection
Johns Hopkins University(约翰斯·霍普金斯大学)
统计形态偏转器通常在完全监督的类型级数据上训练。剩下的一个开放的研究问题是:我们如何有效地利用原始的令牌级数据来提高其性能?为此,我们引入了一种新的生成潜变量模型的半监督学习的拐点生成。为了使后验推理的潜变量,我们得到一个有效的变分推理过程的基础上的唤醒-睡眠算法。我们在23种语言上进行了实验,在模拟的低资源环境中使用Universal Objectives语料库,在某些情况下发现绝对准确率提高了10%以上。
2020-02-25 cs.CL
Multi-Task Learning by using Contextualized Word Representations for Syntactic Parsing of a Morphologically Rich Language
VTT Technical Research Centre of Finland Ltd.(芬兰VTT技术研究中心有限公司);University of Konstanz(康斯坦茨大学);Al-Khawarizmi Institute of Computer Science(花剌子密计算机科学研究所);University of Engineering and Technology(工程技术大学);Umm Al-Qura University(乌姆·库拉大学);Copenhagen University(哥本哈根大学)
本文针对乌尔都语这一形态丰富语言,提出结合上下文词表示的多任务学习框架,通过统一序列标注和共享架构同时学习成分与依存结构,显著提升分析性能,F1达91.39,依存得分85.69。
2026-09-25 cs.AI cs.CL
Development of a Hindi Lemmatizer
Banasthali University(巴纳斯塔利大学)
我们生活在一个双语社会,为了与来自世界各地的人们交流,我们需要掌握他们各自的语言。学习所有这些语言是不可能的,因此我们需要一种机制来完成这项任务。机器翻译器已经成为一种可以执行这一任务的工具。为了开发一个机器翻译器,我们需要开发几个不同的规则。机器翻译管道中的第一个模块是形态分析。词干和词形化属于形态学分析。在本文中,我们已经创建了一个lemmatizer,它生成的规则,删除词缀以及添加的规则,创建一个适当的根字。
2013-07-15 cs.CL
Contextual morphologically-guided tokenization for Latin encoder models
Manning College of Information & Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Institute for the Study of the Ancient World, New York University(纽约大学古代世界研究所)
针对标准分词在形态丰富语言上表现欠佳的问题,提出面向拉丁语编码器的上下文形态引导分词方法,利用拉丁语丰富的词汇资源优化分词,在4项下游任务尤其域外文本上提升性能,为低资源语言建模提供可行路径。
2025-11-12 cs.CL
Recent advancements in computational morphology : A comprehensive survey
Dharmsinh Desai University(达尔明辛德赛大学)
本文按时间顺序系统综述了计算形态学从传统方法到深度学习方法的发展,梳理了跨语言数据集,并分析了神经模型的有效性、独特挑战及开放问题。
2024-06-08 cs.CL cs.LG
Morphological Disambiguation from Stemming Data
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);University of Oregon(俄勒冈大学)
词法分析和消歧是对词法丰富的语言进行自然语言处理的一项重要任务和关键的预处理步骤。基尼亚卢旺达语是一种形态丰富的语言,目前缺乏自动形态分析的工具。虽然语言策划的有限状态工具可以很容易地开发用于形态分析,但语言的形态丰富性允许产生许多模糊的分析,需要有效的消歧。在本文中,我们提出了学习从形态学上消除歧义Kinyarwanda口头形式从一个新的词干数据集收集通过众包。使用特征工程和基于前馈神经网络的分类器,我们实现了约89%的非上下文消歧准确率。我们的实验表明,词干的屈折变化特性和词素关联规则是最具鉴别力的消歧特征。
2020-11-11 cs.CL
A Systematic Analysis of Morphological Content in BERT Models for Multiple Languages
University of Chicago(芝加哥大学)
这项工作描述了实验,探测隐藏的表示形态内容的几个BERT风格的模型。我们的目标是检查离散的语言结构,在何种程度上的形态特征和特征值的形式,提出了自己的矢量表示和注意力分布的预训练语言模型为五种欧洲语言。本文包含的实验表明:(i)Transformer架构在很大程度上将其嵌入空间划分为与形态特征值高度相关的凸子区域,(ii)Transformer嵌入的上下文化性质允许模型在许多但并非所有情况下区分模糊的形态形式,以及(iii)非常特定的注意头/层组合似乎在主谓一致性上磨练。
2020-04-06 cs.CL
Hierarchical Multi Task Learning with Subword Contextual Embeddings for Languages with Rich Morphology
University of Tokyo(东京大学);Bogazici University(海峡大学)
形态信息对于自然语言处理中的许多序列标注任务都是非常重要的。然而,现有的方法严重依赖于手动注释或外部软件来捕获此信息。在这项研究中,我们提出使用子词上下文嵌入来捕获丰富的形态语言的形态信息。此外,据我们所知,我们将这些嵌入在一个层次化的多任务设置中,这是以前没有使用过的。评估依存句法分析(DEP)和命名实体识别(NER)的任务,这是受益匪浅的形态信息,我们的最终模型优于以前的国家的最先进的模型在这两个任务的土耳其语。此外,我们表现出18.86%和4.61%F-1比以前提出的多任务学习者在相同的设置为DEP和NER任务,分别净改善。五个不同的MTL设置的实证结果表明,将子词上下文嵌入带来了显着的改善这两个任务。此外,我们观察到,多任务学习一贯提高DEP组件的性能。
2020-04-25 cs.CL cs.IR cs.LG
Sentiment Analysis with Contextual Embeddings and Self-Attention
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Warsaw University of Technology(华沙理工大学)
在自然语言中,单词或短语的预期含义通常是隐含的,并取决于上下文。在这项工作中,我们提出了一个简单而有效的方法,情感分析使用上下文嵌入和自我注意力机制。三种语言的实验结果,包括形态丰富的波兰语和德语,表明我们的模型与最先进的模型相当,甚至优于最先进的模型。在所有情况下,利用上下文嵌入的模型的优越性得到证明。最后,这项工作的目的是作为一个步骤,引入一个通用的,多语言的情感分类。
2020-10-05 cs.AI cs.CL cs.LG
Multi-level post-processing for Korean character recognition using morphological analysis and linguistic evaluation
大多数字符识别的后处理方法依赖于字符和单词片段级别的上下文信息。然而,由于韩语的语言特点,这种低级别的信息是不够的,高质量的字符识别应用程序,我们需要更高级别的上下文信息,以提高识别结果。本文提出了一种独立于领域的后处理技术,利用多层次的形态,句法和语义信息以及字符级信息。建议的后处理系统进行三级处理:候选字符集的选择,候选eojeol(韩语单词)生成通过形态分析,并最终单一eojeol序列选择语言评价。所有所需的语言信息和概率自动从统计语料库分析。实验结果表明,我们的方法的有效性,产生的错误纠正率为80.46%,并提高了识别率95.53%,从前后处理率为71.2%的单一最佳解决方案的选择。
1996-04-24 cmp-lg cs.CL
RUMLEM: A Dictionary-Based Lemmatizer for Romansh
Department of Computational Linguistics, University of Zurich(苏黎世大学计算语言学系)
本文提出RUMLEM,一种覆盖罗曼什语五种主要方言及超区域标准方言的词形还原器,利用社区驱动的词形学数据库,实现77-84%的罗曼什文本词语处理,并展示基于词形还原器的方言识别能力。
2026-04-13 cs.CL
To lemmatize or not to lemmatize: how word normalisation affects ELMo performance in word sense disambiguation
University of Oslo(奥斯陆大学);University of Trento(特伦托大学)
我们批判性地评估了深度学习NLP模型不需要词元化输入的广泛假设。为了测试这一点,我们在原始标记化语料库和用词元替换词标记的语料库上训练了上下文化词嵌入ELMo模型的版本。然后,在词义消歧任务中对这些模型进行了评价。这是对英文和俄文所做的。实验表明,虽然词形还原对英语来说确实没有必要,但对俄语来说情况就不同了。看起来,对于富形态语言,使用词形化的训练和测试数据会产生小但一致的改进:至少在词义消歧方面。这意味着在训练ELMo之前,关于文本预处理的决定应该考虑所讨论语言的语言性质。
2019-09-06 cs.CL
Weakly-supervised Deep Cognate Detection Framework for Low-Resourced Languages Using Morphological Knowledge of Closely-Related Languages
Adobe Research Bangalore, India(Adobe研究院班加罗尔);Data Science Institute, University of Galway, Ireland(爱尔兰戈尔韦大学数据科学研究所);Università Cattolica del Sacro Cuore, Milan, Italy(意大利米兰圣心天主教大学)
针对低资源语言同源词检测标注不足、现有方法性能差的问题,提出利用亲缘语言形态学知识的弱监督深度框架,无需同源词标注即可实现检测,在多语系数据集上性能超越现有最优的有监督与无监督方法。
2023-11-09 cs.AI cs.CL
Explaining Character-Aware Neural Networks for Word-Level Prediction: Do They Discover Linguistic Rules?
IDLab, Ghent University - imec(根特大学-imec IDLab实验室)
当前,在不同的基于神经网络的自然语言处理算法中使用了语义级特征。然而,人们对这些模型学习的字符级模式知之甚少。此外,模型往往只是定量比较,而缺乏定性分析。在本文中,我们研究了神经网络学习哪些字符级模式,以及这些模式是否与手动定义的分词和注释一致。为此,我们将上下文分解技术(Murdoch et al. 2018)扩展到卷积神经网络,这使我们能够比较卷积神经网络和双向长短期记忆网络。我们评估和比较这些模型的任务,形态标记三种不同的语言,并表明这些模型隐含地发现可理解的语言规则。我们的实现可以在https://github.com/FredericGodin/ContextualDecomposition-NLP上找到。
2018-08-28 cs.AI cs.CL cs.LG
TartuNLP @ SIGTYP 2024 Shared Task: Adapting XLM-RoBERTa for Ancient and Historical Languages
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
本研究针对SIGTYP 2024古代与历史语言词嵌入评估共享任务,基于adapters框架用参数高效微调的统一轻量方法适配XLM-RoBERTa,在16种语言的多任务中获总第二、词级填空第一,验证了现代语言预训练模型适配古语言的可行性。
2024-12-09 cs.CL
Another Dead End for Morphological Tags? Perturbed Inputs and Parsing
Universidade da Coruña(拉科鲁尼亚大学);CITIC
本研究通过对抗攻击验证形态学信息在面临词汇错误时对句法分析器的影响,发现其对基于转移和图的模型有害,对序列标注模型有益,且理论上鲁棒的形态学标签可纠正句法错误。
2023-05-24 cs.CL
KNET: A General Framework for Learning Word Embedding using Morphological Knowledge
Tsinghua University(清华大学);Microsoft Research(微软研究院);Nankai University(南开大学)
神经网络技术被广泛应用于获得单词的高质量分布式表示,即,词嵌入,以解决文本挖掘、信息检索和自然语言处理任务。最近,已经提出了有效的方法来从上下文中学习词嵌入,该上下文捕获词之间的语义和句法关系。然而,它是具有挑战性的处理看不见的词或罕见的词与不足的上下文。本文受认知心理学对单词识别过程研究的启发,提出利用看似不太明显但本质上很重要的形态学知识来应对这些挑战。特别是,我们引入了一种新的神经网络架构,称为KNET,利用上下文信息和基于形态学知识构建的形态词相似性来学习词嵌入。同时,该学习架构还能够细化预定义的形态知识,获得更准确的词相似度。在类比推理任务和词相似度任务上的实验都表明,所提出的KNET框架可以大大提高词嵌入的有效性。
2014-09-05 cs.CL cs.LG
Dissecting Contextual Word Embeddings: Architecture and Representation
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
从预训练的双向语言模型(biLM)中导出的上下文单词表示最近已被证明为广泛的NLP任务提供了对现有技术的显着改进。然而,许多问题仍然是如何以及为什么这些模型是如此有效。在本文中,我们提出了一个详细的实证研究,研究神经架构的选择(例如LSTM,CNN或自我注意力)如何影响最终任务的准确性和学习到的表征的定性属性。我们表明,速度和准确性之间存在权衡,但所有架构都能学习高质量的上下文表示,在四个具有挑战性的NLP任务中表现优于词嵌入。此外,所有架构都学习随网络深度而变化的表示,从基于词嵌入层的专有形态,到基于较低上下文层的局部语法,再到更长范围的语义,如上层的共指。总之,这些结果表明,独立于架构的无监督biLM正在学习比以前更多的语言结构。
2018-09-27 cs.CL
Is She Even Relevant? When BERT Ignores Explicit Gender Cues
Department of Computational Cognitive Science, Tilburg University(蒂尔堡大学计算认知科学系)
本文研究了荷兰BERT模型在训练过程中性别信息的出现时机,发现模型在短句模板中难以更新性别表示,导致默认男性解读。
2026-05-08 cs.CL
Morphology Without Borders: Clause-Level Morphology
Bar Ilan University(巴伊兰大学)
形态学任务使用大型多语言数据集,将单词组织成变形表,然后作为各种任务的训练和评估数据。然而,对这些数据的仔细检查揭示了深刻的跨语言不一致,这是由于缺乏一个明确的语言和操作定义什么是一个词,并严重损害了衍生任务的普遍性。为了克服这一缺陷,我们建议将形态学视为小句层面的现象,而不是词层面的现象。它锚定在一个固定但包容的功能集,封装在饱和子句中实现的所有功能。我们提供了MightyMorph,一个用于子句级形态的新数据集,涵盖4种类型不同的语言:英语,德语,土耳其语和希伯来语。我们使用这个数据集派生出3个小句级别的形态学任务:变形,再变形和分析。我们的实验表明,小句级别的任务比相应的单词级别的任务要难得多,同时在不同的语言中具有相当的复杂性。此外,重新定义形态的子句级别提供了一个整洁的接口与上下文语言模型(LM),并允许评估这些模型中编码的形态知识和它们的可用性形态任务。总之,这项工作开辟了计算形态学研究的新视野,为跨语言研究神经形态学留下了充足的空间。
2022-10-19 cs.CL
On the Language Neutrality of Pre-trained Multilingual Representations
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Faculty of Mathematics and Physics, Charles University(查尔斯大学数学与物理学院)
多语言上下文嵌入,如多语言BERT和XLM-RoBERTa,已被证明对许多多语言任务有用。先前的工作探讨了跨语言的表征间接使用zero-shot迁移学习的形态和句法任务。相反,我们调查的语言中立性的多语言上下文嵌入直接和词汇语义。我们的研究结果表明,上下文嵌入是更语言中立的,一般来说,比对齐的静态词型嵌入,这是明确的语言中立性训练,更翔实。上下文嵌入在默认情况下仍然只是适度的语言中立性,因此我们提出了两种简单的方法来实现更强的语言中立性:第一,通过无监督的中心化每种语言的表示,第二,通过在小的并行数据上拟合显式投影。此外,我们展示了如何在不使用并行数据的情况下,达到语言识别的最高精度,并匹配并行句子单词对齐的统计方法的性能。
2020-09-29 cs.CL
ConGA: Guidelines for Contextual Gender Annotation. A Framework for Annotating Gender in Machine Translation
University of Pisa(比萨大学);University of Naples ``L'Orientale''(那不勒斯);Tilburg University(蒂尔堡大学)
本文提出ConGA框架,通过上下文性别标注解决机器翻译中性别处理的挑战,揭示当前系统在性别标注上的系统性偏差。
2026-03-18 cs.CL
Do Pretrained Contextual Language Models Distinguish between Hebrew Homograph Analyses?
Bar Ilan University(巴伊兰大学);DICTA
本研究以希伯来语为案例,构建同形异义词挑战数据集,评估现有希伯来语上下文嵌入模型的消歧能力,验证了其优于非上下文嵌入,并明确了不同歧义类型、切分数量等因素对消歧效果的影响。
2024-05-11 cs.CL
GRAMPAL: A Morphological Processor for Spanish implemented in Prolog
本文提出了一个完全处理西班牙语动词、名词和形容词屈折变化的模型。该模型是基于特征统一,它依赖于词干和词素的异形词词典。词的形式是通过特殊的语境特征由同形异义词连接而成的。我们使用标准的定子句语法(DCG)包括在大多数Prolog实现,而不是典型的有限状态的方法。这使我们能够利用NLP逻辑编程的声明性和双向性。这种方法最突出的特点是简单:一个非常简单的规则和词汇组件。我们已经为复杂的现象建立了一个非常简单的模型。该模型的声明性,双向性,一致性和完整性进行了讨论:所有的和唯一正确的词的形式进行分析或生成,甚至替代的范式和差距被保留。一个Prolog实现已开发的分析和生成西班牙语单词的形式。它只包含六条DCG规则,因为我们的{ \em词法分析器\/}方法--即大多数信息都在字典中。虽然它是相当有效的,目前的实现可以改善分析使用Prolog的非逻辑功能,特别是在分词和字典访问。
1995-07-18 cmp-lg cs.CL
Neural Token Segmentation for High Token-Internal Complexity
The Open University(开放大学);Bar Ilan University(巴伊兰大学)
将原始文本标记为单词单元是NLP管道中关键任务的重要预处理步骤,例如标记,解析,命名实体识别等。对于大多数语言来说,这个标记化步骤很简单。然而,对于具有高标记内部复杂性的语言,需要进一步的标记到分词。以前的典型分割研究是基于字符水平的框架,没有涉及语境化的表示。上下文化向量和BERT在许多应用中显示出显著的效果,但没有显示出提高语言分割本身的性能。在这里,我们提出了一种新的神经分割模型,它结合了两个世界中最好的,上下文化的令牌表示和字符级解码,这是特别有效的语言与高令牌内部复杂性和极端的形态歧义。与最先进的技术相比,我们的模型在希伯来语和阿拉伯语的分割准确性方面有了很大的改进,并在现有管道上进一步改进了下游任务,如词性标记,依存句法分析和命名实体识别。当在相同的设置下将我们的分段优先管道与联合分段和标记进行比较时,我们表明,与神经元之前的研究相反,管道性能更优越。
2022-03-21 cs.CL
Subword Pooling Makes a Difference
Borealis AI;Institute for Computer Science and Control(计算机科学与控制研究所)
上下文单词表示成为现代自然语言处理系统的标准。这些模型使用子词标记化来处理大词汇表和未知词。这种系统的词级使用需要一种方法来汇集对应于单个词的多个子词。在本文中,我们调查如何选择的子词池影响下游的性能上的三个任务:形态探测,词性标注和NER,在9个类型不同的语言。我们在两个大规模多语言模型mBERT和XLM-RoBERTA中比较这些。对于形态学任务,广泛使用的“选择第一个子词”是最差的策略,最好的结果是通过使用注意力的子词。对于POS标记,这两种策略的表现都很差,最好的选择是在子词上使用一个小的LSTM。相同的策略最适合NER,我们表明mBERT在所有9种语言中都优于XLM-RoBERTA。我们在\url{https://github.com/juditacs/subword-choice}公开发布所有代码、数据和完整结果表。
2021-03-29 cs.CL
Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change
University of Amsterdam(阿姆斯特丹大学);University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学)
词语使用中的形态和句法变化(如捕获的,例如,语法概况)已被证明是一个词的意义变化的良好预测。在这项工作中,我们探讨是否大的预先训练的语境化语言模型,词汇语义变化检测的常用工具,这种形态句法变化敏感。为此,我们首先在10个数据集上比较了语法配置文件与多语言神经语言模型(XLM-R)的性能,涵盖7种语言,然后将这两种方法结合起来,以评估它们的互补性。我们的研究结果表明,将语法配置文件与XLM-R集成可以提高大多数数据集和语言的语义变化检测性能。这表明,语言模型并没有完全覆盖在语法配置文件中明确表示的细粒度的形态和句法信号。一个有趣的例外是测试集,其中分析的时间跨度比它们之间的时间间隔长得多(例如,长达一个世纪的跨度,它们之间有一年的间隔)。形态句法的变化是缓慢的,所以语法概况不检测在这种情况下。相比之下,语言模型,由于其访问词汇信息,能够检测快速的主题变化。
2022-04-12 cs.CL
A Novel Multi-Task Learning Approach for Context-Sensitive Compound Type Identification in Sanskrit
IIT Kanpur(印度理工学院坎普尔分校);IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Mandi(印度理工学院曼迪分校)
复合现象在梵语中是普遍存在的。它有助于实现简洁表达思想,同时丰富了语言的词汇和结构形式。在这项工作中,我们专注于梵语复合类型识别(SaCTI)的任务,在那里我们考虑的问题,确定一个复合词的组成部分之间的语义关系。早期的方法仅仅依赖于从组件中获得的词汇信息,而忽略了对SaCTI有用的最关键的上下文和句法信息。然而,SaCTI任务是具有挑战性的,主要是由于隐式编码的上下文敏感的复合组件之间的语义关系。因此,我们提出了一种新的多任务学习架构,它结合了上下文信息和丰富的补充句法信息,使用形态标记和依存句法分析作为两个辅助任务。SaCTI基准数据集上的实验显示,与最先进的系统相比,绝对增益为6.1分(准确度)和7.7分(F1分数)。此外,我们的多语言实验证明了所提出的架构在英语和马拉地语中的有效性。https://github.com/ashishgupta2598/SaCTI
2022-09-11 cs.CL
Tagging French Without Lexical Probabilities -- Combining Linguistic Knowledge And Statistical Learning
本文探讨了法语的形态句法歧义,以开发一种用于词性消歧的策略,该策略a)反映了法语作为一种变形语言的复杂性,b)优化了概率的估计,c)允许用户灵活地选择标记集。从有限的训练语料库中提取词汇概率的问题在于,统计模型可能不一定代表特定上下文中特定单词的使用。在一个高度形态变化的语言中,这个论点特别严重,因为一个词可以用大量的词性来标记。由于缺乏足够的训练数据,我们反对估计词汇概率来消除无限制文本中的词性歧义。相反,我们使用上下文概率的强度以及我们称之为“基因型”的特征,一组与单词相关的标签。利用这些知识,我们已经建立了一个部分的语音标签,结合语言和统计方法:上下文信息是由语言规则和n-gram的概率上的部分语音消歧估计,以消除其余的歧义标签。
1997-10-10 cmp-lg cs.CL
Deep Dialog Act Recognition using Multiple Token, Segment, and Context Information Representations
INESC-ID(INESC-ID(里斯本高等工程系统与计算机研究所));Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院(ISCTE-IUL))
对话行为(DA)识别是多年来被广泛探索的任务。最近,大多数任务的方法探索了不同的DNN架构,以组合片段中单词的表示,并生成提供意图提示的片段表示。在这项研究中,我们探索的手段,以产生更多的信息段表示,不仅通过探索不同的网络架构,但也考虑到不同的令牌表示,不仅在字的水平,但也在字符和功能水平。在词的层面上,除了常用的uncontextualized嵌入,我们探讨了使用contextualized表示,提供有关词义和段结构的信息。词汇级标记化对于捕获无法在单词级捕获的与意图相关的形态方面很重要。最后,功能层提供了一个词的抽象,它将焦点转移到段的结构上。我们还探讨了方法,以丰富的段表示与上下文信息的历史对话,无论是在分类的周围段和话轮转换的历史。在以往的研究中,这类信息已经被证明对DA的消歧非常重要。然而,我们能够通过考虑对话历史的摘要和更广泛的话轮转换上下文来捕获额外的信息。通过在每个步骤中结合最佳方法,我们在SwDA和MRDA这两个最广泛探索的语料库上实现了超越先前最先进的通用DA识别的结果。此外,通过考虑过去和未来的背景下,模拟注释场景,我们的方法实现了类似的人类注释器在SwDA上的性能,并超过它在MRDA上。
2019-07-26 cs.CL