Expanding Abbreviations in a Strongly Inflected Language: Are Morphosyntactic Tags Sufficient?
AGH University of Science and Technology(AGH科技大学)
在本文中,形态信息丢失的缩写形式的恢复问题的重点是解决高度曲折的语言。证据是正确的屈折形式的扩展缩写,在许多情况下可以推断出完全从上下文的形态句法标签。预测模型是一个带有标签嵌入的深度双向LSTM网络。训练和评估数据的收集是通过寻找可能已经被缩写的单词,并使用其相应的morphosyntax标签作为标签,而上下文单词的标签被用作分类的输入特征。该网络使用来自波兰瑟姆语料库的超过1000万个单词进行训练,在较小但更通用的波兰国家语料库上实现了74.2%的预测准确率。错误的分析表明,在这个任务中的性能可能会提高,如果一些先验知识的缩写词被纳入模型。
2018-05-27 cs.CL
Deep Subjecthood: Higher-Order Grammatical Features in Multilingual BERT
Stanford University(斯坦福大学);University of California, Irvine(加州大学欧文分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们研究如何多语言BERT(mBERT)编码语法,通过研究如何高阶语法特征的形态句法对齐(不同的语言如何定义什么算作“主语”)是体现在不同语言的嵌入空间。为了理解形态句法对齐是否以及如何影响上下文嵌入空间,我们训练分类器以恢复传递句中mBERT嵌入的主体性(不包含关于形态句法对齐的公开信息),然后在语言内部和跨语言的不传递句中评估它们的zero-shot(主体性分类取决于对齐)。我们发现,由此产生的分类器分布反映了他们的训练语言的形态句法对齐。我们的研究结果表明,mBERT表示受到高级语法特征的影响,这些语法特征在任何一个输入句子中都没有表现出来,并且这在各种语言中都是鲁棒的。进一步研究我们的分类器依赖的特征,我们发现,如被动语态,生命力和情况下的功能与分类决策强烈相关,这表明mBERT不编码纯粹的句法主体,但主体嵌入是连续的,并依赖于语义和话语因素,在许多功能语言学文献中提出。总之,这些结果提供了深入了解语法功能如何体现在上下文嵌入空间,在抽象的水平上没有涵盖以前的工作。
2021-01-26 cs.CL
MULTEXT-East
Jožef Stefan Institute(约瑟夫·斯特凡研究所)
MULTEXT-East语言资源是用于语言工程研究的多语种数据集,侧重于语言描述的形态句法水平。MULTEXT-East数据集包括基于EAGLES的形态句法规范、形态句法词典和带注释的多语言语料库。平行语料库,小说“1984年”的乔治奥威尔,是句子对齐,并包含手工验证的形态句法描述和引理。这些资源使用文本编码倡议指南TEI P5统一编码为XML,涵盖16种语言:保加利亚语、克罗地亚语、捷克语、英语、爱沙尼亚语、匈牙利语、马其顿语、波斯语、波兰语、雷西安语、罗马尼亚语、俄语、塞尔维亚语、斯洛伐克语、斯洛文尼亚语和乌克兰语。该数据集被广泛记录,并可免费用于研究目的。本文介绍了东方多文本资源的发展历史,介绍了东方多文本资源的编码和组成,讨论了相关的工作,并给出了一些结论。
2020-03-31 cs.CL
Arabic Morphosyntactic Tagging and Dependency Parsing with Large Language Models
Computational Approaches to Modeling Language Lab(语言建模方法计算实验室);New York University Abu Dhabi(纽约大学阿布扎克分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文评估了大语言模型在阿拉伯语词法句法标注和依赖解析任务中的表现,发现提示设计和示例选择对性能影响显著,专有模型在特征层面标注接近监督基线,且在依赖解析中具有竞争力。
2026-09-04 cs.CL
The First Parallel Multilingual Corpus of Persian: Toward a Persian BLARK
Text and Speech Technology LTD.(文本与语音技术有限公司);University of Tehran(德黑兰大学)
在这篇文章中,我们介绍了第一个波斯语与其他10多种欧洲语言的平行语料库。本文描述了为波斯语准备基本语言资源工具包(BLARK)的主要步骤。到目前为止,我们已经提出了基于EAGLE/MULTEXT准则和MULTEXT-East的特定资源的波斯语的形态句法规范。本文介绍了波斯语,着重分析了波斯语的正字法和形态句法特征,并在此基础上提出了一种新的数字环境下波斯语的词性分类和正字法。最后,对语料和相关统计数据进行分析。
2014-04-17 cs.CL
Morphosyntactic Tagging with Pre-trained Language Models for Arabic and its Dialects
New York University Abu Dhabi(纽约大学阿布扎比分校);Stony Brook University(石溪大学)
我们提出了国家的最先进的结果在不同品种的阿拉伯语使用微调预训练的Transformer语言模型的形态句法标记。我们的模型在现代标准阿拉伯语和我们研究的所有阿拉伯语方言中始终优于现有系统,在现代标准阿拉伯语中实现了2.6%的绝对改进,在海湾地区为2.8%,在埃及语中为1.6%,在黎凡特语中为8.3%。我们探索了不同的训练设置,用于微调预训练的Transformer语言模型,包括训练数据大小,外部语言资源的使用,以及在低资源场景中使用来自其他方言的注释数据。我们的研究结果表明,使用其他高资源方言的数据集进行战略微调对低资源方言是有益的。此外,我们表明,高质量的形态分析作为外部语言资源是有益的,特别是在低资源设置。
2022-03-21 cs.CL
How communicatively optimal are exact numeral systems? Once more on lexicon size and morphosyntactic complexity
Institute for the Interdisciplinary Study of Language Evolution(语言进化跨学科研究所);University of Zurich(苏黎世大学);Chair for Multilingual Computational Linguistics(多语种计算语言学主任);University of Passau(帕绍大学)
本研究探讨了精确数词系统在交际效率上的表现,通过分析52种语言的数据,发现许多语言在词典规模与形态语法复杂性之间的平衡上效率较低。
2026-02-23 cs.CL
Morphosyntactic Analysis for CHILDES
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
针对跨语言语言学习比较缺乏一致定量框架的问题,本文利用 AI/ML 新方法,通过 Batchalign2 和 UD 框架为 CHILDES 数据库 27 种语言提供一致的形态句法分析,促进跨语言研究。
2024-07-17 cs.CL
Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models
University of Copenhagen(哥本哈根大学);Mila(米拉人工智能研究所);McGill University(麦吉尔大学);Massachusetts Institute of Technology(麻省理工学院);ETH Zürich(苏黎世联邦理工学院)
多语言预训练模型的成功在于它们能够学习多种语言共享的表示,即使在没有任何明确监督的情况下。然而,目前尚不清楚这些模型如何学习跨语言的泛化。在这项工作中,我们推测多语言预训练模型可以导出关于语法的语言通用抽象。特别是,我们调查是否在不同的语言中的神经元的同一个子集中编码的形态句法信息。我们进行了第一次大规模的实证研究超过43种语言和14个morphosyntagnetic类别与国家的最先进的神经元水平的探针。我们的研究结果表明,神经元之间的跨语言重叠是显着的,但其程度可能会因类别而异,并取决于语言的接近度和预训练数据的大小。
2022-05-08 cs.CL
Under the Morphosyntactic Lens: A Multifaceted Evaluation of Gender Bias in Speech Translation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
性别偏见在很大程度上被认为是一种影响语言技术的问题现象,最近的研究强调,它可能在不同的语言中表现得不同。然而,目前大多数的评价实践都是在综合条件下,对一组狭窄的职业名词进行词级评价。这种协议忽略了语法性别语言的关键特征,其特征是性别协议的形态句法链,标记在各种词汇和词性(POS)上。为了克服这一限制,我们丰富了自然的、性别敏感的Must-SHE语料库(Bentivogli等人,2020)与两个新的语言注释层(POS和协议链),并探讨在何种程度上不同的词汇类别和协议现象的影响性别倾斜。专注于语音翻译,我们对三种语言方向(英语-法语/意大利语/西班牙语)进行了多方面的评估,模型在不同的数据量和不同的分词技术上进行了训练。通过揭示模型行为,性别偏见及其在几个粒度级别上的检测,我们的研究结果强调了专门分析的价值,而不仅仅是汇总的整体结果。
2022-03-18 cs.CL
External Lexical Information for Multilingual Part-of-Speech Tagging
INRIA(法国国家信息与自动化研究所)
形态句法词典和词向量表示都被证明是有用的,以提高统计词性标注的准确性。在这里,我们比较了四个系统在涵盖16种语言的数据集上的性能,其中两个系统是基于特征的(MEMM和CRF),其中两个是基于神经的(bi-LSTM)。我们表明,平均而言,所有四种方法的性能相似,并达到最先进的结果。然而,我们的基于特征的模型在词汇丰富的数据集上获得了更好的性能(例如,对于形态丰富的语言),而基于神经的结果在词汇变化较小的数据集上更高(例如,英语)。这些结论特别适用于依赖于我们的系统MElt的MEMM模型,该系统受益于新设计的功能。这表明,在一定条件下,基于特征的方法丰富的形态句法词典是有竞争力的神经方法。
2016-08-09 cs.CL
Investigating Multilingual Coreference Resolution by Universal Annotations
Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
本文基于 CorefUD 数据集的通用标注,从多语言层面和体裁分析共指特征,对 SotA 系统进行错误分析,并提取形态句法特征改进基线,使 F1 提升 0.9%。
2023-10-26 cs.CL
Corpus-Guided Contrast Sets for Morphosyntactic Feature Detection in Low-Resource English Varieties
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
语言变异的研究探讨了语言如何在不同的说话者群体之间和内部变化,揭示了我们如何使用语言来构建身份,以及社会环境如何影响语言的使用。一种常见的方法是在语料库中识别某个语言特征的实例,比如零连接结构,并分析该特征在说话者、话题和其他变量中的分布,以获得对该特征功能的定性理解或系统地测量变化。在本文中,我们探讨了具有挑战性的任务,自动形态句法特征检测低资源的英语品种。我们提出了一个人在回路的方法来生成和过滤有效的对比度集,通过语料库引导的编辑。我们表明,我们的方法提高了印度英语和非洲裔美国人英语的特征检测,展示了它如何帮助语言学研究,并发布我们的微调模型供其他研究人员使用。
2022-09-15 cs.AI cs.CL
DisMo: A Morphosyntactic, Disfluency and Multi-Word Unit Annotator. An Evaluation on a Corpus of French Spontaneous and Read Speech
University of Louvain(鲁汶大学);University Paris Diderot(巴黎狄德罗大学);University of Geneva(日内瓦大学)
我们提出了DisMo,一个多层次的口语语料库,集成了部分的语音标记与基本的不流利检测和注释,多词单元识别注释。DisMo是一个混合系统,它结合了词汇资源、规则和基于条件随机场(CRF)的统计模型。在本文中,我们提出了第一个公开版本的DisMo法语。该系统在57k令牌语料库上进行了训练,并对其性能进行了评估,其中包括三个国家(比利时,法国和瑞士)的不同法语。DisMo支持多级注释方案,其中最小单词单元的标记化与多单词单元分组(每个具有关联的POS标签)以及用于注释不流利和话语现象的单独级别互补。我们提出了该系统的体系结构,语言资源和它的层次标签集。结果表明,DisMo实现了95%(最精细的标签集)的精度为96.8%(粗标签集)的POS标记非标点,语音对齐的transmitting的法语口语,同时也提供了大量的可能性自动多级注释。
2018-02-08 cs.CL
Killkan: The Automatic Speech Recognition Dataset for Kichwa with Morphosyntactic Information
University of Notre Dame(圣母大学);Pontifical Catholic University of Ecuador(厄瓜多尔天主教大学)
本文介绍了首个用于极度低资源厄瓜多尔原住民语言 Kichwa 语自动语音识别的数据集 Killkan,包含约4小时音频及形态句法标注,并成功开发了首个具有可靠质量的 Kichwa 语 ASR 系统。
2024-04-23 cs.AI cs.CL
Universal and Independent: Multilingual Probing Framework for Exhaustive Model Interpretation and Evaluation
Artificial Intelligence Research Institute(人工智能研究所);SberDevices;HSE University(高等经济大学)
对语言模型进行语言分析是解释和描述其推理、弱点和局限性的方法之一。在模式可解释性研究的探索部分,研究涉及到个体语言以及个体语言结构。问题来了:被检测到的语言是在语言学上连贯的,还是相反,它们在类型尺度上不协调?此外,大多数研究涉及语言和语言结构的固有集合,而将实际的类型学多样性知识排除在范围之外。在本文中,我们提出并应用GUI辅助框架,使我们能够轻松地探测大量的语言中存在的所有形态句法特征的通用数据。我们发现,反映了英语为中心的趋势在NLP在过去几年中,大多数的mBERT模型中揭示了典型的西欧语言。我们的框架可以与现有的探测工具箱,模型卡和排行榜集成,允许从业者使用和共享他们的标准探测方法来解释多语言模型。因此,我们提出了一个工具包,系统化的多语言模型中的多语言缺陷,提供了一个可重复的实验设置104种语言和80 morphosyntax功能。https://github.com/AIRI-Institute/Probing_framework
2022-10-24 cs.AI cs.CL
The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling
Brown University(布朗大学);Stanford University(斯坦福大学);University of Tübingen(蒂宾根大学)
本文运用机制可解释性工具探究LLMs内部回路与语言结构的对应关系,发现模型用共享回路处理相同句法过程,用语言特定组件处理差异,揭示了多语言建模中的结构权衡机制。
2024-10-11 cs.AI cs.CL
Type and Complexity Signals in Multilingual Question Representations
Department of Computer Science, KU Leuven(鲁汶大学计算机科学系)
本研究通过QTC数据集和探针分析,发现神经探针在捕捉多语言问题结构复杂度上优于统计基线,并评估了微调对预训练语言信息的影响。
2025-10-07 cs.CL
LLM Probe: Evaluating LLMs for Low-Resource Languages
L3S Research Center, Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心);Aksum University(阿克苏姆大学)
本文提出LLM Probe框架,通过词典基础方法系统评估低资源语言中LLM的语言能力,揭示序列到序列模型在形态语法分析和翻译质量上的优势,以及因果模型在词汇对齐上的表现。
2026-03-31 cs.CL
Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer?
Fudan University(复旦大学);Max Planck Institute for Evolutionary Anthropology(马克斯·普朗克进化人类学研究所)
多语言BERT(mBERT)已经显示出相当大的跨语言句法能力,由此它能够实现句法知识的有效zero-shot跨语言迁移。有些语言之间的迁移比较成功,但尚不清楚是什么导致了这种差异,以及它是否公平地反映了语言之间的差异。在这项工作中,我们调查的语法关系的分布从mBERT在24个类型不同的语言的背景下。我们表明,不同语言的分布之间的距离是高度一致的语法差异的语言形式主义。这种通过自我监督学习的差异在zero-shot迁移中起着至关重要的作用,并且可以通过语言之间的形态句法特性的变化来预测。这些结果表明,mBERT正确地编码语言的方式与语言的多样性和跨语言迁移的机制提供了见解。
2022-12-21 cs.CL
UCxn: Typologically Informed Annotation of Constructions Atop Universal Dependencies
LMU Munich(慕尼黑大学);MCML(慕尼黑计算语言学与机器学习中心);University of New Mexico(新墨西哥大学);Carnegie Mellon University(卡内基梅隆大学);Université Paris Nanterre(楠泰尔大学);CNRS(法国国家科学研究中心);Georgetown University(乔治城大学);Federal University of Juiz de Fora(茹伊斯-迪弗拉联邦大学);The Open University of Israel(以色列开放大学);Institute for Human and Machine Cognition(人机认知研究所);RISE(RISE研究院)
针对 Universal Dependencies 树库未整体标注承载意义的语法构式的问题,提出基于类型学信息的 UCxn 标注层,通过形态句法模式在 10 种语言中识别 5 个构式家族,为跨语言比较与树库构式扩充奠定基础。
2024-03-26 cs.CL
Cross-Linguistic Transfer in Multilingual NLP: The Role of Language Families and Morphology
Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究从语系与形态学视角探究多语言NLP的跨语言迁移,分析语系亲缘度、形态相似性及语言距离对迁移效果的影响,并梳理融入类型学与形态信息的预训练新兴方法。
2025-05-20 cs.CL
Tokenization and Morphology in Multilingual Language Models: A Comparative Analysis of mT5 and ByT5
MPI for Psycholinguistics(马克斯·普朗克心理语言学研究所);Radboud University(拉德堡德大学);Utrecht University(乌得勒支大学);University of Glasgow(格拉斯哥大学);University of Southern Denmark(南丹麦大学)
本文通过对比 mT5 与 ByT5 在 17 种语言上的形态学探测任务,分析分词策略对多语言模型形态知识编码的影响,发现形态信息集中于中后期层,且不规则语言更受益于更多预训练数据。
2024-10-21 cs.CL
GlossLM: A Massively Multilingual Corpus and Pretrained Model for Interlinear Glossed Text
University of Colorado Boulder(科罗拉多大学博尔德分校);Carnegie Mellon University(卡内基梅隆大学)
本文构建了涵盖1.8k种语言、超45万样本的最大IGT语料库,并预训练多语言模型GlossLM,微调后在自动生成IGT任务上较SOTA最高提升6.6%。
2024-11-12 cs.CL
Morphology Matters: A Multilingual Language Modeling Analysis
University of Illinois(伊利诺伊大学);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学);Indiana University(印第安纳大学);University of Chicago(芝加哥大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
多语言语言建模的先前研究(例如,Cotterell等人,2018; Mielke等人,2019年)不同意是否屈折形态学使语言更难建模。我们试图解决分歧,并扩大这些研究。我们编译了一个更大的语料库,包含92种语言的145个圣经译本和大量的类型学特征。我们填补了几种语言的类型学数据,并考虑基于语料库的措施,形态复杂性,除了专家制作的类型学特征。我们发现,当使用BPE分割的数据训练LSTM模型时,几种形态学测量与更高的相似性显著相关。我们还研究了语言动机的子词切分策略,如Morfessor和非线性状态转换器(FSTs),并发现这些分割策略产生更好的性能,并减少语言的形态对语言建模的影响。
2020-12-11 cs.CL
Rethinking and formalising the state across languages: a unified computational learning theory account
本文重新定义跨语言的“态”为综合语中选语法模板的机制,以里夫语为基础构建符号计算模型,用有限集学习算法解释名词标记等现象,为相关句法理论提供统一分析。
2026-08-10 cs.AI cs.CL
Modelling the Morphology of Verbal Paradigms: A Case Study in the Tokenization of Turkish and Hebrew
Idiap Research Institute(IDIAP研究机构);University of Geneva(日内瓦大学)
本研究探讨了transformer模型在土耳其和希伯来语动词词形处理中的表现,发现词化策略对模型效果有显著影响,尤其在希伯来语中,形态学意识的词化方法更有效。
2026-02-05 cs.CL
Multilingual AMR-to-Text Generation
FAIR(Facebook人工智能研究院);LORIA(洛林计算机科学及其应用研究实验室);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心)
从结构化数据生成文本具有挑战性,因为它需要弥合(i)结构和自然语言(NL)以及(ii)语义欠指定的输入和完全指定的NL输出之间的差距。多语言生成带来了额外的挑战:生成具有不同词序和形态属性的语言。在这项工作中,我们专注于抽象意义表征(AMR)作为结构化输入,以前的研究绝大多数集中在生成只到英语。我们利用跨语言嵌入、预训练和多语言模型方面的进步,创建了多语言AMR到文本模型,这些模型可以用21种不同的语言生成。对于18种语言,基于自动度量,我们的多语言模型超过了生成单一语言的基线。我们分析了我们的多语言模型使用人类评估准确捕捉形态和词序的能力,发现母语者判断我们这一代人流利。
2020-11-10 cs.CL
Marrying Universal Dependencies and Universal Morphology
Johns Hopkins University(约翰斯·霍普金斯大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
通用语法(UD)和通用形态(UniMorph)各自提出了用于注释语言的形态句法细节的图式。每个项目还提供了多种语言的注释文本语料库--在token级别的UD和类型级别的UniMorph。由于每个语料库都是由不同的注释者构建的,语言特定的决策阻碍了通用图式的目标。通过标签的兼容性,每个项目的注释都可以用来验证其他项目的注释。此外,类型级和标记级资源的可用性对于解析和同形异义词消歧等任务来说是一个福音。为了减轻这种互操作性,我们提出了一个确定性的映射从通用的mendencies v2功能到UniMorph架构。我们通过在UniMorph语料库中查找来验证我们的方法,并发现宏观平均召回率为64.13%。我们还注意到由于双方数据不足而造成的不兼容性。最后,我们提出了一个批判性的评价的基础上,优势和劣势的两个注释项目。
2018-10-15 cs.CL
Evaluating Multilingual BERT for Estonian
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学研究所)
最近,大型预训练语言模型,如BERT,在许多自然语言处理任务中已经达到了最先进的性能,但对于许多语言,包括爱沙尼亚语,BERT模型还不可用。然而,存在几种多语言BERT模型,可以同时处理多种语言,并且也在爱沙尼亚数据上进行了训练。在本文中,我们评估了四种多语言模型-多语言BERT,多语言蒸馏BERT,XLM和XLM-RoBERTa-在几个自然语言处理任务,包括POS和形态标记,NER和文本分类。我们的目标是建立这些多语言BERT模型和现有的基线神经模型之间的比较,这些任务。我们的结果表明,多语言BERT模型可以很好地概括不同的爱沙尼亚NLP任务,在POS、形态标记和文本分类方面的表现优于所有基线模型,并达到了与NER最佳基线相当的水平,其中XLM-RoBERTa取得了最高的结果与其他多语言模型相比。
2021-01-08 cs.CL
Multilingual Sentiment Analysis of Summarized Texts: A Cross-Language Study of Text Shortening Effects
本研究跨语言考察了抽取式与生成式摘要对多语言情感分类的影响,发现抽取式更能保留情感而生成式易致失真,并提出平衡可读性与情感保留的混合摘要方法。
2025-03-31 cs.CL
A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs
本文提出了一种基于语言类型学的评估框架,用于评估多语言掩码语言模型对词序和形态敏感性的依赖性,通过多种扰动方法测试模型性能。
2026-02-28 cs.CL
Multilingual Sequence-to-Sequence Models for Hebrew NLP
Google Research(谷歌研究院)
最近的工作将NLP的进展归因于大语言模型(LM),其模型大小增加,预训练数据量大。尽管如此,与其他语言的LM相比,目前最先进的希伯来语LM参数化不足,训练不足。此外,以前关于预训练的希伯来语LM的工作主要集中在编码器模型上。虽然仅编码器架构有利于分类任务,但考虑到希伯来语在形态上丰富的性质,它无法很好地满足子词预测任务,例如命名实体识别。在本文中,我们认为,序列到序列生成架构更适合LLM的情况下,形态丰富的语言(MRL),如希伯来语。我们证明,通过将Hebrew NLP管道中的任务转换为文本到文本任务,我们可以利用强大的多语言,预训练的序列到序列模型作为mT5,从而消除了对专门的,基于词素的,单独微调的解码器的需求。使用这种方法,我们的实验表明,在现有的希伯来语NLP基准上,与以前发表的结果相比,有了很大的改进。这些结果表明,多语言序列到序列模型为MRL的NLP提供了一个有前途的构建模块。
2022-12-19 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia(西波希米亚大学);NTIS—New Technologies for the Information Society(NTIS—新信息技术学会)
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了,但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为,捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务,检查语法,形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验,并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
Evaluating Transformer-Based Multilingual Text Classification
University of California, Santa Barbara(加州大学圣巴巴拉分校)
随着NLP工具在当今的技术领域变得无处不在,它们越来越多地应用于具有各种类型结构的语言。然而,NLP研究并不主要集中在其分析最先进的语言模型的类型学差异。因此,NLP工具在具有不同句法和形态结构的语言中表现不平等。通过对词序类型学、形态类型学和比较语言学的详细讨论,我们确定了哪些变量最影响语言建模效果;此外,我们计算了词序和形态相似性指数,以帮助我们的实证研究。然后,我们使用这个背景来支持我们的分析,我们进行的实验,使用多类文本分类的八种语言和八个模型。
2020-04-30 cs.CL
GLeMM: A large-scale multilingual dataset for morphological research
CLLE, CNRS, Université Toulouse Jean Jaurès(CLLE、CNRS、图卢兹 Jean Jaurès 大学);CLLE Montaigne, CNRS, Université Bordeaux Montaigne(CLLE Montaigne、CNRS、波尔多 Montaigne 大学);ATILF, Université de Lorraine, CNRS(ATILF、洛林大学、CNRS)
GLEMM通过大规模多语言数据集为形态学研究提供实验和数据驱动描述,支持形式与意义关系的研究及计算方法的实验验证。
2026-04-14 cs.CL
MorphNAS: Differentiable Architecture Search for Morphologically-Aware Multilingual NER
Department of Computer Science & Engineering, PES University, Bengaluru, India(计算机科学与工程系,PES大学,班加罗尔,印度)
MorphNAS提出一种融合文种类型和形态复杂度等语言元特征的可微分架构搜索方法,自动为多语言命名实体识别寻找最优微架构,以提升对形态复杂语言的处理能力。
2025-08-19 cs.AI cs.CL cs.LG
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校计算机科学与工程系);Department of CSE, Indian Institute of Technology Bombay(印度理工学院孟买分校计算机科学与工程系);SCEE, Indian Institute of Technology Mandi(印度理工学院曼迪分校软件工程系);Adobe Research(Adobe研究)
本研究针对17种印度语言,系统评估了子词算法、标准化方法、词汇量及词汇构建策略对多语言分词的影响,发现脚本特定标准化、Unigram LM保留形态边界及聚类词汇构建可提升性能。
2026-06-23 cs.CL
LINSPECTOR: Multilingual Probing Tasks for Word Representations
Technische Universität Darmstadt(达姆施塔特工业大学);University of Edinburgh(爱丁堡大学);New York University(纽约大学)
尽管为大量语言引入了越来越多的单词表示模型,但缺乏标准化的技术来提供对这些模型所捕获内容的见解。这样的见解将有助于社区获得下游任务性能的估计,以及设计更明智的神经架构,同时避免需要大量计算资源的大量实验,而不是所有研究人员都可以访问。NLP最近的发展是使用简单的分类任务,也称为探测任务,测试单个语言特征,如词性。现有的研究主要集中在探讨英语语篇的连续表征所编码的语言信息。然而,从类型学的角度来看,形态学上的穷人英语是一个离群值:英语中的词序和功能词编码的信息往往存储在其他语言的形态水平。为了解决这个问题,我们引入了15个类型级别的探测任务,例如24种语言的格标记、属事、字长、形态标签计数和伪词识别。我们提出了一个可重复使用的方法,在多语言环境中创建和评估这样的测试。然后,我们提出了几个不同的多语言词嵌入模型的实验,在其中,我们涉及到探测任务的性能为一组不同的语言的范围内的五个经典的NLP任务:POS标记,依存句法分析,语义角色标注,命名实体识别和自然语言推理。我们发现,一些探测测试有显着的高度正相关的下游任务,特别是形态丰富的语言。我们表明,我们的测试可用于探索词嵌入或黑盒神经模型的语言线索,在多语言设置。
2019-12-11 cs.CL
Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection
Uppsala University(乌普萨拉大学);The Ohio State University(俄亥俄州立大学);University of Turku(图尔库大学);Charles University in Prague(布拉格查理大学);Stanford University(斯坦福大学);Indiana University(印第安纳大学)
通用树库是一个开放的社区,致力于在基于依赖性的词汇框架内为许多语言创建跨语言一致的树库注释。该注释包括语言动机的分词;包括词元、通用词性标签和标准化形态特征的形态层;以及专注于谓词、参数和修饰语之间的句法关系的句法层。在本文中,我们描述了指南的第2版(UD v2),讨论了从UD v1到UD v2的主要变化,并概述了目前可用的90种语言的树库。
2020-04-22 cs.CL
Counting the Bugs in ChatGPT's Wugs: A Multilingual Investigation into the Morphological Capabilities of a Large Language Model
Carnegie Mellon University(卡内基梅隆大学);LMU Munich(慕尼黑大学);University of Oxford(牛津大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Allen Institute for AI(艾伦人工智能研究所);IIT Delhi(德里印度理工学院)
本研究首次系统考察 ChatGPT 在英语、德语、泰米尔语和土耳其语四种语言中的形态能力,采用 Berko wug 测试及无污染数据集,发现其表现远逊于专用系统,表明类人语言能力说法为时过早。
2023-10-26 cs.CL
MORPHOGEN: A Multilingual Benchmark for Evaluating Gender-Aware Morphological Generation
SBILab, Indraprastha Institute of Information Technology Delhi(SBILab,印度理工学院信息技术研究所德里)
MORPHOGEN通过构建三门语法有性语言的合成数据集,评估15种多语言大模型在性别意识形态生成任务中的表现,揭示当前模型在处理形态性别时的不足。
2026-04-20 cs.AI cs.CL cs.LG
Transformers on Multilingual Clause-Level Morphology
Koç University(科奇大学)
本文介绍了我们在KUIS AI NLP团队设计的MRL:第一次多语言子句级形态学共享任务(EMNLP 2022研讨会)中的获奖系统。我们提出了我们的工作的所有三个部分的共同任务:拐点,再反射和分析。我们主要通过两种方法探索Transformers:(i)从头开始训练模型,结合数据增强,以及(ii)在多语言形态任务中使用前缀调整的迁移学习。数据增强显著提高了大多数语言在变形和再变形任务中的性能。另一方面,对预训练的mGPT模型进行前缀调优可以帮助我们在低数据和多语言环境中适应分析任务。虽然具有数据增强的Transformer架构在拐点和再拐点任务中获得了最有希望的结果,但mGPT上的前缀调谐在分析任务中获得了最高的结果。我们的系统在MRL 2022的所有三项任务中均获得第一名。
2022-11-13 cs.AI cs.CL cs.LG
What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties
University of Amsterdam(阿姆斯特丹大学)
多语言句子编码器在下游NLP任务的跨语言模型传输方面取得了很大成功。然而,我们对个别语言的属性或它们编码的语言变异的一般模式知之甚少。我们提出了从最先进的多语言编码器(LASER,M-BERT,XLM和XLM-R)探测句子表示的方法,这些方法涉及词汇,形态和句法结构的一系列类型学属性。此外,我们研究这些信息是如何分布在模型的所有层。我们的研究结果表明,有趣的差异编码语言的变化与不同的预训练策略。
2020-09-27 cs.CL
Multilingual Blending: LLM Safety Alignment Evaluation with Language Mixture
University of Alberta(阿尔伯塔大学);The University of Tokyo(东京大学)
本研究提出Multilingual Blending混合语言评估方案,发现其可大幅提升LLM安全对齐的绕过率,且效果受语言属性影响,凸显了多语言场景下LLM安全评估与策略优化的必要性。
2024-07-10 cs.CL
Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese
University of Malta(马耳他大学);Utrecht University(乌得勒支大学);Idiap Research Institute(Idiap研究所)
mBERT等多语言语言模型已经出现了令人印象深刻的跨语言迁移到各种语言的情况,但许多语言仍然被排除在这些模型之外。在本文中,我们分析了一种低资源语言的单语数据预训练的效果,这种语言不包括在mBERT中-马耳他语-具有一系列预训练设置。我们使用新的预训练模型对三个形态句法任务进行评估-依存句法分析,词性标记和命名实体识别-以及一个语义分类任务-情感分析。我们还提出了一个新创建的语料库马耳他语,并确定预训练数据的大小和域对下游性能的影响。我们的研究结果表明,使用预训练域的混合往往优于仅使用维基百科文本。我们还发现,这个语料库的一小部分就足以使维基百科训练的模型的性能有显著的飞跃。我们在新语料库上预训练并比较了两个模型:从头开始训练的单语BERT模型(BERTu)和进一步预训练的多语言BERT(mBERTu)。这些模型在这些任务上实现了最先进的性能,尽管新的语料库比通常用于高资源语言的语料库要小得多。平均而言,BERTu优于mBERTu或与mBERTu竞争,并且在更高级别的任务中观察到最大的收益。
2022-05-26 cs.CL
Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models
National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学);SAP
本文系统比较了11种东南亚语言上的公平分词器,发现Parity-aware BPE在效率与公平的权衡中处于帕累托前沿,而Morphology-Driven Byte Encoding在语义推理上表现最佳。
2026-06-16 cs.CL
IMPACT: Inflectional Morphology Probes Across Complex Typologies
Apple(苹果公司)
本文提出IMPACT评估框架,通过跨五种形态学丰富语言的屈折形态学单元测试,揭示多语言LLM在非英语及罕见形态模式上的性能缺陷,并发现思维链会降低其表现。
2025-06-30 cs.CL
Improving Neural Machine Translation of Indigenous Languages with Multilingual Transfer Learning
The University of British Columbia(不列颠哥伦比亚大学)
由于缺乏足够的并行数据,涉及土著语言(包括那些可能濒临灭绝的语言)的机器翻译(MT)具有挑战性。我们描述了一种方法,利用双语和多语言的预训练MT模型在迁移学习设置从西班牙语翻译到10个南美土著语言。我们的模型在我们考虑的十种语言对中的五种上设置了新的SOTA,甚至在这五种语言对中的一种上使性能加倍。与以前的SOTA执行数据增强,以扩大训练集,我们保留了低资源设置,以测试我们的模型在这种约束下的有效性。尽管有关土著语言的语言信息很少,但我们提供了一些定量和定性分析(例如,关于形态学、标记化和正字法)来将我们的结果上下文化。
2022-05-14 cs.CL
How Language-Neutral is Multilingual BERT?
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院)
多语言BERT(mBERT)提供了104种语言的句子表示,这对许多多语言任务都很有用。以前的工作探讨了mBERT的跨语言使用zero-shot迁移学习的形态和句法任务。相反,我们专注于mBERT的语义属性。我们表明,mBERT表示可以分为语言特定的组件和语言中立的组件,语言中立的组件是足够一般的建模语义,允许高精度的单词对齐和句子检索,但还不够好,更困难的任务MT质量估计。我们的工作提出了有趣的挑战,必须解决,以建立更好的语言中立的表示,特别是对于需要语义的语言转移的任务。
2019-11-08 cs.CL
MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling
Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Faculty of Mathematics and Physics, Charles University in Prague(布拉格查理大学数学与物理学院)
本文提出基于语素的字节编码MYTE,通过一致片段长度编码多语言文本,缩短99种语言的编码并提升多语言模型性能,减少困惑度差距。
2024-11-11 cs.AI cs.CL cs.LG
A Speech Corpus for Mizo Automatic Speech Recognition: Whisper and SraVaani 1.0 Fine-Tuning with Morphology-Aware Evaluation
本研究构建米佐语语音语料库,通过微调Whisper与SraVaani 1.0模型开发米佐语ASR系统,发现Whisper-large-v3结合形态感知评估WER仅7.22%,SraVaani 1.0经米佐语微调后性能显著提升。
2026-08-21 cs.CL eess.AS
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon(俄勒冈大学)
我们介绍Trankit,一个轻量级的基于transformer的多语言自然语言处理(NLP)工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道,并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上,在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道,同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer,我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的,其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在:http://nlp.uoregon.edu/trankit。最后,我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
On the Language Neutrality of Pre-trained Multilingual Representations
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Faculty of Mathematics and Physics, Charles University(查尔斯大学数学与物理学院)
多语言上下文嵌入,如多语言BERT和XLM-RoBERTa,已被证明对许多多语言任务有用。先前的工作探讨了跨语言的表征间接使用zero-shot迁移学习的形态和句法任务。相反,我们调查的语言中立性的多语言上下文嵌入直接和词汇语义。我们的研究结果表明,上下文嵌入是更语言中立的,一般来说,比对齐的静态词型嵌入,这是明确的语言中立性训练,更翔实。上下文嵌入在默认情况下仍然只是适度的语言中立性,因此我们提出了两种简单的方法来实现更强的语言中立性:第一,通过无监督的中心化每种语言的表示,第二,通过在小的并行数据上拟合显式投影。此外,我们展示了如何在不使用并行数据的情况下,达到语言识别的最高精度,并匹配并行句子单词对齐的统计方法的性能。
2020-09-29 cs.CL