Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
多语言预训练的语言模型,如mBERT和XLM-R,已经显示出令人印象深刻的跨语言能力。令人惊讶的是,他们都使用多语言掩码语言模型(MLM),没有任何跨语言的监督或对齐的数据。尽管取得了令人鼓舞的成果,但我们仍然缺乏对跨语言能力为什么会从多语言传销中出现的清晰理解。在我们的工作中,我们认为,跨语言能力来自语言之间的共性。具体而言,我们研究了三个语言属性:词序,成分和词的共现。首先,我们通过修改源语言中的属性来创建人工语言。然后通过对跨语言迁移结果的改变来研究修饰属性对目标语言的贡献。我们对六种语言和两个跨语言NLP任务(文本蕴涵,句子检索)进行了实验。我们的主要结论是,语序和词同现的贡献是有限的,而成分对跨语言迁移的成功更为关键。
2022-03-16 cs.CL
Finding Universal Grammatical Relations in Multilingual BERT
Stanford University(斯坦福大学)
最近的研究发现,多语种BERT(mBERT),一个基于transformer的多语种掩蔽语言模型,能够zero-shot跨语言迁移,这表明其表示的某些方面是跨语言共享。为了更好地理解这种重叠,我们将最近在神经网络内部表示中寻找语法树的工作扩展到多语言环境。我们发现,子空间的mBERT表示恢复语法树的距离,在英语以外的语言,这些子空间大约是跨语言共享。受这些结果的启发,我们提出了一种无监督的分析方法,提供证据mBERT学习表示的句法依赖标签,在很大程度上同意与通用的依赖分类的集群的形式。这一证据表明,即使没有明确的监督,多语言掩蔽语言模型学习某些语言共性。
2020-05-20 cs.CL cs.LG
ÚFAL at MultiLexNorm 2021: Improving Multilingual Lexical Normalization by Fine-tuning ByT5
Charles University(查理大学)
我们在W-NUT 2021上展示了多语言词汇规范化(MultiLexNorm)共享任务的获奖作品(van der Goot等人,2021 a),它评估了11种语言的12个社交媒体数据集的词汇规范化系统。我们的解决方案基于预先训练的字节级语言模型ByT 5(Xue et al.,2021 a),我们进一步对合成数据进行预训练,然后对真实的归一化数据进行微调。我们的系统实现了最好的性能,通过一个很大的利润率在内在的评价,也是最好的性能,通过依存句法分析的外在评价。源代码发布于https://github.com/ufal/multilexnorm2021,微调模型发布于https://huggingface.co/ufal。
2021-11-17 cs.CL
A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs
本文提出了一种基于语言类型学的评估框架,用于评估多语言掩码语言模型对词序和形态敏感性的依赖性,通过多种扰动方法测试模型性能。
2026-02-28 cs.CL
MEMLA: Enhancing Multilingual Knowledge Editing with Neuron-Masked Low-Rank Adaptation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对多语言知识编辑中的跨语言更新传播难题,本文构建覆盖12种语言的MKEB基准,并提出MEMLA,通过识别知识神经元并结合神经元掩码的LoRA编辑提升编辑精度、跨语言传播和多跳推理能力。
2024-06-17 cs.CL
A Modular Approach for Multilingual Timex Detection and Normalization using Deep Learning and Grammar-based methods
HiTZ Center(HiTZ中心);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
本文提出结合微调掩码语言模型检测与基于语法规范化的模块化多语言时间处理系统,在西语和英语上多项任务优于 HeidelTime,并探讨覆盖率与可规范化性的权衡。
2023-04-27 cs.CL
Incorporating Residual and Normalization Layers into Analysis of Masked Language Models
Tohoku University(东北大学);Langsmith Inc.(Langsmith 公司);RIKEN(理化学研究所)
Transformer架构在自然语言处理领域已经变得无处不在。为了解释基于transformer的模型,他们的注意力模式已经被广泛分析。然而,Transformer架构不仅由多头注意力组成;其他组件也可以有助于Transformers的渐进性能。在这项研究中,我们将Transformers的分析范围从单纯的注意模式扩展到整个注意块,即,多头注意力、剩余连接和层归一化。我们对基于transformer的掩蔽语言模型的分析表明,通过注意力进行的标记到标记的交互对中间表示的影响比以前假设的要小。这些结果为现有报告提供了新的直观解释;例如,丢弃学习到的注意力模式往往不会对性能产生不利影响。我们的实验代码是公开的。
2021-09-15 cs.CL
BiMamba2 Masked Discrete-Unit Prediction for Multilingual Speech Representation for Unsupervised Speech in the Wild Challenge
Howard University(霍华德大学)
本文提出基于BiMamba2的掩蔽离散单元预测方法,在无标注多语言语音上训练,实现说话人聚类性能超越基线,并分析了评估差异。
2026-09-25 cs.CL cs.SD
Modeling Orthographic Variation in Occitan's Dialects
University of Zurich(苏黎世大学)
本文通过微调多语言模型并构建四种奥克语方言平行词典,证明大型多语言模型能有效应对方言正字法变异,从而降低拼写规范化预处理的需求。
2024-04-30 cs.CL
DICT-MLM: Improved Multilingual Pre-Training using Bilingual Dictionaries
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
预训练的多语言模型,如mBERT,在几个自然语言处理(NLP)任务中表现出巨大的收益,特别是在zero-shot跨语言设置中。这些预先训练的模型中的大多数(如果不是全部)依赖于掩蔽语言建模(MLM)目标作为关键语言学习目标。这些方法背后的原理是,在周围文本的帮助下预测被屏蔽的单词有助于学习有效的上下文表征。尽管强大的表示学习能力,使MLM,我们表现出固有的限制MLM多语言表示学习。特别是,通过要求模型预测特定于语言的标记,MLM目标抑制了学习与语言无关的表示-这是多语言预训练的关键目标。因此,为了鼓励更好的跨语言表示学习,我们提出了DICT-MLM方法。DICT-MLM的工作原理是激励模型不仅能够预测原始掩码词,而且还能够预测其任何跨语言同义词。我们对30多种语言的多个下游任务的实证分析表明,所提出的方法的有效性及其学习更好的多语言表示的能力。
2020-10-23 cs.CL
MicroBERT: Effective Training of Low-resource Monolingual BERTs through Parameter Reduction and Multitask Learning
Georgetown University(乔治城大学)
Transformer语言模型(TLM)对于大多数NLP任务至关重要,但由于需要大量的预训练数据,因此很难为低资源语言创建TLM。在这项工作中,我们研究了两种技术,用于训练单语TLM在低资源设置:大大减少TLM的大小,并补充掩蔽语言建模目标与两个语言丰富的监督任务(词性标注和依存句法分析)。来自7种不同语言的结果表明,我们的模型,MicroBERT,能够产生显着的改善,相对于一个典型的单语TLM预训练方法的下游任务评估。具体来说,我们发现,与多语言基线mBERT相比,单语MicroBERT模型在解析器LAS和NER F1中分别获得了高达18%和11%的收益,而其参数计数不到1%。我们得出结论,减少TLM参数计数并使用标记数据预训练低资源TLM可以产生很大的质量效益,并在某些情况下产生优于多语言方法的模型。
2023-01-05 cs.CL
What is lost in Normalization? Exploring Pitfalls in Multilingual ASR Model Evaluations
Digital University Kerala(喀拉拉邦数字大学);Swathanthra Malayalam Computing(斯瓦坦特拉马拉雅拉姆计算机构);University of Kerala(喀拉拉邦大学)
本文揭示多语言ASR评估中文本归一化对印度语系脚本的缺陷,导致性能指标虚高,并提出利用本土语言学知识改进归一化流程。
2024-11-09 cs.AI cs.CL cs.HC
Efficient Social Network Multilingual Classification using Character, POS n-grams and Dynamic Normalization
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);École Polytechnique de Montréal(蒙特利尔理工学院);Centro Nacional de Investigación y Desarrollo Tecnológico(国家研究与技术开发中心);Universidad Nacional Autónoma de México(墨西哥国立自治大学)
在本文中,我们描述了一个动态的规范化过程应用于社交网络多语言文档(Facebook和Twitter),以提高性能的作者分析任务的短文本。在标准化过程之后,获得字符的$n$元和POS标签的n元,以提取文档中编码的所有可能的风格信息(表情符号、字符泛洪、大写字母、对其他用户的引用、超链接、主题标签等)。SVM的实验表明,高达90%的性能。
2017-02-21 cs.CL cs.IR cs.SI
UnMASKed: Quantifying Gender Biases in Masked Language Models through Linguistically Informed Job Market Prompts
The University of Alabama(阿拉巴马大学)
本研究针对掩码语言模型的性别偏见问题,构建含两类提示的新数据集,评估6款主流模型,发现均存在性别刻板对齐,多语言变体偏见相对更低。
2024-01-28 cs.CL
MAPGN: MAsked Pointer-Generator Network for sequence-to-sequence pre-training
NTT Media Intelligence Laboratories, NTT Corporation(日本电报电话公司媒体情报实验室)
本文提出了一种自监督学习方法,用于指针生成器网络,以提高口语文本规范化。口语文本规范化(spoke-text normalization)将口语风格的文本转换为风格规范化的文本,成为改善诸如机器翻译和摘要等后续处理的重要技术。迄今为止,最成功的口语文本规范化方法是使用指针生成器网络的序列到序列(seq 2seq)映射,该网络具有从输入序列复制的机制。然而,这些模型需要大量的口语风格文本和风格规范化文本的配对数据,并且很难准备这样的数据量。为了从有限的成对数据中构建口语文本规范化模型,我们重点研究了自监督学习,它可以利用不成对的文本数据来改进seq 2seq模型。不幸的是,传统的自监督学习方法不假设使用指针生成器网络。因此,我们提出了一种新的自监督学习方法,掩蔽指针生成器网络(MAPGN)。所提出的方法可以有效地预训练的指针生成器网络,通过学习使用复制机制填充掩码令牌。我们的实验表明,MAPGN是更有效的指针生成器网络比传统的自监督学习方法在两个口语文本规范化任务。
2021-02-16 cs.CL
What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models
Emory University(埃默里大学)
针对多语言 MLM 性别偏见评估不足的问题,本文提出不依赖英语平行语料的多语言方法和基于模型的句子对生成技术,并用多种指标证明既有评估不稳定。
2024-04-09 cs.CL
Reasoning-Guided Claim Normalization for Noisy Multilingual Social Media Posts
TIFIN
本文提出基于六何问题分解与推理引导的声明规范化方法,通过LoRA微调Qwen3-14B并结合检索增强少样本学习,在仅用英语训练的情况下实现20种语言的跨语言迁移,在多个排行榜上取得领先成绩。
2025-11-07 cs.CL
The Curse of Multilinguality in Lexical Normalization
本文研究词汇规范化中多语言模型的最优训练语言数量,发现仅用1-4种语言联合训练的字符级模型准确率最高,多语言竞争导致准确率下降,紧凑模型需少语言训练。
2026-09-02 cs.AI cs.CL cs.LG
Sequence-to-Sequence Lexical Normalization with Multilingual Transformers
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学)
当前自然语言处理的基准测试任务包含的文本与日常非正式数字通信中使用的文本在质量上不同。这种差异导致最先进的NLP模型在对真实世界数据进行微调时性能严重下降。解决这个问题的一种方法是通过词汇规范化,这是将非标准文本(通常来自社交媒体)转换为更标准化形式的过程。在这项工作中,我们提出了一个基于mBART,框架的问题作为一个机器翻译问题的双层次序列到序列模型。由于嘈杂的文本是一个跨语言的普遍问题,不仅仅是英语,我们利用mBART的多语言预训练来微调它以适应我们的数据。虽然目前的方法主要是在字或子字的水平,我们认为,这种方法是直接从技术的角度来看,并建立在现有的预先训练的Transformer网络。我们的研究结果表明,虽然单词级别的,内在的,性能评估是落后于其他方法,我们的模型提高了外在的,下游任务的性能,通过规范化相比,模型操作的原始,未处理的,社交媒体文本。
2021-10-12 cs.CL
Causal Analysis of Syntactic Agreement Neurons in Multilingual Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
结构探测工作已经在预训练的语言模型中发现了潜在句法信息的证据。然而,这种分析主要集中在单语模型上,而多语言模型的分析则采用了相关方法,这些方法受到探测任务选择的干扰。在这项研究中,我们因果地探测多语言语言模型(XGLM和多语言BERT)以及跨各种语言的基于单语BERT的模型;我们通过对神经元激活进行反事实扰动并观察对模型的主谓一致概率的影响来做到这一点。我们观察在模型中的位置以及在何种程度上句法一致性在每种语言中被编码。我们在自回归多语言语言模型中发现了显著的神经元重叠,但在掩蔽的语言模型中没有。我们还发现了两种不同的逐层效应模式和两组不同的神经元用于句法一致性,这取决于主语和动词是否被其他标记分开。最后,我们发现语言模型的行为分析可能低估了掩蔽语言模型对句法信息的敏感程度。
2022-10-25 cs.CL
Multilingual Translation via Grafting Pre-trained Language Models
ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
一种语言的预训练BERT和另一种语言的GPT可以粘在一起翻译文本吗?仅使用单语数据的自我监督训练已经导致了许多NLP任务中预训练(掩蔽)语言模型的成功。然而,直接连接BERT作为编码器和GPT作为解码器在机器翻译中可能具有挑战性,因为类似GPT的模型缺乏seq2seq解码器中所需的交叉注意组件。在本文中,我们提出了Gramformer移植单独的预训练(掩蔽)语言模型的机器翻译。使用单语数据进行预训练,并行数据进行嫁接训练,我们最大限度地利用了这两种类型数据的使用。在60个方向上的实验表明,与相同大小的多语言Transformer相比,该方法在x2en方向上平均提高了5.8 BLEU,在en2x方向上平均提高了2.9 BLEU。
2021-09-11 cs.CL
Low-Resource Transliteration for Roman-Urdu and Urdu Using Transformer-Based Models
University of Saarland(萨尔大学);DFKI(德国人工智能研究中心)
针对Urdu与Roman-Urdu间的低资源音译问题,提出基于m2m100并结合MLM预训练与微调的Transformer方法,在严格评估下取得优于RNN和GPT-4o Mini的音译性能。
2025-04-04 cs.AI cs.CL
SJ_AJ@DravidianLangTech-EACL2021: Task-Adaptive Pre-Training of Multilingual BERT models for Offensive Language Identification
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学);Electrical and Computer Engineering(电气与计算机工程学院)
在本文中,我们提出了我们提交的EACL 2021-共享任务在达罗毗荼语攻击性语言识别。我们的最终系统是mBERT和XLM-RoBERTa模型的集成,这些模型利用多语言BERT模型的任务自适应预训练,并具有掩蔽语言建模目标。我们的系统在卡纳达语中排名第一,在马拉雅拉姆语中排名第二,在泰米尔语中排名第三。
2021-03-12 cs.CL
Universal Sentence Representation Learning with Conditional Masked Language Model
Stanford University(斯坦福大学);Google Research(谷歌研究院)
本文提出了一种新的训练方法,条件屏蔽语言建模(CMLM),有效地学习大规模无标记语料库的句子表示。CMLM通过调节相邻句子的编码向量,将句子表示学习集成到MLM训练中。我们的英语CMLM模型在SentEval上实现了最先进的性能,甚至优于使用监督信号学习的模型。CMLM作为一种完全无监督学习方法,可以方便地扩展到广泛的语言和领域。我们发现,与双文本检索(BR)和自然语言推理(NLI)任务共同训练的多语言CMLM模型的性能大大优于以前最先进的多语言模型,例如,在跨语言语义搜索的基线模型上提高了10%。我们探讨了学习的表示相同的语言偏见,并提出了一个简单的,后训练和模型不可知的方法,以消除语言识别信息的表示,同时仍然保留句子语义。
2021-09-10 cs.CL
AKCIT-FN at CheckThat! 2025: Switching Fine-Tuned SLMs and LLM Prompting for Multilingual Claim Normalization
Institute of Informatics, Federal University of Goiás, Brazil(信息学院,戈亚斯联邦大学,巴西);Advanced Knowledge Center in Immersive Technology (AKCIT), Federal University of Goiás, Brazil(沉浸式技术高级知识中心(AKCIT),戈亚斯联邦大学,巴西)
本文提出结合微调小型语言模型和大语言模型提示的方法,在 CLEF-2025 CheckThat! 多语言主张规范化任务的二十种语言中十五种获得前三名,验证了零样本策略的有效性。
2025-09-15 cs.CL
On the Cross-lingual Transferability of Monolingual Representations
HiTZ Center, University of the Basque Country (UPV/EHU)(巴斯克大学 HiTZ 中心);DeepMind
最先进的无监督多语言模型(例如,多语言BERT)已被证明在zero-shot跨语言设置中泛化。这种泛化能力归因于使用共享的子词词汇表和跨多种语言的联合训练,从而产生深层的多语言抽象。我们通过设计一种替代方法来评估这一假设,该方法将单语模型转移到词汇水平的新语言。更具体地说,我们首先在一种语言上训练基于转换器的掩码语言模型,并通过学习具有相同掩码语言建模目标的新嵌入矩阵,冻结所有其他层的参数,将其转换为新语言。这种方法不依赖于共享词汇或联合培训。然而,我们表明,它是有竞争力的多语言BERT在标准的跨语言分类基准和一个新的跨语言问答数据集(XQuAD)。我们的研究结果与多语言模型泛化能力基础的共同信念相矛盾,并表明深层单语言模型学习一些跨语言泛化的抽象。我们还发布了XQuAD作为一个更全面的跨语言基准测试,它包括来自SQuAD v1.1的240个段落和1190个问答对,由专业翻译人员翻译成10种语言。
2020-05-26 cs.AI cs.CL cs.LG
Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文介绍了多语种屏蔽语言模型对特定语言的适应方法。预训练的双向语言模型在包括阅读理解、自然语言推理和情感分析在内的各种任务上表现出最先进的性能。目前,有两种可供选择的方法来训练这种模式:单语和多语种。虽然语言特定的模型表现出优越的性能,但多语言模型允许执行从一种语言到另一种语言的转换,并同时解决不同语言的任务。这项工作表明,从多语言模型到单语言模型的迁移学习导致阅读理解,释义检测和情感分析等任务的性能显着增长。此外,单语模型的多语言初始化大大减少了训练时间。俄语的预训练模型是开源的。
2019-05-17 cs.CL
Filipino Benchmarks for Measuring Sexist and Homophobic Bias in Multilingual Language Models from Southeast Asia
School of Computer Science, University of Birmingham(英国伯明翰大学计算机科学学院);Department of Information Systems and Computer Science, Ateneo de Manila University(马尼拉亚托大学信息系统与计算机科学系)
研究引入 Filipino CrowS-Pairs 和 Filipino WinoQueer 基准,评估处理菲律宾语的多语言模型中的性别与反酷儿偏见,发现模型偏见程度受预训练数据量影响,为未来偏见分析奠定基础。
2024-12-11 cs.CL
Scalable Multilingual Frontend for TTS
Apple(苹果公司)
本文描述了神经文本到语音(TTS)前端的进展,该前端适用于多种语言,并且可以轻松扩展到新语言。我们采用机器翻译(MT)启发的方法来构建前端,并通过构建和使用序列到序列(S2S)模型在句子级别上对文本规范化和发音进行建模。我们尝试将标准化和发音作为单独的S2S模型进行训练,并将这两种功能结合起来训练单个S2S模型。对于我们独立于语言的发音方法,我们不使用词汇。相反,所有发音,包括基于上下文的发音,都在S2S模型中捕获。我们还提出了一种独立于语言的组块和拼接技术,使我们能够处理任意长度的句子。对18种语言的模型进行了训练和评估。许多测量精度都在99%以上。我们还在当前生产系统的端到端合成背景下评估了这些模型。
2020-04-10 cs.CL
FinEst BERT and CroSloEngual BERT: less is more in multilingual models
University of Ljubljana(卢布尔雅那大学)
大型预训练的掩蔽语言模型已经成为许多NLP问题的最先进的解决方案。不过,这项研究主要集中在英语语言上。虽然存在大量多语言模型,但研究表明,单语言模型产生的结果要好得多。我们训练了两个三语类BERT模型,一个用于芬兰语、爱沙尼亚语和英语,另一个用于克罗地亚语、斯洛文尼亚语和英语。我们使用多语言BERT和XLM-R作为基线,评估了它们在几个下游任务,NER,POS标记和依存句法分析上的性能。新创建的FinEst BERT和CroSloEngual BERT在大多数单语和跨语言情况下改善了所有任务的结果
2020-06-14 cs.CL
Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining
Charles University(查理大学);University of the Basque Country(巴斯克大学)
现有的多语言句子嵌入模型需要大量的并行数据资源,这对于低资源语言是不可用的。我们提出了一种新的无监督的方法来获得多语言句子嵌入只依赖于单语数据。我们首先使用无监督机器翻译生成一个合成的平行语料库,并使用它来微调预训练的跨语言掩蔽语言模型(XLM),以获得多语言句子表示。在两个并行的语料库挖掘任务上评估了表示的质量,与vanilla XLM相比提高了22个F1点。此外,我们观察到,一个单一的合成双语语料库是能够提高其他语言对的结果。
2021-05-21 cs.CL
Inducing Language-Agnostic Multilingual Representations
Technische Universität Darmstadt(达姆施塔特工业大学);University of Copenhagen(哥本哈根大学);Aalborg University(奥尔堡大学)
跨语言表示有可能使NLP技术适用于世界上绝大多数语言。然而,它们目前需要大型预训练语料库或访问类型相似的语言。在这项工作中,我们解决了这些障碍,从多语言嵌入的语言身份信号。我们为此研究了三种方法:(i)将目标语言的向量空间(全部)重新对齐到一个枢轴源语言;(ii)去除语言特定的均值和方差,这将产生更好的嵌入区分度作为副产品;以及(iii)通过去除形态收缩和句子重新排序来增加语言之间的输入相似性。我们在XNLI和无参考MT上评估了19种类型学上不同的语言。我们的研究结果暴露了这些方法的局限性--与向量归一化不同,向量空间重新对齐和文本归一化不能在编码器和语言之间实现一致的增益。然而,由于这些方法的累加效应,它们的组合在所有任务和语言中平均将跨语言迁移差距减少了8.9分(m-BERT)和18.2分(XLM-R)。我们的代码和模型是公开的。
2021-06-21 cs.CL
Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization
University of Maryland, College Park(马里兰大学帕克分校);Massachusetts Institute of Technology(麻省理工学院)
跨语言词嵌入(CLWE)是许多多语言自然语言处理系统的基础,通常通过预训练的单语言嵌入的正交变换。然而,正交映射只适用于嵌入自然同构的语言对。对于非同构对,我们的方法(迭代归一化)通过同时强制(1)单个单词向量为单位长度,以及(2)每种语言的平均向量为零,来转换单语嵌入,以使正交对齐更容易。迭代规范化一致地提高了三种CLWE方法的单词翻译准确度,其中在英语-日语上观察到的改进最大(从2%到44%的测试准确度)。
2019-11-11 cs.AI cs.CL cs.LG
Multilingual LAMA: Investigating Knowledge in Multilingual Pretrained Language Models
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS))
近年来,人们发现单语英语语言模型可以作为知识库。代替结构化知识库查询,使用诸如“Paris is the capital of [MASK]”之类的掩码语句作为探测。我们将已建立的基准TREx和GoogleRE翻译成53种语言。通过与mBERT合作,我们研究了三个问题。(i)mBERT可以用作多语言知识库吗?大多数以前的工作只考虑英语。将研究扩展到多种语言对于多样性和可访问性非常重要。(ii)mBERT作为知识库的性能是独立于语言的,还是因语言而异?(iii)多语言模型在更多文本上训练,例如,mBERT在104个维基百科上训练。mBERT能利用这一点来提高性能吗?我们发现,使用mBERT作为知识库会产生不同的语言和语言之间的池预测性能提高不同的性能。相反,mBERT表现出语言偏见;例如,当用意大利语查询时,它倾向于预测意大利是原产国。
2021-02-01 cs.CL
Medical Concept Normalization in a Low-Resource Setting
University of Potsdam(波茨坦大学);Faculty of Human Sciences(人文科学学院)
本文针对低资源环境下德语外行文本的医学概念规范化任务,构建了基于在线论坛的标注数据集,发现多语言Transformer模型优于字符串相似度方法,并进行了系统错误分析提出改进建议。
2024-09-06 cs.CL cs.LG
XLM-K: Improving Cross-Lingual Language Model Pre-training with Multilingual Knowledge
Microsoft Research Asia(微软亚洲研究院)
跨语言预训练在单语和双语纯文本语料库中取得了很大的成功。然而,大多数预训练模型忽略了多语言知识,这是语言不可知的,但包括丰富的跨语言结构对齐。在本文中,我们提出了XLM-K,一个跨语言的语言模型,将多语言知识的预训练。XLM-K通过两个知识任务增强了现有的多语言预训练,即掩蔽实体预测任务和对象蕴涵任务。我们在MLQA,NER和XNLI上评估XLM-K。实验结果清楚地表明,显着改善现有的多语言语言模型。MLQA和NER的测试结果显示了XLM-K在知识相关任务中的优越性。XNLI的成功表明XLM-K具有更好的跨语言可移植性。更重要的是,我们提供了一个详细的探测分析,以确认在我们的预培训方案中捕获的所需知识。该代码可在https://github.com/microsoft/Unicoder/tree/master/pretraining/xlmk上获得。
2022-04-24 cs.CL
Analyzing and Fine-Tuning Whisper Models for Multilingual Pilot Speech Transcription in the Cockpit
Institute of Data Science(数据科学研究所);German Aerospace Center(德国航空航天中心)
本文针对 Whisper 模型在多语言座舱飞行员语音转录中准确率低的问题,通过收集并标注相关录音,提出多种归一化方案,并利用 LoRA 进行高效微调,显著降低了词错率。
2025-06-27 cs.AI cs.CL cs.LG
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校计算机科学与工程系);Department of CSE, Indian Institute of Technology Bombay(印度理工学院孟买分校计算机科学与工程系);SCEE, Indian Institute of Technology Mandi(印度理工学院曼迪分校软件工程系);Adobe Research(Adobe研究)
本研究针对17种印度语言,系统评估了子词算法、标准化方法、词汇量及词汇构建策略对多语言分词的影响,发现脚本特定标准化、Unigram LM保留形态边界及聚类词汇构建可提升性能。
2026-06-23 cs.CL
Embedding Inversion via Conditional Masked Diffusion Language Models
Jina AI by Elastic(Jina AI)
本文提出通过条件掩码扩散语言模型实现嵌入反向,无需访问目标编码器,通过并行去噪技术高效恢复标记。
2026-02-18 cs.CL
PolyNorm: Few-Shot LLM-Based Text Normalization for Text-to-Speech
Apple(苹果公司)
PolyNorm利用少样本大语言模型和语言无关的自动数据构建评估流程,在八种语言上降低文本规范化词错误率,并发布多语言基准数据集PolyNorm-Benchmark。
2025-11-05 cs.CL cs.LG
SpeechWeave: Diverse Multilingual Synthetic Text & Audio Data Generation Pipeline for Training Text to Speech Models
Oracle AI
针对TTS模型训练数据获取难、多样性不足等问题,提出SpeechWeave合成数据生成流水线,可自动生成多语言领域数据集,在多样性、归一化准确率和语音一致性上表现更优。
2025-10-01 cs.AI cs.CL cs.LG
KIT-TIP-NLP at MultiPride: Continual Learning with Multilingual Foundation Model
Text Information Processing Lab, Kitami Institute of Technology, Kitami, Hokkaido 090-0015, Japan(函授信息处理实验室,Kitami理工学院,日本北海道Kitami,090-0015)
本文提出了一种多阶段框架,用于检测社交媒体中多语言的重新使用侮辱性语言。该框架解决了跨英语、西班牙语和意大利语推文中识别重新使用与非重新使用LGBTQ+相关侮辱性语言的挑战,通过数据驱动的模型选择、语义保留的增强、归纳迁移学习和领域特定知识注入等方法,提高了多语言情感表达的识别能力。
2026-05-18 cs.AI cs.CL cs.LG
On Evaluating and Mitigating Gender Biases in Multilingual Settings
Microsoft Research India(微软印度研究院)
本文针对多语言环境下性别偏见评估与缓解的挑战,构建了基于人工标注的印度语言偏见评估基准,扩展多种去偏方法并验证其在多语言模型上的效果。
2023-07-04 cs.CL
DQ-Data2vec: Decoupling Quantization for Multilingual Speech Recognition
Northwestern Polytechnical University(西北工业大学);Bytedance Speech(字节跳动语音);Beijing Bytedance Technology Co Ltd(北京字节跳动科技有限公司)
针对多语言ASR中data2vec多层平均导致语言和音素特征耦合的问题,提出DQ-Data2vec,利用指定簇数的K-means量化器解耦浅层语言与中层音素信息,在CommonVoice上PER和WER分别相对降低9.51%和11.58%。
2025-01-23 cs.CL cs.SD eess.AS
Cross-lingual Similarity of Multilingual Representations Revisited
University of Tartu(塔尔图大学);Institute of Computer Science(计算机科学研究所)
相关工作使用CKA和CCA的变体等索引来度量多语言语言模型中跨语言表示的相似性。在本文中,我们认为CKA/CCA的假设与跨语言学习分析的激励目标之一,即,解释zero-shot跨语言迁移。我们强调什么跨语言的相似性,这些指标未能捕捉和提供一个激励性的案例研究\textit{demonstrating the problem empirically}有价值的方面。然后,我们介绍了\textit{Average Neuron-Wise Correlation (ANC)}作为一个简单的替代方案,是免除CKA/CCA的困难,是很好的,特别是在跨语言的背景下。最后,我们使用ANC来构造证据,证明先前引入的“先对齐,然后预测”模式不仅发生在掩蔽语言模型(MLMs)中,而且发生在具有\textit{causal language modeling}目标的多语言模型(CLMs)中。此外,我们表明,该模式扩展到\textit{scaled versions}的MLMs和CLMs(高达85倍的原始mBERT)。\footnote{Our code is publicly available at \url{https://github.com/TartuNLP/xsim}}
2022-12-04 cs.AI cs.CL cs.LG
MTLB-STRUCT @PARSEME 2020: Capturing Unseen Multiword Expressions Using Multi-task Learning and Pre-trained Masked Language Models
ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学);Microsoft(微软)
本文描述了一个半监督系统,共同学习口头多词表达(VMWEs)和依赖分析树作为辅助任务。该模型受益于预先训练的多语言BERT。BERT隐藏层在两个任务之间共享,我们引入了一个额外的线性层来检索VMWE标签。依赖分析树预测模型由一个线性层和一个双线性层加上一个树CRF的顶部BERT。该系统参与了PARSEME共享任务2020的开放式轨道,并在识别未见过的VMWE以及一般VMWE方面的F1得分方面排名第一,平均跨越所有14种语言。
2020-11-04 cs.CL
Diffutron: A Masked Diffusion Language Model for Turkish Language
Hugging Face
本文提出Diffutron,一种专为土耳其语言设计的掩码扩散语言模型,通过高效训练流程和分阶段指令微调,实现了紧凑模型在土耳其语言生成任务中的竞争力表现。
2026-03-20 cs.AI cs.CL
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research(Meta人工智能研究院)
本文提出首个支持多种目标语言的多语言S2ST系统,通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器,在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
LexLattice: Multilingual Extractive Summarization via Neural Cellular Automata on Document Hierarchies
The University of Winnipeg(温尼伯大学)
LexLattice通过二维神经细胞自动机整合法律文档层次结构,以1.8M参数实现多语言抽取式摘要的最先进ROUGE,并跨语言近无损迁移。
2026-09-24 cs.CL cs.LG cs.NE
SwissBERT: The Multilingual Language Model for Switzerland
University of Zurich(苏黎世大学)
SwissBERT是一个面向瑞士四种国家语言的掩码语言模型,通过语言适配器适配新闻文本,在瑞士相关自然语言理解任务上优于先前模型,并支持未来扩展至瑞士德语方言。
2024-01-16 cs.CL
MELM: Data Augmentation with Masked Entity Language Modeling for Low-Resource NER
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
数据增强是解决低资源情景下数据稀缺问题的有效办法。然而,当应用于令牌级任务,如NER,数据增强方法往往遭受令牌标签错位,这导致不满意的性能。在这项工作中,我们提出了掩蔽实体语言建模(MELM)作为一种新的数据增强框架低资源NER。为了缓解标记标签不对齐的问题,我们显式地将NER标签注入到句子上下文中,因此微调的MELM能够通过显式地调节它们的标签来预测掩蔽的实体标记。因此,MELM生成具有新实体的高质量增强数据,这提供了丰富的实体规则性知识并提高了NER性能。当来自多种语言的训练数据可用时,我们还将MELM与代码混合集成以进一步改进。我们证明了MELM在单语,跨语言和多语言NER在各种低资源水平的有效性。实验结果表明,我们的MELM提出了实质性的改善基线方法。
2022-03-18 cs.CL
Learning to Scale Multilingual Representations for Vision-Language Tasks
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
当前的多语言视觉语言模型要么需要为每种支持的语言提供大量的附加参数,要么随着语言的增加而性能下降。在本文中,我们提出了一种可扩展的多语言对齐语言表示(SMALR),它支持多种语言,只需很少的模型参数,而不会牺牲下游任务性能。SMALR为多语言词汇表中的大多数单词学习固定大小的语言不可知表示,仅保留少数语言特定的功能。我们使用掩蔽的跨语言建模损失来将特征与其他语言的上下文对齐。此外,我们提出了一个跨语言的一致性模块,确保预测查询和它的机器翻译是可比的。SMALR的有效性在10种不同的语言中得到了证明,是迄今为止视觉语言任务支持的数量的两倍多。我们对多语言图像句子检索进行了评估,与其他词嵌入方法相比,我们的训练参数不到1/5,性能优于之前的工作3-4%。
2020-08-27 cs.CL cs.CV
Extrapolating Multilingual Understanding Models as Multilingual Generators
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出语义引导的对齐后去噪(SGA)方法,将多语言理解模型XLM-R适配为生成器,在机器翻译、问题生成和故事生成任务上显著优于初始化方法,但在监督设置下仍不及mBART。
2023-05-22 cs.CL
Emerging Cross-lingual Structure in Pretrained Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);Facebook AI(脸书人工智能研究院)
我们研究了多语言掩蔽语言建模的问题,即从多种语言的连接文本上训练单个模型,并详细研究了影响这些模型为什么对跨语言迁移如此有效的几个因素。我们表明,与以前的假设相反,即使在单语语料库中没有共享词汇,并且文本来自非常不同的领域,迁移也是可能的。唯一的要求是在多语言编码器的顶层中有一些共享参数。为了更好地理解这一结果,我们还表明,来自不同语言的独立训练模型的表示可以非常有效地事后对齐,这强烈表明,就像非上下文词嵌入一样,在学习的嵌入空间中存在普遍的潜在对称性。对于多语言掩蔽语言建模,这些对称性似乎在联合训练过程中自动发现并对齐。
2020-05-07 cs.CL