Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study
本文针对多语言神经机器翻译的高内存消耗问题，提出语料驱动词汇剪枝结合定向微调的框架，在英语-阿拉伯语对实验中实现60%内存节省且性能无损失，优化模型表现优于专用双语基线。
2026-08-05 cs.CL
Allocating Large Vocabulary Capacity for Cross-lingual Language Model Pre-training
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Corporation（微软公司）
与单语模型相比，跨语言模型通常需要更有表现力的词汇表来充分表示所有语言。我们发现，许多语言是在最近的跨语言语言模型，由于有限的词汇量表示不足。为此，我们提出了一种算法VoCap来确定每种语言所需的词汇量。然而，增加词汇量会显着降低预训练速度。为了解决这些问题，我们提出了基于k-NN的目标采样来加速昂贵的softmax。我们的实验表明，使用VoCap学习的多语言词汇有利于跨语言语言模型的预训练。此外，基于k-NN的目标采样减轻了增加词汇量的副作用，同时实现了相当的性能和更快的预训练速度。代码和预训练的多语言词汇表可以在https://github.com/bozheng-hit/VoCapXLM上找到。
2021-09-15 cs.CL
Fast Vocabulary Projection Method via Clustering for Multilingual Machine Translation on GPU
Microsoft（微软）
多语言神经机器翻译使用Transformer模型已经取得了巨大的成功。部署这些模型具有挑战性，因为它们通常需要各种语言的大词汇量。这限制了预测最后一个词汇投影层中的输出标记的速度。为了缓解这些挑战，本文提出了一种快速的词汇投影方法，通过聚类，可用于多语言Transformers器上的GPU。首先，我们离线分割词汇搜索空间到不相交的集群给定的隐藏上下文向量的解码器输出，这导致在更小的词汇列的词汇投影。第二，在推理时，该方法预测的聚类和候选活动令牌的隐藏上下文向量的词汇投影。本文还分析了在多语言环境中构建这些集群的不同方法。我们的结果显示，float16 GPU推理的端到端速度提升高达25%，同时保持BLEU分数并略微增加内存成本。所提出的方法将词汇投影步骤本身的速度提高了2.6倍。我们还进行了广泛的人工评估，以验证所提出的方法保留了原始模型的翻译质量。
2022-08-14 cs.CL cs.LG
Embedding structure matters: Comparing methods to adapt multilingual vocabularies to new languages
University of Washington（华盛顿大学）
本文针对多语言模型语言适配中跨语言词汇表计算成本高的问题，提出多种紧凑语言特定词汇表替换及嵌入矩阵重新初始化技术，并通过系统实验证明其能高效提升低资源语言性能，且简单方法可与Focus方法相媲美。
2023-10-26 cs.CL
Evaluating Dedicated Monolingual and Joint Multilingual Causal Models for Dravidian Languages
本文训练5个GPT-2架构模型对比达罗毗荼语的单语与多语模型，发现单语模型在情感分类等任务上优于mGPT，分词器效率也更高。
2026-08-11 cs.CL
Parallel Tokenizers: Rethinking Vocabulary Design in Cross-Lingual Transfer of Low-Resource Languages
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对低资源语言跨语言转移中因词汇映射问题限制表示学习的情况，提出并行分词器框架，先单语训练再对齐词汇表，实验表明该方法训练的模型在多任务中优于传统基线，对推进多语言表示学习意义重大。
2026-09-29 cs.CL
Continual Learning in Multilingual NMT via Language-Specific Embeddings
NAVER LABS Europe（NAVER LABS 欧洲）
本文提出了一种新的源语言或目标语言添加到现有的多语言NMT模型，而无需重新训练它的初始语言集的技术。它包括用一个小的特定于语言的词汇表替换共享词汇表，并在新语言的并行数据上微调新嵌入。可以训练一些附加的语言特定组件以提高性能（例如，Transformer层或适配器模块）。由于原始模型的参数未被修改，因此其在初始语言上的性能不会降低。我们在两组实验（TED Talks上的小规模实验和ParaCrawl上的大规模实验）中表明，这种方法的性能与成本更高的替代方案一样好或更好;并且它具有出色的zero-shot性能：以英语为中心的数据的训练足以在新语言和任何初始语言之间进行翻译。
2021-10-20 cs.CL
Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
Language Technology Lab（语言技术实验室）；University of Amsterdam（阿姆斯特丹大学）
针对多语言 NMT 中共享词汇因文字差异导致迁移受限的问题，提出基于词汇等价类和图网络融合跨语言词嵌入的方法，在高、低资源场景下最高提升 BLEU 2.3 分且开销很小。
2024-01-20 cs.CL cs.LG
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts
Technical University of Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）；DeepMind
多语言BERT等大规模多语言模型在一系列NLP任务上提供了最先进的跨语言迁移性能。然而，由于容量有限和预训练数据大小差异较大，资源丰富和资源贫乏的目标语言之间存在巨大的性能差距。最终的挑战是处理模型根本没有涵盖的资源不足的语言，并且在预训练期间看不到脚本。在这项工作中，我们提出了一系列新颖的数据高效方法，使预训练的多语言模型能够快速有效地适应这种低资源语言和看不见的脚本。依靠矩阵分解，我们的方法利用了预训练模型的嵌入矩阵中已经存在的关于多种语言的潜在知识。此外，我们还表明，在目标语言中学习新的专用嵌入矩阵可以通过利用少量的词汇项（即，所谓的词汇重叠标记）在mBERT和目标语言词汇表之间共享。我们的适应技术为具有不可见脚本的语言提供了大量的性能提升。我们还证明了它们可以改进预训练模型所涵盖的脚本中编写的低资源语言。
2021-09-10 cs.CL
Improving Multilingual Models with Language-Clustered Vocabularies
Google Research（谷歌研究）
最先进的多语言模型依赖于覆盖模型在推理时期望看到的所有语言的词汇表，但是生成这些词汇表的标准方法对于大规模多语言应用程序来说并不理想。在这项工作中，我们介绍了一种新的多语言词汇生成程序，结合了几个自动派生的语言集群单独训练的词汇，从而平衡跨语言的子词共享和语言特定的词汇之间的权衡。我们的实验表明，在关键的多语言基准任务TyDi QA（+2.9 F1），XNLI（+2.1\%）和WikiAnn NER（+2.8 F1）上，不同语言的改进以及词汇表外率的8倍减少，所有这些都没有增加模型或数据的大小。
2020-10-24 cs.CL cs.LG
Specializing Multilingual Language Models: An Empirical Study
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
预训练的多语言语言模型已成为将NLP功能转换为低资源语言的常用工具，通常具有适应性。在这项工作中，我们研究的性能，可扩展性和相互作用的两个这样的适应：词汇扩增和脚本音译。我们对九种不同的低资源语言的词性标记、通用依存句法分析和命名实体识别的评估支持了这些方法的可行性，同时提出了如何最佳地使多语言模型适应低资源环境的新问题。
2022-06-18 cs.CL
BiVert: Bidirectional Vocabulary Evaluation using Relations for Machine Translation
Ben Gurion University（本·古里安大学）
针对传统机器翻译评估对语义重视不足的问题，提出基于BabelNet的双向语义评估方法BiVert，通过计算源文本与回译文的语义距离实现同语言层面对比，与人工评估相关性强，且无需平行语料即可排名MT系统。
2024-03-06 cs.CL
Overcoming Vocabulary Constraints with Pixel-level Fallback
University of Copenhagen（哥本哈根大学）；Apple（苹果公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出一种无词汇表编码器，通过将文本渲染为像素生成输入嵌入来增强预训练语言模型，显著提升了机器翻译和跨语言迁移性能，无需大量重训即可增强多语能力并降低解码延迟。
2025-08-10 cs.CL
Extending the Subwording Model of Multilingual Pretrained Models for New Languages
National Institute of Information and Communications Technology（信息通信技术研究所）
多语言预训练模型对于机器翻译和跨语言处理是有效的，因为它们在一个模型中包含多种语言。然而，它们是在它们的标记器固定之后进行预训练的;因此，在预训练之后很难改变词汇。当我们将预训练模型扩展到新语言时，我们必须同时修改标记器。在本文中，我们将新的子词添加到SentencePiece标记器中，以将多语言预训练模型应用于新语言（本文中的Inuktitut）。在我们的实验中，我们将因纽特语句子分割成子词，而不改变已经预训练的语言的分割，并将mBART-50预训练模型应用于英语-因纽特语翻译。
2022-11-29 cs.CL
Efficient Inference for Multilingual Neural Machine Translation
NAVER LABS Europe（NAVER LABS 欧洲）；NAVER Corp.（NAVER 公司）
多语言NMT已经成为生产中MT部署的一个有吸引力的解决方案。但为了达到双语质量，它的代价是更大更慢的模型。在这项工作中，我们考虑了几种方法，使多语言NMT更快的推理，而不会降低其质量。我们在两个20种语言的多并行设置中实验了几种“轻解码器”架构：小规模的TED演讲和大规模的ParaCrawl。我们的实验表明，将浅层解码器与词汇过滤相结合，可以在不损失翻译质量的情况下，使推理速度提高两倍以上。我们用BLEU和chrF（380个语言对），鲁棒性评估和人类评估来验证我们的发现。
2021-11-08 cs.CL
Efficiently Upgrading Multilingual Machine Translation Models to Support More Languages
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Meta AI
随着多语言机器翻译（MMT）模型的规模和支持语言的数量持续增长，随着数据以更多语言可用，重用和升级现有模型以节省计算是很自然的。然而，添加新的语言需要更新词汇表，这使得嵌入的重用变得复杂。如何在重用现有模型的同时进行架构更改以提供新旧语言的能力，这个问题也没有得到深入研究。在这项工作中，我们介绍了三种技术，帮助加快有效的学习新的语言和减轻灾难性遗忘，尽管词汇和架构不匹配。我们的研究结果表明，通过（1）仔细初始化网络，（2）应用学习率缩放，以及（3）执行数据上采样，有可能以30%的计算量超过相同大小的基线模型的性能，并恢复从头开始训练的更大模型的性能，计算量减少超过50%。此外，我们的分析表明，引入的技术有助于更有效地学习新的方向，并在同一时间减轻灾难性遗忘。我们希望我们的工作将指导研究更有效的方法来为这些MMT模型增加语言，并最终最大限度地重用现有模型。
2023-02-07 cs.CL
Addressing word-order Divergence in Multilingual Neural Machine Translation for extremely Low Resource Languages
Microsoft AI & Research（微软人工智能与研究院）
用于神经机器翻译（NMT）的迁移学习方法训练关于辅助-目标语言对（父模型）的NMT模型，其稍后针对感兴趣的源-目标语言对（子模型）进行微调，其中目标语言是相同的。在许多情况下，辅助语言具有与源语言不同的词序。我们发现，当源语言和目标语言之间几乎没有平行语料库时，不同的词序会限制迁移学习的益处。为了弥合这种分歧，我们提出了预排序的辅助语言句子匹配源语言的词序和训练父模型。我们对许多语言对的实验表明，弥合语序差距会显着提高翻译质量。
2019-04-10 cs.CL
Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation
Yıldız Technical University（Yıldız技术大学）；Istanbul Bilgi University（伊斯坦布尔比尔格大学）
提出一种高效的三阶段适应流程，通过跨语言分词器优化、教师模型克隆和离线蒸馏，构建了土耳其语句子嵌入模型embeddingmagibu-200m，在STSbTR上超越教师模型，并在TR-MTEB上以更少参数达到竞争性能。
2026-05-28 cs.CL
Capacity Constraints and the Multilingual Penalty for Lexical Disambiguation
Rutgers University - Newark（罗格斯大学-纽瓦克）
本研究发现多语言语言模型在词义消歧任务中面临容量限制，包括表示性、注意性和词汇相关性问题，这些因素影响了模型性能。
2026-02-04 cs.CL
An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient Language Model Inference
School of Computer Science, University of Sheffield（谢菲尔德大学计算机学院）；The Alan Turing Institute（阿兰·图灵研究所）
本文对五种跨语言词表适配方法在四种生成式LLMs和四种语言上进行实证研究，发现CVA能实现高达271.5%的推理加速，且在均衡多语言数据上预训练的模型适配后下游性能与原模型相当。
2024-09-26 cs.AI cs.CL
Multilingual Pixel Representations for Translation and Effective Cross-lingual Transfer
Johns Hopkins University（约翰斯·霍普金斯大学）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Microsoft（微软）
本文提出使用像素表示有效训练多语言机器翻译模型，实验表明其性能优于子词嵌入，并通过参数共享实现无缝跨语言迁移和更高数据效率。
2023-10-24 cs.CL
How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
Technical University of Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）；DeepMind（深度思维）；University of Copenhagen（哥本哈根大学）
在这项工作中，我们提供了一个系统的和全面的经验比较预训练的多语言语言模型与单语对应的单语任务性能。我们研究了一组九种类型不同的语言与现成的预训练单语模型上的一组五个不同的单语下游任务。我们的目标首先是建立，通过公平和受控的比较，如果该语言的多语言和相应的单语表示之间存在差距，随后调查的原因，任何性能差异。为了解开混淆因素，我们在相同的数据上训练新的单语言模型，使用单语言和多语言训练的标记器。我们发现，虽然预训练数据大小是一个重要因素，但指定的单语标记器在下游性能中起着同样重要的作用。我们的研究结果表明，在多语言模型的词汇表中充分表示的语言表现出可以忽略不计的性能下降，比单语同行。我们进一步发现，用专门的单语分词器替换原始的多语言分词器可以提高几乎所有任务和语言的多语言模型的下游性能。
2021-06-01 cs.CL
Extremely low-resource machine translation for closely related languages
University of Tartu（塔尔图大学）
一种有效的方法来改善极低资源的神经机器翻译是多语言训练，这可以通过利用单语数据使用反向翻译方法创建合成双语语料库来改善。这项工作的重点是乌拉尔语系的密切相关的语言：从爱沙尼亚和芬兰的地理区域。我们发现，多语言学习和合成语料库提高了我们有数据的每个语言对的翻译质量。我们证明了迁移学习和微调对于进行低资源机器翻译非常有效，并取得了最佳效果。我们收集了新的平行数据Vagrero，北，南萨米语和目前的神经机器翻译这些语言的第一个结果。
2021-05-27 cs.CL
English-to-Prakrit Machine Translation via Multilingual Transfer Learning
Sardar Vallabhbhai National Institute of Technology（萨达尔·瓦拉布尔·尼西特国家理工学院）
针对低资源目标语言普拉克里特语，通过将普拉克里特语映射到印地语标签并利用多语言模型，在少量平行语料上实现可行的机器翻译，揭示了脚本兼容的语言路由对未支持古典语言的迁移潜力及数据稀缺和方言不匹配的限制。
2026-06-04 cs.CL
Multi-view Subword Regularization
Carnegie Mellon University（卡内基梅隆大学）；DeepMind
多语言预训练表示通常依赖于子词切分算法来创建共享的多语言词汇表。然而，标准的启发式算法往往会导致次优分割，特别是对于数据量有限的语言。在本文中，我们采取两个主要步骤来缓解这个问题。首先，我们根据经验证明，应用现有的子字正则化方法（Kudo，2018; Provilkov等人，2020）在预训练的多语言表示的微调期间提高了跨语言迁移的有效性。其次，为了充分利用不同可能的输入分割，我们提出了多视图子字正则化（MVR），这是一种强制使用标准和概率分割标记化的输入的预测之间的一致性的方法。XTREME多语言基准测试的结果（Hu等人，2020）表明，MVR比使用标准分割算法带来了高达2.5分的一致改进。
2021-04-06 cs.CL
Duluth at SemEval-2025 Task 7: TF-IDF with Optimized Vector Dimensions for Multilingual Fact-Checked Claim Retrieval
Department of Computer Science University of Minnesota（计算机科学系明尼苏达大学）
本研究针对SemEval-2025任务7的多语言事实核查声明检索任务，提出优化向量维度与分词策略的TF-IDF检索系统，验证了传统方法在有限资源场景下的竞争力。
2025-05-19 cs.CL
ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models
Department of Computer Science, University of Agriculture Faisalabad（费萨拉巴德农业大学计算机科学系）
针对罗马乌尔都语拼写变异导致的子词碎片化问题，提出ROMEVA方法，结合子词平均初始化和PCA引导的锚点损失来稳定词汇扩展中的嵌入，实验发现下游性能与嵌入稳定性存在脱节。
2026-06-23 cs.CL
Adapting Multilingual Neural Machine Translation to Unseen Languages
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
针对低资源语言（LRL）的多语言神经机器翻译（MNMT）可以通过相关高资源语言（HRL）的存在来增强，但是HRL的相关性通常依赖于关于语言相似性的预定义语言假设。最近，MNMT适应LRL已被证明可以大大提高性能。在这项工作中，我们探讨了MNMT模型适应一个看不见的LRL使用数据选择和模型自适应的问题。为了改进LRL的NMT，我们使用困惑度来选择与LRL最相似的HRL数据。我们广泛地探索了流行的多语言NMT设置中的数据选择，即在（zero-shot）翻译中，以及在两个方向（LRL-en）的多语言预训练模型的适应中。我们进一步表明，动态适应模型的词汇结果在一个更有利的分割LRL相比，直接适应。实验表明，即使LRL数据为零（+13.0 BLEU），也可以减少训练时间，并在LRL基线上获得显着的性能提升，对于预训练的多语言模型动态自适应与相关数据选择，最高可达+17.0 BLEU。我们的方法优于目前的方法，如大规模多语言模型和数据增强，在四个LRL。
2019-10-30 cs.CL
Effective Cross-lingual Transfer of Neural Machine Translation Models without Shared Vocabularies
RWTH Aachen University（亚琛工业大学）
迁移学习或多语言模型是低资源神经机器翻译（NMT）的必要条件，但其适用性仅限于同源语言，共享其词汇。本文展示了将预训练的NMT模型转移到没有共享词汇的新的无关语言的有效技术。我们通过使用跨语言词嵌入来缓解词汇不匹配，通过注入人工噪声来训练与语言无关的编码器，并且从预训练数据容易地生成合成数据而无需反向翻译。我们的方法不需要重组词汇或重新训练模型。在五个低资源翻译任务中，我们将普通NMT传输提高了5.1% BLEU，大大优于多语言联合训练。我们还提供了关于预训练嵌入、合成数据、词汇量和参数冻结的广泛消融研究，以更好地理解NMT转移。
2019-06-05 cs.CL cs.LG
Integrating Multi-scale Contextualized Information for Byte-based Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
针对基于字节的神经机器翻译存在的信息密度低、已有方法无法动态适配上下文范围的问题，提出多尺度上下文建模方法，通过不同隐状态维度学习多尺度上下文并动态融合，在多语言和域外场景下效果显著优于现有方法。
2024-08-11 cs.CL
Neural Machine Translation with Byte-Level Subwords
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
几乎所有现有的机器翻译模型都建立在基于字符的词汇表之上：字符、子词或词。然而，来自嘈杂文本或字符丰富的语言（如日语和中文）的稀有字符可能会不必要地占用词汇表，并限制其紧凑性。在字节级别表示文本并使用256字节集作为词汇表是解决这个问题的一个潜在方案。然而，高计算成本阻碍了它在实践中的广泛部署或使用。在本文中，我们研究了字节级子词，特别是字节级BPE（BBPE），它比字符词汇表更简单，没有词汇表外的标记，但比只使用纯字节更有效。我们声称，将BBPE嵌入上下文化是必要的，这可以通过卷积层或递归层来实现。实验表明，BBPE具有与BPE相当的性能，而其大小仅为BPE的1/8。在多语言环境中，BBPE最大限度地实现了多种语言之间的词汇共享，并实现了更好的翻译质量。此外，我们表明，BBPE能够在具有非重叠字符集的语言之间传输模型。
2019-12-05 cs.CL
Soft Token Alignment for Cross-Lingual Reasoning
Georgia Institute of Technology（佐治亚理工学院）
提出SOLAR方法，通过软令牌对齐跨语言表示，提升多语言推理准确率，尤其对低资源语言效果显著。
2026-06-26 cs.CL
Language-Specific Effects of Tokenizer Choice in Multilingual Language Models
EPFL（洛桑联邦理工学院）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
该研究针对多语言语言模型，训练123个模型对比54种分词器，发现分词器选择对低资源语言影响更大，且可通过相关指标预测下游模型BPB排名以筛选分词器。
2026-10-09 cs.CL
LangMAP: A Language-Adaptive Approach to Tokenization
EPFL（瑞士联邦理工学院洛桑）；University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
提出LangMAP分词方案，扩展UnigramLM到多语言设置，从共享词汇表生成语言特定分词，无需改变词汇表即可适配预训练模型，在14个分词器、9种自然语言和9种编程语言上提升了形态边界对齐和AST叶边界对齐。
2026-10-27 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译（NMT），具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景，例如多语言NMT和回译，但我们已经根据经验证实，当仅限于域内数据时，它们的成功有限。因此，我们建议通过迁移学习来利用域外数据，首先使用它来训练多语言NMT模型，然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译，在这种资源极其匮乏的情况下，在较强的基线上，帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Romanization-based Large-scale Adaptation of Multilingual Language Models
Technical University of Darmstadt（达姆施塔特工业大学）；Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
本文提出利用UROMAN工具对多语言预训练语言模型进行大规模罗马化适配，在14种低资源语言上验证了其在未见文字和有限数据场景下的有效性，并表明基于罗马化数据的分词器在多数语言中优于非音译方法。
2023-04-18 cs.CL cs.LG
Overlap-based Vocabulary Generation Improves Cross-lingual Transfer Among Related Languages
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Google Research（谷歌研究院）
预先训练的多语言模型，如mBERT和XLM-R，已经证明了zero-shot跨语言迁移到低网络资源语言（LRL）的巨大潜力。然而，由于有限的模型容量，高网络资源语言（HRL）和LRL之间的可用单语语料库的大小的巨大差异并没有提供足够的范围的共同嵌入LRL与HRL，从而影响下游的LRL的任务性能。在本文中，我们认为，沿着词汇重叠的维度在一个语系中的语言之间的相关性可能会被利用来克服一些语料库的限制LRL。我们提出了重叠BPE（OBPE），一个简单而有效的修改BPE词汇生成算法，提高了相关语言的重叠。通过对多个NLP任务和数据集的广泛实验，我们观察到OBPE生成了一个词汇表，通过与HRL共享的标记来增加LRL的表示。这导致从相关HRL到LRL的改进的zero-shot转移，而不降低HRL表示和准确性。与以前的研究，驳回了标记重叠的重要性，我们表明，在低资源相关的语言设置，标记重叠的事项。综合地将重叠减少到零可能导致zero-shot传输精度下降多达四倍。
2022-03-23 cs.CL
Latent Core Tokenizer: Compress, but Meaningfully
Microsoft Research Africa（微软研究院非洲分部）；Microsoft Research Accelerator（微软研究院加速器）；Microsoft Research India（微软研究院印度分部）
该研究提出与语言无关的潜在核心分词器（LCT），通过分离结构发现与词汇构建，在104种语言的分词任务中优于BPE等方法，多语言下游基准得分提升，证明压缩 alone 无法预测表示质量。
2026-10-14 cs.CL
On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation
Peking University（北京大学）；Microsoft Research（微软研究院）
针对零样本多语言神经机器翻译的脱靶问题，本文提出 LAVS 词汇构建算法，通过增大语言间 KL 散度将脱靶率由 29% 降至 8%，并平均提升 BLEU 1.9 分。
2023-06-02 cs.AI cs.CL
One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
Ohio State University（俄亥俄州立大学）；University of Washington（华盛顿大学）
本文通过系统对比三种输入表示，发现罗马化预训练可实现最强跨语言迁移，且优势随模型规模增大而扩大，提出多语言模型应将罗马化作为预训练核心设计选择的结论。
2026-09-09 cs.CL
On the Cross-lingual Transferability of Monolingual Representations
HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学 HiTZ 中心）；DeepMind
最先进的无监督多语言模型（例如，多语言BERT）已被证明在zero-shot跨语言设置中泛化。这种泛化能力归因于使用共享的子词词汇表和跨多种语言的联合训练，从而产生深层的多语言抽象。我们通过设计一种替代方法来评估这一假设，该方法将单语模型转移到词汇水平的新语言。更具体地说，我们首先在一种语言上训练基于转换器的掩码语言模型，并通过学习具有相同掩码语言建模目标的新嵌入矩阵，冻结所有其他层的参数，将其转换为新语言。这种方法不依赖于共享词汇或联合培训。然而，我们表明，它是有竞争力的多语言BERT在标准的跨语言分类基准和一个新的跨语言问答数据集（XQuAD）。我们的研究结果与多语言模型泛化能力基础的共同信念相矛盾，并表明深层单语言模型学习一些跨语言泛化的抽象。我们还发布了XQuAD作为一个更全面的跨语言基准测试，它包括来自SQuAD v1.1的240个段落和1190个问答对，由专业翻译人员翻译成10种语言。
2020-05-26 cs.AI cs.CL cs.LG
MuRIL: Multilingual Representations for Indian Languages
Google（谷歌）；Indian Institute of Technology, Patna（印度理工学院巴特那分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Delhi Technological University（德里理工大学）
印度是一个多语言的社会，全国有1369种合理化的语言和方言（印度，2011年）。其中，22种列入附表的语言的使用者总数达到惊人的11.7亿人，121种语言的使用者超过1万人（印度，2011年）。印度也拥有第二大（并且不断增长）的数字足迹（Statista，2020）。尽管如此，当今最先进的多语言系统在印度（IN）语言上的表现并不理想。这可以通过以下事实来解释：多语言语言模型（LM）通常在100多种语言上一起训练，导致IN语言在其词汇表和训练数据中的表示很小。在资源贫乏的情况下，多语言LM的有效性大大降低（Wu和Dredze，2020年; Lauscher等人，2020年），因为有限的数据无助于捕捉语言的各种细微差别。人们还通常观察到IN语言文本被音译为拉丁语或与英语混合的代码，特别是在非正式环境中（例如，在社交媒体平台上）（Rijhwani等人，2017年）。目前最先进的多语言LM不能充分处理这种现象。为了解决上述差距，我们提出了MuRIL，一个专门为IN语言构建的多语言LM。MuRIL仅在大量IN文本语料库上进行训练。我们显式地使用翻译和音译的文档对来增强单语文本语料库，这些文档对在训练中作为监督的跨语言信号。在具有挑战性的跨语言XTREME基准测试中，MuRIL在所有任务上的表现都明显优于多语言BERT（mBERT）（Hu等人，2020年）。我们还介绍了所选数据集的音译（本地拉…
2021-04-02 cs.CL
Multilingual Mix: Example Interpolation Improves Multilingual Neural Machine Translation
Google Research（谷歌研究院）
多语言神经机器翻译模型被训练以最大化从多个语言对提取的示例的混合的可能性。应用于这些模型的主要归纳偏差是跨语言的共享词汇和共享参数集;从不同语言对提取的示例对应的输入和标签可能仍然驻留在不同的子空间中。在本文中，我们介绍了多语言交叉编码器-解码器（mXEncDec）融合语言对在一个实例级。我们的方法插值实例从不同的语言对联合“交叉的例子”，以鼓励共享输入和输出空间的语言。为了确保更好地融合的例子在多语言环境中，我们提出了几种技术，以提高不同语言的例子插值下严重的数据不平衡。在大规模WMT多语言数据集上的实验表明，我们的方法显着提高了英语到许多，多到英语和zero-shot翻译任务的质量（从+0.5 BLEU点到+5.5 BLEU点）。代码切换集的结果证明了我们的方法能够提高模型对非分布多语言示例的泛化能力。我们还进行定性和定量的代表性比较，分析我们的方法在代表性水平的优势。
2022-03-15 cs.AI cs.CL
Focus on the Target's Vocabulary: Masked Label Smoothing for Machine Translation
Peking University（北京大学）
标签平滑和词汇共享是神经机器翻译模型中广泛使用的两种技术。然而，我们认为，简单地应用这两种技术可能是冲突的，甚至导致次优性能。在分配平滑概率时，原始标签平滑会将源端词中不可能出现在目标语言中的词与目标语言中的词等同对待，这会使翻译模型产生偏差。为了解决这个问题，我们提出了屏蔽标签平滑（MLS），一个新的机制，掩盖了软标签的源端字的概率为零。简单而有效，MLS设法更好地集成标签平滑与词汇共享。我们广泛的实验表明，MLS在不同的数据集上，包括双语和多语种翻译，无论是翻译质量还是模型的校准，都比原始标签平滑得到了持续的改进。我们的代码发布于https://github.com/PKUnlp-icler/MLS
2022-03-11 cs.AI cs.CL
Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions
Apple（苹果公司）
提出LINK方法，利用双语词汇对预训练数据中的高资源语言部分进行词汇替换，无需额外模型训练或大量平行数据，即可有效提升低资源语言的知识迁移效果。
2026-05-22 cs.CL
Learning to Scale Multilingual Representations for Vision-Language Tasks
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
当前的多语言视觉语言模型要么需要为每种支持的语言提供大量的附加参数，要么随着语言的增加而性能下降。在本文中，我们提出了一种可扩展的多语言对齐语言表示（SMALR），它支持多种语言，只需很少的模型参数，而不会牺牲下游任务性能。SMALR为多语言词汇表中的大多数单词学习固定大小的语言不可知表示，仅保留少数语言特定的功能。我们使用掩蔽的跨语言建模损失来将特征与其他语言的上下文对齐。此外，我们提出了一个跨语言的一致性模块，确保预测查询和它的机器翻译是可比的。SMALR的有效性在10种不同的语言中得到了证明，是迄今为止视觉语言任务支持的数量的两倍多。我们对多语言图像句子检索进行了评估，与其他词嵌入方法相比，我们的训练参数不到1/5，性能优于之前的工作3-4%。
2020-08-27 cs.CL cs.CV
Investigating Lexical Sharing in Multilingual Machine Translation for Indian Languages
Saarland University（萨尔大学）；Inria（法国国家信息与自动化研究所）
本研究聚焦印度语言多语言机器翻译的词汇共享，探究数据采样与词表大小的性能权衡、音译对跨文字泛化的作用及对未见语言的泛化性，发现音译无明显提升，原文字训练的模型已具备跨文字鲁棒性。
2023-05-04 cs.AI cs.CL
Multilingual Pretraining for Pixel Language Models
Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学）；ROCKWOOL Foundation Research Unit（ROCKWOOL基金会研究单位）
PIXEL-M4通过多语言预训练提升了像素语言模型对多种语言的支持能力，尤其在非拉丁字母语言中表现更优。
2025-12-02 cs.AI cs.CL
OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Bosch Center for Artificial Intelligence（博世人工智能中心）
提出OFA框架，通过注入外部多语言静态词向量对齐知识并利用矩阵分解减少参数，高效初始化未见子词嵌入，加速多语言持续预训练收敛并提升跨语言任务性能。
2024-03-25 cs.CL
Universal Neural Machine Translation for Extremely Low Resource Languages
The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在本文中，我们提出了一种新的通用机器翻译方法，专注于语言的并行数据量有限。我们提出的方法利用迁移学习的方法来共享词汇和句子级别的表示在多个源语言到一个目标语言。词汇部分通过通用词汇表示共享，以支持多语言单词级共享。由来自与所有其它语言共享源编码器的所有源语言的专家的模型来表示中间级共享。这使得低资源语言能够利用高资源语言的词汇和句子表示。我们的方法能够使用6k句子的小型并行语料库在罗马尼亚语-英语WMT 2016上实现23个BLEU，而使用多语言训练和反向翻译的强基线系统的BLEU为18个。此外，我们表明，所提出的方法可以通过在zero-shot设置中微调预训练的多语言系统，在同一数据集上实现近20个BLEU。
2018-04-17 cs.CL
Compass: Large Multilingual Language Model for South-east Asia
Shopee（虾皮）
针对东南亚低资源语言大模型效果不佳的问题，提出专为东南亚定制的多语言大模型CompassLLM，通过多阶段课程预训练、指令微调与DPO对齐，在多任务上超越多个基准模型。
2024-04-14 cs.CL
Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出将词汇与句法学习解耦、冻结跨语言词嵌入的多语言NMT方法，实现完全未见语言零样本翻译，并在无监督翻译中接近监督性能。
2024-08-05 cs.CL
Neural Machine Translation for Multilingual Grapheme-to-Phoneme Conversion
Amazon.com, Inc.（亚马逊公司）
字素到音素（G2 P）模型是自动语音识别（ASR）系统（例如Alexa中的ASR系统）中的关键组件，因为它们用于为发音词典中不存在的词汇表外单词生成发音（如“e c h o”到“E k oU”的映射）。大多数G2 P系统是单语的，并且基于传统的基于联合序列的n-gram模型[1，2]。作为替代方案，我们提出了一个单一的端到端训练的神经G2 P模型，该模型在多种语言中共享相同的编码器和解码器。这使得该模型能够利用类似拉丁字母的通用符号库存和跨语言共享的特征表示的组合。这种模型在低资源语言和代码切换/外来词的场景中特别有用，其中一种语言的发音需要适应其他地区或口音。我们进一步实验单词语言分布向量作为额外的训练目标，以通过帮助模型在参数空间中解耦各种语言的发音来提高系统性能。与单语基线相比，我们发现低资源语言的音素出错率平均改善了7.2%，而高资源语言的音素错误率没有下降。
2020-06-28 cs.CL
Improving Pre-Trained Multilingual Models with Vocabulary Expansion
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Tencent AI Lab（腾讯人工智能实验室）；Cornell（康奈尔大学）
最近，预训练的语言模型在广泛的自然语言处理任务中取得了显着的成功。然而，在多语言环境中，在大规模语料库上为每种语言预训练深度语言模型是非常消耗资源的。替代独立地详尽地预训练单语语言模型，替代解决方案是在数百种语言的大规模语料库上预训练强大的多语言深度语言模型。然而，这种模型中每种语言的词汇量相对较小，特别是对于低资源语言。这种限制不可避免地阻碍了这些多语言模型在序列标记等任务上的性能，其中深入的标记级或标记级理解是必不可少的。在本文中，受以前为单语设置设计的方法的启发，我们研究了两种方法（即，联合映射和混合映射），用于解决各种任务中的词汇不足（OOV）问题，包括词性标注、命名实体识别、机器翻译质量评估和机器阅读理解。实验结果表明，使用混合映射更有前途。据我们所知，这是第一个工作，试图解决和讨论的OOV问题的多语言设置。
2019-09-26 cs.CL
