UNKs Everywhere: Adapting Multilingual Language Models to New Scripts
Technical University of Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）；DeepMind
多语言BERT等大规模多语言模型在一系列NLP任务上提供了最先进的跨语言迁移性能。然而，由于容量有限和预训练数据大小差异较大，资源丰富和资源贫乏的目标语言之间存在巨大的性能差距。最终的挑战是处理模型根本没有涵盖的资源不足的语言，并且在预训练期间看不到脚本。在这项工作中，我们提出了一系列新颖的数据高效方法，使预训练的多语言模型能够快速有效地适应这种低资源语言和看不见的脚本。依靠矩阵分解，我们的方法利用了预训练模型的嵌入矩阵中已经存在的关于多种语言的潜在知识。此外，我们还表明，在目标语言中学习新的专用嵌入矩阵可以通过利用少量的词汇项（即，所谓的词汇重叠标记）在mBERT和目标语言词汇表之间共享。我们的适应技术为具有不可见脚本的语言提供了大量的性能提升。我们还证明了它们可以改进预训练模型所涵盖的脚本中编写的低资源语言。
2021-09-10 cs.CL
BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting
Brown University（布朗大学）；EleutherAI；Yale University（耶鲁大学）；Hugging Face；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University College London（伦敦大学学院）；PSAU（沙特王子萨塔姆·本·阿卜杜勒阿齐兹大学）；Nanyang Technological University（南洋理工大学）；University of Washington（华盛顿大学）；University of Oregon（俄勒冈大学）；The Hong Kong University of Science and Technology（香港科技大学）；Booz Allen Hamilton（博思艾伦咨询公司）；NAVER LABS Europe（NAVER欧洲实验室）
本文研究将BLOOM适配到预训练未见的新语言，发现适配器微调优于继续预训练，且语言适配数据规模是决定零样本提示性能的主要因素，并证明将新语言纳入多任务微调混合数据是教会BLOOMZ新语言的最有效方法。
2023-05-27 cs.AI cs.CL cs.LG
Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation
University of Edinburgh（爱丁堡大学）；Facebook AI（脸书人工智能研究院）
最近在单语数据的预训练和机器翻译（MT）的微调方面取得了成功，但目前还不清楚如何最好地利用给定MT任务的预训练模型。本文研究了在MT上微调预训练模型时冻结参数和添加新参数的优点和缺点。我们专注于1）微调仅在英语单语数据上训练的模型，BART。2）微调在25种语言的单语数据上训练的模型，mBART。对于BART，我们通过冻结大多数模型参数并添加额外的位置嵌入来获得最佳性能。对于mBART，我们匹配或优于大多数语言对的朴素微调的性能，编码器和大多数解码器被冻结。编码器-解码器注意参数对于微调是最重要的。当我们将自己限制在越南语到英语的域外训练集时，我们看到了微调基线的最大改进。
2022-06-20 cs.CL
Simple, Scalable Adaptation for Neural Machine Translation
Google AI（谷歌人工智能）
微调预训练的神经机器翻译（NMT）模型是适应新语言和领域的主要方法。然而，微调需要为每个目标任务调整和维护单独的模型。我们提出了一个简单而有效的方法来适应NMT。我们提出的方法包括将微小的特定于任务的适配器层注入到预先训练的模型中。这些轻量级的适配器，只有原始模型大小的一小部分，使模型同时适应多个单独的任务。我们在两个任务上评估我们的方法：（i）领域自适应和（ii）大规模多语言NMT。领域自适应的实验表明，我们提出的方法是与各种领域，数据集大小和模型容量的全面微调。在一个包含103种语言的大规模多语言数据集上，我们的自适应方法弥合了单个双语模型与大多数语言对的大规模多语言模型之间的差距，为通用机器翻译铺平了道路。
2019-09-18 cs.CL cs.LG
Romanization-based Large-scale Adaptation of Multilingual Language Models
Technical University of Darmstadt（达姆施塔特工业大学）；Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
本文提出利用UROMAN工具对多语言预训练语言模型进行大规模罗马化适配，在14种低资源语言上验证了其在未见文字和有限数据场景下的有效性，并表明基于罗马化数据的分词器在多数语言中优于非音译方法。
2023-04-18 cs.CL cs.LG
Multilingual MFA: Forced Alignment on Low-Resource Related Languages
Yale University（耶鲁大学）
本文通过蒙特利尔强制对齐器比较多语言与跨语言训练，发现适配英语模型对低资源相关语言（如澳大利亚语言）的强制对齐效果最佳。
2025-04-23 cs.CL
Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation
Yıldız Technical University（Yıldız技术大学）；Istanbul Bilgi University（伊斯坦布尔比尔格大学）
提出一种高效的三阶段适应流程，通过跨语言分词器优化、教师模型克隆和离线蒸馏，构建了土耳其语句子嵌入模型embeddingmagibu-200m，在STSbTR上超越教师模型，并在TR-MTEB上以更少参数达到竞争性能。
2026-05-28 cs.CL
An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient Language Model Inference
School of Computer Science, University of Sheffield（谢菲尔德大学计算机学院）；The Alan Turing Institute（阿兰·图灵研究所）
本文对五种跨语言词表适配方法在四种生成式LLMs和四种语言上进行实证研究，发现CVA能实现高达271.5%的推理加速，且在均衡多语言数据上预训练的模型适配后下游性能与原模型相当。
2024-09-26 cs.AI cs.CL
Phylogeny-Inspired Adaptation of Multilingual Models to New Languages
George Mason University（乔治梅森大学）
大型预训练的多语言模型，在几十种语言上进行训练，由于在各种语言任务上的跨语言学习能力，已经取得了令人鼓舞的结果。进一步使这些模型适应特定的语言，特别是在预训练期间看不到的语言，是扩大语言技术覆盖范围的一个重要目标。在这项研究中，我们展示了如何使用语言系统发育信息，以改善跨语言迁移利用密切相关的语言在结构化，语言信息的方式。我们对来自不同语系（日耳曼语、乌拉尔语、图皮斯语、乌托-阿兹特克语）的语言进行基于适配器的训练，并对句法和语义任务进行评估，与强大的常用基线相比，获得了超过20%的相对性能提升，特别是在预训练期间看不到的语言上。
2022-11-22 cs.CL
Social Bias in Multilingual Language Models: A Survey
School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院）；Department of Information Systems and Computer Science, Ateneo de Manila University（马尼拉大学信息系统与计算机科学系）
本综述系统梳理多语言模型社会偏见评估与缓解的相关研究，指出当前方法在语言偏好、实验匮乏等方面的缺口，提出未来需提升研究包容性与跨文化适配性的方向。
2025-09-05 cs.CL
Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models
Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗 G. 艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Faculty of Mathematics and Physics, Charles University in Prague（布拉格查理大学数学与物理学院）
针对多语言语言模型因参数竞争性能不及单语言模型的问题，提出跨语言专家语言模型X-ELM，通过语料子集独立训练缓解竞争，相同算力下性能更优且易扩展新语言、降低训练硬件门槛。
2024-10-08 cs.CL
RA-MoE: Routing-Aligned Fine-Tuning for Multilingual Adaptation of Mixture-of-Experts Models
City University of Hong Kong（香港城市大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Hong Kong（香港大学）
针对混合专家模型在多语言下游任务中的路由结构异构问题，提出RA-MoE三阶段框架，通过中间层语言通用对齐区识别任务相关专家，并引入路由对齐损失增强目标语言路由，实验表明该方法优于标准微调和强基线。
2026-10-01 cs.AI cs.CL
$m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
多语言神经机器翻译模型（MNMT）在对来自训练时看到的领域和语言对的数据进行评估时，会产生最先进的性能。然而，当MNMT模型用于在域转移下翻译或翻译到新的语言对时，性能急剧下降。我们认为一个非常具有挑战性的情况下：适应MNMT模型，以一个新的领域和一个新的语言对在同一时间。在本文中，我们提出了$m^4Adapter$（多语言多领域自适应机器翻译与元适配器），它结合领域和语言知识，使用元学习与适配器。我们目前的结果表明，我们的方法是一个参数有效的解决方案，有效地适应一个新的语言对和一个新的域的模型，同时优于其他适配器的方法。消融研究还表明，我们的方法更有效地跨不同的语言和语言信息跨不同的领域转移领域知识。
2022-10-21 cs.CL
Enhancing Multilingual Language Models for Code-Switched Input Data
MIT（麻省理工学院）
本文研究通过在Spanglish推文上预训练mBERT，提升模型在词性标注、情感分析、命名实体识别和语言识别等任务上的表现，并发现英语和西班牙语嵌入更同质化，验证了多语言模型适配语码转换输入的潜力。
2025-03-11 cs.CL
Prune or Retrain: Optimizing the Vocabulary of Multilingual Models for Estonian
本文面向爱沙尼亚语比较重训练 tokenizer 与剪枝未使用 token 两种多语言编码器词表适配方法，发现剪枝不损害 NER 性能，而重训练会降低性能。
2025-01-05 cs.CL
Adapting Self-Supervised Speech Representations for Cross-lingual Dysarthria Detection in Parkinson's Disease
FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；UT Austin（奥斯汀大学）；CMU（卡内基梅隆大学）；Czech Technical University in Prague（布拉格技术大学）；Idiap Research Institute（Idiap研究机构）；Universidad de Antioquia（安提奥基亚大学）；Shenzhen Loop Area Institute（深圳河套学院）；Fortemedia（Fortemedia公司）
针对构音障碍数据稀缺导致跨语言检测困难，提出基于质心的表示级语言迁移方法，对齐自监督语音表示，在捷克语、德语和西班牙语帕金森病语音数据集上显著提升跨语言检测敏感性和F1值。
2026-06-25 cs.CL cs.SD eess.AS
Embedding structure matters: Comparing methods to adapt multilingual vocabularies to new languages
University of Washington（华盛顿大学）
本文针对多语言模型语言适配中跨语言词汇表计算成本高的问题，提出多种紧凑语言特定词汇表替换及嵌入矩阵重新初始化技术，并通过系统实验证明其能高效提升低资源语言性能，且简单方法可与Focus方法相媲美。
2023-10-26 cs.CL
Transfer Learning in Multilingual Neural Machine Translation with Dynamic Vocabulary
FBK（布鲁诺·凯斯勒基金会）
我们提出了一种通过共享的动态词汇在神经机器翻译（NMT）模型之间传递知识的方法。我们的方法允许扩展给定语言对的初始模型，以通过调整其词汇表来覆盖新语言，只要新数据可用（即，如果新的词汇表项未被包括在初始模型中，则引入新的词汇表项）。参数传递机制在两种情况下进行评估：i）使经训练的单语言NMT系统适应于与新的语言对一起工作，以及ii）不断添加新的语言对以成长为多语言NMT系统。在这两种情况下，我们的目标都是提高翻译性能，同时最大限度地减少训练收敛时间。初步实验跨越具有不同训练数据大小的五种语言（即，5k和50k并行句子）在不同的语言方向上显示出从+3.85到+13.63 BLEU的显着性能增益。此外，与从头开始训练NMT模型相比，我们的迁移学习方法使我们能够在训练总训练步骤的4%后达到更高的性能。
2018-11-03 cs.CL
One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
Ohio State University（俄亥俄州立大学）；University of Washington（华盛顿大学）
本文通过系统对比三种输入表示，发现罗马化预训练可实现最强跨语言迁移，且优势随模型规模增大而扩大，提出多语言模型应将罗马化作为预训练核心设计选择的结论。
2026-09-09 cs.CL
MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer
Technical University of Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）；DeepMind（深度思维）
最先进的预训练多语言模型（如多语言BERT和XLM-R）背后的主要目标是通过zero-shot或Few-Shot跨语言迁移在低资源语言中启用和引导NLP应用程序。然而，由于模型容量有限，它们的迁移性能在这些低资源语言和预训练期间未见过的语言上是最弱的。我们提出了MAD-X，一个基于适配器的框架，通过学习模块化语言和任务表示，可以实现高可移植性和参数高效传输到任意任务和语言。此外，我们还介绍了一种新的可逆适配器架构和一种强基线方法，用于将预训练的多语言模型适应新语言。MAD-X在命名实体识别和因果常识推理上跨一组典型的不同语言的跨语言迁移方面优于最先进的技术水平，并在问答上取得了有竞争力的结果。我们的代码和适配器可在AdapterHub.ml上获得
2020-10-06 cs.CL
Beyond Vanilla Fine-Tuning: Leveraging Multistage, Multilingual, and Domain-Specific Methods for Low-Resource Machine Translation
University of Moratuwa（莫拉图瓦大学）；Saarland University（萨尔大学）；University of Toronto（多伦多大学）；University of Ontario of Technology（安大略理工大学）；Massey University（梅西大学）
针对极低资源机器翻译，提出持续预训练与中间任务迁移学习两种方法，在僧伽罗语、泰米尔语和英语的六个语言对上平均提升BLEU分数1.47，并验证多模型集成的额外增益。
2025-03-28 cs.CL
Rapid Adaptation of Neural Machine Translation to New Languages
Carnegie Mellon University（卡内基梅隆大学）
本文探讨了如何使神经机器翻译系统尽可能有效和快速地适应新的低资源语言（LRL）的问题。我们提出的方法基于从大量多语言“种子模型”开始，这些模型可以提前训练，然后继续训练与LRL相关的数据。我们对比了一些策略，导致了一种新颖的，简单的，但有效的方法“相似的语言正则化”，我们共同训练感兴趣的LRL和类似的高资源语言，以防止过拟合小LRL数据。实验表明，大规模多语言模型，即使没有任何显式的适应，也是令人惊讶的有效，在没有LRL数据的情况下，BLEU得分高达15.5，并且所提出的相似语言正则化方法比其他适应方法在4个LRL设置上平均提高了1.7个BLEU点。在https://github.com/neubig/rapid-adaptation上复制实验的代码
2018-08-13 cs.CL
Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages
University of Saarland（萨尔大学）；Brno University of Technology（布尔诺理工大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Kempelen Institute of Intelligent Technologies (KInIT)（肯佩伦智能技术研究所）
本文系统比较三种参数高效适配器架构，结合GlotCC文本与ConceptNet图谱使小型多语言模型适配低资源语言，证明其可在少参数下超越全量微调和大型LLM。
2025-02-14 cs.CL
Scaling, Simplification, and Adaptation: Lessons from Pretraining on Machine-Translated Text
Samsung R&D Institute Philippines（三星菲律宾研发院）
本文通过将英语机器翻译为印尼语和泰米尔语并预训练GPT-2模型，研究了MT衍生数据的扩展性、源端简化的影响及对母语文本的适应能力，发现MT预训练模型可从扩展和适应中获益，但源端简化有害，且文化敏感任务仍需更多母语数据。
2025-09-22 cs.AI cs.CL
CLaS-Bench: A Cross-Lingual Alignment and Steering Benchmark
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Centre for European Research in Trusted AI (CERTAIN)（可信AI欧洲研究中心（CERTAIN））；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；TU Darmstadt（德累斯顿技术大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所（Mila））；McGill University（麦吉尔大学）
CLaS-Bench是首个多语言引导基准，通过评估32种语言中的语言强制行为，验证了残差基于DiffMean方法在跨语言引导中的有效性。
2026-01-13 cs.CL
Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；L3Cube Labs（L3Cube实验室）
本研究针对多语言大语言模型适配低资源语言的问题，通过LoRA PEFT微调多语言Gemma模型在马拉地语上的应用，发现微调后生成能力提升但推理能力下降，评估指标与人工评估结果存在差异，强调需改进评估方法和创建原生数据集。
2024-11-27 cs.CL cs.LG
Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出通过适配器将ConceptNet图知识整合进多语言大语言模型，以提升八种低资源语言在情感分析和命名实体识别上的性能，并比较了多种掩码微调目标的有效性。
2024-12-18 cs.AI cs.CL
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
EPFL（洛桑联邦理工学院）
本研究提出多语言适配方法，将英文质量分类器转为多语言变体，用于100余种语言的LLM预训练数据选择，实验表明该方法可维持下游基准性能且具备跨语言泛化能力。
2026-10-09 cs.AI cs.CL
Smart Bilingual Focused Crawling of Parallel Documents
Dep. de Llenguatges i Sistemes Informàtics, Universitat d’Alacant（语言与信息系统系，阿尔阿坎特大学）
本文提出智能双语抓取方法，利用预训练多语言模型识别文档语言和判断URL对是否为平行文档，提升平行文本发现效率。
2026-03-23 cs.CL cs.LG
Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining
Tohoku University of Community Service and Science（东北公益文科大学）；Kitami Institute of Technology（北见工业大学）；Yokohama National University（横滨国立大学）
近年来，通过对大规模多语言文本或语音数据进行自监督预训练而学习的神经模型在资源不足的语言中表现出了良好的效果，特别是当相关语言的数据量相对较大时。虽然该技术有可能促进语言文档项目中执行的任务，例如语音转录，但为每种新语言从头开始预训练多语言模型是非常不切实际的。我们研究了将现有的多语言wav 2 vec 2.0模型用于新语言的可能性，重点关注来自极度濒危语言阿伊努人的实际实地调查数据。具体来说，我们（i）研究利用类似语言的数据进行微调的可行性;（ii）验证模型的性能是否可以通过进一步对目标语言数据进行预训练来提高。我们的研究结果表明，持续的预训练是最有效的方法，以适应一个新的语言wav 2 vec 2.0模型，并导致出错率显着降低。此外，我们发现，如果一个模型预训练相关的语音品种或不相关的语言具有相似的语音特征，多语言微调使用额外的数据，从该语言可以有积极的影响语音识别性能时，有很少的标记数据在目标语言。
2023-01-18 cs.CL cs.LG eess.AS
Multilingual VLM Training: Adapting an English-Trained VLM to French
Ecole Polytechnique（巴黎政治学院）；Mila - Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）
本文研究了将英语训练的视觉语言模型适应到法语等其他语言的挑战，通过比较不同方法的性能和计算成本，发现数据翻译是多语言VLM性能的主要瓶颈。
2025-12-11 cs.AI cs.CL
Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models
Microsoft Research India（微软印度研究院）
针对仅解码器大语言模型非英语语言效果有限的问题，提出基于主动遗忘的预训练策略，实现类似仅编码器模型的跨语言迁移，提升多语言表示与下游任务性能。
2025-05-21 cs.CL
MuLan: Adapting Multilingual Diffusion Models for Hundreds of Languages with Negligible Cost
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
MuLan 提出一个轻量级多语言适配器，通过冻结文本编码器和扩散模型，以极低成本实现超过 110 种语言的高质量图像生成，并兼容多种社区工具。
2025-06-05 cs.AI cs.CL
Adapting Multilingual LLMs to Low-Resource Languages using Continued Pre-training and Synthetic Corpus
NVIDIA
本研究通过对多语言大模型进行持续预训练并利用合成语料，显著提升了低资源语言印地语的性能，同时保持了英语能力，并增强了事实准确性。
2025-04-21 cs.CL cs.LG
Guided Distant Supervision for Multilingual Relation Extraction Data: Adapting to a New Language
University of Luxembourg（卢森堡大学）；Aston University（阿斯顿大学）
本文应用引导式远程监督方法构建了最大的德语传记关系抽取数据集，并训练和评估了多种最先进模型，同时通过多语言和跨语言实验探索了对低资源语言的益处。
2024-03-27 cs.CL cs.LG
LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language
Middle East Technical University（中东技术大学）
针对低资源语言大模型发展不足的问题，本研究探索将英语主导的开源大模型适配至低资源语言，评估了持续训练、指令微调等多种策略，明确了不同方法的效果差异，为低资源语言大模型适配提供了参考。
2024-05-13 cs.AI cs.CL
Efficiently Adapting Spoken Language Models for the Singaporean Context
xData Home Team Science & Technology Agency (HTX)（新加坡内政团队科技局）
研究针对原始训练数据不可用且需多语言口语交互的情况，将开源口语语言模型适应新加坡语境。核心方法是结合LoRA微调等技术，构建多语言数据集。贡献是HT - Moonstone（5B）在多数任务表现出色，口音和性别识别佳，且原始语音问答能力损失小。
2026-07-14 cs.AI cs.CL
Adapting Pre-trained Language Models to African Languages via Multilingual Adaptive Fine-Tuning
Saarland University（萨尔兰大学）
多语言预训练的语言模型（PLM）在高资源和低资源语言的几个下游任务上表现出令人印象深刻的性能。然而，在预训练期间看不见的语言，特别是非洲语言，仍然存在很大的性能下降。适应新语言的最有效方法之一是\textit{language adaptive fine-tuning}（LAFT）--使用预训练目标在一种语言的单语文本上微调多语言PLM。然而，单独适应目标语言需要大量的磁盘空间，并限制了所得到的模型的跨语言迁移能力，因为它们是专门针对单一语言的。在本文中，我们执行\textit{multilingual adaptive fine-tuning}对17个资源最丰富的非洲语言和其他三个高资源的语言在非洲大陆广泛使用，以鼓励跨语言迁移学习。为了进一步专门化多语言PLM，我们在MAFT之前从嵌入层中删除了与非非洲书写脚本相对应的词汇标记，从而将模型大小减少了约50%。我们对两种多语言PLM（AfriBERTa和XLM-R）和三种NLP任务（NER，新闻主题分类和情感分类）的评估表明，我们的方法在单个语言上应用LAFT时具有竞争力，同时需要更少的磁盘空间。此外，我们表明，我们的适应PLM也提高了参数高效微调方法的zero-shot跨语言迁移能力。
2022-10-18 cs.CL
Adapting the LodView RDF Browser for Navigation over the Multilingual Linguistic Linked Open Data Cloud
Kazan Federal University（喀山联邦大学）；Joint Supercomputer Center of the Russian Academy of Sciences（俄罗斯科学院联合超级计算机中心）
本文致力于使用LodView在多语言Linguistic Linked Open Data云上导航。首先，我们定义了LodView所属的类Pubby工具，并阐明了该类与URI解引用工具、RDF浏览器和LOD可视化工具的关系。其次，我们揭示了LodView的几个限制，阻碍其用于指定的目的，并提出改进，以解决这些限制。这些改进是：1）西里尔URI的解析; 2）解码资源的Turtle表示中的西里尔URI; 3）西里尔文字的支持; 4）用于资源的RDF表示的用户友好的URL; 5）散列URI的支持; 6）扩展嵌套资源; 7）RDF集合的支持; 8）资源属性值的分页;以及9）$\LaTeX$数学符号的支持。第三，我们部分实施了几项建议的改进。
2022-09-14 cs.AI cs.CL cs.HC
Adapting Multilingual Embedding Models to Historical Luxembourgish
University of Zurich（苏黎世大学）
针对历史卢森堡语跨语言语义搜索，本文构建平行语料与Historical LB Bitext Mining评估集，并通过对比学习或知识蒸馏适配多语言嵌入模型，显著提升准确率。
2025-03-13 cs.CL
Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources
University of Helsinki（赫尔辛基大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；University of Turku（图尔库大学）
本研究系统评估36种多语言持续预训练配置，发现双语CPT改善分类但致语言混合，代码数据提升低资源语言分类但略降生成质量，且语言分类与跨语言迁移影响存在显著偏差。
2025-10-08 cs.CL
Examining and Adapting Time for Multilingual Classification via Mixture of Temporal Experts
University of Memphis（孟菲斯大学）
针对现有分类模型忽视多语言场景时间变化的问题，提出时间专家混合模型（MoTE），通过适配时间趋势增强分类器泛化能力，实验验证其在多语言时间数据变化下的有效性并提供分析见解。
2025-02-12 cs.CL
Effectively Prompting Small-sized Language Models for Cross-lingual Tasks via Winning Tickets
本文提出彩票提示学习框架，通过选择微调中变化最大的参数子集并结合软提示，仅更新20%参数即可在低资源跨语言任务上超越基线。
2024-04-01 cs.CL
Computational Job Market Analysis with Natural Language Processing
IT University of Copenhagen（哥本哈根信息技术大学）
本论文研究利用自然语言处理技术从招聘广告中提取技能等信息，通过构建数据集、提出弱监督技能提取、分类体系感知预训练和检索增强模型等方法，提升就业市场分析的透明度和有效性。
2024-04-29 cs.CL
xVLM2Vec: Adapting LVLM-based embedding models to multilinguality using Self-Knowledge Distillation
University of Bari Aldo Moro（巴里大学阿尔多莫罗分校）
本文提出通过自知识蒸馏将英文训练的大型视觉-语言模型适配为多语言、多模态嵌入模型，并构建基准评估其有效性。
2025-03-16 cs.CL cs.IR
HATL: Hierarchical Adaptive-Transfer Learning Framework for Sign Language Machine Translation
本文提出HATL框架，通过动态解冻预训练层和层间学习率衰减，提升手语翻译的鲁棒性和适应性，在Sign2Text和Sign2Gloss2Text任务中表现优异，BLEU-4得分提升显著。
2026-02-26 cs.AI cs.CL cs.CV
Exploring Design Choices for Building Language-Specific LLMs
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究系统探究适配现有单语、多语大语言模型构建特定语言LLM的各类设计选择的影响，发现初始性能不代表适配后效果、简单词表扩展即可提效、最优方案依语言而定，为高效构建特定语言LLM奠定基础。
2024-10-30 cs.AI cs.CL cs.LG
Adapting Where It Matters: Depth-Aware Adaptation for Efficient Multilingual Speech Recognition in Low-Resource Languages
The University of Melbourne（墨尔本大学）
DAMA通过深度感知适应框架，针对不同层的适应需求优化参数，实现低资源语言高效多语言语音识别。
2026-02-01 cs.CL cs.SD eess.AS
GAIA-v2-LILT: Multilingual Adaptation of Agent Benchmark beyond Translation
LILT
本文提出GAIA-v2-LILT，通过功能对齐、文化对齐和难度校准改进多语言代理基准，实验表明其性能提升达32.7%，接近英语表现，但仍有较大差距，揭示了多语言性能差距主要由基准测量误差引起。
2026-04-27 cs.AI cs.CL
COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
UC Berkeley（加州大学伯克利分校）
COMPASS通过自适应语义采样策略，利用参数高效微调方法，在多语言任务中提升模型性能，减少跨语言干扰，实现持续学习框架以适应动态环境。
2026-04-22 cs.AI cs.CL cs.LG
Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet?
University of Cambridge（剑桥大学）
本文系统比较SFT、SIT和ICL在多语言少样本NLU中的性能与成本，发现SIT权衡最佳，并揭示标准目标语言适配难以提升ICL语言理解。
2024-03-04 cs.CL
Introducing OmniGEC: A Silver Multilingual Dataset for Grammatical Error Correction
Ukrainian Catholic University（乌克兰天主教大学）；Softserve；Grammarly
本文提出覆盖11种语言的多语言银标语法纠错数据集 OmniGEC，融合维基百科人工修正与 GPT-4o-mini 自动纠正数据，并基于其微调两个开源大模型取得段落级多语言 GEC 的 SOTA 结果。
2025-09-18 cs.AI cs.CL cs.LG
Adapting the adapters for code-switching in multilingual ASR
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）；Erisha Labs（埃里沙实验室）
本研究提出通过整合双语言适配器信息并建模潜在二进制序列来微调多语言ASR模型，显著提升阿拉伯语、普通话和印地语与英语混合的语码转换识别性能，CER绝对降低至少10%。
2023-10-11 cs.CL cs.SD eess.AS
Aligning Multilingual Word Embeddings for Cross-Modal Retrieval Task
IDIAP Research Inst.（IDIAP研究所）；EPFL（洛桑联邦理工学院）
在本文中，我们提出了一种新的方法来学习多模态多语言嵌入匹配图像及其相关的字幕在两种语言。我们结合了两个现有的目标函数，使图像和字幕在一个联合嵌入空间中接近，同时在我们的模型中调整现有语言之间的词嵌入的对齐。我们表明，我们的方法可以更好地推广，实现最先进的性能，在文本到图像和图像到文本检索任务，以及标题-标题相似性任务。两个多模态多语言数据集用于评估：Multi 30 k与德语和英语字幕和Microsoft-COCO与英语和日语字幕。
2019-10-08 cs.CL cs.IR cs.LG
