Adapting Where It Matters: Depth-Aware Adaptation for Efficient Multilingual Speech Recognition in Low-Resource Languages
The University of Melbourne（墨尔本大学）
DAMA通过深度感知适应框架，针对不同层的适应需求优化参数，实现低资源语言高效多语言语音识别。
2026-02-01 cs.CL cs.SD eess.AS
Adapting Multilingual LLMs to Low-Resource Languages using Continued Pre-training and Synthetic Corpus
NVIDIA
本研究通过对多语言大模型进行持续预训练并利用合成语料，显著提升了低资源语言印地语的性能，同时保持了英语能力，并增强了事实准确性。
2025-04-21 cs.CL cs.LG
Multilingual Encoder Knows more than You Realize: Shared Weights Pretraining for Extremely Low-Resource Languages
Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE（民族语言智能分析与安全治理重点实验室）；Minzu University of China（民族大学）；Shanghai Jiao Tong University（上海交通大学）
提出一种共享编码器与解码器权重的新框架，将多语言编码器适配至极低资源语言的文本生成，构建的XLM-SWCM在四种中国少数民族语言下游任务上表现优于更大模型。
2025-05-29 cs.AI cs.CL
COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
UC Berkeley（加州大学伯克利分校）
COMPASS通过自适应语义采样策略，利用参数高效微调方法，在多语言任务中提升模型性能，减少跨语言干扰，实现持续学习框架以适应动态环境。
2026-04-22 cs.AI cs.CL cs.LG
MDAPT: Multilingual Domain Adaptive Pretraining in a Single Model
University of Copenhagen（哥本哈根大学）；PricewaterhouseCoopers (PwC)（普华永道）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
领域自适应预训练，即在领域特定文本上对语言模型进行持续的无监督预训练，改进了域内下游任务的文本建模。许多现实世界的应用程序都是基于特定领域的文本，例如处理金融或生物医学文档，这些应用程序通常需要支持多种语言。然而，由于法规、立法或仅仅是缺乏特定于语言和领域的文本，很难获得针对此类场景的大规模特定于领域的多语言预训练数据。一种解决方案是训练单个多语言模型，利用尽可能多语言的可用数据。在这项工作中，我们探索了领域自适应预训练的好处，重点是适应特定领域内的多种语言。我们提出了不同的技术来组成预训练语料库，使语言模型成为特定领域和多语言。针对生物医学命名实体识别和金融句子分类的九个特定领域的分类器的评估涵盖了七种不同的语言，表明一个单一的多语言特定领域的模型可以优于一般的多语言模型，并执行接近其单语言对应。这一发现适用于两种不同的预训练方法，基于适配器的预训练和全模型预训练。
2021-09-14 cs.CL
Targeted Multilingual Adaptation for Low-resource Language Families
University of Washington（华盛顿大学）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
该研究以乌拉尔语系为案例，系统探索预训练模型定向适配低资源语系的最佳实践，验证了亲缘语言训练的增益，得出词表大小影响弱、低资源语言可大幅上采样等结论，提升了模型在低资源语言上的性能。
2024-05-20 cs.CL
Adapting BigScience Multilingual Model to Unseen Languages
Brown University（布朗大学）；NAVER LABS Europe（NAVER欧洲实验室）
我们对将新语言（德语和韩语）添加到BigScience的预训练多语言语言模型中的不同策略进行了基准测试，该模型具有13亿个参数，目前支持13种语言。我们调查的因素，影响模型的语言适应性和计算成本和预期性能之间的权衡。
2022-04-11 cs.AI cs.CL cs.LG
SEATauBench: Progressively Adapting Tool-Agent-User Evaluation Into Low-Resource Southeast Asian Languages
SEACrowd；SCB DataX；SCBX Group；Chulalongkorn University（朱拉隆功大学）；VISTEC；Cohere
提出SEATauBench，首个针对东南亚语言的智能体评估框架，通过渐进式本地化设置评估模型，发现英文能力在对话语言变化时迁移良好，但任务上下文本地化后质量与鲁棒性显著下降。
2026-09-09 cs.AI cs.CL
Multilingual Prosody Transfer: Comparing Supervised & Transfer Learning
Indraprastha Institute of Information Technology（因德拉普拉斯信息技术学院）
本研究对比监督微调与迁移学习两种适配预训练单语TTS模型至多语言场景的方法，通过MOS、RA、MCD三项指标验证，发现迁移学习性能更优，可为低资源语言TTS模型构建提供支撑。
2024-06-18 cs.CL cs.SD eess.AS
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
EPFL（洛桑联邦理工学院）
本研究提出多语言适配方法，将英文质量分类器转为多语言变体，用于100余种语言的LLM预训练数据选择，实验表明该方法可维持下游基准性能且具备跨语言泛化能力。
2026-10-09 cs.AI cs.CL
Multilingual VLM Training: Adapting an English-Trained VLM to French
Ecole Polytechnique（巴黎政治学院）；Mila - Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）
本文研究了将英语训练的视觉语言模型适应到法语等其他语言的挑战，通过比较不同方法的性能和计算成本，发现数据翻译是多语言VLM性能的主要瓶颈。
2025-12-11 cs.AI cs.CL
UtterTune: LoRA-Based Target-Language Pronunciation Edit and Control in Multilingual Text-to-Speech
Independent Researcher（独立研究者）
研究提出UtterTune轻量级方法，用于适配多语言TTS系统。利用低秩适应，在零样本设置下对目标语言日语实现音素级发音控制，保持自然度和说话者相似度，经评估证实该方法有效。
2026-07-23 cs.CL cs.SD eess.AS
Adapting Multilingual Neural Machine Translation to Unseen Languages
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
针对低资源语言（LRL）的多语言神经机器翻译（MNMT）可以通过相关高资源语言（HRL）的存在来增强，但是HRL的相关性通常依赖于关于语言相似性的预定义语言假设。最近，MNMT适应LRL已被证明可以大大提高性能。在这项工作中，我们探讨了MNMT模型适应一个看不见的LRL使用数据选择和模型自适应的问题。为了改进LRL的NMT，我们使用困惑度来选择与LRL最相似的HRL数据。我们广泛地探索了流行的多语言NMT设置中的数据选择，即在（zero-shot）翻译中，以及在两个方向（LRL-en）的多语言预训练模型的适应中。我们进一步表明，动态适应模型的词汇结果在一个更有利的分割LRL相比，直接适应。实验表明，即使LRL数据为零（+13.0 BLEU），也可以减少训练时间，并在LRL基线上获得显着的性能提升，对于预训练的多语言模型动态自适应与相关数据选择，最高可达+17.0 BLEU。我们的方法优于目前的方法，如大规模多语言模型和数据增强，在四个LRL。
2019-10-30 cs.CL
Train Global, Tailor Local: Minimalist Multilingual Translation into Endangered Languages
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文针对濒危语言翻译，提出先领域适应后语言适应并精选种子句的方法，将chrF从21.9提升至50.7，仅需约千句种子。
2023-05-05 cs.CL
LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language
Middle East Technical University（中东技术大学）
针对低资源语言大模型发展不足的问题，本研究探索将英语主导的开源大模型适配至低资源语言，评估了持续训练、指令微调等多种策略，明确了不同方法的效果差异，为低资源语言大模型适配提供了参考。
2024-05-13 cs.AI cs.CL
Adapting to Non-Centered Languages for Zero-shot Multilingual Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
多语言神经机器翻译可以在训练过程中翻译看不见的语言对，即zero-shot翻译。然而，zero-shot翻译总是不稳定的。虽然以前的作品将不稳定性归因于中心语言（例如英语）的统治，但我们用非中心语言的严格依赖性来补充这一观点。在这项工作中，我们提出了一个简单的，轻量级的，但有效的语言特定的建模方法，通过适应非中心的语言，并结合共享信息和语言特定的信息，以抵消不稳定的zero-shot翻译。在IWSLT17、Europarl、TED talks和OPUS-100数据集上使用Transformer进行的实验表明，该方法不仅在中心数据条件下表现得比强基线更好，而且可以很容易地适应非中心数据条件。通过进一步研究层属性，我们表明，我们提出的方法可以解开耦合表示在正确的方向。
2022-09-09 cs.CL
Adapting Pre-trained Language Models to African Languages via Multilingual Adaptive Fine-Tuning
Saarland University（萨尔兰大学）
多语言预训练的语言模型（PLM）在高资源和低资源语言的几个下游任务上表现出令人印象深刻的性能。然而，在预训练期间看不见的语言，特别是非洲语言，仍然存在很大的性能下降。适应新语言的最有效方法之一是\textit{language adaptive fine-tuning}（LAFT）--使用预训练目标在一种语言的单语文本上微调多语言PLM。然而，单独适应目标语言需要大量的磁盘空间，并限制了所得到的模型的跨语言迁移能力，因为它们是专门针对单一语言的。在本文中，我们执行\textit{multilingual adaptive fine-tuning}对17个资源最丰富的非洲语言和其他三个高资源的语言在非洲大陆广泛使用，以鼓励跨语言迁移学习。为了进一步专门化多语言PLM，我们在MAFT之前从嵌入层中删除了与非非洲书写脚本相对应的词汇标记，从而将模型大小减少了约50%。我们对两种多语言PLM（AfriBERTa和XLM-R）和三种NLP任务（NER，新闻主题分类和情感分类）的评估表明，我们的方法在单个语言上应用LAFT时具有竞争力，同时需要更少的磁盘空间。此外，我们表明，我们的适应PLM也提高了参数高效微调方法的zero-shot跨语言迁移能力。
2022-10-18 cs.CL
Adaptive Fisher-Whitened Cross-Covariance for Low-Resource Speech Recognition
University of Cambridge（剑桥大学）
针对低资源语音识别，提出基于Fisher白化互协方差的任务信息感知适配方法，通过自适应秩分配在固定参数预算下提升Whisper和Qwen3-ASR的性能，优于LoRA。
2026-09-25 cs.CL
Adapting the LodView RDF Browser for Navigation over the Multilingual Linguistic Linked Open Data Cloud
Kazan Federal University（喀山联邦大学）；Joint Supercomputer Center of the Russian Academy of Sciences（俄罗斯科学院联合超级计算机中心）
本文致力于使用LodView在多语言Linguistic Linked Open Data云上导航。首先，我们定义了LodView所属的类Pubby工具，并阐明了该类与URI解引用工具、RDF浏览器和LOD可视化工具的关系。其次，我们揭示了LodView的几个限制，阻碍其用于指定的目的，并提出改进，以解决这些限制。这些改进是：1）西里尔URI的解析; 2）解码资源的Turtle表示中的西里尔URI; 3）西里尔文字的支持; 4）用于资源的RDF表示的用户友好的URL; 5）散列URI的支持; 6）扩展嵌套资源; 7）RDF集合的支持; 8）资源属性值的分页;以及9）$\LaTeX$数学符号的支持。第三，我们部分实施了几项建议的改进。
2022-09-14 cs.AI cs.CL cs.HC
Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining
Tohoku University of Community Service and Science（东北公益文科大学）；Kitami Institute of Technology（北见工业大学）；Yokohama National University（横滨国立大学）
近年来，通过对大规模多语言文本或语音数据进行自监督预训练而学习的神经模型在资源不足的语言中表现出了良好的效果，特别是当相关语言的数据量相对较大时。虽然该技术有可能促进语言文档项目中执行的任务，例如语音转录，但为每种新语言从头开始预训练多语言模型是非常不切实际的。我们研究了将现有的多语言wav 2 vec 2.0模型用于新语言的可能性，重点关注来自极度濒危语言阿伊努人的实际实地调查数据。具体来说，我们（i）研究利用类似语言的数据进行微调的可行性;（ii）验证模型的性能是否可以通过进一步对目标语言数据进行预训练来提高。我们的研究结果表明，持续的预训练是最有效的方法，以适应一个新的语言wav 2 vec 2.0模型，并导致出错率显着降低。此外，我们发现，如果一个模型预训练相关的语音品种或不相关的语言具有相似的语音特征，多语言微调使用额外的数据，从该语言可以有积极的影响语音识别性能时，有很少的标记数据在目标语言。
2023-01-18 cs.CL cs.LG eess.AS
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts
Technical University of Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）；DeepMind
多语言BERT等大规模多语言模型在一系列NLP任务上提供了最先进的跨语言迁移性能。然而，由于容量有限和预训练数据大小差异较大，资源丰富和资源贫乏的目标语言之间存在巨大的性能差距。最终的挑战是处理模型根本没有涵盖的资源不足的语言，并且在预训练期间看不到脚本。在这项工作中，我们提出了一系列新颖的数据高效方法，使预训练的多语言模型能够快速有效地适应这种低资源语言和看不见的脚本。依靠矩阵分解，我们的方法利用了预训练模型的嵌入矩阵中已经存在的关于多种语言的潜在知识。此外，我们还表明，在目标语言中学习新的专用嵌入矩阵可以通过利用少量的词汇项（即，所谓的词汇重叠标记）在mBERT和目标语言词汇表之间共享。我们的适应技术为具有不可见脚本的语言提供了大量的性能提升。我们还证明了它们可以改进预训练模型所涵盖的脚本中编写的低资源语言。
2021-09-10 cs.CL
Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources
University of Helsinki（赫尔辛基大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；University of Turku（图尔库大学）
本研究系统评估36种多语言持续预训练配置，发现双语CPT改善分类但致语言混合，代码数据提升低资源语言分类但略降生成质量，且语言分类与跨语言迁移影响存在显著偏差。
2025-10-08 cs.CL
Positional Cognitive Specialization: Where Do LLMs Learn To Comprehend and Speak Your Language?
研究通过实验揭示语言模型在不同区域发展语言感知与产出专精机制，提出CogSym方法实现高效适应，提升多语言任务性能。
2026-04-01 cs.CL
Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation
University of Edinburgh（爱丁堡大学）；Facebook AI（脸书人工智能研究院）
最近在单语数据的预训练和机器翻译（MT）的微调方面取得了成功，但目前还不清楚如何最好地利用给定MT任务的预训练模型。本文研究了在MT上微调预训练模型时冻结参数和添加新参数的优点和缺点。我们专注于1）微调仅在英语单语数据上训练的模型，BART。2）微调在25种语言的单语数据上训练的模型，mBART。对于BART，我们通过冻结大多数模型参数并添加额外的位置嵌入来获得最佳性能。对于mBART，我们匹配或优于大多数语言对的朴素微调的性能，编码器和大多数解码器被冻结。编码器-解码器注意参数对于微调是最重要的。当我们将自己限制在越南语到英语的域外训练集时，我们看到了微调基线的最大改进。
2022-06-20 cs.CL
Data Augmentation and Hyperparameter Tuning for Low-Resource MFA
Yale University（耶鲁大学）
本文针对低资源语言强制对齐准确率低的问题，比较数据增强与超参数调优的效果，发现音频增强提升有限，而超参数调优能在不显著增加训练时间的情况下带来实质性改进。
2025-04-09 cs.CL
GAIA-v2-LILT: Multilingual Adaptation of Agent Benchmark beyond Translation
LILT
本文提出GAIA-v2-LILT，通过功能对齐、文化对齐和难度校准改进多语言代理基准，实验表明其性能提升达32.7%，接近英语表现，但仍有较大差距，揭示了多语言性能差距主要由基准测量误差引起。
2026-04-27 cs.AI cs.CL
LowCLIP: Adapting the CLIP Model Architecture for Low-Resource Languages in Multimodal Image Retrieval Task
George Washington University（乔治华盛顿大学）；ADA University（ADA大学）
本研究针对阿塞拜疆语等低资源语言的图像检索，集成 CLIP 架构与 Multilingual BERT 及多种图像编码器，通过机器翻译、图像增强和注意力机制微调，在 Flickr30k 和 MSCOCO 数据集上刷新了 SOTA。
2024-08-25 cs.CL cs.CV
Zero-Shot Cross-Lingual Transfer using Prefix-Based Adaptation
Indian Institute of Technology Bombay（印度理工学院班加罗尔分校）
本研究针对仅解码器大语言模型跨语言任务适配难题，综合探究三种前缀式参数高效方法的零样本跨语言迁移效果，证实其在多基准上优于LoRA基线，为低资源多语言场景提供了高效可扩展的适配方案。
2025-10-28 cs.AI cs.CL cs.LG
Less is More: Adapting Text Embeddings for Low-Resource Languages with Small Scale Noisy Synthetic Data
Metric AI Lab（Metric AI实验室）
本文挑战了大规模数据对语义对齐的必要性假设，通过小规模噪声合成数据提升低资源语言文本嵌入性能，实验显示在仅1万对数据下即可获得显著改进，验证了噪声对语义对齐的鲁棒性。
2026-03-04 cs.CL cs.IR
Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet?
University of Cambridge（剑桥大学）
本文系统比较SFT、SIT和ICL在多语言少样本NLU中的性能与成本，发现SIT权衡最佳，并揭示标准目标语言适配难以提升ICL语言理解。
2024-03-04 cs.CL
Guided Distant Supervision for Multilingual Relation Extraction Data: Adapting to a New Language
University of Luxembourg（卢森堡大学）；Aston University（阿斯顿大学）
本文应用引导式远程监督方法构建了最大的德语传记关系抽取数据集，并训练和评估了多种最先进模型，同时通过多语言和跨语言实验探索了对低资源语言的益处。
2024-03-27 cs.CL cs.LG
Seeing the Unseen: Visual Similarity for Pixel Language Model Adaptation
KU Leuven（KU Leuven（天主教鲁汶大学））
本研究以藏语为案例，针对像素语言模型适配低资源语言的问题，提出四个渲染级视觉文字相似性指标，发现正字法邻近度可增强语义迁移，且多语言预训练的PIXEL-M4与混合文字的单语言模型PIXEL的适配表现存在不对称性。
2026-09-01 cs.CL
Adapting the adapters for code-switching in multilingual ASR
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究所）；Erisha Labs（埃里沙实验室）
本研究提出通过整合双语言适配器信息并建模潜在二进制序列来微调多语言ASR模型，显著提升阿拉伯语、普通话和印地语与英语混合的语码转换识别性能，CER绝对降低至少10%。
2023-10-11 cs.CL cs.SD eess.AS
Inducing Generalization across Languages and Tasks using Featurized Low-Rank Mixtures
Google（谷歌公司）
提出 FLix 参数高效微调方法，通过为语言、任务等数据集特征配置并组合专属低秩更新参数，缓解多语言多任务混合中的负干扰，提升未见数据集上的泛化与零样本性能。
2024-08-01 cs.AI cs.CL
Multilingual MFA: Forced Alignment on Low-Resource Related Languages
Yale University（耶鲁大学）
本文通过蒙特利尔强制对齐器比较多语言与跨语言训练，发现适配英语模型对低资源相关语言（如澳大利亚语言）的强制对齐效果最佳。
2025-04-23 cs.CL
Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation
Yıldız Technical University（Yıldız技术大学）；Istanbul Bilgi University（伊斯坦布尔比尔格大学）
提出一种高效的三阶段适应流程，通过跨语言分词器优化、教师模型克隆和离线蒸馏，构建了土耳其语句子嵌入模型embeddingmagibu-200m，在STSbTR上超越教师模型，并在TR-MTEB上以更少参数达到竞争性能。
2026-05-28 cs.CL
Bridging the Language Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs
Microsoft Research India（微软研究院印度分部）
本文提出运行时按查询动态选择提示、嵌入模型与LLM的RAG方法，在18种语言的QA任务上显著优于预训练和微调模型。
2025-01-07 cs.AI cs.CL
Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding
Maastricht University at AMIYA（马斯特里赫特大学）
本文通过LoRA微调和MBR解码技术，提升方言阿拉伯语的生成与翻译性能，实验显示该方法在保持语义准确性的基础上提高了方言忠实度。
2026-02-10 cs.AI cs.CL
Adapting Monolingual Models: Data can be Scarce when Language Similarity is High
University of Groningen（格罗宁根大学）
对于许多（少数）语言来说，无法获得训练大型模型所需的资源。我们调查的性能zero-shot迁移学习尽可能少的数据，在这个过程中的语言相似性的影响。我们使用来自两种低资源目标语言的数据重新训练四个基于BERT的模型的词法层，而Transformer层在模型的源语言中独立地对POS标记任务进行微调。通过结合新的词汇层和微调的Transformer层，我们实现了两种目标语言的高任务性能。由于语言相似性高，10MB的数据似乎足以实现实质性的单语迁移性能。基于单语BERT的模型在重新训练词汇层之后通常比多语言BERT实现更高的下游任务性能，即使在多语言模型中包括目标语言时也是如此。
2021-05-22 cs.CL
Clustering Pseudo Language Family in Multilingual Translation Models with Fisher Information Matrix
Harbin Institute of Technology（哈尔滨工业大学）
本文提出利用费舍尔信息矩阵基于多语言翻译模型参数影响定义伪语系，以替代传统祖先语系聚类，实验证明该方法能提升模型对新语言对的适配性能。
2023-12-05 cs.AI cs.CL
Adapting Multilingual Models to Code-Mixed Tasks via Model Merging
IIIT Hyderabad；MBZUAI
本研究提出通过持续预训练检查点与基础模型合并来适应代码混合任务，在情感和仇恨言论分类上优于完全微调，并展现出更强的跨语言迁移能力。
2025-10-23 cs.CL
An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient Language Model Inference
School of Computer Science, University of Sheffield（谢菲尔德大学计算机学院）；The Alan Turing Institute（阿兰·图灵研究所）
本文对五种跨语言词表适配方法在四种生成式LLMs和四种语言上进行实证研究，发现CVA能实现高达271.5%的推理加速，且在均衡多语言数据上预训练的模型适配后下游性能与原模型相当。
2024-09-26 cs.AI cs.CL
Improving Multilingual Math Reasoning for African Languages
The African Research Collective（非洲研究集体）；Masakhane NLP；University of Waterloo（滑铁卢大学）；Mila, McGill University（Mila，麦吉尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair）
本研究系统评估了将LLM适应非洲语言的不同策略，通过实验比较数据类型、训练阶段等配置，发现最佳适应方法，以提升数学推理性能。
2025-05-26 cs.CL
Phylogeny-Inspired Adaptation of Multilingual Models to New Languages
George Mason University（乔治梅森大学）
大型预训练的多语言模型，在几十种语言上进行训练，由于在各种语言任务上的跨语言学习能力，已经取得了令人鼓舞的结果。进一步使这些模型适应特定的语言，特别是在预训练期间看不到的语言，是扩大语言技术覆盖范围的一个重要目标。在这项研究中，我们展示了如何使用语言系统发育信息，以改善跨语言迁移利用密切相关的语言在结构化，语言信息的方式。我们对来自不同语系（日耳曼语、乌拉尔语、图皮斯语、乌托-阿兹特克语）的语言进行基于适配器的训练，并对句法和语义任务进行评估，与强大的常用基线相比，获得了超过20%的相对性能提升，特别是在预训练期间看不到的语言上。
2022-11-22 cs.CL
Building Robust and Scalable Multilingual ASR for Indian Languages
Wadhwani School of Data Science \& AI Indian Institute of Technology, Madras Chennai, India；Department of Electrical Engineering Indian Institute of Technology, Madras Chennai, India
本文提出了一种多解码器架构和音素公共标签集方法，用于改进多语言语音识别系统在印度语言中的表现，实现了较高的识别准确率和方言识别精度。
2025-11-19 cs.AI cs.CL
Evaluating the Effect of Linguistic Relatedness on Cross-Lingual Transfer in Large Multilingual Automatic Speech Recognition
Princeton University（普林斯顿大学）；Maseno University（马塞诺大学）
研究在大型多语言自动语音识别中，通过系统实验设计，探讨语言相关性能否可靠预测跨语言迁移增益，发现仅语言相关性难以有效促进跨语言迁移。
2026-07-28 cs.AI cs.CL
Aligning Multilingual Word Embeddings for Cross-Modal Retrieval Task
IDIAP Research Inst.（IDIAP研究所）；EPFL（洛桑联邦理工学院）
在本文中，我们提出了一种新的方法来学习多模态多语言嵌入匹配图像及其相关的字幕在两种语言。我们结合了两个现有的目标函数，使图像和字幕在一个联合嵌入空间中接近，同时在我们的模型中调整现有语言之间的词嵌入的对齐。我们表明，我们的方法可以更好地推广，实现最先进的性能，在文本到图像和图像到文本检索任务，以及标题-标题相似性任务。两个多模态多语言数据集用于评估：Multi 30 k与德语和英语字幕和Microsoft-COCO与英语和日语字幕。
2019-10-08 cs.CL cs.IR cs.LG
Social Bias in Multilingual Language Models: A Survey
School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院）；Department of Information Systems and Computer Science, Ateneo de Manila University（马尼拉大学信息系统与计算机科学系）
本综述系统梳理多语言模型社会偏见评估与缓解的相关研究，指出当前方法在语言偏好、实验匮乏等方面的缺口，提出未来需提升研究包容性与跨文化适配性的方向。
2025-09-05 cs.CL
Exploring Design Choices for Building Language-Specific LLMs
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究系统探究适配现有单语、多语大语言模型构建特定语言LLM的各类设计选择的影响，发现初始性能不代表适配后效果、简单词表扩展即可提效、最优方案依语言而定，为高效构建特定语言LLM奠定基础。
2024-10-30 cs.AI cs.CL cs.LG
Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency
The Chinese University of Hong Kong（香港中文大学）；Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
结构化修剪已经在单语预训练语言模型上得到了广泛的研究，并且还没有在多语言模型上得到充分的评估。本文研究了多语言预训练语言模型的结构化剪枝的三个方面：设置、算法和效率。对九个下游任务的实验显示了几个反直觉的现象：对于设置，对每种语言单独修剪并不会产生更好的结果;对于算法，最简单的方法表现最好;对于效率，快速模型并不意味着它也很小。为了便于在所有稀疏性级别上进行比较，我们提出了动态稀疏化，这是一种简单的方法，允许对模型进行一次训练，并在推理时适应不同的模型大小。我们希望这项工作填补了多语言预训练模型的结构化修剪研究的空白，并为未来的研究提供指导。
2022-04-06 cs.CL
Simple, Scalable Adaptation for Neural Machine Translation
Google AI（谷歌人工智能）
微调预训练的神经机器翻译（NMT）模型是适应新语言和领域的主要方法。然而，微调需要为每个目标任务调整和维护单独的模型。我们提出了一个简单而有效的方法来适应NMT。我们提出的方法包括将微小的特定于任务的适配器层注入到预先训练的模型中。这些轻量级的适配器，只有原始模型大小的一小部分，使模型同时适应多个单独的任务。我们在两个任务上评估我们的方法：（i）领域自适应和（ii）大规模多语言NMT。领域自适应的实验表明，我们提出的方法是与各种领域，数据集大小和模型容量的全面微调。在一个包含103种语言的大规模多语言数据集上，我们的自适应方法弥合了单个双语模型与大多数语言对的大规模多语言模型之间的差距，为通用机器翻译铺平了道路。
2019-09-18 cs.CL cs.LG
Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models
Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗 G. 艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Faculty of Mathematics and Physics, Charles University in Prague（布拉格查理大学数学与物理学院）
针对多语言语言模型因参数竞争性能不及单语言模型的问题，提出跨语言专家语言模型X-ELM，通过语料子集独立训练缓解竞争，相同算力下性能更优且易扩展新语言、降低训练硬件门槛。
2024-10-08 cs.CL
RA-MoE: Routing-Aligned Fine-Tuning for Multilingual Adaptation of Mixture-of-Experts Models
City University of Hong Kong（香港城市大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Hong Kong（香港大学）
针对混合专家模型在多语言下游任务中的路由结构异构问题，提出RA-MoE三阶段框架，通过中间层语言通用对齐区识别任务相关专家，并引入路由对齐损失增强目标语言路由，实验表明该方法优于标准微调和强基线。
2026-10-01 cs.AI cs.CL
Adapting Multi-Lingual ASR Models for Handling Multiple Talkers
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
本文提出通过增强版序列化输出训练和轻量级适配器模块适配通用语音模型，使其在保持多语言能力的同时实现多说话人ASR与时间戳预测。
2023-05-30 cs.CL eess.AS
