Incremental Multilingual Text2Cypher with Adapter Combination
Neo4j London UK（Neo4j伦敦英国）
本文提出一种可扩展的多语言文本到图结构方法，通过训练语言特定的LoRA适配器并结合统一线性融合或学习融合MLP，实现无需全量微调即可支持新语言，提升数据效率和性能。
2026-05-11 cs.CL
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
EPFL（洛桑联邦理工学院）
本研究提出多语言适配方法，将英文质量分类器转为多语言变体，用于100余种语言的LLM预训练数据选择，实验表明该方法可维持下游基准性能且具备跨语言泛化能力。
2026-10-09 cs.AI cs.CL
Improving Training Efficiency and Reducing Maintenance Costs via Language Specific Model Merging
Qualtrics（Qualtrics公司）；George Mason University（乔治·马歇尔大学）
本文提出通过语言特定模型合并提升训练效率并降低维护成本，展示在多语言任务中显著减少训练时间和成本的方法。
2026-01-23 cs.AI cs.CL
LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language
Middle East Technical University（中东技术大学）
针对低资源语言大模型发展不足的问题，本研究探索将英语主导的开源大模型适配至低资源语言，评估了持续训练、指令微调等多种策略，明确了不同方法的效果差异，为低资源语言大模型适配提供了参考。
2024-05-13 cs.AI cs.CL
Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights
本文探讨通过合并语言特定基础模型与指令微调模型，以实现低资源语言的有效指令跟随和多语言能力，减少计算成本并提升性能。
2026-03-30 cs.AI cs.CL
MergeDistill: Merging Pre-trained Language Models using Distillation
Google Research（谷歌研究院）
预训练的多语言语言模型（LM）在跨语言迁移方面取得了最先进的结果，但由于容量有限、预训练数据偏斜以及次优词汇表，它们通常导致语言的不公平表示。这促使创建了一个不断增长的预训练模型宇宙，其中每个模型都是在大量语言或特定领域数据的基础上进行训练的，这些数据具有精心策划的语言信息词汇。然而，这样做会使我们回到原点，并阻止人们利用多种语文的好处。为了解决频谱两端的差距，我们提出了MergeDistill，这是一个框架，可以使用任务不可知的知识蒸馏，以最小的依赖性最好地利用其资产的方式合并预先训练的LM。我们证明了我们的框架在实际环境中的适用性，利用预先存在的教师LM和培训学生LM，表现有竞争力，甚至优于教师LM训练的几个数量级的数据和固定的模型容量。我们还强调了教师选择的重要性及其对学生模型表现的影响。
2021-06-05 cs.CL
Improving Multilingual Math Reasoning for African Languages
The African Research Collective（非洲研究集体）；Masakhane NLP；University of Waterloo（滑铁卢大学）；Mila, McGill University（Mila，麦吉尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair）
本研究系统评估了将LLM适应非洲语言的不同策略，通过实验比较数据类型、训练阶段等配置，发现最佳适应方法，以提升数学推理性能。
2025-05-26 cs.CL
Mix Data or Merge Models? Optimizing for Diverse Multi-Task Learning
Cohere For AI；Cohere
本研究在多语言多任务场景下探索模型合并，发现基于目标和语言的合并方法优于数据混合，能显著提升模型的通用性能与安全性，为构建安全强大的多语言模型提供了有效框架。
2024-10-14 cs.CL cs.LG
Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency
The Chinese University of Hong Kong（香港中文大学）；Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
结构化修剪已经在单语预训练语言模型上得到了广泛的研究，并且还没有在多语言模型上得到充分的评估。本文研究了多语言预训练语言模型的结构化剪枝的三个方面：设置、算法和效率。对九个下游任务的实验显示了几个反直觉的现象：对于设置，对每种语言单独修剪并不会产生更好的结果;对于算法，最简单的方法表现最好;对于效率，快速模型并不意味着它也很小。为了便于在所有稀疏性级别上进行比较，我们提出了动态稀疏化，这是一种简单的方法，允许对模型进行一次训练，并在推理时适应不同的模型大小。我们希望这项工作填补了多语言预训练模型的结构化修剪研究的空白，并为未来的研究提供指导。
2022-04-06 cs.CL
Adapting Language-Specific LLMs to a Reasoning Model in One Day via Model Merging -- An Open Recipe
SCB 10X R&D SCBX Group（SCB 10X研发中心SCBX集团）
本文提出一种基于数据选择与模型合并的开放配方，以120美元预算将语言特定LLM（如泰语模型）的推理能力提升至DeepSeek R1水平，同时保持目标语言能力。
2025-03-27 cs.AI cs.CL
EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training
Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究院）；Department of Software Science, Tallinn University of Technology（塔林技术大学软件科学系）；Institute of the Estonian Language, Tallinn, Estonia（爱沙尼亚语言研究院）；School of Humanities, Tallinn University（塔林大学人文学院）
EstLLM通过持续预训练和后训练提升多语言大语言模型中爱沙尼亚的能力，增强语言和推理表现。
2026-08-26 cs.AI cs.CL
Scaling Model and Data for Multilingual Machine Translation with Open Large Language Models
School of Informatics, Xiamen University, China（厦门大学信息学院）；MiLM Plus, Xiaomi Inc., Beijing, China（小米公司）
本文提出MiLMMT-46模型，通过模型和数据扩展提升多语言机器翻译性能，超越现有SOTA模型并接近Google Translate等强 proprietary 系统。
2026-07-21 cs.CL
MUTANT: A Recipe for Multilingual Tokenizer Design
Krutrim AI
本文提出MUTANT多语言分词方法，通过精心设计词汇和训练数据、语言感知预分词和子词多词感知训练，提升多语言LLM的分词效果，MUTANT-Indic在22种印度语言上实现SOTA性能。
2026-03-22 cs.CL
Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding
Maastricht University at AMIYA（马斯特里赫特大学）
本文通过LoRA微调和MBR解码技术，提升方言阿拉伯语的生成与翻译性能，实验显示该方法在保持语义准确性的基础上提高了方言忠实度。
2026-02-10 cs.AI cs.CL
Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings
Department of Computer Science and Electronics（计算机科学与电子系）；Universitas Gadjah Mada（加德满都大学）
本文通过情感分析任务实证研究预训练语言模型向十种低资源印尼本地语言的零样本迁移能力，发现MAD-X适配器方法能显著提升已见和部分已见语言的性能，且模型先前对目标语言或相关语言的接触是迁移成功最一致的预测因素。
2025-07-02 cs.CL
Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement
Alibaba Group（阿里巴巴集团）
本文提出权重解耦方法 WIDEN，将模型合并从微调 LLM 扩展到参数变化更大的预训练 LLM，通过分离幅值与方向并自适应融合，成功将 Sailor 的多语言能力注入 Qwen1.5-Chat，并在多个 FT LLM 上实现均衡能力融合。
2024-08-06 cs.CL
FineWeb2: One Pipeline to Scale Them All -- Adapting Pre-Training Data Processing to Every Language
Hugging Face；EPFL（瑞士联邦理工学院）
本文提出了基于FineWeb的自动适配多语言预训练数据集管理流水线，通过9种语言消融实验和考虑重复计数与质量的重平衡方法，构建了包含1000多种语言、20TB的FineWeb2多语言数据集，显著提升了非英语模型性能。
2025-06-26 cs.CL
Merging Continual Pretraining Models for Domain-Specialized LLMs: A Case Study in Finance
NARA Institute of Science and Technology（日本科学技术研究院）
针对LLM在金融等专业领域技能不足的问题，本研究提出合并持续预训练（CPT）专家模型作为替代方案，通过三阶段评估和三种合并方法验证，发现合并能有效恢复通用知识并产生跨领域涌现技能，为构建多技能LLM提供了首个基础性分析框架与指导。
2025-11-04 cs.CL
Towards Democratizing Multilingual Large Language Models For Medicine Through A Two-Stage Instruction Fine-tuning Approach
AI Engineering Team（人工智能工程团队）；SpassMed Inc.（斯帕斯医疗公司）
本文构建 MMed-IFT 与 MMed-IFT-MC 多语言医学指令数据集，提出先注入通用医学知识、再微调多选题的两阶段方法，在英语及多语言基准上实现效率与性能兼顾。
2024-09-09 cs.CL
SoT: Structured-of-Thought Prompting Guides Multilingual Reasoning in Large Language Models
Key Laboratory of Big Data & Artificial Intelligence in Transportation (Beijing Jiaotong University), Ministry of Education（大数据与人工智能交通 key laboratory（北京交通大学））；School of Computer Science and Technology, Beijing Jiaotong University（计算机科学与技术学院（北京交通大学））；University of Montreal（蒙特利尔大学）
针对非高资源语言下大语言模型多语言推理能力不足的问题，提出无需训练的结构化思维提示方法SoT，通过两步变换实现跨语言一致推理，在多基准上优于强基线且可兼容其他免训练策略。
2025-10-03 cs.CL
BPE Stays on SCRIPT: Structured Encoding for Robust Multilingual Pretokenization
Cohere；EleutherAI
针对 BPE 在多语言预分词中惩罚非西方文字及部分 UTF-8 序列的问题，提出基于 Unicode 属性的 SCRIPT 编码方案与强制字符完整性的受限 BPE 合并策略，消除了非拉丁文字的编码惩罚并实现了有竞争力的压缩率。
2025-05-30 cs.CL
EMCEE: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context
Yonsei University（延世大学）
提出EMCEE框架，通过从LLM自身提取并融合语言特定知识，结合推理输出，显著提升多语言任务性能，尤其在低资源语言上平均提升31.7%。
2026-05-29 cs.AI cs.CL
Token Merging for Multilingual Speech Recognition: A Systematic Study Across Model Scale and Fine-Tuning
Epoch Learn
本文系统评估了Token合并方法在Whisper多语言语音识别模型上的效果，涵盖16种语言和3种模型规模，发现该方法能显著提升计算效率且几乎不损失准确性，并可与微调兼容。
2026-09-16 cs.CL
A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM$Δ$ Integration into Upcycled MoE
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Tongyi Lab, Alibaba Group（阿里集团通义实验室）；Zhejiang University（浙江大学）
本文提出了一种高效的方法，通过将密集模型转换为MoE架构，并将不同语言分配给不同专家，从而在不进行复杂对齐阶段的情况下提升多语言大语言模型的性能，同时保留原始能力。
2026-05-18 cs.CL
CSIRO-LT at SemEval-2025 Task 11: Adapting LLMs for Emotion Recognition for Multiple Languages
CSIRO Data61（CSIRO数据61研究所）；Macquarie University（麦考瑞大学）
针对跨语言情感识别挑战，研究LLM任务适配策略，发现对多语言LLM按语言分别用LoRA微调最有效。
2025-08-02 cs.CL
Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 with Enhanced Vocabulary and Instruction Capabilities
DICTA（迪克塔机构）；Bar Ilan University（巴伊兰大学）
针对希伯来语这类低资源语言训练大模型的难题，研究团队基于Mistral训练出DictaLM2.0系列模型，提出适配新语言的训练方法，推出希伯来语大模型评估基准，为多语言NLP发展提供可复用框架。
2024-07-09 cs.CL
BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs
Diabolocom；Artefact Research Center（Artefact 研究中心）；MICS, CentraleSupélec, Université Paris-Saclay（MICS，中央理工-高等电力学院，巴黎-萨克雷大学）；Cohere
本文通过系统消融实验发现，通过引入先验掩码阶段和双策略可提升因果语言模型的双向编码性能，最终提出BidirLM家族五种编码器，在文本、视觉和音频表示基准上优于现有方法。
2026-04-02 cs.AI cs.CL
A Three-Pronged Approach to Cross-Lingual Adaptation with Multilingual LLMs
Indian Institute of Technology Bombay（印度孟买理工学院）；SML
本研究探讨三种低资源跨语言适应方法，通过主导语言监督、词重排及持续预训练，使英语主导的Llama-2有效迁移至孟加拉语、印地语和泰米尔语。
2024-06-25 cs.CL
Adapting Large Language Models to Low-Resource Tibetan: A Two-Stage Continual and Supervised Fine-Tuning Study
本研究通过两阶段方法将Qwen2.5-3B适应到藏语，通过持续预训练和监督微调提升翻译质量，实现低资源语言的模型适应。
2025-12-03 cs.CL
Enhancing Multilingual Reasoning via Steerable Model Merging
Beijing University of Posts and Telecommunications（北京邮电大学）；Fudan University（复旦大学）；Beihang University（北京航空航天大学）；Monash University（墨尔本大学）；Zhongguancun Laboratory（中关村实验室）；Nanjing University（南京大学）；Tsinghua University（清华大学）
提出可引导模型合并（ST-Merge）框架，通过门控交叉注意力机制自适应调节源模型贡献，在多语言推理任务中优于强基线。
2026-06-18 cs.CL
Adapting Multilingual Neural Machine Translation to Unseen Languages
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
针对低资源语言（LRL）的多语言神经机器翻译（MNMT）可以通过相关高资源语言（HRL）的存在来增强，但是HRL的相关性通常依赖于关于语言相似性的预定义语言假设。最近，MNMT适应LRL已被证明可以大大提高性能。在这项工作中，我们探讨了MNMT模型适应一个看不见的LRL使用数据选择和模型自适应的问题。为了改进LRL的NMT，我们使用困惑度来选择与LRL最相似的HRL数据。我们广泛地探索了流行的多语言NMT设置中的数据选择，即在（zero-shot）翻译中，以及在两个方向（LRL-en）的多语言预训练模型的适应中。我们进一步表明，动态适应模型的词汇结果在一个更有利的分割LRL相比，直接适应。实验表明，即使LRL数据为零（+13.0 BLEU），也可以减少训练时间，并在LRL基线上获得显着的性能提升，对于预训练的多语言模型动态自适应与相关数据选择，最高可达+17.0 BLEU。我们的方法优于目前的方法，如大规模多语言模型和数据增强，在四个LRL。
2019-10-30 cs.CL
Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文针对低资源机器翻译场景，重新审视平行数据与监督微调多样性的作用，通过多模型多语言组实验证明平行数据在预训练和微调中均至关重要，而多样性反而造成干扰，为构建服务低资源语言的大规模多语言LLM-MT模型提供了关键指导。
2024-10-03 cs.CL
Exploring Design Choices for Building Language-Specific LLMs
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究系统探究适配现有单语、多语大语言模型构建特定语言LLM的各类设计选择的影响，发现初始性能不代表适配后效果、简单词表扩展即可提效、最优方案依语言而定，为高效构建特定语言LLM奠定基础。
2024-10-30 cs.AI cs.CL cs.LG
Adapting to Non-Centered Languages for Zero-shot Multilingual Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
多语言神经机器翻译可以在训练过程中翻译看不见的语言对，即zero-shot翻译。然而，zero-shot翻译总是不稳定的。虽然以前的作品将不稳定性归因于中心语言（例如英语）的统治，但我们用非中心语言的严格依赖性来补充这一观点。在这项工作中，我们提出了一个简单的，轻量级的，但有效的语言特定的建模方法，通过适应非中心的语言，并结合共享信息和语言特定的信息，以抵消不稳定的zero-shot翻译。在IWSLT17、Europarl、TED talks和OPUS-100数据集上使用Transformer进行的实验表明，该方法不仅在中心数据条件下表现得比强基线更好，而且可以很容易地适应非中心数据条件。通过进一步研究层属性，我们表明，我们提出的方法可以解开耦合表示在正确的方向。
2022-09-09 cs.CL
Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent（腾讯）
针对大语言模型有监督微调中数据顺序引发的训练不平衡及性能下降问题，提出合并不同数据顺序的SFT模型，并设计参数选择合并技术，在五个数据集上优于传统加权平均法，经分析与消融实验验证了有效性及性能提升来源。
2024-10-01 cs.AI cs.CL cs.LG
One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging
Indian Institute of Technology Patna（印度理工学院巴特那分校）
本文研究了多语言机器翻译中权重空间模型融合的行为，发现融合会降低性能，尤其在目标语言差异时。通过分析内部表示发现语言特定神经元集中在嵌入层和上层Transformer块，而中间层在多语言间共享。细调使语言选择性重新分布，影响生成层的表示差异。
2026-09-04 cs.AI cs.CL
Arabic Stable LM: Adapting Stable LM 2 1.6B to Arabic
Stability AI（稳定性人工智能公司）；Stability AI Language Team（稳定性人工智能公司语言团队）
本文提出基座与聊天两版 Arabic Stable LM 1.6B，以轻量阿拉伯语中心 LLM 降低硬件需求和推理延迟，并验证合成对话指令微调可使其击败最高 8 倍参数的模型。
2024-12-05 cs.CL
Adapting Multilingual Embedding Models to Historical Luxembourgish
University of Zurich（苏黎世大学）
针对历史卢森堡语跨语言语义搜索，本文构建平行语料与Historical LB Bitext Mining评估集，并通过对比学习或知识蒸馏适配多语言嵌入模型，显著提升准确率。
2025-03-13 cs.CL
Modular Expert Merging for Biomedical Retrieval
IKIM, University Hospital Essen（IKIM，埃森大学医院）；Microsoft Healthcare & Life Sciences（微软医疗与生命科学）
本文提出STM框架，通过合成数据和模型合并提升生物医学检索性能，实验显示在任务特定专家上提升23.5%并优于基线模型。
2026-09-03 cs.CL cs.LG
Chitranuvad: Adapting Multi-Lingual LLMs for Multimodal Translation
Krutrim AI
Chitranuvad通过ViT图像编码器和适配器层将视觉信息融入多语言大语言模型，实现多模态翻译，在WAT2024印地语挑战集上取得SOTA。
2025-02-27 cs.CL cs.CV
XAMPLER: Learning to Retrieve Cross-Lingual In-Context Examples
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel（昂巴贝尔公司）
针对跨语言上下文学习中跨语言检索器和标注数据稀缺的问题，提出XAMPLER方法，基于Glot500训练检索器并利用MaLA500构建训练数据，仅用英语标注数据即可为目标语言检索英语示例，在SIB200和MasakhaNEWS基准上显著提升性能。
2025-02-08 cs.CL
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts
Technical University of Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）；DeepMind
多语言BERT等大规模多语言模型在一系列NLP任务上提供了最先进的跨语言迁移性能。然而，由于容量有限和预训练数据大小差异较大，资源丰富和资源贫乏的目标语言之间存在巨大的性能差距。最终的挑战是处理模型根本没有涵盖的资源不足的语言，并且在预训练期间看不到脚本。在这项工作中，我们提出了一系列新颖的数据高效方法，使预训练的多语言模型能够快速有效地适应这种低资源语言和看不见的脚本。依靠矩阵分解，我们的方法利用了预训练模型的嵌入矩阵中已经存在的关于多种语言的潜在知识。此外，我们还表明，在目标语言中学习新的专用嵌入矩阵可以通过利用少量的词汇项（即，所谓的词汇重叠标记）在mBERT和目标语言词汇表之间共享。我们的适应技术为具有不可见脚本的语言提供了大量的性能提升。我们还证明了它们可以改进预训练模型所涵盖的脚本中编写的低资源语言。
2021-09-10 cs.CL
Adapting BigScience Multilingual Model to Unseen Languages
Brown University（布朗大学）；NAVER LABS Europe（NAVER欧洲实验室）
我们对将新语言（德语和韩语）添加到BigScience的预训练多语言语言模型中的不同策略进行了基准测试，该模型具有13亿个参数，目前支持13种语言。我们调查的因素，影响模型的语言适应性和计算成本和预期性能之间的权衡。
2022-04-11 cs.AI cs.CL cs.LG
Integrating knowledge graphs and multilingual scholarly corpora for domain-adaptive LLMs in SSH
Huma-Num, CNRS（人文数字实验室，法国国家科学研究中心）；CNR - Institute for Computational Linguistics “A. Zampolli” (CNR-ILC)（意大利国家研究委员会 - 计算语言学“ A. 赞波利”研究所（CNR-ILC））；Inria（法国国家信息与自动化研究所）；Inist, CNRS（法国国家科学研究中心人文社会科学信息研究所）
本文针对LLMs集成到SSH科研工作流程的挑战，介绍欧洲项目LLMs4EU和ALT-EDIC基础设施中的用例，通过遵循特定协议的评估框架，将模型适配嵌入相关框架，探索领域敏感且合规的生成式AI对SSH学术研究的支持。
2026-07-08 cs.AI cs.CL
Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation
研究如何利用大量未使用的监督微调数据提升推理语言模型性能，先对模型进行经典指令微调，再与原始推理模型合并，该技术在多领域提升了模型性能且成本效益高。
2026-10-02 cs.CL cs.LG
Examining and Adapting Time for Multilingual Classification via Mixture of Temporal Experts
University of Memphis（孟菲斯大学）
针对现有分类模型忽视多语言场景时间变化的问题，提出时间专家混合模型（MoTE），通过适配时间趋势增强分类器泛化能力，实验验证其在多语言时间数据变化下的有效性并提供分析见解。
2025-02-12 cs.CL
Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对医疗大语言模型适配低资源语言时的数据稀缺问题，提出语言家族专家混合架构，通过语言特定专家、跨语言路由及Post-MoE架构，在保留可解释性的同时增强泛化能力，无需额外参数即可扩展至50种语言。
2025-02-10 cs.CL
Countering Catastrophic Forgetting of Large Language Models for Better Instruction Following via Weight-Space Model Merging
University of Florida（佛罗里达大学）；Department of Health Outcomes and Biomedical Informatics, College of Medicine, University of Florida（佛罗里达大学医学院健康结果与生物医学信息学系）；Department of Engineering Education, Herbert Wertheim College of Engineering, University of Florida（佛罗里达大学赫伯特·韦特海姆工程学院工程教育系）；Preston A. Wells, Jr. Center for Brain Tumor Therapy, Lillian S. Wells Department of Neurosurgery, University of Florida（佛罗里达大学莉莉安·S·威尔斯神经外科系普雷斯顿·A·威尔斯脑肿瘤治疗中心）
本文提出通过权重空间模型融合方法，有效缓解大语言模型在医疗领域微调时的灾难性遗忘问题，保留指令跟随能力并提升医疗任务表现。
2026-04-02 cs.AI cs.CL
Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation
University of Edinburgh（爱丁堡大学）；Facebook AI（脸书人工智能研究院）
最近在单语数据的预训练和机器翻译（MT）的微调方面取得了成功，但目前还不清楚如何最好地利用给定MT任务的预训练模型。本文研究了在MT上微调预训练模型时冻结参数和添加新参数的优点和缺点。我们专注于1）微调仅在英语单语数据上训练的模型，BART。2）微调在25种语言的单语数据上训练的模型，mBART。对于BART，我们通过冻结大多数模型参数并添加额外的位置嵌入来获得最佳性能。对于mBART，我们匹配或优于大多数语言对的朴素微调的性能，编码器和大多数解码器被冻结。编码器-解码器注意参数对于微调是最重要的。当我们将自己限制在越南语到英语的域外训练集时，我们看到了微调基线的最大改进。
2022-06-20 cs.CL
Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；L3Cube Labs（L3Cube实验室）
本研究针对多语言大语言模型适配低资源语言的问题，通过LoRA PEFT微调多语言Gemma模型在马拉地语上的应用，发现微调后生成能力提升但推理能力下降，评估指标与人工评估结果存在差异，强调需改进评估方法和创建原生数据集。
2024-11-27 cs.CL cs.LG
Adapting LLMs for the Medical Domain in Portuguese: A Study on Fine-Tuning and Model Evaluation
School of Sciences São Paulo State University (UNESP)（圣保罗州立大学科学学院）
本研究通过微调ChatBode-7B并对比InternLM2等模型，评估葡萄牙语医疗大语言模型的表现，发现InternLM2整体最佳，而DrBode存在灾难性遗忘，同时指出评估者间一致性低的问题，为后续医学领域多语言模型研究奠定基础。
2024-09-30 cs.AI cs.CL
Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining
Tohoku University of Community Service and Science（东北公益文科大学）；Kitami Institute of Technology（北见工业大学）；Yokohama National University（横滨国立大学）
近年来，通过对大规模多语言文本或语音数据进行自监督预训练而学习的神经模型在资源不足的语言中表现出了良好的效果，特别是当相关语言的数据量相对较大时。虽然该技术有可能促进语言文档项目中执行的任务，例如语音转录，但为每种新语言从头开始预训练多语言模型是非常不切实际的。我们研究了将现有的多语言wav 2 vec 2.0模型用于新语言的可能性，重点关注来自极度濒危语言阿伊努人的实际实地调查数据。具体来说，我们（i）研究利用类似语言的数据进行微调的可行性;（ii）验证模型的性能是否可以通过进一步对目标语言数据进行预训练来提高。我们的研究结果表明，持续的预训练是最有效的方法，以适应一个新的语言wav 2 vec 2.0模型，并导致出错率显着降低。此外，我们发现，如果一个模型预训练相关的语音品种或不相关的语言具有相似的语音特征，多语言微调使用额外的数据，从该语言可以有积极的影响语音识别性能时，有很少的标记数据在目标语言。
2023-01-18 cs.CL cs.LG eess.AS
Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出通过适配器将ConceptNet图知识整合进多语言大语言模型，以提升八种低资源语言在情感分析和命名实体识别上的性能，并比较了多种掩码微调目标的有效性。
2024-12-18 cs.AI cs.CL
xVLM2Vec: Adapting LVLM-based embedding models to multilinguality using Self-Knowledge Distillation
University of Bari Aldo Moro（巴里大学阿尔多莫罗分校）
本文提出通过自知识蒸馏将英文训练的大型视觉-语言模型适配为多语言、多模态嵌入模型，并构建基准评估其有效性。
2025-03-16 cs.CL cs.IR
