MENLO: From Preferences to Proficiency -- Evaluating and Modeling Native-like Quality Across 47 Languages
Meta Superintelligence Labs（Meta超智能实验室）；Handshake AI
MENLO通过偏好评估和建模提升多语言LLM的原生质量，结合强化学习和多任务学习方法改进模型表现。
2026-02-28 cs.AI cs.CL cs.LG
CodeSwitch-Reddit: Exploration of Written Multilingual Discourse in Online Discussion Forums
University of Toronto（多伦多大学）
与几十年来对口语语码转换的研究不同，对多语言书面语的研究直到最近才引起人们的兴趣。关于书面语码转换的社会语言学基础仍然存在许多悬而未决的问题，而且由于缺乏适当的资源，进展受到限制。我们介绍了一个新颖的，大型的，多样化的书面代码转换产品数据集，从Reddit讨论平台上的多个双语社区的主题线程中策划，并探讨了迄今为止主要在口语环境中解决的问题。我们调查的结果，在口头语码转换的内容和风格，以及扬声器的熟练程度，是否结转到书面语码转换的讨论论坛。发布的数据集可以进一步促进一系列研究和实践活动。
2019-08-30 cs.CL
Pruning Multilingual Large Language Models for Multilingual Inference
Tokyo Metropolitan University（东京都立大学）；Tohoku University（东北大学）；Hitotsubashi University（一桥大学）
本文提出利用多语言大语言模型的跨语言对齐能力，识别并保留翻译关键大幅度特征对应权重、剪枝其余权重，从而提升其非英语零样本推理性能。
2024-10-02 cs.CL
M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models
本研究推出多语言基准M-GATE，评估50余种模型的80余种配置，发现翻译与语法能力分离，低资源语言惩罚随模型迭代缩小，推理对翻译提升显著。
2026-08-05 cs.CL cs.LG
TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
TAPO通过引入翻译增强策略优化框架，提升多语言数学推理能力，有效结合语言理解和推理能力，优于基线方法并在未见语言和领域任务中表现良好。
2026-03-26 cs.CL
Challenges and Considerations with Code-Mixed NLP for Multilingual Societies
TCS Research（塔塔咨询服务公司研究院）；IIT Gandhinagar（印度理工学院甘地纳格尔分校）
多语制是指在书面和口头交流模式中高度熟练地使用两种或两种以上语言。它经常导致语言混合，又名。语码混合，即多语言使用者在一个文本或语音的单一话语中在多种语言之间切换。本文讨论了NLP研究的现状、局限性以及在解决多语言社会的社会公益危机管理、医疗保健、政治竞选、假新闻和仇恨言论等五个现实应用中可预见的陷阱。我们还提出了未来的数据集，模型和工具，可以显着推进当前的多语言NLP应用研究，以造福社会。作为一个代表性的例子，我们考虑英语-印地语代码混合，但得出类似的推论，其他语言对
2021-06-15 cs.CL cs.LG
Understanding Editing Behaviors in Multilingual Wikipedia
KAIST（韩国科学技术院）；University of Oxford（牛津大学）
使用多种语文在离线情况下很常见，但我们对在线使用多种语文的方式以及使用多种语文者在不同语言的使用者之间传播内容方面所发挥的作用的了解却很有限。我们采用计算方法来研究使用最大的用户生成的内容平台之一，维基百科多语。我们通过收集和分析维基百科英语、德语和西班牙语版本的多语种编辑撰写的内容的大型数据集来研究多语言。该数据集包含2013年7月8日至8月9日期间由超过15，000名多语言用户编辑的超过200万个段落。我们分析了这些多语种编辑的参与，兴趣和语言熟练程度方面的主要和非主要（次要）语言，并发现维基百科的英文版显示不同的动态从西班牙语和德语版本。主要编辑西班牙语和德语版本的用户比将这些版本作为第二语言编辑的用户进行更复杂的编辑。相比之下，将英语版本作为第二语言进行编辑的用户进行的编辑与主要编辑英语版本的用户进行的编辑一样复杂。通过这种方式，英语发挥了特殊的作用，汇集了来自多种语言版本的多种语言编写的内容。尽管如此，语言仍然是内容传播的一个巨大障碍：我们发现了一个复杂性障碍的证据，即编辑不太可能用第二语言编辑复杂的内容。此外，我们发现，多语者参与度较低，第二语言的语言熟练程度较低。我们还研究了多语种编辑的主题兴趣，发现每种语言的主要和非主要编辑之间没有显着差异。
2015-08-28 cs.CL cs.CY cs.SI
Multilingual large language models leak human stereotypes across language boundaries
University of Maryland（马里兰大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本文提出“刻板印象泄漏”测量框架，研究多语言大模型中一种语言的刻板印象如何影响其他语言行为，并发现GPT-3.5泄漏最严重、印地语最易受影响。
2024-11-19 cs.CL
BenchMAX: A Comprehensive Multilingual Evaluation Suite for Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学）；University of Zurich（苏黎世大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对现有多语言基准忽视高级能力评估的问题，本文提出BenchMAX多语言评估基准，通过多语种数据构建与人工标注，公平比较LLM的指令遵循、推理等核心能力，并揭示模型规模扩大无法弥补的跨语言性能差距。
2025-04-20 cs.CL
Lens: Rethinking Multilingual Enhancement for Large Language Models
Harbin Institute of Technology（哈尔滨理工大学）；Monash University（墨尔本大学）；Singapore Management University（新加坡管理大学）
针对现有后训练方法成本高、易偏离目标及遗忘英语能力的问题，提出Lens方法，利用LLM内部语言表征空间的对齐与分离，以更低计算成本提升多语言性能并保持英语水平。
2025-05-26 cs.CL
Improving Multilingual Social Media Insights: Aspect-based Comment Analysis
Institute for Infocomm Research, A*STAR, Singapore（信息与通信研究所）
针对社交媒体文本多样性带来的下游NLP任务挑战，提出基于方面术语生成（CAT-G）的多语言大模型微调方法，并贡献首个涵盖四种语言的多语言CAT-G测试集以评估跨语言性能。
2025-05-29 cs.CL
Multilingual Large Language Models and Curse of Multilinguality
Universität des Saarlandes（萨尔兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文概述多语言大语言模型的技术架构、目标函数、预训练数据与分词方法，比较三类模型，并探讨多语言性诅咒及其克服尝试。
2025-04-25 cs.CL cs.CY
Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models
Microsoft Research Asia（微软亚洲研究院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）
本文提出语言激活概率熵（LAPE）方法识别大语言模型中的语言特定神经元，发现多语言能力主要依赖顶层和底层的少量神经元，并证明可通过调控这些神经元引导输出语言。
2024-06-06 cs.CL
Tower: An Open Multilingual Large Language Model for Translation-Related Tasks
Carnegie Mellon University（卡内基梅隆大学）
本文提出Tower开源多语言大语言模型，通过多语言混合数据持续预训练和翻译指令微调，在翻译工作流多任务上超越开源模型并比肩闭源模型，同时发布模型、数据集与评估框架。
2024-02-27 cs.CL
Analyzing Multilingual Competency of LLMs in Multi-Turn Instruction Following: A Case Study of Arabic
Qatar Computing Research Institute（卡塔尔计算研究院）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文利用定制的阿拉伯语版MT-Bench基准和GPT-4统一评估器，考察开源大语言模型在阿拉伯语多轮指令遵循中的表现，发现使用多语言和多轮数据集微调的基础模型及小型模型集成能媲美从头训练或专有模型。
2023-10-23 cs.CL
CrossIn: An Efficient Instruction Tuning Approach for Cross-Lingual Knowledge Alignment
Centre for Frontier AI Research (CFAR), A*STAR（前沿人工智能研究中心（CFAR），新加坡科技研究局）
针对LLM多语言训练数据失衡问题，提出CrossIn混合跨语言指令微调方法，并通过多任务多维度基准验证其可显著提升跨语言任务性能与一致性。
2025-01-06 cs.AI cs.CL
M3Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；The Chinese University of Hong Kong（香港中文大学）；Singapore University of Technology and Design（新加坡科技设计大学）
M3Exam是一个多语言、多模态、多级别的人类考试基准，含12,317道题目，评估LLMs，发现当前模型包括GPT-4在多语言和复杂多模态任务上仍表现不佳。
2023-11-10 cs.CL cs.CV
MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting
Alibaba Group（阿里巴巴集团）；Tianjin University（天津大学）；Xiamen University（厦门大学）
本文提出MoE-CT架构，通过冻结基础LLM参数并附加独立训练的MoE模块，在提升低资源语言能力的同时避免灾难性遗忘，实验证明其优于传统持续训练方法并具备更强的迁移学习能力。
2024-06-25 cs.AI cs.CL
Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss
Tübingen AI Center, University of Tübingen（图宾根人工智能研究中心，图宾根大学）
本文通过往返翻译评估多语言能力，揭示了现有基准测试的不足，并提出LiT基准测试以更真实地评估多语言前沿模型。
2026-04-14 cs.AI cs.CL
MorphNAS: Differentiable Architecture Search for Morphologically-Aware Multilingual NER
Department of Computer Science & Engineering, PES University, Bengaluru, India（计算机科学与工程系，PES大学，班加罗尔，印度）
MorphNAS提出一种融合文种类型和形态复杂度等语言元特征的可微分架构搜索方法，自动为多语言命名实体识别寻找最优微架构，以提升对形态复杂语言的处理能力。
2025-08-19 cs.AI cs.CL cs.LG
Evaluating Telugu Proficiency in Large Language Models_ A Comparative Analysis of ChatGPT and Gemini
本研究通过设计20个涵盖语法、词汇和推理等问题，对比评估了ChatGPT和Gemini在泰卢固语上的能力，揭示了两者在真实语言交互中的优缺点及适用性，为AI多语言发展提供参考。
2025-01-29 cs.CL cs.HC
Compass: Large Multilingual Language Model for South-east Asia
Shopee（虾皮）
针对东南亚低资源语言大模型效果不佳的问题，提出专为东南亚定制的多语言大模型CompassLLM，通过多阶段课程预训练、指令微调与DPO对齐，在多任务上超越多个基准模型。
2024-04-14 cs.CL
Multilingual Large Language Models Are Not (Yet) Code-Switchers
Brown University（布朗大学）；HKUST（香港科技大学）；Samsung R&D Institute Philippines（三星菲律宾研发研究院）；Bloomberg（彭博）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文评估多语言大语言模型在语码转换任务中的表现，发现其零/少样本性能仍不及更小的微调模型，表明当前多语言能力不等于语码转换熟练度。
2023-10-23 cs.AI cs.CL
Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following
Meta GenAI（元宇宙生成式人工智能部门）
本文提出Multi-IF基准，通过结合LLM与人工标注构建包含4501个多语言多轮对话的数据集，评估14个先进模型，发现模型在多轮交互和非拉丁语种中指令遵循能力显著下降。
2024-11-13 cs.CL
Contextual Code Switching for Machine Translation using Language Models
本研究比较了多个大型语言模型在机器翻译中的上下文代码切换性能，发现复杂度较低的模型优于多语言大型模型，并指出训练方法是限制多语言模型表现的关键因素。
2023-12-20 cs.CL
Translation as a Scalable Proxy for Multilingual Evaluation
University of California, Los Angeles（加州大学洛杉矶分校）；African Languages Lab（非洲语言实验室）；Mila - Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
本研究通过评估翻译质量与多语言任务表现的关系，提出翻译作为多语言评估的可扩展代理，为模型评估提供低成本的初步筛选方法。
2026-01-16 cs.AI cs.CL
EuropeMedQA Study Protocol: A Multilingual, Multimodal Medical Examination Dataset for Language Model Evaluation
本文提出欧洲医学问答数据集，旨在通过多语言多模态数据评估语言模型性能，评估跨语言迁移和视觉推理能力。
2026-04-23 cs.AI cs.CL
IKUN for WMT24 General MT Task: LLMs Are here for Multilingual Machine Translation
University of Amsterdam（阿姆斯特丹大学）；eBay Inc.（eBay公司）
本文提出基于 Llama-3-8b 和 Mistral-7B-v0.3 的多语言翻译系统 IKUN 与 IKUN-C，采用单语持续预训练与并行数据微调的两阶段方法，在 WMT24 任务中取得佳绩，证明 LLMs 已接近有效多语言机器翻译水平。
2024-08-29 cs.CL
XED: A Multilingual Dataset for Sentiment Analysis and Emotion Detection
University of Helsinki（赫尔辛基大学）
我们介绍了XED，一个多语言的细粒度情感数据集。该数据集包括人类注释的芬兰语（25k）和英语句子（30k），以及30种其他语言的预测注释，为许多低资源语言提供了新的资源。我们使用Plutchik的核心情感来注释数据集，并添加中性来创建多标签多类数据集。该数据集使用特定语言的BERT模型和SVM进行了仔细评估，以表明XED与其他类似数据集的性能相当，因此是情感分析和情感检测的有用工具。
2020-11-06 cs.CL
Uppsala NLP at SemEval-2021 Task 2: Multilingual Language Models for Fine-tuning and Feature Extraction in Word-in-Context Disambiguation
Uppsala University（乌普萨拉大学）
我们描述了乌普萨拉NLP提交给SemEval-2021任务2的多语言和跨语言上下文消歧。我们探索了三种预训练的多语言语言模型的有用性，XLM-RoBERTa（XLMR），多语言BERT（mBERT）和多语言蒸馏BERT（mDistilBERT）。我们在两个设置中比较这三个模型，微调和作为特征提取器。在第二种情况下，我们也尝试使用基于依赖性的信息。我们发现，微调是优于特征提取。XLMR在跨语言环境中的微调和特征提取性能优于mBERT，而这两个模型在多语言环境中的性能相似。mDistilBERT在微调方面表现不佳，但当用作特征提取器时，它给出了与其他模型相似的结果。我们提交了两个最好的系统，用XLMR和mBERT进行了微调。
2021-04-09 cs.CL
MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing
Nanjing University（南京大学）；China Mobile Research（中国移动研究院）；Alibaba Group（阿里巴巴集团）
本文提出MoE-LPR方法，通过两阶段训练（升级改造为MoE架构并引入语言先验路由）增强大型语言模型的多语言能力，有效平衡了语言扩展与防止灾难性遗忘，同时保持推理开销不变。
2024-08-21 cs.CL
mStyleDistance: Multilingual Style Embeddings and their Evaluation
University of Pennsylvania（宾夕法尼亚大学）
针对现有风格嵌入仅支持英文的问题，研究提出基于合成数据和对比学习训练的多语言风格嵌入模型mStyleDistance，在9种语言数据上训练并构建多语言基准测试，实验显示其性能优于现有模型且泛化性好，模型已公开。
2025-02-21 cs.CL
Multilingual Substitution-based Word Sense Induction
Lomonosov Moscow State University（莫斯科罗蒙诺索夫大学）；SaluteDevices（萨卢特设备公司）；University of Oslo（奥斯陆大学）
针对现有词义归纳方法难适配新语言的问题，提出基于替换的多语言WSI方法，依托覆盖百种语言的多语言模型，少适配即可用，在英语数据集上性能比肩单语方法，更适配低资源语言需求。
2024-05-17 cs.CL
Probing Multilingual Language Models for Discourse
Stockholm University（斯德哥尔摩大学）
预先训练的多语言语言模型已经成为多语言自然语言处理中的重要构件。在本文中，我们研究了一系列这样的模型，以了解它们如何跨语言传递语篇级知识。这是一个系统的评估，一个更广泛的话语层面的任务比以前已经组装。我们发现，XLM-RoBERTa系列的模型始终表现出最佳的性能，同时是良好的单语模型和退化相对较小的zero-shot设置。我们的研究结果还表明，模型蒸馏可能会损害句子表征的跨语言迁移能力，而语言相异最多有适度的影响。我们希望，我们的测试套件，涵盖5个任务，共22种语言在10个不同的家庭，将作为一个有用的评估平台，多语言性能在和超越句子水平。
2021-06-09 cs.CL
Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models
Yanolja（雅乐居（韩国））
本文提出EEVE词汇扩展方法，通过参数冻结和子词初始化，仅用20亿token即可显著提升以英语为中心的大语言模型的韩语能力，所构建的EEVE-Korean-10.8B-v1.0在开源韩语预训练模型中排名领先。
2024-02-22 cs.AI cs.CL
Exploring Representational Disparities Between Multilingual and Bilingual Translation Models
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（卓越人类语言技术中心）
本文通过内在维度和IsoScore分析双语与多语言翻译模型的表征几何差异，发现多语言解码器表征各向同性更低且占用维度更少，其各向异性源于建模特定语言信息，进而限制了表征容量。
2024-03-26 cs.CL
Challenges and Recommendations for LLM-as-a-Judge in Multilingual Settings and for Low-Resource Languages
LT3, IDLab, Universiteit Gent, Barcelona Supercomputing Center, LMU Munich & Munich Center for Machine Learning, German Center for Addiction Research in Childhood and Adolescence, University Medical Center Hamburg-Eppendorf, Mila - Quebec AI Institute, McGill University, Canada CIFAR AI Chair（LT3、IDLab、根特大学、巴塞罗那超级计算中心、慕尼黑莱茵河大学及慕尼黑机器学习中心、德国成年期成瘾研究中心、汉堡埃彭多夫大学医学中心、魁北克人工智能研究所、麦吉尔大学、加拿大 CIFAR 人工智能主席）
本文分析ACL论文中LLM-as-a-Judge在多语言和低资源语言评估中的应用，发现仅有33篇相关论文，存在评估结果不一致、过度信任LLM判断及依赖单一模型等问题，并提出改进建议。
2026-09-09 cs.AI cs.CL
Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation
Technische Universität Berlin（柏林工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Marburg（马尔堡大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））
本文研究了大语言模型在多语言反事实示例生成中的有效性，发现翻译生成的反事实示例在有效性上优于直接生成，但质量仍不如英文反事实示例，并揭示了多语言反事实数据增强对模型性能的提升效果。
2026-04-06 cs.AI cs.CL
A Model for Fine-Grained Alignment of Multilingual Texts
虽然文本的对齐通常被认为过于粗糙，而单词对齐则被认为过于精细，但在中间水平对齐的双语或多语文本对于许多目的来说都是有用的资源。从一些非字面翻译的例子开始，这往往会使对齐困难，我们描述了一个对齐模型，它通过显式编码来处理这些情况。该模型基于谓词-论元结构，因此涵盖了句子和单词对齐之间的中间地带。该模型目前用于最近发起的一个并行的英语-德语树库（FuSe）项目，该项目原则上可以扩展到其他语言。
2004-09-07 cs.CL
Q2E: Query-to-Event Decomposition for Zero-Shot Multilingual Text-to-Video Retrieval
Department of Computer Science and Electrical Engineering University of Maryland Baltimore County（计算机科学与电气工程系马里兰大学巴尔的摩县）
针对零样本多语言文本-视频检索任务，提出Q2E查询到事件分解方法，借助大模型知识分解简化查询，结合基于熵的多模态融合，在多数据集上超越现有最优基线，还验证了音频信息的增益作用，已开源相关代码与数据。
2025-11-13 cs.CL cs.CV
When Languages Disagree: Self-Evolving Multilingual LLM Judges
Nanyang Technological University（南洋理工大学）
提出SEMJ方法，利用多语言评判中的跨语言不一致性进行迭代自我反思与重新评估，在多个基准上优于投票和反思基线，提升准确性和跨语言一致性。
2026-06-06 cs.CL
Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers
Universitat Pompeu Fabra（庞培法布拉大学）；Idiap Research Institute（Idiap研究所）；EPFL（洛桑联邦理工学院）；ICREA（加泰罗尼亚研究与高等教育学院）；Cardiff University（卡迪夫大学）；AMPLYFI（AMPLYFI公司）
在语境中识别和分类词汇搭配对语言学习、词典编纂和后续的自然语言处理都有重要意义。然而，由于词汇搭配所表现出的冻结程度不同，这是一项具有挑战性的任务。在本文中，我们提出了一个序列标记的BERT为基础的模型增强了图形感知的Transformer架构，我们评估的任务上的搭配识别上下文。我们的研究结果表明，明确编码句法依赖的模型架构是有帮助的，并提供洞察力的差异，在英语，西班牙语和法语的搭配类型化。
2022-05-23 cs.CL
How Language-Neutral is Multilingual BERT?
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Faculty of Mathematics and Physics, Charles University（查理大学数学与物理学院）
多语言BERT（mBERT）提供了104种语言的句子表示，这对许多多语言任务都很有用。以前的工作探讨了mBERT的跨语言使用zero-shot迁移学习的形态和句法任务。相反，我们专注于mBERT的语义属性。我们表明，mBERT表示可以分为语言特定的组件和语言中立的组件，语言中立的组件是足够一般的建模语义，允许高精度的单词对齐和句子检索，但还不够好，更困难的任务MT质量估计。我们的工作提出了有趣的挑战，必须解决，以建立更好的语言中立的表示，特别是对于需要语义的语言转移的任务。
2019-11-08 cs.CL
Prix-LM: Pretraining for Multilingual Knowledge Base Construction
University of Cambridge（剑桥大学）；University of Southern California（南加州大学）
知识库包含了大量的结构化世界知识和常识知识。因此，它们往往补充基于文本的分发信息，并促进各种下游任务。由于其手动构建是资源和时间密集型的，最近的努力已经尝试利用大型预训练的语言模型（PLM），以生成额外的单语知识事实的知识库。然而，这些方法还没有被尝试用于构建和丰富多语言知识库。除了更广泛的应用之外，这种多语言知识库可以提供比单语言更丰富的组合知识（例如，English）KBs.用不同语言表达的知识可能是互补的，分布不均匀：这意味着用资源丰富的语言提供的知识可以转移到资源较少的语言。为了实现这一目标，在共享/统一的空间中表示多语言知识至关重要。为此，我们提出了一个统一的表示模型，Prix-LM，多语言知识库的建设和完成。我们利用两种类型的知识，单语三元组和跨语言的链接，从现有的多语言知识库中提取，并通过因果语言建模目标调整多语言编码器XLM-R。Prix-LM将有用的多语言和基于知识库的事实知识集成到一个模型中。标准的实体相关的任务，如链接预测在多种语言，跨语言的实体链接和双语词典归纳的实验，证明了其有效性，与收益报告强任务专业化的基线。
2022-03-09 cs.CL
MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软公司）；Oracle AI
本文提出多语言推理护栏MrGuard，通过合成数据生成、监督微调和基于课程的GRPO优化，在领域内外语言上超越基线超15%，并保持对代码切换等变体的鲁棒性。
2025-09-26 cs.CL
ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot Multilingual Information Retrieval
Maastricht University（马斯特里赫特大学）
ColBERT-XM 提出一种模块化多向量稠密检索模型，仅利用单一高资源语言数据实现零样本多语言迁移，在保持竞争力的同时提升数据效率并降低能耗。
2024-02-23 cs.CL cs.IR
ParCourE: A Parallel Corpus Explorer for a Massively Multilingual Corpus
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Research Center Deutscher Sprachatlas, Philipps University Marburg（马尔堡菲利普大学德国语言地图集研究中心）
全球有7000多种语言，多语言自然语言处理（NLP）无论从学术还是商业角度来看都是必不可少的。研究语言的类型学属性是多语言NLP进步的基础。例如，评估语言相似性以实现有效的迁移学习，将归纳偏差注入机器学习模型或创建词典和变形表等资源。我们提供ParCourE，一个在线工具，允许浏览一个词对齐的平行语料库，涵盖1334种语言。我们提供的证据表明，这是有用的类型学研究。ParCourE可以为任何平行语料库建立，因此可以用于对其他语料库的类型学研究以及探索它们的质量和属性。
2021-07-15 cs.CL
Bridging the Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs
Microsoft Research India（微软研究院印度分院）
本文针对 LLM 在非拉丁文字和低资源语言上的性能不足，提出提示优化、RAG 与多语言嵌入混合及运行时动态选择策略，显著提升多语言任务表现。
2024-05-28 cs.AI cs.CL cs.LG
Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages
Northeastern University（东北大学）；TU Clausthal（图鲁克劳斯塔尔大学）；EPFL（苏黎世联邦理工学院）；Technion – IIT（技术学院 – 以色列理工学院）
本研究通过稀疏自编码器和因果干预，发现大型语言模型在多种语言间共享形态句法概念的表示，并能精确控制行为，表明跨语言抽象能力可稳健形成。
2025-05-23 cs.CL
Multilingual Alignment of Contextual Word Representations
University of California, Berkeley（加州大学伯克利分校）；Computer Science Division（计算机科学系）
我们提出了评估和加强上下文嵌入对齐的程序，并表明它们在分析和改进多语言BERT中是有用的。特别是，在我们提出的对齐过程后，与基本模型相比，BERT在XNLI上表现出显着改善的zero-shot性能，显著匹配保加利亚语和希腊语的伪全监督训练模型。此外，为了测量对齐的程度，我们引入了一个上下文版本的单词检索，并表明它与下游zero-shot传输相关。使用这个词检索任务，我们还分析了BERT，并发现它表现出系统的缺陷，例如，更差的对齐开放类的词性和词对写在不同的脚本，纠正对齐过程。这些结果支持上下文对齐作为理解大型多语言预训练模型的有用概念。
2020-02-12 cs.CL cs.LG
The RELX Dataset and Matching the Multilingual Blanks for Cross-Lingual Relation Classification
Boğaziçi University（博阿齐奇大学）
关系分类是信息抽取中的一个关键问题，它可以用来构造知识库或为问答提供有用的信息。当前的关系分类方法主要集中在英语语言上，并且需要大量带有人类注释的训练数据。为低资源语言创建和注释大量的训练数据是不切实际的，而且成本很高。为了克服这个问题，我们提出了两个跨语言关系分类模型：一个基线模型的基础上多语言BERT和一个新的多语言预训练设置，这显着提高了基线与远程监督。为了进行评估，我们引入了一个新的公共基准数据集，用于英语，法语，德语，西班牙语和土耳其语的跨语言关系分类，名为CRAMX。我们还提供了一个远程数据集，其中包括数十万个句子，这些句子与维基百科和维基数据的关系是通过远程监督为这些语言收集的。我们的代码和数据可在https://github.com/boun-tabi/RELX上获得
2020-10-19 cs.CL
MMCR4NLP: Multilingual Multiway Corpora Repository for Natural Language Processing
Kyoto University（京都大学）
越来越多的研究人员已经成功地证明，使用额外的语言有助于改善许多自然语言处理任务的结果，从这个意义上说，多语言正逐渐变得无处不在。多语言多通道语料库（MMC）包含多个语言的同一个句子。这种语料库主要用于多源和枢轴语言机器翻译，但也可用于通过迁移学习开发多语言序列标记器。虽然这些语料库是可用的，但它们并不是为多语言实验而组织的，研究人员每次想要使用这些语料库时都需要编写样板代码。此外，由于没有正式的MMC集合，因此很难与现有方法进行比较。因此，我们提出了我们的工作，建立一个统一的和系统组织的存储库MMC跨越大量的语言。我们还提供培训，开发和测试的语料库，其中官方的分裂是不可用的。我们希望这将有助于加快多语言NLP研究的步伐，并确保NLP研究人员获得更可信的结果，因为它们可以很容易地进行比较。我们指出语料来源，提取程序，如果有的话和相关的统计数据。我们还公开我们的收藏以供研究之用。
2019-02-14 cs.CL
MaSS: A Large and Clean Multilingual Corpus of Sentence-aligned Spoken Utterances Extracted from the Bible
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；LIDILEM（语言、数字、管理、教育与多语制实验室）
CMU Wilderness Multilingual Speech Dataset（Black，2019）是一个新发布的多语言语音数据集，基于新约的记录阅读。它提供的数据可以为潜在的700种语言构建自动语音识别（ASR）和文本到语音（TTS）模型。然而，由于所有语言的源内容（圣经）都是相同的这一事实，迄今为止还没有得到充分利用，因此本文提出在不同语言的语音片段之间添加多语言链接，并共享了一个包含8种语言（56种语言对）的8，130个平行口语的大而干净的数据集。我们将这个语料库命名为MaSS（多语言句子对齐口语语料库）。所涵盖的语言（巴斯克语，英语，芬兰语，法语，匈牙利语，罗马尼亚语，俄语和西班牙语）允许研究语音到语音对齐以及类型不同的语言对的翻译。最终语料库的质量是通过对语料库子集（100个话语，8个语言对）进行的人类评价来证明的。最后，我们展示了最终产品的实用性双语语音检索任务。
2020-02-26 cs.CL
On the Language Neutrality of Pre-trained Multilingual Representations
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Faculty of Mathematics and Physics, Charles University（查尔斯大学数学与物理学院）
多语言上下文嵌入，如多语言BERT和XLM-RoBERTa，已被证明对许多多语言任务有用。先前的工作探讨了跨语言的表征间接使用zero-shot迁移学习的形态和句法任务。相反，我们调查的语言中立性的多语言上下文嵌入直接和词汇语义。我们的研究结果表明，上下文嵌入是更语言中立的，一般来说，比对齐的静态词型嵌入，这是明确的语言中立性训练，更翔实。上下文嵌入在默认情况下仍然只是适度的语言中立性，因此我们提出了两种简单的方法来实现更强的语言中立性：第一，通过无监督的中心化每种语言的表示，第二，通过在小的并行数据上拟合显式投影。此外，我们展示了如何在不使用并行数据的情况下，达到语言识别的最高精度，并匹配并行句子单词对齐的统计方法的性能。
2020-09-29 cs.CL
