Large Language Models are Good Multi-lingual Learners : When LLMs Meet Cross-lingual Prompts
The University of Hong Kong（香港大学）
针对LLMs在长复杂上下文规则遵循中易遗漏规则的问题，提出多语言提示策略MLPrompt，通过翻译易错规则增强关注，实验优于现有提示方法，并扩展至结构化数据生成任务。
2025-04-18 cs.CL
A Post-trainer's Guide to Multilingual Training Data: Uncovering Cross-lingual Transfer Dynamics
Cohere For AI；University of São Paulo（圣保罗大学）；Meta
本研究通过控制多语言数据混合，在后训练中考察跨语言迁移动态，发现其受多种设置组合影响，并识别出有效迁移的条件。
2025-04-23 cs.AI cs.CL
Thank You, Stingray: Multilingual Large Language Models Can Not (Yet) Disambiguate Cross-Lingual Word Sense
SeaCrowd；IndoNLP；Cohere；Brown University（布朗大学）；MBZUAI；University of Tübingen（蒂宾根大学）；TUFS（东京外国语大学）
本研究针对多语言大语言模型跨语言语义评估的空白，推出跨语言词义消歧基准StingrayBench，用四组语言对的“假朋友”词测试模型，发现其偏向高资源语言，并提出相关量化新指标，助力构建更包容的语言模型。
2024-10-30 cs.AI cs.CL
LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning
Institute of Computing and Intelligence, Harbin Institute of Technology（哈尔滨工业大学计算与智能学院）；Peng Cheng Laboratory（鹏城实验室）
本文提出两阶段指令微调框架 LinguaLIFT，通过语言对齐层和语码转换微调，仅用英文数据将推理能力迁移至低资源语言，并构建覆盖48种语言的 MMWP 基准，实验表现优于多个基线。
2025-02-17 cs.AI cs.CL
AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought
本文提出AdaMCOT框架，通过动态路由中间'思考语言'中的推理过程提升多语言事实推理能力，实验表明在低资源语言中表现显著提升。
2026-04-14 cs.AI cs.CL
Implicit Cross-Lingual Rewarding for Efficient Multilingual Preference Alignment
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Wuhan AI Research（武汉人工智能研究院）
本文提出隐式跨语言奖励方法，从英语DPO对齐模型中提取隐式奖励模型并标注跨语言偏好数据，再通过多语言DPO微调将偏好知识迁移到其他语言，在X-AlpacaEval上显著提升多语言对齐效果并减少对多语言偏好数据的需求。
2025-06-05 cs.AI cs.CL
Exploring Polyglot Harmony: On Multilingual Data Allocation for Large Language Models Pretraining
ByteDance（字节跳动）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
本文提出 Climb 框架，通过跨语言交互感知的语言比例和两步优化方法，系统优化大语言模型预训练中的多语言数据分配，显著提升多语言性能并达到领先水平。
2025-09-19 cs.AI cs.CL
A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space
Dartmouth College（达特茅斯学院）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
在跨语言语言模型中，许多不同语言的表示存在于同一空间中。在这里，我们研究了影响跨语言预训练语言模型中101种语言和5,050种语言对的语言和非语言因素。使用基于BERT的LaBSE和基于BiLSTM的LASER作为我们的模型，圣经作为我们的语料库，我们计算了一个基于任务的跨语言对齐的措施，在形式的双语检索性能，以及四个内在的措施向量空间对齐和同构。然后，我们研究了一系列的语言，准语言和训练相关的功能，这些对齐指标的潜在预测。我们的分析结果表明，词序一致性和形态复杂性的一致性是两个最强的语言预测跨语言性。我们还注意到，家族内的训练数据作为一个比语言特定的训练数据更强的预测器。我们验证了我们的一些语言学研究结果，通过观察形态分割对英语-因纽特语对齐的影响，除了研究词序协议对来自不同语料库的66个zero-shot语言对同构的影响。我们公开了实验的数据和代码。
2021-09-13 cs.AI cs.CL cs.LG
How Do Multilingual Encoders Learn Cross-lingual Representation?
The Johns Hopkins University（约翰斯·霍普金斯大学）
NLP系统通常需要支持多种语言。由于不同的语言具有不同的监督量，因此跨语言迁移通过从其他语言迁移而使具有很少或没有训练数据的语言受益。从工程角度来看，多语言NLP通过单个系统服务多种语言而有利于开发和维护。跨语言迁移和多语言自然语言处理都依赖于作为基础的跨语言表示。随着BERT彻底改变了表示学习和NLP，它也彻底改变了跨语言表示和跨语言迁移。多语言BERT是作为单语言BERT的替代品发布的，使用104种语言的维基百科数据进行训练。令人惊讶的是，在没有任何明确的跨语言信号的情况下，多语言BERT除了学习单个语言的表征之外，还学习跨语言的表征。这篇论文首先显示了这种令人惊讶的跨语言的有效性相比，现有技术的各种任务。自然，它提出了一系列问题，最值得注意的是这些多语言编码器如何学习跨语言表示。在探索这些问题的过程中，本文将分析多语言模型在高资源语言和低资源语言的各种设置中的行为。我们还研究了如何将不同的跨语言信号注入到多语言编码器中，以及使用这些模型的跨语言迁移的优化行为。它们一起提供了对多语言编码器在跨语言迁移上的更好理解。我们的发现将引导我们对多语言编码器和跨语言迁移提出改进建议。
2022-07-12 cs.CL
Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification
Beijing Institute of Technology（北京理工大学）
提出IGap指标，用于测量多语言Transformer在句子分类上的跨语言迁移能力，实验证明其优于基线，并揭示三个相关发现。
2023-05-15 cs.CL
A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
最近，多语言BERT在跨语言迁移任务上表现得非常好，优于静态非上下文词嵌入。在这项工作中，我们提供了一个深入的实验研究，以补充现有的跨语言能力的文献。我们用相同的数据比较了非语境化和语境化表示模型的跨语言能力。我们发现数据大小和上下文窗口大小是影响可移植性的关键因素。我们还观察到语言特定的信息在多语言BERT。通过对潜在表征的操作，可以控制多语言BERT的输出语言，实现无监督的令牌翻译。我们进一步表明，基于观察，有一个计算成本低，但有效的方法来提高跨语言能力的多语种BERT。
2020-04-20 cs.CL
Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
近年来，预训练多语言模型在学习多语言表示方面显示出巨大的潜力，这是自然语言处理的一个重要课题。先前的工作通常使用单一的混合注意力（MA）模块，遵循TLM（Conneau和Lample，2019），用于同时等效地关注语言内和跨语言上下文。在本文中，我们提出了一个网络命名为分解注意力（DA）作为MA的替代品。DA由一个语内注意（IA）和一个跨语言注意（CA）组成，分别模拟语内和跨语言监督。此外，我们在训练过程中引入了一种语言自适应的重新加权策略，以进一步提高模型的性能。不同的跨语言自然语言理解（NLU）任务的实验表明，所提出的架构和学习策略显着提高模型的跨语言可移植性。
2021-06-09 cs.CL
Can Monolingual Pretrained Models Help Cross-Lingual Classification?
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言预训练语言模型（如多语言BERT）在跨语言迁移方面取得了令人印象深刻的结果。然而，由于恒定的模型容量，多语言预训练通常落后于单语言竞争对手。在这项工作中，我们提出了两种方法来改善zero-shot跨语言分类，通过将知识从单语预训练模型转移到多语言模型。两个跨语言分类基准的实验结果表明，我们的方法优于香草多语言微调。
2019-11-10 cs.CL
Exploring Cross-lingual Textual Style Transfer with Large Multilingual Language Models
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Technical University of Munich（慕尼黑工业大学）
去歧义是指在保持原文的意义和流畅性的同时，以礼貌的方式生成文本。现有的解毒方法被设计成以一种确切的语言工作。这项工作调查了多语言和跨语言解毒以及大型多语言模型的行为，如在这种情况下。与以前的作品，我们的目标是使大语言模型能够执行解毒，而无需直接微调给定的语言。实验表明，多语言模型能够进行多语言风格迁移。然而，模型无法进行跨语言解毒，直接对精确语言进行微调是不可避免的。
2022-06-05 cs.CL
Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation
Google Research（谷歌研究院）
最近提出的大规模多语言神经机器翻译（NMT）系统已被证明能够在单个模型中将100多种语言翻译成英语。它在低资源语言上的翻译性能的提高暗示了下游任务的潜在跨语言迁移能力。在本文中，我们评估了来自大规模多语言NMT模型编码器的表示在5个下游分类和序列标记任务上的跨语言有效性，这些任务涵盖了50多种语言。我们在不同的跨语言迁移学习场景中与强基线多语言BERT（mBERT）进行比较，并在这5个任务中的4个任务中显示了zero-shot迁移的增益。
2019-09-01 cs.CL
XLM-K: Improving Cross-Lingual Language Model Pre-training with Multilingual Knowledge
Microsoft Research Asia（微软亚洲研究院）
跨语言预训练在单语和双语纯文本语料库中取得了很大的成功。然而，大多数预训练模型忽略了多语言知识，这是语言不可知的，但包括丰富的跨语言结构对齐。在本文中，我们提出了XLM-K，一个跨语言的语言模型，将多语言知识的预训练。XLM-K通过两个知识任务增强了现有的多语言预训练，即掩蔽实体预测任务和对象蕴涵任务。我们在MLQA，NER和XNLI上评估XLM-K。实验结果清楚地表明，显着改善现有的多语言语言模型。MLQA和NER的测试结果显示了XLM-K在知识相关任务中的优越性。XNLI的成功表明XLM-K具有更好的跨语言可移植性。更重要的是，我们提供了一个详细的探测分析，以确认在我们的预培训方案中捕获的所需知识。该代码可在https://github.com/microsoft/Unicoder/tree/master/pretraining/xlmk上获得。
2022-04-24 cs.CL
A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
University of Cape Town（开普敦大学）
本文系统分析子词分割方法对多语言翻译中跨语言迁移的影响，发现子词正则化促进多语言建模协同，BPE更利于跨语言微调，并揭示正字法词边界差异比语言不相关性更阻碍迁移。
2024-03-29 cs.CL
Probing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders
University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）；University of Edinburgh（爱丁堡大学）
预训练的多语言语言模型（LM）可以成功地转换成多语言句子编码器（SE;例如，LaBSE、xMPNet）通过额外的微调或并行数据的模型蒸馏。然而，仍然不清楚如何最好地利用它们来表示子句子词汇项（即，词和短语）的跨语言词汇任务。在这项工作中，我们探测SE存储在其参数的跨语言词汇知识的量，并将它们与原来的多语言LM。我们还设计了一个简单而有效的方法，通过额外的微调，通过廉价的对比学习，只需要少量的单词翻译对暴露跨语言的词汇知识。使用双语词汇归纳（BLI），跨语言词汇语义相似性和跨语言实体链接作为词汇探测任务，我们报告了标准基准（例如，+10精度@1点BLI）。实验结果表明，像LaBSE这样的语义元可以通过对比学习过程“重新连接”成有效的跨语言词汇编码器，并且当它们被用作现成的语义元时，它们所包含的跨语言词汇知识比“看上去”的要多。这样，我们也提供了一个有效的工具，利用隐藏在多语言句子编码器的“隐蔽”多语言词汇知识。
2022-10-13 cs.CL
Cross-lingual and Multilingual Speech Emotion Recognition on English and French
University of Stuttgart（斯图加特大学）
多语言语音情感识别研究面临的问题是，大多数可用的语音语料库在重要方面，如注释方法或交互场景彼此不同。这些不一致性使构建多语言系统变得复杂。我们目前的结果跨语言和多语言的情感识别英语和法语的语音数据具有相似的特点，在互动（人与人的对话）。此外，我们探索了微调预训练的跨语言模型的可能性，只有少量的样本从目标语言，这是非常感兴趣的低资源语言。为了更深入地了解部署的卷积神经网络所学习的内容，我们对网络内部的注意力机制进行了分析。
2018-03-01 cs.CL
Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
多语言预训练的语言模型，如mBERT和XLM-R，已经显示出令人印象深刻的跨语言能力。令人惊讶的是，他们都使用多语言掩码语言模型（MLM），没有任何跨语言的监督或对齐的数据。尽管取得了令人鼓舞的成果，但我们仍然缺乏对跨语言能力为什么会从多语言传销中出现的清晰理解。在我们的工作中，我们认为，跨语言能力来自语言之间的共性。具体而言，我们研究了三个语言属性：词序，成分和词的共现。首先，我们通过修改源语言中的属性来创建人工语言。然后通过对跨语言迁移结果的改变来研究修饰属性对目标语言的贡献。我们对六种语言和两个跨语言NLP任务（文本蕴涵，句子检索）进行了实验。我们的主要结论是，语序和词同现的贡献是有限的，而成分对跨语言迁移的成功更为关键。
2022-03-16 cs.CL
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models
University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多语言预训练模型中出现的跨语言迁移引发了人们对研究其行为的极大兴趣。然而，由于这些分析都集中在完全训练的多语言模型上，因此对多语言预训练过程的动态知之甚少。我们调查了这些模型何时通过使用一套语言任务探测从整个XLM-R预训练中获取的检查点来获得语言和跨语言能力。我们的分析表明，该模型在早期实现了较高的语言性能，在更复杂的语言技能之前获得了较低水平的语言技能。相比之下，当模型学习跨语言迁移时，预训练的点在不同的语言对之间是不同的。有趣的是，我们还观察到，在许多语言和任务中，最终模型层随着时间的推移表现出显着的性能下降，而语言知识传播到网络的较低层。总的来说，这些见解突出了多语言预训练的复杂性，以及随着时间的推移，不同语言的不同行为。
2022-10-22 cs.CL
Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
该研究针对多语言模型事实性知识的跨语言一致性展开分析评估，借助可解释性方法揭示其影响因素，验证了语码转换训练等策略及激活修补方法对提升一致性的效用。
2025-09-30 cs.CL
A Multilingual Bag-of-Entities Model for Zero-Shot Cross-Lingual Text Classification
The University of Tokyo（东京大学）；Studio Ousia（Ousia工作室）；National Institute of Informatics（国立信息学研究所）；RIKEN AIP（理化学研究所先进智能项目中心）
我们提出了一种多语言实体袋模型，通过扩展多语言预训练语言模型（例如，M-BERT）。它利用了维基数据的多语言特性：表示同一概念的多语言实体使用唯一标识符定义。这使得用多种语言描述的实体能够使用共享嵌入来表示。因此，在资源丰富的语言中对实体特征进行训练的模型可以直接应用于其他语言。我们在跨语言主题分类（使用MLDoc和TED-CLDC数据集）和实体分类（使用SHINRA 2020-ML数据集）上的实验结果表明，所提出的模型始终优于最先进的模型。
2022-10-11 cs.CL
Feature Aggregation in Zero-Shot Cross-Lingual Transfer Using Multilingual BERT
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）
多语言BERT（mBERT）是一种在大型多语言语料库上预训练的语言模型，具有令人印象深刻的zero-shot跨语言迁移能力，在zero-shot词性标注和命名实体识别（NER）以及跨语言模型迁移方面表现令人惊讶。目前，解决跨语言下游任务的主流方法都是使用mBERT最后一个Transformer层的输出作为语言信息的表示。在这项工作中，我们探讨了mBERT的最后一个Transformer层的低层的互补性。提出了一种基于注意力机制的特征聚合模块，用于融合mBERT中不同层次的信息。在四个zero-shot跨语言迁移数据集上进行了实验，所提方法在关键多语言基准任务XNLI（+1.5%）、PAWS-X（+2.4%）、NER（+1.2 F1）和POS（+1.5 F1）上获得了性能提升。通过对实验结果的分析，我们证明了mBERT最后一层之前的层可以为跨语言的下游任务提供额外的有用信息，并从经验上探讨了mBERT的可解释性。
2022-05-17 cs.CL
Evaluating Cross-Lingual Unlearning in Multilingual Language Models
AI Virtual Assistant (AVA) Lab（人工智能虚拟助手（AVA）实验室）；Georgia Institute of Technology（佐治亚理工学院）
本文研究了多语言语言模型中的跨语言反学习，发现子空间投影方法在去除非训练语言事实方面表现最佳，揭示了权重空间几何结构对多语言遗忘的影响。
2026-01-10 cs.CL
LIIR at SemEval-2020 Task 12: A Cross-Lingual Augmentation Approach for Multilingual Offensive Language Identification
KU Leuven（鲁汶大学）
本文介绍了我们的系统，题为“LIIR”的SemEval-2020任务12在社交媒体中的多语言攻击性语言识别（OffensEval 2）。我们参加了英语、丹麦语、希腊语、阿拉伯语和土耳其语的分任务A。我们分别针对英语和非英语语言调整和微调了Google AI提供的BERT和多语言Bert模型。对于英语语言，我们使用两个微调的BERT模型的组合。对于其他语言，我们提出了一种跨语言的增强方法，以丰富训练数据，我们使用多语言BERT获得句子表示。LIIR在希腊语、土耳其语、英语、阿拉伯语和丹麦语中的排名分别为14/38、18/47、24/86、24/54和25/40。
2020-07-17 cs.CL
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多语言预训练语言模型已经表现出显著的zero-shot跨语言迁移能力。这种迁移是通过对一种语言感兴趣的任务进行微调并对一种不同的语言进行评估而出现的，在微调过程中看不到。尽管取得了令人鼓舞的成果，但我们仍然缺乏对这种转移来源的适当了解。使用一种新的层烧蚀技术和模型的内部表示的分析，我们表明，多语言BERT，一个流行的多语言语言模型，可以被看作是两个子网络的堆叠：一个多语言编码器，然后由一个特定于任务的语言不可知的预测。虽然编码器对于跨语言迁移至关重要，并且在微调期间基本保持不变，但任务预测器对迁移的重要性很小，并且可以在微调期间重新初始化。我们提出了广泛的实验，三个不同的任务，17种类型不同的语言和多个领域来支持我们的假设。
2021-01-26 cs.CL
xGQA: Cross-Lingual Visual Question Answering
Technical University of Darmstadt（达姆施塔特工业大学）；New York University（纽约大学）；University of Cambridge（剑桥大学）
多模态视觉和语言建模的最新进展主要集中在英语语言上，主要是由于缺乏多语言多模态数据集来指导建模工作。在这项工作中，我们解决了这一差距，并提供了xGQA，这是一种用于视觉问答任务的新多语言评估基准。我们将建立的英语GQA数据集扩展到7种类型不同的语言，使我们能够检测和探索跨语言视觉问答中的关键挑战。我们进一步提出了新的基于适配器的方法，以适应多模态转换器为基础的模型成为多语言，反之亦然-多语言模型成为多模态。我们提出的方法优于当前最先进的多语言多模态模型（例如，M3 P），但准确度仍然很低;目标语言中约38个准确度点的性能下降显示了该任务的zero-shot跨语言迁移的难度。我们的研究结果表明，简单的跨语言迁移的多模态模型产生潜在的多语种多模态错位，需要更复杂的视觉和多语种语言建模的方法。
2022-03-17 cs.CL
Syntax-augmented Multilingual BERT for Cross-lingual Transfer
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Facebook AI（脸书人工智能研究院）
近年来，我们已经看到了巨大的努力，在预训练多语言文本编码器使用大规模语料库在许多语言，以促进跨语言迁移学习。然而，由于语言之间的类型差异，跨语言迁移是具有挑战性的。然而，语言语法，例如，句法依赖，可以弥合类型学的差距。以前的工作表明，预先训练的多语言编码器，如mBERT \cite{devlin-etal-2019-bert}，捕获语言语法，帮助跨语言迁移。这项工作表明，明确提供语言语法和训练mBERT使用辅助目标编码的通用依赖树结构有助于跨语言迁移。我们对四个NLP任务进行了严格的实验，包括文本分类，问答，命名实体识别和面向任务的语义解析。实验结果表明，语法增强的mBERT提高跨语言迁移在流行的基准测试，如PAWS-X和MLQA，平均1.4和1.6点，在所有语言。在\emph{generalized}转移设置中，表现显著提升，PAWS-X和MLQA的平均得分分别为3.9和3.1分。
2021-06-03 cs.CL
Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
多语言预训练语言模型（MPLM）不仅可以处理不同语言的任务，而且还表现出令人惊讶的zero-shot跨语言可移植性。然而，与最先进的单语预训练模型相比，MPLM通常无法在资源丰富的语言上实现可比较的监督性能。在本文中，我们的目标是提高多语言模型的监督和zero-shot的性能，同时只有监督语言的资源。我们的方法是基于高性能的单语模型与师生框架的知识转移。我们让多语言模型同时从多个单语言模型中学习。为了利用模型的跨语言可移植性，我们提出了MBLM（多分支多语言语言模型），一个模型建立在MPLM与多语言分支。每个分支都是一堆Transformers。MBLM使用zero-shot感知训练策略进行训练，该策略鼓励模型从来自所有分支的zero-shot表示的混合中学习。两个跨语言分类任务的结果表明，仅使用任务的监督数据，我们的方法提高了监督和zero-shot性能的MPLM。
2022-02-28 cs.CL
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation and Understanding
China University of Petroleum (East China)（中国石油大学（华东））；JD Explore Academy（京东探索研究院）
对于多语言序列到序列预训练语言模型在多语言Seq 2Seq PLM（多语言Seq 2Seq PLM），例如mBART中，自监督预训练任务在广泛的单语语言上训练，例如来自CommonCrawl的25种语言，而下游跨语言任务通常在双语语言子集上进行，例如英语-德语，使得存在数据差异，即域差异，在预训练阶段和微调阶段存在跨语言学习目标差异，即任务差异。为了弥合上述跨语言领域和任务的差距，我们扩展了vanilla pretrain-finetune管道，增加了额外的代码切换恢复任务。具体而言，第一阶段采用自监督代码切换恢复任务作为借口任务，允许多语言Seq 2Seq PLM获取一些域内对齐信息。在第二阶段，我们通常对下游数据进行模型微调。NLG评估（12个双语翻译任务，30个zero-shot翻译任务和2个跨语言摘要任务）和NLU评估（7个跨语言自然语言推理任务）的实验表明，我们的模型始终优于采用标准微调策略的强基线mBART。分析表明，我们的方法可以缩小跨语言句子表示的欧氏距离，并提高模型的泛化能力与微小的计算成本。我们在https://github.com/zanchangtong/CSR4mBART上发布代码。
2022-09-21 cs.CL
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning?
University of Helsinki（赫尔辛基大学）；Universite Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文研究了将机器翻译作为持续训练目标以桥接多语言预训练与跨语言应用的潜力，发现显式句子级对齐不仅未能增强跨语言表征学习，反而因输出可分性对跨语言迁移预训练产生有害影响。
2024-03-25 cs.CL
Multilingual Generative Retrieval via Cross-lingual Semantic Compression
Faculty of Information Engineering and Automation, Kunming University of Science and Technology（信息工程与自动化学院，昆明理工大学）；Yunnan Key Laboratory of Artificial Intelligence（云南省人工智能重点实验室）
提出MGR-CSC框架，通过跨语言语义压缩统一多语言关键词为共享原子，并采用动态多步约束解码，解决多语言生成式检索中的标识符错位与膨胀问题，显著提升检索精度并压缩标识符长度。
2025-10-09 cs.CL
Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
University of California, Los Angeles（加州大学洛杉矶分校）；Information Science Institute, University of Southern California（南加州大学信息科学研究所）
我们提出了一个利用多语言预训练生成语言模型的zero-shot跨语言事件参数提取（EAE）的研究。通过将EAE公式化为语言生成任务，我们的方法有效地编码事件结构并捕获参数之间的依赖关系。我们设计了语言无关的模板来表示事件参数结构，这些模板与任何语言都兼容，从而促进了跨语言迁移。我们提出的模型微调多语言预训练的生成语言模型，以生成句子，这些句子用从输入段落中提取的参数填充语言不可知模板。该模型在源语言上进行训练，然后直接应用于目标语言以进行事件参数提取。实验表明，该模型优于当前最先进的zero-shot跨语言EAE模型。全面的研究和错误分析，以更好地了解使用生成语言模型的优势和当前的局限性zero-shot跨语言迁移EAE。
2022-03-15 cs.CL
Cross-Lingual Transfer Learning for Multilingual Task Oriented Dialog
Stanford Linguistics（斯坦福语言学系）；Facebook Conversational AI（脸书对话式人工智能部）；Facebook AI Research（脸书人工智能研究院）
许多面向任务的会话AI系统的话语解释管道中的第一步之一是识别用户意图和相应的槽。由于用于该任务的机器学习模型的数据汇集是耗时的，因此期望利用高资源语言中的现有数据来训练低资源语言中的模型。然而，这种模型的开发在很大程度上受到了多语言训练数据缺乏的阻碍。在本文中，我们提出了一个新的数据集的57k注释的话语在英语（43k），西班牙语（8.6k）和泰国（5k）在域天气，警报和提醒。我们使用该数据集来评估三种不同的跨语言迁移方法：（1）翻译训练数据，（2）使用跨语言预训练嵌入，以及（3）使用多语言机器翻译编码器作为上下文单词表示的新方法。我们发现，给定几百个目标语言的训练样本，后两种方法优于翻译训练数据。此外，在非常低的资源设置中，多语言上下文单词表示比使用跨语言静态嵌入提供更好的结果。我们还比较了跨语言的方法，使用单语资源的上下文ELMo表示的形式，并发现，只要少量的目标语言数据，这种方法优于所有的跨语言的方法，这突出了需要更复杂的跨语言的方法。
2019-04-01 cs.CL
Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking
University of Edinburgh（爱丁堡大学）
面向任务的神经对话系统的最新进展主要集中在少数几种语言上，因为训练数据的注释繁琐且昂贵。机器翻译已被用于使系统多语言，但这可能会引入错误管道。另一个有前途的解决方案是通过预训练的多语言模型使用跨语言迁移学习。现有的方法训练多语言模型与额外的代码混合的任务数据或通过并行本体细化的跨语言表示。在这项工作中，我们通过对预训练的多语言模型进行中间微调来增强迁移学习过程，其中多语言模型使用不同但相关的数据和/或任务进行微调。具体来说，我们使用并行和会话电影字幕数据集设计跨语言的中间任务，适合下游的对话任务。我们只使用20万行并行数据进行中间微调，这已经适用于1782语言对。我们在并行的多语言WoZ（英语->中文，中文->英语）和多语言WoZ（英语->德语，英语->意大利语）数据集上测试了我们的方法。我们在并行MultiWoZ数据集和多语言WoZ数据集上实现了令人印象深刻的改进（联合目标准确度> 20%），分别只有10%的目标语言任务数据和zero-shot设置。
2021-09-28 cs.CL
Multilingual Pixel Representations for Translation and Effective Cross-lingual Transfer
Johns Hopkins University（约翰斯·霍普金斯大学）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Microsoft（微软）
本文提出使用像素表示有效训练多语言机器翻译模型，实验表明其性能优于子词嵌入，并通过参数共享实现无缝跨语言迁移和更高数据效率。
2023-10-24 cs.CL
MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation using Augmented Data, Signals, and Transformers
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
在这项工作中，我们提出了解决SemEval 2021任务2：多语言和跨语言上下文消歧（MCL-WiC）的方法。该任务是一个句子对分类的问题，其目标是检测是否一个给定的词共同的两个句子唤起相同的含义。我们提交了两种设置的系统-多语言（成对的句子属于同一种语言）和跨语言（成对的句子属于不同的语言）。训练数据仅以英文提供。因此，我们采用了跨语言迁移技术。我们的方法采用微调预训练的基于transformer的语言模型，如ELECTRA和ALBERT，用于英语任务，XLM-R用于所有其他任务。为了提高这些系统的性能，我们建议在要消除歧义的单词中添加一个信号，并通过句子对反转来增强我们的数据。我们使用WiC、XL-WiC和SemCor 3.0进一步增强了提供给我们的数据集。使用合奏，我们在多语言任务中取得了很好的成绩，在EN-EN和FR-FR子任务中排名第一。对于跨语言设置，我们使用了多语言模型，采用了随机测试方法和zero-shot方法，后者的表现略好。
2021-04-04 cs.CL
Multilingual Open Relation Extraction Using Cross-lingual Projection
Carnegie Mellon University（卡内基梅隆大学）；Google Inc.（谷歌公司）
开放域关系抽取系统识别句子中的关系和论元短语，而不依赖于任何底层模式。然而，目前国家的最先进的关系抽取系统只适用于英语，因为他们严重依赖于语言工具，如词性标注和依存关系解析器。提出了一种跨语言标注投影的语言无关关系抽取方法。我们评估我们的方法手动注释的测试集和目前的结果在三个类型不同的语言。我们从维基百科发布了这些手动注释和61种语言的关系。
2021-04-14 cs.CL
Toward Cross-Lingual Definition Generation for Language Learners
Beijing Language and Culture University（北京语言大学）；Tsinghua University（清华大学）；Shanghai University of Finance and Economics（上海财经大学）
自动生成词典定义对语言学习者很有用。然而，跨语言定义的生成仍然是一个具有挑战性的任务。在这项工作中，我们建议用英语为各种语言中的单词生成定义。为了实现这一点，我们提出了一个简单而有效的方法，基于公开的预训练语言模型。在这种方法中，模型可以在英语数据集上训练后直接应用于其他语言。我们证明了这种方法的有效性zero-shot定义生成。实验和人工分析表明，我们的模型有很强的跨语言迁移能力，可以生成流利的英文定义的中文单词。我们进一步测量生成和引用定义的词法复杂度。结果表明，生成的定义更简单，更适合语言学习者。
2020-10-12 cs.CL
PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for Languages in India
University of Edinburgh（爱丁堡大学）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）
本文提出PMIndiaSum，一个覆盖4个语系、14种语言和196个语言对的大规模平行多语言摘要语料库，通过微调、提示等方法构建基准，证实了该数据在辅助印度语言间摘要任务中的关键作用。
2023-10-20 cs.CL
The RELX Dataset and Matching the Multilingual Blanks for Cross-Lingual Relation Classification
Boğaziçi University（博阿齐奇大学）
关系分类是信息抽取中的一个关键问题，它可以用来构造知识库或为问答提供有用的信息。当前的关系分类方法主要集中在英语语言上，并且需要大量带有人类注释的训练数据。为低资源语言创建和注释大量的训练数据是不切实际的，而且成本很高。为了克服这个问题，我们提出了两个跨语言关系分类模型：一个基线模型的基础上多语言BERT和一个新的多语言预训练设置，这显着提高了基线与远程监督。为了进行评估，我们引入了一个新的公共基准数据集，用于英语，法语，德语，西班牙语和土耳其语的跨语言关系分类，名为CRAMX。我们还提供了一个远程数据集，其中包括数十万个句子，这些句子与维基百科和维基数据的关系是通过远程监督为这些语言收集的。我们的代码和数据可在https://github.com/boun-tabi/RELX上获得
2020-10-19 cs.CL
Multilingual JobBERT for Cross-Lingual Job Title Matching
TechWolf
本研究提出基于对比学习的多语言职位匹配模型JobBERT-V3，以JobBERT-V2为基础支持4种语言，在TalentCLEF 2025基准上优于基线，还可用于技能排序，已开源。
2025-07-29 cs.CL
Selected Languages are All You Need for Cross-lingual Truthfulness Transfer
Microsoft STC Asia（微软亚洲技术中心）
本文提出一种名为FaMSS的跨语言真实性迁移方法，通过语言偏差和迁移贡献选择最优语言子集并采用翻译指令微调，有效减少了多语言表示差异并提升了LLMs的跨语言真实性。
2025-03-03 cs.CL
Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models
Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗 G. 艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Faculty of Mathematics and Physics, Charles University in Prague（布拉格查理大学数学与物理学院）
针对多语言语言模型因参数竞争性能不及单语言模型的问题，提出跨语言专家语言模型X-ELM，通过语料子集独立训练缓解竞争，相同算力下性能更优且易扩展新语言、降低训练硬件门槛。
2024-10-08 cs.CL
Are Multilingual Models Actually Improving? Revisiting Cross-Lingual Transfer
Google DeepMind（谷歌DeepMind）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
提出硬度调整迁移（HAT）分数以准确衡量跨语言迁移强度，发现小模型迁移未失效、随模型大小迁移进步慢于预期、但随时间推移有明显进步。
2026-11-10 cs.CL
Multilingual and Cross-Lingual Intent Detection from Spoken Data
PolyAI Limited（PolyAI有限公司）
我们提出了一个系统的研究，多语言和跨语言的意图检测口语数据。该研究利用了这项工作中提出的一种新资源，称为MInDS-14，这是使用语音数据进行意图检测任务的第一个训练和评估资源。它涵盖了从电子银行领域的商业系统中提取的14个意图，与14种不同语言的口语示例相关联。我们的关键结果表明，将机器翻译模型与最先进的多语言句子编码器（例如，LaBSE）可以在MInDS-14中涵盖的大多数目标语言中产生强大的意图检测器，并提供跨不同轴的比较分析：例如，zero-shot与少样本学习、翻译方向和语音识别的影响。我们认为这项工作是朝着更具包容性的开发和评估来自口语数据的多语言意图检测器迈出的重要一步，与以前的工作相比，它涉及的语言范围要广得多。
2021-04-17 cs.CL
Not All Languages Are Created Equal in LLMs: Improving Multilingual Capability by Cross-Lingual-Thought Prompting
Microsoft Research Asia（微软亚洲研究院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对LLMs多语言能力不均的问题，提出跨语言思考提示（XLT）方法，通过通用模板激发跨语言与逻辑推理，在7个基准上显著提升多语言任务表现并缩小语言间性能差距。
2023-10-22 cs.CL
Assisting Language Learners: Automated Trans-Lingual Definition Generation via Contrastive Prompt Learning
Tsinghua University（清华大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对传统单语定义生成易包含学习者陌生词汇的问题，提出跨语言定义生成任务，设计提示组合与对比提示学习方法，经高低资源场景验证，生成质量优于基线方法。
2023-06-09 cs.CL
On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model
Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；NAVER AI Lab（NAVER人工智能实验室）；University of Richmond（里士满大学）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究所）
本研究分析基于解码器的多语言模型XGLM中跨语言提示调优，发现其以极低参数更新率（0.13%）达到或超越微调性能，尤其对低资源语言更有效，且与令牌化方案相关。
2023-11-14 cs.CL
Similarity of Sentence Representations in Multilingual LMs: Resolving Conflicting Literature and Case Study of Baltic Languages
University of Tartu（塔尔图大学）
低资源语言，如波罗的语言，受益于大型多语言模型（LM），拥有显着的跨语言迁移性能能力。本文是对多语种语言标记语跨语言表征的解释和分析研究。以前的作品假设，这些LM内部项目表示不同的语言到一个共享的跨语言空间。然而，文献得出了相互矛盾的结果。在本文中，我们回顾了先前的工作，声称“BERT是不是一个中间语言”，并表明，不同的语言收敛到一个共享的空间，在这样的语言模型与另一种选择的池化策略或相似性指数。然后，我们进行跨语言的代表性分析的两个最流行的多语言LM采用378成对的语言比较。我们发现，虽然大多数语言共享联合跨语言的空间，有些没有。然而，我们注意到，波罗的海语言确实属于这一共享空间。该代码可在https://github.com/TartuNLP/xsim上获得。
2022-08-14 cs.CL
Investigating Bias in Multilingual Language Models: Cross-Lingual Transfer of Debiasing Techniques
KU Leuven（鲁汶大学）；IESEG School of Management（IESEG管理学院）；University of Applied Sciences Darmstadt（达姆施塔特应用科学大学）；University of Southampton（南安普顿大学）
本研究探究多语言模型中去偏技术的跨语言迁移，利用mBERT验证其在英法德荷四种语言上的可行性，发现SentenceDebias效果最佳，平均降低偏见13%，且无性能损失，为多语言偏见缓解提供指导。
2023-10-16 cs.CL
Multilingual Central Repository: a Cross-lingual Framework for Developing Wordnets
Universidade de Vigo（维戈大学）；University of the Basque Country (UPV/EHU)（巴斯克大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
语言资源是语言处理不可或缺的一部分，但语言资源的建设是一项昂贵的工作，涉及到多个领域的研究，需要不断更新。在本文中，我们描述了用于开发多语言中央存储库（MCR），多语言知识库，包括巴斯克语，加泰罗尼亚语，英语，加利西亚语，葡萄牙语，西班牙语和以下本体的wordnets：基本概念，顶级本体，WordNet域和建议上合并本体的跨语言框架。我们介绍MCR的故事，2017年的状态以及开发的工具。
2021-07-02 cs.CL
