Finding Universal Grammatical Relations in Multilingual BERT
Stanford University（斯坦福大学）
最近的研究发现，多语种BERT（mBERT），一个基于transformer的多语种掩蔽语言模型，能够zero-shot跨语言迁移，这表明其表示的某些方面是跨语言共享。为了更好地理解这种重叠，我们将最近在神经网络内部表示中寻找语法树的工作扩展到多语言环境。我们发现，子空间的mBERT表示恢复语法树的距离，在英语以外的语言，这些子空间大约是跨语言共享。受这些结果的启发，我们提出了一种无监督的分析方法，提供证据mBERT学习表示的句法依赖标签，在很大程度上同意与通用的依赖分类的集群的形式。这一证据表明，即使没有明确的监督，多语言掩蔽语言模型学习某些语言共性。
2020-05-20 cs.CL cs.LG
What makes multilingual BERT multilingual?
National Taiwan University（台湾大学）
最近，多语言BERT在跨语言迁移任务上表现得非常好，优于静态非上下文词嵌入。在这项工作中，我们提供了一个深入的实验研究，以补充现有的跨语言能力的文献。我们用相同的数据比较了非语境化和语境化表示模型的跨语言能力。我们发现数据大小和上下文窗口大小是影响可移植性的关键因素。
2020-10-20 cs.CL cs.LG
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
Carnegie Mellon University（卡内基梅隆大学）；DeepMind；Google Research（谷歌研究院）
机器学习模型应用于NLP的最新进展是由评估各种任务模型的基准驱动的。然而，这些覆盖面广的基准大多仅限于英语，尽管对多语种模式的兴趣越来越大，但仍然缺乏一个能够对各种语言和任务的这种方法进行全面评价的基准。为此，我们引入了多语言编码器XTREME基准的跨语言迁移评估，这是一个多任务基准，用于评估跨40种语言和9个任务的多语言表示的跨语言泛化能力。我们证明，虽然英语测试模型在许多任务上达到了人类的表现，但跨语言迁移模型的表现仍然存在相当大的差距，特别是在句法和句子检索任务上。结果也广泛分布在不同语言之间。我们发布该基准是为了鼓励对跨语言学习方法的研究，这些方法可以在多种具有代表性的语言和任务中转移语言知识。
2020-09-04 cs.CL cs.LG
L3Cube-IndicSBERT: A simple approach for learning cross-lingual sentence representations using multilingual BERT
MKSSS’ Cummins College of Engineering for Women（MKSSS康明斯女子工程学院）；L3Cube Pune（浦那L3Cube）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出通过聚合翻译 NLI/STS 数据并微调普通多语言 BERT 的简单方法，构建并发布面向 10 种印度语言的 L3Cube-IndicSBERT，在跨语言与单语相似度任务上优于多个基线。
2023-04-22 cs.CL cs.LG
How Do Multilingual Encoders Learn Cross-lingual Representation?
The Johns Hopkins University（约翰斯·霍普金斯大学）
NLP系统通常需要支持多种语言。由于不同的语言具有不同的监督量，因此跨语言迁移通过从其他语言迁移而使具有很少或没有训练数据的语言受益。从工程角度来看，多语言NLP通过单个系统服务多种语言而有利于开发和维护。跨语言迁移和多语言自然语言处理都依赖于作为基础的跨语言表示。随着BERT彻底改变了表示学习和NLP，它也彻底改变了跨语言表示和跨语言迁移。多语言BERT是作为单语言BERT的替代品发布的，使用104种语言的维基百科数据进行训练。令人惊讶的是，在没有任何明确的跨语言信号的情况下，多语言BERT除了学习单个语言的表征之外，还学习跨语言的表征。这篇论文首先显示了这种令人惊讶的跨语言的有效性相比，现有技术的各种任务。自然，它提出了一系列问题，最值得注意的是这些多语言编码器如何学习跨语言表示。在探索这些问题的过程中，本文将分析多语言模型在高资源语言和低资源语言的各种设置中的行为。我们还研究了如何将不同的跨语言信号注入到多语言编码器中，以及使用这些模型的跨语言迁移的优化行为。它们一起提供了对多语言编码器在跨语言迁移上的更好理解。我们的发现将引导我们对多语言编码器和跨语言迁移提出改进建议。
2022-07-12 cs.CL
Understanding Cross-Lingual Syntactic Transfer in Multilingual Recurrent Neural Networks
Center for Language and Cognition（语言与认知中心）；University of Groningen（格罗宁根大学）
现在已经确定，现代神经语言模型可以在不改变底层架构的情况下同时在多种语言上成功训练。但是，在这些模型中，语言之间真正共享的是什么样的知识呢？多语言培训是否主要导致词汇表征空间的对齐，或者它是否也能够共享纯语法知识？在本文中，我们剖析了不同形式的跨语言迁移，并寻找其最决定性的因素，使用各种模型和探测任务。我们发现，暴露我们的LM相关的语言并不总是增加语法知识的目标语言，词汇语义转移的最佳条件可能不是最佳的句法转移。
2021-04-14 cs.CL cs.LG
Structural Priming Demonstrates Abstract Grammatical Representations in Multilingual Language Models
University of California San Diego（加利福尼亚大学圣迭戈分校）
本研究通过跨语言结构启动实验，证明多语言语言模型具有类似人类的抽象语法表征，且能跨语言因果影响文本生成。
2023-11-15 cs.CL
Cross-lingual transfer of multilingual models on low resource African Languages
School of Computer Science and Engineering, Vellore Institute of Technology（韦洛尔理工学院计算机科学与工程学院）；Department of Computer Science, University of Pretoria（比勒陀利亚大学计算机科学系）
本研究以卢旺达语和隆迪语为对象，基准测试单语言与多语言模型的跨语言迁移能力，对比多种架构性能，发现微调后AfriBERT准确率达88.3%，验证了多语言模型在低资源场景下的强迁移能力。
2024-09-17 cs.CL cs.LG
Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification
Beijing Institute of Technology（北京理工大学）
提出IGap指标，用于测量多语言Transformer在句子分类上的跨语言迁移能力，实验证明其优于基线，并揭示三个相关发现。
2023-05-15 cs.CL
A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
最近，多语言BERT在跨语言迁移任务上表现得非常好，优于静态非上下文词嵌入。在这项工作中，我们提供了一个深入的实验研究，以补充现有的跨语言能力的文献。我们用相同的数据比较了非语境化和语境化表示模型的跨语言能力。我们发现数据大小和上下文窗口大小是影响可移植性的关键因素。我们还观察到语言特定的信息在多语言BERT。通过对潜在表征的操作，可以控制多语言BERT的输出语言，实现无监督的令牌翻译。我们进一步表明，基于观察，有一个计算成本低，但有效的方法来提高跨语言能力的多语种BERT。
2020-04-20 cs.CL
Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
近年来，预训练多语言模型在学习多语言表示方面显示出巨大的潜力，这是自然语言处理的一个重要课题。先前的工作通常使用单一的混合注意力（MA）模块，遵循TLM（Conneau和Lample，2019），用于同时等效地关注语言内和跨语言上下文。在本文中，我们提出了一个网络命名为分解注意力（DA）作为MA的替代品。DA由一个语内注意（IA）和一个跨语言注意（CA）组成，分别模拟语内和跨语言监督。此外，我们在训练过程中引入了一种语言自适应的重新加权策略，以进一步提高模型的性能。不同的跨语言自然语言理解（NLU）任务的实验表明，所提出的架构和学习策略显着提高模型的跨语言可移植性。
2021-06-09 cs.CL
Can Monolingual Pretrained Models Help Cross-Lingual Classification?
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言预训练语言模型（如多语言BERT）在跨语言迁移方面取得了令人印象深刻的结果。然而，由于恒定的模型容量，多语言预训练通常落后于单语言竞争对手。在这项工作中，我们提出了两种方法来改善zero-shot跨语言分类，通过将知识从单语预训练模型转移到多语言模型。两个跨语言分类基准的实验结果表明，我们的方法优于香草多语言微调。
2019-11-10 cs.CL
Exploring Cross-lingual Textual Style Transfer with Large Multilingual Language Models
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Technical University of Munich（慕尼黑工业大学）
去歧义是指在保持原文的意义和流畅性的同时，以礼貌的方式生成文本。现有的解毒方法被设计成以一种确切的语言工作。这项工作调查了多语言和跨语言解毒以及大型多语言模型的行为，如在这种情况下。与以前的作品，我们的目标是使大语言模型能够执行解毒，而无需直接微调给定的语言。实验表明，多语言模型能够进行多语言风格迁移。然而，模型无法进行跨语言解毒，直接对精确语言进行微调是不可避免的。
2022-06-05 cs.CL
When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
虽然最近关于多语言语言模型的工作已经证明了它们在下游任务上的跨语言zero-shot传输的能力，但是社区中对于语言之间的哪些共享属性能够实现这种传输缺乏共识。涉及成对自然语言的分析往往是不确定的和矛盾的，因为语言同时在许多语言方面不同。在本文中，我们进行了一项大规模的实证研究，隔离各种语言属性的影响，通过测量zero-shot四个不同的自然语言和他们的同行之间的转移，通过修改方面，如脚本，词序和句法。除此之外，我们的实验表明，当语言的词序不同时，子词重叠的缺乏显著影响zero-shot转移，并且在转移性能和语言之间的词嵌入对齐之间存在强相关性（例如，在NLI的任务上R=0.94）。我们的研究结果呼吁多语言模型的重点明确提高语言之间的词嵌入对齐，而不是依赖于它的隐式出现。
2022-05-03 cs.CL cs.LG
Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer
Microsoft Research AI（微软研究院人工智能）；University of California, Los Angeles（加州大学洛杉矶分校）
多语言表示将来自许多语言的单词嵌入到单个语义空间中，使得具有相似含义的单词彼此接近，而不管语言。这些嵌入已被广泛用于各种环境中，例如跨语言迁移，其中在一种语言上训练的自然语言处理（NLP）模型被部署到另一种语言。虽然跨语言迁移技术是强大的，他们携带性别偏见从源语言到目标语言。在本文中，我们研究了多语言嵌入中的性别偏见以及它如何影响自然语言处理应用程序的迁移学习。我们创建了一个多语言数据集的偏见分析，并提出了几种方法来量化偏见的多语言表示从内在和外在的角度。实验结果表明，当我们将嵌入对齐到不同的目标空间时，多语言表示中的偏差大小会发生不同的变化，并且对齐方向也会对迁移学习中的偏差产生影响。我们还提供了使用多语言单词表示的下游任务的建议。
2020-05-02 cs.CL cs.CY cs.LG
Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in Multilingual Language Models
University of Amsterdam（阿姆斯特丹大学）
本文质疑多语言模型零样本跨语言性能评估的有效性，通过多语言实例实验证明高性能多源于任务与表面知识而非真实语言转移，呼吁改进评估设置。
2024-02-03 cs.AI cs.CL cs.LG
Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection
Ubisoft La Forge（育碧拉福奇实验室）
本文提出一种两阶段微调方法，利用多语言预训练模型的零样本跨语言迁移能力生成合成错误数据，用于低资源语言的语法错误检测，优于现有无标注方法。
2024-07-16 cs.AI cs.CL
Multilingual Offensive Language Identification with Cross-lingual Embeddings
University of Wolverhampton（伍尔弗汉普顿大学）；Rochester Institute of Technology（罗切斯特理工学院）
攻击性内容在社交媒体中无处不在，也是公司和政府组织关注的一个原因。最近发表了几项研究报告，探讨了检测各种形式的此类内容（如仇恨言论、网络欺凌和网络攻击）的方法。这些研究中的大多数都涉及英语，部分原因是大多数注释数据集包含英语数据。在本文中，我们利用英语数据，通过应用跨语言的上下文词嵌入和迁移学习，使预测的语言资源较少。我们对孟加拉语，印地语和西班牙语的可比数据进行预测，并报告孟加拉语的0.8415 F1宏，印地语的0.8568 F1宏和西班牙语的0.7513 F1宏的结果。最后，我们表明，我们的方法相比，这三种语言的最好的系统提交给最近的共享任务，确认跨语言的上下文嵌入和迁移学习这项任务的鲁棒性。
2020-10-11 cs.CL cs.LG
Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation
Google Research（谷歌研究院）
最近提出的大规模多语言神经机器翻译（NMT）系统已被证明能够在单个模型中将100多种语言翻译成英语。它在低资源语言上的翻译性能的提高暗示了下游任务的潜在跨语言迁移能力。在本文中，我们评估了来自大规模多语言NMT模型编码器的表示在5个下游分类和序列标记任务上的跨语言有效性，这些任务涵盖了50多种语言。我们在不同的跨语言迁移学习场景中与强基线多语言BERT（mBERT）进行比较，并在这5个任务中的4个任务中显示了zero-shot迁移的增益。
2019-09-01 cs.CL
Adversarial Learning with Contextual Embeddings for Zero-resource Cross-lingual Classification and NER
Amazon Inc.（亚马逊公司）
上下文词嵌入（例如GPT、BERT、ELMo等）在各种NLP任务上表现出最先进的性能。最近对多语言版本的BERT的研究表明，该模型在zero-shot和零资源跨语言设置中表现非常好，其中仅使用标记的英语数据来微调模型。我们通过对抗学习来改进多语言BERT的零资源跨语言性能。我们报告的多语言MLDoc文本分类和CoNLL 2002/2003命名实体识别任务的改进幅度。此外，我们表明，语言对抗训练鼓励BERT对齐英语文档及其翻译的嵌入，这可能是观察到的性能增益的原因。
2020-03-19 cs.CL cs.LG
XLM-K: Improving Cross-Lingual Language Model Pre-training with Multilingual Knowledge
Microsoft Research Asia（微软亚洲研究院）
跨语言预训练在单语和双语纯文本语料库中取得了很大的成功。然而，大多数预训练模型忽略了多语言知识，这是语言不可知的，但包括丰富的跨语言结构对齐。在本文中，我们提出了XLM-K，一个跨语言的语言模型，将多语言知识的预训练。XLM-K通过两个知识任务增强了现有的多语言预训练，即掩蔽实体预测任务和对象蕴涵任务。我们在MLQA，NER和XNLI上评估XLM-K。实验结果清楚地表明，显着改善现有的多语言语言模型。MLQA和NER的测试结果显示了XLM-K在知识相关任务中的优越性。XNLI的成功表明XLM-K具有更好的跨语言可移植性。更重要的是，我们提供了一个详细的探测分析，以确认在我们的预培训方案中捕获的所需知识。该代码可在https://github.com/microsoft/Unicoder/tree/master/pretraining/xlmk上获得。
2022-04-24 cs.CL
A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
University of Cape Town（开普敦大学）
本文系统分析子词分割方法对多语言翻译中跨语言迁移的影响，发现子词正则化促进多语言建模协同，BPE更利于跨语言微调，并揭示正字法词边界差异比语言不相关性更阻碍迁移。
2024-03-29 cs.CL
Probing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders
University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）；University of Edinburgh（爱丁堡大学）
预训练的多语言语言模型（LM）可以成功地转换成多语言句子编码器（SE;例如，LaBSE、xMPNet）通过额外的微调或并行数据的模型蒸馏。然而，仍然不清楚如何最好地利用它们来表示子句子词汇项（即，词和短语）的跨语言词汇任务。在这项工作中，我们探测SE存储在其参数的跨语言词汇知识的量，并将它们与原来的多语言LM。我们还设计了一个简单而有效的方法，通过额外的微调，通过廉价的对比学习，只需要少量的单词翻译对暴露跨语言的词汇知识。使用双语词汇归纳（BLI），跨语言词汇语义相似性和跨语言实体链接作为词汇探测任务，我们报告了标准基准（例如，+10精度@1点BLI）。实验结果表明，像LaBSE这样的语义元可以通过对比学习过程“重新连接”成有效的跨语言词汇编码器，并且当它们被用作现成的语义元时，它们所包含的跨语言词汇知识比“看上去”的要多。这样，我们也提供了一个有效的工具，利用隐藏在多语言句子编码器的“隐蔽”多语言词汇知识。
2022-10-13 cs.CL
Cross-lingual Similarity of Multilingual Representations Revisited
University of Tartu（塔尔图大学）；Institute of Computer Science（计算机科学研究所）
相关工作使用CKA和CCA的变体等索引来度量多语言语言模型中跨语言表示的相似性。在本文中，我们认为CKA/CCA的假设与跨语言学习分析的激励目标之一，即，解释zero-shot跨语言迁移。我们强调什么跨语言的相似性，这些指标未能捕捉和提供一个激励性的案例研究\textit{demonstrating the problem empirically}有价值的方面。然后，我们介绍了\textit{Average Neuron-Wise Correlation (ANC)}作为一个简单的替代方案，是免除CKA/CCA的困难，是很好的，特别是在跨语言的背景下。最后，我们使用ANC来构造证据，证明先前引入的“先对齐，然后预测”模式不仅发生在掩蔽语言模型（MLMs）中，而且发生在具有\textit{causal language modeling}目标的多语言模型（CLMs）中。此外，我们表明，该模式扩展到\textit{scaled versions}的MLMs和CLMs（高达85倍的原始mBERT）。\footnote{Our code is publicly available at \url{https://github.com/TartuNLP/xsim}}
2022-12-04 cs.AI cs.CL cs.LG
GitHub Typo Corpus: A Large-Scale Multilingual Dataset of Misspellings and Grammatical Errors
缺乏大规模数据集一直是NLP任务（如拼写纠正和语法错误纠正（GEC））发展的主要障碍。作为这些任务的补充新资源，我们提供了GitHub Typo Corpus，这是一个大规模的多语言拼写错误和语法错误数据集，以及从GitHub收集的更正，GitHub是一个托管和共享git存储库的大型流行平台。我们已经公开的数据集包含超过15种语言的超过35万次编辑和6500万个字符，使其成为迄今为止最大的拼写错误数据集。我们还描述了我们的过程中过滤真正的错别字编辑的基础上学习的分类器在一个小的注释子集，并证明，错别字编辑可以识别F1 ~ 0.9使用一个非常简单的分类器，只有三个功能。对数据集的详细分析表明，现有的拼写校正器仅实现了约为100%的F-度量。0.5，这表明该数据集是一个新的，丰富的拼写错误来源，补充了现有的数据集。
2019-11-28 cs.CL
Cross-lingual and Multilingual Speech Emotion Recognition on English and French
University of Stuttgart（斯图加特大学）
多语言语音情感识别研究面临的问题是，大多数可用的语音语料库在重要方面，如注释方法或交互场景彼此不同。这些不一致性使构建多语言系统变得复杂。我们目前的结果跨语言和多语言的情感识别英语和法语的语音数据具有相似的特点，在互动（人与人的对话）。此外，我们探索了微调预训练的跨语言模型的可能性，只有少量的样本从目标语言，这是非常感兴趣的低资源语言。为了更深入地了解部署的卷积神经网络所学习的内容，我们对网络内部的注意力机制进行了分析。
2018-03-01 cs.CL
A Multilingual Semantic Wiki Based on Attempto Controlled English and Grammatical Framework
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
我们描述了一个语义维基系统与底层控制的自然语言语法实现语法框架（GF）。该语法将wiki内容限制为Attempto Controlled English（ACE）的一个定义良好的子集，并促进ACE与许多其他自然语言的语言片段之间的精确双向自动翻译，从而使wiki内容可以多语言访问。此外，我们的方法允许自动翻译成Web本体语言（OWL），这使得自动推理的wiki内容。因此，开发的wiki环境允许用户通过用户友好的多语言自然语言界面来构建、查询和查看OWL知识库。作为进一步的功能，底层的多语言语法被集成到wiki中，并且可以协作编辑以扩展wiki的词汇表，甚至定制其句子结构。这项工作展示了Attempto控制的英语和语法框架的现有技术的结合，并实现为现有的语义维基引擎AceWiki的扩展。
2013-03-11 cs.CL cs.HC
LAReQA: Language-agnostic answer retrieval from a multilingual pool
Google Research（谷歌研究院）
我们提出了LAReQA，一个具有挑战性的新基准语言无关的答案检索从多语言候选池。与以前的跨语言任务不同，LAReQA测试“强”跨语言对齐，要求语义相关的跨语言对在表示空间中比不相关的相同语言对更接近。基于多语言BERT（mBERT），我们研究了实现强对齐的不同策略。我们发现，通过机器翻译来增强训练数据是有效的，并且比使用mBERT开箱即用有显著的改进。有趣的是，在LAReQA上表现最好的嵌入基线低于我们任务的zero-shot变体上的竞争基线，这些变体仅针对“弱”对齐。这一发现强调了我们的主张，语言无关检索是一种新的跨语言评估。
2020-04-11 cs.CL cs.LG
Identifying the Correlation Between Language Distance and Cross-Lingual Transfer in a Multilingual Representation Space
Zortify S.A.（佐蒂夫公司）；Zortify Labs（佐蒂夫实验室）；SnT, University of Luxembourg（卢森堡大学SnT研究院）
本研究探讨了语言特征如何映射到多语言表示空间，分析了MLLMs产生的语言表示空间的绝对演变及其与跨语言迁移性能的相互关联，并提供了利用这些发现增强向语言距离较远语言迁移的初步证据。
2024-03-27 cs.AI cs.CL cs.LG
Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond
University of the Basque Country (UPV/EHU)（巴斯克大学）；Facebook AI Research（Facebook人工智能研究院）
我们引入了一个架构来学习93种语言的联合多语言句子表示，这些语言属于30多个不同的家族，用28种不同的脚本编写。我们的系统使用单个BiLSTM编码器，具有所有语言的共享BPE词汇表，该编码器与辅助解码器相结合，并在公开可用的并行语料库上进行训练。这使我们能够仅使用英文注释数据在生成的嵌入之上学习分类器，并将其转换为93种语言中的任何一种而无需任何修改。在跨语言自然语言推理（XNLI数据集）、跨语言文档分类（MLDoc数据集）和并行语料挖掘（BUCC数据集）上的实验表明了该方法的有效性。我们还介绍了一个新的测试集对齐的句子在112种语言，并表明，我们的句子嵌入获得强大的结果，即使在多语言的相似性搜索低资源的语言。我们的实现、预训练的编码器和多语言测试集可在https://github.com/facebookresearch/LASER上获得
2019-09-25 cs.AI cs.CL cs.LG
Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
多语言预训练的语言模型，如mBERT和XLM-R，已经显示出令人印象深刻的跨语言能力。令人惊讶的是，他们都使用多语言掩码语言模型（MLM），没有任何跨语言的监督或对齐的数据。尽管取得了令人鼓舞的成果，但我们仍然缺乏对跨语言能力为什么会从多语言传销中出现的清晰理解。在我们的工作中，我们认为，跨语言能力来自语言之间的共性。具体而言，我们研究了三个语言属性：词序，成分和词的共现。首先，我们通过修改源语言中的属性来创建人工语言。然后通过对跨语言迁移结果的改变来研究修饰属性对目标语言的贡献。我们对六种语言和两个跨语言NLP任务（文本蕴涵，句子检索）进行了实验。我们的主要结论是，语序和词同现的贡献是有限的，而成分对跨语言迁移的成功更为关键。
2022-03-16 cs.CL
Cross-Lingual Ability of Multilingual BERT: An Empirical Study
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Duolingo（多邻国）；University of Pennsylvania（宾夕法尼亚大学）
最近的工作展示了多语言BERT（M-BERT）令人惊讶的跨语言能力-令人惊讶的是，它是在没有任何跨语言目标和对齐数据的情况下训练的。在这项工作中，我们提供了一个全面的研究，在M-BERT的跨语言能力的不同组件的贡献。我们研究了语言的语言属性，模型的架构和学习目标的影响。实验研究是在三种不同类型的语言-西班牙语，印地语和俄语-的背景下进行的，并使用两个概念上不同的NLP任务，文本蕴涵和命名实体识别。我们的主要结论之一是，语言之间的词汇重叠在跨语言的成功中起着微不足道的作用，而网络的深度是其中不可或缺的一部分。我们所有的模型和实现都可以在我们的项目页面上找到：http://cogcomp.org/page/publication_view/900。
2020-02-15 cs.AI cs.CL cs.LG
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models
University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多语言预训练模型中出现的跨语言迁移引发了人们对研究其行为的极大兴趣。然而，由于这些分析都集中在完全训练的多语言模型上，因此对多语言预训练过程的动态知之甚少。我们调查了这些模型何时通过使用一套语言任务探测从整个XLM-R预训练中获取的检查点来获得语言和跨语言能力。我们的分析表明，该模型在早期实现了较高的语言性能，在更复杂的语言技能之前获得了较低水平的语言技能。相比之下，当模型学习跨语言迁移时，预训练的点在不同的语言对之间是不同的。有趣的是，我们还观察到，在许多语言和任务中，最终模型层随着时间的推移表现出显着的性能下降，而语言知识传播到网络的较低层。总的来说，这些见解突出了多语言预训练的复杂性，以及随着时间的推移，不同语言的不同行为。
2022-10-22 cs.CL
PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文提出PreAlign框架，通过在预训练前初始化对齐词表示并采用代码切换策略，显著提升了大型语言模型的跨语言迁移和知识共享能力。
2024-11-16 cs.CL
Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment
State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室）；Institute of Automation, CAS（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对多语言生成模型偏向高资源语言且句子表示孤立的问题，提出利用翻译句对进行对比学习与指令对齐的框架，以极少 token 显著提升跨语言能力。
2024-06-12 cs.CL
mOthello: When Do Cross-Lingual Representation Alignment and Cross-Lingual Transfer Emerge in Multilingual Models?
Brown University（布朗大学）
本研究提出合成任务mOthello，探究多语言模型中跨语言表示对齐与迁移的条件，发现锚定标记有助于对齐但语言无关表示不足，进而提出统一输出空间的多语言预训练方法以促进跨语言迁移。
2024-04-18 cs.AI cs.CL
Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
该研究针对多语言模型事实性知识的跨语言一致性展开分析评估，借助可解释性方法揭示其影响因素，验证了语码转换训练等策略及激活修补方法对提升一致性的效用。
2025-09-30 cs.CL
Debiasing Multilingual LLMs in Cross-lingual Latent Space
University of Copenhagen（哥本哈根大学）；ETH Zurich（苏黎世联邦理工学院）
针对多语言大语言模型去偏置技术跨语言迁移性有限的问题，本研究提出在由平行TED脚本训练的自动编码器构建的对齐跨语言潜在空间中进行去偏置，实验证明该方法能显著提升去偏置性能及跨语言迁移性。
2025-08-25 cs.AI cs.CL cs.LG
A Multilingual Bag-of-Entities Model for Zero-Shot Cross-Lingual Text Classification
The University of Tokyo（东京大学）；Studio Ousia（Ousia工作室）；National Institute of Informatics（国立信息学研究所）；RIKEN AIP（理化学研究所先进智能项目中心）
我们提出了一种多语言实体袋模型，通过扩展多语言预训练语言模型（例如，M-BERT）。它利用了维基数据的多语言特性：表示同一概念的多语言实体使用唯一标识符定义。这使得用多种语言描述的实体能够使用共享嵌入来表示。因此，在资源丰富的语言中对实体特征进行训练的模型可以直接应用于其他语言。我们在跨语言主题分类（使用MLDoc和TED-CLDC数据集）和实体分类（使用SHINRA 2020-ML数据集）上的实验结果表明，所提出的模型始终优于最先进的模型。
2022-10-11 cs.CL
Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学及翻译学系）
本文提出CLiKA框架，从性能、一致性和传导性三个层面评估大语言模型的跨语言知识对齐，发现多语言预训练和指令微调虽有帮助但效果浅层，尤其无法显著提升知识传导性。
2024-04-06 cs.CL
Feature Aggregation in Zero-Shot Cross-Lingual Transfer Using Multilingual BERT
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）
多语言BERT（mBERT）是一种在大型多语言语料库上预训练的语言模型，具有令人印象深刻的zero-shot跨语言迁移能力，在zero-shot词性标注和命名实体识别（NER）以及跨语言模型迁移方面表现令人惊讶。目前，解决跨语言下游任务的主流方法都是使用mBERT最后一个Transformer层的输出作为语言信息的表示。在这项工作中，我们探讨了mBERT的最后一个Transformer层的低层的互补性。提出了一种基于注意力机制的特征聚合模块，用于融合mBERT中不同层次的信息。在四个zero-shot跨语言迁移数据集上进行了实验，所提方法在关键多语言基准任务XNLI（+1.5%）、PAWS-X（+2.4%）、NER（+1.2 F1）和POS（+1.5 F1）上获得了性能提升。通过对实验结果的分析，我们证明了mBERT最后一层之前的层可以为跨语言的下游任务提供额外的有用信息，并从经验上探讨了mBERT的可解释性。
2022-05-17 cs.CL
Evaluating Cross-Lingual Unlearning in Multilingual Language Models
AI Virtual Assistant (AVA) Lab（人工智能虚拟助手（AVA）实验室）；Georgia Institute of Technology（佐治亚理工学院）
本文研究了多语言语言模型中的跨语言反学习，发现子空间投影方法在去除非训练语言事实方面表现最佳，揭示了权重空间几何结构对多语言遗忘的影响。
2026-01-10 cs.CL
Towards Corpus-Grounded Agentic LLMs for Multilingual Grammatical Analysis
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）；University of Ljubljana, Faculty of Arts（卢布尔雅那大学艺术学院）；Jožef Stefan Institute（乔塞夫·斯塔芬研究所）
本文提出基于语料库的代理LLM框架，用于多语言语法分析，通过数据驱动推理提升语法探究的可解释性和扩展性。
2025-11-28 cs.CL
LIIR at SemEval-2020 Task 12: A Cross-Lingual Augmentation Approach for Multilingual Offensive Language Identification
KU Leuven（鲁汶大学）
本文介绍了我们的系统，题为“LIIR”的SemEval-2020任务12在社交媒体中的多语言攻击性语言识别（OffensEval 2）。我们参加了英语、丹麦语、希腊语、阿拉伯语和土耳其语的分任务A。我们分别针对英语和非英语语言调整和微调了Google AI提供的BERT和多语言Bert模型。对于英语语言，我们使用两个微调的BERT模型的组合。对于其他语言，我们提出了一种跨语言的增强方法，以丰富训练数据，我们使用多语言BERT获得句子表示。LIIR在希腊语、土耳其语、英语、阿拉伯语和丹麦语中的排名分别为14/38、18/47、24/86、24/54和25/40。
2020-07-17 cs.CL
Deep Subjecthood: Higher-Order Grammatical Features in Multilingual BERT
Stanford University（斯坦福大学）；University of California, Irvine（加州大学欧文分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们研究如何多语言BERT（mBERT）编码语法，通过研究如何高阶语法特征的形态句法对齐（不同的语言如何定义什么算作“主语”）是体现在不同语言的嵌入空间。为了理解形态句法对齐是否以及如何影响上下文嵌入空间，我们训练分类器以恢复传递句中mBERT嵌入的主体性（不包含关于形态句法对齐的公开信息），然后在语言内部和跨语言的不传递句中评估它们的zero-shot（主体性分类取决于对齐）。我们发现，由此产生的分类器分布反映了他们的训练语言的形态句法对齐。我们的研究结果表明，mBERT表示受到高级语法特征的影响，这些语法特征在任何一个输入句子中都没有表现出来，并且这在各种语言中都是鲁棒的。进一步研究我们的分类器依赖的特征，我们发现，如被动语态，生命力和情况下的功能与分类决策强烈相关，这表明mBERT不编码纯粹的句法主体，但主体嵌入是连续的，并依赖于语义和话语因素，在许多功能语言学文献中提出。总之，这些结果提供了深入了解语法功能如何体现在上下文嵌入空间，在抽象的水平上没有涵盖以前的工作。
2021-01-26 cs.CL
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多语言预训练语言模型已经表现出显著的zero-shot跨语言迁移能力。这种迁移是通过对一种语言感兴趣的任务进行微调并对一种不同的语言进行评估而出现的，在微调过程中看不到。尽管取得了令人鼓舞的成果，但我们仍然缺乏对这种转移来源的适当了解。使用一种新的层烧蚀技术和模型的内部表示的分析，我们表明，多语言BERT，一个流行的多语言语言模型，可以被看作是两个子网络的堆叠：一个多语言编码器，然后由一个特定于任务的语言不可知的预测。虽然编码器对于跨语言迁移至关重要，并且在微调期间基本保持不变，但任务预测器对迁移的重要性很小，并且可以在微调期间重新初始化。我们提出了广泛的实验，三个不同的任务，17种类型不同的语言和多个领域来支持我们的假设。
2021-01-26 cs.CL
xGQA: Cross-Lingual Visual Question Answering
Technical University of Darmstadt（达姆施塔特工业大学）；New York University（纽约大学）；University of Cambridge（剑桥大学）
多模态视觉和语言建模的最新进展主要集中在英语语言上，主要是由于缺乏多语言多模态数据集来指导建模工作。在这项工作中，我们解决了这一差距，并提供了xGQA，这是一种用于视觉问答任务的新多语言评估基准。我们将建立的英语GQA数据集扩展到7种类型不同的语言，使我们能够检测和探索跨语言视觉问答中的关键挑战。我们进一步提出了新的基于适配器的方法，以适应多模态转换器为基础的模型成为多语言，反之亦然-多语言模型成为多模态。我们提出的方法优于当前最先进的多语言多模态模型（例如，M3 P），但准确度仍然很低;目标语言中约38个准确度点的性能下降显示了该任务的zero-shot跨语言迁移的难度。我们的研究结果表明，简单的跨语言迁移的多模态模型产生潜在的多语种多模态错位，需要更复杂的视觉和多语种语言建模的方法。
2022-03-17 cs.CL
Cross-lingual Transfer of Reward Models in Multilingual Alignment
KAIST AI（韩国科学技术院人工智能学院）
本研究探讨了奖励模型从英语到多语言的跨语言迁移，发现英语奖励模型在Multilingual RewardBench上平均提升3~4%，并通过多语言对齐增强了指令跟随能力。
2025-01-23 cs.AI cs.CL
Syntax-augmented Multilingual BERT for Cross-lingual Transfer
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Facebook AI（脸书人工智能研究院）
近年来，我们已经看到了巨大的努力，在预训练多语言文本编码器使用大规模语料库在许多语言，以促进跨语言迁移学习。然而，由于语言之间的类型差异，跨语言迁移是具有挑战性的。然而，语言语法，例如，句法依赖，可以弥合类型学的差距。以前的工作表明，预先训练的多语言编码器，如mBERT \cite{devlin-etal-2019-bert}，捕获语言语法，帮助跨语言迁移。这项工作表明，明确提供语言语法和训练mBERT使用辅助目标编码的通用依赖树结构有助于跨语言迁移。我们对四个NLP任务进行了严格的实验，包括文本分类，问答，命名实体识别和面向任务的语义解析。实验结果表明，语法增强的mBERT提高跨语言迁移在流行的基准测试，如PAWS-X和MLQA，平均1.4和1.6点，在所有语言。在\emph{generalized}转移设置中，表现显著提升，PAWS-X和MLQA的平均得分分别为3.9和3.1分。
2021-06-03 cs.CL
Unsupervised Cross-lingual Word Embedding by Multilingual Neural Language Models
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
我们提出了一种无监督的方法来获得跨语言嵌入，而无需任何并行数据或预训练的词嵌入。我们称之为多语言神经语言模型的模型以多种语言的句子作为输入。该模型包含双向LSTM，作为前向和后向语言模型，这些网络在所有语言之间共享。其他参数，即词嵌入和隐藏状态与输出之间的线性变换，是特定于每种语言的。共享的LSTM可以捕获所有语言之间的共同句子结构。因此，每种语言的词嵌入被映射到公共潜在空间中，使得可以跨多种语言测量词的相似性。我们评估跨语言的词嵌入的词对齐任务的质量。我们的实验表明，我们的模型可以获得比现有的无监督模型更高质量的跨语言嵌入时，只有少量的单语数据（即50k句子），或单语数据的域是不同的语言。
2018-09-07 cs.AI cs.CL cs.LG
Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
多语言预训练语言模型（MPLM）不仅可以处理不同语言的任务，而且还表现出令人惊讶的zero-shot跨语言可移植性。然而，与最先进的单语预训练模型相比，MPLM通常无法在资源丰富的语言上实现可比较的监督性能。在本文中，我们的目标是提高多语言模型的监督和zero-shot的性能，同时只有监督语言的资源。我们的方法是基于高性能的单语模型与师生框架的知识转移。我们让多语言模型同时从多个单语言模型中学习。为了利用模型的跨语言可移植性，我们提出了MBLM（多分支多语言语言模型），一个模型建立在MPLM与多语言分支。每个分支都是一堆Transformers。MBLM使用zero-shot感知训练策略进行训练，该策略鼓励模型从来自所有分支的zero-shot表示的混合中学习。两个跨语言分类任务的结果表明，仅使用任务的监督数据，我们的方法提高了监督和zero-shot性能的MPLM。
2022-02-28 cs.CL
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation and Understanding
China University of Petroleum (East China)（中国石油大学（华东））；JD Explore Academy（京东探索研究院）
对于多语言序列到序列预训练语言模型在多语言Seq 2Seq PLM（多语言Seq 2Seq PLM），例如mBART中，自监督预训练任务在广泛的单语语言上训练，例如来自CommonCrawl的25种语言，而下游跨语言任务通常在双语语言子集上进行，例如英语-德语，使得存在数据差异，即域差异，在预训练阶段和微调阶段存在跨语言学习目标差异，即任务差异。为了弥合上述跨语言领域和任务的差距，我们扩展了vanilla pretrain-finetune管道，增加了额外的代码切换恢复任务。具体而言，第一阶段采用自监督代码切换恢复任务作为借口任务，允许多语言Seq 2Seq PLM获取一些域内对齐信息。在第二阶段，我们通常对下游数据进行模型微调。NLG评估（12个双语翻译任务，30个zero-shot翻译任务和2个跨语言摘要任务）和NLU评估（7个跨语言自然语言推理任务）的实验表明，我们的模型始终优于采用标准微调策略的强基线mBART。分析表明，我们的方法可以缩小跨语言句子表示的欧氏距离，并提高模型的泛化能力与微小的计算成本。我们在https://github.com/zanchangtong/CSR4mBART上发布代码。
2022-09-21 cs.CL
Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models
Stanford University（斯坦福大学）
本文发现多语言BERT存在语法结构偏差，即英语等高资源语言的语法会渗入低资源语言，并通过西班牙语代词省略和希腊语主谓顺序实验证明其偏向英语式结构，呼吁更关注语言学意识的流利度评估。
2023-04-13 cs.CL
Towards Zero-Shot Multilingual Synthetic Question and Answer Generation for Cross-Lingual Reading Comprehension
Google Research（谷歌研究院）
我们提出了一个简单的方法，通过使用一个单一的生成模型生成大规模的多语言问题和答案对。这些合成样本可用于提高多语言QA模型在目标语言上的zero-shot性能。我们提出的生成模型的多任务训练只需要英语中的标记训练样本，因此不需要目标语言中的此类样本，使其适用于比标记数据更多的语言。人工评估表明，大多数这样的样本在语法上是正确和合理的。实验结果表明，我们提出的方法可以在XQuAD数据集上实现很大的增益，减少各种语言上较小QA模型的zero-shot和监督性能之间的差距。
2021-05-28 cs.AI cs.CL cs.LG
