Language Embeddings for Typology and Cross-lingual Transfer Learning
University of California, Davis（加州大学戴维斯分校）
跨语言的语言任务通常需要大量的注释数据或并行翻译数据。我们探讨语言表征，捕捉语言之间的关系是否可以学习，并随后利用跨语言的任务，而不使用并行数据。我们使用去噪自动编码器为29种语言生成密集嵌入，并使用世界语言结构地图集（WALS）和两个外部任务在zero-shot设置中评估嵌入：跨语言依存句法分析和跨语言自然语言推理。
2021-06-03 cs.CL
An Empirical Study of Cross-Lingual Transferability in Generative Dialogue State Tracker
National Taiwan University（国立台湾大学）
数据驱动的面向任务的对话系统在大规模数据集的支持下得到了快速发展。然而，由于缺乏高质量的数据，低资源语言的对话系统的进展远远落后。为了推进构建对话系统的跨语言技术，DSTC 9引入了跨语言对话状态跟踪的任务，我们在资源丰富的训练数据集下使用低资源语言测试DST模块。本文研究了跨语言生成对话状态跟踪系统的可移植性，使用多语言预训练seq2seq模型。我们在不同的设置下进行实验，包括跨语言和跨本体数据集的联合训练或预训练。我们也发现了我们的方法的跨语言可移植性低，并提供了调查和讨论。
2021-01-27 cs.CL
Syntax-augmented Multilingual BERT for Cross-lingual Transfer
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Facebook AI（脸书人工智能研究院）
近年来，我们已经看到了巨大的努力，在预训练多语言文本编码器使用大规模语料库在许多语言，以促进跨语言迁移学习。然而，由于语言之间的类型差异，跨语言迁移是具有挑战性的。然而，语言语法，例如，句法依赖，可以弥合类型学的差距。以前的工作表明，预先训练的多语言编码器，如mBERT \cite{devlin-etal-2019-bert}，捕获语言语法，帮助跨语言迁移。这项工作表明，明确提供语言语法和训练mBERT使用辅助目标编码的通用依赖树结构有助于跨语言迁移。我们对四个NLP任务进行了严格的实验，包括文本分类，问答，命名实体识别和面向任务的语义解析。实验结果表明，语法增强的mBERT提高跨语言迁移在流行的基准测试，如PAWS-X和MLQA，平均1.4和1.6点，在所有语言。在\emph{generalized}转移设置中，表现显著提升，PAWS-X和MLQA的平均得分分别为3.9和3.1分。
2021-06-03 cs.CL
Scalable Cross-Lingual Transfer of Neural Sentence Embeddings
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技，亚马逊人工智能）
我们开发并研究了几种用于神经句子嵌入模型的跨语言对齐方法，例如监督推理分类器，Infersent和顺序编码器-解码器模型。我们评估了三个应用于这些模型的对齐框架：联合建模，表示迁移学习和句子映射，使用并行文本来指导对齐。我们的研究结果支持表示转移作为一种可扩展的方法，用于神经句子嵌入的模块化跨语言对齐，与内在和外在评估中的联合模型相比，我们观察到更好的性能，特别是较小的并行数据集。
2019-04-11 cs.CL
Realistic Zero-Shot Cross-Lingual Transfer in Legal Topic Classification
Athens University of Economics and Business（雅典经济与商业大学）；Cognitiv+ Ltd（Cognitiv+有限公司）；University of Copenhagen（哥本哈根大学）
我们考虑zero-shot跨语言迁移在法律主题分类使用最近的MultiEURLEX数据集。由于原始数据集包含并行文档，这是不现实的zero-shot跨语言迁移，我们开发了一个新版本的数据集没有并行文档。我们使用它来证明基于简化的方法大大优于多语言预训练模型的跨语言微调，这是MultiEURLEX之前最好的zero-shot传输方法。我们还开发了一个双语教师-学生zero-shot传输方法，利用额外的未标记的文件的目标语言，并表现得更好的模型微调直接标记的目标语言文件。
2022-06-08 cs.CL
Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings
HiTZ Basque Center for Language Technologies（HiTZ巴斯克语言技术中心）；University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）
本文对比零资源跨语言序列标注的数据迁移与模型迁移，发现零样本高容量多语言语言模型整体优于翻译与标注投影，但后者在缺乏此类模型时仍具竞争力。
2023-04-27 cs.CL
Improving cross-lingual model transfer by chunking
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；Dept. of Computer Science and Engg.（计算机科学与工程系）
为了更有效地处理源语言和目标语言之间的句法差异，我们提出了一种浅层解析器引导的跨语言模型迁移方法。在这项工作中，我们假设一个句子中的块或短语作为转移单位，以解决由于单词在短语中的顺序和短语在句子中的顺序的差异而产生的源语言和目标语言之间的句法差异。
2020-02-27 cs.CL
Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
适配器模块，附加的可训练参数，使预训练的Transformers的有效微调，最近已被用于语言专业化的多语言Transformers，改善下游zero-shot跨语言迁移。在这项工作中，我们提出了正交的语言和任务适配器（称为orthoadapters）的跨语言迁移。他们被训练编码语言和任务特定的信息，这是互补的（即，正交）到已经存储在预训练的Transformer的参数中的知识。我们的zero-shot跨语言迁移实验，涉及三个任务（POS标记，NER，NLI）和一组10种不同的语言，1）指出了orthoadapters在跨语言迁移中的有用性，特别是对于最复杂的NLI任务，但也2）表明，最佳适配器配置高度依赖于任务和目标语言。我们希望我们的工作将激发更广泛的调查的有用性的正交约束的语言和任务特定的微调预训练的Transformers。
2020-12-11 cs.CL
A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning
Peking University（北京大学）；Tencent Research（腾讯研究院）
现有的zero-shot跨语言迁移方法依赖于并行语料库或双语词典，这是昂贵的，不切实际的低资源的语言。为了摆脱这些依赖性，研究人员探索了在仅英语资源上训练多语言模型，并将其转移到低资源语言上。然而，它的效果是有限的嵌入集群之间的差距，不同的语言。为了解决这个问题，我们提出了嵌入推，注意力拉，和鲁棒的目标转移英语嵌入虚拟多语言嵌入没有语义损失，从而提高跨语言的可转移性。在mBERT和XLM-R上的实验结果表明，该方法在zero-shot跨语言文本分类任务上的性能明显优于以往的方法，并且能够获得更好的多语言对齐效果。
2022-10-18 cs.CL
CONCRETE: Improving Cross-lingual Fact-checking with Cross-lingual Retrieval
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
由于虚假信息的普遍存在，事实核查越来越受到人们的重视。由于其他语言的数据稀缺问题，大多数事实核查方法只关注用英语提出的主张。缺乏低资源语言的事实检查数据集需要一种有效的跨语言迁移技术来进行事实检查。此外，不同语言的可信信息可以相互补充，有助于核实事实。为此，我们提出了第一个事实检查框架，增强了跨语言检索，通过跨语言检索器从多种语言检索到的证据。由于缺乏跨语言的信息检索数据集与索赔样查询，我们训练检索器与我们提出的跨语言逆完形填空任务（X-ICT），一个自我监督的算法，通过翻译一段话的标题创建训练实例。X-ICT的目标是学习跨语言检索，其中模型学习识别与给定翻译标题对应的段落。在X-Fact数据集上，我们的方法在zero-shot跨语言设置中比现有系统实现了2.23%的绝对F1改进。源代码和数据可在https://github.com/khuangaf/CONCRETE上公开获取。
2022-09-05 cs.CL
A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
University of Cape Town（开普敦大学）
本文系统分析子词分割方法对多语言翻译中跨语言迁移的影响，发现子词正则化促进多语言建模协同，BPE更利于跨语言微调，并揭示正字法词边界差异比语言不相关性更阻碍迁移。
2024-03-29 cs.CL
SimCSum: Joint Learning of Simplification and Cross-lingual Summarization for Cross-lingual Science Journalism
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Heidelberg University（海德堡大学）
提出SimCSum多任务架构，通过共享编码器和双并行解码器联合学习文本简化与跨语言摘要，在两个跨语言科学数据集上显著优于现有方法。
2023-04-04 cs.CL
MultiEURLEX -- A multi-lingual and multi-label legal document classification dataset for zero-shot cross-lingual transfer
University of Copenhagen（哥本哈根大学）；Athens University of Economics and Business（雅典经济与商业大学）；Cognitiv+ Ltd.（Cognitiv+ 有限公司）
我们介绍了MULTI-EURLEX，一个新的多语言数据集的主题分类的法律文件。该数据集包含65，000条欧盟（EU）法律，官方翻译为23种语言，并使用EUROVOC分类法的多个标签进行注释。我们强调时间概念漂移的影响和时间顺序的重要性，而不是随机分裂。我们使用数据集作为zero-shot跨语言迁移的测试平台，其中我们利用一种语言（源）中的注释训练文档对另一种语言（目标）中的文档进行分类。我们发现，在单一源语言中微调多语言预训练模型（XLM-ROBERTA，MT5）会导致灾难性的多语言知识遗忘，因此，到其他语言的zero-shot迁移很差。适应策略，即部分微调，适配器，BITFIT，LNFIT，最初提出来加速新的最终任务的微调，有助于保留预训练的多语言知识，大大提高zero-shot跨语言迁移，但它们的影响也取决于所使用的预训练模型和标签集的大小。
2021-09-06 cs.CL
CLICKER: Attention-Based Cross-Lingual Commonsense Knowledge Transfer
Amazon Alexa AI（亚马逊Alexa人工智能部门）
跨语言常识推理（CSR）的最新进展是由多语言预训练模型（mPTM）的发展促进的。虽然mPTM显示出为不同语言编码常识知识的潜力，但将在大规模英语语料库中学习到的常识知识转移到其他语言是具有挑战性的。为了解决这个问题，我们提出了基于注意力的跨语言常识知识搜索器（CLICKER）框架，它最大限度地减少了英语和非英语语言之间的性能差距在常识问答任务。CLICKER通过区分非常识知识和常识知识，有效地提高了非英语语言的常识推理。在公共基准测试上的实验结果表明，CLICKER在英语以外的跨语言CSR任务中取得了显着的改善。
2023-02-26 cs.CL
Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders
University of Göttingen（哥廷根大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Saarland University（萨尔大学）
研究发现跨语言对齐与下游任务目标存在正交性，导致对齐效果因语言和任务类型而异，提出结合对齐与任务微调的实用指南。
2026-09-28 cs.CL
Are Multilingual Models Actually Improving? Revisiting Cross-Lingual Transfer
Google DeepMind（谷歌DeepMind）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
提出硬度调整迁移（HAT）分数以准确衡量跨语言迁移强度，发现小模型迁移未失效、随模型大小迁移进步慢于预期、但随时间推移有明显进步。
2026-11-10 cs.CL
Sharing, Teaching and Aligning: Knowledgeable Transfer Learning for Cross-Lingual Machine Reading Comprehension
South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）
提出X-STA方法，通过注意力教师迁移答案跨度、梯度解缠知识共享和多粒度语义对齐，提升跨语言机器阅读理解性能，在三个数据集上超越现有最优方法。
2023-11-12 cs.CL
Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
预训练的多语言编码器，如多语言BERT和XLM-R，显示出巨大的潜力，zero-shot跨语言迁移。然而，这些多语言编码器并不能精确地对齐不同语言的单词和短语。特别是，在多语言嵌入空间中学习对齐通常需要词级或词级并行语料库，这对于低资源语言来说是昂贵的。另一种方法是使多语言编码器更鲁棒;当使用下游任务微调编码器时，我们训练编码器以容忍上下文嵌入空间中的噪声，使得即使不同语言的表示没有很好地对齐，模型仍然可以在zero-shot跨语言迁移上实现良好的性能。在这项工作中，我们提出了一种学习策略，通过绘制对抗性示例和zero-shot跨语言迁移失败案例之间的联系来训练鲁棒模型。我们采用两种广泛使用的鲁棒训练方法，对抗训练和随机平滑，训练所需的鲁棒模型。实验结果表明，鲁棒训练提高了文本分类任务的zero-shot跨语言迁移。这种改进在广义跨语言迁移设置中更为显著，其中输入句子对属于两种不同的语言。
2021-09-10 cs.CL
X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Adobe Research（Adobe研究院）
多语言模型，如M-BERT和XLM-R，由于其zero-shot跨语言迁移学习能力而越来越受欢迎。然而，他们的泛化能力仍然是不一致的类型多样的语言和不同的基准。最近，元学习作为一种在低资源情况下增强迁移学习的有前途的技术引起了人们的关注：特别是对于自然语言理解（NLU）中的跨语言迁移。在这项工作中，我们提出了X-METRA-ADA，一个跨语言的MEta-迁移学习自适应方法的NLU。我们的方法适应MAML，一种基于优化的元学习方法，学习适应新的语言。我们广泛评估我们的框架上两个具有挑战性的跨语言NLU任务：多语言任务导向的对话和类型多样的问答。我们表明，我们的方法优于天真的微调，达到竞争力的性能在大多数语言的任务。我们的分析表明，X-METRA-ADA可以利用有限的数据进行更快的适应。
2021-06-01 cs.CL
Soft Layer Selection with Meta-Learning for Zero-Shot Cross-Lingual Transfer
University of Maryland（马里兰大学）；Amazon AI（亚马逊人工智能）
多语言预训练的上下文嵌入模型（Devlin等人，2019）在zero-shot跨语言迁移任务上取得了令人印象深刻的表现。找到最有效的微调策略来微调高资源语言上的这些模型，使其能够很好地转移到zero-shot语言是一项重要的任务。在本文中，我们提出了一种新的元优化器来软选择预训练模型的哪些层在微调期间冻结。我们通过模拟zero-shot传输场景来训练元优化器。跨语言自然语言推理的结果表明，我们的方法优于简单的微调基线和X-MAML（Nooralahzadeh等人，2020年）。
2021-07-21 cs.CL
Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
近年来，预训练多语言模型在学习多语言表示方面显示出巨大的潜力，这是自然语言处理的一个重要课题。先前的工作通常使用单一的混合注意力（MA）模块，遵循TLM（Conneau和Lample，2019），用于同时等效地关注语言内和跨语言上下文。在本文中，我们提出了一个网络命名为分解注意力（DA）作为MA的替代品。DA由一个语内注意（IA）和一个跨语言注意（CA）组成，分别模拟语内和跨语言监督。此外，我们在训练过程中引入了一种语言自适应的重新加权策略，以进一步提高模型的性能。不同的跨语言自然语言理解（NLU）任务的实验表明，所提出的架构和学习策略显着提高模型的跨语言可移植性。
2021-06-09 cs.CL
Cross-Lingual Transfer for Distantly Supervised and Low-resources Indonesian NER
Kata Research Team, Kata.ai（Kata研究团队，Kata.ai）
本文提出通过预训练语言模型进行跨语言迁移，提升小规模标注和大但远监督数据集的命名实体识别性能，实验显示在无平行标注情况下效果显著。
2019-07-25 cs.CL
Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning?
University of Helsinki（赫尔辛基大学）；Universite Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文研究了将机器翻译作为持续训练目标以桥接多语言预训练与跨语言应用的潜力，发现显式句子级对齐不仅未能增强跨语言表征学习，反而因输出可分性对跨语言迁移预训练产生有害影响。
2024-03-25 cs.CL
Joint Representation Learning of Cross-lingual Words and Entities via Attentive Distant Supervision
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；University of Bonn（波恩大学）
词和实体的联合表示学习有益于许多NLP任务，但在跨语言环境中尚未得到很好的探索。在本文中，我们提出了一种新的跨语言的单词和实体的联合表示学习的方法。它捕获相互补充的知识，并使跨语言的知识库和文本之间的推理。我们的方法不需要平行语料库，并自动生成可比数据，通过远程监督使用多语言的知识库。我们利用两种类型的正则化器来对齐跨语言的单词和实体，并设计知识注意和跨语言注意，以进一步减少噪音。我们进行了一系列的实验三个任务：词的翻译，实体相关性，跨语言实体连接。定性和定量的结果都证明了我们方法的重要性。
2018-11-27 cs.CL
WikiMulti: a Corpus for Cross-Lingual Summarization
Kazan Federal University（喀山联邦大学）
跨语言摘要（CLS）是为不同语言的源文档生成特定语言摘要的任务。我们介绍WikiMulti -一个新的数据集，用于基于15种语言的维基百科文章的跨语言摘要。作为进一步研究的一组基线，我们评估了现有的跨语言抽象摘要方法在我们的数据集上的性能。我们在这里公开提供我们的数据集：https://github.com/tikhonovpavel/wikimulti
2022-04-23 cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University（乌普萨拉大学）；Dep. of Linguistics and Philology（语言学与文献学系）
我们探讨了多语言神经机器翻译模型的可移植性，看不见的语言时，转移是完全基于跨语言的词嵌入。我们的实验结果表明，翻译知识可以弱迁移到其他语言，可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面，并建议如何减轻限制。
2020-11-03 cs.CL
Unknown Script: Impact of Script on Cross-Lingual Transfer
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文研究源语言及文字对跨语言迁移的影响，通过多种分词方式预训练的单语与多语模型实验，证明分词器比共享文字、语言相似性和模型规模更关键。
2024-05-07 cs.CL
Selected Languages are All You Need for Cross-lingual Truthfulness Transfer
Microsoft STC Asia（微软亚洲技术中心）
本文提出一种名为FaMSS的跨语言真实性迁移方法，通过语言偏差和迁移贡献选择最优语言子集并采用翻译指令微调，有效减少了多语言表示差异并提升了LLMs的跨语言真实性。
2025-03-03 cs.CL
Feature Aggregation in Zero-Shot Cross-Lingual Transfer Using Multilingual BERT
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）
多语言BERT（mBERT）是一种在大型多语言语料库上预训练的语言模型，具有令人印象深刻的zero-shot跨语言迁移能力，在zero-shot词性标注和命名实体识别（NER）以及跨语言模型迁移方面表现令人惊讶。目前，解决跨语言下游任务的主流方法都是使用mBERT最后一个Transformer层的输出作为语言信息的表示。在这项工作中，我们探讨了mBERT的最后一个Transformer层的低层的互补性。提出了一种基于注意力机制的特征聚合模块，用于融合mBERT中不同层次的信息。在四个zero-shot跨语言迁移数据集上进行了实验，所提方法在关键多语言基准任务XNLI（+1.5%）、PAWS-X（+2.4%）、NER（+1.2 F1）和POS（+1.5 F1）上获得了性能提升。通过对实验结果的分析，我们证明了mBERT最后一层之前的层可以为跨语言的下游任务提供额外的有用信息，并从经验上探讨了mBERT的可解释性。
2022-05-17 cs.CL
Improving Zero-shot Cross-lingual Transfer between Closely Related Languages by injecting Character-level Noise
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
高资源语言与其方言或密切相关的语言变体之间的跨语言迁移应通过它们的相似性来促进。然而，目前在嵌入空间中操作的方法不考虑表面相似性。这项工作提出了一个简单而有效的策略，以改善密切相关的品种之间的跨语言迁移。我们建议用字符级噪声来增强高资源源语言的数据，以使模型对拼写变化更加鲁棒。我们的策略在几种语言和任务上显示出一致的改进：从芬兰语，西日耳曼语和北日耳曼语，以及西方罗曼语分支的语言品种之间的POS标记和主题识别的Zero-shot转移。我们的工作提供了证据的有用性，简单的表面噪声在提高语言品种之间的转移。
2022-03-11 cs.CL
Domain Mismatch Doesn't Always Prevent Cross-Lingual Transfer Learning
Amazon（亚马逊）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
没有标记的目标语言数据或平行文本的跨语言迁移学习在zero-shot跨语言分类、问答、无监督机器翻译等方面令人惊讶地有效。然而，最近的一些出版物声称域失配阻止了跨语言迁移，他们的研究结果表明，无监督双语词典归纳（UBLI）和无监督神经机器翻译（UNMT）当底层单语语料库来自不同的领域（例如，法文本来自维基百科，英文文本来自联合国会议记录）。在这项工作中，我们表明，一个简单的初始化方案可以克服大部分的影响域不匹配的跨语言迁移。我们在连接的领域不匹配语料库上预训练单词和上下文嵌入，并将其用作三个任务的初始化：MUSE UBLI，UN Parallel UNMT和SemEval 2017跨语言单词相似性任务。在所有情况下，我们的研究结果挑战先前工作的结论，表明适当的初始化可以恢复域不匹配所造成的损失的很大一部分。
2022-11-30 cs.CL
A survey of cross-lingual features for zero-shot cross-lingual semantic parsing
Georgia Institute of Technology（佐治亚理工学院）；Samsung AI Center（三星人工智能中心）；University of Edinburgh（爱丁堡大学）
利用语料库来训练英语语义分析器，已经在该领域取得了重大进展。不幸的是，对于英语以外的语言，注释是稀缺的，所以是发达的解析器。然后我们会问：一个用英语训练的解析器可以应用于它没有被训练过的语言吗？为了回答这个问题，我们探索zero-shot跨语言语义解析，其中我们训练可用的从粗到细的语义解析器（Liu et al.，2018）使用跨语言词嵌入和英语中的通用依赖关系，并在意大利语，德语和荷兰语上进行测试。并行意义库（一个多语言语义图库）的结果表明，当与其他词汇特征结合使用时，通用依赖特征显着提高了性能，但在对输入进行编码时，直接对UD结构进行建模则不会。
2019-08-27 cs.CL
Cross-lingual Models of Word Embeddings: An Empirical Comparison
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
尽管人们对使用跨语言知识来学习各种任务的词嵌入感兴趣，但文献中缺乏对可能方法的系统比较。我们进行了广泛的评估，四个流行的方法诱导跨语言嵌入，每一个需要不同形式的监督，在四个排版不同的语言对。我们的评估设置跨越四个不同的任务，包括单语言和跨语言相似性的内在评估，以及下游语义和句法应用程序的外在评估。我们发现，需要昂贵的跨语言知识的模型几乎总是表现得更好，但廉价的监督模型往往在某些任务上具有竞争力。
2016-06-08 cs.CL
Exploring Cross-lingual Textual Style Transfer with Large Multilingual Language Models
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Technical University of Munich（慕尼黑工业大学）
去歧义是指在保持原文的意义和流畅性的同时，以礼貌的方式生成文本。现有的解毒方法被设计成以一种确切的语言工作。这项工作调查了多语言和跨语言解毒以及大型多语言模型的行为，如在这种情况下。与以前的作品，我们的目标是使大语言模型能够执行解毒，而无需直接微调给定的语言。实验表明，多语言模型能够进行多语言风格迁移。然而，模型无法进行跨语言解毒，直接对精确语言进行微调是不可避免的。
2022-06-05 cs.CL
One-Shot Neural Cross-Lingual Transfer for Paradigm Completion
LMU Munich（慕尼黑大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种新的跨语言迁移方法范式完成，映射一个词元，其曲折的形式，使用神经编码器-解码器模型，最先进的单语任务的任务。我们使用来自高资源语言的标记数据来提高低资源语言的性能。在对来自四个不同语系的21个语言对的实验中，我们获得了比没有迁移时高出58%的准确率，并表明即使是zero-shot和one-shot学习也是可能的。我们进一步发现，语言的相关程度强烈影响的能力，转移形态知识。
2017-03-31 cs.CL
From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers
University of Mannheim（曼海姆大学）；University of Oslo（奥斯陆大学）；University of Cambridge（剑桥大学）
使用语言建模目标（例如，mBERT，XLM-R）已经成为NLP中zero-shot跨语言迁移的事实上的默认迁移范例，提供了无与伦比的迁移性能。然而，目前的下游评估，主要是验证其有效性的转移设置涉及语言与足够数量的预训练数据，并与词汇和类型学接近的语言。在这项工作中，我们分析了它们的局限性，并表明，跨语言迁移通过大规模的多语言Transformers，很像通过跨语言的词嵌入传输，是大大降低了资源贫乏的情况下，为遥远的语言。我们的实验，包括三个较低层次的任务（POS标记，依存句法分析，NER），以及两个高层次的语义任务（NLI，QA），经验相关的迁移性能与源语言和目标语言之间的语言相似性，但也与预训练语料库的大小目标语言。我们还证明了廉价的Few-Shot转移（即，在对源代码进行微调之后，对一些目标语言实例进行微调）。这表明，应投入更多的研究努力，以超越限制性的zero-shot条件。
2020-05-01 cs.CL
Cross-Cultural Similarity Features for Cross-Lingual Transfer Learning of Pragmatically Motivated Tasks
Carnegie Mellon University（卡内基梅隆大学）；Seoul National University（首尔国立大学）；Sogang University（西江大学）
跨语言迁移学习的许多工作都在探索如何为多语言任务选择更好的迁移语言，主要集中在语言之间的类型和谱系相似性上。我们假设，这些措施的语言接近是不够的，当与语用动机的任务，如情感分析。作为一种替代方案，我们引入三个语言特征，捕捉跨文化的相似性，体现在语言模式和量化不同方面的语言语用：语言上下文层次，比喻语言，和情感概念的形化。我们的分析表明，所提出的语用特征捕捉跨文化的相似性，并与现有的工作在社会语言学和语言人类学。我们进一步证实了在跨语言情感分析中选择迁移语言的下游任务中语用驱动迁移的有效性。
2021-04-08 cs.CL
Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
该研究针对多语言模型事实性知识的跨语言一致性展开分析评估，借助可解释性方法揭示其影响因素，验证了语码转换训练等策略及激活修补方法对提升一致性的效用。
2025-09-30 cs.CL
Can Monolingual Pretrained Models Help Cross-Lingual Classification?
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言预训练语言模型（如多语言BERT）在跨语言迁移方面取得了令人印象深刻的结果。然而，由于恒定的模型容量，多语言预训练通常落后于单语言竞争对手。在这项工作中，我们提出了两种方法来改善zero-shot跨语言分类，通过将知识从单语预训练模型转移到多语言模型。两个跨语言分类基准的实验结果表明，我们的方法优于香草多语言微调。
2019-11-10 cs.CL
Explicit Cross-lingual Pre-training for Unsupervised Machine Translation
SKLSDE Lab, Beihang University（北航SKLSDE实验室）；Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算先进创新中心）；Microsoft Research Asia（微软亚洲研究院）；Beihang University（北京航空航天大学）
预训练在无监督机器翻译中被证明是有效的，因为它能够在跨语言场景中对深度上下文信息进行建模。然而，从共享BPE空间获得的跨语言信息是不明确且有限的。在本文中，我们提出了一种新的跨语言的预训练方法，无监督机器翻译通过合并显式的跨语言的训练信号。具体来说，我们首先计算跨语言的n-gram嵌入，并从中推断出一个n-gram翻译表。利用这些n元语法翻译对，我们提出了一种新的预训练模型，称为跨语言掩蔽语言模型（CMLM），它在输入文本流中随机选择源n元语法，并在每个时间步预测其翻译候选。实验表明，我们的方法可以将有益的跨语言信息纳入预训练模型。采用预先训练好的CMLM模型作为编码器和解码器，显著提高了无监督机器翻译的性能。
2019-08-31 cs.CL
Mixed-Lingual Pre-training for Cross-lingual Summarization
Microsoft Cognitive Services Research Group（微软认知服务研究组）
跨语言摘要（CLS）的目的是为源语言的文章生成目标语言的摘要。传统的解决方案采用两步走的方法，即翻译然后总结或总结然后翻译。最近，端到端模型取得了更好的结果，但这些方法大多受到其对大规模标记数据的依赖的限制。我们提出了一种基于混合语言预训练的解决方案，该解决方案利用了跨语言任务（如翻译）和单语言任务（如掩蔽语言模型）。因此，我们的模型可以利用大量的单语数据来增强其语言建模。此外，该架构没有特定于任务的组件，这节省了内存并提高了优化效率。实验结果表明，该预训练方案可以有效地提高跨语言摘要的性能。在神经跨语言摘要（NCLS）数据集中，我们的模型比最先进的结果提高了2.82（英语到中文）和1.15（中文到英语）ROUGE-1分数。
2020-10-18 cs.CL
Unicoder: A Universal Language Encoder by Pre-training with Multiple Cross-lingual Tasks
Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
我们提出了Unicoder，一个通用的语言编码器，是不敏感的不同的语言。给定一个任意的NLP任务，可以使用一种语言的训练数据使用Unicoder训练模型，并直接应用于其他语言的相同任务的输入。与多语言BERT和XLM等类似工作相比，本文提出了三个新的跨语言预训练任务，包括跨语言单词恢复、跨语言释义分类和跨语言掩蔽语言模型。这些任务帮助Unicoder从更多的角度学习不同语言之间的映射。我们还发现，同时对多种语言进行微调可以带来进一步的改进。实验在两个任务上进行：跨语言自然语言推理（XNLI）和跨语言问答（XQA），其中XLM是我们的基线。在XNLI上，平均准确率提高了1.8%（15种语言）。在我们建立的新的跨语言数据集XQA上，平均准确率提高了5.5%（法语和德语）。
2019-09-04 cs.CL
Cross-lingual Adaption Model-Agnostic Meta-Learning for Natural Language Understanding
Kyoto University（京都大学）
使用辅助语言的Meta学习已经证明了跨语言自然语言处理的有希望的改进。然而，以前的研究从同一种语言中抽取元训练和元测试数据，这限制了模型的跨语言迁移能力。在本文中，我们提出了XLA-MAML，它在元学习阶段进行直接的跨语言适应。我们进行了zero-shot和Few-Shot两个自然语言推理和问答实验。实验结果证明了我们的方法在不同语言，任务和预训练模型上的有效性。我们还分析了元学习的各种跨语言特定设置，包括采样策略和并行性。
2021-11-10 cs.CL
Cross-lingual Word Embeddings in Hyperbolic Space
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
跨语言词嵌入可以应用于跨多种语言的若干自然语言处理应用。不同于以往的作品，使用基于欧几里德空间的词嵌入，这篇短文提出了一个简单而有效的跨语言Word2Vec模型，适应双曲空间的庞加莱球模型学习无监督跨语言的词表示从德英平行语料库。已经表明，双曲嵌入可以捕获和保持层次关系。我们评估模型上的hypernymy和类比任务。该模型在跨语言类比任务上取得了与普通Word2Vec模型相当的性能，上位词任务表明，跨语言Poincaré Word2Vec模型可以从跨语言的自由文本中捕获潜在的层次结构，这是基于欧几里得的Word2Vec表示所缺乏的。我们的研究结果表明，通过保留潜在的层次信息，双曲空间可以提供更好的跨语言嵌入表示。
2022-06-26 cs.CL
PPT: Parsimonious Parser Transfer for Unsupervised Cross-Lingual Adaptation
University of Melbourne（墨尔本大学）；Amazon Research（亚马逊研究院）
跨语言迁移是在缺乏显式监督的情况下解析低资源语言的主要技术。基于多语言输入编码的简单“直接转移”学习模型提供了一个强有力的基准。本文提出了一种无监督跨语言迁移的方法，通过使用它们的输出作为隐式监督的一部分，在目标语言的无标记文本的自我训练，改进了直接迁移系统。该方法假设最少的资源，并提供最大的灵活性，通过（a）接受任何预先训练的弧因子依赖解析器;（b）假设没有访问源语言数据;（c）支持投射和非投射解析;和（d）支持多源传输。以英语作为源语言，我们显示出显着的改进，在国家的最先进的传输模型上的遥远和附近的语言，尽管我们的概念更简单的方法。我们分析了多源传输的源语言选择以及非投射解析的优势。我们的代码可在线获取。
2021-01-27 cs.CL
Zero-shot Cross-lingual Transfer is Under-specified Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）
预训练的多语言编码器能够实现zero-shot跨语言迁移，但通常会产生不可靠的模型，这些模型在目标语言上表现出高性能差异。我们假设这种高方差是由于zero-shot跨语言迁移解决了一个未指定的优化问题。我们发现，任何线性插值模型之间的源语言单语模型和源+目标双语模型具有同样低的源语言泛化误差，但目标语言泛化误差减少平滑和线性，因为我们从单语双语模型，这表明该模型的斗争，以确定良好的解决方案，为源和目标语言单独使用源语言。此外，我们还发现zero-shot解位于目标语言错误泛化曲面的非平坦区域，导致了高方差。
2022-07-12 cs.CL
Cross-Lingual BERT Transformation for Zero-Shot Dependency Parsing
Harbin Institute of Technology（哈尔滨工业大学）；MIT（麻省理工学院）
本文研究了在语境空间中学习跨语言表征的问题。我们提出了跨语言BERT转换（CLBT），这是一种基于公开可用的预训练BERT模型生成跨语言上下文化词嵌入的简单而有效的方法（Devlin等人，2018年）。在这种方法中，从上下文单词对齐中学习线性变换，以对齐在不同语言中独立训练的上下文化嵌入。我们证明了这种方法的有效性zero-shot跨语言迁移分析。实验表明，我们的嵌入大大优于以前的国家的最先进的使用静态嵌入。我们进一步将我们的方法与XLM（Lample和Conneau，2019）进行了比较，XLM是最近提出的一种使用大量并行数据训练的跨语言语言模型，并取得了极具竞争力的结果。
2019-09-15 cs.CL
Cross-Lingual Text Classification with Minimal Resources by Transferring a Sparse Teacher
Columbia University（哥伦比亚大学）
跨语言文本分类通过利用来自其他语言的标记文档来消除对目标语言的手动标记文档的需要。现有的跨语言转移监督的方法需要昂贵的跨语言资源，如并行语料库，而不太昂贵的跨语言表示学习方法训练分类器没有目标标记的文件。在这项工作中，我们提出了一个跨语言的师生方法，CLTS，产生“弱”的监督，在目标语言使用最少的跨语言资源，在少量的单词翻译的形式。在有限的翻译预算下，CLTS只提取和传输跨语言的最重要的特定于任务的种子词，并基于翻译后的种子词创建教师分类器。然后，CLTS迭代地训练一个更强大的学生，该学生也利用了未标记的目标文档中的种子词的上下文，并且表现优于教师。CLTS在18种不同的语言中非常简单和有效：通过转移20个种子词，即使是一个词袋逻辑回归学生也优于最先进的跨语言方法（例如，基于多语言BERT）。此外，CLTS可以适应任何类型的学生分类器：利用单语BERT学生导致进一步的改进，并在准确性上超过更昂贵的方法高达12%。最后，CLTS只使用少量的单词翻译来解决低资源语言中的新兴任务。
2020-10-06 cs.CL
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex；Facebook AI；Johns Hopkins University（约翰斯·霍普金斯大学）
跨语言命名实体词典是多语言NLP任务（如机器翻译和跨语言维基化）的重要资源。虽然知识库包含大量高资源语言（如英语和法语）的实体，但低资源语言的相应实体往往缺失。为了解决这个问题，我们提出了词汇-语义-语音对齐（LSP-Align），一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线，并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布，作为NLP社区的资源。
2021-09-10 cs.CL
Cross-lingual Transfer Can Worsen Bias in Sentiment Analysis
University of Edinburgh（爱丁堡大学）
本研究通过反事实评估发现，情感分析中使用跨语言迁移通常比单语迁移引入更多性别和种族偏见，并发布了1,525个模型及评估代码以促进相关研究。
2023-05-22 cs.CL
Monolingual and Cross-lingual Zero-shot Style Transfer
Institute of Computer Science（计算机科学研究所）
我们介绍了不同语言之间的zero-shot风格转换的任务。我们的训练数据包括多语言平行语料库，但不包含任何风格之间的平行句子，类似于最近以前的工作。我们提出了一个统一的多语言多风格机器翻译系统的设计，允许执行zero-shot风格转换在推理过程中，而且，它这样做的单语言和跨语言。我们的模型允许增加语料库中不同风格的存在多达3倍，很容易学会操作各种收缩，并提供合理的词汇交换，因为我们看到从手动评估。
2018-08-01 cs.CL
Learning Cross-Lingual Sentence Representations via a Multi-task Dual-Encoder Model
Google AI（谷歌人工智能）
多语言神经语言建模的一个重要障碍是缺乏标记的非英语数据。克服这个问题的一个潜在方法是学习跨语言文本表示，可以用来将英语任务训练的性能转移到非英语任务，尽管很少或没有特定于任务的非英语数据。在本文中，我们探索了一种用于学习跨语言句子表示的自然设置：双编码器。我们提供了一个全面的评估，我们的跨语言表示的单语，跨语言，和zero-shot/少样本学习任务，并给出了不同的学习跨语言嵌入空间的分析。
2019-08-01 cs.CL
NLPDove at SemEval-2020 Task 12: Improving Offensive Language Detection with Cross-lingual Transfer
Sogang University（西江大学）；Seoul National University（首尔大学）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文介绍了我们的方法来识别攻击性语言在多语言环境中的任务。我们研究了两种数据增强策略：使用具有不同阈值的附加半监督标签和具有数据选择的跨语言迁移。与仅使用手动注释的数据集训练的基线相比，利用半监督数据集导致性能提高。我们提出了一个新的度量，翻译嵌入距离，以衡量跨语言数据选择的实例的可移植性。我们还介绍了为社交媒体文本量身定制的各种预处理步骤，以及微调预训练的多语言BERT（mBERT）以进行攻击性语言识别的方法。我们的多语言系统在2020年的OffensEval上取得了希腊语，丹麦语和土耳其语的竞争结果。
2020-08-04 cs.CL
Enhancing Cross-lingual Transfer via Phonemic Transcription Integration
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）；Harrisburg University of Science and Technology（哈里斯堡科技大学）
本文提出PhoneXL框架，通过引入音素转写作为额外模态并设计无监督对齐目标，增强不同书写系统语言间的跨语言迁移，并在CJKV语言的词元级任务上取得一致提升。
2023-07-10 cs.CL
