CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Harbin Institute of Technology（哈尔滨工业大学）
多语言上下文嵌入，如多语言BERT（mBERT），已在各种zero-shot跨语言任务中显示出成功。然而，这些模型受到不同语言的子词的上下文表示不一致的限制。现有的工作解决这个问题的双语投影和微调技术。我们提出了一个数据增强框架来生成多语言的代码切换数据，以微调mBERT，它鼓励模型对齐表示从源和多个目标语言一次混合他们的上下文信息。与现有的工作相比，我们的方法不依赖于双语句子进行训练，对于多个目标语言只需要一个训练过程。对5个任务19种语言的实验结果表明，我们的方法导致显着提高性能的所有任务相比，mBERT。
2020-07-13 cs.CL
A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning
Peking University（北京大学）；Tencent Research（腾讯研究院）
现有的zero-shot跨语言迁移方法依赖于并行语料库或双语词典，这是昂贵的，不切实际的低资源的语言。为了摆脱这些依赖性，研究人员探索了在仅英语资源上训练多语言模型，并将其转移到低资源语言上。然而，它的效果是有限的嵌入集群之间的差距，不同的语言。为了解决这个问题，我们提出了嵌入推，注意力拉，和鲁棒的目标转移英语嵌入虚拟多语言嵌入没有语义损失，从而提高跨语言的可转移性。在mBERT和XLM-R上的实验结果表明，该方法在zero-shot跨语言文本分类任务上的性能明显优于以往的方法，并且能够获得更好的多语言对齐效果。
2022-10-18 cs.CL
Zero-shot Cross-lingual Transfer is Under-specified Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）
预训练的多语言编码器能够实现zero-shot跨语言迁移，但通常会产生不可靠的模型，这些模型在目标语言上表现出高性能差异。我们假设这种高方差是由于zero-shot跨语言迁移解决了一个未指定的优化问题。我们发现，任何线性插值模型之间的源语言单语模型和源+目标双语模型具有同样低的源语言泛化误差，但目标语言泛化误差减少平滑和线性，因为我们从单语双语模型，这表明该模型的斗争，以确定良好的解决方案，为源和目标语言单独使用源语言。此外，我们还发现zero-shot解位于目标语言错误泛化曲面的非平坦区域，导致了高方差。
2022-07-12 cs.CL
Monolingual and Cross-lingual Zero-shot Style Transfer
Institute of Computer Science（计算机科学研究所）
我们介绍了不同语言之间的zero-shot风格转换的任务。我们的训练数据包括多语言平行语料库，但不包含任何风格之间的平行句子，类似于最近以前的工作。我们提出了一个统一的多语言多风格机器翻译系统的设计，允许执行zero-shot风格转换在推理过程中，而且，它这样做的单语言和跨语言。我们的模型允许增加语料库中不同风格的存在多达3倍，很容易学会操作各种收缩，并提供合理的词汇交换，因为我们看到从手动评估。
2018-08-01 cs.CL
Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
适配器模块，附加的可训练参数，使预训练的Transformers的有效微调，最近已被用于语言专业化的多语言Transformers，改善下游zero-shot跨语言迁移。在这项工作中，我们提出了正交的语言和任务适配器（称为orthoadapters）的跨语言迁移。他们被训练编码语言和任务特定的信息，这是互补的（即，正交）到已经存储在预训练的Transformer的参数中的知识。我们的zero-shot跨语言迁移实验，涉及三个任务（POS标记，NER，NLI）和一组10种不同的语言，1）指出了orthoadapters在跨语言迁移中的有用性，特别是对于最复杂的NLI任务，但也2）表明，最佳适配器配置高度依赖于任务和目标语言。我们希望我们的工作将激发更广泛的调查的有用性的正交约束的语言和任务特定的微调预训练的Transformers。
2020-12-11 cs.CL
Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
预训练的多语言编码器，如多语言BERT和XLM-R，显示出巨大的潜力，zero-shot跨语言迁移。然而，这些多语言编码器并不能精确地对齐不同语言的单词和短语。特别是，在多语言嵌入空间中学习对齐通常需要词级或词级并行语料库，这对于低资源语言来说是昂贵的。另一种方法是使多语言编码器更鲁棒;当使用下游任务微调编码器时，我们训练编码器以容忍上下文嵌入空间中的噪声，使得即使不同语言的表示没有很好地对齐，模型仍然可以在zero-shot跨语言迁移上实现良好的性能。在这项工作中，我们提出了一种学习策略，通过绘制对抗性示例和zero-shot跨语言迁移失败案例之间的联系来训练鲁棒模型。我们采用两种广泛使用的鲁棒训练方法，对抗训练和随机平滑，训练所需的鲁棒模型。实验结果表明，鲁棒训练提高了文本分类任务的zero-shot跨语言迁移。这种改进在广义跨语言迁移设置中更为显著，其中输入句子对属于两种不同的语言。
2021-09-10 cs.CL
Feature Aggregation in Zero-Shot Cross-Lingual Transfer Using Multilingual BERT
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）
多语言BERT（mBERT）是一种在大型多语言语料库上预训练的语言模型，具有令人印象深刻的zero-shot跨语言迁移能力，在zero-shot词性标注和命名实体识别（NER）以及跨语言模型迁移方面表现令人惊讶。目前，解决跨语言下游任务的主流方法都是使用mBERT最后一个Transformer层的输出作为语言信息的表示。在这项工作中，我们探讨了mBERT的最后一个Transformer层的低层的互补性。提出了一种基于注意力机制的特征聚合模块，用于融合mBERT中不同层次的信息。在四个zero-shot跨语言迁移数据集上进行了实验，所提方法在关键多语言基准任务XNLI（+1.5%）、PAWS-X（+2.4%）、NER（+1.2 F1）和POS（+1.5 F1）上获得了性能提升。通过对实验结果的分析，我们证明了mBERT最后一层之前的层可以为跨语言的下游任务提供额外的有用信息，并从经验上探讨了mBERT的可解释性。
2022-05-17 cs.CL
Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation
Johns Hopkins University（约翰斯·霍普金斯大学）
线性嵌入变换已被证明是有效的zero-shot跨语言迁移任务，并取得令人惊讶的有希望的结果。然而，跨语言嵌入空间映射通常在静态词级嵌入中进行研究，其中通过对齐从词典引用的翻译对的表示来导出空间变换。我们进一步从这条线，并调查上下文嵌入对齐的方法，这是意义层面和字典自由。为了提高映射的质量，我们还提供了上下文嵌入的属性的深入视图，即，各向异性问题及其解决方法。实验zero-shot依存句法分析通过我们的嵌入转换建立的概念共享空间大大优于国家的最先进的方法，使用多语言嵌入。
2021-03-03 cs.CL
Zero-shot Dependency Parsing with Unsupervised Cross-Lingual Bootstrapping
VISTEC；Chulalongkorn University（朱拉隆功大学）；AI Singapore（AI新加坡）
提出跨语言无监督自举方法增强预训练语言模型句法知识，显著提升低资源语言零样本依存句法分析性能，并增强句法结构识别鲁棒性。
2026-09-30 cs.CL
Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
University of California, Los Angeles（加州大学洛杉矶分校）；Information Science Institute, University of Southern California（南加州大学信息科学研究所）
我们提出了一个利用多语言预训练生成语言模型的zero-shot跨语言事件参数提取（EAE）的研究。通过将EAE公式化为语言生成任务，我们的方法有效地编码事件结构并捕获参数之间的依赖关系。我们设计了语言无关的模板来表示事件参数结构，这些模板与任何语言都兼容，从而促进了跨语言迁移。我们提出的模型微调多语言预训练的生成语言模型，以生成句子，这些句子用从输入段落中提取的参数填充语言不可知模板。该模型在源语言上进行训练，然后直接应用于目标语言以进行事件参数提取。实验表明，该模型优于当前最先进的zero-shot跨语言EAE模型。全面的研究和错误分析，以更好地了解使用生成语言模型的优势和当前的局限性zero-shot跨语言迁移EAE。
2022-03-15 cs.CL
One-Shot Neural Cross-Lingual Transfer for Paradigm Completion
LMU Munich（慕尼黑大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种新的跨语言迁移方法范式完成，映射一个词元，其曲折的形式，使用神经编码器-解码器模型，最先进的单语任务的任务。我们使用来自高资源语言的标记数据来提高低资源语言的性能。在对来自四个不同语系的21个语言对的实验中，我们获得了比没有迁移时高出58%的准确率，并表明即使是zero-shot和one-shot学习也是可能的。我们进一步发现，语言的相关程度强烈影响的能力，转移形态知识。
2017-03-31 cs.CL
Zero-Shot Translation Quality Estimation with Explicit Cross-Lingual Patterns
The University of Sydney（悉尼大学）；Nagoya University（名古屋大学）
本文介绍了我们提交的WMT 2020句子水平直接评估，质量评估（QE）共享任务。在本研究中，我们经验性地揭示了直接采用BERTScore进行量化评估时的\textit{mismatching issue}。具体而言，在具有标记对相似度的翻译候选句和源句之间存在大量的不匹配错误。针对这一问题，我们提出了明确的跨语言模式，\textit{e.g.}词对齐和生成分数，我们提出的zero-shot模型。实验表明，我们提出的QE模型与明确的跨语言模式可以减轻不匹配的问题，从而提高性能。令人鼓舞的是，我们的zero-shot QE方法可以实现与监督QE方法相当的性能，甚至在6个方向中的2个方向上优于监督QE方法。我们希望我们的工作可以阐明zero-shot QE模型的改进。
2020-10-10 cs.CL
Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
多语言预训练语言模型（MPLM）不仅可以处理不同语言的任务，而且还表现出令人惊讶的zero-shot跨语言可移植性。然而，与最先进的单语预训练模型相比，MPLM通常无法在资源丰富的语言上实现可比较的监督性能。在本文中，我们的目标是提高多语言模型的监督和zero-shot的性能，同时只有监督语言的资源。我们的方法是基于高性能的单语模型与师生框架的知识转移。我们让多语言模型同时从多个单语言模型中学习。为了利用模型的跨语言可移植性，我们提出了MBLM（多分支多语言语言模型），一个模型建立在MPLM与多语言分支。每个分支都是一堆Transformers。MBLM使用zero-shot感知训练策略进行训练，该策略鼓励模型从来自所有分支的zero-shot表示的混合中学习。两个跨语言分类任务的结果表明，仅使用任务的监督数据，我们的方法提高了监督和zero-shot性能的MPLM。
2022-02-28 cs.CL
BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer
University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）；Allen Institute for AI（艾伦人工智能研究所）
引入 BUFFET 基准统一 15 项任务和 54 种语言，评估多语言大模型在少样本跨语言迁移中的表现，发现上下文学习迁移效果仍不及微调的小模型。
2023-05-24 cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University（乌普萨拉大学）；Dep. of Linguistics and Philology（语言学与文献学系）
我们探讨了多语言神经机器翻译模型的可移植性，看不见的语言时，转移是完全基于跨语言的词嵌入。我们的实验结果表明，翻译知识可以弱迁移到其他语言，可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面，并建议如何减轻限制。
2020-11-03 cs.CL
Beyond the English Web: Zero-Shot Cross-Lingual and Lightweight Monolingual Classification of Registers
University of Turku（图尔库大学）；University of Oulu（奥卢大学）；Northern Arizona University（北亚利桑那大学）
我们探讨了网络文档的语域分类的跨语言迁移。语域，即博客或新闻等文本变体，是语言变异的主要预测因子之一，因此影响语言的自动处理。我们介绍了两个新的注册标注语料库，FreCORE和SweCORE，法语和瑞典语。我们证明了深度预训练的语言模型在这些语言中表现强劲，并且在英语和芬兰语中表现优于以前的最先进水平。具体来说，我们表明：1）从大型英语CORE语料库的zero-shot跨语言迁移可以匹配或超过以前发表的单语模型，以及2）需要很少训练数据的轻量级单语分类可以达到或超过我们的zero-shot性能。我们进一步分析分类结果发现，某些寄存器继续构成挑战，特别是跨语言迁移。
2021-02-15 cs.CL
Bilingual Alignment Pre-Training for Zero-Shot Cross-Lingual Transfer
Joint Laboratory of HIT and iFLYTEK (HFL), iFLYTEK Research（哈尔滨工业大学与科大讯飞联合实验室（HFL），科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（认知智能国家重点实验室，科大讯飞研究院）
多语言预训练模型在跨语言迁移学习方面取得了显著的成绩。一些多语言模型，如mBERT，已经在未标记的语料库上进行了预训练，因此模型中不同语言的嵌入可能不会很好地对齐。为了提高zero-shot跨语言迁移的性能，本文提出了一种名为词交换对齐模型（WEAM）的预训练任务，该任务使用统计对齐信息作为先验知识来指导跨语言词预测。我们在多语言机器阅读理解任务MLQA和自然语言接口任务XNLI上评估了我们的模型。结果表明，WEAM能显著提高zero-shot性能。
2021-09-24 cs.CL
Zero-Shot Cross-lingual Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
最近的跨语言语义解析工作已经成功地将机器翻译应用于将分析器本地化到新的语言。然而，这些进步都是以高质量的机器翻译系统和单词对齐工具为前提的。我们删除这些假设，并研究跨语言语义解析作为一个zero-shot问题，没有并行数据（即，话语-逻辑形式对）的新语言。我们提出了一个多任务的编码器-解码器模型来转移解析知识，以额外的语言只使用英语逻辑形式配对数据和域中的自然语言语料库在每一个新的语言。我们的模型鼓励语言无关的编码，通过联合优化逻辑形式生成与辅助目标设计的跨语言潜在的表示对齐。我们的解析器的性能明显高于基于预防的基线，在某些情况下，与监督的上限竞争。
2022-03-07 cs.CL
XeroAlign: Zero-Shot Cross-lingual Transformer Alignment
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
预训练的跨语言语言模型的引入为多语言NLP任务带来了决定性的改进。然而，缺乏标记的任务数据需要各种方法来缩小与高资源语言的差距。特别是Zero-shot方法，通常使用翻译的任务数据作为训练信号，以弥合源语言和目标语言之间的性能差距。我们介绍XeroAlign，这是一种简单的方法，用于跨语言预训练Transformers（如XLM-R）的特定任务对齐。XeroAlign使用翻译的任务数据来鼓励模型为不同的语言生成类似的句子嵌入。XeroAligned XLM-R（称为XLM-RA）在基线模型上表现出了强大的改进，在三种多语言自然语言理解任务上实现了最先进的zero-shot结果。XLM-RA的文本分类准确性超过了使用标记数据训练的XLM-R，并且在跨语言对抗性释义任务上与最先进的模型表现相当。
2021-10-25 cs.CL
A Multilingual Bag-of-Entities Model for Zero-Shot Cross-Lingual Text Classification
The University of Tokyo（东京大学）；Studio Ousia（Ousia工作室）；National Institute of Informatics（国立信息学研究所）；RIKEN AIP（理化学研究所先进智能项目中心）
我们提出了一种多语言实体袋模型，通过扩展多语言预训练语言模型（例如，M-BERT）。它利用了维基数据的多语言特性：表示同一概念的多语言实体使用唯一标识符定义。这使得用多种语言描述的实体能够使用共享嵌入来表示。因此，在资源丰富的语言中对实体特征进行训练的模型可以直接应用于其他语言。我们在跨语言主题分类（使用MLDoc和TED-CLDC数据集）和实体分类（使用SHINRA 2020-ML数据集）上的实验结果表明，所提出的模型始终优于最先进的模型。
2022-10-11 cs.CL
Improving Zero-shot Cross-lingual Transfer between Closely Related Languages by injecting Character-level Noise
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
高资源语言与其方言或密切相关的语言变体之间的跨语言迁移应通过它们的相似性来促进。然而，目前在嵌入空间中操作的方法不考虑表面相似性。这项工作提出了一个简单而有效的策略，以改善密切相关的品种之间的跨语言迁移。我们建议用字符级噪声来增强高资源源语言的数据，以使模型对拼写变化更加鲁棒。我们的策略在几种语言和任务上显示出一致的改进：从芬兰语，西日耳曼语和北日耳曼语，以及西方罗曼语分支的语言品种之间的POS标记和主题识别的Zero-shot转移。我们的工作提供了证据的有用性，简单的表面噪声在提高语言品种之间的转移。
2022-03-11 cs.CL
Adaptive Cross-lingual Text Classification through In-Context One-Shot Demonstrations
Mathematics Research Center (CIMAT)（数学研究中心（CIMAT））；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Consejo Nacional de Humanidades, Ciencias y Tecnologías（国家人文科学技术委员会）；University of Houston（休斯顿大学）
本文提出IC-XLT框架，通过目标语言单样本上下文演示使mT5在推理时自适应，提升跨语言分类性能，并在源语言数据有限时保持竞争力。
2024-04-03 cs.CL
From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers
University of Mannheim（曼海姆大学）；University of Oslo（奥斯陆大学）；University of Cambridge（剑桥大学）
使用语言建模目标（例如，mBERT，XLM-R）已经成为NLP中zero-shot跨语言迁移的事实上的默认迁移范例，提供了无与伦比的迁移性能。然而，目前的下游评估，主要是验证其有效性的转移设置涉及语言与足够数量的预训练数据，并与词汇和类型学接近的语言。在这项工作中，我们分析了它们的局限性，并表明，跨语言迁移通过大规模的多语言Transformers，很像通过跨语言的词嵌入传输，是大大降低了资源贫乏的情况下，为遥远的语言。我们的实验，包括三个较低层次的任务（POS标记，依存句法分析，NER），以及两个高层次的语义任务（NLI，QA），经验相关的迁移性能与源语言和目标语言之间的语言相似性，但也与预训练语料库的大小目标语言。我们还证明了廉价的Few-Shot转移（即，在对源代码进行微调之后，对一些目标语言实例进行微调）。这表明，应投入更多的研究努力，以超越限制性的zero-shot条件。
2020-05-01 cs.CL
Substructure Distribution Projection for Zero-Shot Cross-Lingual Dependency Parsing
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了子结构分布投影（SubDP），一种技术，项目的分布结构在一个域到另一个域，分别通过投影子结构分布。然后可以使用投影分布作为软银标签来训练目标域的模型。我们评估SubDP的zero-shot跨语言依存句法分析，依赖弧作为子结构：我们预测的依赖弧分布在源语言（S）的目标语言（S），和训练一个目标语言解析器，以适应产生的分布。当英语树库是涉及人类努力的唯一注释时，SubDP实现了比Universal Advertisements v2.2的所有先前工作更好的未标记附件分数（Nivre等人，2020）测试集在八种不同的目标语言，以及最好的标记附件分数的六个八种语言。此外，SubDP改进了zero-shot跨语言依存句法分析，50)监督的双文本对，跨更广泛的目标语言。
2021-10-16 cs.CL
Nearest Neighbour Few-Shot Learning for Cross-lingual Classification
Amazon AI（亚马逊人工智能）；Nanyang Technological University（南洋理工大学）
尽管大型预训练的多语言模型（例如mBERT，XLM-R）已经在广泛的跨语言NLP任务上取得了显着的性能提升，但许多下游任务的成功仍然依赖于足够的注释数据的可用性。传统的仅使用少量目标样本对预训练模型进行微调可能会导致过度拟合。这可能是相当有限的，因为世界上大多数语言都资源不足。在这项工作中，我们研究跨语言适应使用一个简单的最近邻Few-Shot（<15个样本）推理技术的分类任务。我们在两个NLP任务中使用了总共16种不同的语言进行实验- XNLI和PAWS-X。我们的方法不断改进传统的微调只使用少数标记的样本在目标区域。我们还展示了它的泛化能力跨任务。
2021-09-06 cs.CL
Multi-task Learning for Cross-Lingual Sentiment Analysis
Faculty of Humanities and Social Sciences, University of Zagreb（萨格勒布大学人文与社会科学学院）
本文提出了一种使用zero-shot和少样本学习的新闻文章的跨语言情感分析。该研究旨在使用斯洛文尼亚数据集对克罗地亚新闻文章进行积极，消极和中立的情感分类。该系统是基于一个三种语言的BERT模型训练三种语言：英语，斯洛文尼亚语，克罗地亚语。本文分析了使用两种语言数据集的不同设置，并提出了一个简单的多任务模型来执行情感分类。使用克罗地亚语和斯洛文尼亚语的单任务和多任务实验中的Few-Shot和zero-shot场景进行评估。
2022-12-14 cs.CL
Cross-Lingual Transfer in Zero-Shot Cross-Language Entity Linking
Johns Hopkins University（约翰斯·霍普金斯大学）
跨语言实体将多种语言的理由提及链接到单一语言的知识库。我们提出了一个神经排名架构，这项任务，使用多语言BERT表示的提及和上下文中的神经网络。我们发现，多语言能力的BERT导致单语和多语言设置的强大性能。此外，我们探讨了zero-shot语言迁移，并发现令人惊讶的强大性能。我们调查的zero-shot退化，并发现它可以部分减轻建议的辅助训练目标，但剩余的错误可以最好地归因于域转移，而不是语言迁移。
2021-07-07 cs.CL
Zero-shot Chinese Discourse Dependency Parsing via Cross-lingual Mapping
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
由于缺乏标记数据，语篇分析在某些语言中仍然具有挑战性。本文提出了一种利用英语语篇标注数据和句法分析技术进行zero-shot中文文本级依存句法分析的方法。首先从句子和基本话语单位（EDU）两个层面构建汉英映射，然后利用对应英文译文的句法分析结果构建中文文本的话语树。该方法不需要大规模的中文标注数据，就能自动进行汉语篇章分析。
2019-11-27 cs.CL
Evaluating the Supervised and Zero-shot Performance of Multi-lingual Translation Models
Aylien Ltd.（Aylien有限公司）
我们研究了几种方法的全部或部分共享的多语言NMT模型的解码器参数。我们仅使用WMT 2019共享任务并行数据集进行训练，在110个独特的翻译方向上评估完全监督和zero-shot翻译性能。我们使用额外的测试集和重新评估方法最近用于无监督MT，以评估zero-shot翻译性能的语言对没有黄金标准的并行数据。据我们所知，就我们使用的训练数据的总大小而言，这是迄今为止对多语言翻译进行的最大评估，就我们评估的zero-shot翻译对的多样性而言。我们对不同模型的翻译性能进行了深入的评估，突出了共享解码器参数的方法之间的权衡。我们发现，具有特定于任务的解码器参数的模型优于解码器参数在所有任务中完全共享的模型。
2019-06-24 cs.CL
CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation
Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）
命名实体识别（NER）面临着标注训练数据缺乏的问题，特别是对于没有标注数据的低资源语言。跨语言NER已经被提出来通过经由对齐的跨语言表示或机器翻译结果将知识从高资源语言转移到低资源语言来缓解这个问题。然而，跨语言NER方法的性能受到翻译或标签投影质量不理想的严重影响。为了解决这些问题，我们提出了一个跨语言实体投影框架（CROP），使zero-shot跨语言NER的帮助下，多语言标记序列翻译模型。具体地，目标序列首先被翻译成源语言，然后由源NER模型标记。我们进一步采用标记序列翻译模型，将标记序列映射回目标语言，并标记目标原始句子。最终，整个管道通过自我训练的方式集成到端到端模型中。两个基准测试的实验结果表明，我们的方法大大优于以前的强基线+3 7 F1分数的大幅度，并实现了最先进的性能。
2022-10-13 cs.CL
Low-Resource Cross-Lingual Summarization through Few-Shot Learning with Large Language Models
Chung-Ang University（中央大学）
本文研究大语言模型在低资源跨语言摘要中的少样本学习性能，发现少样本学习显著提升GPT-3.5和GPT-4的表现，而Mistral-7B-Instruct-v0.2适应能力有限，并指出需进一步研究专用架构与预训练目标。
2024-06-07 cs.CL
DualNER: A Dual-Teaching framework for Zero-shot Cross-lingual Named Entity Recognition
Tencent Cloud Xiaowei（腾讯云小微）；Zhejiang University（浙江大学）；Westlake University（西湖大学）
本文提出了一个简单有效的框架DualNER，它充分利用带标注的源语言语料和未标注的目标语言文本进行zero-shot跨语言命名实体识别（NER）。特别是，我们结合了NER的两个互补的学习范式，即，序列标记和跨度预测，到一个统一的多任务框架。在获得在源数据上训练的足够的NER模型之后，我们进一步在目标数据上以{ \it双教学}的方式对其进行训练，其中一个任务的伪标签是根据另一个任务的预测构建的。此外，基于跨度预测，提出了一种实体感知的正则化，以增强不同语言中相同实体之间的内在跨语言对齐。实验和分析表明，我们的DualNER的有效性。代码可在https://github.com/lemon0830/dualNER上获得。
2022-12-10 cs.CL
Generalization Measures for Zero-Shot Cross-Lingual Transfer
New York University（纽约大学）
针对零样本跨语言迁移中泛化能力难以评估的问题，本文研究参数方差、初始化距离及损失曲面锐度等度量，并提出稳定计算模型最优点锐度的新算法。
2024-09-08 cs.CL
A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards
Carnegie Mellon University（卡内基梅隆大学）
跨语言文本摘要的目的是在一种语言输入的情况下生成另一种语言的文档摘要。这是一项具有实际意义的重要任务，但尚未得到充分探讨，主要原因是缺乏可用数据。现有的方法求助于机器翻译来合成训练数据，但是这样的流水线方法遭受错误传播。在这项工作中，我们提出了一个端到端的跨语言文本摘要模型。该模型使用强化学习来直接优化以目标语言生成的摘要与以源语言生成的黄金摘要之间的双语语义相似性度量。我们还介绍了利用单语摘要和机器翻译目标对模型进行预训练的技术。在英汉和英德两种跨语言摘要环境下的实验结果证明了本文方法的有效性。此外，我们发现，以双语语义相似度作为奖励的强化学习模型比强基线生成更流畅的句子。
2020-06-27 cs.CL
Zero-shot Neural Transfer for Cross-lingual Entity Linking
Carnegie Mellon University（卡内基梅隆大学）
跨语言实体链接将源语言中提到的实体映射到不同（目标）语言的结构化知识库中的其对应条目。虽然以前的工作在很大程度上依赖于双语词汇资源，以弥合源语言和目标语言之间的差距，这些资源是稀缺的，或无法为许多低资源的语言。为了解决这个问题，我们调查zero-shot跨语言实体链接，在其中，我们假设没有双语词汇资源，在源低资源语言。具体来说，我们提出了基于数据库的实体链接，它利用来自高资源“枢轴”语言的信息来训练字符级神经实体链接模型，这些模型以zero-shot方式转移到源低资源语言。通过对9种低资源语言的实验和总共54种语言的传输，我们表明，我们提出的基于XML的框架在zero-shot场景下，平均比基线系统提高了17%（绝对）的实体链接准确度。此外，我们还研究了使用语言通用的语音表示，提高了36%的平均准确性（绝对）时，使用不同的脚本之间的语言转移。
2018-11-09 cs.CL
Rumour Detection via Zero-shot Cross-lingual Transfer Learning
RMIT University（皇家墨尔本理工大学）；The University of Melbourne（墨尔本大学）
大多数社交媒体的谣言检测模型都是针对一种特定语言（主要是英语）设计的。Twitter上有超过40种语言，大多数语言缺乏注释资源来构建谣言检测模型。在本文中，我们提出了一个zero-shot跨语言迁移学习框架，可以适应谣言检测模型训练的源语言到另一个目标语言。我们的框架利用预训练的多语言语言模型（例如\多语言BERT）和自训练循环，以迭代地引导目标语言中的“银标签”的创建，以使模型从源语言适应目标语言。我们评估了我们的方法在英语和汉语的谣言数据集，并证明我们的模型大大优于竞争基准在源和目标语言的谣言检测。
2021-09-27 cs.CL
Zero-shot Cross-lingual Transfer without Parallel Corpus
Huawei（华为）
针对低资源语言任务数据匮乏、现有跨语言迁移依赖难获取的平行语料或翻译模型的问题，提出含双语任务适配与自训练模块的零样本跨语言迁移方法，无需平行语料/翻译模型即在多任务上取得新SOTA。
2023-10-07 cs.CL
I$^2$KD-SLU: An Intra-Inter Knowledge Distillation Framework for Zero-Shot Cross-Lingual Spoken Language Understanding
Fudan University（复旦大学）
针对零样本跨语言SLU中意图与槽位缺乏相互引导的问题，提出I²KD-SLU框架，通过语言内同类预测蒸馏及意图-槽位跨任务蒸馏，在MultiATIS++上达到新SOTA。
2023-10-04 cs.CL
LaDA: Latent Dialogue Action For Zero-shot Cross-lingual Neural Network Language Modeling
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出潜在对话动作层LaDA，通过在解码阶段引入潜在变量优化跨语言口语理解策略，显著提升远距离语言在零样本和少样本自适应下的意图检测与槽位填充性能。
2023-08-05 cs.CL
Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
近年来，NLP社区见证了多语言和跨语言迁移研究的快速发展，其中监督从高资源语言（HRL）转移到低资源语言（LRL）。然而，跨语言迁移在不同语言之间并不一致，特别是在zero-shot设置中。为了实现这一目标，一个有前途的研究方向是在有限的注释数据的情况下跨多个任务学习可共享的结构。下游的多语言应用程序可能会从这种学习设置中受益，因为全球大多数语言都是低资源的，并且与其他语言共享一些结构。在本文中，我们提出了一种新的元学习框架（称为Meta-X $_{NLG}$）学习共享结构的类型多样的语言的基础上元学习和语言聚类。这是朝着统一的跨语言迁移未见过的语言迈出的一步。我们首先聚类的语言表示的基础上，并确定每个集群的质心语言。然后，用所有质心语言训练Meta学习算法，并在zero-shot设置中对其他语言进行评估。我们在两个NLG任务（抽象文本摘要和问题生成），5个流行的数据集和30种类型不同的语言上证明了这种建模的有效性。在强基线基础上的持续改进表明了拟议框架的效力。该模型的精心设计使得这种端到端NLG设置不太容易受到意外翻译问题的影响，这是zero-shot跨语言NLG任务中的一个突出问题。
2022-03-19 cs.CL
Synthetic Data Augmentation for Zero-Shot Cross-Lingual Question Answering
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；reciTAL（reciTAL公司）
再加上大规模数据集的可用性，深度学习架构使问答任务取得了快速进展。然而，这些数据集中的大多数都是英语，并且在非英语数据上进行评估时，最先进的多语言模型的性能显着降低。由于高数据汇集成本，获得希望支持的每种语言的注释数据是不现实的。我们提出了一种方法来提高跨语言问答性能，而不需要额外的注释数据，利用问题生成模型，以跨语言的方式产生合成样本。我们表明，所提出的方法允许显着优于仅在英语数据上训练的基线。我们报告了四个多语言数据集的最新技术水平：MLQA，XQuAD，SQuAD-it和PIAF（fr）。
2021-10-14 cs.CL
Revisiting the Primacy of English in Zero-shot Cross-lingual Transfer
Google Research（谷歌研究院）
尽管它们取得了成功，但大型预训练的多语言模型并没有完全缓解对标记数据的需求，这对于所有目标语言来说都是很麻烦的。Zero-shot跨语言迁移正在成为一种实用的解决方案：预先训练的模型，后来在一种迁移语言上进行微调，在许多目标语言上进行测试时，表现出令人惊讶的性能。英语是迁移的主要源语言，流行的zero-shot基准也加强了这一点。然而，这种默认选择并没有经过系统的审查。在我们的研究中，我们将英语与其他迁移语言进行了比较，以进行微调，包括两个预训练的多语言模型（mBERT和mT5）以及多分类和问答任务。我们发现，其他高资源的语言，如德语和俄语往往更有效地转移，特别是当一组目标语言是不同的或未知的先验。出乎意料的是，即使训练集是从英语自动翻译的，这也是真的。这一发现可以对多语言zero-shot系统产生直接影响，并应告知未来的基准设计。
2021-06-30 cs.CL
Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation
Google Research（谷歌研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在本文中，我们探讨了具有挑战性的问题，执行生成任务的目标语言时，标记的数据是唯一可用的英语，摘要作为一个案例研究。我们假设一个严格的设置，无法访问并行数据或机器翻译，并发现常见的迁移学习方法在这种设置中很难，因为纯粹在英语上微调的生成多语言模型灾难性地忘记了如何生成非英语。考虑到最近参数有效的自适应技术的兴起，我们对一种这样的方法提示微调（Lester等人，2021），可以克服灾难性遗忘以实现zero-shot跨语言生成。我们的实验表明，当在不太相关的语言之间传输时，参数有效的提示微调提供了优于标准微调的增益，例如，从英语到泰语然而，在这些方法与全面监督的基线之间仍然存在着重大差距。为了进一步改进跨语言迁移，我们探索了几种方法，包括：（1）混合未标记的多语言数据，（2）显式地将提示分解为可重组的语言和任务组件。我们的方法可以提供进一步的质量增益，这表明强大的zero-shot跨语言生成是触手可及的。
2022-10-23 cs.CL
Zero-Shot Cross-Lingual Transfer with Meta Learning
University of Oslo（奥斯陆大学）；Vrije Universiteit Brussel - imec（布鲁塞尔自由大学 - 欧洲微电子研究中心）；University of Copenhagen（哥本哈根大学）；Aalborg University（奥尔堡大学）
最近，学习在任务之间共享什么已经成为一个非常重要的话题，因为知识的战略共享已经被证明可以提高下游任务的绩效。这对于多语言应用程序尤其重要，因为世界上大多数语言都资源不足。在这里，我们考虑同时在多种不同语言上设置训练模型，而英语以外的语言几乎没有数据可用。我们表明，这种具有挑战性的设置可以使用元学习来实现，其中，除了训练源语言模型之外，另一个模型还学习选择哪些训练实例对第一个最有益。我们实验使用标准的监督，zero-shot跨语言，以及Few-Shot跨语言设置不同的自然语言理解任务（自然语言推理，问答）。我们广泛的实验设置证明了元学习对15种语言的一致有效性。我们改进了zero-shot和Few-Shot NLI（在MultiNLI和XNLI上）以及QA（在MLQA数据集上）的最新技术。一个全面的错误分析表明，语言之间的类型特征的相关性可以部分解释时，参数共享通过元学习是有益的。
2020-10-05 cs.CL
Meta-learning For Vision-and-language Cross-lingual Transfer
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
针对预训练视觉语言模型在低资源语言多模态零样本及少样本跨语言迁移中表现不佳的问题，提出基于MAML的跨语言多模态元学习微调框架，有效提升了模型在新语言上的迁移性能。
2023-10-24 cs.CL
Cross-lingual Contextualized Topic Models with Zero-shot Learning
Bocconi University（博科尼大学）；University of Milano-Bicocca（米兰比可卡大学）
许多数据集（例如，评论、论坛、新闻等）以多种语言存在。它们都覆盖相同的内容，但语言上的差异使得无法使用传统的基于词袋的主题模型。模型必须要么是单一语言，要么是庞大但极其稀疏的词汇表。这两个问题都可以通过迁移学习来解决。在本文中，我们介绍了一个zero-shot跨语言主题模型。我们的模型学习一种语言（这里是英语）的主题，并预测不同语言（这里是意大利语，法语，德语和葡萄牙语）的未见过的文档。我们评估了不同语言的同一文档的主题预测的质量。我们的研究结果表明，转移的主题是连贯和稳定的跨语言，这表明令人兴奋的未来研究方向。
2021-02-04 cs.CL
Zero-shot Cross-lingual Stance Detection via Adversarial Language Adaptation
PSG College of Technology（PSG技术学院）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出零样本跨语言立场检测方法MTAB，通过结合翻译增强与对抗学习，在缺乏目标语言训练数据时有效提升了多语言立场分类性能。
2024-04-22 cs.CL
Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model
National Taiwan University（台湾大学）
由于收集每种语言的训练数据是不可行的，因此人们对跨语言迁移学习越来越感兴趣。本文系统地研究了基于多语种语料库预训练语言表征模型的zero-shot跨语言迁移学习在阅读理解任务中的应用。实验结果表明，使用预先训练好的语言表示，零样本学习是可行的，不需要将源数据翻译成目标语言，甚至会降低性能。我们进一步探讨了模型在zero-shot设置中学习了什么。
2019-09-15 cs.CL cs.LG stat.ML
Why Does Zero-Shot Cross-Lingual Generation Fail? An Explanation and a Solution
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文揭示零样本跨语言生成失败的根源在于微调学到语言不变表示，并提出正则化与无开发集检查点选择方法，显著减少错误语言输出并提升生成质量。
2023-05-27 cs.CL
ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language
Northeastern University（东北大学）；LMU Munich（慕尼黑大学）；Center for Information and Language Processing（信息与语言处理中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对低资源语言零样本对话生成难题，提出基于跨语言语码转换的ChatZero模型，通过无监督对比学习缩小语义差距，在零样本下达到监督学习90%以上性能及最优基线水平。
2024-08-16 cs.CL
The Model Arena for Cross-lingual Sentiment Analysis: A Comparative Study in the Era of Large Language Models
Dialpad Inc.（戴尔德公司）
本文在英语等多语言情感分析任务中实证比较了小型多语言模型与大语言模型，发现公开SMLM零样本性能更优，而公开LLM及GPT系列在少样本场景下适应力或表现存在差异。
2024-06-27 cs.CL
Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders
Microsoft Research（微软研究院）；The University of Hong Kong（香港大学）；Shanghai University of Finance and Economics（上海财经大学）；Texas A&M University（德克萨斯A&M大学）
以前的工作主要集中在使用多语言预训练编码器（MPE）改善NLU任务的跨语言迁移，或者使用BERT提高监督机器翻译的性能。然而，MPE是否有助于促进NMT模型的跨语言可移植性，这一点还有待进一步研究。本文重点研究了NMT中的零镜头（zero-shot）跨语言迁移任务。在该任务中，NMT模型仅使用一种语言对的并行数据集和现成的MPE进行训练，然后直接在zero-shot语言对上进行测试。我们提出了SixT，这是一个简单而有效的模型。SixT利用两阶段训练计划的MPE，并通过位置解纠缠编码器和容量增强的解码器得到进一步改进。使用这种方法，SixT的性能明显优于mBART，mBART是一种为NMT显式设计的预训练多语言编码器-解码器模型，在14种源语言的zero-shot任何英语测试集上平均提高了7.1 BLEU。此外，与CRISS和m2m-100两个强大的多语言NMT基线相比，我们的模型在15个任意到英语的测试集上具有更少的训练计算成本和训练数据，实现了更好的性能。
2021-11-05 cs.CL
Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT
Johns Hopkins University（约翰斯·霍普金斯大学）
预训练的上下文表示模型（Peters等人，2018; Devlin等人，2018年）在许多NLP任务上推动了最先进的技术。新版本的BERT（Devlin，2018）包括一个模型，该模型同时在104种语言上进行预训练，在自然语言推理任务中具有令人印象深刻的zero-shot跨语言迁移性能。本文探讨了mBERT（多语言）作为zero shot语言迁移模型在5个NLP任务上的更广泛的跨语言潜力，这些任务涵盖了来自不同语言家族的39种语言：NLI，文档分类，NER，POS标记和依存句法分析。我们将mBERT与最好的zero-shot跨语言迁移方法进行比较，发现mBERT在每个任务上都具有竞争力。此外，我们调查的最有效的策略，以这种方式利用mBERT，确定在何种程度上mBERT概括远离语言的特定功能，并测量影响跨语言迁移的因素。
2019-10-03 cs.CL
UniPSDA: Unsupervised Pseudo Semantic Data Augmentation for Zero-Shot Cross-Lingual Natural Language Understanding
Alibaba Group（阿里巴巴集团）
针对跨语言表示学习中浅层无监督数据缺乏全局上下文语义的问题，提出三阶段聚类的无监督伪语义数据增强机制UniPSDA，通过多语系知识替换句子关键成分并去偏，在多类零样本跨语言理解任务上提升性能。
2024-06-24 cs.CL
