Cross-lingual Knowledge Graph Alignment via Graph Matching Neural Network
Tencent AI Lab（腾讯人工智能实验室）；IBM T.J. Watson Research（IBM托马斯·J·沃森研究中心）；Peking University（北京大学）；Amazon AWS（亚马逊云科技）
以前的跨语言知识图谱（KG）对齐研究依赖于仅从单语KG结构信息导出的实体嵌入，这可能无法匹配两个KG中具有不同事实的实体。在本文中，我们引入了主题实体图，一个实体的局部子图，以表示与他们的上下文信息在KG中的实体。从这个角度来看，知识库对齐任务可以制定为一个图匹配问题，我们进一步提出了一个基于图注意力的解决方案，首先匹配两个主题实体图中的所有实体，然后联合建模的本地匹配信息，以获得一个图级匹配向量。实验表明，我们的模型优于以前的国家的最先进的方法由一个大的利润。
2019-07-29 cs.CL cs.LG
Cross-lingual Short-text Matching with Deep Learning
L3S Research Center（L3S研究中心）
短文本匹配问题的公式如下：给定一对句子或问题，匹配模型确定输入对的意思是否相同。能够自动识别具有相同含义的问题的模型在问答网站和现代聊天机器人中有着广泛的应用。在这篇文章中，我们描述了hahu团队在阿里巴巴赞助的“CIKM AnalytiCup 2018 -跨语言短文本问题对匹配”的背景下解决这个问题的方法。我们的解决方案是一个基于当前深度学习进展的端到端系统，它避免了繁重的特征工程，并实现了比传统机器学习方法更高的性能。第一轮和第二轮比赛的对数损失分数分别为0.35和0.39。该团队在组织者的总体排名计划中从1027支团队中排名第7，该排名包括两个竞赛分数以及：创新和系统完整性，理解数据以及业务解决方案的实用性。
2018-11-13 cs.CL
Multilingual JobBERT for Cross-Lingual Job Title Matching
TechWolf
本研究提出基于对比学习的多语言职位匹配模型JobBERT-V3，以JobBERT-V2为基础支持4种语言，在TalentCLEF 2025基准上优于基线，还可用于技能排序，已开源。
2025-07-29 cs.CL
The RELX Dataset and Matching the Multilingual Blanks for Cross-Lingual Relation Classification
Boğaziçi University（博阿齐奇大学）
关系分类是信息抽取中的一个关键问题，它可以用来构造知识库或为问答提供有用的信息。当前的关系分类方法主要集中在英语语言上，并且需要大量带有人类注释的训练数据。为低资源语言创建和注释大量的训练数据是不切实际的，而且成本很高。为了克服这个问题，我们提出了两个跨语言关系分类模型：一个基线模型的基础上多语言BERT和一个新的多语言预训练设置，这显着提高了基线与远程监督。为了进行评估，我们引入了一个新的公共基准数据集，用于英语，法语，德语，西班牙语和土耳其语的跨语言关系分类，名为CRAMX。我们还提供了一个远程数据集，其中包括数十万个句子，这些句子与维基百科和维基数据的关系是通过远程监督为这些语言收集的。我们的代码和数据可在https://github.com/boun-tabi/RELX上获得
2020-10-19 cs.CL
Cross-Lingual Language Model Meta-Pretraining
Beijing Institute of Technology（北京理工大学）
预训练的跨语言语言模型的成功依赖于两个基本能力，即，用于学习源语言中的下游任务的泛化能力，以及用于将任务知识转移到其他语言的跨语言可转移性。然而，目前的方法在单阶段跨语言预训练过程中联合学习这两种能力，导致泛化和跨语言迁移之间的权衡。在本文中，我们提出了跨语言的语言模型元预训练，学习这两种能力在不同的训练阶段。我们的方法在跨语言预训练之前引入了一个额外的元预训练阶段，其中模型在大规模单语语料库上学习泛化能力。然后，该模型着重于学习多语种语料库上的跨语言迁移。实验结果表明，我们的方法提高了泛化和跨语言迁移，并产生更好的对齐表示跨不同的语言。
2021-09-23 cs.CL
How Do Multilingual Encoders Learn Cross-lingual Representation?
The Johns Hopkins University（约翰斯·霍普金斯大学）
NLP系统通常需要支持多种语言。由于不同的语言具有不同的监督量，因此跨语言迁移通过从其他语言迁移而使具有很少或没有训练数据的语言受益。从工程角度来看，多语言NLP通过单个系统服务多种语言而有利于开发和维护。跨语言迁移和多语言自然语言处理都依赖于作为基础的跨语言表示。随着BERT彻底改变了表示学习和NLP，它也彻底改变了跨语言表示和跨语言迁移。多语言BERT是作为单语言BERT的替代品发布的，使用104种语言的维基百科数据进行训练。令人惊讶的是，在没有任何明确的跨语言信号的情况下，多语言BERT除了学习单个语言的表征之外，还学习跨语言的表征。这篇论文首先显示了这种令人惊讶的跨语言的有效性相比，现有技术的各种任务。自然，它提出了一系列问题，最值得注意的是这些多语言编码器如何学习跨语言表示。在探索这些问题的过程中，本文将分析多语言模型在高资源语言和低资源语言的各种设置中的行为。我们还研究了如何将不同的跨语言信号注入到多语言编码器中，以及使用这些模型的跨语言迁移的优化行为。它们一起提供了对多语言编码器在跨语言迁移上的更好理解。我们的发现将引导我们对多语言编码器和跨语言迁移提出改进建议。
2022-07-12 cs.CL
CONCRETE: Improving Cross-lingual Fact-checking with Cross-lingual Retrieval
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
由于虚假信息的普遍存在，事实核查越来越受到人们的重视。由于其他语言的数据稀缺问题，大多数事实核查方法只关注用英语提出的主张。缺乏低资源语言的事实检查数据集需要一种有效的跨语言迁移技术来进行事实检查。此外，不同语言的可信信息可以相互补充，有助于核实事实。为此，我们提出了第一个事实检查框架，增强了跨语言检索，通过跨语言检索器从多种语言检索到的证据。由于缺乏跨语言的信息检索数据集与索赔样查询，我们训练检索器与我们提出的跨语言逆完形填空任务（X-ICT），一个自我监督的算法，通过翻译一段话的标题创建训练实例。X-ICT的目标是学习跨语言检索，其中模型学习识别与给定翻译标题对应的段落。在X-Fact数据集上，我们的方法在zero-shot跨语言设置中比现有系统实现了2.23%的绝对F1改进。源代码和数据可在https://github.com/khuangaf/CONCRETE上公开获取。
2022-09-05 cs.CL
SimCSum: Joint Learning of Simplification and Cross-lingual Summarization for Cross-lingual Science Journalism
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Heidelberg University（海德堡大学）
提出SimCSum多任务架构，通过共享编码器和双并行解码器联合学习文本简化与跨语言摘要，在两个跨语言科学数据集上显著优于现有方法。
2023-04-04 cs.CL
Language Embeddings for Typology and Cross-lingual Transfer Learning
University of California, Davis（加州大学戴维斯分校）
跨语言的语言任务通常需要大量的注释数据或并行翻译数据。我们探讨语言表征，捕捉语言之间的关系是否可以学习，并随后利用跨语言的任务，而不使用并行数据。我们使用去噪自动编码器为29种语言生成密集嵌入，并使用世界语言结构地图集（WALS）和两个外部任务在zero-shot设置中评估嵌入：跨语言依存句法分析和跨语言自然语言推理。
2021-06-03 cs.CL
Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
近年来，预训练多语言模型在学习多语言表示方面显示出巨大的潜力，这是自然语言处理的一个重要课题。先前的工作通常使用单一的混合注意力（MA）模块，遵循TLM（Conneau和Lample，2019），用于同时等效地关注语言内和跨语言上下文。在本文中，我们提出了一个网络命名为分解注意力（DA）作为MA的替代品。DA由一个语内注意（IA）和一个跨语言注意（CA）组成，分别模拟语内和跨语言监督。此外，我们在训练过程中引入了一种语言自适应的重新加权策略，以进一步提高模型的性能。不同的跨语言自然语言理解（NLU）任务的实验表明，所提出的架构和学习策略显着提高模型的跨语言可移植性。
2021-06-09 cs.CL
Joint Representation Learning of Cross-lingual Words and Entities via Attentive Distant Supervision
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；University of Bonn（波恩大学）
词和实体的联合表示学习有益于许多NLP任务，但在跨语言环境中尚未得到很好的探索。在本文中，我们提出了一种新的跨语言的单词和实体的联合表示学习的方法。它捕获相互补充的知识，并使跨语言的知识库和文本之间的推理。我们的方法不需要平行语料库，并自动生成可比数据，通过远程监督使用多语言的知识库。我们利用两种类型的正则化器来对齐跨语言的单词和实体，并设计知识注意和跨语言注意，以进一步减少噪音。我们进行了一系列的实验三个任务：词的翻译，实体相关性，跨语言实体连接。定性和定量的结果都证明了我们方法的重要性。
2018-11-27 cs.CL
WikiMulti: a Corpus for Cross-Lingual Summarization
Kazan Federal University（喀山联邦大学）
跨语言摘要（CLS）是为不同语言的源文档生成特定语言摘要的任务。我们介绍WikiMulti -一个新的数据集，用于基于15种语言的维基百科文章的跨语言摘要。作为进一步研究的一组基线，我们评估了现有的跨语言抽象摘要方法在我们的数据集上的性能。我们在这里公开提供我们的数据集：https://github.com/tikhonovpavel/wikimulti
2022-04-23 cs.CL
A survey of cross-lingual features for zero-shot cross-lingual semantic parsing
Georgia Institute of Technology（佐治亚理工学院）；Samsung AI Center（三星人工智能中心）；University of Edinburgh（爱丁堡大学）
利用语料库来训练英语语义分析器，已经在该领域取得了重大进展。不幸的是，对于英语以外的语言，注释是稀缺的，所以是发达的解析器。然后我们会问：一个用英语训练的解析器可以应用于它没有被训练过的语言吗？为了回答这个问题，我们探索zero-shot跨语言语义解析，其中我们训练可用的从粗到细的语义解析器（Liu et al.，2018）使用跨语言词嵌入和英语中的通用依赖关系，并在意大利语，德语和荷兰语上进行测试。并行意义库（一个多语言语义图库）的结果表明，当与其他词汇特征结合使用时，通用依赖特征显着提高了性能，但在对输入进行编码时，直接对UD结构进行建模则不会。
2019-08-27 cs.CL
Cross-lingual Models of Word Embeddings: An Empirical Comparison
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
尽管人们对使用跨语言知识来学习各种任务的词嵌入感兴趣，但文献中缺乏对可能方法的系统比较。我们进行了广泛的评估，四个流行的方法诱导跨语言嵌入，每一个需要不同形式的监督，在四个排版不同的语言对。我们的评估设置跨越四个不同的任务，包括单语言和跨语言相似性的内在评估，以及下游语义和句法应用程序的外在评估。我们发现，需要昂贵的跨语言知识的模型几乎总是表现得更好，但廉价的监督模型往往在某些任务上具有竞争力。
2016-06-08 cs.CL
Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
该研究针对多语言模型事实性知识的跨语言一致性展开分析评估，借助可解释性方法揭示其影响因素，验证了语码转换训练等策略及激活修补方法对提升一致性的效用。
2025-09-30 cs.CL
Can Monolingual Pretrained Models Help Cross-Lingual Classification?
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言预训练语言模型（如多语言BERT）在跨语言迁移方面取得了令人印象深刻的结果。然而，由于恒定的模型容量，多语言预训练通常落后于单语言竞争对手。在这项工作中，我们提出了两种方法来改善zero-shot跨语言分类，通过将知识从单语预训练模型转移到多语言模型。两个跨语言分类基准的实验结果表明，我们的方法优于香草多语言微调。
2019-11-10 cs.CL
An Empirical Study of Cross-Lingual Transferability in Generative Dialogue State Tracker
National Taiwan University（国立台湾大学）
数据驱动的面向任务的对话系统在大规模数据集的支持下得到了快速发展。然而，由于缺乏高质量的数据，低资源语言的对话系统的进展远远落后。为了推进构建对话系统的跨语言技术，DSTC 9引入了跨语言对话状态跟踪的任务，我们在资源丰富的训练数据集下使用低资源语言测试DST模块。本文研究了跨语言生成对话状态跟踪系统的可移植性，使用多语言预训练seq2seq模型。我们在不同的设置下进行实验，包括跨语言和跨本体数据集的联合训练或预训练。我们也发现了我们的方法的跨语言可移植性低，并提供了调查和讨论。
2021-01-27 cs.CL
Explicit Cross-lingual Pre-training for Unsupervised Machine Translation
SKLSDE Lab, Beihang University（北航SKLSDE实验室）；Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算先进创新中心）；Microsoft Research Asia（微软亚洲研究院）；Beihang University（北京航空航天大学）
预训练在无监督机器翻译中被证明是有效的，因为它能够在跨语言场景中对深度上下文信息进行建模。然而，从共享BPE空间获得的跨语言信息是不明确且有限的。在本文中，我们提出了一种新的跨语言的预训练方法，无监督机器翻译通过合并显式的跨语言的训练信号。具体来说，我们首先计算跨语言的n-gram嵌入，并从中推断出一个n-gram翻译表。利用这些n元语法翻译对，我们提出了一种新的预训练模型，称为跨语言掩蔽语言模型（CMLM），它在输入文本流中随机选择源n元语法，并在每个时间步预测其翻译候选。实验表明，我们的方法可以将有益的跨语言信息纳入预训练模型。采用预先训练好的CMLM模型作为编码器和解码器，显著提高了无监督机器翻译的性能。
2019-08-31 cs.CL
Marvelous Agglutinative Language Effect on Cross Lingual Transfer Learning
Yonsei University（延世大学）
本文发现使用黏着语（如韩语）比使用结构相似语言更能提升跨语言迁移学习效果，将改变训练策略。
2024-05-24 cs.CL
Robust Cross-lingual Embeddings from Parallel Sentences
University of Waterloo（滑铁卢大学）；EPFL（洛桑联邦理工学院）
跨语言词嵌入的最新进展主要依赖于基于映射的方法，该方法通过线性变换将来自不同语言的预训练词嵌入投射到共享空间中。然而，这些方法假设词嵌入空间在不同语言之间是同构的，这已经被证明在实践中不成立（Søgaard等人，2018年），并从根本上限制了他们的表现。这促使研究联合学习方法，可以克服这一障碍，通过训练目标中的跨语言术语同时学习跨语言嵌入。我们提出了一个双语扩展的CBOW方法，利用双语对齐语料库，以获得强大的跨语言的单词和句子表示。我们的方法显着提高了跨语言的句子检索性能比所有其他方法，同时保持与当前国家的最先进的方法对单词翻译的奇偶校验。它还在zero-shot跨语言文档分类任务上实现了与深度RNN方法的对等，需要更少的计算资源进行训练和推理。作为一个额外的优势，我们的双语方法导致一个更显着的改善单语词向量的质量相比，其他竞争的方法。
2020-05-01 cs.CL cs.IR cs.LG
Mixed-Lingual Pre-training for Cross-lingual Summarization
Microsoft Cognitive Services Research Group（微软认知服务研究组）
跨语言摘要（CLS）的目的是为源语言的文章生成目标语言的摘要。传统的解决方案采用两步走的方法，即翻译然后总结或总结然后翻译。最近，端到端模型取得了更好的结果，但这些方法大多受到其对大规模标记数据的依赖的限制。我们提出了一种基于混合语言预训练的解决方案，该解决方案利用了跨语言任务（如翻译）和单语言任务（如掩蔽语言模型）。因此，我们的模型可以利用大量的单语数据来增强其语言建模。此外，该架构没有特定于任务的组件，这节省了内存并提高了优化效率。实验结果表明，该预训练方案可以有效地提高跨语言摘要的性能。在神经跨语言摘要（NCLS）数据集中，我们的模型比最先进的结果提高了2.82（英语到中文）和1.15（中文到英语）ROUGE-1分数。
2020-10-18 cs.CL
Unicoder: A Universal Language Encoder by Pre-training with Multiple Cross-lingual Tasks
Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
我们提出了Unicoder，一个通用的语言编码器，是不敏感的不同的语言。给定一个任意的NLP任务，可以使用一种语言的训练数据使用Unicoder训练模型，并直接应用于其他语言的相同任务的输入。与多语言BERT和XLM等类似工作相比，本文提出了三个新的跨语言预训练任务，包括跨语言单词恢复、跨语言释义分类和跨语言掩蔽语言模型。这些任务帮助Unicoder从更多的角度学习不同语言之间的映射。我们还发现，同时对多种语言进行微调可以带来进一步的改进。实验在两个任务上进行：跨语言自然语言推理（XNLI）和跨语言问答（XQA），其中XLM是我们的基线。在XNLI上，平均准确率提高了1.8%（15种语言）。在我们建立的新的跨语言数据集XQA上，平均准确率提高了5.5%（法语和德语）。
2019-09-04 cs.CL
Cross-lingual Adaption Model-Agnostic Meta-Learning for Natural Language Understanding
Kyoto University（京都大学）
使用辅助语言的Meta学习已经证明了跨语言自然语言处理的有希望的改进。然而，以前的研究从同一种语言中抽取元训练和元测试数据，这限制了模型的跨语言迁移能力。在本文中，我们提出了XLA-MAML，它在元学习阶段进行直接的跨语言适应。我们进行了zero-shot和Few-Shot两个自然语言推理和问答实验。实验结果证明了我们的方法在不同语言，任务和预训练模型上的有效性。我们还分析了元学习的各种跨语言特定设置，包括采样策略和并行性。
2021-11-10 cs.CL
Cross-lingual Word Embeddings in Hyperbolic Space
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
跨语言词嵌入可以应用于跨多种语言的若干自然语言处理应用。不同于以往的作品，使用基于欧几里德空间的词嵌入，这篇短文提出了一个简单而有效的跨语言Word2Vec模型，适应双曲空间的庞加莱球模型学习无监督跨语言的词表示从德英平行语料库。已经表明，双曲嵌入可以捕获和保持层次关系。我们评估模型上的hypernymy和类比任务。该模型在跨语言类比任务上取得了与普通Word2Vec模型相当的性能，上位词任务表明，跨语言Poincaré Word2Vec模型可以从跨语言的自由文本中捕获潜在的层次结构，这是基于欧几里得的Word2Vec表示所缺乏的。我们的研究结果表明，通过保留潜在的层次信息，双曲空间可以提供更好的跨语言嵌入表示。
2022-06-26 cs.CL
Cross-Lingual BERT Transformation for Zero-Shot Dependency Parsing
Harbin Institute of Technology（哈尔滨工业大学）；MIT（麻省理工学院）
本文研究了在语境空间中学习跨语言表征的问题。我们提出了跨语言BERT转换（CLBT），这是一种基于公开可用的预训练BERT模型生成跨语言上下文化词嵌入的简单而有效的方法（Devlin等人，2018年）。在这种方法中，从上下文单词对齐中学习线性变换，以对齐在不同语言中独立训练的上下文化嵌入。我们证明了这种方法的有效性zero-shot跨语言迁移分析。实验表明，我们的嵌入大大优于以前的国家的最先进的使用静态嵌入。我们进一步将我们的方法与XLM（Lample和Conneau，2019）进行了比较，XLM是最近提出的一种使用大量并行数据训练的跨语言语言模型，并取得了极具竞争力的结果。
2019-09-15 cs.CL
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex；Facebook AI；Johns Hopkins University（约翰斯·霍普金斯大学）
跨语言命名实体词典是多语言NLP任务（如机器翻译和跨语言维基化）的重要资源。虽然知识库包含大量高资源语言（如英语和法语）的实体，但低资源语言的相应实体往往缺失。为了解决这个问题，我们提出了词汇-语义-语音对齐（LSP-Align），一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线，并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布，作为NLP社区的资源。
2021-09-10 cs.CL
Learning Cross-Lingual Sentence Representations via a Multi-task Dual-Encoder Model
Google AI（谷歌人工智能）
多语言神经语言建模的一个重要障碍是缺乏标记的非英语数据。克服这个问题的一个潜在方法是学习跨语言文本表示，可以用来将英语任务训练的性能转移到非英语任务，尽管很少或没有特定于任务的非英语数据。在本文中，我们探索了一种用于学习跨语言句子表示的自然设置：双编码器。我们提供了一个全面的评估，我们的跨语言表示的单语，跨语言，和zero-shot/少样本学习任务，并给出了不同的学习跨语言嵌入空间的分析。
2019-08-01 cs.CL
A cost-benefit analysis of cross-lingual transfer methods
University of Campinas（坎皮纳斯大学）；NeuralMind；University of Waterloo（滑铁卢大学）
跨语言迁移的一种有效方法是在一种语言的监督数据集上微调双语或多语言模型，并以zero-shot方式在另一种语言上对其进行评估。在训练时或推理时翻译示例也是可行的替代方案。然而，这些方法的成本在文献中很少涉及。在这项工作中，我们分析了跨语言方法的有效性（例如，准确性）、开发和部署成本以及它们在推断时的延迟。我们对三个任务的实验表明，最好的跨语言方法是高度依赖于任务。最后，通过结合zero-shot和翻译方法，我们在本工作中使用的三个数据集中的两个中实现了最先进的。基于这些结果，我们质疑是否需要手动标记目标语言的训练数据。代码和翻译后的数据集可在https://github.com/unicamp-dl/cross-lingual-analysis上获取
2021-12-14 cs.CL cs.IR cs.LG
English Contrastive Learning Can Learn Universal Cross-lingual Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
通用跨语言句子嵌入将语义相似的跨语言句子映射到共享的嵌入空间中。对齐跨语言句子嵌入通常需要监督的跨语言平行句子。在这项工作中，我们提出了mSimCSE，它扩展SimCSE到多语言设置，并揭示了英语数据的对比学习可以令人惊讶地学习高质量的通用跨语言句子嵌入，而无需任何并行数据。在无监督和弱监督的设置，mSimCSE显着改善了以前的跨语言检索和多语言STS任务的句子嵌入方法。在检索低资源语言和多语言STS方面，无监督mSimCSE的性能与完全监督方法相当。当跨语言NLI数据可用时，性能可以进一步增强。我们的代码可在https://github.com/yaushian/mSimCSE上公开获取。
2022-11-11 cs.AI cs.CL
Adversarial Neural Networks for Cross-lingual Sequence Tagging
University of Stuttgart（斯图加特大学）；Google AI（谷歌人工智能）
我们研究跨语言序列标记很少或没有标记的数据在目标语言。对抗性训练以前已经被证明是有效的训练跨语言句子分类器。然而，目前尚不清楚由对抗性语言机器人强制执行的语言不可知表示是否也能够有效地转移标记级预测任务。因此，我们在两个任务上进行了不同类型的对抗训练：依存句法分析和句子压缩。我们表明，与传统训练的基线相比，对抗性训练始终会提高每个任务的跨语言性能。
2018-08-14 cs.CL
XLM-E: Cross-lingual Language Model Pre-training via ELECTRA
Microsoft Corporation（微软公司）；Beijing Institute of Technology（北京理工大学）
在本文中，我们引入ELECTRA风格的任务，跨语言的语言模型预训练。具体来说，我们提出了两个预训练任务，即多语言替换标记检测和翻译替换标记检测。此外，我们预训练模型，命名为XLM-E，在多语言和平行语料库。我们的模型在各种跨语言理解任务上的性能优于基线模型，并且计算成本更低。此外，分析表明，XLM-E倾向于获得更好的跨语言迁移。
2022-04-19 cs.CL
Improving Neural Cross-Lingual Summarization via Employing Optimal Transport Distance for Knowledge Distillation
VinAI Research（VinAI 研究院）；Nanyang Technological University（南洋理工大学）
当前最先进的跨语言摘要模型采用多任务学习范式，其工作在共享的词汇模块上，并依赖于自我注意力机制来参与两种语言中的标记。然而，通过自我注意学习的相关性往往是松散和隐含的，在捕捉关键的跨语言表征语言之间的效率低下。当在具有单独的形态或结构特征的语言上执行时，这一问题变得更加复杂，使得跨语言对齐更具挑战性，从而导致性能下降。为了克服这个问题，我们提出了一种新的基于知识蒸馏的跨语言摘要框架，寻求明确构建跨语言的相关性，通过蒸馏的单语总结教师的知识到跨语言的总结学生。由于教师和学生的表示位于两个不同的向量空间，我们进一步提出了一个知识蒸馏损失使用Sinkhorn发散，最优运输距离，以估计这些教师和学生表示之间的差异。由于Sinkhorn Divergence的直观几何性质，学生模型可以有效地学习将其产生的跨语言隐藏状态与单语言隐藏状态对齐，从而导致遥远语言之间的强相关性。在两种远距离语言的跨语言摘要数据集上的实验表明，我们的方法在高和低资源设置下的性能都优于最先进的模型。
2021-12-07 cs.CL
Linear Transformations for Cross-lingual Sentiment Analysis
University of West Bohemia（西波西米亚大学）；NTIS – New Technologies for the Information Society（NTIS——信息社会新技术研究院）
本文研究了捷克语、英语和法语的跨语言情感分析。我们使用五个线性变换与基于LSTM和CNN的分类器相结合来执行zero-shot跨语言分类。我们比较了各个转换的性能，此外，我们面对现有的最先进的BERT类模型的转换为基础的方法。我们表明，来自目标域的预训练嵌入对于改善跨语言分类结果至关重要，这与单语分类不同，单语分类的效果并不那么明显。
2022-09-15 cs.CL
Task-Specific Pre-Training and Cross Lingual Transfer for Code-Switched Data
Carnegie Mellon University（卡内基梅隆大学）
使用特定于任务的预训练和利用跨语言迁移是处理代码转换数据的两种最流行的方法。在本文中，我们的目的是比较两者的情感分析任务的影响。我们使用两种达罗毗荼语代码交换语言-泰米尔语-英语和马拉雅拉姆语-英语和四种不同的基于BERT的模型。我们比较了特定于任务的预训练和跨语言迁移的效果，发现与利用多语言BERT模型的跨语言迁移所实现的性能相比，特定于任务的预训练具有更好的zero-shot和监督性能。
2021-02-24 cs.CL
Cross-Lingual Phrase Retrieval
Beijing Institute of Technology（北京理工大学）；Huazhong University of Science and Technology（华中科技大学）
跨语言检索的目的是跨语言检索相关文本。目前的方法通常通过学习单词或句子级别的语言无关的文本表示来实现跨语言检索。然而，如何学习跨语言短语检索的短语表示仍然是一个悬而未决的问题。在本文中，我们提出了XPR，一个跨语言的短语检索器，提取短语表示从未标记的例句。此外，我们创建了一个大规模的跨语言短语检索数据集，其中包含65K双语短语对和4.2M例句在8个英语为中心的语言对。实验结果表明，XPR优于使用单词级或短语级表示的最先进的基线。XPR还显示出令人印象深刻的zero-shot可移植性，使模型能够在训练期间以看不见的语言对进行检索。我们的数据集、代码和训练模型可在www.github.com/cwszz/XPR/上公开获取。
2022-04-19 cs.CL
Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders
University of Göttingen（哥廷根大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Saarland University（萨尔大学）
研究发现跨语言对齐与下游任务目标存在正交性，导致对齐效果因语言和任务类型而异，提出结合对齐与任务微调的实用指南。
2026-09-28 cs.CL
Data-Efficient Cross-Lingual Transfer with Language-Specific Subnetworks
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）
大型多语言语言模型通常在所有语言之间共享其参数，这使得跨语言任务转移成为可能，但当来自不同语言的训练更新发生冲突时，学习也会受到阻碍。在本文中，我们提出了新的方法，使用特定语言的子网络，控制跨语言的参数共享，以减少冲突，增加微调过程中的正迁移。我们引入动态子网络，这是共同更新的模型，我们结合我们的方法与元学习，一个既定的，但互补的，技术，以提高跨语言迁移。最后，我们对我们的每种方法如何影响模型进行了广泛的分析。
2022-10-31 cs.CL
Improving Cross-Lingual Word Embeddings by Meeting in the Middle
Universidade de Vigo（维戈大学）；Cardiff University（卡迪夫大学）
跨语言词嵌入在多语言NLP中变得越来越重要。最近，已经表明，这些嵌入可以通过线性变换对齐两个不相交的单语向量空间来有效地学习，使用不超过一个小的双语词典作为监督。在这项工作中，我们建议在初始对齐步骤之后应用额外的转换，该转换将跨语言同义词移向它们之间的中间点。通过应用这种转换，我们的目标是获得更好的向量空间的跨语言整合。此外，也许令人惊讶的是，单语空间也通过这种转换得到改善。这与原始对齐形成对比，原始对齐通常被学习为使得单语空间的结构被保留。我们的实验证实，由此产生的跨语言嵌入优于国家的最先进的模型在单语和跨语言的评估任务。
2018-08-27 cs.CL
Models and Datasets for Cross-Lingual Summarisation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition and Computation（语言、认知与计算研究所）
我们提供了一个跨语言摘要语料库，其中包含与目标语言的多句摘要相关联的源语言长文档。该语料库涵盖了四种欧洲语言的十二种语言对和方向，即捷克语，英语，法语和德语，其创建方法可以应用于其他几种语言。我们从维基百科中获得跨语言的文档摘要实例，通过将引导段落和来自语言对齐的维基百科标题的文章主体相结合。我们分析了建议的跨语言摘要任务与自动指标，并验证它与人类的研究。为了说明我们的数据集的实用性，我们报告了在监督，零和Few-Shot以及域外场景中使用多语言预训练模型的实验。
2022-02-19 cs.CL
A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
最近，多语言BERT在跨语言迁移任务上表现得非常好，优于静态非上下文词嵌入。在这项工作中，我们提供了一个深入的实验研究，以补充现有的跨语言能力的文献。我们用相同的数据比较了非语境化和语境化表示模型的跨语言能力。我们发现数据大小和上下文窗口大小是影响可移植性的关键因素。我们还观察到语言特定的信息在多语言BERT。通过对潜在表征的操作，可以控制多语言BERT的输出语言，实现无监督的令牌翻译。我们进一步表明，基于观察，有一个计算成本低，但有效的方法来提高跨语言能力的多语种BERT。
2020-04-20 cs.CL
Probing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders
University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）；University of Edinburgh（爱丁堡大学）
预训练的多语言语言模型（LM）可以成功地转换成多语言句子编码器（SE;例如，LaBSE、xMPNet）通过额外的微调或并行数据的模型蒸馏。然而，仍然不清楚如何最好地利用它们来表示子句子词汇项（即，词和短语）的跨语言词汇任务。在这项工作中，我们探测SE存储在其参数的跨语言词汇知识的量，并将它们与原来的多语言LM。我们还设计了一个简单而有效的方法，通过额外的微调，通过廉价的对比学习，只需要少量的单词翻译对暴露跨语言的词汇知识。使用双语词汇归纳（BLI），跨语言词汇语义相似性和跨语言实体链接作为词汇探测任务，我们报告了标准基准（例如，+10精度@1点BLI）。实验结果表明，像LaBSE这样的语义元可以通过对比学习过程“重新连接”成有效的跨语言词汇编码器，并且当它们被用作现成的语义元时，它们所包含的跨语言词汇知识比“看上去”的要多。这样，我们也提供了一个有效的工具，利用隐藏在多语言句子编码器的“隐蔽”多语言词汇知识。
2022-10-13 cs.CL
Cross-Lingual Low-Resource Set-to-Description Retrieval for Global E-Commerce
Peking University（北京大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Indiana University（印第安纳大学）
随着跨境电子商业的蓬勃发展，迫切需要设计智能化的方法来帮助电子商业卖家为来自世界各地的消费者提供当地产品。本文探讨了跨语言信息检索的一个新任务，即，跨境电子商业中的跨语言集合到描述检索，其涉及将源语言中的产品属性集合与目标语言中的有说服力的产品描述进行匹配。我们手动收集一个新的和高质量的配对数据集，其中每对包含一个无序的产品属性集的源语言和信息丰富的产品描述的目标语言。由于数据集构建过程既耗时又昂贵，新数据集仅包含13.5k对，这是一个低资源设置，可以被视为跨境电子商业模型开发和评估的具有挑战性的测试平台。为了解决这种跨语言集到描述检索任务，我们提出了一种新的跨语言匹配网络（CLMN）与增强的上下文相关的跨语言映射的预训练单语BERT表示。实验结果表明，我们提出的CLMN在具有挑战性的任务上产生了令人印象深刻的结果，并且与预训练的多语言BERT模型相比，BERT上的上下文相关的跨语言映射产生了显着的改进。
2020-05-17 cs.CL
Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning?
University of Helsinki（赫尔辛基大学）；Universite Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文研究了将机器翻译作为持续训练目标以桥接多语言预训练与跨语言应用的潜力，发现显式句子级对齐不仅未能增强跨语言表征学习，反而因输出可分性对跨语言迁移预训练产生有害影响。
2024-03-25 cs.CL
mOthello: When Do Cross-Lingual Representation Alignment and Cross-Lingual Transfer Emerge in Multilingual Models?
Brown University（布朗大学）
本研究提出合成任务mOthello，探究多语言模型中跨语言表示对齐与迁移的条件，发现锚定标记有助于对齐但语言无关表示不足，进而提出统一输出空间的多语言预训练方法以促进跨语言迁移。
2024-04-18 cs.AI cs.CL
Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification
Beijing Institute of Technology（北京理工大学）
提出IGap指标，用于测量多语言Transformer在句子分类上的跨语言迁移能力，实验证明其优于基线，并揭示三个相关发现。
2023-05-15 cs.CL
Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
多语言预训练的语言模型，如mBERT和XLM-R，已经显示出令人印象深刻的跨语言能力。令人惊讶的是，他们都使用多语言掩码语言模型（MLM），没有任何跨语言的监督或对齐的数据。尽管取得了令人鼓舞的成果，但我们仍然缺乏对跨语言能力为什么会从多语言传销中出现的清晰理解。在我们的工作中，我们认为，跨语言能力来自语言之间的共性。具体而言，我们研究了三个语言属性：词序，成分和词的共现。首先，我们通过修改源语言中的属性来创建人工语言。然后通过对跨语言迁移结果的改变来研究修饰属性对目标语言的贡献。我们对六种语言和两个跨语言NLP任务（文本蕴涵，句子检索）进行了实验。我们的主要结论是，语序和词同现的贡献是有限的，而成分对跨语言迁移的成功更为关键。
2022-03-16 cs.CL
VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation
Alibaba Group（阿里巴巴集团）
多语言预训练的现有工作已经通过训练用于多种语言的统一的Transformer编码器展示了跨语言可移植性的潜力。然而，大部分的这项工作只依赖于共享的词汇和双语上下文，以鼓励跨语言的相关性，这是松散和隐含的对齐语言之间的上下文表示。在本文中，我们将交叉注意模块插入到Transformer编码器中，以显式地构建语言之间的相互依赖性。该方法能有效地避免仅根据本族语语境预测屏蔽词的退化。更重要的是，当对下游任务进行微调时，交叉注意模块可以按需插入或退出，从而自然有利于更广泛的跨语言任务，从语言理解到生成。因此，所提出的跨语言模型提供了新的国家的最先进的结果，各种跨语言的理解任务的XTREME基准，包括文本分类，序列标记，问答，句子检索。对于跨语言生成任务，它在WMT 14英语到德语和英语到法语翻译数据集上的性能也优于所有现有的跨语言模型和最先进的Transformer变体，增益高达1~2 BLEU。
2021-06-02 cs.CL
Automatic Data Retrieval for Cross Lingual Summarization
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务研究院）
本研究提出利用文本与视频新闻配对来自动获取跨语言摘要数据，实现英语到印地语的摘要，并构建基线进行错误分析。
2023-12-22 cs.CL
Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）
跨语言词嵌入（CLWE）已被证明是有用的，在许多跨语言的任务。然而，大多数现有的学习CLWE的方法，包括那些与上下文嵌入是意义不可知的。在这项工作中，我们提出了一个新的框架，对齐上下文嵌入的意义上的水平，利用跨语言的信号，从双语词典。我们首先提出了一种新的感知交叉熵损失模型明确的词义操作我们的框架。用我们的感知交叉熵损失预训练的单语ELMo和BERT模型在词义消歧任务中表现出显着的性能改善。然后，我们在感知交叉熵损失的基础上提出了一个感知对齐目标，用于跨语言模型预训练，并为几种语言对（英语到德语/西班牙语/日语/中文）预训练跨语言模型。与最佳基线结果相比，我们的跨语言模型在zero-shot跨语言NER、情感分类和XNLI任务上的平均性能分别提高了0.52%、2.09%和1.29%。
2022-09-15 cs.AI cs.CL
Limitations of Cross-Lingual Learning from Image Search
University of Copenhagen（哥本哈根大学）
跨语言表示学习是使NLP扩展到世界上所有语言的重要一步。最近的双语词典归纳工作表明，它是可以学习跨语言表示的单词的基础上与这些单词相关的图像之间的相似性。然而，这项工作只集中在翻译选定的名词。在我们的工作中，我们调查了其他词性的意义，特别是形容词和动词，是否可以以同样的方式学习。我们还尝试将从视觉数据中学习到的表示与从文本数据中学习到的嵌入相结合。我们在五个语言对的实验表明，以前的工作并不能扩展到学习简单名词以外的跨语言表示的问题。
2017-09-18 cs.CL
Enhancing Cross-lingual Transfer by Manifold Mixup
ByteDance（字节跳动）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
基于大规模预训练的多语言表示，最近的跨语言迁移方法已经取得了令人印象深刻的迁移性能。然而，目标语言的性能仍然远远落后于源语言。在本文中，我们的分析表明，这种性能差距是强烈相关的跨语言表示的差异。为了获得更好的跨语言迁移性能，提出了跨语言流形混合（X-Mixup）方法，该方法自适应地校正表示差异，为目标语言提供折衷的表示。在XTREME基准测试上的实验表明，与强基线相比，X-Mixup在多个文本理解任务上实现了1.8%的性能提升，并显着降低了跨语言表示差异。
2022-05-09 cs.AI cs.CL
Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings
HiTZ Basque Center for Language Technologies（HiTZ巴斯克语言技术中心）；University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）
本文对比零资源跨语言序列标注的数据迁移与模型迁移，发现零样本高容量多语言语言模型整体优于翻译与标注投影，但后者在缺乏此类模型时仍具竞争力。
2023-04-27 cs.CL
Cross-Lingual Dependency Parsing Using Code-Mixed TreeBank
Tianjin University（天津大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Soochow University（苏州大学）
树库翻译是一种很有前途的句法依存知识的跨语言迁移方法。其基本思想是根据词对齐将依赖弧从源树库映射到目标译文。然而，这种方法可能会受到源和目标词之间的不完美对齐的影响。为了解决这个问题，我们调查语法转换代码混合，翻译源树库中的自信的话。利用跨语言的词嵌入将句法知识从所得的代码混合树库传递到目标。在大学依存树库上的实验表明，混合代码树库比翻译树库更有效，在跨语言句法分析方法中具有很强的竞争力。
2019-09-05 cs.CL
Cross-Lingual Sentiment Analysis Without (Good) Translation
University of Toronto（多伦多大学）
目前的跨语言情感分析方法试图利用双语词典、双语向量空间嵌入或机器翻译系统来利用大量的标记英语数据。在这里，我们表明，它是可以使用一个单一的线性变换，少至2000字对，捕捉细粒度的情感关系，在跨语言设置的话。我们将这些跨语言情感模型应用到一组不同的任务中，以证明它们在非英语环境中的功能。通过有效地利用英语情感知识，而不需要准确的翻译，我们可以以非常低的成本从其他语言中分析和提取具有稀缺数据的特征，从而使许多语言的情感和相关分析变得廉价。
2017-10-24 cs.CL
