Beyond the English Web: Zero-Shot Cross-Lingual and Lightweight Monolingual Classification of Registers
University of Turku（图尔库大学）；University of Oulu（奥卢大学）；Northern Arizona University（北亚利桑那大学）
我们探讨了网络文档的语域分类的跨语言迁移。语域，即博客或新闻等文本变体，是语言变异的主要预测因子之一，因此影响语言的自动处理。我们介绍了两个新的注册标注语料库，FreCORE和SweCORE，法语和瑞典语。我们证明了深度预训练的语言模型在这些语言中表现强劲，并且在英语和芬兰语中表现优于以前的最先进水平。具体来说，我们表明：1）从大型英语CORE语料库的zero-shot跨语言迁移可以匹配或超过以前发表的单语模型，以及2）需要很少训练数据的轻量级单语分类可以达到或超过我们的zero-shot性能。我们进一步分析分类结果发现，某些寄存器继续构成挑战，特别是跨语言迁移。
2021-02-15 cs.CL
Cross-lingual Universal Dependency Parsing Only from One Monolingual Treebank
Shanghai Jiao Tong University（上海交通大学）
句法分析是一个高度语言处理的任务，其分析器需要从昂贵的人工注释中训练树库。由于不太可能为每种人类语言获得树库，因此在这项工作中，我们提出了一个有效的跨语言UD解析框架，用于将解析器从一个源单语树库转移到任何其他目标语言，而无需树库。为了在不同的语言之间达到满意的分析精度，我们将两个语言建模任务作为多任务引入到依存句法分析中。假设只有来自目标语言的未标记数据和源树库可以一起利用，我们采用了一种自我训练策略，以进一步提高我们的多任务框架的性能。我们提出的跨语言解析器实现英语，中文，和22 UD树库。实证研究表明，我们的跨语言分析器产生的所有目标语言，第一次有希望的结果，接近分析器的性能，这是在自己的目标树库训练。
2021-04-23 cs.CL
X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Adobe Research（Adobe研究院）
多语言模型，如M-BERT和XLM-R，由于其zero-shot跨语言迁移学习能力而越来越受欢迎。然而，他们的泛化能力仍然是不一致的类型多样的语言和不同的基准。最近，元学习作为一种在低资源情况下增强迁移学习的有前途的技术引起了人们的关注：特别是对于自然语言理解（NLU）中的跨语言迁移。在这项工作中，我们提出了X-METRA-ADA，一个跨语言的MEta-迁移学习自适应方法的NLU。我们的方法适应MAML，一种基于优化的元学习方法，学习适应新的语言。我们广泛评估我们的框架上两个具有挑战性的跨语言NLU任务：多语言任务导向的对话和类型多样的问答。我们表明，我们的方法优于天真的微调，达到竞争力的性能在大多数语言的任务。我们的分析表明，X-METRA-ADA可以利用有限的数据进行更快的适应。
2021-06-01 cs.CL
BERT for Monolingual and Cross-Lingual Reverse Dictionary
Fudan University（复旦大学）
逆向词典是在给定单词描述的情况下找到合适的目标单词的任务。在本文中，我们试图将BERT纳入到这个任务。然而，由于BERT基于字节对编码（BPE）子字编码，因此使BERT生成给定描述的字是不平凡的。我们提出了一个简单而有效的方法，使BERT产生的目标词为这个特定的任务。此外，跨语言反向词典的任务是找到正确的目标词描述的另一种语言。以前的模型必须保持两个不同的词嵌入，并学习对齐这些嵌入。然而，通过使用多语言BERT（mBERT），我们可以有效地进行跨语言的反向字典与一个子词嵌入，和语言之间的对齐是不必要的。更重要的是，mBERT在没有平行语料库的情况下也能实现出色的跨语言逆向词典性能，即只需要对应的单语数据就可以进行跨语言逆向词典。代码可在https://github.com/yhcc/BertForRD.git上公开获取。
2020-09-30 cs.CL
Unsupervised Cross-Lingual Information Retrieval using Monolingual Data Only
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
我们提出了一个完全无监督的框架ad-hoc跨语言信息检索（CLIR），不需要双语数据。该框架利用共享的跨语言词嵌入空间，在该空间中，可以表示术语、查询和文档，而不管它们的实际语言。共享的嵌入空间是通过基于对抗神经网络的迭代过程，仅基于两种语言的单语语料库而导出的。我们的实验上的标准CLEF CLIR集合的三种语言对不同程度的语言相似性（英语，荷兰语/意大利语/芬兰语）证明了所提出的完全无监督的方法的实用性。我们的无监督跨语言嵌入的CLIR模型优于使用依赖于单词级和文档级对齐的跨语言嵌入的基线。然后，我们证明了进一步的改进，可以实现无监督集成CLIR模型。我们相信，建议的框架是第一步，发展有效的语言对和域的并行数据是稀缺或不存在的CLIR模型。
2018-05-02 cs.CL
On the cross-lingual transferability of multilingual prototypical models across NLU tasks
QWANT（QWANT公司）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
基于监督式深度学习的方法已被应用于面向任务的对话，并且已被证明在足够数量的训练样本可用时对于有限的领域和语言应用是有效的。在实践中，这些方法受到领域驱动设计和资源不足的语言的缺点。领域和语言模型应该随着问题空间的发展而增长和变化。一方面，对迁移学习的研究已经证明了基于多语言转换器的模型学习语义丰富的表示的跨语言能力。另一方面，除了上述方法之外，元学习还使得能够开发出具有广泛泛化能力的任务和语言学习算法。通过这一背景下，本文提出了研究协同使用少样本学习与原型神经网络和基于多语言转换器的模型的跨语言可移植性。在MultiATIS++语料库上进行的自然语言理解实验表明，该方法显著提高了低资源语言和高资源语言之间的迁移学习性能。更一般地说，我们的方法证实了在给定语言中学习到的有意义的潜在空间可以通过元学习推广到看不见的和资源不足的空间。
2022-07-19 cs.CL
A Common Semantic Space for Monolingual and Cross-Lingual Meta-Embeddings
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（HiTZ中心-Ixa，巴斯克大学UPV/EHU）
本文提出了一种新的技术，用于创建单语和跨语言的元嵌入。我们的方法集成了多个词嵌入创建的互补技术，文本源，知识库和语言。现有的词向量投影到一个共同的语义空间使用线性变换和平均。使用我们的方法，得到的元嵌入保持原始嵌入的维数，而不会丢失信息，同时处理词汇表外的问题。一个广泛的实证评估证明了我们的技术的有效性，相对于以前的工作，各种内在和外在的多语言评价，获得竞争力的结果语义文本相似性和国家的最先进的性能字的相似性和POS标记（英语和西班牙语）。由此产生的跨语言元嵌入也表现出出色的跨语言迁移学习能力。换句话说，我们可以利用来自资源丰富语言的预训练源嵌入，以改善资源不足语言的单词表示。
2021-09-08 cs.CL
Improving Cross-Lingual Word Embeddings by Meeting in the Middle
Universidade de Vigo（维戈大学）；Cardiff University（卡迪夫大学）
跨语言词嵌入在多语言NLP中变得越来越重要。最近，已经表明，这些嵌入可以通过线性变换对齐两个不相交的单语向量空间来有效地学习，使用不超过一个小的双语词典作为监督。在这项工作中，我们建议在初始对齐步骤之后应用额外的转换，该转换将跨语言同义词移向它们之间的中间点。通过应用这种转换，我们的目标是获得更好的向量空间的跨语言整合。此外，也许令人惊讶的是，单语空间也通过这种转换得到改善。这与原始对齐形成对比，原始对齐通常被学习为使得单语空间的结构被保留。我们的实验证实，由此产生的跨语言嵌入优于国家的最先进的模型在单语和跨语言的评估任务。
2018-08-27 cs.CL
Cross-Lingual Alignment Without Joint Training: Do Monolingual Language Models Converge on Universal Representations?
University of Cambridge（剑桥大学）；EleutherAI
该研究发现无联合训练时，单语言模型可通过语言结构和信息承载形成跨语言对齐，提出用Procrustes旋转映射模型隐藏状态，为模块化多语言系统构建提供方向。
2026-08-28 cs.CL
Meemi: A Simple Method for Post-processing and Integrating Cross-lingual Word Embeddings
Universidade de Vigo（维戈大学）；Cardiff University（卡迪夫大学）
词嵌入已经成为任何自然语言处理从业者工具集中的标准资源。单语词嵌入在特定语言的上下文中编码关于词的信息，而跨语言嵌入定义了多语言空间，其中来自两种或更多种语言的词嵌入被集成在一起。当前最先进的方法通过保持单语对应物的结构的正交变换对齐两个不相交的单语向量空间来学习这些嵌入。在这项工作中，我们建议在这个初始对齐步骤之后应用额外的变换，其目的是使给定单词及其翻译的矢量表示更接近它们的平均值。由于这种额外的变换是非正交的，它也会影响单语空间的结构。我们表明，我们的方法既提高了单语空间的整合，也提高了单语空间本身的质量。此外，由于我们的转换可以应用于任意数量的语言，我们能够有效地获得一个真正的多语言空间。由此产生的（单语和多语言）的空间显示一致的收益超过目前国家的最先进的标准内在的任务，即字典归纳和单词相似性，以及在外在的任务，如跨语言的上位词发现和跨语言的自然语言推理。
2020-11-11 cs.CL
Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent（赛博代理）
针对非英语单语语义文本相似度性能落后的问题，对比跨语言迁移与机器翻译两种数据增强技术，发现二者性能相当，且维基百科领域数据优于NLI领域数据，结合后可提升单语STS性能。
2024-03-08 cs.CL
Modular Sentence Encoders: Separating Language Specialization from Cross-Lingual Alignment
Ubiquitous Knowledge Processing Lab (UKP Lab) Department of Computer Science Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（技术大学达姆施塔特计算机科学系通用知识处理实验室（UKP实验室）和应用网络安全国家研究中心ATHENE德国）；Center for AI and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）
提出模块化句子编码器，通过先训练单语模块再训练跨语言对齐适配器，分离语言特化与跨语言对齐，解决多语言诅咒和任务冲突，实现更优且均衡的性能。
2025-05-30 cs.CL
Linking Tweets with Monolingual and Cross-Lingual News using Transformed Word Embeddings
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
社交媒体平台已经发展成为传播关于传统媒体发布的事件的信息的重要媒介，例如新闻文章。从不同角度讨论同一主题的各种信息来源提供了新的见解。但是，非正式的社交媒体内容（如推文）和精心撰写的内容（如新闻文章）之间的词汇使用差距使得这种组装变得困难。在本文中，我们提出了一个转换框架，利用他们的词嵌入跨越语言的鸣叫和在线新闻文章之间的词使用的差距。使用我们的框架，从推文和新闻文章中提取的词嵌入在不同语言中彼此更接近，从而便于识别新闻文章和推文之间的相似性。实验结果表明，单语推文和新闻文章比较的基线有显着改善，而跨语言比较的新发现。
2017-10-25 cs.CL
Cross-lingual neural fuzzy matching for exploiting target-language monolingual corpora in computer-aided translation
Universitat d’Alacant（阿利坎特大学）
本文提出一种跨语言神经模糊匹配方法，利用目标语单语语料库弥补翻译记忆不足，通过跨语言句子嵌入检索翻译建议并用神经模型估计译后编辑工作量，实验证明其能有效提升CAT工具中翻译建议的数量与实用性。
2024-01-16 cs.CL
Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs
University of Maryland, College Park（马里兰大学帕克分校）
本研究探讨了LLM中跨语言对齐对多语言NLU任务性能的影响，通过引入DALI指数验证了表示对齐在正确性中的关键作用。
2026-01-29 cs.CL
Monolingual and Cross-Lingual Acceptability Judgments with the Italian CoLA corpus
University of Salerno（萨勒诺大学）；ICAR-CNR（意大利国家研究委员会信息与高性能计算研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语言可接受性的自动化方法的发展已经大大促进了英语CoLA语料库的可用性，这也被包括在广泛使用的GLUE基准。然而，这种研究的语言以外的英语，以及跨语言的方法的分析，一直受到阻碍的资源与其他语言的规模相当的缺乏。因此，我们开发了ItaCoLA语料库，其中包含近10，000个具有可接受性判断的句子，它是按照与英语相同的方法和步骤创建的。在本文中，我们描述了语料库的创建，我们详细介绍了它的内容，我们提出了这个新资源的第一个实验。我们比较了域内和域外分类，并对九种语言现象进行了具体的评估。我们还提出了第一个跨语言的实验，旨在评估是否多语言transformerbased方法可以受益于使用两种语言的句子在微调。
2021-09-24 cs.CL
Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval
University of Minnesota（明尼苏达大学）；GE HealthCare（GE医疗）；University of Waterloo（滑铁卢大学）；Vectara（维克塔拉科技公司）
提出混合批次训练策略，同时优化单语、跨语言和多语言零样本检索，减轻语言偏差，并在多个基准上取得优于单一训练的结果。
2024-08-20 cs.CL cs.IR
Learning Cross-lingual Distributed Logical Representations for Semantic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
随着用于语义解析的多语言数据集的发展，最近的研究工作已经研究了在多语言设置中学习语义解析器的问题。然而，如何提高一个特定语言的单语语义分析器的性能，利用不同语言的数据注释仍然是一个研究问题，是未充分探讨。在这项工作中，我们提出了一项研究，以显示如何学习分布式表示的逻辑形式的数据注释在不同的语言可以用于提高单语语义分析器的性能。我们扩展了现有的两个单语语义解析器，将这种跨语言的分布式逻辑表示的功能。实验表明，我们提出的方法是能够产生改进的语义解析结果的标准多语言GeoQuery数据集。
2018-06-14 cs.CL
Improving Retrieval-Augmented Neural Machine Translation with Monolingual Data
SYSTRAN by ChapsVision（ChapsVision 公司）；Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR）
本研究针对传统检索增强神经机器翻译依赖双语语料的局限，提出基于源语言查询检索目标语单语片段的方法，设计结合句级与词级匹配目标的跨语言检索系统，实验证明性能媲美标准TM模型，真实场景下优于基线与通用跨语言检索器。
2025-10-01 cs.CL
Cross-Lingual QA as a Stepping Stone for Monolingual Open QA in Icelandic
Miðeind ehf（米德恩公司）；University of Iceland（冰岛大学）
为英语以外的语言构建有效的开放式问答（开放式QA）系统可能具有挑战性，这主要是由于缺乏用于训练的标记数据。我们提出了一个数据高效的方法来引导这样一个系统的语言以外的英语。我们的方法只需要有限的QA资源，在给定的语言，随着机器翻译的数据，和至少一个双语语言模型。为了评估我们的方法，我们建立了这样一个系统的冰岛语和评估性能的琐事风格的数据集。用于培训的语料库是英语，但机器翻译成冰岛语。我们训练双语冰岛语/英语语言模型，以嵌入英语上下文和冰岛语问题，遵循使用DensePhrases引入的方法（Lee等人，2021年）。由此产生的系统是冰岛语和英语之间的开放域跨语言问答系统。最后，该系统适用于冰岛唯一的开放式QA，展示了如何有效地创建一个开放式QA系统，并限制访问感兴趣语言的策展数据集。
2022-07-05 cs.CL
MonoByte: A Pool of Monolingual Byte-level Language Models
UNICAMP（坎皮纳斯州立大学）；NeuralMind
在多语言甚至单语言语料库上预训练的模型的跨语言能力zero-shot激发了许多假设来解释这个有趣的实证结果。然而，由于预训练的成本，大多数研究使用公共模型，其预训练方法，如标记化的选择，语料库大小和计算预算，可能会有很大的不同。当研究人员对自己的模型进行预训练时，他们通常会在预算有限的情况下进行预训练，因此与SOTA模型相比，最终模型的表现可能会显着落后。这些实验差异导致了各种不一致的结论，这些模型的跨语言能力的性质。为了帮助对该主题的进一步研究，我们发布了10个单语字节级模型，这些模型在相同的配置下进行了严格的预训练，具有较大的计算预算（相当于V100上的420天）和语料库，这些语料库是原始BERT的4倍。由于它们是无标记的，因此消除了不可见标记嵌入的问题，从而允许研究人员在具有不同脚本的语言中尝试更广泛的跨语言实验。此外，我们发布了两个在非自然语言文本上预训练的模型，可用于正常性检查实验。在问答和自然语言学习任务上的实验表明，我们的单语模型与多语言模型相比具有相当的性能，因此可以用来加强我们对语言模型跨语言可移植性的理解。
2022-09-27 cs.CL
Cross-lingual Transfer of Monolingual Models
RISE Research Institutes of Sweden（瑞典RISE研究院）；AI Sweden（瑞典AI）
最近使用多语言模型进行zero-shot跨语言学习的研究已经否定了以前的假设，即共享词汇和联合预训练是跨语言泛化的关键。受此启发，我们提出了一种基于领域自适应的单语模型跨语言迁移方法。我们研究了从四种不同的语言到英语的这种迁移的效果。我们在GLUE上的实验结果表明，迁移模型的性能优于母语英语模型，与源语言无关。通过对迁移前后表征中的英语语言知识的分析，我们发现语义信息在迁移过程中从源语言中保留下来，而句法信息在迁移过程中习得。此外，在源语言任务中对迁移模型的评估结果表明，迁移后它们在源域中的表现恶化。
2022-05-19 cs.CL cs.LG
Cross-lingual Word Analogies using Linear Transformations between Semantic Spaces
NTIS – New Technologies for the Information Society（NTIS——信息社会新技术）；University of West Bohemia（西波希米亚大学）
我们推广了跨语言的词类比任务，为跨语言语义空间提供了一种新的内在评价方法。我们在不同的语系中尝试了六种语言，包括英语，德语，西班牙语，意大利语，捷克语和克罗地亚语。国家的最先进的单语语义空间转换成一个共享的空间使用字典的单词翻译。我们比较了几种线性变换，并将它们与单语（无变换），双语（一个语义空间转换为另一个）和多语言（所有语义空间转换为英语空间）版本的语义空间进行了实验。我们表明，测试的线性变换保持词（词类比）之间的关系，并导致令人印象深刻的结果。单语、双语和多语言语义空间的平均准确率分别为51.1%、43.1%和38.2%。
2018-07-11 cs.CL
Language Anisotropic Cross-Lingual Model Editing
Harbin Institute of Technology（哈尔滨工业大学）
本文定义跨语言模型编辑任务并提出基于平行语料的适配框架和语言各向异性编辑方法，通过放大不同语言对应的参数子集提升编辑跨语言传播效果，实验验证了其有效性。
2023-06-05 cs.CL
Magic dust for cross-lingual adaptation of monolingual wav2vec-2.0
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Le Mans University（勒芒大学）
我们提出了一种简单有效的跨语言迁移学习方法，以适应单语wav 2 vec-2.0模型的自动语音识别（ASR）在资源稀缺的语言。我们表明，单语wav 2 vec-2.0是一个很好的Few-Shot ASR学习者在几种语言。我们通过使用目标语言中中等大小的未标记语音数据集，通过几次迭代的辍学不确定性驱动的自训练（DUST）进一步提高其性能。这项工作的一个关键发现是，适应单语wav 2 vec-2.0实现了类似的性能的顶线多语言XLSR模型，这是在53种语言上训练，在目标语言ASR任务。
2021-10-07 cs.CL cs.SD eess.AS
Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
多语言预训练语言模型（MPLM）不仅可以处理不同语言的任务，而且还表现出令人惊讶的zero-shot跨语言可移植性。然而，与最先进的单语预训练模型相比，MPLM通常无法在资源丰富的语言上实现可比较的监督性能。在本文中，我们的目标是提高多语言模型的监督和zero-shot的性能，同时只有监督语言的资源。我们的方法是基于高性能的单语模型与师生框架的知识转移。我们让多语言模型同时从多个单语言模型中学习。为了利用模型的跨语言可移植性，我们提出了MBLM（多分支多语言语言模型），一个模型建立在MPLM与多语言分支。每个分支都是一堆Transformers。MBLM使用zero-shot感知训练策略进行训练，该策略鼓励模型从来自所有分支的zero-shot表示的混合中学习。两个跨语言分类任务的结果表明，仅使用任务的监督数据，我们的方法提高了监督和zero-shot性能的MPLM。
2022-02-28 cs.CL
RUBERT: A Bilingual Roman Urdu BERT Using Cross Lingual Transfer Learning
NUCES (FAST)（巴基斯坦国家计算机与新兴科学大学（FAST））
在最近的研究中，已经表明，多语言语言模型表现不如单语言模型。众所周知，为每种语言训练和维护单语模型是一个昂贵且耗时的过程。罗马乌尔都语是一种资源匮乏的语言，在社交媒体平台和聊天应用程序上流行。在这项研究中，我们提出了一个新的数据集，其中包含5400万个令牌和300万个句子。此外，我们还提出了RUBERT一个双语罗马乌尔都语模型创建额外的预训练英语BERT。我们将其性能与从头开始训练的单语罗马乌尔都语BERT和通过多语言BERT的额外预训练创建的多语言罗马乌尔都语BERT进行比较。我们通过我们的实验表明，额外的预训练的英语BERT产生最显着的性能改善。
2021-02-22 cs.CL
CLUSE: Cross-Lingual Unsupervised Sense Embeddings
National Taiwan University（国立台湾大学）
本文提出了一种模块化的意义归纳和表示学习模型，该模型利用英汉平行语料库中的跨语言信号来获取语言对中的搭配和分布特征，联合学习向量空间中匹配良好的双语意义嵌入。该模型在斯坦福大学上下文单词相似度（SCWS）数据集上进行评估，以确保单语意义嵌入的质量。此外，我们还引入了双语上下文单词相似度（BCWS），这是一个用于评估跨语言意义嵌入的大型高质量数据集，这是衡量学习的嵌入是否在向量空间中确实对齐的第一次尝试。所提出的方法显示了优越的质量的意义嵌入评估单语和双语空间。
2018-10-21 cs.CL
Coarse-grained Cross-lingual Alignment of Comparable Texts with Topic Models and Encyclopedic Knowledge
FBK（布鲁诺·凯斯勒基金会）；HITS gGmbH（海德堡理论研究所）
我们提出了一种粗粒度的跨语言对齐可比文本的方法：段组成的连续段落，讨论相同的主题（如历史，经济）的基础上诱导的多语言主题对齐。该方法结合了三个想法：一个两级LDA模型，过滤掉不传达主题的单词，一个HMM模型的主题在文档集合中的排序，以及独立于语言的概念注释，作为跨语言的桥梁，并通过概念关系加强同一段中段落之间的联系。该方法进行评估，以前用于单语对齐的英语和法语数据。结果表明，国家的最先进的性能在单语和跨语言设置。
2014-11-28 cs.CL
Mixed-Lingual Pre-training for Cross-lingual Summarization
Microsoft Cognitive Services Research Group（微软认知服务研究组）
跨语言摘要（CLS）的目的是为源语言的文章生成目标语言的摘要。传统的解决方案采用两步走的方法，即翻译然后总结或总结然后翻译。最近，端到端模型取得了更好的结果，但这些方法大多受到其对大规模标记数据的依赖的限制。我们提出了一种基于混合语言预训练的解决方案，该解决方案利用了跨语言任务（如翻译）和单语言任务（如掩蔽语言模型）。因此，我们的模型可以利用大量的单语数据来增强其语言建模。此外，该架构没有特定于任务的组件，这节省了内存并提高了优化效率。实验结果表明，该预训练方案可以有效地提高跨语言摘要的性能。在神经跨语言摘要（NCLS）数据集中，我们的模型比最先进的结果提高了2.82（英语到中文）和1.15（中文到英语）ROUGE-1分数。
2020-10-18 cs.CL
Zero-shot Cross-lingual Transfer is Under-specified Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）
预训练的多语言编码器能够实现zero-shot跨语言迁移，但通常会产生不可靠的模型，这些模型在目标语言上表现出高性能差异。我们假设这种高方差是由于zero-shot跨语言迁移解决了一个未指定的优化问题。我们发现，任何线性插值模型之间的源语言单语模型和源+目标双语模型具有同样低的源语言泛化误差，但目标语言泛化误差减少平滑和线性，因为我们从单语双语模型，这表明该模型的斗争，以确定良好的解决方案，为源和目标语言单独使用源语言。此外，我们还发现zero-shot解位于目标语言错误泛化曲面的非平坦区域，导致了高方差。
2022-07-12 cs.CL
Concatenated Power Mean Word Embeddings as Universal Cross-Lingual Sentence Representations
Technische Universität Darmstadt（达姆施塔特工业大学）
平均词嵌入是更复杂的句子嵌入技术的共同基线。然而，它们通常无法达到更复杂的模型（如InferSent）的性能。在这里，我们将平均词嵌入的概念推广到幂平均词嵌入。我们表明，不同类型的功率平均词嵌入的串联大大缩小了差距，以国家的最先进的方法单语言和大大优于这些更复杂的技术跨语言。此外，我们提出的方法优于不同的最近提出的基线，如SIF和Sent2Vec的坚实的保证金，从而构成了一个更难击败单语基线。我们的数据和代码是公开的。
2018-09-12 cs.CL
On the ability of monolingual models to learn language-agnostic representations
University of Campinas（坎皮纳斯州立大学）；NeuralMind Inteligência Artificial（NeuralMind 人工智能）；University of Waterloo（滑铁卢大学）
预训练的多语言模型已经成为zero-shot跨语言迁移的事实上的默认方法。以前的工作表明，这些模型在使用共享参数对两种或多种语言进行预训练时，能够实现跨语言表示。在这项工作中，我们提供的证据表明，即使在单一语言上进行预训练，模型也可以实现与语言无关的表示。也就是说，我们发现，与使用相同目标语言的模型相比，在不同语言上预训练和微调的单语模型具有竞争力的性能。令人惊讶的是，无论预训练语言如何，模型在相同任务上表现出相似的性能。例如，在远距离语言（如德语和葡萄牙语）上预训练的模型在英语任务上的表现类似。
2021-10-25 cs.CL
Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models
Salesforce AI Research（赛富时人工智能研究院）
预训练的多语言模型在广泛的自然语言理解（NLU）任务上显示出zero-shot跨语言模型传输的显着性能增益。此前，对于zero-shot跨语言评估，预先训练的模型仅在英语数据上进行微调，并在多种目标语言上进行测试。在本文中，我们做了跨语言的评价各种自然语言理解任务（句子分类，序列标记，问答）使用提示微调，并比较它与微调。结果表明，提示微调实现了更好的跨语言迁移比微调跨数据集，只有0.1%至0.3%的调整参数。此外，我们通过分析表明，提示微调可以有更好的跨语言的下游任务的表示更好地对齐决策边界的可转移性。
2022-12-13 cs.AI cs.CL
The Secret is in the Spectra: Predicting Cross-lingual Task Performance with Spectral Similarity Measures
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；Faculty of Industrial Engineering and Management, Technion, IIT（以色列理工学院工业工程与管理学院）
跨语言NLP任务的性能受到手头语言的（不）相似性的影响：例如，先前的工作表明，双语词典归纳（BLI）的预期成功与单语嵌入空间之间的（近似）同构假设之间存在联系。在这项工作中，我们提出了一个大规模的研究集中在单语嵌入空间相似性和任务性能之间的相关性，涵盖数千个语言对和四个不同的任务：BLI，解析，词性标注和MT。我们假设每个单语嵌入空间的频谱的统计数据表明它们可以对齐。然后，我们介绍了两个嵌入空间之间的同构措施，基于各自的频谱的相关统计。我们的经验表明，1）从这种频谱同构措施中获得的语言相似性分数与不同跨语言任务中观察到的表现密切相关，2）我们的基于频谱的措施始终优于以前的标准同构措施，同时在计算上更易于处理，更容易解释。最后，我们的措施捕捉互补信息，以类型驱动的语言距离的措施，并从两个家庭的措施相结合，产生更高的任务绩效的相关性。
2020-10-12 cs.CL
Unsupervised Cross-Lingual Part-of-Speech Tagging with Monolingual Corpora Only
School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语言学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出了一种仅使用单语语料的无监督跨语言词性标注框架，通过无监督神经机器翻译构建伪平行句子对，并利用多源投影技术提升词性标注性能。
2026-02-10 cs.CL
On the Cross-lingual Transferability of Monolingual Representations
HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学 HiTZ 中心）；DeepMind
最先进的无监督多语言模型（例如，多语言BERT）已被证明在zero-shot跨语言设置中泛化。这种泛化能力归因于使用共享的子词词汇表和跨多种语言的联合训练，从而产生深层的多语言抽象。我们通过设计一种替代方法来评估这一假设，该方法将单语模型转移到词汇水平的新语言。更具体地说，我们首先在一种语言上训练基于转换器的掩码语言模型，并通过学习具有相同掩码语言建模目标的新嵌入矩阵，冻结所有其他层的参数，将其转换为新语言。这种方法不依赖于共享词汇或联合培训。然而，我们表明，它是有竞争力的多语言BERT在标准的跨语言分类基准和一个新的跨语言问答数据集（XQuAD）。我们的研究结果与多语言模型泛化能力基础的共同信念相矛盾，并表明深层单语言模型学习一些跨语言泛化的抽象。我们还发布了XQuAD作为一个更全面的跨语言基准测试，它包括来自SQuAD v1.1的240个段落和1190个问答对，由专业翻译人员翻译成10种语言。
2020-05-26 cs.AI cs.CL cs.LG
Strong Baselines for Complex Word Identification across Multiple Languages
University of Sheffield（谢菲尔德大学）；University of Cambridge（剑桥大学）
复杂词识别（CWI）是识别句子中哪些单词或短语难以被目标受众理解的任务。最新的CWI共享任务发布了两种设置的数据：单语（即用同一种语言进行训练和测试）和跨语言（即用训练期间没有看到的语言进行测试）。最好的单语模型依赖于语言相关的特征，这些特征在跨语言环境中不通用，而最好的跨语言模型使用具有多任务学习的神经网络。在本文中，我们提出了单语和跨语言的CWI模型，执行以及（或优于）提交给最新的CWI共享任务的大多数模型。我们表明，精心选择的功能和简单的学习模型可以实现最先进的性能，并为该领域的未来发展提供强大的基线。最后，我们讨论了如何不一致的注释的数据可以解释所获得的一些结果。
2019-04-11 cs.CL
Claim Detection for Automated Fact-checking: A Survey on Monolingual, Multilingual and Cross-Lingual Research
School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦大学玛丽女王学院电子工程与计算机科学学院）
本文综述了自动化事实核查中的声明检测研究，聚焦多语言数据与方法，按可验证性、优先级和相似性分类现有研究，并概述多语言数据集、挑战及未来方向。
2024-03-18 cs.CL
Semantic Specialisation of Distributional Word Vector Spaces using Monolingual and Cross-Lingual Constraints
University of Cambridge（剑桥大学）；Apple Inc.（苹果公司）；Technion, IIT（以色列理工学院）
我们提出了吸引排斥，一个算法，用于提高词向量的语义质量，通过注入从词汇资源中提取的约束。吸引-排斥促进了对来自单语言和跨语言资源的约束的使用，从而产生语义专业化的跨语言向量空间。我们的评估表明，该方法可以利用现有的跨语言的词典，构建高质量的向量空间，为过多的不同的语言，促进语义从高到低资源的转移。我们的方法的有效性证明了与国家的最先进的结果在六种语言的语义相似性数据集。接下来，我们展示了吸引-排斥-专用向量在跨多种语言的对话状态跟踪（DST）的下游任务中提高了性能。最后，我们表明，我们的算法产生的跨语言向量空间有利于多语言DST模型的训练，这带来了进一步的性能改进。
2017-06-01 cs.AI cs.CL cs.LG
Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
近年来，预训练多语言模型在学习多语言表示方面显示出巨大的潜力，这是自然语言处理的一个重要课题。先前的工作通常使用单一的混合注意力（MA）模块，遵循TLM（Conneau和Lample，2019），用于同时等效地关注语言内和跨语言上下文。在本文中，我们提出了一个网络命名为分解注意力（DA）作为MA的替代品。DA由一个语内注意（IA）和一个跨语言注意（CA）组成，分别模拟语内和跨语言监督。此外，我们在训练过程中引入了一种语言自适应的重新加权策略，以进一步提高模型的性能。不同的跨语言自然语言理解（NLU）任务的实验表明，所提出的架构和学习策略显着提高模型的跨语言可移植性。
2021-06-09 cs.CL
Polyglot Neural Language Models: A Case Study in Cross-Lingual Phonetic Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
我们介绍了多语言语言模型，循环神经网络模型训练预测符号序列在许多不同的语言使用共享的符号表示和条件的类型信息的语言进行预测。我们将这些应用到电话序列建模的问题-在这个领域中，通用符号库存和跨语言共享的特征表示是一个自然的适合。内在的评价举行了困惑，定性分析的学习表示，和外在的评价在两个下游的应用程序，利用语音特征表明：（i）多语言模型更好地推广到举行了数据比可比的单语模型和（ii）多语言语音特征表示的质量比单语学习。
2016-05-12 cs.CL
Improving Neural Cross-Lingual Summarization via Employing Optimal Transport Distance for Knowledge Distillation
VinAI Research（VinAI 研究院）；Nanyang Technological University（南洋理工大学）
当前最先进的跨语言摘要模型采用多任务学习范式，其工作在共享的词汇模块上，并依赖于自我注意力机制来参与两种语言中的标记。然而，通过自我注意学习的相关性往往是松散和隐含的，在捕捉关键的跨语言表征语言之间的效率低下。当在具有单独的形态或结构特征的语言上执行时，这一问题变得更加复杂，使得跨语言对齐更具挑战性，从而导致性能下降。为了克服这个问题，我们提出了一种新的基于知识蒸馏的跨语言摘要框架，寻求明确构建跨语言的相关性，通过蒸馏的单语总结教师的知识到跨语言的总结学生。由于教师和学生的表示位于两个不同的向量空间，我们进一步提出了一个知识蒸馏损失使用Sinkhorn发散，最优运输距离，以估计这些教师和学生表示之间的差异。由于Sinkhorn Divergence的直观几何性质，学生模型可以有效地学习将其产生的跨语言隐藏状态与单语言隐藏状态对齐，从而导致遥远语言之间的强相关性。在两种远距离语言的跨语言摘要数据集上的实验表明，我们的方法在高和低资源设置下的性能都优于最先进的模型。
2021-12-07 cs.CL
Cross-lingual Transfer Can Worsen Bias in Sentiment Analysis
University of Edinburgh（爱丁堡大学）
本研究通过反事实评估发现，情感分析中使用跨语言迁移通常比单语迁移引入更多性别和种族偏见，并发布了1,525个模型及评估代码以促进相关研究。
2023-05-22 cs.CL
Generalised Unsupervised Domain Adaptation of Neural Machine Translation with Cross-Lingual Data Selection
Monash University（莫纳什大学）
本文考虑神经机器翻译（NMT）的无监督领域自适应问题，假设在新的域中只访问源语言或目标语言中的单语文本。我们提出了一种跨语言的数据选择方法，以提取领域内的句子在缺失的语言侧从一个大型的通用单语语料库。我们提出的方法通过对比学习在多语言BERT之上训练一个自适应层，以对齐源语言和目标语言之间的表示。然后，这使得域分类器能够以zero-shot方式在语言之间转移。一旦分类器检测到域内数据，NMT模型就通过联合学习翻译和域判别任务来适应新的域。我们在NMT上评估了三种语言对中五个不同领域的跨语言数据选择方法，以及COVID-19的真实翻译场景。结果表明，我们提出的方法优于其他选择基线高达+1.5 BLEU得分。
2021-09-09 cs.CL
Cross-Lingual Abstractive Summarization with Limited Parallel Resources
Beijing Institute of Technology（北京理工大学）；Southeast Academy of Information Technology（东南信息研究院）
并行跨语言摘要数据是稀缺的，需要模型更好地利用有限的可用跨语言资源。现有的方法通常采用具有多任务框架的序列到序列网络。这种方法应用多个解码器，每个解码器用于特定任务。然而，这些独立的解码器没有共享参数，因此无法捕获不同语言的摘要的离散短语之间的关系，从而断开连接，以便将高资源语言的知识转移到低资源语言。为了弥合这些连接，我们提出了一种新的跨语言抽象摘要（MCLAS）在低资源设置的多任务框架。采用一个统一的解码器来生成单语和跨语言摘要的顺序连接，MCLAS使单语摘要任务成为跨语言摘要（CLS）任务的先决条件。通过这种方式，共享解码器学习涉及跨语言的对齐和摘要模式的交互，这鼓励实现知识转移。在两个CLS数据集上的实验表明，我们的模型在低资源和全数据集的情况下都显着优于三个基线模型。此外，对生成的摘要和注意力头的深入分析验证了使用MCLAS很好地学习交互，这有利于在有限的并行资源下的CLS任务。
2021-06-13 cs.CL
Multilingual JobBERT for Cross-Lingual Job Title Matching
TechWolf
本研究提出基于对比学习的多语言职位匹配模型JobBERT-V3，以JobBERT-V2为基础支持4种语言，在TalentCLEF 2025基准上优于基线，还可用于技能排序，已开源。
2025-07-29 cs.CL
Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings
The University of Tokyo（东京大学）
无监督跨语言词嵌入（CLWE）方法学习线性变换矩阵，该矩阵映射两个用单语语料库单独训练的单语嵌入空间。该方法依赖于两个嵌入空间在结构上相似的假设，这通常不一定成立。在本文中，我们认为，使用一个伪平行语料库生成的无监督机器翻译模型有利于两个嵌入空间的结构相似性，提高质量的CLWEs在无监督映射方法。我们表明，在相同的数据量下，我们的方法优于其他替代方法，并且，通过详细的分析，我们表明，使用来自无监督机器翻译的伪数据的数据增强对于基于映射的CLWE特别有效，因为（1）伪数据使源语料库和目标语料库（部分）并行;（2）伪数据包含关于原始语言的信息，其有助于学习源语言和目标语言之间的类似嵌入空间。
2021-06-03 cs.CL
X-SCITLDR: Cross-Lingual Extreme Summarization of Scholarly Documents
University of Mannheim（曼海姆大学）；Hochschule der Medien（斯图加特传媒学院）
如今科学出版物的数量迅速增加，导致研究人员的信息过载，使学者很难跟上当前的趋势和工作路线。因此，最近的工作应用文本挖掘技术的学术出版物研究了应用自动文本摘要技术，包括极端摘要，在这一领域。然而，以前的工作只集中在单语设置，主要是在英语。在本文中，我们填补了这一研究空白，并提出了一个抽象的跨语言摘要数据集为四种不同的语言在学术领域，这使我们能够训练和评估模型，处理英语论文，并生成摘要在德国，意大利，中国和日本。我们提出了用于多语言摘要的新X-SCITLDR数据集，并基于最先进的多语言预训练模型对不同模型进行了彻底的基准测试，包括两阶段的“摘要和翻译”方法和直接跨语言模型。我们还探索了使用英语单语摘要和机器翻译作为中间任务的中间阶段训练的好处，并分析了零镜头和Few-Shot场景下的性能。
2022-05-30 cs.CL
EUR-Lex-Sum: A Multi- and Cross-lingual Dataset for Long-form Summarization in the Legal Domain
Heidelberg University（海德堡大学）；SRH Hochschule Heidelberg（海德堡SRH应用技术大学）
现有的摘要数据集有两个主要缺点：（1）它们倾向于关注过度暴露的领域，例如新闻文章或类似维基的文本，（2）主要是单语数据集，很少有多语言数据集。在这项工作中，我们提出了一个新的数据集，称为EUR-Lex-Sum，基于欧盟法律平台（EUR-Lex）的法律行为的手动策划的文件摘要。文档及其各自的摘要以24种欧洲官方语言中的几种语言的跨语言段落对齐数据的形式存在，从而可以访问各种跨语言和低资源摘要设置。我们每种语言获得多达1，500个文档/摘要对，包括375个跨语言对齐的法律行为的子集，文本以所有24种语言提供。在这项工作中，数据采集的过程是详细的，资源的主要特征进行比较，现有的摘要资源。特别是，我们说明了具有挑战性的子问题和开放的问题的数据集，可以帮助促进未来的研究领域特定的跨语言摘要的方向。受限于样本的极端长度和语言多样性，我们进一步使用合适的提取单语和跨语言基线进行实验，以供未来工作使用。提取代码以及访问我们的数据和基线的代码可在https://github.com/achouhan93/eur-lex-sum上在线获取。
2022-10-24 cs.CL
Cross-lingual Parsing with Polyglot Training and Multi-treebank Learning: A Faroese Case Study
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）
跨语言依存句法分析涉及到将句法知识从一种语言转换到另一种语言。它是在没有语言的训练数据的低资源场景中引入依赖解析器的关键组件。使用法罗语作为目标语言，我们比较了两种使用注释投影的方法：第一，从多个单语源模型投影;第二，从一个多语种模型投影，该模型是在所有源语言的组合上训练的。此外，我们再现了多源投影（Tyers等人，2018），其中组合了多个源的依赖关系树。最后，我们将多树库建模应用于投影树库，除了或替代源端的多语言建模。我们发现，多语言训练的源语言产生了更好的结果在目标语言的整体趋势，但单一的最佳结果为目标语言是通过投影从单语源解析模型，然后训练多树库的POS标记和解析模型的目标侧。
2019-10-17 cs.CL
Training Cross-Lingual embeddings for Setswana and Sepedi
University of Pretoria（比勒陀利亚大学）；Council for Scientific and Industrial Research（科学与工业研究理事会）；Sol Plaatje University（索尔·普拉特耶大学）
非洲语言仍然落后于自然语言处理技术的进步，其中一个原因是缺乏代表性的数据，拥有一种可以在语言之间传输信息的技术可以帮助缓解缺乏数据的问题。本文训练Setswana和Sepedi单语词向量，并使用VecMap为Setswana-Sepedi创建跨语言嵌入，以便进行跨语言迁移。词嵌入是将词表示为连续浮点数的词向量，其中语义相似的词被映射到n维空间中的附近点。词嵌入的思想是基于分布假设，即语义相似的词分布在相似的上下文中（Harris，1954）。跨语言嵌入通过为两个单独训练的单语向量学习共享向量空间来利用单语嵌入，使得具有相似含义的单词由相似向量表示。在本文中，我们研究了Setswana-Sepedi单语词向量的跨语言嵌入。我们使用VecMap中的无监督跨语言嵌入来训练Setswana-Sepedi跨语言词嵌入。我们评估的Setswana-Sepedi跨语言的单词表示使用语义评估任务的质量。对于语义相似性任务，我们将WordSim和SimLex任务翻译为Settail和Sepedi。我们发布这个数据集作为其他研究人员这项工作的一部分。我们评估嵌入的内在质量，以确定是否有改进的语义表示的词嵌入。
2021-11-11 cs.CL stat.AP
Experiments with Universal CEFR Classification
Applied Linguistics and Technology Program（应用语言学与技术项目）；Iowa State University, USA（美国爱荷华州立大学）；Department of Informatics（信息学系）；University of Oslo, Norway（挪威奥斯陆大学）
欧洲共同参考框架（CEFR）指南描述了学习者的语言能力，分为6个等级。虽然CEFR指南的描述是跨语言通用的，但针对不同语言的自动化能力分类系统的开发遵循不同的方法。在本文中，我们探索通用CEFR分类使用特定领域和领域不可知，理论指导以及数据驱动的功能。我们报告的结果，我们的初步实验中，单语，跨语言和多语言分类与三种语言：德语，捷克语和意大利语。我们的研究结果表明，单语和多语言模型实现了类似的性能，跨语言分类产量较低，但可比的单语分类的结果。
2018-04-18 cs.CL
Linear Transformations for Cross-lingual Sentiment Analysis
University of West Bohemia（西波西米亚大学）；NTIS – New Technologies for the Information Society（NTIS——信息社会新技术研究院）
本文研究了捷克语、英语和法语的跨语言情感分析。我们使用五个线性变换与基于LSTM和CNN的分类器相结合来执行zero-shot跨语言分类。我们比较了各个转换的性能，此外，我们面对现有的最先进的BERT类模型的转换为基础的方法。我们表明，来自目标域的预训练嵌入对于改善跨语言分类结果至关重要，这与单语分类不同，单语分类的效果并不那么明显。
2022-09-15 cs.CL
