Cross-lingual Universal Dependency Parsing Only from One Monolingual Treebank
Shanghai Jiao Tong University（上海交通大学）
句法分析是一个高度语言处理的任务，其分析器需要从昂贵的人工注释中训练树库。由于不太可能为每种人类语言获得树库，因此在这项工作中，我们提出了一个有效的跨语言UD解析框架，用于将解析器从一个源单语树库转移到任何其他目标语言，而无需树库。为了在不同的语言之间达到满意的分析精度，我们将两个语言建模任务作为多任务引入到依存句法分析中。假设只有来自目标语言的未标记数据和源树库可以一起利用，我们采用了一种自我训练策略，以进一步提高我们的多任务框架的性能。我们提出的跨语言解析器实现英语，中文，和22 UD树库。实证研究表明，我们的跨语言分析器产生的所有目标语言，第一次有希望的结果，接近分析器的性能，这是在自己的目标树库训练。
2021-04-23 cs.CL
BERT for Monolingual and Cross-Lingual Reverse Dictionary
Fudan University（复旦大学）
逆向词典是在给定单词描述的情况下找到合适的目标单词的任务。在本文中，我们试图将BERT纳入到这个任务。然而，由于BERT基于字节对编码（BPE）子字编码，因此使BERT生成给定描述的字是不平凡的。我们提出了一个简单而有效的方法，使BERT产生的目标词为这个特定的任务。此外，跨语言反向词典的任务是找到正确的目标词描述的另一种语言。以前的模型必须保持两个不同的词嵌入，并学习对齐这些嵌入。然而，通过使用多语言BERT（mBERT），我们可以有效地进行跨语言的反向字典与一个子词嵌入，和语言之间的对齐是不必要的。更重要的是，mBERT在没有平行语料库的情况下也能实现出色的跨语言逆向词典性能，即只需要对应的单语数据就可以进行跨语言逆向词典。代码可在https://github.com/yhcc/BertForRD.git上公开获取。
2020-09-30 cs.CL
Unsupervised Cross-Lingual Information Retrieval using Monolingual Data Only
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
我们提出了一个完全无监督的框架ad-hoc跨语言信息检索（CLIR），不需要双语数据。该框架利用共享的跨语言词嵌入空间，在该空间中，可以表示术语、查询和文档，而不管它们的实际语言。共享的嵌入空间是通过基于对抗神经网络的迭代过程，仅基于两种语言的单语语料库而导出的。我们的实验上的标准CLEF CLIR集合的三种语言对不同程度的语言相似性（英语，荷兰语/意大利语/芬兰语）证明了所提出的完全无监督的方法的实用性。我们的无监督跨语言嵌入的CLIR模型优于使用依赖于单词级和文档级对齐的跨语言嵌入的基线。然后，我们证明了进一步的改进，可以实现无监督集成CLIR模型。我们相信，建议的框架是第一步，发展有效的语言对和域的并行数据是稀缺或不存在的CLIR模型。
2018-05-02 cs.CL
Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval
University of Minnesota（明尼苏达大学）；GE HealthCare（GE医疗）；University of Waterloo（滑铁卢大学）；Vectara（维克塔拉科技公司）
提出混合批次训练策略，同时优化单语、跨语言和多语言零样本检索，减轻语言偏差，并在多个基准上取得优于单一训练的结果。
2024-08-20 cs.CL cs.IR
A Common Semantic Space for Monolingual and Cross-Lingual Meta-Embeddings
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（HiTZ中心-Ixa，巴斯克大学UPV/EHU）
本文提出了一种新的技术，用于创建单语和跨语言的元嵌入。我们的方法集成了多个词嵌入创建的互补技术，文本源，知识库和语言。现有的词向量投影到一个共同的语义空间使用线性变换和平均。使用我们的方法，得到的元嵌入保持原始嵌入的维数，而不会丢失信息，同时处理词汇表外的问题。一个广泛的实证评估证明了我们的技术的有效性，相对于以前的工作，各种内在和外在的多语言评价，获得竞争力的结果语义文本相似性和国家的最先进的性能字的相似性和POS标记（英语和西班牙语）。由此产生的跨语言元嵌入也表现出出色的跨语言迁移学习能力。换句话说，我们可以利用来自资源丰富语言的预训练源嵌入，以改善资源不足语言的单词表示。
2021-09-08 cs.CL
Magic dust for cross-lingual adaptation of monolingual wav2vec-2.0
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Le Mans University（勒芒大学）
我们提出了一种简单有效的跨语言迁移学习方法，以适应单语wav 2 vec-2.0模型的自动语音识别（ASR）在资源稀缺的语言。我们表明，单语wav 2 vec-2.0是一个很好的Few-Shot ASR学习者在几种语言。我们通过使用目标语言中中等大小的未标记语音数据集，通过几次迭代的辍学不确定性驱动的自训练（DUST）进一步提高其性能。这项工作的一个关键发现是，适应单语wav 2 vec-2.0实现了类似的性能的顶线多语言XLSR模型，这是在53种语言上训练，在目标语言ASR任务。
2021-10-07 cs.CL cs.SD eess.AS
Improving Cross-Lingual Word Embeddings by Meeting in the Middle
Universidade de Vigo（维戈大学）；Cardiff University（卡迪夫大学）
跨语言词嵌入在多语言NLP中变得越来越重要。最近，已经表明，这些嵌入可以通过线性变换对齐两个不相交的单语向量空间来有效地学习，使用不超过一个小的双语词典作为监督。在这项工作中，我们建议在初始对齐步骤之后应用额外的转换，该转换将跨语言同义词移向它们之间的中间点。通过应用这种转换，我们的目标是获得更好的向量空间的跨语言整合。此外，也许令人惊讶的是，单语空间也通过这种转换得到改善。这与原始对齐形成对比，原始对齐通常被学习为使得单语空间的结构被保留。我们的实验证实，由此产生的跨语言嵌入优于国家的最先进的模型在单语和跨语言的评估任务。
2018-08-27 cs.CL
Cross-Lingual Alignment Without Joint Training: Do Monolingual Language Models Converge on Universal Representations?
University of Cambridge（剑桥大学）；EleutherAI
该研究发现无联合训练时，单语言模型可通过语言结构和信息承载形成跨语言对齐，提出用Procrustes旋转映射模型隐藏状态，为模块化多语言系统构建提供方向。
2026-08-28 cs.CL
Meemi: A Simple Method for Post-processing and Integrating Cross-lingual Word Embeddings
Universidade de Vigo（维戈大学）；Cardiff University（卡迪夫大学）
词嵌入已经成为任何自然语言处理从业者工具集中的标准资源。单语词嵌入在特定语言的上下文中编码关于词的信息，而跨语言嵌入定义了多语言空间，其中来自两种或更多种语言的词嵌入被集成在一起。当前最先进的方法通过保持单语对应物的结构的正交变换对齐两个不相交的单语向量空间来学习这些嵌入。在这项工作中，我们建议在这个初始对齐步骤之后应用额外的变换，其目的是使给定单词及其翻译的矢量表示更接近它们的平均值。由于这种额外的变换是非正交的，它也会影响单语空间的结构。我们表明，我们的方法既提高了单语空间的整合，也提高了单语空间本身的质量。此外，由于我们的转换可以应用于任意数量的语言，我们能够有效地获得一个真正的多语言空间。由此产生的（单语和多语言）的空间显示一致的收益超过目前国家的最先进的标准内在的任务，即字典归纳和单词相似性，以及在外在的任务，如跨语言的上位词发现和跨语言的自然语言推理。
2020-11-11 cs.CL
Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent（赛博代理）
针对非英语单语语义文本相似度性能落后的问题，对比跨语言迁移与机器翻译两种数据增强技术，发现二者性能相当，且维基百科领域数据优于NLI领域数据，结合后可提升单语STS性能。
2024-03-08 cs.CL
Modular Sentence Encoders: Separating Language Specialization from Cross-Lingual Alignment
Ubiquitous Knowledge Processing Lab (UKP Lab) Department of Computer Science Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（技术大学达姆施塔特计算机科学系通用知识处理实验室（UKP实验室）和应用网络安全国家研究中心ATHENE德国）；Center for AI and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）
提出模块化句子编码器，通过先训练单语模块再训练跨语言对齐适配器，分离语言特化与跨语言对齐，解决多语言诅咒和任务冲突，实现更优且均衡的性能。
2025-05-30 cs.CL
Linking Tweets with Monolingual and Cross-Lingual News using Transformed Word Embeddings
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
社交媒体平台已经发展成为传播关于传统媒体发布的事件的信息的重要媒介，例如新闻文章。从不同角度讨论同一主题的各种信息来源提供了新的见解。但是，非正式的社交媒体内容（如推文）和精心撰写的内容（如新闻文章）之间的词汇使用差距使得这种组装变得困难。在本文中，我们提出了一个转换框架，利用他们的词嵌入跨越语言的鸣叫和在线新闻文章之间的词使用的差距。使用我们的框架，从推文和新闻文章中提取的词嵌入在不同语言中彼此更接近，从而便于识别新闻文章和推文之间的相似性。实验结果表明，单语推文和新闻文章比较的基线有显着改善，而跨语言比较的新发现。
2017-10-25 cs.CL
Cross-lingual neural fuzzy matching for exploiting target-language monolingual corpora in computer-aided translation
Universitat d’Alacant（阿利坎特大学）
本文提出一种跨语言神经模糊匹配方法，利用目标语单语语料库弥补翻译记忆不足，通过跨语言句子嵌入检索翻译建议并用神经模型估计译后编辑工作量，实验证明其能有效提升CAT工具中翻译建议的数量与实用性。
2024-01-16 cs.CL
Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion
Red Pill Lab（红丸实验室）
跨语言语音转换（VC）是指在源语和目标语使用不同语言的情况下，合成具有相同内容的目标语语音。它的挑战在于源数据和目标数据自然是非并行的，甚至很难在没有transmittance的情况下弥合语言之间的差距。在本文中，我们专注于知识转移从单语言ASR跨语言VC，以解决内容不匹配的问题。为了实现这一点，我们首先训练源语言的单语声学模型，使用它来提取VC数据集中所有语音的语音特征，然后训练Seq 2Seq转换模型来预测mel-声谱图。我们成功地解决了跨语言VC没有任何转录或特定语言的知识，为外国演讲。我们在Voice Conversion Challenge 2020数据集上进行了实验，结果表明，我们的说话者相关转换模型优于zero-shot基线，在跨语言转换的语音质量和说话者相似性方面实现了3.83和3.54的MOS。与Cascade ASR-TTS方法相比，我们提出的方法显著降低了跨语言转换和跨语言转换之间的MOS下降。
2020-09-30 cs.LG cs.SD eess.AS
Cross-lingual transfer of multilingual models on low resource African Languages
School of Computer Science and Engineering, Vellore Institute of Technology（韦洛尔理工学院计算机科学与工程学院）；Department of Computer Science, University of Pretoria（比勒陀利亚大学计算机科学系）
本研究以卢旺达语和隆迪语为对象，基准测试单语言与多语言模型的跨语言迁移能力，对比多种架构性能，发现微调后AfriBERT准确率达88.3%，验证了多语言模型在低资源场景下的强迁移能力。
2024-09-17 cs.CL cs.LG
Monolingual and Cross-Lingual Acceptability Judgments with the Italian CoLA corpus
University of Salerno（萨勒诺大学）；ICAR-CNR（意大利国家研究委员会信息与高性能计算研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语言可接受性的自动化方法的发展已经大大促进了英语CoLA语料库的可用性，这也被包括在广泛使用的GLUE基准。然而，这种研究的语言以外的英语，以及跨语言的方法的分析，一直受到阻碍的资源与其他语言的规模相当的缺乏。因此，我们开发了ItaCoLA语料库，其中包含近10，000个具有可接受性判断的句子，它是按照与英语相同的方法和步骤创建的。在本文中，我们描述了语料库的创建，我们详细介绍了它的内容，我们提出了这个新资源的第一个实验。我们比较了域内和域外分类，并对九种语言现象进行了具体的评估。我们还提出了第一个跨语言的实验，旨在评估是否多语言transformerbased方法可以受益于使用两种语言的句子在微调。
2021-09-24 cs.CL
Learning Cross-lingual Distributed Logical Representations for Semantic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
随着用于语义解析的多语言数据集的发展，最近的研究工作已经研究了在多语言设置中学习语义解析器的问题。然而，如何提高一个特定语言的单语语义分析器的性能，利用不同语言的数据注释仍然是一个研究问题，是未充分探讨。在这项工作中，我们提出了一项研究，以显示如何学习分布式表示的逻辑形式的数据注释在不同的语言可以用于提高单语语义分析器的性能。我们扩展了现有的两个单语语义解析器，将这种跨语言的分布式逻辑表示的功能。实验表明，我们提出的方法是能够产生改进的语义解析结果的标准多语言GeoQuery数据集。
2018-06-14 cs.CL
Improving Retrieval-Augmented Neural Machine Translation with Monolingual Data
SYSTRAN by ChapsVision（ChapsVision 公司）；Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR）
本研究针对传统检索增强神经机器翻译依赖双语语料的局限，提出基于源语言查询检索目标语单语片段的方法，设计结合句级与词级匹配目标的跨语言检索系统，实验证明性能媲美标准TM模型，真实场景下优于基线与通用跨语言检索器。
2025-10-01 cs.CL
Cross-Lingual QA as a Stepping Stone for Monolingual Open QA in Icelandic
Miðeind ehf（米德恩公司）；University of Iceland（冰岛大学）
为英语以外的语言构建有效的开放式问答（开放式QA）系统可能具有挑战性，这主要是由于缺乏用于训练的标记数据。我们提出了一个数据高效的方法来引导这样一个系统的语言以外的英语。我们的方法只需要有限的QA资源，在给定的语言，随着机器翻译的数据，和至少一个双语语言模型。为了评估我们的方法，我们建立了这样一个系统的冰岛语和评估性能的琐事风格的数据集。用于培训的语料库是英语，但机器翻译成冰岛语。我们训练双语冰岛语/英语语言模型，以嵌入英语上下文和冰岛语问题，遵循使用DensePhrases引入的方法（Lee等人，2021年）。由此产生的系统是冰岛语和英语之间的开放域跨语言问答系统。最后，该系统适用于冰岛唯一的开放式QA，展示了如何有效地创建一个开放式QA系统，并限制访问感兴趣语言的策展数据集。
2022-07-05 cs.CL
MonoByte: A Pool of Monolingual Byte-level Language Models
UNICAMP（坎皮纳斯州立大学）；NeuralMind
在多语言甚至单语言语料库上预训练的模型的跨语言能力zero-shot激发了许多假设来解释这个有趣的实证结果。然而，由于预训练的成本，大多数研究使用公共模型，其预训练方法，如标记化的选择，语料库大小和计算预算，可能会有很大的不同。当研究人员对自己的模型进行预训练时，他们通常会在预算有限的情况下进行预训练，因此与SOTA模型相比，最终模型的表现可能会显着落后。这些实验差异导致了各种不一致的结论，这些模型的跨语言能力的性质。为了帮助对该主题的进一步研究，我们发布了10个单语字节级模型，这些模型在相同的配置下进行了严格的预训练，具有较大的计算预算（相当于V100上的420天）和语料库，这些语料库是原始BERT的4倍。由于它们是无标记的，因此消除了不可见标记嵌入的问题，从而允许研究人员在具有不同脚本的语言中尝试更广泛的跨语言实验。此外，我们发布了两个在非自然语言文本上预训练的模型，可用于正常性检查实验。在问答和自然语言学习任务上的实验表明，我们的单语模型与多语言模型相比具有相当的性能，因此可以用来加强我们对语言模型跨语言可移植性的理解。
2022-09-27 cs.CL
Cross-lingual Alignment vs Joint Training: A Comparative Study and A Simple Unified Framework
Carnegie Mellon University（卡内基梅隆大学）
学习文本的多语言表示已被证明是许多跨语言迁移学习任务的成功方法。学习这种表示有两种主要的范式：（1）对齐，将不同的独立训练的单语表示映射到共享空间中，以及（2）联合训练，直接使用单语和跨语言目标联合学习统一的多语言表示。在本文中，我们首先对使用这两种方法在不同的跨语言任务中学习的表征进行直接比较。我们的实证结果揭示了这两种方法的优点和缺点，并表明对齐与联合训练的相对性能是依赖于任务的。从这个分析出发，我们提出了一个简单而新颖的框架，结合了这两个以前相互排斥的方法。大量的实验表明，我们提出的框架的局限性，这两种方法，并优于现有的方法在MUSE双语词典归纳（BLI）基准。我们进一步表明，这个框架可以推广到上下文的表示，如多语言BERT，并产生国家的最先进的结果的CoNLL跨语言NER基准。
2020-02-18 cs.CL cs.LG
L3Cube-IndicSBERT: A simple approach for learning cross-lingual sentence representations using multilingual BERT
MKSSS’ Cummins College of Engineering for Women（MKSSS康明斯女子工程学院）；L3Cube Pune（浦那L3Cube）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出通过聚合翻译 NLI/STS 数据并微调普通多语言 BERT 的简单方法，构建并发布面向 10 种印度语言的 L3Cube-IndicSBERT，在跨语言与单语相似度任务上优于多个基线。
2023-04-22 cs.CL cs.LG
Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization
University of Maryland, College Park（马里兰大学帕克分校）；Massachusetts Institute of Technology（麻省理工学院）
跨语言词嵌入（CLWE）是许多多语言自然语言处理系统的基础，通常通过预训练的单语言嵌入的正交变换。然而，正交映射只适用于嵌入自然同构的语言对。对于非同构对，我们的方法（迭代归一化）通过同时强制（1）单个单词向量为单位长度，以及（2）每种语言的平均向量为零，来转换单语嵌入，以使正交对齐更容易。迭代规范化一致地提高了三种CLWE方法的单词翻译准确度，其中在英语-日语上观察到的改进最大（从2%到44%的测试准确度）。
2019-11-11 cs.AI cs.CL cs.LG
MetaXL: Meta Representation Transformation for Low-resource Cross-lingual Learning
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
多语言预训练表示和跨语言迁移学习的结合是为低资源语言构建功能性NLP系统的最有效方法之一。然而，对于没有大规模单语语料库进行预训练或没有足够的注释数据进行微调的极低资源语言，迁移学习仍然是一个研究不足和具有挑战性的任务。此外，最近的工作表明，多语言表示在不同语言之间令人惊讶地不相交，这给迁移到资源极低的语言带来了额外的挑战。在本文中，我们提出了MetaXL，这是一个基于元学习的框架，它学会明智地将表示从辅助语言转换为目标语言，并使它们的表示空间更接近以进行有效的转换。在现实世界的低资源语言上进行的大量实验-没有访问大规模单语语料库或大量标记数据-用于跨语言情感分析和命名实体识别等任务，显示了我们方法的有效性。MetaXL的代码可在github.com/microsoft/MetaXL上公开获取。
2021-04-16 cs.CL cs.LG
Towards Zero-shot Cross-lingual Image Retrieval
Adobe Inc.（奥多比公司）
最近对多模态语言和视觉问题的兴趣激增。在语言方面，大多数这些模型主要集中在英语上，因为大多数多模态数据集都是单语的。我们试图通过一种zero-shot方法来弥合这一差距，该方法使用文本侧的跨语言预训练来学习多模态表示。我们提出了一种简单而实用的方法来构建一个跨语言的图像检索模型，该模型在单语训练数据集上训练，但可以在推理过程中以zero-shot跨语言的方式使用。我们还引入了一个新的目标函数，它通过将不同的文本相互推送来收紧文本嵌入集群。最后，我们介绍了一个新的1K多语言MSCOCO2014字幕测试数据集（XTD10），我们使用众包平台收集了7种语言。我们将其用作测试集，用于评估跨语言的zero-shot模型性能。XTD 10数据集在以下网站公开发布：https://github.com/adobe-research/Cross-lingual-Test-Dataset-XTD10
2020-11-24 cs.CL cs.CV cs.LG
Cross-lingual Word Analogies using Linear Transformations between Semantic Spaces
NTIS – New Technologies for the Information Society（NTIS——信息社会新技术）；University of West Bohemia（西波希米亚大学）
我们推广了跨语言的词类比任务，为跨语言语义空间提供了一种新的内在评价方法。我们在不同的语系中尝试了六种语言，包括英语，德语，西班牙语，意大利语，捷克语和克罗地亚语。国家的最先进的单语语义空间转换成一个共享的空间使用字典的单词翻译。我们比较了几种线性变换，并将它们与单语（无变换），双语（一个语义空间转换为另一个）和多语言（所有语义空间转换为英语空间）版本的语义空间进行了实验。我们表明，测试的线性变换保持词（词类比）之间的关系，并导致令人印象深刻的结果。单语、双语和多语言语义空间的平均准确率分别为51.1%、43.1%和38.2%。
2018-07-11 cs.CL
Language Anisotropic Cross-Lingual Model Editing
Harbin Institute of Technology（哈尔滨工业大学）
本文定义跨语言模型编辑任务并提出基于平行语料的适配框架和语言各向异性编辑方法，通过放大不同语言对应的参数子集提升编辑跨语言传播效果，实验验证了其有效性。
2023-06-05 cs.CL
Training Dynamics for Curriculum Learning: A Study on Monolingual and Cross-lingual NLU
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
课程学习（Curriculum Learning，CL）是一种通过对样本进行排序来训练模型的技术，其目的是加速收敛和提高泛化能力。当前用于自然语言理解（NLU）任务的方法使用CL来通常通过面向对象或任务不可知的困难来提高分布中数据的性能。在这项工作中，相反，我们通过利用训练动态作为难度指标，即，统计数据，这些统计数据在训练期间测量特定任务数据实例上的模型行为，并基于这些统计数据提出对现有CL编译器的修改。与现有的工作不同，我们专注于在分布（ID），分布外（OOD）以及zero-shot（ZS）跨语言迁移数据集上评估模型。我们在几个NLU任务中表明，具有训练动态的CL可以在zero-shot跨语言迁移和OOD设置上产生更好的性能，在某些情况下可以提高8.5%。总的来说，实验表明，与其他难度指标相比，训练动态可以导致更好的模型性能，更平滑的训练，同时平均快20%。此外，通过分析，我们揭示了特定于任务的指标与与任务不可知的指标之间的相关性。
2022-11-24 cs.CL
Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
多语言预训练语言模型（MPLM）不仅可以处理不同语言的任务，而且还表现出令人惊讶的zero-shot跨语言可移植性。然而，与最先进的单语预训练模型相比，MPLM通常无法在资源丰富的语言上实现可比较的监督性能。在本文中，我们的目标是提高多语言模型的监督和zero-shot的性能，同时只有监督语言的资源。我们的方法是基于高性能的单语模型与师生框架的知识转移。我们让多语言模型同时从多个单语言模型中学习。为了利用模型的跨语言可移植性，我们提出了MBLM（多分支多语言语言模型），一个模型建立在MPLM与多语言分支。每个分支都是一堆Transformers。MBLM使用zero-shot感知训练策略进行训练，该策略鼓励模型从来自所有分支的zero-shot表示的混合中学习。两个跨语言分类任务的结果表明，仅使用任务的监督数据，我们的方法提高了监督和zero-shot性能的MPLM。
2022-02-28 cs.CL
RUBERT: A Bilingual Roman Urdu BERT Using Cross Lingual Transfer Learning
NUCES (FAST)（巴基斯坦国家计算机与新兴科学大学（FAST））
在最近的研究中，已经表明，多语言语言模型表现不如单语言模型。众所周知，为每种语言训练和维护单语模型是一个昂贵且耗时的过程。罗马乌尔都语是一种资源匮乏的语言，在社交媒体平台和聊天应用程序上流行。在这项研究中，我们提出了一个新的数据集，其中包含5400万个令牌和300万个句子。此外，我们还提出了RUBERT一个双语罗马乌尔都语模型创建额外的预训练英语BERT。我们将其性能与从头开始训练的单语罗马乌尔都语BERT和通过多语言BERT的额外预训练创建的多语言罗马乌尔都语BERT进行比较。我们通过我们的实验表明，额外的预训练的英语BERT产生最显着的性能改善。
2021-02-22 cs.CL
CLUSE: Cross-Lingual Unsupervised Sense Embeddings
National Taiwan University（国立台湾大学）
本文提出了一种模块化的意义归纳和表示学习模型，该模型利用英汉平行语料库中的跨语言信号来获取语言对中的搭配和分布特征，联合学习向量空间中匹配良好的双语意义嵌入。该模型在斯坦福大学上下文单词相似度（SCWS）数据集上进行评估，以确保单语意义嵌入的质量。此外，我们还引入了双语上下文单词相似度（BCWS），这是一个用于评估跨语言意义嵌入的大型高质量数据集，这是衡量学习的嵌入是否在向量空间中确实对齐的第一次尝试。所提出的方法显示了优越的质量的意义嵌入评估单语和双语空间。
2018-10-21 cs.CL
Coarse-grained Cross-lingual Alignment of Comparable Texts with Topic Models and Encyclopedic Knowledge
FBK（布鲁诺·凯斯勒基金会）；HITS gGmbH（海德堡理论研究所）
我们提出了一种粗粒度的跨语言对齐可比文本的方法：段组成的连续段落，讨论相同的主题（如历史，经济）的基础上诱导的多语言主题对齐。该方法结合了三个想法：一个两级LDA模型，过滤掉不传达主题的单词，一个HMM模型的主题在文档集合中的排序，以及独立于语言的概念注释，作为跨语言的桥梁，并通过概念关系加强同一段中段落之间的联系。该方法进行评估，以前用于单语对齐的英语和法语数据。结果表明，国家的最先进的性能在单语和跨语言设置。
2014-11-28 cs.CL
Mixed-Lingual Pre-training for Cross-lingual Summarization
Microsoft Cognitive Services Research Group（微软认知服务研究组）
跨语言摘要（CLS）的目的是为源语言的文章生成目标语言的摘要。传统的解决方案采用两步走的方法，即翻译然后总结或总结然后翻译。最近，端到端模型取得了更好的结果，但这些方法大多受到其对大规模标记数据的依赖的限制。我们提出了一种基于混合语言预训练的解决方案，该解决方案利用了跨语言任务（如翻译）和单语言任务（如掩蔽语言模型）。因此，我们的模型可以利用大量的单语数据来增强其语言建模。此外，该架构没有特定于任务的组件，这节省了内存并提高了优化效率。实验结果表明，该预训练方案可以有效地提高跨语言摘要的性能。在神经跨语言摘要（NCLS）数据集中，我们的模型比最先进的结果提高了2.82（英语到中文）和1.15（中文到英语）ROUGE-1分数。
2020-10-18 cs.CL
Zero-shot Cross-lingual Transfer is Under-specified Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）
预训练的多语言编码器能够实现zero-shot跨语言迁移，但通常会产生不可靠的模型，这些模型在目标语言上表现出高性能差异。我们假设这种高方差是由于zero-shot跨语言迁移解决了一个未指定的优化问题。我们发现，任何线性插值模型之间的源语言单语模型和源+目标双语模型具有同样低的源语言泛化误差，但目标语言泛化误差减少平滑和线性，因为我们从单语双语模型，这表明该模型的斗争，以确定良好的解决方案，为源和目标语言单独使用源语言。此外，我们还发现zero-shot解位于目标语言错误泛化曲面的非平坦区域，导致了高方差。
2022-07-12 cs.CL
Concatenated Power Mean Word Embeddings as Universal Cross-Lingual Sentence Representations
Technische Universität Darmstadt（达姆施塔特工业大学）
平均词嵌入是更复杂的句子嵌入技术的共同基线。然而，它们通常无法达到更复杂的模型（如InferSent）的性能。在这里，我们将平均词嵌入的概念推广到幂平均词嵌入。我们表明，不同类型的功率平均词嵌入的串联大大缩小了差距，以国家的最先进的方法单语言和大大优于这些更复杂的技术跨语言。此外，我们提出的方法优于不同的最近提出的基线，如SIF和Sent2Vec的坚实的保证金，从而构成了一个更难击败单语基线。我们的数据和代码是公开的。
2018-09-12 cs.CL
On the ability of monolingual models to learn language-agnostic representations
University of Campinas（坎皮纳斯州立大学）；NeuralMind Inteligência Artificial（NeuralMind 人工智能）；University of Waterloo（滑铁卢大学）
预训练的多语言模型已经成为zero-shot跨语言迁移的事实上的默认方法。以前的工作表明，这些模型在使用共享参数对两种或多种语言进行预训练时，能够实现跨语言表示。在这项工作中，我们提供的证据表明，即使在单一语言上进行预训练，模型也可以实现与语言无关的表示。也就是说，我们发现，与使用相同目标语言的模型相比，在不同语言上预训练和微调的单语模型具有竞争力的性能。令人惊讶的是，无论预训练语言如何，模型在相同任务上表现出相似的性能。例如，在远距离语言（如德语和葡萄牙语）上预训练的模型在英语任务上的表现类似。
2021-10-25 cs.CL
Training Cross-Lingual embeddings for Setswana and Sepedi
University of Pretoria（比勒陀利亚大学）；Council for Scientific and Industrial Research（科学与工业研究理事会）；Sol Plaatje University（索尔·普拉特耶大学）
非洲语言仍然落后于自然语言处理技术的进步，其中一个原因是缺乏代表性的数据，拥有一种可以在语言之间传输信息的技术可以帮助缓解缺乏数据的问题。本文训练Setswana和Sepedi单语词向量，并使用VecMap为Setswana-Sepedi创建跨语言嵌入，以便进行跨语言迁移。词嵌入是将词表示为连续浮点数的词向量，其中语义相似的词被映射到n维空间中的附近点。词嵌入的思想是基于分布假设，即语义相似的词分布在相似的上下文中（Harris，1954）。跨语言嵌入通过为两个单独训练的单语向量学习共享向量空间来利用单语嵌入，使得具有相似含义的单词由相似向量表示。在本文中，我们研究了Setswana-Sepedi单语词向量的跨语言嵌入。我们使用VecMap中的无监督跨语言嵌入来训练Setswana-Sepedi跨语言词嵌入。我们评估的Setswana-Sepedi跨语言的单词表示使用语义评估任务的质量。对于语义相似性任务，我们将WordSim和SimLex任务翻译为Settail和Sepedi。我们发布这个数据集作为其他研究人员这项工作的一部分。我们评估嵌入的内在质量，以确定是否有改进的语义表示的词嵌入。
2021-11-11 cs.CL stat.AP
Unsupervised Cross-lingual Word Embedding by Multilingual Neural Language Models
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
我们提出了一种无监督的方法来获得跨语言嵌入，而无需任何并行数据或预训练的词嵌入。我们称之为多语言神经语言模型的模型以多种语言的句子作为输入。该模型包含双向LSTM，作为前向和后向语言模型，这些网络在所有语言之间共享。其他参数，即词嵌入和隐藏状态与输出之间的线性变换，是特定于每种语言的。共享的LSTM可以捕获所有语言之间的共同句子结构。因此，每种语言的词嵌入被映射到公共潜在空间中，使得可以跨多种语言测量词的相似性。我们评估跨语言的词嵌入的词对齐任务的质量。我们的实验表明，我们的模型可以获得比现有的无监督模型更高质量的跨语言嵌入时，只有少量的单语数据（即50k句子），或单语数据的域是不同的语言。
2018-09-07 cs.AI cs.CL cs.LG
Neural Machine Translation with Monolingual Translation Memory
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
先前的工作已经证明，翻译记忆（TM）可以提高神经机器翻译（NMT）的性能。在现有的工作，使用双语语料库TM和采用源端相似性搜索的记忆检索相比，我们提出了一个新的框架，使用单语记忆，并进行可学习的记忆检索在跨语言的方式。我们的框架具有独特的优势。首先，跨语言记忆检索器允许大量的单语数据被TM。第二，记忆检索器和NMT模型可以联合优化最终的翻译目标。实验结果表明，该方法具有明显的改进效果.值得注意的是，它甚至优于使用双语TM的强大TM增强NMT基线。由于能够利用单语数据，我们的模型还在低资源和领域自适应场景中表现出有效性。
2021-06-02 cs.AI cs.CL
The Secret is in the Spectra: Predicting Cross-lingual Task Performance with Spectral Similarity Measures
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；Faculty of Industrial Engineering and Management, Technion, IIT（以色列理工学院工业工程与管理学院）
跨语言NLP任务的性能受到手头语言的（不）相似性的影响：例如，先前的工作表明，双语词典归纳（BLI）的预期成功与单语嵌入空间之间的（近似）同构假设之间存在联系。在这项工作中，我们提出了一个大规模的研究集中在单语嵌入空间相似性和任务性能之间的相关性，涵盖数千个语言对和四个不同的任务：BLI，解析，词性标注和MT。我们假设每个单语嵌入空间的频谱的统计数据表明它们可以对齐。然后，我们介绍了两个嵌入空间之间的同构措施，基于各自的频谱的相关统计。我们的经验表明，1）从这种频谱同构措施中获得的语言相似性分数与不同跨语言任务中观察到的表现密切相关，2）我们的基于频谱的措施始终优于以前的标准同构措施，同时在计算上更易于处理，更容易解释。最后，我们的措施捕捉互补信息，以类型驱动的语言距离的措施，并从两个家庭的措施相结合，产生更高的任务绩效的相关性。
2020-10-12 cs.CL
Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment
UCLA（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
最近的许多工作已经证明了知识图谱嵌入在完成单语知识图谱方面的好处。由于相关的知识库是用几种不同的语言构建的，因此实现跨语言知识对齐将有助于人们构建连贯的知识库，并帮助机器处理不同人类语言之间实体关系的不同表达。不幸的是，通过人工实现这种高度期望的跨舌对齐是非常昂贵且容易出错的。因此，我们提出了MTransE，一个基于推理的多语言知识图谱嵌入模型，提供了一个简单的和自动化的解决方案。通过在单独的嵌入空间中编码每种语言的实体和关系，MTransE为每个嵌入向量提供了到其他空间中的跨语言对应物的转换，同时保留了单语嵌入的功能。我们部署了三种不同的技术来表示跨语言的过渡，即轴校准，平移向量和线性变换，并得出五个变种MTransE使用不同的损失函数。我们的模型可以在部分对齐的图上进行训练，其中只有一小部分三元组与跨语言对应项对齐。跨语言实体匹配和三重对齐验证的实验显示了良好的效果，一些变体在不同的任务中始终优于其他变体。我们还探讨了MTransE如何保留其单语对应物transE的关键属性。
2017-05-17 cs.AI cs.CL
Learning Cross-lingual Visual Speech Representations
Imperial College London（帝国理工学院）
跨语言自监督学习在过去几年中已经成为一个日益增长的研究课题。然而，目前的作品仅探索了使用音频信号来创建表示。在这项工作中，我们研究跨语言的自我监督视觉表示学习。我们使用最近提出的Raw Audio-Visual Speech Encoders（RAVEn）框架，用未标记的多语言数据预训练视听模型，然后在标记的transmittance上微调视觉模型。我们的实验表明：（1）具有更多数据的多语言模型优于单语言模型，但是，当保持数据量固定时，单语言模型往往会达到更好的性能;（2）多语言优于仅英语的预训练;（3）使用更相似的语言会产生更好的结果;（4）对看不见的语言进行微调与在预训练集中使用目标语言相比具有竞争力。我们希望我们的研究能对未来非英语语言表示学习的研究有所启发。
2023-03-14 cs.CL cs.CV cs.LG
Unsupervised Cross-Lingual Part-of-Speech Tagging with Monolingual Corpora Only
School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语言学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出了一种仅使用单语语料的无监督跨语言词性标注框架，通过无监督神经机器翻译构建伪平行句子对，并利用多源投影技术提升词性标注性能。
2026-02-10 cs.CL
BiPaR: A Bilingual Parallel Dataset for Multilingual and Cross-lingual Reading Comprehension on Novels
Soochow University（苏州大学）
本文介绍了BiPaR，一个双语并行小说风格的机器阅读理解（MRC）数据集，开发支持多语言和跨语言的阅读理解。BiPaR与现有阅读理解数据集之间最大的区别在于，BiPaR中的每个三元组（Passage，Question，Answer）都是用两种语言编写的。我们从中英文小说中收集了3，667个双语平行段落，通过严格的质量控制程序，通过众包工作人员构建了14，668个平行问答对。我们深入分析了BiPaR，发现BiPaR在问题前缀、答案类型以及问题与段落之间的关系方面提供了良好的多样化。我们还观察到，回答问题的小说需要阅读理解技能的共指消解，多句推理，并理解隐含的因果关系等，与BiPaR，我们建立单语，多语种，跨语言MRC基线模型。即使对于该数据集上相对简单的单语MRC，实验表明，在EM和F1分数方面，强BERT基线落后于人类30分以上，这表明BiPaR为小说的单语，多语言和跨语言MRC提供了一个具有挑战性的测试平台。该数据集可在https://multinlp.github.io/BiPaR/上获得。
2019-10-11 cs.AI cs.CL
Strong Baselines for Complex Word Identification across Multiple Languages
University of Sheffield（谢菲尔德大学）；University of Cambridge（剑桥大学）
复杂词识别（CWI）是识别句子中哪些单词或短语难以被目标受众理解的任务。最新的CWI共享任务发布了两种设置的数据：单语（即用同一种语言进行训练和测试）和跨语言（即用训练期间没有看到的语言进行测试）。最好的单语模型依赖于语言相关的特征，这些特征在跨语言环境中不通用，而最好的跨语言模型使用具有多任务学习的神经网络。在本文中，我们提出了单语和跨语言的CWI模型，执行以及（或优于）提交给最新的CWI共享任务的大多数模型。我们表明，精心选择的功能和简单的学习模型可以实现最先进的性能，并为该领域的未来发展提供强大的基线。最后，我们讨论了如何不一致的注释的数据可以解释所获得的一些结果。
2019-04-11 cs.CL
Claim Detection for Automated Fact-checking: A Survey on Monolingual, Multilingual and Cross-Lingual Research
School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦大学玛丽女王学院电子工程与计算机科学学院）
本文综述了自动化事实核查中的声明检测研究，聚焦多语言数据与方法，按可验证性、优先级和相似性分类现有研究，并概述多语言数据集、挑战及未来方向。
2024-03-18 cs.CL
BilBOWA: Fast Bilingual Distributed Representations without Word Alignments
Google Inc.（谷歌公司）；Université de Montréal（蒙特利尔大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了BilBOWA（Bilingual Bag-of-Words without Alignments），这是一种简单且计算效率高的模型，用于学习单词的双语分布式表示，可以扩展到大型单语数据集，并且不需要单词对齐的并行训练数据。相反，它直接在单语数据上训练，并从较小的原始文本对齐数据集中提取双语信号。这是使用一种新的采样词袋跨语言目标来实现的，该目标用于正则化两个噪声对比语言模型，以实现高效的跨语言特征学习。我们表明，使用所提出的模型学习的双语嵌入在跨语言文档分类任务以及WMT 11数据的词汇翻译任务上优于最先进的方法。
2016-02-04 cs.CL cs.LG stat.ML
Monolingual and Cross-Lingual Knowledge Transfer for Topic Classification
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；London Institute for Mathematical Sciences（伦敦数学科学研究所）
本文基于俄语RuQTopics数据集研究主题分类的知识迁移，验证了该数据集在对话任务中的有效性，并发现多语言BERT的跨语言准确率与各语言预训练数据规模显著相关，而与语言距离无关。
2023-07-04 cs.AI cs.CL
Polyglot Neural Language Models: A Case Study in Cross-Lingual Phonetic Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
我们介绍了多语言语言模型，循环神经网络模型训练预测符号序列在许多不同的语言使用共享的符号表示和条件的类型信息的语言进行预测。我们将这些应用到电话序列建模的问题-在这个领域中，通用符号库存和跨语言共享的特征表示是一个自然的适合。内在的评价举行了困惑，定性分析的学习表示，和外在的评价在两个下游的应用程序，利用语音特征表明：（i）多语言模型更好地推广到举行了数据比可比的单语模型和（ii）多语言语音特征表示的质量比单语学习。
2016-05-12 cs.CL
Improving Neural Cross-Lingual Summarization via Employing Optimal Transport Distance for Knowledge Distillation
VinAI Research（VinAI 研究院）；Nanyang Technological University（南洋理工大学）
当前最先进的跨语言摘要模型采用多任务学习范式，其工作在共享的词汇模块上，并依赖于自我注意力机制来参与两种语言中的标记。然而，通过自我注意学习的相关性往往是松散和隐含的，在捕捉关键的跨语言表征语言之间的效率低下。当在具有单独的形态或结构特征的语言上执行时，这一问题变得更加复杂，使得跨语言对齐更具挑战性，从而导致性能下降。为了克服这个问题，我们提出了一种新的基于知识蒸馏的跨语言摘要框架，寻求明确构建跨语言的相关性，通过蒸馏的单语总结教师的知识到跨语言的总结学生。由于教师和学生的表示位于两个不同的向量空间，我们进一步提出了一个知识蒸馏损失使用Sinkhorn发散，最优运输距离，以估计这些教师和学生表示之间的差异。由于Sinkhorn Divergence的直观几何性质，学生模型可以有效地学习将其产生的跨语言隐藏状态与单语言隐藏状态对齐，从而导致遥远语言之间的强相关性。在两种远距离语言的跨语言摘要数据集上的实验表明，我们的方法在高和低资源设置下的性能都优于最先进的模型。
2021-12-07 cs.CL
Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking
University of Cambridge（剑桥大学）
注入外部特定领域的知识（例如，UMLS）转化为预训练的语言模型（LM），提高了它们处理诸如生物医学实体链接（BEL）之类的专业领域内任务的能力。然而，这种丰富的专业知识仅可用于少数语言（例如，英文）。在这项工作中，通过提出一种新的跨语言的生物医学实体连接任务（XL-BEL），并建立一个新的XL-BEL基准跨越10个类型学上不同的语言，我们首先调查的能力，标准的知识不可知以及知识增强的单语和多语言LM超出标准的单语英语BEL任务。这些分数表明英语成绩差距很大。然后，我们解决的挑战，资源丰富的语言转移到资源贫乏的特定领域的知识。为此，我们提出并评估了一系列的跨语言迁移方法的XL-BEL任务，并证明，一般域的双文本有助于传播可用的英语知识的语言很少或没有域内的数据。值得注意的是，我们表明，我们提出的特定于域的传输方法在所有目标语言中产生一致的增益，有时高达20 Precision@1点，没有任何领域内的知识，在目标语言，没有任何领域内的并行数据。
2021-05-30 cs.AI cs.CL cs.LG
A Simple Geometric Method for Cross-Lingual Linguistic Transformations with Pre-trained Autoencoders
Chatlayer.ai by Sinch（Sinch旗下Chatlayer.ai）；Sinch；Ghent University - Imec（根特大学 - imec）
为多种语言训练的强大句子编码器正在崛起。这些系统能够将广泛的语言属性嵌入到向量表示中。虽然显式探测任务可以用来验证特定语言属性的存在，但目前还不清楚是否可以操纵向量表示来间接引导这些属性。为了有效的学习，我们研究了在嵌入空间中使用几何映射来转换语言属性，而无需对预训练的句子编码器或解码器进行任何调整。我们使用预训练的多语言自动编码器在三个语言属性上验证了我们的方法，并在单语和跨语言设置中分析了结果。
2021-09-21 cs.CL cs.LG
Cross-lingual Transfer Can Worsen Bias in Sentiment Analysis
University of Edinburgh（爱丁堡大学）
本研究通过反事实评估发现，情感分析中使用跨语言迁移通常比单语迁移引入更多性别和种族偏见，并发布了1,525个模型及评估代码以促进相关研究。
2023-05-22 cs.CL
Generalised Unsupervised Domain Adaptation of Neural Machine Translation with Cross-Lingual Data Selection
Monash University（莫纳什大学）
本文考虑神经机器翻译（NMT）的无监督领域自适应问题，假设在新的域中只访问源语言或目标语言中的单语文本。我们提出了一种跨语言的数据选择方法，以提取领域内的句子在缺失的语言侧从一个大型的通用单语语料库。我们提出的方法通过对比学习在多语言BERT之上训练一个自适应层，以对齐源语言和目标语言之间的表示。然后，这使得域分类器能够以zero-shot方式在语言之间转移。一旦分类器检测到域内数据，NMT模型就通过联合学习翻译和域判别任务来适应新的域。我们在NMT上评估了三种语言对中五个不同领域的跨语言数据选择方法，以及COVID-19的真实翻译场景。结果表明，我们提出的方法优于其他选择基线高达+1.5 BLEU得分。
2021-09-09 cs.CL
