Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
Osaka University（大阪大学）；Megagon Labs（Megagon实验室）
我们提出了Emu，语义增强多语言句子嵌入的系统。我们的框架使用两个主要组件微调预训练的多语言句子嵌入：语义分类器和语言分类器。语义分类器提高了相关句子的语义相似性，而语言分类器通过多语言对抗训练增强了嵌入的多语言性。我们基于几种语言对的实验结果表明，我们的专业嵌入优于国家的最先进的多语言句子嵌入模型的跨语言意图分类任务，仅使用单语标记数据。
2019-11-24 cs.CL cs.LG
Improving Multilingual Sentence Embedding using Bi-directional Dual Encoder with Additive Margin Softmax
Google AI Language（谷歌AI语言部门）
在本文中，我们提出了一种方法来学习多语言句子嵌入使用一个双向的双重编码器与附加的余量softmax。在联合国（UN）平行语料库检索任务中，嵌入能够实现最先进的结果。在所有测试的语言中，系统达到了86%或更高的P@1。我们使用通过我们的方法检索的对来训练NMT模型，其实现与在黄金对上训练的模型相似的性能。我们探索通过平均我们的句子嵌入构造的简单文档级嵌入。在联合国文档级检索任务中，所有实验语言对的文档嵌入在P@1上实现了约97%。最后，我们评估所提出的模型上的BUCC挖掘任务。与当前最先进的模型相比，具有原始余弦相似性分数的学习嵌入实现了具有竞争力的结果，并且使用第二阶段评分器，我们在这项任务上实现了新的最先进水平。
2019-06-14 cs.CL
Embedding structure matters: Comparing methods to adapt multilingual vocabularies to new languages
University of Washington（华盛顿大学）
本文针对多语言模型语言适配中跨语言词汇表计算成本高的问题，提出多种紧凑语言特定词汇表替换及嵌入矩阵重新初始化技术，并通过系统实验证明其能高效提升低资源语言性能，且简单方法可与Focus方法相媲美。
2023-10-26 cs.CL
A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）
我们使用的多语言OSCAR语料库，通过语言分类，过滤和清洗，从公共爬行提取，训练单语上下文词嵌入（ELMo）的五个中间资源语言。然后，我们比较了基于OSCAR和基于维基百科的ELMo嵌入这些语言的词性标记和解析任务的性能。我们发现，尽管在基于Common-Crawl的OSCAR数据中存在噪声，但在OSCAR上训练的嵌入比在维基百科上训练的单语嵌入表现得更好。它们实际上等于或改进了所有五种语言的标记和解析的当前技术水平。特别是，它们还改进了基于多语言维基百科的上下文嵌入（多语言BERT），这几乎总是构成了以前的最新技术水平，从而表明更大，更多样化的语料库的好处超过了多语言嵌入架构的跨语言好处。
2020-06-18 cs.CL
Continual Learning in Multilingual NMT via Language-Specific Embeddings
NAVER LABS Europe（NAVER LABS 欧洲）
本文提出了一种新的源语言或目标语言添加到现有的多语言NMT模型，而无需重新训练它的初始语言集的技术。它包括用一个小的特定于语言的词汇表替换共享词汇表，并在新语言的并行数据上微调新嵌入。可以训练一些附加的语言特定组件以提高性能（例如，Transformer层或适配器模块）。由于原始模型的参数未被修改，因此其在初始语言上的性能不会降低。我们在两组实验（TED Talks上的小规模实验和ParaCrawl上的大规模实验）中表明，这种方法的性能与成本更高的替代方案一样好或更好;并且它具有出色的zero-shot性能：以英语为中心的数据的训练足以在新语言和任何初始语言之间进行翻译。
2021-10-20 cs.CL
OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Bosch Center for Artificial Intelligence（博世人工智能中心）
提出OFA框架，通过注入外部多语言静态词向量对齐知识并利用矩阵分解减少参数，高效初始化未见子词嵌入，加速多语言持续预训练收敛并提升跨语言任务性能。
2024-03-25 cs.CL
SEA-CLIP-Tiny: Efficient Multilingual Text-Vision Embedding for Southeast Asian Languages
SEACrowd；University of Indonesia（印度尼西亚大学）；Cohere Labs Community（Cohere Labs 社区）；Technical University of Denmark（丹麦技术大学）；Chulalongkorn University（朱拉隆功大学）；Vidyasirimedhi Institute of Science and Technology（维迪亚西里梅迪科学技术研究所）；AI Singapore（新加坡人工智能）
本文提出SEA-CLIP-Tiny，一个参数少于50M的紧凑多语言文本-视觉嵌入模型，通过区域数据整理和CLIP-KD风格框架适配东南亚语言，在七种语言上取得最优平均检索性能，并比MobileCLIP2参数减少38.4%、R@10提升12.1点。
2026-09-30 cs.CL
Benchmarking Cross-Lingual Semantic Alignment in Multilingual Embeddings
本研究提出语义亲和力指标，评估多语言嵌入的跨语言语义对齐，发现训练目标而非规模决定对齐效果，强调显式翻译监督的重要性。
2025-12-29 cs.CL
Unsupervised Transfer Learning in Multilingual Neural Machine Translation with Cross-Lingual Word Embeddings
Institute for Anthropomatics and Robotics（人机与机器人研究所）；KIT - Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在这项工作中，我们研究以无监督的方式向多语言NMT系统添加一种新语言。在利用预先训练的跨语言词嵌入的情况下，我们试图利用语言独立的多语言句子表示来轻松地推广到新的语言。在使用跨语言嵌入进行单词查找时，我们从一个完全看不见的源语言解码，这个过程我们称之为盲解码。使用包含几种罗曼语的基本语言从葡萄牙语中盲目解码，我们获得了葡萄牙语-英语的36.4 BLEU和俄语-英语的12.8 BLEU。为了训练从编码器语句表示到新的目标语言的映射，我们使用我们的模型作为自动编码器。仅仅是训练从葡萄牙语翻译到葡萄牙语，同时冻结编码器，我们就可以在英语-葡萄牙语上实现26 BLEU，并且在向输入添加人工噪声时达到28 BLEU。最后，我们通过非迭代回译探索了一种更实用的自适应方法，利用我们的模型通过盲解码产生高质量翻译的能力。这给我们带来了34.6 BLEU的英语-葡萄牙语，达到接近平价的模型适应真正的双语数据。
2021-03-11 cs.CL
Characterizing the Effects of Translation on Intertextuality using Multilingual Embedding Spaces
University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究利用多语言嵌入空间度量互文性在人工与机器翻译中的保留程度，以《圣经》为语料，提出语料库级指标并定量分析，发现人工翻译会放大文学特征，机器翻译则呈中性基线。
2025-01-18 cs.CL
The Impact of Positional Encodings on Multilingual Compression
University of Oslo（奥斯陆大学）；University of Copenhagen（哥本哈根大学）
为了在非自回归设置中保留词序信息，Transformer架构倾向于通过（例如）向令牌嵌入添加位置编码来包括位置知识。在原始Transformer架构中使用的正弦位置编码上已经提出了几种修改;例如，这些修改包括分离位置编码和标记嵌入，或者基于单词对之间的距离直接修改注意力权重。我们首先表明，令人惊讶的是，虽然这些修改往往会改善单语语言模型，没有一个更好的多语言语言模型的结果。然后我们回答为什么：正弦编码被明确设计为通过允许在任意时间步长上的线性投影来促进组合性。多语言训练分布的差异越大，就需要更高的压缩，在这种情况下，组合性就变得不可或缺。学习的绝对位置编码（例如，在mBERT中）倾向于在多语言环境中近似正弦嵌入，但更复杂的位置编码架构缺乏有效学习组合性和跨语言对齐的归纳偏差。换句话说，虽然正弦位置编码最初是为单语应用设计的，但它们在多语言语言模型中特别有用。
2021-09-11 cs.CL
EMS: Efficient and Effective Massively Multilingual Sentence Embedding Learning
Kyoto University（京都大学）
本文提出 EMS 模型，通过跨语言 token 级重构和句子级对比学习，在显著减少平行数据和 GPU 资源下高效训练大规模多语言句子嵌入，并在多项跨语言任务中取得优异表现。
2024-05-30 cs.CL
Beyond Bilingual: Multi-sense Word Embeddings using Multilingual Context
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Virginia（弗吉尼亚大学）；Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
词嵌入将词表示为向量空间中的一个点，它在几个NLP任务中无处不在。最近的一系列工作使用双语（两种语言）语料库来学习一个词的每个意义的不同向量，通过利用跨语言信号来帮助意义识别。我们提出了一种多视图贝叶斯非参数算法，该算法通过（a）使用多语言（即，两种以上的语言）语料库，以显着提高意义嵌入超过一个人实现双语信息，和（b）使用一个原则性的方法来学习一个变量数量的意义，每个字，在数据驱动的方式。我们的方法是第一种能够有效利用多语言语料库进行多意义表示学习的方法。实验表明，多语言训练通过允许我们结合不同的平行语料库来利用多语言上下文，从而显着提高了单语和双语训练的性能。多语言训练产生的性能与在五倍以上的训练数据上训练的最先进的单语言模型相当。
2017-06-25 cs.CL cs.LG
Multilingual Culture-Independent Word Analogy Datasets
University of Ljubljana（卢布尔雅那大学）；University of Helsinki（赫尔辛基大学）；University of Tartu（塔尔图大学）；University of Latvia（拉脱维亚大学）
在文本处理中，深度神经网络大多使用词嵌入作为输入。嵌入必须确保词之间的关系通过高维数字空间中的距离来反映。为了比较不同文本嵌入的质量，我们通常使用基准数据集。我们提出了一个这样的数据集收集的单词类比任务在九种语言：克罗地亚语，英语，爱沙尼亚语，芬兰语，拉脱维亚语，立陶宛语，俄语，斯洛文尼亚语和瑞典语。我们重新设计了最初的单语类比任务，使其更具文化独立性，并为所涉及的语言构建了跨语言类比数据集。我们使用fastText嵌入来呈现所创建数据集的基本统计数据及其初始评估。
2020-03-27 cs.CL
RC3: Regularized Contrastive Cross-lingual Cross-modal Pre-training
Tencent Inc（腾讯公司）；Beijing Jiaotong University（北京交通大学）；Xiamen University（厦门大学）
针对多语言视觉-语言预训练依赖严格对齐数据且成本高昂的问题，提出RC^3方法，利用弱对齐数据并通过正则化对比学习约束表示，在6种语言的5个下游任务上取得更优性能。
2023-05-13 cs.CL
Text Embedding Inversion Security for Multilingual Language Models
Aalborg University（奥尔堡大学）
本文首次研究多语言LLM的嵌入逆向攻击，发现多语言模型更易受攻击且英语防御可能失效，并提出一种对单语言和多语言模型均有效的掩码防御方法。
2024-06-05 cs.AI cs.CL cs.CR
Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation
Yıldız Technical University（Yıldız技术大学）；Istanbul Bilgi University（伊斯坦布尔比尔格大学）
提出一种高效的三阶段适应流程，通过跨语言分词器优化、教师模型克隆和离线蒸馏，构建了土耳其语句子嵌入模型embeddingmagibu-200m，在STSbTR上超越教师模型，并在TR-MTEB上以更少参数达到竞争性能。
2026-05-28 cs.CL
Hubness, Not Anisotropy, Drives Cross-Lingual Retrieval Asymmetry in Multilingual Embedding Models
Department of Computer Science and Engineering（计算机科学与工程系）
本文通过实验证明，在多语言嵌入模型中，中心性（hubness）是导致跨语言检索不对称性的主要几何病理因素，而非各向异性、质心漂移或向量幅度，并推荐使用CSLS替代余弦相似度作为默认检索度量。
2026-05-26 cs.CL
A Simple Approach to Learning Unsupervised Multilingual Embeddings
Microsoft India（微软印度）
双语环境下跨语言嵌入的无监督学习的最新进展推动了在没有任何监督的情况下学习几种语言的共享嵌入空间。解决后一个问题的流行框架是联合解决以下两个子问题：1）学习几对语言之间的无监督单词对齐，以及2）学习如何将每种语言的单语嵌入映射到共享的多语言空间。相比之下，我们提出了一个简单的，两个阶段的框架，我们解耦上述两个子问题，并分别使用现有的技术解决它们。该方法在双语词典归纳、跨语言词相似度、多语言文档分类和多语言依存句法分析等任务中获得了令人惊讶的良好性能。当涉及远距离语言时，所提出的解决方案说明了鲁棒性，并且优于现有的无监督多语言词嵌入方法。总的来说，我们的实验结果鼓励开发多阶段模型，这样的挑战性问题。
2020-04-20 cs.CL cs.LG stat.ML
Multilingual Transfer Learning for QA Using Translation as Data Augmentation
IBM Research AI Thomas J. Watson Research Center（IBM研究AI托马斯·J·沃森研究中心）
之前关于多语言问答的工作主要集中在使用大型多语言预训练语言模型（LM）来执行zero-shot语言学习：训练英语QA模型并测试其他语言。在这项工作中，我们探索的策略，提高跨语言迁移，使多语言嵌入更接近的语义空间。我们的第一个策略是用机器翻译生成的数据来增强原始的英语训练数据。这导致多语言银标记QA对的语料库比原始训练集大14倍。此外，我们提出了两种新的策略，语言对抗训练和语言仲裁框架，显着提高（零资源）跨语言迁移的性能，并导致LM嵌入的语言变量较少。从经验上讲，我们表明，所提出的模型优于以前的zero-shot基线上最近推出的多语言MLQA和TyDiQA数据集。
2020-12-10 cs.CL
Image search using multilingual texts: a cross-modal learning approach between image and text
Qwant Research（Qwant研究院）
多语言（或跨语言）嵌入在唯一的向量空间中表示几种语言。使用公共嵌入空间使得来自不同语言的单词之间能够共享语义。在本文中，我们建议将图像和文本嵌入到一个独特的分布式向量空间，使搜索图像通过使用文本查询表达相关的信息需求的图像（视觉）内容，以及使用图像相似性。我们的框架强制图像的表示与描述它的文本的表示相似。此外，通过使用多语言嵌入，我们确保来自两种不同语言的单词具有接近的描述符，从而被附加到相似的图像上。我们通过在两个数据集上进行实验来证明我们的方法的效率：COontext中的公共对象（COCO）[19]和Multi30K [7]。
2019-05-14 cs.CL cs.CV
Bilingual Embeddings with Random Walks over Multilingual Wordnets
UPV/EHU（巴斯克地区大学）
双语词嵌入在同一空间中表示两种语言的单词，并且允许在没有机器翻译的情况下将知识从一种语言转移到另一种语言。主要方法是首先训练单语嵌入，然后使用双语词典映射它们。在这项工作中，我们提出了一种新的方法来学习双语嵌入基于多语言知识库（KB），如WordNet。我们的方法通过随机游走从多语言词网中提取双语信息，并一次性学习联合嵌入空间。我们在流行的skipgram模型的损失函数中添加双语约束，进一步加强跨语言等效性。我们的实验涉及12个跨语言词汇相似度和相关度数据集，包括4种语言的6个语言对，实验结果表明：1）多语言词网的随机游走比仅使用词典的搜索结果有所改善; 2）多语言词网本身在相似度数据集上比基于文本的系统有所改善; 3）对于大的字网，（如英文、西班牙文）、较小的字网（例如巴斯克语）或松散对齐的词网（例如意大利语）; 4）词网和文本的组合产生最佳结果，高于基于映射的方法。我们的方法可以应用于更丰富的知识库，如DBpedia或Babel-Net，并可以很容易地扩展到多语言嵌入。所有软件和资源都是开源的。
2018-04-23 cs.AI cs.CL
Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer
Microsoft Research AI（微软研究院人工智能）；University of California, Los Angeles（加州大学洛杉矶分校）
多语言表示将来自许多语言的单词嵌入到单个语义空间中，使得具有相似含义的单词彼此接近，而不管语言。这些嵌入已被广泛用于各种环境中，例如跨语言迁移，其中在一种语言上训练的自然语言处理（NLP）模型被部署到另一种语言。虽然跨语言迁移技术是强大的，他们携带性别偏见从源语言到目标语言。在本文中，我们研究了多语言嵌入中的性别偏见以及它如何影响自然语言处理应用程序的迁移学习。我们创建了一个多语言数据集的偏见分析，并提出了几种方法来量化偏见的多语言表示从内在和外在的角度。实验结果表明，当我们将嵌入对齐到不同的目标空间时，多语言表示中的偏差大小会发生不同的变化，并且对齐方向也会对迁移学习中的偏差产生影响。我们还提供了使用多语言单词表示的下游任务的建议。
2020-05-02 cs.CL cs.CY cs.LG
Evaluation of contextual embeddings on less-resourced languages
University of Ljubljana（卢布尔雅那大学）；Queen Mary University of London（伦敦玛丽女王大学）；Jožef Stefan Institute（约泽夫·斯蒂芬研究所）
目前深度神经网络在自然语言处理中的主导地位是基于上下文嵌入，如ELMo，BERT和BERT衍生物。大多数现有的工作集中在英语，相比之下，我们在这里提出的第一个多语言的实证比较两个ELMo和几个单语和多语言的BERT模型使用14个任务，在9种语言。在单语环境中，我们的分析表明，单语BERT模型通常占主导地位，有一些例外，如依存句法分析任务，在那里他们是没有竞争力的ELMo模型上训练的大型语料库。在跨语言环境中，仅使用少数语言训练的BERT模型表现最好，紧随其后的是大规模多语言BERT模型。
2021-07-22 cs.CL
Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
为了提高神经机器翻译（NMT）在低资源语言（LRL）上的性能，一个有效的策略是利用相关高资源语言（HRL）的并行数据。然而，已经发现多语言数据对于从LRL翻译成目标语言的NMT模型比翻译成LRL的NMT模型更有益。在本文中，我们的目标是提高多语言传输的NMT模型，翻译\emph{into}的LRL的有效性，通过设计一个更好的解码器词嵌入。扩展的通用多语言编码方法软解耦编码~ \citep{SDE}，我们提出Decompression，一个高效的字符n-gram为基础的嵌入专门设计的NMT解码器。我们的实验表明，Deconstruct在从英语翻译到四种不同语言时，可以获得高达1.8 BLEU的一致收益。
2020-10-04 cs.CL
Transformer based Multilingual document Embedding model
The Hong Kong University of Science and Technology（香港科技大学）
当前最先进的多语言文档嵌入模型LASER之一是基于双向LSTM神经机器翻译模型。本文提出了一个基于transformer的句子/文档嵌入模型T-LASER，它做了三个显著的改进。首先，BiLSTM层被基于注意力的Transformer层取代，后者更能够在较长的文本中学习序列模式。其次，由于没有递归，T-LASER可以在编码器中实现更快的并行计算，以生成文本嵌入。第三，我们增加了一个新的距离约束损失的NMT翻译损失函数。这种距离约束的丢失将进一步使平行句子的嵌入在向量空间中靠近在一起;我们将使用距离约束训练的T-LASER模型称为cT-LASER。我们的cT-LASER模型显著优于基于BiLSTM的LASER和更简单的基于变压器的T-LASER。
2020-08-20 cs.CL cs.LG
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI；Inria（法国国家信息与自动化研究所）
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后，我们比较了解码这些多模式和多语言固定大小表示的不同方法，从而实现语言和模式之间的零镜头翻译（zero-shot translation）。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示，我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是，我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器，我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Gender Bias in Multilingual Neural Machine Translation: The Architecture Matters
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
多语言神经机器翻译体系结构的差异主要在于语言之间共享模块和参数的数量。在本文中，从算法的角度来看，我们探讨了当使用相同的数据进行训练时，所选择的架构是否会影响性别偏见的准确性。在四个语言对的实验表明，特定于存储的编码器-解码器表现出更少的偏见比共享的编码器-解码器架构。进一步对源语嵌入和注意力的可解释性分析表明，在特定性别的情况下，源语嵌入编码了更多的性别信息，其注意力更容易被转移。这两种行为都有助于减轻性别偏见。
2020-12-24 cs.CL
Linear Cross-Lingual Mapping of Sentence Embeddings
Primer Technologies Inc.（普里默技术公司）
本文假设句子语义在翻译中应更好保留，提出利用简单的线性跨语言映射改进多语言句子嵌入，并将偏离正交条件的程度作为嵌入缺陷的度量。
2024-06-27 cs.CL
Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization
National Taiwan University（台湾大学）
多语言BERT（m-BERT）中的标记嵌入包含语言和语义信息。我们发现，一种语言的表示可以通过简单地平均嵌入的语言的令牌。给定这种语言表示，我们通过操纵令牌嵌入来控制多语言BERT的输出语言，从而实现无监督的令牌翻译。我们进一步提出了一个计算成本低，但有效的方法来提高跨语言的能力m-BERT基于这一观察。
2021-11-01 cs.AI cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University（乌普萨拉大学）；Dep. of Linguistics and Philology（语言学与文献学系）
我们探讨了多语言神经机器翻译模型的可移植性，看不见的语言时，转移是完全基于跨语言的词嵌入。我们的实验结果表明，翻译知识可以弱迁移到其他语言，可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面，并建议如何减轻限制。
2020-11-03 cs.CL
Revisiting Language Encoding in Learning Multilingual Representations
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）；Microsoft Research（微软研究院）
Transformer已经展示了它在单个模型中学习多种语言的上下文单词表示的强大功能。为了在模型中处理多语言句子，通常为每种语言分配一个可学习的向量，这被称为“语言嵌入”。语言嵌入既可以添加到词嵌入中，也可以附加在句首。它充当特定于语言的信号，供Transformer跨语言捕获上下文表示。在本文中，我们重新使用的语言嵌入，并确定在现有的配方中的几个问题。通过考察自我注意模块中语言嵌入和词嵌入之间的相互作用，发现现有方法不能很好地反映特定语言的词相关性。鉴于这些发现，我们提出了一种新的方法，称为跨语言语言投影（XLP），以取代语言嵌入。对于一个句子，XLP将词嵌入投影到语言特定的语义空间中，然后将投影的嵌入馈送到Transformer模型中，以处理其语言特定的含义。通过这种方式，XLP实现了在多语言Transformer模型中对“语言”进行适当编码的目的。实验结果表明，XLP可以自由和显着提高模型的性能在广泛的多语言基准数据集。代码和模型将在https://github.com/lsj2408/XLP上发布。
2021-02-16 cs.CL cs.LG
Are Multilingual Models Effective in Code-Switching?
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
多语言语言模型在多语言和跨语言自然语言理解任务中表现出了良好的性能。然而，这些多语言模型在语码转换任务中的作用还没有得到充分的研究。在本文中，我们研究的多语言语言模型的有效性，了解他们的能力和适应性的混合语言设置考虑的推理速度，性能和参数的数量来衡量其实用性。我们在三种语言对上进行了命名实体识别和词性标注的实验，并将它们与现有的方法进行了比较，例如使用双语嵌入和多语言元嵌入。我们的研究结果表明，预先训练的多语言模型不一定能保证代码转换的高质量表示，而使用元嵌入可以用更少的参数实现类似的结果。
2021-03-24 cs.CL cs.LG
Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings
AWS（亚马逊）
本文提出在微调过程中使用最优传输作为对齐目标，以提升多语言上下文表示，无需预训练词对齐，通过上下文无监督学习词对齐，实现不同映射类型，实验在XNLI和XQuAD任务上取得优于基线的改进。
2021-10-06 cs.AI cs.CL
C2KD: Cross-Lingual Cross-Modal Knowledge Distillation for Multilingual Text-Video Retrieval
MIT（麻省理工学院）；Goethe University Frankfurt（法兰克福歌德大学）；IBM Research AI（IBM人工智能研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
提出跨语言跨模态知识蒸馏方法，利用英语教师模型指导多语言学生模型，并构建Multi-YouCook2数据集，提升多语言文本-视频检索性能。
2023-05-09 cs.CL cs.CV cs.MM
Co-training Embeddings of Knowledge Graphs and Entity Descriptions for Cross-lingual Entity Alignment
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
多语言知识图谱（KG）嵌入提供了实体和结构化知识的潜在语义表示和跨语言推理，有利于各种知识驱动的跨语言NLP任务。然而，精确地学习这样的跨语言推理通常是阻碍了低覆盖率的实体对齐在许多知识库。由于许多多语言KG也提供实体的文字描述，在本文中，我们介绍了一种基于嵌入的方法，利用弱对齐的多语言KG使用实体描述进行半监督跨语言学习。我们的方法执行两个嵌入模型的联合训练，即多语言KG嵌入模型和多语言文字描述嵌入模型。这些模型是在一个基于维基百科的大型三语数据集上训练的，其中大多数实体对齐对训练来说是未知的。实验结果表明，该方法在实体对齐任务上的性能在每次迭代的协同训练中都有所提高，并最终达到显著超过以前方法的阶段。我们还表明，我们的方法有前途的能力zero-shot实体对齐，跨语言KG完成。
2018-06-18 cs.AI cs.CL
Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond
University of the Basque Country (UPV/EHU)（巴斯克大学）；Facebook AI Research（Facebook人工智能研究院）
我们引入了一个架构来学习93种语言的联合多语言句子表示，这些语言属于30多个不同的家族，用28种不同的脚本编写。我们的系统使用单个BiLSTM编码器，具有所有语言的共享BPE词汇表，该编码器与辅助解码器相结合，并在公开可用的并行语料库上进行训练。这使我们能够仅使用英文注释数据在生成的嵌入之上学习分类器，并将其转换为93种语言中的任何一种而无需任何修改。在跨语言自然语言推理（XNLI数据集）、跨语言文档分类（MLDoc数据集）和并行语料挖掘（BUCC数据集）上的实验表明了该方法的有效性。我们还介绍了一个新的测试集对齐的句子在112种语言，并表明，我们的句子嵌入获得强大的结果，即使在多语言的相似性搜索低资源的语言。我们的实现、预训练的编码器和多语言测试集可在https://github.com/facebookresearch/LASER上获得
2019-09-25 cs.AI cs.CL cs.LG
Unsupervised Cross-lingual Word Embedding by Multilingual Neural Language Models
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
我们提出了一种无监督的方法来获得跨语言嵌入，而无需任何并行数据或预训练的词嵌入。我们称之为多语言神经语言模型的模型以多种语言的句子作为输入。该模型包含双向LSTM，作为前向和后向语言模型，这些网络在所有语言之间共享。其他参数，即词嵌入和隐藏状态与输出之间的线性变换，是特定于每种语言的。共享的LSTM可以捕获所有语言之间的共同句子结构。因此，每种语言的词嵌入被映射到公共潜在空间中，使得可以跨多种语言测量词的相似性。我们评估跨语言的词嵌入的词对齐任务的质量。我们的实验表明，我们的模型可以获得比现有的无监督模型更高质量的跨语言嵌入时，只有少量的单语数据（即50k句子），或单语数据的域是不同的语言。
2018-09-07 cs.AI cs.CL cs.LG
Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment
UCLA（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
最近的许多工作已经证明了知识图谱嵌入在完成单语知识图谱方面的好处。由于相关的知识库是用几种不同的语言构建的，因此实现跨语言知识对齐将有助于人们构建连贯的知识库，并帮助机器处理不同人类语言之间实体关系的不同表达。不幸的是，通过人工实现这种高度期望的跨舌对齐是非常昂贵且容易出错的。因此，我们提出了MTransE，一个基于推理的多语言知识图谱嵌入模型，提供了一个简单的和自动化的解决方案。通过在单独的嵌入空间中编码每种语言的实体和关系，MTransE为每个嵌入向量提供了到其他空间中的跨语言对应物的转换，同时保留了单语嵌入的功能。我们部署了三种不同的技术来表示跨语言的过渡，即轴校准，平移向量和线性变换，并得出五个变种MTransE使用不同的损失函数。我们的模型可以在部分对齐的图上进行训练，其中只有一小部分三元组与跨语言对应项对齐。跨语言实体匹配和三重对齐验证的实验显示了良好的效果，一些变体在不同的任务中始终优于其他变体。我们还探讨了MTransE如何保留其单语对应物transE的关键属性。
2017-05-17 cs.AI cs.CL
Multilingual Music Genre Embeddings for Effective Cross-Lingual Music Item Annotation
Deezer Research（Deezer研究院）
用音乐类型来注释音乐项对于音乐推荐和信息检索是至关重要的，但由于音乐类型是主观概念，因此具有挑战性。最近，为了明确地考虑这种主观性，音乐项目的注释被建模为翻译任务：从一组源自其他标签系统的音乐流派标签中预测音乐项目在目标词汇或分类（标签系统）内的音乐流派。然而，如果没有一个平行的语料库，以前的解决方案不能处理其他语言的标签系统，仅限于英语。在这里，通过学习多语言音乐流派嵌入，我们可以在不依赖于平行语料库的情况下进行跨语言音乐流派翻译。首先，我们在预训练的词嵌入上应用组合性函数来表示多词标签。其次，我们通过利用多语言音乐流派图和改进的改进算法来调整标签表示以适应音乐领域。实验表明，我们的方法：1）在翻译多种语言（英语，法语和西班牙语）的标签系统的音乐类型是有效的; 2）在英语多源翻译任务中优于以前的基线。我们公开发布新的多语言数据和代码。
2020-09-16 cs.CL cs.IR cs.LG
English Contrastive Learning Can Learn Universal Cross-lingual Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
通用跨语言句子嵌入将语义相似的跨语言句子映射到共享的嵌入空间中。对齐跨语言句子嵌入通常需要监督的跨语言平行句子。在这项工作中，我们提出了mSimCSE，它扩展SimCSE到多语言设置，并揭示了英语数据的对比学习可以令人惊讶地学习高质量的通用跨语言句子嵌入，而无需任何并行数据。在无监督和弱监督的设置，mSimCSE显着改善了以前的跨语言检索和多语言STS任务的句子嵌入方法。在检索低资源语言和多语言STS方面，无监督mSimCSE的性能与完全监督方法相当。当跨语言NLI数据可用时，性能可以进一步增强。我们的代码可在https://github.com/yaushian/mSimCSE上公开获取。
2022-11-11 cs.AI cs.CL
ALIGN-MLM: Word Embedding Alignment is Crucial for Multilingual Pre-training
Princeton University（普林斯顿大学）
多语言预训练模型表现出zero-shot跨语言迁移，其中在源语言上微调的模型在目标语言上实现了令人惊讶的良好性能。虽然研究试图理解迁移，但它们只关注MLM，而自然语言之间的大量差异使得很难理清不同属性的重要性。在这项工作中，我们特别强调了词嵌入对齐的重要性，提出了一个预训练目标（ALIGN-MLM），其辅助损失引导不同语言中的相似词具有相似的词嵌入。当我们评估自然语言和通过系统地修改脚本等特定属性创建的对应语言之间的传输时，ALIGN-MLM优于或匹配三个广泛采用的目标（MLM，XLM，DICT-MLM）。特别是，ALIGN-MLM在POS标记上比XLM和MLM高出35和30个F1点，用于在脚本和词序（从左到右与从左到右）都不同的语言之间进行传输。从右到左）。我们还显示了所有目标的对齐和转移之间的强相关性（例如，rho=0.727（对于XNLI）），这与ALIGN-MLM的强大性能一起要求显式对齐多语言模型的词嵌入。
2022-11-15 cs.AI cs.CL cs.LG
Learning to Unify Audio, Visual and Text for Audio-Enhanced Multilingual Visual Answer Localization
Systems Engineering Institute（系统工程研究所）；Xi’an Jiaotong University（西安交通大学）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）；Chinese Academy of Sciences（中国科学院）
针对多语言视觉答案定位中忽略音频导致信息不完整的问题，提出统一音频-视觉-文本跨度定位方法，整合三模态特征并设计一致性模块，实验证明优于现有最先进方法。
2024-11-05 cs.AI cs.CL cs.HC
Multilingual Offensive Language Identification with Cross-lingual Embeddings
University of Wolverhampton（伍尔弗汉普顿大学）；Rochester Institute of Technology（罗切斯特理工学院）
攻击性内容在社交媒体中无处不在，也是公司和政府组织关注的一个原因。最近发表了几项研究报告，探讨了检测各种形式的此类内容（如仇恨言论、网络欺凌和网络攻击）的方法。这些研究中的大多数都涉及英语，部分原因是大多数注释数据集包含英语数据。在本文中，我们利用英语数据，通过应用跨语言的上下文词嵌入和迁移学习，使预测的语言资源较少。我们对孟加拉语，印地语和西班牙语的可比数据进行预测，并报告孟加拉语的0.8415 F1宏，印地语的0.8568 F1宏和西班牙语的0.7513 F1宏的结果。最后，我们表明，我们的方法相比，这三种语言的最好的系统提交给最近的共享任务，确认跨语言的上下文嵌入和迁移学习这项任务的鲁棒性。
2020-10-11 cs.CL cs.LG
Bootstrapping Multilingual AMR with Contextual Word Alignments
University of Pennsylvania（宾夕法尼亚大学）；IBM Research（IBM研究院）
我们开发了高性能的多语言抽象意义表示（AMR）系统，通过投影英语AMR注释到其他语言的弱监督。我们通过引导基于transformer的多语言词嵌入来实现这一目标，特别是那些来自跨语言RoberTa（XLM-R large）的词嵌入。我们开发了一种新的技术，用于外国文本到英语AMR对齐，使用英语和外语标记之间的上下文单词对齐。这种词对齐是弱监督的，依赖于上下文化的XLM-R词嵌入。我们实现了非常有竞争力的性能，超过了德语，意大利语，西班牙语和中文的最佳结果。
2021-02-03 cs.AI cs.CL
Are the Best Multilingual Document Embeddings simply Based on Sentence Embeddings?
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
本文系统比较了基于 LASER、LaBSE 和 Sentence BERT 的多语言文档嵌入方法，发现在 8 种语言的多语言与跨语言任务中，巧妙组合句子嵌入通常优于直接编码完整文档，且分类任务可用简单平均，语义任务则需更复杂组合。
2023-04-28 cs.CL cs.IR
Adversarial Learning with Contextual Embeddings for Zero-resource Cross-lingual Classification and NER
Amazon Inc.（亚马逊公司）
上下文词嵌入（例如GPT、BERT、ELMo等）在各种NLP任务上表现出最先进的性能。最近对多语言版本的BERT的研究表明，该模型在zero-shot和零资源跨语言设置中表现非常好，其中仅使用标记的英语数据来微调模型。我们通过对抗学习来改进多语言BERT的零资源跨语言性能。我们报告的多语言MLDoc文本分类和CoNLL 2002/2003命名实体识别任务的改进幅度。此外，我们表明，语言对抗训练鼓励BERT对齐英语文档及其翻译的嵌入，这可能是观察到的性能增益的原因。
2020-03-19 cs.CL cs.LG
Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings
University of the Basque Country (UPV/EHU)（巴斯克大学）；Facebook AI Research（Facebook人工智能研究院）
机器翻译对训练数据的大小和质量高度敏感，这使得人们对收集和过滤大型并行语料库的兴趣越来越大。在本文中，我们提出了一种新的方法，这一任务的基础上，多语言句子嵌入。与以前的方法相比，这些方法依赖于最近邻检索，在余弦相似性上具有硬阈值，我们所提出的方法考虑了这种测量的尺度不一致性，而是考虑给定句子对与其最接近的候选者之间的间隔。我们的实验表明，现有的方法有很大的改进。我们在BUCC采矿任务和联合国重建任务上的表现分别超过了10个F1和30个精度点。使用我们的方法过滤英语-德语ParaCrawl语料库，我们在newest 2014上获得31.2 BLEU点，比最好的官方过滤版本提高了一个多点。
2019-08-07 cs.AI cs.CL cs.LG
Llama-Embed-Nemotron-8B: A Universal Text Embedding Model for Multilingual and Cross-Lingual Tasks
本文提出开源文本嵌入模型Llama-Embed-Nemotron-8B，通过1610万查询-文档对的数据混合与详细消融研究，在多语言及跨语言任务上取得最先进性能，并支持用户自定义指令以增强特定用例表现。
2025-11-10 cs.CL cs.IR
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA（谷歌（美国））
我们提出了mSLAM，一种多语言语音和语言模型，它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合，以及配对语音和转录数据的连接主义时间分类（CTC）损失，以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM，发现与仅语音预训练相比，与文本的联合预训练提高了语音翻译，语音意图分类和语音语言识别的质量，同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译，而无需看到任何文本翻译数据，为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调，通过在微调过程中直接利用文本翻译数据，进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战，为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
News Without Borders: Domain Adaptation of Multilingual Sentence Embeddings for Cross-lingual News Recommendation
University of Mannheim（曼海姆大学）；Center For Artificial Intelligence and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）
针对跨语言新闻推荐中零样本迁移性能差及微调成本高的问题，提出新闻适配句子编码器NaSE，利用多语言新闻语料库，在冷启动和少样本场景下达到最先进性能。
2025-01-17 cs.AI cs.CL cs.IR
Steering into New Embedding Spaces: Analyzing Cross-Lingual Alignment Induced by Model Interventions in Multilingual Language Models
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
本文研究通过模型干预而非微调来增强多语言大语言模型的跨语言对齐，发现操控特定神经元可改变嵌入空间并提升跨语言检索性能，top-1准确率最高提升2倍。
2025-07-21 cs.AI cs.CL cs.LG
Discovering Lexical Gaps Using Embeddings from Multilingual LLMs
Department of Cognitive Science, University of California San Diego（加州大学圣地亚哥分校认知科学系）
提出一种数据驱动框架，通过多语言大语言模型的上下文嵌入计算语义相似度，以识别跨语言词汇空缺，在韩英和英韩方向上分别达到0.81和0.76的AUC。
2026-05-23 cs.CL cs.LG
Do Llamas Work in English? On the Latent Language of Multilingual Transformers
EPFL（洛桑联邦理工学院）
本文以 Llama-2 为对象，通过追踪多语言 Transformer 中间嵌入，发现其推理经历输入空间、概念空间和输出空间三阶段，且概念空间更接近英语，揭示其以英语为内部枢轴语言的倾向及潜在偏见来源。
2024-06-08 cs.CL cs.CY
