Improving Low-Resource Cross-lingual Document Retrieval by Reranking with Deep Bilingual Representations
Yale University（耶鲁大学）
在本文中，我们提出了提高低资源的跨语言文档检索性能与深双语查询文档表示。我们用四个组件匹配源语言和目标语言的查询和文档，每个组件都被实现为基于术语交互的深度神经网络，并将跨语言的词嵌入作为输入。通过将查询可能性分数作为额外的特征，我们的模型有效地学习通过使用少量的低资源语言对的相关性标签来重新排序检索到的文档。由于共享的跨语言词嵌入空间，该模型还可以直接应用于另一种语言对，而无需任何训练标签。在MATERIAL数据集上的实验结果表明，我们的模型在英语-斯瓦希里语、英语-塔吉语和英语-索马里语跨语言信息检索任务上的性能优于基于竞争的基线。
2019-06-08 cs.CL
Multilingual Generative Retrieval via Cross-lingual Semantic Compression
Faculty of Information Engineering and Automation, Kunming University of Science and Technology（信息工程与自动化学院，昆明理工大学）；Yunnan Key Laboratory of Artificial Intelligence（云南省人工智能重点实验室）
提出MGR-CSC框架，通过跨语言语义压缩统一多语言关键词为共享原子，并采用动态多步约束解码，解决多语言生成式检索中的标识符错位与膨胀问题，显著提升检索精度并压缩标识符长度。
2025-10-09 cs.CL
Improving Cross-lingual Information Retrieval on Low-Resource Languages via Optimal Transport Distillation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
得益于基于transformer的预训练语言模型，神经排序模型取得了重大进展。最近，多语言预训练语言模型的出现为设计神经跨语言检索模型提供了很大的支持。但是，由于不同语言的预训练数据不平衡，多语言语言模型在许多下游任务中已经表现出高资源语言和低资源语言之间的性能差距。基于这种预训练模型构建的跨语言检索模型可能会继承语言偏见，从而导致低资源语言的次优结果。此外，与英语到英语检索任务不同，在英语到英语检索任务中，可以获得用于文档排序的大规模训练集合，例如MS MARCO，缺乏用于低资源语言的跨语言检索数据使得训练跨语言检索模型更具挑战性。在这项工作中，我们提出了光学：低资源跨语言信息检索的最佳传输蒸馏。为了将模型从高资源语言转移到低资源语言，OPTICAL将跨语言标记对齐任务形成为最佳传输问题，以从经过良好训练的单语检索模型中学习。通过将跨语言知识与查询文档匹配知识分离，OPTICAL只需要双文本数据就可以进行提取训练，这对于低资源的语言来说更可行。实验结果表明，在训练数据最少的情况下，OPTICAL在低资源语言（包括神经机器翻译）上的表现明显优于强基线。
2023-01-29 cs.CL cs.IR
LAReQA: Language-agnostic answer retrieval from a multilingual pool
Google Research（谷歌研究院）
我们提出了LAReQA，一个具有挑战性的新基准语言无关的答案检索从多语言候选池。与以前的跨语言任务不同，LAReQA测试“强”跨语言对齐，要求语义相关的跨语言对在表示空间中比不相关的相同语言对更接近。基于多语言BERT（mBERT），我们研究了实现强对齐的不同策略。我们发现，通过机器翻译来增强训练数据是有效的，并且比使用mBERT开箱即用有显著的改进。有趣的是，在LAReQA上表现最好的嵌入基线低于我们任务的zero-shot变体上的竞争基线，这些变体仅针对“弱”对齐。这一发现强调了我们的主张，语言无关检索是一种新的跨语言评估。
2020-04-11 cs.CL cs.LG
ChemCLIR-Bench: Benchmarking Cross-Lingual Information Retrieval in Multilingual Chemical Patents
McMaster University（麦克马斯特大学）；BASF Canada Inc.（巴斯夫加拿大公司）
该工作构建了多语言化学专利CLIR基准，评估八种嵌入模型，发现跨语言检索性能显著下降，强调需更稳健的方法。
2026-09-22 cs.CL
XOR QA: Cross-lingual Open-Retrieval Question Answering
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Allen Institute for AI（艾伦人工智能研究所）
多语言问答任务通常假设答案与问题的语言相同。然而，在实践中，许多语言面临着信息稀缺和信息不对称两种情况，信息稀缺是指语言中几乎没有参考文章，信息不对称是指问题引用了来自其他文化的概念。这项工作扩展了开放检索问答的跨语言设置，使问题从一种语言回答通过回答内容从另一种语言。我们构建了一个大规模的数据集，该数据集基于缺乏相同语言答案的TyDi QA问题。我们的任务制定，称为跨语言开放检索问答（XOR QA），包括来自7种不同的非英语语言的40k信息搜索问题。基于这个数据集，我们介绍了三个新的任务，涉及跨语言的文档检索使用多语言和英语资源。我们使用最先进的机器翻译系统和跨语言预训练模型建立基线。实验结果表明，异或问答是一个具有挑战性的任务，将促进新技术的发展，多语言问答。我们的数据和代码可在https://nlp.cs.washington.edu/xorqa上获得。
2021-04-13 cs.CL
Cross-Lingual Low-Resource Set-to-Description Retrieval for Global E-Commerce
Peking University（北京大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Indiana University（印第安纳大学）
随着跨境电子商业的蓬勃发展，迫切需要设计智能化的方法来帮助电子商业卖家为来自世界各地的消费者提供当地产品。本文探讨了跨语言信息检索的一个新任务，即，跨境电子商业中的跨语言集合到描述检索，其涉及将源语言中的产品属性集合与目标语言中的有说服力的产品描述进行匹配。我们手动收集一个新的和高质量的配对数据集，其中每对包含一个无序的产品属性集的源语言和信息丰富的产品描述的目标语言。由于数据集构建过程既耗时又昂贵，新数据集仅包含13.5k对，这是一个低资源设置，可以被视为跨境电子商业模型开发和评估的具有挑战性的测试平台。为了解决这种跨语言集到描述检索任务，我们提出了一种新的跨语言匹配网络（CLMN）与增强的上下文相关的跨语言映射的预训练单语BERT表示。实验结果表明，我们提出的CLMN在具有挑战性的任务上产生了令人印象深刻的结果，并且与预训练的多语言BERT模型相比，BERT上的上下文相关的跨语言映射产生了显着的改进。
2020-05-17 cs.CL
Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization
University of Maryland, College Park（马里兰大学帕克分校）；Massachusetts Institute of Technology（麻省理工学院）
跨语言词嵌入（CLWE）是许多多语言自然语言处理系统的基础，通常通过预训练的单语言嵌入的正交变换。然而，正交映射只适用于嵌入自然同构的语言对。对于非同构对，我们的方法（迭代归一化）通过同时强制（1）单个单词向量为单位长度，以及（2）每种语言的平均向量为零，来转换单语嵌入，以使正交对齐更容易。迭代规范化一致地提高了三种CLWE方法的单词翻译准确度，其中在英语-日语上观察到的改进最大（从2%到44%的测试准确度）。
2019-11-11 cs.AI cs.CL cs.LG
Breaking Language Barriers with MMTweets: Advancing Cross-Lingual Debunked Narrative Retrieval for Fact-Checking
University of Sheffield（谢菲尔德大学）
本研究创建MMTweets数据集，引入跨语言已辟谣叙事检索任务，通过多阶段检索方法提升跨语言事实核查效率，并公开数据集与标注手册。
2024-08-20 cs.CL cs.CY cs.IR
Cross-lingual Contextualized Phrase Retrieval
Nara Institute of Science and Technology（奈良科学技术研究所）；Tencent AI Lab（腾讯AI实验室）
本文提出跨语言上下文化短语检索任务，利用平行句词对齐自动构建短语对，并通过对比学习训练CCPR，在短语检索和机器翻译任务上均取得显著提升。
2024-10-04 cs.CL
Unsupervised Cross-Lingual Information Retrieval using Monolingual Data Only
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
我们提出了一个完全无监督的框架ad-hoc跨语言信息检索（CLIR），不需要双语数据。该框架利用共享的跨语言词嵌入空间，在该空间中，可以表示术语、查询和文档，而不管它们的实际语言。共享的嵌入空间是通过基于对抗神经网络的迭代过程，仅基于两种语言的单语语料库而导出的。我们的实验上的标准CLEF CLIR集合的三种语言对不同程度的语言相似性（英语，荷兰语/意大利语/芬兰语）证明了所提出的完全无监督的方法的实用性。我们的无监督跨语言嵌入的CLIR模型优于使用依赖于单词级和文档级对齐的跨语言嵌入的基线。然后，我们证明了进一步的改进，可以实现无监督集成CLIR模型。我们相信，建议的框架是第一步，发展有效的语言对和域的并行数据是稀缺或不存在的CLIR模型。
2018-05-02 cs.CL
Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval
University of Minnesota（明尼苏达大学）；GE HealthCare（GE医疗）；University of Waterloo（滑铁卢大学）；Vectara（维克塔拉科技公司）
提出混合批次训练策略，同时优化单语、跨语言和多语言零样本检索，减轻语言偏差，并在多个基准上取得优于单一训练的结果。
2024-08-20 cs.CL cs.IR
Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval
Alibaba Group（阿里巴巴集团）
交互式和非交互式模型是基于向量的跨语言信息检索（V-CLIR）的两种事实标准框架，它们分别以同步和异步的方式嵌入查询和文档。从检索精度和计算效率的角度来看，每种模型都有自己的优势和不足。在本文中，我们提出了一个新的框架，以利用这两种范式的优势。具体地说，我们引入半交互式机制，建立我们的模型在非交互式架构，但编码每个文档连同其相关的多语言查询。因此，跨语言特征可以像交互式模型一样被更好地学习。此外，我们进一步转移知识从一个训练有素的互动模型，我们通过重用其词嵌入和采用知识蒸馏。我们的模型从多语言预训练的语言模型M-BERT初始化，并在来自维基百科的两个开放资源CLIR数据集和从现实世界的搜索引擎收集的内部数据集上进行评估。大量的分析表明，我们的方法显着提高检索精度，同时保持计算效率。
2021-11-03 cs.CL
Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval
Microsoft Research Asia（微软亚洲研究院）
针对跨语言稠密检索缺乏定制化多语言预训练模型的问题，该研究提出MSM模型，通过建模跨语言通用的序列句子关系，结合掩码句子预测任务与分层对比损失训练，显著提升了跨语言检索性能。
2025-09-05 cs.CL cs.IR
Automatic Data Retrieval for Cross Lingual Summarization
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务研究院）
本研究提出利用文本与视频新闻配对来自动获取跨语言摘要数据，实现英语到印地语的摘要，并构建基线进行错误分析。
2023-12-22 cs.CL
LëtzCross: A Cross-Lingual Page-Level Benchmark for Multimodal Retrieval over Luxembourgish Documents
University of Luxembourg（卢森堡大学）；King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学）
该研究推出LëtzCross基准，对比纯文本与ColPali式页面图像检索器，发现后者表现更优，还明确单语言微调中法语文对卢森堡语查询表现最高、多语言微调中纳入卢森堡语效果最强。
2026-08-25 cs.CL
COCO-CN for Cross-Lingual Image Tagging, Captioning and Retrieval
Renmin University of China（中国人民大学）
本文在数据和基线方法方面对跨语言图像标注和检索做出了贡献。我们提出了COCO-CN，一个新的数据集丰富MS-COCO与手工编写的中文句子和标签。为了更有效地获取注释，我们开发了一个辅助的集体注释系统，自动提供注释者与几个标签和句子被认为是相关的图片内容。COCO-CN拥有20，342张图片，标注了27，218个中文句子和70，993个标签，是目前最大的中英文数据集，为跨语言的图像标记，字幕和检索提供了统一和具有挑战性的平台。我们为每个任务开发概念上简单而有效的方法，用于从跨语言资源中学习。在这三个任务上进行的大量实验证明了所提出的数据集和方法的可行性。数据和代码可在https://github.com/li-xirong/coco-cn上公开获取
2019-01-15 cs.CL cs.CV
Simple Yet Effective Neural Ranking and Reranking Baselines for Cross-Lingual Information Retrieval
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；UNICAMP（坎皮纳斯州立大学）；Naver Labs Europe（Naver欧洲实验室）
本文针对跨语言信息检索（CLIR）方法繁多且可复现性差的问题，提出了一个基于多阶段架构的概念框架，并在Anserini和Pyserini工具包中实现了简单有效的可复现基线，为未来研究奠定基础。
2023-04-03 cs.CL cs.IR
Cross-lingual Document Retrieval using Regularized Wasserstein Distance
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）；Univ. Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；Univ. Claude Bernard Lyon 1（里昂第一大学）；UJM-Saint Etienne（圣艾蒂安大学）；Inserm（法国国家健康与医学研究院）；CREATIS UMR 5220（CREATIS联合研究单位5220）；U1206（U1206研究单位）
许多信息检索算法依赖于允许有效地比较不同性质的对象的良好距离的概念。最近，一个新的有前途的度量被称为词移动者的距离被提出来衡量文本段落之间的分歧。在本文中，我们证明了这个度量可以扩展到包含术语加权方案，并使用熵正则化在文档之间提供更准确和计算效率更高的匹配。我们评估的好处，这两个扩展的跨语言文档检索（CLDR）的任务。我们对8个CLDR问题的实验结果表明，所提出的方法实现了显着的改善，平均倒数排名相比，几个基线。
2018-05-11 cs.CL stat.ML
Beyond Ranked Lists: The SARAL Framework for Cross-Lingual Document Set Retrieval
Information Sciences Institute University of Southern California（信息科学研究所 美国南加州大学）
本文介绍 ISI 团队为 MATERIAL 计划提出的 SARAL 框架，该框架面向跨语言文档集检索而非传统排序列表，并在三种语言的六项评估中五项超越其他团队。
2025-11-05 cs.CL cs.IR
MIA 2022 Shared Task Submission: Leveraging Entity Representations, Dense-Sparse Hybrids, and Fusion-in-Decoder for Cross-Lingual Question Answering
Apple（苹果公司）
我们描述了我们的两阶段系统的多语言信息访问（MIA）2022跨语言开放检索问答共享任务。第一阶段包括多语种段落检索与混合密集和稀疏检索策略。第二阶段由一个阅读器组成，它输出第一阶段返回的顶部段落的答案。我们展示了在预训练中使用多语言语言模型与实体表示，稀疏检索信号以帮助稠密检索和解码器融合的有效性。在开发集上，我们在XOR-TyDi QA上获得43.46 F1，在MKQA上获得21.99 F1，平均F1得分为32.73。在测试集上，我们在XOR-TyDi QA上获得40.93 F1，在MKQA上获得22.29 F1，平均F1得分为31.61。我们在开发和测试集上都比官方基准提高了4个F1点。
2022-07-18 cs.CL
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
基于神经Transformer架构的预训练多语言文本编码器，如多语言BERT（mBERT）和XLM，在无数的语言理解任务上取得了很好的性能。因此，它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例，使跨语言词嵌入（CLWEs）有效地过时。然而，问题仍然存在，在何种程度上这一发现推广1）无监督的设置和2）特设跨语言IR（CLIR）的任务。因此，在这项工作中，我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR，我们证明了可以实现最先进的性能。然而，使用通用多语言文本编码器“现成的”并不能达到峰值性能，而是依赖于它们的变体，这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
The Cross-Lingual Cost: Retrieval Biases in RAG over Arabic-English Corpora
Technology Innovation Institute（技术创新研究所）
本研究针对阿拉伯语-英语跨语言RAG，发现检索是跨语言领域场景的关键瓶颈，并提出两种简单策略（平等检索或查询翻译）显著提升跨语言与整体性能。
2025-10-27 cs.AI cs.CL cs.IR
Improving Cross-lingual Representation for Semantic Retrieval with Code-switching
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Xinjiang Laboratory of Multi-Language Information Technology, Xinjiang University（新疆多语言信息技术实验室）；Xinjiang Multilingual Information Technology Research Center, Xinjiang University（新疆多语信息科技研究中心）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（丝绸之路多语认知计算国际联合实验室）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术学院）；Alibaba DAMO Academy（阿里巴巴达摩院）；Department of Computer Science and Technology, Westlake University（西湖大学计算机科学与技术学院）；Department of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；Beijing Key Lab of Traffic Data Analysis and Mining, Beijing Jiaotong University（北京交通大数据分析与挖掘重点实验室）
针对跨语言语义检索中预训练模型缺乏下游任务信号的问题，提出基于代码切换的持续预训练方法，在多个数据集上超越现有最优方法。
2025-07-10 cs.CL
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Le Mans University（勒芒大学）
我们提出了SAMU-XLSR：语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同，它以声学帧（10- 20 ms）的分辨率学习多语言上下文语音嵌入，这项工作专注于学习多模态（语音-文本）多语言语音嵌入，以句子（5- 10 s）的分辨率，使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入（LaBSE）模型，创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据，跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张，我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索，并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
CLEAR: Cross-Lingual Enhancement in Alignment via Reverse-training
Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）；Department of English Language and Literature, Kyungpook National University（庆北国立大学英语语言文学系）
本文提出CLEAR，通过反向训练方案提升跨语言检索性能，尤其在低资源语言中表现优异，同时减少对英语性能的负面影响。
2026-04-14 cs.CL cs.IR
Mitigating Language Bias in Cross-Lingual Job Retrieval: A Recruitment Platform Perspective
Chulalongkorn University（朱拉隆功大学）
本文提出统一句子编码器，通过多任务双编码器框架联合学习简历与职位文本的多个组成部分，并引入LBKL指标评估语言偏见，在较小模型规模下实现优于现有模型的跨语言职位检索性能。
2025-02-05 cs.CL
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦女王学院）；University College London（伦敦大学学院）
本文研究了跨语言检索中影响排序的因素，发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优，优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）
最先进的神经（重新）排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此，当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置：它们微调预训练的大规模多语言Transformers（MMT，例如，多语言BERT）对英语相关性判断的影响，然后将它们部署在目标语言中。在这项工作中，我们表明，两个参数有效的跨语言迁移的方法，即稀疏微调掩码（SFTM）和适配器，允许更轻量级，更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器（或SFTM），然后训练检索（即，重新排序）适配器（SFTM）在顶部，同时保持所有其他参数固定。在推理时，这种模块化设计允许我们通过应用用源语言数据训练的（重新）排名适配器（或SFTM）以及目标语言的语言适配器（或SFTM）来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估，此外，作为另一个贡献，我们扩展了前者，使用三种新语言进行查询：吉尔吉斯语，维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调，同时更模块化，减少训练时间。这种收益对于低资源语言尤其明显，在这些语言中，我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
VinUniversity（维新大学）；Lancaster University（兰卡斯特大学）；Cardiff University（卡迪夫大学）
针对越南劳动法的跨语言法律问答，构建双语评估套件，提出验证器引导的流水线，发现密集检索优于稀疏检索，验证器修正提升引用保留，但自动诊断与人类判断不完全一致。
2026-09-24 cs.CL
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
在这项工作中，我们提出了一个系统的实证研究，重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言，预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索，我们确实获得了最先进的性能：然而，峰值分数是由多语言编码器满足的，这些编码器以监督的方式进一步专门用于句子理解任务，而不是使用它们的香草“现成”变体。根据这些结果，我们介绍了本地化的相关性匹配文档级CLIR，我们独立的分数对文档部分的查询。在第二部分中，我们评估了以监督方式微调的多语言编码器（即，我们学习排名）在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明，监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后，只有通过域内对比微调（即，相同的域，只有语言迁移），我们设法提高排名质量。我们发现跨语言检索结果和（zero-shot）跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异，这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
最近，微调预训练的语言模型（例如，多语言BERT）到下游跨语言任务的转换已经显示出有希望的结果。然而，微调过程不可避免地改变了预训练模型的参数，并削弱了其跨语言能力，这导致了次优性能。为了缓解这个问题，我们利用持续学习来保留预训练模型的原始跨语言能力，当我们微调它到下游任务时。实验结果表明，我们的微调方法可以更好地保持跨语言能力的预训练模型在句子检索任务。我们的方法在zero-shot跨语言词性标注和命名实体识别任务上也取得了比其他微调基线更好的性能。
2020-10-04 cs.CL cs.LG
Constraint Translation Candidates: A Bridge between Neural Query Translation and Cross-lingual Information Retrieval
Alibaba Group（阿里巴巴集团）
查询翻译是跨语言信息检索系统中的一个关键部分。在深度学习的帮助下，神经机器翻译（NMT）在各种任务上都表现出了良好的效果。然而，NMT通常使用大规模域外数据而不是域内查询翻译对进行训练。此外，翻译模型在推理时缺乏一种机制来保证生成的词与搜索索引相匹配。QT的这两个缺点导致人类可读的文本，但下游检索任务的候选人不足。在本文中，我们提出了一种新的方法来缓解这些问题，限制开放的目标词汇搜索空间的QT的一组重要的话挖掘从搜索索引数据库。在训练和推理时都采用约束翻译候选，从而指导翻译模型学习和生成性能良好的目标查询。本文提出的方法在一个真实的CLIR系统--全球速卖通电子商务搜索引擎中得到了应用和检验。实验结果表明，我们的方法在翻译质量和检索准确率上都比强NMT基线有更好的性能。
2020-10-26 cs.CL cs.IR
OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval
Salesforce Research（赛富时研究院）
对齐多语言语料库中的平行句子对于为机器翻译等下游应用程序管理数据至关重要。在这项工作中，我们提出了OneAligner，专门为句子检索任务设计的对齐模型。该模型能够仅在一个语言对上进行训练，并且以跨语言的方式转移到低资源语言对，而性能下降可以忽略不计。当使用大规模并行多语言语料库（OPUS-100）的所有语言对进行训练时，该模型在Tateoba数据集上实现了最先进的结果，在使用不到0.6%的并行数据的同时，在准确度上超过了同等大小的先前模型8.0个点。当对单个资源丰富的语言对进行微调时，无论是否以英语为中心，我们的模型都能够在相同的数据预算下匹配所有语言对的性能，准确度下降不到2.0点。此外，在相同的设置下，增加资源丰富的语言对的数量单调地提高了性能，在准确性上达到最小0.4点的差异，使得收集任何低资源并行数据的强制性降低。最后，我们通过实证结果和分析得出结论，句子对齐任务的性能主要取决于单语和并行数据的大小，达到一定的大小阈值，而不是什么语言对用于训练或评估。
2022-05-17 cs.AI cs.CL cs.LG
Boosting Zero-shot Cross-lingual Retrieval by Training on Artificially Code-Switched Data
LMU Munich（慕尼黑大学）
本文提出利用双语词典生成人工语码转换数据训练排序模型，在mMARCO上显著提升零样本跨语言和多语言检索性能，且对远距离语言和未见语言具有鲁棒性。
2023-05-26 cs.CL cs.IR
Dynamic Adapter with Semantics Disentangling for Cross-lingual Cross-modal Retrieval
Zhejiang Gongshang University（浙江工商大学）
提出语义解耦动态适配器DASD，根据输入描述特征动态生成参数以适应多样表达，解决了跨语言跨模态检索中静态适配器难以适应目标语言多样表达的问题。
2024-12-18 cs.CL cs.CV
Steering into New Embedding Spaces: Analyzing Cross-Lingual Alignment Induced by Model Interventions in Multilingual Language Models
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
本文研究通过模型干预而非微调来增强多语言大语言模型的跨语言对齐，发现操控特定神经元可改变嵌入空间并提升跨语言检索性能，top-1准确率最高提升2倍。
2025-07-21 cs.AI cs.CL cs.LG
Exploiting Neural Query Translation into Cross Lingual Information Retrieval
Alibaba Group（阿里巴巴集团）
查询翻译作为跨语言信息检索（CLIR）中的一个重要环节，面临着三个主要挑战：1）翻译的充分性; 2）缺乏域内并行训练数据; 3）对低延迟的要求。为此，现有的CLIR系统主要利用基于语法的机器翻译（SMT）而不是高级神经机器翻译（NMT），限制了翻译和检索质量的进一步提高。本文研究了如何将神经查询翻译模型应用到CLIR系统中。具体而言，我们提出了一种新的数据增强方法，提取查询翻译对，根据用户点击数据，从而减轻在NMT领域适应的问题。然后，我们提出了一种异步策略，它能够充分利用SMT的实时性和NMT的准确性的优势。实验结果表明，该方法的检索质量优于强基线，可以很好地应用于实际的CLIR系统，即Aliexpress电子商务搜索引擎。读者可以在我们的网站上检查和测试他们的案例：https://aliexpress.com。
2020-10-26 cs.CL cs.IR
CLIRudit: Cross-Lingual Information Retrieval of Scientific Documents
CONICET-Universidad de Buenos Aires. Instituto de Ciencias de la Computación (ICC). Buenos Aires, Argentina（CONICET-阿根廷布宜诺斯艾利斯大学。信息计算研究所（ICC）。布宜诺斯艾利斯，阿根廷）；École de bibliothéconomie et des sciences de l’information. Université de Montréal. Montréal, Canada（信息与图书馆科学学院。蒙特利尔大学。蒙特利尔，加拿大）
针对学术搜索中非英文成果检索需求，本文构建英法学术跨语言检索数据集CLIRudit，测试多类检索器性能并给出可复现基准，助力非英文学术内容获取。
2025-11-19 cs.CL cs.IR
Cross-lingual Retrieval-Augmented Classification for Dysarthria Severity Assessment
Department of Artificial Intelligence, Sogang University, South Korea（韩国西江大学人工智能系）
提出跨语言检索增强分类（CRAC）方法，通过对齐-检索-融合流程利用另一种语言的语音数据，在说话人无关的三分类任务中，韩语和意大利语数据集上分别达到87.3%和86.7%的平衡准确率，比单语基线提升8.4和20.0个百分点。
2026-06-23 cs.AI cs.CL cs.SD
Improving Retrieval-Augmented Neural Machine Translation with Monolingual Data
SYSTRAN by ChapsVision（ChapsVision 公司）；Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR）
本研究针对传统检索增强神经机器翻译依赖双语语料的局限，提出基于源语言查询检索目标语单语片段的方法，设计结合句级与词级匹配目标的跨语言检索系统，实验证明性能媲美标准TM模型，真实场景下优于基线与通用跨语言检索器。
2025-10-01 cs.CL
Transforming LLMs into Cross-modal and Cross-lingual Retrieval Systems
Boston University（波士顿大学）；The University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本研究提出用大语言模型初始化多模态双编码器检索系统，仅用21种语言训练即可实现102种语言的语音文本匹配，平均Recall@1提升10%，还可借助机器翻译数据增强跨语言匹配能力。
2024-07-10 cs.CL cs.IR cs.SD
Evaluating Large Language Models for Cross-Lingual Retrieval
MaiNLP, Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心 MaiNLP）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文首次系统评估大语言模型在跨语言检索中的两阶段交互，发现多语言双编码器可替代机器翻译提升检索效果，且现有重排序器在无翻译条件下直接用于跨语言检索时性能严重不足。
2025-09-18 cs.CL cs.IR
C2KD: Cross-Lingual Cross-Modal Knowledge Distillation for Multilingual Text-Video Retrieval
MIT（麻省理工学院）；Goethe University Frankfurt（法兰克福歌德大学）；IBM Research AI（IBM人工智能研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
提出跨语言跨模态知识蒸馏方法，利用英语教师模型指导多语言学生模型，并构建Multi-YouCook2数据集，提升多语言文本-视频检索性能。
2023-05-09 cs.CL cs.CV cs.MM
Hubness, Not Anisotropy, Drives Cross-Lingual Retrieval Asymmetry in Multilingual Embedding Models
Department of Computer Science and Engineering（计算机科学与工程系）
本文通过实验证明，在多语言嵌入模型中，中心性（hubness）是导致跨语言检索不对称性的主要几何病理因素，而非各向异性、质心漂移或向量幅度，并推荐使用CSLS替代余弦相似度作为默认检索度量。
2026-05-26 cs.CL
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
Carnegie Mellon University（卡内基梅隆大学）；DeepMind；Google Research（谷歌研究院）
机器学习模型应用于NLP的最新进展是由评估各种任务模型的基准驱动的。然而，这些覆盖面广的基准大多仅限于英语，尽管对多语种模式的兴趣越来越大，但仍然缺乏一个能够对各种语言和任务的这种方法进行全面评价的基准。为此，我们引入了多语言编码器XTREME基准的跨语言迁移评估，这是一个多任务基准，用于评估跨40种语言和9个任务的多语言表示的跨语言泛化能力。我们证明，虽然英语测试模型在许多任务上达到了人类的表现，但跨语言迁移模型的表现仍然存在相当大的差距，特别是在句法和句子检索任务上。结果也广泛分布在不同语言之间。我们发布该基准是为了鼓励对跨语言学习方法的研究，这些方法可以在多种具有代表性的语言和任务中转移语言知识。
2020-09-04 cs.CL cs.LG
Query-aware routing for Cross-lingual performance gains in Encoders
ConfidentialMind
本研究提出查询感知路由结合低秩适配器，在不损害同语言性能的前提下，显著提升芬兰语和瑞典语的跨语言检索质量，相对增益达20.9%。
2026-10-05 cs.AI cs.CL cs.IR
Learning Cross-Lingual IR from an English Retriever
IBM Research（IBM研究院）；IBM Research AI（IBM研究院AI部门）
DECR（稠密检索with Distillation-Enhanced Cross-Lingual Representation）是一个基于多阶段知识蒸馏（KD）训练的跨语言信息检索系统。DR.DECR的教师依赖于一个高效但计算昂贵的两阶段推理过程，包括查询翻译和单语IR，而学生DR.DECR执行单个CLIR步骤。我们通过优化两个相应的KD目标来教授DR.DECR强大的多语言表示以及CLIR。学习有用的表示非英语文本从英语检索器是通过跨语言的令牌对齐算法，依赖于底层的多语言编码器的表示能力。在域内和zero-shot域外评估中，DR.DECR的准确性远远优于使用标记的CLIR数据进行直接微调。在撰写本文时，它也是XOR-TyDi基准测试中最好的单一模型检索器。
2022-07-31 cs.AI cs.CL
A Study of Neural Matching Models for Cross-lingual IR
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在这项研究中，我们研究了基于交互的神经匹配模型的ad-hoc跨语言信息检索（CLIR）使用跨语言词嵌入（CLWEs）。通过对CLEF收集的四种语言对进行实验，我们评估并深入了解不同的神经模型架构，不同的方式来表示查询文档交互和词对相似性分布CLIR。该研究为使用CLWEs学习端到端CLIR系统铺平了道路。
2020-05-26 cs.CL cs.IR
Pre-training Cross-lingual Open Domain Question Answering with Large-scale Synthetic Supervision
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）；Google DeepMind（谷歌DeepMind）
提出 CLASS 自监督方法，利用 Wikipedia 跨语言链接构造检索与问答监督信号，以单一编码器-解码器模型完成 CLQA，并在有监督和零样本设置下超越含机器翻译的对比方法。
2024-10-02 cs.CL cs.IR
Can Embedding Similarity Predict Cross-Lingual Transfer? A Systematic Study on African Languages
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；North-West University（北开普敦大学）
本文通过系统评估五种嵌入相似性度量，发现余弦间隙和检索度量能有效预测跨语言迁移成功，同时揭示了模型特定分析的重要性。
2026-01-06 cs.CL cs.LG
English Contrastive Learning Can Learn Universal Cross-lingual Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
通用跨语言句子嵌入将语义相似的跨语言句子映射到共享的嵌入空间中。对齐跨语言句子嵌入通常需要监督的跨语言平行句子。在这项工作中，我们提出了mSimCSE，它扩展SimCSE到多语言设置，并揭示了英语数据的对比学习可以令人惊讶地学习高质量的通用跨语言句子嵌入，而无需任何并行数据。在无监督和弱监督的设置，mSimCSE显着改善了以前的跨语言检索和多语言STS任务的句子嵌入方法。在检索低资源语言和多语言STS方面，无监督mSimCSE的性能与完全监督方法相当。当跨语言NLI数据可用时，性能可以进一步增强。我们的代码可在https://github.com/yaushian/mSimCSE上公开获取。
2022-11-11 cs.AI cs.CL
Robust Cross-lingual Embeddings from Parallel Sentences
University of Waterloo（滑铁卢大学）；EPFL（洛桑联邦理工学院）
跨语言词嵌入的最新进展主要依赖于基于映射的方法，该方法通过线性变换将来自不同语言的预训练词嵌入投射到共享空间中。然而，这些方法假设词嵌入空间在不同语言之间是同构的，这已经被证明在实践中不成立（Søgaard等人，2018年），并从根本上限制了他们的表现。这促使研究联合学习方法，可以克服这一障碍，通过训练目标中的跨语言术语同时学习跨语言嵌入。我们提出了一个双语扩展的CBOW方法，利用双语对齐语料库，以获得强大的跨语言的单词和句子表示。我们的方法显着提高了跨语言的句子检索性能比所有其他方法，同时保持与当前国家的最先进的方法对单词翻译的奇偶校验。它还在zero-shot跨语言文档分类任务上实现了与深度RNN方法的对等，需要更少的计算资源进行训练和推理。作为一个额外的优势，我们的双语方法导致一个更显着的改善单语词向量的质量相比，其他竞争的方法。
2020-05-01 cs.CL cs.IR cs.LG
Bilingual Lexicon Induction through Unsupervised Machine Translation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
最近的一项研究在双语词典归纳方面取得了很好的成果，即通过对齐两种语言中独立训练的词嵌入，并使用所得到的跨语言嵌入通过最近邻或相关检索方法来归纳词翻译对。在本文中，我们提出了一种替代方法，这个问题的基础上，最近的工作无监督机器翻译。这种方式，而不是直接从跨语言嵌入中诱导双语词典，我们使用它们来构建短语表，将其与语言模型相结合，并使用由此产生的机器翻译系统来生成一个合成的平行语料库，从其中我们使用统计词对齐技术提取双语词典。因此，我们的方法可以与任何词嵌入和跨语言映射技术，它不需要任何额外的资源，除了用于训练嵌入的单语语料库。当在完全相同的跨语言嵌入上进行评估时，我们提出的方法比最近邻平均提高了6个精度点，比CSLS检索平均提高了4个精度点，在标准MUSE数据集中建立了一个新的最先进的技术。
2019-07-24 cs.AI cs.CL cs.LG
