A Probabilistic Translation Method for Dictionary-based Cross-lingual Information Retrieval in Agglutinative Languages
University of Tehran（德黑兰大学）
双语词典中的翻译歧义、词汇表外的词和漏译等问题使得基于词典的跨语言信息检索（CLIR）成为一项具有挑战性的任务。此外，在没有可靠词干的黏着语言中，双语词典中缺少各种词汇构成会降低CLIR的性能。本文的目的是引入一个概率翻译模型来解决歧义问题，并提供最可能的形式的字典候选。我们提出了最小编辑支持候选（MESC）方法，利用单语语料库和双语词典翻译用户的母语查询文档的语言。我们的实验表明，该方法优于最先进的基于字典的英语-波斯语CLIR。
2014-11-05 cs.CL cs.IR
Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；Queen Mary University of London（伦敦女王学院）
本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果，发现查询长度和提示技术对性能影响显著，且不同语言间存在显著的检索性能差异。
2025-11-24 cs.AI cs.CL cs.IR
MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Penn State University（宾夕法尼亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Studio Ousia（Ousia工作室）；RIKEN（日本理化学研究所）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了多语言信息访问（MIA）2022共享任务研讨会的结果，评估了16种类型多样的语言的跨语言开放式检索问答（QA）系统。在这项任务中，我们采用了两个大规模的跨语言的开放检索QA数据集在14种不同类型的语言，和新注释的开放检索QA数据在2个代表性不足的语言：泰米尔语和泰米尔语。四个团队提交了他们的系统。利用迭代挖掘的不同负面示例和更大的预训练模型的最佳系统达到32.2 F1，比我们的基线高出4.5分。第二个最好的系统使用实体感知的上下文表示的文档检索，并取得了显着的改善，泰米尔语（20.8 F1），而大多数其他系统产生的分数几乎为零。
2022-07-02 cs.CL
Cross-lingual Information Retrieval with BERT
Raytheon BBN Technologies（雷神BBN技术公司）；University of Pittsburgh（匹兹堡大学）
最近已经开发了多个神经语言模型，例如，BERT和XLNet，并取得了令人印象深刻的结果，在各种自然语言处理任务，包括句子分类，问答和文档排序。在本文中，我们探讨了使用流行的双向语言模型，BERT，建模和学习英语查询和外语文档之间的相关性，跨语言信息检索的任务。介绍了一种基于BERT的深度相关匹配模型，并利用自制的CLIR训练数据对预先训练好的弱监督多语种BERT模型进行训练。立陶宛文文档检索对短英语查询的实验结果表明，我们的模型是有效的，优于竞争力的基线方法。
2020-04-24 cs.CL cs.IR cs.LG
XRAG: Cross-lingual Retrieval-Augmented Generation
Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）；Amazon AGI（亚马逊人工智能研究院）
该研究提出 XRAG 基准，利用需外部知识和复杂推理的新闻问答评估跨语言 RAG，并通过五个 LLM 揭示单语与多语检索中的不同挑战。
2025-05-15 cs.CL
One Question Answering Model for Many Languages with Cross-lingual Dense Passage Retrieval
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们提出了跨语言开放检索答案生成（CORA），第一个统一的多对多问答（QA）模型，可以回答问题，在许多语言，即使是没有特定语言的注释数据或知识源。我们引入了一种新的密集通道检索算法，该算法经过训练可以针对一个问题跨语言检索文档。结合多语言自回归生成模型，CORA直接回答目标语言，没有任何翻译或语言检索模块，在以前的工作。我们提出了一种迭代训练方法，可以自动将仅在高资源语言中可用的注释数据扩展到低资源语言。我们的研究结果表明，CORA在26种语言的多语言开放QA基准测试中的表现大大优于以前的最先进水平，其中9种在训练过程中是不可见的。我们的分析表明，跨语言检索和生成在许多语言，特别是在低资源设置的意义。
2021-10-28 cs.CL
ORPHEAS: A Cross-Lingual Greek-English Embedding Model for Retrieval-Augmented Generation
Novelcore
本文提出ORPHEAS模型，专门用于希腊-英语双语检索增强生成，通过知识图谱细调方法生成高质量数据集，提升希腊语领域术语和形态复杂性表达能力，实验表明其在单语和跨语言检索基准上优于现有多语言嵌入模型。
2026-04-22 cs.AI cs.CL
Mixed Attention Transformer for Leveraging Word-Level Knowledge to Neural Cross-Lingual Information Retrieval
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
预先训练的上下文表示为许多下游任务提供了巨大的成功，包括文档排序。这种预训练表示的多语言版本提供了使用同一模型联合学习多种语言的可能性。虽然预计通过这种联合训练可以获得很大的收益，但在跨语言信息检索（CLIR）的情况下，多语言环境下的模型并没有达到与单语言环境下相同的性能水平。我们假设性能下降是由于查询和文档之间的翻译差距。在单语检索任务中，由于词汇输入相同，模型更容易识别出出现在文档中的查询词。然而，在将不同语言的单词投影到同一超空间的多语言预训练模型中，模型倾向于将查询词转换为相关词，即，出现在相似上下文中的术语，除了或有时不是目标语言中的同义词。这个属性给模型连接查询和文档中同时出现的术语带来了困难。为了解决这个问题，我们提出了一种新的混合注意力Transformer（MAT），它结合了外部的字级知识，如字典或翻译表。我们设计了一个三明治式的架构，将MAT嵌入到最近基于Transformer的深度神经模型中。通过将翻译知识编码成注意力矩阵，具有MAT的模型能够关注输入序列中的互译词。实验结果表明，外部知识的有效性和MAT嵌入的神经重排序模型的CLIR任务的显着改善。
2021-09-14 cs.CL cs.IR
Auto-MLM: Improved Contrastive Learning for Self-supervised Multi-lingual Knowledge Retrieval
Tsinghua University（清华大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
对比学习（CL）已经成为自然语言处理（NLP）下游任务的普遍方法，特别是对于问答（QA）。然而，主要的挑战，如何有效地训练的知识检索模型在无监督的方式，仍然没有得到解决。目前常用的方法有CL和屏蔽语言模型（MLM）。出乎意料的是，MLM忽略了中间层训练，CL也忽略了从查询中提取内部信息。为了优化CL难以从原始查询中获取内部信息的问题，提出了一种将CL和Auto-MLM相结合的联合训练方法，用于自监督多语言知识检索。首先，我们获得固定维的句子向量。然后，用随机策略屏蔽原句中的某些词。最后，我们生成一个新的令牌表示用于预测掩码令牌。实验结果表明，该方法在全球速卖通$\&$ LAZADA服务语料库和8种语言的公开语料库上的性能均优于所有以前的SOTA方法。
2022-03-30 cs.CL
Multilingual Retrieval Augmented Generation for Culturally-Sensitive Tasks: A Benchmark for Cross-lingual Robustness
University of Pennsylvania（宾夕法尼亚大学）
本文提出BordIRLines基准，包含49种语言的领土争端数据集，评估多语言检索增强生成的跨语言鲁棒性，发现多语言检索能提高响应一致性并减少地缘政治偏见。
2025-06-22 cs.CL
DuReader_retrieval: A Large-scale Chinese Benchmark for Passage Retrieval from Web Search Engine
University of Edinburgh（爱丁堡大学）；Baidu Inc.（百度公司）
本文介绍了一个用于段落检索的大规模中文数据集DuReader_retrieval。DuReader_retrieval包含来自商业搜索引擎的超过9万个查询和超过800万个独特的段落。为了减轻其他数据集的缺点并确保我们的基准测试的质量，我们（1）通过手动注释从多个检索器汇集的结果来减少开发和测试集中的假阴性，以及（2）删除语义上与开发和测试查询相似的训练查询。此外，我们还提供了两个用于跨域评估的域外测试集，以及一组用于跨语言检索评估的人工翻译查询。实验结果表明，DuReader_retrieval是一个具有挑战性的和一些问题仍然没有解决，如显着的短语不匹配和查询和段落之间的句法不匹配。这些实验还表明，密集检索器不能很好地推广跨领域，跨语言检索本质上是具有挑战性的。DuReader_retrieval可在https://github.com/baidu/DuReader/tree/master/DuReader-Retrieval上公开获取。
2022-11-15 cs.CL cs.IR
ZusammenQA: Data Augmentation with Specialized Models for Cross-lingual Open-retrieval Question Answering System
University of Mannheim（曼海姆大学）；University of Verona（维罗纳大学）；University of Würzburg（维尔茨堡大学）
本文介绍了我们提出的跨语言开放检索问答（COQA）MIA共享任务系统。在这个具有挑战性的场景中，给定一个输入问题，系统必须从多语言池中收集证据文件，并从这些文件中生成问题语言的答案。我们设计了几种方法，将不同的模型变体结合起来，用于三个主要组件：数据增强、段落检索和答案生成。对于段落检索，我们根据基于多语言预训练语言模型（PLM）和共享任务基线变体的重新排序器集合评估了单语BM 25排名器，使用最近引入的对比损失从头开始重新训练，通过混合负样本在整个训练过程中保持强梯度信号。对于答案生成，我们通过对现有多语言编码器进行持续的语言模型（LM）预训练，专注于语言和领域的专业化。此外，对于段落检索和答案生成，我们使用从维基百科段落创建的自动生成的问答对来增强任务组织者提供的训练数据，以缓解数据稀缺的问题，特别是对于没有提供训练数据的低资源语言。我们的研究结果表明，语言和领域的专业化以及数据增强的帮助，特别是对低资源的语言。
2022-05-30 cs.CL
AsthmaBot: Multi-modal, Multi-Lingual Retrieval Augmented Generation For Asthma Patient Support
TICLab, College of Engineering & Architecture, International University of Rabat（拉巴特国际大学工程与建筑学院TICLab）
针对哮喘患者即时医疗支持需求及大型语言模型易产生幻觉的问题，提出多语言、多模态检索增强生成系统AsthmaBot，整合多数据模态，在常见问题数据集上验证有效并提供在线服务。
2024-09-24 cs.AI cs.CL
CUNI Submission to MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出采用“先翻译后测试”策略处理多语言命名实体识别与问答任务，并设计标签敏感翻译评分方法以对齐标签位置，但微调受领域不匹配限制未能超过基线。
2023-10-25 cs.CL
SandboxAQ's submission to MRL 2024 Shared Task on Multi-lingual Multi-task Information Retrieval
SandboxAQ（桑博克斯量子公司）
本研究针对五种语言的问答与命名实体识别任务，测试五种大语言模型搭配多种提示方法的效果，发现模型表现随任务、语言差异显著，凸显多语言NLP需任务特定方法。
2024-10-28 cs.CL
AfriQA: Cross-lingual Open-Retrieval Question Answering for African Languages
Mila Quebec AI Institute（魁北克AI研究所（Mila））；Research Center of Intelligent Machines, McGill University（麦吉尔大学智能机器研究中心）；Lelapa AI；GalsenAI；University of Zambia（赞比亚大学）；Ai4Innovr；RIKEN Center for AIP（理化学研究所AIP中心）；Lancaster University（兰卡斯特大学）；South African Centre for Digital Language Resources（南非数字语言资源中心）；Technical University of Munich（慕尼黑工业大学）；Jülich Supercomputing Centre（于利希超级计算中心）；Instituto Politécnico Nacional, Mexico（墨西哥国立理工学院）；Montclair State University（蒙特克莱尔州立大学）；University of Washington（华盛顿大学）；University of Porto,Insight Centre for Data Analytics（波尔图大学、数据洞察分析中心）；University of Amsterdam（阿姆斯特丹大学）；Accra Institute of Technology（阿克拉理工学院）；Kwame Nkrumah University of Science and Technology,University of Ibadan（夸梅·恩克鲁玛科技大学、伊巴丹大学）；Tom Mboya University（汤姆·博亚大学）
针对非洲语言数字内容匮乏的问题，研究者创建了首个聚焦非洲语言的跨语言开放检索问答数据集AfriQA，含10种语言的1.2万余样本，实验显示现有方法和模型在该数据集上表现不佳，旨在推动更公平的问答技术发展。
2023-05-11 cs.AI cs.CL cs.IR
MMed-Bench-IR: A Heterogeneous Benchmark for Multilingual Medical Information Retrieval
Seoul National University（首尔国立大学）；Seoul National University College of Medicine（首尔国立大学医学院）；Seoul National University Hospital（首尔国立大学医院）
针对临床RAG的多语言检索需求，提出MMed-Bench-IR基准，涵盖跨语言对齐、概念区分和证据检索三种异构任务，评估6种语言下10个系统，发现生物医学编码器在英语与日语间性能差距巨大。
2026-06-24 cs.AI cs.CL cs.IR
Cost-Efficient Cross-Lingual Retrieval-Augmented Generation for Low-Resource Languages: A Case Study in Bengali Agricultural Advisory
Dept. of Computer Science and Engineering（计算机科学与工程系）；East West University（东-西大学）
本文提出了一种低成本的跨语言检索增强生成框架，用于孟加拉语农业咨询，通过翻译和领域关键词注入提升生成质量，实现低资源语言下的高效农业知识访问。
2026-01-05 cs.AI cs.CL
Unsupervised Dense Information Retrieval with Contrastive Learning
Meta AI Research（Meta人工智能研究院）；Ecole normale supérieure, PSL University（巴黎文理研究大学高等师范学院）；Inria（法国国家信息与自动化研究所）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University College London（伦敦大学学院）
最近，信息检索已经看到了使用神经网络的密集检索器的出现，作为基于词频的经典稀疏方法的替代。这些模型在有大型训练集的数据集和任务上获得了最先进的结果。然而，它们不能很好地转移到没有训练数据的新应用中，并且被诸如BM 25的无监督词频方法优于。在这项工作中，我们探讨了对比学习的局限性，作为一种训练无监督的密集检索器，并表明它导致在各种检索设置的强大性能。在BEIR基准测试中，我们的无监督模型在Recall@100的15个数据集中的11个数据集上优于BM 25。当在微调之前用作预训练时，无论是在几千个域内示例上还是在大型MS~MARCO数据集上，我们的对比模型都会导致BEIR基准的改进。最后，我们评估了我们的方法多语言检索，其中训练数据甚至比英语更稀缺，并表明我们的方法导致强大的无监督性能。我们的模型也表现出强大的跨语言迁移时，微调监督英语数据和低资源的语言，如斯瓦希里语进行评估。我们表明，我们的无监督模型可以在不同的脚本之间进行跨语言检索，例如从阿拉伯语查询中检索英语文档，这是术语匹配方法无法实现的。
2022-08-29 cs.AI cs.CL cs.IR
ColPali: Efficient Document Retrieval with Vision Language Models
Illuin Technology（伊卢因科技）；CentraleSupélec, Paris-Saclay（巴黎萨克雷中央高等电力学院）；ETH Zürich（苏黎世联邦理工学院）
针对视觉丰富文档检索的挑战，提出ColPali视觉语言模型，直接嵌入文档页面图像生成多向量嵌入，结合晚期交互匹配，在ViDoRe基准上大幅超越现有流程，且更简单、更快、可端到端训练。
2025-02-28 cs.CL cs.CV cs.IR
m3BERT: A Modern, Multi-lingual, Matryoshka Bidirectional Encoder
Xiamen University（厦门大学）；Microsoft（微软公司）；Shanghai Jiao Tong University（上海交通大学）
本文提出m3BERT，一种现代多语言俄罗斯套娃双向编码器，通过联合优化Transformer层和多维嵌入表示，解决现有预训练模型在不同部署场景中适应性差的问题，展示了其在工业检索中的高效性和实用性。
2026-05-19 cs.CL
Neural document expansion for ad-hoc information retrieval
Amazon（亚马逊）
最近，Nogueira等人[2019]提出了一种基于神经Seq 2Seq模型的文档扩展新方法，在短文本检索任务上显示出显着的改进。然而，这种方法需要大量的域内训练数据。在本文中，我们表明，这种神经文档扩展方法可以有效地适应标准的IR任务，标签是稀缺的，许多长文档。
2020-12-27 cs.AI cs.CL cs.IR
Improving Cross-lingual Information Retrieval on Low-Resource Languages via Optimal Transport Distillation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
得益于基于transformer的预训练语言模型，神经排序模型取得了重大进展。最近，多语言预训练语言模型的出现为设计神经跨语言检索模型提供了很大的支持。但是，由于不同语言的预训练数据不平衡，多语言语言模型在许多下游任务中已经表现出高资源语言和低资源语言之间的性能差距。基于这种预训练模型构建的跨语言检索模型可能会继承语言偏见，从而导致低资源语言的次优结果。此外，与英语到英语检索任务不同，在英语到英语检索任务中，可以获得用于文档排序的大规模训练集合，例如MS MARCO，缺乏用于低资源语言的跨语言检索数据使得训练跨语言检索模型更具挑战性。在这项工作中，我们提出了光学：低资源跨语言信息检索的最佳传输蒸馏。为了将模型从高资源语言转移到低资源语言，OPTICAL将跨语言标记对齐任务形成为最佳传输问题，以从经过良好训练的单语检索模型中学习。通过将跨语言知识与查询文档匹配知识分离，OPTICAL只需要双文本数据就可以进行提取训练，这对于低资源的语言来说更可行。实验结果表明，在训练数据最少的情况下，OPTICAL在低资源语言（包括神经机器翻译）上的表现明显优于强基线。
2023-01-29 cs.CL cs.IR
Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval
University of Waterloo（滑铁卢大学）
我们提出了先生TyDi，一个多语言的基准数据集，用于在11种类型学上不同的语言中进行单语言检索，旨在评估学习密集表示的排名。该资源的目标是刺激非英语语言中稠密检索技术的研究，其动机是最近观察到现有的表示学习技术在应用于分布外数据时表现不佳。作为一个起点，我们为这个新的数据集提供了zero-shot基线，这是基于我们称之为“mDPR”的DPR的多语言适应。实验表明，尽管mDPR的有效性远低于BM 25，但密集表示似乎仍然提供了有价值的相关性信号，改进BM 25导致稀疏-密集混合。除了分析我们的结果，我们还讨论了未来的挑战，并提出了多语言稠密检索的研究议程。TyDi先生可在https://github.com/castorini/mr.tydi下载。
2021-11-08 cs.CL cs.IR
Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval
University of Minnesota（明尼苏达大学）；GE HealthCare（GE医疗）；University of Waterloo（滑铁卢大学）；Vectara（维克塔拉科技公司）
提出混合批次训练策略，同时优化单语、跨语言和多语言零样本检索，减轻语言偏差，并在多个基准上取得优于单一训练的结果。
2024-08-20 cs.CL cs.IR
Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval
Microsoft Research Asia（微软亚洲研究院）
针对跨语言稠密检索缺乏定制化多语言预训练模型的问题，该研究提出MSM模型，通过建模跨语言通用的序列句子关系，结合掩码句子预测任务与分层对比损失训练，显著提升了跨语言检索性能。
2025-09-05 cs.CL cs.IR
Simple Yet Effective Neural Ranking and Reranking Baselines for Cross-Lingual Information Retrieval
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；UNICAMP（坎皮纳斯州立大学）；Naver Labs Europe（Naver欧洲实验室）
本文针对跨语言信息检索（CLIR）方法繁多且可复现性差的问题，提出了一个基于多阶段架构的概念框架，并在Anserini和Pyserini工具包中实现了简单有效的可复现基线，为未来研究奠定基础。
2023-04-03 cs.CL cs.IR
Beyond Ranked Lists: The SARAL Framework for Cross-Lingual Document Set Retrieval
Information Sciences Institute University of Southern California（信息科学研究所 美国南加州大学）
本文介绍 ISI 团队为 MATERIAL 计划提出的 SARAL 框架，该框架面向跨语言文档集检索而非传统排序列表，并在三种语言的六项评估中五项超越其他团队。
2025-11-05 cs.CL cs.IR
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
基于神经Transformer架构的预训练多语言文本编码器，如多语言BERT（mBERT）和XLM，在无数的语言理解任务上取得了很好的性能。因此，它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例，使跨语言词嵌入（CLWEs）有效地过时。然而，问题仍然存在，在何种程度上这一发现推广1）无监督的设置和2）特设跨语言IR（CLIR）的任务。因此，在这项工作中，我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR，我们证明了可以实现最先进的性能。然而，使用通用多语言文本编码器“现成的”并不能达到峰值性能，而是依赖于它们的变体，这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
CLEAR: Cross-Lingual Enhancement in Alignment via Reverse-training
Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）；Department of English Language and Literature, Kyungpook National University（庆北国立大学英语语言文学系）
本文提出CLEAR，通过反向训练方案提升跨语言检索性能，尤其在低资源语言中表现优异，同时减少对英语性能的负面影响。
2026-04-14 cs.CL cs.IR
Cross-Lingual Phrase Retrieval
Beijing Institute of Technology（北京理工大学）；Huazhong University of Science and Technology（华中科技大学）
跨语言检索的目的是跨语言检索相关文本。目前的方法通常通过学习单词或句子级别的语言无关的文本表示来实现跨语言检索。然而，如何学习跨语言短语检索的短语表示仍然是一个悬而未决的问题。在本文中，我们提出了XPR，一个跨语言的短语检索器，提取短语表示从未标记的例句。此外，我们创建了一个大规模的跨语言短语检索数据集，其中包含65K双语短语对和4.2M例句在8个英语为中心的语言对。实验结果表明，XPR优于使用单词级或短语级表示的最先进的基线。XPR还显示出令人印象深刻的zero-shot可移植性，使模型能够在训练期间以看不见的语言对进行检索。我们的数据集、代码和训练模型可在www.github.com/cwszz/XPR/上公开获取。
2022-04-19 cs.CL
Improving Low-Resource Cross-lingual Document Retrieval by Reranking with Deep Bilingual Representations
Yale University（耶鲁大学）
在本文中，我们提出了提高低资源的跨语言文档检索性能与深双语查询文档表示。我们用四个组件匹配源语言和目标语言的查询和文档，每个组件都被实现为基于术语交互的深度神经网络，并将跨语言的词嵌入作为输入。通过将查询可能性分数作为额外的特征，我们的模型有效地学习通过使用少量的低资源语言对的相关性标签来重新排序检索到的文档。由于共享的跨语言词嵌入空间，该模型还可以直接应用于另一种语言对，而无需任何训练标签。在MATERIAL数据集上的实验结果表明，我们的模型在英语-斯瓦希里语、英语-塔吉语和英语-索马里语跨语言信息检索任务上的性能优于基于竞争的基线。
2019-06-08 cs.CL
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）
最先进的神经（重新）排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此，当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置：它们微调预训练的大规模多语言Transformers（MMT，例如，多语言BERT）对英语相关性判断的影响，然后将它们部署在目标语言中。在这项工作中，我们表明，两个参数有效的跨语言迁移的方法，即稀疏微调掩码（SFTM）和适配器，允许更轻量级，更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器（或SFTM），然后训练检索（即，重新排序）适配器（SFTM）在顶部，同时保持所有其他参数固定。在推理时，这种模块化设计允许我们通过应用用源语言数据训练的（重新）排名适配器（或SFTM）以及目标语言的语言适配器（或SFTM）来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估，此外，作为另一个贡献，我们扩展了前者，使用三种新语言进行查询：吉尔吉斯语，维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调，同时更模块化，减少训练时间。这种收益对于低资源语言尤其明显，在这些语言中，我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
CONCRETE: Improving Cross-lingual Fact-checking with Cross-lingual Retrieval
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
由于虚假信息的普遍存在，事实核查越来越受到人们的重视。由于其他语言的数据稀缺问题，大多数事实核查方法只关注用英语提出的主张。缺乏低资源语言的事实检查数据集需要一种有效的跨语言迁移技术来进行事实检查。此外，不同语言的可信信息可以相互补充，有助于核实事实。为此，我们提出了第一个事实检查框架，增强了跨语言检索，通过跨语言检索器从多种语言检索到的证据。由于缺乏跨语言的信息检索数据集与索赔样查询，我们训练检索器与我们提出的跨语言逆完形填空任务（X-ICT），一个自我监督的算法，通过翻译一段话的标题创建训练实例。X-ICT的目标是学习跨语言检索，其中模型学习识别与给定翻译标题对应的段落。在X-Fact数据集上，我们的方法在zero-shot跨语言设置中比现有系统实现了2.23%的绝对F1改进。源代码和数据可在https://github.com/khuangaf/CONCRETE上公开获取。
2022-09-05 cs.CL
Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies
Universidad Politécnica de Madrid（马德里理工大学）；Amazon Research（亚马逊研究院）
随着越来越多的数字文章以更广泛的语言出现，以及不同语言的使用范围不断扩大，我们需要能够浏览多语言语料库的注释方法。多语言概率主题模型是近年来出现的一组半监督机器学习模型，可用于对多种语言的文本集合进行主题探索。然而，这些方法需要主题对齐的训练数据来创建语言独立的空间。这种限制限制了该技术可以为训练提供解决方案的场景数量，并且很难扩展到训练阶段需要大量多语言文档的情况。本文提出了一种无监督的文档相似度算法，不需要平行或可比语料库，或任何其他类型的翻译资源。该算法用跨语言标签标注从单一语言文档中自动创建的主题，并通过独立训练的模型中的多语言概念层次来描述文档。在英语，西班牙语和法语版的JCR-Accounts语料库上进行的实验显示，通过相似内容对文档进行分类和排序的结果很有希望。
2020-12-15 cs.AI cs.CL cs.IR
Massively Multilingual Document Alignment with Cross-lingual Sentence-Mover's Distance
Facebook AI（Facebook人工智能）
文档对齐旨在识别两种不同语言的文档对，这些文档具有可比的内容或彼此的翻译。这种对齐的数据可以用于各种NLP任务，从训练跨语言表示到挖掘用于机器翻译的并行数据。在本文中，我们开发了一个无监督的评分函数，利用跨语言的句子嵌入来计算不同语言的文档之间的语义距离。然后，这些语义距离用于指导文档对齐算法，以正确地将跨语言的Web文档跨各种低、中、高资源语言对进行配对。认识到我们提出的评分函数和其他最先进的方法是计算上棘手的长Web文档，我们利用一个更易处理的贪心算法，执行搜索。我们通过实验证明，我们的距离度量比当前的基线执行更好的对齐，在高资源语言对上比它们表现出7%，在中等资源语言对上比它们表现出15%，在低资源语言对上比它们表现出22%。
2020-10-11 cs.CL cs.IR cs.LG
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
在这项工作中，我们提出了一个系统的实证研究，重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言，预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索，我们确实获得了最先进的性能：然而，峰值分数是由多语言编码器满足的，这些编码器以监督的方式进一步专门用于句子理解任务，而不是使用它们的香草“现成”变体。根据这些结果，我们介绍了本地化的相关性匹配文档级CLIR，我们独立的分数对文档部分的查询。在第二部分中，我们评估了以监督方式微调的多语言编码器（即，我们学习排名）在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明，监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后，只有通过域内对比微调（即，相同的域，只有语言迁移），我们设法提高排名质量。我们发现跨语言检索结果和（zero-shot）跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异，这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
MultiEURLEX -- A multi-lingual and multi-label legal document classification dataset for zero-shot cross-lingual transfer
University of Copenhagen（哥本哈根大学）；Athens University of Economics and Business（雅典经济与商业大学）；Cognitiv+ Ltd.（Cognitiv+ 有限公司）
我们介绍了MULTI-EURLEX，一个新的多语言数据集的主题分类的法律文件。该数据集包含65，000条欧盟（EU）法律，官方翻译为23种语言，并使用EUROVOC分类法的多个标签进行注释。我们强调时间概念漂移的影响和时间顺序的重要性，而不是随机分裂。我们使用数据集作为zero-shot跨语言迁移的测试平台，其中我们利用一种语言（源）中的注释训练文档对另一种语言（目标）中的文档进行分类。我们发现，在单一源语言中微调多语言预训练模型（XLM-ROBERTA，MT5）会导致灾难性的多语言知识遗忘，因此，到其他语言的zero-shot迁移很差。适应策略，即部分微调，适配器，BITFIT，LNFIT，最初提出来加速新的最终任务的微调，有助于保留预训练的多语言知识，大大提高zero-shot跨语言迁移，但它们的影响也取决于所使用的预训练模型和标签集的大小。
2021-09-06 cs.CL
CLIRudit: Cross-Lingual Information Retrieval of Scientific Documents
CONICET-Universidad de Buenos Aires. Instituto de Ciencias de la Computación (ICC). Buenos Aires, Argentina（CONICET-阿根廷布宜诺斯艾利斯大学。信息计算研究所（ICC）。布宜诺斯艾利斯，阿根廷）；École de bibliothéconomie et des sciences de l’information. Université de Montréal. Montréal, Canada（信息与图书馆科学学院。蒙特利尔大学。蒙特利尔，加拿大）
针对学术搜索中非英文成果检索需求，本文构建英法学术跨语言检索数据集CLIRudit，测试多类检索器性能并给出可复现基准，助力非英文学术内容获取。
2025-11-19 cs.CL cs.IR
Constraint Translation Candidates: A Bridge between Neural Query Translation and Cross-lingual Information Retrieval
Alibaba Group（阿里巴巴集团）
查询翻译是跨语言信息检索系统中的一个关键部分。在深度学习的帮助下，神经机器翻译（NMT）在各种任务上都表现出了良好的效果。然而，NMT通常使用大规模域外数据而不是域内查询翻译对进行训练。此外，翻译模型在推理时缺乏一种机制来保证生成的词与搜索索引相匹配。QT的这两个缺点导致人类可读的文本，但下游检索任务的候选人不足。在本文中，我们提出了一种新的方法来缓解这些问题，限制开放的目标词汇搜索空间的QT的一组重要的话挖掘从搜索索引数据库。在训练和推理时都采用约束翻译候选，从而指导翻译模型学习和生成性能良好的目标查询。本文提出的方法在一个真实的CLIR系统--全球速卖通电子商务搜索引擎中得到了应用和检验。实验结果表明，我们的方法在翻译质量和检索准确率上都比强NMT基线有更好的性能。
2020-10-26 cs.CL cs.IR
A Cross-Lingual Statutory Article Retrieval Dataset for Taiwan Legal Studies
National Chung Hsing University（国立中兴大学）
本文提出一个面向台湾法律的跨语言成文法条文检索数据集，涵盖中英双语法律询问及相关法规，并基于LLM方法提供基线，旨在提升非母语者的法律信息检索效果。
2024-10-15 cs.CL
Understanding LLMs' Cross-Lingual Context Retrieval: How Good It Is And Where It Comes From
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；China Mobile Research Beijing, China（中国移动北京研究院）
本文以xMRC评估40余个LLM在12种语言上的跨语言上下文检索，揭示其后训练优势及“问题编码—答案检索”两阶段机制。
2025-10-18 cs.CL
NMT-based Cross-lingual Document Embeddings
The Hong Kong University of Science and Technology（香港科技大学）
本文研究了一种跨语言文档嵌入方法，该方法改进了当前基于文档向量的神经机器翻译框架（NTDV或简称NV）。NV是在神经机器翻译（NMT）框架下利用自注意力机制开发的。在NV中，每对不同语言的并行文档都被投影到模型中的同一共享层。然而，这对NV嵌入并不保证相似。本文进一步在NV的训练目标函数中加入了距离约束，使得一个并行文档的两个嵌入尽可能接近。新方法将被称为约束NV（cNV）。在跨语言文档分类任务中，新的cNV表现得和NV一样好，并且优于其他需要前向通过解码的已发表研究。与以往的NV相比，cNV在测试过程中不需要翻译器，因此该方法更轻便，更灵活。
2020-08-19 cs.CL
Boosting Zero-shot Cross-lingual Retrieval by Training on Artificially Code-Switched Data
LMU Munich（慕尼黑大学）
本文提出利用双语词典生成人工语码转换数据训练排序模型，在mMARCO上显著提升零样本跨语言和多语言检索性能，且对远距离语言和未见语言具有鲁棒性。
2023-05-26 cs.CL cs.IR
PRIME: A System for Multi-lingual Patent Retrieval
鉴于在多个国家提交的专利数量不断增加，用户对跨语言检索专利感兴趣。我们提出了一个多语言专利检索系统，将用户查询翻译成目标语言，在多语言数据库中搜索与查询相关的专利，并通过机器翻译和聚类的方式提高浏览效率。我们的系统还从由可比专利组成的专利族中提取新的翻译，以增强翻译词典。
2002-06-24 cs.CL
Combining Deep Generative Models and Multi-lingual Pretraining for Semi-supervised Document Classification
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）；Imperial College London（帝国理工学院）；Technion, IIT（以色列理工学院）
通过深度生成模型和多语言预训练技术的半监督学习在NLP的不同领域取得了巨大的成功。尽管如此，它们的发展是孤立发生的，而两者的结合可能有效地解决特定任务标记的数据短缺问题。为了弥合这一差距，我们将半监督深度生成模型和多语言预训练相结合，形成了一个文档分类任务的管道。与强大的监督学习基线相比，我们的半监督分类框架具有很强的竞争力，在几种语言的低资源环境中表现优于最先进的同行。
2021-01-26 cs.CL
Exploiting Neural Query Translation into Cross Lingual Information Retrieval
Alibaba Group（阿里巴巴集团）
查询翻译作为跨语言信息检索（CLIR）中的一个重要环节，面临着三个主要挑战：1）翻译的充分性; 2）缺乏域内并行训练数据; 3）对低延迟的要求。为此，现有的CLIR系统主要利用基于语法的机器翻译（SMT）而不是高级神经机器翻译（NMT），限制了翻译和检索质量的进一步提高。本文研究了如何将神经查询翻译模型应用到CLIR系统中。具体而言，我们提出了一种新的数据增强方法，提取查询翻译对，根据用户点击数据，从而减轻在NMT领域适应的问题。然后，我们提出了一种异步策略，它能够充分利用SMT的实时性和NMT的准确性的优势。实验结果表明，该方法的检索质量优于强基线，可以很好地应用于实际的CLIR系统，即Aliexpress电子商务搜索引擎。读者可以在我们的网站上检查和测试他们的案例：https://aliexpress.com。
2020-10-26 cs.CL cs.IR
Multilingual Generative Retrieval via Cross-lingual Semantic Compression
Faculty of Information Engineering and Automation, Kunming University of Science and Technology（信息工程与自动化学院，昆明理工大学）；Yunnan Key Laboratory of Artificial Intelligence（云南省人工智能重点实验室）
提出MGR-CSC框架，通过跨语言语义压缩统一多语言关键词为共享原子，并采用动态多步约束解码，解决多语言生成式检索中的标识符错位与膨胀问题，显著提升检索精度并压缩标识符长度。
2025-10-09 cs.CL
The Cross-Lingual Cost: Retrieval Biases in RAG over Arabic-English Corpora
Technology Innovation Institute（技术创新研究所）
本研究针对阿拉伯语-英语跨语言RAG，发现检索是跨语言领域场景的关键瓶颈，并提出两种简单策略（平等检索或查询翻译）显著提升跨语言与整体性能。
2025-10-27 cs.AI cs.CL cs.IR
News Across Languages - Cross-Lingual Document Similarity and Event Tracking
在今天的世界里，我们关注的新闻是全球性的。重大事件由不同来源以不同语文报道。在这项工作中，我们解决的问题，在一个大的多语言流的事件跟踪。在最近开发的系统事件注册表中，我们研究这个问题的两个方面：如何比较不同语言的文章，以及如何链接不同语言的文章集合，这些文章指的是同一事件。以多语言流和集群的文章，从每种语言，我们比较不同的跨语言文档相似性措施的基础上维基百科。这使我们能够计算任何两篇文章的相似性，而无论语言如何。在以前工作的基础上，我们展示了一些方法，这些方法可以很好地扩展，并且可以计算来自语言的文章之间的有意义的相似性，在训练数据中很少或没有直接重叠。利用这种能力，我们提出了一种方法来链接集群的文章跨语言，代表同一事件。我们提供了一个广泛的评价系统作为一个整体，以及评价的质量和鲁棒性的相似性度量和链接算法。
2015-12-22 cs.CL cs.IR
ChemCLIR-Bench: Benchmarking Cross-Lingual Information Retrieval in Multilingual Chemical Patents
McMaster University（麦克马斯特大学）；BASF Canada Inc.（巴斯夫加拿大公司）
该工作构建了多语言化学专利CLIR基准，评估八种嵌入模型，发现跨语言检索性能显著下降，强调需更稳健的方法。
2026-09-22 cs.CL
XOR QA: Cross-lingual Open-Retrieval Question Answering
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Allen Institute for AI（艾伦人工智能研究所）
多语言问答任务通常假设答案与问题的语言相同。然而，在实践中，许多语言面临着信息稀缺和信息不对称两种情况，信息稀缺是指语言中几乎没有参考文章，信息不对称是指问题引用了来自其他文化的概念。这项工作扩展了开放检索问答的跨语言设置，使问题从一种语言回答通过回答内容从另一种语言。我们构建了一个大规模的数据集，该数据集基于缺乏相同语言答案的TyDi QA问题。我们的任务制定，称为跨语言开放检索问答（XOR QA），包括来自7种不同的非英语语言的40k信息搜索问题。基于这个数据集，我们介绍了三个新的任务，涉及跨语言的文档检索使用多语言和英语资源。我们使用最先进的机器翻译系统和跨语言预训练模型建立基线。实验结果表明，异或问答是一个具有挑战性的任务，将促进新技术的发展，多语言问答。我们的数据和代码可在https://nlp.cs.washington.edu/xorqa上获得。
2021-04-13 cs.CL
Cross-Lingual Low-Resource Set-to-Description Retrieval for Global E-Commerce
Peking University（北京大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Indiana University（印第安纳大学）
随着跨境电子商业的蓬勃发展，迫切需要设计智能化的方法来帮助电子商业卖家为来自世界各地的消费者提供当地产品。本文探讨了跨语言信息检索的一个新任务，即，跨境电子商业中的跨语言集合到描述检索，其涉及将源语言中的产品属性集合与目标语言中的有说服力的产品描述进行匹配。我们手动收集一个新的和高质量的配对数据集，其中每对包含一个无序的产品属性集的源语言和信息丰富的产品描述的目标语言。由于数据集构建过程既耗时又昂贵，新数据集仅包含13.5k对，这是一个低资源设置，可以被视为跨境电子商业模型开发和评估的具有挑战性的测试平台。为了解决这种跨语言集到描述检索任务，我们提出了一种新的跨语言匹配网络（CLMN）与增强的上下文相关的跨语言映射的预训练单语BERT表示。实验结果表明，我们提出的CLMN在具有挑战性的任务上产生了令人印象深刻的结果，并且与预训练的多语言BERT模型相比，BERT上的上下文相关的跨语言映射产生了显着的改进。
2020-05-17 cs.CL
Bridging the domain gap in cross-lingual document classification
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（Facebook人工智能）
标记的训练数据的稀缺性通常阻碍了NLP模型到多种语言的国际化。跨语言理解（XLU）的最新发展在这一领域取得了进展，试图使用语言通用表示来弥合语言障碍。然而，即使语言问题得到解决，由于跨语言和文化的自然领域漂移，用一种语言训练的模型也不会完美地转移到另一种语言。我们考虑半监督跨语言理解的设置，其中标记的数据在源语言（英语）中可用，但只有未标记的数据在目标语言中可用。我们将最先进的跨语言方法与最近提出的弱监督学习方法（如无监督预训练和无监督数据增强）相结合，以同时缩小XLU中的语言差距和领域差距。我们表明，解决域的差距是至关重要的。我们在强大的基线上进行了改进，并实现了跨语言文档分类的新的最先进技术。
2019-09-20 cs.CL
