A Probabilistic Translation Method for Dictionary-based Cross-lingual Information Retrieval in Agglutinative Languages
University of Tehran（德黑兰大学）
双语词典中的翻译歧义、词汇表外的词和漏译等问题使得基于词典的跨语言信息检索（CLIR）成为一项具有挑战性的任务。此外，在没有可靠词干的黏着语言中，双语词典中缺少各种词汇构成会降低CLIR的性能。本文的目的是引入一个概率翻译模型来解决歧义问题，并提供最可能的形式的字典候选。我们提出了最小编辑支持候选（MESC）方法，利用单语语料库和双语词典翻译用户的母语查询文档的语言。我们的实验表明，该方法优于最先进的基于字典的英语-波斯语CLIR。
2014-11-05 cs.CL cs.IR
Anveshana: A New Benchmark Dataset for Cross-Lingual Information Retrieval On English Queries and Sanskrit Documents
Indian Institute of Technology, Kharagpur（印度理工学院，克拉格浦尔）
该研究构建了Anveshana基准数据集，包含3,400对英文-梵文查询-文档对，通过直接检索、翻译检索和查询翻译三种方法，在RAG框架下微调多个模型，发现翻译检索方法在跨语言检索古代文本中表现最佳，提升了梵文经典的可访问性。
2025-05-26 cs.CL cs.IR
Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；Queen Mary University of London（伦敦女王学院）
本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果，发现查询长度和提示技术对性能影响显著，且不同语言间存在显著的检索性能差异。
2025-11-24 cs.AI cs.CL cs.IR
Neural Cross-Lingual Relation Extraction Based on Bilingual Word Embedding Mapping
IBM Research AI（IBM研究院人工智能部门）
关系抽取（RelationExtraction，RE）试图检测和分类实体之间的语义关系，这为许多自然语言处理应用提供了有用的信息。由于国家的最先进的RE模型需要大量的手动注释的数据和语言特定的资源，以达到高精度，这是非常具有挑战性的资源丰富的语言的RE模型，以资源贫乏的语言。本文提出了一种基于双语词嵌入映射的RE模型跨语言迁移方法。它将词嵌入从目标语言投影到源语言，使得经过良好训练的源语言神经网络RE模型可以直接应用于目标语言。实验结果表明，该方法在只有1K词对的小型双语词典上，对大量的目标语言，在内部数据集和开放数据集上都取得了很好的性能。
2019-10-31 cs.CL cs.IR cs.LG
MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Penn State University（宾夕法尼亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Studio Ousia（Ousia工作室）；RIKEN（日本理化学研究所）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了多语言信息访问（MIA）2022共享任务研讨会的结果，评估了16种类型多样的语言的跨语言开放式检索问答（QA）系统。在这项任务中，我们采用了两个大规模的跨语言的开放检索QA数据集在14种不同类型的语言，和新注释的开放检索QA数据在2个代表性不足的语言：泰米尔语和泰米尔语。四个团队提交了他们的系统。利用迭代挖掘的不同负面示例和更大的预训练模型的最佳系统达到32.2 F1，比我们的基线高出4.5分。第二个最好的系统使用实体感知的上下文表示的文档检索，并取得了显着的改善，泰米尔语（20.8 F1），而大多数其他系统产生的分数几乎为零。
2022-07-02 cs.CL
Cross-lingual Information Retrieval with BERT
Raytheon BBN Technologies（雷神BBN技术公司）；University of Pittsburgh（匹兹堡大学）
最近已经开发了多个神经语言模型，例如，BERT和XLNet，并取得了令人印象深刻的结果，在各种自然语言处理任务，包括句子分类，问答和文档排序。在本文中，我们探讨了使用流行的双向语言模型，BERT，建模和学习英语查询和外语文档之间的相关性，跨语言信息检索的任务。介绍了一种基于BERT的深度相关匹配模型，并利用自制的CLIR训练数据对预先训练好的弱监督多语种BERT模型进行训练。立陶宛文文档检索对短英语查询的实验结果表明，我们的模型是有效的，优于竞争力的基线方法。
2020-04-24 cs.CL cs.IR cs.LG
XRAG: Cross-lingual Retrieval-Augmented Generation
Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）；Amazon AGI（亚马逊人工智能研究院）
该研究提出 XRAG 基准，利用需外部知识和复杂推理的新闻问答评估跨语言 RAG，并通过五个 LLM 揭示单语与多语检索中的不同挑战。
2025-05-15 cs.CL
One Question Answering Model for Many Languages with Cross-lingual Dense Passage Retrieval
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们提出了跨语言开放检索答案生成（CORA），第一个统一的多对多问答（QA）模型，可以回答问题，在许多语言，即使是没有特定语言的注释数据或知识源。我们引入了一种新的密集通道检索算法，该算法经过训练可以针对一个问题跨语言检索文档。结合多语言自回归生成模型，CORA直接回答目标语言，没有任何翻译或语言检索模块，在以前的工作。我们提出了一种迭代训练方法，可以自动将仅在高资源语言中可用的注释数据扩展到低资源语言。我们的研究结果表明，CORA在26种语言的多语言开放QA基准测试中的表现大大优于以前的最先进水平，其中9种在训练过程中是不可见的。我们的分析表明，跨语言检索和生成在许多语言，特别是在低资源设置的意义。
2021-10-28 cs.CL
ORPHEAS: A Cross-Lingual Greek-English Embedding Model for Retrieval-Augmented Generation
Novelcore
本文提出ORPHEAS模型，专门用于希腊-英语双语检索增强生成，通过知识图谱细调方法生成高质量数据集，提升希腊语领域术语和形态复杂性表达能力，实验表明其在单语和跨语言检索基准上优于现有多语言嵌入模型。
2026-04-22 cs.AI cs.CL
Auto-MLM: Improved Contrastive Learning for Self-supervised Multi-lingual Knowledge Retrieval
Tsinghua University（清华大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
对比学习（CL）已经成为自然语言处理（NLP）下游任务的普遍方法，特别是对于问答（QA）。然而，主要的挑战，如何有效地训练的知识检索模型在无监督的方式，仍然没有得到解决。目前常用的方法有CL和屏蔽语言模型（MLM）。出乎意料的是，MLM忽略了中间层训练，CL也忽略了从查询中提取内部信息。为了优化CL难以从原始查询中获取内部信息的问题，提出了一种将CL和Auto-MLM相结合的联合训练方法，用于自监督多语言知识检索。首先，我们获得固定维的句子向量。然后，用随机策略屏蔽原句中的某些词。最后，我们生成一个新的令牌表示用于预测掩码令牌。实验结果表明，该方法在全球速卖通$\&$ LAZADA服务语料库和8种语言的公开语料库上的性能均优于所有以前的SOTA方法。
2022-03-30 cs.CL
Neural Cross-Lingual Named Entity Recognition with Minimal Resources
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
对于没有注释资源的语言，自然语言处理模型（如来自资源丰富语言的命名实体识别（NER））的无监督转移将是一种有吸引力的能力。然而，不同语言中单词和词序的差异使其成为一个具有挑战性的问题。为了提高跨语言的词汇项的映射，我们提出了一种方法，发现基于双语词嵌入的翻译。为了提高对词序差异的鲁棒性，我们建议使用自我注意，这允许一定程度的灵活性。我们证明，这些方法实现了最先进的或有竞争力的NER性能的跨语言设置下常用的测试语言，比过去的方法具有更低的资源需求。我们还评估了将这些方法应用于维吾尔语这一低资源语言的挑战。
2018-09-11 cs.CL
Multilingual Retrieval Augmented Generation for Culturally-Sensitive Tasks: A Benchmark for Cross-lingual Robustness
University of Pennsylvania（宾夕法尼亚大学）
本文提出BordIRLines基准，包含49种语言的领土争端数据集，评估多语言检索增强生成的跨语言鲁棒性，发现多语言检索能提高响应一致性并减少地缘政治偏见。
2025-06-22 cs.CL
ZusammenQA: Data Augmentation with Specialized Models for Cross-lingual Open-retrieval Question Answering System
University of Mannheim（曼海姆大学）；University of Verona（维罗纳大学）；University of Würzburg（维尔茨堡大学）
本文介绍了我们提出的跨语言开放检索问答（COQA）MIA共享任务系统。在这个具有挑战性的场景中，给定一个输入问题，系统必须从多语言池中收集证据文件，并从这些文件中生成问题语言的答案。我们设计了几种方法，将不同的模型变体结合起来，用于三个主要组件：数据增强、段落检索和答案生成。对于段落检索，我们根据基于多语言预训练语言模型（PLM）和共享任务基线变体的重新排序器集合评估了单语BM 25排名器，使用最近引入的对比损失从头开始重新训练，通过混合负样本在整个训练过程中保持强梯度信号。对于答案生成，我们通过对现有多语言编码器进行持续的语言模型（LM）预训练，专注于语言和领域的专业化。此外，对于段落检索和答案生成，我们使用从维基百科段落创建的自动生成的问答对来增强任务组织者提供的训练数据，以缓解数据稀缺的问题，特别是对于没有提供训练数据的低资源语言。我们的研究结果表明，语言和领域的专业化以及数据增强的帮助，特别是对低资源的语言。
2022-05-30 cs.CL
AsthmaBot: Multi-modal, Multi-Lingual Retrieval Augmented Generation For Asthma Patient Support
TICLab, College of Engineering & Architecture, International University of Rabat（拉巴特国际大学工程与建筑学院TICLab）
针对哮喘患者即时医疗支持需求及大型语言模型易产生幻觉的问题，提出多语言、多模态检索增强生成系统AsthmaBot，整合多数据模态，在常见问题数据集上验证有效并提供在线服务。
2024-09-24 cs.AI cs.CL
TransWiC at SemEval-2021 Task 2: Transformer-based Multilingual and Cross-lingual Word-in-Context Disambiguation
Birmingham City University（伯明翰城市大学）；University of Wolverhampton（伍尔弗汉普顿大学）
识别一个词在两个上下文中的相同或不同含义是自然语言处理的一个重要研究领域，在问答、文档摘要、信息检索和信息抽取等应用中起着重要作用。这一领域以前的大多数工作都依赖于特定语言的资源，因此很难跨语言进行概括。考虑到这一限制，我们对SemEval-2021任务2的方法仅基于预训练的Transformer模型，不使用任何特定于语言的处理和资源。尽管如此，我们的最佳模型在英语-英语子任务中达到了0.90的准确率，与子任务的最佳结果0.93的准确率相比，这是非常兼容的。我们的方法也取得了令人满意的结果，在其他单语和跨语言的语言对。
2021-04-09 cs.AI cs.CL cs.LG
Cost-Efficient Cross-Lingual Retrieval-Augmented Generation for Low-Resource Languages: A Case Study in Bengali Agricultural Advisory
Dept. of Computer Science and Engineering（计算机科学与工程系）；East West University（东-西大学）
本文提出了一种低成本的跨语言检索增强生成框架，用于孟加拉语农业咨询，通过翻译和领域关键词注入提升生成质量，实现低资源语言下的高效农业知识访问。
2026-01-05 cs.AI cs.CL
Improving Cross-lingual Information Retrieval on Low-Resource Languages via Optimal Transport Distillation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
得益于基于transformer的预训练语言模型，神经排序模型取得了重大进展。最近，多语言预训练语言模型的出现为设计神经跨语言检索模型提供了很大的支持。但是，由于不同语言的预训练数据不平衡，多语言语言模型在许多下游任务中已经表现出高资源语言和低资源语言之间的性能差距。基于这种预训练模型构建的跨语言检索模型可能会继承语言偏见，从而导致低资源语言的次优结果。此外，与英语到英语检索任务不同，在英语到英语检索任务中，可以获得用于文档排序的大规模训练集合，例如MS MARCO，缺乏用于低资源语言的跨语言检索数据使得训练跨语言检索模型更具挑战性。在这项工作中，我们提出了光学：低资源跨语言信息检索的最佳传输蒸馏。为了将模型从高资源语言转移到低资源语言，OPTICAL将跨语言标记对齐任务形成为最佳传输问题，以从经过良好训练的单语检索模型中学习。通过将跨语言知识与查询文档匹配知识分离，OPTICAL只需要双文本数据就可以进行提取训练，这对于低资源的语言来说更可行。实验结果表明，在训练数据最少的情况下，OPTICAL在低资源语言（包括神经机器翻译）上的表现明显优于强基线。
2023-01-29 cs.CL cs.IR
Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval
University of Waterloo（滑铁卢大学）
我们提出了先生TyDi，一个多语言的基准数据集，用于在11种类型学上不同的语言中进行单语言检索，旨在评估学习密集表示的排名。该资源的目标是刺激非英语语言中稠密检索技术的研究，其动机是最近观察到现有的表示学习技术在应用于分布外数据时表现不佳。作为一个起点，我们为这个新的数据集提供了zero-shot基线，这是基于我们称之为“mDPR”的DPR的多语言适应。实验表明，尽管mDPR的有效性远低于BM 25，但密集表示似乎仍然提供了有价值的相关性信号，改进BM 25导致稀疏-密集混合。除了分析我们的结果，我们还讨论了未来的挑战，并提出了多语言稠密检索的研究议程。TyDi先生可在https://github.com/castorini/mr.tydi下载。
2021-11-08 cs.CL cs.IR
Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval
University of Minnesota（明尼苏达大学）；GE HealthCare（GE医疗）；University of Waterloo（滑铁卢大学）；Vectara（维克塔拉科技公司）
提出混合批次训练策略，同时优化单语、跨语言和多语言零样本检索，减轻语言偏差，并在多个基准上取得优于单一训练的结果。
2024-08-20 cs.CL cs.IR
Addressing Cross-Lingual Word Sense Disambiguation on Low-Density Languages: Application to Persian
TU WIEN（维也纳工业大学）；Universidad Nacional de Educación a Distancia (UNED)（西班牙国家远程教育大学）
我们探讨了使用无监督的方法在跨语言词义消歧（CL-WSD）与英语到波斯语的应用。我们提出的方法针对资源稀缺（低密度）的语言，利用词嵌入和语义相似的话在上下文中。我们在最近的评估基准上评估该方法，并将其与最先进的无监督系统（CO-Graph）进行比较。结果表明，我们的方法优于标准基线和CO-Graph系统在两个任务评估指标（出五和最佳结果）。
2018-03-21 cs.CL cs.IR
Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval
Microsoft Research Asia（微软亚洲研究院）
针对跨语言稠密检索缺乏定制化多语言预训练模型的问题，该研究提出MSM模型，通过建模跨语言通用的序列句子关系，结合掩码句子预测任务与分层对比损失训练，显著提升了跨语言检索性能。
2025-09-05 cs.CL cs.IR
Simple Yet Effective Neural Ranking and Reranking Baselines for Cross-Lingual Information Retrieval
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；UNICAMP（坎皮纳斯州立大学）；Naver Labs Europe（Naver欧洲实验室）
本文针对跨语言信息检索（CLIR）方法繁多且可复现性差的问题，提出了一个基于多阶段架构的概念框架，并在Anserini和Pyserini工具包中实现了简单有效的可复现基线，为未来研究奠定基础。
2023-04-03 cs.CL cs.IR
Beyond Ranked Lists: The SARAL Framework for Cross-Lingual Document Set Retrieval
Information Sciences Institute University of Southern California（信息科学研究所 美国南加州大学）
本文介绍 ISI 团队为 MATERIAL 计划提出的 SARAL 框架，该框架面向跨语言文档集检索而非传统排序列表，并在三种语言的六项评估中五项超越其他团队。
2025-11-05 cs.CL cs.IR
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
基于神经Transformer架构的预训练多语言文本编码器，如多语言BERT（mBERT）和XLM，在无数的语言理解任务上取得了很好的性能。因此，它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例，使跨语言词嵌入（CLWEs）有效地过时。然而，问题仍然存在，在何种程度上这一发现推广1）无监督的设置和2）特设跨语言IR（CLIR）的任务。因此，在这项工作中，我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR，我们证明了可以实现最先进的性能。然而，使用通用多语言文本编码器“现成的”并不能达到峰值性能，而是依赖于它们的变体，这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
CLEAR: Cross-Lingual Enhancement in Alignment via Reverse-training
Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）；Department of English Language and Literature, Kyungpook National University（庆北国立大学英语语言文学系）
本文提出CLEAR，通过反向训练方案提升跨语言检索性能，尤其在低资源语言中表现优异，同时减少对英语性能的负面影响。
2026-04-14 cs.CL cs.IR
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）
最先进的神经（重新）排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此，当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置：它们微调预训练的大规模多语言Transformers（MMT，例如，多语言BERT）对英语相关性判断的影响，然后将它们部署在目标语言中。在这项工作中，我们表明，两个参数有效的跨语言迁移的方法，即稀疏微调掩码（SFTM）和适配器，允许更轻量级，更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器（或SFTM），然后训练检索（即，重新排序）适配器（SFTM）在顶部，同时保持所有其他参数固定。在推理时，这种模块化设计允许我们通过应用用源语言数据训练的（重新）排名适配器（或SFTM）以及目标语言的语言适配器（或SFTM）来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估，此外，作为另一个贡献，我们扩展了前者，使用三种新语言进行查询：吉尔吉斯语，维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调，同时更模块化，减少训练时间。这种收益对于低资源语言尤其明显，在这些语言中，我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
The Cross-Lingual Arabic Information REtrieval (CLAIRE) System
尽管神经机器翻译取得了进展，但查询和文档位于不同自然语言空间的跨语言检索任务仍然具有挑战性。虽然神经翻译模型可以提供一种直观的方法来解决跨语言问题，但它们的资源消耗训练和高级模型结构可能会使整个检索管道复杂化并降低用户参与度。在本文中，我们建立了我们的端到端的跨语言阿拉伯语信息检索（CLAIRE）系统的基础上，跨语言的词嵌入，搜索者被假定有一个过得去的被动理解的阿拉伯语和各种支持信息的英语，以帮助检索经验。该系统具有三大优点：（1）英语-阿拉伯语词嵌入的使用简化了整个流水线，避免了机器翻译可能导致的错误。(2)我们的CLAIRE系统可以包含任意的基于词嵌入的神经检索模型，而无需结构修改。(3)阿拉伯语新闻收集的早期经验结果显示了良好的性能。
2021-07-29 cs.IR
A Study of Neural Matching Models for Cross-lingual IR
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在这项研究中，我们研究了基于交互的神经匹配模型的ad-hoc跨语言信息检索（CLIR）使用跨语言词嵌入（CLWEs）。通过对CLEF收集的四种语言对进行实验，我们评估并深入了解不同的神经模型架构，不同的方式来表示查询文档交互和词对相似性分布CLIR。该研究为使用CLWEs学习端到端CLIR系统铺平了道路。
2020-05-26 cs.CL cs.IR
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
在这项工作中，我们提出了一个系统的实证研究，重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言，预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索，我们确实获得了最先进的性能：然而，峰值分数是由多语言编码器满足的，这些编码器以监督的方式进一步专门用于句子理解任务，而不是使用它们的香草“现成”变体。根据这些结果，我们介绍了本地化的相关性匹配文档级CLIR，我们独立的分数对文档部分的查询。在第二部分中，我们评估了以监督方式微调的多语言编码器（即，我们学习排名）在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明，监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后，只有通过域内对比微调（即，相同的域，只有语言迁移），我们设法提高排名质量。我们发现跨语言检索结果和（zero-shot）跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异，这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
Constructing Cross-lingual Consumer Health Vocabulary with Word-Embedding from Comparable User Generated Content
College of Computing and Informatics（计算与信息学院）；Drexel University（卓克索大学）
本文提出一种基于可比用户生成内容和词嵌入对齐的跨语言自动术语识别框架，仅需原始语料和少量医学翻译即可将英语消费者健康词汇表扩展至中文，并验证其优于大型语言模型。
2024-04-01 cs.CL cs.IR
Constraint Translation Candidates: A Bridge between Neural Query Translation and Cross-lingual Information Retrieval
Alibaba Group（阿里巴巴集团）
查询翻译是跨语言信息检索系统中的一个关键部分。在深度学习的帮助下，神经机器翻译（NMT）在各种任务上都表现出了良好的效果。然而，NMT通常使用大规模域外数据而不是域内查询翻译对进行训练。此外，翻译模型在推理时缺乏一种机制来保证生成的词与搜索索引相匹配。QT的这两个缺点导致人类可读的文本，但下游检索任务的候选人不足。在本文中，我们提出了一种新的方法来缓解这些问题，限制开放的目标词汇搜索空间的QT的一组重要的话挖掘从搜索索引数据库。在训练和推理时都采用约束翻译候选，从而指导翻译模型学习和生成性能良好的目标查询。本文提出的方法在一个真实的CLIR系统--全球速卖通电子商务搜索引擎中得到了应用和检验。实验结果表明，我们的方法在翻译质量和检索准确率上都比强NMT基线有更好的性能。
2020-10-26 cs.CL cs.IR
Detecting Cross-Lingual Plagiarism Using Simulated Word Embeddings
University of Sunderland（桑德兰大学）
跨语言剽窃（CLP）是指用一种语言编写的文本被翻译成另一种语言，并在不承认原始来源的情况下使用。用于检测CLP的最常见方法之一需要在线机器翻译器（例如Google或Microsoft翻译），但这些翻译器并不总是可用的，并且鉴于剽窃检测通常涉及大型文档比较，所需的翻译量将压倒在线机器翻译器，特别是在检测网络上的剽窃时。此外，当翻译的文本被替换为同义词时，使用在线机器翻译器来检测CLP将导致较差的性能。针对跨语言剽窃检测（CLPD）问题，提出了一种利用模拟词嵌入重现在线机器翻译器（Google translate）在检测CLP时的预测的模型。模拟嵌入包括映射在公共空间中的不同语言的翻译单词，并复制以增加从模型中检索单词（及其同义词）的翻译的预测概率。与大多数现有的模型，该模型不需要并行语料库，并容纳多种语言（多语种）。我们证明了所提出的模型在包含CLP案例的标准数据集中检测CLP的有效性，并根据依赖于在线机器翻译器（T + MA模型）的最新基线评估了其性能。评估结果表明，该模型不仅是有效的检测CLP，它优于基线。结果表明，CLP可以通过利用具有词嵌入的互联网翻译器的预测准确性来检测，而不依赖于互联网翻译器。
2018-01-03 cs.CL cs.IR
Improving Korean-English Cross-Lingual Retrieval: A Data-Centric Study of Language Composition and Model Merging
Korea University（高丽大学）；Uracle
本研究通过构建语言平行的韩英数据集，探讨了训练数据组成对跨语言检索和单语言检索性能的影响，发现语言组合显著影响检索性能，并通过模型融合策略有效缓解了两者之间的权衡问题。
2026-05-19 cs.IR
Robust Cross-lingual Embeddings from Parallel Sentences
University of Waterloo（滑铁卢大学）；EPFL（洛桑联邦理工学院）
跨语言词嵌入的最新进展主要依赖于基于映射的方法，该方法通过线性变换将来自不同语言的预训练词嵌入投射到共享空间中。然而，这些方法假设词嵌入空间在不同语言之间是同构的，这已经被证明在实践中不成立（Søgaard等人，2018年），并从根本上限制了他们的表现。这促使研究联合学习方法，可以克服这一障碍，通过训练目标中的跨语言术语同时学习跨语言嵌入。我们提出了一个双语扩展的CBOW方法，利用双语对齐语料库，以获得强大的跨语言的单词和句子表示。我们的方法显着提高了跨语言的句子检索性能比所有其他方法，同时保持与当前国家的最先进的方法对单词翻译的奇偶校验。它还在zero-shot跨语言文档分类任务上实现了与深度RNN方法的对等，需要更少的计算资源进行训练和推理。作为一个额外的优势，我们的双语方法导致一个更显着的改善单语词向量的质量相比，其他竞争的方法。
2020-05-01 cs.CL cs.IR cs.LG
Boosting Zero-shot Cross-lingual Retrieval by Training on Artificially Code-Switched Data
LMU Munich（慕尼黑大学）
本文提出利用双语词典生成人工语码转换数据训练排序模型，在mMARCO上显著提升零样本跨语言和多语言检索性能，且对远距离语言和未见语言具有鲁棒性。
2023-05-26 cs.CL cs.IR
Augmenting Passage Representations with Query Generation for Enhanced Cross-Lingual Dense Retrieval
本文提出利用跨语言查询生成增强段落表示，无需额外训练数据即可提升跨语言稠密检索效果，且不增加推理延迟。
2023-05-06 cs.IR
Exploiting Neural Query Translation into Cross Lingual Information Retrieval
Alibaba Group（阿里巴巴集团）
查询翻译作为跨语言信息检索（CLIR）中的一个重要环节，面临着三个主要挑战：1）翻译的充分性; 2）缺乏域内并行训练数据; 3）对低延迟的要求。为此，现有的CLIR系统主要利用基于语法的机器翻译（SMT）而不是高级神经机器翻译（NMT），限制了翻译和检索质量的进一步提高。本文研究了如何将神经查询翻译模型应用到CLIR系统中。具体而言，我们提出了一种新的数据增强方法，提取查询翻译对，根据用户点击数据，从而减轻在NMT领域适应的问题。然后，我们提出了一种异步策略，它能够充分利用SMT的实时性和NMT的准确性的优势。实验结果表明，该方法的检索质量优于强基线，可以很好地应用于实际的CLIR系统，即Aliexpress电子商务搜索引擎。读者可以在我们的网站上检查和测试他们的案例：https://aliexpress.com。
2020-10-26 cs.CL cs.IR
CLIRudit: Cross-Lingual Information Retrieval of Scientific Documents
CONICET-Universidad de Buenos Aires. Instituto de Ciencias de la Computación (ICC). Buenos Aires, Argentina（CONICET-阿根廷布宜诺斯艾利斯大学。信息计算研究所（ICC）。布宜诺斯艾利斯，阿根廷）；École de bibliothéconomie et des sciences de l’information. Université de Montréal. Montréal, Canada（信息与图书馆科学学院。蒙特利尔大学。蒙特利尔，加拿大）
针对学术搜索中非英文成果检索需求，本文构建英法学术跨语言检索数据集CLIRudit，测试多类检索器性能并给出可复现基准，助力非英文学术内容获取。
2025-11-19 cs.CL cs.IR
Improving Semantic Proximity in Information Retrieval through Cross-Lingual Alignment
Korea University（韩国大学）
本文提出改进多语言检索中跨语言对齐能力的方法，通过设计评估指标和训练策略，提升模型在多语言文档中的检索性能，减少对英语的偏好。
2026-04-07 cs.IR
The Cross-Lingual Cost: Retrieval Biases in RAG over Arabic-English Corpora
Technology Innovation Institute（技术创新研究所）
本研究针对阿拉伯语-英语跨语言RAG，发现检索是跨语言领域场景的关键瓶颈，并提出两种简单策略（平等检索或查询翻译）显著提升跨语言与整体性能。
2025-10-27 cs.AI cs.CL cs.IR
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦女王学院）；University College London（伦敦大学学院）
本文研究了跨语言检索中影响排序的因素，发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优，优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
Breaking Language Barriers with MMTweets: Advancing Cross-Lingual Debunked Narrative Retrieval for Fact-Checking
University of Sheffield（谢菲尔德大学）
本研究创建MMTweets数据集，引入跨语言已辟谣叙事检索任务，通过多阶段检索方法提升跨语言事实核查效率，并公开数据集与标注手册。
2024-08-20 cs.CL cs.CY cs.IR
Cross-Lingual Document Retrieval with Smooth Learning
Purdue University（普渡大学）
跨语言文档搜索是一种查询语言与文档语言不同的信息检索任务。在本文中，我们研究了神经文档搜索模型的不稳定性，并提出了一种新的端到端鲁棒框架，该框架在不同文档语言的跨语言搜索中实现了更好的性能。该框架包括一个新的措施的相关性，平滑余弦相似性，查询和文档之间，和一个新的损失函数，平滑有序搜索损失，作为目标。进一步为该框架的泛化误差界提供了理论保证。我们进行实验，比较我们的方法与其他文档搜索模型，并观察到显着的收益下常用的排名指标在各种语言的跨语言文档检索任务。
2020-11-02 cs.IR cs.LG
Cross-lingual Knowledge Transfer via Distillation for Multilingual Information Retrieval
在本文中，我们介绍了我们提交MIRACL挑战的方法，这是一项WSDM 2023杯比赛，以18种不同语言的特设检索为中心。我们的解决方案包含两个基于神经的模型。第一个模型是一个双编码器重排序器，我们采用跨语言蒸馏技术，将排序知识从英语转移到目标语言空间。第二个模型是一个跨编码器的重新排序器，使用神经机器翻译生成的多语言检索数据进行训练。我们使用MIRACL训练数据和集合多个秩列表进一步微调两个模型以获得最终结果。根据MIRACL排行榜，我们的方法在16种已知语言中的Test-A集排名第8，Test-B集排名第2。
2023-02-26 cs.IR
NeuralMind-UNICAMP at 2022 TREC NeuCLIR: Large Boring Rerankers for Cross-lingual Retrieval
本文报告了一项跨语言信息检索（CLIR）的研究，使用的mT5-XXL reranker上的NeuCLIR轨道的TREC 2022。也许这项研究的最大贡献是发现，尽管mT5模型只在同一语言的查询-文档对上进行了微调，但它被证明适用于CLIR任务，其中查询-文档对是不同语言的，即使在第一阶段检索性能不佳的情况下。研究结果显示，在所有任务和语言方面都有出色的表现，导致了大量的获奖职位。最后，这项研究为mT5在CLIR任务中的使用提供了有价值的见解，并强调了其作为可行解决方案的潜力。有关复制，请参阅https://github.com/unicamp-dl/NeuCLIR22-mT5
2023-03-28 cs.IR
Query Translation vs. Cross-Lingual Embeddings for Sinhala-Tamil E-Government Information Retrieval
University of Kelaniya（凯拉尼亚大学）
本文对比僧伽罗语-泰米尔语电子政务信息检索的CLIR方法，发现多语言嵌入模型BGE-M3性能最优，优于查询翻译方法，可作为低资源政务领域RAG的有效方案。
2026-08-14 cs.IR
Empowering Dual-Encoder with Query Generator for Cross-Lingual Dense Retrieval
在单语稠密检索中，大量的工作集中在如何从交叉编码器重排序器到双编码器检索器中提取知识，这些方法由于交叉编码器重排序器的有效性而获得更好的性能。然而，我们发现跨编码器重排序器的性能受到训练样本的数量和负样本的质量的严重影响，这在跨语言设置中很难获得。在本文中，我们提出了使用查询生成器作为教师在跨语言设置，这是较少依赖于足够的训练样本和高质量的负样本。除了传统的知识蒸馏，我们进一步提出了一种新的增强方法，使用查询生成器来帮助双编码器对齐来自不同语言的查询，但不需要任何额外的并行语句。实验结果表明，我们的方法优于国家的最先进的方法在两个基准数据集。
2023-03-27 cs.IR
Unsupervised Context Aware Sentence Representation Pretraining for Multi-lingual Dense Retrieval
最近的研究表明，使用预训练的语言模型（PLM），以提高稠密检索和多语言稠密检索的有效性。在这项工作中，我们提出了一个简单而有效的单语预训练任务称为对比上下文预测~（CCP）学习句子表示建模句子水平的上下文关系。通过将句子在局部上下文中的嵌入推得更近，并将随机负样本推得更远，不同语言可以形成同构结构，然后两种不同语言的句子对将自动对齐。实验表明，语言模型对比训练过程中容易出现模型崩溃和信息泄漏，而语言专用存储体和非对称批量归一化操作分别对防止崩溃和信息泄漏起到了至关重要的作用。此外，句子嵌入的后处理也是非常有效的，以实现更好的检索性能。在多语言句子检索任务Tatoeba上，我们的模型在不使用双语数据的情况下实现了新的SOTA结果。我们的模型也显示出较大的增益Tatoeba之间转移时，非英语对。在两个多语言的查询通道检索任务，XOR和TYDI先生，我们的模型甚至实现了两个SOTA结果在所有预训练模型使用双语数据的zero-shot和监督设置。
2022-06-07 cs.IR
Transforming LLMs into Cross-modal and Cross-lingual Retrieval Systems
Boston University（波士顿大学）；The University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本研究提出用大语言模型初始化多模态双编码器检索系统，仅用21种语言训练即可实现102种语言的语音文本匹配，平均Recall@1提升10%，还可借助机器翻译数据增强跨语言匹配能力。
2024-07-10 cs.CL cs.IR cs.SD
What are the limits of cross-lingual dense passage retrieval for low-resource languages?
本文分析了多语言密集段落检索器（mDPR）在极低资源语言上的局限性，通过翻译语言建模和问题-段落对齐改进阿姆哈拉语和Khmer语的检索效果，发现改进有限，指出模型、数据和评估方法需协同优化。
2024-08-21 cs.IR
Improving the Consistency in Cross-Lingual Cross-Modal Retrieval with 1-to-K Contrastive Learning
Beihang University（北京航空航天大学）
针对跨语言跨模态检索中模态内错误传播与模态间优化偏差导致的不一致问题，提出1-to-K对比学习方法和MRV评估指标，在四个数据集上以更小预训练数据提升召回率与一致性。
2024-06-26 cs.AI cs.IR cs.MM
Rudder: A Cross Lingual Video and Text Retrieval Dataset
使用自然语言查询的视频检索需要学习文本和视听输入之间的语义上有意义的联合嵌入。通常，这种联合嵌入是使用成对（或三重）对比损失目标来学习的，这在训练过程中无法对“难以检索”的样本给予足够的关注。这个问题在数据稀缺的设置中尤其明显，其中数据相对较小（大规模MSR-VTT的10%）以覆盖相当复杂的视听嵌入空间。在这种情况下，我们介绍舵-一个多语言的视频文本检索数据集，包括音频和文字字幕在马拉地语，印地语，泰米尔语，卡纳达语，马拉雅拉姆语和泰卢固语。此外，我们建议通过使用领域知识来弥补数据稀缺性，以增强监督。为此，除了传统的三个样本的三元组（锚，积极的，和消极的），我们引入了第四个术语-偏-定义一个基于偏序损失的差分余量。分音被逐行采样，使得它们在语义上位于阳性和阴性之间的重叠区域中，从而导致更宽的嵌入覆盖。我们的建议始终优于传统的最大余量和三重损失，并提高了MSR-VTT和DiDeMO数据集的最新水平。我们报告了Rudder的基准测试结果，同时还观察到使用提出的偏序丢失获得的显着收益，特别是当特定语言的检索模型通过利用特定语言数据集的跨语言对齐进行联合训练时。
2021-03-09 cs.IR
MIMO: Multilingual Information Retrieval via Monolingual Objectives
Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）
提出MIMO两阶段框架，利用教师模型的稳定英语语义空间，通过知识蒸馏和跨语言对比学习联合优化，解决多语言信息检索中语言聚类和嵌入对齐-均匀性权衡问题。
2026-08-28 cs.AI cs.IR
