KhyontekAI at CheckThat! 2026: Multilingual Dense Retrieval and Cross-Encoder Reranking for Scientific Web Claims
Tezpur University(特兹普尔大学)
该研究针对社交媒体科学断言的多语言来源检索难题,提出结合微调密集检索与交叉编码器重排序的两阶段框架,经实验验证元数据丰富化及交叉编码器重排序可提升效果,在CLEF 2026任务中取得多语言MRR@5的优异成绩。
2026-10-14 cs.CL cs.IR
Teaching a New Dog Old Tricks: Resurrecting Multilingual Retrieval Using Zero-shot Learning
Georgetown University(乔治城大学);Amazon(亚马逊)
虽然每天有数十亿的非英语用户依赖于搜索引擎,但针对非英语语言的自组织信息检索问题却很少被研究。这主要是由于缺乏适合于训练排名算法数据集。在本文中,我们利用预先训练的多语言语言模型来解决数据缺乏的问题,将英语集合训练的检索系统转移到非英语查询和文档。我们的模型在zero-shot设置中进行评估,这意味着我们使用它们来预测训练期间从未见过的语言的查询-文档对的相关性得分。我们的研究结果表明,所提出的方法可以显着优于无监督检索技术,阿拉伯语,中文普通话,西班牙语。我们还表明,从目标语言的一些例子,增加英语训练收集有时可以提高性能。
2019-12-30 cs.CL cs.IR cs.LG
Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval
University of Minnesota(明尼苏达大学);GE HealthCare(GE医疗);University of Waterloo(滑铁卢大学);Vectara(维克塔拉科技公司)
提出混合批次训练策略,同时优化单语、跨语言和多语言零样本检索,减轻语言偏差,并在多个基准上取得优于单一训练的结果。
2024-08-20 cs.CL cs.IR
Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval
Beijing Jiaotong University(北京交通大学)
本文针对低资源语言检索数据稀缺问题,提出解耦对比学习方法,将多语言表示分离为语义与语言子空间,在mMARCO、MIRACL上的零样本多语言密集检索性能优于多个强基线。
2026-08-04 cs.CL cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
针对多语言稠密检索依赖大量配对数据的难题,提出无监督模型UMR,利用多语言大模型的序列似然估计生成伪标签,通过两阶段迭代框架训练,在两个基准数据集上超越有监督基线,且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
fact check AI at SemEval-2025 Task 7: Multilingual and Crosslingual Fact-checked Claim Retrieval
Independent Researcher(独立研究者)
该研究将SemEval-2025任务7的事实核查声明检索视为学习排序问题,采用双编码器模型,利用轻量级模型在Kaggle T4 GPU上训练,多语言和跨语言检索分别达到92%和80%的Success@10,分别排名第10和第5。
2025-08-05 cs.AI cs.CL cs.IR
LAReQA: Language-agnostic answer retrieval from a multilingual pool
Google Research(谷歌研究院)
我们提出了LAReQA,一个具有挑战性的新基准语言无关的答案检索从多语言候选池。与以前的跨语言任务不同,LAReQA测试“强”跨语言对齐,要求语义相关的跨语言对在表示空间中比不相关的相同语言对更接近。基于多语言BERT(mBERT),我们研究了实现强对齐的不同策略。我们发现,通过机器翻译来增强训练数据是有效的,并且比使用mBERT开箱即用有显著的改进。有趣的是,在LAReQA上表现最好的嵌入基线低于我们任务的zero-shot变体上的竞争基线,这些变体仅针对“弱”对齐。这一发现强调了我们的主张,语言无关检索是一种新的跨语言评估。
2020-04-11 cs.CL cs.LG
Towards Best Practices for Training Multilingual Dense Retrieval Models
University of Waterloo(滑铁卢大学)
使用基于变换器的双编码器设计的稠密检索模型已经成为一个活跃的研究领域。在这项工作中,我们专注于单语检索的任务,在各种类型不同的语言使用这样的设计。虽然最近的多语言Transformers的工作表明,他们表现出强大的跨语言泛化能力,仍然有许多开放的研究问题,我们在这里解决。我们的研究是组织为“最佳实践”的指导培训多语言稠密检索模型,分为三个主要场景:多语言Transformer是可用的,但相关性判断是不可用的语言感兴趣的;模型和训练数据都是可用的;和,训练数据是可用的,但模型。在考虑这些场景时,我们更好地理解了多阶段微调的作用、各种条件下跨语言迁移的强度、非语言数据的有用性以及多语言与单语言Transformers的优势。我们的建议为构建搜索应用程序的从业者提供了指南,特别是对于低资源语言,虽然我们的工作留下了一些研究问题,但我们为未来的工作提供了坚实的基础。
2022-04-05 cs.CL cs.IR
Multi-EuP: The Multilingual European Parliament Dataset for Analysis of Bias in Information Retrieval
School of Computing & Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
Multi-EuP是一个包含22K文档、覆盖24种语言的多语言基准数据集,用于分析信息检索中的语言和人口统计偏差,并验证其作为单语和多语IR基准的有效性。
2023-11-03 cs.AI cs.CL cs.IR
Soft Prompt Decoding for Multilingual Dense Retrieval
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文针对多语言信息检索任务中因数据异构和不平衡导致的性能次优问题,提出了基于知识蒸馏的软提示解码方法KD-SPD,通过将英语教师模型的检索知识迁移至多语言文档编码器,在无需多语言检索训练数据的情况下显著提升了检索性能并减少了语言偏见。
2023-05-15 cs.CL cs.IR
Skill matching at scale: freelancer-project alignment for efficient multilingual candidate retrieval
Malt
本文提出一种基于预训练多语言语言模型和自定义Transformer架构的神经检索器,利用对比损失训练,实现大规模多语言环境下自由职业者与项目的高效技能匹配,优于传统方法。
2024-09-19 cs.CL cs.IR cs.LG
M3DR: Towards Universal Multilingual Multimodal Document Retrieval
CognitiveLab(认知实验室)
M3DR提出了一种通用多语言多模态文档检索框架,通过对比训练实现跨语言和跨模态对齐,显著提升了多语言场景下的检索性能。
2025-12-03 cs.AI cs.CL cs.CV
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
在这项工作中,我们提出了一个系统的实证研究,重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器,并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言,预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索,我们确实获得了最先进的性能:然而,峰值分数是由多语言编码器满足的,这些编码器以监督的方式进一步专门用于句子理解任务,而不是使用它们的香草“现成”变体。根据这些结果,我们介绍了本地化的相关性匹配文档级CLIR,我们独立的分数对文档部分的查询。在第二部分中,我们评估了以监督方式微调的多语言编码器(即,我们学习排名)在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明,监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后,只有通过域内对比微调(即,相同的域,只有语言迁移),我们设法提高排名质量。我们发现跨语言检索结果和(zero-shot)跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异,这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
XProvence: Zero-Cost Multilingual Context Pruning for Retrieval-Augmented Generation
KAUST(卡塔尔科技大学);NAVER LABS Europe(NAVER欧洲实验室)
XProvence通过零成本多语言上下文修剪技术,在多种语言中实现检索增强生成的高效性能提升。
2026-01-26 cs.CL cs.IR
MMed-Bench-IR: A Heterogeneous Benchmark for Multilingual Medical Information Retrieval
Seoul National University(首尔国立大学);Seoul National University College of Medicine(首尔国立大学医学院);Seoul National University Hospital(首尔国立大学医院)
针对临床RAG的多语言检索需求,提出MMed-Bench-IR基准,涵盖跨语言对齐、概念区分和证据检索三种异构任务,评估6种语言下10个系统,发现生物医学编码器在英语与日语间性能差距巨大。
2026-06-24 cs.AI cs.CL cs.IR
Multilingual Information Retrieval with a Monolingual Knowledge Base
Amazon(亚马逊)
本文提出通过加权采样对比学习微调多语言嵌入模型,实现基于单语知识库的跨语言检索,并在MRR和Recall@3上取得显著提升,且方法语言无关。
2025-06-03 cs.AI cs.CL cs.IR
Efficient and Versatile Model for Multilingual Information Retrieval of Islamic Text: Development and Deployment in Real-World Scenarios
rttl labs(rttl实验室)
本研究利用《古兰经》多语言语料库,提出结合跨语言与单语技术的混合训练方法,开发高效轻量的多语言信息检索模型,并在真实场景中验证其成本效益与检索效果。
2025-10-14 cs.AI cs.CL cs.IR
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
基于神经Transformer架构的预训练多语言文本编码器,如多语言BERT(mBERT)和XLM,在无数的语言理解任务上取得了很好的性能。因此,它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例,使跨语言词嵌入(CLWEs)有效地过时。然而,问题仍然存在,在何种程度上这一发现推广1)无监督的设置和2)特设跨语言IR(CLIR)的任务。因此,在这项工作中,我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR,我们证明了可以实现最先进的性能。然而,使用通用多语言文本编码器“现成的”并不能达到峰值性能,而是依赖于它们的变体,这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
Retrofitting Small Multilingual Models for Retrieval: Matching 7B Performance with 300M Parameters
Salesforce AI Research(Salesforce AI研究院)
本文研究了影响多语言嵌入有效性的关键因素,提出通过增加训练数据规模、使用难负样本和提升任务多样性来改进小型模型的检索性能,最终开发出3亿参数模型,性能媲美甚至超越现有7亿参数模型。
2026-04-22 cs.CL
Multilingual Retrieval-Augmented Generation for Knowledge-Intensive Task
本文研究多语言检索增强生成在开放域问答中的有效性,提出tRAG和MultiRAG方法,发现tRAG覆盖有限,MultiRAG效率高但存在不一致,CrossRAG通过翻译文档到共同语言提升性能。
2025-10-03 cs.AI cs.CL
Neural Approaches to Multilingual Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
几十年来,提供跨语言的信息访问一直是信息检索(IR)的目标。虽然跨语言IR(CLIR)已经取得了进展,其中查询以一种语言表示,文档以另一种语言表示,但创建跨多种语言的文档的单一排名列表的多语言(MLIR)任务更具挑战性。本文研究了神经文档翻译和预训练的多语言神经语言模型的进步是否能够改善早期MLIR技术的最新技术水平。结果表明,虽然将神经文档翻译与神经排名相结合可以获得最佳的平均精度(MAP),但通过使用预训练的XLM-R多语言语言模型以其母语索引文档,可以在索引时间减少84%的情况下实现98%的MAP得分,并且2%的有效性差异在统计学上并不显著。MLIR实现这些结果的关键是使用来自MS MARCO通道神经翻译的混合语言批次微调XLM-R。
2023-02-09 cs.CL cs.IR
Multilingual Generative Retrieval via Cross-lingual Semantic Compression
Faculty of Information Engineering and Automation, Kunming University of Science and Technology(信息工程与自动化学院,昆明理工大学);Yunnan Key Laboratory of Artificial Intelligence(云南省人工智能重点实验室)
提出MGR-CSC框架,通过跨语言语义压缩统一多语言关键词为共享原子,并采用动态多步约束解码,解决多语言生成式检索中的标识符错位与膨胀问题,显著提升检索精度并压缩标识符长度。
2025-10-09 cs.CL
MTVR: Multilingual Moment Retrieval in Videos
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍了mTVR,一个大规模的多语言视频时刻检索数据集,包含21.8K电视节目视频片段的218K英语和中文查询。该数据集是通过扩展流行的TVR数据集(英语)与配对的中文查询和字幕来收集的。与现有的矩检索数据集相比,mTVR是多语言的,更大,并带有不同的注释。我们进一步提出了mXML,一个多语言的时刻检索模型,学习和操作的数据,从两种语言,通过编码器参数共享和语言的邻域约束。我们在新收集的MTVR数据集上证明了mXML的有效性,其中mXML在使用较少参数的情况下优于强单语基线。此外,我们还提供详细的数据集分析和模型消融。数据和代码可在https://github.com/jayleicn/mTVRetrieval上公开获取
2021-07-30 cs.AI cs.CL cs.CV
Distillation for Multilingual Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出多语言Translate-Distill(MTD)方法,将Translate-Distill扩展至多语言信息检索,使ColBERT-X能对多语言文档分配可比相关性分数,并在nDCG@20和MAP上显著超越此前的Multilingual Translate-Train方法。
2024-05-02 cs.CL cs.IR
Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval
Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣迭戈分校)
针对多语言句子检索中对比学习依赖大批量与工程调优的问题,提出基于平行数据和源分离近似的变分生成模型 VMSST,并在多任务评测中超过强对比与生成基线。
2023-06-04 cs.CL cs.LG
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学)
最先进的神经(重新)排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此,当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置:它们微调预训练的大规模多语言Transformers(MMT,例如,多语言BERT)对英语相关性判断的影响,然后将它们部署在目标语言中。在这项工作中,我们表明,两个参数有效的跨语言迁移的方法,即稀疏微调掩码(SFTM)和适配器,允许更轻量级,更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器(或SFTM),然后训练检索(即,重新排序)适配器(SFTM)在顶部,同时保持所有其他参数固定。在推理时,这种模块化设计允许我们通过应用用源语言数据训练的(重新)排名适配器(或SFTM)以及目标语言的语言适配器(或SFTM)来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估,此外,作为另一个贡献,我们扩展了前者,使用三种新语言进行查询:吉尔吉斯语,维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调,同时更模块化,减少训练时间。这种收益对于低资源语言尤其明显,在这些语言中,我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
Making a MIRACL: Multilingual Information Retrieval Across a Continuum of Languages
University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
MIRACL(Multilingual信息检索Across a Continuum of Languages)是我们为WSDM 2023 Cup挑战赛构建的多语言数据集,专注于18种不同语言的临时检索,这些语言涵盖了全球超过30亿的母语使用者。这些语言有不同的类型,起源于许多不同的语系,并与不同数量的可用资源相关-包括研究人员通常描述为高资源和低资源的语言。我们的数据集旨在支持单语检索模型的创建和评估,其中查询和语料库使用相同的语言。总的来说,我们已经为这18种语言的维基百科上的大约77 k个查询收集了超过70万个高质量的相关性判断,所有评估都是由我们团队雇佣的母语人士进行的。我们的目标是促进研究,以提高跨语言的检索,从而提高世界各地不同人群的信息访问能力,特别是那些传统上服务不足的人群。本概述文件描述了我们与社区共享的数据集和基线。MIRACL的网站是在http://miracl.ai/。
2022-10-18 cs.CL cs.IR
Bridging Language Gaps: Advances in Cross-Lingual Information Retrieval with Multilingual LLMs
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本综述梳理了跨语言信息检索从基于翻译到嵌入驱动、生成式技术的发展,介绍其核心组件、评估与资源,指出现存挑战并提出未来发展方向。
2025-10-01 cs.AI cs.CL cs.IR
Identifying Crucial Attention Heads for Multilingual Language Models: Retrieval and Retrieval-Transition Heads
New York University(纽约大学)
本研究通过引入检索-过渡头(RTH)揭示多语言模型中负责目标语言生成的关键注意力机制,并通过实验验证其在链式推理中的重要性。
2026-09-15 cs.CL
Word2winners at SemEval-2025 Task 7: Multilingual and Crosslingual Fact-Checked Claim Retrieval
Iran University of Science and Technology(伊朗科技大学)
该研究面向 SemEval-2025 任务 7 的多语言已核查声明检索,结合零样本模型评估、微调和机器翻译提升跨语言检索,最佳模型跨语言准确率达 85%、单语言达 92%。
2025-03-12 cs.CL
Graph-based Multilingual Product Retrieval in E-commerce Search
Amazon Search(亚马逊搜索);Amazon Personalization(亚马逊个性化)
如今,随着许多电子商业平台开展全球业务,电子商业搜索系统需要处理多语言场景下的产品检索。此外,与维持每个国家特定的电子商业搜索系统相比,拥有一个跨国家的通用系统可以进一步降低运营和计算成本,并促进业务扩展到新的国家。在本文中,我们介绍了一个通用的端到端的多语言检索系统,并讨论了我们的学习和技术细节时,培训和部署系统,以服务于数十亿规模的产品检索电子商业搜索。特别是,我们提出了一个多语言的图形注意力的检索网络,利用最新的进展,基于transformer的多语言模型和图神经网络架构,以捕捉搜索查询和项目之间的相互作用,在电子商业搜索。五个国家的数据的离线实验表明,我们的算法优于国家的最先进的基线,平均35%的召回率和25%的mAP。此外,该模型在在线A/B实验中显示出转换/收入的显着增加,并已在多个国家的生产中部署。
2021-05-06 cs.CL
LANGSAE EDITING: Improving Multilingual Information Retrieval via Post-hoc Language Identity Removal
Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系);School of Software, Soongsil University(顺天大学软件学院)
LANGSAE 编辑通过事后移除语言身份信号,提升多语言信息检索的排名质量和跨语言覆盖性。
2026-01-08 cs.CL cs.IR
Investigating Language and Retrieval Bias in Multilingual Previously Fact-Checked Claim Detection
Brno University of Technology(布拉格技术大学);Kempelen Institute of Intelligent Technologies(智能技术研究所);University of Copenhagen(哥本哈根大学)
本文面向 PFCD 任务,基于 AMC-16K 评估六个开源多语言 LLM 在20种语言中的表现,并分析多语言嵌入检索的频率偏差,揭示语言与检索不公平现象及改进方向。
2025-09-29 cs.CL
Retrieval-Augmented Multilingual Keyphrase Generation with Retriever-Generator Iterative Training
Amazon Inc.(亚马逊公司);Salesforce Research(赛富时研究院);University of Pittsburgh(匹兹堡大学);Chinese University of Hong Kong(香港中文大学)
关键词生成是自动预测给定一段长文本的关键词的任务。非英语语言中的关键词生成虽然近年来蓬勃发展,但尚未得到广泛的研究。在本文中,我们提请注意一个新的设置名为多语言关键词生成,我们贡献了两个新的数据集,EscherceMKP和AcademicMKP,涵盖六种语言。在技术上,我们提出了一种检索增强的方法,用于多语言的关键词生成,以减轻数据短缺的问题,在非英语语言。检索增强模型利用英语数据集中的关键短语注释,以促进在低资源语言中生成关键短语。给定非英语段落,跨语言密集段落检索模块找到相关的英语段落。然后,相关联的英语关键词作为外部知识的关键词生成在当前语言。此外,我们开发了一个检索器生成器迭代训练算法来挖掘伪平行通道对,以加强跨语言通道检索器。综合实验和烧蚀表明,所提出的方法优于所有基线。
2022-06-01 cs.AI cs.CL cs.LG
mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);The Hong Kong Polytechnic University(香港理工大学)
本文从零构建了长上下文多语言文本表示模型与重排序器,通过引入支持8192-token的编码器及对比学习,在匹配甚至超越大规模模型性能的同时显著提升了训练与推理效率。
2024-10-14 cs.CL cs.IR
Multilingual Universal Sentence Encoder for Semantic Retrieval
Google AI(谷歌人工智能);Google(谷歌)
我们介绍了两个预训练的检索为重点的多语种句子编码模型,分别基于Transformer和CNN模型架构。该模型使用多任务训练的双编码器将来自16种语言的文本嵌入到单个语义空间中,该双编码器使用基于翻译的桥接任务来学习绑定表示(Chidambaram al.,2018年)。该模型在语义检索(SR)、翻译对双文本检索(BR)和检索问答(ReQA)方面的性能与最新技术具有竞争力。在英语迁移学习任务中,我们的句子级嵌入接近,在某些情况下超过了单语,仅英语,句子嵌入模型的性能。我们的模型可在TensorFlow Hub上下载。
2019-07-09 cs.CL
CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval
Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所)
本研究提出多语言多模态检索模型CLASP,结合音频频谱图与预训练自监督语音模型、多语言句子编码器,在自建15类语音文本数据集上训练,在多语言检索指标上超越传统ASR基检索方法。
2025-03-23 cs.CL cs.IR cs.SD
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本文研究了跨语言检索中影响排序的因素,发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优,优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
LegalRAG: A Hybrid RAG System for Multilingual Legal Information Retrieval
Apurba-NSU R&D Lab, Department of Electrical and Computer Engineering, North South University, Dhaka, Bangladesh(北南大学电气与计算机工程系,北南大学阿普尔巴-NSU研发实验室,达卡,孟加拉国);Apurba Technologies, Sunnyvale, CA 94085, USA(阿普尔巴技术公司,硅谷,加利福尼亚州,美国);Fordham University, New York, USA(福丁大学,纽约,美国)
提出面向孟加拉国警察公报的双语法律问答框架,采用混合RAG流水线提升检索与生成性能,在多样化测试集上优于现有方法。
2025-04-19 cs.CL cs.IR cs.LG
Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG
Parexel AI Labs(Parexel AI实验室)
该研究通过系统分析发现,文档表示质量是多语言和视觉丰富RAG基准提升的主要因素,而非检索方法改进。
2026-03-04 cs.CL
SemEval-2025 Task 7: Multilingual and Crosslingual Fact-Checked Claim Retrieval
University of Copenhagen(哥本哈根大学);Kempelen Institute of Intelligent Technologies(Kempelen智能技术研究所);German Research Institute for Artificial Intelligence (DFKI)(德国人工智能研究 institute)
针对虚假信息研究中多语言及低资源语言被忽视的问题,SemEval-2025任务7开展多/跨语言事实核查声明检索共享任务,设单语、跨语两个子赛道,吸引179人参与并提交52份测试结果,相关成果为该领域研究提供参考。
2025-05-15 cs.CL cs.IR
Language Agnostic Multilingual Information Retrieval with Contrastive Learning
Carnegie Mellon University(卡内基梅隆大学);AWS AI Labs(AWS人工智能实验室)
本文提出一种利用平行与非平行语料和双重对比损失训练语言无关多语言信息检索模型的方法,在零样本跨语言检索中显著提升性能且计算开销更低,并适用于低资源语言场景。
2023-05-26 cs.CL cs.IR
LEMUR: A Corpus for Robust Fine-Tuning of Multilingual Law Embedding Models for Retrieval
Hub of Computing and Data Science (HCDS) University of Hamburg(计算与数据科学中心(HCDS)乌姆斯大学)
LEMUR通过构建多语言法律语料库并微调嵌入模型,提升了多语言法律检索的鲁棒性和准确性,尤其在低资源语言中表现显著。
2026-02-10 cs.AI cs.CL cs.IR
Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector
University of Amsterdam(阿姆斯特丹大学);Johns Hopkins University, HLTCOE(约翰霍普金斯大学,语言学与认知科学系)
Milco通过多语言连接器将不同语言的查询和文档映射到共享的英语词汇空间,采用两阶段训练策略提升表示透明性和有效性,实现跨语言稀疏检索的最优性能。
2026-03-19 cs.CL cs.IR
Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);Queen Mary University of London(伦敦女王学院)
本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果,发现查询长度和提示技术对性能影响显著,且不同语言间存在显著的检索性能差异。
2025-11-24 cs.AI cs.CL cs.IR
Learning Multilingual Embeddings for Cross-Lingual Information Retrieval in the Presence of Topically Aligned Corpora
Computer Science and Engineering, Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校计算机科学与工程系)
在缺乏对齐的平行语料库的情况下,跨语言信息检索是一项具有挑战性的任务。在本文中,我们解决这个问题,考虑局部对齐语料库设计用于评估IR设置。需要强调的是,我们既不使用任何与词典对齐的语料库或与文档对齐的语料库,也不使用任何特定于语言的资源,如字典、同义词词典或语法规则。相反,我们使用嵌入到公共空间中,并直接从那里学习单词对应关系。我们测试我们提出的方法,双语IR标准消防数据集孟加拉语,印地语和英语。所提出的方法是优于国家的最先进的方法,不仅为IR评估措施,但也在时间要求方面。我们成功地将我们的方法扩展到三语环境。
2018-04-12 cs.CL cs.IR
Duluth at SemEval-2025 Task 7: TF-IDF with Optimized Vector Dimensions for Multilingual Fact-Checked Claim Retrieval
Department of Computer Science University of Minnesota(计算机科学系明尼苏达大学)
本研究针对SemEval-2025任务7的多语言事实核查声明检索任务,提出优化向量维度与分词策略的TF-IDF检索系统,验证了传统方法在有限资源场景下的竞争力。
2025-05-19 cs.CL
Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);University of Waterloo(滑铁卢大学)
针对多语言密集检索训练数据稀缺问题,提出 SAP 提示法并构建覆盖 33 种语言的无人工监督合成数据集 SWIM-IR,训练出的 SWIM-X 可媲美人工监督模型。
2024-04-15 cs.AI cs.CL cs.IR
CroSearch-R1: Better Leveraging Cross-lingual Knowledge for Retrieval-Augmented Generation
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
本文提出CroSearch-R1框架,通过多轮检索策略和多语言回放机制,提升跨语言知识在检索增强生成中的有效性。
2026-04-28 cs.CL cs.IR
Not All Languages are Equal: Insights into Multilingual Retrieval-Augmented Generation
Tongyi Lab(通义实验室)
该研究构建了含八种语言平行文本的Futurepedia基准,评估六个多语言RALM发现语言不平等现象,并针对单语提取、跨语言迁移、多语言选择三方面提出改进建议,为多语言检索增强生成研究提供洞见。
2024-10-29 cs.CL
IdiomX A Multilingual Benchmark for Idiom Understanding, Retrieval, and Interpretation
Data ScienceTech Institute(数据科学技术学院)
提出IdiomX,一个大规模多语言习语基准,通过可复现的多阶段流水线构建,涵盖190K+上下文示例和12K+习语,定义四项任务(检测、上下文-习语检索、阿拉伯语-英语习语检索、习语解释),实验表明上下文Transformer模型提升检测,混合检索重排序增强单语和跨语言检索,习语解释可建模为语义检索任务。
2026-04-25 cs.AI cs.CL cs.IR
CORAL: Adaptive Retrieval Loop for Culturally-Aligned Multilingual RAG
Naver(纳维尔);Samsung Research(三星研究院)
CORAL通过迭代优化检索空间和查询,提升多语言检索生成在文化相关性上的表现,实验显示在低资源语言上准确率提升3.58%。
2026-04-28 cs.AI cs.CL
C2KD: Cross-Lingual Cross-Modal Knowledge Distillation for Multilingual Text-Video Retrieval
MIT(麻省理工学院);Goethe University Frankfurt(法兰克福歌德大学);IBM Research AI(IBM人工智能研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UT Austin(德克萨斯大学奥斯汀分校)
提出跨语言跨模态知识蒸馏方法,利用英语教师模型指导多语言学生模型,并构建Multi-YouCook2数据集,提升多语言文本-视频检索性能。
2023-05-09 cs.CL cs.CV cs.MM
Language-Coupled Reinforcement Learning for Multilingual Retrieval-Augmented Generation
School of Computer Science and Technology, Beijing Jiaotong University(计算机科学与技术学院,北京交通大学);University of Montreal(蒙特利尔大学);Tsinghua University(清华大学);University of Notre Dame(Notre Dame 大学)
本文提出LcRL框架,通过语言耦合组相对策略优化减少知识偏差和冲突,提升多语言检索增强生成的性能,适用于受限训练数据和多语言大规模集合的场景。
2026-07-28 cs.CL