The Multilingual Curse at the Retrieval Layer: Evidence from Amharic
Independent Researcher(独立研究者);University of Amsterdam(阿姆斯特丹大学)
针对零样本多语言检索在低资源形态丰富语言(如阿姆哈拉语)上表现不佳的问题,通过对比实验发现单语检索器显著优于多语言检索器,并揭示了多语言基准测试的局限性。
2026-05-23 cs.CL cs.IR cs.LG
LANGSAE EDITING: Improving Multilingual Information Retrieval via Post-hoc Language Identity Removal
Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系);School of Software, Soongsil University(顺天大学软件学院)
LANGSAE 编辑通过事后移除语言身份信号,提升多语言信息检索的排名质量和跨语言覆盖性。
2026-01-08 cs.CL cs.IR
Unveiling the Magic: Investigating Attention Distillation in Retrieval-augmented Generation
University of California, Davis(加州大学戴维斯分校)
本文探究检索增强生成中注意力蒸馏的成功机制,全面审查其工作流程并识别影响模型学习质量的关键因素,提出了优化训练方法及避免无效训练的指标。
2024-02-19 cs.CL cs.IR
Language Agnostic Multilingual Information Retrieval with Contrastive Learning
Carnegie Mellon University(卡内基梅隆大学);AWS AI Labs(AWS人工智能实验室)
本文提出一种利用平行与非平行语料和双重对比损失训练语言无关多语言信息检索模型的方法,在零样本跨语言检索中显著提升性能且计算开销更低,并适用于低资源语言场景。
2023-05-26 cs.CL cs.IR
MMed-Bench-IR: A Heterogeneous Benchmark for Multilingual Medical Information Retrieval
Seoul National University(首尔国立大学);Seoul National University College of Medicine(首尔国立大学医学院);Seoul National University Hospital(首尔国立大学医院)
针对临床RAG的多语言检索需求,提出MMed-Bench-IR基准,涵盖跨语言对齐、概念区分和证据检索三种异构任务,评估6种语言下10个系统,发现生物医学编码器在英语与日语间性能差距巨大。
2026-06-24 cs.AI cs.CL cs.IR
Learning Multilingual Embeddings for Cross-Lingual Information Retrieval in the Presence of Topically Aligned Corpora
Computer Science and Engineering, Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校计算机科学与工程系)
在缺乏对齐的平行语料库的情况下,跨语言信息检索是一项具有挑战性的任务。在本文中,我们解决这个问题,考虑局部对齐语料库设计用于评估IR设置。需要强调的是,我们既不使用任何与词典对齐的语料库或与文档对齐的语料库,也不使用任何特定于语言的资源,如字典、同义词词典或语法规则。相反,我们使用嵌入到公共空间中,并直接从那里学习单词对应关系。我们测试我们提出的方法,双语IR标准消防数据集孟加拉语,印地语和英语。所提出的方法是优于国家的最先进的方法,不仅为IR评估措施,但也在时间要求方面。我们成功地将我们的方法扩展到三语环境。
2018-04-12 cs.CL cs.IR
CroSearch-R1: Better Leveraging Cross-lingual Knowledge for Retrieval-Augmented Generation
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
本文提出CroSearch-R1框架,通过多轮检索策略和多语言回放机制,提升跨语言知识在检索增强生成中的有效性。
2026-04-28 cs.CL cs.IR
Multilingual Information Retrieval with a Monolingual Knowledge Base
Amazon(亚马逊)
本文提出通过加权采样对比学习微调多语言嵌入模型,实现基于单语知识库的跨语言检索,并在MRR和Recall@3上取得显著提升,且方法语言无关。
2025-06-03 cs.AI cs.CL cs.IR
Efficient and Versatile Model for Multilingual Information Retrieval of Islamic Text: Development and Deployment in Real-World Scenarios
rttl labs(rttl实验室)
本研究利用《古兰经》多语言语料库,提出结合跨语言与单语技术的混合训练方法,开发高效轻量的多语言信息检索模型,并在真实场景中验证其成本效益与检索效果。
2025-10-14 cs.AI cs.CL cs.IR
PairDistill: Pairwise Relevance Distillation for Dense Retrieval
National Taiwan University(台湾大学)
针对 pointwise 蒸馏存在比较不一致的问题,本文提出 PairDistill,利用成对重排序提供细粒度文档区分以训练稠密检索模型,并在多个基准上取得最先进性能。
2024-10-02 cs.CL cs.IR
M3DR: Towards Universal Multilingual Multimodal Document Retrieval
CognitiveLab(认知实验室)
M3DR提出了一种通用多语言多模态文档检索框架,通过对比训练实现跨语言和跨模态对齐,显著提升了多语言场景下的检索性能。
2025-12-03 cs.AI cs.CL cs.CV
ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot Multilingual Information Retrieval
Maastricht University(马斯特里赫特大学)
ColBERT-XM 提出一种模块化多向量稠密检索模型,仅利用单一高资源语言数据实现零样本多语言迁移,在保持竞争力的同时提升数据效率并降低能耗。
2024-02-23 cs.CL cs.IR
Bridging Language Gaps: Advances in Cross-Lingual Information Retrieval with Multilingual LLMs
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本综述梳理了跨语言信息检索从基于翻译到嵌入驱动、生成式技术的发展,介绍其核心组件、评估与资源,指出现存挑战并提出未来发展方向。
2025-10-01 cs.AI cs.CL cs.IR
Multilingual Universal Sentence Encoder for Semantic Retrieval
Google AI(谷歌人工智能);Google(谷歌)
我们介绍了两个预训练的检索为重点的多语种句子编码模型,分别基于Transformer和CNN模型架构。该模型使用多任务训练的双编码器将来自16种语言的文本嵌入到单个语义空间中,该双编码器使用基于翻译的桥接任务来学习绑定表示(Chidambaram al.,2018年)。该模型在语义检索(SR)、翻译对双文本检索(BR)和检索问答(ReQA)方面的性能与最新技术具有竞争力。在英语迁移学习任务中,我们的句子级嵌入接近,在某些情况下超过了单语,仅英语,句子嵌入模型的性能。我们的模型可在TensorFlow Hub上下载。
2019-07-09 cs.CL
Multilingual Retrieval-Augmented Generation for Knowledge-Intensive Task
本文研究多语言检索增强生成在开放域问答中的有效性,提出tRAG和MultiRAG方法,发现tRAG覆盖有限,MultiRAG效率高但存在不一致,CrossRAG通过翻译文档到共同语言提升性能。
2025-10-03 cs.AI cs.CL
Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG
Parexel AI Labs(Parexel AI实验室)
该研究通过系统分析发现,文档表示质量是多语言和视觉丰富RAG基准提升的主要因素,而非检索方法改进。
2026-03-04 cs.CL
Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);Queen Mary University of London(伦敦女王学院)
本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果,发现查询长度和提示技术对性能影响显著,且不同语言间存在显著的检索性能差异。
2025-11-24 cs.AI cs.CL cs.IR
CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval
Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所)
本研究提出多语言多模态检索模型CLASP,结合音频频谱图与预训练自监督语音模型、多语言句子编码器,在自建15类语音文本数据集上训练,在多语言检索指标上超越传统ASR基检索方法。
2025-03-23 cs.CL cs.IR cs.SD
Multi-EuP: The Multilingual European Parliament Dataset for Analysis of Bias in Information Retrieval
School of Computing & Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
Multi-EuP是一个包含22K文档、覆盖24种语言的多语言基准数据集,用于分析信息检索中的语言和人口统计偏差,并验证其作为单语和多语IR基准的有效性。
2023-11-03 cs.AI cs.CL cs.IR
Not All Languages are Equal: Insights into Multilingual Retrieval-Augmented Generation
Tongyi Lab(通义实验室)
该研究构建了含八种语言平行文本的Futurepedia基准,评估六个多语言RALM发现语言不平等现象,并针对单语提取、跨语言迁移、多语言选择三方面提出改进建议,为多语言检索增强生成研究提供洞见。
2024-10-29 cs.CL
Language-Coupled Reinforcement Learning for Multilingual Retrieval-Augmented Generation
School of Computer Science and Technology, Beijing Jiaotong University(计算机科学与技术学院,北京交通大学);University of Montreal(蒙特利尔大学);Tsinghua University(清华大学);University of Notre Dame(Notre Dame 大学)
本文提出LcRL框架,通过语言耦合组相对策略优化减少知识偏差和冲突,提升多语言检索增强生成的性能,适用于受限训练数据和多语言大规模集合的场景。
2026-07-28 cs.CL
TIFIN India at SemEval-2025: Harnessing Translation to Overcome Multilingual IR Challenges in Fact-Checked Claim Retrieval
TIFIN India(TIFIN印度)
本研究提出两阶段检索策略,利用大语言模型翻译克服多语言信息检索障碍,在消费级GPU上实现事实核查声明检索,单语和跨语言测试集success@10分别达0.938和0.81025。
2025-04-23 cs.CL
Multilingual Retrieval Augmented Generation for Culturally-Sensitive Tasks: A Benchmark for Cross-lingual Robustness
University of Pennsylvania(宾夕法尼亚大学)
本文提出BordIRLines基准,包含49种语言的领土争端数据集,评估多语言检索增强生成的跨语言鲁棒性,发现多语言检索能提高响应一致性并减少地缘政治偏见。
2025-06-22 cs.CL
Pivot Through English: Reliably Answering Multilingual Questions without Document Retrieval
University of Washington(华盛顿大学);Apple Inc.(苹果公司)
现有的开放检索问答方法在低资源语言(LRL)明显落后于英语。他们不仅遭受非英语文献检索的缺点,但依赖于特定语言的监督任务或翻译。我们制定了一个任务设置更现实的可用资源,绕过文档检索可靠地转移知识从英语到较低的资源语言。假设一个强大的英语问答模型或数据库,我们比较和分析的方法,以英语为中心:映射外国查询到英语,然后英语回答回目标语言的答案。在这个任务设置中,我们提出了重新排序的多语言最大内积搜索(RM-MIPS),类似于在英语训练集上进行重新排序的语义相似性检索,在XQuAD和MKQA上分别比最强基线高出2.7%和6.2%。分析表明,在具有挑战性的环境中,这种策略比最先进的替代方案具有特殊的功效:低资源语言,具有广泛的干扰数据和查询分布不一致。绕过检索,我们的分析表明,这种方法提供了快速的答案生成几乎任何现成的语言,而不需要任何额外的训练数据在目标语言。
2021-07-16 cs.CL
Are LLMs Truly Multilingual? Exploring Zero-Shot Multilingual Capability of LLMs for Information Retrieval: An Italian Healthcare Use Case
Department of Electrical, Computer and Biomedical Engineering(电气、计算机与生物医学工程系);University of Pavia(帕维亚大学);IRCCS Humanitas Research Hospital(人类itas研究医院)
本文探讨了开源多语言LLMs在零样本条件下处理意大利语电子健康记录信息提取的能力,发现部分模型在泛化能力上存在不足。
2025-12-04 cs.AI cs.CL cs.IR
jina-embeddings-v4: Universal Embeddings for Multimodal Multilingual Retrieval
Jina AI GmbH(Jina AI公司)
本文提出 38 亿参数多模态嵌入模型 jina-embeddings-v4,通过统一文本与图像表示并引入 LoRA 适配器,在多种检索任务中取得最优性能,并发布视觉丰富图像检索基准 Jina-VDR。
2025-07-07 cs.AI cs.CL cs.IR
CORAL: Adaptive Retrieval Loop for Culturally-Aligned Multilingual RAG
Naver(纳维尔);Samsung Research(三星研究院)
CORAL通过迭代优化检索空间和查询,提升多语言检索生成在文化相关性上的表现,实验显示在低资源语言上准确率提升3.58%。
2026-04-28 cs.AI cs.CL
mRAKL: Multilingual Retrieval-Augmented Knowledge Graph Construction for Low-Resourced Languages
UC Berkeley(伯克利大学);Apple(苹果公司)
本文提出mRAKL系统,将多语言知识图谱构建重构为问答任务,结合检索增强生成技术,在提格里尼亚语和阿姆哈拉语等低资源语言上显著提升链接预测准确率。
2025-07-21 cs.CL
Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval
Georgia Institute of Technology(佐治亚理工学院)
该研究针对多语言金融问答基准FinMMEval 2026任务1,构建基于LangGraph的检索增强管道,用RADS评分,通过加权倒数排名融合低资源语言索引,采用语言路由选择模型,揭示语言感知检索等对多语言金融推理的重要性。
2026-07-28 cs.AI cs.CL cs.IR
LegalRAG: A Hybrid RAG System for Multilingual Legal Information Retrieval
Apurba-NSU R&D Lab, Department of Electrical and Computer Engineering, North South University, Dhaka, Bangladesh(北南大学电气与计算机工程系,北南大学阿普尔巴-NSU研发实验室,达卡,孟加拉国);Apurba Technologies, Sunnyvale, CA 94085, USA(阿普尔巴技术公司,硅谷,加利福尼亚州,美国);Fordham University, New York, USA(福丁大学,纽约,美国)
提出面向孟加拉国警察公报的双语法律问答框架,采用混合RAG流水线提升检索与生成性能,在多样化测试集上优于现有方法。
2025-04-19 cs.CL cs.IR cs.LG
Knowledge Distillation in Document Retrieval
Amazon Alexa AI(亚马逊Alexa人工智能部门);Facebook(脸书)
复杂的深度学习模型现在可以为许多文档检索任务提供最先进的性能。最好的模型将查询或索赔与文档一起处理。然而,对于快速可伸缩搜索,希望具有独立于权利要求的文档嵌入。在本文中,我们表明,知识蒸馏可以用来鼓励一个模型,产生索赔独立的文档编码,以模仿一个更复杂的模型,产生索赔相关的编码的行为。我们探索这种方法在文件检索的事实提取和验证任务。我们表明,通过使用来自复杂的交叉注意教师模型的软标签,索赔独立的学生LSTM或CNN模型的性能在所有排名指标上都得到了提高。我们使用的学生模型在运行时间上比教师模型快12倍,参数数量比教师模型少20倍
2019-11-11 cs.CL cs.IR cs.LG
Retrieval-augmented generation in multilingual settings
NAVER LABS Europe(NAVER欧洲实验室)
本文研究多语言环境下的检索增强生成(mRAG),覆盖13种语言,发现需任务特定提示工程和评估指标调整,并发布mRAG基线流水线代码。
2024-07-01 cs.AI cs.CL
Language Drift in Multilingual Retrieval-Augmented Generation: Characterization and Decoding-Time Mitigation
本文针对多语言RAG中因检索证据与查询语言不一致引发的语言漂移问题,剖析其解码器层面的成因,提出无需训练的轻量SCD解码策略,可有效提升多语言场景下的语言对齐度与任务性能。
2025-11-13 cs.CL
ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval
Baidu Inc.(百度公司)
基于预训练语言模型(PLM)的神经检索器,如双编码器,在开放域问答(QA)任务上取得了令人满意的性能。它们的有效性可以通过结合跨架构的知识蒸馏而进一步达到新的技术水平。然而,现有的研究大多只是直接应用常规蒸馏方法。他们没有考虑到教师和学生具有不同结构的特殊情况。在本文中,我们提出了一种新的蒸馏方法,显着推进双编码器的跨架构蒸馏。我们的方法1)引入了一种可以有效地提取后期相互作用(即,ColBERT)到vanilla双编码器,以及2)采用级联蒸馏过程,以进一步提高交叉编码器教师的性能。进行了大量的实验,以验证我们提出的解决方案优于强大的基线,并建立一个新的国家的最先进的开放域QA基准。
2022-05-18 cs.CL
Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Microsoft STCA(微软亚洲研究院搜索技术中心);Simon Fraser University(西蒙弗雷泽大学)
跨语言机器阅读理解(CLMRC)仍然是一个具有挑战性的问题,这是由于缺乏低源语言(如阿拉伯语、印地语和越南语)的大规模注释数据集。许多先前的方法通过从诸如英语的富源语言翻译到低级源语言来使用翻译数据作为辅助监督。然而,如何有效地利用翻译数据并减少翻译引入的噪音的影响仍然是一项艰巨的任务。在本文中,我们解决了这一挑战,并提高跨语言迁移性能的一种新的增强方法命名为语言分支机器阅读理解(LBMRC)。语言分支是一组单一语言的文章,配以所有目标语言的问题。基于LBMRC,我们训练了多个精通不同语言的机器阅读理解(MRC)模型。然后,我们设计了一种多语言蒸馏方法,将多语言分支模型中的知识合并到所有目标语言的单个模型中。将LBMRC和多语言提取相结合,可以提高模型对数据噪声的鲁棒性,从而提高模型的跨语言能力。同时,生成的单一多语种模型适用于所有目标语言,节省了多个模型的训练、推理和维护成本。两个CLMRC基准上的大量实验清楚地表明了我们所提出的方法的有效性。
2020-10-27 cs.AI cs.CL
M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG
Stanford University(斯坦福大学);MBZUAI;Indian Institute of Science(印度科学研究院);Ontario Tech University(安大略技术大学);University of Toronto(多伦多大学);Capital One
M4-RAG提出一个覆盖42种语言、56种方言和189个国家的多模态大规模基准,通过构建8万多个文化多样化的图像-问题对,评估跨语言和模态的检索增强视觉问答性能,揭示模型大小与检索效果的不匹配问题。
2026-03-22 cs.AI cs.CL cs.CV
Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval
University of Minnesota(明尼苏达大学);GE HealthCare(GE医疗);University of Waterloo(滑铁卢大学);Vectara(维克塔拉科技公司)
提出混合批次训练策略,同时优化单语、跨语言和多语言零样本检索,减轻语言偏差,并在多个基准上取得优于单一训练的结果。
2024-08-20 cs.CL cs.IR
Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval
Beijing Jiaotong University(北京交通大学)
本文针对低资源语言检索数据稀缺问题,提出解耦对比学习方法,将多语言表示分离为语义与语言子空间,在mMARCO、MIRACL上的零样本多语言密集检索性能优于多个强基线。
2026-08-04 cs.CL cs.IR
xVLM2Vec: Adapting LVLM-based embedding models to multilinguality using Self-Knowledge Distillation
University of Bari Aldo Moro(巴里大学阿尔多莫罗分校)
本文提出通过自知识蒸馏将英文训练的大型视觉-语言模型适配为多语言、多模态嵌入模型,并构建基准评估其有效性。
2025-03-16 cs.CL cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
针对多语言稠密检索依赖大量配对数据的难题,提出无监督模型UMR,利用多语言大模型的序列似然估计生成伪标签,通过两阶段迭代框架训练,在两个基准数据集上超越有监督基线,且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
Towards Best Practices for Training Multilingual Dense Retrieval Models
University of Waterloo(滑铁卢大学)
使用基于变换器的双编码器设计的稠密检索模型已经成为一个活跃的研究领域。在这项工作中,我们专注于单语检索的任务,在各种类型不同的语言使用这样的设计。虽然最近的多语言Transformers的工作表明,他们表现出强大的跨语言泛化能力,仍然有许多开放的研究问题,我们在这里解决。我们的研究是组织为“最佳实践”的指导培训多语言稠密检索模型,分为三个主要场景:多语言Transformer是可用的,但相关性判断是不可用的语言感兴趣的;模型和训练数据都是可用的;和,训练数据是可用的,但模型。在考虑这些场景时,我们更好地理解了多阶段微调的作用、各种条件下跨语言迁移的强度、非语言数据的有用性以及多语言与单语言Transformers的优势。我们的建议为构建搜索应用程序的从业者提供了指南,特别是对于低资源语言,虽然我们的工作留下了一些研究问题,但我们为未来的工作提供了坚实的基础。
2022-04-05 cs.CL cs.IR
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
在这项工作中,我们提出了一个系统的实证研究,重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器,并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言,预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索,我们确实获得了最先进的性能:然而,峰值分数是由多语言编码器满足的,这些编码器以监督的方式进一步专门用于句子理解任务,而不是使用它们的香草“现成”变体。根据这些结果,我们介绍了本地化的相关性匹配文档级CLIR,我们独立的分数对文档部分的查询。在第二部分中,我们评估了以监督方式微调的多语言编码器(即,我们学习排名)在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明,监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后,只有通过域内对比微调(即,相同的域,只有语言迁移),我们设法提高排名质量。我们发现跨语言检索结果和(zero-shot)跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异,这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
Cross-lingual Knowledge Transfer via Distillation for Multilingual Information Retrieval
在本文中,我们介绍了我们提交MIRACL挑战的方法,这是一项WSDM 2023杯比赛,以18种不同语言的特设检索为中心。我们的解决方案包含两个基于神经的模型。第一个模型是一个双编码器重排序器,我们采用跨语言蒸馏技术,将排序知识从英语转移到目标语言空间。第二个模型是一个跨编码器的重新排序器,使用神经机器翻译生成的多语言检索数据进行训练。我们使用MIRACL训练数据和集合多个秩列表进一步微调两个模型以获得最终结果。根据MIRACL排行榜,我们的方法在16种已知语言中的Test-A集排名第8,Test-B集排名第2。
2023-02-26 cs.IR
AfroXLMR-Comet: Multilingual Knowledge Distillation with Attention Matching for Low-Resource languages
School of Computer Science and Engineering, Vellore Institute of Technology(韦洛尔理工学院计算机科学与工程学院);University of Pretoria(比勒陀利亚大学)
本文提出AfroXLMR-Comet,一种结合知识蒸馏与注意力匹配的混合方法,用于压缩多语言模型,在五种非洲语言上以超85%的规模缩减保持教师模型85%以内的准确率,实现低资源环境下的高效部署。
2025-02-25 cs.AI cs.CL cs.IR
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
基于神经Transformer架构的预训练多语言文本编码器,如多语言BERT(mBERT)和XLM,在无数的语言理解任务上取得了很好的性能。因此,它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例,使跨语言词嵌入(CLWEs)有效地过时。然而,问题仍然存在,在何种程度上这一发现推广1)无监督的设置和2)特设跨语言IR(CLIR)的任务。因此,在这项工作中,我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR,我们证明了可以实现最先进的性能。然而,使用通用多语言文本编码器“现成的”并不能达到峰值性能,而是依赖于它们的变体,这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
fact check AI at SemEval-2025 Task 7: Multilingual and Crosslingual Fact-checked Claim Retrieval
Independent Researcher(独立研究者)
该研究将SemEval-2025任务7的事实核查声明检索视为学习排序问题,采用双编码器模型,利用轻量级模型在Kaggle T4 GPU上训练,多语言和跨语言检索分别达到92%和80%的Success@10,分别排名第10和第5。
2025-08-05 cs.AI cs.CL cs.IR
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学)
最先进的神经(重新)排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此,当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置:它们微调预训练的大规模多语言Transformers(MMT,例如,多语言BERT)对英语相关性判断的影响,然后将它们部署在目标语言中。在这项工作中,我们表明,两个参数有效的跨语言迁移的方法,即稀疏微调掩码(SFTM)和适配器,允许更轻量级,更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器(或SFTM),然后训练检索(即,重新排序)适配器(SFTM)在顶部,同时保持所有其他参数固定。在推理时,这种模块化设计允许我们通过应用用源语言数据训练的(重新)排名适配器(或SFTM)以及目标语言的语言适配器(或SFTM)来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估,此外,作为另一个贡献,我们扩展了前者,使用三种新语言进行查询:吉尔吉斯语,维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调,同时更模块化,减少训练时间。这种收益对于低资源语言尤其明显,在这些语言中,我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);The Hong Kong Polytechnic University(香港理工大学)
本文从零构建了长上下文多语言文本表示模型与重排序器,通过引入支持8192-token的编码器及对比学习,在匹配甚至超越大规模模型性能的同时显著提升了训练与推理效率。
2024-10-14 cs.CL cs.IR
Aligning Multilingual Word Embeddings for Cross-Modal Retrieval Task
IDIAP Research Inst.(IDIAP研究所);EPFL(洛桑联邦理工学院)
在本文中,我们提出了一种新的方法来学习多模态多语言嵌入匹配图像及其相关的字幕在两种语言。我们结合了两个现有的目标函数,使图像和字幕在一个联合嵌入空间中接近,同时在我们的模型中调整现有语言之间的词嵌入的对齐。我们表明,我们的方法可以更好地推广,实现最先进的性能,在文本到图像和图像到文本检索任务,以及标题-标题相似性任务。两个多模态多语言数据集用于评估:Multi 30 k与德语和英语字幕和Microsoft-COCO与英语和日语字幕。
2019-10-08 cs.CL cs.IR cs.LG
Arctic-Embed 2.0: Multilingual Retrieval Without Compromise
Snowflake Inc.(雪flake公司)
本文提出Arctic-Embed 2.0多语言文本嵌入模型,在保持英文检索质量的同时实现多语言高性能,并支持MRL高效存储,通过实验探讨了开发中的开放问题。
2024-12-14 cs.CL cs.IR cs.LG
SemEval-2025 Task 7: Multilingual and Crosslingual Fact-Checked Claim Retrieval
University of Copenhagen(哥本哈根大学);Kempelen Institute of Intelligent Technologies(Kempelen智能技术研究所);German Research Institute for Artificial Intelligence (DFKI)(德国人工智能研究 institute)
针对虚假信息研究中多语言及低资源语言被忽视的问题,SemEval-2025任务7开展多/跨语言事实核查声明检索共享任务,设单语、跨语两个子赛道,吸引179人参与并提交52份测试结果,相关成果为该领域研究提供参考。
2025-05-15 cs.CL cs.IR
QUILL: Query Intent with Large Language Models using Retrieval Augmentation and Multi-stage Distillation
Google Research(谷歌研究院);Google(谷歌)
大语言模型(LLM)在各种文本理解任务上显示出令人印象深刻的结果。然而,搜索查询却构成了一个独特的挑战,因为它们的长度很短,缺乏细微差别或上下文。复杂的特征工程工作并不总是导致下游的改进,因为它们的性能优势可能会被知识蒸馏的复杂性增加所抵消。因此,在本文中,我们做出了以下贡献:(1)我们证明了检索增强查询提供LLM有价值的额外的上下文,从而提高理解。虽然检索增强通常会增加LM的延迟(从而损害蒸馏效率),(2)我们提供了一种实用且有效的蒸馏检索增强LLM的方法。具体来说,我们使用了一种新的两阶段蒸馏方法,使我们能够进行检索增强的收益,而不会遭受通常与之相关的计算增加。(3)我们证明了所提出的方法(QUILL)的好处在十亿规模,现实世界的查询理解系统,从而产生巨大的收益。通过广泛的实验,包括公共基准测试,我们相信这项工作提供了一个实用的检索增强查询理解的配方。
2022-10-27 cs.CL cs.IR
Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector
University of Amsterdam(阿姆斯特丹大学);Johns Hopkins University, HLTCOE(约翰霍普金斯大学,语言学与认知科学系)
Milco通过多语言连接器将不同语言的查询和文档映射到共享的英语词汇空间,采用两阶段训练策略提升表示透明性和有效性,实现跨语言稀疏检索的最优性能。
2026-03-19 cs.CL cs.IR
PROD: Progressive Distillation for Dense Retrieval
Xiamen University(厦门大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
针对稠密检索中强教师模型因师生差距导致蒸馏出差学生模型的问题,提出渐进式蒸馏方法PROD,通过教师渐进式蒸馏和数据渐进式蒸馏逐步提升学生模型,在五个基准上达到同类方法最优。
2023-06-24 cs.CL cs.IR