Efficient and Versatile Model for Multilingual Information Retrieval of Islamic Text: Development and Deployment in Real-World Scenarios
rttl labs(rttl实验室)
本研究利用《古兰经》多语言语料库,提出结合跨语言与单语技术的混合训练方法,开发高效轻量的多语言信息检索模型,并在真实场景中验证其成本效益与检索效果。
2025-10-14 cs.AI cs.CL cs.IR
The Overlooked Role of Graded Relevance Thresholds in Multilingual Dense Retrieval
OriginAI
本文探讨了多语言密集检索中分级相关性阈值对性能的影响,发现阈值选择需根据语言和任务调整,以提升检索效果并减少微调数据需求。
2026-01-07 cs.IR
Lexicon-Enhanced Self-Supervised Training for Multilingual Dense Retrieval
最近的多语言预训练模型在各种多语言任务中表现出更好的性能。然而,由于缺乏多语言训练数据,这些模型在多语言检索任务上表现不佳。在本文中,我们提出了挖掘和生成自监督训练数据的基础上,一个大规模的未标记的语料库。我们精心设计了一个挖掘方法,结合稀疏和密集模型挖掘的相关性未标记的查询和段落。我们还引入了一个查询生成器来生成更多的目标语言的未标记段落的查询。通过对TYDI先生数据集和商业搜索引擎的工业数据集的广泛实验,我们证明了我们的方法比基于各种预训练的多语言模型的基线更好。我们的方法甚至在后一个数据集上实现了与监督方法相同的性能。
2023-03-27 cs.IR
Boosting Data Utilization for Multilingual Dense Retrieval
针对多语言稠密检索中数据利用率低的问题,提出通过获取高质量难负样本和有效小批量数据的方法,在MIRACL基准上超越多个强基线。
2025-09-11 cs.IR
M3DR: Towards Universal Multilingual Multimodal Document Retrieval
CognitiveLab(认知实验室)
M3DR提出了一种通用多语言多模态文档检索框架,通过对比训练实现跨语言和跨模态对齐,显著提升了多语言场景下的检索性能。
2025-12-03 cs.AI cs.CL cs.CV
Unified Multimodal and Multilingual Retrieval via Multi-Task Learning with NLU Integration
Xiaomi Corporation(小米公司)
本文提出通过多任务学习与NLU集成实现统一的多模态和多语言检索,提升跨语言和跨模态的检索效率与准确性。
2026-01-21 cs.IR
Bridging Language Gaps: Advances in Cross-Lingual Information Retrieval with Multilingual LLMs
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本综述梳理了跨语言信息检索从基于翻译到嵌入驱动、生成式技术的发展,介绍其核心组件、评估与资源,指出现存挑战并提出未来发展方向。
2025-10-01 cs.AI cs.CL cs.IR
Interpreting Multilingual and Document-Length Sensitive Relevance Computations in Neural Retrieval Models through Axiomatic Causal Interventions
University of Amsterdam(阿姆斯特丹大学)
本研究复现并扩展了神经检索模型相关性计算的公理化因果干预方法,通过激活修补验证查询词信息编码,并发现词频位置跨语言泛化且序列级信息集中于CLS词元。
2025-05-04 cs.AI cs.IR
Multilingual Humour-Aware Retrieval with Dense and Re-Ranking Models
Democritus University of Thrace(德谟克利特色雷斯大学)
本研究使用XLM-RoBERTa稠密检索和重排序模型,在CLEF 2025 JOKER任务1基准上探索多语言幽默感知检索,发现葡萄牙语表现优于英语,揭示了语义表示在捕捉幽默线索方面的局限性。
2026-05-24 cs.IR
NeuCLIRBench: A Modern Evaluation Collection for Monolingual, Cross-Language, and Multilingual Information Retrieval
HLTCOE, Johns Hopkins University(约翰斯·霍普金斯大学 HLTCOE);University of Glasgow(格拉斯哥大学);University of Waterloo(滑铁卢大学);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Allen Institute for AI(艾伦人工智能研究所)
本文发布面向单语、跨语言与多语言检索的评测集NeuCLIRBench,整合三年TREC NeuCLIR赛道主题及标注,提供神经检索融合基线,可有效区分不同检索系统性能且已公开。
2025-11-18 cs.IR
Naver Labs Europe @ WSDM CUP | Multilingual Retrieval
NAVER LABS Europe
Naver Labs Europe参与WSDM杯多语言检索任务,展示SPLARE模型在跨语言检索中的有效性与优势。
2026-02-24 cs.IR
KhyontekAI at CheckThat! 2026: Multilingual Dense Retrieval and Cross-Encoder Reranking for Scientific Web Claims
Tezpur University(特兹普尔大学)
该研究针对社交媒体科学断言的多语言来源检索难题,提出结合微调密集检索与交叉编码器重排序的两阶段框架,经实验验证元数据丰富化及交叉编码器重排序可提升效果,在CLEF 2026任务中取得多语言MRR@5的优异成绩。
2026-10-14 cs.CL cs.IR
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本文研究了跨语言检索中影响排序的因素,发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优,优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval
University of Minnesota(明尼苏达大学);GE HealthCare(GE医疗);University of Waterloo(滑铁卢大学);Vectara(维克塔拉科技公司)
提出混合批次训练策略,同时优化单语、跨语言和多语言零样本检索,减轻语言偏差,并在多个基准上取得优于单一训练的结果。
2024-08-20 cs.CL cs.IR
Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval
Beijing Jiaotong University(北京交通大学)
本文针对低资源语言检索数据稀缺问题,提出解耦对比学习方法,将多语言表示分离为语义与语言子空间,在mMARCO、MIRACL上的零样本多语言密集检索性能优于多个强基线。
2026-08-04 cs.CL cs.IR
Cross-lingual Knowledge Transfer via Distillation for Multilingual Information Retrieval
在本文中,我们介绍了我们提交MIRACL挑战的方法,这是一项WSDM 2023杯比赛,以18种不同语言的特设检索为中心。我们的解决方案包含两个基于神经的模型。第一个模型是一个双编码器重排序器,我们采用跨语言蒸馏技术,将排序知识从英语转移到目标语言空间。第二个模型是一个跨编码器的重新排序器,使用神经机器翻译生成的多语言检索数据进行训练。我们使用MIRACL训练数据和集合多个秩列表进一步微调两个模型以获得最终结果。根据MIRACL排行榜,我们的方法在16种已知语言中的Test-A集排名第8,Test-B集排名第2。
2023-02-26 cs.IR
WSDM Cup 2026 Multilingual Retrieval: A Low-Cost Multi-Stage Retrieval Pipeline
Brown University(布朗大学);Fudan University(复旦大学)
本文提出一种低成本多阶段检索流水线,结合LLM查询扩展、BM25检索、长文本表示排序及重排序,实现多语言检索任务的高效检索效果。
2026-02-19 cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
针对多语言稠密检索依赖大量配对数据的难题,提出无监督模型UMR,利用多语言大模型的序列似然估计生成伪标签,通过两阶段迭代框架训练,在两个基准数据集上超越有监督基线,且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
LEMUR: A Corpus for Robust Fine-Tuning of Multilingual Law Embedding Models for Retrieval
Hub of Computing and Data Science (HCDS) University of Hamburg(计算与数据科学中心(HCDS)乌姆斯大学)
LEMUR通过构建多语言法律语料库并微调嵌入模型,提升了多语言法律检索的鲁棒性和准确性,尤其在低资源语言中表现显著。
2026-02-10 cs.AI cs.CL cs.IR
Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);Queen Mary University of London(伦敦女王学院)
本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果,发现查询长度和提示技术对性能影响显著,且不同语言间存在显著的检索性能差异。
2025-11-24 cs.AI cs.CL cs.IR
Claim2Source at CheckThat! 2026: Improving Multilingual Scientific Claim-Source Retrieval with Verification-based Re-Ranking
Friedrich-Alexander University of Erlangen–Nuremberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
针对多语言科学声明-来源检索任务,提出多阶段检索框架,结合结构化表示与渐进候选优化,采用双语声明、元数据增强源表示及语言适配,经多步检索提升性能,在比赛中获佳绩。
2026-07-07 cs.IR
Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);University of Waterloo(滑铁卢大学)
针对多语言密集检索训练数据稀缺问题,提出 SAP 提示法并构建覆盖 33 种语言的无人工监督合成数据集 SWIM-IR,训练出的 SWIM-X 可媲美人工监督模型。
2024-04-15 cs.AI cs.CL cs.IR
Multi-EuP: The Multilingual European Parliament Dataset for Analysis of Bias in Information Retrieval
School of Computing & Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
Multi-EuP是一个包含22K文档、覆盖24种语言的多语言基准数据集,用于分析信息检索中的语言和人口统计偏差,并验证其作为单语和多语IR基准的有效性。
2023-11-03 cs.AI cs.CL cs.IR
The Multilingual Curse at the Retrieval Layer: Evidence from Amharic
Independent Researcher(独立研究者);University of Amsterdam(阿姆斯特丹大学)
针对零样本多语言检索在低资源形态丰富语言(如阿姆哈拉语)上表现不佳的问题,通过对比实验发现单语检索器显著优于多语言检索器,并揭示了多语言基准测试的局限性。
2026-05-23 cs.CL cs.IR cs.LG
IdiomX A Multilingual Benchmark for Idiom Understanding, Retrieval, and Interpretation
Data ScienceTech Institute(数据科学技术学院)
提出IdiomX,一个大规模多语言习语基准,通过可复现的多阶段流水线构建,涵盖190K+上下文示例和12K+习语,定义四项任务(检测、上下文-习语检索、阿拉伯语-英语习语检索、习语解释),实验表明上下文Transformer模型提升检测,混合检索重排序增强单语和跨语言检索,习语解释可建模为语义检索任务。
2026-04-25 cs.AI cs.CL cs.IR
MLAIRE: Multilingual Language-Aware Information Retrieval Evaluation Protocol
Korea University(韩国大学)
本文提出MLAIRE评估协议,用于评估多语言信息检索中语言感知维度,引入语言偏好率和Lang-nDCG等指标,分析语义检索与查询语言偏好之间的差异。
2026-11-04 cs.IR
MeVer at CheckThat! 2026: Cluster-Aware Hard-Negative Mining for Multilingual Scientific Source Retrieval
针对社交媒体主张的科学文献来源检索任务,提出聚类感知的难负样本挖掘策略,结合密集检索、重排序和基于LLM的争议解决器,在共享任务中排名第6。
2026-07-06 cs.IR
Towards Best Practices for Training Multilingual Dense Retrieval Models
University of Waterloo(滑铁卢大学)
使用基于变换器的双编码器设计的稠密检索模型已经成为一个活跃的研究领域。在这项工作中,我们专注于单语检索的任务,在各种类型不同的语言使用这样的设计。虽然最近的多语言Transformers的工作表明,他们表现出强大的跨语言泛化能力,仍然有许多开放的研究问题,我们在这里解决。我们的研究是组织为“最佳实践”的指导培训多语言稠密检索模型,分为三个主要场景:多语言Transformer是可用的,但相关性判断是不可用的语言感兴趣的;模型和训练数据都是可用的;和,训练数据是可用的,但模型。在考虑这些场景时,我们更好地理解了多阶段微调的作用、各种条件下跨语言迁移的强度、非语言数据的有用性以及多语言与单语言Transformers的优势。我们的建议为构建搜索应用程序的从业者提供了指南,特别是对于低资源语言,虽然我们的工作留下了一些研究问题,但我们为未来的工作提供了坚实的基础。
2022-04-05 cs.CL cs.IR
Aligning Multilingual Word Embeddings for Cross-Modal Retrieval Task
IDIAP Research Inst.(IDIAP研究所);EPFL(洛桑联邦理工学院)
在本文中,我们提出了一种新的方法来学习多模态多语言嵌入匹配图像及其相关的字幕在两种语言。我们结合了两个现有的目标函数,使图像和字幕在一个联合嵌入空间中接近,同时在我们的模型中调整现有语言之间的词嵌入的对齐。我们表明,我们的方法可以更好地推广,实现最先进的性能,在文本到图像和图像到文本检索任务,以及标题-标题相似性任务。两个多模态多语言数据集用于评估:Multi 30 k与德语和英语字幕和Microsoft-COCO与英语和日语字幕。
2019-10-08 cs.CL cs.IR cs.LG
WebFAQ: A Multilingual Collection of Natural Q&A Datasets for Dense Retrieval
University of Passau(帕绍大学)
本文提出WebFAQ,一个含9600万问答对、覆盖75种语言的多语言开放域问答数据集,并基于其微调XLM-RoBERTa模型,显著提升稠密检索性能,同时构建了高质量双语语料库。
2025-02-28 cs.AI cs.CL cs.IR
Soft Prompt Decoding for Multilingual Dense Retrieval
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文针对多语言信息检索任务中因数据异构和不平衡导致的性能次优问题,提出了基于知识蒸馏的软提示解码方法KD-SPD,通过将英语教师模型的检索知识迁移至多语言文档编码器,在无需多语言检索训练数据的情况下显著提升了检索性能并减少了语言偏见。
2023-05-15 cs.CL cs.IR
Arctic-Embed 2.0: Multilingual Retrieval Without Compromise
Snowflake Inc.(雪flake公司)
本文提出Arctic-Embed 2.0多语言文本嵌入模型,在保持英文检索质量的同时实现多语言高性能,并支持MRL高效存储,通过实验探讨了开发中的开放问题。
2024-12-14 cs.CL cs.IR cs.LG
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
在这项工作中,我们提出了一个系统的实证研究,重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器,并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言,预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索,我们确实获得了最先进的性能:然而,峰值分数是由多语言编码器满足的,这些编码器以监督的方式进一步专门用于句子理解任务,而不是使用它们的香草“现成”变体。根据这些结果,我们介绍了本地化的相关性匹配文档级CLIR,我们独立的分数对文档部分的查询。在第二部分中,我们评估了以监督方式微调的多语言编码器(即,我们学习排名)在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明,监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后,只有通过域内对比微调(即,相同的域,只有语言迁移),我们设法提高排名质量。我们发现跨语言检索结果和(zero-shot)跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异,这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
Are LLMs Truly Multilingual? Exploring Zero-Shot Multilingual Capability of LLMs for Information Retrieval: An Italian Healthcare Use Case
Department of Electrical, Computer and Biomedical Engineering(电气、计算机与生物医学工程系);University of Pavia(帕维亚大学);IRCCS Humanitas Research Hospital(人类itas研究医院)
本文探讨了开源多语言LLMs在零样本条件下处理意大利语电子健康记录信息提取的能力,发现部分模型在泛化能力上存在不足。
2025-12-04 cs.AI cs.CL cs.IR
XProvence: Zero-Cost Multilingual Context Pruning for Retrieval-Augmented Generation
KAUST(卡塔尔科技大学);NAVER LABS Europe(NAVER欧洲实验室)
XProvence通过零成本多语言上下文修剪技术,在多种语言中实现检索增强生成的高效性能提升。
2026-01-26 cs.CL cs.IR
jina-embeddings-v4: Universal Embeddings for Multimodal Multilingual Retrieval
Jina AI GmbH(Jina AI公司)
本文提出 38 亿参数多模态嵌入模型 jina-embeddings-v4,通过统一文本与图像表示并引入 LoRA 适配器,在多种检索任务中取得最优性能,并发布视觉丰富图像检索基准 Jina-VDR。
2025-07-07 cs.AI cs.CL cs.IR
mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);University of Glasgow(格拉斯哥大学)
本文提出多语言检索基准 mFollowIR,通过修改 TREC NeuCLIR 叙述测试模型跨三种语言的指令遵循能力,发现基于英语指令的检索器跨语言表现优异,但多语言场景下性能显著下降。
2025-01-31 cs.CL cs.IR cs.LG
Enhancing Multilingual Information Retrieval in Mixed Human Resources Environments: A RAG Model Implementation for Multicultural Enterprise
本文探讨了在多元文化企业环境中实施RAG模型的关键挑战,通过集成多种工具和战略性调整方法,实现了跨语言和识字水平的有效、高效信息检索,确保加速且准确的交付。
2024-01-03 cs.IR
MIRACL-VISION: A Large, multilingual, visual document retrieval benchmark
The Thørväld Group(Thørväld集团);Inria Paris-Rocquencourt(巴黎-罗克琴库尔Inria);Rajiv Gandhi University Doimukh(拉朱·甘地大学多伊穆克);Tsinghua University(清华大学);Palmer Research Laboratories(Palmer研究实验室);The Kumquat Consortium(Kumquat联盟)
针对现有视觉文档检索基准语言单一、依赖合成问题、语料规模小的局限,该研究推出覆盖18种语言的MIRACL-VISION基准,设计易负样本剔除方法平衡难度与算力成本,实验发现当前VLM嵌入模型多语言检索性能显著低于文本模型。
2025-05-21 cs.CV cs.IR
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
基于神经Transformer架构的预训练多语言文本编码器,如多语言BERT(mBERT)和XLM,在无数的语言理解任务上取得了很好的性能。因此,它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例,使跨语言词嵌入(CLWEs)有效地过时。然而,问题仍然存在,在何种程度上这一发现推广1)无监督的设置和2)特设跨语言IR(CLIR)的任务。因此,在这项工作中,我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR,我们证明了可以实现最先进的性能。然而,使用通用多语言文本编码器“现成的”并不能达到峰值性能,而是依赖于它们的变体,这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
Bekko Embedding: Parameter-Efficient Multilingual Retrieval with Ultra-Compact Encoders
研究如何让多语言检索模型更小,提出Bekko Embedding,通过剪枝mmBERT - small并分两阶段训练,最小模型a8m参数少速度快,在多语言检索任务中表现出色,还发布相关资源支持可重复研究。
2026-07-29 cs.IR
Neural Approaches to Multilingual Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
几十年来,提供跨语言的信息访问一直是信息检索(IR)的目标。虽然跨语言IR(CLIR)已经取得了进展,其中查询以一种语言表示,文档以另一种语言表示,但创建跨多种语言的文档的单一排名列表的多语言(MLIR)任务更具挑战性。本文研究了神经文档翻译和预训练的多语言神经语言模型的进步是否能够改善早期MLIR技术的最新技术水平。结果表明,虽然将神经文档翻译与神经排名相结合可以获得最佳的平均精度(MAP),但通过使用预训练的XLM-R多语言语言模型以其母语索引文档,可以在索引时间减少84%的情况下实现98%的MAP得分,并且2%的有效性差异在统计学上并不显著。MLIR实现这些结果的关键是使用来自MS MARCO通道神经翻译的混合语言批次微调XLM-R。
2023-02-09 cs.CL cs.IR
Teaching a New Dog Old Tricks: Resurrecting Multilingual Retrieval Using Zero-shot Learning
Georgetown University(乔治城大学);Amazon(亚马逊)
虽然每天有数十亿的非英语用户依赖于搜索引擎,但针对非英语语言的自组织信息检索问题却很少被研究。这主要是由于缺乏适合于训练排名算法数据集。在本文中,我们利用预先训练的多语言语言模型来解决数据缺乏的问题,将英语集合训练的检索系统转移到非英语查询和文档。我们的模型在zero-shot设置中进行评估,这意味着我们使用它们来预测训练期间从未见过的语言的查询-文档对的相关性得分。我们的研究结果表明,所提出的方法可以显着优于无监督检索技术,阿拉伯语,中文普通话,西班牙语。我们还表明,从目标语言的一些例子,增加英语训练收集有时可以提高性能。
2019-12-30 cs.CL cs.IR cs.LG
Distillation for Multilingual Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出多语言Translate-Distill(MTD)方法,将Translate-Distill扩展至多语言信息检索,使ColBERT-X能对多语言文档分配可比相关性分数,并在nDCG@20和MAP上显著超越此前的Multilingual Translate-Train方法。
2024-05-02 cs.CL cs.IR
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学)
最先进的神经(重新)排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此,当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置:它们微调预训练的大规模多语言Transformers(MMT,例如,多语言BERT)对英语相关性判断的影响,然后将它们部署在目标语言中。在这项工作中,我们表明,两个参数有效的跨语言迁移的方法,即稀疏微调掩码(SFTM)和适配器,允许更轻量级,更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器(或SFTM),然后训练检索(即,重新排序)适配器(SFTM)在顶部,同时保持所有其他参数固定。在推理时,这种模块化设计允许我们通过应用用源语言数据训练的(重新)排名适配器(或SFTM)以及目标语言的语言适配器(或SFTM)来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估,此外,作为另一个贡献,我们扩展了前者,使用三种新语言进行查询:吉尔吉斯语,维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调,同时更模块化,减少训练时间。这种收益对于低资源语言尤其明显,在这些语言中,我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval
Georgia Institute of Technology(佐治亚理工学院)
该研究针对多语言金融问答基准FinMMEval 2026任务1,构建基于LangGraph的检索增强管道,用RADS评分,通过加权倒数排名融合低资源语言索引,采用语言路由选择模型,揭示语言感知检索等对多语言金融推理的重要性。
2026-07-28 cs.AI cs.CL cs.IR
Making a MIRACL: Multilingual Information Retrieval Across a Continuum of Languages
University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
MIRACL(Multilingual信息检索Across a Continuum of Languages)是我们为WSDM 2023 Cup挑战赛构建的多语言数据集,专注于18种不同语言的临时检索,这些语言涵盖了全球超过30亿的母语使用者。这些语言有不同的类型,起源于许多不同的语系,并与不同数量的可用资源相关-包括研究人员通常描述为高资源和低资源的语言。我们的数据集旨在支持单语检索模型的创建和评估,其中查询和语料库使用相同的语言。总的来说,我们已经为这18种语言的维基百科上的大约77 k个查询收集了超过70万个高质量的相关性判断,所有评估都是由我们团队雇佣的母语人士进行的。我们的目标是促进研究,以提高跨语言的检索,从而提高世界各地不同人群的信息访问能力,特别是那些传统上服务不足的人群。本概述文件描述了我们与社区共享的数据集和基线。MIRACL的网站是在http://miracl.ai/。
2022-10-18 cs.CL cs.IR
Multilingual Semantic Retrieval for Apple Music Search
Apple(苹果公司)
研究苹果音乐多语言搜索问题,提出基于暹罗双编码器并微调的多语言语义检索系统,经混合检索架构集成。该系统离线和在线测试效果良好,提升了搜索召回率,尤其改善了难查询的表现,是平台较大的搜索质量改进。
2026-07-15 cs.IR
Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Jina AI GmbH(吉纳人工智能有限公司)
本研究借鉴单向量嵌入模型训练的成熟方法,对ColBERT的架构与训练流程做渐进式改进,推出通用多语言晚期交互检索模型Jina-ColBERT-v2,在多类英文及多语言检索任务上表现优异。
2024-09-14 cs.AI cs.CL cs.IR
LANGSAE EDITING: Improving Multilingual Information Retrieval via Post-hoc Language Identity Removal
Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系);School of Software, Soongsil University(顺天大学软件学院)
LANGSAE 编辑通过事后移除语言身份信号,提升多语言信息检索的排名质量和跨语言覆盖性。
2026-01-08 cs.CL cs.IR
CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval
Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所)
本研究提出多语言多模态检索模型CLASP,结合音频频谱图与预训练自监督语音模型、多语言句子编码器,在自建15类语音文本数据集上训练,在多语言检索指标上超越传统ASR基检索方法。
2025-03-23 cs.CL cs.IR cs.SD
A Semantic Alignment System for Multilingual Query-Product Retrieval
本文主要介绍了我们在KDD CUP 2022的Amazon ESCI挑战赛中获胜的解决方案(团队名称:www),该解决方案在NDCG中获得了0.9043的分数,并在任务1(查询产品排名)中获得第一名。在这次比赛中,参赛者提供了一个真实世界的大规模多语言购物查询数据集,它包含查询产品对英语,日语和西班牙语。本次竞赛提出了三个不同的任务,包括对结果列表进行排名作为任务1,将查询/产品对分类为精确、替代、互补或不相关(ESCI)类别作为任务2,以及为给定查询识别替代产品作为任务3。我们主要集中在任务1,并提出了一个多语言查询产品检索的语义对齐系统。采用预先训练好的多语言语言模型(LM)来获得查询和产品的语义表示。我们的模型都是用交叉熵损失训练的,首先将查询-产品对分类到ESCI的4个类别中,然后我们使用4类概率的加权和来获得排名得分。为了进一步增强模型,我们还进行了精心的数据预处理,通过翻译进行数据增强,使用英语LM专门处理英语文本,使用AWP和FGM进行对抗训练,自蒸馏,伪标签,标签平滑和集成。最后,我们的解决方案在公共和私人排行榜上都优于其他人。
2022-08-05 cs.IR
mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);The Hong Kong Polytechnic University(香港理工大学)
本文从零构建了长上下文多语言文本表示模型与重排序器,通过引入支持8192-token的编码器及对比学习,在匹配甚至超越大规模模型性能的同时显著提升了训练与推理效率。
2024-10-14 cs.CL cs.IR
Granite Embedding Multilingual R2 Models
IBM Research(IBM研究院)
本文提出多语言Granite嵌入R2模型,支持200多种语言和编程代码,提供32768token上下文窗口和最先进的多语言检索性能。
2026-05-14 cs.IR