Skill matching at scale: freelancer-project alignment for efficient multilingual candidate retrieval
Malt
本文提出一种基于预训练多语言语言模型和自定义Transformer架构的神经检索器，利用对比损失训练，实现大规模多语言环境下自由职业者与项目的高效技能匹配，优于传统方法。
2024-09-19 cs.CL cs.IR cs.LG
Towards Better Monolingual Japanese Retrievers with Multi-Vector Models
本文提出多向量检索器系列 JaColBERT，仅用 1.1 亿参数和更少数据训练，在所有数据集上超越现有单语日语检索器及域外任务上的多语言模型，证明了专用模型处理语言特异性的优势。
2024-09-23 cs.AI cs.CL
The Multilingual Curse at the Retrieval Layer: Evidence from Amharic
Independent Researcher（独立研究者）；University of Amsterdam（阿姆斯特丹大学）
针对零样本多语言检索在低资源形态丰富语言（如阿姆哈拉语）上表现不佳的问题，通过对比实验发现单语检索器显著优于多语言检索器，并揭示了多语言基准测试的局限性。
2026-05-23 cs.CL cs.IR cs.LG
Retrieval-Augmented Multilingual Keyphrase Generation with Retriever-Generator Iterative Training
Amazon Inc.（亚马逊公司）；Salesforce Research（赛富时研究院）；University of Pittsburgh（匹兹堡大学）；Chinese University of Hong Kong（香港中文大学）
关键词生成是自动预测给定一段长文本的关键词的任务。非英语语言中的关键词生成虽然近年来蓬勃发展，但尚未得到广泛的研究。在本文中，我们提请注意一个新的设置名为多语言关键词生成，我们贡献了两个新的数据集，EscherceMKP和AcademicMKP，涵盖六种语言。在技术上，我们提出了一种检索增强的方法，用于多语言的关键词生成，以减轻数据短缺的问题，在非英语语言。检索增强模型利用英语数据集中的关键短语注释，以促进在低资源语言中生成关键短语。给定非英语段落，跨语言密集段落检索模块找到相关的英语段落。然后，相关联的英语关键词作为外部知识的关键词生成在当前语言。此外，我们开发了一个检索器生成器迭代训练算法来挖掘伪平行通道对，以加强跨语言通道检索器。综合实验和烧蚀表明，所提出的方法优于所有基线。
2022-06-01 cs.AI cs.CL cs.LG
Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Jina AI GmbH（吉纳人工智能有限公司）
本研究借鉴单向量嵌入模型训练的成熟方法，对ColBERT的架构与训练流程做渐进式改进，推出通用多语言晚期交互检索模型Jina-ColBERT-v2，在多类英文及多语言检索任务上表现优异。
2024-09-14 cs.AI cs.CL cs.IR
XAMPLER: Learning to Retrieve Cross-Lingual In-Context Examples
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel（昂巴贝尔公司）
针对跨语言上下文学习中跨语言检索器和标注数据稀缺的问题，提出XAMPLER方法，基于Glot500训练检索器并利用MaLA500构建训练数据，仅用英语标注数据即可为目标语言检索英语示例，在SIB200和MasakhaNEWS基准上显著提升性能。
2025-02-08 cs.CL
CLIRudit: Cross-Lingual Information Retrieval of Scientific Documents
CONICET-Universidad de Buenos Aires. Instituto de Ciencias de la Computación (ICC). Buenos Aires, Argentina（CONICET-阿根廷布宜诺斯艾利斯大学。信息计算研究所（ICC）。布宜诺斯艾利斯，阿根廷）；École de bibliothéconomie et des sciences de l’information. Université de Montréal. Montréal, Canada（信息与图书馆科学学院。蒙特利尔大学。蒙特利尔，加拿大）
针对学术搜索中非英文成果检索需求，本文构建英法学术跨语言检索数据集CLIRudit，测试多类检索器性能并给出可复现基准，助力非英文学术内容获取。
2025-11-19 cs.CL cs.IR
Evaluating Large Language Models for Cross-Lingual Retrieval
MaiNLP, Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心 MaiNLP）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文首次系统评估大语言模型在跨语言检索中的两阶段交互，发现多语言双编码器可替代机器翻译提升检索效果，且现有重排序器在无翻译条件下直接用于跨语言检索时性能严重不足。
2025-09-18 cs.CL cs.IR
mRobust04: A Multilingual Version of the TREC Robust 2004 Benchmark
NeuralMind；UNICAMP（坎皮纳斯州立大学）
Robust 2004是一个信息检索基准，其每个查询的大量判断使其成为可靠的评估数据集。在本文中，我们介绍了mRobust04，这是Robust04的多语言版本，使用谷歌翻译翻译成8种语言。我们还提供了三个不同的多语言检索这个数据集的结果。该数据集可在https://huggingface.co/datasets/unicamp-dl/mrobust上获得
2022-09-27 cs.AI cs.CL
Silver Retriever: Advancing Neural Passage Retrieval for Polish Question Answering
Polish Academy of Sciences（波兰科学院）
本文提出面向波兰语的神经段落检索模型 Silver Retriever，在多样化标注数据上训练，性能显著优于现有波兰语模型，并开源五个新数据集。
2024-02-22 cs.CL cs.IR
JaColBERTv2.5: Optimising Multi-Vector Retrievers to Create State-of-the-Art Japanese Retrievers with Constrained Resources
针对低资源日语多向量检索训练欠佳问题，通过系统优化训练与推理设置并引入检查点合并技术，提出JaColBERTv2.5模型，在资源受限下以1.1亿参数显著超越现有方法，创下0.754平均分新纪录。
2024-07-30 cs.AI cs.CL cs.IR
Investigating Language Preference of Multilingual RAG Systems
Department of Artificial Intelligence, Chung-Ang University, Seoul, Korea（人工智能系， Chung-Ang 大学）
本文系统调查了多语言RAG系统在检索和生成中的语言偏好问题，发现检索器和生成器分别偏向高资源语言和查询语言或拉丁文字导致输出不一致，并提出DKM-RAG框架融合翻译段落与模型知识以缓解该偏好并提升性能。
2025-06-01 cs.CL
The Cross-Lingual Cost: Retrieval Biases in RAG over Arabic-English Corpora
Technology Innovation Institute（技术创新研究所）
本研究针对阿拉伯语-英语跨语言RAG，发现检索是跨语言领域场景的关键瓶颈，并提出两种简单策略（平等检索或查询翻译）显著提升跨语言与整体性能。
2025-10-27 cs.AI cs.CL cs.IR
Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG
Parexel AI Labs（Parexel AI实验室）
该研究通过系统分析发现，文档表示质量是多语言和视觉丰富RAG基准提升的主要因素，而非检索方法改进。
2026-03-04 cs.CL
DRAMA: Diverse Augmentation from Large Language Models to Smaller Dense Retrievers
FAIR at Meta（Meta 的 FAIR 研究院）；University of Waterloo（滑铁卢大学）
DRAMA框架利用剪枝后的大型语言模型作为骨干，在LLM增强的多样化数据上进行单阶段对比学习，训练出兼具效率与泛化能力的小型稠密检索器，并在多语言和长上下文任务中取得优异表现。
2025-06-03 cs.CL cs.IR
mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval
Johns Hopkins University（约翰斯·霍普金斯大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Glasgow（格拉斯哥大学）
本文提出多语言检索基准 mFollowIR，通过修改 TREC NeuCLIR 叙述测试模型跨三种语言的指令遵循能力，发现基于英语指令的检索器跨语言表现优异，但多语言场景下性能显著下降。
2025-01-31 cs.CL cs.IR cs.LG
mRAKL: Multilingual Retrieval-Augmented Knowledge Graph Construction for Low-Resourced Languages
UC Berkeley（伯克利大学）；Apple（苹果公司）
本文提出mRAKL系统，将多语言知识图谱构建重构为问答任务，结合检索增强生成技术，在提格里尼亚语和阿姆哈拉语等低资源语言上显著提升链接预测准确率。
2025-07-21 cs.CL
ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot Multilingual Information Retrieval
Maastricht University（马斯特里赫特大学）
ColBERT-XM 提出一种模块化多向量稠密检索模型，仅利用单一高资源语言数据实现零样本多语言迁移，在保持竞争力的同时提升数据效率并降低能耗。
2024-02-23 cs.CL cs.IR
When Does Mixing Help? Analyzing Query Embedding Interpolation in Multilingual Dense Retrieval
National University of Singapore（新加坡国立大学）
通过嵌入级插值构造混合查询，系统研究多语言稠密检索对混合语言查询的敏感性，发现最优混合比在多数情况下优于单语言查询，且英语主导性导致不对称性。
2026-06-12 cs.CL
Investigating Information Inconsistency in Multilingual Open-Domain Question Answering
University of Maryland, College Park（马里兰大学帕克分校）
基于检索的开放域QA系统使用检索到的文档和对检索到的文档的答案跨度选择来找到最佳答案候选者。我们假设，多语言问答（QA）系统很容易出现信息不一致，当涉及到不同语言编写的文件，因为这些文件往往提供一个模型与不同的信息相同的主题。为了理解信息的可获得性偏差和文化影响的影响，我们分析了多语言开放域问答模型的行为，重点是检索偏差。我们分析如果不同的检索模型呈现不同的段落给定相同的问题在不同的语言上的TyDi QA和XOR-TyDi QA，两个多语言QA数据集。我们推测，跨语言文档的内容差异可能反映了文化差异和/或社会偏见。
2022-05-25 cs.AI cs.CL cs.IR
Enhancing Multilingual RAG Systems with Debiased Language Preference-Guided Query Fusion
Chung-Ang University（中央大学）
本文提出DeLP指标以消除评估基准中的结构偏见，发现多语言检索增强生成系统更倾向单语对齐，由此提出DELTA框架优化跨语言检索与生成，实验表明其在多种语言上优于英语枢纽和mRAG基线。
2026-04-13 cs.CL
Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval
Beijing Jiaotong University（北京交通大学）
本文针对低资源语言检索数据稀缺问题，提出解耦对比学习方法，将多语言表示分离为语义与语言子空间，在mMARCO、MIRACL上的零样本多语言密集检索性能优于多个强基线。
2026-08-04 cs.CL cs.IR
Retrieval-augmented generation in multilingual settings
NAVER LABS Europe（NAVER欧洲实验室）
本文研究多语言环境下的检索增强生成（mRAG），覆盖13种语言，发现需任务特定提示工程和评估指标调整，并发布mRAG基线流水线代码。
2024-07-01 cs.AI cs.CL
CORAL: Adaptive Retrieval Loop for Culturally-Aligned Multilingual RAG
Naver（纳维尔）；Samsung Research（三星研究院）
CORAL通过迭代优化检索空间和查询，提升多语言检索生成在文化相关性上的表现，实验显示在低资源语言上准确率提升3.58%。
2026-04-28 cs.AI cs.CL
M-SQE: Multilingual Skill Quality Estimation for Enhancing Language Equality in Agentic Skill Use
Huawei（华为）
提出M-SQE框架，通过理论视图和行动视图统一评分，评估检索后技能质量，提升低资源语言任务成功率，促进智能体技能使用的语言平等。
2026-09-17 cs.CL
Influence Guided Sampling for Domain Adaptation of Text Retrievers
IBM Research AI（IBM人工智能研究）
本文提出Inf-DDS，一种基于强化学习的采样框架，通过影响信号优化文本检索器的领域适应，提升检索性能并降低计算成本。
2026-01-29 cs.CL cs.IR
Align, Generate, Learn: A Novel Closed-Loop Framework for Cross-Lingual In-Context Learning
Technological University of Peru（秘鲁理工大学）
针对现有跨语言上下文学习方法依赖外部检索或任务微调、扩展性与泛化性不足的问题，提出含检索-生成对齐损失和语义连贯性损失的自监督闭环框架，在多语言基准上取得SOTA，具备强鲁棒性与泛化性。
2024-12-12 cs.CL
Retrieval Disagreement as a Signal: Diagnosing and Steering Multilingual Dense Embedders
School of Computation, Information and Technology, TU Munich（慕尼黑工业大学计算、信息与技术学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
该研究针对多语言稠密嵌入器在共享索引下的检索分歧问题，提出分歧引导调控方法，可减少同语言拥挤，在召回率上保持竞争力，与均值移除方法形成权衡。
2026-10-14 cs.CL cs.IR
XL-HeadTags: Leveraging Multimodal Retrieval Augmentation for the Multilingual Generation of News Headlines and Tags
Ahsanullah University of Science & Technology（阿萨努拉科技大学）；University of Alberta（阿尔伯塔大学）；Université de Sherbrooke（谢布鲁克大学）；Salesforce Research（Salesforce研究院）；Nanyang Technological University（南洋理工大学）
本文提出XL-HeadTags方法，利用图像和标题等多模态辅助信息检索相关句子，结合指令微调，在多语言环境下同时生成新闻标题和实体标签，并构建了覆盖20种语言的数据集及配套评估工具。
2024-06-07 cs.AI cs.CL cs.CV
TSWAP: A Multilingual Retrieval-Augmented Thai Wellness Advisor
Digital Touch Point Co., Ltd.（数字触点有限公司）；iApp Technology Co., Ltd.（iApp技术有限公司）
研究提出多语言检索增强型泰国健康顾问TSWAP，基于泰国传统医学知识库，采用混合检索等技术，发布相关基准与日志，发现量化及强制检索的部署要点。
2026-08-25 cs.CL cs.IR
Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；University of Waterloo（滑铁卢大学）
针对多语言密集检索训练数据稀缺问题，提出 SAP 提示法并构建覆盖 33 种语言的无人工监督合成数据集 SWIM-IR，训练出的 SWIM-X 可媲美人工监督模型。
2024-04-15 cs.AI cs.CL cs.IR
CrossCodeEval: A Diverse and Multilingual Benchmark for Cross-File Code Completion
Columbia University（哥伦比亚大学）；AWS AI Labs（亚马逊云科技AI实验室）
提出跨文件代码补全基准CrossCodeEval，基于多语言真实仓库，通过静态分析构造需跨文件上下文的示例，实验表明现有模型性能受限，可用于评估补全与检索能力。
2023-11-17 cs.CL cs.LG cs.SE
Evaluating Embedding APIs for Information Retrieval
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文在BEIR和MIRACL基准上评估语义嵌入API的领域泛化与多语言检索能力，发现对BM25结果重排序在英语中最具性价比，非英语场景下BM25混合模型效果最佳但成本更高。
2023-07-06 cs.CL cs.IR
Knowledge-Graph Based Augmentation versus Retrieval Augmented Generation for Cultural-Related Question Answering
Universidad de Chile（智利大学）；École Polytechnique（巴黎综合理工学院）；Inria（法国国家信息与自动化研究所）；Inria Chile（智利国家信息与自动化研究所）；CENIA（智利国家人工智能中心）
本研究对比了基于知识图谱的增强与检索增强生成在文化相关问答中的表现，提出G-Retriever方法，在LatamQA数据集上将基础LLM错误率降低72%-78%，并实现零样本多语言迁移。
2026-09-21 cs.AI cs.CL
Quantum-RAG and PunGPT2: Advancing Low-Resource Language Generation and Retrieval for the Punjabi Language
Amity Centre for Artificial Intelligence, Amity University, Noida（阿米蒂大学诺伊达分校阿米蒂人工智能中心）
针对低资源旁遮普语NLP资源匮乏问题，研究团队推出PunGPT2生成模型套件、Pun-RAG检索增强框架及创新Quantum-RAG方法，在多项基准上超越多语言基线，开源全套资源树立旁遮普语处理新SOTA。
2025-10-03 cs.AI cs.CL
