Improving Performance Of English-Hindi Cross Language Information Retrieval Using Transliteration Of Query Terms
GLA University(GLA大学)
跨语言信息检索(CLIR)的主要问题是检索的平均精度与单语检索性能相比较差。CLIR性能不佳的主要原因是查询词的不匹配、词汇歧义和未翻译的查询词。为了提高CLIR系统的性能,需要解决CLIR存在的问题。在本文中,我们正在努力解决给定的问题,提出了一种算法,以提高英语-印地语CLIR系统的性能。我们使用所有可能的组合,印地语翻译查询,使用音译的英语查询条件,并选择其中最好的查询检索的文件。实验在FIRE 2010(Forum of信息检索Evaluation)数据集上进行。实验结果表明,该方法不仅提高了英语-印地语CLIR系统的性能,而且有助于克服现有的问题,在平均精度方面优于现有的英语-印地语CLIR系统。
2014-01-15 cs.CL cs.IR
UniIR: Training and Benchmarking Universal Multimodal Information Retrievers
University of Waterloo(滑铁卢大学);Georgia Institute of Technology(佐治亚理工学院);Hong Kong University of Science and Technology(香港科技大学);Google DeepMind(谷歌DeepMind)
本文提出UniIR,一个指令引导的统一多模态检索器,通过多任务联合训练实现八类检索任务与零样本泛化,并构建M-BEIR基准以标准化通用多模态检索评测。
2023-11-28 cs.AI cs.CL cs.CV
Resources for Brewing BEIR: Reproducible Reference Models and an Official Leaderboard
University of Waterloo(滑铁卢大学);Naver Labs Europe(Naver欧洲实验室)
针对BEIR基准存在的新研究者准入门槛高、缺乏权威效果比较平台的问题,该工作提供了稠密与稀疏检索模型的可复现参考实现,并推出官方自助式排行榜,助力后续相关研究探索。
2023-06-13 cs.CL cs.IR
BEIR-PL: Zero Shot Information Retrieval Benchmark for the Polish Language
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
针对现有零样本信息检索基准多局限于英语的问题,研究构建了含13个数据集的波兰语BEIR-PL基准,发布了波兰语预训练IR模型,评估了多类模型性能并分析了波兰语特性对检索的影响。
2024-05-16 cs.AI cs.CL cs.IR
Systematic Evaluation of Neural Retrieval Models on the Touché 2020 Argument Retrieval Subset of BEIR
该研究针对神经检索模型在BEIR基准的Touché 2020论辩检索子集上效果远差于BM25的问题,通过黑盒评估和数据去噪实验分析局限,发现模型短段落偏差与标注缺失问题,去噪后模型效果提升但仍不及BM25,同时公开了代码与增强数据集。
2024-07-10 cs.IR
Dimension vs. Precision: A Comparative Analysis of Autoencoders and Quantization for Efficient Vector Retrieval on BEIR SciFact
Involead Services Pvt Ltd(Involead Services 私人有限公司)
针对密集检索模型高维高精度向量的存储与内存挑战,本研究在BEIR SciFact基准上对比降维(自编码器)与精度降低(量化)策略,发现int8标量量化在4倍压缩下性能损失可忽略,为高效检索系统部署提供实用参考。
2025-11-18 cs.AI cs.IR
SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval
Naver Labs Europe(欧洲Naver实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
在神经信息检索(IR)中,正在进行的研究是针对改善排名管道中的第一检索器。学习密集嵌入进行检索使用有效的近似最近邻方法已被证明工作良好。与此同时,人们对学习文档和查询的\emph{sparse}表示越来越感兴趣,这可以继承词袋模型的理想属性,例如术语的精确匹配和倒排索引的效率。最近推出的SPLADE模型提供了高度稀疏的表示和竞争力的结果,相对于国家的最先进的密集和稀疏的方法。在本文中,我们建立在SPLADE,并提出了几个显着的改善效果和/或效率。更具体地说,我们修改了池化机制,仅基于文档扩展对模型进行基准测试,并引入了使用蒸馏训练的模型。我们还报告了BEIR基准的结果。总体而言,SPLADE在TREC DL 2019上的NDCG@10上获得了超过$9$ \%的收益,从而在BEIR基准上获得了最先进的结果。
2021-09-21 cs.AI cs.CL cs.IR
Hard Negatives, Hard Lessons: Revisiting Training Data Quality for Robust Information Retrieval with LLMs
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·R·切里顿计算机科学学院)
本文研究大规模检索训练集中的假负例问题,提出用 LLM 识别并重标注相关段落,证明数据精简与修正可显著提升 E5、Qwen2.5 检索及重排序模型效果。
2025-10-18 cs.AI cs.CL cs.IR
vstash: Local-First Hybrid Retrieval with Adaptive Fusion for LLM Agents
vstash通过自适应融合和自监督嵌入优化,提升LLM代理在多数据集上的检索性能,实现NDCG@10的显著提升。
2026-04-16 cs.IR
Unsupervised Dense Information Retrieval with Contrastive Learning
Meta AI Research(Meta人工智能研究院);Ecole normale supérieure, PSL University(巴黎文理研究大学高等师范学院);Inria(法国国家信息与自动化研究所);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University College London(伦敦大学学院)
最近,信息检索已经看到了使用神经网络的密集检索器的出现,作为基于词频的经典稀疏方法的替代。这些模型在有大型训练集的数据集和任务上获得了最先进的结果。然而,它们不能很好地转移到没有训练数据的新应用中,并且被诸如BM 25的无监督词频方法优于。在这项工作中,我们探讨了对比学习的局限性,作为一种训练无监督的密集检索器,并表明它导致在各种检索设置的强大性能。在BEIR基准测试中,我们的无监督模型在Recall@100的15个数据集中的11个数据集上优于BM 25。当在微调之前用作预训练时,无论是在几千个域内示例上还是在大型MS~MARCO数据集上,我们的对比模型都会导致BEIR基准的改进。最后,我们评估了我们的方法多语言检索,其中训练数据甚至比英语更稀缺,并表明我们的方法导致强大的无监督性能。我们的模型也表现出强大的跨语言迁移时,微调监督英语数据和低资源的语言,如斯瓦希里语进行评估。我们表明,我们的无监督模型可以在不同的脚本之间进行跨语言检索,例如从阿拉伯语查询中检索英语文档,这是术语匹配方法无法实现的。
2022-08-29 cs.AI cs.CL cs.IR
Parameterized Dense-Sparse Fusion for Hybrid Retrieval: Tuning a Rank-Score Mix on BEIR SciFact with Qdrant
Involead Services Pvt. Ltd.(Involead服务私人有限公司)
本研究提出参数化稠密-稀疏融合混合检索器,在SciFact上通过网格搜索调优参数,达到0.753 nDCG@10,优于稠密BGE和等权重RRF,并验证系数需按数据集调整。
2026-09-23 cs.AI cs.IR
Rational Retrieval Acts: Leveraging Pragmatic Reasoning to Improve Sparse Retrieval
Université Paris-Saclay(巴黎-萨克雷大学);ILLS;ISIR;Air Liquide France(法国Air Liquide);CentraleSupélec(中央圣埃克苏佩里);AMIAD France(法国AMIAD);Sorbonne Université(索邦大学);CNRS(国家科学研究中心);MILA - Quebec AI Institute(魁北克人工智能研究所)
本文提出将理性言语行为框架适配到稀疏神经信息检索中,通过考虑文档集合中其他文档的影响动态调节词元-文档交互,从而改进多个稀疏检索模型并在BEIR域外数据集上取得最先进性能。
2025-05-06 cs.CL cs.IR
CoIR: A Comprehensive Benchmark for Code Information Retrieval Models
Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出COIR代码信息检索综合基准,涵盖七个领域八类任务的十个数据集,并评估九种检索模型,以揭示代码检索难点并推动该领域研究。
2025-06-06 cs.CL cs.IR
IndicIRSuite: Multilingual Dataset and Neural Information Models for Indian Languages
IIT Bombay(印度理工学院孟买分校)
该研究推出面向11种印度语言的神经信息检索资源套件IndicIRSuite,包含多语言数据集INDIC-MARCO与11个单语检索模型Indic-ColBERT,实验验证其在多个基准上取得显著性能提升,填补了印度语言大规模神经IR资源的空白。
2023-12-15 cs.CL cs.IR
LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding
Meta
本文提出模型无关的LLM增强文档级嵌入框架,并改进负采样与损失函数等训练组件,显著提升Contriever、DRAGON和ColBERTv2等检索器,在LoTTE与BEIR上达到SOTA。
2024-04-08 cs.AI cs.IR
Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval
Georgia Institute of Technology(佐治亚理工学院)
该研究针对多语言金融问答基准FinMMEval 2026任务1,构建基于LangGraph的检索增强管道,用RADS评分,通过加权倒数排名融合低资源语言索引,采用语言路由选择模型,揭示语言感知检索等对多语言金融推理的重要性。
2026-07-28 cs.AI cs.CL cs.IR
FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation
The University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织)
本文提出了专为RAG框架内联邦搜索设计的新数据集FeB4RAG,包含790个查询和LLM相关性判断,并证明高质量联邦搜索系统优于朴素方法。
2024-02-19 cs.CL cs.IR
SuiteEval: Simplifying Retrieval Benchmarks
University of Glasgow(格拉斯哥大学)
SuiteEval通过统一框架简化检索基准测试,提供自动化端到端评估和动态索引,支持多种基准,减少样板代码以促进可重复的IR研究。
2026-02-20 cs.IR
Beyond Benchmarks: Evaluating Embedding Model Similarity for Retrieval Augmented Generation Systems
本研究针对RAG系统嵌入模型选择难题,通过居中核对齐、Jaccard系数和排名相似性评估模型相似性,在BEIR的五个数据集上识别出系列内及跨系列聚类,发现低k值检索相似性方差高,并找到Mistral等开源替代方案。
2024-07-11 cs.IR
TurkColBERT: A Benchmark of Dense and Late-Interaction Models for Turkish Information Retrieval
NewMind AI
TurkColBERT通过比较密集编码器和晚期交互模型,展示了在土耳其信息检索中的高效参数利用和性能提升。
2025-11-20 cs.AI cs.CL cs.IR
LexMAE: Lexicon-Bottlenecked Pretraining for Large-Scale Retrieval
针对语言建模与词表加权检索的高低熵偏好鸿沟,本文提出 LexMAE 预训练框架,借助连续词袋瓶颈学习重要性感知词表表示,并在 MS-Marco 与 BEIR 上取得高效且领先的检索及零样本迁移性能。
2023-06-04 cs.IR
No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
针对多向量检索中K-means聚类导致的索引延迟和语义损失问题,提出单阶段稀疏检索(SSR),利用稀疏自编码器将词元嵌入投影为高维稀疏表示,结合倒排索引实现高效检索,在BEIR基准上索引时间减少15倍、检索延迟减半且性能提升。
2026-09-29 cs.AI cs.IR cs.LG
InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval
NeuralMind(神经思维公司);FEEC-UNICAMP(坎皮纳斯州立大学电气与计算机工程学院);Zeta Alpha(泽塔阿尔法公司)
InPars-v2 利用开源 LLM 和重排序器生成高质量合成查询-文档对,结合 BM25 与微调 monoT5 在 BEIR 基准上取得新 SOTA,并开源全部资源。
2023-05-26 cs.AI cs.IR
Rudder: A Cross Lingual Video and Text Retrieval Dataset
使用自然语言查询的视频检索需要学习文本和视听输入之间的语义上有意义的联合嵌入。通常,这种联合嵌入是使用成对(或三重)对比损失目标来学习的,这在训练过程中无法对“难以检索”的样本给予足够的关注。这个问题在数据稀缺的设置中尤其明显,其中数据相对较小(大规模MSR-VTT的10%)以覆盖相当复杂的视听嵌入空间。在这种情况下,我们介绍舵-一个多语言的视频文本检索数据集,包括音频和文字字幕在马拉地语,印地语,泰米尔语,卡纳达语,马拉雅拉姆语和泰卢固语。此外,我们建议通过使用领域知识来弥补数据稀缺性,以增强监督。为此,除了传统的三个样本的三元组(锚,积极的,和消极的),我们引入了第四个术语-偏-定义一个基于偏序损失的差分余量。分音被逐行采样,使得它们在语义上位于阳性和阴性之间的重叠区域中,从而导致更宽的嵌入覆盖。我们的建议始终优于传统的最大余量和三重损失,并提高了MSR-VTT和DiDeMO数据集的最新水平。我们报告了Rudder的基准测试结果,同时还观察到使用提出的偏序丢失获得的显着收益,特别是当特定语言的检索模型通过利用特定语言数据集的跨语言对齐进行联合训练时。
2021-03-09 cs.IR
Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders
KAIST AI(韩国科学技术院人工智能学院);Allen Institute for AI(艾伦人工智能研究所);Yale University(耶鲁大学)
本工作提出在MSMARCO上使用LoRA等参数高效方法并采用批内负样本的简单训练配方,经BEIR基准验证,能有效提升稠密编码器的域外泛化性能,且与其他资源密集型策略互补。
2023-11-16 cs.AI cs.IR