rerankers: A Lightweight Python Library to Unify Ranking Methods
本文提出轻量级 Python 库 rerankers,将多种重排序方法统一为单一易用接口,支持仅改一行代码切换方法,并通过最少依赖和复用原始实现保证性能不下降。
2024-09-03 cs.AI cs.IR
Linear-PAL: A Lightweight Ranker for Mitigating Shortcut Learning in Personalized, High-Bias Tabular Ranking
Viator, Tripadvisor(猫途鹰Viator)
Linear-PAL通过结构约束和向量化技术,在高偏差情况下提升排序质量并显著降低训练延迟。
2025-12-15 cs.IR cs.LG
Embedding Surgery: Localized Updates for Adaptive Ranking Correction in Dense Retrieval
IIT-CNR(意大利国家研究委员会信息科学与技术研究所);Seltz;ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
本研究提出嵌入手术方法,通过对选定文档嵌入的局部最小化更新实现稠密检索的自适应排序修正,在多个基准上取得显著性能提升,且与查询适配方法互补。
2026-09-07 cs.IR
SPLADE: Sparse Lexical and Expansion Model for First Stage Ranking
在神经信息检索中,正在进行的研究是针对改进排名管道中的第一检索器。学习密集嵌入进行检索使用有效的近似最近邻方法已被证明工作良好。与此同时,人们对学习文档和查询的稀疏表示越来越感兴趣,这可以继承词袋模型的理想属性,例如术语的精确匹配和倒排索引的效率。在这项工作中,我们提出了一个新的第一阶段排名的基础上显式稀疏正则化和对数饱和效应的长期权重,导致高度稀疏表示和竞争力的结果相对于国家的最先进的密集和稀疏的方法。我们的方法很简单,在单个阶段进行端到端培训。我们还探讨了有效性和效率之间的权衡,通过控制稀疏正则化的贡献。
2021-07-12 cs.IR
Learning Passage Impacts for Inverted Indexes
神经信息检索系统通常使用级联流水线,其中第一阶段模型检索文档的候选集合,并且一个或多个后续阶段使用诸如BERT的上下文化语言模型来对该集合重新排序。在本文中,我们提出了DeepImpact,一种新的文档项加权方案,适用于使用标准的倒排索引进行高效检索。与现有方法相比,DeepImpact改进了影响评分建模,并解决了词汇不匹配问题。特别是,DeepImpact利用DocT5Query来丰富文档集合,并使用上下文化的语言模型,直接估计文档中标记的语义重要性,为每个文档中的每个标记生成单值表示。我们的实验表明,DeepImpact在有效性指标w.r.t.上显著优于先前的第一阶段检索方法高达17%。DocT5Query和,当部署在重新排名场景中时,可以达到与最先进方法相同的有效性,效率加速高达5.1倍。
2021-04-24 cs.IR
Compact Indexes for Flexible Top-k Retrieval
我们设计了一个基于自索引的检索系统,能够对top-k查询进行排名安全的评估。该框架概括了Culpepper等人(ESA 2010)的GREEDY方法来处理多项查询,包括短语。我们提出了两种技术,显着减少了广泛的流行的信息检索(IR)的相关性措施,如TFxIDF和BM 25的排名时间。首先,我们根据文档权重对文档数组中的元素进行重新排序。其次,我们引入了重复数组,它将Sadakane(JDA 2007)的文档频率结构推广到文档子集。结合文档和重复数组,我们实现了有吸引力的功能空间的权衡。我们提供了一个广泛的评估,我们的系统上TB大小的IR集合。
2014-06-12 cs.DS cs.IR
Q-TIE: A Lightweight and Generalizable Re-ranking Framework for Temporal Information Retrieval
Korea Advanced Institute of Science and Technology(韩国科学技术院);Sungkyunkwan University(成均馆大学)
Q-TIE提出基于学习的时间意图提取的重排序框架,将查询时间约束映射为统一区间表示,兼顾灵活性与显式约束,在TIR任务上超越现有方法并增强泛化能力。
2026-09-22 cs.CL cs.IR
LURE-RAG: Lightweight Utility-driven Reranking for Efficient RAG
University of Glasgow(格拉斯哥大学)
LURE-RAG通过基于LLM效用的列表排序损失优化检索文档顺序,实现高效RAG框架,在性能和效率上均优于现有方法。
2026-01-27 cs.IR
Data Curation and Model Souping: Unlocking Qwen3-0.6B for MS MARCO Passage Ranking
Alibaba(阿里巴巴)
该研究针对MS MARCO段落排序任务,以Qwen3-0.6B为模型,通过数据整理、难负例挖掘、训练-推理分布对齐及Model Soup权重融合等数据中心策略,在三类实验设置下实现了亚十亿参数模型的先进排序性能。
2026-10-15 cs.IR
Pyserini: An Easy-to-Use Python Toolkit to Support Replicable IR Research with Sparse and Dense Representations
Pyserini是一个易于使用的Python工具包,通过在多阶段排名架构中提供有效的第一阶段检索来支持可复制的IR研究。我们的工具包作为标准Python包是自包含的,并带有查询,相关性判断,预构建索引和许多常用IR测试集合的评估脚本。我们的目标是支持,开箱即用,整个研究生命周期的努力,旨在提高排名与现代神经方法。特别地,Pyserini支持稀疏检索(例如,使用词袋表示的BM 25评分)、稠密检索(例如,变换器编码表示上的最近邻搜索),以及集成两种方法的混合检索。本文提供了一个概述的工具包功能,并提出了实证结果,说明其有效性的两个流行的排名任务。我们还描述了我们的团队如何通过共享规范和工具建立可复制性文化,从而实现严格的自动化测试。
2021-02-19 cs.IR
MTMD: A Multi-Task Multi-Domain Framework for Unified Ad Lightweight Ranking at Pinterest
Pinterest Inc.(Pinterest公司)
针对多任务多场景广告排序的联合优化难题,提出Two-Tower范式下的MTMD框架,通过混合专家架构与领域自适应模块实现知识共享与转移,取代9个生产模型,使离线损失降低12%-36%,在线单次点击成本降低2%。
2025-10-10 cs.CV cs.IR
Personalized Query Auto-Completion Through a Lightweight Representation of the User Context
eBay Inc.(eBay公司)
查询自动完成(QAC)是在许多领域(包括Web和电子商务搜索)中广泛使用的功能,基于用户键入的前缀建议完整查询。近年来,QAC在文献中得到了广泛的研究,并且一直表明,添加个性化特征可以显着提高QAC的性能。在这项工作中,我们提出了一种新的个性化QAC的方法,使用轻量级的嵌入通过fastText学习。我们构造一个嵌入的用户上下文查询,这是最后几个查询由用户发出。我们还使用相同的模型来获得要排名的候选查询的嵌入。我们引入排名功能,计算候选查询和上下文查询之间的距离在嵌入空间。然后将这些特征与其他常用的QAC排名特征相结合,以学习排名模型。我们将我们的方法应用于大型电子商务搜索引擎(eBay),并表明具有我们提出的功能的排名器在所有测量的离线指标上都显着优于基线,这些指标包括平均倒数排名(MRR),成功率(SR),平均平均精度(MAP)和归一化折扣累积增益(NDCG)。我们的基线包括最受欢迎的完成(MPC)模型以及没有我们提出的功能的排名模型。具有所提出的特征的排名模型在所有度量上都比MPC模型有$20-30\%$改进。对于所有会话,我们获得了比基线排名模型高的$5\%$改进,当我们限制包含用户上下文的会话时,其提高到大约$10\%$。此外,我们提出的功能也显着优于基于文本的个性化功能在文献中研究之前,并添加基于文本的功能,我们提出的基于嵌入的功能的结果只有轻微的改进。
2019-05-03 cs.AI cs.CL cs.IR
MILDNet: A Lightweight Single Scaled Deep Ranking Architecture
Fynd (Shopsense Retail Technologies Pvt. Ltd.)(Fynd(商感零售科技私人有限公司))
多尺度深度CNN架构[1,2,3]成功地捕获了用于视觉相似性任务的精细和粗略级别的图像描述符,但它们带来了昂贵的存储器开销和延迟。在本文中,我们提出了一个竞争的新颖的CNN架构,称为MILDNet,其优点是非常紧凑(约3倍)。受连续的CNN层表示抽象级别不断增加的图像这一事实的启发,我们通过将多个中间层的激活与最后一层耦合,将深度排名模型压缩为单个CNN。在著名的Street 2shop数据集[4]上训练,我们证明了我们的方法与当前最先进的模型一样好,只有三分之一的参数,模型大小,训练时间和推理时间的显着减少。中间层对图像检索任务的重要性也已被证明在流行的数据集Holidays,Oxford,Paris上执行[5]。因此,尽管我们的实验是在电子商务领域进行的,但它也适用于其他领域。我们进一步进行了消融研究,通过检查添加每个中间层的影响来验证我们的假设。有了这个,我们还提出了MILDNet的两个更有用的变体,一个是用于边缘设备的移动模型(小12倍),另一个是用于RAM较少的系统的复杂特征模型(512-d特征嵌入),以降低排名成本。此外,我们还提出了一种直观的方法来自动创建定制的内部三元组训练数据集,这是很难手动创建的。这个解决方案也可以部署为一个包罗万象的视觉相似性解决方案。最后,我们提出了我们的整个生产级架构,目前在Fynd的视觉相似性。
2019-03-14 cs.AI cs.CV cs.IR
LIFT: A Lifecycle-aware Interaction Factorization Transformer for Unified Retrieval and Ranking
Beijing University of Post and Telecommunications(北京邮电大学);Southeast University(东南大学);Xiaohongshu(小红书)
该研究针对级联推荐系统检索与排序阶段信息异质问题,提出LIFT模型,通过分解交互状态实现两任务共享建模,在ML-20M和Taobao数据集上较基线分别提升4.9%、3.6%联合得分。
2026-10-09 cs.IR
A Learnable Fully Interacted Two-Tower Model for Pre-Ranking System
针对双塔预排序模型缺乏信息交互导致有效性不足的问题,提出可学习全交互双塔模型(FIT),通过MQM和LSS模块实现高效的早期与后期特征交互,在保证推理效率的同时显著提升了模型性能。
2025-09-16 cs.IR
Hybrid Retrieval and Multi-stage Text Ranking Solution at TREC 2022 Deep Learning Track
Alibaba Group(阿里巴巴集团(Alibaba Group))
针对TREC 2022深度学习赛道任务,提出融合稀疏与稠密检索的混合检索方案,搭配全交互排序模型加轻量子排序模块的多阶段排序方法,在段落、文档排序测试集上分获第1、第4名。
2023-08-23 cs.CL cs.IR
End-to-End Neural Ranking for eCommerce Product Search: an application of task models and textual embeddings
我们考虑的问题,检索和排名的电子商务目录中的项目,通常被称为SKU,为了相关的用户发出的查询。用于排序的输入数据是查询的文本和目录中索引的SKU的文本字段。我们审查的方式,这个问题既相似又不同的问题,IR在网络搜索的背景下。产品搜索问题和网络搜索的IR问题之间的差异需要在模型和数据集方面采用不同的方法。我们首先回顾了最近的国家的最先进的网络搜索IR模型,区分两种不同类型的模型,我们称之为分布式和本地交互型。不同类型的相关性模型开发的IR有互补的优点和缺点时,应用于电子商务产品搜索。此外,我们解释了为什么在IR文献中使用的数据集构建的传统方法无法产生足以用于电子商务产品搜索模型的训练或评估的数据。我们解释了我们自己的方法,将任务建模技术应用于电子商务网站的点击日志,可以构建一个大规模的数据集,用于相关性模型的训练和鲁棒基准测试。我们的实验包括将IR文献中的几个模型应用于我们自己的数据集。根据经验,我们已经确定,当应用于我们的数据集时,与基线tf-idf相比,某些局部交互类型的模型将排名错误减少了三分之一。应用于我们的数据集,分布式模型未能超越基线。作为部署系统的基础,分布式模型在计算上比本地交互模型有几个优点。这激发了一个正在进行的工作计划,我们在论文的结尾处概述了这个计划。
2018-06-19 cs.IR
A Static Pruning Study on Sparse Neural Retrievers
本文研究稀疏神经检索器查询成本高的问题,系统评估文档中心、词项中心和不可知三种静态剪枝策略,证明其可在几乎不损失检索效果的情况下获得 2 至 4 倍加速,并保持神经重排序鲁棒性。
2023-04-25 cs.IR
TU Wien @ TREC Deep Learning '19 -- Simple Contextualization for Re-ranking
TU Wien(维也纳工业大学)
神经网络模型的使用使多个目标相互冲突:理想情况下,我们希望创建一个有效、高效和可解释的神经模型。然而,在大多数情况下,我们必须选择哪一个属性对我们最重要。我们利用TREC 2019深度学习赛道的机会来评估平衡神经重新排名方法的有效性。我们提交了TK(Transformer-Kernel)模型的结果:一个使用高效上下文化机制的ad-hoc搜索神经重排序模型。TK使用非常少的轻量级Transformer层来将查询和文档词嵌入置于上下文中。为了对单个术语的交互进行评分,我们使用了文档长度增强的内核池,这使用户能够深入了解模型。我们的通道排名任务的最佳结果是:0.420 MAP,0.671 nDCG,0.598 P@10(TUW 19-p3完整)。文档排序任务的最佳结果为:0.271 MAP,0.465 nDCG,0.730 P@10(TUW 19-d3重新排序)。
2019-12-03 cs.CL cs.IR
Query Exposure Prediction for Groups of Documents in Rankings
本文提出查询曝光预测(QEP)任务及 GEP 方法,利用文档组词汇信息预测查询下各组在排序中的曝光分布,实验显示其准确率最高比现有适配方法提升40%。
2024-01-24 cs.IR
PreGress: Ranking-Native Pre-training and Prompting for Graph Node Ranking
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Huawei Technologies Co., Ltd.(华为技术有限公司)
PreGress是首个原生排序预训练与提示学习框架,通过多任务预训练与轻量提示模块,在低开销下实现了多节点排序任务的优异性能。
2026-08-11 cs.IR cs.LG
Efficient Document Ranking with Learnable Late Interactions
Google(谷歌公司)
提出可学习晚期交互模型LITE,作为通用逼近器,在域内和零样本重排序中优于ColBERT,同时降低延迟和存储开销。
2024-06-25 cs.AI cs.IR cs.LG
Search over the Visual World: Persistent Visual Memory, Layered Indexes, and Source-Grounded Evidence
VideoDB(视频数据库)
该研究针对智能体持续观测视觉数据的场景,提出基于持久视觉记忆等的视频检索基础设施模型,经9800+查询对比,通用组件流水线在Recall@1/@3/@10上优于商业视频原生引擎
2026-08-11 cs.CV cs.IR cs.MM
Single-Turn LLM Reformulation Powered Multi-Stage Hybrid Re-Ranking for Tip-of-the-Tongue Known-Item Retrieval
Missouri University of Science and Technology(密苏里科技大学)
利用单次LLM改写提升多阶段混合重排序,有效提高ToT检索的召回率和排序指标
2026-02-10 cs.IR
Online Distillation for Pseudo-Relevance Feedback
University of Glasgow(格拉斯哥大学);University College London(伦敦大学学院)
本文提出在线蒸馏方法,针对特定查询从神经重排序结果中蒸馏词汇模型,将其作为查询进行第二阶段检索以丰富文档池,效果优于现有伪相关反馈、稠密检索及混合方法。
2023-06-16 cs.CL cs.IR
Compute Allocation for Reasoning-Intensive Retrieval Agents
研究通过BRIGHT基准和Gemini 2.5模型家族,探讨推理密集型检索管道中的计算分配,发现重排阶段受益于更强模型和更深候选池,而查询扩展在轻量模型后效果递减。
2026-03-21 cs.AI cs.IR
ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
Stanford University(斯坦福大学)
自然语言理解(NLU)的最新进展正在推动信息检索(IR)的快速发展,这在很大程度上要归功于对用于文档排序的深度语言模型(LM)进行微调。虽然非常有效,但基于这些LM的排名模型比现有方法增加了几个数量级的计算成本,特别是因为它们必须通过大规模神经网络来馈送每个查询-文档对以计算单个相关性得分。为了解决这个问题,我们提出了ColBERT,这是一种新的排名模型,它可以适应深度LM(特别是BERT)以实现高效检索。ColBERT引入了一个后期交互架构,它使用BERT独立地对查询和文档进行编码,然后采用一个廉价但功能强大的交互步骤来模拟它们的细粒度相似性。通过延迟并保留这种细粒度的交互,ColBERT可以利用深度LM的表现力,同时获得离线预计算文档表示的能力,从而大大加快查询处理。除了降低通过传统模型检索的文档重新排序的成本外,ColBERT的修剪友好交互机制还可以利用向量相似性索引直接从大型文档集合进行端到端检索。我们使用两个最近的通道搜索数据集广泛评估ColBERT。结果表明,ColBERT的有效性与现有的基于BERT的模型相比具有竞争力(并且优于每一个非BERT基线),同时执行速度快两个数量级,每次查询所需的FLOP少四个数量级。
2020-06-04 cs.CL cs.IR
Scientific Paper Retrieval with LLM-Guided Semantic-Based Ranking
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Korea University(韩国大学)
针对现有科学论文检索方法难捕捉细粒度科学概念、LLM查询理解缺乏语料知识锚定的问题,提出结合LLM引导查询理解与概念语义索引的SemRank框架,实现精准语义匹配,提升检索性能且保持高效。
2025-10-06 cs.AI cs.CL cs.IR
Rankify: A Comprehensive Python Toolkit for Retrieval, Re-Ranking, and Retrieval-Augmented Generation
University of Innsbruck(因斯布鲁克大学)
本文提出开源 Python 工具包 Rankify,通过统一模块化框架整合检索、重排序与 RAG,并提供模型、预检索数据集、文档及 PyPI 安装支持。
2025-02-19 cs.CL cs.IR
Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA
Technical University of Munich(慕尼黑技术大学)
针对法律问答中检索增强生成系统的引用质量问题,提出基于扰动归因分数训练轻量级交叉编码器对候选段落重排序,显著提升引用忠实度并与专家答案对齐。
2026-06-02 cs.CL cs.IR
A Flexible and Scalable Framework for Video Moment Search
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
针对视频时刻搜索中长视频处理低效和单时刻假设的问题,提出 SPR 三阶段框架,通过片段检索、候选生成与重排序实现任意长度视频的可扩展 RVMR,并在 TVR-Ranking 上取得最优性能。
2025-01-09 cs.CV cs.IR
HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions
MIT License(MIT许可证)
提出HAKARI-Bench轻量级基准,通过重构现有检索套件为统一格式的小型数据集,实现五种检索家族及其效率变体的同条件比较,在排名上高保真复现MTEB等大型基准。
2026-06-23 cs.CL cs.IR
LlamaRec-LKG-RAG: A Single-Pass, Learnable Knowledge Graph-RAG Framework for LLM-Based Ranking
该研究提出LlamaRec-LKG-RAG框架,将个性化知识图谱上下文集成到LLM推荐排序中,经ML-100K等数据集实验,在MRR等指标上较LlamaRec取得提升,为知识感知个性化推荐奠定基础。
2026-08-18 cs.AI cs.CL cs.IR
Knowing When Not to Answer: Lightweight KB-Aligned OOD Detection for Safe RAG
New York University(纽约大学);National Institute on Drug Abuse(国家成瘾医学研究所);University of Pennsylvania(宾夕法尼亚大学);Microsoft(微软公司)
研究用于检索增强生成(RAG)系统的轻量级、知识库对齐的域外检测,通过PCA处理知识库嵌入,用方差保留或t检验排序选择子空间评分查询,评估规则和分类器,发现低维检测器性能好且更优。
2026-07-07 cs.CL cs.IR
Relevance-Based Embeddings: Lightweight Candidate Retrieval via Heavy-Ranker Calls
研究如何利用昂贵模型分数改进查询和项目表示来选择候选,通过描述查询与支持项目相关性获嵌入,理论证明其有效性,还探讨支持项目选择,实验验证方法强大。
2026-07-07 cs.IR cs.LG
SPD: Single Pass Decoding for Generative Reranking
Meta Platforms, Inc.(元平台公司)
该研究提出hLLM,一种O(1)解码的格式专用策略,结合LoRA微调与教师排序蒸馏,使生成式重排序速度提升64倍,保持质量并连接组合优化,开辟实时排序新路径。
2026-09-07 cs.AI cs.IR cs.LG
RRCM: Ranking-Driven Retrieval over Collaborative and Meta Memories for LLM Recommendation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois at Chicago(伊利诺伊大学香槟分校);Capital One AI Foundations(Capital One AI基金会);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
RRCM通过排序驱动的检索与推理框架,解决LLM推荐中构建相关上下文的挑战,利用自然语言表示的协作和元记忆,实现灵活的证据获取,提升推荐质量。
2026-09-29 cs.AI cs.IR cs.LG
Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval
Institute for Clarity in Documentation(文档清晰度研究所);Inria Paris-Rocquencourt(巴黎- Rocquencourt 国家信息与自动化所);Rajiv Gandhi University(拉朱·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒尔研究实验室);University of Amsterdam(阿姆斯特丹大学)
提出直接文档相关性优化(DDRO)方法,通过成对排序直接对齐令牌级文档ID生成与文档级相关性估计,无需显式奖励建模和强化学习,在MS MARCO和Natural Questions上分别提升MRR@10 7.4%和19.9%。
2025-04-24 cs.AI cs.DL cs.IR