Offline Pseudo Relevance Feedback for Efficient and Effective Single-pass Dense Retrieval
针对伪相关反馈会使稠密检索在线延迟翻倍的问题,提出将PRF流程转移到离线的单轮稠密检索框架,在标准数据集上验证了其有效性,可在保证效果的同时提升在线检索速度。
2023-08-20 cs.IR
Bullseye: Structured Passage Retrieval and Document Highlighting for Scholarly Search
我们提出了用于学术搜索的靶心系统。给定一组研究论文,Bullseye:1)使用任何现成的算法识别相关段落; 2)自动检测文档结构并将检索到的段落限制在用户指定的部分; 3)突出显示检索到的每个PDF文档的这些段落。我们从三个方面评估靶心:系统有效性,用户有效性和用户努力。在一个系统盲评价中,用户被要求比较使用靶心与基线,忽略文件结构的段落检索,关于四种类型的分级评估。结果表明,系统的有效性略有改善,而用户的有效性和用户的努力表现出显着的改善。用户还报告说,在这两个系统中,学术搜索中对段落突出显示的需求非常强烈。
2014-06-07 cs.IR
On the Scaling of Robustness and Effectiveness in Dense Retrieval
本文研究了稠密检索中鲁棒性与有效性的缩放定律,发现二者遵循不同缩放模式导致权衡。通过引入优化策略构建帕累托前沿,提出帕累托训练方法,在不增加资源下实现鲁棒性与有效性的高效联合缩放。
2025-05-30 cs.IR
Adapting Binary Information Retrieval Evaluation Metrics for Segment-based Retrieval Tasks
本报告描述了基于现有二进制信息检索指标的基于段检索的有效性评估指标。该度量在用于视频片段的超链接的任务的上下文中描述。这种评价方法重新使用现有的评价措施,从标准的克兰菲尔德评价范式。我们的适应方法原则上可以用于任何一种使用二进制相关性的有效性度量,以及其他基于段的检索任务。在我们的视频超链接设置中,我们使用截止秩n的精度和平均精度。
2013-12-06 cs.IR
Predicting Efficiency/Effectiveness Trade-offs for Dense vs. Sparse Retrieval Strategy Selection
在过去的几年里,情境化的预训练Transformer模型,如BERT,在信息检索任务上提供了实质性的改进。最近的方法基于预训练的Transformer模型,如BERT,微调嵌入空间中查询和文档的密集低维上下文表示。虽然这些密集的检索享受实质性的检索效率相比,稀疏的检索,他们是计算密集型,需要大量的GPU资源,和密集的检索被认为是更昂贵的时间和资源的角度来看。此外,稀疏寻回犬已被证明检索互补信息密集寻回犬,导致混合寻回犬的建议。这些混合检索器利用低成本,精确匹配的稀疏检索器以及密集检索器,以弥合查询和文档之间的语义差距。在这项工作中,我们通过提出一个分类器来选择合适的检索策略(即,稀疏对密集对混合)。对于可以用稀疏检索器回答的查询,利用稀疏检索器减少了对GPU的调用数量。因此,在保持效用的同时,查询延迟降低。虽然我们使用更少的计算资源和花费更少的时间,我们仍然实现了改进的性能。我们的分类器可以选择稀疏和稠密检索策略的基础上的查询。我们在MS MARCO通道数据集上进行实验,展示了纯稀疏,纯密集或混合检索策略之间的效率/有效性权衡的改进范围,允许基于目标延迟和资源预算选择适当的策略。
2021-09-22 cs.IR
Dynamic Trade-Off Prediction in Multi-Stage Retrieval Systems
现代多阶段检索系统由候选生成阶段和一个或多个重新排序阶段组成。在这种架构中,最终排名列表的质量可能对初始候选池的质量不敏感,特别是在早期精度方面。这提供了几个机会,以提高检索效率,而不会显着牺牲有效性。在本文中,我们探索了一种新的方法来动态预测两个不同的参数在候选生成阶段,可以直接影响整个系统的整体效率和有效性。以前探索这种权衡的工作主要集中在适用于所有查询的全局参数设置上,即使最佳设置因查询而异。相比之下,我们提出了一种技术,使一个参数预测,最大限度地提高效率,在一个有效性的信封上每个查询的基础上,只使用静态预检索功能。使用分类器级联来决定有效性和效率之间的查询特定的权衡点,该分类器级联在可能的参数截止值的范围内权衡可能的效率增益与有效性损失以进行预测。我们的新方法中有趣的转折是训练分类器,而不需要显式的相关性判断。我们表明,我们的框架是可推广的,通过将其应用到两个不同的检索参数-选择常见的前k查询检索算法中的k,并设置一个质量阈值,$ρ$,得分在一个时间近似查询评估算法。实验结果表明,大量的效率增益是可以实现的动态参数的选择。此外,我们的框架提供了一个通用的工具,可用于在选择和调整算法进行机器学习预测之前估计可能的有效性-效率权衡。
2016-10-08 cs.IR
Improved Learned Sparse Retrieval with Corpus-Specific Vocabularies
本文提出利用语料库特定词汇预训练BERT并调整词汇表规模,可在提升学习型稀疏检索质量最高12%的同时降低延迟最高50%,并适用于uniCOIL和SPLADE等方法。
2024-01-12 cs.IR
The Retrieval Effectiveness of Web Search Engines: Considering Results Descriptions
目的:比较五个主要的Web搜索引擎(Google、Yahoo、MSN、Ask.com和Seekport)的检索效果,不仅考虑结果,而且考虑结果描述。设计/方法/方式:该研究使用现实生活中的查询。结果是匿名和随机的。结果由提出原始查询的人判断。结果:两个主要的搜索引擎,谷歌和雅虎,表现最好,他们之间没有显着差异。Google提供的结果描述比其他任何搜索引擎都要相关得多。这可能是用户认为该引擎优越的原因之一。研究局限性:该研究基于用户模型,其中用户相当系统地考虑了一定数量的结果。在现实生活中,情况可能并非如此。实际意义:暗示搜索引擎应该关注相关的描述。建议搜索者使用除Google之外的其他搜索引擎。创意/价值:这是第一个主要的研究比较结果和描述系统,并提出了新的检索措施,以考虑到结果的描述
2015-11-18 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的,仅使用有限的查询样本。此外,查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询,并根据这个样本比较了谷歌和必应的结果,从而解决了这些问题。陪审员是通过众包找到的,数据是使用专门的软件,相关性评估工具(RAT)收集的。我们发现,虽然Google在这两种查询类型上都优于Bing,但信息查询的性能差异相当小。然而,对于导航查询,Google在95.3%的情况下找到了正确答案,而Bing只找到了76.6%的正确答案。我们的结论是,搜索引擎性能的导航查询是非常重要的,因为在这种情况下,用户可以清楚地识别查询,返回正确的结果。因此,这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
How does Feedback Signal Quality Impact Effectiveness of Pseudo Relevance Feedback for Passage Retrieval?
伪相关反馈(PRF)假设由第一阶段排序器检索的顶部结果与原始查询相关,并使用它们来改进第二轮检索的查询表示。然而,这种假设往往是不正确的:一些甚至所有的反馈文件可能是不相关的。实际上,PRF方法的有效性很可能取决于反馈信号的质量,从而取决于第一级排序器的有效性。然而,这方面以前很少受到关注。在本文中,我们控制反馈信号的质量,并测量其对一系列PRF方法的影响,包括传统的词袋方法(Rocchio)和密集的基于矢量的方法(学习和不学习)。我们的研究结果表明,重要的作用的反馈信号的质量上的有效性的PRF方法。重要的是,令人惊讶的是,我们的分析表明,并不是所有的PRF方法是相同的,当处理不同质量的反馈信号。这些研究结果是至关重要的,以获得更好地了解的PRF方法,以及哪些和何时应该使用,这取决于反馈信号的质量,并设置在这一领域的未来研究的基础。
2022-05-12 cs.IR
Aligned Query Expansion: Efficient Query Expansion for Information Retrieval through LLM Alignment
针对查询扩展中“先生成后过滤”方法成本高且无法教模型识别有效查询的问题,提出AQE方法,利用LLM对齐技术微调模型直接优化检索任务,无需额外过滤,在域内外均显著提升检索效果。
2025-07-15 cs.IR
The retrieval effectiveness of search engines on navigational queries
目的-测试主要网络搜索引擎在导航查询方面的性能,即搜索主页。设计/方法/方式- 100个真正的用户查询提出了6个搜索引擎(谷歌,雅虎,MSN,问,Seekport和Exalead)。用户描述所需的页面,并记录这些结果的位置。计算测量的成功N和平均倒数秩。结果-性能的主要搜索引擎谷歌,雅虎和MSN是最好的,约90%的查询回答正确。问和Exalead表现较差,但收到良好的分数以及。研究限制/影响-所有的查询都在德国,德语界面的搜索引擎。因此,结果仅对德语查询有效。实际影响-当设计一个搜索引擎与主要的搜索引擎竞争,应注意的性能上的导航查询。用户可以很容易地影响他们的质量评级的搜索引擎的基础上,这种性能。独创性/价值-本研究系统地比较了主要的搜索引擎的导航查询和比较结果与研究的检索效率的引擎上的信息查询。论文类型-研究论文
2015-11-18 cs.IR
A Unified Framework for Learned Sparse Retrieval
学习稀疏检索(LSR)是一系列第一阶段的检索方法,其被训练以生成查询和文档的稀疏词汇表示以与倒排索引一起使用。最近引入了许多LSR方法,Splade模型在MSMarco上实现了最先进的性能。尽管它们的模型架构相似,但许多LSR方法在有效性和效率方面表现出很大的差异。所使用的实验设置和配置的差异使得很难比较这些方法并获得见解。在这项工作中,我们分析了现有的LSR方法,并确定关键组件,以建立一个LSR框架,统一所有LSR方法在同一角度下。然后,我们使用一个通用的代码库复制所有突出的方法,并在相同的环境中重新训练它们,这使我们能够量化框架的组件如何影响有效性和效率。我们发现,(1)包括文档术语加权是最重要的方法的有效性,(2)包括查询加权有一个小的积极影响,(3)文档扩展和查询扩展有取消效果。因此,我们展示了如何从最先进的模型中删除查询扩展,可以显着减少延迟,同时保持MSMarco和TripClick基准测试的有效性。我们的代码可在https://github.com/thongnt99/learned-sparse-retrieval上公开获取
2023-03-23 cs.IR
Fine-Tuning LLaMA for Multi-Stage Text Retrieval
本研究将LLaMA微调为密集检索器RepLLaMA和重排序器RankLLaMA,在MS MARCO上验证其超越小模型,并能整体表示长文档,在BEIR上展现强零样本性能。
2023-10-12 cs.IR
Aligning LLMs with Sparse Retrieval via Adaptive Sparse Supervision
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本研究针对LLM用于第一阶段检索时延迟与存储成本高的问题,提出基于LLM的稀疏检索框架,通过自适应稀疏对齐策略结合多技术微调,在多数据集上实现了效果与效率的良好权衡。
2026-10-16 cs.IR
Replicability Measures for Longitudinal Information Retrieval Evaluation
本研究基于 LongEval 共享任务,将 IR 系统有效性随时间的持续性视为可复现性问题,采用调整后的可复现性度量分析系统性能衰减与排名变化,发现最有效系统未必性能最持久。
2024-09-09 cs.IR
An Analysis of Variations in the Effectiveness of Query Performance Prediction
查询性能预测器估计IR系统对于给定查询的检索有效性。QPP评估的一个重要特征是,由于用于QPP评估的地面真值检索有效性可以用不同的度量来测量,因此地面真值本身不是绝对的,这与其他检索任务(例如ad-hoc检索)相反。出于这一论点,本文的目的是调查如何在地面真理的QPP评估的差异可能会影响QPP实验的结果。我们不仅根据所报告的评估指标的绝对值(例如Pearson的$r$、Kendall的$τ$)来考虑这一点,而且还考虑到当按QPP指标分数排序时不同QPP系统的等级变化。我们的实验表明,观察到的QPP结果可以有很大的不同,无论是在绝对的评估指标值,也在相对系统排名。通过我们的分析,我们报告了QPP评估指标和实验设置的最佳组合,这些组合可能会导致观察结果的较小变化。
2022-02-13 cs.IR
Efficiency-Effectiveness Tradeoff of Probabilistic Structured Queries for Cross-Language Information Retrieval
本研究重新审视跨语言信息检索方法PSQ,引入高效Python实现,通过多标准剪枝优化翻译概率,在多个CLIR测试集上实现了帕累托最优的效率-效果权衡。
2024-04-29 cs.IR
Redefining Absent Keyphrases and their Effect on Retrieval Effectiveness
LS2N, Université de Nantes(南特大学 LS2N)
神经关键词生成模型最近引起了人们的极大兴趣,因为它们能够输出缺失的关键词,即没有出现在源文本中的关键词。在本文中,我们讨论了信息检索(IR)的角度来看,缺席的关键词的有用性,并表明,目前和缺席的关键词之间的共同绘制的区别是不够明确。我们引入了一个更细粒度的分类方案,揭示了更多的影响缺席的关键词对科学文献检索。在此方案下,我们发现,只有一小部分(约20%)的话,使关键词实际上作为文档扩展,但这一小部分的话是背后的大部分收益观察到的检索效率。我们还讨论了该方案如何提供一个新的角度来评估神经关键词生成模型的输出。
2021-04-02 cs.CL cs.IR
Learning Discrete Representations via Constrained Clustering for Effective and Efficient Dense Retrieval
稠密检索(DR)已经达到了最先进的第一阶段排序效果。然而,大多数现有的DR模型的效率是有限的存储密集的向量和耗时的最近邻搜索(NNS)的向量空间中的大内存成本。因此,我们提出了RepCONC,一种新的检索模型,通过约束聚类学习离散表示。RepCONC联合训练双编码器和乘积量化(PQ)方法来学习离散文档表示,并实现具有紧凑索引的快速近似NNS。它将量化建模为受约束的聚类过程,这要求文档嵌入均匀地聚集在量化质心周围,并支持量化方法和双编码器的端到端优化。我们从理论上证明了RepCONC中的均匀聚类约束的重要性,并通过将其简化为最优运输问题的一个实例,推导出一个有效的约束聚类近似解。除了约束聚类,RepCONC还采用了基于向量的反向文件系统(IVF)来支持CPU上的高效向量搜索。两个流行的ad-hoc检索基准上的大量实验表明,RepCONC实现更好的排名效果比竞争矢量量化基线下不同的压缩比设置。它在检索效率、记忆效率和时间效率方面也大大优于现有的各种检索模型。
2021-10-12 cs.IR
The LLM Effect on IR Benchmarks: A Meta-Analysis of Effectiveness, Baselines, and Contamination
TU Wien(维也纳工业大学);NASK(国家通信技术研究所)
本文通过分析143篇论文,探讨了LLM对TREC Robust04和DL20基准的有效性影响,发现LLM系统在DL20上提升nDCG@10达8.8%,但存在数据污染问题,影响效果判断。
2026-04-07 cs.IR
Simulating Users in Interactive Web Table Retrieval
本研究提出基于Doc2Query的交互式查询重构策略模拟Web表格检索会话,结合用户认知状态,通过多视角评估揭示查询策略与模态对用户有效性的影响。
2023-10-18 cs.IR
Improving Noise Robustness for Spoken Content Retrieval using Semi-supervised ASR and N-best Transcripts for BERT-based Ranking Models
基于BERT的重新排序和稠密检索(DR)系统已被证明可以提高语音内容检索(SCR)的搜索效率。然而,这两种方法在使用ASR成绩单时仍然可以显示出与准确的手动成绩单相比的有效性降低。我们发现,一个已知的项目搜索任务的How2数据集的口语教学视频显示减少平均倒数排名(MRR)分数的10- 14%。作为一种潜在的方法,以减少这种差异,我们调查使用半监督ASR成绩单和N-best ASR成绩单,以减轻ASR错误的口语搜索使用BERT为基础的排名。半监督的ASR转录本带来了2-5.5%的MRR改善标准的ASR转录本和我们的N-best早期融合方法的BERT DR系统的MRR提高了3- 4%。将半监督转录本与用于BERT DR的N-best早期融合相结合,将手动和ASR转录本之间的搜索效率的MRR差距从14.32%减少到6.58%,减少了50%以上。
2023-01-15 cs.IR
Evaluating the Effectiveness and Scalability of LLM-Based Data Augmentation for Retrieval
Microsoft Research India(微软研究院印度分部)
本文通过100多种实验设置系统研究LLM数据增强对检索的有效性与可扩展性,发现增强收益随规模递减、小模型增强可媲美大模型,且对预训练不足的模型收益最大。
2025-09-19 cs.CL cs.IR
Mamba Retriever: Utilizing Mamba for Effective and Efficient Dense Retrieval
本文提出 Mamba Retriever,利用 Mamba 架构作为密集检索的编码器,在短文本和长文本数据集上微调,实验证明其在有效性和推理速度上均优于或等同于 Transformer 模型,尤其适用于长文本检索。
2024-08-22 cs.IR
C3: Continued Pretraining with Contrastive Weak Supervision for Cross Language Ad-Hoc Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学);Emory University(埃默里大学);University of Pennsylvania(宾夕法尼亚大学)
预训练的语言模型提高了许多任务的效率,包括ad-hoc检索。最近的工作表明,在微调检索任务之前,继续用辅助目标预训练语言模型可以进一步提高检索效率。与单语检索不同,为跨语言映射设计适当的辅助任务是具有挑战性的。为了应对这一挑战,我们使用不同语言的维基百科文章来进一步预训练现成的多语言预训练模型,然后再对检索任务进行微调。我们表明,我们的方法产生的检索效果的改善。
2022-04-25 cs.CL cs.IR
A Distributed Collaborative Retrieval Framework Excelling in All Queries and Corpora based on Zero-shot Rank-Oriented Automatic Evaluation
提出分布式协作检索框架(DCRF),集成多种检索模型并动态选择最优结果,利用大语言模型提示策略实现零样本排序评估,在所有查询和语料库上超越单一模型,性能媲美RankGPT等列表式方法且效率更高。
2024-12-16 cs.IR
SEINE: SEgment-based Indexing for NEural information retrieval
提出基于片段的神经索引方法SEINE,通过片段级倒排索引存储查询-文档交互值,灵活支持多种基于交互的神经检索方法,在MQ2007和MQ2008数据集上实现最高28倍加速且不损失检索有效性。
2023-11-27 cs.IR
Boosting Data Utilization for Multilingual Dense Retrieval
针对多语言稠密检索中数据利用率低的问题,提出通过获取高质量难负样本和有效小批量数据的方法,在MIRACL基准上超越多个强基线。
2025-09-11 cs.IR
Investigating the Scalability of Approximate Sparse Retrieval Algorithms to Massive Datasets
本文探究了近似稀疏检索算法在超大规模数据集上的可扩展性,对比了Seismic和图基方法,评估了1.38亿段文本的Splade嵌入,报告了索引时间和效率指标。
2025-01-20 cs.IR
Unifying Remote Sensing Image Retrieval and Classification with Robust Fine-tuning
目前,高分辨率遥感图像分析的进展受到难以收集足够的注释数据用于训练深度学习方法的阻碍,从而产生了各种小数据集和相关的特定于图像的方法。此外,分类和检索等典型任务缺乏对标准基准和训练数据集的系统评估,这使得难以确定持久和可推广的科学贡献。我们的目标是统一遥感图像检索和分类与一个新的大规模的训练和测试数据集,SF300,包括垂直和倾斜的航空图像,并提供给研究界,和相关的微调方法。我们还提出了一种新的对抗性全局描述符微调方法。我们表明,与ImageNet预训练的基线相比,我们的框架系统地实现了九个不同数据集的检索和分类性能的提升,目前没有其他方法可以比较。
2023-03-07 cs.CV cs.IR
Teaching Dense Retrieval Models to Specialize with Listwise Distillation and LLM Data Augmentation
针对密集检索模型微调效果不佳的问题,提出基于列表式蒸馏和LLM合成查询的训练策略,在多个数据集上实现一致效果提升,并发现合成查询可与人工查询媲美。
2025-02-27 cs.IR
Context-augmented Retrieval: A Novel Framework for Fast Information Retrieval based Response Generation using Large Language Model
针对RAG问答系统因语料库增大导致回答质量下降的问题,提出结合经典文本分类与LLM的上下文增强检索(CAR)框架,通过实时分类分区向量数据库实现快速检索并提升生成质量。
2024-07-31 cs.IR
LARA: Linguistic-Adaptive Retrieval-Augmentation for Multi-Turn Intent Classification
Forth AI;Singapore University of Technology and Design(新加坡科技设计大学);Shopee
本文提出LARA框架,通过结合微调小型模型与检索增强机制整合于LLM架构,动态利用历史对话提升六种语言的多轮意图分类准确率,无需大规模重训即增强跨语言能力,平均准确率提升3.67%。
2024-10-14 cs.CL cs.IR
A Formal Account of Effectiveness Evaluation and Ranking Fusion
本文提出了一个理论框架,模型的检索系统提供的信息方面的信息论。建议的框架允许正式化:(i)系统的有效性作为系统输出和人类评估之间的信息理论相似性,以及(ii)排名融合作为信息量的测量。其结果是,建议的有效性度量改进了流行的度量方面的正式约束。此外,我们的实证实验表明,它从传统指标中捕获质量方面,而反过来则不正确。我们的工作还推进了对经验已知的有效性增加现象的理论基础的理解,当以无监督的方式结合检索系统输出时。
2018-09-14 cs.IR
A cumulative approach to quantification for sentiment analysis
我们估计情感类别的比例在大型检索集检索。一般而言,估计数是通过计算分类结果,然后考虑到误分类误差矩阵调整此类类别大小来产生的。然而,分类器的准确性和检索的精确性两者都产生大量的错误,这使得难以将聚合方法应用于情感分析作为对情感类别的比例的可靠且有效的估计。因此,检索期间实时的分析的挑战是克服误分类错误,更重要的是,在检索时应用情感分类或任何其他类似的后处理分析。我们提出了一种非聚合的方法,可以应用到非常大的检索集的查询。
2016-10-05 cs.IR
Cross-concordances: terminology mapping and its effectiveness for information retrieval
德国联邦教育和研究部资助了一项重要的术语制图倡议,该倡议于2007年结束。这一术语映射举措的任务是组织、创建和管理以社会科学为中心但迅速扩展到其他学科领域的受控词汇表(术语词库、分类系统、主题标题表)之间的“交叉索引”。建立了64条人行横道,关系超过50万人。在项目的最后阶段,进行了一项主要的评价工作,以测试和衡量词汇映射在信息系统环境中的有效性。本文报告的交叉一致性工作和评价结果。
2008-06-23 cs.DL cs.IR
Rethinking Chunk Size For Long-Document Retrieval: A Multi-Dataset Analysis
本研究系统评估了固定大小分块策略对长文档检索性能的影响,发现较小块适用于事实型数据集、较大块适用于需广泛上下文的数据集,且不同嵌入模型对块大小表现出不同的敏感性。
2025-05-29 cs.IR
SPLATE: Sparse Late Interaction Retrieval
本文提出SPLATE,通过学习MLM适配器将ColBERTv2的冻结token嵌入映射至稀疏词汇空间,利用传统稀疏检索技术进行候选生成,在CPU环境下实现与PLAID引擎同等有效性的快速检索。
2024-04-22 cs.IR
Faster Learned Sparse Retrieval with Guided Traversal
基于Transformers(如BERT)的神经信息检索架构能够显著提高系统效率,优于传统的稀疏模型(如BM 25)。虽然这些神经方法非常有效,但运行起来非常昂贵,因此很难在严格的延迟限制下部署。为了解决这一限制,最近的研究提出了新的学习稀疏模型的家庭,试图匹配学习密集模型的有效性,同时利用传统的倒排索引数据结构的效率。当前学习的稀疏模型学习文档中术语的权重,有时还学习查询;然而,它们利用不同的词汇结构、文档扩展技术和查询扩展策略,这可能使它们比传统的稀疏模型(如BM 25)慢。在这项工作中,我们提出了一种新型的索引和查询处理技术,该技术利用传统稀疏模型的“指导”来高效地遍历索引,从而允许更有效的学习模型执行更少的评分操作。我们的实验表明,我们的引导处理启发式算法能够将底层学习稀疏模型的效率提高四倍,而没有任何可测量的有效性损失。
2022-04-24 cs.IR
Multivector Reranking in the Era of Strong First-Stage Retrievers
ISTI-CNR(ISTC-国家研究委员会);University of Pisa(比萨大学)
本文提出了一种两阶段检索方法,通过替换token级收集阶段为单向量文档检索器,显著提升了检索效率,同时保持了高质量的检索效果。
2026-01-16 cs.IR
GRM: Generative Relevance Modeling Using Relevance-Aware Sample Estimation for Document Retrieval
针对大语言模型生成式查询扩展易产生无关信息损害检索效果的问题,提出采用相关性感知样本估计的生成式相关性建模GRM,通过匹配真实文档与神经重排估计相关性以优化扩展词权重,在三个基准上显著提升检索性能。
2023-06-16 cs.IR
Assessing Efficiency-Effectiveness Tradeoffs in Multi-Stage Retrieval Systems Without Using Relevance Judgments
大规模的检索系统通常是作为一个级联序列的阶段实现的-第一个过滤步骤,其中一个大的候选文件集是使用一个简单的技术,如布尔匹配和/或静态文档评分提取;然后一个或多个排名步骤,其中过滤器检索的文档池更精确地使用几十个或几百个不同的功能。然后,返回给用户的文档从最终排名列表的头部开始。在这里,我们将研究用于测量过滤和初步排名阶段的质量的方法,并展示如何使用这些测量来调整系统的整体性能。用于整体系统评估的标准的最高加权度量不适合评估过滤阶段,因为输出是一组文档,而不是有序的文档序列。相反,我们使用一种方法,在这种方法中,质量分数是根据过滤和完整评估之间的差异计算的。与以前的方法不同,我们的方法不需要相关性判断,因此几乎可以用于任何查询集。我们表明,这种质量分数直接相关的实际差异时,测量的有效性的相关性判断。由于质量分数不需要相关性判断,因此它可以用于识别对于给定过滤器表现特别差的查询。使用这些方法,我们探索了广泛的过滤选项,使用数以千计的查询,分类不同方法的相对优点,并确定有用的参数组合。
2015-06-02 cs.IR
Image Retrieval And Classification Using Local Feature Vectors
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
基于内容的图像检索(CBIR)是信息检索领域的一个重要分支。CBIR算法的目标是检索语义相似的图像,以响应最终用户提交的查询图像。CBIR是一个困难的问题,因为被称为$\textit {semantic gap}$的现象。在这篇论文中,我们的目的是分析的CBIR系统建立使用本地特征向量和中间匹配核的性能。我们还提出了一个两步匹配过程,以减少CBIR系统的响应时间。此外,我们开发了一个元学习框架,以提高这些系统的检索性能。我们的研究结果表明,两步匹配过程显着减少了响应时间和元学习框架提高检索性能的两倍以上。我们还分析了各种图像分类系统,使用不同的图像表示从本地特征向量构建的性能。
2014-09-02 cs.CV cs.IR cs.MM
Differentiable Retrieval Augmentation via Generative Language Modeling for E-commerce Query Intent Classification
针对检索器与下游模型异步训练导致的性能下降问题,提出可微检索增强方法Dragan,通过可微重构实现端到端联合训练,在电商查询意图分类的离线与在线实验中均显著优于基线。
2023-09-15 cs.CL cs.IR
Coarse-to-Fine Memory Matching for Joint Retrieval and Classification
Harvard University(哈佛大学)
我们提出了一种新的端到端的联合检索和分类的语言模型,统一的双和交叉编码器的优势到一个单一的语言模型通过一个粗到细的记忆匹配搜索过程的学习和推理。在FEVER事实验证数据集的标准盲测试集上进行评估,分类准确率显著高于仅依赖于语言模型参数作为知识库的方法,并且接近一些最近的多模型管道系统,仅使用单个BERT基础模型与存储器层增强。我们进一步展示了如何耦合检索和分类可以利用,以确定低置信度的情况下,我们扩展样本审计,以分析和约束模型的设置。因此,我们的方法产生了一种更新语言模型的行为,通过两个不同的机制:检索到的信息可以显式更新,模型的行为可以通过范例数据库进行修改。
2020-11-29 cs.CL cs.IR cs.LG
Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
我们研究了词汇翻译模型(IBM Model 1)在英语文本检索中的实用性,特别是其端到端训练的神经变体。我们使用神经模型1作为聚合器层,应用于上下文无关或上下文化的查询/文档嵌入。这种设计神经排序系统的新方法在有效性、效率和可解释性方面都有好处。具体来说,我们表明,在基于BERT的上下文嵌入之上添加可解释的神经模型1层(1)不会降低准确性和/或效率;(2)可以克服现有BERT模型的最大序列长度限制。与上下文无关的神经模型1不如基于BERT的排名模型有效,但它可以在CPU上高效运行(无需对大型张量进行昂贵的索引时预计算或查询时操作)。使用模型1,我们在2020年底的MS MARCO文档排序排行榜上产生了最佳神经和非神经运行。
2021-03-17 cs.CL cs.IR
LACONIC: Dense-Level Effectiveness for Scalable Sparse Retrieval via a Two-Phase Training Curriculum
University of Utah(犹他大学);The University of Queensland(昆士兰大学);University of Waterloo(滑铁卢大学);University of Notre Dame(圣约翰大学)
LACONIC通过双阶段训练课程实现高效稀疏检索,以更少的计算资源达到与密集模型相当的检索效果。
2026-08-20 cs.CL cs.IR
Efficiency and Effectiveness of SPLADE Models on Billion-Scale Web Document Title
NAVER Search(NAVER搜索)
本文研究了SPLADE和扩展SPLADE模型在大规模网页文档检索中的效率与有效性,通过剪枝策略提升效率并保持性能。
2025-11-27 cs.AI cs.IR
Exploring Selective Retrieval-Augmentation for Long-Tail Legal Text Classification
University of Cambridge(剑桥大学)
针对法律文本分类中的长尾标签问题,本文提出仅从训练集检索并增强低频标签样本的 SRA 方法,在 LEDGAR 和 UNFAIR-ToS 上相较 LexGLUE 基线持续提升 micro-F1 与 macro-F1。
2025-08-29 cs.CL cs.IR
Introduction to the Bag of Features Paradigm for Image Classification and Retrieval
Colorado State University(科罗拉多州立大学)
在过去的十年中,特征袋(BoF)方法在许多计算机视觉任务中越来越受欢迎,包括图像分类、视频搜索、机器人定位和纹理识别。吸引人的部分原因是简单。BoF方法基于量化的局部图像描述符的无序集合;它们丢弃空间信息,因此在概念上和计算上比许多替代方法更简单。尽管如此,或者也许正因为如此,基于BoF的系统已经在流行的图像分类基准上设定了新的性能标准,并且在图像检索中实现了可扩展性的突破。本文介绍了BoF图像表示,描述了关键的设计选择,并调查了BoF文献。重点放在最近的技术,减轻量化误差,提高特征检测,并加快图像检索。与此同时,还提出了一些尚未解决的问题和根本性挑战。其中未解决的问题是确定最好的技术,采样图像,描述局部图像特征,并评估系统的性能。更基本的挑战是BoF方法如何以及是否有助于定位复杂图像中的对象,或者将高级语义与自然图像相关联。这一调查应有助于向该领域介绍新的调查人员,并为现有的研究人员提供有关工作的综合参考。
2011-01-17 cs.CV cs.IR
Improving Ad-hoc Search Effectiveness for Conversational Information Retrieval via Model Merging
University of Toulouse, IRIT(图卢兹大学,IRIT)
针对对话信息检索难题,以往方法有缺陷。本文引入模型合并策略,通过线性和非线性参数合并,设计单一检索模型,无需额外微调,在多数据集实验,显著增强即席搜索能力,提高泛化性,零样本下NDCG@3提升15%。
2026-07-10 cs.CL cs.IR
Retrieval-Augmented Classification of Environmental Mitigations in Hydropower Licensing Documents
Oak Ridge National Laboratory(橡树岭国家实验室);Farragut High School(法拉格特高中)
针对水电许可文件环境缓解义务分类的标签稀缺问题,提出结合BERT检测与RAG分类的混合系统,在2017年许可文件上取得0.524的微平均F1值,优于单一方法。
2026-08-25 cs.AI cs.IR
Sparsifying Sparse Representations for Passage Retrieval by Top-$k$ Masking
David R. Cheriton School of Computer Science(大卫·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
稀疏词汇表示学习在最近的模型如DeepImpact、uniCOIL和SPLADE中在提高段落检索效率方面已经取得了很大进展。本文介绍了一种简单而有效的方法,稀疏化的词汇表示段落检索,建立在SPLADE通过引入一个顶部的$k$掩蔽计划来控制稀疏性和自学习方法来哄掩蔽表示模仿未掩蔽的表示。我们的模型的一个基本实现是有竞争力的更复杂的方法,并实现了有效性和效率之间的良好平衡。我们的方法的简单性打开了大门,为未来的词汇表示学习的段落检索探索。
2021-12-17 cs.CL cs.IR