Improved Learned Sparse Retrieval with Corpus-Specific Vocabularies
本文提出利用语料库特定词汇预训练BERT并调整词汇表规模,可在提升学习型稀疏检索质量最高12%的同时降低延迟最高50%,并适用于uniCOIL和SPLADE等方法。
2024-01-12 cs.IR
CASPER: Concept-integrated Sparse Representation for Scientific Retrieval
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Aalto University(阿尔托大学)
CASPER通过结合令牌和关键词短语实现科学检索中的概念感知稀疏表示,优于现有基线模型并展现良好的可解释性。
2026-01-15 cs.IR
Predicting Efficiency/Effectiveness Trade-offs for Dense vs. Sparse Retrieval Strategy Selection
在过去的几年里,情境化的预训练Transformer模型,如BERT,在信息检索任务上提供了实质性的改进。最近的方法基于预训练的Transformer模型,如BERT,微调嵌入空间中查询和文档的密集低维上下文表示。虽然这些密集的检索享受实质性的检索效率相比,稀疏的检索,他们是计算密集型,需要大量的GPU资源,和密集的检索被认为是更昂贵的时间和资源的角度来看。此外,稀疏寻回犬已被证明检索互补信息密集寻回犬,导致混合寻回犬的建议。这些混合检索器利用低成本,精确匹配的稀疏检索器以及密集检索器,以弥合查询和文档之间的语义差距。在这项工作中,我们通过提出一个分类器来选择合适的检索策略(即,稀疏对密集对混合)。对于可以用稀疏检索器回答的查询,利用稀疏检索器减少了对GPU的调用数量。因此,在保持效用的同时,查询延迟降低。虽然我们使用更少的计算资源和花费更少的时间,我们仍然实现了改进的性能。我们的分类器可以选择稀疏和稠密检索策略的基础上的查询。我们在MS MARCO通道数据集上进行实验,展示了纯稀疏,纯密集或混合检索策略之间的效率/有效性权衡的改进范围,允许基于目标延迟和资源预算选择适当的策略。
2021-09-22 cs.IR
Dual Skipping Guidance for Document Retrieval with Learned Sparse Representations
本文提出了一种双跳转指导计划与混合评分,以加速文档检索,使用学习稀疏表示,同时仍然提供了良好的相关性。该方案使用词汇BM 25和学习的神经项权重来分别绑定和组合候选文档的排名得分,以用于跳过和最终排名,并在倒排索引遍历期间保持两个top-k阈值。本文评估的时间效率和排名的相关性所提出的计划在搜索MS MARCO TREC数据集。
2022-04-23 cs.IR
Scaling Sparse and Dense Retrieval in Decoder-Only LLMs
本研究系统对比不同检索范式与微调目标在仅解码器LLM不同规模下的性能,发现稀疏检索优于稠密检索,结合CL与KD可在8B规模下实现稀疏检索的SOTA效果。
2025-02-21 cs.IR
Investigating the Scalability of Approximate Sparse Retrieval Algorithms to Massive Datasets
本文探究了近似稀疏检索算法在超大规模数据集上的可扩展性,对比了Seismic和图基方法,评估了1.38亿段文本的Splade嵌入,报告了索引时间和效率指标。
2025-01-20 cs.IR
Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval
本文针对科学文档检索问题,提出结合传统稀疏词袋向量与基于大型语言模型的密集嵌入的混合检索方法,在囊性纤维化医学基准上实验证明该混合模型显著优于单一方法。
2024-01-08 cs.IR
Passage Retrieval for Outside-Knowledge Visual Question Answering
在这项工作中,我们解决多模态的信息需求,包含文本问题和图像,专注于通过检索外部知识的视觉问答。这项任务需要获得外部知识,在我们的情况下,我们定义为一个大型的非结构化的通道集合。我们首先进行稀疏检索与BM 25和研究扩大问题与对象名称和图像标题。我们验证了视觉线索起着重要的作用,标题往往比对象名称在稀疏检索的信息。然后,我们构建了一个双编码器密集检索器,查询编码器是LXMERT,一个多模态预训练的Transformer。我们进一步表明,稠密检索显着优于使用对象扩展的稀疏检索。此外,稠密检索与利用人工生成的字幕的稀疏检索的性能相匹配。
2021-05-09 cs.IR
Forward Index Compression for Learned Sparse Retrieval
Northeastern University(东北大学);University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息与通信技术研究所)
本文提出DotVByte算法,通过优化内积计算,实现前向索引压缩,从而在保持检索效率的同时减少存储空间。
2026-02-05 cs.IR
SPLATE: Sparse Late Interaction Retrieval
本文提出SPLATE,通过学习MLM适配器将ColBERTv2的冻结token嵌入映射至稀疏词汇空间,利用传统稀疏检索技术进行候选生成,在CPU环境下实现与PLAID引擎同等有效性的快速检索。
2024-04-22 cs.IR
Leveraging Decoder Architectures for Learned Sparse Retrieval
本研究探索了学习型稀疏检索在仅编码器、仅解码器和编码器-解码器架构中的表现,发现编码器-解码器架构配合多令牌解码效果最佳,而仅解码器模型在参数规模增大时具有超越潜力。
2025-04-25 cs.IR
Faster Learned Sparse Retrieval with Block-Max Pruning
本文提出块最大剪枝(BMP)策略,通过将文档空间划分为连续块并动态聚合排序,结合安全提前终止准则,显著提升了学习型稀疏检索在安全与近似场景下的效率与精度权衡。
2024-05-02 cs.IR
End-to-End Retrieval with Learned Dense and Sparse Representations Using Lucene
本文提出并验证了仅使用 Lucene 即可在 CPU 上用 Java 高效支持现代稠密与稀疏表示的端到端检索,从而以最少基础设施改动简化检索系统设计。
2023-11-30 cs.IR
SparTerm: Learning Term-based Sparse Representation for Fast Text Retrieval
基于术语的稀疏表示由于其在效率、可解释性和准确的术语匹配方面的优势,在工业应用的第一阶段文本检索中占据主导地位。本文研究了将预训练语言模型(PLM)的深层知识转换为基于词的稀疏表示的问题,旨在提高词袋(BoW)方法的语义级匹配表示能力,同时保持其优势。具体来说,我们提出了一个新的框架SparTerm直接学习稀疏文本表示在完整的词汇空间。所提出的SparTerm包括一个重要性预测器来预测词汇表中每个术语的重要性,以及一个门控控制器来控制术语激活。这两个模块共同保证了最终文本表示的稀疏性和灵活性,将词项加权和扩展统一在同一个框架中。在MSMARCO数据集上进行评估,SparTerm显著优于传统的稀疏方法,并在所有基于PLM的稀疏模型中实现了最先进的排名性能。
2020-10-02 cs.IR
Efficient Inverted Indexes for Approximate Retrieval over Learned Sparse Representations
针对学习稀疏表示检索与传统倒排索引不兼容的问题,提出将倒排列表组织为带摘要向量的几何内聚块的Seismic方法,在MS MARCO数据集上实现亚毫秒级高召回检索,性能远超现有方案及BigANN挑战赛优胜方案。
2024-04-29 cs.IR
Faster Learned Sparse Retrieval with Guided Traversal
基于Transformers(如BERT)的神经信息检索架构能够显著提高系统效率,优于传统的稀疏模型(如BM 25)。虽然这些神经方法非常有效,但运行起来非常昂贵,因此很难在严格的延迟限制下部署。为了解决这一限制,最近的研究提出了新的学习稀疏模型的家庭,试图匹配学习密集模型的有效性,同时利用传统的倒排索引数据结构的效率。当前学习的稀疏模型学习文档中术语的权重,有时还学习查询;然而,它们利用不同的词汇结构、文档扩展技术和查询扩展策略,这可能使它们比传统的稀疏模型(如BM 25)慢。在这项工作中,我们提出了一种新型的索引和查询处理技术,该技术利用传统稀疏模型的“指导”来高效地遍历索引,从而允许更有效的学习模型执行更少的评分操作。我们的实验表明,我们的引导处理启发式算法能够将底层学习稀疏模型的效率提高四倍,而没有任何可测量的有效性损失。
2022-04-24 cs.IR
Optimizing Guided Traversal for Fast Learned Sparse Retrieval
针对BM25引导的稀疏检索遍历在模型不对齐或k较小时相关性下降的问题,提出两级剪枝与模型对齐的优化方案,在保留相关性的同时显著提升检索速度,并在多数据集上验证了其效果与效率权衡。
2023-05-02 cs.IR
Early Stage Sparse Retrieval with Entity Linking
尽管他们的低资源设置的优势,传统的稀疏检索依赖于精确的匹配方法之间的高维词袋(BoW)表示的查询和收集。因此,检索性能受到语义差异和词汇空缺的限制。另一方面,基于transformer的密集检索器通过利用语料库的低维上下文化表示来显著改进信息检索任务。虽然密集检索器以其相对有效性而闻名,但与稀疏检索器相比,它们的效率较低且缺乏泛化问题。对于轻量级检索任务,高计算资源和时间消耗是鼓励放弃密集模型的主要障碍,尽管有潜在的收益。在这项工作中,我们建议通过扩展查询和具有两种格式的实体名称的链接实体的文档来提高稀疏检索器的性能:1)显式和2)散列。我们采用了一个zero-shot的端到端密集实体链接系统的实体识别和消歧,以增加语料库。通过利用先进的实体链接方法,我们相信稀疏和密集检索器之间的有效性差距可以缩小。我们在MS MARCO通道数据集上进行实验。由于我们关注的是大型信息检索系统的级联排名架构中的早期检索,我们使用recall@1000来评估我们的结果。我们的方法也能够检索文件的查询子集判断是特别困难的,在以前的工作。我们进一步证明了非扩展和扩展运行与显式和散列实体检索互补的结果。因此,我们采用了运行融合的方法,以最大限度地提高实体链接的好处。
2022-08-10 cs.IR
A Unified Framework for Learned Sparse Retrieval
学习稀疏检索(LSR)是一系列第一阶段的检索方法,其被训练以生成查询和文档的稀疏词汇表示以与倒排索引一起使用。最近引入了许多LSR方法,Splade模型在MSMarco上实现了最先进的性能。尽管它们的模型架构相似,但许多LSR方法在有效性和效率方面表现出很大的差异。所使用的实验设置和配置的差异使得很难比较这些方法并获得见解。在这项工作中,我们分析了现有的LSR方法,并确定关键组件,以建立一个LSR框架,统一所有LSR方法在同一角度下。然后,我们使用一个通用的代码库复制所有突出的方法,并在相同的环境中重新训练它们,这使我们能够量化框架的组件如何影响有效性和效率。我们发现,(1)包括文档术语加权是最重要的方法的有效性,(2)包括查询加权有一个小的积极影响,(3)文档扩展和查询扩展有取消效果。因此,我们展示了如何从最先进的模型中删除查询扩展,可以显着减少延迟,同时保持MSMarco和TripClick基准测试的有效性。我们的代码可在https://github.com/thongnt99/learned-sparse-retrieval上公开获取
2023-03-23 cs.IR
DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities
本研究提出动态词表DyVo,通过引入Wikipedia实体增强学习型稀疏检索的词表,结合实体嵌入与检索组件生成权重并合并词片段权重,解决了实体被分割的问题,在三个数据集上显著优于基线。
2024-10-15 cs.IR
Approximate Cluster-Based Sparse Document Retrieval with Segmented Maximum Term Weights
本文针对基于聚类的稀疏文档检索,提出带分段最大词项权重的近似搜索方案,通过优化排名分数边界估计与自适应剪枝提升检索相关性和效率,在MS MARCO、BEIR数据集上验证了效果。
2024-04-13 cs.IR
Tracing Query Expansion Effects through Sparse Autoencoder Features
Shandong University(山东大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本研究利用稀疏自编码器特征追踪查询扩展对稠密检索器的内部影响,发现有效扩展引起层集中的潜在特征变化,并通过激活引导验证其能更一致地提升检索性能。
2026-09-09 cs.IR
Bridging Dense and Sparse Maximum Inner Product Search
本研究打破稠密与稀疏最大内积搜索(MIPS)的研究分化,验证了基于IVF的检索方法可高效解决稀疏MIPS问题,还提出了新型倒排索引结构与稠稀子空间统一MIPS框架。
2023-09-16 cs.IR
ILCR: Item-based Latent Factors for Sparse Collaborative Retrieval
搜索和推荐之间的相互作用最近引起了极大的关注,一些研究表明,许多潜在的应用涉及到一个联合的问题,产生推荐给用户相对于一个给定的查询,称为$Collaborative$ $Retrieval$(CR)。为CR设计的成功算法应该在处理稀疏性挑战方面具有潜在的灵活性,因为协作检索的设置与给定的$query$ $\times$ $user$ $\times$ $item$张量而不是传统的$user$ $\times$ $item$矩阵相关联。近年来,从用户的角度研究认知反应任务的研究取得了一定的进展。本文旨在从项目的角度充分探索每个$query$ $\times$ $user$ $\times$ $item$三元组之间的复杂关系。通过整合基于项目的协作信息,这个联合任务,我们提出了一种替代的因子分解模型,可以更好地评估这些项目的排名与稀疏信息的给定的查询用户对。此外,我们建议采用最近提出的可扩展的排名学习算法,即BPR,优化国家的最先进的方法,$Latent$ $Collaborative$ $Retrieval$模型,而不是原来的学习算法。在两个真实数据集(即\emph{Last.fm},\emph{Yelp})上的实验结果表明了该方法的有效性和实用性.
2014-12-12 cs.IR
Do the Findings of Document and Passage Retrieval Generalize to the Retrieval of Responses for Dialogues?
最近提出了许多学习稀疏和稠密检索方法,并证明了其在段落检索和文档检索等任务中的有效性。在本文中,我们通过可复制性研究来分析所吸取的教训是否可以推广到对话响应的检索,这是日益流行的对话搜索领域的一项重要任务。不像段落和文档检索,其中文档通常比查询长,在对话的响应排名中,查询(对话上下文)通常比文档(响应)长。此外,对话具有特定的结构,即不同用户的多个话语。考虑到这些差异,我们在这里评估从以前的工作中得到的以下主要发现的可推广性:(F1)查询扩展优于无扩展基线;(F2)文档扩展优于无扩展基线;(F3)zero-shot稠密检索低于稀疏基线;(F4)稠密检索优于稀疏基线;(F5)硬负采样比随机采样更适合训练稠密模型。我们的实验--基于三个不同的信息寻求对话数据集--揭示了五分之四的发现(F2-F5)适用于我们的领域
2023-01-13 cs.IR
Efficient and Effective Retrieval of Dense-Sparse Hybrid Vectors using Graph-based Approximate Nearest Neighbor Search
针对稠密与稀疏向量分别检索扩展性差、统一索引难兼顾精度与效率的问题,提出基于图的混合向量 ANNS,通过分布对齐、两阶段计算和稀疏剪枝提升精度与吞吐。
2024-10-27 cs.IR
PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval
本文提出 PromptReps,通过提示大语言模型生成稠密与稀疏混合表示,无需训练即可实现零样本文档检索,并在多个基准上取得与有监督嵌入方法相当或更优的效果。
2024-10-19 cs.IR
Naver Labs Europe @ WSDM CUP | Multilingual Retrieval
NAVER LABS Europe
Naver Labs Europe参与WSDM杯多语言检索任务,展示SPLARE模型在跨语言检索中的有效性与优势。
2026-02-24 cs.IR
Anserini Gets Dense Retrieval: Integration of Lucene's HNSW Indexes
本文将 Lucene 的 HNSW 稠密向量索引集成到 Anserini,在同一 Java 软件栈内统一稀疏与稠密检索,并在 MS MARCO 和 BEIR 上验证其效果与效率。
2023-04-24 cs.IR
On the Reproducibility of Learned Sparse Retrieval Adaptations for Long Documents
本文复现并分析了将学习型稀疏检索(LSR)适配于长文档的机制,验证了首段对检索性能的主导作用,并重新评估 ExactSDM 和 SoftSDM 在不同文档长度下的表现,揭示了全局信息对长上下文适配的影响。
2025-03-31 cs.IR
XViewRank: Overlap-Conditioned Score Fusion for LLM-Augmented Sparse Retrieval
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本研究针对LLM增强稀疏检索的固定融合缺陷,提出XViewRank方法,通过重叠条件融合BM25分数,在TREC DL数据集上较倒数排名融合取得更优检索效果。
2026-10-14 cs.IR
SemBridge: Language Transfer in Sparse Encoders via Multilingual Semantic Bridges
Korea University(韩国大学);University of Amsterdam(阿姆斯特丹大学)
提出SemBridge方法,利用多语言稠密嵌入作为语义桥,通过选择源语言核心同义词线性组合初始化目标语言词项,解决稀疏编码器在非英语语言上的迁移难题,实验表明在零样本和微调后检索性能均优于基线。
2026-05-25 cs.IR
PUMA: Post-Hoc Sparsification of Universal Multimodal Embeddings for Efficient Retrieval
Politecnico di Bari(巴里理工大学);Sapienza University of Rome(罗马大学);ISTI–CNR(意大利国家研究委员会信息与通信技术研究所);University of Pisa(比萨大学)
针对通用多模态嵌入的高存储与推理成本问题,提出无需微调主干网络的PUMA稀疏自编码器方案,在五个基准上验证其可实现8-16倍存储压缩与最高25倍检索加速,且多数数据集性能与密集检索相当或更优。
2026-08-27 cs.IR
Pyserini: An Easy-to-Use Python Toolkit to Support Replicable IR Research with Sparse and Dense Representations
Pyserini是一个易于使用的Python工具包,通过在多阶段排名架构中提供有效的第一阶段检索来支持可复制的IR研究。我们的工具包作为标准Python包是自包含的,并带有查询,相关性判断,预构建索引和许多常用IR测试集合的评估脚本。我们的目标是支持,开箱即用,整个研究生命周期的努力,旨在提高排名与现代神经方法。特别地,Pyserini支持稀疏检索(例如,使用词袋表示的BM 25评分)、稠密检索(例如,变换器编码表示上的最近邻搜索),以及集成两种方法的混合检索。本文提供了一个概述的工具包功能,并提出了实证结果,说明其有效性的两个流行的排名任务。我们还描述了我们的团队如何通过共享规范和工具建立可复制性文化,从而实现严格的自动化测试。
2021-02-19 cs.IR
Fréchet Distance for Offline Evaluation of Information Retrieval Systems with Sparse Labels
针对稀疏标签下信息检索系统评估困难的问题,借鉴FID在视觉任务中的成功,提出利用Fréchet Distance度量相关判定项与检索结果分布的距离,并在MS MARCO等数据集上验证了其有效性。
2024-02-18 cs.IR
LLMs as Sparse Retrievers:A Framework for First-Stage Product Search
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
针对商品搜索中稀疏检索的词汇不匹配问题,以及大语言模型应用于稀疏检索的幻觉、训练初始化难问题,提出PROSPER框架,通过字面残差网络和词汇聚焦窗口优化,性能优于稀疏基线、召回率媲美先进稠密检索器,还能提升线上收入。
2025-10-22 cs.IR
SpaDE: Improving Sparse Representations using a Dual Document Encoder for First-stage Retrieval
针对稀疏检索中词汇不匹配与查询推理成本的权衡,提出双文档编码器模型 SpaDE 及协同训练策略,在多个基准上优于现有单编码器排序模型。
2023-10-05 cs.IR
Effective Inference-Free Retrieval for Learned Sparse Representations
本文提出学习型免推理检索方法Li-LSR,通过为每个token学习分数将查询编码转化为表查找,消除了查询编码瓶颈,在域内外评估中均达到最先进的有效性。
2025-04-30 cs.IR
Information Retrieval with Entity Linking
针对传统稀疏检索器受语义差异和词汇鸿沟限制的问题,提出用显式和哈希两种格式的链接实体扩展查询与文档,结合零样本稠密实体链接系统增强语料库,在MS MARCO数据集上有效提升稀疏检索性能并缩小与稠密检索器的差距。
2024-04-07 cs.IR
Sparse Coverage: Semantic Center Representations for Patent Prior-Art Retrieval
Questel(奎斯特尔公司);Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学)
针对专利现有技术检索的长文档特性,提出无监督语义检索框架Sparse Coverage,采用面向覆盖的k中心目标生成稀疏表示,在CLEF-IP 2013实验中其文档级召回率优于或媲美稠密专利编码器,可作为专利检索的有效第一阶段方法。
2026-08-19 cs.AI cs.IR
Pairing Clustered Inverted Indexes with kNN Graphs for Fast Approximate Retrieval over Learned Sparse Representations
本文提出 SeismicWave,通过按重要性顺序遍历倒排块并利用 kNN 图扩展候选文档,在保持几乎精确准确率的同时将 Seismic 的近似检索速度提升至 2.2 倍。
2024-08-08 cs.IR
An Approximate Algorithm for Maximum Inner Product Search over Streaming Sparse Vectors
针对流式、任意分布稀疏实值向量的动态 top-k 最大内积检索,论文提出可调节内存、延迟与准确性的近似算法 Sinnamon,并给出误差理论和跨平台实证评估。
2023-01-25 cs.IR
Multimodal Learned Sparse Retrieval for Image Suggestion
本研究探索多模态学习稀疏检索(MLSR)在图像推荐任务中的应用,发现利用图像标题丰富图像内容能显著提升模型性能,为多模态环境下的LSR模型训练提供了有效方案。
2024-02-12 cs.IR cs.MM
Sparsifying Sparse Representations for Passage Retrieval by Top-$k$ Masking
David R. Cheriton School of Computer Science(大卫·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
稀疏词汇表示学习在最近的模型如DeepImpact、uniCOIL和SPLADE中在提高段落检索效率方面已经取得了很大进展。本文介绍了一种简单而有效的方法,稀疏化的词汇表示段落检索,建立在SPLADE通过引入一个顶部的$k$掩蔽计划来控制稀疏性和自学习方法来哄掩蔽表示模仿未掩蔽的表示。我们的模型的一个基本实现是有竞争力的更复杂的方法,并实现了有效性和效率之间的良好平衡。我们的方法的简单性打开了大门,为未来的词汇表示学习的段落检索探索。
2021-12-17 cs.CL cs.IR
Dense Sparse Retrieval: Using Sparse Language Models for Inference Efficient Dense Retrieval
the University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究将稀疏语言模型用于稠密检索以提升推理效率,在 MSMARCO、NQ 和 TriviaQA 数据集上实现准确率几乎无损且推理速度提升达 4.3 倍。
2023-03-31 cs.AI cs.CL cs.IR
On the Challenges and Opportunities of Learned Sparse Retrieval for Code
NAVER LABS Europe(NAVER欧洲实验室)
本文探讨了学习稀疏检索在代码检索中的挑战与机遇,提出SPLADE-Code模型,通过轻量级训练流程实现高性能代码检索,展示了稀疏检索在效率与效果上的优势。
2026-03-23 cs.CL cs.IR
Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval
SungKyunKwan University(顺天妇女大学)
本文提出利用稀疏自编码器将DPR稠密嵌入分解为可解释的潜在概念,并基于此构建概念级稀疏检索框架CL-SR,在保持稳健性能的同时提升透明度和效率。
2025-08-27 cs.IR cs.LG
Mistral-SPLADE: LLMs for better Learned Sparse Retrieval
Indian Institute of Technology Bombay(印度孟买理工学院);IBM Research(IBM研究院)
本文提出使用仅解码器大语言模型Mistral作为骨干网络构建学习型稀疏检索器Mistral-SPLADE,以学习语义关键词扩展。实验表明,该模型超越了SPLADE及其变体,在BEIR基准上达到最先进水平。
2024-08-22 cs.CL cs.IR
Rethinking Sparse Lexical Representations for Image Retrieval in the Age of Rising Multi-Modal Large Language Models
Kioxia Corporation(铠侠公司)
本文利用支持视觉提示的多模态大语言模型提取图像特征并转换为文本,采用稀疏检索算法进行图像检索,结合数据增强扩展关键词,在多个数据集上取得了优于传统方法的准确率和召回率。
2024-08-29 cs.CV cs.IR
Concepts Complement Dense Semantics: Learning Compact Sparse Spaces for Text-Image Retrieval
Korea University(高丽大学);Sungkyunkwan University(成均馆大学);KT Corporation(KT公司)
提出GRASP框架,通过挖掘视觉-文本概念并训练轻量级稀疏头,生成可解释的概念级证据以补充稠密语义匹配,在文本-图像检索中实现更优准确率与更紧凑接地的稀疏空间。
2026-09-29 cs.CV cs.IR
Rational Retrieval Acts: Leveraging Pragmatic Reasoning to Improve Sparse Retrieval
Université Paris-Saclay(巴黎-萨克雷大学);ILLS;ISIR;Air Liquide France(法国Air Liquide);CentraleSupélec(中央圣埃克苏佩里);AMIAD France(法国AMIAD);Sorbonne Université(索邦大学);CNRS(国家科学研究中心);MILA - Quebec AI Institute(魁北克人工智能研究所)
本文提出将理性言语行为框架适配到稀疏神经信息检索中,通过考虑文档集合中其他文档的影响动态调节词元-文档交互,从而改进多个稀疏检索模型并在BEIR域外数据集上取得最先进性能。
2025-05-06 cs.CL cs.IR
uva-irlab-conv at SemEval-2026 Task 8: Multi-Turn RAG with Learned Sparse Retrieval and Listwise Reranking
University of Amsterdam(阿姆斯特丹大学)
提出结合学习型稀疏检索与基于 LLM 的重排序和生成的多轮检索增强生成流水线,用于跨四个领域的对话系统,有效处理不可回答查询。
2026-06-11 cs.CL cs.IR
Exploring $\ell_0$ Sparsification for Inference-free Sparse Retrievers
South China University of Technology School of Future Technology(南方科技大学未来技术学院);Amazon Amazon Web Service Shanghai China(亚马逊中国)
本文提出受 $\ell_0$ 启发的稀疏化方法用于无推理稀疏检索器,在 BEIR 基准上达到最先进性能,并分析了检索效果与计算效率的权衡。
2025-04-21 cs.AI cs.IR
Ultra-High Dimensional Sparse Representations with Binarization for Efficient Text Retrieval
KAIST(韩国科学技术院);NAVER(Naver公司)
神经信息检索的语义匹配能力可以改善符号方法的同义词和多义词问题。然而,神经模型的密集表示更适合重新排序,因为它们效率低下。稀疏表示,无论是符号形式还是潜在形式,使用倒排索引都更有效。结合稀疏表示和稠密表示的优点,提出了一种稀疏度可直接控制的超高维(UHD)表示方案。UHD的大容量和最小的噪声和维度之间的干扰允许二值化表示,这对于存储和搜索是非常有效的。还提出了一种桶方法,其中选择/合并来自BERT的多个层的嵌入以表示不同的语言方面。我们用MS MARCO和TREC CAR测试我们的模型,表明我们的模型优于其他稀疏模型
2021-10-15 cs.CL cs.IR