SEINE: SEgment-based Indexing for NEural information retrieval
提出基于片段的神经索引方法SEINE,通过片段级倒排索引存储查询-文档交互值,灵活支持多种基于交互的神经检索方法,在MQ2007和MQ2008数据集上实现最高28倍加速且不损失检索有效性。
2023-11-27 cs.IR
Forward Index Compression for Learned Sparse Retrieval
Northeastern University(东北大学);University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息与通信技术研究所)
本文提出DotVByte算法,通过优化内积计算,实现前向索引压缩,从而在保持检索效率的同时减少存储空间。
2026-02-05 cs.IR
A New Compression Based Index Structure for Efficient Information Retrieval
从大数据集中发现所需信息是一个难题。信息检索涉及信息的结构、分析、组织、存储、搜索和检索。索引是信息检索系统的主要组成部分。如今,信息量呈指数级增长,使得索引结构庞大到足以影响信息检索系统的质量。因此,压缩索引结构是本文的主要贡献。我们使用一种基于行程长度编码的新编码技术压缩倒排文件条目中的文档编号。我们的编码机制使用了一个指定的代码,其行为超过游程编码。我们进行了实验,发现我们的编码机制比其他技术平均压缩了67.34%。
2012-09-24 cs.IR
CodeHID: Learning an Addressable Hierarchical Code Index for Generative Code Retrieval
Ministry of Education of China, Xiamen University(厦门大学);Key Laboratory of Multimedia Trusted Perception and Efficient Computing(多媒体可信感知与高效计算教育部重点实验室)
CodeHID是一种生成式代码检索框架,通过伪邻居引导的文档ID学习与双阶段文档ID生成引导构建分层索引,在CoSQA和ProCQA基准上大幅优于现有检索方法
2026-11-18 cs.IR
Auto Search Indexer for End-to-End Document Retrieval
本文提出 Auto Search Indexer(ASI),通过语义索引模块自动学习文档标识符,并结合编码器-解码器生成模型,实现完全端到端的文档检索,在公开和工业数据集上优于现有基线,并能有效处理新文档。
2023-10-30 cs.IR
A Neural Corpus Indexer for Document Retrieval
当前的文档检索解决方案主要遵循索引检索范式,其中索引很难直接针对最终检索目标进行优化。在本文中,我们的目的是表明,一个端到端的深度神经网络统一的训练和索引阶段可以显着提高传统方法的召回性能。为此,我们提出了神经语料库索引器(NCI),一个序列到序列的网络,直接为指定的查询生成相关的文档标识符。为了优化NCI的召回性能,我们发明了一个前缀感知的权重自适应解码器架构,并利用定制的技术,包括查询生成,语义文档标识符,和基于一致性的正则化。实证研究证明了NCI在两个常用的学术基准上的优越性,与最佳基线方法相比,NQ 320 k数据集上的Recall@1和TriviaQA数据集上的R-Precision分别实现了+21.4%和+16.8%的相对增强。
2023-02-12 cs.IR
Do We Still Need Gazetteers in the Era of LLMs? Chaining Retrieval with a Spatial Neuro-Symbolic Index
RMIT University(皇家墨尔本理工大学)
本研究评估文本编码器能否作为空间语义索引,通过对比暴力最近邻与层次束搜索两种检索策略,发现无约束密集检索易出错,层次约束改善粗粒度定位但细粒度仍有限。
2026-10-07 cs.IR
Anserini Gets Dense Retrieval: Integration of Lucene's HNSW Indexes
本文将 Lucene 的 HNSW 稠密向量索引集成到 Anserini,在同一 Java 软件栈内统一稀疏与稠密检索,并在 MS MARCO 和 BEIR 上验证其效果与效率。
2023-04-24 cs.IR
Semantic Arabic Information Retrieval Framework
信息发布量和存储量的不断增加,要求有专门的信息检索框架来准确、快速地检索和获取信息。目前,基于关键字的技术通常用于信息检索中。然而,关键词方法的一个主要缺点是它无法处理自然语言中的一词多义和同义现象。例如,不同社区对词语的含义和对概念的理解不同。同一个词用于不同的概念(一词多义)或使用不同的词用于同一个概念(同义)。大多数信息检索框架在处理词汇语义方面存在不足(索引、布尔模型、潜在语义分析(LSA)、潜在语义索引(LSI)和语义排序等)。传统的阿拉伯语信息检索(AIR)模型在处理语义查询时,不仅要处理关键字,还要处理这些关键字的上下文,因此性能不足。因此,需要一种具有语义索引结构和基于语义索引的排序算法的语义信息检索模型。
2015-12-10 cs.IR
MedGraph: An experimental semantic information retrieval method using knowledge graph embedding for the biomedical citations indexed in PubMed
本文研究了生物医学数字图书馆中的语义搜索问题。首先,我们介绍MedGraph,一个知识图谱嵌入为基础的方法,提供语义相关性检索和排名的生物医学文献索引在PubMed。其次,我们使用PubMed的最佳匹配算法评估我们的方法。此外,我们比较我们的方法MedGraph传统的TFIDF算法。我们使用从PubMed中提取的数据集,包括3000万篇文章的元数据,如摘要,作者信息,引用信息和提取的生物实体提及。我们通过拉取数据集的一个子集来使用预定义的查询和真实排名结果来评估MedGraph。据我们所知,这种技术在生物医学信息检索中还没有被探索过。此外,我们的研究结果提供的证据表明,语义的方法来搜索和相关性的生物医学数字图书馆,依赖于知识图谱建模提供更好的搜索相关性的结果相比,传统的方法在客观的指标。
2021-12-14 cs.IR
The least-used key selection method for information retrieval in large-scale Cloud-based service repositories
随着连接到物联网(IoT)的设备数量的显著增加,需要在大规模基于云的服务存储库中处理和存储的服务数量呈指数级增长。高效的服务索引模型对于大规模基于云的服务存储库的服务检索和管理至关重要。多级索引模型是近年来发展起来的一种服务索引模型,用于提高服务的发现和组合。针对服务检索请求参数和服务输入参数出现概率不相等对服务检索和服务添加操作的影响,对模型进行优化。为了缩小服务检索的搜索范围,减少检索时间,提出了最少使用键的选择方法。实验结果表明,在三种索引模型下服务检索请求中参数出现概率不相等的情况下,与指定键选择方法相比,提出的最少使用键选择方法显着提高了服务检索效率。
2022-08-16 cs.IR
Differentiable Geometric Indexing for End-to-End Generative Retrieval
Xidian University(西安电子科技大学);Alibaba(阿里巴巴)
本文提出可微几何索引,通过操作统一和各向同性几何优化,解决生成检索中的优化阻塞和几何冲突问题,提升长尾场景下的检索性能。
2026-03-11 cs.IR
When Index Term Probability Violates the Classical Probability Axioms Quantum Probability can be a Necessary Theory for Information Retrieval
概率模型需要事件空间的概念来定义概率度量。一个事件空间有一个概率测度,它支持柯尔莫哥洛夫公理。然而,从不同来源观察到的概率,例如文档的相关性,可能不允许单个事件空间,从而导致一些问题。本文介绍了一些结果,以确保所观察到的概率的相关性的文件是否承认一个单一的事件空间。此外,本文还引入了另一种概率框架,从而挑战了经典概率在文档排序中的应用。一些思考的便利性扩展的经典probabilistic- tic检索到一个更一般的框架,其中包括的问题。
2012-03-12 cs.IR
Bridging the Gap Between Indexing and Retrieval for Differentiable Search Index with Query Generation
The University of Queensland(昆士兰大学);Microsoft STCA(微软亚洲互联网工程院);Beihang University(北京航空航天大学);Simon Fraser University(西蒙弗雷泽大学)
本文提出 DSI-QG 框架,通过在索引阶段引入查询生成模型生成并筛选的相关查询来表示文档,从而缓解可微搜索索引中索引与检索之间的数据分布不匹配问题,并在单语和跨语言段落检索任务上显著优于原始 DSI 模型。
2023-07-07 cs.CL cs.IR
REDSI: Addressing the Reproducibility and Evaluation Consistency of Differentiable Search Indexing for Document Retrieval
Artefact Research Center(Artefact研究中心);INSA Rennes, IRISA, CNRS, Université de Rennes(雷恩国立应用科学学院,IRISA,法国国家科学研究中心,雷恩大学);MICS, CentraleSupélec, Université Paris-Saclay(MICS,中央苏伊士高等学院,巴黎萨克雷大学)
针对DSI框架复现难和评估不一致的问题,提出首个支持三种标识符类型的开源实现ReDSI及参数化NQ320K构建流程,实验效果优于或持平基线,并探索了模型缩减下的多种研究方向。
2026-09-09 cs.IR
Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization
Shandong University(山东大学);University of Amsterdam(阿姆斯特丹大学);Leiden University(莱顿大学)
提出前缀保留优化(PRO)框架,通过前缀排序蒸馏、词汇调度和几何分数融合三种机制,缩小多模态生成式检索中索引与解码之间的差距,提升目标标识符前缀的保留率,在九个多模态检索任务上超越现有基线。
2026-08-06 cs.IR
Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation
Meta
本文提出通过交叉注意力和残差量化联合学习分层索引,以提升大规模检索模型的效率和精确度,并在Meta实现实时广告推荐。
2026-04-14 cs.IR
Self-Evolving Search Index
Yonsei University(延世大学);Samsung Research(三星研究院);University of California, Irvine(加州大学欧文分校);Korea University(高丽大学)
针对索引优化依赖人工的问题,提出SELF-INDEX框架,通过优化器自主诊断、修订并验证索引键,结合查询模拟器主动探索需求,实现索引自我进化,持续提升检索性能并惠及下游应用。
2026-09-18 cs.AI cs.IR
PRIME: Pre-Retrieval Index Modeling Enhancement for Structured Document Retrieval-Real
HKUST-GZ(香港科技大学(广州))
本文针对LLM智能体的外部知识库检索需求,提出PRIME索引优化框架,通过语义重构与元数据合成路径提升检索效率与Answer-F1,明确索引优化的适用场景且效果可被强重排序器抵消。
2026-10-12 cs.AI cs.IR
Semi-Parametric Retrieval via Binary Bag-of-Tokens Index
The Hong Kong University of Science and Technology(香港科技大学);Microsoft Research(微软研究院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出半参数化解耦检索框架SiDR,通过将检索索引与神经参数解耦,支持嵌入与非参数化分词索引,在16个基准上以更低索引成本超越BM25及神经检索基线。
2025-03-06 cs.AI cs.CL cs.IR
KET-RAG: A Cost-Efficient Multi-Granular Indexing Framework for Graph-RAG
KET-RAG提出一种多粒度索引框架,通过关键文本块构建知识图谱骨架,并以文本-关键词二分图作为轻量级替代,在保证检索与生成质量的同时将索引成本降低一个数量级以上。
2025-06-03 cs.IR
An Efficient Approach for Super and Nested Term Indexing and Retrieval
IBM Research AI(IBM研究AI)
本文介绍了一种新的方法,称为术语桶索引(TBI),有效的索引和检索的嵌套和超级条款使用一个单一的方法。我们提出了一种混合数据结构,以促进更快的索引建设。我们的方法广泛使用的现有方法在几个公开的数据集的评估。与基于Trie的方法相比,TBI在嵌套术语检索上提供了相当的性能,在超级术语检索上提供了更好的性能。与传统的哈希表相比,TBI的索引时间减少了80%.
2019-05-23 cs.CL cs.DS cs.IR
Establishing a Foundation for Tetun Ad-Hoc Text Retrieval: Stemming, Indexing, Retrieval, and Ranking
Institute for Systems and Computer Engineering, Tech. and Science (INESC TEC)(系统与计算机工程研究所(科技与科学));Faculty of Engineering, University of Porto (FEUP)(波尔图大学工程学院)
针对德顿语缺乏检索方案的问题,构建停用词表、词干提取器和测试集等基础资源,实验表明去除连字符和撇号后检索标题可提升效率与效果,并公开了相关资源。
2025-10-15 cs.IR
Annotative Indexing
本文提出注释索引框架,统一倒排索引、列存储、对象存储和图数据库,以支持检索增强生成、知识图谱等场景,并展示了具备 ACID 事务特性的动态实现。
2025-06-03 cs.IR
The Effect of the Multi-Layer Text Summarization Model on the Efficiency and Relevancy of the Vector Space-based Information Retrieval
互联网上的大量上传文本在信息检索系统中产生了巨大的倒排索引,这损害了它们的效率。本研究的目的是衡量自动摘要的多层相似度模型在建立信息量大、简洁的倒排索引方面的效果。为了实现这一目的,我们总结了相当数量的文档使用多层相似性模型,我们建立了倒排索引从自动摘要,从这个模型产生的。一系列的实验进行了测试的效率和相关性方面的性能。实验包括与三个现有的文本摘要模型的比较; Jaccard系数模型,向量空间模型,和潜在语义分析模型。实验研究了三组查询与手动和自动相关性评估。多层相似性在IR系统的效率中的积极作用是明显的,而相关性结果没有明显的损失。然而,评估表明,传统的统计模型没有语义调查未能提高信息检索的效率。与以前的出版物,解决了使用摘要作为索引的来源,我们的工作的相关性评估更高,和多层相似性检索构建的倒排索引是58%小于主语料倒排索引。
2020-04-18 cs.IR
Ultron: An Ultimate Retriever on Corpus with a Model-based Indexer
文献检索在索引检索框架下已经被广泛研究了几十年,它经受住了时间的考验。不幸的是,这种流水线框架限制了最终检索质量的优化,因为索引和检索是分离的阶段,不能以端到端的方式联合优化。为了统一这两个阶段,我们探讨了一个基于模型的索引文件检索。具体来说,我们提出了Ultron,它将所有文档的知识编码到模型中,旨在端到端地直接检索相关文档。对于基于模型的索引器来说,如何表示文档和如何训练模型是需要探索的两个主要问题。现有的解决方案遭受语义缺陷docids和有限的监督数据。为了解决这两个问题,首先,我们设计了两种类型的docids,更丰富的语义和更容易的模型推理。此外,我们提出了一个三阶段的训练工作流程,以捕获更多的知识包含在语料库和查询和docids之间的关联。在两个公共数据集上的实验证明了Ultron在文档检索方面优于高级基线。
2022-08-19 cs.IR
Hypergraph Embedding Indexing for Efficient Dense Vector Retrieval
Sodhana(索达纳)
针对现有ANN索引将嵌入视为高维不可分割点的问题,提出超图嵌入索引(HEI)框架,通过多互补超图提升检索覆盖率,引入激活多样性作为诊断指标。
2026-08-25 cs.AI cs.IR
Doc2Query++: Topic-Coverage based Document Expansion and its Application to Dense Retrieval via Dual-Index Fusion
National Taiwan University(國立臺灣大學)
提出Doc2Query++框架,通过无监督主题建模和混合关键词选择结构化LLM查询生成,并采用双索引融合策略隔离噪声,显著提升稀疏与稠密检索性能。
2025-10-13 cs.IR
Beyond Precision: A Study on Recall of Initial Retrieval with Neural Representations
词汇不匹配是信息检索中的一个核心问题,相关文档可能不包含查询的相同(符号)项。最近,神经表征在捕捉语义相关性方面取得了巨大的成功,从而为缓解IR中的词汇不匹配问题提供了新的可能性。然而,在这个方向上,大多数现有的努力都致力于重新排名阶段。也就是说,利用神经表示来帮助对一组候选文档进行重新排名,这些候选文档通常是基于某种符号索引和搜索方案(例如,在倒排索引上的BM 25)。这自然会产生一个问题:如果在最初的检索阶段由于词汇不匹配而没有找到相关的文档,那么以后就没有机会将它们重新排列到顶部位置。因此,在本文中,我们研究的问题,如何利用神经表征,以提高召回的相关文件在初始检索阶段。具体来说,为了满足初始阶段的效率要求,我们引入了神经索引的神经表示的文件,并提出了两个混合搜索计划的基础上神经和符号索引,即并行搜索计划和顺序搜索计划。我们的实验表明,混合索引和搜索方案可以提高召回的初始检索阶段的开销很小。
2018-07-22 cs.IR
LIDER: An Efficient High-dimensional Learned Index for Large-scale Dense Passage Retrieval
最近的许多段落检索方法都使用从深度神经模型生成的密集嵌入,称为“密集段落检索”。最先进的端到端密集通道检索系统通常部署深度神经模型,然后是近似最近邻(ANN)搜索模块。该模型生成语料库和查询的嵌入,然后由高性能ANN模块进行索引和搜索。随着数据规模的不断增大,人工神经网络模块不可避免地成为效率的瓶颈。另一种方法是学习索引,它通过学习数据分布和预测目标数据位置来实现显着的高搜索效率。但现有的学习索引大多是针对低维数据设计的,不适合高维密集嵌入的密集通道检索。在本文中,我们提出了LIDER,一个有效的高维学习索引大规模的DENSE通道检索。LIDER有一个基于集群的分层体系结构,由两层核心模型组成。核心模型是LIDER索引和搜索数据的基本单元,包括自适应递归模型索引(RMI)和降维组件,降维组件由扩展的SortingKeys-LSH(SK-LSH)和键重缩放模块组成。降维组件将高维密集嵌入降维为一维键,并按特定顺序对它们进行排序,然后由RMI使用这些键进行快速预测。实验表明,LIDER具有更高的搜索速度和更高的检索质量相比,最先进的人工神经网络索引的段落检索任务,例如,在大规模数据上,它实现了1.2倍的搜索速度和比我们评估中的最快基线更高的检索质量。此外,LIDER具有更好的速度-质量权衡能力。
2022-10-10 cs.DB cs.IR
Region and Location Based Indexing and Retrieval of MR-T2 Brain Tumor Images
S J B Institute of Technology(S J B理工学院);B N M Institute of Technology(B N M理工学院)
在本文中,基于区域和基于位置的检索系统已实现检索的MR-T2轴向2-D脑图像。这是通过使用在整个图像上计算的合适阈值来提取和表征2-D脑切片的肿瘤部分来完成的。索引和检索,然后通过计算分割区域的灰度空间依赖矩阵的基础上的纹理特征。Hash结构用于索引所有图像。采用一种组合索引来指向所有纹理特征相似的图像。在查询时,仅比较与被查询图像的那些散列桶在同一散列桶中的那些图像的相似性,从而减少了搜索空间和时间。
2013-12-07 cs.CV cs.IR
Concept-based indexing in text information retrieval
Mouloud Mammeri University of Tizi-Ouzou(穆卢德·马姆里蒂齐乌祖大学)
传统的信息检索系统依赖于关键字来索引文档和查询。在这样的系统中,基于与查询共享的关键字的数量来检索文档。当使用不同的关键字来描述文档和查询时,这种以词汇为中心的检索会导致不准确和不完整的结果。以语义为中心的检索方法试图通过依赖于概念而不是关键字来索引和检索来克服这个问题。目标是检索与给定用户查询语义相关的文档。本文针对这一问题提出了一个解决方案,在索引级。更确切地说,我们提出了一种新的方法,语义索引的基础上确定的概念,从语言资源。特别是,我们的方法依赖于WordNet和WordNetDomains词汇数据库的概念识别的联合使用。此外,我们提出了一个基于语义的概念加权方案,依赖于一个新的概念中心的定义。在TIME测试集合上评估生成的系统。实验结果表明,我们的命题比传统的IR方法的有效性。
2013-03-07 cs.CL cs.IR
RL-Index: Reinforcement Learning for Retrieval Index Reasoning
University of Oregon(俄勒冈大学);Adobe Research(Adobe研究)
提出RL-Index框架,将检索索引推理转化为强化学习问题,通过LLM生成理由增强文档,使用GRPO优化,提升检索和问答性能并降低在线延迟。
2026-08-17 cs.AI cs.IR cs.LG
Model-enhanced Vector Index
针对深度检索方案服务延迟高、不支持文档更新的问题,提出模型增强向量索引MEVI,结合双塔模型与残差量化码本,通过生成虚拟簇ID加细粒度检索的方式,在保持低延迟的同时提升了检索性能。
2023-11-09 cs.IR
The Curse of Dense Low-Dimensional Information Retrieval for Large Index Sizes
Technical University of Darmstadt(达姆施塔特工业大学);Ubiquitous Knowledge Processing Lab (UKP-TUDA)(泛在知识处理实验室(UKP-TUDA))
使用密集低维表示的信息检索最近变得流行,并显示出优于传统稀疏表示(如BM 25)的性能。然而,没有以前的工作研究如何密集表示执行大索引大小。我们从理论上和经验表明,密集表示的性能下降速度比稀疏表示增加索引大小。在极端情况下,这甚至可能导致一个临界点,在特定索引大小下,稀疏表示优于密集表示。我们发现,这种行为与表示的维数密切相关:维数越低,误报的机会就越高,即返回不相关的文档。
2021-06-09 cs.CL cs.IR
Bootstrapped Pre-training with Dynamic Identifier Prediction for Generative Retrieval
针对生成式检索预训练受静态文档标识符限制的问题,提出含三阶段训练、结合大模型生成噪声文档与伪查询的自举预训练方法BootRet,动态调整标识符,性能优于现有基线且零样本表现优异。
2024-07-16 cs.IR
Compact Indexes for Flexible Top-k Retrieval
我们设计了一个基于自索引的检索系统,能够对top-k查询进行排名安全的评估。该框架概括了Culpepper等人(ESA 2010)的GREEDY方法来处理多项查询,包括短语。我们提出了两种技术,显着减少了广泛的流行的信息检索(IR)的相关性措施,如TFxIDF和BM 25的排名时间。首先,我们根据文档权重对文档数组中的元素进行重新排序。其次,我们引入了重复数组,它将Sadakane(JDA 2007)的文档频率结构推广到文档子集。结合文档和重复数组,我们实现了有吸引力的功能空间的权衡。我们提供了一个广泛的评估,我们的系统上TB大小的IR集合。
2014-06-12 cs.DS cs.IR
Content Based Image Indexing and Retrieval
VJTI(韦什瓦卡马拉理工学院)
在本文中,我们提出了有效的基于内容的图像检索系统,利用图像的颜色,纹理和形状信息,以促进检索过程。为了有效地提取图像的特征提取,本文利用在信号处理和图像压缩中广泛应用的边缘检测技术自动提取图像的颜色、纹理和形状特征。为了便于快速检索,我们实现了对极树算法的图像索引。
2014-01-08 cs.CV cs.GR cs.IR
A Semantic Indexing Structure for Image Retrieval
School of Information Science and Engineering, Southeast University(东南大学信息科学与工程学院)
在大规模图像检索中,为了缩小检索的搜索范围,人们提出了许多索引方法。由于关键点的存在,从图像中提取的特征往往是高维的或不固定的。现有的索引结构大多存在维数灾难、特征尺寸不固定和语义相似性损失等问题。在本文中,一个新的分类为基础的索引结构,称为语义索引结构(SIS),提出了一种新的索引结构,在其中,我们利用语义类别,而不是聚类中心,以创建数据库分区,使建议的索引SIS可以结合特征提取没有限制的维度。此外,它被观察到的每个语义分区的大小与数据库的语义分布呈正相关。沿着这种方式,我们发现,当分区数归一化为5时,所提出的算法在所有测试中表现得非常好。与最先进的模型相比,SIS实现了出色的性能。
2021-09-14 cs.CV cs.IR
Faster Learned Sparse Retrieval with Block-Max Pruning
本文提出块最大剪枝(BMP)策略,通过将文档空间划分为连续块并动态聚合排序,结合安全提前终止准则,显著提升了学习型稀疏检索在安全与近似场景下的效率与精度权衡。
2024-05-02 cs.IR
Reducing Redundancy in Whole-Slide Image Patching for Scalable Indexing and Retrieval
KIMIA Lab Dept. of Artificial Intelligence & Informatics(KIMIA实验室 人工智能与信息学系)
提出ARReST框架,通过识别并剪除跨类别判别贡献小的对立块,在保持检索精度的同时显著压缩WSI索引存储(3%-60%),实现可扩展、低成本的病理图像检索。
2026-06-26 cs.AI cs.IR
DocPC: Document-Level Visual Retrieval via Representative Page Composition
East China Normal University(华东师范大学);Matter Innovation Inc.(墨天轮创新);UC Berkeley(加州大学伯克利分校);New York University(纽约大学)
针对现有视觉文档检索以页面为中心的问题,提出DocPC框架,通过组合代表性页面实现文档级索引,在DocViRe基准上性能优于最强页面级基线且存储成本大幅降低。
2026-08-31 cs.IR
Jointly Optimizing Query Encoder and Product Quantization to Improve Retrieval Performance
近年来,信息检索领域见证了稠密检索(DR)的快速发展,DR使用基于嵌入的搜索来执行第一阶段的检索。尽管令人印象深刻的排名性能,以前的研究通常采用暴力搜索获得候选人,这是禁止在实际的Web搜索场景,由于其巨大的内存使用和时间成本。为了克服这些问题,向量压缩方法已被采用在许多实际的基于嵌入的检索应用。最流行的方法之一是乘积量化(PQ)。然而,虽然现有的矢量压缩方法,包括PQ可以帮助提高DR的效率,他们招致严重衰减的检索性能,由于编码和压缩之间的分离。为了解决这个问题,我们提出了JPQ,它代表查询编码和乘积量化的联合优化。它基于三种优化策略,即面向排名的损失,PQ质心优化和端到端负采样,以端到端的方式联合训练查询编码器和PQ索引。我们评估JPQ两个公开的检索基准。实验结果表明,JPQ明显优于流行的矢量压缩方法。与以前使用蛮力搜索的DR模型相比,JPQ几乎可以在索引大小压缩30倍的情况下获得最佳检索性能。压缩后的索引在查询延迟方面进一步带来了10倍的CPU加速和2倍的GPU加速。
2021-08-22 cs.IR
Pairing Clustered Inverted Indexes with kNN Graphs for Fast Approximate Retrieval over Learned Sparse Representations
本文提出 SeismicWave,通过按重要性顺序遍历倒排块并利用 kNN 图扩展候选文档,在保持几乎精确准确率的同时将 Seismic 的近似检索速度提升至 2.2 倍。
2024-08-08 cs.IR
MISS: Multi-Modal Tree Indexing and Searching with Lifelong Sequential Behavior for Retrieval Recommendation
Kuaishou Inc.(快手公司)
针对检索推荐中难以利用终身序列行为和多模态信息的问题,提出MISS模型,通过多模态索引树和多视角搜索单元融合两类信息,提升树基检索模型性能。
2025-08-20 cs.AI cs.IR
Learning Term Discrimination
文档索引是高效信息检索(IR)的关键组件。经过词干提取和停用词删除等预处理步骤后,文档索引通常会存储词频(tf)。与tf(仅反映文档中术语的重要性)一起,传统的IR模型使用术语区分值(TDVs),如逆文档频率(idf),以在检索过程中支持区分术语。在这项工作中,我们建议学习TDVs的文档索引与浅神经网络,近似传统的IR排名功能,如TF-IDF和BM 25。我们的建议优于,无论是在nDCG和召回,传统的方法,即使有几个积极标记的查询文档对作为学习数据。当我们学习的TDVs用于过滤掉具有零区分值的词汇表中的术语时,允许显著降低倒排索引的内存占用并加快检索过程(BM 25快达3倍),而不会降低检索质量。
2020-04-28 cs.IR
IndexRAG: Index-Time Reasoning for Multi-Hop Retrieval-Augmented Generation
Continuum AI
IndexRAG通过在索引阶段进行跨文档推理,提升多跳问答的F1得分,无需额外训练,仅需单次检索和一次LLM调用。
2026-09-29 cs.AI cs.CL cs.IR
M-RAG: Semantic Key-Value Indexing for Retrieval-Augmented Generation
Southwestern University of Finance and Economics(西南财经大学);Zhida AI, Zhida Technology(智达AI,智达科技);University of Maryland, College Park(马里兰大学帕克分校)
M-RAG提出一种无片段检索策略,通过提取结构化元标记提升检索与生成效率,实验证明其在低资源环境下优于传统RAG方法。
2026-07-22 cs.AI cs.IR
RISE: A Rust Library for Inverted Index Search Engines
University of Pisa(比萨大学)
提出Rust实现的倒排索引库RISE,利用Rust安全性和性能,通过可扩展trait系统提供高效查询,速度可达现有最优的2倍。
2026-06-05 cs.IR
KG-Retriever: Efficient Knowledge Indexing for Retrieval-Augmented Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);University of Science and Technology Beijing(北京科技大学);Xiaomi Corporation(小米公司)
本文提出KG-Retriever框架,通过知识图谱层与协作文档层构成的分层索引图增强文档连通性,缓解多跳问答中的信息碎片化问题,并在五个QA数据集上验证了其检索效果与效率。
2025-05-05 cs.AI cs.IR
GLEN: Generative Retrieval via Lexical Index Learning
Sungkyunkwan University(成均馆大学)
本文提出GLEN方法,通过两阶段动态词表索引学习策略和无冲突推理机制,解决了生成式检索中预训练知识与标识符差异及训练推理差距问题,在多个基准数据集上达到最优或具竞争力的性能。
2023-11-06 cs.CL cs.IR
Constructing Tree-based Index for Efficient and Effective Dense Retrieval
Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室);Renmin University of China(中国人民大学);Huawei Poisson Lab(华为泊松实验室)
针对 ANN 加速稠密检索却损害效果的问题,本文提出 JTR,通过统一对比学习损失端到端联合优化基于树的索引与查询编码器,并在多个基准上实现效率与检索性能的更好平衡。
2023-04-24 cs.CL cs.IR
Content-based Video Indexing and Retrieval Using Corr-LDA
Carnegie Mellon University(卡内基梅隆大学);Technicolor(特艺集团);NITK Surathkal(苏拉特卡尔国家技术学院);NIT Tiruchirappalli(蒂鲁吉拉伯利国家技术学院)
现有的基于Web的多媒体共享网站上的视频索引和检索方法是基于用户提供的稀疏标记。本文提出了一种非常具体的方式搜索视频剪辑,基于视频的内容。我们提出了我们的工作基于内容的视频索引和检索使用的对应潜在狄利克雷分配(corr-LDA)概率框架。这是一个模型,提供了自动注释的视频在数据库中的文本描述符,并带来了额外的好处,利用视频和文本的内容之间的语义关系。我们使用corr-LDA提供的概念级匹配来建立文本和多媒体之间的对应关系,以提高准确性检索内容的目标。在我们的实验中,我们只使用单个录音的音频分量,并将我们的结果与基于SVM的方法进行比较。
2019-11-19 cs.CV cs.IR
Optimizing Component Combination in a Multi-Indexing Paragraph Retrieval System
Université Libre de Bruxelles (ULB)(布鲁塞尔自由大学(ULB))
我们展示了一种方法来优化的段落检索系统中的不同组件的组合。我们的系统使用了几个索引,查询生成器和过滤器,它们中的每一个都可能有助于返回结果列表的质量。这些组件与加权和相结合,我们使用启发式优化算法优化权重。这使我们能够最大限度地提高结果的质量,同时也可以确定哪些组件在我们的系统中最有价值。我们评估我们的方法上的段落选择任务的问答数据集。
2014-08-11 cs.CL cs.IR