Annotative Indexing
本文提出注释索引框架，统一倒排索引、列存储、对象存储和图数据库，以支持检索增强生成、知识图谱等场景，并展示了具备 ACID 事务特性的动态实现。
2025-06-03 cs.IR
SEINE: SEgment-based Indexing for NEural information retrieval
提出基于片段的神经索引方法SEINE，通过片段级倒排索引存储查询-文档交互值，灵活支持多种基于交互的神经检索方法，在MQ2007和MQ2008数据集上实现最高28倍加速且不损失检索有效性。
2023-11-27 cs.IR
Incremental dimension reduction of tensors with random index
Luleå University of Technology（吕勒奥理工大学）；Gavagai AB（Gavagai公司）
我们提出了一个增量的，可扩展的和有效的降维技术的张量是基于稀疏随机线性编码。数据存储在具有固定大小的紧凑表示中，这使得内存需求低且可预测。在线执行分量编码和解码，而无需对数据集进行计算上昂贵的重新分析。张量指数的范围可以动态扩展，而无需修改组件表示。这个想法起源于语义记忆的数学模型和自然语言处理中被称为随机索引的方法。我们将随机索引算法推广到张量，并对向量和矩阵的表示进行了信噪比模拟。我们还提出了一个数学分析的近似正交的高维三元向量，这是一个属性，支持这种和其他类似的随机编码方法降维。为了进一步证明随机索引的属性，我们提出了一个同义词识别任务的结果。这里提出的方法与随机投影和Tucker分解有一些相似之处，但它只在高维（n> 10^3）上表现良好。随机索引对于一系列复杂的实际问题是有用的，例如，自然语言处理、数据挖掘、模式识别、事件检测、图形搜索和搜索引擎。提供了原型软件。它支持在统一框架中对阶数>= 1的张量进行编码和解码，即，向量、矩阵和高阶张量。
2011-03-18 cs.CL cs.DS cs.IR
Efficient Immediate-Access Dynamic Indexing
在动态检索系统中，文档必须在到达时被摄取，并且可以通过查询立即找到。我们在本文中的目的是描述一个索引结构和处理制度，以适应即时访问的要求，寻求使摄取过程尽可能精简，而在同一时间，寻求使不断增长的索引尽可能小，并寻求通过索引进行基于术语的查询尽可能有效。我们描述了一种新的压缩操作和一种新的方法，可扩展的列表，共同促进三重目标。特别是，我们描述的结构提供增量文档级索引使用少到两个字节每次张贴和只有少量的字级索引;提供快速的文档插入;支持即时和连续的查询能力;提供支持快速合取查询和基于相似性评分的排名查询;并促进快速转换的动态索引到一个“正常”的静态压缩倒排索引结构。对我们的新机制的测量证实，使用典型的服务器架构，可以以2GB/分钟的速率构建千兆字节范围内的集合的内存中动态文档级索引，即使在并发摄取新文档时，也可以平均在几毫秒内解决多项合取布尔查询，并且所有所需的数据结构所需的净存储器空间平均为每个存储的发布只有两个字节，小于最佳的先前机制所需空间的一半。
2023-01-11 cs.DB cs.IR
Effective and Efficient Indexing in Cross-Modal Hashing-Based Datasets
为了克服存储和计算的障碍，哈希技术近年来被广泛用于多媒体检索应用中的最近邻搜索。特别是跨模态检索的跨模态检索成为一个活跃但具有挑战性的问题。尽管提出了几十种跨模态散列算法来产生紧凑的二进制码，但是穷举搜索对于实时目的是不切实际的，并且汉明距离计算遭受不准确的结果。在本文中，我们提出了一种新的搜索方法，利用基于概率的索引计划在二进制哈希码的跨模态检索。所提出的哈希码索引方案利用哈希码的几个二进制位作为索引码。为了提高索引的准确性和效率，本文采用索引编码构造倒排索引表，并对神经网络进行训练。在两个基准数据集上进行了跨图像和文本模态检索的实验，其中哈希码由三种跨模态哈希方法生成。实验结果表明，该方法有效地提高了这些散列方法的性能。
2019-05-15 cs.IR cs.MM
TopSig: Topology Preserving Document Signatures
文件签名和倒排文件之间用于文本检索的性能比较之前已经显示了文件签名相对于倒排文件的几个显着缺点。倒排文件方法支持大多数最先进的搜索引擎算法，如语言和概率模型。人们普遍认为传统的文件签名不如倒排文件。本文介绍了TopSig，一种新的方法来构建文件签名。近年来，在语义哈希和降维方面取得了许多进展，但这些进展迄今为止还没有与通用的、基于签名文件的搜索引擎联系起来。本文介绍了一种不同的签名文件方法，该方法建立在这些最新进展的基础上并对其进行了扩展。我们能够证明显着的改进，在性能的签名文件为基础的索引和检索，性能是最先进的倒排文件为基础的系统，包括语言模型和BM 25。这些研究结果表明，文件签名提供了一个可行的替代倒排文件在适当的设置，并从理论的角度来看，它的位置的类向量空间检索模型的文件签名模型。
2012-04-24 cs.IR
Universal Indexes for Highly Repetitive Document Collections
在其他应用中，随着版本化文档的大型存储库的出现，索引高度重复的集合已经成为一个相关的问题。这些集合可能会达到巨大的规模，但大多数是由接近其他副本的文档组成的。传统的索引这些集合的技术未能适当地利用它们的索引来减少空间。我们引入了新的技术来压缩倒排索引，利用这种接近复制的规律。它们基于游程长度、Lempel-Ziv或差分倒排列表的语法压缩，而不是通常的间隙编码。我们表明，在这种高度重复的设置，我们的压缩方法显着减少了与经典技术获得的空间，在价格适中的减速。此外，我们最好的方法是通用的，也就是说，它们不需要知道集合的版本结构，也不需要知道一个清晰的版本结构。在比较中，我们还引入了压缩的自索引。这些是为一般字符串（不仅是自然语言文本）设计的，并以集成的形式表示文本集合加上索引结构（而不是倒排索引）。我们表明，这些技术可以进一步压缩，使用我们的新的倒排索引所需的空间的一小部分。然而，它们慢了几个数量级。
2016-05-24 cs.DL cs.IR
Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes?
本文基于 Lucene 在 BEIR 上比较 HNSW、flat（含量化变体）与稀疏倒排索引，从索引时间、查询性能和检索质量给出稠密与稀疏检索器的选型建议。
2024-09-10 cs.IR
The Potential of Learned Index Structures for Index Compression
倒排索引对于提供快速的基于关键字的搜索至关重要。对于文档集合中的每个术语，存储术语出现的文档的标识符列表，以及诸如术语频率和位置偏移的辅助信息。虽然倒排索引非常有效，但对于Web大小的集合，倒排索引需要大量的内存。最近，引入了学习索引结构的概念，其中机器学习模型取代了常见的索引结构，如B树索引，哈希索引和布隆过滤器。这些学习的索引结构需要更少的内存，并且在计算上比传统的索引结构快得多。在本文中，我们考虑这种模型是否可以适用于合取布尔查询。首先，我们研究了一个学习模型如何取代倒排索引的文档发布，然后评估这种方法可能会带来的影响。其次，我们评估潜在的收益，可以实现的内存要求。我们的工作表明，学习模型在倒排索引中具有很大的潜力，这一方向似乎是未来研究的一个有前途的领域。
2019-01-29 cs.IR
Fast Clustering of Short Text Streams Using Efficient Cluster Indexing and Dynamic Similarity Thresholds
短文本流聚类是一个重要但具有挑战性的任务，因为大量的文本是从不同的来源，如微博，问答和社会新闻聚合网站。对如此大量的文本进行聚类的主要挑战之一是在合理的时间内对它们进行聚类。现有的最先进的短文本流聚类方法不能在合理的时间内对如此大量的文本进行聚类，因为它们计算文本与所有现有聚类之间的相似性以将该文本分配到聚类。为了克服这一挑战，我们提出了一种快速的短文本流聚类方法（称为FastStream），有效地使用倒排索引和计算文本和选定数量的聚类之间的相似性，同时分配一个文本到一个集群的集群索引。通过这种方式，我们不仅减少了我们提出的方法的运行时间，而且减少了几个国家的最先进的短文本流聚类方法的运行时间。FastStream使用基于统计测量的动态计算的相似性阈值将文本分配到聚类（新的或现有的）。因此，我们的方法有效地处理概念漂移问题。实验结果表明，FastStream优于国家的最先进的短文本流聚类方法的显着保证金在几个短文本数据集。此外，FastStream的运行时间比最先进的方法快几个数量级。
2021-01-21 cs.IR
Learning Term Discrimination
文档索引是高效信息检索（IR）的关键组件。经过词干提取和停用词删除等预处理步骤后，文档索引通常会存储词频（tf）。与tf（仅反映文档中术语的重要性）一起，传统的IR模型使用术语区分值（TDVs），如逆文档频率（idf），以在检索过程中支持区分术语。在这项工作中，我们建议学习TDVs的文档索引与浅神经网络，近似传统的IR排名功能，如TF-IDF和BM 25。我们的建议优于，无论是在nDCG和召回，传统的方法，即使有几个积极标记的查询文档对作为学习数据。当我们学习的TDVs用于过滤掉具有零区分值的词汇表中的术语时，允许显著降低倒排索引的内存占用并加快检索过程（BM 25快达3倍），而不会降低检索质量。
2020-04-28 cs.IR
COPR -- Efficient, large-scale log storage and retrieval
针对大规模流式日志数据的存储与检索问题，提出 Compressed Probabilistic Retrieval 算法（COPR）作为现有索引结构的替代方案，在大幅降低存储空间和假阳性率的同时显著提升了查询吞吐量。
2024-03-27 cs.DB cs.DS cs.IR
Inducing Diversity in Differentiable Search Indexing
Walmart Global Tech（沃尔玛全球技术部门）
本文提出在可微搜索索引（DSI）训练过程中引入受 MMR 启发的多样性机制，在 NQ320K 和 MSMARCO 上验证了可在不显著损失相关性的前提下实现多样化召回，免去后处理步骤，并适用于子主题检索和增量索引更新。
2025-02-05 cs.AI cs.IR cs.LG
DSI++: Updating Transformer Memory with New Documents
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）；Google（谷歌）
本文提出 DSI++持续文档索引挑战，通过平坦极小值优化与生成式伪查询记忆缓解旧文档遗忘，在 NQ 和 MS MARCO 上显著提升 Hits@10 并降低更新成本。
2023-12-08 cs.AI cs.CL cs.IR
Data Mining Model for the Data Retrieval from Central Server Configuration
一个服务器，这是保持跟踪繁忙的文档流量，是无法过滤的文件，最相关的和更新的连续文本搜索查询。本文主要研究如何处理持续高文档流量的连续文本提取。主要目标是检索最近更新的文件是最相关的查询，通过应用滑动窗口技术。该方案基于倒排文件的原理，采用结构化的方式对主存中的流文档进行索引，并采用基于增量阈值的方法对文档到达和过期事件进行处理。它还确保使用无监督重复检测消除重复文档检索。根据用户反馈对文档进行排名，并给予更高的优先级进行检索。
2013-11-20 cs.DB cs.IR
No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
针对多向量检索中K-means聚类导致的索引延迟和语义损失问题，提出单阶段稀疏检索（SSR），利用稀疏自编码器将词元嵌入投影为高维稀疏表示，结合倒排索引实现高效检索，在BEIR基准上索引时间减少15倍、检索延迟减半且性能提升。
2026-09-29 cs.AI cs.IR cs.LG
The Curious Case of High-Dimensional Indexing as a File Structure: A Case Study of eCP-FS
针对多ANN索引争夺内存的问题，提出将eCP索引映射为文件结构的eCP-FS，虽有性能开销但内存占用极低，适合资源受限或多索引环境。
2025-07-29 cs.IR
Research on the Online Update Method for Retrieval-Augmented Generation (RAG) Model with Incremental Learning
School of Engineering and Applied Science（工程与应用科学学院）；School of Business（商学院）；University of Pennsylvania（宾夕法尼亚大学）；Stevens Institute of Technology（史蒂文斯理工学院）；College of Engineering（工程学院）；College of Computer Sciences（计算机科学学院）；Peking University（北京大学）；Northeastern University（东北大学）；Syracuse University（雪城大学）；College of Engineering and Computer Science（工程与计算机科学学院）
针对语言模型难以及时适配动态新知识的问题，提出基于RAG的在线更新方法，通过动态记忆、分层检索、多阶段生成融合机制实现增量更新，在知识留存和推理精度上优于主流模型。
2025-01-13 cs.CL cs.IR
EHI: End-to-end Learning of Hierarchical Index for Efficient Dense Retrieval
Google Inc.（谷歌公司）；Microsoft（微软）；UT Austin（德克萨斯大学奥斯汀分校）
针对传统稠密检索两阶段流程的错位问题，提出端到端分层索引方法EHI，联合优化嵌入生成与ANNS结构，在标准基准上显著超越现有最先进方法。
2024-10-13 cs.IR cs.LG
SPANN: Highly-efficient Billion-scale Approximate Nearest Neighbor Search
Microsoft（微软）；Peking University（北京大学）；Tencent（腾讯）；Baidu（百度）
内存中的近似最近邻搜索算法（ANNS）在快速高查全率搜索方面取得了很大的成功，但在处理超大规模数据库时代价非常昂贵。因此，对于具有小存储器和便宜的固态驱动器（SSD）的混合ANNS解决方案的需求越来越多。在本文中，我们提出了一个简单而有效的存储器-磁盘混合索引和搜索系统，命名为SPANN，遵循倒排索引的方法。它将张贴列表的质心点存储在内存中，并将大型张贴列表存储在磁盘中。我们通过有效减少磁盘访问次数和检索高质量的倒排列表来保证磁盘访问效率（低延迟）和高召回率。在索引构建阶段，采用层次平衡聚类算法来平衡倒排表的长度，并通过在相应聚类的闭包中增加点来扩充倒排表。在搜索阶段，我们使用了一个查询感知的方案来动态修剪不必要的倒排列表的访问。实验结果表明，在30亿规模的数据集上，SPANN比最先进的ANNS解决方案CANN快2 $\times$，在相同的内存开销下达到相同的召回质量$90\%$.它可以在大约1毫秒内达到$90\%$ recall@1和recall@10，而内存成本仅为32 GB。代码可从以下地址获得：{ \footnotesize \color{blue}{\url{https://github.com/microsoft/SPTAG}} }。
2021-11-05 cs.AI cs.CV cs.DB
LightRAG: Simple and Fast Retrieval-Augmented Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Hong Kong（香港大学）
本文提出 LightRAG 框架，通过将图结构引入文本索引与检索，采用双层检索系统和增量更新算法，解决了现有 RAG 系统数据表示扁平化和上下文感知不足的问题，显著提升了检索准确性与效率。
2025-04-28 cs.AI cs.IR
