On the Impact of Random Index-Partitioning on Index Compression
处理搜索查询的性能在很大程度上取决于存储的索引大小。因此，大量的研究工作致力于开发用于倒排索引的有效压缩技术。粗略地说，索引压缩依赖于两个因素：索引文档的排序，它努力将相似的文档定位在邻近的位置，以及从有序的文档流中产生的倒排列表的编码。大型商业搜索引擎索引了不断增长的Web中的数百亿个页面。它们的索引的庞大规模决定了文档在数千台服务器中的分布，这种方案称为本地索引分区，这样每个服务器只索引数百万页。出于工程和运行时性能的考虑，文档随机分发到服务器是很常见的。然而，在许多服务器之间的随机索引分区会对索引大小产生不利影响，因为它会降低文档排序方案的有效性。我们研究了随机索引分区对文档排序方案的影响。我们发现，索引分区减少了聚合的倒排列表的大小与服务器的数量，当每个服务器内的文档随机重新排序。另一方面，聚合分区索引的大小随服务器数量的增加而增加，当应用最先进的文档排序方案，如词法URL排序和TSP聚类时。最后，我们证明了随机分发文件到服务器的常见做法，因为我们定性地表明，尽管其不良影响，随后的压缩，它减少了一个数量级的分区技术，压缩更好的分布式查询评估时间的关键因素。
2011-07-28 cs.IR
Speeding Up Question Answering Task of Language Models via Inverted Index
Boston University（波士顿大学）；eMentalist
自然语言处理应用，如会话代理及其问答功能，在现实世界中得到广泛应用。尽管大语言模型（LLM）的广泛流行，很少有现实世界的会话代理利用LLM。LLM消耗的大量资源使开发人员无法将其集成到最终用户应用程序中。在这项研究中，我们利用倒排索引机制结合LLM，以提高效率的问题回答模型的封闭域的问题。我们的实验表明，使用索引提高了平均响应时间的97.44%。此外，由于缩小了搜索范围，使用倒排索引时，平均BLEU分数提高了0.23。
2022-10-24 cs.CL cs.IR cs.LG
misi: a Metric Inverted Sample Index
CICESE（墨西哥国家中心为科学研究）
提出misi度量倒排样本索引，将NAPP索引推广到线性词汇表，具并行构造、低内存特性，适用于需权衡构造成本等的场景，0.99召回率验证预算随n^0.30增长。
2026-08-28 cs.IR
The Effect of the Multi-Layer Text Summarization Model on the Efficiency and Relevancy of the Vector Space-based Information Retrieval
互联网上的大量上传文本在信息检索系统中产生了巨大的倒排索引，这损害了它们的效率。本研究的目的是衡量自动摘要的多层相似度模型在建立信息量大、简洁的倒排索引方面的效果。为了实现这一目的，我们总结了相当数量的文档使用多层相似性模型，我们建立了倒排索引从自动摘要，从这个模型产生的。一系列的实验进行了测试的效率和相关性方面的性能。实验包括与三个现有的文本摘要模型的比较; Jaccard系数模型，向量空间模型，和潜在语义分析模型。实验研究了三组查询与手动和自动相关性评估。多层相似性在IR系统的效率中的积极作用是明显的，而相关性结果没有明显的损失。然而，评估表明，传统的统计模型没有语义调查未能提高信息检索的效率。与以前的出版物，解决了使用摘要作为索引的来源，我们的工作的相关性评估更高，和多层相似性检索构建的倒排索引是58%小于主语料倒排索引。
2020-04-18 cs.IR
Hypergraph Embedding Indexing for Efficient Dense Vector Retrieval
Sodhana（索达纳）
针对现有ANN索引将嵌入视为高维不可分割点的问题，提出超图嵌入索引（HEI）框架，通过多互补超图提升检索覆盖率，引入激活多样性作为诊断指标。
2026-08-25 cs.AI cs.IR
Hybrid Inverted Index Is a Robust Accelerator for Dense Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Microsoft Research Asia（微软亚洲研究院）
针对稠密检索中倒排索引聚类有损导致召回下降的问题，提出混合倒排索引（HI²），结合嵌入簇与显著词，通过簇选择器和词选择器构建紧凑倒排列表，实现无损且高效的检索。
2023-10-17 cs.AI cs.IR
Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
变分自编码器（VAE）是一种典型的非线性协同过滤方法。然而，VAE的瓶颈在于对所有项目的softmax计算，因此它需要项目数量的线性成本来计算优化的损失和梯度。这阻碍了实际使用，因为在现实世界中有数百万个项目。重要性采样是一种有效的逼近方法，基于此方法导出了采样softmax。然而，现有的方法通常利用均匀或流行的采样器作为建议分布，导致梯度估计的大偏差。为此，我们建议基于反向多指标分解基于内积的softmax概率，从而实现次线性时间和高精度采样。在此基础上，提出了一种快速的变分自编码器（FastVAE）。在三个真实数据集上的实验表明，FastVAE在采样质量和效率方面都优于最先进的基线。
2022-05-30 cs.IR cs.LG
Real-Time Construction Algorithm of Co-Occurrence Network Based on Inverted Index
针对传统共现网络构建算法在大规模文本上时空复杂度高的问题，提出融合倒排索引与广度优先搜索的实时构建算法，并在 CSL 数据集上验证其显著性能优势。
2023-08-17 cs.DS cs.IR
Reconfigurable Inverted Index
National Institute of Informatics（国立信息学研究所）；The University of Tokyo（东京大学）
现有的近似最近邻搜索系统存在两个基本问题，这两个问题具有实际重要性，但尚未得到研究界的足够重视。首先，尽管现有系统对于整个数据库表现良好，但是难以在数据库的子集上运行搜索。第二，没有讨论在系统中新增加许多项目后性能下降的问题。我们开发了一个可重构的倒排索引（Rii）来解决这两个问题。基于标准IVFADC系统，我们设计了一个数据布局，使项目的线性存储。这使我们能够有效地运行一个子集搜索切换搜索方法的线性PQ扫描，如果一个子集的大小是小的。由于采用了线性布局，在增加新项目后，数据结构可以动态调整，保持了系统的快速性。广泛的比较表明，Rii实现了与最先进的系统，如Faiss相当的性能。
2018-08-12 cs.CV cs.IR cs.MM
Universal Indexes for Highly Repetitive Document Collections
在其他应用中，随着版本化文档的大型存储库的出现，索引高度重复的集合已经成为一个相关的问题。这些集合可能会达到巨大的规模，但大多数是由接近其他副本的文档组成的。传统的索引这些集合的技术未能适当地利用它们的索引来减少空间。我们引入了新的技术来压缩倒排索引，利用这种接近复制的规律。它们基于游程长度、Lempel-Ziv或差分倒排列表的语法压缩，而不是通常的间隙编码。我们表明，在这种高度重复的设置，我们的压缩方法显着减少了与经典技术获得的空间，在价格适中的减速。此外，我们最好的方法是通用的，也就是说，它们不需要知道集合的版本结构，也不需要知道一个清晰的版本结构。在比较中，我们还引入了压缩的自索引。这些是为一般字符串（不仅是自然语言文本）设计的，并以集成的形式表示文本集合加上索引结构（而不是倒排索引）。我们表明，这些技术可以进一步压缩，使用我们的新的倒排索引所需的空间的一小部分。然而，它们慢了几个数量级。
2016-05-24 cs.DL cs.IR
On Optimally Partitioning Variable-Byte Codes
可变字节编码是整数序列最快的压缩表示之一。然而，它的压缩比通常无法与其他更复杂的编码器竞争，特别是当要压缩的整数很小时，这是倒排索引的典型情况。本文表明，采用倒排表的分区表示，可变字节的压缩比可以提高2倍。这使得Variable-Byte在空间上与最好的位对齐编码器具有惊人的竞争力，因此反驳了Variable-Byte对于倒排索引压缩来说空间效率低的民间传说。尽管节省了大量的空间，我们表明，我们的优化几乎是免费的，因为：我们引入了一个最佳的分区算法，不影响索引时间，因为它的线性时间复杂度;我们表明，可变字节的查询处理速度被保留，与其他几个国家的最先进的编码器进行了广泛的实验分析和比较。
2020-02-27 cs.DB cs.IR
Forward Index Compression for Learned Sparse Retrieval
Northeastern University（东北大学）；University of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会信息与通信技术研究所）
本文提出DotVByte算法，通过优化内积计算，实现前向索引压缩，从而在保持检索效率的同时减少存储空间。
2026-02-05 cs.IR
HEISIR: Hierarchical Expansion of Inverted Semantic Indexing for Training-free Retrieval of Conversational Data using LLMs
Coxwave（考克斯威夫）；Seoul National University（首尔大学）
本文提出免训练框架 HEISIR，通过分层三元组构建和附加语增强生成 SVOA 四元组语义索引，在保持低延迟的同时提升对话数据检索性能，且效果优于微调模型。
2025-03-06 cs.CL cs.IR
A New Compression Based Index Structure for Efficient Information Retrieval
从大数据集中发现所需信息是一个难题。信息检索涉及信息的结构、分析、组织、存储、搜索和检索。索引是信息检索系统的主要组成部分。如今，信息量呈指数级增长，使得索引结构庞大到足以影响信息检索系统的质量。因此，压缩索引结构是本文的主要贡献。我们使用一种基于行程长度编码的新编码技术压缩倒排文件条目中的文档编号。我们的编码机制使用了一个指定的代码，其行为超过游程编码。我们进行了实验，发现我们的编码机制比其他技术平均压缩了67.34%。
2012-09-24 cs.IR
Fixed Block Compression Boosting in FM-Indexes
压缩的全文自索引占用的空间接近于压缩文本的空间，同时允许快速模式匹配和对基础文本的随机访问。在理论和实践中，最好的压缩自索引是FM索引家族的几个成员。在本文中，我们描述了新的FM索引变体，结合了良好的理论特性，简单的实现和改进的实际性能。我们的主要结果是一种称为固定块压缩增强的新技术，这是一种更简单，更快的替代最佳压缩增强和隐式压缩增强在以前的FM索引中使用。
2011-04-19 cs.DS cs.IR
An Efficient Indexing and Searching Technique for Information Retrieval for Urdu Language
索引技术用于改进响应特定搜索条件的数据检索。倒排文件主要用于创建索引。本文提出了乌尔都语的索引技术。索引创建中的语言处理步骤因特定语言而异。我们将专门讨论乌尔都语的索引创建步骤。我们探索乌尔都语的形态规则，并实现这些规则来创建乌尔都语词干。我们实现我们提出的技术与不同的实现和比较结果。我们建议，索引应创建没有停止字，索引文件也应该是一个顺序索引文件。
2021-02-28 cs.IR
TopSig: Topology Preserving Document Signatures
文件签名和倒排文件之间用于文本检索的性能比较之前已经显示了文件签名相对于倒排文件的几个显着缺点。倒排文件方法支持大多数最先进的搜索引擎算法，如语言和概率模型。人们普遍认为传统的文件签名不如倒排文件。本文介绍了TopSig，一种新的方法来构建文件签名。近年来，在语义哈希和降维方面取得了许多进展，但这些进展迄今为止还没有与通用的、基于签名文件的搜索引擎联系起来。本文介绍了一种不同的签名文件方法，该方法建立在这些最新进展的基础上并对其进行了扩展。我们能够证明显着的改进，在性能的签名文件为基础的索引和检索，性能是最先进的倒排文件为基础的系统，包括语言模型和BM 25。这些研究结果表明，文件签名提供了一个可行的替代倒排文件在适当的设置，并从理论的角度来看，它的位置的类向量空间检索模型的文件签名模型。
2012-04-24 cs.IR
DeeperImpact: Optimizing Sparse Learned Index Structures
本文优化稀疏检索方法 DeepImpact，通过以微调 Llama 2 替代 T5 生成查询，并结合难负样本、蒸馏与 CoCondenser 初始化，显著缩小其与 SPLADE 的效果差距。
2024-07-06 cs.IR
The $\mathbf{P}$-Completeness of Inverted Index Traversal: On the Complexity of Evaluating Boolean Query DAGs
Apple Inc.（苹果公司）
本文证明基于DAG的布尔查询评估问题是$\mathbf{P}$-完备的，并提出一种稀疏感知算法ComputePN，通过正负对偶表示和DAG记忆化，将评估时间严格限制在$O(|Q| \cdot |U_{\mathit{active}}|)$，避免指数爆炸和全量扫描。
2026-08-19 cs.AI cs.CC cs.CL
A Brief Comparison of Training-Free Multi-Vector Sequence Compression Methods
Johns Hopkins University（约翰斯·霍普金斯大学）；Human Language Technology Center of Excellence（人类语言技术卓越中心）
本文比较了无训练多向量序列压缩方法，发现token合并比token剪枝更有效减少索引大小且保持检索效果。
2026-03-23 cs.IR
CoRECT: A Framework for Evaluating Embedding Compression Techniques at Scale
University of Passau（帕绍大学）；Interdisciplinary Transformation University Austria（奥地利跨学科转型大学）
CoRECT框架通过大规模评估和新数据集，展示非学习压缩在减少索引大小的同时保持性能，为压缩方法的选择提供一致比较依据。
2026-01-15 cs.IR
GPUSparse: Fast and Exact Learned Sparse Retrieval on a GPU-Resident Inverted Index
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
提出GPUSparse系统，通过GPU并行倒排索引、批处理散射-加和评分算法和融合Triton内核，实现与CPU精确评分一致的稀疏检索，在MS MARCO上比Pyserini快235倍，且不损失召回率。
2026-11-02 cs.DC cs.IR
Knowledge Base Index Compression via Dimensionality and Precision Reduction
Saarland University（萨尔大学）
最近，基于神经网络的知识密集型NLP任务的方法，如问答，开始严重依赖于神经检索器和读者的组合。检索通常在需要大量存储器和计算资源的大型文本知识库（KB）上执行，特别是当按比例放大时。在HotpotQA上，我们系统地研究了通过维度（稀疏随机投影，PCA，自动编码器）和数值精度降低来减少KB索引的大小。我们的研究结果表明，PCA是一种简单的解决方案，只需要很少的数据，并且只比不太稳定的自动编码器略差。所有方法都对预处理和后处理敏感，数据在降维前后都应始终居中和归一化。最后，我们表明，它是可能的PCA与使用1位每维。总体而言，我们实现了（1）100 $\times$压缩75%，（2）24 $\times$压缩92%的原始检索性能。
2022-04-18 cs.CL cs.IR
Supporting Interoperability Between Open-Source Search Engines with the Common Index File Format
在鼓励开源搜索引擎的多样化生态系统和支持这些系统之间的公平、可复制的比较之间存在着一种自然的紧张关系。为了平衡这两个目标，我们研究了两种方法来提供几个系统的倒排索引之间的互操作性。第一种方法利用了围绕索引结构的内部抽象，并构建了允许一个系统直接读取另一个系统的索引的包装器。第二种是通过我们开发的数据交换规范（称为通用索引文件格式（CIFF））在系统间共享索引。我们演示了第一种方法与Java系统Anserini和Terrier，第二种方法与Anserini，JASSv2，OldDog，PISA和Terrier。总之，这些系统提供了广泛的实现和功能，具有不同的研究目标。总的来说，我们推荐CIFF作为一种支持自主创新的低成本方法，同时实现对推动该领域发展至关重要的公平评估。
2020-03-18 cs.IR
Multi-Vector Index Compression in Any Modality
Johns Hopkins University（约翰霍普金斯大学）
本文提出注意力引导聚类方法，用于在任意模态中高效压缩多向量索引，提升检索性能。
2026-02-24 cs.CL cs.CV cs.IR
SOLO: Certified-Recall Metric Similarity Search with Scan-Only Sampled Inverted Lists
Computer Science Department, CICESE（墨西哥西南科学研究中心计算机系）
SOLO提出一种无排序启发式的度量空间近似最近邻索引，通过采样倒排列表和仅扫描叶子实现可认证召回率，并在Deep-100M和Deep-1B上达到高召回与低内存，吞吐量优于HNSW。
2026-10-07 cs.DB cs.IR
SIMD Compression and the Intersection of Sorted Integers
整数的排序列表通常用于倒排索引和数据库系统。它们通常被压缩在内存中。我们可以使用常见处理器中的SIMD指令来提高整数压缩方案的速度。我们的S4-BP 128-D4方案每个解码整数仅使用0.7个CPU周期，同时仍提供最先进的压缩。然而，如果整数的后续处理很慢，则可能浪费在优化解码速度上的努力。为了证明它不一定是这样，我们（1）向量化和优化倒排列表的交集;（2）引入SIMD驰骋算法。我们利用一个SIMD指令可以同时比较4对整数的事实。我们实验了两个TREC文本集合，GOV 2和CNOWWeb 09（类别B），使用来自TREC百万查询跟踪的日志。我们表明，只使用SIMD指令无处不在的所有现代CPU，我们的技术合取查询可以加倍的速度，一个国家的最先进的方法。
2020-04-20 cs.DB cs.IR cs.PF
Static Pruning Across Sparse Retrieval Regimes: What Transfers, What Breaks, and What Still Helps
Amazon Web Services（亚马逊网络服务）
该研究通过跨三种检索引擎的1140组实验，明确索引侧静态剪枝可迁移，查询剪枝失效，静态剪枝可与动态剪枝互补，还给出了可迁移的剪枝停止准则。
2026-08-18 cs.AI cs.IR
SIVF: GPU-Resident IVF Index for Streaming Vector Search
Tacoma School of Engineering and Computing（塔科马工程与计算学院）；Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学系）；University of Washington（华盛顿大学）
SIVF是一种GPU原生的IVF索引，通过冲突自由的slab分配和非连续内存的合并搜索算法，实现流式向量搜索中的高效原地修改，显著降低删除延迟并展现接近线性的扩展性。
2026-03-26 cs.DB cs.DC cs.IR
