PDET-LSH: Scalable In-Memory Indexing for High-Dimensional Approximate Nearest Neighbor Search with Quality Guarantees
Oceanbase, Ant Group（蚂蚁集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；LIPADE, Université Paris Cité（巴黎西岱大学）
本文提出PDET-LSH，通过动态编码树提升索引效率并支持高效范围查询，实验显示其在索引和查询速度上优于现有方法，尤其在大规模数据集上表现突出。
2026-03-26 cs.DB
Fast, Incremental Inverted Indexing in Main Memory for Web-Scale Collections
对于文本检索系统，所有数据结构驻留在主存中的假设越来越普遍。在这种情况下，我们提出了一种新的增量倒排索引算法的网络规模的集合，直接构造压缩的帖子列表在内存中。设计高效的内存算法需要理解现代处理器体系结构和存储层次结构：在本文中，我们探讨了发布列表连续性的问题。自然，占据连续内存区域的发布列表对于检索是优选的，但是保持连续性增加了复杂性并且减慢了索引。另一方面，允许不连续的索引段简化了索引构造，但降低了检索性能。理解这种权衡是我们的主要贡献：我们发现，共同定位的倒排列表段的小组产生查询评估性能，是统计上无法区分的完全连续的帖子列表。换句话说，没有必要在内存中布置数据结构，使得一个术语的所有发布都是连续的;我们可以用相对少量的工作来实现理想的性能。
2013-05-03 cs.DB cs.IR
Stochastic Database Cracking: Towards Robust Adaptive Indexing in Main-Memory Column-Stores
现代商业应用和科学数据库要求固有的动态数据存储环境。这种环境的特点是两个具有挑战性的特点：（a）他们有很少的空闲系统时间投入物理设计;（b）有很少的，如果有的话，先验的工作负载知识，而查询和数据的工作负载保持动态变化。在这样的环境中，传统的索引构建和维护方法无法适用。数据库破解已经被提出作为一种解决方案，允许在运行中的物理数据重组，作为查询处理的附带影响。Cracking的目标是连续自动地使索引适应手头的工作负载，而无需人工干预。索引是按需增量、自适应地构建的。然而，正如我们所展示的，现有的自适应索引方法无法提供工作负载鲁棒性;它们在随机工作负载下的表现要比其他方法好得多。这种脆弱性源于这些方法将每个查询解释为数据应该如何存储的提示的不灵活性。当前的破解方案盲目地在每个查询的范围内重新组织数据，即使这导致连续的昂贵操作，索引收益最小。在本文中，我们介绍了随机破解，一个更有弹性的自适应索引方法。随机破解也使用每个查询作为如何重组数据的提示，但不是盲目的;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此，我们提出了自适应索引到一个成熟的配方，赋予以前的方法缺乏的工作负载鲁棒性。我们广泛的实验研究验证了随机破解保持了原始数据库破解所需的属性，同时在不同的现实工作负载下表现良好。
2012-03-01 cs.DB
Data Series Indexing Gone Parallel
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而，国家的最先进的技术未能提供所需的交互式探索，或大型数据系列集合的分析的时间性能。在这个博士工作，我们提出了第一个数据系列索引解决方案，磁盘上和内存中的数据，旨在利用多核架构的固有优势，以加快相似性搜索处理时间。我们对各种合成数据和真实数据的实验表明，我们的方法比其他方法快了几个数量级。更具体地说，我们的磁盘解决方案可以在几秒钟内回答100 GB数据集上的精确相似性搜索查询，而我们的内存解决方案可以在几毫秒内回答，这使得对非常大的数据系列集合进行实时交互式数据探索成为可能。
2020-09-02 cs.DB
A role-free approach to indexing large RDF data sets in secondary memory for efficient SPARQL evaluation
大量的RDF数据集正在变得司空见惯。RDF数据通常是在社会语义领域（如个人信息管理）中生成的，其中固定的模式通常是先验不可用的。我们提出了一个简单的三向三叉树（TripleT）二级内存索引技术，以方便高效的SPARQL查询评估这样的数据集。TripleT的新颖之处在于：（1）索引是在数据集中出现的原子上构建的，而不是以更粗的粒度构建的，例如在数据集中出现的整个三元组;以及（2）原子被索引而不管角色（即，主语、谓语或宾语），它们在数据集的三元组中起作用。我们通过广泛的实证评估表明，TripleT表现出多个数量级的改进，在存储和查询处理成本方面的RDF索引的最先进的状态。
2008-11-07 cs.DB cs.DS
DEX: Scalable Range Indexing on Disaggregated Memory [Extended Version]
针对内存分解环境，提出可扩展B+-树DEX，通过逻辑分区、轻量级缓存和成本感知卸载减少远程访问，性能超越现有方法1.7-56.3倍。
2024-05-23 cs.DB cs.DC
Cuckoo Trie: Exploiting Memory-Level Parallelism for Efficient DRAM Indexing
我们提出了布谷鸟Trie，一个快速，内存效率的有序索引结构。Cuckoo Trie被设计为具有内存级并行性-现代无序处理器可以利用它来并行执行DRAM访问-而不会牺牲内存效率。因此，Cuckoo Trie打破了当前索引所面临的基本性能障碍，其瓶颈是一系列依赖的指针追逐DRAM访问-例如，遍历搜索树路径--处理器无法并行化。我们的评估表明，Cuckoo Trie在各种数据集和工作负载上的性能优于最先进的索引高达20%-360%，通常具有较小或相当的内存占用。
2022-01-23 cs.DB cs.DC cs.DS
Accelerating Graph Indexing for ANNS on Modern CPUs
针对现代CPU上图索引构建慢的问题，提出紧凑编码策略Flash，通过减少随机内存访问和优化SIMD利用，在八个数据集上实现10.4至22.9倍的索引加速，同时保持或提升搜索性能。
2025-02-25 cs.DB
Optimizing SSD-Resident Graph Indexing for High-Throughput Vector Search
East China Normal University（华东师范大学）；Bytedance（字节跳动）
VeloANN通过局部性感知的数据布局和异步运行时优化，提升SSD驻留图索引的高吞吐量向量搜索性能。
2026-02-26 cs.DB
Bounding the Last Mile: Efficient Learned String Indexing
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）
我们引入了RadixStringSpline（RSS）学习的索引结构，用于有效地索引字符串。RSS是一个基数样条树，每个基数样条索引固定数量的字节。RSS的性能接近或超过传统的字符串索引，同时使用7-70 $\times$少的内存。RSS通过使用最小的字符串前缀来充分区分数据来实现这一点，而不像大多数学习的方法那样索引整个字符串。此外，RSS的有界错误性质加速了最后一英里搜索，并且还实现了内存高效的哈希表查找加速器。我们在几个真实世界的字符串数据集上对ART和HOT进行了RSS基准测试。我们的实验表明，这条线的研究可能是有前途的未来内存密集型数据库应用程序。
2021-11-29 cs.DB cs.LG
Decoupling Disaggregated Memory Optimizations from Indexing: A Compiler-Runtime Approach
The Chinese University of Hong Kong（香港中文大学）；Purdue University（普渡大学）；Microsoft Research（微软研究院）；Simon Fraser University（西蒙菲莎大学）
本文提出编译器-运行时框架Nox，可自动将未修改的并发索引转换为适配聚合内存的版本，其生成的索引在真实硬件上性能优异，实现了聚合内存优化的解耦与索引的可移植性。
2026-09-07 cs.DB
Spatial Indexing of Large Multidimensional Databases
诸如大型天文测量之类的科学工作产生了TB级的数据库。这些通常是多维数据库，必须进行可视化和挖掘，以便找到有趣的对象或提取有意义的和定性的新关系。这些任务所需的许多统计算法在对内存中的小数据集进行操作时运行得相当快，但在对不适合内存的大型数据库进行操作时会出现明显的性能下降。我们利用新的软件技术来开发和评估快速多维索引方案，这些方案本质上遵循数据的底层，高度不均匀的分布：它们是分层的均匀网格索引，分层的二进制空间分区，以及数据的采样平面Voronoi细分。我们的工作数据库是斯隆数字巡天的5维星等空间，拥有超过2.7亿个数据点，我们表明这些技术可以大大加快数据采掘操作，例如通过实例查找类似对象，对对象进行分类或将大量模拟集与观测结果进行比较。我们还在开发与多维数据库交互的工具，并以自适应的方式以多种分辨率显示数据。
2012-09-28 cs.DB
A Two-level Spatial In-Memory Index
大量的空间数据日益增多，需要有效的管理。虽然空间数据管理已经有几十年的研究，很少有作品考虑商品硬件的当前状态，具有相对较大的内存和并行多核处理的能力。在这项工作中，我们重新考虑在这种新的现实下的空间索引的设计。具体来说，我们提出了一个主内存索引的方法与空间范围内的对象，这是基于一个经典的规则空间分割成不相交的瓷砖。我们的索引的新颖之处在于，每个瓦片的内容被进一步划分为四个类别。这种第二级划分不仅减少了计算结果所需的比较次数，而且避免了重复结果的生成和消除，这是基于不相交空间划分的空间索引的固有问题。由我们的索引方案定义的空间分区是完全独立的，便于轻松的并行评估，因为分区之间不需要同步或通信。我们展示了如何使用我们的索引来有效地处理空间范围查询，并大大降低了查询的细化步骤的成本。此外，我们研究了大量的范围查询的批处理和并行处理的效率。在真实数据集上的大量实验证实了我们方法的有效性。
2021-02-23 cs.DB
Enhancing In-Memory Spatial Indexing with Learned Search
本研究将机器学习搜索技术应用于内存空间索引，通过六种实例优化的空间分区技术支持多种空间查询，实验证明学习增强的网格索引结构在查询性能上显著优于传统树形结构。
2023-09-12 cs.DB
Taking the Shortcut: Actively Incorporating the Virtual Memory Index of the OS to Hardware-Accelerate Database Indexing
本文提出利用操作系统页表作为数据库索引的捷径，通过直接在页表中表达间接层来减少遍历高度并利用硬件加速，并在可扩展哈希上验证了有效性。
2023-10-13 cs.DB cs.OS
Learned Adaptive Indexing
针对动态工作负载下传统学习型索引需预先构建的挑战，提出一种随查询动态构建的学习型自适应索引，利用工作负载预测提升性能，实验显示查询性能提升1.2-5.6倍。
2025-08-05 cs.DB
Efficient Graph Indexing for Interval-Aware Vector Search
Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）；University of Science and Technology Beijing（北京科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出统一区间感知相对邻域图（URNG），支持多种区间感知ANN查询语义，并开发实用图索引UG，通过统一剪枝和迭代修复实现高效搜索。
2026-06-11 cs.DB
CRISP: Correlation-Resilient Indexing via Subspace Partitioning
U. of Ioannina（约阿尼纳大学）；Archimedes, Athena RC（阿尔基米德，雅典研究中心）
CRISP通过子空间划分实现抗相关索引，有效降低高维空间中ANN搜索的预处理复杂性和查询延迟，提升查询吞吐量和内存效率。
2026-03-05 cs.DB
EHL*: Memory-Budgeted Indexing for Ultrafast Optimal Euclidean Pathfinding
Monash University（莫纳什大学）
提出 EHL* 算法，通过构建遵循指定内存预算的索引并利用预知查询分布，在保持超快查询性能的同时将内存消耗降低 10-20 倍，有效解决了内存受限环境下的最优欧几里得寻路问题。
2024-08-21 cs.AI cs.DB
Towards Zero-Overhead Adaptive Indexing in Hadoop
一些研究工作集中在MapReduce系统中支持索引访问。这些工作使用户能够以数量级的速度显著加快选择性MapReduce作业。然而，所有这些建议都要求用户预先创建索引，这在某些工作负载不断变化或难以预测的应用程序（例如科学和社会应用程序）中可能是一项艰巨的任务。为了克服这个问题，我们提出了LIAH（Hadoop中的惰性索引和自适应性），这是一种并行的自适应方法，用于以最小的成本为MapReduce系统建立索引。LIAH的主要思想是通过在HDFS数据块上创建聚集索引作为执行MapReduce作业的副产品来自动和增量地适应用户的工作负载。除了在多个计算节点上分配索引工作之外，LIAH还将索引与地图任务计算和磁盘I/O并行化。所有这一切都没有任何额外的数据复制在主存储器和最低限度的同步。LIAH的美妙之处在于它将索引创建搭载在map任务上，这些任务无论如何都要将相关数据从磁盘读取到主存。因此，LIAH不会引入任何额外的读I/O成本，也不会利用空闲的CPU周期。因此，与现有的自适应索引工作相比，LIAH具有非常低的（或不可见的）索引开销，通常用于第一个作业。不过，LIAH可以快速收敛到一个完整的索引，即所有HDFS数据块都被索引。特别是，LIAH可以用快速的完整索引收敛来换取早期作业运行时的改进。我们将LIAH与HAIL（一种最先进的索引技术）以及标准Hadoop在索引开销和工作负载性能方…
2012-12-14 cs.DB cs.DC
Towards Adaptive Storage Views in Virtual Memory
传统上，DBMS将其存储层与索引层分离。虽然存储层物理上实现了数据库并提供了对数据库的低级访问方法，但顶部的索引层可以更快地定位搜索到的条目。虽然这清楚地分离的关注，它也增加了一个层次的间接已经复杂的执行path.In这项工作中，我们提出了一种替代设计：而不是保守地分离两个层，我们自然融合它们集成自适应粗粒度索引方案直接到存储层。我们这样做是通过利用操作系统提供的虚拟内存管理子系统的工具：在最底层，我们将数据库内容具体化为物理主存的形式。最重要的是，我们允许创建任意多个虚拟内存存储视图，这些视图映射到具有某些感兴趣属性的数据库子集。这种创建完全自适应地作为查询处理的副产品发生。为了加快查询应答，我们将每个查询自动路由到最合适的虚拟视图。通过这种方式，我们自然地在其核心中索引存储层，并逐渐提高所提供的扫描性能。
2022-12-06 cs.DB cs.OS
Hippo: A Fast, yet Scalable, Database Indexing Approach
即使现有的数据库索引（例如，B+-Tree）加速查询执行，但它们有两个主要缺点：（1）数据库索引通常会产生5%到15%的额外存储开销，这导致在大数据场景中的不可估量的美元成本，特别是当部署在现代存储设备上时，如固态磁盘（SSD）或非易失性存储器（NVM）。(2)维护数据库索引会带来很高的延迟，因为DBMS必须查找并更新那些受基础表更改影响的索引页。Hippo是一种快速、可扩展的数据库索引方法。Hippo只存储磁盘页面的指针以及基于轻量级直方图的摘要。所提出的结构显着收缩索引存储和维护开销，而不影响查询执行性能。基于PostgreSQL 9.5中的真实Hippo实现，使用TPC-H基准测试的实验表明，Hippo实现了比传统数据库索引少两个数量级的存储空间和少三个数量级的维护开销，即，B+-树。此外，实验还表明，Hippo实现了可比的查询执行性能的B+树的各种选择性因素。
2016-04-12 cs.DB
GRAB-ANNS: High-Throughput Indexing and Hybrid Search via GPU-Native Bucketing
Zhejiang University（浙江大学）
GRAB-ANNS通过GPU原生分桶技术实现高吞吐混合搜索，提升查询效率和索引构建速度，同时保持高召回率。
2026-03-31 cs.DB cs.IR
RTIndeX: Exploiting Hardware-Accelerated GPU Raytracing for Database Indexing
本文提出 RX，将数据库点查与范围查重构为 GPU 光线追踪相交测试，借助 NVIDIA RTX 专用核心实现索引，并从十四个维度验证其竞争力。
2023-09-27 cs.DB cs.GR
Parallel Index-based Stream Join on a Multicore CPU
使用多核处理器来加速流处理的兴趣越来越大。例如，通过利用多核处理器的计算能力，大大提高了索引滑动窗口内容以增强流式查询的性能。然而，设计一个有效的并发控制机制来解决高度动态环境中的并发索引问题仍然是一个挑战。在本文中，我们引入了一个索引数据结构，称为分区内存合并树，以解决索引高度动态数据时出现的挑战，这是常见的流设置。为了补充索引，我们设计了一个算法来实现一个并行的基于索引的流连接，利用多核处理器的计算能力。我们使用八核处理器的实验表明，我们的并行流连接实现高达5.5倍的吞吐量比单线程的方法。
2019-03-01 cs.DB
Hierarchical Bitmap Indexing for Range and Membership Queries on Multidimensional Arrays
数据库系统中常用的传统索引技术在多维数组科学数据上的性能很差。位图索引广泛应用于商业数据库中，用于处理复杂的查询，因为它们有效地使用了按位操作和空间效率。然而，位图索引原生地应用于关系数据集或线性化数据集，这在装箱或压缩索引中尤其值得注意。我们提出了一种新的多维数组索引的方法，克服了维数引起的效率低下。分层索引方法是基于$n$ -维稀疏树进行维度划分，使用单个的有限数量的自适应分组索引进行属性划分。这种索引在涉及维度和属性的范围上执行得很好，因为它提前修剪了搜索空间，避免了读取整个索引数据，并且最多执行一次索引遍历。此外，索引很容易扩展到成员查询。该索引方法是在最先进的位图索引库Fastbit之上实现的。我们表明，层次化位图索引优于传统的位图索引建立在辅助属性的每个维度。此外，自适应装仓显著减少了仓的数量，因此减少了存储器需求。
2021-08-31 cs.DB cs.DS
Designing Succinct Secondary Indexing Mechanism by Exploiting Column Correlations (Extended Version)
数据库管理员在数据表上构造二级索引以加速关系数据库管理系统（RDBMS）中的查询处理。根据数据统计信息，这些索引构建在最常查询的列之上。不幸的是，在同一个数据库中维护多个辅助索引可能非常消耗空间，由于可能耗尽内存空间，导致性能显著下降。在本文中，我们证明了有很多机会利用列相关性来加速数据访问。我们提出了HERMIT，一个简洁的现代RDBMS二级索引机制。HERMIT明智地利用隐藏在列中的丰富的软函数依赖关系，为索引键访问修剪掉冗余结构。HERMIT不是构建一个完整的索引来存储键列中的每个条目，而是将任何传入的键访问查询导航到基于相关列构建的现有索引。这是通过分层回归搜索树（TRS树）实现的，TRS树是一种简洁的ML增强型数据结构，可执行快速曲线拟合，以自适应地动态捕获列相关性和离群值。我们在两个不同的RDBMS中进行了广泛的实验研究，证实了HERMIT可以显着减少空间消耗，在查询响应时间和索引维护时间方面的性能开销有限，特别是在支持复杂范围查询时。
2019-04-01 cs.DB
ScaleGANN: Accelerate Large-Scale ANN Indexing by Cost-effective Cloud GPUs
University of Pennsylvania（宾夕法尼亚大学）；CUHK（香港中文大学）；Duke Kunshan University（杜克昆山大学）；Alibaba Cloud（阿里云）
ScaleGANN利用廉价的云GPU资源，通过分治策略和优化算法，提升大规模高维数据集的索引构建效率与空间效率，同时降低整体成本。
2026-05-11 cs.DB
Link and code: Fast indexing with graphs and compact regression codes
Facebook AI Research（脸书人工智能研究院）；Inria（法国国家信息与自动化研究所）
基于图遍历的相似性搜索方法最近取得了突出的速度-精度权衡，把内存要求放在一边。在本文中，我们重新考虑这些方法，此外，在一个服务器上索引数十亿张图像所需的内存约束。这使得我们提出了一种基于图遍历和紧凑表示的方法。我们使用量化编码的索引向量，并利用图结构来细化相似性估计。从本质上讲，我们的方法充分利用了这两个方面：搜索策略基于嵌套图，从而以相对较小的比较集提供高精度。同时，它提供了一个显着的内存压缩。因此，我们的方法在考虑每个向量64-128字节的操作点上优于最先进的方法，正如我们在20亿级公共基准测试中的结果所证明的那样。
2018-04-27 cs.CV cs.DB cs.DS
Efficient Vector Search on Disaggregated Memory with d-HNSW
针对单体架构下向量数据集超出单机内存引发的数据移动多、资源利用率低的问题，提出基于分解内存的d-HNSW向量搜索引擎，通过代表性索引缓存、RDMA友好布局和批量感知加载三类优化，在保持召回率的同时大幅降低查询延迟。
2025-05-17 cs.DB
MemForest: An Efficient Agent Memory System with Hierarchical Temporal Indexing
National University of Singapore（新加坡国立大学）；Zero Gravity Labs（零重力实验室）
针对长上下文LLM智能体记忆系统中粗粒度状态管理和顺序更新导致的维护开销问题，提出MemForest框架，通过并行块提取和层次化时间索引树MemTree实现高效写入和局部更新，在LongMemEval-S上达到79.8% pass@1准确率，吞吐量比现有方法高约6倍。
2026-09-09 cs.AI cs.DB cs.MA
Curator: Efficient Indexing for Multi-Tenant Vector Databases
Duke University（杜克大学）；Yale University（耶鲁大学）；Emerald Innovations
本文提出 Curator，一种面向多租户向量数据库的内存索引，通过将租户特定聚类树编码为共享聚类树的子树，同时实现低内存开销和高查询、插入、删除性能。
2024-01-13 cs.DB cs.DC cs.IR
Ingestion, Indexing and Retrieval of High-Velocity Multidimensional Sensor Data on a Single Node
多维数据正变得越来越普遍，部分原因是物联网（IoT）的兴起，以及以比以前更高的速率摄取和分析数据流的需求。一些工业物联网应用程序需要每秒摄取数百万条记录，同时处理最近摄取和历史数据的查询。不幸的是，现有的数据库系统适合于多维数据表现出低的每节点摄取性能，即使他们可以在分布式设置中水平扩展，他们需要大量的节点，以满足这样的摄取需求。出于这个原因，在本文中，我们评估一个单节点的多维数据存储的高速传感器数据。它的设计围绕两级索引结构，其中全局索引是内存中的R * 树，局部索引是序列化的kd树。本研究仅限于具有数值索引字段和范围查询的记录，并涵盖摄取吞吐量、查询响应时间和存储占用。我们表明，所采用的设计简化了数据摄取，并提供比Percona Server，SQLite和Druid高两个数量级的入口率。我们的原型还报告查询响应时间可比或优于Percona服务器和Druid，并比较有利的存储占用方面。此外，我们评估一个kd树分区为基础的计划分组传入流数据记录。与随机方案相比，该方案在流记录组之间产生较少的重叠，但与我们预期的相反，这种减少的重叠并没有转化为更好的查询性能。相比之下，本地索引证明对查询性能更有益。我们相信，本文中报告的经验是有价值的从业者和研究人员都有兴趣在高速多维数据构建数据库系统。
2017-07-04 cs.DB
Observations on Porting In-memory KV stores to Persistent Memory
需要高吞吐量和容错的系统（例如键值存储和数据库）正在寻求持久性存储器，以将内存系统的性能与非易失性存储的数据一致性容错相结合。持久存储器设备提供对非易失性存储器的快速字节可寻址访问。我们分析了将持久性内存集成到内存中键值存储时的设计空间，并量化了吞吐量、延迟和恢复时间之间的性能权衡。以前的作品已经探索了许多设计选择，但没有量化的权衡。我们在Redis和Memcached中实现了持久化内存支持，调整了每个的数据结构，使其在两种模式下工作：（1）所有数据都在持久化内存中，（2）混合模式，使用持久化内存存储键/值数据，使用非易失性内存进行索引和元数据。我们的经验揭示了Redis和Memcached中的三个可操作的设计原则，尽管它们的实现非常不同。我们的结论是，混合设计增加了吞吐量，并在恢复时间和代码复杂度的小成本降低延迟
2020-02-05 cs.DB
Efficient Immediate-Access Dynamic Indexing
在动态检索系统中，文档必须在到达时被摄取，并且可以通过查询立即找到。我们在本文中的目的是描述一个索引结构和处理制度，以适应即时访问的要求，寻求使摄取过程尽可能精简，而在同一时间，寻求使不断增长的索引尽可能小，并寻求通过索引进行基于术语的查询尽可能有效。我们描述了一种新的压缩操作和一种新的方法，可扩展的列表，共同促进三重目标。特别是，我们描述的结构提供增量文档级索引使用少到两个字节每次张贴和只有少量的字级索引;提供快速的文档插入;支持即时和连续的查询能力;提供支持快速合取查询和基于相似性评分的排名查询;并促进快速转换的动态索引到一个“正常”的静态压缩倒排索引结构。对我们的新机制的测量证实，使用典型的服务器架构，可以以2GB/分钟的速率构建千兆字节范围内的集合的内存中动态文档级索引，即使在并发摄取新文档时，也可以平均在几毫秒内解决多项合取布尔查询，并且所有所需的数据结构所需的净存储器空间平均为每个存储的发布只有两个字节，小于最佳的先前机制所需空间的一半。
2023-01-11 cs.DB cs.IR
Adaptive Indexing for Approximate Query Processing in Exploratory Data Analysis
针对探索性数据分析中大数据交互查询的性能不稳定问题，提出基于主存自适应索引VALINOR-A、结合用户驱动采样与误差有界近似的即时分析框架，在无需预处理下平衡响应时间与准确性。
2025-05-26 cs.DB
Hilbert Forest in the SISAP 2025 Indexing Challenge
本文提出基于 fast Hilbert sort 与多棵 Hilbert 树的 Hilbert forest，并在 SISAP 2025 两项索引任务中验证其在严格资源限制下的检索与构图效率。
2025-08-29 cs.DB cs.DS
TaCo: Data-adaptive and Query-aware Subspace Collision for High-dimensional Approximate Nearest Neighbor Search
Oceanbase, Ant Group（蚂蚁集团）；Huazhong University of Science and Technology（华中科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；LIPADE, Université Paris Cité（巴黎西岱大学）
本文提出TaCo方法，通过数据自适应和查询感知的子空间碰撞框架，提升高维近似最近邻搜索的效率与精度，实验表明其在索引构建速度和内存占用方面优于现有方法。
2026-03-26 cs.DB
COAX: Correlation-Aware Indexing on Multidimensional Data with Soft Functional Dependencies
Imperial College London（帝国理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近的工作提出了学习索引结构，它学习底层数据集的分布以提高性能。学习索引的初步工作表明，通过学习数据的累积分布函数，B树等索引结构可以将其性能提高一个数量级，同时具有更小的内存占用。在本文中，我们提出了COAX，这是一种多维数据的学习索引，它不是学习键的分布，而是学习数据集属性之间的相关性。我们的方法是由观察驱动的，在许多数据集中，两个（或多个）属性的值是相关的。COAX利用这些相关性来降低数据集的维度。更准确地说，我们学习了如何从剩余的属性中推断出一个（或多个）属性$C_d$，因此不再需要索引属性$C_d$。这降低了维度，因此使索引更小，更有效。我们从理论上研究所提出的技术的有效性的基础上的FD属性的可预测性。我们进一步通过实验表明，通过预测数据中的相关属性，我们可以提高查询执行时间，减少索引的内存开销。在我们的实验中，我们将执行时间减少了25%，同时将索引的内存占用减少了四个数量级。
2021-02-02 cs.DB cs.DC cs.LG
Bigger Is Not Better: The Fastest Static GPU Index Is Also Lightweight!
Johannes Gutenberg University（约翰内斯·古腾堡大学）
本文提出改进的GPU二分查找方法，证明其在速度和内存占用上优于现有复杂索引结构。
2026-02-21 cs.DB
HINT: A Hierarchical Index for Intervals in Main Memory
索引间隔是一个基本问题，有着广泛的应用。最近的工作集中在内存中的时间间隔管理大型集合的重叠连接和时间聚集问题。在本文中，我们提出了新的和有效的内存索引技术的间隔，重点是区间范围查询，这是许多搜索和分析任务的基本组成部分。首先，我们提出了一个优化版本的单级（平面）域分区的方法，这可能会有大量的空间需求，由于过度复制。然后，我们提出了一个分层分区的方法，它分配给每个间隔最多两个分区，每级和控制空间的要求。我们的技术的新元素包括在每个分区的间隔划分成组的基础上，他们是否开始内部或之前的分区边界，减少存储在每个分区的信息，绝对必要的，和有效处理的数据稀疏性和偏斜。对不同特征的真实和合成区间集的实验结果表明，我们的方法通常比最先进的方法快一个数量级。
2022-03-07 cs.DB cs.DS
More Bang For Your Buck(et): Fast and Space-efficient Hardware-accelerated Coarse-granular Indexing on GPUs
本文提出粗粒度 GPU 索引 cgRX，通过索引键桶并后过滤，解决 RTIndeX 内存开销大、范围查找慢和更新差的问题，实现吞吐量相对内存占用提升 1.5-3 倍、范围查找提升最多 2 倍、更新快最多 5.6 倍。
2025-06-05 cs.DB cs.GR
Using Learned Indexes to Improve Time Series Indexing Performance on Embedded Sensor Devices
由于内存和CPU资源非常有限，在嵌入式传感器和物联网设备上高效查询数据是一项挑战。随着收集的数据量不断增加，在收集数据的边缘设备上处理、过滤和操作数据以提高效率并减少网络传输至关重要。现有的嵌入式索引结构不适应数据的分布和特点。本文演示了如何应用学习索引，开发空间有效的数据摘要，可以显着提高查询性能和可预测性。基于线性近似的学习索引可以将查询I/O减少50%到90%，并将查询吞吐量提高2到5倍，而只需要几个字节的RAM。各种时间序列数据集上的实验结果表明，学习索引的优势，大大提高了国家的最先进的索引算法。
2023-02-06 cs.DB eess.SP
A Memory-Efficient Distributed Algorithm for Approximate Nearest Neighbour Search with Arbitrary Distances
PDASC是一种内存高效的分布式算法，支持任意距离的近似最近邻搜索，通过聚类机制实现高效部署和低内存消耗。
2026-10-23 cs.DB cs.IR
Outback: Fast and Communication-efficient Index for Key-Value Store on Disaggregated Memory
针对非聚合内存键值存储中现有RDMA解决方案的两难问题，提出Outback索引方案，通过动态最小完美哈希和分离组件设计，实现一轮往返RDMA通信且不增加内存节点计算，吞吐量较现有方案提升1.06-5.03倍。
2025-02-13 cs.DB
A GPU-Accelerated Framework for Multi-Attribute Range Filtered Approximate Nearest Neighbor Search
本文提出Garfield框架，通过轻量索引结构和硬件感知执行流水线，解决传统方法在索引膨胀和构建开销上的问题，实现更高效的GPU加速多属性范围过滤近邻搜索。
2026-07-13 cs.DB
FliX: Flipped-Indexing for Scalable GPU Queries and Updates
University of Waterloo（滑铁卢大学）；Johannes Gutenberg University（约翰内斯·古腾堡大学）
FliX通过翻转索引范式，实现动态全GPU驻留CDSs的高效查询和更新，减少冗余工作和战败分歧，提升吞吐量和性能。
2026-04-17 cs.DB cs.DC cs.DS
A Pragmatic Approach to Learned Indexing in RocksDB: Targeted Optimizations with Minimal System Modification
McGill University（麦吉尔大学）
本文提出一种在RocksDB中集成现成学习索引的实用方法，通过重用机制和块感知适配，在不修改存储层的情况下提升读写吞吐量。
2026-05-22 cs.DB cs.DC
Scalable Graph Indexing using GPUs for Approximate Nearest Neighbor Search
本文提出由GPU加速的图索引库Tagore，包含k-NN图初始化算法GNN-Descent、通用剪枝计算流程CFS及异步GPU-CPU-磁盘框架，在7个数据集上实现1.32至112.79倍加速且保持索引质量。
2025-08-13 cs.DB cs.DC
Secondary Indexing in One Dimension: Beyond B-trees and Bitmap Indexes
设S是一个有限的有序字母表，且x = x_1x_2.. x_n是S上的弦。x的“二级索引”回答以下形式的字母表范围查询：给定S上的范围[a_l，a_r]，返回集合I_{[a_l;a_r]} = {i| x_i \in [a_l; a_r]}。二级索引在关系数据库和科学数据分析中得到大量使用。众所周知，为与每个字符相关联的位置集存储字典的明显解决方案并不总是给出最佳查询时间。在本文中，我们给出了第一个理论上最佳的数据结构的二级索引问题。在I/O模型中，当回答查询时读取的数据量在表示I_{[a_l;a_r]}所需的最小空间的常数因子内，假设内部存储器的大小为（|S| log n）^{delta}个块，对于某个常数delta > 0。在最坏的情况下，数据结构的空间使用是O（n log |S|）比特，并且我们进一步展示了如何根据x的0阶熵来约束数据结构的大小。我们展示了如何支持更新实现各种时空权衡。我们还考虑基本二级索引问题的近似版本，其中查询报告包含不在I_{[a_l;a_r]}中的每个元素的I_{[a_l;a_r]}超集，概率最多为epsilon，其中epsilon > 0是误报概率。对于这个问题，需要由查询算法读取的数据量减少到O（|I_{[a_l;a_r]}| log（1/log））位。
2008-11-18 cs.DB cs.DS
INSTRUCT: Space-Efficient Structure for Indexing and Complete Query Management of String Databases
搜索引擎、词典和同义词词典存储以及其他文本挖掘应用的巨大扩展，与容易获得的扫描设备和光学字符识别工具的普及相结合，使得对于各种现代应用的大量文本数据库的有效存储、检索和管理成为必要。对于这样的应用程序，我们提出了一种新的数据结构，INFECT，有效地存储和管理的序列数据库。我们的结构使用位向量重用的存储空间，共同的三元组，因此，有一个非常低的内存需求。除了精确的字符串搜索操作之外，INCLUCT还通过迭代地检查三元组的存在来有效地处理前缀和后缀搜索查询。我们还提出了一个扩展的结构，以有效地处理子串搜索，虽然增加了空间的要求。这个扩展是很重要的，在上下文的trie为基础的解决方案，无法有效地处理这样的查询。我们进行了几个实验，描绘INDROCT优于现有的结构，近两个因素的空间需求方面，而查询时间更好。除了支持所有类型的查询（包括精确搜索、前缀/后缀搜索和子串搜索）之外，还能够处理字符串的插入和删除，这使得INCLECT成为一个完整的数据结构。
2012-07-03 cs.DB cs.DS
Query Language for Complex Similarity Queries
对于多媒体等复杂数据类型，传统的数据管理方法已不适用。代替属性匹配方法，基于对象相似性的访问方法正变得流行。近年来，基于相似性检索的索引和检索方法得到了广泛的研究。如今，许多有效的方法已经可用，但使用它们来构建实际的搜索系统仍然需要专家调整方法并手动构建系统。已经进行了几次尝试来为这样的系统提供查询语言形式的更方便的高级接口，但是这些仅限于支持基本的相似性查询。在本文中，我们提出了一种新的语言，允许制定基于内容的查询，以灵活的方式，考虑到所提供的功能，在使用中的特定搜索引擎。为了确保这一点，该语言是基于一个通用的数据模型与一个抽象的操作集。因此，该语言支持各种高级查询操作，如相似性连接，反向最近邻查询或不同的kNN查询，以及多对象和多模式查询。该语言主要设计用于MESSIF框架，用于基于内容的搜索，但也可以用于其他检索系统。
2012-04-05 cs.DB cs.IR cs.MM
Approximate Nearest Neighbor Search for Modern AI: A Projection-Augmented Graph Approach
University of Yamanashi（山梨大学）；Beijing Institute of Technology, Zhuhai（北京理工大学（珠海））；Shenzhen University（深圳大学）；Nagoya University（名古屋大学）；Osaka University（大阪大学）
本文提出了一种投影增强图方法，用于解决现代AI应用中近似最近邻搜索的高效率、快速索引、低内存占用、高维扩展性、鲁棒性和在线插入支持等需求。
2026-07-23 cs.DB cs.IR cs.LG
Space-efficient B-tree Implementation for Memory-Constrained Flash Embedded Devices
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种面向内存受限闪存嵌入式设备的高效B树实现，通过实验验证了其在数据处理中的性能优势。
2026-03-05 cs.DB cs.DS
