On the Costs and Benefits of Learned Indexing for Dynamic High-Dimensional Data: Extended Version
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）；Institute of Computer Science, Masaryk University（马萨里克大学计算机科学研究所）
本文探讨了动态高维数据中学习索引的成本与收益，通过动态化方法提升索引扩展性，实验表明动态索引在数据库增长时具有更优的成本表现。
2026-01-20 cs.DB cs.IR
Towards Practical Learned Indexing
TUM（慕尼黑工业大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Intel Labs（英特尔实验室）
最新的研究建议用学习模型取代现有的索引结构。然而，当前的学习索引往往有许多超参数，通常不提供任何错误保证，并且构建成本很高。实用学习指数PLEX（Practical Learned Index）PLEX只有一个超参数$ε$（最大预测误差），与最先进的方法相比，它在构建和查找时间之间提供了更好的权衡。与RadixSpline类似，PLEX由一个样条和一个（多级）基数层组成。它首先建立一个样条满足给定的$ε$，然后执行一个ad-hoc分析样条点的分布，以快速调整基层。
2021-11-06 cs.DB cs.LG
Enhancing In-Memory Spatial Indexing with Learned Search
本研究将机器学习搜索技术应用于内存空间索引，通过六种实例优化的空间分区技术支持多种空间查询，实验证明学习增强的网格索引结构在查询性能上显著优于传统树形结构。
2023-09-12 cs.DB
Towards Zero-Overhead Adaptive Indexing in Hadoop
一些研究工作集中在MapReduce系统中支持索引访问。这些工作使用户能够以数量级的速度显著加快选择性MapReduce作业。然而，所有这些建议都要求用户预先创建索引，这在某些工作负载不断变化或难以预测的应用程序（例如科学和社会应用程序）中可能是一项艰巨的任务。为了克服这个问题，我们提出了LIAH（Hadoop中的惰性索引和自适应性），这是一种并行的自适应方法，用于以最小的成本为MapReduce系统建立索引。LIAH的主要思想是通过在HDFS数据块上创建聚集索引作为执行MapReduce作业的副产品来自动和增量地适应用户的工作负载。除了在多个计算节点上分配索引工作之外，LIAH还将索引与地图任务计算和磁盘I/O并行化。所有这一切都没有任何额外的数据复制在主存储器和最低限度的同步。LIAH的美妙之处在于它将索引创建搭载在map任务上，这些任务无论如何都要将相关数据从磁盘读取到主存。因此，LIAH不会引入任何额外的读I/O成本，也不会利用空闲的CPU周期。因此，与现有的自适应索引工作相比，LIAH具有非常低的（或不可见的）索引开销，通常用于第一个作业。不过，LIAH可以快速收敛到一个完整的索引，即所有HDFS数据块都被索引。特别是，LIAH可以用快速的完整索引收敛来换取早期作业运行时的改进。我们将LIAH与HAIL（一种最先进的索引技术）以及标准Hadoop在索引开销和工作负载性能方…
2012-12-14 cs.DB cs.DC
Using Learned Indexes to Improve Time Series Indexing Performance on Embedded Sensor Devices
由于内存和CPU资源非常有限，在嵌入式传感器和物联网设备上高效查询数据是一项挑战。随着收集的数据量不断增加，在收集数据的边缘设备上处理、过滤和操作数据以提高效率并减少网络传输至关重要。现有的嵌入式索引结构不适应数据的分布和特点。本文演示了如何应用学习索引，开发空间有效的数据摘要，可以显着提高查询性能和可预测性。基于线性近似的学习索引可以将查询I/O减少50%到90%，并将查询吞吐量提高2到5倍，而只需要几个字节的RAM。各种时间序列数据集上的实验结果表明，学习索引的优势，大大提高了国家的最先进的索引算法。
2023-02-06 cs.DB eess.SP
Indexing Designs and Adaptive Data Distribution Optimization for In-Memory Databases on Hybrid DDR--CXL Memory
East China Normal University（华东师范大学）
针对混合DDR--CXL内存数据库，提出五种索引设计并开发自适应数据分布优化，通过分层热度跟踪和收益感知驱逐提升性能，使单一索引设计吞吐量最高提升至1.59倍。
2026-10-08 cs.DB
Adaptive Indexing for Approximate Query Processing in Exploratory Data Analysis
针对探索性数据分析中大数据交互查询的性能不稳定问题，提出基于主存自适应索引VALINOR-A、结合用户驱动采样与误差有界近似的即时分析框架，在无需预处理下平衡响应时间与准确性。
2025-05-26 cs.DB
LSI: A Learned Secondary Index Structure
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Pennsylvania（宾夕法尼亚大学）；Intel Labs（英特尔研究院）
与传统的索引结构（如B树）相比，学习索引结构已被证明可以实现良好的查找性能和空间消耗。然而，大多数学习索引研究都集中在主索引设置上，其中基本数据被排序。在这项工作中，我们调查是否学习索引保持其优势，在二级索引设置。我们介绍了学习二级索引（LSI），第一次尝试使用学习索引索引未排序的数据。LSI通过在置换向量上构建学习索引来工作，这允许使用随机访问对未排序的基本数据执行二分搜索。我们还增加了LSI的指纹向量，以加速平等查找。我们表明，LSI实现了与最先进的二级索引相当的查找性能，同时空间效率提高了6倍。
2022-05-11 cs.DB cs.LG
Standard Vs Uniform Binary Search and Their Variants in Learned Static Indexing: The Case of the Searching on Sorted Data Benchmarking Software Platform
Universitá degli Studi di Palermo（巴勒莫大学）
学习索引是一种在排序表中进行搜索的新方法。使用模型来预测要搜索的间隔，并使用二分搜索例程来完成搜索。它们相当有效。对于最后一个阶段，通常使用标准C++库的lower_bound例程，尽管这更像是一种自然的选择而不是要求。然而，最近的研究，不使用机器学习预测，表明二进制搜索或变体，即k-ary搜索的其他实现，更适合利用现代计算机体系结构提供的功能。使用SOSD学习索引基准测试软件的排序集上的搜索，我们研究如何选择一个搜索例程的学习索引搜索的最后阶段。我们的研究结果表明，更好的选择比下限例程可以。我们还强调了这样的选择可能是如何依赖于要使用的计算机体系结构。总的来说，我们的研究结果提供了新的和急需的指导方针，在学习索引框架内的搜索例程的选择。
2022-07-08 cs.DB cs.DS cs.IR
PolyFit: Polynomial-based Indexing Approach for Fast Approximate Range Aggregate Queries
范围聚合查询在数据分析中有着广泛的应用。在某些用例中，如果近似结果可以快速计算并满足近似保证，则近似结果优于精确结果。受最近的索引方法的启发，我们提供了表示离散点数据集的连续函数，然后可以作为紧凑的索引结构的手段。更具体地说，我们开发了一种基于多项式的索引方法，称为PolyFit，用于处理近似范围聚合查询。PolyFit能够支持多种类型的范围聚合查询，包括范围、总和、最小和最大聚合，并保证绝对和相对误差范围。实验结果表明，PolyFit比现有的学习索引结构更快，更准确，更紧凑。
2021-02-10 cs.DB
Feature-Based Adaptive Tolerance Tree (FATT): An Efficient Indexing Technique for Content-Based Image Retrieval Using Wavelet Transform
本文介绍了一种新的索引和访问方法，称为基于特征的自适应容差树（FATT），提出了使用小波变换来有效地组织大型图像数据集，并支持流行的图像访问机制，如基于内容的图像检索（CBIR）。然而，这种方法不再适用于图像，因为图像的数字表示并不传达图像的真实性。当数据库非常大时，图像检索变得困难。本文针对这些问题，并提出了一种新的索引技术，基于特征的自适应容差树（FATT），这是旨在带来一个有效的解决方案，特别是对大型数据库的索引。建议的索引方案，然后使用与查询的图像内容，以实现最终目标，从用户的角度来看，是检索所有相关的图像。FATT索引技术，利用二维离散小波变换（2DDWT）提取图像的特征，并由特征的行列式值生成索引码。基于2D-DWT的多分辨率分析技术可以将图像分解为不同尺度的分量，使得最粗尺度分量包含全局近似信息，而更细尺度分量包含细节信息。实验结果表明，FATT比M-tree的性能提高了200%，比Slim-tree的性能提高了120%，比HCT的性能提高了89%。采用FATT索引技术提高了数据存储和检索的效率。
2010-04-08 cs.DB cs.MM
TaCo: Data-adaptive and Query-aware Subspace Collision for High-dimensional Approximate Nearest Neighbor Search
Oceanbase, Ant Group（蚂蚁集团）；Huazhong University of Science and Technology（华中科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；LIPADE, Université Paris Cité（巴黎西岱大学）
本文提出TaCo方法，通过数据自适应和查询感知的子空间碰撞框架，提升高维近似最近邻搜索的效率与精度，实验表明其在索引构建速度和内存占用方面优于现有方法。
2026-03-26 cs.DB
On Distribution Dependent Sub-Logarithmic Query Time of Learned Indexing
University of Southern California（南加州大学）
本文从理论上证明，在温和分布假设下，学习索引能以亚对数甚至常数期望查询时间回答查询，显著优于非学习方法，为其经验成功提供了理论依据。
2023-06-19 cs.DB cs.DS cs.LG
Hierarchical Bitmap Indexing for Range and Membership Queries on Multidimensional Arrays
数据库系统中常用的传统索引技术在多维数组科学数据上的性能很差。位图索引广泛应用于商业数据库中，用于处理复杂的查询，因为它们有效地使用了按位操作和空间效率。然而，位图索引原生地应用于关系数据集或线性化数据集，这在装箱或压缩索引中尤其值得注意。我们提出了一种新的多维数组索引的方法，克服了维数引起的效率低下。分层索引方法是基于$n$ -维稀疏树进行维度划分，使用单个的有限数量的自适应分组索引进行属性划分。这种索引在涉及维度和属性的范围上执行得很好，因为它提前修剪了搜索空间，避免了读取整个索引数据，并且最多执行一次索引遍历。此外，索引很容易扩展到成员查询。该索引方法是在最先进的位图索引库Fastbit之上实现的。我们表明，层次化位图索引优于传统的位图索引建立在辅助属性的每个维度。此外，自适应装仓显著减少了仓的数量，因此减少了存储器需求。
2021-08-31 cs.DB cs.DS
A Lazy Approach for Efficient Index Learning
使用神经网络学习索引已被证明优于传统的索引，如B树在查询时间和内存。然而，学习大型数据集的分布可能是昂贵的，并且更新学习的索引是困难的，从而阻碍了它们在实际应用中的使用。在本文中，我们通过敏捷模型重用来解决学习索引的效率和更新问题。我们在一组合成（而不是真实）数据集上预训练学习的索引，并提出了一种新的方法来将这些预训练的模型重新用于新的（真实）数据集。创建合成数据集以覆盖大范围的不同分布。给定一个新的数据集DT，我们选择一个类似于DT的合成数据集的学习索引来索引DT。当选择预训练索引时，我们显示了索引错误的界限。我们进一步展示了我们的技术如何处理数据更新和绑定由此产生的索引错误。合成和真实数据集上的实验结果证实了我们提出的懒惰（模型重用）方法的有效性和效率。
2021-02-18 cs.DB
A Pragmatic Approach to Learned Indexing in RocksDB: Targeted Optimizations with Minimal System Modification
McGill University（麦吉尔大学）
本文提出一种在RocksDB中集成现成学习索引的实用方法，通过重用机制和块感知适配，在不修改存储层的情况下提升读写吞吐量。
2026-05-22 cs.DB cs.DC
CRISP: Correlation-Resilient Indexing via Subspace Partitioning
U. of Ioannina（约阿尼纳大学）；Archimedes, Athena RC（阿尔基米德，雅典研究中心）
CRISP通过子空间划分实现抗相关索引，有效降低高维空间中ANN搜索的预处理复杂性和查询延迟，提升查询吞吐量和内存效率。
2026-03-05 cs.DB
A Pluggable Learned Index Method via Sampling and Gap Insertion
Alibaba Group（阿里巴巴集团）
数据库索引便于数据检索，并有利于在现实世界的系统中的广泛应用。最近，一个新的家庭的索引，命名为学习索引，提出了学习隐藏的但有用的数据分布，并将这些信息纳入索引的学习，这导致有前途的性能改进。然而，“学习”的过程中学习的指标仍然是不够的探索。本文提出了一种基于机器学习的形式化框架来量化索引学习目标，并研究了两种通用的、可插入的技术来提高学习效率和学习效果。在形式化学习目标的指导下，结合提出的采样技术，可以有效地学习索引，并通过提出的结果驱动的间隙插入技术，学习具有增强泛化能力的精确索引。我们在真实世界的数据集上进行了大量的实验，并从索引学习目标的角度比较了几种索引方法。结果表明，所提出的框架，以帮助设计适合不同的情况下的索引的能力。此外，我们证明了所提出的采样技术的有效性，它实现了高达78倍的建设加速，同时保持非退化的索引性能。最后，我们展示了间隙插入技术可以提高现有学习索引方法的静态和动态索引性能，查询加速比高达1.59倍。我们将发布我们的代码和处理后的数据以供进一步研究，这可以从机器学习和数据库的角度对学习索引进行更多的探索。
2021-01-04 cs.AI cs.DB
The PGM-index: a multicriteria, compressed and learned approach to data indexing
University of Pisa（比萨大学）
最近引入的学习索引已经动摇了几十年的数据结构索引领域的基础。将B树节点等经典设计元素与机器学习模型相结合，甚至将其替换，已被证明可以显著改善数据系统的空间占用和时间效率。然而，这些新的方法是基于几何学，因此他们缺乏任何保证，在他们的时间和空间的要求。我们提出了分段几何模型索引（简称PGM-index），它在查询操作中实现了保证的I/O最优性，学习了最优数量的线性模型，其独特的递归结构使其成为一个纯学习的数据结构，而不是传统索引和学习索引（如RMI和FITing-tree）的混合体。我们发现，PGM索引提高了空间的FITING树的63.3%和B-树超过四个数量级，同时实现相同的甚至更好的查询时间效率。我们补充这一结果，提出了三个变种的PGM指数。首先，我们设计了一个压缩的PGM索引，通过利用其组成的学习线性模型的重复性，进一步减少其空间占用。其次，我们设计了一个PGM索引，使其适应查询的分布，从而产生了迄今为止第一个已知的分布感知学习索引。最后，鉴于其灵活性，在所提供的时空权衡，我们提出了多准则PGM索引，有效地自动调整自己在几秒钟内超过数亿键的可能不断变化的时空限制所施加的应用程序的使用。我们向读者指出，本文是我们以前的论文“通过编排学习和几何来取代传统索引”（arXiv：1903.00507）的扩展和改进版本。
2019-10-14 cs.DB cs.DS cs.IR
HyEm: Query-Adaptive Hyperbolic Retrieval for Biomedical Ontologies via Euclidean Vector Indexing
Waseda University（早稻田大学）
HyEm通过结合双曲本体嵌入与欧几里得ANN基础设施，解决生物医学本体中层次感知的检索问题，提升实体中心查询和混合意图查询性能，保持索引可扩展性。
2026-01-26 cs.DB cs.IR
Towards Adaptive Storage Views in Virtual Memory
传统上，DBMS将其存储层与索引层分离。虽然存储层物理上实现了数据库并提供了对数据库的低级访问方法，但顶部的索引层可以更快地定位搜索到的条目。虽然这清楚地分离的关注，它也增加了一个层次的间接已经复杂的执行path.In这项工作中，我们提出了一种替代设计：而不是保守地分离两个层，我们自然融合它们集成自适应粗粒度索引方案直接到存储层。我们这样做是通过利用操作系统提供的虚拟内存管理子系统的工具：在最底层，我们将数据库内容具体化为物理主存的形式。最重要的是，我们允许创建任意多个虚拟内存存储视图，这些视图映射到具有某些感兴趣属性的数据库子集。这种创建完全自适应地作为查询处理的副产品发生。为了加快查询应答，我们将每个查询自动路由到最合适的虚拟视图。通过这种方式，我们自然地在其核心中索引存储层，并逐渐提高所提供的扫描性能。
2022-12-06 cs.DB cs.OS
Spatial Indexing of Large Multidimensional Databases
诸如大型天文测量之类的科学工作产生了TB级的数据库。这些通常是多维数据库，必须进行可视化和挖掘，以便找到有趣的对象或提取有意义的和定性的新关系。这些任务所需的许多统计算法在对内存中的小数据集进行操作时运行得相当快，但在对不适合内存的大型数据库进行操作时会出现明显的性能下降。我们利用新的软件技术来开发和评估快速多维索引方案，这些方案本质上遵循数据的底层，高度不均匀的分布：它们是分层的均匀网格索引，分层的二进制空间分区，以及数据的采样平面Voronoi细分。我们的工作数据库是斯隆数字巡天的5维星等空间，拥有超过2.7亿个数据点，我们表明这些技术可以大大加快数据采掘操作，例如通过实例查找类似对象，对对象进行分类或将大量模拟集与观测结果进行比较。我们还在开发与多维数据库交互的工具，并以自适应的方式以多种分辨率显示数据。
2012-09-28 cs.DB
Automated Training of Learned Database Components with Generative AI
RPTU Kaiserslautern-Landau（莱茵兰-普法尔茨应用技术大学凯撒斯劳滕-兰道）
本文提出利用生成AI合成训练数据以提升数据库组件的学习效果，通过生成真实查询分布和执行计划，改善数据库技术的适应性。
2025-12-23 cs.DB
Optimization of stochastic database cracking
变体随机破解是一种适应性更强的自适应索引方法。它表明[1]随机破解使用每个查询作为如何重组数据的提示，但不是盲目地这样做;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此，使自适应索引向前发展到一个成熟的公式，赋予以前的方法缺乏的工作负载鲁棒性。原始破解依赖于工作负载的随机性来很好地收敛。[2][3]然而，在工作负载是非随机的情况下，破解需要自己引入随机性。随机破解明显优于原始破解，在工作负载变化中具有鲁棒性，同时在适应时保持所有原始破解功能。但是看看这两种类型的破解，它传达了一个不完整的画面，因为在某个时间点，必须知道工作负载是随机的还是顺序的。在本文中，我们的重点是优化变量随机破解，这可以通过两种方式来实现，通过减少初始化成本，使随机破解对用户更加透明，特别是对于发起工作负载改变并因此招致更高成本的查询，或者通过经由决定为查询选择哪种算法的动态组件来组合各种随机破解算法的强度在飞行中。已经努力做出一种算法，该算法通过使用两种破解的主要概念来降低初始化成本，同时考虑自适应索引的要求[2]。
2013-05-08 cs.DB
COAX: Correlation-Aware Indexing on Multidimensional Data with Soft Functional Dependencies
Imperial College London（帝国理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近的工作提出了学习索引结构，它学习底层数据集的分布以提高性能。学习索引的初步工作表明，通过学习数据的累积分布函数，B树等索引结构可以将其性能提高一个数量级，同时具有更小的内存占用。在本文中，我们提出了COAX，这是一种多维数据的学习索引，它不是学习键的分布，而是学习数据集属性之间的相关性。我们的方法是由观察驱动的，在许多数据集中，两个（或多个）属性的值是相关的。COAX利用这些相关性来降低数据集的维度。更准确地说，我们学习了如何从剩余的属性中推断出一个（或多个）属性$C_d$，因此不再需要索引属性$C_d$。这降低了维度，因此使索引更小，更有效。我们从理论上研究所提出的技术的有效性的基础上的FD属性的可预测性。我们进一步通过实验表明，通过预测数据中的相关属性，我们可以提高查询执行时间，减少索引的内存开销。在我们的实验中，我们将执行时间减少了25%，同时将索引的内存占用减少了四个数量级。
2021-02-02 cs.DB cs.DC cs.LG
Designing Succinct Secondary Indexing Mechanism by Exploiting Column Correlations (Extended Version)
数据库管理员在数据表上构造二级索引以加速关系数据库管理系统（RDBMS）中的查询处理。根据数据统计信息，这些索引构建在最常查询的列之上。不幸的是，在同一个数据库中维护多个辅助索引可能非常消耗空间，由于可能耗尽内存空间，导致性能显著下降。在本文中，我们证明了有很多机会利用列相关性来加速数据访问。我们提出了HERMIT，一个简洁的现代RDBMS二级索引机制。HERMIT明智地利用隐藏在列中的丰富的软函数依赖关系，为索引键访问修剪掉冗余结构。HERMIT不是构建一个完整的索引来存储键列中的每个条目，而是将任何传入的键访问查询导航到基于相关列构建的现有索引。这是通过分层回归搜索树（TRS树）实现的，TRS树是一种简洁的ML增强型数据结构，可执行快速曲线拟合，以自适应地动态捕获列相关性和离群值。我们在两个不同的RDBMS中进行了广泛的实验研究，证实了HERMIT可以显着减少空间消耗，在查询响应时间和索引维护时间方面的性能开销有限，特别是在支持复杂范围查询时。
2019-04-01 cs.DB
FAST: Frequency-Aware Spatio-Textual Indexing for In-Memory Continuous Filter Query Processing
许多应用需要实时处理海量的空间文本数据流，以应对连续的空间文本查询。例如，在位置感知广告定向发布/订阅系统中，需要基于用户的位置和文本简档向数百万用户传播数百万广告和促销。本文研究了连续空间文本查询的索引问题。存在几种相关的空间-文本索引，它们通常将空间索引与文本索引集成。然而，这些索引通常对主内存有很高的要求，并假设预先知道关键字的整个词汇表。此外，这些索引不能成功地捕捉不同空间区域中关键字频率的变化，并以相同的方式处理频繁和不频繁的关键字。此外，现有索引不适应工作量随空间和时间的变化。例如，某些关键字可能在某些位置的某些时间成为趋势，并且这可能随着时间的推移而改变。这会显著影响现有索引的索引和搜索性能。在本文中，我们介绍FAST，一个频率感知的空间文本索引连续的空间文本查询。FAST是一种主存索引，它所需的内存最多是最先进索引所需内存的三分之一。FAST并不假定预先知道索引对象的整个词汇表。FAST自适应地考虑关键字在其相应空间区域内的频率差异，以自动选择最佳索引方法，从而优化插入和搜索时间。使用真实和合成数据集进行的广泛实验评估表明，FAST的搜索时间比最先进的索引快3倍，插入时间快5倍。
2017-10-04 cs.DB
A Learned Index for Exact Similarity Search in Metric Spaces
Hong Kong University of Science and Technology（香港科技大学）；Guangzhou University（广州大学）
索引是在大型数据库中支持高效查询处理的有效方法。最近，学习索引的概念，它取代或补充传统的索引结构与机器学习模型，已被积极探索，以减少存储和搜索成本。然而，在高维度量空间中准确和高效的相似性查询处理仍然是一个开放的挑战。在本文中，我们提出了一种新的索引方法，称为LIMS，使用数据聚类，基于XML的数据转换技术和学习索引，以支持有效的相似性查询处理度量空间。在LIMS中，底层数据被划分为簇，使得每个簇遵循相对均匀的数据分布。数据重新分配是通过为每个集群使用少量的枢轴来实现的。相似的数据被映射到紧凑的区域和映射的值是完全有序的。开发机器学习模型来近似磁盘上每个数据记录的位置。设计了基于LIMS的范围查询和最近邻查询处理算法，以及动态更新的索引维护算法。在真实世界和人工数据集上的大量实验表明，LIMS与传统索引和最先进的学习索引相比具有优越性。
2022-07-29 cs.DB cs.LG
ALEX: An Updatable Adaptive Learned Index
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
最近关于“学习索引”的工作改变了我们看待DBMS索引这个有几十年历史的领域的方式。关键思想是索引可以被认为是预测数据集中键位置的“模型”。因此，索引是可以学习的。Kraska等人的原始工作表明，学习索引在搜索时间上超过B+树三倍，在内存占用上超过B+树一个数量级。但是，它仅限于静态只读工作负载。在本文中，我们提出了一个新的学习索引称为ALEX，它解决了实际问题时出现的工作负载，包含点查找，短程查询，插入，更新和删除的混合实施学习索引。ALEX有效地将学习索引的核心见解与成熟的存储和索引技术相结合，以实现高性能和低内存占用。在只读工作负载上，ALEX比Kraska等人学习的索引性能高出2.2倍，索引大小小了15倍。在各种读写工作负载中，ALEX的性能比B+Trees高出4.1倍，而性能从来没有变差过，索引大小最多减少2000倍。我们相信ALEX是使学习索引实用于更广泛的具有动态更新的数据库工作负载的关键一步。
2020-05-21 cs.DB cs.DS cs.LG
How Good Are Multi-dimensional Learned Indices? An Experimental Survey
针对多维学习型索引缺乏统一评测的问题，本文在一致实现、数据集、工作负载和指标下实证比较六种近期索引，为选型和后续设计提供依据。
2024-05-09 cs.DB
Shift-Table: A Low-latency Learned Index for Range Queries using Model Correction
在主存中索引大规模数据库今天仍然具有挑战性。学习索引结构-其中经典索引的核心组件被机器学习模型取代-最近被建议显着提高只读范围查询的性能。然而，最近的一项基准研究表明，对于现代硬件上的真实数据，学习索引只能实现有限的性能改进。更具体地说，学习模型无法学习数据分布的微观细节和波动，从而导致准确性差;或者它可以以训练一个参数无法适应缓存的大模型为代价来适应数据分布。因此，查询真实世界数据上的学习索引需要大量的内存查找，从而降低性能。在本文中，我们采用了不同的方法来建模的数据分布，补充了模型拟合方法的学习指数。我们提出了移位表，一个算法层，捕捉微观层面的数据分布，并解决了本地偏见的学习模型的成本，最多一个内存查找。我们建议的模型将查找表的低延迟与学习索引相结合，并实现范围查询的低延迟处理。使用Shift-Table，与经过训练和调优的学习索引相比，我们在真实世界的数据集上实现了1.5倍到2倍的加速。
2021-01-25 cs.DB
A Reinforcement Learning Based R-Tree for Spatial Data Indexing in Dynamic Environments
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
已经提出了学习索引来用机器学习（ML）模型代替经典的索引结构，如B树。它们需要替换数据库目前部署的索引和查询处理算法，这种彻底的偏离可能会遇到挑战和障碍。相比之下，我们提出了一种根本不同的方法，使用ML技术来提高经典R树的查询性能，而不需要改变其结构或查询处理算法。具体来说，我们开发了基于强化学习（RL）的模型来决定如何选择插入的子树以及如何在构建R树时拆分节点，而不是依赖于R树及其变体目前使用的手工启发式规则。在包含超过1亿个空间对象的真实和合成数据集上的实验清楚地表明，我们基于RL的索引在查询处理时间方面优于R-Tree及其变体。
2021-10-11 cs.AI cs.DB
UpLIF: An Updatable Self-Tuning Learned Index Framework
Huawei Cloud（华为云）
本文提出 UpLIF 自适应学习索引框架，通过模型调整、更新分布预测和强化学习优化结构，无需重训练即可支持更新操作，在实验中吞吐量最高提升 3.12 倍且内存减少 1000 倍。
2024-08-07 cs.DB cs.LG math.OC
SALI: A Scalable Adaptive Learned Index Framework based on Probability Models
SALI通过节点演化与轻量级统计维护两种策略，提升学习索引在多核场景下的可扩展性与并发性能，在64线程下插入吞吐量平均提升2.04倍。
2023-09-05 cs.DB
There is No Such Thing as an "Index"! or: The next 500 Indexing Papers
索引结构是查询处理和一般计算机科学的构造块。自从计算机技术出现以来，就有了索引结构。从那时起，每年都有无数的指数结构被发明和发布。在本文中，我们认为，“发明一个指数”的想法是一个误导性的概念摆在首位。它类似于“发明一个物理查询计划”。这篇论文是一个范式转变，我们建议完全放弃手工制作索引结构的想法（就像在B树上的二叉搜索树到任何形式的学习索引一样）。本文提出了一个新的自动索引培育框架--索引结构的遗传生成（GENE）.它是基于这样的观察，即几乎所有的索引结构都是沿着三个主要维度组装的：（1）结构构建块，例如，B树由两种不同的结构节点类型（内部节点和叶节点）组装而成，（2）一对不变量，例如，对于B树，所有路径具有相同的长度，以及（3）关于节点的内部布局（行或列布局等）的决定。我们提出了一个通用的索引框架，可以模仿许多现有的索引结构沿这些方面。基于这个框架，我们提出了一个通用的遗传索引生成算法，给定的工作量和优化目标，可以自动组装和变异，换句话说，“繁殖”新的索引结构“物种”。在我们的实验中，我们遵循多个目标。我们重新审视数据库技术中的一些古老的智慧。给定一个特定的工作量，GENE甚至会产生一个索引，相当于我们的教科书和论文目前推荐的这种工作量吗？或者我们可以做得更多？我们的初步结果强烈表明，生成索引是设计索引结构的下一步。
2021-09-16 cs.DB
LMSFC: A Novel Multidimensional Index based on Learned Monotonic Space Filling Curves
本文提出 LMSFC，一种基于学习单调空间填充曲线的新型多维索引，通过主动优化 SFC 适应数据分布，并提供离线与在线优化方案，在真实数据集上优于现有方法。
2023-09-09 cs.DB
GLIN: A (G)eneric (L)earned (In)dexing Mechanism for Complex Geometries
GLIN是一种面向复杂几何图形空间关系查询的通用学习索引机制，通过将几何图形转换为Z地址区间并利用保序学习索引，显著降低了存储开销并提升了查询和维护性能。
2023-09-14 cs.DB
NFL: Robust Learned Index via Distribution Transformation
City University of Hong Kong（香港城市大学）
近年来的研究成果为索引领域开辟了一个新的方向。学习索引的关键见解是用分段线性函数近似键和位置之间的映射。这样的方法需要划分键空间以获得更好的近似。虽然许多算法被提出来提高近似质量，但瓶颈是分割开销可能会阻碍整体性能。本文通过在构造学习索引之前对键应用\textit{distribution transformation}来解决近似问题。提出了一种基于规范化流的两阶段学习索引框架（NFL），该框架首先将原始的复杂密钥分布转换为近似均匀的分布，然后利用转换后的密钥构建学习索引。为了有效的分布变换，我们提出了一个数值归一化流（数值NF）。基于变换后密钥的特点，我们提出了一个鲁棒的后流学习索引（AFLI）。为了验证性能，对合成和真实世界的工作负载进行了全面的评估，结果表明，与最先进的学习指标相比，所提出的NFL产生了最高的吞吐量和最低的尾部延迟。
2022-05-24 cs.DB cs.LG
Airphant: Cloud-oriented Document Indexing
现代数据仓库可以独立于存储扩展计算节点。这些系统将其数据保存在云存储上，云存储始终可用且具有成本效益。然后，自组织计算节点按需从云存储中获取必要的数据。如果查询工作负载可能随时间变化，则这种快速扩展或缩小数据系统的能力非常有益。我们将这种新的架构应用于搜索引擎，重点是优化其在云环境中的延迟。然而，简单地将现有的搜索引擎（例如，Apache Lucene）在云存储之上显著增加了他们的端到端查询延迟（即，在我们的一项研究中平均超过6秒）。这是因为它们的索引由于它们的分层结构（例如，跳表、B树、学习索引）。为了解决这个问题，我们开发了一个新的统计指数（称为IoU Sketch）。对于查找，IoU Sketch并行发出多个异步网络请求。虽然IoU Sketch可以获取比现有索引更多的字节，但它显著减少了索引查找时间，因为并行请求不会相互阻塞。基于IoU Sketch，我们构建了一个端到端的搜索引擎，称为Airphant;我们描述了Airphant如何构建，优化和管理IoU Sketch;并最终支持基于关键字的查询。在我们对四个真实数据集的实验中，Airphant的平均端到端延迟在13毫秒到300毫秒之间，比Apache Lucence快8.97倍，比Elasticsearch快113.39倍。
2021-12-26 cs.DB cs.IR
LMG Index: A Robust and Efficient Learned Index Framework for Multi-Dimensional Performance Balance
Shanghai Jiao Tong University（上海交通大学）
本文提出LMG框架，通过解耦路由结构和优化误差阈值训练算法，实现多维性能平衡，提升查询性能和稳定性，实验显示在多种指标上表现优异。
2026-03-29 cs.DB
A Simple Yet High-Performing On-disk Learned Index: Can We Have Our Cake and Eat it Too?
本文提出完全磁盘上、可更新的学习型索引 AULID，通过融合传统索引与学习型索引并遵循五项设计原则降低 I/O，在多类负载中显著优于 B+-tree 及现有学习型索引。
2023-06-05 cs.DB
AdaNDV: Adaptive Number of Distinct Value Estimation via Learning to Select and Fuse Estimators
针对去重值数量估计中难以选择合适估计器的问题，提出 AdaNDV 方法，通过学习模型区分高低估估计器并预测权重进行加权融合，在真实数据集上显著提升了估计准确性和性能。
2025-03-03 cs.DB
Improving log-based anomaly detection through learned adaptive filter
National University of Singapore（新加坡国立大学）
针对基于日志的异常检测中固定过滤配置忽略序列动态特性的问题，提出基于深度强化学习的自适应滤波器，为不同日志序列动态设置过滤阈值，在HDFS和BGL数据集上显著提升了DeepLog和LogAnomaly的检测性能。
2025-04-03 cs.DB cs.LG
DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees
Huawei（华为）
针对传统学习型索引忽略存储数据访问成本的问题，本文提出面向LSM树的双目标学习索引DobLIX，结合强化学习动态调参，在RocksDB中相比现有最优方法吞吐量提升1.19-2.21倍。
2025-09-02 cs.DB cs.LG math.OC
AdaChain: A Learned Adaptive Blockchain
本文提出基于强化学习的区块链框架 AdaChain，可在 BaaS 动态工作负载下运行时自适应切换最优许可链架构，在保证正确性和安全性的同时提升交易提交性能。
2023-07-18 cs.CR cs.DB
Baihe: SysML Framework for AI-driven Databases
Alibaba Group（阿里巴巴集团）；Renmin University of China（中国人民大学）
我们介绍了白河，一个用于AI驱动数据库的SysML框架。使用百合，现有的关系数据库系统可以被改造为使用学习的组件用于查询优化或其他常见任务，诸如例如用于索引的学习的结构。为了确保百合的实用性和现实世界的适用性，其高层架构基于以下要求：与核心系统分离，最小的第三方依赖，鲁棒性，稳定性和容错，以及稳定性和可配置性。基于高级架构，我们然后描述了一个具体的实现百合PostgreSQL和学习查询优化器的示例用例。为了服务于实践者，以及DB和AI4DB社区的研究人员，百和PostgreSQL将在开源许可下发布。
2021-12-29 cs.AI cs.DB cs.SY
Differentially Private Learned Indexes
Indiana University（印第安纳大学）；UMass Dartmouth（马萨诸塞大学达特茅斯分校）；Binghamton University（宾汉姆顿大学）
针对加密数据库中传统差分隐私索引存储成本高的问题，提出结合学习型索引构建更紧凑的差分隐私索引，在保障隐私的同时提升查询效率。
2024-10-28 cs.CR cs.DB cs.LG
WaZI: A Learned and Workload-aware Z-Index
WaZI是一种学习型且工作负载感知的Z-索引，通过成本函数优化存储布局和搜索结构，并采用页面跳过机制，平均提升范围查询时间40%，兼顾点查询性能。
2024-03-20 cs.DB cs.IR
Adaptive Merging on Phase Change Memory
针对相变存储器特性，提出自适应合并优化方法eAM及框架PAM，分别提升性能60%和20%。
2023-03-02 cs.DB cs.ET
A New Paradigm in Tuning Learned Indexes: A Reinforcement Learning Enhanced Approach
University of Cambridge（剑桥大学）；EPFL（洛桑联邦理工学院）；Imperial College London（伦敦帝国学院）
针对学习型索引结构参数调优依赖人工或固定启发式配置的问题，本文提出 LITune 框架，利用定制 DRL 与 O2 在线更新机制实现端到端自适应调优，显著降低运行时间并提升吞吐量。
2025-02-18 cs.AI cs.DB cs.SY
