Accelerating Spatio-Textual Queries with Learned Indices
针对空间文本查询效率需求,研究将学习型索引拓展至空间文本数据场景,探索多种耦合设计及混合索引方案,并通过真实数据集实验评估其潜在效益。
2023-12-15 cs.DS
Evaluating Learned Indexes in LSM-tree Systems: Benchmarks,Insights and Design Choices
本文构建统一基准评估 LSM-tree 中 8 种学习型索引,分析理论成本与配置空间,揭示大内存收益有限、再训练开销适中,并给出选型调优指南。
2025-06-10 cs.DB cs.DS
ALEX: An Updatable Adaptive Learned Index
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院)
最近关于“学习索引”的工作改变了我们看待DBMS索引这个有几十年历史的领域的方式。关键思想是索引可以被认为是预测数据集中键位置的“模型”。因此,索引是可以学习的。Kraska等人的原始工作表明,学习索引在搜索时间上超过B+树三倍,在内存占用上超过B+树一个数量级。但是,它仅限于静态只读工作负载。在本文中,我们提出了一个新的学习索引称为ALEX,它解决了实际问题时出现的工作负载,包含点查找,短程查询,插入,更新和删除的混合实施学习索引。ALEX有效地将学习索引的核心见解与成熟的存储和索引技术相结合,以实现高性能和低内存占用。在只读工作负载上,ALEX比Kraska等人学习的索引性能高出2.2倍,索引大小小了15倍。在各种读写工作负载中,ALEX的性能比B+Trees高出4.1倍,而性能从来没有变差过,索引大小最多减少2000倍。我们相信ALEX是使学习索引实用于更广泛的具有动态更新的数据库工作负载的关键一步。
2020-05-21 cs.DB cs.DS cs.LG
SOSD: A Benchmark for Learned Indexes
TUM(慕尼黑工业大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
最近的一项工作集中在改进具有学习组件的数据管理系统上。具体来说,学习索引结构的工作已经提出用学习模型取代传统的索引结构,如B树。鉴于数十年来致力于改进索引结构的研究,人们对学习索引是否真的优于现实世界数据中传统结构的最先进实现表示怀疑。为了回答这个问题,我们提出了一个新的基准框架,该框架带有各种真实世界的数据集和基线实现进行比较。我们还展示了选定索引结构的初步结果,并发现学习模型确实经常优于最先进的实现,因此是未来研究的一个有希望的方向。
2019-11-29 cs.DB cs.DS cs.LG
Micro-architectural Analysis of a Learned Index
IT University of Copenhagen(哥本哈根信息技术大学)
自2018年《习得索引结构案例》出版以来,针对不同领域和不同功能的习得索引的研究有所增加。虽然学习索引作为传统索引结构(如B+树)的替代方案的有效性已经被几项研究所证明,但以前的工作往往集中在更高级别的性能指标上,如吞吐量和索引大小。在本文中,我们的目标是更深入地挖掘和研究与传统索引相比,学习索引在微观架构级别上的行为。更具体地说,我们专注于以前提出的学习索引结构ALEX,这是一个基于树的内存索引结构,由机器学习模型的层次结构。与最初的学习索引提案不同,ALEX是从头开始设计的,允许更新和插入。因此,它可以使用学习的索引实现更动态的工作负载。在这项工作中,我们对ALEX进行了微观架构分析,并将其行为与不基于学习模型的基于树的索引结构进行了比较,即,艺术与B+树我们的研究结果表明,ALEX是绑定的内存失速,主要是由于数据未命中从最后一级缓存的失速。与ART和B+Tree相比,ALEX在不同的工作负载中表现出更少的停顿和更低的每指令周期值。另一方面,在ALEX中处理越界插入所需的指令量可能会使每个请求所需的指令量显著增加(10倍),以应对写任务繁重的工作负载。然而,微体系结构的行为表明,这种指令占用的增加表现出高指令级并行,因此,不会对总体执行时间产生负面影响。
2021-09-17 cs.DB cs.DS cs.LG
Lower Bounds for the Algorithmic Complexity of Learned Indexes
Imperial College London(帝国理工学院)
本文提出一个通用框架,用于证明学习索引查询时间的下界,通过分析空间开销和模型类参数化,揭示了学习索引结构的核心限制。
2026-01-10 cs.DS cs.LG
On Distribution Dependent Sub-Logarithmic Query Time of Learned Indexing
University of Southern California(南加州大学)
本文从理论上证明,在温和分布假设下,学习索引能以亚对数甚至常数期望查询时间回答查询,显著优于非学习方法,为其经验成功提供了理论依据。
2023-06-19 cs.DB cs.DS cs.LG
The Case for Learned Index Structures
索引是模型:B树索引可以被看作是将关键字映射到已排序数组内的记录的位置的模型,散列索引可以被看作是将关键字映射到未排序数组内的记录的位置的模型,位图索引可以被看作是指示数据记录是否存在的模型。在这篇探索性的研究论文中,我们从这个前提开始,并认为所有现有的索引结构都可以被其他类型的模型取代,包括深度学习模型,我们称之为学习索引。关键思想是模型可以学习查找键的排序顺序或结构,并使用此信号有效地预测记录的位置或存在。我们从理论上分析了在哪些条件下学习索引优于传统的索引结构,并描述了在设计学习索引结构的主要挑战。我们的初步结果表明,通过使用神经网络,我们能够在速度上超过缓存优化的B树高达70%,同时在几个真实世界的数据集上节省了一个数量级的内存。但更重要的是,我们相信通过学习模型替换数据管理系统的核心组件的想法对未来的系统设计具有深远的影响,这项工作只是提供了可能的一瞥。
2018-04-30 cs.DB cs.DS cs.NE
The Price of Tailoring the Index to Your Data: Poisoning Attacks on Learned Index Structures
George Mason University(乔治梅森大学);Cornell University(康奈尔大学);Brown University(布朗大学)
学习索引结构的概念依赖于这样的思想,即数据库索引的输入-输出功能可以被视为预测任务,因此可以使用机器学习模型而不是传统的算法技术来实现。这个几十年前的问题的新角度激发了机器学习和数据结构交叉领域的许多令人兴奋的结果。然而,学习索引结构的主要优点,即,通过底层ML模型调整到手头数据的能力,从安全的角度来看可能成为一个缺点,因为它可能被利用。在这项工作中,我们提出了第一个研究中毒攻击学习索引结构。所需的中毒方法与以前的所有工作都不同,因为受到攻击的模型是在累积分布函数(CDF)上训练的,因此,训练集上的每次注入都会对多个数据值产生级联影响。我们在CDF上训练的线性回归模型上制定了第一次中毒攻击,CDF是所提出的学习索引结构的基本构建块。我们将我们的中毒技术推广到攻击一个更先进的两阶段设计的学习索引结构,称为递归模型索引(RMI),它已被证明优于传统的B树。我们评估了我们的攻击下的各种参数化的模型,真实世界和合成数据集,并表明RMI的错误增加到$300\times$和其第二阶段模型的错误增加到$3000\times$。
2022-02-27 cs.CR cs.DB cs.DS
The PGM-index: a multicriteria, compressed and learned approach to data indexing
University of Pisa(比萨大学)
最近引入的学习索引已经动摇了几十年的数据结构索引领域的基础。将B树节点等经典设计元素与机器学习模型相结合,甚至将其替换,已被证明可以显著改善数据系统的空间占用和时间效率。然而,这些新的方法是基于几何学,因此他们缺乏任何保证,在他们的时间和空间的要求。我们提出了分段几何模型索引(简称PGM-index),它在查询操作中实现了保证的I/O最优性,学习了最优数量的线性模型,其独特的递归结构使其成为一个纯学习的数据结构,而不是传统索引和学习索引(如RMI和FITing-tree)的混合体。我们发现,PGM索引提高了空间的FITING树的63.3%和B-树超过四个数量级,同时实现相同的甚至更好的查询时间效率。我们补充这一结果,提出了三个变种的PGM指数。首先,我们设计了一个压缩的PGM索引,通过利用其组成的学习线性模型的重复性,进一步减少其空间占用。其次,我们设计了一个PGM索引,使其适应查询的分布,从而产生了迄今为止第一个已知的分布感知学习索引。最后,鉴于其灵活性,在所提供的时空权衡,我们提出了多准则PGM索引,有效地自动调整自己在几秒钟内超过数亿键的可能不断变化的时空限制所施加的应用程序的使用。我们向读者指出,本文是我们以前的论文“通过编排学习和几何来取代传统索引”(arXiv:1903.00507)的扩展和改进版本。
2019-10-14 cs.DB cs.DS cs.IR
One stone, two birds: A lightweight multidimensional learned index with cardinality support
本文提出CardIndex结构,以KB级参数同时实现快速多维学习索引和轻量级基数估计,并结合混合估计算法在低选择性查询中实现微秒级精确估计。
2023-05-28 cs.DB cs.DS
Residual-Entropy Accounting for Routed Atom-Budgeted Learned Indexes
Bahçeşehir University(巴切希尔大学)
针对路由原子预算认证修复学习索引架构,提出残差熵核算定理,证明条件残差答案熵决定查询时间尺度,并在真实数据集上基准测试。
2026-05-27 cs.DB cs.DS
Standard Vs Uniform Binary Search and Their Variants in Learned Static Indexing: The Case of the Searching on Sorted Data Benchmarking Software Platform
Universitá degli Studi di Palermo(巴勒莫大学)
学习索引是一种在排序表中进行搜索的新方法。使用模型来预测要搜索的间隔,并使用二分搜索例程来完成搜索。它们相当有效。对于最后一个阶段,通常使用标准C++库的lower_bound例程,尽管这更像是一种自然的选择而不是要求。然而,最近的研究,不使用机器学习预测,表明二进制搜索或变体,即k-ary搜索的其他实现,更适合利用现代计算机体系结构提供的功能。使用SOSD学习索引基准测试软件的排序集上的搜索,我们研究如何选择一个搜索例程的学习索引搜索的最后阶段。我们的研究结果表明,更好的选择比下限例程可以。我们还强调了这样的选择可能是如何依赖于要使用的计算机体系结构。总的来说,我们的研究结果提供了新的和急需的指导方针,在学习索引框架内的搜索例程的选择。
2022-07-08 cs.DB cs.DS cs.IR
Dynamic Indexing Through Learned Indices with Worst-case Guarantees
本文针对动态场景下学习索引范围查询性能恶化的问题,提出利用计算几何技术以O(log²n)更新时间动态维护近似最小复杂度学习索引,并通过结合哈希映射在大量删除的更新序列中实现更高效的范围查询。
2025-07-02 cs.CG cs.DS
Rank and select: Another lesson learned
位图上的排名和选择查询是许多压缩数据结构的基本构建模块,包括文本索引、支持空间数据结构的成员和范围、压缩图等。在20世纪80年代,这些原始人在理论上得到了考虑,在过去的十年里,这些原始人也成为了关于他们实际化身的生动研究的主题。我们提出了一些新的排名/选择的变种,主要集中在速度,在压缩设置中获得有竞争力的时空结果。我们的研究结果可以总结如下:$(i)$没有单一的排名/选择解决方案在任何类型的数据上都是最好的(我们的是针对从真实文本数据集的小波树中获得的级联位数组进行了优化),$(ii)$有效地处理由全0或全1位组成的块是值得的,$(iii)$压缩选择不必在可比的内存使用上比压缩排名慢得多。
2016-05-12 cs.DS
From Specific to Generic Learned Sorted Set Dictionaries: A Theoretically Sound Paradigm Yelding Competitive Data Structural Boosters in Practice
Universitá degli Studi di Palermo(巴勒莫大学)
本研究提出一种通用范式,可为任意有序集合字典生成学习型版本,理论实现最优二叉搜索森林和动态匹配经典字典时间界限,实验证明其竞争力。
2023-09-02 cs.AI cs.DB cs.DS