Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads
Nanyang Technological University(南洋理工大学);Fudan University(复旦大学);Microsoft Research Asia(微软亚洲研究院)
本文提出RusKey键值存储,首次利用强化学习在线优化LSM树结构,并设计FLSM树实现压缩策略高效切换,无需先验工作负载知识即可在动态负载下实现最高达RocksDB 4倍的性能提升。
2023-09-17 cs.DB cs.LG
[Extended Version] ArceKV: Towards Workload-driven LSM-compactions for Key-Value Store Under Dynamic Workloads
Nanyang Technological University(南洋理工大学)
ArceKV通过弹性LSM结构和轻量级压缩决策引擎,在动态工作负载下实现更高效的键值存储性能优化。
2026-01-28 cs.DB
REMIX: Efficient Range Query for LSM-trees
基于LSM树的键值(KV)存储以多级结构组织数据,以实现高速写入。传统的LSM树上的范围查询必须从多个表文件中动态地查找和排序合并数据,这是昂贵的,并且通常导致平庸的读取性能。为了提高LSM树上的范围查询效率,我们引入了一个空间有效的KV索引数据结构,命名为REMIX,记录了一个全局排序的KV数据跨越多个表文件的视图。在多个REMIX索引的数据文件上的范围查询可以使用二分搜索快速定位目标键,并按排序顺序检索后续键,而无需进行键比较。我们建立RemixDB,一个基于LSM树的KV存储,采用写效率的压缩策略,并采用REMIXes进行快速点和范围查询。实验结果表明,REMIXes可以显着提高范围查询性能的写优化的LSM树的KV存储。
2021-01-25 cs.DB
Real-Time LSM-Trees for HTAP Workloads
实时的【形】分析系统采用混合数据布局,其中数据在其整个生命周期中以不同格式存储。最近的数据以面向行的格式存储,以满足OLTP工作负载并支持高插入率,而较旧的数据则转换为面向列的格式,以满足OLAP访问模式。我们观察到,日志结构化合并(LSM)树是一个自然的适合生命周期感知存储引擎,由于其高写吞吐量和面向级别的结构,其中记录传播从一个级别到下一个随着时间的推移。为了使用LSM-Tree构建生命周期感知的存储引擎,我们进行了一个关键的修改,以允许不同级别的不同数据布局,从纯粹的面向行到纯粹的面向列,从而形成实时的【形】LSM-Tree。我们给出了一个成本模型和一个算法来设计一个实时的【形】LSM树,适合于给定的工作负载,其次是激光的实验评估-我们的想法建立在RocksDB的键值存储的原型实现。
2022-07-15 cs.DB
Using RDMA for Efficient Index Replication in LSM Key-Value Stores
日志结构化合并树(LSM树)键值(KV)存储已成为数据中心和云服务存储堆栈中的基础层。用于实现可靠性和可用性的当前方法避免了在KV存储级别的复制,而是在更高层执行这些操作,例如,运行在KV存储之上的DB层。主要原因是,过去的设计复制KV存储有利于减少网络流量和增加I/O大小。因此,它们执行昂贵的压缩来重新组织主节点和备份节点中的数据,这会损害整体系统性能。在本文中,我们设计和实现Talos,一个有效的机架规模的基于LSM的KV存储,旨在显着减少备份节点中的I/O放大和CPU开销,并使复制KV存储实用。我们依赖于两个观察结果:(a)在数据中心中增加使用RDMA,这减少了用于通信的CPU开销,以及(b)使用在现代KV存储中变得普遍的KV分离。我们使用主备份复制方案,只在主节点上执行压缩,并将预先构建的索引发送到区域的备份节点,避免备份中的所有压缩。我们的方法包括一个有效的机制来处理区域索引中的节点之间的指针翻译。我们的研究结果表明,Talos减少了备份节点,I/O放大高达$3\times$,CPU开销高达$1.6\times$,和存储器大小所需的写入路径高达$2\times$,而不增加网络带宽过度,并高达$1.3\times$。总的来说,我们表明,即使小KV对在工作负载中占主导地位(80%-90%),我们的方法也有好处。最后,它使KV存储能够以更大的增长因子(从10到16)运行,以减少…
2021-10-19 cs.DB cs.DC
ELMo-Tune-V2: LLM-Assisted Full-Cycle Auto-Tuning to Optimize LSM-Based Key-Value Stores
本文提出ELMo-Tune-V2框架,利用大型语言模型实现LSM键值存储的全周期自动调优,通过工作负载合成、迭代微调和实时调整,在RocksDB上取得最高14倍性能提升,并分别提升NebulaGraph和Kvrocks性能34%和26%。
2025-02-24 cs.DB
Are Joins over LSM-Trees Ready? Take RocksDB as an Example
Nanyang Technological University(南洋理工大学)
本文研究了LSM树上连接操作的性能,通过系统性分析和实验,探讨了不同连接算法和索引设计在LSM存储中的表现,为开发者提供了选择合适连接方法的指导。
2026-03-02 cs.DB
BVLSM: Write-Efficient LSM-Tree Storage via WAL-Time Key-Value Separation
本文提出 BVLSM,在 WAL 阶段提前分离键值并以轻量元数据和多队列并行存储大值,从而降低 LSM 键值存储的写放大、内存浪费与 I/O 抖动。
2025-06-09 cs.DB
Balancing Garbage Collection vs I/O Amplification using hybrid Key-Value Placement in LSM-based Key-Value Stores
键值(KV)分离是一种在I/O访问模式中引入随机性以减少用于快速存储设备(NVMe)的基于LSM的键值存储中的I/O放大的技术。KV分离有一个明显的缺点,使其不那么有吸引力:在现代工作负载中很重要的删除操作,特别是更新操作,会导致值日志中频繁而昂贵的垃圾回收(GC)。在本文中,我们设计并实现了视差,它提出了混合KV放置,大大减少了GC开销,并最大限度地利用日志的好处。我们首先为不同KV对大小的KV分离的好处建模。我们使用该模型将KV对分为三类:小型、中型和大型。然后,视差对每个KV类别使用不同的方法:它总是将大值放在日志中,并将小值放在适当的位置。对于中值,它使用混合策略,结合了使用日志的好处并消除了GC开销,如下所示:它将中值放置在LSM结构中除了最后几个(通常是一个或两个)级别之外的所有日志中,在那里它执行完全压缩,合并值,并回收日志空间而无需GC。我们评估视差对RocksDB的地方,所有的值和BlobDB,总是执行KV分离。我们发现,对于除了基于扫描的YCSB工作负载之外的所有工作负载,Parallax将吞吐量提高了12.4倍和17.83倍,将I/O放大率降低了27.1倍和26倍,并将CPU效率分别提高了18.7倍和28倍。
2021-06-14 cs.DB
vLSM: Low tail latency and I/O amplification in LSM-based KV stores
vLSM通过减小压缩链宽度和长度,在不增加内存和I/O放大的前提下,显著降低LSM KV存储的尾延迟,写入P99延迟提升4.8倍,读取提升12.5倍。
2024-07-22 cs.DB
On 10x Better Scalability: KV Stores Scale Up KV Cache
Nanyang Technological University(南洋理工大学)
SGLANG-LSM通过数据库存储架构提升大规模LLM缓存性能,实现缓存命中率提升143%和TTFT降低24%。
2025-11-25 cs.DB
An LSM-based Tuple Compaction Framework for Apache AsterixDB (Extended Version)
文档数据库系统存储自我描述的半结构化记录,如JSON,“原样”,而不需要用户预先定义模式。这为用户提供了更改传入记录结构的灵活性,而不必担心使系统脱机或妨碍当前运行的查询的性能。然而,这种系统的灵活性并不自由。记录中的大量冗余可能会引入不必要的存储开销并影响查询性能。我们在本文中的重点是解决存储开销问题,通过引入元组压缩器框架,推断和提取模式的自我描述的半结构化记录在数据摄取。由于许多著名的文档存储,如MongoDB和Couchbase,在其存储引擎中采用日志结构化合并(LSM)树,我们的框架利用LSM生命周期事件来搭载模式推理和提取操作。我们已经实现并经验评估了我们的方法,以衡量其对Apache AsterixDB环境中的存储,数据摄取和查询性能的影响。
2020-05-11 cs.DB
Efficient Data Ingestion and Query Processing for LSM-Based Storage Systems
近年来,日志结构化合并(Log Structured Merge,LSM)树因其优越的写入性能而被NoSQL和NewSQL系统广泛采用。尽管它的流行,但是,大多数现有的工作都集中在基于LSM的键值存储,只有一个主要的LSM树索引;辅助结构,这是关键的支持ad-hoc查询,得到了较少的关注。在本文中,我们专注于高效的数据摄取和查询处理的通用基于LSM的存储系统。我们首先提出并评估了一系列的优化,有效的批量点查找,显着提高基于LSM的二级索引的适用范围。然后,我们提出了几个新的和有效的维护策略基于LSM的存储系统。最后,我们已经实施和实验评估的Apache AsterixDB系统的上下文中提出的技术,我们在这里提出的结果。
2019-01-07 cs.DB
Keigo: Co-designing Log-Structured Merge Key-Value Stores with a Non-Volatile, Concurrency-aware Storage Hierarchy (Extended Version)
本研究提出存储中间件Keigo,通过感知并发的数据放置、持久化只读缓存等技术,让生产级LSM键值存储适配异构存储层级,最高可将写、读密集型负载吞吐量分别提升4倍、18倍。
2025-06-17 cs.DB cs.DC
Accelerating LSM-Tree with the Dentry Management of File System
日志结构的合并树(LSM树)在构建键值(KV)存储中获得了广泛的应用。它采用日志来备份到达的KV对,并维护几个磁盘级别,容量限制呈指数级增加,类似于分层的树状结构。一个级别由SST文件组成,每个文件都包含一个排序的KV对序列。不时,LSM树重新部署KV对从一个完整的水平到较低的水平,通过压缩,合并排序和SST文件之间的KV对移动,从而引起大量的磁盘I/O。在本文中,我们重新审视LSM树的设计,发现在一个SST文件中组织多个KV对需要重量级的实际KV对在一个压缩重新部署。因此,我们革命性的KV对的组织,通过转换的SST文件的KV对到SST目录,其中每个KV对成为一个独立的KV文件的关键字和值的文件名和主文件内容,分别。在压缩中移动KV对转换为传输目录条目(denominator),这具体地导致更少的磁盘I/O。这是我们名为DeLSM的设计的本质。我们在LevelDB上构建了一个DeLSM的原型,评估结果表明,它在不同维度上的性能明显优于最先进的LSM树变体。
2021-09-28 cs.DB cs.DS
DumpKV: Learning based lifetime aware garbage collection for key value separation in LSM-tree
Microsoft(微软);Sun Yat-sen University(中山大学);Chongqing University(重庆大学)
本文提出DumpKV,一种基于学习的生命周期感知垃圾回收方法,通过动态调整和轻量级模型预测键的生命周期,在LSM-tree键值分离中实现高效垃圾回收,显著降低写放大达38%-73%。
2024-06-03 cs.AI cs.DB cs.LG
Don't Forget Range Delete! Enhancing LSM-based Key-Value Stores with More Compatible Lookups and Deletes
Nanyang Technological University(南洋理工大学)
本文提出 GLORAN 方法,通过全局索引和条目有效性估计器解决 LSM 树中范围墓碑导致点查找性能下降的问题,在保持高效范围删除的同时显著提升点查找速度和整体吞吐量。
2025-11-08 cs.DB
LearnedKV: Integrating LSM and Learned Index for Superior Performance on Storage
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
LearnedKV通过两层设计将LSM树与学习索引结合,利用非阻塞转换机制在垃圾回收时将LSM数据转为学习索引,从而在读性能上最高提升4.32倍、写性能最高提升1.43倍。
2025-04-11 cs.DB cs.LG
Constructing and Analyzing the LSM Compaction Design Space (Updated Version)
日志结构合并(LSM)树通过附加传入数据提供有效的摄取,因此被广泛用作生产NoSQL数据存储的存储层。为了实现有竞争力的读取性能,LSM树通过迭代压缩定期重新组织数据以形成具有指数级增加的容量的树。压缩从根本上影响LSM引擎在写入放大、写入吞吐量、点和范围查找性能、空间放大和删除性能方面的性能。因此,选择合适的压实策略是至关重要的,同时,由于LSM压实设计空间巨大,很大程度上未被探索,并且在文献中尚未正式定义,因此很难。因此,大多数基于LSM的引擎使用固定的压缩策略,通常由工程师亲自挑选,决定如何以及何时压缩数据。在本文中,我们提出了LSM压缩的设计空间,并评估国家的最先进的压缩策略的关键性能指标。为了实现这一目标,我们的第一个贡献是引入一组四个设计原语,可以正式定义任何压缩策略:(i)压缩触发器,(ii)数据布局,(iii)压缩粒度,(iv)数据移动策略。总之,这些原语可以综合现有的和全新的压缩策略。我们的第二个贡献是实验分析10个压缩策略。我们提出了12个观察结果和7个高级别的外卖信息,这些信息显示了LSM系统如何在紧凑设计空间中导航。
2022-02-26 cs.DB
Evaluating Learned Indexes in LSM-tree Systems: Benchmarks,Insights and Design Choices
本文构建统一基准评估 LSM-tree 中 8 种学习型索引,分析理论成本与配置空间,揭示大内存收益有限、再训练开销适中,并给出选型调优指南。
2025-06-10 cs.DB cs.DS
Scavenger: Better Space-Time Trade-Offs for Key-Value Separated LSM-trees
本文提出 Scavenger,通过 I/O 高效的垃圾回收方案和基于补偿大小的空间感知压缩策略,在键值分离 LSM 树中实现更优的性能与空间放大权衡。
2025-08-19 cs.DB
KV-Tandem -- a Modular Approach to Building High-Speed LSM Storage Engines
本文提出KV-Tandem模块化架构,通过LSM bypass算法在简单KVS上构建LSM存储引擎,实现高级功能并保持高性能,其实现XDP-Rocks比RocksDB性能提升3至4倍且已投产。
2024-11-17 cs.DB
Enabling Efficient Updates in KV Storage via Hashing: Design and Performance Evaluation
持久性键值(KV)存储主要建立在日志结构化合并(LSM)树上,以获得高写入性能,但LSM树受到固有的高I/O放大的影响。KV分离通过仅将键存储在LSM树中并将值存储在单独的存储中来减轻I/O放大。然而,当前KV分离设计在更新密集型工作负载下仍然是低效的,这是由于其在值存储中的高垃圾回收(GC)开销。我们提出了HashKV,其目标是在更新密集型工作负载下在KV分离之上实现高更新性能。HashKV使用基于散列的数据分组,它确定性地将值映射到存储空间,以便使更新和GC都高效。我们进一步放宽限制,这种确定性映射通过简单但有用的设计扩展。我们广泛评估了HashKV的各个设计方面。我们表明,与当前的KV分离设计相比,HashKV实现了4.6倍的更新吞吐量和53.4%的写入流量。此外,我们证明了我们可以将HashKV的设计与最先进的KV商店相结合,并提高各自的性能。
2019-06-17 cs.DB
CAMAL: Optimizing LSM-trees via Active Learning
Nanyang Technological University(南洋理工大学)
本文提出新方法Camal,首次将主动学习与成本模型结合用于优化LSM-tree结构,支持参数解耦调整、增量更新和动态在线调优,集成至RocksDB后系统性能平均提升28%、最高达8倍。
2024-09-23 cs.AI cs.DB cs.LG
Towards Flexibility and Robustness of LSM Trees
针对LSM树在云环境中的工作负载不确定性,提出鲁棒调优范式ENDURE及统一设计K-LSM,在RocksDB上实现高达5倍吞吐量提升,证明鲁棒性源于调优过程而非设计本身。
2023-11-16 cs.DB
HotRAP: Hot Record Retention and Promotion for LSM-trees with Tiered Storage
针对LSM树分层存储中热记录易被压缩至慢速存储导致读取性能下降的问题,提出基于RocksDB的HotRAP,利用特制LSM树追踪热度并通过三条路径及时提升并留存热记录,在多种工作负载下性能显著优于现有方法。
2024-12-19 cs.DB
Scavenger+: Revisiting Space-Time Tradeoffs in Key-Value Separated LSM-trees
本文针对键值分离 LSM 树中空间放大问题,提出 Scavenger+,通过 I/O 高效垃圾回收、空间感知压缩和动态 GC 调度实现性能与空间更优权衡,实验证明其优于 BlobDB、Titan 和 TerarkDB。
2025-08-19 cs.DB
Closing the B-tree vs. LSM-tree Write Amplification Gap on Modern Storage Hardware with Built-in Transparent Compression
本文研究了B树的设计,它可以充分利用现代存储硬件与内置的【形】透明压缩。近年来,日志结构的合并树(LSM树)作为B树的一种替代,引起了人们极大的兴趣。目前的共识是,与B树相比,LSM树在存储空间效率和写入放大方面具有明显的优势。本文认为,人们应该重新审视这一信念后,内置的【形】透明压缩存储硬件的到来。高级存储设备~(例如,全闪存阵列)和新兴的计算存储驱动器执行基于硬件的无损数据压缩,对OS和用户应用程序透明。除了直接减少B树和LSM树之间的物理存储成本差异之外,这种现代存储硬件还带来了创新B树实现的新机会,以便大大减少其写入放大。作为探索潜力的第一步,本文提出了三种简单的设计技术(即,确定性页面阴影、局部页面修改日志记录和稀疏重做日志记录),其可以利用这样的现代存储硬件来显著减少B树写入放大。我们实现了这些设计技术,并进行了实验上的商业存储驱动器与内置的【形】透明压缩。结果表明,所提出的设计技术可以减少超过10倍的B树写放大。与RocksDB(一种基于LSM树的流行键值存储)相比,实现的B树可以实现类似甚至更小的写入放大和物理存储空间使用。
2021-07-27 cs.DB
How to Grow an LSM-tree? Towards Bridging the Gap Between Theory and Practice
本文针对LSM树增长方式的设计问题,分析垂直与水平方案的局限,提出结合两者优势的Vertiorizon方法,实现查找、更新与空间成本间的更优平衡,并显著改善读写性能与空间开销。
2025-04-24 cs.DB
CedrusDB: Persistent Key-Value Store with Memory-Mapped Lazy-Trie
由于RAM变得更便宜,键值存储设计的趋势是在将用户操作记录到磁盘的同时维护快速内存索引(例如哈希表),从而在无故障条件下实现高性能,同时仍然能够从故障中恢复。但是,这种设计的代价是恢复时间长或检查点操作成本高。本文提出了一种新的内存索引,也是存储友好的。“lazy-trie”是hash-trie数据结构的变体,其实现接近最优的高度,具有实际的存储开销,并且可以使用标准的预写日志记录在磁盘上维护。我们实现了CedrusDB,基于lazy-trie的持久性键值存储。lazy-trie保存在磁盘上,同时使用标准内存映射使其在内存中可用。虚拟内存中的lazy-trie组织允许CedrusDB比其他磁盘索引方案(LSM,B+树)更好地利用并发处理。CedrusDB在混合工作负载中实现了与最近基于日志的内存键值存储相当或更高的性能,同时能够从故障中快速恢复。
2021-07-21 cs.DB
Authenticated Key-Value Stores with Hardware Enclaves
在不受信任的平台上进行身份验证的数据存储是云应用程序的重要计算范例,从大数据外包到加密货币和证书透明度日志。这些现代应用越来越多地以更新密集型工作负载为特征,而设计有就地更新的现有认证数据结构(ADS)对于处理此类工作负载是低效的。在本文中,我们解决了这个问题,并提出了一种新的基于认证日志结构合并树(eLSM)的键值存储,该存储利用英特尔SGX安全区。我们提出了一个系统设计,运行的代码eLSM存储在飞地。为了规避有限的安全区内存(最新的Intel CPU为128 MB),我们建议将eLSM存储的内存缓冲区放置在安全区之外,并通过消化各个LSM树级别,使用新的经过身份验证的数据结构来保护缓冲区。我们设计的协议,以支持查询认证的数据完整性,完整性(范围内的查询),和新鲜度。在我们的协议中的证明是通过只包括选择性水平的Merkle证明来实现的。我们在Google LevelDB和Facebook RocksDB之上实现了eLSM,代码更改和性能干扰最小。我们在YCSB工作负载基准测试下评估了eLSM的性能,并显示出高达4.5倍加速的性能优势。
2019-11-06 cs.CR cs.DB cs.DC
DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees
Huawei(华为)
针对传统学习型索引忽略存储数据访问成本的问题,本文提出面向LSM树的双目标学习索引DobLIX,结合强化学习动态调参,在RocksDB中相比现有最优方法吞吐量提升1.19-2.21倍。
2025-09-02 cs.DB cs.LG math.OC
CompassDB: Pioneering High-Performance Key-Value Store with Perfect Hash
针对LSM-tree在SSD下CPU瓶颈与高读写放大问题,提出基于双层完美哈希表(TPH)的CompassDB,将索引查找降至O(1),显著提升吞吐量并降低延迟。
2024-06-26 cs.DB
Learning Key-Value Store Design
Harvard University(哈佛大学)
我们引入了设计连续体的概念,用于键值存储的数据布局。设计连续体将主要不同的数据结构设计统一在同一模型下。关键的洞察力和潜在的长期影响是,这种统一模型1)使我们迄今为止认为根本不同的数据结构被视为完全相同的整体设计空间的视图,以及2)允许看到具有现有设计不可行的性能属性的新数据结构设计。设计连续体构建背后的核心直觉是,所有数据结构都源于同一组基本设计原则,即,一小部分数据布局设计概念,我们可以从中综合现有文献中的任何设计以及新的设计。我们展示了如何构建,评估和扩展,设计连续体,我们还提出了统一主要数据结构设计的第一个连续体,即,B+树、B-Tree树、LSM树和LSH表。设计连续体的实际好处是它为数据结构的设计创建了一个快速的推理引擎。例如,我们可以几乎立即预测数据系统底层存储中的特定设计更改将如何影响性能,或者在给定工作负载特性和内存预算的情况下,(从给定的一组设计中)确定什么是最佳数据结构。反过来,这些属性使我们能够设想一种新的自设计键值存储,其具有显著改进的能力,通过在完全不同的数据结构设计之间转换以随意地假定不同的性能属性集合来适应工作负载和硬件变化。
2019-07-11 cs.DB cs.LG
From FASTER to F2: Evolving Concurrent Key-Value Store Designs for Large Skewed Workloads
本文提出 F2(FASTER v2),一种面向大规模偏斜工作负载的并发键值存储设计,通过两层记录设计、无锁压缩算法、两级哈希索引和读缓存,实现 2-11.9 倍吞吐量提升。
2025-08-06 cs.DB