On Performance Stability in LSM-based Storage Systems (Extended Version)
日志结构的合并树（LSM-tree）由于其优越的写入性能而被广泛应用于现代NoSQL系统。尽管LSM树很受欢迎，但由于其快速的内存写入和缓慢的后台I/O操作之间的固有不匹配，它们因写入停顿和大的性能差异而受到批评。在本文中，我们使用一个简单而有效的两阶段实验方法来评估各种LSM树设计的写失速。我们进一步探讨了LSM合并缓存器的设计选择，以最大限度地减少I/O带宽预算下的写停顿。我们已经进行了广泛的实验中的Apache AsterixDB系统的背景下，我们在这里的结果。
2020-04-11 cs.DB
Breaking Down Memory Walls: Adaptive Memory Management in LSM-based Storage Systems (Extended Version)
日志结构合并树（Log-Structured Merge-Trees，LSM-trees）在现代NoSQL系统中得到了广泛的应用。由于其不适当的更新设计，LSM树在多个LSM树的存储器组件之间以及在写存储器和缓冲区高速缓存之间引入了存储器墙。这些区域之间的最佳内存分配是不平凡的，因为它是高度依赖于工作负载。现有的LSM树实现由于其简单性和鲁棒性而采用静态内存分配方案，从而牺牲了性能。在本文中，我们试图打破这些内存墙在基于LSM的存储系统。我们首先提出了一个存储管理架构，使自适应存储管理。然后，我们提出了一个分区的内存组件结构与新的刷新策略，以更好地利用写内存，以尽量减少写成本。为了打破写内存和缓冲区缓存之间的内存墙，我们进一步引入了一个内存调谐器，它可以调谐这两个区域之间的内存分配。我们使用YCSB和TPC-C基准测试在Apache AsterixDB的上下文中进行了广泛的实验，我们在这里展示了结果。
2020-07-14 cs.DB
HotRAP: Hot Record Retention and Promotion for LSM-trees with Tiered Storage
针对LSM树分层存储中热记录易被压缩至慢速存储导致读取性能下降的问题，提出基于RocksDB的HotRAP，利用特制LSM树追踪热度并通过三条路径及时提升并留存热记录，在多种工作负载下性能显著优于现有方法。
2024-12-19 cs.DB
KV-Tandem -- a Modular Approach to Building High-Speed LSM Storage Engines
本文提出KV-Tandem模块化架构，通过LSM bypass算法在简单KVS上构建LSM存储引擎，实现高级功能并保持高性能，其实现XDP-Rocks比RocksDB性能提升3至4倍且已投产。
2024-11-17 cs.DB
Pome: Parallelizing I/Os and Computations for Efficient LSM-tree-based Data Storage
ShanghaiTech University（上海科技大学）
针对LSM树存储系统中压缩操作因同步I/O导致长关键路径的问题，提出Pome，通过解耦计算与I/O并利用io_uring异步I/O及自适应速率限制器，显著提升RocksDB性能。
2026-06-23 cs.DB
On the Efficient Design of LSM Stores
在过去的十年中，键值数据存储系统已经从学术界和工业界获得了更多的兴趣。这些系统面临着存储空间和读取优化方面的众多挑战。通过引入新的管理技术和算法来改进当前的解决方案存在很大的潜力。在本文中，我们给出了一个概述的基本概念的键值数据存储系统，并提供了一个解释的瓶颈。在此基础上，提出了两种新的存储管理算法和一种改进的索引结构。最后，这些解决方案进行了比较和讨论。
2020-04-04 cs.DB
Constructing and Analyzing the LSM Compaction Design Space (Updated Version)
日志结构合并（LSM）树通过附加传入数据提供有效的摄取，因此被广泛用作生产NoSQL数据存储的存储层。为了实现有竞争力的读取性能，LSM树通过迭代压缩定期重新组织数据以形成具有指数级增加的容量的树。压缩从根本上影响LSM引擎在写入放大、写入吞吐量、点和范围查找性能、空间放大和删除性能方面的性能。因此，选择合适的压实策略是至关重要的，同时，由于LSM压实设计空间巨大，很大程度上未被探索，并且在文献中尚未正式定义，因此很难。因此，大多数基于LSM的引擎使用固定的压缩策略，通常由工程师亲自挑选，决定如何以及何时压缩数据。在本文中，我们提出了LSM压缩的设计空间，并评估国家的最先进的压缩策略的关键性能指标。为了实现这一目标，我们的第一个贡献是引入一组四个设计原语，可以正式定义任何压缩策略：（i）压缩触发器，（ii）数据布局，（iii）压缩粒度，（iv）数据移动策略。总之，这些原语可以综合现有的和全新的压缩策略。我们的第二个贡献是实验分析10个压缩策略。我们提出了12个观察结果和7个高级别的外卖信息，这些信息显示了LSM系统如何在紧凑设计空间中导航。
2022-02-26 cs.DB
BVLSM: Write-Efficient LSM-Tree Storage via WAL-Time Key-Value Separation
本文提出 BVLSM，在 WAL 阶段提前分离键值并以轻量元数据和多队列并行存储大值，从而降低 LSM 键值存储的写放大、内存浪费与 I/O 抖动。
2025-06-09 cs.DB
A survey of LSM-Tree based Indexes, Data Systems and KV-stores
本文综述了基于LSM-Tree的索引、数据系统与KV存储的研究现状，涵盖其结构改进及持久内存等新兴存储技术带来的影响。
2024-02-27 cs.DB
LearnedKV: Integrating LSM and Learned Index for Superior Performance on Storage
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
LearnedKV通过两层设计将LSM树与学习索引结合，利用非阻塞转换机制在垃圾回收时将LSM数据转为学习索引，从而在读性能上最高提升4.32倍、写性能最高提升1.43倍。
2025-04-11 cs.DB cs.LG
Real-Time LSM-Trees for HTAP Workloads
实时的【形】分析系统采用混合数据布局，其中数据在其整个生命周期中以不同格式存储。最近的数据以面向行的格式存储，以满足OLTP工作负载并支持高插入率，而较旧的数据则转换为面向列的格式，以满足OLAP访问模式。我们观察到，日志结构化合并（LSM）树是一个自然的适合生命周期感知存储引擎，由于其高写吞吐量和面向级别的结构，其中记录传播从一个级别到下一个随着时间的推移。为了使用LSM-Tree构建生命周期感知的存储引擎，我们进行了一个关键的修改，以允许不同级别的不同数据布局，从纯粹的面向行到纯粹的面向列，从而形成实时的【形】LSM-Tree。我们给出了一个成本模型和一个算法来设计一个实时的【形】LSM树，适合于给定的工作负载，其次是激光的实验评估-我们的想法建立在RocksDB的键值存储的原型实现。
2022-07-15 cs.DB
Data Lake Ingestion Management
数据湖（DL）是一种大数据分析解决方案，它以原始格式摄取原始数据，并允许用户在使用时处理这些数据。数据摄取不是简单的数据复制和粘贴，它是一个复杂而重要的阶段，以确保摄取的数据在任何时候都是可查找的，可访问的，可互操作的和可重用的。我们的解决方案有三个方面。首先，我们提出了一个元数据模型，其中包括有关外部数据源、数据获取过程、获取的数据、数据集准确性和数据集安全性的信息。其次，我们提出了确保摄取阶段（数据存储和元数据实例化）的算法。第三，我们介绍了一个开发的元数据管理系统，用户可以很容易地查阅存储在DL的不同元素。
2021-07-05 cs.DB
Storage Management with Multi-Version Partitioned B-Trees
数据库管理系统和K/V-Store在可更新的数据集上运行--大大超过了可用主存的大小。基于树的K/V存储管理结构在存储引擎中变得特别流行。B+树允许恒定的搜索性能，但是写入繁重的工作负载会导致对辅存设备的低效写入模式和较差的性能特征。LSM树通过水平分区数据来克服这个问题-小到足以完全驻留在主存中，但需要频繁维护以维持搜索性能。首先，我们提出了多版本分区BTree（MV-PBT）作为唯一的存储和索引管理结构的关键排序存储引擎，如K/V-Stores。其次，我们比较MV-PBT和LSM-树。MV-PBT中的逻辑水平分区允许在结构的小的透明和存储器驻留部分中利用现代B $^+$-树技术的最新进展。结构特性维持稳定的读取性能，产生高效的写入模式并降低写入放大。我们在WiredTiger KV存储引擎中集成了MV-PBT。在YCSB工作负载中，MV-PBT与LSM树相比提供了高达2倍的稳定吞吐量，与B+树相比增加了几个数量级。
2022-09-20 cs.DB
Lethe: A Tunable Delete-Aware LSM Engine (Updated Version)
数据密集型应用程序推动了基于日志结构化合并（LSM）的键值引擎的发展，这些引擎采用了不适当的范例来支持高摄取率和低读/写干扰。然而，这些好处的代价是将删除视为二等公民。删除操作会插入一个逻辑删除，使已删除键的较旧实例无效。最先进的LSM引擎不保证墓碑将以多快的速度传播以持久化删除。此外，LSM引擎仅支持删除排序关键字。删除另一个属性（例如，时间戳），整个树被读取和重写。我们强调，在不影响读取性能的情况下快速持久删除是支持以下内容的关键：（i）在数据窗口上运行的流式传输系统，（ii）对被遗忘权的隐私延迟保证，以及（iii）使存储成为宝贵资源的数据系统的云部署。为了解决这些挑战，在本文中，我们建立了一个新的键值存储引擎，Lethe，它使用了非常少量的额外的元数据，一组新的删除感知压缩策略，以及一个新的物理数据布局，编织排序和删除键顺序。我们表明，Lethe支持任何用户定义的删除持久性延迟阈值，提供更高的读取吞吐量（$1.17-1.4\times$）和较低的空间放大（$2.1-9.8\times$），适度增加写入放大（$4\%$和$25\%$之间）。此外，Lethe通过丢弃整个数据页而不牺牲读取性能，也不使用昂贵的全树合并，支持在辅助删除键上进行有效的范围删除。
2020-06-13 cs.DB
Aster: Enhancing LSM-structures for Scalable Graph Database
针对大规模演化图的密集更新与查询需求，研究提出含三项创新技术的Poly-LSM键值存储引擎，基于此构建支持Gremlin的Aster图数据库，实验证明其性能优于主流基线，在十亿级Twitter图上吞吐量最高提升17倍。
2025-01-11 cs.DB
LSM-OPD: Boosting Scan in LSM-Trees by Enabling Direct Computing on Compressed Data
本文提出 LSM-OPD 编码方案，通过保序字典压缩和列式键值分离布局，将 LSM-Tree 中大值上的压缩与过滤等扫描操作卸载到轻量级字典并利用 SIMD 向量化，从而同时缓解 I/O 受限和计算受限问题。
2025-08-16 cs.DB
Enabling Efficient Updates in KV Storage via Hashing: Design and Performance Evaluation
持久性键值（KV）存储主要建立在日志结构化合并（LSM）树上，以获得高写入性能，但LSM树受到固有的高I/O放大的影响。KV分离通过仅将键存储在LSM树中并将值存储在单独的存储中来减轻I/O放大。然而，当前KV分离设计在更新密集型工作负载下仍然是低效的，这是由于其在值存储中的高垃圾回收（GC）开销。我们提出了HashKV，其目标是在更新密集型工作负载下在KV分离之上实现高更新性能。HashKV使用基于散列的数据分组，它确定性地将值映射到存储空间，以便使更新和GC都高效。我们进一步放宽限制，这种确定性映射通过简单但有用的设计扩展。我们广泛评估了HashKV的各个设计方面。我们表明，与当前的KV分离设计相比，HashKV实现了4.6倍的更新吞吐量和53.4%的写入流量。此外，我们证明了我们可以将HashKV的设计与最先进的KV商店相结合，并提高各自的性能。
2019-06-17 cs.DB
The Skiplist-Based LSM Tree
日志结构化合并（Log-Structured Merge，LSM）树提供了一种分层的数据存储和检索范例，这对于写优化的数据系统是有吸引力的。在内存中保持一个有效的缓冲区，并推迟更新超过其初始写入时间，该结构提供了快速的操作热数据。由于结构的每一层在逻辑上都是相互独立的，因此该结构也有利于机会优化和粒度优化。在本文中，我们介绍了基于跳跃列表的LSM树（sLSM），一种新的系统中，LSM的内存缓冲区是由一个序列的跳跃列表。我们开发的理论和实验结果表明，sLSM固有的调整参数的广度允许它广泛的灵活性，在各种各样的工作负载的优异性能。
2018-09-10 cs.DB
How to Grow an LSM-tree? Towards Bridging the Gap Between Theory and Practice
本文针对LSM树增长方式的设计问题，分析垂直与水平方案的局限，提出结合两者优势的Vertiorizon方法，实现查找、更新与空间成本间的更优平衡，并显著改善读写性能与空间开销。
2025-04-24 cs.DB
Towards Flexibility and Robustness of LSM Trees
针对LSM树在云环境中的工作负载不确定性，提出鲁棒调优范式ENDURE及统一设计K-LSM，在RocksDB上实现高达5倍吞吐量提升，证明鲁棒性源于调优过程而非设计本身。
2023-11-16 cs.DB
Scavenger+: Revisiting Space-Time Tradeoffs in Key-Value Separated LSM-trees
本文针对键值分离 LSM 树中空间放大问题，提出 Scavenger+，通过 I/O 高效垃圾回收、空间感知压缩和动态 GC 调度实现性能与空间更优权衡，实验证明其优于 BlobDB、Titan 和 TerarkDB。
2025-08-19 cs.DB
Endure: A Robust Tuning Paradigm for LSM Trees Under Workload Uncertainty
日志结构化合并树（LSM树）越来越多地用作多个数据系统背后的存储引擎，经常部署在云中。与其他数据库架构类似，LSM树考虑了有关预期工作负载的信息（例如，读取与写入、点查询与范围查询），以通过调优来优化其性能。然而，由于多租户和现代应用程序的快速发展特性，在云等共享基础设施中运行会带来一定程度的工作负载不确定性。具有静态调优的系统降低了这种混合工作负载的可变性，因此提供了不一致和总体次优的性能。为了解决这个问题，我们引入了Endure -一个新的范例，用于在工作负载不确定的情况下调整LSM树。具体来说，我们专注于压缩策略，大小比例和内存分配的选择对整体性能的影响。Endure考虑了吞吐量最大化问题的鲁棒公式，并建议在每个预期工作负载的邻域内最大化最坏情况下的吞吐量。此外，不确定性调谐参数控制该邻域的大小，从而允许输出调谐是保守的或乐观的。通过基于模型和广泛的实验评估的耐力在国家的最先进的基于LSM的存储引擎，RocksDB，我们表明，强大的调优方法始终优于经典的调优策略。我们使用15个工作负载模板对Endure进行基准测试，这些模板生成10000多个独特的噪声工作负载。Endure输出的稳健调谐在存在不确定性的情况下使吞吐量提高了5 $\times$。另一方面，当观察到的工作负载与预期工作负载完全匹配时，Endure调优的性能损失可以忽略不计。
2021-11-03 cs.DB
On 10x Better Scalability: KV Stores Scale Up KV Cache
Nanyang Technological University（南洋理工大学）
SGLANG-LSM通过数据库存储架构提升大规模LLM缓存性能，实现缓存命中率提升143%和TTFT降低24%。
2025-11-25 cs.DB
Ingestion, Indexing and Retrieval of High-Velocity Multidimensional Sensor Data on a Single Node
多维数据正变得越来越普遍，部分原因是物联网（IoT）的兴起，以及以比以前更高的速率摄取和分析数据流的需求。一些工业物联网应用程序需要每秒摄取数百万条记录，同时处理最近摄取和历史数据的查询。不幸的是，现有的数据库系统适合于多维数据表现出低的每节点摄取性能，即使他们可以在分布式设置中水平扩展，他们需要大量的节点，以满足这样的摄取需求。出于这个原因，在本文中，我们评估一个单节点的多维数据存储的高速传感器数据。它的设计围绕两级索引结构，其中全局索引是内存中的R * 树，局部索引是序列化的kd树。本研究仅限于具有数值索引字段和范围查询的记录，并涵盖摄取吞吐量、查询响应时间和存储占用。我们表明，所采用的设计简化了数据摄取，并提供比Percona Server，SQLite和Druid高两个数量级的入口率。我们的原型还报告查询响应时间可比或优于Percona服务器和Druid，并比较有利的存储占用方面。此外，我们评估一个kd树分区为基础的计划分组传入流数据记录。与随机方案相比，该方案在流记录组之间产生较少的重叠，但与我们预期的相反，这种减少的重叠并没有转化为更好的查询性能。相比之下，本地索引证明对查询性能更有益。我们相信，本文中报告的经验是有价值的从业者和研究人员都有兴趣在高速多维数据构建数据库系统。
2017-07-04 cs.DB
MatrixGate: A High-performance Data Ingestion Tool for Time-series Databases
本文提出 MatrixGate 时序数据摄取工具，通过 slots 调优、多协程和无锁队列提升并行度与效率，加载速度比现有方法快 3-100 倍，查询延迟降低约 80%，并具备 86% 的分布式可扩展性。
2024-06-08 cs.DB
Scavenger: Better Space-Time Trade-Offs for Key-Value Separated LSM-trees
本文提出 Scavenger，通过 I/O 高效的垃圾回收方案和基于补偿大小的空间感知压缩策略，在键值分离 LSM 树中实现更优的性能与空间放大权衡。
2025-08-19 cs.DB
Efficient Data Ingestion in Cloud-based architecture: a Data Engineering Design Pattern Proposal
本文针对云架构中高容量数据摄取效率不足的问题，提出一种融合增量与全量刷新的元数据驱动数据摄取设计模式，并在 Azure 上验证其显著缩短摄取时间。
2025-04-08 cs.DB
OceanBase Bacchus: a High-Performance and Scalable Cloud-Native Shared Storage Architecture for Multi-Cloud
OceanBase, Ant Group（蚂蚁集团 OceanBase）
OceanBase Bacchus是一种基于LSM树的多云共享存储架构，通过共享服务和异步后台服务实现高性能读写，显著提升OLTP和OLAP性能并降低存储成本。
2026-02-27 cs.DB
RESYSTANCE: Unleashing Hidden Performance of Compaction in LSM-trees via eBPF
Sogang University（西江大学）
RESYSTANCE通过eBPF和io_uring优化LSM树压缩，减少系统调用开销，提升压缩性能和写入吞吐量
2026-03-05 cs.DB
Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads
Nanyang Technological University（南洋理工大学）；Fudan University（复旦大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出RusKey键值存储，首次利用强化学习在线优化LSM树结构，并设计FLSM树实现压缩策略高效切换，无需先验工作负载知识即可在动态负载下实现最高达RocksDB 4倍的性能提升。
2023-09-17 cs.DB cs.LG
Re-enabling high-speed caching for LSM-trees
LSM树已被Google、Facebook和Amazon广泛用于云计算系统，以实现写密集型工作负载的高性能。然而，在LSM树中，随机键值查询可能会经历长的延迟和低吞吐量，由于压缩的干扰，在算法中的基本操作，缓存。LSM树依赖于频繁的压缩操作来将数据合并到排序结构中。压缩后，原始数据被重新组织并写入磁盘上的其他位置。结果，缓存的数据由于其引用地址被更改而无效，从而导致严重的性能下降。我们提出dLSM，以便在密集写入期间重新启用高速缓存。dLSM是一个LSM树，在磁盘上有一个压缩缓冲区，用作缓冲，以最大限度地减少压缩导致的缓存失效。压缩缓冲区维护频繁压缩数据的一系列快照，这些快照表示底层LSM树中相应数据的一致视图。压缩缓冲区中的数据以比压缩低得多的速率更新，几乎是静止的。在dLSM中，对象由对应块的磁盘地址引用，对于频繁压缩的数据，该磁盘地址位于压缩缓冲区中，对于不频繁压缩的数据，该磁盘地址位于底层LSM树中。因此，热对象可以有效地保存在缓存中，而不会出现有害的无效。在一个小的磁盘压缩缓冲区的帮助下，dLSM实现了高查询性能，通过启用有效的缓存，同时保留了LSM树的所有优点，用于写密集型数据处理。我们实现了基于LevelDB的dLSM。我们的评估表明，使用标准的DRAM缓存，dLSM可以实现5- 8倍的性能提高LSM与相同的缓存在HDD存储。
2016-06-07 cs.DB cs.DS
ARCADE: A Real-Time Data System for Hybrid and Continuous Query Processing across Diverse Data Modalities
Nanyang Technological University, Singapore（南洋理工大学）
ARCADE是一个实时数据系统，通过统一索引、代价优化器和增量物化视图，支持多模态数据的混合与连续查询，性能显著优于现有系统。
2025-09-24 cs.AI cs.DB
DumpKV: Learning based lifetime aware garbage collection for key value separation in LSM-tree
Microsoft（微软）；Sun Yat-sen University（中山大学）；Chongqing University（重庆大学）
本文提出DumpKV，一种基于学习的生命周期感知垃圾回收方法，通过动态调整和轻量级模型预测键的生命周期，在LSM-tree键值分离中实现高效垃圾回收，显著降低写放大达38%-73%。
2024-06-03 cs.AI cs.DB cs.LG
SciTS: A Benchmark for Time-Series Databases in Scientific Experiments and Industrial Internet of Things
时间序列数据在工业物联网（IIoT）和大规模科学实验中的使用越来越多。管理时间序列数据需要一个存储引擎，它可以跟上不断增长的数据量，同时提供可接受的查询延迟。虽然传统的ACID数据库更倾向于一致性而不是性能，但已经开发了许多具有新颖存储引擎的时间序列数据库，以提供更好的摄取性能和更低的查询延迟。为了了解时间序列数据库的独特设计如何影响其性能，我们设计了SciTS，这是一个高度可扩展和可参数化的时间序列数据基准。该基准测试研究了时间序列数据库的数据摄取能力，特别是当它们的规模越来越大时。并从科学实验用例出发，研究了5个实用查询的语义。我们使用SciTS来评估4个不同存储引擎的4个数据库的性能：ClickHouse，InfluxDB，TimescaleDB和PostgreSQL。
2022-06-08 astro-ph.IM cs.DB cs.PF
Scalable Fault-Tolerant Data Feeds in AsterixDB
在本文中，我们描述了AsterixDB中对数据提要摄取的支持，AsterixDB是一个开源大数据管理系统（BDMS），为存储和分析大量半结构化数据提供了一个平台。数据馈送是一种机制，用于使连续数据从外部源到达BDMS，并增量填充持久化数据集和关联索引。持久化和索引“快速流动”的高速数据（并支持即席分析查询）的需求无处不在。然而，当今的技术水平涉及将不同的系统“粘合”在一起。AsterixDB的不同之处在于它是一个统一的系统，对数据馈送摄取具有“本机支持”。我们讨论的挑战，并提出了在AsterixDB中建模和管理数据馈送所涉及的概念的设计和实现。AsterixDB允许自定义运行时行为、资源分配和提供的健壮性程度，以适应希望使用摄取数据的高级应用程序。初步实验评估的可扩展性和容错的AsterixDB数据源设施的报告。
2014-05-07 cs.DB
DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees
Huawei（华为）
针对传统学习型索引忽略存储数据访问成本的问题，本文提出面向LSM树的双目标学习索引DobLIX，结合强化学习动态调参，在RocksDB中相比现有最优方法吞吐量提升1.19-2.21倍。
2025-09-02 cs.DB cs.LG math.OC
DynaHash: Efficient Data Rebalancing in Apache AsterixDB (Extended Version)
并行无共享数据管理系统已被广泛用于利用机器集群进行高效和可扩展的数据处理。当一个集群需要动态扩展时，数据必须有效地重新平衡。理想情况下，数据重新平衡应该具有较低的数据移动成本，在数据摄取和查询处理上产生较小的开销，并且在线执行而不会阻塞读取或写入。然而，现有的并行数据管理系统在有效的数据重新平衡方面经常表现出某些限制和缺点。在本文中，我们介绍了DynaHash，一个有效的数据再平衡方法，结合了动态桶与可扩展的散列无共享的OLAP风格的并行数据管理系统。DynaHash使用可扩展哈希将记录动态地划分为多个桶，以较小的重新平衡成本实现良好的负载平衡。我们进一步描述了一个端到端的实现所提出的方法内的开源大数据管理系统（BDMS），Apache AsterixDB。我们的实现利用了LSM树的错位更新设计来有效地重新平衡数据，而不会阻塞并发读取和写入。最后，我们使用TPC-H基准测试进行了性能实验，并在这里展示了结果。
2021-05-24 cs.DB
Autumn: A Scalable Read Optimized LSM-tree based Key-Value Stores with Fast Point and Range Read Speed
Autumn 提出 Garnering 合并策略动态调整层级容量比，将 LSM-tree 键值存储的点读和范围读复杂度从 O(logN) 降至 O(√logN)，同时保持更新性能，并在 LevelDB 上验证了真实负载下的性能提升。
2024-07-01 cs.DB cs.DS cs.IR
Tidehunter: Large-Value Storage With Minimal Data Relocation
Mysten Labs；UCL（伦敦大学学院）
Tidehunter通过将WAL视为永久存储，消除值合并，实现高吞吐量的大值存储，提升查询性能。
2026-02-03 cs.DB
Dynamic and Scalable Data Preparation for Object-Centric Process Mining
本文针对对象中心化过程挖掘中现有事件日志格式在流式数据场景下灵活性、可扩展性和可维护性不足的问题，提出了一种基于中心辐射型架构的中间数据存储枢纽数据库格式及新型关系模式，并通过轻量级开源数据栈实现端到端方案加以验证。
2024-10-01 cs.DB
FluxSieve: Unifying Streaming and Analytical Data Planes for Scalable Cloud Observability
Dynatrace Research（Dynatrace 研究）
FluxSieve通过统一流式与分析数据平面，实现高并发下查询性能的显著提升，同时保持低存储和计算开销。
2026-03-05 cs.DB cs.DC cs.PF
Towards Optimizing Storage Costs on the Cloud
本文提出统一成本最小化流水线 SCOPe，通过优化云上数据放置层级、压缩方案选择以及访问模式感知的数据分区，在保证性能的同时显著降低存储与访问成本。
2023-07-06 cs.DB
Is Agent Memory a Database? Rethinking Data Foundations for Long-Term AI Agent Memory
Concordia University（康科迪亚大学）
本文提出将长期AI智能体记忆视为一种新的数据管理工作负载，通过形式化治理演化记忆（GEM）框架，用四个状态级操作替代记录级操作，并论证记录级系统无法满足其正确性条件，最后通过原型MemState验证可行性并指出未来研究方向。
2026-05-25 cs.AI cs.DB
Learning Key-Value Store Design
Harvard University（哈佛大学）
我们引入了设计连续体的概念，用于键值存储的数据布局。设计连续体将主要不同的数据结构设计统一在同一模型下。关键的洞察力和潜在的长期影响是，这种统一模型1）使我们迄今为止认为根本不同的数据结构被视为完全相同的整体设计空间的视图，以及2）允许看到具有现有设计不可行的性能属性的新数据结构设计。设计连续体构建背后的核心直觉是，所有数据结构都源于同一组基本设计原则，即，一小部分数据布局设计概念，我们可以从中综合现有文献中的任何设计以及新的设计。我们展示了如何构建，评估和扩展，设计连续体，我们还提出了统一主要数据结构设计的第一个连续体，即，B+树、B-Tree树、LSM树和LSH表。设计连续体的实际好处是它为数据结构的设计创建了一个快速的推理引擎。例如，我们可以几乎立即预测数据系统底层存储中的特定设计更改将如何影响性能，或者在给定工作负载特性和内存预算的情况下，（从给定的一组设计中）确定什么是最佳数据结构。反过来，这些属性使我们能够设想一种新的自设计键值存储，其具有显著改进的能力，通过在完全不同的数据结构设计之间转换以随意地假定不同的性能属性集合来适应工作负载和硬件变化。
2019-07-11 cs.DB cs.LG
Polars inside Intel SGX2 Enclaves: An Empirical Study of Confidential Analytical Query Processing
Mozilla
本文研究了在Intel SGX2内核中通过Gramine运行Arrow原生DataFrame引擎Polars的性能，分析了查询和数据加载的开销，并比较了Polars的惰性与主动API性能。
2026-05-20 cs.CR cs.DB
