HotRAP: Hot Record Retention and Promotion for LSM-trees with Tiered Storage
针对LSM树分层存储中热记录易被压缩至慢速存储导致读取性能下降的问题，提出基于RocksDB的HotRAP，利用特制LSM树追踪热度并通过三条路径及时提升并留存热记录，在多种工作负载下性能显著优于现有方法。
2024-12-19 cs.DB
KV-Tandem -- a Modular Approach to Building High-Speed LSM Storage Engines
本文提出KV-Tandem模块化架构，通过LSM bypass算法在简单KVS上构建LSM存储引擎，实现高级功能并保持高性能，其实现XDP-Rocks比RocksDB性能提升3至4倍且已投产。
2024-11-17 cs.DB
Pome: Parallelizing I/Os and Computations for Efficient LSM-tree-based Data Storage
ShanghaiTech University（上海科技大学）
针对LSM树存储系统中压缩操作因同步I/O导致长关键路径的问题，提出Pome，通过解耦计算与I/O并利用io_uring异步I/O及自适应速率限制器，显著提升RocksDB性能。
2026-06-23 cs.DB
On the Efficient Design of LSM Stores
在过去的十年中，键值数据存储系统已经从学术界和工业界获得了更多的兴趣。这些系统面临着存储空间和读取优化方面的众多挑战。通过引入新的管理技术和算法来改进当前的解决方案存在很大的潜力。在本文中，我们给出了一个概述的基本概念的键值数据存储系统，并提供了一个解释的瓶颈。在此基础上，提出了两种新的存储管理算法和一种改进的索引结构。最后，这些解决方案进行了比较和讨论。
2020-04-04 cs.DB
An LSM-based Tuple Compaction Framework for Apache AsterixDB (Extended Version)
文档数据库系统存储自我描述的半结构化记录，如JSON，“原样”，而不需要用户预先定义模式。这为用户提供了更改传入记录结构的灵活性，而不必担心使系统脱机或妨碍当前运行的查询的性能。然而，这种系统的灵活性并不自由。记录中的大量冗余可能会引入不必要的存储开销并影响查询性能。我们在本文中的重点是解决存储开销问题，通过引入元组压缩器框架，推断和提取模式的自我描述的半结构化记录在数据摄取。由于许多著名的文档存储，如MongoDB和Couchbase，在其存储引擎中采用日志结构化合并（LSM）树，我们的框架利用LSM生命周期事件来搭载模式推理和提取操作。我们已经实现并经验评估了我们的方法，以衡量其对Apache AsterixDB环境中的存储，数据摄取和查询性能的影响。
2020-05-11 cs.DB
BVLSM: Write-Efficient LSM-Tree Storage via WAL-Time Key-Value Separation
本文提出 BVLSM，在 WAL 阶段提前分离键值并以轻量元数据和多队列并行存储大值，从而降低 LSM 键值存储的写放大、内存浪费与 I/O 抖动。
2025-06-09 cs.DB
LearnedKV: Integrating LSM and Learned Index for Superior Performance on Storage
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
LearnedKV通过两层设计将LSM树与学习索引结合，利用非阻塞转换机制在垃圾回收时将LSM数据转为学习索引，从而在读性能上最高提升4.32倍、写性能最高提升1.43倍。
2025-04-11 cs.DB cs.LG
A survey of LSM-Tree based Indexes, Data Systems and KV-stores
本文综述了基于LSM-Tree的索引、数据系统与KV存储的研究现状，涵盖其结构改进及持久内存等新兴存储技术带来的影响。
2024-02-27 cs.DB
Real-Time LSM-Trees for HTAP Workloads
实时的【形】分析系统采用混合数据布局，其中数据在其整个生命周期中以不同格式存储。最近的数据以面向行的格式存储，以满足OLTP工作负载并支持高插入率，而较旧的数据则转换为面向列的格式，以满足OLAP访问模式。我们观察到，日志结构化合并（LSM）树是一个自然的适合生命周期感知存储引擎，由于其高写吞吐量和面向级别的结构，其中记录传播从一个级别到下一个随着时间的推移。为了使用LSM-Tree构建生命周期感知的存储引擎，我们进行了一个关键的修改，以允许不同级别的不同数据布局，从纯粹的面向行到纯粹的面向列，从而形成实时的【形】LSM-Tree。我们给出了一个成本模型和一个算法来设计一个实时的【形】LSM树，适合于给定的工作负载，其次是激光的实验评估-我们的想法建立在RocksDB的键值存储的原型实现。
2022-07-15 cs.DB
Storage Management with Multi-Version Partitioned B-Trees
数据库管理系统和K/V-Store在可更新的数据集上运行--大大超过了可用主存的大小。基于树的K/V存储管理结构在存储引擎中变得特别流行。B+树允许恒定的搜索性能，但是写入繁重的工作负载会导致对辅存设备的低效写入模式和较差的性能特征。LSM树通过水平分区数据来克服这个问题-小到足以完全驻留在主存中，但需要频繁维护以维持搜索性能。首先，我们提出了多版本分区BTree（MV-PBT）作为唯一的存储和索引管理结构的关键排序存储引擎，如K/V-Stores。其次，我们比较MV-PBT和LSM-树。MV-PBT中的逻辑水平分区允许在结构的小的透明和存储器驻留部分中利用现代B $^+$-树技术的最新进展。结构特性维持稳定的读取性能，产生高效的写入模式并降低写入放大。我们在WiredTiger KV存储引擎中集成了MV-PBT。在YCSB工作负载中，MV-PBT与LSM树相比提供了高达2倍的稳定吞吐量，与B+树相比增加了几个数量级。
2022-09-20 cs.DB
Aster: Enhancing LSM-structures for Scalable Graph Database
针对大规模演化图的密集更新与查询需求，研究提出含三项创新技术的Poly-LSM键值存储引擎，基于此构建支持Gremlin的Aster图数据库，实验证明其性能优于主流基线，在十亿级Twitter图上吞吐量最高提升17倍。
2025-01-11 cs.DB
LSM-OPD: Boosting Scan in LSM-Trees by Enabling Direct Computing on Compressed Data
本文提出 LSM-OPD 编码方案，通过保序字典压缩和列式键值分离布局，将 LSM-Tree 中大值上的压缩与过滤等扫描操作卸载到轻量级字典并利用 SIMD 向量化，从而同时缓解 I/O 受限和计算受限问题。
2025-08-16 cs.DB
Enabling Efficient Updates in KV Storage via Hashing: Design and Performance Evaluation
持久性键值（KV）存储主要建立在日志结构化合并（LSM）树上，以获得高写入性能，但LSM树受到固有的高I/O放大的影响。KV分离通过仅将键存储在LSM树中并将值存储在单独的存储中来减轻I/O放大。然而，当前KV分离设计在更新密集型工作负载下仍然是低效的，这是由于其在值存储中的高垃圾回收（GC）开销。我们提出了HashKV，其目标是在更新密集型工作负载下在KV分离之上实现高更新性能。HashKV使用基于散列的数据分组，它确定性地将值映射到存储空间，以便使更新和GC都高效。我们进一步放宽限制，这种确定性映射通过简单但有用的设计扩展。我们广泛评估了HashKV的各个设计方面。我们表明，与当前的KV分离设计相比，HashKV实现了4.6倍的更新吞吐量和53.4%的写入流量。此外，我们证明了我们可以将HashKV的设计与最先进的KV商店相结合，并提高各自的性能。
2019-06-17 cs.DB
O^3-LSM: Maximizing Disaggregated LSM Write Performance via Three-Layer Offloading
Arizona State University（亚利桑那州立大学）；Purdue University（普渡大学）；Google（谷歌）
O3-LSM通过三层卸载技术提升离散化LSM写性能，实现4.5倍写入速度和76%延迟降低。
2026-03-05 cs.DB
The Skiplist-Based LSM Tree
日志结构化合并（Log-Structured Merge，LSM）树提供了一种分层的数据存储和检索范例，这对于写优化的数据系统是有吸引力的。在内存中保持一个有效的缓冲区，并推迟更新超过其初始写入时间，该结构提供了快速的操作热数据。由于结构的每一层在逻辑上都是相互独立的，因此该结构也有利于机会优化和粒度优化。在本文中，我们介绍了基于跳跃列表的LSM树（sLSM），一种新的系统中，LSM的内存缓冲区是由一个序列的跳跃列表。我们开发的理论和实验结果表明，sLSM固有的调整参数的广度允许它广泛的灵活性，在各种各样的工作负载的优异性能。
2018-09-10 cs.DB
Accelerating LSM-Tree with the Dentry Management of File System
日志结构的合并树（LSM树）在构建键值（KV）存储中获得了广泛的应用。它采用日志来备份到达的KV对，并维护几个磁盘级别，容量限制呈指数级增加，类似于分层的树状结构。一个级别由SST文件组成，每个文件都包含一个排序的KV对序列。不时，LSM树重新部署KV对从一个完整的水平到较低的水平，通过压缩，合并排序和SST文件之间的KV对移动，从而引起大量的磁盘I/O。在本文中，我们重新审视LSM树的设计，发现在一个SST文件中组织多个KV对需要重量级的实际KV对在一个压缩重新部署。因此，我们革命性的KV对的组织，通过转换的SST文件的KV对到SST目录，其中每个KV对成为一个独立的KV文件的关键字和值的文件名和主文件内容，分别。在压缩中移动KV对转换为传输目录条目（denominator），这具体地导致更少的磁盘I/O。这是我们名为DeLSM的设计的本质。我们在LevelDB上构建了一个DeLSM的原型，评估结果表明，它在不同维度上的性能明显优于最先进的LSM树变体。
2021-09-28 cs.DB cs.DS
Towards Flexibility and Robustness of LSM Trees
针对LSM树在云环境中的工作负载不确定性，提出鲁棒调优范式ENDURE及统一设计K-LSM，在RocksDB上实现高达5倍吞吐量提升，证明鲁棒性源于调优过程而非设计本身。
2023-11-16 cs.DB
On 10x Better Scalability: KV Stores Scale Up KV Cache
SGLANG-LSM通过数据库存储架构提升大规模LLM缓存性能，实现缓存命中率提升143%和TTFT降低24%。
2025-11-25 cs.DB
Scavenger+: Revisiting Space-Time Tradeoffs in Key-Value Separated LSM-trees
本文针对键值分离 LSM 树中空间放大问题，提出 Scavenger+，通过 I/O 高效垃圾回收、空间感知压缩和动态 GC 调度实现性能与空间更优权衡，实验证明其优于 BlobDB、Titan 和 TerarkDB。
2025-08-19 cs.DB
Endure: A Robust Tuning Paradigm for LSM Trees Under Workload Uncertainty
日志结构化合并树（LSM树）越来越多地用作多个数据系统背后的存储引擎，经常部署在云中。与其他数据库架构类似，LSM树考虑了有关预期工作负载的信息（例如，读取与写入、点查询与范围查询），以通过调优来优化其性能。然而，由于多租户和现代应用程序的快速发展特性，在云等共享基础设施中运行会带来一定程度的工作负载不确定性。具有静态调优的系统降低了这种混合工作负载的可变性，因此提供了不一致和总体次优的性能。为了解决这个问题，我们引入了Endure -一个新的范例，用于在工作负载不确定的情况下调整LSM树。具体来说，我们专注于压缩策略，大小比例和内存分配的选择对整体性能的影响。Endure考虑了吞吐量最大化问题的鲁棒公式，并建议在每个预期工作负载的邻域内最大化最坏情况下的吞吐量。此外，不确定性调谐参数控制该邻域的大小，从而允许输出调谐是保守的或乐观的。通过基于模型和广泛的实验评估的耐力在国家的最先进的基于LSM的存储引擎，RocksDB，我们表明，强大的调优方法始终优于经典的调优策略。我们使用15个工作负载模板对Endure进行基准测试，这些模板生成10000多个独特的噪声工作负载。Endure输出的稳健调谐在存在不确定性的情况下使吞吐量提高了5 $\times$。另一方面，当观察到的工作负载与预期工作负载完全匹配时，Endure调优的性能损失可以忽略不计。
2021-11-03 cs.DB
Keigo: Co-designing Log-Structured Merge Key-Value Stores with a Non-Volatile, Concurrency-aware Storage Hierarchy (Extended Version)
本研究提出存储中间件Keigo，通过感知并发的数据放置、持久化只读缓存等技术，让生产级LSM键值存储适配异构存储层级，最高可将写、读密集型负载吞吐量分别提升4倍、18倍。
2025-06-17 cs.DB cs.DC
Lethe: A Tunable Delete-Aware LSM Engine (Updated Version)
数据密集型应用程序推动了基于日志结构化合并（LSM）的键值引擎的发展，这些引擎采用了不适当的范例来支持高摄取率和低读/写干扰。然而，这些好处的代价是将删除视为二等公民。删除操作会插入一个逻辑删除，使已删除键的较旧实例无效。最先进的LSM引擎不保证墓碑将以多快的速度传播以持久化删除。此外，LSM引擎仅支持删除排序关键字。删除另一个属性（例如，时间戳），整个树被读取和重写。我们强调，在不影响读取性能的情况下快速持久删除是支持以下内容的关键：（i）在数据窗口上运行的流式传输系统，（ii）对被遗忘权的隐私延迟保证，以及（iii）使存储成为宝贵资源的数据系统的云部署。为了解决这些挑战，在本文中，我们建立了一个新的键值存储引擎，Lethe，它使用了非常少量的额外的元数据，一组新的删除感知压缩策略，以及一个新的物理数据布局，编织排序和删除键顺序。我们表明，Lethe支持任何用户定义的删除持久性延迟阈值，提供更高的读取吞吐量（$1.17-1.4\times$）和较低的空间放大（$2.1-9.8\times$），适度增加写入放大（$4\%$和$25\%$之间）。此外，Lethe通过丢弃整个数据页而不牺牲读取性能，也不使用昂贵的全树合并，支持在辅助删除键上进行有效的范围删除。
2020-06-13 cs.DB
Constructing and Analyzing the LSM Compaction Design Space (Updated Version)
日志结构合并（LSM）树通过附加传入数据提供有效的摄取，因此被广泛用作生产NoSQL数据存储的存储层。为了实现有竞争力的读取性能，LSM树通过迭代压缩定期重新组织数据以形成具有指数级增加的容量的树。压缩从根本上影响LSM引擎在写入放大、写入吞吐量、点和范围查找性能、空间放大和删除性能方面的性能。因此，选择合适的压实策略是至关重要的，同时，由于LSM压实设计空间巨大，很大程度上未被探索，并且在文献中尚未正式定义，因此很难。因此，大多数基于LSM的引擎使用固定的压缩策略，通常由工程师亲自挑选，决定如何以及何时压缩数据。在本文中，我们提出了LSM压缩的设计空间，并评估国家的最先进的压缩策略的关键性能指标。为了实现这一目标，我们的第一个贡献是引入一组四个设计原语，可以正式定义任何压缩策略：（i）压缩触发器，（ii）数据布局，（iii）压缩粒度，（iv）数据移动策略。总之，这些原语可以综合现有的和全新的压缩策略。我们的第二个贡献是实验分析10个压缩策略。我们提出了12个观察结果和7个高级别的外卖信息，这些信息显示了LSM系统如何在紧凑设计空间中导航。
2022-02-26 cs.DB
[Extended Version] ArceKV: Towards Workload-driven LSM-compactions for Key-Value Store Under Dynamic Workloads
Nanyang Technological University（南洋理工大学）
ArceKV通过弹性LSM结构和轻量级压缩决策引擎，在动态工作负载下实现更高效的键值存储性能优化。
2026-01-28 cs.DB
Scavenger: Better Space-Time Trade-Offs for Key-Value Separated LSM-trees
本文提出 Scavenger，通过 I/O 高效的垃圾回收方案和基于补偿大小的空间感知压缩策略，在键值分离 LSM 树中实现更优的性能与空间放大权衡。
2025-08-19 cs.DB
LSM-Vec: A Memory-Efficient Disk-Based System for Large-Scale Dynamic Vector Search
Nanyang Technological University（南洋理工大学）
LSM-VEC结合分层图索引与LSM树存储，实现高效的动态向量搜索，支持出地更新，降低I/O开销，实验显示其在大规模数据集上优于现有磁盘基ANN系统。
2026-10-27 cs.DB
OceanBase Bacchus: a High-Performance and Scalable Cloud-Native Shared Storage Architecture for Multi-Cloud
OceanBase, Ant Group（蚂蚁集团 OceanBase）
OceanBase Bacchus是一种基于LSM树的多云共享存储架构，通过共享服务和异步后台服务实现高性能读写，显著提升OLTP和OLAP性能并降低存储成本。
2026-02-27 cs.DB
How to Grow an LSM-tree? Towards Bridging the Gap Between Theory and Practice
本文针对LSM树增长方式的设计问题，分析垂直与水平方案的局限，提出结合两者优势的Vertiorizon方法，实现查找、更新与空间成本间的更优平衡，并显著改善读写性能与空间开销。
2025-04-24 cs.DB
RESYSTANCE: Unleashing Hidden Performance of Compaction in LSM-trees via eBPF
Sogang University（西江大学）
RESYSTANCE通过eBPF和io_uring优化LSM树压缩，减少系统调用开销，提升压缩性能和写入吞吐量
2026-03-05 cs.DB
Application of Inventory Management Principles for Efficient Data Placement in Storage Networks
材料管理中的原则和策略与数据管理具有可比性和相似性。本文主要研究产品库存管理原则向数据库存管理原则的转换。已努力列举各种影响参数，以便考虑是否可以绘制任何数据清单模型。
2013-08-07 cs.DB
Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads
Nanyang Technological University（南洋理工大学）；Fudan University（复旦大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出RusKey键值存储，首次利用强化学习在线优化LSM树结构，并设计FLSM树实现压缩策略高效切换，无需先验工作负载知识即可在动态负载下实现最高达RocksDB 4倍的性能提升。
2023-09-17 cs.DB cs.LG
Re-enabling high-speed caching for LSM-trees
LSM树已被Google、Facebook和Amazon广泛用于云计算系统，以实现写密集型工作负载的高性能。然而，在LSM树中，随机键值查询可能会经历长的延迟和低吞吐量，由于压缩的干扰，在算法中的基本操作，缓存。LSM树依赖于频繁的压缩操作来将数据合并到排序结构中。压缩后，原始数据被重新组织并写入磁盘上的其他位置。结果，缓存的数据由于其引用地址被更改而无效，从而导致严重的性能下降。我们提出dLSM，以便在密集写入期间重新启用高速缓存。dLSM是一个LSM树，在磁盘上有一个压缩缓冲区，用作缓冲，以最大限度地减少压缩导致的缓存失效。压缩缓冲区维护频繁压缩数据的一系列快照，这些快照表示底层LSM树中相应数据的一致视图。压缩缓冲区中的数据以比压缩低得多的速率更新，几乎是静止的。在dLSM中，对象由对应块的磁盘地址引用，对于频繁压缩的数据，该磁盘地址位于压缩缓冲区中，对于不频繁压缩的数据，该磁盘地址位于底层LSM树中。因此，热对象可以有效地保存在缓存中，而不会出现有害的无效。在一个小的磁盘压缩缓冲区的帮助下，dLSM实现了高查询性能，通过启用有效的缓存，同时保留了LSM树的所有优点，用于写密集型数据处理。我们实现了基于LevelDB的dLSM。我们的评估表明，使用标准的DRAM缓存，dLSM可以实现5- 8倍的性能提高LSM与相同的缓存在HDD存储。
2016-06-07 cs.DB cs.DS
hStorage-DB: Heterogeneity-aware Data Management to Exploit the Full Capability of Hybrid Storage Systems
随着存储系统变得越来越异构和复杂，它增加了DBA的负担，即使在进行了大量人工工作之后，也会导致性能不佳。此外，现有的通过访问模式检测的基于监视的存储管理难以处理高度动态和并发的工作负载。为了最好地利用异构存储设备实现高性能，我们设计并实现了一个异构感知的DBMS存储管理的软件框架称为异构DB，语义信息是关键的存储I/O被识别和传递到存储管理器。根据收集的语义信息，请求被分为不同的类型。每种类型都分配有底层存储系统支持的适当QoS策略，以便每个请求都将由合适的存储设备提供服务。使用hash-DB，我们可以很好地利用语义信息，这些信息不能通过数据访问监控来检测，但对于混合存储系统特别重要。为了显示hash-DB的有效性，我们已经实现了一个系统原型，该原型由一个I/O请求分类启用DBMS，和一个混合存储系统，组织成一个两级缓存层次结构。我们的性能评估表明，hundre-DB可以自动作出适当的决定，在不同的存储设备的数据分配，并作出实质性的性能改善，在一个成本效益的方式。
2012-06-30 cs.DB
Multi-Tier Buffer Management and Storage System Design for Non-Volatile Memory
数据库管理系统（DBMS）中的缓冲器管理器的设计受易失性存储器（DRAM）和非易失性存储器的性能特性（例如，SSD）。关键的设计假设是，数据必须迁移到DRAM，以便DBMS对其进行操作，并且存储速度比DRAM慢几个数量级。但几乎与DRAM一样快的新非易失性存储器（NVM）技术的到来使之前的这些假设失效。本文介绍了用于管理和设计包括DRAM、NVM和SSD的多层存储层次结构的技术。我们的主要技术贡献是一个多层缓冲区管理器和存储系统设计师，利用NVM的特性。我们提出了一组优化的存储层次结构中的不同设备之间的数据迁移的效用最大化。我们证明，这些优化必须根据设备和工作负载的特点。鉴于此，我们提出了一种技术，用于适应这些优化，以实现一个接近最佳的缓冲区管理策略的任意工作负载和存储层次结构，而不需要任何手动调整。最后，我们提出了一个建议系统设计一个多层存储层次结构的目标工作负载和系统成本预算。我们的研究结果表明，NVM感知的缓冲区管理器和存储系统设计器提高了吞吐量，降低了不同事务和分析处理工作负载的系统成本。
2019-01-30 cs.DB
DumpKV: Learning based lifetime aware garbage collection for key value separation in LSM-tree
Microsoft（微软）；Sun Yat-sen University（中山大学）；Chongqing University（重庆大学）
本文提出DumpKV，一种基于学习的生命周期感知垃圾回收方法，通过动态调整和轻量级模型预测键的生命周期，在LSM-tree键值分离中实现高效垃圾回收，显著降低写放大达38%-73%。
2024-06-03 cs.AI cs.DB cs.LG
Columnar Storage and List-based Processing for Graph Database Management Systems
我们重新审视面向列的存储和查询处理技术的背景下，当代图形数据库管理系统（GDBMS）。与面向列的RDBMS类似，GDBMS支持读取繁重的分析工作负载，但与传统的分析工作负载相比，这些工作负载具有根本不同的数据访问模式。首先，我们推导出一套必要的优化存储和查询处理器的GDBMS的访问模式的基础上。然后，我们提出了设计的列存储，压缩和查询处理技术的基础上，这些desiderata。除了显示从列式RDBMS的现有技术的直接集成，我们还提出了新的GDBMS的优化。这些包括一个新的基于列表的查询处理器，它避免了传统的基于块的处理器在多对多连接下的昂贵的数据副本，一个新的数据结构，我们称之为单索引的边缘属性页和一个伴随的边缘ID计划，以及一个新的应用Jacobson的位向量索引压缩NULL值和空列表。我们将我们的技术集成到GraphflowDB内存GDBMS中。通过大量的实验，我们证明了我们的技术的可扩展性和查询性能的好处。
2021-10-27 cs.DB
Energy-Aware Disk Storage Management: Online Approach with Application in DBMS
能耗已经成为数据密集型计算系统设计和实现的首要优化目标。这在数据库管理系统（DBMS）的设计中尤其如此，它被发现是现代数据中心软件堆栈中的主要能源消耗者。在所有数据库组件中，存储系统是最耗电的元素之一。在以前的工作中，动态电源管理（DynamicPowerManagementTM）技术，使实时决策的磁盘转换到低功耗模式，通常用于节省能源的存储系统。在本文中，我们解决了在以前的贡献的可扩展性建议的局限性。我们引入了一个集成了模型预测控制（MPC）策略的磁盘优化模型，以最大限度地减少基于磁盘的存储系统的功耗，同时满足给定的性能要求。它动态地确定磁盘的状态，并计划磁盘间的数据片段迁移，以实现功耗和查询响应时间之间的理想平衡。通过分析我们的优化模型，以确定最优解的结构属性，我们提出了一个快速解决方案的启发式的并行计算算法，可以集成在大规模磁盘存储系统的有效状态配置和数据迁移。我们评估我们提出的想法通过运行模拟使用广泛的合成工作负载的基础上流行的TPC基准。我们的研究结果表明，我们的解决方案显着优于现有的最好的算法在节能和响应时间。
2017-03-07 cs.DB
Towards a Holistic Integration of Spreadsheets with Databases: A Scalable Storage Engine for Presentational Data Management
电子表格软件是交互式临时数据管理的首选工具，已被数十亿用户采用。然而，与数据库系统不同，电子表格是不可伸缩的。另一方面，数据库系统虽然具有高度可伸缩性，但不支持作为第一级原语的交互性。我们正在开发DataSpread，将电子表格作为前端接口与数据库作为后端接口进行整体集成，为电子表格提供可扩展性，并与数据库进行交互，我们将这种集成称为表示数据管理（PDM）。在本文中，我们朝着这个愿景迈出了第一步：开发一个存储引擎的PDM，研究如何灵活地表示数据库中的电子表格数据，以及如何支持和维护访问的位置。我们首先进行了广泛的调查，电子表格的使用，以激励我们的功能需求的存储引擎的PDM。我们开发了一套自然的机制，灵活地表示电子表格数据，并证明，确定最佳的表示是NP难的，但是，我们开发了一种有效的方法来确定最佳的表示从一个重要的和直观的子类表示。我们扩展我们的机制，位置访问机制，不遭受级联更新问题，导致恒定的时间访问和修改性能。我们在典型的电子表格和电子表格操作的工作负载上对这些表示进行了评估，存储减少了20%，公式评估时间减少了50%。
2017-10-06 cs.DB
DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees
Huawei（华为）
针对传统学习型索引忽略存储数据访问成本的问题，本文提出面向LSM树的双目标学习索引DobLIX，结合强化学习动态调参，在RocksDB中相比现有最优方法吞吐量提升1.19-2.21倍。
2025-09-02 cs.DB cs.LG math.OC
On Usage of Non-Volatile Memory as Primary Storage for Database Management Systems
本文研究将非易失性存储器（NVM）用作数据库主存储的影响，以PostgreSQL为例修改存储引擎并开发预取库，实验显示查询执行时间较磁盘和NVM存储最多减少54%和17%，平均减少23%和8%。
2025-02-13 cs.DB
Brame: Hierarchical Data Management Framework for Cloud-Edge-Device Collaboration
针对云边端协同数据管理缺乏系统理论方法及现有分层管理存在的运维成本高、数据定位难等问题，提出基于块的分层数据管理框架Brame，通过工作负载感知三层架构及离线块生成方法提升性能。
2025-02-12 cs.DB
Persistent Buffer Management with Optimistic Consistency
找到在现代数据库系统上利用非易失性存储器（NVM）的最佳方法仍然是一个悬而未决的问题。答案远非微不足道，因为大多数系统中存在的存储器和存储之间的明确边界似乎与NVM的固有存储器-存储器二元性不兼容。而不是把NVM单独作为内存或单独作为存储，在这项工作中，我们提出了如何NVM可以同时用作现代数据库系统的上下文中。我们在NVM上设计了一个持久的缓冲池，使页面能够直接由CPU读取/写入（如内存），同时在故障后恢复损坏的页面（如存储）。我们的方法的主要好处是在现有的数据库体系结构，降低成本（通过用NVM取代DRAM），更快的峰值性能恢复的简单集成。
2019-05-16 cs.DB
Autumn: A Scalable Read Optimized LSM-tree based Key-Value Stores with Fast Point and Range Read Speed
Autumn 提出 Garnering 合并策略动态调整层级容量比，将 LSM-tree 键值存储的点读和范围读复杂度从 O(logN) 降至 O(√logN)，同时保持更新性能，并在 LevelDB 上验证了真实负载下的性能提升。
2024-07-01 cs.DB cs.DS cs.IR
Tidehunter: Large-Value Storage With Minimal Data Relocation
Mysten Labs；UCL（伦敦大学学院）
Tidehunter通过将WAL视为永久存储，消除值合并，实现高吞吐量的大值存储，提升查询性能。
2026-02-03 cs.DB
Moving Processing to Data: On the Influence of Processing in Memory on Data Management
近数据处理是指基于存储和计算单元的协同定位的架构硬件和软件范例。理想情况下，它将允许在现场执行应用程序定义的数据或计算密集型操作，即在物理数据存储内（或接近物理数据存储）。因此，近数据处理旨在最大限度地减少昂贵的数据移动，提高性能，可扩展性和资源效率。内存中处理是近数据处理的一个子类，其目标是直接在内存（DRAM）芯片内进行数据处理。近数据处理的有效使用要求新的架构、算法、接口和开发工具链。
2019-05-12 cs.DB
DynaHash: Efficient Data Rebalancing in Apache AsterixDB (Extended Version)
并行无共享数据管理系统已被广泛用于利用机器集群进行高效和可扩展的数据处理。当一个集群需要动态扩展时，数据必须有效地重新平衡。理想情况下，数据重新平衡应该具有较低的数据移动成本，在数据摄取和查询处理上产生较小的开销，并且在线执行而不会阻塞读取或写入。然而，现有的并行数据管理系统在有效的数据重新平衡方面经常表现出某些限制和缺点。在本文中，我们介绍了DynaHash，一个有效的数据再平衡方法，结合了动态桶与可扩展的散列无共享的OLAP风格的并行数据管理系统。DynaHash使用可扩展哈希将记录动态地划分为多个桶，以较小的重新平衡成本实现良好的负载平衡。我们进一步描述了一个端到端的实现所提出的方法内的开源大数据管理系统（BDMS），Apache AsterixDB。我们的实现利用了LSM树的错位更新设计来有效地重新平衡数据，而不会阻塞并发读取和写入。最后，我们使用TPC-H基准测试进行了性能实验，并在这里展示了结果。
2021-05-24 cs.DB
IDSS, a Novel P2P Relational Data Storage Service
本文提出IDSS，一种基于P2P网络和嵌入式关系数据库的新型大规模数据存储服务，通过公共模式支持分布式查询处理，实现对海量数据的高效稳健管理。
2025-07-19 cs.DB cs.DC
INSTRUCT: Space-Efficient Structure for Indexing and Complete Query Management of String Databases
搜索引擎、词典和同义词词典存储以及其他文本挖掘应用的巨大扩展，与容易获得的扫描设备和光学字符识别工具的普及相结合，使得对于各种现代应用的大量文本数据库的有效存储、检索和管理成为必要。对于这样的应用程序，我们提出了一种新的数据结构，INFECT，有效地存储和管理的序列数据库。我们的结构使用位向量重用的存储空间，共同的三元组，因此，有一个非常低的内存需求。除了精确的字符串搜索操作之外，INCLUCT还通过迭代地检查三元组的存在来有效地处理前缀和后缀搜索查询。我们还提出了一个扩展的结构，以有效地处理子串搜索，虽然增加了空间的要求。这个扩展是很重要的，在上下文的trie为基础的解决方案，无法有效地处理这样的查询。我们进行了几个实验，描绘INDROCT优于现有的结构，近两个因素的空间需求方面，而查询时间更好。除了支持所有类型的查询（包括精确搜索、前缀/后缀搜索和子串搜索）之外，还能够处理字符串的插入和删除，这使得INCLECT成为一个完整的数据结构。
2012-07-03 cs.DB cs.DS
Designing a Secure, Scalable, and Cost-Effective Cloud Storage Solution: A Novel Approach to Data Management using NextCloud, TrueNAS, and QEMU/KVM
本文集成 NextCloud、TrueNAS 与 QEMU/KVM 构建安全、可扩展且经济的云存储方案，验证了其高性能、隔离安全性、扩展能力及五年期 50% 的成本降低潜力。
2024-12-06 cs.CR cs.DB
Deductive Optimization of Relational Data Storage
优化物理数据存储和数据检索是两个关键的数据库管理问题。在本文中，我们提出了一种语言，可以表达广泛的物理数据库布局，远远超出了广泛使用的数据库管理系统中的基于行和列的方法。我们使用演绎合成，把一个高层次的关系表示的数据库查询到一个高度优化的低层次的实现操作的数据集的一个专门的布局。我们建立了一个编译器，这种语言，并进行实验，使用一个流行的数据库基准，这表明，这些专门的查询的性能是有竞争力的国家的最先进的内存编译的数据库系统。
2020-02-05 cs.DB cs.PL
Learnings from an Under the Hood Analysis of an Object Storage Node IO Stack
传统的对象存储建立在传统的OS存储堆栈之上，其中I/O请求通常通过多个庞大且冗余的层进行传输。随着存储子系统对性能、一致性和容错性要求的不断提高，对象管理的复杂性急剧增加。简单地说，在I/O数据路径中会遇到更多的中间层，每个传递层都添加了自己的语法和语义。从而增加了请求处理的开销。在本文中，通过对对象存储节点进行全面的底层分析，我们描述了对象存储（和用户应用程序）工作负载对OS I/O堆栈的影响及其对底层对象存储设备（OSD）的后续影响。我们观察到，基于操作系统的I/O存储堆栈的传统体系结构与复杂的数据管理策略相结合，导致终端存储设备能够提供的性能与其在生产环境中实际提供的性能之间不匹配。因此，开发更快的存储设备所带来的好处往往是无效的。这些问题在高度并发和多路复用的云环境中变得更加突出。由于对象管理的相关问题和OS I/O软件栈的漏洞，我们讨论了一类新的存储设备，被称为对象驱动器的潜力。Samsung Key-Value SSD（KV-SSD）[1]和Seagate Kinetic Drive [2]是对象驱动器的经典工业实现，其中主机数据管理功能可以卸载到存储设备。这导致了整个存储堆栈的简化。基于我们的分析，我们相信对象驱动器可以减轻对象存储的数据管理的高负担，与传统的操作系统（OS）堆栈相比节省20-38%的时间。
2022-07-05 cs.AR cs.DB cs.DC
Runtime Optimization of Join Location in Parallel Data Management Systems
在并行系统上运行的应用程序通常需要将流式关系或存储关系与在并行数据存储系统中索引的数据联接。某些应用程序还计算连接元组上的UDF。连接可以在数据存储节点处完成，对应于减少侧连接，或者通过从存储系统提取数据到计算节点来完成，对应于映射侧连接。这两种方法都可能是次优的：reduce side joins可能会导致偏斜，而map side joins可能会导致大量数据被传输和复制。在本文中，我们提出的技术，使运行时的决定，这两个选项之间的每个键的基础上，以提高吞吐量的连接，占UDF计算，如果有的话。我们的技术是基于一个扩展的滑雪租赁算法，并提供最坏情况下的性能保证相对于我们所考虑的空间中的最佳点。我们的技术使用负载均衡，考虑到CPU，网络和I/O成本以及计算和存储节点上的负载。我们已经在Hadoop、Spark和Muppet流处理引擎上实现了我们的技术。我们的实验表明，我们的优化技术提供了一个显着的提高吞吐量超过现有的技术。
2017-07-31 cs.DB cs.DC
NeurStore: Efficient In-database Deep Learning Model Management System
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
本文提出NeurStore，一种数据库内深度学习模型管理系统，通过基于张量的细粒度存储、增量量化算法和压缩感知加载机制，实现高效存储与利用，显著提升压缩比和加载吞吐量。
2025-09-14 cs.DB cs.LG
Characterizing Big Data Management
University of São Paulo（圣保罗大学）
大数据管理是许多领域中越来越多的组织的现实，并且代表了涉及大数据建模、存储和检索、分析和可视化的一系列挑战。然而，技术资源、人员和流程对于促进任何类型组织的大数据管理至关重要，可以从大量数据中获得信息和知识来支持决策。大数据管理可以通过技术、人员和流程这三个维度来支撑。因此，本文讨论了这些维度：与大数据的存储，分析和可视化相关的技术维度;大数据的人性化方面;以及，此外，涉及技术和业务方法的流程管理维度-大数据管理方面。
2022-01-15 cs.AI cs.CY cs.DB
