HotRAP: Hot Record Retention and Promotion for LSM-trees with Tiered Storage
针对LSM树分层存储中热记录易被压缩至慢速存储导致读取性能下降的问题，提出基于RocksDB的HotRAP，利用特制LSM树追踪热度并通过三条路径及时提升并留存热记录，在多种工作负载下性能显著优于现有方法。
2024-12-19 cs.DB
KV-Tandem -- a Modular Approach to Building High-Speed LSM Storage Engines
本文提出KV-Tandem模块化架构，通过LSM bypass算法在简单KVS上构建LSM存储引擎，实现高级功能并保持高性能，其实现XDP-Rocks比RocksDB性能提升3至4倍且已投产。
2024-11-17 cs.DB
Pome: Parallelizing I/Os and Computations for Efficient LSM-tree-based Data Storage
ShanghaiTech University（上海科技大学）
针对LSM树存储系统中压缩操作因同步I/O导致长关键路径的问题，提出Pome，通过解耦计算与I/O并利用io_uring异步I/O及自适应速率限制器，显著提升RocksDB性能。
2026-06-23 cs.DB
On the Efficient Design of LSM Stores
在过去的十年中，键值数据存储系统已经从学术界和工业界获得了更多的兴趣。这些系统面临着存储空间和读取优化方面的众多挑战。通过引入新的管理技术和算法来改进当前的解决方案存在很大的潜力。在本文中，我们给出了一个概述的基本概念的键值数据存储系统，并提供了一个解释的瓶颈。在此基础上，提出了两种新的存储管理算法和一种改进的索引结构。最后，这些解决方案进行了比较和讨论。
2020-04-04 cs.DB
An LSM-based Tuple Compaction Framework for Apache AsterixDB (Extended Version)
文档数据库系统存储自我描述的半结构化记录，如JSON，“原样”，而不需要用户预先定义模式。这为用户提供了更改传入记录结构的灵活性，而不必担心使系统脱机或妨碍当前运行的查询的性能。然而，这种系统的灵活性并不自由。记录中的大量冗余可能会引入不必要的存储开销并影响查询性能。我们在本文中的重点是解决存储开销问题，通过引入元组压缩器框架，推断和提取模式的自我描述的半结构化记录在数据摄取。由于许多著名的文档存储，如MongoDB和Couchbase，在其存储引擎中采用日志结构化合并（LSM）树，我们的框架利用LSM生命周期事件来搭载模式推理和提取操作。我们已经实现并经验评估了我们的方法，以衡量其对Apache AsterixDB环境中的存储，数据摄取和查询性能的影响。
2020-05-11 cs.DB
BVLSM: Write-Efficient LSM-Tree Storage via WAL-Time Key-Value Separation
本文提出 BVLSM，在 WAL 阶段提前分离键值并以轻量元数据和多队列并行存储大值，从而降低 LSM 键值存储的写放大、内存浪费与 I/O 抖动。
2025-06-09 cs.DB
LearnedKV: Integrating LSM and Learned Index for Superior Performance on Storage
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
LearnedKV通过两层设计将LSM树与学习索引结合，利用非阻塞转换机制在垃圾回收时将LSM数据转为学习索引，从而在读性能上最高提升4.32倍、写性能最高提升1.43倍。
2025-04-11 cs.DB cs.LG
A survey of LSM-Tree based Indexes, Data Systems and KV-stores
本文综述了基于LSM-Tree的索引、数据系统与KV存储的研究现状，涵盖其结构改进及持久内存等新兴存储技术带来的影响。
2024-02-27 cs.DB
Real-Time LSM-Trees for HTAP Workloads
实时的【形】分析系统采用混合数据布局，其中数据在其整个生命周期中以不同格式存储。最近的数据以面向行的格式存储，以满足OLTP工作负载并支持高插入率，而较旧的数据则转换为面向列的格式，以满足OLAP访问模式。我们观察到，日志结构化合并（LSM）树是一个自然的适合生命周期感知存储引擎，由于其高写吞吐量和面向级别的结构，其中记录传播从一个级别到下一个随着时间的推移。为了使用LSM-Tree构建生命周期感知的存储引擎，我们进行了一个关键的修改，以允许不同级别的不同数据布局，从纯粹的面向行到纯粹的面向列，从而形成实时的【形】LSM-Tree。我们给出了一个成本模型和一个算法来设计一个实时的【形】LSM树，适合于给定的工作负载，其次是激光的实验评估-我们的想法建立在RocksDB的键值存储的原型实现。
2022-07-15 cs.DB
Storage Management with Multi-Version Partitioned B-Trees
数据库管理系统和K/V-Store在可更新的数据集上运行--大大超过了可用主存的大小。基于树的K/V存储管理结构在存储引擎中变得特别流行。B+树允许恒定的搜索性能，但是写入繁重的工作负载会导致对辅存设备的低效写入模式和较差的性能特征。LSM树通过水平分区数据来克服这个问题-小到足以完全驻留在主存中，但需要频繁维护以维持搜索性能。首先，我们提出了多版本分区BTree（MV-PBT）作为唯一的存储和索引管理结构的关键排序存储引擎，如K/V-Stores。其次，我们比较MV-PBT和LSM-树。MV-PBT中的逻辑水平分区允许在结构的小的透明和存储器驻留部分中利用现代B $^+$-树技术的最新进展。结构特性维持稳定的读取性能，产生高效的写入模式并降低写入放大。我们在WiredTiger KV存储引擎中集成了MV-PBT。在YCSB工作负载中，MV-PBT与LSM树相比提供了高达2倍的稳定吞吐量，与B+树相比增加了几个数量级。
2022-09-20 cs.DB
Aster: Enhancing LSM-structures for Scalable Graph Database
针对大规模演化图的密集更新与查询需求，研究提出含三项创新技术的Poly-LSM键值存储引擎，基于此构建支持Gremlin的Aster图数据库，实验证明其性能优于主流基线，在十亿级Twitter图上吞吐量最高提升17倍。
2025-01-11 cs.DB
LSM-OPD: Boosting Scan in LSM-Trees by Enabling Direct Computing on Compressed Data
本文提出 LSM-OPD 编码方案，通过保序字典压缩和列式键值分离布局，将 LSM-Tree 中大值上的压缩与过滤等扫描操作卸载到轻量级字典并利用 SIMD 向量化，从而同时缓解 I/O 受限和计算受限问题。
2025-08-16 cs.DB
Enabling Efficient Updates in KV Storage via Hashing: Design and Performance Evaluation
持久性键值（KV）存储主要建立在日志结构化合并（LSM）树上，以获得高写入性能，但LSM树受到固有的高I/O放大的影响。KV分离通过仅将键存储在LSM树中并将值存储在单独的存储中来减轻I/O放大。然而，当前KV分离设计在更新密集型工作负载下仍然是低效的，这是由于其在值存储中的高垃圾回收（GC）开销。我们提出了HashKV，其目标是在更新密集型工作负载下在KV分离之上实现高更新性能。HashKV使用基于散列的数据分组，它确定性地将值映射到存储空间，以便使更新和GC都高效。我们进一步放宽限制，这种确定性映射通过简单但有用的设计扩展。我们广泛评估了HashKV的各个设计方面。我们表明，与当前的KV分离设计相比，HashKV实现了4.6倍的更新吞吐量和53.4%的写入流量。此外，我们证明了我们可以将HashKV的设计与最先进的KV商店相结合，并提高各自的性能。
2019-06-17 cs.DB
O^3-LSM: Maximizing Disaggregated LSM Write Performance via Three-Layer Offloading
Arizona State University（亚利桑那州立大学）；Purdue University（普渡大学）；Google（谷歌）
O3-LSM通过三层卸载技术提升离散化LSM写性能，实现4.5倍写入速度和76%延迟降低。
2026-03-05 cs.DB
The Skiplist-Based LSM Tree
日志结构化合并（Log-Structured Merge，LSM）树提供了一种分层的数据存储和检索范例，这对于写优化的数据系统是有吸引力的。在内存中保持一个有效的缓冲区，并推迟更新超过其初始写入时间，该结构提供了快速的操作热数据。由于结构的每一层在逻辑上都是相互独立的，因此该结构也有利于机会优化和粒度优化。在本文中，我们介绍了基于跳跃列表的LSM树（sLSM），一种新的系统中，LSM的内存缓冲区是由一个序列的跳跃列表。我们开发的理论和实验结果表明，sLSM固有的调整参数的广度允许它广泛的灵活性，在各种各样的工作负载的优异性能。
2018-09-10 cs.DB
Constructing and Analyzing the LSM Compaction Design Space (Updated Version)
日志结构合并（LSM）树通过附加传入数据提供有效的摄取，因此被广泛用作生产NoSQL数据存储的存储层。为了实现有竞争力的读取性能，LSM树通过迭代压缩定期重新组织数据以形成具有指数级增加的容量的树。压缩从根本上影响LSM引擎在写入放大、写入吞吐量、点和范围查找性能、空间放大和删除性能方面的性能。因此，选择合适的压实策略是至关重要的，同时，由于LSM压实设计空间巨大，很大程度上未被探索，并且在文献中尚未正式定义，因此很难。因此，大多数基于LSM的引擎使用固定的压缩策略，通常由工程师亲自挑选，决定如何以及何时压缩数据。在本文中，我们提出了LSM压缩的设计空间，并评估国家的最先进的压缩策略的关键性能指标。为了实现这一目标，我们的第一个贡献是引入一组四个设计原语，可以正式定义任何压缩策略：（i）压缩触发器，（ii）数据布局，（iii）压缩粒度，（iv）数据移动策略。总之，这些原语可以综合现有的和全新的压缩策略。我们的第二个贡献是实验分析10个压缩策略。我们提出了12个观察结果和7个高级别的外卖信息，这些信息显示了LSM系统如何在紧凑设计空间中导航。
2022-02-26 cs.DB
[Extended Version] ArceKV: Towards Workload-driven LSM-compactions for Key-Value Store Under Dynamic Workloads
Nanyang Technological University（南洋理工大学）
ArceKV通过弹性LSM结构和轻量级压缩决策引擎，在动态工作负载下实现更高效的键值存储性能优化。
2026-01-28 cs.DB
Towards Flexibility and Robustness of LSM Trees
针对LSM树在云环境中的工作负载不确定性，提出鲁棒调优范式ENDURE及统一设计K-LSM，在RocksDB上实现高达5倍吞吐量提升，证明鲁棒性源于调优过程而非设计本身。
2023-11-16 cs.DB
Scavenger+: Revisiting Space-Time Tradeoffs in Key-Value Separated LSM-trees
本文针对键值分离 LSM 树中空间放大问题，提出 Scavenger+，通过 I/O 高效垃圾回收、空间感知压缩和动态 GC 调度实现性能与空间更优权衡，实验证明其优于 BlobDB、Titan 和 TerarkDB。
2025-08-19 cs.DB
Endure: A Robust Tuning Paradigm for LSM Trees Under Workload Uncertainty
日志结构化合并树（LSM树）越来越多地用作多个数据系统背后的存储引擎，经常部署在云中。与其他数据库架构类似，LSM树考虑了有关预期工作负载的信息（例如，读取与写入、点查询与范围查询），以通过调优来优化其性能。然而，由于多租户和现代应用程序的快速发展特性，在云等共享基础设施中运行会带来一定程度的工作负载不确定性。具有静态调优的系统降低了这种混合工作负载的可变性，因此提供了不一致和总体次优的性能。为了解决这个问题，我们引入了Endure -一个新的范例，用于在工作负载不确定的情况下调整LSM树。具体来说，我们专注于压缩策略，大小比例和内存分配的选择对整体性能的影响。Endure考虑了吞吐量最大化问题的鲁棒公式，并建议在每个预期工作负载的邻域内最大化最坏情况下的吞吐量。此外，不确定性调谐参数控制该邻域的大小，从而允许输出调谐是保守的或乐观的。通过基于模型和广泛的实验评估的耐力在国家的最先进的基于LSM的存储引擎，RocksDB，我们表明，强大的调优方法始终优于经典的调优策略。我们使用15个工作负载模板对Endure进行基准测试，这些模板生成10000多个独特的噪声工作负载。Endure输出的稳健调谐在存在不确定性的情况下使吞吐量提高了5 $\times$。另一方面，当观察到的工作负载与预期工作负载完全匹配时，Endure调优的性能损失可以忽略不计。
2021-11-03 cs.DB
Keigo: Co-designing Log-Structured Merge Key-Value Stores with a Non-Volatile, Concurrency-aware Storage Hierarchy (Extended Version)
本研究提出存储中间件Keigo，通过感知并发的数据放置、持久化只读缓存等技术，让生产级LSM键值存储适配异构存储层级，最高可将写、读密集型负载吞吐量分别提升4倍、18倍。
2025-06-17 cs.DB cs.DC
Lethe: A Tunable Delete-Aware LSM Engine (Updated Version)
数据密集型应用程序推动了基于日志结构化合并（LSM）的键值引擎的发展，这些引擎采用了不适当的范例来支持高摄取率和低读/写干扰。然而，这些好处的代价是将删除视为二等公民。删除操作会插入一个逻辑删除，使已删除键的较旧实例无效。最先进的LSM引擎不保证墓碑将以多快的速度传播以持久化删除。此外，LSM引擎仅支持删除排序关键字。删除另一个属性（例如，时间戳），整个树被读取和重写。我们强调，在不影响读取性能的情况下快速持久删除是支持以下内容的关键：（i）在数据窗口上运行的流式传输系统，（ii）对被遗忘权的隐私延迟保证，以及（iii）使存储成为宝贵资源的数据系统的云部署。为了解决这些挑战，在本文中，我们建立了一个新的键值存储引擎，Lethe，它使用了非常少量的额外的元数据，一组新的删除感知压缩策略，以及一个新的物理数据布局，编织排序和删除键顺序。我们表明，Lethe支持任何用户定义的删除持久性延迟阈值，提供更高的读取吞吐量（$1.17-1.4\times$）和较低的空间放大（$2.1-9.8\times$），适度增加写入放大（$4\%$和$25\%$之间）。此外，Lethe通过丢弃整个数据页而不牺牲读取性能，也不使用昂贵的全树合并，支持在辅助删除键上进行有效的范围删除。
2020-06-13 cs.DB
On 10x Better Scalability: KV Stores Scale Up KV Cache
Nanyang Technological University（南洋理工大学）
SGLANG-LSM通过数据库存储架构提升大规模LLM缓存性能，实现缓存命中率提升143%和TTFT降低24%。
2025-11-25 cs.DB
Scavenger: Better Space-Time Trade-Offs for Key-Value Separated LSM-trees
本文提出 Scavenger，通过 I/O 高效的垃圾回收方案和基于补偿大小的空间感知压缩策略，在键值分离 LSM 树中实现更优的性能与空间放大权衡。
2025-08-19 cs.DB
OceanBase Bacchus: a High-Performance and Scalable Cloud-Native Shared Storage Architecture for Multi-Cloud
OceanBase, Ant Group（蚂蚁集团 OceanBase）
OceanBase Bacchus是一种基于LSM树的多云共享存储架构，通过共享服务和异步后台服务实现高性能读写，显著提升OLTP和OLAP性能并降低存储成本。
2026-02-27 cs.DB
How to Grow an LSM-tree? Towards Bridging the Gap Between Theory and Practice
本文针对LSM树增长方式的设计问题，分析垂直与水平方案的局限，提出结合两者优势的Vertiorizon方法，实现查找、更新与空间成本间的更优平衡，并显著改善读写性能与空间开销。
2025-04-24 cs.DB
RESYSTANCE: Unleashing Hidden Performance of Compaction in LSM-trees via eBPF
Sogang University（西江大学）
RESYSTANCE通过eBPF和io_uring优化LSM树压缩，减少系统调用开销，提升压缩性能和写入吞吐量
2026-03-05 cs.DB
Balancing Garbage Collection vs I/O Amplification using hybrid Key-Value Placement in LSM-based Key-Value Stores
键值（KV）分离是一种在I/O访问模式中引入随机性以减少用于快速存储设备（NVMe）的基于LSM的键值存储中的I/O放大的技术。KV分离有一个明显的缺点，使其不那么有吸引力：在现代工作负载中很重要的删除操作，特别是更新操作，会导致值日志中频繁而昂贵的垃圾回收（GC）。在本文中，我们设计并实现了视差，它提出了混合KV放置，大大减少了GC开销，并最大限度地利用日志的好处。我们首先为不同KV对大小的KV分离的好处建模。我们使用该模型将KV对分为三类：小型、中型和大型。然后，视差对每个KV类别使用不同的方法：它总是将大值放在日志中，并将小值放在适当的位置。对于中值，它使用混合策略，结合了使用日志的好处并消除了GC开销，如下所示：它将中值放置在LSM结构中除了最后几个（通常是一个或两个）级别之外的所有日志中，在那里它执行完全压缩，合并值，并回收日志空间而无需GC。我们评估视差对RocksDB的地方，所有的值和BlobDB，总是执行KV分离。我们发现，对于除了基于扫描的YCSB工作负载之外的所有工作负载，Parallax将吞吐量提高了12.4倍和17.83倍，将I/O放大率降低了27.1倍和26倍，并将CPU效率分别提高了18.7倍和28倍。
2021-06-14 cs.DB
Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads
Nanyang Technological University（南洋理工大学）；Fudan University（复旦大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出RusKey键值存储，首次利用强化学习在线优化LSM树结构，并设计FLSM树实现压缩策略高效切换，无需先验工作负载知识即可在动态负载下实现最高达RocksDB 4倍的性能提升。
2023-09-17 cs.DB cs.LG
Re-enabling high-speed caching for LSM-trees
LSM树已被Google、Facebook和Amazon广泛用于云计算系统，以实现写密集型工作负载的高性能。然而，在LSM树中，随机键值查询可能会经历长的延迟和低吞吐量，由于压缩的干扰，在算法中的基本操作，缓存。LSM树依赖于频繁的压缩操作来将数据合并到排序结构中。压缩后，原始数据被重新组织并写入磁盘上的其他位置。结果，缓存的数据由于其引用地址被更改而无效，从而导致严重的性能下降。我们提出dLSM，以便在密集写入期间重新启用高速缓存。dLSM是一个LSM树，在磁盘上有一个压缩缓冲区，用作缓冲，以最大限度地减少压缩导致的缓存失效。压缩缓冲区维护频繁压缩数据的一系列快照，这些快照表示底层LSM树中相应数据的一致视图。压缩缓冲区中的数据以比压缩低得多的速率更新，几乎是静止的。在dLSM中，对象由对应块的磁盘地址引用，对于频繁压缩的数据，该磁盘地址位于压缩缓冲区中，对于不频繁压缩的数据，该磁盘地址位于底层LSM树中。因此，热对象可以有效地保存在缓存中，而不会出现有害的无效。在一个小的磁盘压缩缓冲区的帮助下，dLSM实现了高查询性能，通过启用有效的缓存，同时保留了LSM树的所有优点，用于写密集型数据处理。我们实现了基于LevelDB的dLSM。我们的评估表明，使用标准的DRAM缓存，dLSM可以实现5- 8倍的性能提高LSM与相同的缓存在HDD存储。
2016-06-07 cs.DB cs.DS
DumpKV: Learning based lifetime aware garbage collection for key value separation in LSM-tree
Microsoft（微软）；Sun Yat-sen University（中山大学）；Chongqing University（重庆大学）
本文提出DumpKV，一种基于学习的生命周期感知垃圾回收方法，通过动态调整和轻量级模型预测键的生命周期，在LSM-tree键值分离中实现高效垃圾回收，显著降低写放大达38%-73%。
2024-06-03 cs.AI cs.DB cs.LG
DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees
Huawei（华为）
针对传统学习型索引忽略存储数据访问成本的问题，本文提出面向LSM树的双目标学习索引DobLIX，结合强化学习动态调参，在RocksDB中相比现有最优方法吞吐量提升1.19-2.21倍。
2025-09-02 cs.DB cs.LG math.OC
Autumn: A Scalable Read Optimized LSM-tree based Key-Value Stores with Fast Point and Range Read Speed
Autumn 提出 Garnering 合并策略动态调整层级容量比，将 LSM-tree 键值存储的点读和范围读复杂度从 O(logN) 降至 O(√logN)，同时保持更新性能，并在 LevelDB 上验证了真实负载下的性能提升。
2024-07-01 cs.DB cs.DS cs.IR
Tidehunter: Large-Value Storage With Minimal Data Relocation
Mysten Labs；UCL（伦敦大学学院）
Tidehunter通过将WAL视为永久存储，消除值合并，实现高吞吐量的大值存储，提升查询性能。
2026-02-03 cs.DB
TVA: A Version-aware Temporal Graph Storage System for Real-time Analytics
Renmin University of China（中国人民大学）；Zhejiang Univ.（浙江大学）
提出TVA时序图存储系统，通过多版本存储架构、时序表和增强跳房子哈希，以及版本跳过策略，实现高效时序查询，延迟降低9.9倍，存储开销降低2.2倍。
2026-07-02 cs.DB
Principles of Dataset Versioning: Exploring the Recreation/Storage Tradeoff
协作数据科学和分析的相对容易性已经导致在许多科学和商业领域中的相同数据集的成千上万或数百万个$versions$的激增，这些数据集在许多用户之间的数据分析的各个阶段获得或构建，并且通常在很长一段时间内。管理、存储和重新创建这些数据集版本是一项重要的任务。这里的基本挑战是$storage-recreation\;trade-off$：我们使用的存储越多，重新创建或检索版本的速度就越快，而我们使用的存储越少，重新创建或检索版本的速度就越慢。尽管这个问题的基本性质，有一个令人惊讶的工作量很少。在本文中，我们研究这个权衡原则的方式：我们制定了六个问题，在各种设置下，权衡这些数量以各种方式，证明了大多数问题是棘手的，并提出了一套廉价的算法，从延迟约束调度技术，和生成树文献，来解决这些问题。我们已经建立了一个原型版本管理系统，旨在作为我们的DATAHUB系统的基础，以促进协作数据科学。我们证明，通过广泛的实验，我们提出的算法提供了有效的解决方案，在实际的数据集版本控制方案。
2015-05-19 cs.DB
A Parallel IFC Normalization Algorithm for Incremental Storage and Version Control
针对IFC文件因图结构等价变换难以版本比较和增量存储的问题，提出并行IFC规范化算法，减少等价变换影响，支持类Git工具，实验验证效率及CDE应用潜力。
2023-09-12 cs.DB
Cornus: Atomic Commit for a Cloud DBMS with Storage Disaggregation (Extended Version)
两阶段提交（Two-Phase Commit，2 PC）是分布式数据库中广泛使用的一种保证分布式事务原子性的提交机制。然而，2 PC有两个局限性。首先，它需要在关键路线上进行两次急切日志写入，这会导致很大的延迟。第二，当协调器失败时，参与者可能会被阻止等待协调器的决定，导致无限长的延迟和低吞吐量。2 PC最初是为无共享架构设计的。我们观察到，上述两个问题可以在一个新兴的存储解聚体系结构中解决，该体系结构在存储层中提供比较和交换功能。我们提出了Cornus，一个优化的2 PC协议的云数据库管理系统与存储分解。我们目前山茱萸详细证明，并显示它如何解决2 PC中的两个限制。我们还将其部署在真实的存储服务上，包括Azure Blob Storage和Redis。经验评估表明，Cornus可以在2 PC上实现高达1.9倍的延迟加速。
2022-10-13 cs.DB
RadixGraph: A Fast, Space-Optimized Data Structure for Dynamic Graph Storage (Extended Version)
Nanyang Technological University（南洋理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
RadixGraph通过高效的基数树结构和混合快照日志架构，实现了动态图存储的高速更新和低内存消耗。
2026-01-22 cs.DB
CompassDB: Pioneering High-Performance Key-Value Store with Perfect Hash
针对LSM-tree在SSD下CPU瓶颈与高读写放大问题，提出基于双层完美哈希表(TPH)的CompassDB，将索引查找降至O(1)，显著提升吞吐量并降低延迟。
2024-06-26 cs.DB
RStore: A Distributed Multi-version Document Store
我们解决的问题，competencies存储大量的版本（快照）的关键文件或记录的集合在分布式环境中，同时有效地回答了各种检索查询，包括检索完整或部分版本，和特定的键的演变历史。我们激励这样一个系统在各种应用领域的需求不断增加，仔细探索构建这样一个系统的设计空间和各种存储计算检索权衡，并讨论不同的存储布局如何影响这些权衡。我们提出了一种新的系统架构，满足这样一个系统的关键desiderata，并提供简单的调整旋钮，允许适应特定的数据和查询工作量。我们的系统旨在充当分布式键值存储之上的一层，存储原始数据以及任何索引。我们设计了新的离线存储布局算法，有效地划分数据，以尽量减少存储成本，同时保持低检索成本。我们还提出了一个在线算法来处理新版本被添加到系统。通过在大型数据集上进行广泛的实验，我们证明了我们的系统在大多数实际场景中所需的规模上运行，并且通常优于标准基线，包括基于增量的存储引擎。
2018-02-23 cs.DB
Robust and Scalable Content-and-Structure Indexing (Extended Version)
半结构化层次数据上的频繁查询是内容和结构（CAS）查询，其基于数据项在层次结构中的位置及其对于某些属性的值来过滤数据项。我们提出了鲁棒和可扩展的内容和结构（RSCAS）索引，以有效地回答大半结构化数据的CAS查询。为了得到一个索引，是强大的对不同的选择性查询，我们引入了一种新的动态交织，合并的路径和复合键的值尺寸在一个平衡的方式。我们在基于trie-based的RSCAS索引中存储交错的键，这有效地支持广泛的CAS查询，包括带有通配符和后代轴的查询。我们将RSCAS实现为日志结构合并（LSM）树，以扩展到具有高插入率的数据密集型应用程序。我们说明RSCAS的鲁棒性和可扩展性的索引数据从软件遗产（SWH）的存档，这是世界上最大的，公开的源代码存档。
2022-09-12 cs.DB
AeonG: An Efficient Built-in Temporal Support in Graph Databases
本文提出内置时序支持的图数据库AeonG，通过混合存储引擎和anchor+delta策略降低历史存储开销，并利用基于anchor的版本检索加速时序查询，在存储消耗和查询延迟上显著优于现有方法。
2024-04-01 cs.DB
DynaHash: Efficient Data Rebalancing in Apache AsterixDB (Extended Version)
并行无共享数据管理系统已被广泛用于利用机器集群进行高效和可扩展的数据处理。当一个集群需要动态扩展时，数据必须有效地重新平衡。理想情况下，数据重新平衡应该具有较低的数据移动成本，在数据摄取和查询处理上产生较小的开销，并且在线执行而不会阻塞读取或写入。然而，现有的并行数据管理系统在有效的数据重新平衡方面经常表现出某些限制和缺点。在本文中，我们介绍了DynaHash，一个有效的数据再平衡方法，结合了动态桶与可扩展的散列无共享的OLAP风格的并行数据管理系统。DynaHash使用可扩展哈希将记录动态地划分为多个桶，以较小的重新平衡成本实现良好的负载平衡。我们进一步描述了一个端到端的实现所提出的方法内的开源大数据管理系统（BDMS），Apache AsterixDB。我们的实现利用了LSM树的错位更新设计来有效地重新平衡数据，而不会阻塞并发读取和写入。最后，我们使用TPC-H基准测试进行了性能实验，并在这里展示了结果。
2021-05-24 cs.DB
Marlin: Efficient Coordination for Autoscaling Cloud DBMS (Extended Version)
针对云数据库控制平面依赖外部融合协调服务存在的扩展性、成本与运维问题，本研究提出云原生协调机制Marlin，通过解耦协调功能、整合进现有数据库并优化提交协议，实现了更高的成本效率和更快的重配置速度。
2025-08-03 cs.DB
Version 0.1 of the BigDAWG Polystore System
多存储系统是由集成的异构数据库引擎和多种程序设计语言组成的数据库管理系统（DBMS）。通过将数据与最适合其需求的存储引擎相匹配，复杂的分析可以更快地运行，灵活的存储选择有助于改善数据组织。BigDAWG（Big Data Working Group）是我们对polystore系统的参考实现。在本文中，我们描述了当前的BigDAWG软件版本，支持PostgreSQL，Accumulo和SciDB。我们描述了将BigDAWG应用于MIMIC II医疗数据集的整体架构、API和初步结果。
2017-07-03 cs.DB
Spatial Parquet: A Column File Format for Geospatial Data Lakes [Extended Version]
现代数据分析应用程序更喜欢使用列存储格式，因为它们通过编码和压缩提高了存储效率。Parquet是最流行的列数据存储文件格式，它提供了几个开箱即用的好处。然而，Parquet并不支持地理空间数据。本文介绍了Spatial Parquet，一个有效支持地理空间数据的Parquet扩展。Spatial Parquet继承了Parquet对非空间数据的所有优点，例如丰富的数据类型、压缩和列/行过滤。此外，它还增加了三个新功能，以适应地理空间数据。首先，它引入了一种地理空间数据类型，可以将所有标准空间数据类型编码为与Parquet兼容的列格式。其次，它增加了一种新的无损和高效的编码方法，称为FP-delta，该方法可定制为有效地存储以浮点格式存储的地理空间坐标。第三，它添加了一个轻量级的空间索引，允许读者跳过文件的非相关部分，以提高阅读效率。在大规模真实数据上的实验表明，SpatialParquet可以将数据大小减少三分之一，即使没有压缩。压缩可以进一步减小存储大小。此外，当应用轻量级索引时，Spatial Parquet可以将阅读时间减少两个数量级。这个初始原型可以打开新的研究方向，以进一步改善列格式的地理空间数据存储。
2022-09-05 cs.DB
RapidStore: An Efficient Dynamic Graph Storage System for Concurrent Queries
针对动态图存储中并发读写效率低和逐边版本控制开销大的问题，提出RapidStore系统，通过解耦读写查询管理与版本数据，实现高效的并发图查询与性能平衡。
2025-07-01 cs.DB
COLE$^+$: Towards Practical Column-based Learned Storage for Blockchain Systems
Hong Kong Baptist University（香港浸会大学）；Hong Kong Polytechnic University（香港理工大学）
COLE$^+$通过引入支持回退的内存树结构和可修剪版本树，解决了区块链存储中的链重组织和状态修剪问题，提高了存储效率和实用性。
2026-02-28 cs.DB
To Store or Not to Store: a graph theoretical approach for Dataset Versioning
研究成本高效的数据版本控制问题，提出针对树状图和有界树宽图的多项式时间近似算法及 LMG-All 等新启发式算法，在理论和实证上均优于现有方法。
2024-02-18 cs.CC cs.DB cs.DC
Minimizing Content Staleness in Dynamo-Style Replicated Storage Systems
数据存储系统中的一致性要求任何读操作返回内容的最新写入版本。在复制存储系统中，一致性是以大规模读写操作造成的延迟为代价的。许多具有低延迟要求的应用容忍数据陈旧，以便提供高可用性和低操作延迟。使用年龄的信息作为陈旧性度量，我们研究了一个数据更新系统，其中实时内容更新复制和存储在一个Dynamo风格的基于仲裁的分布式系统。源将更新发送到系统中的所有节点，并等待来自最早节点子集（称为写仲裁）的应答。感兴趣的客户端从另一组节点（定义为读仲裁）获取更新。我们分析了不同的写仲裁大小在复制存储的陈旧延迟权衡。对于较大的写入仲裁，瞬时读取更有可能获得源写入的最新更新。但是，随着写入仲裁大小的增加，写入系统的内容的年龄更有可能变得陈旧。对于移位指数分布的写延迟，我们推导出年龄优化的写仲裁大小，该大小平衡了读取最新更新的可能性和由源写入的最新更新的新鲜度。
2018-04-02 cs.DB cs.DC cs.NI
