Bespoke OLAP: Synthesizing Workload-Specific One-size-fits-one Database Engines
Technical University of Darmstadt（达姆施塔特工业大学）；Microsoft Gray-Systems-Lab（微软格雷系统实验室）；DFKI（德国人工智能研究中心）
Bespoke OLAP通过自动化合成流程，生成针对特定工作负载的高性能数据库引擎，实现比通用系统高多个数量级的性能提升。
2026-07-24 cs.DB
NeurBench: A Benchmark Suite for Learned Database Components with Drift Modeling
National University of Singapore（新加坡国立大学）；Beijing Institute of Technology（北京理工大学）；Zhejiang University（浙江大学）
本文提出NeurBench基准套件，用于评估在可测量和可控的数据和工作负载漂移下学得数据库组件的性能，通过引入漂移因子量化不同类型的漂移，并模拟现实中的漂移场景。
2026-04-15 cs.DB
Does query performance optimization lead to energy efficiency? A comparative analysis of energy efficiency of database operations under different workload scenarios
随着在线服务的不断增加以及能源成本的不断增加，能源消耗成为评估数据中心运营的重要成本因素。造成这种情况的一个重要因素是数据库服务器的性能，据认为，数据库服务器是在线服务的骨干。从软件的角度来看，虽然市场上出现了一系列新颖的数据管理技术，例如基于键值的数据库或内存数据库，但经典的关系数据库管理系统（RDBMS）仍然被广泛使用。此外，从硬件的角度来看，大多数数据库服务器仍然使用标准的磁性硬盘驱动器（HDD），而不是固态硬盘（SSD），因为每GB的存储成本较低，忽略了由于高成本可能带来的性能提升。在这项研究中，我们专注于基于软件的数据库服务器的能耗评估，通过运行三个不同的和完整的数据库工作负载，即TCP-H，星型架构基准-SSB以及我们为这项研究推导出的修改后的基准称为W22。我们配置文件之间的最重要的服务器组件的能量分布，并通过使用不同的资源分配，我们评估的能源消耗的一个典型的开源关系数据库管理系统（PostgreSQL）在标准服务器上的性能（测量查询时间）。结果证实了众所周知的事实，即使是完整的工作负载，RDBMS的优化结果，以降低能耗。
2013-03-20 cs.DB
AgenticDB: Self-Evolving Reconfiguration Framework for Database Workloads
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；The Chinese University of Hong Kong（香港中文大学）
提出AgenticDB框架，通过运行时交互实现数据库系统级和操作系统级重配置，诊断瓶颈并积累经验，在MySQL和PostgreSQL上平均性能提升118.1%。
2026-08-28 cs.DB
Greenplum: A Hybrid Database for Transactional and Analytical Workloads
企业数据仓库解决方案支持实时在线事务处理（OLTP）查询以及长时间运行的在线分析处理（OLAP）工作负载的需求正在增长。Greenplum数据库传统上被称为OLAP数据仓库系统，处理OLTP工作负载的能力有限。在本文中，我们将Greenplum扩展为一个混合系统，以同时为OLTP和OLAP工作负载提供服务。我们在这里所面临的挑战是在保持ACID属性的同时以最小的性能开销实现这一目标。在这项工作中，我们确定了工程和性能瓶颈，如表现不佳的限制性锁定和两阶段提交协议。接下来，我们解决事务查询和分析查询之间的资源争用问题。我们提出了一个全局死锁检测器，以增加查询处理的并发性。当保证更新数据的事务只驻留在一个段上时，我们引入了单阶段提交来加速查询处理。我们的资源组模型引入了将OLAP和OLTP工作负载分离到更合适的查询处理模式的功能。TPC-B和CH-benCHmark基准测试表明，我们的方法在不牺牲OLAP性能的情况下提高OLTP性能的有效性。
2021-05-14 cs.DB
Breaking the Barriers of Database-Agnostic Transactions
Scalar, Inc.（Scalar公司）
本文提出原子性单元（AU）概念，通过下推数据库操作提升性能并实现事务元数据与应用数据的高效分离，从而解决数据库无关事务管理中的性能优化和模式迁移问题。
2026-02-23 cs.DB
Hihooi: A Database Replication Middleware for Scaling Transactional Databases Consistently
随着互联网和互联网连接设备的出现，现代业务应用程序可能会经历快速增长以及事务工作负载的变化。数据库复制已被用于扩展性能并提高关系数据库的可用性，但过去的方法受到各种问题的困扰，包括有限的可扩展性、性能与一致性的权衡以及对数据库或应用程序修改的要求。本文介绍了Hihooi，一个基于复制的中间件系统，能够实现工作负载的可扩展性，强一致性保证，并以较低的成本为现有的事务数据库的弹性。一种新颖的复制算法使Hihooi能够高速异步地将数据库修改传播到所有副本，同时确保所有副本是一致的。同时，使用细粒度路由算法以一致的方式将传入事务负载均衡到可用副本。我们通过几个成熟的基准测试进行了全面的实验评估，展示了Hihooi如何能够为事务数据库实现几乎线性的工作负载可扩展性。
2020-03-22 cs.DB
Using Fuzzy Matching of Queries to optimize Database workloads
有向无环图（DAG）通常用于数据库和大数据计算引擎，如Apache Spark，用于表示查询的执行计划。我们将这样的图称为查询定向非循环图（QDAG）。本文使用相似性哈希来得到指纹，使得指纹体现了QDAG查询的计算需求。由此获得的指纹可以用于基于过去执行的具有类似QDAG的查询来预测查询的运行时行为。我们讨论了两种获得指纹的方法，它们的优点和缺点，以及如何将这两种方法的各个方面结合起来以改进预测。使用混合的方法，我们证明，我们能够预测运行时的QDAG的行为超过80%的准确性。
2022-07-14 cs.DB
Detecting coherent explorations in SQL workloads
本文提出了一种建议，旨在更好地了解SQL查询的工作负载和检测隐藏在工作负载中的一致性探索。特别是，我们的工作调查了SQLShare [11]，这是一个数据库即服务平台，针对具有最少数据库经验的科学家和数据科学家，其工作量可供研究社区使用。根据[11]的作者，这个工作负载是唯一一个主要包含对用户上传的数据集进行特别手写查询的工作负载。我们通过提取SQL查询的特征来分析此工作负载，并展示如何使用这些特征将SQL查询序列分离为有意义的探索。我们在各种查询工作负载上运行了几个测试，以经验验证我们的方法。
2019-07-12 cs.DB
NHtapDB: Native HTAP Databases
原生数据库（1）提供了一个接近数据的机器学习框架，以促进生成实时业务洞察，预定义的更改阈值将触发新模型的在线训练和部署，（2）提供了一个混合格式的存储，以保证HTAP工作负载的性能，特别是在在线事务之间包含OLAP查询的混合工作负载。我们为本地数据库制定了严格的测试计划，并采用了增强的最先进的HTAP基准。
2023-02-20 cs.DB
Database Workload Characterization with Query Plan Encoders
University of Utah（犹他大学）
智能数据库正在采用人工智能（AI）技术来实现{\em实例优化}，未来，数据库将在其核心组件中提供预打包的AI模型。原因是每个数据库都运行在不同的工作负载上，需要特定的资源和设置来实现最佳性能。它提示了全面了解系统中运行的工作负载及其特性的必要性，我们称之为工作负载表征。为了解决这个工作负载表征问题，我们提出了我们的查询计划编码器，学习基本功能和它们的相关性查询计划。我们的预训练编码器独立地捕获查询的{\em结构}和{\em计算性能}。我们证明了我们的预训练编码器能够适应加速迁移学习过程的工作负载。我们对具有多个下游任务的结构编码器和性能编码器进行了独立评估。对于我们的查询计划编码器的总体评估，我们架构了两个下游任务（i）查询延迟预测和（ii）查询分类。这些任务显示了基于功能的工作负载表征的重要性。我们还对单个编码器进行了广泛的实验，以验证表示学习和领域适应性的有效性。
2021-05-26 cs.AI cs.DB
Stochastic Database Cracking: Towards Robust Adaptive Indexing in Main-Memory Column-Stores
现代商业应用和科学数据库要求固有的动态数据存储环境。这种环境的特点是两个具有挑战性的特点：（a）他们有很少的空闲系统时间投入物理设计;（b）有很少的，如果有的话，先验的工作负载知识，而查询和数据的工作负载保持动态变化。在这样的环境中，传统的索引构建和维护方法无法适用。数据库破解已经被提出作为一种解决方案，允许在运行中的物理数据重组，作为查询处理的附带影响。Cracking的目标是连续自动地使索引适应手头的工作负载，而无需人工干预。索引是按需增量、自适应地构建的。然而，正如我们所展示的，现有的自适应索引方法无法提供工作负载鲁棒性;它们在随机工作负载下的表现要比其他方法好得多。这种脆弱性源于这些方法将每个查询解释为数据应该如何存储的提示的不灵活性。当前的破解方案盲目地在每个查询的范围内重新组织数据，即使这导致连续的昂贵操作，索引收益最小。在本文中，我们介绍了随机破解，一个更有弹性的自适应索引方法。随机破解也使用每个查询作为如何重组数据的提示，但不是盲目的;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此，我们提出了自适应索引到一个成熟的配方，赋予以前的方法缺乏的工作负载鲁棒性。我们广泛的实验研究验证了随机破解保持了原始数据库破解所需的属性，同时在不同的现实工作负载下表现良好。
2012-03-01 cs.DB
Real-time Workload Pattern Analysis for Large-scale Cloud Databases
Zhejiang University（浙江大学）；Aalborg University（奥尔堡大学）；Alibaba Group（阿里巴巴集团）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
本文提出实时系统 Alibaba Workload Miner（AWM），通过编码 SQL 查询日志、按业务组挖掘工作负载模式并训练分类模型来优化云数据库查询处理，实验表明其模式发现准确率提升 66%，在线推理延迟降低 22%。
2023-07-05 cs.AI cs.DB
LifeRaft: Data-Driven, Batch Processing for the Exploration of Scientific Databases
梳理大量数据的工作负载在科学中越来越重要。这些工作负载由“大海捞针”查询组成，这些查询需要长时间运行且数据密集，因此查询吞吐量限制了性能。为了最大限度地提高数据密集型查询的吞吐量，我们提出了LifeRaft：一个查询处理系统，批量查询重叠的数据需求。LifeRaft不是按照到达顺序来调度查询，而是按照最大化查询之间的数据共享的数据排序来并发地执行查询。这减少了I/O并提高了缓存利用率。但是，这种批处理会使交互式工作负载不足，从而增加查询响应时间。LifeRaft使用受磁盘驱动器中磁头调度启发的技术来解决饥饿问题。根据工作负载饱和度和排队时间，系统自适应地和增量地权衡处理查询的到达顺序和数据驱动的批处理。在天文数据库的SkyQuery联邦中评估LifeRaft，发现查询吞吐量有两倍的提高。
2009-09-09 cs.DB
Towards Dynamic and Safe Configuration Tuning for Cloud Databases
数据库系统的配置旋钮对于实现高吞吐量和低延迟是必不可少的。最近，使用机器学习方法（ML）的自动调优系统已经显示出与有经验的数据库管理员（DBA）相比找到更好的配置。然而，在生产环境中应用现有系统仍然存在差距，特别是在云中。首先，它们在有限的时间窗口内对给定的工作负载进行调优，而忽略了工作负载和数据的动态性。其次，它们依赖于复制的实例，在对配置进行采样时不考虑数据库的可用性，这使得调优成本高、延迟且不安全。为了填补这些空白，我们提出了OnlineTune，它可以在不断变化的云环境中安全地调整在线数据库。为了适应数据库的动态性，OnlineTune将环境因素作为上下文特征嵌入数据库中，并采用上下文空间划分的上下文贝叶斯优化算法对数据库进行自适应、可扩展的优化。为了追求调优过程中的安全性，我们利用黑盒和白盒知识来评估配置的安全性，并通过子空间自适应提出了一种安全的探索策略。大大降低了应用不良配置的风险。我们对来自基准测试和真实工作负载的动态工作负载进行评估。与现有方法相比，OnlineTune在累计性能上提高了14.4%~165.3%，同时减少了91.0%~99.5%的不安全配置建议。
2022-03-28 cs.DB
SeLeP: Learning Based Semantic Prefetching for Exploratory Database Workloads
针对现有数据库预取方法难以适配探索性工作负载、无法预测复杂访问模式的问题，提出基于编码器-解码器LSTM的语义预取器SeLeP，通过学习数据访问模式显著提升命中率并减少I/O时间。
2024-09-16 cs.DB
CoroBase: Coroutine-Oriented Main-Memory Database Engine
由于使用了指针丰富的数据结构，数据停顿是主存数据库引擎中的主要开销。轻量级协同程序通过重叠计算和异步数据预取简化了软件预取的实现，以隐藏数据停顿。然而，以前的解决方案主要集中在（1）单个组件和操作，以及（2）需要接口更改的事务内兼容性，破坏了向后兼容性。目前尚不清楚它们如何应用于完整的数据库引擎，以及它们在各种工作负载下带来了多少端到端的好处。本文介绍了\corobase，一个内存数据库引擎，解决了这些挑战与一个新的协同程序到事务的范例。协程到事务将事务建模为协程，从而实现事务间的互操作，避免了应用程序更改，但保留了预取的优点。我们发现，在48核服务器上，CoroBase在读取密集型工作负载方面的性能提高了近2倍，并且在本质上无法从软件预取中受益的工作负载方面保持了竞争力。
2020-10-29 cs.DB
A Layered Aggregate Engine for Analytics Workloads
本文介绍了LMFAO（分层多功能聚集优化），一个在内存中的优化和执行引擎，对输入数据库的批量聚集。这项工作的主要动机源于这样的观察，即对于数据库上的各种分析，它们的数据密集型任务可以通过输入数据库关系的连接分解为分组聚合。我们将LMFAO的多功能性和竞争力用于一些广泛使用的分析：学习岭线性回归，分类树，回归树和使用Chow-Liu树的贝叶斯网络结构;以及用于数据仓库探索的数据立方体。LMFAO由几层逻辑和代码优化组成，这些优化系统地利用了计算共享、并行性和代码专门化。我们进行了两种性能基准测试。在四个数据集的实验中，LMFAO的表现优于几个数量级，一方面，商业数据库系统和MonetDB用于计算批量聚合，另一方面，TensorFlow，Scikit，R和AC/DC用于在数据库上学习各种模型。
2019-06-20 cs.DB
Index Selection for NoSQL Database with Deep Reinforcement Learning
提出了一种新的NoSQL数据库索引选择方法。针对不同的工作负载，选择不同的索引及其参数来优化数据库性能。该方法建立了一个深度强化学习模型，以选择一个最佳的指标，为给定的固定工作负载和适应不断变化的工作负载。实验结果表明，深度强化学习索引选择方法（DRLISA）相对于传统的单索引结构，在性能上有不同程度的提高。
2020-06-16 cs.AI cs.DB
ABase: the Multi-Tenant NoSQL Serverless Database for Diverse and Dynamic Workloads in Large-scale Cloud Environments
本文提出字节跳动的多租户 NoSQL serverless 数据库 ABase，通过缓存感知隔离、预测性自动扩缩容和多资源重调度，解决多样化动态负载下的隔离、弹性与资源均衡问题。
2025-05-12 cs.DB
Six Dimensions of Benchmarking Time-Series Databases
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出时序数据库基准测试框架SciTSv2，从六个维度评估四款不同存储引擎的TSDB，揭示单轴基准掩盖的架构行为，为架构师提供性能诊断与存储引擎选择依据。
2026-08-04 cs.DB
PBench: Workload Synthesizer with Real Statistics for Cloud Analytics Benchmarking
针对云分析基准无法反映真实工作负载统计的问题，提出PBench，通过多目标优化选择组件、时间戳分配及LLM增强，生成高保真合成工作负载，误差降低达6倍。
2025-06-19 cs.DB
Query Log Compression for Workload Analytics
分析数据库访问日志是性能调优、入侵检测、基准测试开发和许多其他数据库管理任务的关键部分。不幸的是，生产数据库通常每天要处理数百万甚至更多的查询，因此必须在使用这些日志之前对其进行汇总。设计适当的摘要编码需要在简洁性和信息内容之间进行权衡。例如：简单的工作负载采样可能会错过罕见的，但高影响的查询。在本文中，我们提出了LogR，一个有损日志压缩方案适用于许多自动日志分析工具，以及人为检查。我们形式化和分析的空间/保真度权衡的背景下，更广泛的家庭的“模式”和“模式混合物”的日志编码LogR属于。我们通过一系列实验表明，LogR压缩编码可以有效地创建，其准确性具有可证明的信息理论界限，并且优于最先进的日志摘要策略。
2018-09-29 cs.DB
Automatic Storage Structure Selection for hybrid Workload
Harbin Institute of Technology（哈尔滨工业大学）
在数据库系统的使用中，存储引擎和数据模型的设计直接影响数据库执行查询时的性能。因此，数据库的使用者需要根据遇到的工作量来选择存储引擎和设计数据模型。然而，在混合工作负载中，数据库的查询集是动态变化的，其最优存储结构的设计也在变化。基于此，提出了一种基于学习代价的存储结构自动选择系统，用于在混合负载下动态选择数据库的最优存储结构。在该系统中，我们引入了一种机器学习方法来建立存储引擎的成本模型，以及一种面向列的数据布局生成算法。实验结果表明，该系统能够根据当前的工作负载选择存储引擎和数据模型的最优组合，大大提高了默认存储结构的性能。系统设计为兼容不同的存储引擎，便于实际应用。
2020-08-15 cs.DB cs.LG
PLRTune: Importance Pre-Sampling and LLM-Guided Reinforcement Learning for Automatic Database Tuning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Hangzhou Institute for Advanced Study, UCAS（中国科学院大学杭州高等研究院）
提出PLRTune系统，通过重要性预采样识别关键旋钮子集，结合执行引导的提示精炼和TD3强化学习，在MySQL和PostgreSQL上平均性能提升9.50%，调优速度提升9.03倍。
2026-06-15 cs.DB
Learning a Partitioning Advisor with Deep Reinforcement Learning
Microsoft Azure SQL数据仓库或Amazon Redshift等商业数据分析产品为云中的OLAP式工作负载提供了即用型横向扩展数据库解决方案。虽然云提供商通常会完全自动化数据库集群的配置，但客户通常仍然需要做出重要的设计决策，这些决策通常由数据库管理员做出，例如选择分区方案。在本文中，我们介绍了一种基于深度强化学习（DRL）的分析OLAP风格工作负载的学习分区顾问。其主要思想是DRL代理通过监视不同工作负载和分区方案的奖励来根据经验学习决策。我们评估我们的经验教训分区顾问在不同的数据库模式和工作负载的不同复杂性的实验评估。在评估中，我们表明，我们的顾问不仅能够找到优于现有自动分区设计方法的分区，而且还可以轻松地适应不同的部署。这在云设置中尤其重要，客户可以轻松地将其集群迁移到一组新的（虚拟）机器。
2019-04-02 cs.DB
LatentTune: Efficient Tuning of High Dimensional Database Parameters via Latent Representation Learning
Computer Science Yonsei University（延世大学计算机科学系）
LatentTune通过潜在表示学习高效优化高维数据库参数，提升性能并减少调优时间。
2026-02-04 cs.DB
Optimization of stochastic database cracking
变体随机破解是一种适应性更强的自适应索引方法。它表明[1]随机破解使用每个查询作为如何重组数据的提示，但不是盲目地这样做;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此，使自适应索引向前发展到一个成熟的公式，赋予以前的方法缺乏的工作负载鲁棒性。原始破解依赖于工作负载的随机性来很好地收敛。[2][3]然而，在工作负载是非随机的情况下，破解需要自己引入随机性。随机破解明显优于原始破解，在工作负载变化中具有鲁棒性，同时在适应时保持所有原始破解功能。但是看看这两种类型的破解，它传达了一个不完整的画面，因为在某个时间点，必须知道工作负载是随机的还是顺序的。在本文中，我们的重点是优化变量随机破解，这可以通过两种方式来实现，通过减少初始化成本，使随机破解对用户更加透明，特别是对于发起工作负载改变并因此招致更高成本的查询，或者通过经由决定为查询选择哪种算法的动态组件来组合各种随机破解算法的强度在飞行中。已经努力做出一种算法，该算法通过使用两种破解的主要概念来降低初始化成本，同时考虑自适应索引的要求[2]。
2013-05-08 cs.DB
IDEBench: A Benchmark for Interactive Data Exploration
分析数据库系统的现有基准，如TPC-DS和TPC-H，是为静态报告场景设计的。这些基准测试的主要指标是在合成数据库上运行单个SQL查询的性能。在本文中，我们认为，这样的基准是不适合评估数据库的工作负载源自交互式数据探索（IDE）系统，其中大多数查询是临时的，而不是基于预定义的报告，并逐步建立。作为一个主要的贡献，我们提出了一个新的基准称为IDEBench，可用于评估IDE工作负载的数据库系统的性能。与传统的分析数据库系统基准测试相反，我们的目标是提供更有意义的工作负载和数据集，可用于对IDE查询引擎进行基准测试，特别关注捕获查询性能和结果质量之间的权衡的指标。作为第二个贡献，本文评估和讨论了选定的IDE查询引擎使用我们的基准测试的性能结果。该研究包括两个商业系统，以及两个研究原型（IDEA，approximateDB/XDB）和一个传统的分析数据库系统（MonetDB）。
2018-04-07 cs.DB
Fast Verification of Strong Database Isolation (Extended Version)
针对强数据库隔离验证的挑战，本文提出VeriStrong快速验证器，基于超多边形图形式化方法捕捉事务确定与不确定依赖，定制SMT求解，显著优于现有工具且可扩展至大型工作负载，保持高检测精度。
2025-11-18 cs.DB
Mainlining Databases: Supporting Fast Transactional Workloads on Universal Columnar Data File Formats
现代数据处理工具的激增产生了开放源列式数据格式。这些格式的优点是，它们可以帮助组织避免重复地将数据转换为每个应用程序的新格式。但是，这些格式是只读的，组织必须使用一个重量级的转换过程来从联机事务处理（OLTP）系统加载数据。我们的目标是减少甚至消除这个过程，通过开发一个存储架构的内存数据库管理系统（DBMS），是知道其数据的最终用途，并发出列存储块在一个通用的开源格式。我们对常见的分析数据格式引入了松弛，以有效地更新记录，并依靠轻量级的转换过程将块转换为冷时的读取优化布局。我们还描述了如何以最小的序列化开销从第三方分析工具访问数据。为了评估我们的工作，我们实现了基于Apache Arrow格式的存储引擎，并将其集成到DB-X DBMS中。我们的实验表明，我们的方法实现了与专用OLTP DBMS相当的性能，同时使数据导出到外部数据科学和机器学习工具的速度比现有方法快几个数量级。
2020-04-29 cs.DB
Data-Agnostic Cardinality Learning from Imperfect Workloads
University of Pennsylvania（宾夕法尼亚大学）
GRASP提出一种数据无关的基数估计系统，通过组合式设计、每表模型和计数草图，在不完美工作负载下超越现有查询驱动模型，性能媲美基于数据的传统方法。
2025-06-19 cs.DB cs.LG
Revisiting Page Migration for Main-Memory Database Systems
针对主存数据库在NUMA等现代架构下的页面迁移问题，提出自定义系统调用move_pages2，支持部分迁移和配置旋钮，实验表明查询吞吐量提升2.3倍，迁移页面数提升2.6倍。
2025-05-26 cs.DB
NoSQL Schema Design for Time-Dependent Workloads
在本文中，我们提出了一种模式优化方法，用于NoSQL数据库的时间依赖性工作负载。在我们提出的方法中，我们根据不断变化的工作负载迁移模式，估计的执行和迁移成本制定和最小化作为一个单一的整数线性规划问题。此外，我们提出了一种方法来减少优化候选人的数量，通过迭代的时间维抽象和优化的工作量，同时更新约束。
2023-03-29 cs.DB
M2: An Analytic System with Specialized Storage Engines for Multi-Model Workloads
M2提出集成存储引擎的多模型分析系统，通过多阶段哈希连接实现跨模型查询，性能提升最高达188倍。
2025-08-05 cs.DB
Understanding and Benchmarking the Impact of GDPR on Database Systems
《通用数据保护条例》（GDPR）为欧洲人民提供了有关其个人数据的新权利和保护。我们从系统的角度分析GDPR，将其法律条款转化为合规系统必须支持的一系列功能和特征。我们的分析揭示了元数据爆炸的现象，其中大量的元数据需要与个人数据一起存储，以满足GDPR的要求。我们的分析还有助于我们确定GDPR必须支持的新工作负载。我们设计并实现了一个名为GDPRbench的开源基准测试，它包括理解和评估个人数据处理数据库系统所需的工作负载和指标。为了评估现代数据库系统是否已准备好GDPR，我们遵循最佳实践和开发人员建议，修改Redis，PostgreSQL和商业数据库系统，使其符合GDPR。我们的实验表明，由此产生的GDPR兼容系统在GPDR工作负载上的性能很差，并且随着个人数据量的增加，性能扩展性很差。我们讨论了这些发现的现实意义，并确定了在生产环境中使GDPR合规性高效的研究挑战。我们在http://www.gdprbench.org上发布所有软件工件和数据集
2020-03-17 cs.DB
PolarDB-IMCI: A Cloud-Native HTAP Database System at Alibaba
本文提出PolarDB-IMCI，一种云原生HTAP数据库系统，通过五个设计目标实现透明性、高性能OLAP、低OLTP干扰、高数据新鲜度和弹性扩展，在TPC-H上加速分析查询达149倍。
2023-05-15 cs.DB
Architectural Evolution and Selection Framework for Database Systems in AI-Ready Data Platforms
提出一个统一的多范式评估与选择框架，基于九个架构维度，通过工作负载特征化、约束过滤和兼容性评分，系统比较十三种数据库范式，揭示存储计算分离、工作负载驱动专业化、向AI就绪平台收敛三大演化模式，并通过金融欺诈检测案例验证。
2026-06-06 cs.DB
JetStream: Generating Query Accelerators for Existing Database Systems
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
JetStream是扩展现有DBMS的查询专用加速器生成系统，经TPC-H等测试，其生成的有状态加速器对DuckDB等实现数百倍加速，还可泛化到新工作负载，能支持动态工作负载。
2026-08-25 cs.DB
Towards Effective Orchestration of AI x DB Workloads
National University of Singapore（新加坡国立大学）；Beijing Institute of Technology（北京理工大学）；Renmin University of China（中国人民大学）；Zhejiang University（浙江大学）
本文研究了AI与数据库工作负载的有效编排问题，探讨了联合数据管理和查询处理的挑战，提出了查询优化、执行调度和分布式执行等关键问题，并展示了初步设计和结果。
2026-09-23 cs.AI cs.DB
PilotDB: Database-Agnostic Online Approximate Query Processing with A Priori Error Guarantees (Technical Report)
针对AQP难以兼顾误差保证、低维护和免修改数据库的问题，提出TAQA与BSAP算法，并在中间件PilotDB中实现，兼容多数据库，实现5%误差下最高126倍加速。
2025-03-27 cs.DB
LlamaTune: Sample-Efficient DBMS Configuration Tuning
调优数据库系统以在给定工作负载上实现最佳性能是数据库社区中的一个长期问题。最近的一些作品已经利用基于ML的方法来指导大参数空间（数百个调谐旋钮）的采样，以寻找高性能配置。看看运行数百万个数据库的Microsoft生产服务，样本效率成为在不同工作负载上使用调谐器的关键要求。这激发了我们对LlamaTune的研究，LlamaTune是一种利用领域知识来提高现有优化器的样本效率的调谐器设计。LlamaTune采用基于随机投影的自动降维技术、处理某些旋钮的特殊值的偏置采样方法以及旋钮值桶化，以减小搜索空间的大小。LlamaTune在不同的工作负载集上与最先进的优化器相比毫不逊色。它可识别性能最佳的配置，最多可减少$11\times$的工作负载运行，并最多可提高$21\%$的吞吐量。我们还表明，LlamaTune的好处概括了基于BO和基于RL的优化器，以及不同的DBMS版本。虽然在云规模上执行数据库调优的过程仍然很长，但LlamaTune在大规模实现自动DBMS调优方面走了很长的路。
2022-08-23 cs.DB
A Benchmark for Databases with Varying Value Lengths
本文扩展YCSB基准测试引入“extend”操作以模拟值长度增长，评估MongoDB、MariaDB等DBMS在可变大小值下的性能差异，提出隔离数据大小分布影响与更新历史访问成本的新基准方法。
2025-08-11 cs.DB
The Graph Database Interface: Scaling Online Transactional and Analytical Graph Workloads to Hundreds of Thousands of Cores
本文提出图数据库接口（GDI），抽象性能关键组件以提供可移植API，并基于分布式内存RDMA架构设计图数据库，利用单边RDMA通信实现超十万核心的极致扩展，在OLTP和OLAP工作负载上性能提升数个数量级。
2023-11-20 cs.DB cs.DC
RITA: An Index-Tuning Advisor for Replicated Databases
给定一个复制的数据库，发散设计会以不同的方式调优每个副本中的索引，以便将其专门用于特定的工作负载子集。与在所有副本中使用相同索引的常见做法相比，这种专门化带来了显著的性能提升，但需要为数据库管理员开发新的调优工具。本文介绍了RITA（复制感知索引调优顾问），一种新颖的发散调优顾问，提供了现有工具中没有的几个基本功能：它生成健壮的发散设计，允许系统优雅地适应副本故障;它计算在正常操作期间和副本故障时在专用副本之间均匀分布负载的设计;它在线监视工作负载，以便检测需要重新计算发散设计的变化;并且，它提供弹性地重新配置系统的建议（通过添加/删除副本或添加/删除索引），以响应工作负载变化。RITA背后的关键技术创新表明，选择最佳设计的问题可以用二进制编程（BIP）来表示。BIP具有相对较少的变量，这使得使用任何现成的线性优化软件有效地解决它是可行的。实验结果表明，RITA计算更好的发散设计相比，现有的工具，提供更多的功能，并具有快速的执行时间。
2013-07-19 cs.DB
Clustering RDF Databases Using Tunable-LSH
资源描述框架（RDF）是表示图结构数据的W3C标准，SPARQL是RDF的标准查询语言。信息抽取、链接数据管理和语义网的最新进展导致了可公开获得的RDF数据的数量和种类的快速增长。随着企业开始利用RDF数据，RDF数据管理系统面临的工作负载比它们设计处理的要多样化和动态得多。因此，越来越需要开发工作负载自适应和自调优的RDF数据管理系统。为了实现这一愿景，我们介绍了一种快速，有效的方法动态聚类RDF数据管理系统中的记录。具体来说，我们预先不假设工作负载，但是当执行SPARQL查询时，我们跟踪工作负载中的查询共同访问的记录，并对它们进行物理集群。为了动态地（因此，在恒定的时间）决定一个记录需要放置在存储系统中，我们开发了一个新的位置敏感的哈希（LSH）计划，可调LSH。使用Tunable-LSH，可以将跨类似查询集共同访问的记录散列到存储系统中的相同或附近的物理页面。Tunable-LSH与现有LSH方案的区别在于，它可以自动调整，即使在工作负载发生变化时也能高精度地实现上述集群目标。Tunable-LSH在我们的原型RDF数据管理系统，变色龙数据库，以及在一个独立的哈希表中的实验评估显示显着的端到端的改进现有的解决方案。
2015-04-19 cs.DB
Compression Aware Physical Database Design
现代RDBMS支持使用空值抑制和字典编码等方法压缩数据的能力。数据压缩为决策支持查询提供了显著降低存储需求和提高I/O性能的希望。但是，由于压缩和解压缩的CPU成本，压缩也会降低更新和查询性能。在本文中，我们研究了数据压缩如何影响选择适当的物理数据库设计，如索引，对于一个给定的工作负载。我们观察到，将是否选择索引的决策与是否压缩索引的决策解耦的方法可能会导致较差的解决方案。因此，我们关注的是以可扩展的方式将压缩集成到物理数据库设计中的新问题。我们通过修改Microsoft SQL Server和数据库引擎优化顾问（DTA）物理设计工具实现了我们的技术。我们的技术是通用的，并有可能适用于数据库管理系统，支持其他压缩方法。我们在真实世界以及TPC-H基准负载上的实验结果证明了我们的技术的有效性。
2011-09-04 cs.DB
Modeling Concurrency Control as a Learnable Function
National University of Singapore（新加坡国立大学）；Deakin University（迪肯大学）；Renmin University of China 2（中国人民大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Zhejiang University（浙江大学）
NeurCC是一种基于学习的并发控制算法，通过高效查找表实现高吞吐量，优于现有算法。
2026-03-10 cs.DB
On Enhancing Root Cause Analysis with SQL Summaries for Failures in Database Workload Replays at SAP HANA
University of Cologne（科隆大学）；SAP（思爱普）；German Aerospace Center（德国航空航天中心）
针对SAP HANA数据库工作负载重放中的失败分析问题，提出利用LLM提取失败SQL摘要作为附加特征以增强机器学习分类，将F1-Macro分数提升4.77%，有效应对未知问题并提升评估效果。
2024-12-18 cs.DB cs.LG
Towards Anticipatory Databases Through Shared Data and Workload Semantics
University of Melbourne（墨尔本大学）；Aarhus University（奥胡斯大学）
本文提出将工作负载语义作为一等信号，通过语义局部性与轨迹建模，实现语义预取和缓存淘汰，以增强数据库的预期决策能力。
2026-09-15 cs.DB cs.LG
An Analysis of Concurrency Control Protocols for In-Memory Databases with CCBench (Extended Version)
本文介绍了另一个并发控制分析平台CCBench。CCBench支持七种协议（Silo、TicToc、MOCC、Cicada、SI、带无锁存SSN的SI、2PL）和七种通用优化方法，并支持七种工作负载参数的配置。我们使用各种工作负载参数和线程数224分析了协议和优化方法。以前的研究集中在线程可伸缩性，并没有探索这里分析的空间。我们根据三个性能因素对优化方法进行了分类：CPU缓存，冲突延迟和版本生命周期。使用CCBench和224个线程进行分析，产生了六个见解。(I1)乐观并发控制协议在只读工作负载中的性能会随着基数的增加而迅速下降，即使没有L3缓存未命中。(I2)通过使用不可见的读取优化，Silo可以在某些写密集型工作负载上优于TicToc。(I3)处理冲突的两种方法（等待和不等待）的有效性取决于情况。(I4)如果发生并发事务中断，OCC将读取同一条记录两次或更多次，这可以提高性能。(I5)混合使用不同的实现不适合进行深入分析。(I6)如果工作负载中混入了单个长事务，即使是最先进的垃圾回收方法也无法提高多版本协议的性能。在I4的基础上，我们定义了读阶段扩展优化，其中在读阶段中添加人工延迟。在I6的基础上，我们定义了积极的垃圾回收优化，其中甚至收集可见的版本。CCBench的代码和本文中的所有数据都可以在GitHub上在线获得。
2021-08-18 cs.DB
TailorSQL: An NL2SQL System Tailored to Your Query Workload
Parallel Web Systems（并行网络系统）；Amazon Web Services（亚马逊网络服务）；Technical University of Munich（慕尼黑技术大学）；STACKIT
TailorSQL利用历史查询负载信息提升自然语言到SQL翻译的准确性与延迟，在标准化基准上执行准确率最高提升2倍。
2025-05-29 cs.CL cs.DB
Detecting Data Leakage from Databases on Android Apps with Concept Drift
移动数据库是智能手机上许多应用程序的法定主干，它们存储了大量敏感信息。但是，操作系统或应用程序逻辑中的漏洞可能会导致敏感数据泄露，使攻击者能够未经授权访问应用程序的数据库。在本文中，我们研究这些漏洞来定义一个威胁模型，我们提出了一个独立于操作系统版本的保护机制，应用程序开发人员可以利用它来检测此类攻击。为此，我们使用原始应用程序创建的数据库查询工作负载对用户行为进行建模。在这里，我们通过比较查询工作负载特征随时间的概率分布来对行为漂移进行建模。然后，我们使用这个模型来确定应用程序行为漂移是否异常。我们评估了我们的框架在三个不同的流行Android应用程序的真实工作负载，我们表明，我们的系统能够检测到超过90%的此类攻击。
2018-05-30 cs.CR cs.DB
SAM: A Stability-Aware Cache Manager for Multi-Tenant Embedded Databases
针对多租户嵌入式数据库在边缘节点的缓存争用与传统方案不稳定问题，提出以决策稳定性为核心的SAM缓存管理器，通过AURA策略平衡利用与探索，实验验证其在吞吐量、抗干扰性及可扩展性上的优势。
2025-07-31 cs.DB
