Towards Dynamic and Safe Configuration Tuning for Cloud Databases
数据库系统的配置旋钮对于实现高吞吐量和低延迟是必不可少的。最近,使用机器学习方法(ML)的自动调优系统已经显示出与有经验的数据库管理员(DBA)相比找到更好的配置。然而,在生产环境中应用现有系统仍然存在差距,特别是在云中。首先,它们在有限的时间窗口内对给定的工作负载进行调优,而忽略了工作负载和数据的动态性。其次,它们依赖于复制的实例,在对配置进行采样时不考虑数据库的可用性,这使得调优成本高、延迟且不安全。为了填补这些空白,我们提出了OnlineTune,它可以在不断变化的云环境中安全地调整在线数据库。为了适应数据库的动态性,OnlineTune将环境因素作为上下文特征嵌入数据库中,并采用上下文空间划分的上下文贝叶斯优化算法对数据库进行自适应、可扩展的优化。为了追求调优过程中的安全性,我们利用黑盒和白盒知识来评估配置的安全性,并通过子空间自适应提出了一种安全的探索策略。大大降低了应用不良配置的风险。我们对来自基准测试和真实工作负载的动态工作负载进行评估。与现有方法相比,OnlineTune在累计性能上提高了14.4%~165.3%,同时减少了91.0%~99.5%的不安全配置建议。
2022-03-28 cs.DB
Automatic Configuration Tuning on Cloud Database: A Survey
本文综述云数据库自动配置调优方法,系统比较贝叶斯优化、神经网络、强化学习和搜索类技术,并梳理调优流水线、实验设置、基准与未来方向。
2024-04-09 cs.DB
KnobTree: Intelligent Database Parameter Configuration via Explainable Reinforcement Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Tianjin Nanda General Data Technology Co.,Ltd.(天津南大通用数据技术股份有限公司)
针对传统数据库参数调优方法难应对复杂参数、强化学习调优缺乏可解释性且大规模参数下学习不稳定的问题,提出可解释框架KnobTree,结合强化学习差分树与Shapley值参数评估,在MySQL等数据库上验证了其可解释性与性能优势。
2024-06-21 cs.AI cs.DB
Linear spaces and transversal designs: k-anonymous combinatorial configurations for anonymous database search
匿名数据库搜索协议允许用户匿名查询数据库。这可以通过让用户形成对等社区并代表彼此发布查询来实现。在这篇文章中,我们将讨论组合配置(也称为正则和均匀部分线性空间)在匿名数据库搜索协议中的应用,定义实现该协议的用户社区内的密钥分配。可以由协议提供的匿名程度由所使用的组合配置中的点的邻域和闭合邻域的属性来确定。描述了具有独特邻域或独特封闭邻域的组合配置,并展示了如果使用这种配置,如何攻击该协议。我们应用k-匿名参数,并提出了组合配置与k-匿名的邻域和k-匿名的封闭的邻域。在具有k-匿名邻域和k-匿名闭邻域的配置中,分别给出了横截设计和线性空间的最优配置。
2012-12-07 cs.CR cs.DB math.CO
Automatic Database Configuration Debugging using Retrieval-Augmented Language Models
针对数据库配置调试繁琐困难的问题,提出基于检索增强大语言模型的Andromeda框架,通过多源领域上下文检索与异构文档、遥测分析机制,实现自动配置调试,性能显著优于现有方案。
2025-01-17 cs.DB
Fragment Allocation Configuration in Distributed Database Systems
在分布式数据库(DDB)管理系统中,分片分配是最重要的组成部分之一,直接影响DDB的性能。在这项研究工作中,我们将表明,声明性程序设计语言,例如逻辑程序设计语言,可以用来表示不同的数据片段分配技术。结果表明,使用声明式程序设计语言可以大大简化分片分配算法的表示,从而为进一步的开发和优化打开了大门。正在考虑的案例研究也表明,我们的方法可以扩展到分布式系统的不同领域。
2016-07-20 cs.DB cs.DC
Why Database Manuals Are Not Enough: Efficient and Reliable Configuration Tuning for DBMSs via Code-Driven LLM Agents
Renmin University, China(中国人民大学);Alibaba Group(阿里巴巴集团);Harbin Institute of Technology, Shenzen(哈尔滨工业大学(深圳))
本文提出SysInsight系统,通过代码分析和LLM推理从DBMS源代码中提取细粒度调优知识,加速稳定调优过程,实现7.11倍更快收敛和19.9%性能提升。
2026-03-24 cs.DB
This is Going to Sound Crazy, But What If We Used Large Language Models to Boost Automatic Database Tuning Algorithms By Leveraging Prior History? We Will Find Better Configurations More Quickly Than Retraining From Scratch!
本文提出 Booster 框架,利用 LLM 将历史查询-配置上下文转化为查询级建议并以束搜索组合配置,从而帮助现有自动调优器更快适应工作负载漂移和跨模式迁移。
2025-10-20 cs.DB
UDO: Universal Database Optimization using Reinforcement Learning
UDO是一个多功能的工具,用于针对特定工作负载离线调优数据库系统。UDO可以考虑各种调优选择,从选择事务代码变量到索引选择,一直到数据库系统参数调优。UDO使用强化学习来收敛到接近最优的配置,通过实际的查询执行来创建和评估不同的配置(而不是依赖于简化的成本模型)。为了适应不同的参数类型,UDO将重参数(更改成本高,例如物理设计参数)与轻参数区分开来。特别是为了优化重参数,UDO使用强化学习算法,该算法允许延迟奖励反馈变得可用的点。这使我们能够自由地优化时间点以及创建和评估不同配置的顺序(通过对工作负载样本进行基准测试)。UDO使用基于成本的计划器来最小化重新配置的开销。例如,它旨在通过连续评估使用它们的配置来摊销昂贵的数据结构的创建。我们在Postgres和MySQL以及TPC-H和TPC-C上评估UDO,同时优化各种轻型和重型参数。
2021-08-26 cs.DB
How to use Persistent Memory in your Database
持久性或非易失性存储器(PMEM或NVM)最近已经在具有不同目的和目标的若干配置下商业上可用。尽管关注的主题,我们不知道一个全面的实证分析现有的关系数据库引擎在不同的PMEM配置。这样的研究对于理解各种硬件配置的性能影响以及不同的数据库引擎如何从中受益非常重要。为此,我们分析了常见工作负载(TPC-C和TPC-H)下的三种不同引擎(PostgreSQL、MySQL和SQLServer),以及英特尔Optane NVM设备支持的所有可能的PMEM配置(PMEM作为AppDirect模式下的持久性内存,PMEM作为Memory模式下的易失性内存)。我们的结果描绘了一幅复杂的画面,由于涉及的因素很多,并不总是直观的。根据我们的研究结果,我们提供了关于不同引擎如何使用PMEM以及哪些配置和查询性能最佳的见解。我们的研究结果表明,使用PMEM作为持久存储通常会加快查询执行,但有一些警告,因为I/O路径没有完全优化。此外,在存储器模式下使用PMEM并不提供任何性能优势,尽管易失性存储器容量更大。通过对引擎和参数的广泛介绍,我们为在数据库中利用PMEM和调整关系引擎以利用这项新技术提供了一个重要的起点。
2021-12-01 cs.DB
MCTuner: Spatial Decomposition-Enhanced Database Tuning via LLM-Guided Exploration
MCTuner提出一种基于LLM引导和空间分解的数据库调优框架,通过MoE识别关键旋钮并递归划分配置空间进行贝叶斯优化,在OLAP、OLTP和HTAP基准上实现高达19.2%的性能提升和1.4倍更快的配置发现。
2025-09-08 cs.DB
AgenticDB: Self-Evolving Reconfiguration Framework for Database Workloads
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);The Chinese University of Hong Kong(香港中文大学)
提出AgenticDB框架,通过运行时交互实现数据库系统级和操作系统级重配置,诊断瓶颈并积累经验,在MySQL和PostgreSQL上平均性能提升118.1%。
2026-08-28 cs.DB
LlamaTune: Sample-Efficient DBMS Configuration Tuning
调优数据库系统以在给定工作负载上实现最佳性能是数据库社区中的一个长期问题。最近的一些作品已经利用基于ML的方法来指导大参数空间(数百个调谐旋钮)的采样,以寻找高性能配置。看看运行数百万个数据库的Microsoft生产服务,样本效率成为在不同工作负载上使用调谐器的关键要求。这激发了我们对LlamaTune的研究,LlamaTune是一种利用领域知识来提高现有优化器的样本效率的调谐器设计。LlamaTune采用基于随机投影的自动降维技术、处理某些旋钮的特殊值的偏置采样方法以及旋钮值桶化,以减小搜索空间的大小。LlamaTune在不同的工作负载集上与最先进的优化器相比毫不逊色。它可识别性能最佳的配置,最多可减少$11\times$的工作负载运行,并最多可提高$21\%$的吞吐量。我们还表明,LlamaTune的好处概括了基于BO和基于RL的优化器,以及不同的DBMS版本。虽然在云规模上执行数据库调优的过程仍然很长,但LlamaTune在大规模实现自动DBMS调优方面走了很长的路。
2022-08-23 cs.DB
Tempo: Robust and Self-Tuning Resource Management in Multi-tenant Parallel Databases
多租户数据库系统有一个称为资源管理器(Resource Manager)或RM的组件,负责向租户分配资源。目前的RM不直接支持性能目标,例如:“租户A的平均作业响应时间必须小于两分钟”,或“租户B的作业中不能超过5%的作业错过1小时的截止时间”。因此,DBA必须修改RM的低级配置设置以满足这些目标。我们提出了一个名为Tempo的框架,为现有的RM带来了简单性,自调优和鲁棒性。Tempo为DBA提供了一个简单的接口,以声明方式指定性能目标,并优化RM配置设置以满足这些目标。Tempo具有坚实的理论基础,可以保证密钥的鲁棒性。我们报告了使用Facebook和Cloudera等公司的数据处理工作负载的生产跟踪在Tempo上进行的实验。这些实验证明了在满足由人类专家指定的RM配置设置的期望性能目标方面的显著改进。
2015-12-02 cs.DB
λ-Tune: Harnessing Large Language Models for Automated Database System Tuning
λ-Tune利用大型语言模型生成完整配置脚本,通过成本优化提示选择最佳配置,在PostgreSQL和MySQL上实现更稳健的自动数据库调优。
2024-11-05 cs.DB
Frequent itemsets mining for database auto-administration
随着一般数据库和特别是数据仓库的广泛发展,减少数据库管理员必须手动执行的任务是重要的。自动管理系统的目标是自动管理和适应自己,而不会损失(甚至获得)性能。使用数据采掘技术从数据本身中提取有用的管理知识的想法已经存在了一些年。然而,很少有研究取得了成果。然而,这个想法仍然是一个非常有前途的方法,特别是在数据仓库领域,查询是非常异构的,不能很容易地解释。本研究的目的是寻找一种从存储的数据中提取有用知识的方法,以自动应用性能优化技术,特别是索引技术。我们设计了一个工具,从给定的工作负载中提取频繁项集来计算索引配置,以帮助优化数据访问时间。我们执行的实验表明,我们的工具生成的索引配置允许在测试数据库和测试数据仓库上获得15%到25%的性能提升。
2008-09-16 cs.DB
GRAPHITE: An Extensible Graph Traversal Framework for Relational Database Management Systems
图遍历是各种图算法和面向图的查询的基本要素。为了实现最佳的查询性能,它们需要在数据库管理系统的核心实现,该系统旨在存储,操作和查询图形数据。越来越多的现代业务应用程序需要本机图查询和处理能力,用于对存储在关系数据库管理系统中的数据进行企业关键操作。在本文中,我们提出了一个可扩展的图形遍历框架(GRAPHITE)作为中央图形处理组件的一个共同的存储引擎内的关系数据库管理系统。我们研究了图的拓扑结构对图遍历的执行时间的影响,并推导出两个专门用于不同的图拓扑结构和遍历查询的遍历算法实现。我们对GRAPHITE进行了大量的实验,用于各种真实世界的图形数据集和输入配置。我们的实验表明,所提出的遍历算法不同的输入配置的两个数量级,因此证明需要一个通用的框架,以有效地处理图形遍历广泛的不同的图形拓扑结构和类型的查询。最后,我们强调,我们的遍历实现的查询性能是有竞争力的两个原生图数据库管理系统。
2014-12-19 cs.DB
Trading Vector Data in Vector Databases
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The Chinese University of Hong Kong(香港中文大学);Hong Kong University of Science and Technology (Guangzhou)(香港科学理工大学(广州))
针对向量数据库中的向量数据交易问题,提出分层赌博机框架,联合优化检索配置与定价,实现对数遗憾与次线性遗憾,并在四个真实数据集上验证其优于现有方法。
2025-11-10 cs.DB cs.LG
A Formal Definition for Configuration
在关系数据库上进行基于关键字的搜索的技术有很多种,但所有这些技术首先都要将用户查询中的关键字与要查询的数据库元素进行匹配。匹配过程是一项耗时且复杂的任务。因此,提高基于关键字的查询的性能是关系数据源查询的一个关键问题,本文提出了一种基于对称群的关系数据库关键字查询的匹配模型。此外,还详细说明了该方法如何减小搜索空间。
2016-11-10 cs.DB math.CO math.GR
IDSTune: A Multi-Agent Collaborative Framework for Integrated Database System Tuning
Renmin University of China(中国人民大学);The University of Melbourne(墨尔本大学);University of Technology Nuremberg(纽伦堡工业大学)
针对现有数据库调优方法未考虑组件相互依赖性及不足以处理多样工作负载等问题,提出IDSTune框架,通过大语言模型驱动多智能体协作联合优化多个配置组件,经实验验证其性能提升显著且调优速度快,适应性强。
2026-07-27 cs.DB
IWEK: An Interpretable What-If Estimator for Database Knobs
针对数据库旋钮配置性能估计的需求,提出可解释且可迁移的 what-if 估计器 IWEK,基于随机森林的线性估计器捕获旋钮与性能关系,并设计两阶段迁移算法,仅需10个样本即可在新场景实现高效冷启动估计。
2023-07-30 cs.DB
Database as a Service - Current Issues and Its Future
随着云应用的普及,数据库即服务(DBaaS)成为为云应用提供可靠、灵活的数据存储服务的一种很有前途的方法。它为云开发人员提供了许多有趣的功能,但是,它也有一些缺点:学习曲线和开发周期长,缺乏对NoSQL的深入支持,缺乏对安全和隐私的灵活配置,以及高成本模型。在本文中,我们调查了当前DBaaS提供商中的这些问题,并提出了一种新的三位一体模型,可以显着减少学习曲线,提高安全性和隐私性,并加快数据库设计和开发。我们进一步阐述了我们正在进行的和未来的工作,使用这种新的DBaaS模型开发大型现实世界的SaaS项目。
2018-04-02 cs.DB
LatentTune: Efficient Tuning of High Dimensional Database Parameters via Latent Representation Learning
Computer Science Yonsei University(延世大学计算机科学系)
LatentTune通过潜在表示学习高效优化高维数据库参数,提升性能并减少调优时间。
2026-02-04 cs.DB
Intelligent Implementation Processor Design for Oracle Distributed Databases System
尽管对分布式数据库(DDB)的建模和实现的需求越来越大,但分布式数据库管理系统还远远不能帮助设计人员直接实现其BDD。事实上,实现DDB的基本原则是使数据库看起来像一个集中式数据库,提供一系列的数据,这是当前DDBMS无法直接提供的。我们专注于这项工作的Oracle数据库管理系统,尽管它的市场主导地位,只提供了一些逻辑机制来实现分布。为了解决这个问题,我们提出了一个新的体系结构的DDBMS Oracle。这个想法是基于通过智能层扩展它,该智能层提供:1)通过GUI创建不同类型的碎片,用于定义地理上分散的不同站点2)DB的分配和复制。系统必须为原始配置的每个站点自动生成SQL脚本。
2015-04-12 cs.DB
The SQL++ Query Language: Configurable, Unifying and Semi-structured
NoSQL数据库支持半结构化数据,通常建模为JSON。它们还提供有限的(但正在扩展的)查询语言。它们惯用的、非SQL语言的构造、许多变体以及缺乏形式化语义阻碍了对查询语言的深入理解,也阻碍了向干净、强大、声明性的查询语言发展。本文详细介绍了SQL++的语法和语义,它既适用于JSON原生存储,也适用于SQL数据库。SQL++半结构化数据模型是JSON和SQL数据模型的超集。SQL++为处理半结构化数据提供了强大的计算能力,类似于以前的非关系查询语言,特别是OQL和XQuery。然而,SQL++是SQL向后兼容的,并且通过仅向SQL引入少量的查询语言扩展而向JSON推广。认识到查询语言标准对于快速发展的NoSQL数据库领域来说可能还为时过早,SQL++包括配置选项,这些选项正式列出了语言设计者可以选择的语义变体。这些选项通常与半结构化(缺失属性、异构类型等)的处理有关,其中可能有一种以上的合理方法。SQL++是统一的:通过适当地选择配置选项,SQL++语义可以变形为现有的半结构化数据库查询语言的语义。广泛的实验验证显示了SQL和四种半结构化数据库查询语言(MongoDB,Cassandra CQL,Couchbase N1QL和AsterixDB AQL)如何通过适当的配置选项设置进行形式化描述。SQL++的早期采用迹象是积极的:Couchbase的N1QL版本4被解释为SQL++的语…
2015-12-14 cs.DB
Deep learning based Auto Tuning for Database Management System
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文扩展 OtterTune 自动数据库调优技术,复用历史会话数据,并结合 GMM、RandomForest 与神经网络改进新部署的延迟预测和配置推荐。
2023-04-25 cs.DB cs.LG
MonetDBLite: An Embedded Analytical Database
虽然传统的RDBMS提供了很多优点,但它们需要大量的工作来设置和使用。由于这些挑战,许多数据科学家和分析师已经转向使用替代数据管理解决方案。然而,这些替代方案缺乏RDBMS的标准功能,例如核外查询执行。在本文中,我们介绍了嵌入式分析数据库MonetDBLite。MonetDBLite的设计既高效又易于与标准分析工具结合使用。它可以使用标准的包管理器安装,并且不需要配置或服务器管理。它专为OLAP场景而设计,并在数据库和分析工具之间提供近乎即时的数据传输,同时保持标准关系系统的事务保证和ACID属性。这些特性使MonetDBLite非常适合作为分析、机器学习和分类任务中使用的数据的存储引擎。
2018-05-22 cs.DB
Vers l'auto-administration des entrepôts de données
随着一般数据库和特别是数据仓库的广泛发展,减少数据库管理员必须手动执行的任务是重要的。使用数据采掘技术从数据本身中提取有用的管理知识的想法已经存在了一些年。然而,很少有研究取得了成果。本研究的目的是寻找一种方法,从存储的数据中提取有用的知识,自动应用性能优化技术,更具体地说,索引技术。我们设计了一个工具,从给定的工作负载中提取频繁项集来计算索引配置,以帮助优化数据访问时间。我们执行的实验表明,我们的工具生成的索引配置允许在测试数据库和测试数据仓库上获得15%到25%的性能提升。
2007-04-26 cs.DB
Utilizing deep learning for automated tuning of database management systems
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究针对数据库系统配置难题,基于 OtterTune 框架,利用监督与无监督机器学习技术,通过引入 GMM 聚类和集成模型优化延迟预测,提升了新 DBMS 部署的自动调优效果。
2023-06-25 cs.AI cs.DB
The Case for Automatic Database Administration using Deep Reinforcement Learning
Big Data Analytics Group(大数据分析组);Saarland Informatics Campus(萨尔兰信息学园区);https://infosys.uni-saarland.de(萨尔兰大学信息系统)
像任何大型软件系统一样,一个成熟的DBMS提供了大量的配置旋钮。这些范围从静态初始化参数(例如缓冲区大小、并发程度或复制级别)到复杂的运行时决策(例如在特定列上创建二级索引或重新组织存储的物理布局)。为了简化配置,工业级DBMS通常附带各种咨询工具,为给定的工作负载和机器提供建议。然而,现实表明,实际的配置、调优和维护通常仍然是由人类管理员依靠直觉和经验完成的。最近关于深度强化学习的工作在解决需要这种直觉的问题方面显示出非常有希望的结果。例如,它已经非常成功地应用于学习如何玩具有巨大搜索空间的复杂游戏。受这些成就的激励,在这项工作中,我们将探索如何深度强化学习可以用来管理DBMS。首先,我们将描述如何使用深度强化学习通过定义问题环境来自动调优任意软件系统(如DBMS)。其次,我们在索引选择的具体示例中展示了NoDBA的概念,并评估了它为给定工作负载推荐索引的效果。
2018-01-17 cs.AI cs.DB
VulCPE: Context-Aware Cybersecurity Vulnerability Retrieval and Management
针对NVD等数据库中CPE数据不一致导致的漏洞误识别与检索不全问题,提出VulCPE框架,通过统一模式、实体识别等技术实现精准上下文感知漏洞管理,检索精度和覆盖率优于现有工具。
2025-05-20 cs.CR cs.DB cs.IR
GeoBenchr: An Application-Centric Benchmarking Suite for Spatiotemporal Database Platforms
TU Berlin(柏林工业大学)
本文提出GeoBenchr,一个面向应用的时空数据库平台基准测试套件,用于评估不同数据集、查询类型和工作负载模式的综合性能,涵盖骑行、航空和航海追踪等真实应用场景。
2026-04-30 cs.DB
E2ETune: End-to-End Knob Tuning via Fine-tuned Generative Language Model
Renmin University of China(中国人民大学);ByteDance Inc(字节跳动公司)
针对数据库旋钮调优耗时耗资源的问题,提出基于微调生成式语言模型的端到端调优器E2ETune,通过新型数据生成框架训练模型,实验证明其能更快速地找到有竞争力的配置。
2025-03-19 cs.AI cs.DB
Predictive Indexing
在数据库管理系统(DBMS)中,对自动索引调优进行了大量的研究。但是,这些解决方案中的大多数都是通过回顾性地一次性进行计算代价高昂的物理设计更改来调整索引配置的。这样的改变降低了DBMS在处理期间的性能,并且由于工作负载转移和相关联的改变之间的延迟而降低了在随后的查询处理期间的实用性。一种更好的方法是生成随时间调整物理设计的小更改,预测这些更改的实用性,并提前应用它们以最大限度地发挥其影响。本文介绍了预测索引,不断提高数据库的物理设计使用轻量级的物理设计的变化。它使用机器学习模型来预测这些更改的效用,并不断改进数据库的索引配置以处理不断变化的工作负载。我们引入了一个轻量级的混合扫描操作,DBMS可以利用部分建立的索引进行查询处理。我们的评估表明,预测索引提高了3.5- 5.2倍的数据库管理系统的吞吐量相比,其他国家的最先进的索引方法。我们证明了预测索引与其他轻量级自动化物理设计调优方法无缝配合。
2019-01-21 cs.DB
In-Depth Benchmarking of Graph Database Systems with the Linked Data Benchmark Council (LDBC) Social Network Benchmark (SNB)
在这项研究中,我们提出了一个完整的实施LDBC SNB基准-交互式短,交互式复杂,和商业智能-在两个本地图形数据库系统-Neo4j和TigerGraph的第一个结果。除了在四个比例因子(SF-1、SF-10、SF-100和SF-1000)和三个计算架构(内部和云中)上彻底评估基准测试中所有46个查询的性能外,我们还测量了批量加载时间和存储大小。我们的研究结果表明,TigerGraph在大多数查询上的表现一直优于Neo4j--在某些交互式复杂和商业智能查询上,表现出两个或更多个数量级(100倍因子)。差距随着数据的大小而增加,因为只有TigerGraph能够扩展到SF-1000-Neo4j在合理的时间内只完成了25个商业智能查询中的12个。尽管如此,Neo4j在批量加载高达SF-100的图形数据时通常更快。我们研究的一个关键是供应商积极参与其平台的调整。为了鼓励可重复性,我们将所有代码、脚本和配置参数公开在线提供。
2019-07-17 cs.DB
L2T-Tune:LLM-Guided Hybrid Database Tuning with LHS and TD3
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Hangzhou Institute for Advanced Study, UCAS(杭州高等研究院)
本文提出 LLM 引导的混合数据库调优框架 L2T-Tune,通过热启动均匀采样、LLM 挖掘调优提示和 TD3 微调,在提升性能与加速收敛方面显著优于现有方法。
2025-11-07 cs.DB cs.LG
Automatic Clustering in Hyrise
物理数据布局是现代数据库的重要性能因素。聚类,即,邻近地存储相似的值可以以几种方式导致性能增益。我们提出了一个自动化的模型,以确定有益的集群列和面向列的,内存驻留数据库Hyrise的聚类算法。为了自动选择集群列,该模型分析数据库的工作负载,并根据某些集群列对工作负载延迟的影响程度提供估计。我们评估模型估计的精度,以及其聚类建议的整体质量。为了应用一个确定的聚类配置,我们开发了一个在线聚类算法。聚类算法支持任意数量的聚类维度。我们表明,该算法对并发运行的数据修改查询是强大的。当对lineitem表进行聚类时,TPC-H基准测试的延迟减少了5%,当对store_sales表进行聚类时,TPC-DS基准测试的延迟减少了4%。
2021-03-29 cs.DB
Selection of BJI configuration: Approach based on minimal transversals
决策系统处理存储在称为数据仓库的新数据库中的大量数据。数据仓库通常由星型模式建模,星型模式通常表示中心事实表和一组维度表。因此,针对这种类型的模型的相应查询非常复杂。为了减少执行复杂查询的成本,其中包含非常昂贵的联接,设想的解决方案将是保证数据仓库的良好物理设计。二进制连接索引非常适合减少执行这些连接的成本。在这项工作中,我们提出了一个二元连接索引选择方法的基础上的最小横切面的概念。得到的最终配置由几个索引组成,这使得优化查询集的执行成本成为可能。
2018-10-22 cs.DB
Are Joins over LSM-Trees Ready? Take RocksDB as an Example
Nanyang Technological University(南洋理工大学)
本文研究了LSM树上连接操作的性能,通过系统性分析和实验,探讨了不同连接算法和索引设计在LSM存储中的表现,为开发者提供了选择合适连接方法的指导。
2026-03-02 cs.DB
Indexing Designs and Adaptive Data Distribution Optimization for In-Memory Databases on Hybrid DDR--CXL Memory
East China Normal University(华东师范大学)
针对混合DDR--CXL内存数据库,提出五种索引设计并开发自适应数据分布优化,通过分层热度跟踪和收益感知驱逐提升性能,使单一索引设计吞吐量最高提升至1.59倍。
2026-10-08 cs.DB
Experience with the Open Source based implementation for ATLAS Conditions Data Management System
在高能物理实验中,数据通常被看作是除事件数据本身之外的重建所需的所有数据。这包括各种缓慢发展的数据,如探测器对准、校准和鲁棒性,以及来自探测器控制系统的数据。此外,每个条件数据对象都与有效性时间间隔和版本相关联。除此之外,通常对标记条件数据对象的集合很有用。这些问题已经被调查和数据模型已被提出,并用于不同的实现基于商业DBMS,无论是在欧洲核子研究中心和BaBar实验。ATLAS复杂触发器的特殊情况需要在线访问校准和对齐数据,这带来了新的挑战,必须使用灵活且可定制的解决方案来满足这些挑战。受到ATLAS挑战的激励,我们开发了一种基于开源RDBMS的替代实现。几个问题进行了调查土地将在本文中描述:-最好的方式来映射的条件数据模型到关系数据库的概念,考虑到什么是预见到的最频繁的查询。- 最适合解决可伸缩性问题的集群模型。- 进行了广泛的测试,并将进行描述。这些测试非常有希望的结果吸引了HEP社区的关注,并推动了进一步的发展。
2003-06-14 cs.DB
KnobCF: Uncertainty-aware Knob Tuning
本文提出 KnobCF,一种解耦的查询不确定性感知旋钮分类器,通过少样本估计减少无用配置评估,并在不修改调优器和 DBMS 的情况下提升数据库旋钮调优效率。
2024-07-03 cs.DB
DataKernelBench: Can LLMs Optimize Database Queries on GPUs?
IBM Research(IBM研究院);TU Wien(维也纳技术大学)
本文提出DataKernelBench基准,评估LLM在GPU上优化数据库查询内核的能力,实验显示最强模型配置在TPC-H数据集上实现2.11倍加速,工作负载上下文对性能影响大于硬件上下文。
2026-10-16 cs.AI cs.CL cs.DB