Towards Dynamic and Safe Configuration Tuning for Cloud Databases
数据库系统的配置旋钮对于实现高吞吐量和低延迟是必不可少的。最近,使用机器学习方法(ML)的自动调优系统已经显示出与有经验的数据库管理员(DBA)相比找到更好的配置。然而,在生产环境中应用现有系统仍然存在差距,特别是在云中。首先,它们在有限的时间窗口内对给定的工作负载进行调优,而忽略了工作负载和数据的动态性。其次,它们依赖于复制的实例,在对配置进行采样时不考虑数据库的可用性,这使得调优成本高、延迟且不安全。为了填补这些空白,我们提出了OnlineTune,它可以在不断变化的云环境中安全地调整在线数据库。为了适应数据库的动态性,OnlineTune将环境因素作为上下文特征嵌入数据库中,并采用上下文空间划分的上下文贝叶斯优化算法对数据库进行自适应、可扩展的优化。为了追求调优过程中的安全性,我们利用黑盒和白盒知识来评估配置的安全性,并通过子空间自适应提出了一种安全的探索策略。大大降低了应用不良配置的风险。我们对来自基准测试和真实工作负载的动态工作负载进行评估。与现有方法相比,OnlineTune在累计性能上提高了14.4%~165.3%,同时减少了91.0%~99.5%的不安全配置建议。
2022-03-28 cs.DB
Why Database Manuals Are Not Enough: Efficient and Reliable Configuration Tuning for DBMSs via Code-Driven LLM Agents
Renmin University, China(中国人民大学);Alibaba Group(阿里巴巴集团);Harbin Institute of Technology, Shenzen(哈尔滨工业大学(深圳))
本文提出SysInsight系统,通过代码分析和LLM推理从DBMS源代码中提取细粒度调优知识,加速稳定调优过程,实现7.11倍更快收敛和19.9%性能提升。
2026-03-24 cs.DB
Automatic Partitioning of Database Applications
数据库支持的应用程序在我们的日常生活中几乎无处不在。对数据库进行多次小访问的应用程序给开发人员带来了两个挑战:增加延迟和大量网络往返浪费资源。提高事务数据库应用程序性能的一种众所周知的技术是将应用程序的一部分转换为在数据库服务器上执行的存储过程。不幸的是,这种转换往往是困难的。在本文中,我们描述了Pyxis,一个系统,它采用数据库支持的应用程序,并自动将其代码划分为两部分,其中一部分在应用程序服务器上执行,另一部分在数据库服务器上执行。Pyxis分析应用程序和服务器负载,静态分析代码的依赖关系,并生成一个分区,最大限度地减少控制传输的数量以及每次传输期间发送的数据量。我们使用TPC-C和TPC-W的实验表明,与传统的非分区实现相比,Pyxis能够生成延迟减少3倍的分区,吞吐量提高1.7倍,并且具有与自定义存储过程实现相当的性能。
2012-08-01 cs.DB
MCTuner: Spatial Decomposition-Enhanced Database Tuning via LLM-Guided Exploration
MCTuner提出一种基于LLM引导和空间分解的数据库调优框架,通过MoE识别关键旋钮并递归划分配置空间进行贝叶斯优化,在OLAP、OLTP和HTAP基准上实现高达19.2%的性能提升和1.4倍更快的配置发现。
2025-09-08 cs.DB
PLRTune: Importance Pre-Sampling and LLM-Guided Reinforcement Learning for Automatic Database Tuning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Hangzhou Institute for Advanced Study, UCAS(中国科学院大学杭州高等研究院)
提出PLRTune系统,通过重要性预采样识别关键旋钮子集,结合执行引导的提示精炼和TD3强化学习,在MySQL和PostgreSQL上平均性能提升9.50%,调优速度提升9.03倍。
2026-06-15 cs.DB
IDSTune: A Multi-Agent Collaborative Framework for Integrated Database System Tuning
Renmin University of China(中国人民大学);The University of Melbourne(墨尔本大学);University of Technology Nuremberg(纽伦堡工业大学)
针对现有数据库调优方法未考虑组件相互依赖性及不足以处理多样工作负载等问题,提出IDSTune框架,通过大语言模型驱动多智能体协作联合优化多个配置组件,经实验验证其性能提升显著且调优速度快,适应性强。
2026-07-27 cs.DB
LatentTune: Efficient Tuning of High Dimensional Database Parameters via Latent Representation Learning
Computer Science Yonsei University(延世大学计算机科学系)
LatentTune通过潜在表示学习高效优化高维数据库参数,提升性能并减少调优时间。
2026-02-04 cs.DB
λ-Tune: Harnessing Large Language Models for Automated Database System Tuning
λ-Tune利用大型语言模型生成完整配置脚本,通过成本优化提示选择最佳配置,在PostgreSQL和MySQL上实现更稳健的自动数据库调优。
2024-11-05 cs.DB
RITA: An Index-Tuning Advisor for Replicated Databases
给定一个复制的数据库,发散设计会以不同的方式调优每个副本中的索引,以便将其专门用于特定的工作负载子集。与在所有副本中使用相同索引的常见做法相比,这种专门化带来了显著的性能提升,但需要为数据库管理员开发新的调优工具。本文介绍了RITA(复制感知索引调优顾问),一种新颖的发散调优顾问,提供了现有工具中没有的几个基本功能:它生成健壮的发散设计,允许系统优雅地适应副本故障;它计算在正常操作期间和副本故障时在专用副本之间均匀分布负载的设计;它在线监视工作负载,以便检测需要重新计算发散设计的变化;并且,它提供弹性地重新配置系统的建议(通过添加/删除副本或添加/删除索引),以响应工作负载变化。RITA背后的关键技术创新表明,选择最佳设计的问题可以用二进制编程(BIP)来表示。BIP具有相对较少的变量,这使得使用任何现成的线性优化软件有效地解决它是可行的。实验结果表明,RITA计算更好的发散设计相比,现有的工具,提供更多的功能,并具有快速的执行时间。
2013-07-19 cs.DB
Experience-Enhanced Learning: One Size Still does not Fit All in Automatic Database
近年来,数据库委员会试图开发自动数据库管理系统。虽然有研究表明,将人工智能应用于数据管理是一个重要的、有前途的方向,但在将这些技术应用于实际应用中仍然存在许多问题(训练时间长、环境多样、性能不稳定)。在本文中,我们发现,传统的基于规则的方法有可能解决上述问题。我们提出了三种改进学习方法的方法,即有效预训练的标签收集,模型转移的知识库和稳定性能的理论保证。我们在两种广泛使用的学习方法上实现了我们的方法,深度学习和强化学习。首先,新的经验增强深度学习(EEDL)可以实现高效的训练和稳定的性能。我们评估EEDL与基数估计,一个必不可少的数据库管理。在四个真实数据集上的实验结果表明,我们的EEDL可以优于一般的DL模型[2]。其次,我们设计了一种新的经验增强强化学习(EERL),它可以有效地收敛,并且比一般的RL模型有更好的性能[3]。我们测试EERL与在线索引调优任务。在TPC-H上的实验表明,EERL能加速智能体的收敛,产生更好的解,推广了强化学习。
2021-11-21 cs.DB
NoSQL Database Tuning through Machine Learning
NoSQL数据库已经成为许多大数据和实时Web应用程序的重要组成部分。它们的分布式特性和可扩展性使其成为各种用例的理想数据存储库。虽然NoSQL数据库是以默认的“现成”配置提供的,但它们提供了配置设置,以根据特定的用例和环境调整数据库的行为和性能。配置设置的丰富性和常常难以察觉的相互依赖性使得优化和性能调优NoSQL系统变得困难。没有一种通用的配置,因此在优化NoSQL数据库的配置时需要考虑工作负载,物理设计和可用资源。这项工作探讨了机器学习作为一种自动调优NoSQL数据库以获得最佳性能的方法。使用随机森林和梯度提升决策树机器学习算法,将多个机器学习模型与包含NoSQL物理配置(复制和分片)属性的训练数据集进行拟合。然后采用最佳模型作为代理模型,以使用黑盒优化算法优化数据库管理系统的吞吐量和延迟的配置设置。使用Apache Cassandra数据库,进行了多个实验,以证明这种方法的可行性,即使在不同的物理配置。与默认配置设置相比,优化后的DBMS配置使吞吐量提高了4%,读取延迟降低了43%,写入延迟降低了39%。
2022-12-23 cs.DB
Automatic Classification of Text Databases through Query Probing
网络上的许多文本数据库都“隐藏”在搜索界面之后,它们的文档只能通过查询来访问。搜索引擎通常会忽略这种仅用于搜索的数据库的内容。最近,类似Yahoo的目录已经开始手动地将这些数据库组织成用户可以浏览以找到这些有价值的资源的类别。我们提出了一种新的策略来自动分类的搜索只文本数据库。我们的技术首先训练一个基于规则的文档分类器,然后使用分类器的规则来生成探测查询。查询被发送到文本数据库,然后根据它们为每个查询产生的匹配数量对文本数据库进行分类。我们报告了一些初步的探索性实验表明,我们的方法是有希望的,以自动特征的文本数据库在网络上访问的内容。
2000-03-09 cs.DB cs.IR
Tempo: Robust and Self-Tuning Resource Management in Multi-tenant Parallel Databases
多租户数据库系统有一个称为资源管理器(Resource Manager)或RM的组件,负责向租户分配资源。目前的RM不直接支持性能目标,例如:“租户A的平均作业响应时间必须小于两分钟”,或“租户B的作业中不能超过5%的作业错过1小时的截止时间”。因此,DBA必须修改RM的低级配置设置以满足这些目标。我们提出了一个名为Tempo的框架,为现有的RM带来了简单性,自调优和鲁棒性。Tempo为DBA提供了一个简单的接口,以声明方式指定性能目标,并优化RM配置设置以满足这些目标。Tempo具有坚实的理论基础,可以保证密钥的鲁棒性。我们报告了使用Facebook和Cloudera等公司的数据处理工作负载的生产跟踪在Tempo上进行的实验。这些实验证明了在满足由人类专家指定的RM配置设置的期望性能目标方面的显著改进。
2015-12-02 cs.DB
GPTuner: A Manual-Reading Database Tuning System via GPT-Guided Bayesian Optimization
针对DBMS旋钮调优的高成本或次优问题,GPTuner结合LLM提炼的DBMS领域知识与从粗到细的贝叶斯优化,实现16倍调优提速及30%性能提升。
2024-11-29 cs.DB
LlamaTune: Sample-Efficient DBMS Configuration Tuning
调优数据库系统以在给定工作负载上实现最佳性能是数据库社区中的一个长期问题。最近的一些作品已经利用基于ML的方法来指导大参数空间(数百个调谐旋钮)的采样,以寻找高性能配置。看看运行数百万个数据库的Microsoft生产服务,样本效率成为在不同工作负载上使用调谐器的关键要求。这激发了我们对LlamaTune的研究,LlamaTune是一种利用领域知识来提高现有优化器的样本效率的调谐器设计。LlamaTune采用基于随机投影的自动降维技术、处理某些旋钮的特殊值的偏置采样方法以及旋钮值桶化,以减小搜索空间的大小。LlamaTune在不同的工作负载集上与最先进的优化器相比毫不逊色。它可识别性能最佳的配置,最多可减少$11\times$的工作负载运行,并最多可提高$21\%$的吞吐量。我们还表明,LlamaTune的好处概括了基于BO和基于RL的优化器,以及不同的DBMS版本。虽然在云规模上执行数据库调优的过程仍然很长,但LlamaTune在大规模实现自动DBMS调优方面走了很长的路。
2022-08-23 cs.DB
Fast Tuning the Index Construction Parameters of Proximity Graphs in Vector Databases
School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);Chinese University of Hong Kong(香港中文大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出FastPGT框架,通过同时构建多个接近图以加速参数调整,显著提升向量数据库中接近图构造参数优化的效率。
2026-02-17 cs.DB
DB-BERT: a Database Tuning Tool that "Reads the Manual"
Cornell University(康奈尔大学)
DB-BERT是一个数据库调优工具,它利用通过对手册和其他相关文本文档的自然语言分析获得的信息。它使用文本来标识要调优的数据库系统参数以及推荐的参数值。DB-BERT应用大型的、预训练的语言模型(特别是BERT模型)进行文本分析。在初始训练阶段,它会微调模型权重,以便将自然语言提示转换为推荐的设置。在运行时间,DB-BERT学习聚合、适应和优先化提示,以实现特定数据库系统和基准的最佳性能。这两个阶段都是迭代的,并使用强化学习来指导选择要评估的调优设置(惩罚数据库系统拒绝的设置,同时奖励提高性能的设置)。在我们的实验中,我们利用数百个关于数据库调优的文本文档作为DB-BERT的输入。我们将DB-BERT与各种基准进行比较,考虑不同的基准(TPC-C和TPC-H),指标(吞吐量和运行时间)以及数据库系统(Postgres和MySQL)。在所有情况下,DB-BERT都会在所有比较方法中找到最佳参数设置。DB-BERT的代码可以在https://itrummer.github.io/dbbert/上获得。
2021-12-21 cs.AI cs.CL cs.DB
Is Large Language Model Good at Database Knob Tuning? A Comprehensive Experimental Evaluation
School of Information, Renmin University of China(中国人民大学信息学院);Shanghai Yunxi Technology Co., Ltd(上海云玺科技有限公司)
本文通过将大型语言模型作为数据库管理员,系统评估其在旋钮剪枝、模型初始化和旋钮推荐三个子任务上的表现,发现LLMs可达到或超越传统方法,并具备良好的可解释性与泛化能力。
2024-08-05 cs.AI cs.DB
Semi-Automatic Index Tuning: Keeping DBAs in the Loop
为了获得良好的系统性能,DBA必须选择一组适合于工作负载的索引。系统可以通过提供索引配置建议来帮助完成这一具有挑战性的任务。我们提出了一个新的索引推荐技术,称为半自动调整,保持DBA“在循环中”,通过生成建议,使用反馈DBA的喜好。该技术还可以在线工作,避免了商业工具的限制,因为商业工具需要提前知道工作量。我们的方法的基础是功函数算法,它可以解决各种各样的在线优化问题,具有很强的竞争力的保证。我们提出了一个实验分析,验证了在各种条件下的半自动调谐的好处。
2011-10-30 cs.DB
Automatic Clustering in Hyrise
物理数据布局是现代数据库的重要性能因素。聚类,即,邻近地存储相似的值可以以几种方式导致性能增益。我们提出了一个自动化的模型,以确定有益的集群列和面向列的,内存驻留数据库Hyrise的聚类算法。为了自动选择集群列,该模型分析数据库的工作负载,并根据某些集群列对工作负载延迟的影响程度提供估计。我们评估模型估计的精度,以及其聚类建议的整体质量。为了应用一个确定的聚类配置,我们开发了一个在线聚类算法。聚类算法支持任意数量的聚类维度。我们表明,该算法对并发运行的数据修改查询是强大的。当对lineitem表进行聚类时,TPC-H基准测试的延迟减少了5%,当对store_sales表进行聚类时,TPC-DS基准测试的延迟减少了4%。
2021-03-29 cs.DB
Automatic Database Configuration Debugging using Retrieval-Augmented Language Models
针对数据库配置调试繁琐困难的问题,提出基于检索增强大语言模型的Andromeda框架,通过多源领域上下文检索与异构文档、遥测分析机制,实现自动配置调试,性能显著优于现有方案。
2025-01-17 cs.DB
UDO: Universal Database Optimization using Reinforcement Learning
UDO是一个多功能的工具,用于针对特定工作负载离线调优数据库系统。UDO可以考虑各种调优选择,从选择事务代码变量到索引选择,一直到数据库系统参数调优。UDO使用强化学习来收敛到接近最优的配置,通过实际的查询执行来创建和评估不同的配置(而不是依赖于简化的成本模型)。为了适应不同的参数类型,UDO将重参数(更改成本高,例如物理设计参数)与轻参数区分开来。特别是为了优化重参数,UDO使用强化学习算法,该算法允许延迟奖励反馈变得可用的点。这使我们能够自由地优化时间点以及创建和评估不同配置的顺序(通过对工作负载样本进行基准测试)。UDO使用基于成本的计划器来最小化重新配置的开销。例如,它旨在通过连续评估使用它们的配置来摊销昂贵的数据结构的创建。我们在Postgres和MySQL以及TPC-H和TPC-C上评估UDO,同时优化各种轻型和重型参数。
2021-08-26 cs.DB
DBSP: Automatic Incremental View Maintenance for Rich Query Languages
增量视图维护一直是数据库理论中的一个核心问题。对于受限的数据库语言类,例如关系代数或Datasheet,已经提出了许多解决方案。这些技术并不能自然地推广到更丰富的语言。本文提出了一个解决这个问题的一般方法,分三个步骤:(1)描述了一种简单而富有表现力的描述数据流计算的语言DBSP;(2)给出了任意DBSP程序的增量视图维护问题的通用算法;(3)给出了如何对多种富数据库查询语言建模的方法(包括全关系查询、分组和聚合、单调和非单调递归以及流聚合)。因此,我们获得了有效的增量视图维护技术,所有这些丰富的语言。
2022-03-30 cs.DB
Towards a General Framework for ML-based Self-tuning Databases
IBM Research - Zurich(IBM苏黎世研究院);Vienna University of Technology(维也纳工业大学)
机器学习(ML)方法最近已经成为执行数据库的自动参数调整的有效方式。最先进的方法包括贝叶斯优化(BO)和强化学习(RL)。在这项工作中,我们描述了我们的经验时,将这些方法应用到数据库尚未研究在这种情况下:FoundationDB。首先,我们描述了我们面临的挑战,如未知的配置参数的有效范围和参数值的组合,导致无效的运行,以及我们如何减轻它们。虽然这些问题通常被忽视,但我们认为它们是在数据库中采用ML自调优技术的关键障碍,因此值得研究界更多关注。其次,我们提出了使用ML方法调整FoundationDB时获得的实验结果。与此领域的先前工作不同,我们还比较了最简单的基线:随机搜索。我们的研究结果表明,虽然BO和RL方法可以将FoundationDB的吞吐量提高高达38%,但随机搜索是一个极具竞争力的基线,找到的配置仅比ML方法差4%。我们的结论是,在这一领域的未来工作可能要更多地关注随机化,无模型优化算法。
2021-04-27 cs.DB cs.LG
KnobTree: Intelligent Database Parameter Configuration via Explainable Reinforcement Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Tianjin Nanda General Data Technology Co.,Ltd.(天津南大通用数据技术股份有限公司)
针对传统数据库参数调优方法难应对复杂参数、强化学习调优缺乏可解释性且大规模参数下学习不稳定的问题,提出可解释框架KnobTree,结合强化学习差分树与Shapley值参数评估,在MySQL等数据库上验证了其可解释性与性能优势。
2024-06-21 cs.AI cs.DB
This is Going to Sound Crazy, But What If We Used Large Language Models to Boost Automatic Database Tuning Algorithms By Leveraging Prior History? We Will Find Better Configurations More Quickly Than Retraining From Scratch!
Carnegie Mellon University(卡内基梅隆大学)
本文提出 Booster 框架,利用 LLM 将历史查询-配置上下文转化为查询级建议并以束搜索组合配置,从而帮助现有自动调优器更快适应工作负载漂移和跨模式迁移。
2025-10-20 cs.DB
Automatic View Selection in Graph Databases
最近,一些作品研究了图数据库中的视图选择问题。然而,现有方法不能完全利用视图的图形属性,例如,超图视图和公共子图视图,这导致低视图实用性和重复的视图内容。为了解决这个问题,我们提出了一个端到端的图形视图选择工具,G-View,它可以明智地生成一个视图集,从查询工作量,通过探索候选视图的图形属性,并考虑其功效。具体来说,给定图查询集和空间预算,G-View将每个查询转换为候选视图模式,并通过过滤和验证框架检查查询包含。G-View然后使用图基因算法(GGA)选择视图,该算法依赖于一个三阶段框架,该框架探索图视图转换以减少视图空间并优化视图优势。最后,G-View生成的扩展图视图持久化所有的边诱导的子图,同时回答子图和超图查询。在真实数据集和合成数据集上的大量实验表明,G-View在两种基于视图的方法上平均实现了21倍和2倍的查询性能加速,同时分别具有2倍和5倍的空间开销。此外,所提出的选择算法,GGA,优于其他选择方法的有效性和效率。
2021-05-19 cs.DB
Automatic generation of simplified weakest preconditions for integrity constraint verification
假设约束$c$在数据库$B$上保持,并且更新$u$要在$B$上执行,我们解决以下问题:在执行$u$之后,$c$是否仍然保持?当$B$是一个关系数据库时,我们定义了一个合流终止重写系统,它从$c$和$u$出发,自动导出一个简化的最弱前提$wp(c,u)$,使得只要$B$满足$wp(c,u)$,则更新后的数据库$u(B)$将满足$c$,而且,在其计算仅取决于可由更新修改的$c$的实例的意义上,简化了$wp(c,u)$。然后,我们扩展了一个简化的$wp(c,u)$的演绎数据库的情况下的定义,我们证明它使用不动点归纳。
2006-03-14 cs.DB cs.DS
NEMA: Automatic Integration of Large Network Management Databases
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Cisco(思科)
网络管理,无论是故障分析,故障预测,性能监控和改进,通常涉及大量的数据来自不同的来源。为了有效地集成和管理这些数据源,自动找到它们的模式或本体之间的语义匹配是至关重要的。现有的数据库匹配方法主要分为两类。一种是基于模式属性(如字段名、数据类型、约束和模式结构)的模式级匹配。网络管理数据库包含大量表(例如,网络产品、事件、安全警报和日志),这些信息来自不同的部门和组,具有不统一的字段名称和架构特征。通过这些模式属性来匹配它们是不可靠的。另一类是基于实例级的匹配,使用一般的字符串相似性技术,这是不适用于大型网络管理数据库的匹配。在本文中,我们开发了一个匹配技术,大型网络MANNETWORK数据库(NEMA)部署的实例级匹配有效的数据集成和连接。我们设计的数值和非数值字段的匹配指标和分数,并提出匹配这些字段的算法。通过在大型网络管理数据库中进行基于地面真值字段对的实验,对NEMA的有效性和效率进行了评估。我们对包含1,458个字段的大型数据库进行了测量,每个字段包含超过1000万条记录,结果显示NEMA的准确率高达95%。与基线方法相比,它实现了2%-10%的精度和5倍-14倍的加速。
2020-06-01 cs.AI cs.DB
Automatic Generation of a Hybrid Query Execution Engine
对快速数据处理的需求不断增长,需要新的方法来高效执行查询。即时查询编译技术已被证明可以显著提高一组分析任务的性能。在这项工作中,我们研究了将这种方法添加到现有数据库解决方案中的可能性及其提供的好处。为此,我们创建了一组自动化工具来创建一个运行时代码生成引擎,并将这样的引擎集成到SQLite中,SQLite是世界上最流行的关系数据库之一,用于各种各样的环境。在涉及大量操作的查询的微基准测试中观察到高达1.7倍的加速。
2018-08-16 cs.DB
Duplicate Detection with Efficient Language Models for Automatic Bibliographic Heterogeneous Data Integration
本文提出了一种新的重复项检测方法,该方法利用词汇信息和社会信息对不同书目记录语料库进行合并。正如我们所示,一个平凡的关键是不能用来删除无用的文档。合并异构文档数据库以获得最大信息可能是令人感兴趣的。在我们的案例中,我们试图建立一个关于TOR分子的文档语料库,以便从PubMed和WebOfScience文档数据库中提取与其他基因组件的关系。我们的方法基于n-gram生成关键指纹。我们用这个语料库做了两个文献金标准来做评价。与其他已知的方法在重复数据删除的比较给出了最好的成绩召回率(95%)和精度(100%)。
2015-04-27 cs.DB
L2T-Tune:LLM-Guided Hybrid Database Tuning with LHS and TD3
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Hangzhou Institute for Advanced Study, UCAS(杭州高等研究院)
本文提出 LLM 引导的混合数据库调优框架 L2T-Tune,通过热启动均匀采样、LLM 挖掘调优提示和 TD3 微调,在提升性能与加速收敛方面显著优于现有方法。
2025-11-07 cs.DB cs.LG
Implementing Decentralized Per-Partition Automatic Failover in Azure Cosmos DB
针对分布式数据库跨区域地理故障转移应用少的问题,Azure Cosmos DB即将推出去中心化分区级自动地理故障转移方案,可在任意规模下兼顾RTO、一致性级别与RPO,支持水平扩展并应对多类故障。
2025-05-20 cs.DB
Automatic database description generation for Text-to-SQL
Alibaba Group(阿里巴巴集团)
针对Text-to-SQL任务中数据库描述缺失问题,提出一种基于LLM的粗到细与细到粗双过程自动生成描述方法,在Bird基准上提升SQL生成准确率0.93%,达到人类水平的37%。
2025-02-28 cs.AI cs.CL cs.DB
Automatic Storage Structure Selection for hybrid Workload
Harbin Institute of Technology(哈尔滨工业大学)
在数据库系统的使用中,存储引擎和数据模型的设计直接影响数据库执行查询时的性能。因此,数据库的使用者需要根据遇到的工作量来选择存储引擎和设计数据模型。然而,在混合工作负载中,数据库的查询集是动态变化的,其最优存储结构的设计也在变化。基于此,提出了一种基于学习代价的存储结构自动选择系统,用于在混合负载下动态选择数据库的最优存储结构。在该系统中,我们引入了一种机器学习方法来建立存储引擎的成本模型,以及一种面向列的数据布局生成算法。实验结果表明,该系统能够根据当前的工作负载选择存储引擎和数据模型的最优组合,大大提高了默认存储结构的性能。系统设计为兼容不同的存储引擎,便于实际应用。
2020-08-15 cs.DB cs.LG
Frequent itemsets mining for database auto-administration
随着一般数据库和特别是数据仓库的广泛发展,减少数据库管理员必须手动执行的任务是重要的。自动管理系统的目标是自动管理和适应自己,而不会损失(甚至获得)性能。使用数据采掘技术从数据本身中提取有用的管理知识的想法已经存在了一些年。然而,很少有研究取得了成果。然而,这个想法仍然是一个非常有前途的方法,特别是在数据仓库领域,查询是非常异构的,不能很容易地解释。本研究的目的是寻找一种从存储的数据中提取有用知识的方法,以自动应用性能优化技术,特别是索引技术。我们设计了一个工具,从给定的工作负载中提取频繁项集来计算索引配置,以帮助优化数据访问时间。我们执行的实验表明,我们的工具生成的索引配置允许在测试数据库和测试数据仓库上获得15%到25%的性能提升。
2008-09-16 cs.DB
DOT: Dynamic Knob Selection and Online Sampling for Automated Database Tuning
Orange / Inria / Univ.\,Lille, France France;Inria / Univ.\,Lille / CNRS, France France;CNRS / Univ.\,Lille / Inria, France France;Univ.\,Lille / CNRS / Inria, France France;Orange / Inria / Univ.\,Lille, France;Inria / Univ.\,Lille / CNRS, France;CNRS / Univ.\,Lille / Inria, France;Univ.\,Lille / CNRS / Inria, France
DOT通过动态选择关键参数和在线采样,减少数据库调优的搜索空间,提升性能,同时降低调优开销。
2026-03-16 cs.AI cs.DB cs.LG
Evaluating the Practical Effectiveness of LLM-Driven Index Tuning on Microsoft SQL Server
Microsoft Research(微软研究院)
本文通过工业基准和真实企业工作负载评估LLM驱动的索引优化效果,对比微软数据库优化顾问(DTA),发现LLM在部分情况下能提供更优执行时间配置,但生产环境中应用仍面临性能波动、集成影响和验证成本等挑战。
2026-07-29 cs.DB
PGTuner: An Efficient Framework for Automatic and Transferable Configuration Tuning of Proximity Graphs
针对邻近图(PGs)配置调优因参数依赖复杂、数据集变化需重调导致效率低的问题,提出PGTuner框架,通过预训练QPP模型、深度强化学习PCR模型及分布外检测等技术,实现高效调优,调优效率最高提升14.69倍,动态场景提升14.64倍。
2025-08-25 cs.DB
ComplexWoundDB: A Database for Automatic Complex Wound Tissue Categorization
São Paulo State University(圣保罗州立大学);University of Wolverhampton(伍尔弗汉普顿大学)
复杂的伤口通常面临皮肤厚度的部分或全部损失,通过继发性愈合。它们可以是急性或慢性的,包括感染、缺血和组织坏死,并与全身性疾病有关。全球各地的研究机构报告了无数病例,最终导致严重的公共卫生问题,因为它们涉及人力资源(例如,医生和卫生保健专业人员),并对生活质量产生负面影响。本文提出了一种新的数据库,用于自动分类复杂伤口的五个类别,非伤口区域、肉芽、纤维素样组织和干燥坏死、血肿。这些图像包括由压力、血管溃疡、糖尿病、烧伤和手术干预后并发症引起的复杂伤口的不同场景。该数据集名为ComplexWoundDB,它是独一无二的,因为它根据在野外获得的$27$图像进行像素级分类,即在患者家中收集图像,由四名健康专业人员标记。使用不同机器学习技术的进一步实验证明了解决计算机辅助复杂伤口组织分类问题的挑战。该手稿揭示了该领域未来的发展方向,并与文献中广泛使用的其他数据库进行了详细的比较。
2022-09-26 cs.CV cs.DB cs.LG
MINT: Multi-Vector Search Index Tuning
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文提出MINT框架,针对多向量搜索场景,通过算法优化实现低延迟和存储召回约束下的索引调优,相比基线提升2.1至8.3倍。
2026-04-25 cs.AI cs.DB
Homomorphism Problems in Graph Databases and Automatic Structures
Université de Bordeaux(波尔多大学)
本论文研究图数据库与自动结构中的同态问题,证明查询最小化可判定并提供高效算法,揭示自动结构同态问题的可判定性二分法,并基于代数语言理论解决逻辑可描述性问题。
2025-10-08 cs.DB cs.FL cs.LO
DemoTuner: Automatic Performance Tuning for Database Management Systems Based on Demonstration Reinforcement Learning
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);School of Software Engineering, Sun Yat-sen University(中山大学软件工程学院)
DemoTuner通过LLM辅助的演示强化学习方法,利用文档中的调优提示提升数据库管理系统参数调优效果,实现性能提升和效率优化。
2026-01-16 cs.DB cs.LG
The Case for Automatic Database Administration using Deep Reinforcement Learning
Big Data Analytics Group(大数据分析组);Saarland Informatics Campus(萨尔兰信息学园区);https://infosys.uni-saarland.de(萨尔兰大学信息系统)
像任何大型软件系统一样,一个成熟的DBMS提供了大量的配置旋钮。这些范围从静态初始化参数(例如缓冲区大小、并发程度或复制级别)到复杂的运行时决策(例如在特定列上创建二级索引或重新组织存储的物理布局)。为了简化配置,工业级DBMS通常附带各种咨询工具,为给定的工作负载和机器提供建议。然而,现实表明,实际的配置、调优和维护通常仍然是由人类管理员依靠直觉和经验完成的。最近关于深度强化学习的工作在解决需要这种直觉的问题方面显示出非常有希望的结果。例如,它已经非常成功地应用于学习如何玩具有巨大搜索空间的复杂游戏。受这些成就的激励,在这项工作中,我们将探索如何深度强化学习可以用来管理DBMS。首先,我们将描述如何使用深度强化学习通过定义问题环境来自动调优任意软件系统(如DBMS)。其次,我们在索引选择的具体示例中展示了NoDBA的概念,并评估了它为给定工作负载推荐索引的效果。
2018-01-17 cs.AI cs.DB
Deep learning based Auto Tuning for Database Management System
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文扩展 OtterTune 自动数据库调优技术,复用历史会话数据,并结合 GMM、RandomForest 与神经网络改进新部署的延迟预测和配置推荐。
2023-04-25 cs.DB cs.LG
Usable & Scalable Learning Over Relational Data With Automatic Language Bias
Oregon State University(俄勒冈州立大学)
关系数据库是学习新颖有趣的关系和概念的宝贵资源。为了约束搜索通过候选定义的大空间,用户必须通过指定语言偏好来调整算法。不幸的是,具体说明语言偏见是通过试验和错误来完成的,并由专家的直觉指导。我们提出了AutoBias,一个利用数据库的模式和内容中的信息来自动诱导流行的关系学习系统所使用的语言偏见的系统。我们表明,AutoBias提供了相同的准确性,使用手动编写的语言偏见只施加轻微的开销上的运行时间的学习算法。
2020-04-06 cs.DB cs.LG
Utilizing deep learning for automated tuning of database management systems
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究针对数据库系统配置难题,基于 OtterTune 框架,利用监督与无监督机器学习技术,通过引入 GMM 聚类和集成模型优化延迟预测,提升了新 DBMS 部署的自动调优效果。
2023-06-25 cs.AI cs.DB
E2ETune: End-to-End Knob Tuning via Fine-tuned Generative Language Model
Renmin University of China(中国人民大学);ByteDance Inc(字节跳动公司)
针对数据库旋钮调优耗时耗资源的问题,提出基于微调生成式语言模型的端到端调优器E2ETune,通过新型数据生成框架训练模型,实验证明其能更快速地找到有竞争力的配置。
2025-03-19 cs.AI cs.DB
Text2Cypher: Data Pruning using Hard Example Selection
Neo4j
针对Text2Cypher模型微调数据集成本随规模升高的问题,提出五种难例选择数据剪枝技术,可减半训练时间与成本且性能影响极小,提供了高性价比的微调数据集优化方案。
2025-09-04 cs.DB cs.LG
The Tensor Data Platform: Towards an AI-centric Database System
Microsoft(微软)
数据库引擎在历史上吸收了数据处理中的许多创新,增加了处理图形数据、XML、面向对象和文本等的功能。在本文中,我们提出了这样一个观点,即现在是时候为人工智能做同样的事情了--但要有一个转折!虽然现有的方法试图通过将数据库与外部ML工具集成来实现这一目标,但在本文中,我们声称实现真正以AI为中心的数据库需要将DBMS引擎从其核心从关系抽象转移到张量抽象。这使我们能够:(1)支持多模态数据处理,例如图像、视频、音频、文本以及关系数据;(2)利用HW和运行时中的创新源泉进行张量计算;以及(3)利用自动微分来实现可以学习执行任务的新型“可训练”查询。为了支持上述场景,我们引入了TDP:一个建立在我们之前将关系查询映射到张量的工作基础上的系统。由于与张量运行时更紧密地集成,TDP能够更广泛地覆盖需要访问多模态数据和自动微分的新兴场景。
2022-11-04 cs.DB cs.LG
DBA bandits: Self-driving index tuning under ad-hoc, analytical workloads with safety guarantees
University of Melbourne(墨尔本大学)
自动化物理数据库设计一直是数据库研究中的一个长期兴趣,因为优化的结构提供了大量的性能增益。尽管取得了重大进展,但当今的大多数商业解决方案都是高度手动的,需要数据库管理员(DBA)进行离线调用,他们需要识别和提供代表性的培训工作负载。不幸的是,像查询存储这样的最新进展只提供了对动态环境的有限支持。这种现状是站不住脚的:识别代表性静态工作负载不再现实;物理设计工具仍然容易受到查询优化器的成本错误估计的影响(源于不切实际的假设,如属性值独立性和数据分布的均匀性)。我们提出了一种自驱动的在线索引选择方法,避开了DBA和查询优化器,而是通过战略探索和直接的性能观察来学习可行结构的好处。我们认为这个问题是一个不确定性下的顺序决策,特别是在强盗学习设置。多武装土匪平衡探索和利用,以可证明地保证平均性能收敛到一个固定的政策,这是最佳的完美后见之明。我们全面的实证结果表明,与最先进的商业调优工具相比,移动和临时工作负载的速度提高了75%,静态工作负载的速度提高了28%。
2020-10-20 cs.DB cs.LG
Modelling an Automatic Proof Generator for Functional Dependency Rules Using Colored Petri Net
数据库管理员需要计算函数依赖闭包(FD)来规范数据库系统和执行完整性规则。有色Petri网(CPN)是一种有效的形式化建模和验证方法.在本文中,我们模拟阿姆斯特朗的公理自动证明生成一个新的FD规则从初始FD规则使用CPN。为此,阿姆斯特朗公理的CPN模型提出和初始FD考虑在模型中作为初始色集。然后通过模型检验在模型的状态空间中搜索所需的FD。如果它存在于状态空间中,则递归ML代码使用在模型的状态空间中的进一步搜索来提取该FD规则的证明。
2012-10-11 cs.DB cs.FL cs.SE
Centrum: Model-based Database Auto-tuning with Minimal Distributional Assumptions
Huawei(华为);The Chinese University of Hong Kong-Shenzhen(香港中文大学(深圳))
针对GP-BO在数据库自动调优中假设违背的问题,提出Centrum,采用随机梯度提升集成与共形预测实现无分布估计,在实验上超越21种现有方法。
2025-10-26 cs.DB cs.LG stat.ME
LR-SQL: A Supervised Fine-Tuning Method for Text2SQL Tasks under Low-Resource Scenarios
College of Internet of Things, Nanjing University of Posts and Telecommunications(南京邮电大学物联网学院)
针对数据库复杂性导致微调GPU内存需求增加的问题,提出LR-SQL方法,通过分解数据库为表的灵活组合并训练思维链,在仅微幅降低准确率的情况下显著减少GPU内存使用。
2024-10-15 cs.AI cs.CL cs.DB