GDsmith: Detecting Bugs in Graph Database Engines
图形数据库引擎在大数据时代脱颖而出,因为它们能够高效地建模和处理链接数据。有一个测试图形数据库引擎的强烈需求。然而,随机测试作为自动化测试生成的最实用方法,在检测图数据库引擎中的错误时面临着语义有效性、非空结果和行为多样性的挑战。为了应对这些挑战,在本文中,我们提出了GDsmith,第一个黑盒方法测试图数据库引擎。它通过骨架的生成和补全来确保每个随机生成的Cypher查询满足语义需求。GDsmith包括我们的技术,通过利用三种类型的结构突变策略来增加生成返回非空结果的Cypher查询的概率。GDsmith还包括我们的技术,通过在生成新查询时根据其先前的频率选择属性键来提高所生成的Cypher查询的行为多样性。我们的评估结果表明,GDsmith是有效和高效的自动查询生成,并大大优于基线。GDsmith成功地在三个流行的开源图形数据库引擎的发布版本上检测到27个以前未知的错误,并从开发人员那里获得了积极的反馈。
2022-06-17 cs.DB cs.SE
Query Optimization Techniques In Graph Databases
图数据库(GDB)是近年来为克服传统数据库在存储和管理类图数据方面的局限性而出现的。如今,它们代表了许多管理类似图形数据的应用程序(如社交网络)的需求。大多数用于优化图数据库查询的技术已被用于传统的数据库、分布式系统和数据库。或者是从图论中得到的启发。然而,它们在图数据库中的重用应该考虑图数据库的主要特征,例如动态结构、高度互连的数据以及有效访问数据关系的能力。本文综述了图数据库中的查询优化技术。特别是,我们专注于他们引入的功能,以改善查询类图数据。
2016-09-07 cs.DB
Weighing the techniques for data optimization in a database
可以使用各种计算方法从多标准设置中的大型数据库中获得一组优选记录,所述计算方法取决于优势的概念或基于数据库记录的属性的效用或评分函数的概念。天际线方法依赖于不同数据点之间的主导关系来从庞大的数据库中发现有趣的数据。另一方面,排名查询使用特定的评分函数来对数据库中的元组进行排名。对数据集的实验评估可以为我们提供有关这些方法中每一种方法的有效性的信息。
2022-03-17 cs.DB
Query Rewriting and Optimization for Ontological Databases
对照由扩展数据库和本体(即,从外延数据库导出新的内涵知识的一组逻辑断言和约束),而不是直接在外延数据库上。这种查询的评价和优化是数据库研究的一个有趣的新问题。在本文中,我们讨论了这个问题的两个重要方面:查询重写和查询优化。查询重写包括将本体查询编译为针对底层扩展数据库的等效一阶查询。我们提出了一种新的查询重写算法,而一般类型的本体约束,这是非常适合于实际的实现。特别是,我们展示了如何对知识库的合取查询,表示使用线性和粘性的存在规则,也就是说,最近推出的Datasheet +/-家庭的本体语言的成员,可以编译成一个联盟的合取查询(UCQ)对底层数据库。在这种情况下,本体查询优化试图改进这种重写过程,以便为输入查询产生可能小且成本有效的UCQ重写。
2014-05-12 cs.DB
An outline of multi objective optimization in databases with focus on flexible skyline queries
在不同的,可以想象的冲突,标准之间进行优化的问题被称为多目标优化,它广泛分布在许多领域。当需要从一个非常大的数据集中获得最佳对象时,这是数据库查询中经常出现的问题。在本文中,我对实现多标准优化的主要方法进行了全面的回顾。从查询和skylines的排序开始,然后进行更高级的方法,本文旨在定义一个清晰的轮廓数据库中的多目标优化。特别是,灵活的天际线范式被认为是彻底讨论,因为它克服了许多与其他方法出现的关键问题。
2022-01-13 cs.DB
Exact Selectivity Computation for Modern In-Memory Database Query Optimization
经过几十年的研究和工业发展,选择性估计仍然是查询优化中的一个关键任务。优化器在生成执行计划时依赖于准确的选择性。他们保持了大范围的统计概要,有效地估计选择性。尽管如此,小的错误-指数传播-可能导致严重的次优计划--特别是对于复杂的谓词。用于现代计算架构的数据库系统依赖于由大规模多线程并行性和向量化指令支持的大量内存中处理。但是,它们与传统的基于磁盘的数据库保持相同的查询优化概要方法。我们介绍了一种新的查询优化范例内存和GPU加速的数据库的基础上\textit{exact selectivity computation (ESC)}。ESC的核心思想是在查询优化过程中通过查询精确计算选择性。为了使该过程高效,我们提出了几个针对ESC应用的表和谓词的选择和物化的优化。我们在MapD开源数据库系统中实现了ESC。在TPC-H和SSB基准测试上的实验表明,ESC在GPU上运行时记录恒定且小于30毫秒的开销,并生成改进的查询执行计划,速度快32倍。
2019-01-06 cs.DB
Facilitating Database Tuning with Hyper-Parameter Optimization: A Comprehensive Experimental Evaluation
最近,使用自动配置调优来提高现代数据库管理系统(DBMS)的性能已经引起了数据库社区越来越多的兴趣。这体现在许多正在开发的具有先进调谐能力的系统中。然而,考虑到大量的算法选择,选择最佳的数据库配置调优解决方案仍然是一个挑战。此外,除了在数据库系统上的应用程序,我们可以找到更多的潜在算法设计的配置调优。为此,本文从更广泛的角度对配置调优技术进行了全面的评估,希望能更好地造福于数据库社区。特别是,我们总结了数据库配置调整系统的三个关键模块,并使用各种具有挑战性的情况下进行广泛的消融研究。我们的评估表明,超参数优化算法可以借用,以进一步加强数据库配置调优。此外,我们确定不同模块的最佳算法选择。除了全面的评估之外,我们还通过代理提供了一个高效和统一的数据库配置调优基准,将评估成本降至最低,允许对新技术进行广泛的运行和分析。
2022-03-14 cs.DB
Towards a Hybrid Quantum-Classical Computing Framework for Database Optimization Problems in Real Time Setup
University of Southern California(南加州大学)
本文提出了一种实时量子增强型数据库系统,通过结合量子计算与经典数据库技术,提升大规模数据库优化问题的解决效率和质量。
2026-02-15 cs.DB
NL2SQL-BUGs: A Benchmark for Detecting Semantic Errors in NL2SQL Translation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
NL2SQL-BUGs是一个用于检测NL2SQL翻译中语义错误的基准,通过两级分类法识别9大类31子类错误,揭示当前大语言模型在语义错误检测上的不足。
2025-06-15 cs.DB
A bird's eye view on Multi-Objective Optimization techniques in Relational Databases
多目标优化是同时优化多个目标函数的问题,存在几种技术来处理这个问题。本文旨在介绍在关系数据库中解决这一问题的主要方法。特别是,这项工作检查Top-k查询,从数据集和Skyline查询中获得k个最佳结果,提供了更全面的最佳结果概述。我们还讨论了一种新的方法,旨在改善以前的技术,减轻他们的缺点。对于每种方法,我们描述了主要特点,并提出了一个概述的算法实现这样的thecniques,同时比较的优点和缺点。
2022-02-05 cs.DB
Compiling Database Application Programs
出于性能原因,数据管理软件有越来越专业化的趋势。在本文中,我们研究了数据库应用程序的自动专业化和优化-查询和更新序列,增加了控制流结构,因为它们出现在数据库脚本,UDF,事务工作负载和触发器的语言,如PL/SQL。我们展示了如何使用生成式编程和最先进的编译器技术为数据库应用程序构建一个优化编译器。我们评估了一个手动优化的低级别实现的TPC-C,并确定了关键的优化技术,占其良好的性能。我们的编译器完全自动化这些优化,并应用到这个基准测试,超过手动优化的基线的两倍。通过选择性地禁用编译器中的一些优化,我们获得了一种临床和精确的方式来深入了解它们各自的性能贡献。
2018-07-25 cs.DB
Detecting Logic Bugs of Join Optimizations in DBMS
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
TQS是一种新型测试框架,用于检测数据库管理系统中多表连接查询的逻辑错误,通过数据引导的模式和查询生成技术有效发现115个错误。
2026-02-25 cs.DB
Multi-Objective Optimization, different approach to query a database
现在可用的数据集非常丰富和复杂,但我们如何获得我们正在寻找的信息?在本调查中,分析了两种不同的数据集查询方法,并解释了每种类型的算法。具体地,针对Top-K查询分析了TA和NRA,并且针对skyline查询检查了基本块嵌套循环。此外,它解释了优先和灵活的天际线背后的核心思想。最后,基于不同的标准,对每种类型的分析查询的优点和缺点进行了评估。
2022-02-03 cs.DB
Compliance in Databases: A Study of Structural Policies and Query Optimization
IIIT Bangalore(印度理工学院班加罗尔分校);Microsoft India(微软印度)
研究探讨结构化政策对查询优化的影响,提出政策语法框架以分析合规政策对数据库系统性能的作用。
2026-04-17 cs.DB
Optimizations and Heuristics to improve Compression in Columnar Database Systems
内存中的列式数据库在过去十年中已经成为主流,并且通过多核并行和内存中压缩大大提高了对大量数据的快速处理,从而消除了与基于磁盘的数据库相关的常见瓶颈。对于数据量增长到TB和PB的场景,将所有数据保存在内存中的成本过高。因此,使用不同的算法来有效地压缩数据,以利用多核并行化技术进行查询处理。研究了几种压缩方法来压缩列数组,后字典编码。在本文中,我们将提出两种新的优化压缩技术-块大小优化的集群编码和块大小优化的间接编码-比他们的前辈更好地执行。最后,我们还提出了算法来选择最好的编码之间的常见压缩方案。
2016-09-26 cs.DB
Does query performance optimization lead to energy efficiency? A comparative analysis of energy efficiency of database operations under different workload scenarios
随着在线服务的不断增加以及能源成本的不断增加,能源消耗成为评估数据中心运营的重要成本因素。造成这种情况的一个重要因素是数据库服务器的性能,据认为,数据库服务器是在线服务的骨干。从软件的角度来看,虽然市场上出现了一系列新颖的数据管理技术,例如基于键值的数据库或内存数据库,但经典的关系数据库管理系统(RDBMS)仍然被广泛使用。此外,从硬件的角度来看,大多数数据库服务器仍然使用标准的磁性硬盘驱动器(HDD),而不是固态硬盘(SSD),因为每GB的存储成本较低,忽略了由于高成本可能带来的性能提升。在这项研究中,我们专注于基于软件的数据库服务器的能耗评估,通过运行三个不同的和完整的数据库工作负载,即TCP-H,星型架构基准-SSB以及我们为这项研究推导出的修改后的基准称为W22。我们配置文件之间的最重要的服务器组件的能量分布,并通过使用不同的资源分配,我们评估的能源消耗的一个典型的开源关系数据库管理系统(PostgreSQL)在标准服务器上的性能(测量查询时间)。结果证实了众所周知的事实,即使是完整的工作负载,RDBMS的优化结果,以降低能耗。
2013-03-20 cs.DB
Improved Join Order Optimization for Database Queries using Hybrid Quantum-Classical Approaches for QUBO Problems
Universität zu Lübeck(吕贝克大学);TU Bergakademie(弗莱贝格矿业技术学院)
提出混合方法ECP+SQSS减小QUBO规模,在量子退火、模拟退火、QAOA和VQE上评估,实现最优连接顺序并提升查询优化效率。
2026-06-16 cs.DB
Detecting Optimization Bugs in Database Engines via Non-Optimizing Reference Engine Construction
数据库管理系统(DBMS)被广泛使用。为了有效地访问数据,他们应用了复杂的优化。不正确的优化可能会导致逻辑错误,从而导致查询计算出不正确的结果集。我们提出了非优化引用引擎构造(NoREC),一种全自动的方法来检测DBMS中的优化错误。从概念上讲,这种方法旨在通过优化和非优化版本的DBMS来评估查询,然后检测它们返回的结果集中的差异,这将表明DBMS中存在错误。获得DBMS的非优化版本是具有挑战性的,因为DBMS通常对优化提供有限的控制。我们的核心见解是,一个给定的,潜在的随机生成的优化查询可以重写为一个DBMS不能优化。评估该未优化的查询有效地对应于执行原始查询的非优化引用引擎。我们在四个广泛使用的DBMS上进行了广泛的测试活动,即PostgreSQL,MariaDB,SQLite和CockroachDB。我们在这些系统的最新版本中发现了159个以前未知的错误,其中141个已经被开发人员修复。其中,51个是优化错误,其余的是错误和崩溃错误。我们的研究结果表明,NoREC是有效的,通用的,需要很少的实施工作,这使得该技术在实践中广泛适用。
2020-07-16 cs.DB cs.SE
Database Optimization to Recommend Software Developers using Canonical Order Tree
本文针对增量更新数据库的频繁模式挖掘效率问题,提出基于规范序树(Canonical Order Tree)的优化技术,实现快速高效的模式发现,从而优化数据库并为软件开发人员提供推荐信息。
2020-06-21 cs.DB
Is Quantum Computing Ready for Real-Time Database Optimization?
University of Southern California(南加州大学)
Q2O是首个量子增强型查询优化器,通过量子退火技术实时优化数据库查询。
2026-01-17 cs.DB
A fusion algorithm for joins based on collections in Odra (Object Database for Rapid Application development)
在本文中,我们提出了一个目前正在开发的数据库编程方法,称为OSPOT(对象数据库快速应用程序开发)的工作原理完全面向对象的原则的功能。数据库程序设计语言称为SBQL(基于堆栈的查询语言)。我们讨论了ODB2中的一些概念,例如ODB2的工作,ODB2运行时环境如何操作,ODB2与.net和java的互操作性。目前,ODB2的开发阶段是查询优化。因此,我们提出了以前的工作,是在OSTOM有关查询优化,我们还提出了一个新的融合算法,OSTOM如何处理连接的基础上收集,如集,列表和数组的查询优化。
2011-11-13 cs.DB
UDO: Universal Database Optimization using Reinforcement Learning
UDO是一个多功能的工具,用于针对特定工作负载离线调优数据库系统。UDO可以考虑各种调优选择,从选择事务代码变量到索引选择,一直到数据库系统参数调优。UDO使用强化学习来收敛到接近最优的配置,通过实际的查询执行来创建和评估不同的配置(而不是依赖于简化的成本模型)。为了适应不同的参数类型,UDO将重参数(更改成本高,例如物理设计参数)与轻参数区分开来。特别是为了优化重参数,UDO使用强化学习算法,该算法允许延迟奖励反馈变得可用的点。这使我们能够自由地优化时间点以及创建和评估不同配置的顺序(通过对工作负载样本进行基准测试)。UDO使用基于成本的计划器来最小化重新配置的开销。例如,它旨在通过连续评估使用它们的配置来摊销昂贵的数据结构的创建。我们在Postgres和MySQL以及TPC-H和TPC-C上评估UDO,同时优化各种轻型和重型参数。
2021-08-26 cs.DB
Automated Training of Learned Database Components with Generative AI
RPTU Kaiserslautern-Landau(莱茵兰-普法尔茨应用技术大学凯撒斯劳滕-兰道)
本文提出利用生成AI合成训练数据以提升数据库组件的学习效果,通过生成真实查询分布和执行计划,改善数据库技术的适应性。
2025-12-23 cs.DB
Gen-DBA: Generative Database Agents
Purdue University(普渡大学)
Gen-DBA是一种具有代理能力的通用基础模型,旨在通过统一的机器学习方法解决数据库优化中的多样化需求和挑战。
2026-03-02 cs.DB
NEURON: Query Optimization Meets Natural Language Processing For Augmenting Database Education
关系数据库管理系统(RDBMS)是世界上许多大学的计算机科学课程的一部分。该课程的核心组成部分是关系数据库管理系统中查询优化器的设计和实现。查询优化器的目标是自动识别执行用户提交的声明性SQL查询的最有效执行策略。查询优化过程产生表示查询的执行策略的查询执行计划(QEP)。由于底层查询优化器的复杂性,理解QEP要求学生了解与RDBMS相关的特定于实现的问题。实际上,这是一个不切实际的假设,因为大多数学生都是第一次学习数据库技术。因此,他们通常很难通过仔细阅读QEP来理解DBMS所承担的查询执行策略,从而阻碍了他们的学习过程。在这个演示中,我们提出了一个新的系统,称为神经元,促进自然语言与QEP互动,以提高其理解。NEURON接受SQL查询(可能包括连接、聚合、嵌套等)作为输入,执行它,并生成底层RDBMS部署的执行策略的简化的基于自然语言的描述(文本和语音形式)。此外,它通过基于自然语言的问答框架促进了对与QEP相关的各种特征的理解。我们主张,这样的工具,世界上第一个,可以大大提高学生的学习查询优化的主题。
2018-08-21 cs.DB
Optimization of Imperative Programs in a Relational Database
几十年来,RDBMS一直支持声明式SQL以及命令式函数和过程,作为用户表达数据处理任务的方式。虽然声明式SQL的评估受到了很多关注,导致了高度复杂的技术,但命令式程序的评估仍然很幼稚,效率很低。命令式程序提供了SQL的几个好处,因此通常是首选和广泛使用的。但不幸的是,它们糟糕的性能令人沮丧,甚至禁止在许多情况下使用它们。我们处理这个迄今为止很少受到注意的重要问题。我们提出了Froid,一个可扩展的框架,用于优化关系数据库中的命令式程序。Froid的新方法自动将整个用户定义函数(UDF)转换为关系代数表达式,并将它们嵌入到调用SQL查询中。这种形式现在适合于基于成本的优化,并产生高效的、面向集合的并行计划,而不是低效的、迭代的、串行执行的UDF。Froid的方法还为UDF带来了许多编译器优化的好处,而无需额外的实现工作。我们描述了Froid的设计,并提出了我们的实验评估,证明性能提高了多个数量级的实际工作负载。
2019-08-20 cs.DB
Indexing Designs and Adaptive Data Distribution Optimization for In-Memory Databases on Hybrid DDR--CXL Memory
East China Normal University(华东师范大学)
针对混合DDR--CXL内存数据库,提出五种索引设计并开发自适应数据分布优化,通过分层热度跟踪和收益感知驱逐提升性能,使单一索引设计吞吐量最高提升至1.59倍。
2026-10-08 cs.DB
Effective Bug Detection in Graph Database Engines: An LLM-based Approach
针对现有图数据库引擎漏洞检测方法受限于特定查询语言、需大量先验知识的问题,提出基于LLM的DGDB范式,通过ChatGPT生成多语言查询并结合差分测试,在多款主流图数据库中成功检测出多个结果错误类漏洞。
2024-02-01 cs.DB
Detecting Robustness against MVRC for Transaction Programs with Predicate Reads
事务健壮性问题围绕着确定对于给定的工作负载,比Serializable低的隔离级别是否足以保证可串行化。本文提出了一种新的表征对隔离级别(多版本)读提交的鲁棒性。它支持具有控制结构(循环和条件)的事务程序,以及插入、删除和谓词读取--触发幻影问题的场景,在这种情况下,幻影问题很难分析。该特征是图论的,与数据库研究人员和工程师熟悉的并发控制文献中的先前决策机制没有什么不同。我们的实验表明,我们的表征推动了允许识别越来越复杂的工作负载比以前更强大的前沿。
2023-02-17 cs.DB
Extracting Syntactic Patterns from Databases
许多数据库列包含符合模式的字符串或数字数据,如电话号码、日期、地址、产品标识符和员工ID。这些模式在许多数据处理应用程序中非常有用,包括在字段名称不明确时理解特定字段表示的内容,识别离群值以及在数据集中查找相似字段。表达这种模式的一种方法是学习数据库中每个字段的正则表达式。不幸的是,现有的正则表达式学习技术速度很慢,对于只有几千个值的列需要花费数百秒。相比之下,我们开发了XSystem,这是一种有效的方法,可以在更短的时间内学习数据库列上的模式。我们表明,这些模式不仅可以快速构建,但表达能力足以捕捉一些关键的应用程序,包括检测离群值,测量列的相似性,并分配语义标签列(基于正则表达式库)。我们评估这些应用程序的数据集,范围从化学数据库(基于与制药公司的合作),我们的大学数据仓库,并从MassData.gov开放数据。
2017-12-06 cs.DB
QCE'24 Tutorial: Quantum Annealing -- Emerging Exploration for Database Optimization
本教程系统介绍量子退火技术,并演示其在数据库优化中的应用,包括连接顺序优化、事务调度和虚拟机分配,旨在为数据库领域提供量子计算优化的理论与实践指导。
2024-11-07 cs.DB quant-ph
Adaptive Search Optimization: Dynamic Algorithm Selection and Caching for Enhanced Database Performance
本研究提出一种结合动态算法选择与缓存策略的自适应搜索优化方法,根据数据分布特征在二分搜索和插值搜索间智能切换,并缓存历史结果以提升数据库查询效率。
2023-11-14 cs.DB cs.DS
GPTuner: A Manual-Reading Database Tuning System via GPT-Guided Bayesian Optimization
针对DBMS旋钮调优的高成本或次优问题,GPTuner结合LLM提炼的DBMS领域知识与从粗到细的贝叶斯优化,实现16倍调优提速及30%性能提升。
2024-11-29 cs.DB
Stochastic Package Queries in Probabilistic Databases
我们提供了在不确定性下的决策支持的数据库中的方法。许多重要的决策问题对应于选择一个包(关系数据库中的元组包),该包共同满足一组约束,同时最小化某些总体成本函数;在大多数现实世界的问题中,数据是不确定的。我们提供了指定方法-通过SQL扩展-和处理随机包查询(SPQ),以解决不确定数据的优化问题,就在数据所在的位置。随机规划中的先前工作使用蒙特卡罗方法,其中原始随机优化问题由包含许多场景的大型确定性优化问题来近似,即,不确定数据值的示例实现。然而,对于大型数据库表,需要大量的场景,导致性能低下,并且经常导致求解器软件失败。因此,我们提供了一种新的SummarySearch算法,而不是试图解决一个大的确定性问题,无缝地近似它通过一系列较小的问题定义在精心制作的情况下,加速收敛到一个可行的和接近最优的解决方案的摘要。在我们的原型系统上的实验结果表明,SummarySearch在寻找可行的高质量软件包方面可以比现有方法快几个数量级。
2021-03-11 cs.DB
The Optimization of Running Queries in Relational Databases Using ANT-Colony Algorithm
优化查询的问题是一个成本敏感的过程,并且相对于查询中关联表的数量,其排列数量呈指数增长。一方面,与关系数据库中的其他操作相比,连接操作是最困难和最复杂的操作,为了减少其运行时间,需要对其进行优化。因此,到目前为止已经提出了各种算法来解决这个问题。另一方面,任何数据库管理系统(DBMS)的成功都意味着利用查询模型。在本文中,启发式蚂蚁算法已被提出来解决这个问题,提高连接操作的运行时间。实验和观察结果表明,该算法的效率相比,其类似的算法。
2013-11-16 cs.DB cs.NE
Educational Database Prototype: the Simplest of All
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
EduDB是一个简化数据库原型,旨在帮助学生全面理解数据库系统的设计与优化。
2026-01-27 cs.DB
Approximate Query Answering in Inconsistent Databases
用于查询优化的经典算法预先假定数据库中不存在不一致或不确定性,并且仅利用所提供的有效语义知识,例如,完整性约束。然而,数据不一致或不确定性是普通数据库中普遍存在的关键问题:事实上,完全完整性通常是一个不切实际的假设,并且可能以多种方式引入违反完整性约束的行为。在这份报告中,我们提出了一种语义查询优化的方法,与传统的方法不同,它依赖于不一定有效的语义知识,例如,由违反的或软的完整性约束提供,或由应用数据采掘技术引起。查询优化,利用无效的语义知识不能保证原始用户的查询和重写之间的语义等价:因此,我们的方法优化的查询产生近似的答案,可以提供给用户时,快速,但可能是部分的响应是必需的。此外,我们评估的影响,使用无效的语义知识在重写的查询通过计算返回给用户的答案的质量的措施,我们依赖于最近的信念逻辑编程理论来处理可能存在的相关性在重写中使用的语义知识。
2014-05-02 cs.DB
Deductive Optimization of Relational Data Storage
优化物理数据存储和数据检索是两个关键的数据库管理问题。在本文中,我们提出了一种语言,可以表达广泛的物理数据库布局,远远超出了广泛使用的数据库管理系统中的基于行和列的方法。我们使用演绎合成,把一个高层次的关系表示的数据库查询到一个高度优化的低层次的实现操作的数据集的一个专门的布局。我们建立了一个编译器,这种语言,并进行实验,使用一个流行的数据库基准,这表明,这些专门的查询的性能是有竞争力的国家的最先进的内存编译的数据库系统。
2020-02-05 cs.DB cs.PL
JOINT: Join Optimization and Inference via Network Traversal
提出模糊连接框架JOINT,结合列名相似性与值重叠,通过图遍历自动发现多跳连接路径,在合成医疗数据上验证了有效性,助力数据集成。
2025-09-08 cs.DB
Modeling and Optimization for Massive Data Allocation in Database
Tsinghua University(清华大学);Labs, Huawei Technologies Co., Ltd(华为技术有限公司2012实验室)
针对分布式数据库中数据分散导致通信开销大的问题,提出基于谱聚类归一化割的0-1优化模型,并用Bregman近端梯度法求解,实现数据平衡与低通信开销。
2026-05-29 cs.DB
A Layered Aggregate Engine for Analytics Workloads
本文介绍了LMFAO(分层多功能聚集优化),一个在内存中的优化和执行引擎,对输入数据库的批量聚集。这项工作的主要动机源于这样的观察,即对于数据库上的各种分析,它们的数据密集型任务可以通过输入数据库关系的连接分解为分组聚合。我们将LMFAO的多功能性和竞争力用于一些广泛使用的分析:学习岭线性回归,分类树,回归树和使用Chow-Liu树的贝叶斯网络结构;以及用于数据仓库探索的数据立方体。LMFAO由几层逻辑和代码优化组成,这些优化系统地利用了计算共享、并行性和代码专门化。我们进行了两种性能基准测试。在四个数据集的实验中,LMFAO的表现优于几个数量级,一方面,商业数据库系统和MonetDB用于计算批量聚合,另一方面,TensorFlow,Scikit,R和AC/DC用于在数据库上学习各种模型。
2019-06-20 cs.DB
Path discovery by Querying the federation of Relational Database and RDF Graph
用于检测路径的查询的类别是重要的,因为它们可以提取输入图的节点上的隐式二元关系。RDF社区使用的大多数路径查询语言,如W3C SPARQL 1.1中的属性路径和nSPARQL中的嵌套正则表达式都是基于正则表达式的。联合查询允许将图模式和关系数据库组合在一起,从而能够在单个查询中对多个异构数据资源进行评估。W3C SPARQL 1.1中的联邦查询目前在不同的SPARQL端点上进行评估。本文提出了一种联邦路径查询语言,作为常规路径查询语言的扩展,以支持RDF图与关系数据库的集成。联邦路径查询语言绝对比嵌套正则表达式和无否定属性路径更具表达力。其额外的表达能力可以用于捕获嵌套的正则路径查询的合取和联合。尽管表达能力的增加,我们也表明,联邦路径查询仍然享有低计算复杂性,可以有效地进行评估。
2016-10-25 cs.DB
Distribution-Aware Distributed Database Testing (Extended Version)
East China Normal University(华东师范大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hunan University(湖南大学)
针对分布式数据库管理系统,提出分布式感知测试方法DAT及工具DistRanger,利用分布信息引导查询变异,在四个生产系统上发现31个新缺陷,优于现有测试工具。
2026-09-17 cs.DB
Samyama: A Unified Graph-Vector Database with In-Database Optimization, Agentic Enrichment, and Hardware Acceleration
VaidhyaMegha Private Limited(VaidhyaMegha私人有限公司)
Samyama是一款统一的图-向量数据库,结合了数据库内优化、代理增强和硬件加速,通过Rust实现高性能和内存安全性。
2026-09-22 cs.DB
SIMD-ified R-tree Query Processing and Optimization
本文研究空间数据库中R树索引的SIMD向量化,提出范围选择与空间连接的向量化算法及两种存储布局,引入优化后延迟提升高达9倍。
2023-09-29 cs.DB
Can Large Language Models Be Query Optimizer for Relational Databases?
本文提出基于PostgreSQL的LLM查询优化器LLM-QO,通过QInstruct数据配方和两阶段微调直接生成执行计划,在三个工作负载上优于传统与学习型优化器。
2025-02-08 cs.DB
VIDEX: A Disaggregated and Extensible Virtual Index for the Cloud and AI Era
本文提出VIDEX,一种三层解耦架构,通过分离数据库实例、虚拟索引优化器和算法服务,解决了云原生环境下传统虚拟索引在稳定性、隐私及AI集成方面的挑战,支持高精度假设分析并已成功部署于ByteDance。
2025-05-28 cs.DB
AC/DC: In-Database Learning Thunderstruck
我们报告的设计和实现的AC/DC梯度下降求解一类优化问题规范化的数据库。AC/DC将优化问题分解为一组数据库关系连接上的聚合。然后,它使用这些聚合的答案来迭代地改进问题的解决方案,直到它收敛。AC/DC面临的挑战是数据库规模大,连续和分类特征的混合,以及大量的聚合计算。AC/DC通过采用稀疏数据表示、因子分解计算、函数依赖下的问题重新参数化以及支持聚合的共享计算的数据结构来解决这些挑战。为了在来自高达86 M元组的真实世界数据集的所有关系的自然连接上训练高达154 K特征的多项式回归模型和因式分解机器,AC/DC需要在商品机器的一个核心上长达30分钟。这比其竞争对手R、MadLib、libFM和TensorFlow在完成时快三个数量级,因此不会超过内存限制、24小时超时或内部设计限制。
2018-06-15 cs.DB
Optimization of stochastic database cracking
变体随机破解是一种适应性更强的自适应索引方法。它表明[1]随机破解使用每个查询作为如何重组数据的提示,但不是盲目地这样做;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此,使自适应索引向前发展到一个成熟的公式,赋予以前的方法缺乏的工作负载鲁棒性。原始破解依赖于工作负载的随机性来很好地收敛。[2][3]然而,在工作负载是非随机的情况下,破解需要自己引入随机性。随机破解明显优于原始破解,在工作负载变化中具有鲁棒性,同时在适应时保持所有原始破解功能。但是看看这两种类型的破解,它传达了一个不完整的画面,因为在某个时间点,必须知道工作负载是随机的还是顺序的。在本文中,我们的重点是优化变量随机破解,这可以通过两种方式来实现,通过减少初始化成本,使随机破解对用户更加透明,特别是对于发起工作负载改变并因此招致更高成本的查询,或者通过经由决定为查询选择哪种算法的动态组件来组合各种随机破解算法的强度在飞行中。已经努力做出一种算法,该算法通过使用两种破解的主要概念来降低初始化成本,同时考虑自适应索引的要求[2]。
2013-05-08 cs.DB
Exploring Next Token Prediction For Optimizing Databases
本文提出 Probe and Learn(PoLe)框架,将下一令牌预测范式与决策Transformer及硬件生成令牌结合,用于数据库优化,并在 NUMA 服务器索引调度任务中验证其可提升性能与泛化能力。
2025-05-09 cs.DB
Distributed Query Processing Plans generation using Teacher Learner Based Optimization
随着数据库的日益普及,数据源的数量和数据量在近几年都在快速增长。操作数据在分散数据源上的分布对处理用户查询提出了挑战。在这样的数据库系统中,查询所需的数据库关系可以存储在多个站点。这导致用户查询的可能等价物或替代物的数量呈指数级增长。虽然在一个大的搜索空间中穷尽所有可能的查询计划在计算上是不合理的,但是在分布式数据库系统中产生最优查询计划的策略是必需的。具有最具成本效益的查询处理选项的查询计划是必要的,并且必须为给定的查询生成。本文试图产生这样的最佳查询计划,使用无参数的优化技术基于教学的优化(TLBO)。TLBO算法在求解多目标无约束和有约束基准优化问题时,均取得了较好的效果。实验比较了基于TLBO的最优查询计划生成算法和基于多目标遗传算法的分布式查询计划生成算法,结果表明,对于更大的关系数,基于TLBO的算法能够生成质量相对更好的TopK查询计划。
2016-02-14 cs.DB
Multi-objective optimization: basic approaches and moving beyond them through flexible skyline queries
同时优化多个(可能相互冲突的)标准的科学研究领域被称为多目标优化。从大数据集中有效地过滤和提取感兴趣数据的能力是现代数据库系统的关键任务之一。本文提供了一个一般性的概述,最常见的方法来处理在数据库领域的问题,并描述了一个新的框架命名为灵活的天际线。在分析了单优化和多优化问题之间的主要区别之后,我将讨论用于处理多优化问题的三种主要基本方法:字典法,top-k查询和skylines。每种方法将被讨论,分析优点,适用范围和主要问题,这促使需要引入灵活的天际线创新框架。对这种方法的审查将显示其相对于基本方法的优越性,以及克服其大多数缺点的能力。
2022-02-20 cs.DB
Ontological Queries: Rewriting and Optimization (Extended Version)
本体查询是针对本体而不是直接在数据库上进行评估的。这种查询的评价和优化是数据库研究的一个有趣的新问题。在本文中,我们讨论这个问题的两个重要方面:查询重写和查询优化。查询重写包括将本体查询编译为针对底层关系数据库的等效查询。这里的重点是健全性和完整性。我们回顾以前的结果,并提出了一个新的重写算法,而一般类型的本体约束。特别是,我们展示了如何对本体的合取查询可以编译成一个联盟的合取查询对底层数据库。在这种情况下,本体查询优化试图改进该过程,以便为输入查询产生可能小且成本有效的UCQ重写。我们回顾现有的优化方法,并提出了一种有效的新方法,适用于线性Datalog+/-,一类基于数据的规则,包括著名的描述逻辑的DL-Lite家庭。
2011-12-01 cs.DB cs.LO
CACTUSDB: Unlock Co-Optimization Opportunities for SQL and AI/ML Inferences
Arizona State University(亚利桑那州立大学);Meta;Amazon(亚马逊)
CACTUSDB通过三层中间表示和MCTS优化器,实现SQL与AI/ML推断的协同优化,提升查询性能达441倍。
2026-02-26 cs.DB