LQRS: Learned Query Re-optimization Framework for Spark SQL
Renmin University of China(中国人民大学)
LQRS是一种基于学习的查询重优化框架,通过课程强化学习策略和即插即用的计划扩展模块,实现动态计划优化,显著提升了Spark SQL的查询性能。
2026-03-04 cs.DB
EHL*: Memory-Budgeted Indexing for Ultrafast Optimal Euclidean Pathfinding
Monash University(莫纳什大学)
提出 EHL* 算法,通过构建遵循指定内存预算的索引并利用预知查询分布,在保持超快查询性能的同时将内存消耗降低 10-20 倍,有效解决了内存受限环境下的最优欧几里得寻路问题。
2024-08-21 cs.AI cs.DB
Redefining Cost Estimation in Database Systems: The Role of Execution Plan Features and Machine Learning
Dhirubhai Ambani University(迪鲁巴伊·安巴尼大学)
本文提出基于执行计划特征与机器学习的SQL查询运行时预测框架,实验表明XGBoost模型优于其他模型,显著提升数据库成本估算准确性。
2025-10-07 cs.DB
Revisiting Runtime Dynamic Optimization for Join Queries in Big Data Management Systems
查询优化对于大型数据管理系统来说仍然是一个悬而未决的问题。传统的优化器是基于成本的,并使用中间结果基数的统计估计来分配成本并选择最佳方案。然而,这样的估计往往会变得不太准确,因为过滤条件所造成的未检测到的相关性多个谓词本地到一个单一的数据集,谓词与查询参数,或谓词涉及用户定义的功能(UDF)。因此,传统的查询优化器往往会忽略或错误计算这些设置,从而导致次优的执行计划。考虑到当今的数据量,次优计划很快就会变得非常低效。在这项工作中,我们重新审视了运行时动态优化的旧思想,并将其应用于一个无共享的分布式数据库系统AsterixDB。优化分阶段运行(重新优化点),首先执行单个数据集本地的所有谓词。从每个阶段创建的中间结果用于重新优化剩余的查询。这种重新优化方法避免了不准确的中间结果基数估计,从而导致更好的执行计划。虽然它引入了实现这些中间结果的开销,但我们的实验表明,这种开销相对较小,并且考虑到优化的好处,这是可以接受的代价。事实上,我们的实验评估表明,与当前默认的AsterixDB计划以及基于静态成本的优化(即基于初始数据集统计数据)和其他最先进的方法相比,运行时动态优化可以产生更好的执行计划。
2020-10-05 cs.DB
Query-Sequence Optimization on a Reconfigurable Hardware-Accelerated System
数据库查询处理的硬件加速可以在FPGA的帮助下完成。特别是,它们在运行时是部分可重新配置的,这允许硬件在运行时适应各种查询。然而,重新配置本身需要一些时间。由于FPGA的受影响区域在重新配置期间不可用于计算,因此避免某些重新配置可以提高整体性能。本文提出了基于查询序列的优化方法,降低了重配置的影响。即将到来的查询的知识用于(I)当查询仍在运行时推测性地开始重新配置,以及(II)避免将在后续查询中再次使用的可重新配置区域的重复。我们使用校准模型和各种参数值的测量来评估我们的优化。即使使用只有两个查询的序列,也可以获得高达21%的执行时间改进
2020-01-29 cs.DB
SPA: A SQL-Plan-Aware Reinforcement Learning Framework for Query Rewriting with LLMs
Simon Fraser University(西蒙菲莎大学)
提出SPA框架,利用物理执行反馈训练LLM重写SQL查询,通过概率门控自适应奖励塑形和策略自改进,显著提升端到端运行时性能并减少有害重写。
2026-06-07 cs.DB
The ReProVide Query-Sequence Optimization in a Hardware-Accelerated DBMS
数据库查询处理的硬件加速可以在FPGA的帮助下完成。特别是,它们在运行时是部分可重新配置的,这允许硬件在运行时适应各种查询。然而,重新配置本身需要一些时间。由于FPGA的受影响区域在重新配置期间不可用于计算,因此避免某些重新配置可以提高整体性能。本文提出了基于查询序列的优化方法,降低了重配置的影响。即将到来的查询的知识用于(I)当查询仍在运行时推测性地开始重新配置,以及(II)避免将在后续查询中再次使用的可重新配置区域的重复。我们使用校准模型和各种参数值的测量来评估我们的优化。即使只有两个查询的序列,也可以获得高达28%的执行时间改进。
2020-05-01 cs.DB
Storage, Indexing, Query Processing, and Benchmarking in Centralized and Distributed RDF Engines: A Survey
语义网和关联数据的最新进展已经改变了传统网络的工作方式。资源描述框架(RDF)格式被广泛采用,用于保存基于网络的数据。这种大规模的采用为各种集中式和分布式RDF处理引擎的开发铺平了道路。这些引擎采用各种机制来实现查询处理引擎的关键组件,例如数据存储、索引、语言支持和查询执行。所有这些组件都控制查询的执行方式,并对查询运行时产生重大影响。例如,以各种方式存储RDF数据会显著影响所需的数据存储空间和查询运行时性能。RDF引擎中使用的索引方法类型对于快速数据查找至关重要。底层查询语言的类型(例如,SPARQL或SQL)是RDF存储解决方案的关键优化组件。最后,涉及不同联接顺序的查询执行会显著影响查询响应时间。本文从存储、索引、语言支持和查询执行等方面对集中式和分布式RDF引擎进行了全面的综述。
2020-09-23 cs.DB
Adaptive Recursive Query Optimization
本文提出自适应元编程技术,将递归查询优化移至运行时,通过动态重优化和自定义连接排序,在Carac引擎上实现未优化查询提速千倍、手工优化查询提速6倍。
2024-03-18 cs.DB cs.PL
Share the Tensor Tea: How Databases can Leverage the Machine Learning Ecosystem
Microsoft(微软);University of Washington(华盛顿大学)
我们演示了张量查询处理器(TQP):一个查询处理器,自动编译成张量程序的关系运算符。通过利用PyTorch等张量运行时,TQP能够:(1)与ML工具集成(例如,Pandas用于数据摄取,Tensorboard用于可视化);(2)针对不同的硬件(例如,CPU、GPU)和软件(例如,浏览器)后端;以及(3)端到端加速包含关系和ML运算符的查询。TQP足够通用,可以支持TPC-H基准测试,它提供的性能可以与专用CPU和GPU查询处理器相媲美,甚至更好。
2022-09-10 cs.DB cs.LG
Tao: A Learning Framework for Adaptive Nearest Neighbor Search using Static Features Only
近似最近邻(ANN)搜索是数据管理、信息检索和机器学习等领域的基本问题。最近,Li等人提出了一种名为AdaptNN的学习方法来支持自适应ANN查询处理。在查询执行过程中,AdaptNN收集了大量的运行时特征,并预测每个查询的终止条件,从而获得更好的端到端延迟。尽管效率很高,但使用运行时功能会使学习过程复杂化,并导致性能下降。从根本上不同于AdaptNN,我们认为,它是有前途的预测终止条件查询exetution之前。特别是,我们开发了Tao,一个通用的学习框架,用于仅使用静态特征自适应地终止ANN查询。在查询到达时,Tao首先将查询映射到本地内在维度(LID)编号,然后使用LID而不是运行时特征预测终止条件。通过将预测过程与查询执行分离,Tao消除了AdaptNN中涉及的费力的特征选择过程。此外,还提出了两个设计原则,以指导Tao的应用,提高预测模型的可解释性。我们集成了两种最先进的索引方法,即,IMI和HNSW,到陶,并评估性能超过数百万到数十亿规模的数据集。实验结果表明,除了其简单性和通用性,陶实现了高达2.69倍的加速比,甚至与它的同行相比,在相同的高精度目标。
2021-10-02 cs.DB cs.IR
ADQUEX: Adaptive Processing of Federated Queries over Linked Data based on Tuple Routing
由于关联数据在网络上的分布性,分布式处理联邦查询的方法对用户更有吸引力,并获得了越来越多的繁荣。在联邦查询的分布式处理中,我们需要一些方法和过程来以最优的方式执行查询。大多数现有的方法执行的优化任务的基础上,一些统计信息,而查询处理器没有精确的统计信息,其属性,因为数据源是自治的。当没有精确的统计数据时,错误估计的可能性将大大增加,并可能导致在运行时执行查询的效率低下。现有方法的另一个问题是,在优化阶段,它们假设查询执行的运行时条件是稳定的,而在链接数据上执行联邦查询的环境是动态的和不可预测的。通过考虑这两个问题,有一个很大的潜力,利用联邦查询处理技术的自适应方式。在本文中,提出了一种自适应的方法来处理联邦查询的链接数据,路由的元组的概念的基础上。所提出的方法,命名为ADQUEX,是能够有效地执行查询没有任何先验统计信息。此方法可以在运行时更改查询执行计划,以便生成更少的中间结果。它还可以适应新的情况下,如果不可预测的网络故障发生的执行计划。通过在已知的链接数据集上运行真实查询,对我们的方法进行了广泛的评估,结果非常好,特别是对于复杂的查询。
2015-05-19 cs.DB cs.DC
Extending Relational Query Processing with ML Inference
Microsoft(微软);University of California, Berkeley(加州大学伯克利分校);University of California, San Diego(加州大学圣地亚哥分校)
机器学习在企业中的广泛采用增加了严格治理和经济高效性能的压力,特别是对于模型存储和推理的常见和后续步骤。RDBMS提供了一个自然的起点,考虑到其用于快速数据访问和处理的成熟基础设施,以及对企业功能(例如,加密、审计、高可用性)。为了利用上述所有优势,我们需要解决一个关键问题:ML模型的RDBMS内评分是否匹配(优于?)专用框架的性能?我们通过构建Raven来积极回答上述问题,Raven是一个利用ML运行时的本地集成的系统(即,ONNX数据库)和统一的中间表示(IR),以实现ML和DB操作符之间的高级交叉优化。在这个优化领域中,我们发现了结合DB/机器学习/ML思维的最令人兴奋的研究机会。我们对真实数据的初步评估表明,在SQL Server中原生集成ML的性能提升高达5.5倍,交叉优化的性能提升高达24倍-我们将在会议期间现场演示Raven。
2019-11-01 cs.DB cs.LG
QCATS: Query Context-Aware Transformer Slicing for Efficient Predictive Query Processing
Zhejiang University(浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院)
提出QCATS框架,利用查询上下文感知的Transformer切片实现数据库内高效稀疏推理,通过查询级路由和系统优化,在保持精度的同时降低延迟达4.42倍。
2026-10-08 cs.AI cs.DB
Balsa: Learning a Query Optimizer Without Expert Demonstrations
UC Berkeley(加州大学伯克利分校)
查询优化器是每个数据库系统中的性能关键组件。由于它们的复杂性,优化器需要专家几个月的时间来编写,几年的时间来完善。在这项工作中,我们第一次证明,学习优化查询,而不从专家优化器学习是可能的和有效的。我们介绍了Balsa,一个由深度强化学习构建的查询优化器。Balsa首先从一个简单的、与环境无关的模拟器中学习基本知识,然后在实际执行中进行安全学习。在Join Order Benchmark测试中,Balsa在两个小时的学习时间内,与两个开源和商业的专家查询优化器的性能相匹配,并且在几个小时后的工作负载运行时间内,其性能超过它们高达2.8 $\times$。因此,Balsa开启了在未来不存在专家设计的优化器的计算环境中自动学习优化的可能性。
2022-05-03 cs.DB cs.LG
Pre-Execution Query Slot-Time Prediction in Cloud Data Warehouses: A Feature-Scoped Machine Learning Approach
Independent Researcher(独立研究员)
本文提出一种基于特征范围的机器学习方法,通过预执行时可观察的信号预测BigQuery槽时间,减少预算超支和调度退化,实验显示在成本显著查询上模型性能优于基线方法。
2026-04-22 cs.DB cs.LG
Online Query Scheduling on Source Permutation for Big Data Integration
大数据集成可能涉及大量数据源,这些数据源之间存在不可预测的冗余信息。建立一个中央仓库来整合来自所有来源的大数据的方法变得不可行,因为数据源数量如此之多,而且不断更新。一种实用的方法是应用在线查询调度,该调度在接收到查询时在运行时从源查询数据。在本文中,我们解决了在线查询调度的时间成本最小化问题,并解决了源置换和统计估计的挑战,以最大限度地减少实时接收查询检索答案的时间成本。我们提出的在线调度策略,使统计的改善,建设的源置换和查询的执行并行工作。实验结果表明,我们的调度策略具有较高的效率和可扩展性。
2015-03-29 cs.DB
TCUDB: Accelerating Database with Tensor Processors
近年来,新型硬件加速器的出现推动了机器学习的巨大增长。这些加速器在处理大容量矩阵运算符方面提供了无与伦比的性能提升,特别是矩阵乘法,这是神经网络训练和推理的核心组件。在这项工作中,我们探索了使用NVIDIA的Tensor Core Units(TCU)加速数据库系统的机会。我们提出了TCUDB,TCU加速查询引擎处理一组查询运算符,包括自然连接和分组聚合TCU内的矩阵运算符。矩阵乘法在过去被认为是低效的;然而,在传统的基于GPU的数据库中,这种策略在很大程度上仍未被探索,这些数据库主要依赖于向量或标量处理。我们展示了TCUDB在一系列实际应用中的显着性能增益,包括实体匹配,图形查询处理和基于矩阵的数据分析。与基于GPU的基准查询引擎相比,TCUDB实现了高达288倍的加速。
2021-12-14 cs.DB
Galley: Modern Query Optimization for Sparse Tensor Programs
University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院)
本研究提出声明式张量编程系统Galley,通过扩展FAQ框架分解程序、基于代价优化稀疏张量算子,在机器学习和子图计数任务中实现显著性能提升且优化开销极小。
2025-10-02 cs.DB cs.PL
Q-Graph: Preserving Query Locality in Multi-Query Graph Processing
正在兴起的以用户为中心的图形应用(诸如路线规划和个性化社会网络分析)已经引发了现代图形处理系统中的范式向多查询分析的转变,即,在共享图上并行处理多个图查询。这些应用程序在查询热点(如热门城市地区)周围生成动态数量的本地化查询。然而,现有的图形处理系统还没有针对这些属性进行定制:用于图形分区和同步管理的方法忽略了查询局部性和动态性,这导致了高查询延迟。为此,我们提出了系统Q-图的多查询图分析,认为查询局部性的三个层次上。(i)查询感知的图划分算法Q-cut最大化查询局部性,以减少通信开销。(ii)用于同步管理的方法,称为混合屏障同步,允许仅跨越分区的子集的本地查询的充分利用。(iii)这两种方法在运行时适应不断变化的查询工作负载,以保持和利用局部性。我们的实验表明,Q-cut减少平均查询延迟高达57%的静态查询无关的分区算法相比。
2018-05-30 cs.DB cs.DC
Eiger: An Efficient Library for GPU-based Data Analytics
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达);Stanford University(斯坦福大学)
研究针对GPU数据分析,因GPU内查询处理成瓶颈,cuDF有局限。核心方法是Eiger库通过运行时工作负载适应性提升单GPU查询处理。主要贡献是提供多实现变体等,用轻量级统计优化,性能比cuDF大幅提升。
2026-07-07 cs.DB
Beyond Relational: Semantic-Aware Multi-Modal Analytics with LLM-Native Query Optimization
Zhejiang University(浙江大学);Aalborg University(奥胡斯大学)
Nirvana通过结合可编程语义运算符和LLM原生查询优化,实现多模态数据分析,显著提升效率和可扩展性。
2025-11-25 cs.AI cs.DB
What Can Database Query Processing Do for Instance-Spanning Constraints?
在过去的十年中,在流程挖掘领域中引入了术语实例跨越约束,指的是跨越一个或多个流程的多个流程实例的约束。在这种情况下,特别相关的是检查流程执行是否符合感兴趣的约束,这在运行时需要适当的监控技术。即使事件数据通常存储在某种数据库中,也缺乏面向数据库的方法来处理(实例跨越)约束的合规性检查和监视。在本文中,我们填补了这一空白,展示了如何完善的技术,从数据库查询处理可以有效地用于此目的。我们建议定义一个实例跨越约束,通过一个合奏的四个数据库查询检索满足,违反,悬而未决的满足,悬而未决的违反情况下的约束。在这种情况下,合规性监控的问题,然后成为增量视图维护,这是在数据库查询处理中发展良好的技术的应用。在本文中,我们认为我们的方法详细,并作为概念的证明,提出了一个实验验证使用DBToaster增量数据库查询引擎。
2022-05-31 cs.DB
In-Memory Indexing and Querying of Provenance in Data Preparation Pipelines
LAMSADE, Univ. Paris-Dauphine, PSL(LAMSADE,巴黎第九大学,PSL)
本文提出一种利用张量捕获细粒度数据溯源的内存索引与查询机制,结合回顾性与前瞻性溯源实现属性级溯源查询,有效支持管道调试与数据质量识别。
2025-11-05 cs.DB
Cost Models for Big Data Query Processing: Learning, Retrofitting, and Our Findings
大数据查询处理在现代云计算中无处不在,系统使用基于成本的查询优化器负责挑选物理查询执行计划和运行这些计划所需的资源。因此,一个好的成本模式类似于更好的资源效率和更低的运营成本。不幸的是,微软的生产工作负载表明,为大数据系统建模的成本非常复杂。在这项工作中,我们研究了两个关键问题:(i)我们是否可以学习大数据系统的准确成本模型,以及(ii)我们是否可以将学习的模型集成到查询优化器中。为了回答这些问题,我们做出了三个核心贡献。首先,我们利用工作负载模式来学习大量的单个成本模型,并将它们结合起来,以实现长期的高准确性和覆盖率。其次,我们提出了扩展级联框架,以挑选最佳的资源,即容器的数量,在查询规划。第三,我们将学习到的成本模型集成到微软SCOPE的级联式查询优化器中。我们评估由此产生的系统,Cleo,在生产环境中使用生产和TPC-H工作负载。我们的研究结果表明,学习成本模型的准确性提高了2到3个数量级,与实际运行时间的相关性提高了20倍,大部分(70%)的计划更改导致延迟和资源使用的大幅改善。
2020-02-27 cs.DB
KloakDB: A Platform for Analyzing Sensitive Data with $K$-anonymous Query Processing
私有数据联合使数据所有者能够在不向彼此公开其秘密元组的情况下汇集其信息以进行查询。在这里,客户端查询所有数据所有者的记录的联合。数据所有者一起工作,使用隐私保护算法来回答查询,以防止他们学习有关其对等方输入的未经授权的信息。只有客户机和联合协调器才知道查询的输出。KloakDB是一个私有数据联合,它使用可信硬件来处理两方或多方输入的SQL查询。目前,私有数据联合会完全遗忘地计算其查询,通过观察查询的指令跟踪和存储器访问模式来保证没有关于数据所有者的敏感输入的信息被泄露给其对等体。与明文执行相比,不经意查询几乎总是在查询运行时降低几个数量级,这使得它对许多应用程序来说不切实际。KloakDB提供了一个半遗忘计算框架,$k$ -匿名查询处理。我们使查询的可观察成绩单$k$ -匿名的,因为它是一个流行的标准,在许多领域的数据发布,包括医学,教育研究和政府数据。KloakDB的查询运行使得每个数据所有者可以从其对等数据中推断出不少于$k$个人的信息。此外,利益相关者设置了$k$,在隐私和性能之间创建了一个新的权衡。我们的研究结果表明,KloakDB在完全不经意的评估上使用k-匿名查询处理时,速度提升高达$117$ X。
2020-03-20 cs.CR cs.DB
Insert-Only versus Insert-Delete in Dynamic Query Evaluation
该研究对比动态查询评估中仅插入与插入-删除场景的复杂度,证明仅插入更新总时间匹配静态查询复杂度,插入删除场景通过扩展元组生命周期变量实现最优摊销更新时间。
2024-09-13 cs.DB
Learning Models over Relational Data using Sparse Tensors and Functional Dependencies
基于关系数据库的分析的集成解决方案具有非常重要的实际意义,因为它们避免了数据科学家必须每天处理的昂贵的重复循环:使用涉及连接、投影和聚合的特征提取查询从驻留在关系数据库中的数据中选择特征;导出由这些查询定义的训练数据集;将该数据集转换为外部学习工具的格式;并使用该工具训练所需的模型。这些集成的解决方案也是关系和统计数据模型交叉点的理论基础和挑战性问题的肥沃土壤。本文介绍了一个统一的框架,用于训练和评估一类基于关系数据库的统计学习模型。这门课包括岭线性回归、多项式回归、因子分解机和主成分分析。我们表明,通过协同关键工具,从数据库理论,如模式信息,查询结构,功能依赖,查询评估算法的最新进展,并从线性代数,如张量和矩阵运算,可以制定关系分析问题和设计高效的(查询和数据)结构感知算法来解决它们。这一理论发展为结构感知学习的AC/DC系统的设计和实现提供了信息。我们针对R、MADlib、libFM和TensorFlow对AC/DC的性能进行了基准测试。对于典型的零售预测和广告规划应用程序,AC/DC可以学习多项式回归模型和因子分解机,其精度至少与竞争对手相同,并且在没有耗尽内存、超过24小时超时或遇到内部设计限制的情况下,比竞争对手快三个数量级。
2020-02-06 cs.DB