Electra: Conditional Generative Model based Predicate-Aware Query Approximation
Adobe Research(奥多比研究院)
近似查询处理(AQP)的目标是为昂贵的聚合查询提供非常快速但“足够准确”的结果,从而改善大型数据集的交互式探索中的用户体验。最近提出的基于机器学习的AQP技术可以提供非常低的延迟,因为与数据库集群上的传统查询处理相比,查询执行仅涉及模型推理。然而,随着过滤谓词(WHERE子句)数量的增加,这些方法的近似误差显着增加。分析师经常使用带有大量谓词的查询来进行见解发现。因此,保持低近似误差对于防止分析师得出误导性结论非常重要。在本文中,我们提出了ELECTRA,一个谓词感知的AQP系统,可以回答分析风格的查询与大量的谓词与小得多的近似误差。ELECTRA使用一个条件生成模型,学习数据的条件分布,并在运行时生成一个小的(约1000行)但具有代表性的样本,在其上执行查询以计算近似结果。我们对三个真实世界数据集的四个不同基线进行的评估表明,与基线相比,ELECTRA为大量谓词提供了较低的AQP误差。
2022-01-28 cs.DB cs.LG
Approximate Computation for Big Data Analytics
在过去的几年里,研究和开发在大数据分析方面取得了重大进展。大数据分析的一个基本问题是效率。如果最佳解决方案无法实现或不需要,或需要付出高昂的代价,则合理的做法是牺牲最佳性,而采用一个可以有效计算的“好”可行解决方案。现有的近似技术一般可以分为近似算法、用于聚集SQL查询的近似查询处理和用于系统栈的多个层的近似计算。本文系统地介绍了近似计算,即,查询近似和数据近似,用于大数据分析的效率和有效性。我们首先解释的想法和基本原理的查询近似,并显示效率可以获得高效率的实际分析任务:图模式匹配,轨迹压缩和密集的子图计算。然后,我们解释的想法和理由的数据近似,并显示效率,甚至可以在实践中不牺牲有效性与三个分析任务:最短路径/距离,网络异常检测和链接预测。
2019-01-02 cs.DB
Approximation-First Timeseries Monitoring Query At Scale
针对时序监控规则查询因窗口重叠导致重复扫描和计算的高成本、高延迟问题,提出可集成于 Prometheus 与 VictoriaMetrics 的近似优先中间缓存框架 PromSketch,显著降低延迟与运营成本且误差不超过5%。
2025-05-15 cs.DB cs.NI
Learning Approximation Sets for Exploratory Queries
针对大数据探索中非聚合查询耗时久的问题,提出基于强化学习的ASQP-RL方法求解NP完全的ANAQP问题,在两个基准上准确率超基线30%、效率提升10-35倍,为数据管理任务优化提供新思路。
2024-01-30 cs.DB
Query Answering under Volume-Based Diversity Functions
TU Wien(维也纳工业大学)
本文提出基于体积而非距离的元组多样性度量框架,解决传统距离聚合方法行为不直观且最大多样性子集难解的问题,并证明对任意体积多样性函数总能得到(1-1/e)-近似,同时给出多项式时间可计算的一般条件。
2025-09-22 cs.DB
Distributed Query Processing Plans generation using Teacher Learner Based Optimization
随着数据库的日益普及,数据源的数量和数据量在近几年都在快速增长。操作数据在分散数据源上的分布对处理用户查询提出了挑战。在这样的数据库系统中,查询所需的数据库关系可以存储在多个站点。这导致用户查询的可能等价物或替代物的数量呈指数级增长。虽然在一个大的搜索空间中穷尽所有可能的查询计划在计算上是不合理的,但是在分布式数据库系统中产生最优查询计划的策略是必需的。具有最具成本效益的查询处理选项的查询计划是必要的,并且必须为给定的查询生成。本文试图产生这样的最佳查询计划,使用无参数的优化技术基于教学的优化(TLBO)。TLBO算法在求解多目标无约束和有约束基准优化问题时,均取得了较好的效果。实验比较了基于TLBO的最优查询计划生成算法和基于多目标遗传算法的分布式查询计划生成算法,结果表明,对于更大的关系数,基于TLBO的算法能够生成质量相对更好的TopK查询计划。
2016-02-14 cs.DB
Complete Approximations of Incomplete Queries
Free University of Bozen-Bolzano(波尔扎诺自由大学)
本文研究部分完整数据库上合取查询的完全可回答性,提出通过最大完全特化(MCS)和最小完全泛化(MCG)对不完全查询进行最佳近似,并给出不动点刻画、计算方法和基于ASP与Prolog的实现技术。
2024-07-30 cs.AI cs.DB
Revenue Maximization for Query Pricing
在过去的几年里,在线数据买卖大幅增加。已经提出了几个框架,在理论和实践中研究查询定价。这些工作中的关键指导原则是{\em无套利}的概念,其中经纪人可以为对数据集的不同查询设置不同的价格,但必须确保定价功能不会为买家提供套利机会。然而,鲜为人知的是收入最大化方面的查询定价。在本文中,我们研究的问题所面临的经纪人销售访问数据的目标是最大限度地提高她的收入。我们表明,这个问题可以制定为一个收入最大化的问题,一心一意的买家和无限的供应,其中几个近似算法是已知的。我们进行了广泛的实证评估的性能的几个定价算法的查询定价问题在现实世界中的实例。除了以前已知的近似算法,我们提出了几个新的算法,并分析他们的理论和实验。我们的实验表明,具有最佳理论界的算法不一定是经验上最好的。我们确定的算法和算法,都是快速的,也提供了一贯的良好性能时,估值是从各种分布。
2019-09-09 cs.DB
Evaluation d'une requete en SQL
本文的目的是展示询问处理器如何响应SQL询问。询问处理器分为两部分。第一个编译器称为询问编译器,它将SQL查询转换为物理执行计划。第二个称为评估查询,它运行执行计划。
2009-06-22 cs.DB
Query and Resource Optimizations: A Case for Breaking the Wall in Big Data Systems
现代大数据系统在云环境中运行,其中资源在多个用户和应用程序之间共享。因此,这些环境中的声明性用户查询需要在不断变化的资源上进行优化和执行,并按需为每个作业提供。这就要求我们重新思考为运行在专用资源上的系统设计的传统查询优化器。在本文中,我们证明了查询计划的选择在很大程度上取决于可用的资源,目前的做法,选择查询计划之前挑选的资源可能会导致显着的性能损失,在两个流行的大数据系统,即蜂巢和SparkSQL。因此,我们提出了资源和查询优化(或RAQO)的理由,即,同时选择查询计划和资源配置。我们描述了基于规则的RAQO,并提出了替代决策树,使资源感知的查询规划在蜂巢和火花。我们进一步提出了基于成本的RAQO,在一个查询规划器集成资源规划,并显示技术,以显着减少资源规划的开销。我们评估基于成本的RAQO使用国家的最先进的R系统查询规划器,以及最近提出的多目标查询规划器。我们对TPC-H和随机生成模式的评估表明:(i)我们可以将资源规划开销减少多达16倍,(ii)RAQO可以扩展到100个表连接的模式以及100 K容器的集群,每个容器100 GB。
2019-06-15 cs.DB
Parallelizing Query Optimization on Shared-Nothing Architectures
数据处理系统在核、CPU和处理节点的级别上提供不断增加的并行度。查询优化必须利用高度的并行性,以免逐渐成为查询计算的瓶颈。我们展示了如何大规模并行化查询优化。我们提出的算法,并行查询优化在左深和浓密的计划空间。在优化开始时,我们将给定查询的计划空间划分为相等大小的分区,这些分区由工作节点并行探索。在优化结束时,每个工作者将其分区中的最优计划返回给主节点,主节点从分区最优计划中确定全局最优计划。在实际优化阶段不需要同步或数据交换。在优化的开始和结束时,通过网络发送的数据量,以及我们算法中串行步骤的复杂性,在工人的数量和查询大小方面仅线性增加。在一个分区内优化的时间和空间复杂度随着工作者的数量均匀地降低。在我们的实验中,我们使用超过250个并发工作线程(Spark执行器)在一个具有100个节点的集群上并行化单目标和多目标查询优化。尽管网络延迟和任务分配开销很高,但并行化可以为大型查询提供高达一个数量级的加速,这些查询的优化在单个节点上需要几分钟。
2015-11-05 cs.DB
Probabilistic Models for Query Approximation with Large Sparse Binary Datasets
Nokia Research Center(诺基亚研究中心)
具有数百万条记录和数千个属性的大型稀疏二进制事务数据集出现在各个领域:客户购买产品,用户访问网页和包含单词的文档只是三个典型的例子。实时查询选择性估计(估计满足给定谓词的数据中的行数的问题)是此类数据库的重要实际问题。我们研究了概率模型在这个问题上的应用。特别地,我们研究了基于频繁集和最大熵的马尔可夫随机场(MRF)方法,并将其与独立模型和Chow-Liu树模型进行了比较。我们发现,MRF模型提供了更准确的概率估计比其他方法,但更昂贵的计算和内存的角度来看。为了减轻计算的要求,我们展示了如何可以应用桶消除和团树的方法来利用结构的模型和查询。我们提供了两个大的真实世界的交易数据集上的实验结果。
2013-01-16 cs.AI cs.DB
Memory-Efficient RkNN Retrieval by Nonlinear k-Distance Approximation
反向k-最近邻(RkNN)查询是一种已建立的查询类型,具有各种应用,从识别高度影响力的对象到增量更新kNN图,以优化传感器通信和离群值检测。最先进的解决方案利用现实世界数据集中的k距离通常遵循幂律分布,并将它们与对数-对数空间中的线性线绑定。在这项工作中,我们调查了这一假设,并发现它在密度变化的区域中被违反,我们表明这是现实生活中数据集的典型特征。对于一个通用的解决方案,我们提出的k-距离的估计作为一个回归问题。因此,我们能够利用丰富的可用机器学习模型的力量,并从它们的进步中获利。我们提出了一种灵活的方法,可以引导性能-内存消耗的权衡,特别是在边缘计算的背景下找到具有固定内存预算的良好解决方案。此外,我们展示了如何获得和提高保证边界必不可少的精确查询处理。在真实数据集上的实验中,我们展示了这个框架如何显着减少索引内存消耗,并大大减少候选集的大小。我们在https://github.com/sobermeier/nonlinear-kdist上发布代码。
2020-11-03 cs.DB
Admission Control with Response Time Objectives for Low-latency Online Data Systems
针对低延迟在线数据系统,提出准入控制策略Bouncer,通过廉价估计百分位响应时间并对照SLO决策,辅以饥饿避免策略,使准入查询满足或接近SLO,同时减少拒绝、低开销并实现高利用率。
2023-12-23 cs.DB cs.DC cs.PF
100x Cost & Latency Reduction: Performance Analysis of AI Query Approximation using Lightweight Proxy Models
Google Cloud(谷歌云)
本文研究了AI查询近似方法,通过轻量级代理模型实现100倍成本和延迟降低,提升语义过滤和排序性能,适用于OLAP和HTAP数据库。
2026-04-14 cs.AI cs.DB
A More General Theory of Static Approximations for Conjunctive Queries
连接查询(CQ)的评价是NP完全的,但成为有界超树宽度的片段易于处理。因此,通过来自这样的片段的查询来近似硬CQ可以允许有效的近似评估。虽然欠近似(即,仅返回正确答案的近似)是很好理解的,但是过度近似(即,返回完整但不一定可靠的答案的近似)的双重概念以及基于查询结果的对称差的更一般的近似概念几乎未被探索。事实上,这些近似的评价、识别和存在性等基本问题的可判定性一直是公开的。本文建立了过度近似和存在卵石游戏之间的联系,允许系统地研究这些问题。建立在这种连接,它表明,评价和识别问题过近似可以解决在多项式时间。虽然一般存在的问题仍然是开放的,这个问题被证明是可判定的2EXPTIME类的非循环CQ和PTIME布尔CQ在二进制模式。此外,我们提出了一个更自由的概念overapproximations来弥补已知的缺点,查询可能没有overapproximations,并研究如何查询可以overapproximates在元组生成和平等生成依赖关系的存在。然后,该技术扩展到对称差分近似,并用于提供几个复杂的结果,这种类型的近似的识别,存在性和评价问题。
2019-04-01 cs.DB cs.DM cs.LO
Predictive Price-Performance Optimization for Serverless Query Processing
Microsoft(微软)
我们提出了一个有效的,参数化的预测资源分配建模框架,专注于计算资源的数量,可以优化一系列的性价比目标的数据分析在无服务器查询处理设置。我们深入讨论和评估了我们的系统AutoExecutor如何使用此框架为Azure Synapse上运行的Spark SQL查询自动选择接近最佳的执行器和核心计数。我们的技术改进了Spark的内置,反应,动态执行器分配能力,通过大幅减少总执行器分配和执行器占用,同时运行查询,从而释放执行器,可能被其他并发查询使用或减少整体集群配置需求。与Sparklens等执行后分析工具相比,我们在执行查询之前预测查询的资源分配,并且还可以考虑输入数据大小的变化,以预测所需的分配。
2021-12-16 cs.DB cs.LG