A Unified Architecture for Efficient Binary and Worst-Case Optimal Join Processing
本文提出统一架构,同时支持传统二进制连接与最坏情况最优连接(WCOJ),涵盖哈希和排序两种物理实现,在标准基准查询中相比Generic Join和Free Join实现分别获得最高3.1倍和4.8倍的性能提升。
2025-05-26 cs.DB
Beyond Worst-Case Analysis for Joins with Minesweeper
我们描述了一种新的算法,扫雷,能够满足更强的运行时保证比以前的连接算法(通俗地说,“超越最坏情况下的搜索树”)的数据索引搜索树。我们的第一个贡献是开发一个框架来衡量这个更强的复杂性概念,我们称之为{ \it证书复杂性},它扩展了Barbay等人和Demaine等人的概念;证书是证明输出正确的一组命题公式。这个概念捕获了连接算法的一个自然类别。此外,证书允许我们定义一个比传统的最坏情况保证更严格的运行时复杂性概念。我们的第二个贡献是为基于证书的复杂性概念开发了一个二分法定理。粗略地说,我们表明扫雷评估$β$ -非循环查询的时间线性的证书加上输出大小,而对于任何$β$ -循环查询有一些实例,需要超线性的时间在证书(和输出不大于证书的大小)。我们还扩展了我们的证书复杂性分析查询有界树宽和三角查询。
2014-03-28 cs.DB
Worst-Case Optimal Join Algorithms: Techniques, Results, and Open Problems
最坏情况最优连接算法是一类连接算法,其运行时匹配给定连接查询的最坏情况输出大小。虽然第一个可证明的最坏情况下的最优连接算法是最近才发现的,但围绕这些算法的技术和结果是从广泛领域的数十年研究中发展出来的,这些领域将图论、算法、信息论、约束满足、数据库理论和几何不等式紧密联系在一起。这些想法不仅仅是纸质的:除了学术项目的实现,这些算法的两个变体是商业数据库和数据分析引擎的工作马连接算法。本文旨在简要介绍最坏情况下的最优连接算法的设计和分析。我们讨论了证明运行时间和输出大小界限的关键技术。我们特别关注连接算法和信息论不等式之间的迷人联系,以及如何将证明转化为算法的想法。最后,我们得出一个有代表性的清单,在这一领域的基本开放的问题。
2018-06-26 cs.DB cs.DS
Old Techniques for New Join Algorithms: A Case Study in RDF Processing
最近,人们对设计专门的RDF引擎产生了浓厚的兴趣,因为传统的查询处理机制在许多RDF工作负载上产生了数量级的性能差距。与此同时,研究人员已经发布了新的最坏情况下的最优连接算法,可以渐近优于传统引擎中的连接算法。在本文中,我们应用最坏情况下的最佳连接算法的标准RDF工作负载,LUBM基准,第一次。我们使用两个最坏情况下的最优引擎:(1)LogicBlox,一个商业数据库引擎,和(2)EmptyHeaded,我们的原型研究引擎,具有增强的最坏情况下的最优连接算法。我们表明,没有任何增加的优化LogicBlox和EmptyHeaded优于两个国家的最先进的专门的RDF引擎,RDF-3X和TripleBit,高达6倍的循环连接查询,查询传统的优化器是次优的。在剩下的,不太复杂的查询在LUBM基准测试,我们表明,三个经典的查询优化技术,使EmptyHeaded与RDF引擎竞争,即使没有渐近优势的最坏情况下的最佳方法。我们验证了我们的设计具有优点,因为EmptyHeaded的性能优于MonetDB三个数量级,LogicBlox两个数量级,同时保持在RDF-3X和TripleBit的数量级内。
2016-02-10 cs.DB
LevelHeaded: Making Worst-Case Optimal Joins Work in the Common Case
结合SQL风格的商业智能(BI)查询和线性代数(LA)的管道在工业中变得越来越普遍。因此,越来越需要将这些工作负载统一到一个框架中。不幸的是,现有的解决方案要么牺牲了专门使用关系数据库的固有好处(例如,逻辑和物理独立性),要么与专用引擎相比导致数量级的性能差距(或两者)。在这项工作中,我们研究应用一种新的类型的查询处理架构的标准BI和LA基准。为了做到这一点,我们提出了一个新的内存查询处理引擎称为LevelHeaded。LevelHeaded使用最坏情况下的最优连接作为BI和LA查询的核心执行机制。使用LevelHeaded,我们展示了如何在最坏情况下的最佳查询架构中捕获BI和LA查询的关键优化。通过这些优化,LevelHeaded在标准LA基准测试中的性能超过其他关系数据库引擎(LogicBlox、MonetDB和HyperPer)几个数量级,而在其自己的基准测试中,其性能平均仅为同类最佳BI(HyperPer)和LA(英特尔MKL)解决方案的31%。我们的研究结果表明,这样一个单一的查询处理架构是能够提供有竞争力的性能BI和LA查询。
2017-08-25 cs.DB
Worst-Case Optimal Radix Triejoin
最近,连接处理领域已经被一类新的多路连接算法的发现所动摇。新算法同时连接多个关系,而不是执行一系列成对连接。新的连接算法比任何现有的基于成对连接的方法都能满足更强的最坏情况运行时复杂度保证--它们在数据复杂度方面是最坏情况下的最优。这些研究工作产生了一系列的论文,记录了理论和一些实际的贡献。然而,仍然存在使新的最坏情况下的最优连接算法在以下方面真正实用的追求:(1)易于实现和(2)二级索引效率(根据为回答查询而创建的索引的数量)。在本文中,我们提出了一个简单的最坏情况下的最佳多路连接算法称为基数triejoin。Radix triejoin使用二进制编码来减少数据库的域。我们的主要技术贡献是域缩减允许属性值的位交织,从而产生查询独立的关系表示,允许在相同关系的最坏情况下计算多个查询,而无需构建额外的二级索引。我们还将核心算法推广到具有不等式约束的合取查询,并为最坏情况下的最优连接结果提供了一种新的证明技术。
2019-12-29 cs.DB cs.DS
Solving the Join Ordering Problem via Mixed Integer Linear Programming
我们将连接排序转化为一个混合整数线性规划(MILP)。这允许通过成熟的MILP求解器实现来解决查询优化,这些MILP求解器实现已经发展了几十年并稳步提高了它们的性能。它们提供了与查询优化高度相关的随时优化和并行搜索等特性。我们提出了一个MILP制定搜索左深查询计划。我们使用二进制变量集来表示连接操作数和中间结果,操作符实现选择或有趣的顺序的存在。线性约束将值分配限制为表示有效查询计划的值。我们通过线性函数近似扫描和连接操作的成本,允许将近似精度提高到任意程度。我们的实验结果是令人鼓舞的:我们能够找到最佳的计划之间的连接60个表,查询的大小,是超出了以前的详尽的查询优化方法的能力。
2015-11-06 cs.DB
DPconv: Super-Polynomially Faster Join Ordering
本研究针对查询优化中连接排序问题的传统DPccp算法时间复杂度高的痛点,提出基于子集卷积的DPconv框架,实现超多项式级加速,且在大型团查询上比DPccp最高快30倍。
2024-09-12 cs.DB
Joins via Geometric Resolutions: Worst-case and Beyond
我们提出了一个简单的几何框架的关系连接。使用这个框架,我们设计了一个算法,实现了分数超树宽度界,这概括了经典和最近的最坏情况下的算法计算连接的结果。此外,我们使用我们的框架和相同的算法来展示一系列通俗地称为超越最坏情况的结果。该框架允许我们证明存储在B树、多维数据结构甚至每个表多个索引中的数据的结果。在我们的框架中的一个关键思想是形式化的推理与索引作为一种类型的几何分辨率;变换的算法问题计算连接到一个几何问题。我们的几何归结的概念可以被看作是逻辑归结的几何类比。除了几何和逻辑的联系,我们的算法也可以被认为是回溯搜索与记忆。
2016-12-23 cs.DB cs.DS
Distributed Datalog at Scale with Worst-Case Optimal Joins
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Syracuse University(雪城大学);Washington State University(华盛顿州立大学)
该研究提出首个采用最坏情况最优连接(WCOJ)的分布式内存Datalog引擎,基于HyperCube分区设计,在超级计算机基准测试中展现强可扩展性,性能优于多数现有Datalog引擎。
2026-10-12 cs.DB
Leapfrog Triejoin: a worst-case optimal join algorithm
近年来,连接算法取得了令人兴奋的发展。在2008年,Atserias,Grohe和Marx(以下简称AGM)证明了一个完整合取查询的最大结果大小的紧界,给定输入关系大小的约束。2012年,Ngo、Porat、R{é}和Rudra(以下简称NPRR)设计了一个最坏情况下运行时间与AGM边界成比例的连接算法。我们的商业数据库系统LogicBlox采用了一种新的连接算法,\emph{leapfrog triejoin},比较显着以及NPRR算法在初步的基准测试。这促使我们分析跳耦连接的复杂性。在本文中,我们建立了蛙跳triejoin也是最坏情况下的最佳,对数因子,在NPRR的意义。我们改进NPRR的结果证明,蛙跳triejoin实现最坏情况下的最优的细粒度类的数据库实例,如那些定义的约束投影基数。我们表明,NPRR是\emph{not}最坏情况下的最佳此类,给出一个反例,其中蛙跳triejoin运行在$O(n \log n)$时间相比,$Θ(n^{1.375})$时间为NPRR。实际上,蛙跳triejoin可以使用传统的数据结构(如B树)来实现,并自然地扩展到$\exists_1$查询。我们相信我们的算法提供了一个有用的除了现有的连接算法的工具箱,易于吸收,实现简单,并有一个简洁的最优性证明。
2013-12-20 cs.DB cs.DS
Simpli-Squared: A Very Simple Yet Unexpectedly Powerful Join Ordering Algorithm Without Cardinality Estimates
由于其复杂性和完备性,连接顺序基准(JOB)已经成为事实上的标准来评估关系数据库查询优化器的性能。为了计算最佳执行计划-连接顺序-现有的解决方案采用了大量的数据概要和表属性之间的相关性-函数依赖性。这些结构在设计、构建和维护方面会产生大量开销。在本文中,我们提出了\textit{Simpli}城市\textit{Simpli}字段(\textit{Simpli-Squared}),一个非常简单的连接排序算法,取得了意想不到的好结果。Simpli-Squared计算连接顺序时不使用任何统计信息或基数估计值。它只接受模式定义中声明的引用完整性约束和基表中元组的数量(大小)作为输入。给定查询的连接顺序是通过沿着多对多连接分割连接图并根据表的大小对表进行排序来计算的。一对多联接中涉及的表根据大小和查询联接图而被广泛包括。由此产生的计划可以有效地产生一个轻量级的查询重写过程。在PostgreSQL中的JOB基准测试上的实验表明,Simpli-Squared实现的运行时间仅增加了16%-有时甚至减少-与四个更复杂的最先进的解决方案相比。基于这些结果,我们质疑JOB是否充分测试查询优化器,或者准确的基数估计是否是在JOB基准测试中表现良好的基本要求。
2021-10-30 cs.DB
Debunking the Myth of Join Ordering: Toward Robust SQL Analytics
本文从稳健性视角重新审视 Predicate Transfer 技术,提出 RPT 框架及两种新算法,集成至 DuckDB 中,在保证无环查询对任意连接顺序稳健性的同时,显著提升了端到端查询性能。
2025-03-06 cs.DB
Uplifting the Superpowers of Worst-Case-Optimal Join Algorithms
Universidade da Coruña(科鲁尼亚大学);IMFD — Millennium Institute for Foundational Research on Data(数据基础研究千年研究所);Department of Computer Science, University of Chile(智利大学计算机系)
本文提出将最坏情况最优连接算法原生融入过滤器处理,扩展紧凑索引Ring以处理属性图,实验显示该方法性能优于多种基准系统。
2026-08-10 cs.DB cs.DS
Fast Join Project Query Evaluation using Matrix Multiplication
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学)
本文研究如何利用最坏情况最优算法和矩阵乘法加速带投影的连接查询,提出参数化输出大小的算法,实验显示性能提升可达50倍。
2026-07-02 cs.DB
HoneyComb: A Parallel Worst-Case Optimal Join on Multicores
本文提出 HoneyComb,一种面向多核共享内存系统的并行最坏情况最优连接算法,通过对所有查询变量域进行分区、引入急切构建的 CoCo 索引以及重写 WCOJ 计划消除冗余计算,解决了现有并行 WCOJ 的工作倾斜、线程争用和冗余计算问题。
2025-02-10 cs.DB
Worst-case Optimal Join Algorithms
有效的连接处理是数据库研究中最基本和研究最多的任务之一。在这项工作中,我们研究算法的自然连接查询在许多关系,并描述了一种新的算法来处理这些查询最佳的最坏情况下的数据复杂性。我们的结果建立在Atserias、Grohe和Marx最近的工作基础上,他们根据查询主体中各个关系的大小给出了完整合取查询大小的界限。然而,这些界限不是建设性的:它们依赖于希勒的熵不等式,这是信息论的。因此,以前的结果留下开放的问题,是否存在算法的运行时间达到这些最佳的界限。这个问题的答案可能是有趣的数据库实践,因为它是已知的,通常在RDBMS中采用的传统的选择-项目-连接风格的计划的基础上的任何算法是渐近慢于某些查询的最佳。我们构造了一个算法,其运行时间是最坏情况下的所有自然连接查询的最优。我们的结果可能是独立的利益,因为我们的算法也产生了一个建设性的证明一般分数覆盖范围由Atserias,Grohe,马克思不使用希勒不等式。这个界包含了两个著名的几何不等式:Loomis-Whitney不等式和Bollobás-Escherason不等式。因此,我们的结果也证明了这些不等式。最后,我们将讨论如何使用我们的算法来计算一个宽松的连接概念。
2012-03-08 cs.DB cs.DS math.CO
Aggregations over Generalized Hypertree Decompositions
我们研究了一类聚合连接查询与多个聚合运算符评估的注释关系。我们表明,标准多路连接算法和广义超树分解(GHD)的直接扩展提供了最著名的运行时保证。相比之下,先前的工作使用定制的算法和数据结构,并且不匹配这些保证。我们对标准技术的扩展是一对简单的测试,(1)确定聚合算子的两个排序是否等价,(2)确定GHD是否与给定的排序兼容。这些测试提供了一种找到最佳GHD的方法,当提供给标准连接算法时,将正确回答给定的聚合连接查询。我们的第二类贡献是(1)等价于给定序的序集和(2)相容于某个等价序的GHD集的一对完全刻画。我们通过例子表明,以前的方法是不完整的。我们的特征的关键技术后果是一个兼容的GHD分解成一组(较小的){ \em无约束} GHD,即成一组GHD的子查询没有聚合。由于这种分解是由不受约束的GHD,我们能够连接到GHD连接查询处理的广泛文献,从而获得改进的运行时边界,MapReduce变体,并找到近似最优GHD的有效方法。
2015-12-10 cs.DB
Gradient-Based Join Ordering
Technical University of Munich(慕尼黑技术大学)
本文提出基于梯度的连接顺序方法,通过连续松弛和可微约束,在放松空间中寻找低成本计划,优于传统离散搜索方法。
2026-05-15 cs.DB cs.LG
Distributed Evaluation of Subgraph Queries Using Worstcase Optimal LowMemory Dataflows
我们研究了在一个不断变化的大规模图中发现和监控固定大小的子图的问题。我们提出了第一种方法,(i)执行最坏情况下的最佳计算和通信,(ii)保持输入边缘数量的总内存占用线性,(iii)随着工人数量的增加,即使在不利的倾斜输入下,也线性地降低每个工人的计算,通信和内存需求。我们的方法是基于最坏情况下的最优连接算法,重铸为数据并行的并行计算。我们描述了一般的算法和修改,使其强大的偏斜数据,证明其资源需求的理论界限的大规模并行计算模型,并实施和评估它的图形包含多达64亿边缘。底层算法和思想从查找和监视子图推广到计算和维护动态关系上的关系等价连接的更一般问题。
2018-02-11 cs.DB cs.DC
Scaling Worst-Case Optimal Datalog to GPUs
Syracuse University(雪城大学);University of Illinois, Chicago(伊利诺伊大学芝加哥分校);Washington State University(华盛顿州立大学)
本文提出SRDatalog,首个基于WCOJ的GPU Datalog引擎,通过改进存储和内存管理解决二进制连接的OOM问题,并通过负载平衡和规则复用提升性能,实现在实际程序分析任务中21至47倍的加速。
2026-04-23 cs.DB cs.PL
Instance and Output Optimal Parallel Algorithms for Acyclic Joins
大规模并行连接算法近年来受到了广泛的关注,而大多数先前的工作集中在最差最优算法。然而,这些连接算法的最坏情况下的最优性依赖于具有非常大的输出大小的硬实例,这在实践中很少出现。最优性的一个更强的概念是{ \em output-optimal},它要求算法在共享相同输入和输出大小的所有实例的类中是最优的。更强的最优性是{ \em实例最优},即,该算法在每一个实例上都是最优的,但是这并不总是可以实现的。在传统的RAM计算模型中,经典的Yannakakis算法在任何非循环连接上都是实例最优的。但在大规模并行计算(MPC)模型中,情况变得更加复杂。我们首先表明,类的r-层次连接,实例最优仍然可以实现MPC模型。然后,我们给出了一个新的MPC算法的任意非循环连接负载$O ({\IN \over p} + {\sqrt{\IN \cdot \OUT} \over p})$,其中$\IN,\OUT$是输入和输出的连接大小,和$p$是MPC模型中的服务器的数量。这通过$O (\sqrt{\OUT \over \IN} )$因子改进了Yannakakis算法的MPC版本。此外,我们还证明,对于每个非循环但非r层次连接,当使用$\OUT = O(p \cdot \IN)$时,这是输出最优的。最后,我们给出了MPC模型中三角连接的第一个输出敏感下界,表明它本质上比非循环连接更困难。
2019-03-28 cs.DB
Optimal Joins using Compact Data Structures
最坏情况下的最优连接算法在数据库文献中得到了很多关注。我们现在使用几种在最坏情况下最优的算法,其中许多算法已经在实践中实现和验证。然而,这些算法的实现通常需要增强的索引结构:为了实现最优性,我们要么需要构建全新的索引,要么必须用索引的几个实例(如B $+$树)填充数据库。无论哪种方式,这意味着花费额外的存储空间,这可能是不可忽略的。我们表明,最佳算法可以直接从一个表示,认为在变维网格的点集的关系,而不需要额外的存储。我们的表示是一个紧凑的四叉树的静态索引,和一个动态的四叉树共享子树(我们称之为qdag)的中间结果。我们开发了一个组合算法来处理这种表示下的全连接查询,并表明,该算法的运行时间是最坏情况下的数据复杂度最优。值得注意的是,我们可以通过引入一个懒惰版本的qdags(lqdags)来扩展我们的框架,以评估关系代数中更具表达力的查询。再次,我们可以证明我们的算法的运行时间是最坏情况下的最优。
2020-01-09 cs.CG cs.DB cs.DS
Size bounds and query plans for relational joins
关系联接是关系代数的核心,而关系代数又是标准数据库查询语言SQL的核心。由于它们的评估是昂贵的,并且经常由输出大小决定,因此数据库查询优化器计算连接大小的估计并为连接序列找到良好的执行计划是一项重要任务。我们研究这些问题从理论的角度来看,无论是在最坏的情况下的模型,并在平均情况下的模型,数据库是根据一个已知的概率分布选择。在前一种情况下,我们的第一个关键观察是,最坏情况下的查询大小的特征在于其底层超图的分数边缘覆盖数,一个组合参数,以前已知提供一个上限。我们完成了图片证明匹配的下限,并通过显示存在的查询,联合项目计划建议的分数边缘覆盖的方法可能会大大优于任何连接计划,不使用中间预测。另一方面,我们表明,在平均情况下的模型中,每个联合项目计划可以变成一个计划,不包含预测,以这样的方式,预期的时间来评估计划只增加了一个恒定的因素,独立于数据库的大小。毫不奇怪,在这种情况下,关键的组合参数是底层超图的最大密度。我们展示了如何有效地利用这个参数来消除投影。
2017-11-10 cs.DB
Computing Join Queries with Functional Dependencies
最近,Gottlob,Lee,Valiant,和Valiant(GLVV)提出了一个输出大小界的连接查询与功能依赖(FD),基于线性规划的polymatroids。GLVV界严格地概括了Atserias,Grohe和Marx(AGM)对于没有FD的查询的界,在这种情况下,存在在AGM界内运行的已知算法,因此是最坏情况下的最优算法。本文的一个主要结果是一个算法计算连接查询FD,运行在GLVV绑定到一个多日志因子。特别是,我们的算法是最坏情况下的最佳任何查询的GLVV界是紧的。作为一个意想不到的副产品,我们的算法设法解决一个更难的问题,其中(一些)输入关系可能有规定的最大程度的界限,其中函数依赖关系和基数界限是特殊情况。我们扩展了Gottlob等人的框架,用闭集的格替换所有变量子集(在给定的FD下)。这给了我们新的见解的结构的最坏情况的界限和最坏情况的情况下。虽然一般情况下GLVV界是否是紧的还没有定论,但我们证明了它在分配格和其他一些简单格上是紧的。分布格捕获没有FD和具有简单FD的查询的严格超集。我们还提出了两个更简单的算法,也是最坏情况下的最佳分配格内的一个单一的$\log$因素,但他们不匹配的GLVV约束上的一般格。我们的算法是基于一个新的原则设计的:我们把一个基于多项式的输出大小绑定到一个算法的证明。
2016-04-07 cs.DB cs.DS cs.IT
Worst-Case Optimal Algorithms for Parallel Query Processing
本文研究了在$p$服务器上并行计算大型数据库上的合取查询问题的通信复杂性。与以前的工作,在通信上的上限和下限被指定为特定的数据结构(无论是数据没有歪斜,或数据与特定类型的歪斜),在这项工作中,我们专注于最坏情况下的通信成本分析。目标是找到最坏情况下的最优并行算法,类似于[18]中针对顺序算法的工作。我们首先表明,对于一个单一的回合,我们可以获得一个最佳的最坏情况下的算法。当所有关系的大小都等于$M$时,合取查询$q$的最优负载为$O(M/p^{1/ψ^*})$,其中$ψ^*$是一个新的与查询相关的量,称为边拟填充数,它不同于查询超图的边填充数和边覆盖数.对于多轮,我们提出的算法是最佳的几类查询。最后,我们展示了一个令人惊讶的连接到外部存储器模型,它允许我们翻译并行算法到外部存储器算法。这种技术使我们能够恢复(在一个多对数因子)的I/O计算连接查询的复杂性的几个最近的结果,并获得其他类别的查询的最佳算法。
2016-04-07 cs.DB
Covering the Relational Join
在本文中,我们开始了我们所谓的连接覆盖问题的理论研究。给出了一个基于$n$属性和$m$关系$(R_i)_{i \in [m]}$的自然连接查询实例$Q$。令$J_{Q} = \ \Join_{i=1}^m R_i$表示$Q$的连接输出。除了$Q$,我们给出了一个参数$Δ: 1\le Δ\le n$,我们的目标是计算最小子集$\mathcal{T}_{Q, Δ} \subseteq J_{Q}$,使得$J_{Q}$中的每个元组都在距离$\mathcal{T}_{Q, Δ}$中某个元组的汉明距离$Δ- 1$内。连接覆盖问题捕获了从数据库理论计算自然连接和从编码理论构造具有覆盖半径$Δ- 1$的覆盖码作为特殊情况。我们考虑组合版本的连接覆盖问题,我们的目标是确定最坏情况下的$|\mathcal{T}_{Q, Δ}|$的结构方面的$Q$和值的$Δ$。上界$|\mathcal{T}_{Q, Δ}|$的一个明显的方法是利用来自编码理论的(汉明距离的)距离属性,并将其与Atserias、Grohe和Marx [SIAM J.of Computing '13]的自然连接的输出大小的最坏情况界限(AGM界限)相结合。有些令人惊讶的是,这种方法并不严格,即使在输入关系的arity最多为2的情况下。相反,我们表明,使用多拟阵度为基础的限制的Abo Khamis,Ngo和Suciu [PODS '17]的…
2020-03-21 cs.DB
Truly Sub-$3^n$ Min-Sum Subset Convolution and Join Ordering
University of Technology Nuremberg(纽伦堡工业大学)
本文通过将最小和子集卷积确定性归约到最小加矩阵乘积,结合次立方算法突破,实现了严格亚$3^n$的拉斯维加斯与确定性算法,并直接应用于数据库连接排序优化。
2026-10-09 cs.DB cs.DS
Join Order Enumeration and Optimization for Double-Star and Helix Join Graphs
University of Pennsylvania(宾夕法尼亚大学)
针对数据管理中连接排序的经典问题,通过双星形与螺旋形连接图的案例研究,探索结构特定动态规划算法与连接图合并树数学枚举的关联,提出结构特定连接优化器的相关技术。
2026-10-14 cs.DB
Towards Efficient Random-Order Enumeration for Join Queries
本文研究连接查询结果的随机顺序枚举问题,提出一种无需特定预处理、复杂度无大隐藏常数且在最坏情况下近最优的高效算法,并辅以两种加速技术,实验证明其显著优于现有方法。
2025-07-01 cs.DB
Join Processing for Graph Patterns: An Old Dog with New Tricks
几十年来,连接优化一直由Selinger风格的成对优化器主导。但是,Selinger风格的算法是渐近次优的图形分析应用程序。这种次优性是许多人主张用专门的图形处理引擎来补充关系引擎的原因之一。最近,新的连接算法已经被发现,实现最佳的最坏情况下的运行时间的任何连接,甚至所谓的超越最坏情况(或实例最佳)运行时间保证专门类的连接。这些新算法匹配或改进了专用图形处理系统中使用的算法。本文问这些新的连接算法是否可以让关系引擎缩小与图引擎的性能差距?我们研究这个问题的图形模式查询或连接查询。我们发现,经典的关系数据库,如Postgres和MonetDB或较新的图形数据库/存储,如Virtuoso和Neo4j可能会比这些新方法慢几个数量级,与使用这些新思想的功能齐全的RDBMS LogicBlox相比。我们的研究结果表明,具有这种新算法的RDBMS可以像GraphLab这样的专用引擎一样执行-同时保留高级接口。我们希望这能增加正在进行的关于图加速器、新图系统和关系系统在现代工作负载中的作用的辩论。
2015-03-18 cs.DB cs.DS
Flexible Caching in Trie Joins
传统的多路连接计算算法基于重写连接顺序和合并中间子查询的结果。最近,已经提出了几种方法的算法是“最坏情况下的最佳”,其中所有的关系被同时扫描。Veldhuizen的Leapfrog Trie Join(LFTJ)。LFTJ的一个重要优点是内存占用小,因为中间结果是可以立即转储的完整元组。然而,由于该算法不存储中间结果,因此必须从源关系重建循环连接,从而导致过多的内存流量。在本文中,我们解决这个问题,将缓存到LFTJ。我们通过采用连接优化的最新发展,将变量排序与树分解联系起来来做到这一点。虽然传统的使用树分解提前计算每个包的结果,我们提出的方法将缓存直接到LFTJ,可以动态调整缓存的大小。因此,我们的解决方案平衡了内存使用和重复计算,正如我们在SNAP数据集上的实验所证实的那样。
2016-02-28 cs.DB
General-Purpose Join Algorithms for Listing Triangles in Large Graphs
我们研究应用通用连接算法的三角列表问题在一个核心外的上下文中。特别是,我们专注于Veldhuizen 2014年提出的Leapfrog Triejoin(LFTJ),这是一种最近提出的最坏情况最优算法。我们提出了“装箱”:一种新颖的,但概念上简单的方法,用于馈送输入数据到LFTJ。我们的广泛分析表明,这种方法是I/O高效的,是最坏情况下的最佳选择(在某种意义上)。此外,如果输入数据仅是比可用存储器大的常数因子,则盒装LFTJ本质上保持普通LFTJ的CPU数据复杂度。接下来,专注于LFTJ应用于三角形查询,我们表明,对于许多图装箱LFTJ匹配的I/O复杂度最近由胡,陶和Yufei提出的专门算法MGT上市tiangles在一个外的核心设置。我们还加强了LFTJ的计算复杂性的三角形查询的分析,考虑家庭的输入图形,其特征在于不仅由边缘的数量,但也由其密度的措施。例如,在一个示例中,我们表明,对于平面图,LFTJ的CPU复杂度为O(|E| log |E|),而对于一般图,没有算法比O(|E| ^{1.5})更快。最后,我们对三角形列表问题进行了实验评估,证实了我们的理论结果,并显示了我们的方法的整体有效性。在我们所有的真实世界和合成数据集(其中一些包含超过12亿条边)上,单线程模式下的LFTJ是专用MGT的3倍;正如我们所证明的那样,并行化可以减轻这种惩罚。
2015-01-27 cs.DB
Hybrid Mixed Integer Linear Programming for Large-Scale Join Order Optimisation
Technical University of Applied Sciences Regensburg(雷根斯堡应用科技大学);Cornell University(康奈尔大学);Siemens AG, Technology(西门子股份公司技术部门)
针对大规模连接顺序优化问题,提出基于混合整数线性规划(MILP)的混合框架,通过新型MILP模型优化任意灌木状树结构,可扩展至连接100个关系,并实现最稳健的计划质量。
2025-10-23 cs.DB
FAQ: Questions Asked Frequently
本文定义并研究了功能聚合查询(FAQ)问题,提出InsideOut算法,通过变量消元和优化变量排序,统一并改进了约束满足、数据库、矩阵运算、图模型推断和逻辑中的多种查询求解方法。
2023-12-23 cs.DB cs.DS cs.LO
SieveJoin: Boosting Multi-Way Joins with Reusable Bloom Filters
SieveJoin通过可重用布隆过滤器传播实现多路连接中提前停止,消除无用中间结果,显著提升查询响应时间。
2023-08-31 cs.DB
Covers of Query Results
我们引入简洁的无损表示查询结果称为封面。它们是查询结果的子集,对应于这些结果的超图中的最小边覆盖。我们首先研究了连接查询的分数超树分解的覆盖结构。对于任何分解的查询,我们给出了渐近紧的大小范围覆盖的查询结果分解,并表明,这种覆盖可以计算在最坏情况下的最佳时间的对数因子的数据库大小。对于非循环连接查询,我们可以使用查询计划和一个名为cover-join的新运算符组合计算cover。查询结果中的元组可以从其任何覆盖中枚举,具有线性的预计算时间和恒定的延迟。然后,我们概括覆盖连接到功能聚合查询,表达了主机的计算问题,如聚合连接查询,数据库优化,矩阵链乘法,概率图形模型的推理。
2018-01-10 cs.DB
K-Join: Combining Vertex Covers for Parallel Joins
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
K-Join通过结合顶点覆盖与超立方体原语,提出了一种改进并行连接处理的算法,优化了负载分布并引入了新的超图度量。
2026-10-08 cs.DB
Skew Strikes Back: New Developments in the Theory of Join Algorithms
关系连接的计算是数据库系统中的核心算法之一,也是研究得最多的问题。已经考虑了数量惊人的变体,包括块嵌套循环连接,散列连接,宽限期,排序合并讨论更现代的问题)。商业数据库引擎使用微调连接算法,考虑到各种各样的因素,包括各种谓词的选择性,内存,IO等,尽管这种研究的连接查询,教科书的连接处理的描述是次优的。本调查描述了最近的结果连接算法,有可证明的最坏情况下的最优运行时保证。我们调查最近的工作,并提供了一个更简单和统一的描述这些算法,我们希望是有用的理论头脑的读者,算法设计师和系统实现。
2013-10-16 cs.DB cs.DS
Worst-Case Optimal BGPs on Temporal Graphs
Pontificia Universidad Católica de Chile(智利天主教 Pontificia 大学);IMFD, Chile(智利 IMFD);DCC, Universidad de Chile(智利大学 DCC);Universidad de Chile(智利大学)
研究时态图上最坏情况最优评估基本图模式的方法,提出灵活查询语言,构建需O(N)空间的索引结构,能在O(Q* m log N)时间内评估扩展BGPs,实验证明该方法能在毫秒内低开销回答实际查询。
2026-07-23 cs.DB cs.DS
On the Optimal Linear Contraction Order of Tree Tensor Networks, and Beyond
针对张量网络最优收缩阶NP难问题,本文通过关联数据库连接排序,证明树张量网络线性收缩阶有多项式时间算法,改进IKKBZ算法求解最优阶,并拓展为适用于任意拓扑的启发式方法。
2024-10-09 cs.DB cs.DS quant-ph
Hypertree Decompositions Revisited for PGMs
University at Buffalo, SUNY(纽约州立大学布法罗分校);Stanford University(斯坦福大学)
我们重新审视经典问题的精确推理概率图模型(PGMs)。我们的算法是基于最近的最坏情况下的最优数据库连接算法,它可以渐近快于传统的数据处理方法。我们提出了这些新算法通过JoinInfer,一个新的精确推理引擎的第一个实证评估。我们凭经验探索的数据属性,我们的引擎可以预期优于传统的推理引擎精炼当前的理论概念。此外,JoinInfer在一些标准基准数据集上的性能优于现有的最先进的推理引擎(ACE,IJGP和libDAI),高达630倍。最后,我们提出了一个有前途的数据驱动的启发式,扩展JoinInfer自动调整其参数和/或切换到传统的推理算法。
2018-04-05 cs.AI cs.DB
Ranked Enumeration of Join Queries with Projections
带排序的连接查询计算是关系数据库管理系统中的一项基本数据处理任务。SQL和自定义图查询语言(如Cypher)通过允许用户通过ORDER BY子句指定顺序来提供此功能。在许多情况下,用户还希望快速看到第一个$k$结果(由LIMIT子句表示),但是$k$的值不是预先确定的,因为用户查询是以在线方式到达的。最近的工作已经取得了相当大的进展,在确定最佳算法的排名枚举连接查询,不包含任何预测。在本文中,我们开始研究的问题,枚举结果的排名顺序查询投影。我们的主要结果表明,对于任何非循环查询,它是可能的,以获得一个近线性的(在数据库的大小)延迟算法后,只有一个线性的时间预处理步骤的两个重要的排名功能:总和和字典排序。对于一个实际的子集的非循环查询称为星查询,我们显示了一个更强大的结果,允许用户获得更快的回答时间保证使用更多的预处理时间之间的平滑权衡。我们的结果也可扩展到查询包含循环和工会。我们还进行了全面的实验评估,以证明我们的算法,这是简单的实现,提高了三个数量级的运行时间超过国家的最先进的算法内实现的开源RDBMS和专门的图形数据库。
2022-01-22 cs.DB cs.DS
Graphical Join: A New Physical Join Algorithm for RDBMSs
University of Warwick(华威大学)
连接操作(特别是n路、多对多连接)是非常耗时和耗费资源的。在大规模下,关于表和连接结果大小,现有技术的方法(包括使用嵌套循环/散列/排序合并连接算法的二进制连接计划,或者可替代地,最坏情况下的最佳连接算法(WOJA))在给定合理的资源和时间约束的情况下甚至可能无法产生任何答案。在这项工作中,我们介绍了一种用于n路等连接处理的新方法,即图形连接(GJ)。关键的想法是双重的:首先,将物理连接计算问题映射到PGM,并引入调整的推理算法,该算法可以计算基于行程长度编码(RLE)的连接结果摘要,需要实现连接结果所需的所有统计数据。第二,也是最重要的一点,要证明像GJ这样的连接算法,它产生上面的连接结果摘要,然后对其进行反求和,可以在时间和空间上带来很大的性能优势。对JOB,TPCDS和lastFM数据集的连接查询进行了全面的实验,将GJ与PostgresQL和MonetDB以及Umbra系统中实现的最先进的WOJA进行了比较。内存连接计算的结果显示,性能分别比PostgreSQL、MonetDB和Umbra快64倍、388倍和6倍。对于磁盘连接计算,GJ比PostgreSQL,MonetDB和Umbra分别快820倍,717倍和165倍。此外,GJ的空间需求分别比PostgresQL、MonetDB和Umbra小21,488倍、38,333倍和78,750倍。
2022-06-22 cs.AI cs.DB