首页/论文/2201.03832

arXiv 2201.038322022-01-11cs.DB

具有标准边覆盖的平行无环联

Parallel Acyclic Joins with Canonical Edge Covers

Yufei Tao

备注：: Accepted to ICDT'22

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在PODS'21中，Hu提出了大规模并行计算（MPC）模型中的一种算法，该算法以渐进最优负载处理任何非循环连接。在本文中，我们提出了一种替代分析她的算法。我们的分析的新颖性是在一个新的数学结构的启示-我们命名为“典型的边覆盖”-无圈超图。我们证明了规范的边缘覆盖，为我们提供了一个图论的角度来看，为什么胡的算法的工作原理非平凡的属性。

英文摘要：

In PODS'21, Hu presented an algorithm in the massively parallel computation (MPC) model that processes any acyclic join with an asymptotically optimal load. In this paper, we present an alternative analysis of her algorithm. The novelty of our analysis is in the revelation of a new mathematical structure -- which we name "canonical edge cover" -- for acyclic hypergraphs. We prove non-trivial properties for canonical edge covers that offer us a graph-theoretic perspective about why Hu's algorithm works.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

非循环联接中的安全子联接

Safe Subjoins in Acyclic Joins

计算连接的成本很高，通常是由于中间关系很大。对于非循环连接，保证单调连接表达式产生的中间关系不大于连接输出的大小，当它是在完全简化的数据库上计算时。非循环联接的任何子表达式都不能提供这种保证，因为这很容易证明。在本文中，我们考虑连接与投影太，我们问的问题，我们是否可以特征连接子表达式，产生，在每个完全减少的数据库，输出没有悬挂元组（翻译，在没有投影的连接的情况下，输出的大小不大于连接的输出的大小）。我们称这样的子表达式为安全子联接。令人惊讶的是，我们证明了有一个简单的特征如下：一个子连接是安全的，当且仅当有一个连接的解析树（a.k.a.连接树），使得子连接中的关系形成它的子树。如果存在这样的解析树，我们提供一个算法来找到这样的解析树。

2022-08-20cs.DB

非循环连接的实例和输出最优并行算法

Instance and Output Optimal Parallel Algorithms for Acyclic Joins

大规模并行连接算法近年来受到了广泛的关注，而大多数先前的工作集中在最差最优算法。然而，这些连接算法的最坏情况下的最优性依赖于具有非常大的输出大小的硬实例，这在实践中很少出现。最优性的一个更强的概念是{ \em output-optimal}，它要求算法在共享相同输入和输出大小的所有实例的类中是最优的。更强的最优性是{ \em实例最优}，即，该算法在每一个实例上都是最优的，但是这并不总是可以实现的。在传统的RAM计算模型中，经典的Yannakakis算法在任何非循环连接上都是实例最优的。但在大规模并行计算（MPC）模型中，情况变得更加复杂。我们首先表明，类的r-层次连接，实例最优仍然可以实现MPC模型。然后，我们给出了一个新的MPC算法的任意非循环连接负载$O ({\IN \over p} + {\sqrt{\IN \cdot \OUT} \over p})$，其中$\IN,\OUT$是输入和输出的连接大小，和$p$是MPC模型中的服务器的数量。这通过$O (\sqrt{\OUT \over \IN} )$因子改进了Yannakakis算法的MPC版本。此外，我们还证明，对于每个非循环但非r层次连接，当使用$\OUT = O(p \cdot \IN)$时，这是输出最优的。最后，我们给出了MPC模型中三角连接的第一个输出敏感下界，表明它本质上比非循环连接更困难。

2019-03-28cs.DB

在无环连接上进行泊松采样

Poisson Sampling over Acyclic Joins

UHasselt, Data Science Institute（哈瑟尔特大学，数据科学研究所）

本文提出了一种在无环连接上进行泊松采样的算法，通过随机访问索引和探针技术实现高效采样，实验表明其性能优于传统伯努利试验方法，同时展示了随机访问索引在无采样情况下的高效性。

2026-03-16cs.DB

优化无环查询的算法

Algorithms for Optimizing Acyclic Queries

UCLA（加州大学洛杉矶分校）；University of Bergen（卑尔根大学）

本文提出三种方法用于构建无环查询的连接树，包括基于编辑的枚举算法、最大基数搜索算法和转换连接树的简单算法，以提升无环查询的优化效率。

2026-01-07cs.DBcs.DS

实例最优的无遗憾无环连接处理：在列存储中工程化Yannakakis算法

Instance-Optimal Acyclic Join Processing Without Regret: Engineering the Yannakakis Algorithm in Column Stores

本文提出Shredded Yannakakis（SYA）算法，将二元连接计划转换为两阶段NSA计划，在列存储中实现无遗憾的实例最优无环连接处理，实验显示在85.3%的查询上加速最高达62.5倍。

2025-05-23cs.DB

TreeTracker Join：简单、最优、快速

TreeTracker Join: Simple, Optimal, Fast

本文提出线性时间无环连接算法 TTJ，通过哈希查找失败时重置并移除问题元组降低开销，并以树卷积扩展到循环查询，实验表现良好。

2025-05-15cs.DB

更多相关论文收起更多论文

量化无环连接依赖的损失

Quantifying the Loss of Acyclic Join Dependencies

本文研究了无环连接依赖（AJD）损失的信息论度量与冗余元组数量之间的联系，利用 KL 散度刻画损失，并证明了冗余元组百分比的确定性下界与随机数据库模型下的高概率上界。

2023-04-10cs.DBcs.ITmath.IT

连接-聚合查询的输出最优算法

Output-Optimal Algorithms for Join-Aggregate Queries

本文首次用自由连接分数超树宽度刻画无环连接-聚合查询的输出最优复杂度，证明半环算法的匹配上下界，实现了40年来对Yannakakis算法的首次多项式改进。

2025-03-12cs.DB

计算带连接计数器的局部灵敏度

Computing Local Sensitivities of Counting Queries with Joins

给定数据库实例D的查询Q的局部敏感性，即当元组被添加到D或从D删除时输出Q（D）改变多少，具有许多应用，包括查询分析、离群值检测和差分隐私。然而，它是NP-难找到的局部灵敏度的一个合取查询的查询的大小，即使是非循环查询的类。虽然当查询大小固定时，复杂度是多项式的，但是对于大型数据库和涉及多个连接的查询，朴素算法是不有效的。在本文中，我们提出了一种新的方法来计算局部灵敏度的计数查询，涉及连接操作，通过跟踪和总结元组的灵敏度-最大的变化，一个元组可以导致查询结果时，它被添加或删除。我们给出了算法的敏感性问题，充分的非循环连接查询使用连接树，运行在多项式时间的数据库和查询的大小为一个有趣的子类的查询，我们称之为“双非循环查询”，包括路径查询，并在多项式时间的组合复杂度时，在连接树的最大程度是有界的。我们的算法可以扩展到某些非非循环查询使用广义超树分解。我们评估我们的方法实验，并显示我们的算法的应用程序，以获得更好的结果差分隐私的数量级。

2020-04-09cs.CRcs.DB

在无环度约束下的连接采样与（循环）子图采样

Join Sampling under Acyclic Degree Constraints and (Cyclic) Subgraph Sampling

本文提出在无环度约束下高效连接采样方法，并推广至有向及无向子图采样，通过丢弃循环约束保持多拟阵界，实现均匀随机采样。

2023-12-20cs.DBcs.DS

无环联合正则路径查询并不比相应的联合查询更难

Acyclic Conjunctive Regular Path Queries are no Harder than Corresponding Conjunctive Queries

RelationalAI（关系人工智能）；University of Zurich（苏黎世大学）；OTH Regensburg（雷根斯堡应用科技大学）；University of Washington（华盛顿大学）

本文提出了一种输出敏感算法，用于评估无环联合正则路径查询（CRPQ），其复杂度与输入大小、输出大小及查询的'free-connex分数超树宽度'有关。该算法改进了现有无环CRPQ的输出敏感算法，并表明无环CRPQ的复杂度与相应联合查询（CQ）相同。

2026-03-14cs.DB

Free Join：统一最坏情况下的最优联接和传统联接

Free Join: Unifying Worst-Case Optimal and Traditional Joins

在过去的十年中，最坏情况下的最优连接（WCOJ）算法已经成为一个新的范例，在查询处理的最基本的挑战之一：计算连接效率。这样的算法可以比传统的二进制连接快得多，同时仍然易于理解和实现。然而，他们已被发现是效率较低的旧范式，传统的二进制连接计划，在实践中发现的典型的非循环查询。一些支持WCOJ的数据库系统使用混合方法：使用WCOJ处理查询的循环子部分（如果有的话），否则依赖于传统的二进制连接。在本文中，我们提出了一个新的框架，称为自由加入，统一了这两种范式。我们描述了一种新型的计划，一种新的数据结构（它统一了两种范式使用的哈希表和尝试），以及一套优化技术。我们的系统在Rust中实现，在标准查询基准上匹配或优于传统的二进制连接和泛型连接。

2023-01-27cs.DB

查询结果的封面

Covers of Query Results

我们引入简洁的无损表示查询结果称为封面。它们是查询结果的子集，对应于这些结果的超图中的最小边覆盖。我们首先研究了连接查询的分数超树分解的覆盖结构。对于任何分解的查询，我们给出了渐近紧的大小范围覆盖的查询结果分解，并表明，这种覆盖可以计算在最坏情况下的最佳时间的对数因子的数据库大小。对于非循环连接查询，我们可以使用查询计划和一个名为cover-join的新运算符组合计算cover。查询结果中的元组可以从其任何覆盖中枚举，具有线性的预计算时间和恒定的延迟。然后，我们概括覆盖连接到功能聚合查询，表达了主机的计算问题，如聚合连接查询，数据库优化，矩阵链乘法，概率图形模型的推理。

2018-01-10cs.DB

一种用于最坏情况最优连接与采样的简单算法

A Simple Algorithm for Worst-Case Optimal Join and Sampling

提出一种简单的分支定界算法，证明其在特定数据库上的连接查询具有最坏情况最优性，并可通过递归估计答案数上界转化为期望运行时间为 $O(UP/OUT)$ 的均匀采样算法，以模块化方式还原最新成果。

2024-09-21cs.DB

数据库理论实践中的Yannakakis算法

Database Theory in Action: Yannakakis' Algorithm

University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UHasselt, Data Science Institute（荷语哈瑟尔特大学数据科学研究所）；Nanyang Technological University（南洋理工大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）

本文探讨了Yannakakis算法在实际应用中的改进与未来研究方向。

2026-01-11cs.DB

高效二进制连接与最坏情况最优连接处理的统一架构

A Unified Architecture for Efficient Binary and Worst-Case Optimal Join Processing

本文提出统一架构，同时支持传统二进制连接与最坏情况最优连接（WCOJ），涵盖哈希和排序两种物理实现，在标准基准查询中相比Generic Join和Free Join实现分别获得最高3.1倍和4.8倍的性能提升。

2025-05-26cs.DB

连接查询上分位数的高效计算

Efficient Computation of Quantiles over Joins

本文研究连接查询上分位数查询的高效计算，提出基于枢轴答案选择和答案空间划分的新方法，证明了 min 和 max 对无环连接查询的易处理性，并将 sum 的二分性扩展到部分和，同时给出难解情形的确定性近似方案。

2023-05-25cs.DBcs.DS

K-Join：结合顶点覆盖以实现并行连接

K-Join: Combining Vertex Covers for Parallel Joins

University of Wisconsin–Madison（威斯康星大学麦迪逊分校）

K-Join通过结合顶点覆盖与超立方体原语，提出了一种改进并行连接处理的算法，优化了负载分布并引入了新的超图度量。

2026-10-08cs.DB

结构引导的查询求值：迈向理论与实践的融合

Structure-Guided Query Evaluation: Towards Bridging the Gap from Theory to Practice

针对多关系连接查询优化难题，本文通过将SQL查询重写为Yannakakis算法的执行序列，提出结构引导的查询求值方法，证明考虑查询结构能显著提升现代DBMS在复杂场景下的性能。

2023-05-22cs.DB

Givens旋转用于数据库连接上的QR分解、SVD和PCA

Givens Rotations for QR Decomposition, SVD and PCA over Database Joins

本文提出Figaro算法，将QR分解推至数据库连接之后，实现无环连接下线性时间计算，并用于SVD和PCA，无需物化连接输出，实验表明其性能和精度优于Intel MKL。

2023-10-16cs.DB

带投影的连接图的排序枚举

Ranked Enumeration of Join Queries with Projections

带排序的连接查询计算是关系数据库管理系统中的一项基本数据处理任务。SQL和自定义图查询语言（如Cypher）通过允许用户通过ORDER BY子句指定顺序来提供此功能。在许多情况下，用户还希望快速看到第一个$k$结果（由LIMIT子句表示），但是$k$的值不是预先确定的，因为用户查询是以在线方式到达的。最近的工作已经取得了相当大的进展，在确定最佳算法的排名枚举连接查询，不包含任何预测。在本文中，我们开始研究的问题，枚举结果的排名顺序查询投影。我们的主要结果表明，对于任何非循环查询，它是可能的，以获得一个近线性的（在数据库的大小）延迟算法后，只有一个线性的时间预处理步骤的两个重要的排名功能：总和和字典排序。对于一个实际的子集的非循环查询称为星查询，我们显示了一个更强大的结果，允许用户获得更快的回答时间保证使用更多的预处理时间之间的平滑权衡。我们的结果也可扩展到查询包含循环和工会。我们还进行了全面的实验评估，以证明我们的算法，这是简单的实现，提高了三个数量级的运行时间超过国家的最先进的算法内实现的开源RDBMS和专门的图形数据库。

2022-01-22cs.DBcs.DS

与Minesweeper连接的超越最坏情况分析

Beyond Worst-Case Analysis for Joins with Minesweeper

我们描述了一种新的算法，扫雷，能够满足更强的运行时保证比以前的连接算法（通俗地说，“超越最坏情况下的搜索树”）的数据索引搜索树。我们的第一个贡献是开发一个框架来衡量这个更强的复杂性概念，我们称之为{ \it证书复杂性}，它扩展了Barbay等人和Demaine等人的概念;证书是证明输出正确的一组命题公式。这个概念捕获了连接算法的一个自然类别。此外，证书允许我们定义一个比传统的最坏情况保证更严格的运行时复杂性概念。我们的第二个贡献是为基于证书的复杂性概念开发了一个二分法定理。粗略地说，我们表明扫雷评估$β$ -非循环查询的时间线性的证书加上输出大小，而对于任何$β$ -循环查询有一些实例，需要超线性的时间在证书（和输出不大于证书的大小）。我们还扩展了我们的证书复杂性分析查询有界树宽和三角查询。

2014-03-28cs.DB

超最坏情况连接处理的盒覆盖和域排序

Box Covers and Domain Orderings for Beyond Worst-Case Join Processing

最近超越最坏情况的最优连接算法扫雷和它的推广俄罗斯方块带来了索引和连接处理的理论，通过开发一个几何框架连接。这些算法将索引$\mathcal{B}$（称为箱盖）作为输入，该索引存储可以从输入关系上的传统索引（例如B+树或尝试）推断出的输出间隙。这些算法的性能高度依赖于$\mathcal{B}$的证书，该证书是$\mathcal{B}$中的间隙的最小子集，其并集覆盖查询$Q$的输出空间中的所有间隙。我们研究如何生成包含小尺寸证书的盒子封面，以保证这些算法的高效运行。首先，给定一个查询$Q$的一组关系的大小$N$和一组固定的域排序的属性，我们给出了一个$\tilde{O}(N)$的时间算法称为GAMB生成一个盒盖为$Q$，保证包含最小大小的证书在任何盒盖为$Q$。其次，我们发现，找到一个域排序，以最大限度地减少盒子盖的大小和证书是NP-困难的，通过减少从2个连续的块最小化问题的布尔矩阵。我们的第三个贡献是一个$\tilde{O}(N)$-时间近似算法称为ADORA计算域排序，根据它可以计算一个大小为$\tilde{O}(K^r)$的盒子覆盖，其中$K$是$Q$在任何域排序下的最小盒子覆盖，$r$是任何关系的最大值。这保证证书的大小为$\tilde{O}(K^r)$。我们结合ADORA和GAMB与俄罗斯方块，形成一个新的算法，我们称之为TetrisReordered，它提供了几个新的超越…

2021-01-10cs.DB