DPXPlain: Privately Explaining Aggregate Query Answers
差分隐私（Differential Privacy，DP）是一种最新的、严格的隐私概念，用于回答聚合数据库查询，同时保护数据中敏感信息的隐私。然而，在当今的数据分析时代，它为用户理解查询结果中观察到的趋势和异常提出了新的挑战：意外的答案是由于数据本身，还是由于必须添加以保留DP的额外噪声？在第二种情况下，甚至用户对查询结果的观察也可能是错误的。在第一种情况下，我们还能从敏感数据中挖掘出有趣的解释，同时保护其隐私吗？为了解决这些挑战，我们提出了一个三阶段的框架DPXPlain，这是第一个系统，以我们所知的解释组聚合查询答案DP。在它的三个阶段中，DPXPlain（a）用DP回答逐组聚合查询，（b）允许用户比较两组的聚合值，并且以高概率评估该比较是否成立或被DP噪声翻转，以及（c）最终提供包含近似"前k"解释谓词以及它们的相对影响和以置信区间的形式的排名的解释表，同时保证所有步骤中的DP。我们对DPXPlain进行了广泛的实验分析，在真实和合成数据上使用多个用例，表明DPXPlain有效地提供了具有良好准确性和实用性的有见地的解释。
2022-09-02 cs.DB
Interactive Summarization and Exploration of Top Aggregate Query Answers
我们提出了一个系统的总结和交互式探索高价值的聚合查询答案，使一个大的可能的答案更翔实的用户。我们的系统输出一组集群的高价值的查询答案显示其共同的属性，使集群是尽可能多的，以避免重复的信息，并覆盖一定数量的顶部原始答案由用户指示。此外，系统通过帮助用户（i）选择用于聚类的参数组合，（ii）检查聚类以及它们包含的元素，以及（iii）可视化参数的变化如何影响聚类，来促进查询答案的交互式探索。我们定义的优化问题，研究其复杂性，探索性能的解决方案调查的半格结构的集群，并提出有效的算法和优化，以实现这些目标。我们评估我们的技术实验和讨论我们的原型与图形用户界面，促进这种互动式的探索。进行用户研究，以评估我们的方法的可用性。
2018-07-31 cs.DB
NeuroDB: A Neural Network Framework for Answering Range Aggregate Queries and Beyond
范围聚集查询（RAQs）是许多实际应用中不可或缺的一部分，在这些应用中，通常需要查询的快速和近似答案。最近的工作已经研究了使用机器学习模型来回答RAQ，其中学习数据的模型来回答查询。然而，这样的建模选择未能利用任何查询特定信息。为了捕获这样的信息，我们观察到，可以由查询函数来表示RQ，查询函数是采用查询实例的函数（即，特定的RAQ）作为输入并输出其相应的答案。使用这种表示，我们制定了学习的问题，以近似的查询功能，并提出NeuroDB，查询专用的神经网络框架，有效地回答RAQs。NeuroDB是查询类型不可知的（即，它不对底层查询类型做出任何假设），并且我们关于查询可以由函数表示的观察结果并不特定于RQ。因此，我们研究NeuroDB是否可以用于其他查询类型，通过将其应用于最近邻查询的距离。我们的实验表明，NeuroDB优于国家的最先进的这种查询类型，往往由数量级。此外，使用了与用于RQ相同的神经网络架构，从而揭示了使用通用框架来有效地回答任何查询类型的可能性。
2021-07-10 cs.DB
Estimating Range Queries using Aggregate Data with Integrity Constraints: a Probabilistic Approach
只有在这种数据上的聚合信息的基础上恢复（计数和求和）多维数据范围查询的问题得到解决。这个问题可以形式化如下。假设使用从多维数据集产生汇总的变换T。现在，给定数据集D、摘要S=T（D）和D上的范围查询r，问题包括通过将r建模为在所有数据集D'的样本空间上定义的随机变量来研究r，使得T（D）= S。通过定义随机变量的概率分布并计算其均值和方差，对这种随机变量进行研究，代表了一种有理有据的理论概率方法，该方法仅基于可用信息（即汇总S）来估计查询，而无需对原始数据进行假设。
2005-01-14 cs.DB
Estimating the Cost of Executing Link Traversal based SPARQL Queries
几乎所有领域的越来越多的组织都开始采用语义Web技术，将其数据发布为开放、链接和互操作（RDF）数据集，可通过SPARQL语言和协议进行查询。链接遍历已经成为一种SPARQL查询处理方法，它利用链接数据原则和Web的动态特性，通过在查询评估期间解析在线资源（URI）来动态地发现与回答查询相关的数据。然而，链接遍历查询的执行时间对于某些查询类型可能变得过高，这是由于在查询执行期间需要访问大量资源。在本文中，我们提出并评估基线方法估计的链接遍历查询的评估成本。这样的方法对于即时决定给定查询所遵循的查询执行策略非常有用，从而减少SPARQL端点的负载并提高查询服务的整体可靠性。为了评估所提出的方法的性能，我们创建了（并公开提供）一个由2，425个查询组成的地面实况数据集。
2022-10-17 cs.DB
Combining Aggregation and Sampling (Nearly) Optimally for Approximate Query Processing
基于样本的近似查询处理（AQP）有许多缺陷，如无法回答非常有选择性的查询和不可靠的置信区间时，样本量很小。最近的研究提出了一种有趣的解决方案，将物化的，预先计算的聚合物与采样相结合，以获得准确和更可靠的AQP。我们在这项工作中详细探索了这个解决方案，并提出了一个AQP物理设计，称为PASS，或预计算辅助分层采样。PASS构建一个部分聚合树，覆盖数据集的不同分区。该树的叶节点形成分层样本的层。其谓词与分区（或分区的并集）对齐的聚合查询用深度优先搜索精确地回答，并且任何部分重叠用分层样本近似。我们提出了一种算法，用于最佳地划分到这样的数据结构与各种实用的近似技术的数据。
2021-03-29 cs.DB
Learned Cardinalities: Estimating Correlated Joins with Deep Learning
我们描述了一种新的深度学习方法来估计基数。MSCN是一个多集合卷积网络，专门用于表示关系查询计划，它采用集合语义来捕获查询特征和真实基数。MSCN建立在基于采样的估计的基础上，解决了它在没有采样元组限定谓词时的弱点，以及捕获连接交叉相关性。我们使用真实数据集对MSCN进行的评估表明，深度学习显著提高了基数估计的质量，这是查询优化的核心问题。
2018-12-18 cs.DB
Tractability Frontiers of the Shapley Value for Aggregate Conjunctive Queries
研究聚合合取查询中元组Shapley值的计算复杂度，为min、max、average等聚合函数识别出最大可处理分层CQ类，揭示各聚合函数对应分层CQ从布尔到非布尔查询的不同推广。
2025-09-16 cs.DB
Aggregate Queries on Knowledge Graphs: Fast Approximation with Semantic-aware Sampling
知识图谱（KG）以模式灵活的方式将大规模和真实世界的事实作为大图来管理。聚合查询是对KG的基本查询，例如，“德国生产的汽车平均价格是多少？".尽管它的重要性，回答汇总查询幼儿园在文献中很少受到关注。聚合查询可以基于仿真查询来支持，例如，“查找德国生产的所有汽车”，通过对仿真查询的答案应用额外的聚合操作。然而，这种直接的方法是具有挑战性的，因为事实模拟查询处理的准确性和效率将严重影响聚合查询的性能。在本文中，我们提出了一个“抽样估计”模型来回答聚集查询KG，这是第一个工作，提供一个近似的聚集结果，有效的准确性保证，而不依赖于事实的查询。具体来说，我们首先提出了一个语义感知的采样收集高质量的随机样本，通过随机游走的基础上知识图谱嵌入。然后，我们提出了无偏估计量的平均值，SUM，和一致的估计AVG计算近似的聚合结果的基础上的随机样本，以置信区间的形式的准确性保证。我们扩展了我们的方法，以支持精度的迭代改进，以及使用过滤器，GROUP-BY和不同图形形状的更复杂的查询，例如，链条，循环，星星，花朵在真实世界的KG上进行的大量实验证明了我们方法的有效性和效率。
2022-03-09 cs.DB
Query-Centric Optimization of AI Workflows via Approximate Query Processing and Proxy Models
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（Adobe研究院）
提出将AI工作流视为声明式查询，利用近似查询处理（AQP）和代理模型（PM）过滤减少昂贵模型调用，在TPC-DS和LLM流水线上实现85-90%和60-70%的调用减少。
2026-07-02 cs.DB
Multiresolution Cube Estimators for Sensor Network Aggregate Queries
在这项工作中，我们提出了在网络技术，以提高空间聚合查询的效率。这样的查询在sensornet环境中非常常见，需要更有针对性的处理技术。我们的方法构造和维护多分辨率立方体层次结构的网络，它可以构造在一个分布式的方式。如果发生故障，也可以通过网络内决策进行恢复。在本文中，我们演示了如何在网络立方体层次结构可以用来总结传感器数据，以及如何利用它们来提高空间聚合查询的效率。我们表明，我们的立方体摘要的查询计划，可以在多项式时间计算，我们提出了一个PTIME算法，选择的数据请求的最小数量，可以计算的答案空间查询。我们进一步扩展我们的算法来处理多个查询的优化，这也可以在多项式时间内完成。我们讨论了丰富的多维数据集层次结构与额外的摘要信息，并提出了一个算法的分布式多维数据集的建设。最后，我们调查节点和区域故障，和算法来恢复查询结果。
2010-07-22 cs.DB
GeoBlocks: A Query-Cache Accelerated Data Structure for Spatial Aggregation over Polygons
由于城市中的个人交通和公共交通正在发生变化，城市当局需要分析城市地理空间数据，以改善交通和基础设施。为此，它们高度依赖于从点数据提取汇总信息的空间聚合查询（例如，Uber乘车）包含在给定多边形区域中（例如，一个城市附近）。为了支持这样的查询，当前的分析工具要么只允许在预定义的区域上进行预定义的聚合，因此不适合探索性分析，要么访问原始数据以实时计算聚合结果，这严重限制了交互性。与此同时，现有的预聚合技术是不够的，因为它们保持在矩形区域的聚合。因此，当应用于任意多边形区域时，它们会引起无法有界的近似误差。在本文中，我们介绍了GeoBlocks，这是一种新型的预聚合数据结构，支持任意多边形的空间聚合。GeoBlocks使用一组细粒度的网格单元来近似多边形，与之前的工作相比，它允许通过调整单元大小来限制近似误差。此外，GeoBlocks采用类似trie的缓存，缓存频繁查询区域的聚合结果，从而动态适应查询工作负载中固有的偏斜，并随着时间的推移提高性能。总之，GeoBlocks的性能比动态聚合高出三个数量级，实现了交互式探索性分析所需的亚秒级查询延迟。
2021-03-16 cs.DB
Estimating Aggregate Properties on Probabilistic Streams
概率流模型由Jayram等人在\cite{JKV07}中引入。它是数据流模型的一般化，适用于处理“概率”数据，其中流的每个项表示一组可能事件的概率分布。因此，概率流确定潜在地在非常大数量的经典“确定性”流上的分布，其中每个项确定性地是域值之一。概率模型不仅适用于分析输入具有不确定性的流（例如测量物理过程的传感器数据流），而且适用于分析通过后处理（例如标记或协调不一致和质量差的数据）从输入数据导出的流。我们提出了流算法计算常用的聚合概率流。我们提出了第一个已知的，一个通过流算法估计的\AVG，改善结果在\cite{JKV07}。我们提出了第一个已知的流算法估计概率流上的\DISTINCT项目的数量。此外，我们提出了扩展到其他聚合，如重复率，分位数等。在所有情况下，我们的算法工作与可证明的准确性保证和数据流模型的空间约束内。
2006-12-05 cs.DB cs.DS
Output-Optimal Algorithms for Join-Aggregate Queries
本文首次用自由连接分数超树宽度刻画无环连接-聚合查询的输出最优复杂度，证明半环算法的匹配上下界，实现了40年来对Yannakakis算法的首次多项式改进。
2025-03-12 cs.DB
Provenance for Aggregate Queries
本文研究了聚合查询的起源信息。起源信息进行了研究，在各种查询语言的上下文中，不允许聚合，最近的工作建议捕捉起源注释不同的数据库元组的元素交换半环和传播的注释通过查询评估。我们发现，聚合查询带来了新的挑战，使这种方法不适用。因此，我们提出了一种新的方法，在那里我们不仅用元组而且用元组内的个体值来标注出处信息，使用出处来描述值计算。我们实现这种方法在一个具体的建设，首先是“简单”的查询，其中聚合运算符是最后一个应用，然后为任意（正）关系代数查询与聚合，后者的查询被证明是更具挑战性的，在这种情况下。最后，我们使用聚合编码查询的差异，并研究这种查询的出处注释数据库的语义。
2011-01-05 cs.DB
Optimizing Cursor Loops in Relational Databases
在SQL查询结果上执行循环是很常见的，无论是在DBMS外部运行的应用程序中，还是在DBMS内部运行的用户定义函数（UDF）和存储过程中。可以说，面向集合的操作更有效，应该优先于迭代;但从现实世界的用例来看，很明显，在许多情况下，查询结果上的循环是不可避免的，并且是许多用户的首选。这样的循环，被称为游标循环，带来了巨大的权衡和开销。性能、资源消耗和并发性。我们提出了Aggify，一种优化查询结果循环的技术，克服了所有这些开销。它通过自动生成与循环语义等效的自定义聚合来实现这一点。因此，Aggify通过重写查询以使用此生成的聚合来完全消除循环。该技术有几个优点，例如：（i）整个游标循环操作的管道化而不是物化，（ii）将循环计算从应用程序层下推到DBMS，更接近数据，（iii）利用现有的聚合优化工作函数，从而产生高效的查询计划。我们描述了Aggify的技术基础，并提出了我们的实验评估基准以及真实的工作负载，证明了这种技术的显着优势。
2020-05-05 cs.DB
Quantifying Uncertainty in Aggregate Queries over Integrated Datasets
本文针对双表一对多数据集成工作流，提出一种基于二分图匹配的多项式时间算法，用于量化聚合查询结果的最大和最小不确定性范围，帮助用户在缺乏真实数据时指导匹配参数搜索。
2023-09-11 cs.DB
Aggregate Queries on Sparse Databases
我们提出了一个代数框架，研究有效的算法查询评估，聚集，枚举，并在更新下，稀疏数据库的维护。我们的框架允许以统一的方式处理这些问题，通过考虑各种半环，这取决于所考虑的问题。作为一个具体的应用，我们提出了一个强大的查询语言扩展一阶逻辑的聚合在多个半环。我们得到一个最佳的算法计算稀疏数据库上的查询的答案。更准确地说，给定一个数据库从一个固定的类与有界的扩展，算法计算在线性时间的数据结构，它允许枚举的一组答案的查询，两个输出之间的恒定延迟。
2019-12-27 cs.DB cs.LO
Machine Learning-based Cardinality Estimation in DBMS on Pre-Aggregated Data
基数估计是数据库查询处理和优化中的一项基本任务。如最近的论文所示，基于机器学习（ML）的方法可以提供比传统方法更准确的基数估计。然而，在模型训练阶段必须执行大量示例查询来学习数据依赖的ML模型，这导致了非常耗时的训练阶段。这些示例查询中的许多查询使用相同的基本数据，具有相同的查询结构，只是它们的谓词不同。因此，乍一看，索引结构似乎是一种理想的优化技术。然而，其益处是有限的。为了加快这个模型训练阶段，我们的核心思想是确定基本数据的谓词独立的预聚合，并在此预聚合数据上执行示例查询。基于这一思想，我们提出了一个特定的聚合启用的训练阶段ML为基础的基数估计方法在本文中。正如我们将在评估中展示的不同工作负载一样，我们能够在启用聚合的训练阶段实现63的平均加速比。
2020-05-19 cs.DB
NeuroSketch: Fast and Approximate Evaluation of Range Aggregate Queries with Neural Networks
针对范围聚合查询，提出NeuroSketch框架，通过建模查询而非数据训练神经网络，提供了依赖分布和查询的误差界限，并在速度和精度上显著优于现有技术。
2023-04-07 cs.DB
Coordinated Weighted Sampling for Estimating Aggregates Over Multiple Weight Assignments
许多数据源都是通过一组键上的多个权重分配来自然建模的：多个时间点上不断发展的数据库的快照，多个时间段内收集的测量值，对多个位置服务的资源的请求，以及具有多个数值属性的记录。在这样的向量加权数据上，我们感兴趣的是关于一组权重的聚合，例如加权和，以及多组权重的聚合，例如$L_1$差。基于样本的摘要对于太大而无法存储或操作的数据集非常有效。摘要便于近似处理可能在生成摘要之后指定的查询。然而，当前的设计适用于单个{ \em标量}权重与每个键关联的数据集。我们开发了一个抽样框架的基础上{ \em协调加权样本}，适合于多个权重分配，并获得估计，{ \em数量级更紧}比以前可能的。我们通过对从IP网络到股票报价数据的各种数据集进行广泛的实证评估，展示了我们方法的强大功能。
2010-11-09 cs.DB cs.NI
Approximating Aggregated SQL Queries With LSTM Networks
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
尽管在数据技术方面不断投资，但查询数据的延迟仍然构成了重大挑战。现代分析解决方案需要近乎实时的响应能力，以使其具有交互性并支持自动化处理。当前的技术（Hadoop，Spark，Dataflow）扫描数据集以执行查询。他们专注于提供可扩展的数据存储，以最大限度地提高任务执行速度。我们认为，这些解决方案未能提供足够的互动水平，因为它们依赖于不断访问数据。在本文中，我们提出了一种查询近似的方法，也被称为近似查询处理（AQP），减少了需要在推理（查询计算）扫描数据，从而使一个快速的查询处理工具。我们使用LSTM网络来学习查询与其结果之间的关系，并为预测查询结果提供快速推理层。我们的方法（称为“Hunch”）产生了一个轻量级的LSTM网络，它提供了高查询吞吐量。我们使用12个数据集评估了我们的方法，并从查询延迟，模型权重和准确性角度与最先进的AQP引擎（VerdictDB，BlinkDB）进行了比较。结果表明，该方法预测查询结果的归一化均方根误差（NRMSE）在1%~ 4%之间，在大多数数据集上优于基准测试。此外，我们的方法能够在一秒钟内预测多达120，000个查询（一起流），并且单个查询延迟不超过2 ms。
2021-01-05 cs.AI cs.DB
On Top-$k$ Weighted SUM Aggregate Nearest and Farthest Neighbors in the $L_1$ Plane
本文研究了在平面$L_1$度量下，使用加权SUM算子的top-$k$聚集（或组）最近邻查询。给定$n$点的集合$P$，对于由$m$加权点的集合$Q$和整数$k$组成的任何查询，$ 1 \le k \le n$，顶部$k$聚合最近邻查询要求$P$的$k$点，其到$Q$的聚合距离最小，其中$P$的每个点$p$到$Q$的聚合距离是从$p$到$Q$的所有点的加权距离之和。我们在$O(n\log n \log\log n)$时间内构建了一个$O(n\log n\log\log n)$大小的数据结构，这样每个top-$k$查询都可以在$O(m\log m+(k+m)\log^2 n)$时间内得到回答.我们也得到了其他的结果与预处理和查询之间的权衡。即使对于$k=1$的特殊情况，我们的结果也优于以前最好的方法（在PODS 2012中），它需要$O(n\log^2 n)$预处理时间，$O(n\log^2 n)$空间和$O(m^2\log^3 n)$查询时间。此外，对于这个问题的一维版本，我们的方法可以建立一个$O(n)$大小的数据结构，在$O(n\log n)$时间，可以支持$O(\min\{k,\log m\}\cdot m+k+\log n)$时间查询。此外，我们将我们的技术扩展到顶部- $k$聚合最远邻居查询，具有相同的界限。
2014-11-29 cs.CG cs.DB cs.DS
Adaptive Learning of Aggregate Analytics under Dynamic Workloads
University of Glasgow（格拉斯哥大学）；University of Warwick（华威大学）
大型组织已经将数据驱动的决策无缝地纳入其运营中。然而，随着数据量的增加，昂贵的大数据基础设施需要拯救。在这种情况下，分析任务在云部署中的查询响应时间、资源消耗和金钱方面变得非常昂贵，特别是当基础数据存储在地理上分布式的数据中心时。因此，我们引入了一种自适应机器学习机制，该机制是轻量级的，存储在客户端，可以估计各种聚合查询的答案，并且可以避免大数据后端。在毫秒内执行的估计是廉价和准确的，因为该机制从过去的分析查询模式中学习。然而，由于分析查询是临时的，分析师的兴趣随着时间的推移而变化，我们开发的解决方案可以快速准确地检测到这种变化，并适应新的查询模式。使用真实和合成数据集进行广泛评估，证明了我们方法的能力。
2020-03-14 cs.DB cs.LG
Support Aggregate Analytic Window Function over Large Data by Spilling
解析函数，也称为窗口函数，是在滑动窗口上查询数据的聚合。例如，在线股票平台上的一个简单查询是返回最近三天股票的平均价格。这些函数是SQL数据库中常用的功能。它们在大多数商业数据库中得到支持。随着云数据基础设施和机器学习技术的使用越来越多，使用分析窗口函数的查询频率也在上升。一些解析函数只需要在内存中存储常量空间来存储状态，如SUM，AVG，而其他函数则需要线性空间，如MIN，MAX。当窗口非常大时，用于存储状态的存储器空间可能太大。在这种情况下，我们需要将状态溢出到磁盘，这是一个繁重的操作。本文提出了一种对磁盘状态数据进行操作的算法，以减少磁盘I/O，使溢出可用，提高效率。分析了不同数据分布情况下算法的复杂度。
2023-03-06 cs.DB
Aggregation Languages for Moving Object and Places of Interest Data
我们解决聚集查询GIS数据和移动对象数据，其中非空间数据存储在一个数据仓库。我们提出了一个形式化的数据模型和查询语言来表达复杂的聚集查询。接下来，我们研究压缩的轨迹数据，产生的移动对象，使用停止和移动的概念。我们表明，停止和移动是可表达的，在我们的查询语言，我们认为这种语言的一个片段，由正则表达式来谈论时间顺序的停止和移动的序列。该片段可用于有效地表达轨迹数据上的数据采掘和模式匹配任务。
2007-08-20 cs.DB
Aggregate-Max Nearest Neighbor Searching in the Plane
我们研究了平面上MAX算子的聚集/组最近邻搜索。对于$n$点的集合$P$和$m$点的查询集合$Q$，查询要求$P$中到$Q$中的点的最大距离被最小化的点。我们提出的数据结构回答这样的查询$L_1$和$L_2$距离措施。以前，只有启发式和近似算法给出了这两个版本。对于$L_1$版本，我们在$O(n\log n)$时间内构建了一个O（n）大小的数据结构，这样每个查询都可以在$O(m+\log n)$时间内得到回答。对于$L_2$版本，我们在$O(n\log n)$时间和$O(n\log \log n)$空间中构建数据结构，使得每个查询可以在$O(m\sqrt{n}\log^{O(1)} n)$时间中被回答，或者，我们在$O(n^{2+ε})$时间和空间中为任何$ε>0$构建数据结构，使得每个查询可以在$O(m\log n)$时间中被回答。进一步地，我们将我们的结果扩展到$L_1$版本的top- $k$查询，其中每个查询要求$P$的$k$点，其到$Q$的最大距离对于任何具有$1\leq k\leq n$的$k$是最小的：我们在$O(n\log n)$时间内构建O（n）大小的数据结构，使得每个top- $k$查询可以在$O(m+k\log n)$时间内被回答。
2013-09-07 cs.CG cs.DB cs.DS
Query Combinators
介绍了Rabbit，一种基于组合符的查询语言。Rabbit旨在让数据分析师和其他偶然的程序员查询复杂的结构化数据。我们结合函数数据模型和计算的范畴语义来开发数据库查询的指称语义。在Rabbit中，查询被建模为一个Kleisli箭头，用于由查询基数确定的一元容器。在这个模型中，一元组合可以用来导航数据库，而其他查询组合器可以聚合，过滤，排序和分页数据;构造复合数据;连接自引用数据;和重组数据与分组和数据立方体操作。上下文感知查询模型将输入上下文表示为一个共同的容器，可以表达查询参数和窗口函数。Rabbit语义支持流水线表示法，鼓励用户将数据库查询构造为一系列不同的步骤，每个步骤都单独制作和测试。我们相信Rabbit可以作为数据分析的实用工具。
2017-02-27 cs.DB
DP-PQD: Privately Detecting Per-Query Gaps In Synthetic Data Generated By Black-Box Mechanisms
提出DP-PQD框架，在保证差分隐私的前提下，私密检测黑盒机制生成的合成数据与隐私数据集上计数、求和和中位数等聚合查询答案是否在用户指定阈值内，填补了合成数据缺乏逐查询质量保证的空白。
2023-09-15 cs.CR cs.DB
Evergreen: Efficient Claim Verification for Semantic Aggregates
Brown University（布朗大学）；Snowflake Inc.（Snowflake公司）
Evergreen将声明验证转化为语义查询处理任务，通过定制优化和溯源捕获，减少LLM调用成本和延迟，提升验证质量与效率。
2026-07-03 cs.AI cs.CL cs.DB
Distinctiveness Maximization in Datasets Assemblage
针对数据集组装中区分度最大化问题，提出基于机器学习的区分度边际增益估计方法，实现高效可扩展的近似算法，在真实数据池上优于现有基线。
2025-02-27 cs.DB
Aggregation in Probabilistic Databases via Knowledge Compilation
在基于半环和半模代数结构的概率数据表示系统上，提出了一种基于聚集的正关系代数查询的查询评价技术。我们的评估技术的核心是一个程序，编译半模和半环表达式到所谓的分解树，其中的概率分布的计算可以在时间线性的产品中的概率分布的大小表示其节点。我们利用查询易处理性和多项式时间分解树之间的联系，给出了具有聚集的易处理查询的语法特征。该技术的原型被纳入概率数据库引擎SPROUT。我们报告自定义数据集和TPC-H数据的性能实验。
2012-01-31 cs.DB
Equivalence of SQL Queries in Presence of Embedded Dependencies
我们考虑的问题，找到等价的最小尺寸的SQL查询中存在嵌入的依赖关系的重构[1]。我们的重点是选择项目连接（SPJ）查询与平等的比较，也被称为安全的合取（CQ）查询，可能与分组和聚合。对于SPJ查询，SQL标准的语义将查询答案视为多集（也称为bags），而所存储的关系可以被视为集合，这被称为用于查询评估的bag-set语义，或者被视为bags，这被称为bag语义。（在集合语义下，查询答案和存储的关系都被视为集合。在上述查询重构问题的背景下，我们开发了一个全面的框架，用于在包和包集语义下存在嵌入式依赖关系的CQ查询的等价性，并做出了一些概念和技术上的贡献。具体来说，我们在包和包集语义下存在任意嵌入依赖集的CQ查询的等价性测试，条件是输入上的集语义（set-chase）下的chase [9]终止。我们还提出了等价性测试的聚合CQ查询存在嵌入式依赖关系。我们使用我们的等价性测试开发健全和完整的（每当集追逐的输入终止）的算法，用于解决的实例的查询重构问题的CQ查询下的每个袋和袋集语义，以及聚合查询的问题的实例。
2009-06-26 cs.DB
Estimating Cardinalities with Deep Sketches
我们介绍了Deep Sketches，它是数据库的紧凑模型，允许我们估计SQL查询的结果大小。Deep Sketches由一种新的深度学习方法来估计基数，可以捕获列之间的相关性，甚至跨表。我们的演示允许用户在TPC-H和IMDb数据集上定义这样的草图，监控训练过程，并对训练过的草图运行临时查询。我们还使用HyperPer和PostgreSQL估计查询基数，以可视化传统基数估计器的收益。
2019-04-17 cs.DB
Learning Approximation Sets for Exploratory Queries
针对大数据探索中非聚合查询耗时久的问题，提出基于强化学习的ASQP-RL方法求解NP完全的ANAQP问题，在两个基准上准确率超基线30%、效率提升10-35倍，为数据管理任务优化提供新思路。
2024-01-30 cs.DB
QUIP: Query-driven Missing Value Imputation
缺失数据广泛存在于现实世界的数据集中，如果不能清除缺失数据，可能会导致查询结果的质量下降。\yiming{Traditionally, missing value imputation has been studied as an offline process as part of preparing data for analysis.}研究了查询时缺失值的填补问题，提出了QUIP算法，该算法只填补最小缺失值来回答查询。具体地说，通过将合理的良好查询计划作为输入，QUIP试图最小化缺失值插补成本和查询处理开销。QUIP提出了一种新的外连接实现来保留查询处理中的缺失值，并提出了一种基于布隆过滤器的索引结构来优化空间和运行时开销。QUIP还设计了一个基于成本的决策函数，以自动指导每个操作员立即估算缺失值或延迟估算。为了提高QUIP中聚集运算的速度，提出了有效的优化方法，如MAX/MIN运算。在真实数据集和合成数据集上的大量实验表明，QUIP在不同的查询集和数据集上的性能比现有的ImputeDB提高了2到10倍，并且比离线方法有数量级的提高。
2022-04-05 cs.DB
ML-AQP: Query-Driven Approximate Query Processing based on Machine Learning
随着越来越多的组织依赖于数据驱动的决策，大规模分析变得越来越重要。然而，分析师往往被困在等待一个确切的结果。因此，组织转向拥有有效分析大量数据的基础设施的云提供商。但是，随着成本的增加，组织必须优化其使用。有一个便宜的替代品，提供速度和效率将有很长的路要走。具体来说，我们提供了一种解决方案，可以为聚合查询提供近似答案，依赖于机器学习（ML），它能够与云系统一起工作。我们开发的轻量级ML主导的系统可以存储在分析师的本地机器上或部署为服务，以立即回答分析查询，具有较低的响应时间和货币/计算成本和能源足迹。为了实现这一目标，我们利用先前回答的查询所获得的知识，并构建ML模型，可以以高效且廉价的方式估计新查询的结果。我们的系统的能力是通过使用真实和合成数据集/工作负载以及众所周知的基准进行广泛的评估来证明的。
2020-03-14 cs.DB
Explaining Aggregates for Exploratory Analytics
University of Glasgow（格拉斯哥大学）；University of Warwick（华威大学）
希望探索多变量数据空间的分析师通常提出涉及选择运算符的查询，即，范围或半径查询，定义可能感兴趣的数据子空间，然后使用聚合函数，其结果确定其探索性分析兴趣。然而，这样的聚合查询（AQ）结果是简单的标量，因此，传达有限的信息查询的子空间进行探索性分析。我们解决这个缺点，帮助分析师探索和理解数据子空间，通过贡献一个新的解释机制创造XAXA：eXplaining聚合eXploratory分析。XAXA的新AQ解释表示使用三重联合优化问题获得的功能。假设通过统计学习模型获得的一组参数分段线性函数的形式。所提出的解决方案的一个关键特征是，模型训练只通过在线监视AQ及其答案来执行。在XAXA中，可以在没有任何数据库（DB）访问的情况下计算对未来AQ的解释，并且可以用于进一步探索查询的数据子空间，而无需向DB发出任何更多的查询。我们通过对真实世界和合成数据集和查询工作负载的理论基础指标来评估XAXA的解释准确性和效率。
2020-03-12 cs.DB cs.LG
RSATree: Distribution-Aware Data Representation of Large-Scale Tabular Datasets for Flexible Visual Query
分析人员通常会调查由图表（如直方图和分箱散点图）表示的数据统计聚合中得出的数据分布，以可视化和分析大规模数据集。聚合查询是通过这样一个过程隐式执行的。数据集总是非常大;因此，应该通过计算预定义的数据立方体来加快响应时间。但是，查询仅限于预处理数据立方体的预定义装箱模式。这种局限性阻碍了分析人员灵活调整视觉规格以有效地研究数据中的隐含模式。特别是，RSATree使任意查询和灵活的装箱策略，利用三个方案，即，基于R树的空间划分方案，以捕捉数据分布，局部敏感的哈希技术，以实现局部保持随机访问数据项，和一个汇总区域表方案，以支持交互式查询的聚合值与线性计算复杂性。本文提出并实现了一个基于Web的可视化查询系统，该系统支持对大规模表格数据的可视化描述、查询和探索，粒度可由用户调整。我们证明了我们的方法的效率和实用性，通过在真实世界的数据集上进行各种实验，并分析时间和空间复杂度。
2019-10-11 cs.DB cs.HC
DP-S4S: Accurate and Scalable Select-Join-Aggregate Query Processing with User-Level Differential Privacy
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文提出DP-S4S，通过采样聚合单元和建立RDP数学基础，解决差分隐私下选-连接-聚合查询的可扩展性和准确性问题，实验证明其在大规模数据集上有效。
2026-03-19 cs.CR cs.DB
Approximate Query Processing using Deep Generative Models
QCRI, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of Toronto（多伦多大学）
数据以前所未有的速度生成，超出了我们分析它们的能力。数据库社区已经开创了许多用于近似查询处理（AQP）的新技术，这些技术可以在计算精确结果所需的一小部分时间内给出近似结果。在这项工作中，我们探索使用深度学习（DL）来回答聚合查询，特别是针对交互式应用程序，如数据探索和可视化。我们使用深度生成模型，一种基于无监督学习的方法，忠实地学习数据分布，以便通过从学习的模型生成样本来近似地回答聚合查询。该模型通常是紧凑的（几百KB），因此可以在客户端回答任意AQP查询，而无需联系数据库服务器。我们的其他贡献包括识别模型偏差，并通过拒绝抽样为基础的方法和算法，以建立模型合奏AQP提高准确性，使其最小化。我们广泛的实验表明，我们提出的方法可以提供高精度和低延迟的答案。
2019-11-18 cs.DB cs.LG
Towards a faster symbolic aggregate approximation method
相似性搜索问题是时间序列数据采掘中的主要问题之一。传统上，这个问题是通过顺序地将给定的查询与数据库中的所有时间序列进行比较，并返回在该查询的预定阈值内的所有时间序列来解决的。但是，目前使用的时间序列数据库的大规模和高维性使得该方案效率低下。有许多表示技术旨在降低时间序列的维数，以便在低维空间级别上更快地处理搜索。符号聚集近似（SAX）是文献中最具竞争力的方法之一。在本文中，我们提出了一种新的方法，提高了性能的SAX添加到它的另一个排除条件，增加了排除功率。该方法基于使用时间序列的两种表示：一种是SAX，另一种是基于时间序列的最佳近似。预先计算的距离被离线计算和存储，以在线使用，从而使用两个排除条件排除大范围的搜索空间。实验结果表明，该方法比SAX算法更快.
2013-01-24 cs.DB cs.IR
Overlay Indexes: Efficiently Supporting Aggregate Range Queries and Authenticated Data Structures in Off-the-Shelf Databases
商业现成的数据库管理系统（DBMS）经过高度优化，可以通过精心设计的索引和查询规划来处理各种查询。然而，许多聚合范围查询通常由DBMS使用顺序扫描来执行，并且根本不支持某些需求，例如存储认证的数据结构（ADS）。从理论上讲，这些需求可以有效地满足采用特定类型的索引，但通常排除在DBMS的设计。我们介绍了覆盖索引的概念：一个索引，这是要存储在一个标准的数据库中，与常规数据和常规软件管理，以补充DBMS的功能。我们展示了一个数据结构，我们称之为DB树，它实现了一个覆盖索引，以支持广泛的自定义聚合范围查询以及ADS，有效。所有DB树操作都可以通过对DBMS执行少量查询来执行，这些查询可以在一个或两个查询轮中并行发出，并且涉及对数数量的数据。我们实验评估DB树的效率表明，我们的方法是有效的，特别是如果数据更新是有限的。
2019-10-25 cs.CR cs.DB cs.DS
A Novel Technique for Query Plan Representation Based on Graph Neural Nets
University of Ottawa（渥太华大学）
针对查询计划表示能力缺乏比较的问题，提出基于门控循环单元聚合双向图神经网络的新型树模型BiGG，显著提升了复杂工作负载下的成本估计和计划选择性能。
2024-06-05 cs.AI cs.DB
NN-based Transformation of Any SQL Cardinality Estimator for Handling DISTINCT, AND, OR and NOT
Technion（以色列理工学院）
带有AND、OR和NOT运算符的SQL查询构成了广泛的一类高度使用的查询。因此，它们的基数估计对于查询优化是重要的。此外，查询规划器需要集合论基数（即，不带重复项）用于DISTINCT查询以及规划;例如，考虑排序选项时。然而，尽管在存在DISTINCT、AND、OR和NOT的情况下估计查询基数很重要，但许多基数估计方法仅限于估计具有重复计数的合取查询的基数。这项工作的重点是两种方法来处理这个不足之处，可以适用于任何有限的基数估计模型。首先，我们描述了一个专门的深度学习方案PUNQ，它是专门为表示合取SQL查询和预测查询结果中具有重复行的唯一行的百分比而定制的。使用通过PUNQ获得的预测百分比，我们能够转换任何基数估计方法，该方法仅估计合取查询，并且估计具有重复项的基数（例如，MSCN），一种方法，估计查询基数没有重复。这样就可以使用DISTINCT关键字估计查询的基数。此外，我们描述了一个递归算法，GenCrd，扩展任何基数估计方法M，只处理合取查询的一个，估计基数更一般的查询（包括与，或，和不），而不改变方法M本身。我们的评估是在一个具有挑战性的真实数据库上进行的，该数据库具有一般查询，包括DISTINCT关键字或AND，OR和NOT运算符。实验上，我们表明，所提出的方法获得准确的基数估计与原来的变换方法的准确性相同的水平。
2020-04-15 cs.DB cs.LG
Video Monitoring Queries
University of Toronto（多伦多大学）
利用深度学习原语的视频处理的最新进展在视频分析的基本问题上取得了突破，例如帧分类和目标检测，从而实现了一系列新的应用。在本文中，我们研究的问题，交互式声明查询处理的视频流。特别地，我们引入了一组近似过滤器来加速涉及特定类型的对象的查询（例如，汽车、卡车等）在视频帧之间具有相关联的空间关系的视频帧上（例如，卡车的左边）。所得到的过滤器能够快速地评估查询谓词是否为真以继续对帧进行进一步分析，或者以其他方式不考虑帧，从而进一步避免昂贵的目标检测操作。我们提出了两类过滤器$IC$和$OD$，适应深图像分类和目标检测的原则。过滤器利用可扩展的深度神经架构，易于部署和使用。此外，我们提出了统计查询处理技术来处理涉及视频流上的空间约束的对象的聚合查询，并通过实验证明所产生的聚合估计的准确性增加。综合这些技术构成了一套健壮的视频监控查询处理技术。我们证明，结合视频流上的声明性查询提出的技术的应用程序可以显着提高帧处理速率，并加快查询处理至少两个数量级。我们提出了一个彻底的实验研究的结果，利用基准视频数据集的规模展示的性能优势和我们的建议的实际意义。
2020-02-24 cs.CV cs.DB eess.IV
SQL2Circuits: Estimating Cardinalities, Execution Times, and Costs for SQL Queries with Quantum Natural Language Processing
University of Helsinki（赫尔辛基大学）
本文提出利用量子自然语言处理技术，通过量子机器学习模型估计SQL查询的基数、执行时间和成本，提升数据库查询优化效率。
2026-01-07 cs.DB cs.LG quant-ph
