Accelerating Approximate Analytical Join Queries over Unstructured Data with Statistical Guarantees
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出BaS算法，结合嵌入式阻塞和采样，提供统计保证并提高效率，实验证明其在不同模态数据集上有效减少估计误差。
2026-03-17 cs.DB
To Ship or Not to (Function) Ship (Extended version)
采样通常用于减少交互式大数据分析的查询延迟。已建立的并行数据处理范例依赖于函数传送，其中协调器将查询分派到工作节点，然后收集结果。高性能网络的商品化使得数据传送成为可能，其中协调器使用RDMA直接读取工作器内存中的数据，而工作器处理其他查询。在这项工作中，我们将探讨何时使用函数航运或数据航运的交互式查询处理与采样。应该优先选择函数传送还是数据传送，这取决于传输的数据量、当前CPU利用率、采样方法以及对数据集执行的查询数量。结果表明，在使用大量工作人员执行聚类采样时，数据传输速度最多可提高6.5倍。
2018-07-30 cs.DB
Exqutor: Extended Query Optimizer for Vector-augmented Analytical Queries
Yonsei University（延世大学）；Microsoft（微软）
本文提出Exqutor，一种用于向量增强分析查询的查询优化器，通过改进向量搜索的基数估计方法，提升查询性能，实验证明在pgvector、VBASE和DuckDB中性能提升达四量级。
2026-03-29 cs.DB
Combining Aggregation and Sampling (Nearly) Optimally for Approximate Query Processing
基于样本的近似查询处理（AQP）有许多缺陷，如无法回答非常有选择性的查询和不可靠的置信区间时，样本量很小。最近的研究提出了一种有趣的解决方案，将物化的，预先计算的聚合物与采样相结合，以获得准确和更可靠的AQP。我们在这项工作中详细探索了这个解决方案，并提出了一个AQP物理设计，称为PASS，或预计算辅助分层采样。PASS构建一个部分聚合树，覆盖数据集的不同分区。该树的叶节点形成分层样本的层。其谓词与分区（或分区的并集）对齐的聚合查询用深度优先搜索精确地回答，并且任何部分重叠用分层样本近似。我们提出了一种算法，用于最佳地划分到这样的数据结构与各种实用的近似技术的数据。
2021-03-29 cs.DB
Probabilistic Nearest Neighbor Queries on Uncertain Moving Object Trajectories
轨迹数据库中的最近邻查询由于在时空数据分析中的应用而受到广泛关注。最近的工作已经考虑了现实的情况下，轨迹是不确定的，但是，只有简单的不确定性模型已经提出，这不允许准确的概率搜索。在本文中，我们填补了这一空白，解决数据库中的概率最近邻查询与不确定的轨迹建模的随机过程，特别是马尔可夫链模型。我们研究了三个最近邻查询语义，作为输入的查询状态或轨迹$q$和时间间隔。对于某些查询，我们表明，没有多项式时间的解决方案可以找到。对于可以解决的问题，在PTIME，我们提出了精确的查询评估算法，而对于一般情况下，我们提出了一个复杂的采样方法，它使用贝叶斯推理，以保证采样轨迹符合数据库中存储的观测数据。这种采样方法可以用于基于Monte-Carlo的近似解。我们包括一个广泛的实验研究，以支持我们的理论结果。
2014-01-20 cs.DB
Similarity Driven Approximation for Text Analytics
随着企业越来越多地寻求从文本数据集中提取决策见解，文本分析已成为商业智能的重要组成部分。然而，处理大型文本数据集在计算上是昂贵的，特别是如果它涉及复杂的算法。当需要对一个数据集运行不同类型的查询时，这个挑战会加剧，这使得构建多个索引以加快查询处理的成本很高。在本文中，我们提出并评估了一个名为EmApprox的框架，该框架使用近似来加快处理大范围的查询，在大型文本数据集。关键的见解是，不同类型的查询可以通过处理与查询最相似的数据子集来近似。EmApprox通过学习自然语言处理模型为数据集构建通用索引，生成一组高度压缩的向量，表示单词和文档子集。然后，在查询处理时，EmApprox使用索引来指导数据集的采样，选择文档的每个子集合的概率与其与查询的{ \em相似度}成比例，如使用向量表示所计算的。我们已经实现了EmApprox的原型作为Apache Spark系统的扩展，并使用它来近似三种类型的查询：聚合，信息检索和推荐。实验结果表明，EmApprox的相似性引导的采样实现了更好的精度比随机采样。此外，如果用户可以容忍少量的不准确性，EmApprox可以实现显著的加速。例如，当采样率为10%时，EmApprox将一组查询的速度提高了近10倍，同时对90%的查询实现了小于22%的估计相对误差。
2020-01-12 cs.DB cs.DC
A Simple Algorithm for Worst-Case Optimal Join and Sampling
提出一种简单的分支定界算法，证明其在特定数据库上的连接查询具有最坏情况最优性，并可通过递归估计答案数上界转化为期望运行时间为 $O(UP/OUT)$ 的均匀采样算法，以模块化方式还原最新成果。
2024-09-21 cs.DB
ExSample: Efficient Searches on Video Repositories through Adaptive Sampling
随着摄像机的部署成本越来越低，捕获和处理视频变得越来越普遍。与此同时，丰富的视频理解方法在过去十年中取得了很大进展。因此，许多组织现在拥有大量视频数据存储库，并在地图，导航，自动驾驶和其他领域应用。由于最先进的目标检测方法速度慢且成本高，因此我们在积累的数据上处理甚至简单的特定目标搜索查询（“在仪表盘视频中查找100个交通灯”）的能力远远落后于我们收集这些数据的能力。对于这些类型的查询，以降低的采样率处理视频是合理的默认策略，但是，理想的采样率取决于数据和查询。我们引入ExSample，一个低成本的框架，用于在未索引的视频上进行对象搜索，通过将采样帧的数量和位置适应于正在处理的特定数据和查询来快速处理搜索查询。ExSample在视频存储库中优先处理帧，以便处理集中在最有可能包含感兴趣对象的视频部分。它会根据先前处理过的帧的反馈，不断重新确定处理的优先级。在大型的真实数据集上，ExSample与高效的随机采样基线相比，可将处理时间减少多达6倍，与训练专门的按查询代理模型的最新方法相比，可将处理时间减少几个数量级。因此，ExSample是构建经济高效的视频数据管理系统的关键组件。
2022-08-12 cs.DB
Reservoir Sampling over Joins
针对流式元组下连接结果随机样本维护难题，本文提出结合谓词广义蓄水池抽样与动态索引的近线性复杂度算法，并在多类数据和查询上验证其显著优于现有方法。
2024-04-10 cs.DB
Distance Queries from Sampled Data: Accurate and Efficient
距离查询是数据分析的基本工具。它们用于检测和定位变化，以进行异常检测、监控或规划。当重复收集测量、系统快照、内容、流量矩阵和活动日志等数据集时，距离查询特别有用。随机采样可以有效地对流式或分布式数据执行，是可扩展数据分析的重要工具。该示例构成了一个极其灵活的摘要，它自然支持域查询和统计信息的可伸缩估计，这些可以在生成示例后指定。然而，样本作为摘要的有效性取决于我们所拥有的估计量。我们推导出新的估计估计$L_p$距离采样数据。我们的估计量适用于最常见的加权抽样方案：泊松概率与大小成比例（PPS）及其固定样本量变体。它们也适用于不同数据集的样本是独立或协调的情况。我们的估计是可接受的（帕累托最优方差），并具有令人信服的属性。我们研究了我们的曼哈顿和欧几里得距离（$p=1,2$）估计器在不同数据集上的性能，即使在对一小部分数据进行采样时，也能证明其可扩展性和准确性。我们的工作，第一次，有利于有效的距离估计采样数据。
2014-06-08 cs.DB cs.DS math.ST
From Randomized Response to Randomized Index: Answering Subset Counting Queries with Local Differential Privacy
针对本地差分隐私中值扰动导致效用下降的问题，提出对值索引随机化的CRIAD方法，用于回答集合值数据上的子集计数查询，通过多虚拟项、多样本和多组策略实现可扩展性，并在准确性和隐私保障上优于现有方法。
2025-04-24 cs.CR cs.DB
Answering (Unions of) Conjunctive Queries using Random Access and Random-Order Enumeration
随着数据分析对数字系统变得越来越重要，描述数据库查询的特征以进行更有效的评估也变得越来越重要。我们考虑线性时间预处理阶段后的多对数延迟的答案枚举的易处理性尺度。这样的评估是通过在预处理阶段构造支持多路延迟枚举的数据结构来获得的。在本文中，我们寻求一种结构，支持更苛刻的任务的“随机排列”：在真正的随机顺序的多通道延迟枚举。如果下游应用程序假设中间结果以统计上有价值的方式代表整个结果集，则需要这种枚举。一个要求更高的任务是“随机访问”：多任务时间检索的答案的位置是给定的。我们建立了自由连接的非循环CQ在所有三种意义上都是易处理的：枚举，随机顺序枚举和随机访问;在没有自连接的情况下，从过去的结果可以看出，每一个其他CQ都是难以处理的（在一些细粒度的复杂性假设下）。然而，这三个尺度在CQ的并集（UCQ）的情况下是分开的：虽然自由连接的非循环CQ的并集具有易处理的枚举，但它可能（可证明地）不允许随机访问。对于这样的UCQ，我们设计了一个随机顺序枚举的延迟是对数的期望。我们还确定了UCQ的一个子类，我们可以提供随机访问与多对数访问时间。最后，我们提出了一个实施和实证研究，表明我们的随机顺序枚举的方法在国家的最先进的替代品相当大的实际优势。
2019-12-23 cs.DB
Proof: Accelerating Approximate Aggregation Queries with Expensive Predicates
Stanford University（斯坦福大学）；University of Chicago（芝加哥大学）
给定一个数据集$\mathcal{D}$，我们感兴趣的是计算匹配谓词的$\mathcal{D}$子集的均值。ABae利用分层抽样和代理模型，在给定抽样预算$N$的情况下有效地计算此统计量。在本文中，我们从理论上分析了ABae，并证明了估计的MSE以$O(N_1^{-1} + N_2^{-1} + N_1^{1/2}N_2^{-3/2})$的速率衰减，其中$N=K \cdot N_1+N_2$（对于某个整数常数$K$）和$K \cdot N_1$和$N_2$分别表示ABae阶段1和阶段2中使用的样本数。因此，如果将总样本预算$N$的一个恒定部分分配给每个阶段，则我们将获得$O(N^{-1})$的均方误差，该均方误差与最佳分层抽样算法的均方误差率相匹配，前提是已知每层的等同阳性率和标准差。
2021-07-28 cs.DB cs.LG math.ST
Moving Object Trajectories Meta-Model And Spatio-Temporal Queries
在本文中，提出了一个通用的移动对象轨迹框架，允许独立的应用程序处理轨迹数据受益于高水平的互操作性，信息共享以及一个有效的答案，为广泛的复杂的轨迹查询。我们提出的元模型是基于本体和事件的方法，结合现有的轨迹表示，并集成新的模式，如时空路径来描述活动的地理时空。我们引入递归感兴趣区域的概念和处理移动对象的轨迹与不同的时空采样协议和不同的传感器，传统的数据模型单独无法实现这一目的。
2012-05-08 cs.DB
ReSequel: Robust LLM-assisted Query Rewriting and Optimization using Templatization and Sampling
Concordia University（康考迪亚大学）；TU Berlin（柏林工业大学）；BIFOLD（柏林数据与人工智能联合实验室）
提出ReSequel，一种利用LLM和元数据（目录、统计信息）通过模板化规则和采样验证来重写SQL查询的优化层，在多个DBMS上实现高达16倍的工作负载加速。
2026-07-14 cs.DB
EntropyDB: A Probabilistic Approach to Approximate Query Processing
我们提出了EntropyDB，一个交互式的数据探索系统，使用概率的方法来生成一个小的，可查询的数据集摘要。从传统的摘要技术出发，我们使用最大熵的原则来生成一个概率表示的数据，可以用来给近似的查询答案。我们开发的理论框架和制定我们的概率表示，并展示如何使用它来回答查询。然后，我们提出了解决技术，给出了两个关键的优化，以提高预处理时间和查询执行时间，并探讨方法，以减少查询错误。最后，我们使用美国境内的5 GB航班数据集和来自天文粒子模拟的210 GB数据集对我们的工作进行了实验评估。虽然我们目前的工作只支持线性查询，但我们表明，我们的技术可以比采样更快地成功回答查询，同时平均引入比采样更多的错误，并且可以更好地区分罕见和不存在的值。我们还讨论了可以允许数据更新和连接上的线性查询的扩展。
2019-11-09 cs.DB
Probabilistic Database Summarization for Interactive Data Exploration
我们提出了一种概率方法来生成一个小的，可查询的摘要的数据集进行交互式数据探索。从传统的摘要技术出发，我们使用最大熵的原则来生成一个概率表示的数据，可以用来给近似的查询答案。我们开发的理论框架和制定我们的概率表示，并展示如何使用它来回答查询。然后，我们提出了解决技术，并给出了三个关键的优化，以提高预处理时间和查询精度。最后，我们使用美国境内的5 GB航班数据集和来自天文粒子模拟的210 GB数据集对我们的工作进行了实验评估。虽然我们目前的工作只支持线性查询，但我们表明，我们的技术可以比采样更快地成功回答查询，同时平均引入比采样更多的错误，并且可以更好地区分罕见和不存在的值。
2017-05-23 cs.DB
Interpreting the Error of Differentially Private Median Queries through Randomization Intervals
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文提出PostRI方法，在中位数估计后计算随机化区间，提升中位数估计的效用850%，同时保持区间狭窄。
2026-04-08 cs.CR cs.DB
Get the Most out of Your Sample: Optimal Unbiased Estimators using Partial Information
随机抽样是数据处理和传输的重要工具。它用于汇总太大而无法存储或操作的数据，并满足带宽或电池电量的资源限制。应用于样本的估计量有助于对原始数据进行快速近似处理，样本的值取决于这些估计量的质量。我们的工作目标是数据集，如请求和流量日志以及传感器测量，其中数据在多个{ \em实例}上重复收集：时间段、位置或快照。我们对跨多个实例的查询感兴趣，例如对所选记录的不同计数和距离度量。这些查询用于从规划到异常和变化检测的应用程序。无偏低方差估计是特别有效的，因为相对误差随着所选记录键的数量而减小。Horvitz-Thompson估计量，已知的最小化方差的抽样与“全部或没有”的结果（这揭示了精确的价值或没有信息的估计量），是不是最佳的多实例操作的结果可能提供部分信息。我们提出了一个一般的原则性方法的推导（帕累托）最佳无偏估计抽样的情况下，旨在了解其潜力。我们证明了显着的改善，估计精度的基本查询常见的抽样方案。
2011-09-06 cs.DB cs.DS cs.NI
Query Significance in Databases via Randomizations
HIIT（赫尔辛基信息技术研究所）；Helsinki University of Technology（赫尔辛基理工大学）；Yahoo! Research（雅虎研究院）
许多类型的结构化数据通常以相互关联的表的多关系格式存储。在此关系模型下，可以使用关系查询进行探索性数据分析。作为示例，在互联网电影数据库（IMDb）中，可以使用查询来检查动作电影的平均排名是否高于戏剧电影的平均排名。我们考虑的问题，评估这样的查询返回的结果是否是统计上显着的，或者只是一个随机的工件的结构中的数据。我们的方法是基于随机表中出现的查询和重复的随机表上的原始查询。事实证明，在多关系数据中没有唯一的随机化方法。我们提出了几种随机化技术，研究它们的属性，并展示了如何找出哪些查询或假设对我们的数据产生统计上显着的信息。我们给出了真实和生成的数据的结果，并展示了一些查询的意义如何在不同的随机化之间变化。
2009-06-30 cs.AI cs.DB
Towards Efficient Random-Order Enumeration for Join Queries
本文研究连接查询结果的随机顺序枚举问题，提出一种无需特定预处理、复杂度无大隐藏常数且在最坏情况下近最优的高效算法，并辅以两种加速技术，实验证明其显著优于现有方法。
2025-07-01 cs.DB
Probabilistic Voronoi Diagrams for Probabilistic Moving Nearest Neighbor Queries
大量的应用，如基于位置的服务和环境监测的不确定数据库的高效查询处理的需求。提出了一种概率沃罗诺伊图（PVD），用于处理不确定数据的移动最近邻查询，即概率移动最近邻查询（PMNN）。PMNN查询连续地找到移动查询点的最可能最近邻居。为了有效地处理PMNN查询，我们提供了两种技术：预计算方法和增量方法。在预计算方法中，我们开发了一种算法来有效地评估PMNN查询的基础上，为整个数据集的预计算PVD。在增量方法中，我们提出了一个增量的概率安全区域为基础的技术，不需要预先计算整个PVD回答PMNN查询。在这种增量方法中，我们利用已知区域的知识来计算对象是最近邻居的概率的下限。实验结果表明，我们的方法显着优于基于采样的方法的数量级的I/O，查询处理时间和通信开销。
2011-06-29 cs.DB
Sampling for Deep Learning Model Diagnosis (Technical Report)
University Of Washington（华盛顿大学）；Paul Allen School of Computer Science and Engineering（保罗·艾伦计算机科学与工程学院）；DiRAC Institute（DiRAC研究所）；Department of Astronomy（天文学系）
深度学习（DL）模型在许多具有高维数据（如图像、音频和文本）的领域中实现了范式改变的性能。然而，深度神经网络的黑盒性质不仅阻碍了医学诊断等应用的采用，其中可解释性是必不可少的，而且还阻碍了对表现不佳的模型的诊断。诊断或解释DL模型的任务需要计算额外的伪影，例如激活值和梯度。这些工件的体积很大，并且它们的计算、存储和查询提出了显著的数据管理挑战。在本文中，我们阐明DL诊断作为一个数据管理问题，我们提出了一个通用的，但有代表性的，一组查询，以评估系统，努力支持这一新的工作量。我们进一步开发了一种新的数据采样技术，这些模型调试查询产生近似但准确的结果。我们的采样技术利用DL模型学习的低维表示，并专注于该低维空间中数据的模型决策边界。我们在一个标准的计算机视觉和一个科学数据集上评估我们的技术，并证明我们的采样技术在查询准确性方面优于各种最先进的替代方案。
2020-02-22 cs.DB cs.LG
BQSched: A Non-intrusive Scheduler for Batch Concurrent Queries via Reinforcement Learning
Key Laboratory of High Confidence Software Technologies, CS, Peking University（高可信软件技术重点实验室，北京大学）；Simon Fraser University（西蒙·弗雷泽大学）；Huawei Cloud（华为云）
本文提出BQSched，首个基于强化学习的非侵入式批量查询调度器，通过注意力状态表示、IQ-PPO算法及三种优化策略显著提升了调度效率与稳定性。
2025-04-27 cs.AI cs.DB
Reinforced Approximate Exploratory Data Analysis
Adobe Research（奥多比研究院）
探索性数据分析（EDA）是一个连续的决策过程，分析师根据先前的查询和相应的结果选择可能导致一些有趣见解的后续查询。数据处理系统通常对样本执行查询以产生具有低延迟的结果。不同的下采样策略保留了不同的数据统计量，并具有不同的延迟减少幅度。抽样策略的最佳选择通常取决于分析流程的特定上下文和分析人员的隐藏意图。在本文中，我们首先考虑在交互式数据探索设置中采样的影响，因为它们引入了近似误差。我们提出了一个基于深度强化学习（DRL）的框架，该框架可以优化样本选择，以保持分析和洞察生成流程的完整性。与3个真实数据集的评估表明，我们的技术可以保留原始的洞察力生成流程，同时改善交互延迟，与基线方法相比。
2022-12-12 cs.AI cs.DB cs.LG
Q-error Bounds of Random Uniform Sampling for Cardinality Estimation
随机均匀抽样已在各种统计任务中进行了研究，但很少有人涉及基数估计（CE）的Q-误差度量。本文分析了单表平行四边形检验中有替换和无替换的随机均匀抽样的置信区间。结果表明，Q-误差界的上限依赖于样本量和真基数。我们的界限提供了一个经验法则，一个样本应该保持多大的单表CE。
2021-09-30 cs.DB math.ST stat.TH
