Recursive Mechanism: Towards Node Differential Privacy and Unrestricted Joins [Full Version, Draft 0.1]
现有的差分隐私研究主要考虑数据集上的聚合,其中每个条目对应于要保护的特定参与者。在许多情况下,用户可能会对敏感数据库提出关系代数查询,并希望对查询结果进行差异化私有聚合。但是,当查询包含不受限制的联接操作时,没有已知的工作能够释放这种聚合。这严重限制了现有的差分隐私技术的应用,因为许多数据分析任务需要无限制的连接。一个例子是图上的子图计数。现有的差分隐私子图计数方法只解决边差分隐私问题,并且受到非常简单的子图的影响。在此之前,任何非平凡的图统计数据是否可以在节点差分隐私下以合理的精度发布仍然是一个悬而未决的问题。在本文中,我们提出了一种新的差分私有机制,释放一个近似的线性统计的结果,一些积极的关系代数计算敏感数据库。我们的机制支持无限制的连接。近似答案的误差界大致与查询的\emph{empirical sensitivity}成比例-这是一个新概念,用于测量当参与者从敏感数据库中撤回其数据时查询答案的最大可能变化。对于子图计数,我们的机制提供了第一个解决方案,以实现节点差分隐私,任何类型的子图。
2013-04-17 cs.DB
Directory-Aware Query and Maintenance in Vector Databases
Hangzhou Dianzi University(杭州电子科技大学);Zhejiang University(浙江大学);ByteDance(字节跳动)
针对向量数据库缺乏层次目录语义的问题,提出目录语义查询(DSQ)和目录语义维护(DSM)算子,并评估三种实现策略,其中基于Trie的层次索引(TrieHI)通过树遍历实现高效递归检索并降低维护成本。
2026-06-16 cs.DB
Terascale Query Processing in the Browser: Rethinking GPU Acceleration
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Utah State University(犹他州立大学);Syracuse University(雪城大学);Washington State University(华盛顿州立大学)
研究针对递归数据库查询的GPU加速,提出基于WebGPU计算着色器的WGLog引擎,利用无原子排序数组连接和异步执行管道两项创新技术,在代表性工作负载上比原生GPU系统加速1.48至4.68倍,远超CPU和WebAssembly实现。
2026-07-21 cs.DB
A Reachability Index for Recursive Label-Concatenated Graph Queries
可达性查询检查从源节点到目标节点的路径是否存在,是查询和处理图数据的基本操作符。现有的基于索引的可达性查询评价方法要么关注纯可达性,要么只关注基于约束的可达性。在本文中,我们第一次研究的问题,基于索引的处理递归标签连接的可达性查询,简称RLC查询。这些查询检查路径的存在,该路径可以满足由Kleene plus下的至多k个边缘标签的串联定义的约束。许多实际的图数据库和网络分析应用程序展示RLC查询。然而,它们的评估在当前的图形数据库引擎中仍然是禁止的。我们引入RLC索引,第一个可达性指数,以有效地处理RLC查询。RLC索引检查源顶点是否可以到达中间顶点,该中间顶点也可以在递归标签级联约束下到达目标顶点。我们提出了一个索引算法来建立RLC索引,它保证了查询执行的可靠性和完整性,并避免记录冗余的索引条目。真实世界的图上的综合实验表明,RLC索引可以显着降低离线处理成本和传递闭包的内存开销,同时提高查询处理高达6个数量级的在线遍历。最后,我们的RLC索引的开源实现显着优于目前主流的图形引擎评估RLC查询。
2022-07-20 cs.DB
Adaptive Distributed Top-k Query Processing
ADiT是一种自适应方法,用于处理对等网络上的分布式top- $k$查询,优化系统负载和查询响应时间。该方法考虑对等网络的大小、搜索对象的量$k$、连接的对等体的网络能力(即,传输速率)、存储在每个对等体上的对象的量、以及对等体在处理本地top- $k$查询时的速度。在各种场景的广泛实验中,我们可以证明ADiT优于最先进的分布式查询处理技术。
2016-06-06 cs.DB
Partial Adaptive Indexing for Approximate Query Answering
本研究提出一种由查询工作负载和用户精度约束驱动的部分自适应索引方法,结合层次化瓦片索引方案支持近似查询回答,有效降低数据读取与索引细化成本,显著提升初始探索阶段的查询评估时间。
2024-07-26 cs.DB
Efficient Subgraph Isomorphism Finding in Large Graphs using Eccentricity and Limiting Recursive Calls
本文提出 SubISO 方法,利用同构不变量、顶点离心率选择枢轴并限制递归调用,在三个基准数据集上显著提升大型图子图同构查找效率。
2023-11-21 cs.DB
Optimizing Recursive Queries with Program Synthesis
查询优化的大部分工作都集中在无循环查询上。然而,如今的数据科学和机器学习工作负载通常涉及递归或迭代计算。在这项工作中,我们提出了一个新的框架优化递归查询使用的方法从程序合成。特别是,我们引入了一个简单而强大的优化规则称为“FGH规则”,其目的是找到一个更快的方法来评估递归程序。该解决方案是通过使用强大的工具,如程序合成器,SMT求解器,和一个等式饱和系统。我们展示了优化的强度,通过显示,FGH规则可以导致加速高达4个数量级的三个,已经优化的数据库系统。
2022-02-21 cs.DB
Cuttlefish: A Lightweight Primitive for Adaptive Query Processing
现代数据处理应用程序执行越来越复杂的分析,需要超越传统关系代数的操作。结果,查询计划中的运算符在多样性和复杂性方面增长。设计查询优化器规则和成本模型来为所有这些新颖的逻辑运算符选择物理运算符是不切实际的。为了解决这一挑战,我们开发了乌贼,一个新的原始的自适应处理在线查询计划,探索候选人的物理运算符实例在查询执行过程中,并利用最快的多臂强盗强化学习技术。我们在Apache Spark中对Cuttlefish进行了原型设计,并自适应地为图像卷积、正则表达式匹配和关系连接选择了运算符。我们的实验表明,基于Cuttlefish的自适应卷积和正则表达式运算符可以达到无所不知的预言机的吞吐量的72-99%,该预言机总是选择最佳算法,即使单个物理运算符比最佳算法慢105倍。此外,与Spark SQL的查询优化器相比,Cuttlefish实现了高达7.5倍的连接吞吐量改进。
2018-02-26 cs.DB cs.DC
Learned Adaptive Indexing with Updatable Learned Index
Faculty of Computer Science, University of New Brunswick(新不伦瑞克大学计算机学院)
针对动态工作负载下传统学习型索引需预先构建的挑战,提出一种随查询动态构建的学习型自适应索引,利用工作负载预测提升性能,实验显示查询性能提升1.2-5.6倍。
2026-11-20 cs.DB
TaCo: Data-adaptive and Query-aware Subspace Collision for High-dimensional Approximate Nearest Neighbor Search
Oceanbase, Ant Group(蚂蚁集团);Huazhong University of Science and Technology(华中科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);LIPADE, Université Paris Cité(巴黎西岱大学)
本文提出TaCo方法,通过数据自适应和查询感知的子空间碰撞框架,提升高维近似最近邻搜索的效率与精度,实验表明其在索引构建速度和内存占用方面优于现有方法。
2026-03-26 cs.DB
Adaptive Cost Model for Query Optimization
针对数据库负载和系统性能变化导致传统静态代价模型参数失效的问题,提出自适应代价模型ACM,在DB运行时动态优化CPU和I/O代价参数,在TPC-H基准上实现20%的端到端延迟改善。
2024-09-25 cs.DB
Fast and Adaptive Bulk Loading of Multidimensional Points
针对多维点批量加载依赖多次外部排序的问题,提出基于线性扫描的FMBI及利用查询工作负载的自适应AMBI,并扩展至分布式并行处理,显著降低构建与查询综合成本。
2024-09-14 cs.DB
Type-Based Detection of XML Query-Update Independence
本文提出了一种新的静态分析技术来检测XML查询更新的独立性,在一个模式的存在。而不是类型,我们的系统推断类型链。每个链表示在查询/更新评估期间可以在有效文档上遍历的路径。由此产生的独立性分析是精确的,尽管它提出了一个具有挑战性的问题:递归模式可能导致推断出无限多个链。一个健全的和完整的近似技术,确保在任何情况下的有限分析,连同一个有效的实施执行链为基础的分析多项式的空间和时间。
2012-05-30 cs.DB
An Adaptive Mechanism for Accurate Query Answering under Differential Privacy
我们提出了一种新的机制,回答集计数查询下差分隐私。给定计数查询的工作负载,该机制自动选择一组不同的“策略”查询来私下回答,使用这些答案来导出工作负载的答案。本文提出的主要算法近似的线性计数查询的任何工作负载的最优策略。在不增加隐私保证的前提下,该机制在(ε,δ)-差分隐私下,对许多工作负载都能达到接近最优的错误率。其结果是一个自适应的机制,可以帮助用户实现良好的效用,而不需要他们仔细的原因,他们的任务的最佳配方。
2012-02-16 cs.DB
RECAST: A Region-Scoped Adaptive Index for Exact Similarity Search
Beijing Institute of Technology, Zhuhai(北京理工大学珠海校区);Shenzhen University, Shenzhen(深圳大学)
RECAST是一种区域范围自适应索引,通过维护查询区域复用已计算距离,在多数据集多工作负载下,相比AV-tree等基线显著降低精确相似度搜索的距离计算量与查询时间。
2026-08-10 cs.DB
Hydro: Adaptive Query Processing of ML Queries
Georgia Institute of Technology(佐治亚理工学院)
本文提出Hydro,一个利用自适应查询处理(AQP)的ML中心DBMS,通过动态监控UDF统计信息、优化谓词评估顺序和资源分配,解决了ML查询中UDF性能瓶颈和数据依赖的计划优化问题,实现高达11.52倍加速。
2024-03-22 cs.DB cs.LG
Fast Private Adaptive Query Answering for Large Data Domains
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);TikTok;Penn State University(宾夕法尼亚州立大学)
本文提出了一种基于残差查询的快速私有自适应查询回答机制,通过多维数组框架、惰性更新和自适应优化,显著提升效率和可扩展性。
2026-02-25 cs.CR cs.DB
Finding a Second Wind: Speeding Up Graph Traversal Queries in RDBMSs Using Column-Oriented Processing
针对 RDBMS 中递归图遍历查询,本文利用列存延迟物化与数据位置设计 Volcano 风格算子,并在 PosDB 中验证,较 PostgreSQL 最高实现 6 倍加速。
2023-08-16 cs.DB cs.PF
[Experiment, Analysis, and Benchmark] Systematic Evaluation of Plan-based Adaptive Query Processing
University of Edinburgh(爱丁堡大学)
本文系统评估了基于计划的自适应查询处理在不同存储架构下的性能表现,揭示其在磁盘和内存DBMS中的改进来源差异。
2025-11-20 cs.DB
Enabling Incremental Query Re-Optimization
随着声明式查询处理技术的范围扩展到Web、数据流、网络路由器和云平台,人们越来越需要自适应查询处理技术,这些技术可以在出现故障或意外性能变化时重新规划。数据分布或计算节点上的状态更新可能会对应该运行哪个查询计划的选择产生重大影响。理想情况下,新的系统架构将能够基于成本做出关于重新分配工作、迁移数据等的决策,并在实时状态信息可用时快速做出反应。现有的基于成本的查询优化器本质上不是增量的,并且必须在每次状态或成本更新时“从头开始”运行。因此,它们通常导致只能缓慢地对更新做出反应的自适应方案。一个悬而未决的问题是,是否有可能在流式或重复查询执行环境中构建用于自适应查询处理的基于成本的重新优化架构,例如,通过在给定新成本信息的情况下递增地更新优化器状态。我们表明,这可以实现有益的,特别是流处理工作负载。我们的技术建立在最近提出的方法,制定查询计划枚举作为一组递归的数据库查询,我们开发了各种新的优化方法,以确保有效的修剪在静态和增量的情况下。我们实现我们的解决方案在现有的研究查询处理系统,并表明,它有效地支持基于成本的初始优化以及频繁的自适应性。
2014-09-22 cs.DB
An Adaptive Column Compression Family for Self-Driving Databases
现代内存数据库通常用于高性能工作负载,因此必须同时优化内存占用小和查询速度高。数据压缩有可能减少内存需求,但也常常降低查询速度。在本文中,我们提出了一种新的,自适应压缩器,提供了一个新的权衡点,这些方面,实现更好的压缩比LZ 4,同时达到查询速度接近最快的现有段编码器。我们评估我们的压缩机都与合成数据隔离和TPC-H和连接顺序基准,集成到一个现代的关系列存储,Hyrise。
2022-09-06 cs.DB
Adaptive Cardinality Estimation
本文研究了查询优化中的一个重要子问题--基数估计问题。查询优化是每个关系数据库管理系统的一部分,负责为给定的查询找到最佳的执行方式。这些方法被称为计划。不同计划的执行时间可能相差几个数量级,因此查询优化器对整个数据库系统的性能有很大的影响。我们认为基于代价的查询优化方法是最流行的方法。据观察,基于成本的优化质量很大程度上取决于基数估计质量。本文提出了一种新的基于机器学习方法的基数估计方法。该方法的要点是使用先前执行的查询的查询执行统计信息来改进基数估计。我们称这种方法为自适应基数估计,以反映这一点。该方法具有通用性、灵活性和易于实现的特点。实验评估表明,该方法显着提高了基数估计的质量,从而使某些查询的数据库管理系统性能提高了几倍甚至几十倍。
2017-11-22 cs.DB stat.ML
Tao: A Learning Framework for Adaptive Nearest Neighbor Search using Static Features Only
近似最近邻(ANN)搜索是数据管理、信息检索和机器学习等领域的基本问题。最近,Li等人提出了一种名为AdaptNN的学习方法来支持自适应ANN查询处理。在查询执行过程中,AdaptNN收集了大量的运行时特征,并预测每个查询的终止条件,从而获得更好的端到端延迟。尽管效率很高,但使用运行时功能会使学习过程复杂化,并导致性能下降。从根本上不同于AdaptNN,我们认为,它是有前途的预测终止条件查询exetution之前。特别是,我们开发了Tao,一个通用的学习框架,用于仅使用静态特征自适应地终止ANN查询。在查询到达时,Tao首先将查询映射到本地内在维度(LID)编号,然后使用LID而不是运行时特征预测终止条件。通过将预测过程与查询执行分离,Tao消除了AdaptNN中涉及的费力的特征选择过程。此外,还提出了两个设计原则,以指导Tao的应用,提高预测模型的可解释性。我们集成了两种最先进的索引方法,即,IMI和HNSW,到陶,并评估性能超过数百万到数十亿规模的数据集。实验结果表明,除了其简单性和通用性,陶实现了高达2.69倍的加速比,甚至与它的同行相比,在相同的高精度目标。
2021-10-02 cs.DB cs.IR
Optimizing Differentially-Maintained Recursive Queries on Dynamic Graphs
差分计算(DC)是一种高度通用的增量计算/视图维护技术,其可以在改变其基本输入时维护任意和可能递归的递归递归计算的输出。因此,它是一个很有前途的技术,图形数据库管理系统(GDBMS),支持连续递归查询动态图。虽然差分计算对于维护这些查询可以非常高效,但它可能需要大量的内存。本文研究了如何减少DC的内存开销,以增加采用它的系统的可扩展性为目标,我们提出了一套优化方案,该方案基于完全或部分删除运算符的差异,并在必要时重新计算这些差异。我们提出了确定性和概率性的数据结构来跟踪丢失的差异。大量的实验表明,优化可以提高基于DC的连续查询处理器的可扩展性。
2022-07-30 cs.DB cs.DC
ADQUEX: Adaptive Processing of Federated Queries over Linked Data based on Tuple Routing
由于关联数据在网络上的分布性,分布式处理联邦查询的方法对用户更有吸引力,并获得了越来越多的繁荣。在联邦查询的分布式处理中,我们需要一些方法和过程来以最优的方式执行查询。大多数现有的方法执行的优化任务的基础上,一些统计信息,而查询处理器没有精确的统计信息,其属性,因为数据源是自治的。当没有精确的统计数据时,错误估计的可能性将大大增加,并可能导致在运行时执行查询的效率低下。现有方法的另一个问题是,在优化阶段,它们假设查询执行的运行时条件是稳定的,而在链接数据上执行联邦查询的环境是动态的和不可预测的。通过考虑这两个问题,有一个很大的潜力,利用联邦查询处理技术的自适应方式。在本文中,提出了一种自适应的方法来处理联邦查询的链接数据,路由的元组的概念的基础上。所提出的方法,命名为ADQUEX,是能够有效地执行查询没有任何先验统计信息。此方法可以在运行时更改查询执行计划,以便生成更少的中间结果。它还可以适应新的情况下,如果不可预测的网络故障发生的执行计划。通过在已知的链接数据集上运行真实查询,对我们的方法进行了广泛的评估,结果非常好,特别是对于复杂的查询。
2015-05-19 cs.DB cs.DC
TRACER: Efficient Object Re-Identification in Networked Cameras through Adaptive Query Processing
Georgia Institute of Technology(佐治亚理工学院);National University of Singapore(新加坡国立大学)
提出新型视频数据库管理系统Tracer,通过循环网络建模历史相关性选择最佳摄像机,并结合概率自适应搜索模型加速高召回率查询,构建了合成基准,性能平均提升3.9倍。
2025-07-13 cs.CV cs.DB
Enc2DB: A Hybrid and Adaptive Encrypted Query Processing Framework
针对云数据库中的密文查询问题,本文提出 Enc2DB 混合自适应框架,结合密码学与 TEE 动态选择执行路径,并设计兼容优化器的密文索引,TPC-C 实验显示其性能优于现有方案。
2024-04-10 cs.CR cs.DB