Differential privacy for counting queries: can Bayes estimation help uncover the true value?
差分隐私是通过在查询响应中引入拉普拉斯噪声来实现的，从而在差分隐私级别和数据库响应的准确性之间建立精确的权衡（通过引入的噪声量）。多个查询可以提高准确性，但会侵蚀隐私预算。我们研究的情况下，我们提交了一个单一的计数查询。我们表明，即使在这种情况下，贝叶斯方法可以用来提高精度相同数量的噪声注入，如果我们知道的数据库的大小和查询的积极响应的概率。
2014-07-01 cs.CR cs.DB
Optimal error of query sets under the differentially-private matrix mechanism
隐私研究的一个共同目标是发布满足正式隐私保证的合成数据，并可由分析师使用以代替原始数据。为了达到合理的准确性，必须调整合成数据集以准确地支持指定的查询集，牺牲其他查询的保真度。这项工作认为，在差分隐私下产生合成数据的方法，并调查是什么使一组查询“容易”或“难以”回答。我们考虑使用矩阵机制回答线性计数查询集，这是一种最近的差分私有机制，可以通过添加适应指定工作负载的复杂相关噪声来减少错误。我们的主要结果是一个新的下限的最小总错误所需的同时释放一组工作量查询的答案。该界限揭示了查询工作负载的硬度与工作负载的谱特性有关，当它以矩阵形式表示时。该界限对于$(ε,δ)$ -差分隐私是最具信息性的，但也适用于$ε$ -差分隐私。
2012-12-17 cs.CR cs.DB
qwLSH: Cache-conscious Indexing for Processing Similarity Search Query Workloads in High-Dimensional Spaces
高维空间中的相似性搜索查询是诸如图像处理、机器学习等许多领域中的一种重要的查询类型。由于精确相似性搜索索引技术在高维空间中遭受众所周知的维数灾难，因此通常使用近似搜索技术来代替。局部敏感散列（LSH）已被证明是一种有效的近似搜索方法，用于解决高维空间中的相似性搜索查询。通常情况下，真实环境中的查询作为查询工作负载的一部分到达。LSH及其变体专门设计用于有效地解决单个查询。它们在执行查询工作负载时有一个主要缺点：在设计索引结构时，它们没有考虑有效利用缓存的重要数据特征。在本文中，我们提出了qwLSH，索引结构，有效地处理相似性搜索查询工作量在高维空间。我们智能地划分一个给定的缓存在处理过程中的查询工作量，通过使用新的成本模型。实验结果表明，给定查询工作量，qwLSH是能够执行速度比现有的技术，由于其独特的成本模型和策略。
2019-07-26 cs.DB
Using Fuzzy Matching of Queries to optimize Database workloads
有向无环图（DAG）通常用于数据库和大数据计算引擎，如Apache Spark，用于表示查询的执行计划。我们将这样的图称为查询定向非循环图（QDAG）。本文使用相似性哈希来得到指纹，使得指纹体现了QDAG查询的计算需求。由此获得的指纹可以用于基于过去执行的具有类似QDAG的查询来预测查询的运行时行为。我们讨论了两种获得指纹的方法，它们的优点和缺点，以及如何将这两种方法的各个方面结合起来以改进预测。使用混合的方法，我们证明，我们能够预测运行时的QDAG的行为超过80%的准确性。
2022-07-14 cs.DB
Low Rank Mechanism for Optimizing Batch Queries under Differential Privacy
差分隐私是敏感数据统计查询处理中一种很有前途的隐私保护方法。它通过向每个查询结果中注入随机噪声来工作，这样对手就很难从发布的噪声结果中推断出任何单独记录的存在或不存在。差异隐私查询处理的主要目标是在满足隐私保证的同时，最大限度地提高查询结果的准确性。以前的工作，特别是\cite{LHR+10}，表明通过适当的策略，整体处理一批相关查询比单独回答它们可以获得更高的准确性。然而，据我们所知，目前还没有实际的解决方案来找到这样一个策略的任意查询批次;现有的方法要么返回质量差的策略（往往比天真的方法）或需要昂贵的计算，即使是中等规模的域。出于这一动机，我们提出了\emph{Low-Rank Mechanism}（LRM），第一个实用的差分私人技术，以高精度回答批量查询，基于工作负载矩阵的\emph{low rank approximation}。我们证明了LRM提供的准确性接近理论下限的任何机制，回答一批查询下差分隐私。使用真实数据进行的大量实验表明，LRM始终优于差分隐私下的最先进的查询处理解决方案，大幅度提高。
2012-12-11 cs.CR cs.DB
Efficient Batch Query Answering Under Differential Privacy
差分隐私是通过随机化查询答案来实现的严格隐私条件。本文提出了一种在差分隐私下的低错误率的多查询应答算法。我们追求这一目标，推进最近的方法称为矩阵机制，它概括了标准的差异私人机制。这种新机制的工作原理是首先回答一组不同的查询（一种策略），然后推断出所需查询工作负载的答案。虽然有一些策略在特定的工作负载上工作得很好，但找到在任意工作负载上最小化错误的策略是棘手的。我们证明了这种机制的最佳误差的一个新的下限，我们提出了一个有效的算法，接近这个界限的工作量范围很广。
2011-03-07 cs.DB
A Data- and Workload-Aware Algorithm for Range Queries Under Differential Privacy
我们描述了一个新的算法，回答一组给定的范围查询$ε$ -差分隐私，往往实现大大低于竞争的方法的错误。我们的算法满足差分隐私通过添加噪声，适应于输入数据和给定的查询集。我们首先私下学习将域划分为适合输入数据的桶。然后，我们私下估计每个桶的计数，这样做的方式非常适合给定的查询集。由于该算法的性能取决于输入数据库，我们评估了广泛的真实数据集，表明我们可以实现的好处，数据依赖于“容易”和“硬”数据库。
2014-10-01 cs.DB
From Randomized Response to Randomized Index: Answering Subset Counting Queries with Local Differential Privacy
针对本地差分隐私中值扰动导致效用下降的问题，提出对值索引随机化的CRIAD方法，用于回答集合值数据上的子集计数查询，通过多虚拟项、多样本和多组策略实现可扩展性，并在准确性和隐私保障上优于现有方法。
2025-04-24 cs.CR cs.DB
LifeRaft: Data-Driven, Batch Processing for the Exploration of Scientific Databases
梳理大量数据的工作负载在科学中越来越重要。这些工作负载由“大海捞针”查询组成，这些查询需要长时间运行且数据密集，因此查询吞吐量限制了性能。为了最大限度地提高数据密集型查询的吞吐量，我们提出了LifeRaft：一个查询处理系统，批量查询重叠的数据需求。LifeRaft不是按照到达顺序来调度查询，而是按照最大化查询之间的数据共享的数据排序来并发地执行查询。这减少了I/O并提高了缓存利用率。但是，这种批处理会使交互式工作负载不足，从而增加查询响应时间。LifeRaft使用受磁盘驱动器中磁头调度启发的技术来解决饥饿问题。根据工作负载饱和度和排队时间，系统自适应地和增量地权衡处理查询的到达顺序和数据驱动的批处理。在天文数据库的SkyQuery联邦中评估LifeRaft，发现查询吞吐量有两倍的提高。
2009-09-09 cs.DB
An Adaptive Mechanism for Accurate Query Answering under Differential Privacy
我们提出了一种新的机制，回答集计数查询下差分隐私。给定计数查询的工作负载，该机制自动选择一组不同的“策略”查询来私下回答，使用这些答案来导出工作负载的答案。本文提出的主要算法近似的线性计数查询的任何工作负载的最优策略。在不增加隐私保证的前提下，该机制在（ε，δ）-差分隐私下，对许多工作负载都能达到接近最优的错误率。其结果是一个自适应的机制，可以帮助用户实现良好的效用，而不需要他们仔细的原因，他们的任务的最佳配方。
2012-02-16 cs.DB
Workload-Aware Materialization of Junction Trees
贝叶斯网络是流行的概率模型，可以捕获一组变量之间的条件依赖关系。贝叶斯网络中的推理是回答数据中变量子集的概率查询的基本任务。然而，贝叶斯网络的精确推理是\NP -困难的，这促使了许多实用的推理方法的发展。在本文中，我们专注于提高性能的连接树算法，一个众所周知的方法，在贝叶斯网络的精确推理。特别是，我们试图利用概率查询的工作负载中的信息，以获得最佳的工作负载感知的物化连接树，其目的是加快推理查询的处理。我们设计了一个最佳的伪多项式算法来解决这个问题，并讨论近似方案。与通过连接树高效处理推理查询的最先进方法相比，我们的方法是第一个利用查询工作负载中提供的信息。我们在几个真实世界的贝叶斯网络上的实验证实了我们的技术在加快查询处理的有效性。
2021-10-07 cs.DB
Privately Answering Queries on Skewed Data via Per Record Differential Privacy
针对偏态数据隐私发布问题，提出每条记录零集中差分隐私（PzCDP）形式化方法及相应机制，通过使隐私损失依赖于记录值，有效克服标准DP在重尾统计发布中的困难。
2024-12-18 cs.CR cs.DB
ALECE: An Attention-based Learned Cardinality Estimator for SPJ Queries on Dynamic Workloads (Extended)
本研究提出 ALECE，一种用于动态工作负载下 SPJ 查询的基于注意力的学习型基数估计器，通过数据编码器和查询分析器模块捕捉查询与数据的隐式关系，使 PostgreSQL 优化器实现接近最优的性能。
2023-10-23 cs.DB
gMark: Schema-Driven Generation of Graphs and Queries
海量图形数据集在当代应用领域中普遍存在。因此，图形数据库系统变得越来越重要。在这些系统的实验研究中，至关重要的是，研究界已经共享的解决方案，用于生成具有可预测和可控属性的数据库实例和查询工作负载。在本文中，我们提出的设计和工程原理gMark，域和查询语言独立的图形实例和查询工作量生成器。gMark的一个核心贡献是它能够定位和控制生成的实例和耦合到这些实例的生成的工作负载的属性的多样性。进一步的创新包括支持常规路径查询，一个基本的图查询范例，和模式驱动的查询选择性估计，控制工作负载瓶颈的关键功能。我们说明了gMark的灵活性和实用性，通过展示框架的能力，在生成高质量的图形和工作负载，以及其编码用户定义的模式在各种应用程序域的能力。
2016-12-06 cs.DB
DeepDB: Learn from Data, not from Queries!
学习DBMS组件的典型方法是通过运行一组有代表性的查询来捕获行为，并使用观察结果来训练机器学习模型。然而，这种工作量驱动的方法有两个主要的缺点。首先，收集训练数据可能非常昂贵，因为所有查询都需要在潜在的大型数据库上执行。其次，当工作量和数据发生变化时，必须重新收集训练数据。为了克服这些限制，我们采取了不同的路线：我们建议学习一个纯数据驱动的模型，可以用于不同的任务，如查询回答或基数估计。这种数据驱动的模型还支持临时查询和数据更新，而不需要在工作负载或数据发生变化时进行全面的重新训练。事实上，人们现在可能会认为这是以较低的准确性为代价的，因为工作负载驱动的模型可以利用更多的信息。然而，事实并非如此。我们的实证评估结果表明，我们的数据驱动的方法不仅提供了更好的准确性比国家的最先进的学习组件，但也更好地推广到看不见的查询。
2019-09-02 cs.DB
Making the Most of Parallel Composition in Differential Privacy
我们表明，“最佳”使用的并行组合定理对应于找到的最大子集的查询，“重叠”的数据域，我们称之为\emph{maximum overlap}的查询量的大小。以前已经表明，这个问题的某个实例，制定在确定查询的敏感性方面，是NP-难的，但也有可能使用图论算法，如找到最大团，近似查询敏感性。在本文中，我们考虑了上述实例的一个重要概括，它包括更广泛的差分私有机制和更广泛的查询类。我们表明，对于一类特定的谓词查询，确定它们是否是不相交的，可以在时间多项式中的属性的数量。对于这个类，我们表明，最大重叠问题仍然是NP难的查询的数量的函数。然而，我们表明，有效的近似解决方案存在的最大重叠的团和色数确定的查询的某个图形。与色数的联系使我们能够使用更有效的近似算法，这对于团数来说是不可能的，因为它可能低估了隐私预算。我们的方法被定义在$f$ -差分隐私，其中包括标准的纯差分隐私和高斯差分隐私的一般设置。证明了$f$ -差分隐私的并行合成定理。我们评估了我们在合成和真实世界查询数据集上的方法。我们表明，该方法可以扩展到大的域大小（高达$10^{20000}$），它的应用程序可以减少噪音添加到查询答案高达60%。
2021-09-19 cs.CR cs.DB
"What makes my queries slow?": Subgroup Discovery for SQL Workload Analysis
Univ Lyon（里昂大学）；INSA Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；Infologic（英孚洛吉克公司）
在数据库管理员（DBA）的日常任务中，分析查询工作负载以识别模式问题并提高性能至关重要。尽管DBA可以轻松地查明导致性能问题的重复查询，但自动识别仅共享某些属性（模式）的查询子集并同时促进某些目标度量（如执行时间）仍然具有挑战性。模式定义在查询子句、环境变量、数据库警报和指标的组合上，并帮助回答诸如是什么使SQL查询变慢之类的问题。是什么让I/O通信变得更高？在一个巨大的搜索空间中自动发现这些模式，并将它们作为假设提供，以帮助定位问题和根本原因，这在可解释的人工智能中非常重要。为了解决这个问题，我们引入了一种基于子组发现的原始方法。我们将展示如何实例化和开发这个通用的数据挖掘框架，以确定SQL工作负载问题的潜在原因。我们相信，这种数据挖掘技术是不平凡的应用数据库管理员。因此，我们还提供了一个可视化工具，交互式知识发现。我们分析了来自我们公司的数百个数据库的一周工作量，提供数据集和源代码，并通过实验证明可以发现有见地的假设。
2021-08-09 cs.AI cs.DB cs.SE
SecSkyline: Fast Privacy-Preserving Skyline Queries over Encrypted Cloud Databases
众所周知的云计算的好处刺激了数据库服务外包的流行，人们可以求助于云来方便地存储和查询数据库。随着这种流行趋势的到来，数据隐私受到了威胁，因为云可以访问可能包含敏感信息（如医疗或金融数据）的数据库和查询。已经提出了大量用于查询加密数据库的工作，其中主要集中在安全关键字搜索上。在本文中，我们而是专注于支持安全的天际线查询处理加密外包数据库，在那里做了很少的工作。天际线查询是一种高级数据库查询，对于多准则决策系统和应用程序非常重要。我们提出了SecSkyline，一个新的系统框架，建立在轻量级密码学的快速隐私保护天际线查询。SecSkyline不仅为外包数据库、查询和结果的内容机密性提供了强有力的保护，而且还为可能导致间接数据泄漏的数据模式提供了强有力的保护，例如数据点之间的支配关系和搜索访问模式。大量的实验表明，SecSkyline是大大优于国家的最先进的查询延迟，高达813 $\times$的改善。
2022-11-03 cs.CR cs.DB
Towards Privacy-Preserving Range Queries with Secure Learned Spatial Index over Encrypted Data
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）；College of Big Data and Information Engineering, Guizhou University（贵州大学大数据与信息工程学院）；College of Big Data Engineering, Kaili University（凯里学院大数据工程学院）；School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）
本文提出了一种基于Secure Learned Spatial Index的隐私保护范围查询方案，通过加密数据域中的高效查询加速和安全计算，实现了强隐私保护和高效率。
2025-12-03 cs.CR cs.DB
ReBound: Reuse-Aware Privacy For Interactive Decision Support
University of California, Irvine（加州大学尔湾分校）；University of Waterloo（滑铁卢大学）
研究交互式决策支持中差分隐私框架独立处理查询的问题，提出ReBound框架，通过重用缓存结果、引入重用框架、缓存图结构及协商机制，降低隐私成本并保证效用。
2026-07-16 cs.CR cs.DB
A Differentially Private Algorithm for Range Queries on Trajectories
我们提出了一种新的算法，以确保$ε$ -差分隐私回答范围查询的轨迹数据。为了保证隐私，差分隐私机制在数据或查询中加入噪声，从而在查询中引入错误，并潜在地降低信息的效用。与最先进的方法相比，我们的方法实现了显着降低的错误，因为它是第一个数据和查询感知的方法，这样的查询。私下回答关于轨迹数据的范围查询的关键挑战是确保准确的计数。简单地将轨迹表示为点的集合而不是点的\emph{sequence}通常将导致高度不准确的查询答案，因为它忽略了轨迹中的位置点的顺序依赖性，即，会破坏弹道数据的一致性此外，轨迹通常不均匀地分布在整个城市中，并且均匀地添加噪声通常会导致较差的效用。为了实现差分隐私，我们的算法自适应地添加噪声的输入数据，根据给定的查询集。它首先将数据空间私有地划分成均匀的区域，并计算每个区域的流量密度。区域和它们的密度，除了给定的查询集，然后被用来估计在查询空间的轨迹的分布，这确保了给定的查询集的高精度。我们展示了我们的算法的准确性和效率，使用广泛的经验评估真实和合成数据集。
2019-07-18 cs.CR cs.DB
Answering Range Queries Under Local Differential Privacy
对具有在指定间隔（即\emph{range query}）内的输入的总体的分数进行计数是基本的数据分析原语。范围查询还可以用于计算其他感兴趣的统计数据，例如\emph{quantiles}，并构建预测模型。然而，当数据来自个人时，通常会受到隐私问题的影响，例如涉及他们的财务，健康，宗教或政治地位。在本文中，我们介绍和分析的方法，以支持范围查询下的本地变量的差分隐私，一个新兴的标准，隐私保护数据分析。本地模型要求每个用户在隐私保证下发布其私人数据的噪声视图。虽然许多作品解决的问题范围查询的可信聚合器设置，这个问题还没有得到解决，特别是在不可信的聚合（本地DP）模型，即使许多原语最近已经开发了估计离散分布。我们描述和分析了两类范围查询的方法，基于层次直方图和Haar小波变换。我们表明，两者都有很强的理论精度保证方差。在实践中，这两种方法都是快速的，并且需要最少的计算和通信资源。我们的实验表明，小波的方法是最准确的高隐私设置，而层次的方法占主导地位的较弱的隐私要求。
2018-12-31 cs.DB
Cache Me If You Can: Accuracy-Aware Inference Engine for Differentially Private Data Exploration
差分隐私（DP）允许数据分析师查询包含用户敏感信息的数据库，同时向用户提供可量化的隐私保证。最近的交互式DP系统，如APEx提供的查询响应的准确性保证，但无法支持大量的查询与有限的总隐私预算，因为他们独立于过去的查询处理传入的查询。我们提出了一个交互式的，准确的DP查询引擎，CacheDP，它利用了过去的响应差分私人缓存，以较低的隐私预算来回答当前的工作量，同时满足严格的准确性保证。我们将复杂的DP机制与我们的结构化缓存，通过新的缓存感知DP成本优化。我们的全面评估表明，CacheDP可以准确地回答各种工作负载序列，同时降低隐私损失相比，相关的工作。
2022-11-28 cs.CR cs.DB
WISK: A Workload-aware Learned Index for Spatial Keyword Queries
University of New South Wales（新南威尔士大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Auckland（奥克兰大学）；The University of Melbourne（墨尔本大学）；Nanyang Technological University（南洋理工大学）
本文提出面向空间关键词查询的学习索引 WISK，通过机器学习分区和强化学习构建层次结构，利用查询工作负载自适应优化索引，在真实数据集上实现最高 8 倍查询加速。
2023-04-14 cs.DB cs.LG
Query2Vec: An Evaluation of NLP Techniques for Generalized Workload Analytics
University of Washington（华盛顿大学）；Snowflake Computing（斯诺flake计算公司）
我们考虑用于学习SQL查询的向量表示以支持广义工作负载分析任务的方法，包括用于索引选择的工作负载汇总和预测将触发内存错误的查询。我们考虑原始SQL文本和优化查询计划的向量表示，并在合成和真实SQL工作负载上评估这些方法。我们发现，基于矢量表示的一般算法可以优于现有的方法，依赖于专门的功能。对于索引推荐，我们对向量表示进行聚类，以压缩大型工作负载，而不会损失推荐索引的性能。对于错误预测，我们训练一个分类器学习向量，可以自动相关的微妙的语法模式与查询执行过程中提出的特定错误。令人惊讶的是，我们还发现这些方法支持迁移学习，其中在一个SQL语料库上训练的模型可以应用于不相关的语料库，并且仍然具有良好的性能。我们发现，这些一般的方法，在一个大型语料库的SQL查询训练，提供了一个强大的基础，各种工作负载分析任务和数据库功能，而不需要特定于应用程序的功能工程。
2018-02-02 cs.CL cs.DB
Interactive Privacy via the Median Mechanism
我们定义了一个新的交互式差分私有机制-中位数机制-回答任意谓词查询到达网上。相对于固定的准确性和隐私约束，该机制可以回答指数更多的查询比以前最知名的交互式隐私机制（拉普拉斯机制，独立地扰动每个查询结果）。我们的保证几乎是最好的，即使是非交互式隐私机制。从概念上讲，中值机制是第一个能够识别和利用交互式设置中查询之间的相关性的隐私机制。我们还给出了一个有效的实现的中位数机制，与运行时间多项式的查询数量，数据库的大小，和域的大小。这种高效的实现保证了所有输入数据库的隐私，以及几乎所有输入数据库的准确查询结果。在这种机制中的查询的数量上的隐私的依赖性，提高了由一个超多项式因子，即使在非交互式设置的最好的先前已知的有效的机制。
2011-01-19 cs.CC cs.CR cs.DB
Accurate and Scalable Matrix Mechanisms via Divide and Conquer
Penn State University（宾夕法尼亚州立大学）；Binghamton University（宾汉姆顿大学）
本文提出QuerySmasher，通过分治策略将复杂查询分解为低维子问题，利用现有矩阵机制高效解答，涵盖所有工作负载并优于现有方法。
2026-04-01 cs.DB cs.LG
Declarative Privacy-Preserving Inference Queries
Arizona State University（亚利桑那州立大学）；Texas A&M University-Central Texas（德克萨斯农工大学中得克萨斯分校）；University of Wisconsin at Madison（威斯康星大学麦迪逊分校）
针对检测个人属性推理查询及隐私保护需大量人力的问题，提出端到端自动化工作流，支持声明式指定保护目标，自动选择隐私方案与超参数，实现隐私保护推理查询自动化。
2025-02-18 cs.AI cs.DB
Sibyl: Forecasting Time-Evolving Query Workloads
University of California San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）；Microsoft Gray Systems Lab（微软格雷系统实验室）；Microsoft（微软公司）；SmartApps（SmartApps公司）
针对真实生产环境中查询工作负载随时间演变导致历史查询失效的问题，提出基于机器学习的端到端框架SIBYL，利用基于模板的特征化和堆叠LSTM编码器-解码器架构准确预测未来查询，并有效处理工作负载漂移，在真实工作负载上取得87.3%中位F1分数及显著性能提升。
2024-01-08 cs.DB cs.LG
Elastic Processing of Analytical Query Workloads on IaaS Clouds
许多现代应用程序需要对大量数据进行分析查询。这样的查询需要连接和大量的聚合，通常包括用户定义函数（UDF）。处理这些特定类型查询的最有效方法是使用树执行计划。在这项工作中，我们开发了一个引擎的分析查询处理和一套专门的技术，共同利用这种计划的树形式。该引擎在弹性IaaS云基础设施中执行这些树计划，并根据在滑动时间窗口内监控的查询工作负载分配和释放相关资源，从而动态适应。该引擎根据与传入查询相关的服务级别协议（SLA）提供收费服务;其云资源管理旨在消除使用这些资源的成本后最大化利润。我们已经完全实现了我们的算法在Exareme的处理系统。我们提出了一个广泛的评估，表明我们的方法是非常有效的（表现出快速的响应时间），弹性（成功地调整它使用的云资源作为引擎不断适应查询工作负载的变化），和有利可图的（非常接近SLA为基础的收入和基于云的费用之间的最大差异）。
2015-01-06 cs.DB cs.DC
Optimizing Relational Queries over Array-Valued Data in Columnar Systems
Univ. Grenoble Alpes, CNRS, Inria（格勒诺布尔阿尔卑斯大学）；Opensee（奥彭西）；Grenoble INP（格勒诺布尔理工学院）
本文提出A3D-RA扩展关系代数，支持数组值属性，并构建了完整的代数推理与优化框架，通过等价保持转换规则和计划枚举策略提升查询性能。
2026-04-02 cs.DB
WawPart: Workload-Aware Partitioning of Knowledge Graphs
University of Georgia（佐治亚大学）
如今，知识图谱形式的大规模数据集经常用于许多领域。知识图谱的大小通常超过单个计算机系统的容量，特别是如果图谱必须存储在主存储器中。为了克服这个问题，知识图谱可以被划分为多个子图，并作为碎片分布在许多计算节点之间。然而，在图上执行的许多常见任务（例如查询）的性能因此受到影响。这是由于图边交叉（切割）分区所要求的分布式连接。在本文中，我们提出了一种知识图谱分区的方法，考虑到一组查询（工作负载）。由此产生的分区旨在减少分布式连接的数量并提高工作负载性能。在查询工作负载和知识图谱中识别的关键特征被用于聚类查询，然后划分图。重新编写图以说明图分区。我们的评估结果表明，工作负载处理时间的性能改善。
2022-03-28 cs.AI cs.DB cs.DC
Low-Rank Mechanism: Optimizing Batch Queries under Differential Privacy
差分隐私是敏感数据统计查询处理中一种很有前途的隐私保护方法。它通过向每个查询结果中注入随机噪声来工作，这样对手就很难从发布的噪声结果中推断出任何单独记录的存在或不存在。差异隐私查询处理的主要目标是在满足隐私保证的同时，最大限度地提高查询结果的准确性。以前的工作，特别是矩阵机制，已经表明，处理一批相关的查询作为一个整体，可以实现相当大的准确性增益相比，单独回答他们。然而，正如我们在本文中指出的，矩阵机制主要是理论上的兴趣，特别是，在其设计中的几个固有的问题限制了其在实践中的准确性，这几乎从来没有超过天真的方法。事实上，我们不知道任何现有的解决方案，可以有效地优化一个查询批次下差分隐私。出于这一动机，我们提出了低秩机制（LRM），第一个实用的差分私人技术，以高精度回答批量查询，基于工作负载矩阵的低秩近似。我们证明了LRM提供的准确性接近理论下限的任何机制，回答一批查询下差分隐私。使用真实数据进行的大量实验表明，LRM始终优于差分隐私下的最先进的查询处理解决方案，大幅度提高。
2012-08-01 cs.DB
Multi-Analyst Differential Privacy for Online Query Answering
大多数差异私有机制都是为单个分析员设计的。然而，在现实中，通常有多个利益相关者，他们的优先级不同，甚至可能相互冲突，他们必须分担相同的隐私损失预算。这激发了多分析者差分隐私的公平共享问题。我们以前的工作定义的desiderata，在这个空间中的任何机制都应该满足和介绍的方法，在离线的情况下，查询是已知的。我们扩展我们以前的工作多分析师差异私人查询回答的情况下，在线查询回答，查询进来一次，必须回答以下查询的知识。我们证明，在网上的情况下，查询的未知顺序的结果在一个基本的限制，可以回答，同时满足desiderata的查询的数量。作为回应，我们开发了两种机制，一种是满足在所有情况下的desiderata，但受到的基本限制，另一种是随机的输入顺序，确保现有的在线查询应答机制可以满足desiderata。
2022-12-19 cs.CR cs.CY cs.DB
Design of Policy-Aware Differentially Private Algorithms
研究了误差最优差分隐私算法的设计问题。将差分隐私应用于现实世界设置的最近工作已经使用了差分隐私的变体，其适当地修改了相邻数据库的概念。为这种差分隐私的变体设计误差最优算法的问题是开放的。在本文中，我们提出了一种新的转换等价的结果，可以把查询回答的问题下差分隐私与修改后的概念的邻居查询回答下标准的差分隐私，一个大类的邻居定义。我们利用Blowfish隐私框架，概括了差分隐私。Blowfish使用{\em policy graph}来实例化相邻数据库的不同概念。我们表明，在回答工作负载$\mathbf{W}$数据库$\mathbf{x}$根据河豚策略图$G$时所产生的错误是相同的，以回答转换工作负载$f_G(\mathbf{W})$数据库$g_G(\mathbf{x})$根据标准差分隐私，其中$f_G$和$g_G$是线性变换的基础上$G$。利用这一结果，我们开发的错误有效的算法释放直方图和多维范围查询不同的河豚政策。我们相信，我们开发的工具将有助于找到机制，以回答许多其他类别的查询，在其他政策图低错误。
2015-11-20 cs.CR cs.DB
PriPL-Tree: Accurate Range Query for Arbitrary Distribution under Local Differential Privacy
针对局部差分隐私下现有范围查询方法假设数据均匀分布导致估计不准的问题，提出结合层次树与分段线性函数的PriPL-Tree结构，并扩展至多维自适应网格，在真实与合成数据集上有效提升了任意分布范围查询的准确性。
2024-08-24 cs.CR cs.DB
The LDBC Social Network Benchmark Interactive workload v2: A transactional graph query benchmark with deep delete operations
本文介绍 LDBC SNB Interactive v2 基准草案，通过引入深度删除、最便宜路径查询、更大数据集支持和稳定路径查询运行时的时间参数筛选算法，更新事务型图数据库评测标准。
2023-08-17 cs.DB
Overlook: Differentially Private Exploratory Visualization for Big Data
提供差分隐私的数据探索系统必须管理隐私预算，以衡量跨多个查询丢失的隐私量。管理隐私预算的一个有效策略是计算数据的一次性私有概要，用户可以对其进行无限次的查询。然而，使用概要的现有系统是为离线用例构建的，其中一组查询是提前已知的，并且系统仔细地为其优化概要。这些系统构建的概要计算成本高，并且存储成本也高。我们介绍了Overlook，这是一个系统，可以在交互式平台上为数据分析师和数据管理员提供私人数据探索。Overlook的关键思想是一个虚拟的概要，可以增量评估，而无需额外的空间存储或昂贵的预先计算。Overlook只是使用现有引擎（如SQL DBMS）执行查询，并在结果中添加噪声。由于Overlook的概要不需要昂贵的预先计算或存储，数据管理员还可以使用Overlook交互式地探索隐私参数的影响。Overlook提供了一个基于开源Hillview系统的丰富的可视化查询界面。Overlook实现了与现有基于概要的系统相当的准确性，同时提供了更好的性能并消除了对额外存储的需求。
2020-06-22 cs.CR cs.DB
Answering Multi-Dimensional Range Queries under Local Differential Privacy
在本文中，我们解决了在本地差分隐私下的多维范围查询的回答问题。有三个关键的技术挑战：捕捉属性之间的相关性，避免维数灾难，并处理大属性域。现有的方法中没有一种能令人满意地处理所有这三个挑战。克服这三个挑战，我们首先提出了一种称为二维网格（TDG）的方法。其主要思想是仔细使用binning划分的二维（2-D）域的所有属性对到2-D网格，可以回答所有的2-D范围查询，然后估计一个更高的维度范围查询的答案从相关的2-D范围查询的答案。然而，为了减少由于噪声的错误，粗粒度需要为每个属性在2-D网格，失去了细粒度的分布信息的个别属性。为了纠正这一缺陷，我们进一步提出了混合维网格（HDG），它还引入了1-D网格来捕获每个属性分布的细粒度信息，并结合1-D和2-D网格的信息来回答范围查询。为了使HDG始终有效，我们提供了一个指导方针，正确选择粒度的网格的基础上分析不同来源的错误是如何影响这些选择。在真实和合成数据集上进行的大量实验表明，HDG可以对现有方法进行显着改进。
2020-09-14 cs.CR cs.DB cs.DS
Optimizing Batch Linear Queries under Exact and Approximate Differential Privacy
差分隐私是敏感数据统计查询处理中一种很有前途的隐私保护方法。它通过向每个查询结果中注入随机噪声来工作，这样对手就很难从发布的噪声结果中推断出任何单独记录的存在或不存在。差异隐私查询处理的主要目标是在满足隐私保证的同时，最大限度地提高查询结果的准确性。以前的工作，特别是\cite{LHR+10}，表明通过适当的策略，整体处理一批相关查询比单独回答它们可以获得更高的准确性。然而，据我们所知，目前还没有实际的解决方案来找到这样一个策略的任意查询批次;现有的方法要么返回质量差的策略（往往比天真的方法）或需要昂贵的计算，即使是中等规模的域。出于这一动机，我们提出了低秩机制（LRM），第一个实用的差分私人技术，以高精度回答批量线性查询。LRM适用于两种精确（即，$ε$ -）和近似（即，（$ε$，$δ$）-）差分隐私定义。我们推导出LRM的效用保证，并提供指导如何设置隐私参数给定用户的效用期望。使用真实数据的大量实验表明，我们提出的方法始终优于国家的最先进的查询处理解决方案下的差分隐私，大幅度。
2015-02-26 cs.DB
Privacy Aspects of Provenance Queries
给定一个大数据库的查询结果，why-provenance可以用来计算这个数据库的必要部分，包括所谓的证人。如果该数据库包含个人数据，则隐私保护必须防止公布这些证人。这意味着在发布原始数据（出处）和保护这些数据（隐私）之间存在自然的利益冲突。在本文中，隐私超越了个人数据保护的概念。本文将隐私权的定义扩展为知识产权保护。如果起源信息不足以重建查询结果，则必须发布诸如证人或起源多项式之类的附加数据以保证可追溯性。然而，如果可以从原始数据库中导出（明显）多于所需的元组，则发布此出处信息可能会成为一个问题。在这一点上，已经有可能违反隐私策略，只要准标识符包含在该出处信息中。通过这张海报，我们指出了根本问题，并讨论了解决方案的初步建议。
2021-01-12 cs.DB
Resource Usage Estimation of Data Stream Processing Workloads in Datacenter Clouds
在可负担得起的虚拟化基础设施资源上的数据流的实时计算是运动处理架构中的重要数据形式。然而，在确保严格保证服务质量的同时处理这样的数据流是有问题的，这是由于：（i）不确定的流到达模式;（ii）需要处理不同类型的连续查询;以及（iii）连续查询的可变资源消耗行为。最近的工作探索了使用统计技术来估计SQL查询和OLTP工作负载的资源。所有这些技术都将每个查询的资源使用量近似为单个点值。然而，在其中数据流无休止地流过算子图并且造成性能和资源需求波动的数据流处理工作负载中，单点资源估计是不充分的。因为它既没有足够的表现力，也没有捕捉目标数据的多模态特性。为此，我们提出了一种新的技术，它使用混合密度网络，神经网络和混合模型的组合结构，估计整个频谱的资源使用概率密度函数。该方法是一种灵活方便的建模未知分布模型的手段。我们已经使用线性道路基准和TPC-H验证了模型，在许多误差指标下观察到高精度：均方误差，连续排名概率得分和负对数预测密度。
2015-01-28 cs.DB
ProBE: Proportioning Privacy Budget for Complex Exploratory Decision Support
针对由多条件聚合统计组合而成的复杂决策支持查询的隐私保护需求，本文提出ProBE隐私预算分配算法，在保障假阴、假阳误差有界的同时最小化隐私损失，经多真实数据集验证有效。
2024-06-21 cs.DB
Optimizing LLM Queries in Relational Data Analytics Workloads
UC Berkeley（加州大学伯克利分校）；Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）
本文针对关系数据分析中LLM推理成本高、速度慢的问题，提出通过重排输入表行与字段以最大化KV缓存复用的优化算法，在Llama 3基准上实现最高3.4倍加速和32%成本节省。
2025-04-09 cs.DB cs.LG
Evaluating LLMs for Text-to-SQL Generation With Complex SQL Workload
Ontario Tech University（安大略理工大学）
本研究比较了TPC-DS、BIRD和Spider三个Text-to-SQL基准的结构复杂性，并利用11个LLMs在TPC-DS上生成SQL查询，发现现有生成式AI模型在复杂决策查询上的准确性不足以实际应用。
2024-07-28 cs.AI cs.DB
Atrapos: Real-time Evaluation of Metapath Query Workloads
Univ. of the Peloponnese（伯罗奔尼撒大学）；IMSI, “Athena” RC（IMSI，雅典研究中心）；Aarhus University（奥胡斯大学）
本文提出ATRAPOS方法，通过稀疏矩阵乘法与基于Overlap Tree的中间结果缓存相结合，实时检测频繁子元路径以复用计算结果，从而加速异构信息网络上的元路径查询工作负载评估。
2023-05-25 cs.DB cs.IR
Query Log Compression for Workload Analytics
分析数据库访问日志是性能调优、入侵检测、基准测试开发和许多其他数据库管理任务的关键部分。不幸的是，生产数据库通常每天要处理数百万甚至更多的查询，因此必须在使用这些日志之前对其进行汇总。设计适当的摘要编码需要在简洁性和信息内容之间进行权衡。例如：简单的工作负载采样可能会错过罕见的，但高影响的查询。在本文中，我们提出了LogR，一个有损日志压缩方案适用于许多自动日志分析工具，以及人为检查。我们形式化和分析的空间/保真度权衡的背景下，更广泛的家庭的“模式”和“模式混合物”的日志编码LogR属于。我们通过一系列实验表明，LogR压缩编码可以有效地创建，其准确性具有可证明的信息理论界限，并且优于最先进的日志摘要策略。
2018-09-29 cs.DB
An index for regular expression queries: Design and implementation
Like正则表达式谓词至少从1989年起就成为SQL标准的一部分。然而，尽管它的流行和广泛的使用，数据库供应商只提供有限的索引支持正则表达式查询，几乎总是需要一个完整的表扫描。在本文中，我们提出了一个严格的和强大的方法，为正则表达式查询提供索引支持。我们的方法包括制定索引问题作为一个组合优化问题。我们从一个数据库开始，它被抽象为字符串的集合。从这个数据集，我们生成一个查询工作负载。优化问题的输入是数据库和工作负载。输出是一组多重字符（子字符串），可以用作满足查询工作负载的记录的键。然后可以将multigram与数据结构（如B+树）集成，为查询提供索引支持。我们提供了一个确定性和随机近似算法（可证明的保证）来解决优化问题。在合成数据集上的大量实验表明，该方法是准确和有效的。我们还提出了一个案例研究的PROSITE模式-这是复杂的正则表达式签名类蛋白质。同样，我们能够证明我们的索引方法在准确性和效率方面的实用性。因此，也许是第一次，有一个强大的和实用的索引机制，为一类重要的数据库查询。
2011-08-15 cs.DB cs.IR
HADAD: A Lightweight Approach for Optimizing Hybrid Complex Analytics Queries (Extended Version)
混合复杂分析工作负载通常包括（i）数据管理任务（连接、选择等），使用基于关系代数（RA）的语言容易地表达，以及（ii）复杂分析任务（回归、矩阵分解等），主要用线性代数（LA）表达式表示。这样的工作负载在许多应用领域都很常见，包括科学计算、Web分析和业务推荐。用于评估混合分析任务的现有解决方案--范围从面向LA的系统到关系系统（扩展为处理LA操作），再到混合系统--或者分别优化数据管理和复杂任务，仅利用RA属性而留下未利用的LA特定的优化机会，或者严重关注物理优化，留下未利用的语义查询优化机会。此外，它们不能利用预先计算（物化）的结果来避免重新计算给定的混合（RA和/或LA）计算（的一部分）。在本文中，我们采取了一个重要的一步，提出HADAD，可扩展的轻量级方法，优化混合复杂的分析查询，基于一个共同的抽象，促进统一推理：一个关系模型赋予完整性约束，以填补这一空白。我们的解决方案可以自然和可移植地应用于纯LA和混合RA-LA平台之上，而无需修改其内部结构。一个广泛的实证评估表明，HADAD产生显着的性能增益不同的工作负载，从LA为中心的混合。
2021-03-23 cs.DB
Guided Automated Learning for query workload re-Optimization
查询优化是数据库系统的一个标志，它使当今应用程序的复杂SQL查询能够有效地运行。当业务查询和模式中的逻辑微妙之处绕过查询优化器时，查询优化器通常无法找到最佳计划。当查询的运行成本超过可行或保证时，通常通过分析查询的执行计划（QEP）与专家协商手动执行性能问题。然而，这是一个非常耗时、易于人为出错且成本高昂的过程。GALO是一个自动化这一过程的新系统。该工具在离线学习阶段自动学习查询计划中重复出现的问题模式，以构建计划重写补救措施的知识库。然后，它使用在线知识库来重新优化排队等待执行的查询，以提高性能，通常是相当大的。GALO的知识库建立在RDF和SPARQL（W3C图形数据库标准）之上，非常适合于操作和查询SQL查询计划，而SQL查询计划本身就是图形。GALO作为查询重写和基于成本的优化之后的第三层重新优化，作为查询计划重写。由于知识库不与所提供的QEP的上下文相关联，因此在重新优化阶段，表和列名会自动匹配。因此，在特定查询工作负载上学习的问题模式可以应用于其他查询工作负载。GALO的知识库也是数据库专家调试查询性能问题的宝贵工具，可以跟踪已知问题和解决方案，并通过开发团队的新调优技术改进优化器。我们证明了我们的技术在合成TPC-DS和真正的IBM客户端查询工作负载的有效性的实验研究。
2019-05-22 cs.DB
Privacy Preserving Moving KNN Queries
我们提出了一种新的方法，保护轨迹隐私的用户访问基于位置的服务，通过移动k最近邻（MkNN）查询。MkNN查询连续返回移动用户（查询点）的k个最近的数据对象。简单地更新用户的不精确位置，如区域，而不是基于位置的服务提供商（LSP）的确切位置，不能确保用户对MkNN查询的隐私：区域的连续披露使LSP能够遵循用户的轨迹。我们确定的轨迹隐私的问题，所产生的连续区域的重叠，同时请求MkNN查询，并提供了这个问题的第一个解决方案。我们的方法允许用户指定的置信水平，代表了多少用户可能需要旅行比实际的第k个最近的数据对象的界限。通过隐藏用户所需的置信度和所需的距离LSP最近的数据对象的数量，我们开发了一种技术，以防止LSP跟踪用户的轨迹MkNN查询。我们提出了一个有效的算法LSP找到k个最近的数据对象的区域与用户指定的置信水平，这是一个重要的组成部分，以评估一个MkNN查询的隐私保护的方式，该算法是至少两倍的速度比国家的最先进的算法。大量的实验研究验证了我们的轨迹隐私保护技术的有效性和我们的算法的效率。
2011-04-14 cs.DB
Optimizing Fitness-For-Use of Differentially Private Linear Queries
在实践中，不同的私有数据发布旨在支持各种应用程序。如果数据发布满足每个应用程序的目标精度要求，则数据发布适合使用。在本文中，我们考虑的问题，回答线性查询下差分隐私每个查询的准确性约束。现有的实际框架，如矩阵机制，不提供这样的细粒度控制（它们优化总错误，这使得一些查询答案比必要的更准确，以其他查询变得不再有用为代价）。因此，我们设计了一个适合使用的策略，增加隐私保护高斯噪声查询答案。噪声的协方差结构进行了优化，以满足细粒度的精度要求，同时最大限度地减少隐私成本。
2021-06-14 cs.DB
APEx: Accuracy-Aware Differentially Private Data Exploration
组织越来越有兴趣允许外部数据科学家探索他们的敏感数据集。由于差分隐私的流行，数据所有者希望数据探索能够确保可证明的隐私保证。然而，当前用于回答具有差分隐私的查询的系统对数据分析师施加了过度的负担，以理解差分隐私、管理他们的隐私预算、甚至实现用于噪声查询回答的新算法。此外，当前的系统不向数据分析师提供关于他们关心的质量的任何保证，即查询答案的准确性。我们提出了APEx，一种新的系统，允许数据分析师提出自适应选择的查询序列以及所需的准确性界限。通过将查询和准确性界限转换为具有最小隐私损失的差异隐私算法，APEx将满足准确性界限的查询答案返回给数据分析师，并向数据所有者证明整个数据探索过程是差异隐私的。我们在真实数据集上的综合实验研究表明，APEx可以准确地回答各种查询，具有中等到小的隐私损失，并且可以在合理的隐私设置下以高精度支持实体解析的数据探索。
2019-05-10 cs.DB
Differential Privacy via Wavelet Transforms
近年来，隐私保护数据发布吸引了相当大的研究兴趣。在现有的解决方案中，{ \em $ε$ -差分隐私}提供了最强的隐私保证之一。然而，实现$ε$ -差分隐私的现有数据发布方法提供很少的数据效用。特别地，如果输出数据集用于回答计数查询，则查询答案中的噪声可能与数据中的元组数量成比例，这使得结果无用。在本文中，我们开发了一种数据发布技术，确保$ε$ -差分隐私，同时为{ \em范围计数查询}提供准确的答案，即，count查询，其中每个属性上的谓词都是范围。我们的解决方案的核心是一个框架，适用于{ \em小波变换}的数据之前，添加noise it. We提出的序数和名义数据的建议框架的实例，我们提供了一个理论分析，他们的隐私和效用的保证。通过对真实数据和合成数据的大量实验研究，我们证明了我们的解决方案的有效性和效率。
2009-09-30 cs.DB
