PrivTree: A Differentially Private Algorithm for Hierarchical Decompositions
给定一个定义在域Omega上的元组集合D,我们研究了差分私有算法,用于构造Omega上的直方图来近似D中的元组分布。针对该问题的现有解决方案大多采用分层分解方法,该方法递归地将Omega划分为子域,并为每个子域计算噪声元组计数,直到所有噪声计数低于某个阈值。然而,这种方法要求我们(i)在Ω的分裂中对递归深度施加限制h,以及(ii)将每个计数中的噪声设置为与h成比例。由于以下困境,这导致较差的数据效用:如果我们使用小的h,则所得直方图将过于粗粒度,无法提供数据分布的准确近似;同时,大的h将产生细粒度直方图,但其质量将因元组计数中增加的噪声量而严重降低。为了弥补现有解决方案的不足,我们提出了PrivTree,一种直方图构造算法,它也适用于分层分解,但具有关键(有点令人惊讶)的改进:当决定是否拆分子域时,相应元组计数所需的噪声量与递归深度无关。这使得PrivTree能够自适应地生成高质量的直方图,甚至不需要预先定义子域分割深度的阈值。作为具体的例子,我们展示了PrivTree在空间数据建模中的应用,并表明它也可以扩展到处理序列数据(其中子域分裂的决定不是基于元组计数,而是一个更复杂的措施)。我们在各种真实数据集上的实验表明,PrivTree在数据效用方面显着优于现有技术。
2016-01-15 cs.DB
Exact Privacy Analysis of the Gaussian Sparse Histogram Mechanism
稀疏直方图方法可用于返回大型或无限直方图中的项的差异私有计数、大型group-by查询,以及更一般地,释放具有足够项计数的统计信息集。我们考虑高斯版本的稀疏直方图机制和研究的确切$ε,δ$差分隐私保证满足此机制。我们将这些精确的$ε,δ$参数与先前工作中使用的简单高估参数进行比较,以量化其较宽松的隐私边界的影响。
2022-02-02 cs.CR cs.DB
TraHist: Fast and Accurate Cardinality Estimation for Trajectory Data (Extended Version)
Korea University(高丽大学);Curtin University(科廷大学)
针对轨迹数据基数估计中传统直方图因未考虑时空依赖导致高估的问题,提出TraHist方法,构建密度自适应矩形桶,大幅降低估计误差,同时保持高效查询与构建性能。
2026-10-16 cs.DB
Differentially Private Grids for Geospatial Data
在本文中,我们解决的问题,构建一个差异化的私人概要的二维数据集,如地理空间数据集。当前最先进的方法通过执行数据域的递归二进制分区并构造分区的层次结构来工作。我们发现,基于分区的概要方法的关键挑战在于选择正确的分区粒度来平衡噪声误差和非均匀性误差。我们研究了均匀网格的方法,它适用于一个等宽度的网格上的数据域的一定大小,然后在网格单元上发出独立的计数查询。这种方法在文献中没有得到关注,可能是因为没有好的方法来选择网格大小是已知的。在分析这两种误差的基础上,提出了一种选择网格尺寸的方法。实验结果验证了我们的方法,并表明,这种方法执行以及,往往倍优于,国家的最先进的方法。我们进一步介绍了一种新的自适应网格方法。自适应网格方法在数据集上放置粗粒度网格,然后根据其噪声计数进一步划分每个单元。然后,这两个级别的分区都用于回答对数据集的查询。该方法利用了在密集区域上具有更细粒度分区的需要,并且同时在稀疏区域上具有粗分区。通过对真实世界数据集的大量实验,我们表明这种方法始终显着优于均匀网格方法和其他最先进的方法。
2012-09-06 cs.CR cs.DB
Partitioning Clustering algorithms for handling numerical and categorical data: a review
聚类分析在生物学、心理学、经济学等领域有着广泛的应用。大多数传统的聚类算法仅限于处理包含数值或分类属性的数据集。然而,在实际的数据采掘应用中,具有混合类型属性的数据集是常见的。在本文中,我们回顾了基于划分的算法,如K-原型,K-原型的扩展,K-直方图,模糊方法,遗传方法等。这些算法的工程数值和分类数据。混合数据的处理方法是基于四种不同的感知:1)将数据集分成两部分,每一部分包含数值型数据或类别型数据,然后对每一部分分别应用聚类算法,最后将两种聚类算法的结果合并; 2)将类别型属性转化为数值型属性,应用数值型属性聚类算法; iii)区分数值属性并应用基于类别的聚类算法; iv)将类别属性转换为二进制属性并应用任何基于数值的聚类算法
2019-07-02 cs.DB
HDPView: Differentially Private Materialized View for Exploring High Dimensional Relational Data
我们如何在保护隐私的同时探索高维敏感关系数据的未知属性?研究了在差分隐私下如何构造可探索的隐私保护物化视图。没有现有的最先进的方法同时满足数据探索中的以下基本属性:工作负载独立性、分析可靠性(即,为每个搜索查询提供误差界限)、对高维数据的适用性以及空间效率。为了解决上述问题,我们提出了HDPView,它通过在原始数据立方体上设计良好的递归二分划分来创建差异私有物化视图,即,计数张量。我们的方法搜索块划分,以尽量减少计数查询的错误,除了随机收敛,通过选择有效的切割点在一个不同的私人的方式,从而减少噪音和紧凑的视图。此外,我们确保形式的隐私保证和分析的可靠性,通过提供错误界的任意计数查询的物化视图。HDPView具有以下理想的属性:(a)独立性,(b)分析可靠性,(c)对高维数据的抗噪性,(d)空间效率。为了证明上述属性和数据探索的适用性,我们在八个真实数据集上进行了八种类型的范围计数查询的广泛实验。HDPView在这些评估中优于最先进的方法。
2022-05-26 cs.CR cs.DB
Differentially-Private Publication of Origin-Destination Matrices with Intermediate Stops
传统的起点-目的地(OD)矩阵记录了成对的起点和终点位置之间的行程计数,并已广泛用于交通运输、交通规划等。最近,由于COVID-19大流行病传播建模等用例场景,记录个人路径上的中间点而不仅仅是行程起点和终点变得越来越重要。这可以通过在所需粒度级别的数据空间分区上使用多维频率矩阵来实现。然而,严重的隐私限制时,释放OD矩阵数据,特别是当添加多个中间点,这使得个人轨迹更容易区分的攻击者。为了解决这一威胁,我们提出了一种隐私保护的多维OD矩阵,实现差分隐私(DP),在私人数据发布的事实标准的发布技术。我们提出了一个家庭的方法,因素在重要的数据属性,如数据密度和同质性,以建立OD矩阵,提供可证明的保护保证,同时保持查询的准确性。在真实和合成数据集上的大量实验表明,所提出的方法明显优于现有的最先进的方法。
2022-02-24 cs.DB
PE-means: Improved Differentially Private $k$-means Clustering through Private Evolution
University of Waterloo(滑铁卢大学);Microsoft Research(微软研究院)
针对欧几里得空间中差分隐私 $k$-均值聚类问题,提出PE-means算法,利用私有进化方法仅计算恒定敏感度的私有直方图,在聚类损失上平均比现有最优基线提升20%。
2026-07-03 cs.CR cs.DB cs.LG
Bounded Space Differentially Private Quantiles
估计大数据集的分位数是流算法文献和差分隐私文献中的基本问题。然而,所有现有的用于分布无关分位数计算的私有机制都需要输入大小$n$中至少线性的空间。在这项工作中,我们设计了一个差分隐私算法的分位数估计问题,具有强次线性空间复杂度,在一次和连续观察设置。我们的基本机制估计任何$α$ -近似分位数的长度$n$流在数据宇宙$\mathcal{X}$概率$1-β$使用$O\left( \frac{\log (|\mathcal{X}|/β) \log (αεn)}{αε} \right)$空间,同时满足$ε$ -差分隐私在一个单一的时间点。我们的方法建立在确定性流算法的非私人分位数估计实例化的指数机制,使用的效用函数定义的草图项目,而(私人)从定义的间隔采样的草图。我们还提出了另一种算法的基础上直方图,特别适合于多个分位数的情况下。我们实现了我们的算法,并在合成和真实世界的数据集上进行了实验评估。
2022-01-10 cs.CR cs.DB cs.DS
Differentially Private Stream Processing at Scale
该研究提出首个大规模差分隐私流聚合系统DP-SQLP,在算法与系统层面实现创新,经实验误差较基准降低至少16倍,已应用于Google Shopping与Google Trends。
2024-07-12 cs.CR cs.DB
Design of Policy-Aware Differentially Private Algorithms
研究了误差最优差分隐私算法的设计问题。将差分隐私应用于现实世界设置的最近工作已经使用了差分隐私的变体,其适当地修改了相邻数据库的概念。为这种差分隐私的变体设计误差最优算法的问题是开放的。在本文中,我们提出了一种新的转换等价的结果,可以把查询回答的问题下差分隐私与修改后的概念的邻居查询回答下标准的差分隐私,一个大类的邻居定义。我们利用Blowfish隐私框架,概括了差分隐私。Blowfish使用{\em policy graph}来实例化相邻数据库的不同概念。我们表明,在回答工作负载$\mathbf{W}$数据库$\mathbf{x}$根据河豚策略图$G$时所产生的错误是相同的,以回答转换工作负载$f_G(\mathbf{W})$数据库$g_G(\mathbf{x})$根据标准差分隐私,其中$f_G$和$g_G$是线性变换的基础上$G$。利用这一结果,我们开发的错误有效的算法释放直方图和多维范围查询不同的河豚政策。我们相信,我们开发的工具将有助于找到机制,以回答许多其他类别的查询,在其他政策图低错误。
2015-11-20 cs.CR cs.DB
Differentially Private Non Parametric Copulas: Generating synthetic data with non parametric copulas under privacy guarantees
School of Applied Sciences and Engineering, Universidad EAFIT(应用科学与工程学院,埃法特大学);Digital Health and Biomedical Technologies, Vicomtech Foundation, Basque Research and Technology Alliance (BRTA)(数字健康与生物医学技术,维科姆科技基金会,巴斯克研究与技术联盟(BRTA));eHealth Group, Biogipuzkoa Health Research Institute(eHealth组,比戈普西亚健康研究 institutes)
本文提出基于非参数Copula的差分隐私合成数据生成模型DPNPC,通过增强傅里叶扰动方法在混合表格数据库中保护隐私,实验表明其在多变量依赖建模、小$ε$值隐私保护和训练时间上优于其他模型。
2024-09-27 cs.DB cs.LG
Blowfish Privacy: Tuning Privacy-Utility Trade-offs using Policies
隐私权定义提供了一些方法,可以在统计数据库中权衡个人隐私权,以利于下游数据分析。在本文中,我们提出了Blowfish,一类隐私定义的启发河豚框架,提供了一个丰富的接口,这种权衡。特别是,我们允许数据发布者使用策略来扩展差分隐私,该策略指定(a)秘密或必须保密的信息,以及(b)可能知道的关于数据的约束。虽然秘密规范允许通过减少对某些个体属性的保护来增加效用,但约束规范提供了针对知道数据中的相关性(由约束引起)的对手的额外保护。我们形式化的政策,并提出新的算法,可以处理一般规格的敏感信息和某些计数约束。我们表明,有合理的政策下,我们的隐私机制的k-均值聚类,直方图和范围查询引入显着较少的噪音比他们的差异私人同行。我们在真实数据集上通过分析和经验量化了各种政策的隐私-效用权衡。
2014-06-23 cs.DB
Using Positional Sequence Patterns to Estimate the Selectivity of SQL LIKE Queries
随着基于文本的数据量的急剧增加,这些数据通常包含拼写错误和其他错误,使用灵活的搜索模式查询这些数据变得越来越普遍。关系数据库支持LIKE运算符以允许用特定的LIKE谓词(例如,LIKE 'Sub %',匹配所有以'Sub'开头的字符串)。由于文本数据的大小很大,以最佳方式执行此类查询对于数据库性能非常关键。在为LIKE查询构建最有效的执行计划时,查询优化器需要对灵活的基于模式的查询谓词进行选择性估计。最近,SPH算法提出了一种基于序列模式的直方图结构来估计LIKE查询的选择性。SPH方法的一个缺点是它经常高估查询的选择性。为了缓解高估问题,在本文中,我们提出了一种新的序列模式类型,称为位置序列模式。所提出的模式之间的序列项目对,出现在所有的模式出现彼此相邻的那些可能有其他项目之间的区别。此外,在直方图构建过程中,我们采用了基于模式信息量的冗余模式消除。最后,我们提出了一个基于分区的匹配方案在选择性估计。在DBLP数据集上的实验结果表明,该方法在出错率方面比现有方法提高了20%左右。
2020-02-04 cs.DB cs.DS
Privacy-Preserving Synthetic Location Data in the Real World
共享敏感数据对于实现许多现代数据分析和机器学习任务至关重要。然而,当前的数据发布方法不够准确或粒度,无法提供有意义的效用,并且它们具有去匿名化或成员推断攻击的高风险。在本文中,我们提出了一个不同的私人合成数据生成解决方案,重点是引人注目的域的位置数据。我们提出了两种具有很高实用价值的方法,用于从真实位置生成合成位置数据,这两种方法都保护了原始数据集中每个个体的存在和真实位置。我们的第一个,分区为基础的方法引入了一种新的方法,私人生成点数据使用核密度估计,除了采用私人适应的经典统计技术,如聚类,私人分区。我们的第二个,基于网络的方法结合了公共地理信息,如城市的道路网络,以约束合成数据点的边界,从而提高合成数据的准确性。这两种方法都满足了差分隐私的要求,同时还能够准确地生成旨在保留真实位置分布的合成数据。我们使用三个大规模的位置数据集进行实验,以表明所提出的解决方案生成的合成位置数据具有较高的实用性和较强的相似性,以真实的数据集。我们突出了我们的工作的一些实际应用,通过将我们的合成数据应用到一系列的位置分析查询,我们证明了我们的合成数据产生几乎相同的答案相同的查询相比,当使用真实的数据。我们的研究结果表明,所提出的方法是实用的解决方案,共享和分析敏感的位置数据的私人。
2021-08-04 cs.CR cs.DB
RSATree: Distribution-Aware Data Representation of Large-Scale Tabular Datasets for Flexible Visual Query
分析人员通常会调查由图表(如直方图和分箱散点图)表示的数据统计聚合中得出的数据分布,以可视化和分析大规模数据集。聚合查询是通过这样一个过程隐式执行的。数据集总是非常大;因此,应该通过计算预定义的数据立方体来加快响应时间。但是,查询仅限于预处理数据立方体的预定义装箱模式。这种局限性阻碍了分析人员灵活调整视觉规格以有效地研究数据中的隐含模式。特别是,RSATree使任意查询和灵活的装箱策略,利用三个方案,即,基于R树的空间划分方案,以捕捉数据分布,局部敏感的哈希技术,以实现局部保持随机访问数据项,和一个汇总区域表方案,以支持交互式查询的聚合值与线性计算复杂性。本文提出并实现了一个基于Web的可视化查询系统,该系统支持对大规模表格数据的可视化描述、查询和探索,粒度可由用户调整。我们证明了我们的方法的效率和实用性,通过在真实世界的数据集上进行各种实验,并分析时间和空间复杂度。
2019-10-11 cs.DB cs.HC