Mitigating Statistical Bias within Differentially Private Synthetic Data
University of Oxford(牛津大学);University of Warwick(华威大学);Universitat Pompeu Fabra(庞培法布拉大学);University of Kaiserslautern(凯泽斯劳滕大学);German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心)
对隐私保护机器学习的兴趣日益增加,导致了用于从未公开的真实数据生成私有合成数据的新的和进化的方法。然而,隐私保护机制可以显著降低合成数据的效用,这反过来又会影响下游任务,如学习预测模型或推理。我们提出了几个重新加权策略,使用私有化的似然比,不仅减轻下游估计的统计偏差,但也具有普遍适用性的差分私人生成模型。通过大规模的实证评估,我们表明,私人重要性加权提供了简单而有效的隐私兼容的合成数据的一般应用程序的增强。
2022-05-19 cs.CR cs.LG stat.ML
Private Statistical Estimation via Truncation
Yale University(耶鲁大学)
本文提出基于数据截断的差分隐私统计估计框架,为无界支撑下的指数族分布(如高斯均值和协方差)设计高效DP估计器,并通过最大似然与DP随机梯度下降修正截断偏差,实现接近最优的样本复杂度。
2025-11-07 cs.CR cs.DS cs.LG
A Differentially Private Wilcoxon Signed-Rank Test
Reed College(里德学院)
假设检验是数据采掘的重要统计工具,也是许多领域科学研究的主力。在这里,我们提出了一个经典的Wilcoxon符号秩假设检验的差异私人模拟,当比较成对的(例如,前后)数据值。我们不仅提供了检验统计量的私人估计,而且提供了一种准确计算p值和评估统计显著性的方法。我们评估我们的测试模拟和真实数据。与Task和Clifton针对这种情况的唯一现有私人测试相比,我们发现我们的测试需要不到一半的数据才能实现相同的统计功效。
2018-09-05 cs.CR cs.LG stat.ML
Insufficient Statistics Perturbation: Stable Estimators for Private Least Squares
University of Washington(华盛顿大学);Boston University(波士顿大学);Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院);Harvard University(哈佛大学)
提出一种样本和时间高效的差分隐私普通最小二乘算法,其误差线性依赖于维度且独立于条件数,突破了先前算法在样本量、误差或时间上的限制。
2024-04-23 cs.CR cs.LG stat.ML
Privately Estimating Black-Box Statistics
University of Canterbury(坎特伯雷大学);Google DeepMind(谷歌DeepMind)
本文提出一种在黑盒函数上实现差分隐私的方案,平衡统计效率与 oracle 效率,并展示其近最优性。
2026-05-08 cs.CC cs.CR cs.DS
Privately Releasing Conjunctions and the Statistical Query Barrier
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学);Microsoft Research New England(微软研究院新英格兰分部);Harvard University(哈佛大学)
假设我们想知道一组统计查询C的所有答案,对一个数据进行设置,误差很小,但我们只能使用统计查询访问数据本身。一个简单的解决方案是在C中详尽地询问所有查询。我们能做得更好吗?+ 我们表明,这个任务所需的统计查询的数量是-多项式的因素-等于不可知的学习复杂性C在卡恩斯的统计查询(SQ)模型。当运行时间不是问题时,这给出了问题的完整答案。+ 然后,我们表明,这个问题可以有效地解决(允许任意错误的一小部分查询),只要答案C可以描述的子模块功能。这包括许多自然概念类,如图切割和布尔析取和合取。虽然从学习理论的角度来看很有趣,但我们的主要应用是在隐私保护数据分析中:在这里,我们的第二个结果导致了第一个算法,该算法有效地释放了所有布尔合取的差分私有答案,平均误差为1%。这在隐私保护数据分析中的一个关键开放问题上取得了重大进展。另一方面,我们的第一个结果给出了任何差分私有算法的无条件下限,该算法允许仅使用统计查询的(潜在的非隐私保护)实现。不仅我们的算法,而且大多数已知的私人算法可以只使用统计查询来实现,因此受到这些下界的约束。因此,我们的研究结果隔离了不可知学习的复杂性,在SQ模型作为一个新的障碍,在设计的差异私人算法。
2011-10-27 cs.CR cs.DS cs.LG
Resampling methods for private statistical inference
Stanford University(斯坦福大学)
本文提出两种差分隐私下的非参数自助法变体,通过私有计算数据分区上多次小自助法结果的中位数来构建置信区间,在保证与非私有方法相近误差率的同时,使置信区间长度显著缩短。
2024-06-03 cs.CR cs.LG stat.ME
Differentially Private E-Values
FGV EMAp
针对E值可能泄露敏感数据的问题,提出基于有偏乘性噪声机制的通用框架,将非隐私E值转换为保持统计有效性的差分隐私E值,其渐近功效与非隐私版本相当,在多场景实验中验证了有效性与广泛适用性。
2025-10-21 cs.CR cs.LG stat.ME
Differentially Private (Gradient) Expectation Maximization Algorithm with Statistical Guarantees
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Houston(休斯顿大学);Rutgers University(罗格斯大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
(梯度)期望最大化(EM)是一种广泛使用的算法,用于估计混合模型或不完全数据问题的最大似然。这种流行技术面临的一个主要挑战是如何有效地保护敏感数据的隐私。以前对这个问题的研究已经导致发现了一些差分私有(DP)算法(梯度)EM。然而,与非私有情况不同,现有技术尚不能提供有限样本的统计保证。为了解决这个问题,我们在本文中提出的第一个DP版本的(梯度)EM算法的统计保证。此外,我们将我们的一般框架应用于三个典型模型:高斯混合模型(GMM),混合回归模型(MRM)和缺失协变量线性回归(RMC)。具体来说,对于DP模型中的GMM,我们的估计误差在某些情况下接近最优。对于其他两个模型,我们提供了第一个有限样本的统计保证。我们的理论得到了充分的数值实验的支持。
2022-01-16 cs.CR cs.LG stat.ML
Differentially Private Maximal Information Coefficients
Yale University(耶鲁大学);U.S. Naval Research Laboratory(美国海军研究实验室)
最大信息系数(MIC)是一个强大的统计,以确定变量之间的依赖关系。但是,它可能适用于敏感数据,并且发布它可能会泄露私人信息。作为一种解决方案,我们提出的算法,以近似MIC的方式,提供差分隐私。我们表明,自然应用的经典拉普拉斯机制产生的准确性不足。因此,我们引入了MICr统计,这是一个新的MIC近似,是更兼容的差分隐私。我们证明了MICr是MIC的一致估计,并给出了两个不同的私有版本。我们在各种真实和合成数据集上进行了实验。结果表明,私人MICr统计显着优于直接应用拉普拉斯机制。此外,在真实世界数据集上的实验表明,当样本量至少适度大时,精度是可用的。
2022-06-21 cs.CR cs.IT cs.LG
Private Regression via Data-Dependent Sufficient Statistic Perturbation
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出数据依赖的充分统计量扰动方法,用于差分隐私线性回归和逻辑回归,通过后处理私有边际数据提升效用,并建立与合成数据训练的联系。
2024-05-23 cs.LG stat.ML
Improved Differentially Private Analysis of Variance
Reed College(里德学院)
假设检验是最常见的数据分析类型之一,是许多学科科学研究的支柱。方差分析(ANOVA)特别用于检测分类变量和数值变量之间的相关性。在这里,我们将展示如何在差分隐私的限制下进行假设检验。我们发现,$F$ -统计量,在公共设置的最佳测试统计量,不再是最佳的私人设置,我们开发了一个新的测试统计量$F_1$具有更高的统计能力。我们将展示如何严格计算参考分布的$F_1$统计,并给出一个算法,输出准确的$p$值。我们实施我们的测试和实验优化几个参数。然后,我们将我们的测试与之前唯一的关于私人ANOVA测试的工作进行比较,使用与该工作相同的效应量。我们看到了一个数量级的改进,我们的测试只需要7%的数据来检测效果。
2019-03-01 cs.CR cs.LG stat.ML
Hypothesis Testing for Differentially Private Linear Regression
在这项工作中,我们设计了不同的私人假设检验的一般线性模型中的以下问题:测试的线性关系和测试的存在下的混合物。我们的大多数假设检验都是基于一般线性模型框架的$F$ -统计量的差异私有版本,这些版本在非私有设置中是一致最强大的无偏的。我们还提出了针对这些问题的其他测试,其中之一是基于Couch,Kazan,Shi,Bray和Groce(CCS 2019)的差异私有非参数测试,该测试特别适用于小数据集制度。我们发现,差分私人$F$ -统计收敛到其非私人对应的渐近分布。作为推论,差分私有$F$统计量的统计功效收敛于非私有$F$统计量的统计功效。通过一套基于Monte Carlo的实验,我们表明,我们的测试达到所需的显着性水平,并有一个高功率,接近功率的非私人测试,因为我们增加样本量或隐私损失参数。我们还表明,当我们的测试优于文献中现有的方法。
2022-06-29 cs.CR math.ST stat.TH
A New Class of Private Chi-Square Tests
本文提出了一种新的检验统计量用于私人假设检验。这些统计量是专门设计的,以便在考虑了出于隐私考虑而添加的噪声之后,它们的渐近分布与经典(非隐私)χ 2检验的渐近性相匹配,用于检验多项式数据参数是否位于低维流形中(示例包括拟合优度和独立性检验)。从经验上讲,这些新的检验统计量优于先前的工作,后者侧重于现有统计量的噪声版本。
2016-10-24 cs.CR math.ST stat.TH
Differentially Private Testing of Identity and Closeness of Discrete Distributions
Cornell University(康奈尔大学)
研究了差分隐私下$k$元素上分布的一致性检验(拟合优度)和接近性检验(两样本检验)的基本问题。虽然这些问题在统计学上有很长的历史,但这些问题的有限样本范围最近才建立起来。在这项工作中,我们推导出样本上的上限和下限的复杂性的问题下$(\varepsilon, δ)$ -差分隐私。我们提供了最佳的样本复杂度算法的身份测试问题的所有参数范围内,和第一个结果的紧密性测试。我们的紧密度测试的界限是最佳的稀疏制度的样本数量是最多$k$。我们的上界是通过私有化这些问题的非私有估计得到的。非私有估计量被选择为具有小的灵敏度。我们提出了一个一般性的框架,建立下限的样本复杂性的统计任务下差分隐私。我们展示了一个绑定的差异私人算法在两个假设类之间的耦合,我们的目标是测试。通过构建精心选择的先验的假设类,并使用Le Cam的两点定理,我们提供了一个一般的机制证明下界。我们相信,该框架可以用来获得强有力的下限下的隐私下的其他统计任务。
2017-10-31 cs.DS cs.IT cs.LG
Differentially Private Learning of Undirected Graphical Models using Collective Graphical Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Mount Holyoke College(曼荷莲学院);Colgate University(科尔盖特大学)
我们研究的问题,学习离散的,无向的图形模型在一个不同的私人方式。我们表明,使用拉普拉斯机制释放噪声足够的统计数据的方法实现了隐私,实用性和实用性之间的良好权衡。一个朴素的学习算法,使用噪声足够的统计“是”优于通用的差分私人学习算法。然而,它有三个局限性:它忽略了关于数据生成过程的知识,依赖于不确定的理论基础,并表现出一定的病态。我们开发了一种更有原则的方法,应用集体图形模型的形式主义在期望最大化框架内对真正的充分统计数据进行推理。我们表明,这学习更好的模型比竞争的方法在合成数据和真实的人类流动性数据作为案例研究。
2017-06-14 cs.CR cs.LG stat.ML
On Differentially Private U Statistics
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Cambridge(剑桥大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究差分隐私下U统计量的估计问题,提出基于局部Hájek投影的阈值化方法以改进现有私有均值估计算法的次优误差,并在非退化与退化情形下取得近乎最优的私有误差。
2024-07-06 cs.CR cs.LG math.ST
High-Dimensional Differentially-Private EM Algorithm: Methods and Near-Optimal Statistical Guarantees
Rutgers University(罗格斯大学)
在本文中,我们开发了一个通用的框架来设计差分私人期望最大化(EM)算法在高维潜变量模型,基于噪声迭代硬阈值。我们推导出所提出的框架的统计保证,并将其应用到三个特定的模型:高斯混合,混合回归,回归与缺失协变量。在每个模型中,我们建立了接近最优的收敛速度与差分隐私约束,并表明该算法是最小最大率最优的对数因子。开发的技术工具的高维设置,然后扩展到经典的低维潜变量模型,我们提出了一个近速率最优的期望最大化算法在这种设置与差分隐私保证。仿真研究和实际数据分析进行支持我们的结果。
2021-09-09 cs.CR cs.LG math.ST
Differentially Private Variable Selection via the Knockoff Filter
University of Utah(犹他大学)
敲除滤波器是Barber和Candes最近提出的一种有效的变量选择方法,它具有可控的错误发现率。我们提出了一个私人版本的敲除过滤器,通过将高斯和拉普拉斯机制,并表明,变量选择与控制FDR可以实现。仿真表明,我们的设置具有合理的统计功效。
2022-01-31 cs.CR cs.DB cs.IT
Differentially private ratio statistics
Department of Computer Science(计算机科学系);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文针对差分隐私下比率统计量(如相对风险)估计的空白,证明简单算法在小样本下也能保证隐私与准确性,并给出一致估计量及置信区间构建方法。
2025-05-26 cs.LG stat.ML
Refined Differentially Private Linear Regression via Extension of a Free Lunch Result
Indian Institute of Science(印度科学研究院)
本文通过精心设计的多维简单形变换,扩展了自由午餐结果,用于在[0,1]区间内有界变量和函数的差分隐私线性回归,提高了统计量估计的精度。
2026-04-11 cs.IT cs.LG math.IT
Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression
本文揭示私有线性回归的统计复杂度由协方差矩阵的 L1 类似物而非协方差矩阵本身刻画,提出信息加权回归方法达到极小极大最优速率,并应用于私有线性上下文赌博机,证明联合隐私几乎无额外代价。
2025-11-05 cs.AI cs.CR cs.LG
Private Statistical Estimation of Many Quantiles
Univ Lyon(里昂大学);EnsL(里昂高等师范学校);UCBL(克洛德·贝尔纳里昂第一大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LIP(里昂信息学实验室);ENS de Lyon(里昂高等师范学校);UMPA UMR 5669(里昂高等师范学校数学与应用数学联合实验室)
本文研究差分隐私下多个分位数的估计,提出经验分位数估计与密度估计两种方法,并指出在估计多个分位数时密度估计更优。
2023-12-26 cs.LG stat.ML
Statistic Selection and MCMC for Differentially Private Bayesian Estimation
Sabancı University(萨班哲大学)
本文研究了当一个样本的统计量在噪声中被共享以提供差分隐私时,总体分布参数的差分隐私贝叶斯估计。本文主要解决两个问题:(1)样本的哪些统计量应该私下共享?对于第一个问题,即,关于统计量选择的问题,我们提出了利用费舍尔信息的方法。我们发现,在非隐私设置中信息量最大的统计量可能不是隐私限制下的最佳选择。我们提供了几个例子来支持这一点。我们考虑了几种类型的数据共享设置,并提出了几种基于蒙特卡罗的数值估计方法来计算这些设置的费舍尔信息。第二个问题涉及推理:(2)基于共享统计量,我们如何进行有效的贝叶斯推断?我们提出了几个马尔可夫链蒙特卡罗(MCMC)算法的采样从后验分布的参数给定的噪声统计。建议的MCMC算法可以优先于另一个取决于问题。例如,当共享统计是加性的并且添加了高斯噪声时,利用中心极限定理的简单Metropolis-Hasting算法是一个不错的选择。我们提出了更先进的MCMC算法的其他几种情况下的实际相关性。我们的数值示例涉及比较几个要私下共享的候选统计量。对于每个统计量,我们执行贝叶斯估计的基础上的后验分布条件的私有化版本的统计。我们证明,相对性能的统计量,在贝叶斯估计的均方误差的基础上相应的私有化统计量,充分预测私有化统计的费舍尔信息。
2022-03-28 cs.LG stat.CO stat.ME
High-Dimensional Differentially Private Quantile Regression: Distributed Estimation and Statistical Inference
School of Statistics and Data Science, Shanghai University of Finance and Economics(上海金融学院统计与数据科学学院);School of Statistics and Data Science, Southeast University(东南大学统计与数据科学学院);School of Statistics and Data Science, Shanghai University of International Business and Economics(上海国际商务学院统计与数据科学学院)
针对分布式高维数据隐私保护问题,提出基于牛顿变换的差分隐私分位数回归方法,实现近最优统计精度与形式化隐私保障,并构建去偏估计器与高效自助法进行推断。
2026-06-23 cs.LG stat.ML
Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm
Iowa State University(爱荷华州立大学);Rutgers University(罗格斯大学);The University of Hong Kong(香港大学)
本文研究充分降维中的隐私保护问题,提出达到极小极大下界(相差对数因子)的差分隐私切片逆回归算法,并通过模拟和真实数据验证其有效性,同时将结果推广至差分隐私稀疏主成分分析。
2025-04-05 cs.CR cs.LG math.ST
Model-based Differentially Private Data Synthesis and Statistical Inference in Multiply Synthetic Differentially Private Data
我们提出了基于模型的差分私有合成(modips)的方法在贝叶斯框架中释放个人级的代理/合成数据集的隐私保证给定的原始数据。modips技术将差分隐私的概念集成到基于模型的数据合成中。我们介绍了几个变种的一般modips方法和不同的程序来获得隐私保护后验样本,modips的关键步骤。通过发布多个合成数据集,可以解释MODIPS中消毒和合成过程的不确定性,并通过本文提出的推理组合规则进行量化。我们进行了实证研究,研究合成集的数量和隐私预算分配方案对基于合成数据的推断的影响。
2021-04-26 stat.ME
Statistical Inference for Differentially Private Stochastic Gradient Descent
Center for Data Science, Zhejiang University(浙江大学数据科学中心);Department of Statistics, Rutgers University(罗格斯大学统计系);Faculty of Business and Economics, The University of Hong Kong(香港大学商学院)
本文提出了一种在差分隐私随机梯度下降中构建有效置信区间的两种方法,通过分析渐近方差分解,实现了在隐私保护下的统计推断。
2025-12-12 cs.LG stat.ME stat.ML
Leveraging Public Data for Practical Private Query Release
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学);Google Research(谷歌研究院);Northeastern University(东北大学)
在许多统计问题中,合并先验可以显着提高性能。然而,使用先验知识在不同的私人查询发布仍然未被充分探索,尽管这种先验知识通常以公共数据集的形式提供,如以前的美国人口普查发布。为了发布关于私有数据集的统计数据,我们提出了PMW ^Pub,与现有的基线不同,它利用了从相关分布中提取的公共数据作为先验信息。我们提供了一个理论分析和实证评估的美国社区调查(ACS)和ADESTIC数据集,这表明我们的方法优于国家的最先进的方法。此外,PMW ^Pub可以很好地扩展到高维数据域,其中运行许多现有方法在计算上是不可行的。
2021-06-11 cs.CR cs.DS cs.LG
Differentially Private Federated Learning: Servers Trustworthiness, Estimation, and Statistical Inference
Rutgers University(罗格斯大学)
本文研究了差分隐私联邦学习中的高维估计与推断挑战,分别在不可信和可信中央服务器场景下证明了估计困难并提出了针对线性回归的新型联邦估计算法及统计推断方法。
2024-04-25 cs.CR cs.LG math.ST
Better and Simpler Lower Bounds for Differentially Private Statistical Estimation
Massachusetts Institute of Technology(麻省理工学院)
本文针对近似差分隐私下的高维参数估计任务,利用指纹方法和贝叶斯方法,证明了高斯协方差估计和重尾分布均值估计的最优样本下界,改进并简化了先前工作。
2024-01-04 cs.CR cs.DS cs.IT
New Lower Bounds for Private Estimation and a Generalized Fingerprinting Lemma
在$(\varepsilon, δ)$ -差分隐私约束下,证明了统计估计任务的新下界.首先,我们提供了严格的下界私人协方差估计的高斯分布。我们发现,估计的协方差矩阵在Frobenius范数需要$Ω(d^2)$样本,并在频谱范数需要$Ω(d^{3/2})$样本,都匹配上界对数因子。后一个界验证了高斯协方差谱估计的私有和非私有样本复杂度之间存在一个受限制的统计差距。我们证明了这些界限通过我们的主要技术贡献,一个广泛的推广的指纹方法的指数家庭。此外,使用私人Assouad方法的Acharya,孙,张,我们显示了一个紧密的$Ω(d/(α^2 \varepsilon))$下界估计的平均值的分布与有界协方差$α$ -误差在$\ell_2$ -距离。先前已知的所有这些问题的下限要么多项式较弱,或举行更严格的条件下的$(\varepsilon, 0)$ -差分隐私。
2023-03-28 cs.CR cs.DS stat.ML
Differentially Private Weighted Sampling
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);Stanford University(斯坦福大学);Ben-Gurion University(本-古里安大学)
常见的数据集具有带键的元素的形式(例如,交易和产品),目标是对密钥和频率对的聚合形式执行分析。按频率(的函数)加权的键样本是一种高度通用的摘要,它提供了一组稀疏的代表性键,并支持查询统计信息的近似评估。我们提出私人加权抽样(PWS):一种方法,确保元素级别的差分隐私,同时保留,在可能的范围内,一个相应的非私人加权样本的效用。PWS最大限度地提高了键的报告概率和广泛的统计数据族的估计质量。PWS在没有执行采样时,对于私有直方图的经过充分研究的特殊情况,也优于现有技术。我们的经验表明,与以前的基线相比,显着的性能增益:20%-300%的增加,在关键报告常见的Zipfian频率分布和准确性的$\times 2$ - $ 8$较低的频率估计任务。此外,PWS作为一个简单的后处理的非私人样本,而不需要原始数据。这允许与非私有方案的现有实现的无缝集成,并保持为资源受限设置(诸如大规模分布式或流式数据)设计的方案的效率。我们相信,由于实用性和性能,PWS可能会成为一种选择的方法,在应用程序中的隐私是必要的。
2021-03-31 cs.CR cs.DS cs.LG
Differentially Private Estimation via Statistical Depth
U.S. Census Bureau(美国人口普查局)
构造差分私有(DP)估计量需要导出观测的最大影响,这在输入数据或估计量上没有外生边界的情况下可能是困难的,特别是在高维设置中。本文表明,统计深度的标准概念,即,半空间深度和回归深度在这方面是特别有利的,这两个方面都是因为单次观测的最大影响易于分析,并且该值通常较低。这是用来激励新的近似DP的位置和回归估计,使用这两个概念的统计深度的最大化。还提供了近似DP回归估计器的计算效率更高的变体。此外,为了避免要求用户指定估计和/或观察的先验界限,这些DP机制的变体被描述为满足随机差分隐私(RDP),这是Hall,Wasserman和Rinaldo(2013)提供的差分隐私的放松。我们还提供了这里提出的两个DP回归方法的模拟。当样本量至少为100-200或隐私损失预算足够高时,相对于我们在这些模拟中考虑的现有DP回归方法,所提出的估计量似乎表现良好。
2022-07-26 cs.CR cs.LG econ.EM
Oracle-Efficient Differentially Private Learning with Public Data
MIT(麻省理工学院);Boston University(波士顿大学);University of California, Berkeley(加利福尼亚大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出首批计算高效的差分隐私学习算法,通过调用优化预言机利用公共数据,在私有与公共数据分布接近时保证学习,并在凸函数类和二元分类场景下改进了样本复杂度。
2024-02-13 cs.CR cs.LG stat.ML
Private Posterior distributions from Variational approximations
隐私保护机制(如差分隐私)以数据中噪声的形式注入了额外的随机性,超出了采样机制。忽略这些额外的干扰可能会导致不准确和无效的推断。在本文中,我们将隐私机制显式地纳入似然函数,通过处理原始数据作为缺失,最终目标是估计模型参数的后验分布。这导致了使用私有数据执行有效统计推断的原则性方式,然而,相应的可能性是难以处理的。在本文中,我们推导出快速和准确的变分近似,以解决这种棘手的可能性,由于隐私。我们专注于估计朴素贝叶斯对数线性模型参数的后验分布,其中该模型的充分统计量使用差分私有接口共享。使用模拟研究,我们表明,后验近似优于天真的方法,忽略了噪声添加机制。
2015-11-24 cs.CR cs.LG stat.ML
Differentially private inference via noisy optimization
Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学)
该研究提出基于优化的差分隐私M估计计算框架与隐私置信域构建方法,结合稳健统计与噪声优化得到具收敛保证的最优隐私估计量,还构建了隐私渐近方差估计用于参数推断,经偏差校正提升了小样本性能。
2023-12-13 cs.CR cs.LG math.ST
Differentially Private Bayesian Inference for Generalized Linear Models
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
广义线性模型(GLM),如逻辑回归,是数据分析师最广泛使用的工具之一,通常用于敏感数据集。大量的现有工作,调查差分隐私(DP)约束下的GLM只提供私人点估计的回归系数,并不能量化参数的不确定性。在这项工作中,逻辑和泊松回归作为运行的例子,我们介绍了一个通用的噪声感知DP贝叶斯推理方法GLM在手,给出了一个嘈杂的总和的汇总统计量。量化不确定性使我们能够确定哪些回归系数在统计上与零显著不同。我们提供了一个以前未知的严密的隐私分析和实验证明,从我们的模型中获得的后验,同时坚持强隐私保证,接近非私人后验。
2021-05-12 cs.CR cs.LG stat.ML
Differentially Private Nonparametric Hypothesis Testing
假设检验是数据挖掘的重要统计工具,也是许多领域科学研究的主力。在这里,我们研究分类变量和连续变量之间独立性的差异私人测试。我们以传统的非参数检验为起点,它不需要分布假设(例如,正态性(normality)。我们提出了私人类似物的Kruskal-Wallis,Mann-Whitney和Wilcoxon符号秩检验,以及参数单样本t检验。这些测试使用专门为私人设置开发的新颖的检验统计量。我们将我们的测试与先前的工作进行比较,包括参数和非参数测试。我们发现,在所有情况下,我们的新的非参数检验实现了大的改进,在统计功效,即使当参数检验的假设得到满足。
2019-03-22 cs.CR stat.ME
Differentially Private Statistical Inference through $β$-Divergence One Posterior Sampling
Universitat Pompeu Fabra(庞培法布拉大学);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出βD-Bayes方法,通过最小化β-散度的广义后验采样实现差分隐私统计推断,突破了现有方法对模型有界性的强假设限制,首次将后验采样差分隐私估计扩展到神经网络等复杂模型,并在相同隐私保证下获得更精确的估计结果。
2023-10-27 cs.AI cs.CR cs.LG
Differentially Private Synthetic Data with Private Density Estimation
University of Cambridge(剑桥大学)
本文针对敏感数据发布问题,改进 Boedihardjo 等人的优化型差分隐私合成数据算法,以私有分布估计器替代均匀采样,增强离散分布计算保证并扩展至连续分布。
2024-05-06 cs.CR cs.IT cs.LG
Differentially Private Distributed Bayesian Linear Regression with MCMC
Sabancı University(萨班哲大学);University of Amsterdam(阿姆斯特丹大学)
面向多方共享含噪汇总统计量的分布式场景,提出差分隐私 Bayesian 线性回归框架,利用 MCMC 及单轮快速算法实现兼具计算优势、估计与预测性能的隐私推断。
2023-06-07 cs.LG stat.CO stat.ML
Noise-Calibrated Inference from Differentially Private Sufficient Statistics in Exponential Families
Department of Biostatistics, Vanderbilt University Medical Center(生物统计学系,范德比尔特大学医学中心)
本文提出通过发布差分隐私充分统计量并进行噪声校准推断,解决DP数据发布中的校准问题,提供理论支持和实际应用验证。
2026-03-02 cs.LG stat.ML
On Privately Estimating a Single Parameter
Apple(苹果公司);Stanford University(斯坦福大学)
本研究针对大参数模型中的单参数隐私估计问题,基于新型估计量局部稳定性概念提出带隐私证书的高效差分隐私估计器,达到实例最优界,并在模拟与真实普查数据中验证了实用性。
2025-03-21 cs.CR cs.LG math.ST
Protection Against Reconstruction and Its Applications in Private Federated Learning
Apple, Inc.(苹果公司);Stanford University(斯坦福大学)
在大规模统计学习中,数据收集和模型拟合越来越多地转向外围设备-手机,手表,健身追踪器-远离集中的数据收集。伴随着分散数据的增加,维护隐私的挑战越来越大,同时允许足够的信息适合准确,有用的统计模型。这激发了当地的隐私概念-最重要的是,当地差异隐私,它提供了强大的保护,防止敏感数据泄露-在统计人员或学习者甚至可以观察到数据之前,数据就被混淆了,为个人数据提供了强有力的保护。然而,传统上采用的局部隐私可能被证明对于实际使用来说过于严格,特别是在现代高维统计和机器学习问题中。因此,我们重新审视了我们提供保护的披露类型和对手,考虑了先前信息有限的对手,并确保他们很有可能无法在有用的公差内重建个人数据。通过重新定义这些保护,我们允许更有用的数据发布-大的隐私参数在本地差分隐私-我们设计了新的(极大极小)最优本地差分隐私机制的统计学习问题的\emph{all}隐私级别。因此,我们提出了可行的方法来进行大规模的本地私有模型训练,这在以前是不可能的,从理论上和经验上表明,我们可以适应大规模的图像分类和语言模型,而效用几乎没有下降。
2019-06-03 cs.LG stat.ML
Differentially Private Bayesian Inference for Exponential Families
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
私人推理的研究已经引发了对数据分析的日益关注,当它源于敏感的来源。我们提出了第一种方法,私人贝叶斯推断指数家庭,适当占噪声引入的隐私机制。它是有效的,因为它只适用于足够的统计数据,而不是个人数据。与其他方法不同,它在非渐近数据制度中给出了适当校准的后验信念。
2018-10-26 cs.CR cs.LG stat.ML
Generating Private Synthetic Data with Genetic Algorithms
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);University of Minnesota(明尼苏达大学)
针对差分私有合成数据生成中一阶优化仅限可微目标的问题,提出基于零阶启发式的私有遗传算法 Private-GSD,并在 ACS 数据上证明其对不可微统计查询优于现有方法。
2023-06-05 cs.CR cs.LG cs.NE
A Differentially Private Kernel Two-Sample Test
MPI-IS(马克斯·普朗克智能系统研究所);University Of Oxford(牛津大学)
核双样本检验是一种有用的统计工具,可以确定数据样本是否来自不同的分布,而无需对这些分布进行任何参数假设。然而,原始数据样本可能会暴露参与科学研究的个人的敏感信息,这使得当前的测试容易受到隐私泄露的影响。因此,我们设计了一个新的框架,内核的两个样本测试符合差分隐私约束,以保证在数据中的主题的隐私。与现有的差分私有参数测试,简单地添加噪声的数据,基于核的测试施加了一个挑战,由于检验统计量的原始数据的复杂依赖,因为这些统计量对应于估计的距离之间的表示的概率测度在希尔伯特空间。我们的方法考虑有限维近似这些表示。因此,得到一个简单的卡方检验,其中检验统计量取决于样本之间的经验差异的均值和协方差,我们为了隐私保证而对其进行扰动。我们调查我们的框架在两个现实的设置中的效用,并得出结论,我们的方法只需要一个相对温和的增加样本量,以实现类似的水平的权力,在这两种设置中的非私人测试。
2018-08-01 cs.LG stat.ML
Evaluating LLM Simulators as Differentially Private Data Generators
Capital One
研究评估LLM模拟器在生成复杂合成数据中的有效性,发现其在欺诈检测中表现良好但存在分布偏移问题,需解决系统性偏差以提升应用潜力。
2026-04-16 cs.CL cs.CR cs.LG
Private Synthetic Data with Hierarchical Structure
Carnegie Mellon University(卡内基梅隆大学)
我们研究了分层数据集的差异私有合成数据生成问题,其中各个数据点被分组在一起(例如,家里面的人)。特别地,为了测量合成数据集和底层私有数据集之间的相似性,我们在私有查询释放的问题下构建我们的目标,生成保留一些查询集合的答案的合成数据集(即,统计数据,如平均聚集计数)。然而,虽然应用程序的私人合成数据的问题,查询发布已经得到了很好的研究,这种研究仅限于非层次数据域,提出了最初的问题-什么查询是重要的,当考虑这种形式的数据?此外,还没有确定如何在收集此类统计数据的同时生成群体和个人层面的合成数据。鉴于这些挑战,我们首先形式化的分层查询发布的问题,其中的目标是发布一些分层数据集的统计数据的集合。具体来说,我们提供了一套通用的统计查询,捕捉属性之间的关系,在组和个人的水平。随后,我们引入私人合成数据算法的分层查询发布和评估他们的分层数据集来自美国社区调查和阿勒格尼家庭筛选工具的数据。最后,我们期待美国社区调查,其固有的层次结构产生了另一组特定于域的查询,我们运行的实验。
2022-06-13 cs.LG
Differentially Private Range Queries with Correlated Input Perturbation
Rutgers University(罗格斯大学)
本文提出一种利用相关输入扰动的差分隐私范围查询机制,通过级联采样算法实现无偏、一致且统计透明的近最优效用,并有效与其他方法竞争。
2024-11-06 cs.CR cs.LG stat.ME
Noise-Aware Statistical Inference with Differentially Private Synthetic Data
University of Helsinki(赫尔辛基大学);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
虽然在数据隐私社区中,差分隐私(DP)下的合成数据的生成受到了很多关注,但合成数据的分析却少得多。现有的工作表明,简单地分析DP合成数据,就好像它是真实的一样,不会产生有效的人口水平数量的推断。例如,置信区间变得太窄,我们用一个简单的实验来证明。我们解决这个问题,结合合成数据分析技术,从该领域的多重插补(MI),合成数据生成使用噪声感知(NA)贝叶斯建模到一个管道NA+MI,允许计算准确的不确定性估计人口水平的数量从DP合成数据。为了实现NA+MI的离散数据生成使用的边缘查询的值,我们开发了一种新的噪声感知的合成数据生成算法NAPSU-MQ使用最大熵的原则。我们的实验表明,管道是能够产生准确的置信区间DP合成数据。间隔变得更宽,隐私更紧,以准确捕获DP噪声带来的额外不确定性。
2023-02-24 cs.CR cs.LG stat.ML
Statistical Theory of Differentially Private Marginal-based Data Synthesis Algorithms
Tsinghua University(清华大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Pennsylvania(宾夕法尼亚大学);University of California, Los Angeles(加州大学洛杉矶分校)
基于边缘的方法在美国国家标准与技术研究所(NIST)主办的合成数据竞赛中取得了令人满意的性能。为了处理高维数据,合成数据的分布由概率图形模型(例如,贝叶斯网络),而原始数据分布由低维边缘的集合近似。差分隐私(DP)是通过引入随机噪声,每个低维边缘分布保证。尽管其在实践中有前途的性能,基于边缘的方法的统计特性很少在文献中研究。本文从统计学的角度研究了基于贝叶斯网络的DP数据综合算法。我们建立了一个严格的精度保证BN为基础的算法,其中的错误是衡量的总变差(TV)的距离或$L^2$距离。与下游机器学习任务相关,还导出了DP合成数据的效用误差的上限。为了完成这幅图,我们建立了适用于每个$ε$ -DP合成数据生成器的TV精度下限。
2023-01-25 cs.LG stat.ML
Minimax Optimal Procedures for Locally Private Estimation
在一个隐私模型下工作,即使从统计学家那里,数据仍然是私有的,我们研究了隐私保证和由此产生的统计估计的风险之间的权衡。我们开发私人版本的经典信息理论的界限,特别是那些由于乐卡姆,法诺,和Assouad。这些不平等允许一个精确的表征统计率在当地的隐私限制和可证明(极大极小)的最优估计程序的发展。我们提供了几个典型的家庭的问题:均值估计和中位数估计,广义线性模型,和非参数密度估计的治疗。对于所有这些家庭,我们提供的下限和上界,匹配常数因子,并展示新的(最佳)隐私保护机制和计算效率的估计,实现界限。此外,我们提出了各种实验结果的估计问题,涉及敏感数据,包括工资,审查博客文章和文章,药物滥用,这些实验证明了最佳程序的重要性。
2017-11-14 cs.IT math.IT math.ST