Private measurement of nonlinear correlations between data hosted across multiple parties
MIT(麻省理工学院)
我们引入了一种差分私有方法来测量跨两个实体托管的敏感数据之间的非线性相关性。我们提供我们的私人估计器的效用保证。我们的是第一个这样的非线性相关性的私人估计,据我们所知,在多方设置。我们考虑的非线性相关的重要措施是距离相关。除了探索性数据分析外,这项工作还可以直接应用于私人特征筛选,私人独立性测试,私人k样本测试,私人多方因果推理和私人数据合成。代码访问:补充文件中提供了公开访问代码的链接。
2021-11-08 cs.CR cs.LG stat.CO
Differentially private sub-Gaussian location estimators
我们解决的问题,估计一个位置参数差分隐私保证和亚高斯偏差。最近的统计工作集中在研究估计,实现亚高斯型偏差,即使是重尾数据。我们通过差分隐私的镜头重新审视了其中的一些估计,并表明拉普拉斯机制的天真应用可能会导致次优结果。我们设计了两个私人算法估计中位数,导致估计子高斯型错误。与大多数现有的差分私人中位数估计,这两种算法都定义为无界随机变量,甚至不需要有有限的时刻。然后,我们转向亚高斯均值估计的问题,并表明,在重尾自然差分私人替代品导致严格更差的偏差比他们的非私人亚高斯同行。这与最近的结果形成鲜明对比,这些结果表明,从渐近的角度来看,差分隐私的成本可以忽略不计。
2019-06-27 math.ST stat.ML stat.TH
Combining Public and Private Data
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Google Research NYC(谷歌研究院纽约分部)
差分隐私被广泛采用,以提供可证明的隐私保证在数据分析。我们考虑的问题相结合的公共和私人数据(更一般地说,数据与异构的隐私需求)估计汇总统计。我们引入了一个混合估计的均值优化,以最小化方差。我们认为,我们的机制是更可取的技术,保护个人的隐私,通过子采样数据成比例的用户的隐私需求。同样,我们提出了一个混合中位数估计指数机制的基础上。我们将我们的机制与Jorgensen et al. [2015]中提出的方法进行了比较。我们的实验提供了经验证据,表明我们的机制往往优于基线方法。
2021-10-29 cs.CR cs.LG stat.ML
Analyzing the Differentially Private Theil-Sen Estimator for Simple Linear Regression
针对简单线性回归,本文对基于稳健统计的差分隐私算法 DPTheilSen 给出隐私与准确性的有限样本理论分析、超参数指导及配套置信区间构造方法。
2024-03-11 cs.CR stat.AP
A Knowledge Transfer Framework for Differentially Private Sparse Learning
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了在保持每个训练样本隐私的同时估计具有底层稀疏结构的高维模型的问题。我们开发了一个差分私有的高维稀疏学习框架,利用知识转移的思想。更具体地说,我们建议从一个私人数据集上训练的“教师”估计器中提取知识,通过从辅助特征创建一个新的数据集,然后使用这个新的数据集训练一个差分私人“学生”估计器。此外,我们建立了线性收敛速度以及效用保证我们提出的方法。对于稀疏线性回归和稀疏逻辑斯谛回归,与最佳已知结果相比,我们的方法实现了改进的效用保证(Kifer等人,2012; Wang和Gu,2019)。我们进一步证明了我们的框架的优越性,通过合成和真实世界的数据实验。
2019-09-13 cs.CR cs.LG stat.ML
From Robustness to Privacy and Back
Khoury College of Computer Science, Northeastern University(东北大学库利计算机学院);Apple(苹果公司)
我们研究了统计推断和机器学习中两个必要的算法之间的关系:差分隐私和对抗性数据损坏的鲁棒性。它们的概念相似性首先由Dwork和Lei(STOC 2009)观察到,他们观察到私有算法满足鲁棒性,并给出了将鲁棒算法转换为私有算法的一般方法。然而,所有用于将鲁棒算法转换为私有算法的一般方法都导致次优的出错率。我们的工作给出了第一个黑盒变换,将任何对抗性强的算法转换为满足纯差分隐私的算法。此外,我们表明,对于任何低维估计任务,将我们的变换应用于最佳鲁棒估计器会产生最佳私人估计器。因此,我们得出结论,对于任何低维任务,$\varepsilon$ -差分私有估计器的最优出错率基本上与对对抗性破坏$1/\varepsilon$训练样本具有鲁棒性的估计器的最优出错率相同。我们应用我们的变换来获得几个高维任务的新的最佳私人估计,包括高斯(稀疏)线性回归和PCA。最后,我们提出了一个扩展我们的转换,导致近似差分隐私算法的误差不依赖于输出空间的范围,这是不可能的纯差分隐私。
2023-02-03 cs.LG stat.ML
Differentially Private Survival Function Estimation
Simon Fraser University(西蒙弗雷泽大学)
生存函数估计在许多学科中使用,但在医学分析中最常见的是Kaplan-Meier估计量的形式。敏感数据(患者记录)用于估计,而对信息泄露没有任何明确的控制,这是一个重大的隐私问题。我们提出了第一个差分私人估计的生存函数,并表明它可以很容易地扩展到提供差分私人置信区间和测试统计量,而无需花费任何额外的隐私预算。我们进一步提供了扩展的差分私人估计的竞争风险的累积发病率函数,纳尔逊-Aalen的估计的危险函数等,使用11个现实生活中的临床数据集,我们提供的经验证据表明,我们提出的方法提供了良好的实用性,同时提供强大的隐私保证。
2020-01-14 cs.LG stat.ME stat.ML
A Differentially Private Kaplan-Meier Estimator for Privacy-Preserving Survival Analysis
Cancer Registry of Norway(挪威癌症登记处);Norwegian Institute of Public Health(挪威公共卫生研究院);University of Southern California(南加州大学);The Arctic University of Norway(挪威北极大学)
针对生存分析中Kaplan-Meier估计器应用于敏感数据的隐私泄露问题,提出结合时间索引拉普拉斯噪声、动态裁剪和平滑的差分隐私算法,在NCCTG数据集上验证了其在隐私保护下的高准确性与抗攻击能力。
2024-12-06 cs.CR cs.LG
On Privately Estimating a Single Parameter
Apple(苹果公司);Stanford University(斯坦福大学)
本研究针对大参数模型中的单参数隐私估计问题,基于新型估计量局部稳定性概念提出带隐私证书的高效差分隐私估计器,达到实例最优界,并在模拟与真实普查数据中验证了实用性。
2025-03-21 cs.CR cs.LG math.ST
Improved subsample-and-aggregate via the private modified winsorized mean
本文提出私有修正缩尾均值作为子样本聚合的聚合器,证明其在对抗污染下具有极小极大最优性,并推导出有限样本偏差界,揭示子样本最优选择与估计器偏差及鲁棒性的关系。
2025-05-08 cs.LG stat.ME
Private Minimum Hellinger Distance Estimation via Hellinger Distance Differential Privacy
George Mason University(乔治梅森大学)
本文提出满足Hellinger差分隐私约束的最小Hellinger距离估计器,保持了鲁棒性和效率,同时开发了差分隐私梯度下降和牛顿-拉夫森算法,并通过数值实验验证了其在数据污染下的鲁棒性。
2026-11-03 cs.CR math.PR math.ST
Locally Private Estimation with Public Features
School of Statistics, Renmin University of China(中国人民大学统计学院);Center for Applied Statistics, School of Statistics, Renmin University of China(中国人民大学统计学院应用统计中心)
该研究开启含公共特征的局部差分隐私学习研究,定义半特征LDP场景,提出HistOfTree估计器,理论达极小极大最优收敛率,实证在合成与真实数据上表现更优,显著降低非参数回归的极小极大收敛率。
2025-02-11 cs.CR cs.LG stat.ML
Differentially Private Estimation via Statistical Depth
U.S. Census Bureau(美国人口普查局)
构造差分私有(DP)估计量需要导出观测的最大影响,这在输入数据或估计量上没有外生边界的情况下可能是困难的,特别是在高维设置中。本文表明,统计深度的标准概念,即,半空间深度和回归深度在这方面是特别有利的,这两个方面都是因为单次观测的最大影响易于分析,并且该值通常较低。这是用来激励新的近似DP的位置和回归估计,使用这两个概念的统计深度的最大化。还提供了近似DP回归估计器的计算效率更高的变体。此外,为了避免要求用户指定估计和/或观察的先验界限,这些DP机制的变体被描述为满足随机差分隐私(RDP),这是Hall,Wasserman和Rinaldo(2013)提供的差分隐私的放松。我们还提供了这里提出的两个DP回归方法的模拟。当样本量至少为100-200或隐私损失预算足够高时,相对于我们在这些模拟中考虑的现有DP回归方法,所提出的估计量似乎表现良好。
2022-07-26 cs.CR cs.LG econ.EM
Near-Optimal Private Tests for Simple and MLR Hypotheses
Department of Statistics, Purdue University West Lafayette(统计学系,普渡大学西拉法叶分校);Department of Statistics, University of Pittsburgh(统计学系,匹兹堡大学)
本文在高斯差分隐私框架下,针对单调似然比条件下的简单、单侧和双侧假设检验,提出了一种基于数据驱动截断边界的私有均值估计器,并构造了私有检验统计量,实现了与非参数最有效检验相同的渐近相对效率,同时保守控制第一类错误。
2026-05-30 cs.LG stat.ML
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics(哥伦比亚大学统计系);ENSAE ParisTech, Department of Statistics(巴黎高等经济商业学院统计系)
基于Dwork和Lei(2009)提出的“建议、检验、发布”(PTR)机制,我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制,使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据,而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据,并提供了第一个亚高斯高概率界差分私人中位数和均值估计,可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Differentially Private Estimation of Heterogeneous Causal Effects
Stanford University(斯坦福大学);Microsoft Research(微软研究院);U.S. Bureau of Economic Analysis(美国经济分析局)
在医疗保健或社会科学等领域估计异质处理效应通常涉及敏感数据,其中保护隐私是重要的。我们介绍了一个通用的元算法估计条件平均处理效应(CATE)与差分隐私(DP)的保证。我们的元算法可以使用简单的单阶段CATE估计器(如S-学习器)和更复杂的多阶段估计器(如DR和R-学习器)。我们利用元算法中的样本分割和差分隐私的并行组合特性进行严格的隐私分析。在本文中,我们实现了我们的方法使用DP-EBM作为基础学习者。DP-EBM是可解释的,具有隐私保证的高精度模型,这使我们能够直接观察DP噪声对学习的因果模型的影响。我们的实验表明,多阶段CATE估计比单阶段CATE或ATE估计产生更大的准确性损失,大部分的差异隐私的准确性损失是由于方差的增加,而不是有偏估计的处理效应。
2022-02-22 cs.CR cs.LG econ.EM
One-Shot Private Confidence Regions via Resampling
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Cambridge(剑桥大学)
我们提出一次性重采样框架,仅对最终分位数加噪实现差分隐私置信区域,避免√B因子,提供GDP与效用保证,适用于均值类、分位数及退化U统计量,显著降低隐私与计算成本。
2026-10-09 cs.CR stat.ML
Universal Private Estimators
本文提出在纯差分隐私下适用于任意未知连续分布的均值、方差和尺度通用估计器,移除了先验有界假设,在特定分布族上匹配或改进现有专门估计器,并开发了无界整数域上的实例最优经验估计器作为核心技术工具。
2023-04-01 cs.CR cs.DS math.ST
Computationally tractable robust differentially private mean estimation
Department of Mathematics and Statistics(数学与统计学系)
提出一种名为“气球均值”的新差分隐私均值估计器,通过扩展马氏距离球上的迭代裁剪实现计算可处理性、鲁棒性及零集中差分隐私,理论保证在重尾和污染椭圆模型下的统计性能与鲁棒性。
2026-08-18 cs.LG stat.ME stat.ML
Differentially Private Medians and Interior Points for Non-Pathological Data
Northeastern University(东北大学);Boston University(波士顿大学);Google(谷歌)
本文构建了低样本复杂度的差分隐私估计器,用于估计满足极弱矩条件的任意分布的中位数,反驳了Bun等人关于不存在有限样本复杂度非平凡中位数近似估计器的负面结论。
2023-05-22 cs.DS cs.LG
Mitigating Statistical Bias within Differentially Private Synthetic Data
University of Oxford(牛津大学);University of Warwick(华威大学);Universitat Pompeu Fabra(庞培法布拉大学);University of Kaiserslautern(凯泽斯劳滕大学);German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心)
对隐私保护机器学习的兴趣日益增加,导致了用于从未公开的真实数据生成私有合成数据的新的和进化的方法。然而,隐私保护机制可以显著降低合成数据的效用,这反过来又会影响下游任务,如学习预测模型或推理。我们提出了几个重新加权策略,使用私有化的似然比,不仅减轻下游估计的统计偏差,但也具有普遍适用性的差分私人生成模型。通过大规模的实证评估,我们表明,私人重要性加权提供了简单而有效的隐私兼容的合成数据的一般应用程序的增强。
2022-05-19 cs.CR cs.LG stat.ML
Instance-Optimality for Private KL Distribution Estimation
National University of Singapore(新加坡国立大学);Apple(苹果公司)
研究离散分布的私有 KL 散度估计问题,提出基于 Good-Turing 估计器变体的实例最优算法,并证明其上下界,克服了极小极大最优方法在非最坏实例上性能不佳的缺陷。
2025-05-29 cs.LG stat.ML
Differentially Private Covariate Balancing Causal Inference
Yale School of Public Health(耶鲁公共卫生学院);University of Pittsburgh(匹兹堡大学)
本文针对隐私敏感场景下观测数据因果推断中协变量平衡与隐私保护难以兼顾的问题,提出一种差分隐私两阶段协变量平衡加权估计量,在给定隐私预算下同时提供具有一致性和速率最优性保证的点估计与区间估计。
2026-10-30 cs.CR cs.LG stat.ME
Differentially Private Nonparametric Confidence Intervals Under Minimal Distributional Assumptions
School of Computer Science and Engineering(计算机科学与工程学院)
本文提出一种通用框架,将满足轻微条件的差分隐私估计器转换为任意目标量的差分隐私非参数置信区间,通过重复子采样、应用私有估计器并后处理经验CDF,证明其渐近有效性,并在非光滑函数和复杂分布上表现更优。
2026-05-13 cs.CR cs.LG
Optimal Locally Private Nonparametric Classification with Public Data
School of Statistics(统计学院);Renmin University of China(中国人民大学);Center for Applied Statistics(应用统计中心)
研究公开数据辅助的局部差分隐私非参数分类问题,提出局部差分隐私分类树方法,首次推导出极小极大最优收敛速率,并通过数据驱动剪枝避免参数调优,实验证明公开数据优于私有数据。
2024-06-02 cs.CR cs.LG stat.ML
Differentially Private Database Release via Kernel Mean Embeddings
我们为新的数据库发布机制奠定了理论基础,这些机制允许第三方构建人口统计的相合估计量,同时确保为数据库做出贡献的每个人的隐私受到保护。拟议的框架基于两个主要想法。首先,释放生成随机变量的数据的核均值嵌入(的估计),而不是数据库本身,仍然允许第三方构建广泛类别的人口统计的相合估计量。其次,该算法可以满足差分隐私的定义,通过基于完全合成的数据点的释放核均值嵌入,同时通过再生核希尔伯特空间中可用的度量来控制精度。我们描述了两个实例的建议框架,适合在不同的情况下,并证明理论结果保证差分隐私的算法和一致性的估计从他们的输出构建。
2018-05-31 stat.ML
CoinPress: Practical Private Mean and Covariance Estimation
University of Waterloo(滑铁卢大学);Microsoft(微软);Northeastern University(东北大学)
CoinPress提出了一种在小样本下具有高准确性的差分隐私均值和协方差估计方法,通过理论和实证验证,优于现有方法。
2026-02-09 cs.CR cs.DS cs.IT
Differentially Private Simple Linear Regression
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Boston University(波士顿大学);Northeastern University(东北大学)
经济学和社会科学研究通常需要细粒度地分析敏感个人信息的数据集,模型适合数据的小子集。不幸的是,这种细粒度的分析很容易泄露敏感的个人信息。我们研究简单的线性回归算法,满足差分隐私,一个约束,保证算法的输出几乎没有透露任何个人的输入数据记录,即使是攻击者与任意侧信息的数据集。我们考虑设计的差异隐私算法的简单线性回归的小数据集,数十至数百个数据点,这是一个特别具有挑战性的制度差分隐私。专注于一个特定的应用程序在经济学研究中的小区域分析,我们研究了一系列的算法,我们适应的设置的性能。我们确定了影响其性能的关键因素,通过一系列实验表明,基于鲁棒估计器的算法(特别是Theil-Sen估计器)在最小的数据集上表现良好,但随着数据集大小的增加,其他更标准的算法表现更好。
2020-07-10 cs.CR cs.LG stat.ME
A Fast Algorithm for Adaptive Private Mean Estimation
Stanford University(斯坦福大学)
我们设计了一个$(\varepsilon, δ)$ -差分私有算法来估计$d$ -变量分布的均值,协方差未知$Σ$,自适应于$Σ$。在多对数因子内,估计器相对于诱导的Mahalanobis范数$||\cdot||_Σ$实现最优收敛速率,需要时间$\tilde{O}(n d^2)$来计算,对于亚高斯分布具有接近线性的样本复杂度,允许$Σ$退化或低秩,并且自适应地扩展到亚高斯之外。在此之前的工作,其他方法需要指数计算时间或超线性缩放$n = Ω(d^{3/2})$,以实现非平凡的误差相对于规范$||\cdot||_Σ$。
2023-01-17 cs.CR cs.DS cs.LG
Boosting Model Performance through Differentially Private Model Aggregation
Bluecore Inc.(蓝核公司);Google Brain(谷歌大脑);Georgian Partners(格鲁吉亚合伙人公司);Borealis AI(极光人工智能公司)
开发高性能机器学习模型的一个关键因素是足够大的数据集的可用性。这项工作的动机是软件即服务(SaaS)公司中出现的应用程序,其中存在来自多个客户公司的许多类似但不相交的数据集。为了克服由于隐私问题而没有明确聚合客户端数据集的数据不足的挑战,一种解决方案是为每个单独的客户端收集更多数据,另一种是从每个客户端的数据上训练的模型中私下聚合信息。在这项工作中,提出了两种私有模型聚合的方法,使知识从现有的模型训练其他公司的数据集转移到一个新的公司有限的标记数据,同时保护每个客户公司的底层个人敏感信息。提出的两种方法是基于最先进的私人学习算法:差分私人置换为基础的随机梯度下降和近似最小扰动。我们的经验表明,通过利用不同的私有技术,我们可以实现私有模型聚合和增强数据效用,同时提供可证明的数学隐私保证。因此,所提出的方法为SaaS公司及其客户提供了显着的商业价值,特别是作为冷启动问题的解决方案。
2018-12-04 cs.LG stat.ML
Logistic Regression Model for Differentially-Private Matrix Masked Data
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院);Department of Mathematics, Northeastern University(东北大学数学系);Health Informatics Institute University of South Florida(南佛罗里达大学健康信息学研究所)
本文提出了一种在差分隐私矩阵掩码数据下有效进行逻辑回归统计分析的方法,通过理论分析和实验验证其有效性。
2026-02-23 stat.ME
Differentially Private Learning of Hawkes Processes
J.P. Morgan AI Research(摩根大通人工智能研究院)
Hawkes过程在事件序列数据建模中的多功能性最近得到了机器学习社区越来越多的关注。虽然它们的历史可以追溯到几十年前,但它们的一些属性,例如学习参数和发布差异隐私版本的样本复杂性,尚未得到彻底分析。本文研究了具有背景强度$μ$和激发函数$αe^{-βt}$的标准Hawkes过程.我们提供了非私人和差分私人估计的$μ$和$α$,并获得样本的复杂性结果,在这两种设置,以量化隐私的成本。我们的分析利用了Hawkes过程的强混合性质和弱相依随机变量的经典中心极限定理结果。我们在合成和真实数据集上验证了我们的理论研究结果。
2022-07-27 cs.LG stat.ML
Learning Privacy Preserving Encodings through Adversarial Training
University of Florida(佛罗里达大学);Washington University in St. Louis(圣路易斯华盛顿大学)
我们提出了一个框架来学习隐私保护编码的图像,抑制推理选择的私人属性,同时允许恢复其他所需的信息。我们的目标不是简单地抑制给定的固定预训练估计器,而是即使知道编码函数,估计器也无法学习准确预测私有属性。我们使用一种基于自然对抗优化的公式来实现这一点--针对私有属性的分类器训练编码函数,两者都建模为深度神经网络。我们工作的关键贡献是一种稳定和收敛的优化方法,该方法成功地学习了具有我们所需属性的编码器-保持实用性,同时抑制私有属性的推断,不仅在对抗优化中,而且在编码器固定后训练的分类器。我们采用了严格的实验协议进行验证,其中分类器进行了详尽的训练,直到饱和的固定编码器。我们评估了我们的方法在现实世界的复杂性任务--学习高维编码,抑制检测不同的场景类别-并发现它产生的编码器,在维护隐私的弹性。
2018-12-04 cs.CR cs.CV cs.LG
Instance-Optimal Differentially Private Estimation
Apple, Inc.(苹果公司);Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们研究了局部极小极大收敛估计率受$ε$ -差分隐私。与最坏情况下的利率,这可能是保守的,算法是局部极小极大最优必须适应简单的问题。本文构造了单参数指数族的局部极小极大差分私有估计,并对分布的尾率进行了估计。在这些情况下,我们证明了用于简单假设检验的最优算法,即Canonne等人(2019)最近的最优私有检验器,直接告知局部极小极大估计算法的设计。
2022-10-28 cs.CR cs.LG math.ST
Parametric Bootstrap for Differentially Private Confidence Intervals
本文的目的是发展一个实用的和通用的方法来构建差异私人参数估计的置信区间。我们发现,参数自助法是一个简单而有效的解决方案。它清楚地推理了数据样本和随机隐私机制的可变性,并将“开箱即用”应用于广泛的私人估计例程。它还可以帮助校正由限幅数据引起的偏差,以限制灵敏度。我们证明了参数自举在两个广泛相关的设置中给出了一致的置信区间,包括对线性回归的新适应,避免了多次访问协变量数据。我们证明了它的有效性,各种估计,并发现它提供了良好的覆盖范围,即使在适度的样本量的置信区间,比其他方法更好地执行。
2021-10-12 cs.LG stat.ML
Dimension-free Private Mean Estimation for Anisotropic Distributions
Tel Aviv University(特拉维夫大学);University of California Berkeley(加州大学伯克利分校)
针对高维私有均值估计的维度灾难问题,提出适用于各向异性次高斯分布的无维度差分隐私均值估计器,证明其样本复杂度最优,并优化了协方差未知场景的维度依赖度。
2024-11-01 cs.LG stat.ML
Weighted directed networks with a differentially private bi-degree sequence
$p_0$模型是一个以二度序列作为唯一充分统计量的有向网络的指数随机图模型。它抓住了网络的度异质性特征。证明了私有$p_0$模型参数的差分私有估计的相合性和渐近正态性。然而,$p_0$模型仅关注二进制边缘。在许多现实网络中,边可以加权,取一组有限的离散值。本文进一步证明了加权$p_0$模型中基于差分私有二度序列的参数矩估计是相合的且渐近正态的。数值研究证实了我们的理论发现。
2020-03-21 math.ST stat.TH
Inference using noisy degrees: Differentially private $β$-model and synthetic graphs
随机图的$β$ -模型是以度序列作为充分统计量的指数族模型。在本文中,我们贡献了三个关键结果。首先,我们的特点的条件,导致二次时间算法来检查存在的MLE的$β$模型,并表明,MLE从来没有存在的度分区$β$模型。其次,基于网络数据的隐私问题,我们推导了$β$模型参数的差分隐私估计,并证明了它是相容的和渐近正态分布的--它达到了与非隐私估计相同的收敛速度。我们提出了一个有效的算法的私人估计,可用于释放合成图。我们的技术也可以用来释放度分布和度分区准确和私人,并执行从噪声度产生的上下文而不是隐私的推断。我们评估建议的估计真实的图,并将其与目前的算法释放度分布,发现它做得更好。最后,我们的论文解决了目前的方法的一个基本问题,如何执行有效的统计推断隐私机制发布的数据的缺点,并奠定了基础,如何实现最佳和私人的统计推断的原则性方式建模的隐私机制,这些原则应适用于一类模型超出了$β$模型。
2016-01-12 cs.DS stat.ME
Debiasing Functions of Private Statistics in Postprocessing
Harvard University(哈佛大学);U.S. Census Bureau(美国人口普查局);USC Dornsife Center for Economic and Social Research(南加州大学多尔菲经济与社会研究中心)
本文提出通过后处理获得私有统计量函数无偏估计的方法,利用反卷积方法推导出无偏估计器,并在不同隐私机制中展示其优越性。
2025-04-29 cs.CR stat.ME
Differentially Private Maximal Information Coefficients
Yale University(耶鲁大学);U.S. Naval Research Laboratory(美国海军研究实验室)
最大信息系数(MIC)是一个强大的统计,以确定变量之间的依赖关系。但是,它可能适用于敏感数据,并且发布它可能会泄露私人信息。作为一种解决方案,我们提出的算法,以近似MIC的方式,提供差分隐私。我们表明,自然应用的经典拉普拉斯机制产生的准确性不足。因此,我们引入了MICr统计,这是一个新的MIC近似,是更兼容的差分隐私。我们证明了MICr是MIC的一致估计,并给出了两个不同的私有版本。我们在各种真实和合成数据集上进行了实验。结果表明,私人MICr统计显着优于直接应用拉普拉斯机制。此外,在真实世界数据集上的实验表明,当样本量至少适度大时,精度是可用的。
2022-06-21 cs.CR cs.IT cs.LG
Optimal Guarantees for Auditing Rényi Differentially Private Machine Learning
Massachusetts Institute of Technology(麻省理工学院);Stony Brook University(石溪大学)
本文研究了声称具有Rényi差分隐私(RDP)保证的机器学习算法的黑盒审计问题,提出了一种基于假设检验的审计框架,利用Donsker-Varadhan(DV)变分估计器直接估计相邻执行之间的Rényi散度,并通过类受限DV估计器得出非渐近的置信区间,证明了样本复杂度保证在信息论上最优,首次建立了通过DV估计器审计RDP的最优保证。
2026-05-21 cs.CR cs.IT cs.LG
Efficient Propose-Test-Release for Optimal Differentially Private Estimation
提出高效提议-测试-发布(ePTR)流程,通过用户设计的安全下界测试数据集,基于局部灵敏度概率性发布估计量,实现简单且最优的差分隐私估计。
2026-07-01 stat.ME
Revisiting Differentially Private Hyper-parameter Tuning
KAUST(卡斯土尼亚大学);University of Virginia(弗吉尼亚大学)
针对超参数调优中隐私影响未被充分理解的问题,本文通过审计发现现有私有选择的理论隐私界限在白盒调优场景下不紧致,进而基于调优独特属性提出了适用性更广的改进隐私结果。
2025-08-25 cs.CR cs.LG
Near-Optimal differentially private low-rank trace regression with guaranteed private initialization
Hong Kong University of Science and Technology(香港科技大学)
本文研究高斯迹回归下的差分隐私低秩矩阵估计,提出高效的私有初始化算法与基于黎曼优化的DP-RGrad算法,在较弱的差分隐私概念下实现了近最优收敛速率。
2024-03-24 cs.CR cs.LG stat.ML
On Differentially Private U Statistics
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Cambridge(剑桥大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究差分隐私下U统计量的估计问题,提出基于局部Hájek投影的阈值化方法以改进现有私有均值估计算法的次优误差,并在非退化与退化情形下取得近乎最优的私有误差。
2024-07-06 cs.CR cs.LG math.ST
Differentially Private Synthetic Data with Private Density Estimation
University of Cambridge(剑桥大学)
本文针对敏感数据发布问题,改进 Boedihardjo 等人的优化型差分隐私合成数据算法,以私有分布估计器替代均匀采样,增强离散分布计算保证并扩展至连续分布。
2024-05-06 cs.CR cs.IT cs.LG
Tight Differentially Private PCA via Matrix Coherence
Bocconi University(博科尼大学);Lucerne School of Computer Science and Information Technology(卢塞恩计算机科学与信息科技学校)
我们重新审视的任务,计算跨度的顶部$r$奇异向量$u_1, \ldots, u_r$的矩阵下差分隐私。我们表明,一个简单而有效的算法-基于奇异值分解和标准的扰动机制-返回一个私人的秩$r$近似,其误差仅取决于\emph{rank-$r$ coherence}的$u_1, \ldots, u_r$和频谱间隙$σ_r - σ_{r+1}$。这解决了Hardt和Roth~ \cite{hardt2013beyond}提出的一个问题。我们的估计器优于最先进的技术-在某些情况下显着。特别是,我们表明,在密集的设置,它实现了相同的保证单尖峰PCA的Wishart模型中的最佳非私人算法所达到的,而以前的私人算法未能做到这一点。此外,我们证明了(秩- $r$)相干性不增加高斯扰动下。这意味着任何基于高斯机制的估计器-包括我们的估计器-都保持了输入的一致性。我们推测,类似的行为适用于其他结构化模型,包括种植的问题图。我们还探讨了应用程序的连贯性图的问题。特别是,我们提出了一个差分隐私算法的最大切割和其他约束满足问题下的低一致性假设。
2025-10-30 cs.DS cs.LG
Differentially Private Nonparametric Modal Learning with Applications to Regression and Clustering
The Ohio State University(俄亥俄州立大学)
该研究提出差分隐私非参数模态学习方法DP-GRAMS,实现多峰分布密度模态的高概率恢复,扩展出DP-PMS回归与DP-GRAMS-C聚类方法,在合成及真实数据上展现良好隐私-效用权衡。
2026-08-03 cs.LG math.ST stat.ME
Differentially private projection-depth-based medians
本文基于提议-测试-发布和指数机制开发了差分隐私的投影深度中位数,证明了其在污染数据下的稳健性,并分析了高斯与柯西设置下的隐私代价与偏差界。
2024-07-23 cs.CR cs.LG math.ST
Differentially Private Inference for Longitudinal Linear Regression
Columbia University(哥伦比亚大学)
本文提出了一种基于聚合本地回归的用户级差分隐私回归估计器,解决了纵向线性回归中用户级差分隐私下的估计与推断问题,提供了理论保证和实证性能。
2026-01-15 cs.CR math.ST stat.ME
Differentially Private High-dimensional Variable Selection via Integer Programming
Operations Research Center(运筹优化中心);MIT(麻省理工学院);Sloan School of Management(斯隆管理学院)
本文提出两种基于整数规划的纯差分隐私稀疏变量选择方法,利用结构化采样高效探索非凸目标,在支持恢复上优于现有算法,适用于高维回归与分类。
2025-10-24 cs.CR cs.LG stat.ML
Asymptotically optimal private estimation under mean square loss
University of Maryland(马里兰大学)
本文研究了局部差分隐私约束下支持度为$k$的离散分布的极大极小估计问题。私有化方案独立地应用于每个原始样本,并且我们需要从私有化样本估计原始样本的分布。正数$ε$度量私有化方案的隐私级别。在我们以前的工作(arXiv:1702.00610),我们提出了一个家庭的新的私有化计划和相应的估计。我们还证明了在$\ell_2^2$和$\ell_1$损失下,我们的方案和估计器在$e^ε \ll k$机制中是阶最优的。换句话说,对于大量的样本样本个数,我们的方案的最坏情况下的估计损失被证明与最佳值相差最多一个常数因子。在本文中,我们消除了这个差距,所提出的计划和估计下的$\ell_2^2$(均方)损失的渐近最优性。更准确地说,我们表明,对于任何$k$和$ε,$的最坏情况下的估计损失之间的比率,我们的计划和最佳值接近$1$的样本个数趋于无穷大。
2017-07-31 cs.IT cs.LG math.IT
Statistical Limits and Efficient Algorithms for Differentially Private Federated Learning
Department of Statistics(统计系)
本文研究了差分隐私联邦学习中估计精度、隐私约束和通信成本之间的权衡,提出了FedHybrid和FedNewton两种高效算法,通过减少通信成本提升准确性,并建立了均方误差的上界和下界以评估算法性能。
2026-05-18 cs.AI cs.LG stat.ME
DP-FedAdamW: An Efficient Optimizer for Differentially Private Federated Large Models
School of Cyber Engineering, Xidian University(西安电子科技大学电子信息学院);College of Intelligence and Computing, Tianjin University(天津大学智能科学与计算学院)
本文提出DP-FedAdamW,一种针对差分隐私联邦学习的AdamW优化器,通过稳定二阶矩方差、消除DP偏差和对齐局部更新以缓解客户端漂移,提升了收敛效率和鲁棒性。
2026-02-23 cs.AI cs.LG