Optimal Rates for Pure {\varepsilon}-Differentially Private Stochastic Convex Optimization with Heavy Tails
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文研究在纯ε差分隐私下具有重尾梯度的随机凸优化问题,通过假设k阶矩有界而非梯度 Lipschitz 参数有界,推导出最优的过失界速率,并提出在多项式时间内以高概率达到该速率的算法。
2026-04-07 cs.CR cs.LG stat.ML
Differentially Private Continual Release of Graph Statistics
出于了解敏感的社交网络随着时间的推移的动态,我们考虑的问题,不断发布的统计数据在网络上到达,同时保护其参与者的隐私。对于我们的隐私概念,我们使用差分隐私--统计数据分析的隐私黄金标准。这个问题的主要挑战是保持良好的隐私-效用权衡;跨时间组合的幼稚解决方案以及适合表格数据的解决方案要么导致效用差,要么不直接适用。在这项工作中,我们表明,如果在整个网络序列中任何节点的最大度上存在一个公开的上限,那么我们可以连续发布许多常见的图统计数据,如度分布和子图计数,并具有更好的隐私准确性权衡。代码可在https://bitbucket.org/shs037/graphprivacycode获得
2018-09-19 cs.CR cs.DS
Privately Estimating Monotone Statistics in Polynomial Time
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Boston University(波士顿大学);MIT Mathematics(麻省理工学院数学系);University of Copenhagen(哥本哈根大学)
针对单调统计量的差分隐私估计,提出一种改进的子采样-聚合算法,在样本复杂度上节省因子t,运行时间增加因子e^t,并证明其最优性。
2026-05-28 cs.CR cs.DS cs.LG
Private Convex Optimization in General Norms
Microsoft Research(微软研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
我们提出了一个新的框架,差分私人优化的凸函数是Lipschitz在任意范数$\|\cdot\|$。我们的算法是基于一个正则化的指数机制,从密度$\propto \exp(-k(F+μr))$的样本,其中$F$是经验损失和$r$是一个正则化强凸相对于$\|\cdot\|$,推广最近的工作[Gopi,李,刘'22]非欧几里德设置。我们表明,该机制满足高斯差分隐私,并解决了DP-ERM(经验风险最小化)和DP-SCO(随机凸优化)通过使用凸几何的本地化工具。我们的框架是第一个适用于私人凸优化一般赋范空间,并直接恢复非私人SCO率实现镜像下降的隐私参数$ε\to \infty$。作为应用,对于所有$p \in (1, 2)$的$\ell_p$范数中的Lipschitz优化,我们获得了第一个最优的隐私-效用权衡;对于$p = 1$,我们通过至少一个对数因子改进了最近的作品[Asi,Feldman,Koren,Talwar '21,Basily,Guzman,Nandi '21]获得的权衡。我们的$\ell_p$规范和Schatten- $p$规范优化框架补充了多项式时间采样器,其查询复杂性,我们显式绑定。
2022-11-10 cs.CR cs.LG math.OC
Private Federated Statistics in an Interactive Setting
私下学习设备上的事件的统计可以实现改进的用户体验。不同的私人算法,这样的问题,可以大大受益于交互性。我们认为,聚合协议可以使一个交互式的私人联合统计系统,用户的设备保持控制的隐私保证。我们描述了这样一个系统的体系结构,并分析其安全特性。
2022-11-18 cs.CR
Private Stochastic Convex Optimization with Optimal Rates
The Ohio State University(俄亥俄州立大学);Google Research(谷歌研究院);University of California Santa Cruz(加州大学圣克鲁兹分校)
研究了随机凸优化问题的差分隐私算法。在这个问题中,目标是近似最小化给定i.i.d.的种群损失。样本来自凸函数和Lipschitz损失函数上的分布。现有的一长串关于私有凸优化的工作集中在经验损失上,并推导出超额经验损失的渐近紧界。然而,一个显着的差距存在于已知的人口损失的界限。我们发现,对数因子,DP算法的最佳过剩人口损失等于较大的最佳非私人过剩人口损失,和DP算法的最佳过剩经验损失。这意味着,相反的直觉基于私营企业风险管理,私营SCO有渐近相同的$1/\sqrt{n}$率为非私营SCO的参数制度中最常见的实践。此设置中的最佳先前结果给出$1/n^{1/4}$的速率。我们的方法建立在现有的差分隐私算法,并依赖于算法的稳定性分析,以确保泛化。
2019-08-27 cs.CR cs.DS cs.LG
Time-Aware Projections: Truly Node-Private Graph Statistics under Continual Observation
Boston University(波士顿大学)
本文提出首批在持续发布设置下满足节点差分隐私的算法,通过设计基于时间感知的图流投影技术,在满足可私有测试安全条件时实现稳定投影,从而在稀疏图上以最优误差解决边、三角形等基本图统计问题。
2025-11-05 cs.CR cs.DS
Optimal Private Median Estimation under Minimal Distributional Assumptions
我们研究的基本任务,估计从有限的样本个数的潜在分布的中位数,在纯差分隐私约束。我们专注于满足最小假设的分布,即它们在中位数周围的一个小邻域内具有正密度。特别地,允许分布输出无界值,并且不需要具有有限矩。我们计算精确的,高达常数项,统计估计率的中位数提供接近紧的上限和下界。此外,我们设计了一个多项式时间的差分隐私算法,可证明达到最佳的性能。在技术层面上,我们的研究结果利用Lipschitz扩展引理,使我们能够设计和分析差分私有算法,仅在适当定义的“典型”样本的情况下。
2020-11-12 cs.CR cs.DS math.PR
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo(滑铁卢大学);Meta;Cornell University(康奈尔大学)
研究了在差分隐私(DP)约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反,介绍了王,肖,Devadas,徐\cite{WangXDX20},我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上,我们推导出新的算法私人均值估计的重尾分布,在纯和集中DP。最后,我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界,显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Prio: Private, Robust, and Scalable Computation of Aggregate Statistics
本文介绍了Prio,一个用于收集汇总统计数据的隐私保护系统。每个Prio客户端保存私有数据值(例如,其当前位置),并且一小组服务器计算所有客户端的值的统计函数(例如,最受欢迎的位置)。只要至少有一个服务器是诚实的,Prio服务器就几乎不了解客户端的私人数据,除了它们可以从系统计算的汇总统计数据中推断出什么。为了在遇到错误或恶意客户端时保护功能,Prio使用秘密共享非交互式证明(SNIP),这是一种新的加密技术,与传统的零知识方法相比,性能提高了100倍。Prio扩展了经典的私有聚合技术,以收集大量有用的统计信息。例如,Prio可以对客户端提供的高维数据执行最小二乘回归,而不会看到清晰的数据。
2017-03-18 cs.CR
Privately Releasing Conjunctions and the Statistical Query Barrier
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学);Microsoft Research New England(微软研究院新英格兰分部);Harvard University(哈佛大学)
假设我们想知道一组统计查询C的所有答案,对一个数据进行设置,误差很小,但我们只能使用统计查询访问数据本身。一个简单的解决方案是在C中详尽地询问所有查询。我们能做得更好吗?+ 我们表明,这个任务所需的统计查询的数量是-多项式的因素-等于不可知的学习复杂性C在卡恩斯的统计查询(SQ)模型。当运行时间不是问题时,这给出了问题的完整答案。+ 然后,我们表明,这个问题可以有效地解决(允许任意错误的一小部分查询),只要答案C可以描述的子模块功能。这包括许多自然概念类,如图切割和布尔析取和合取。虽然从学习理论的角度来看很有趣,但我们的主要应用是在隐私保护数据分析中:在这里,我们的第二个结果导致了第一个算法,该算法有效地释放了所有布尔合取的差分私有答案,平均误差为1%。这在隐私保护数据分析中的一个关键开放问题上取得了重大进展。另一方面,我们的第一个结果给出了任何差分私有算法的无条件下限,该算法允许仅使用统计查询的(潜在的非隐私保护)实现。不仅我们的算法,而且大多数已知的私人算法可以只使用统计查询来实现,因此受到这些下界的约束。因此,我们的研究结果隔离了不可知学习的复杂性,在SQ模型作为一个新的障碍,在设计的差异私人算法。
2011-10-27 cs.CR cs.DS cs.LG
A Primer on Private Statistics
University of Waterloo(滑铁卢大学);Northeastern University(东北大学)
在过去几年里,不同的私人统计估计出现了一系列发展。研究分为两个学派,侧重于实证统计和人口统计。我们认为,这两条线的工作是更相似的,而不是不同的方法,最初的实证统计框架的例子,但可以同样适用于人口统计。我们还提供了在这一领域的最新工作的全面覆盖。
2020-04-30 cs.CR cs.DS cs.IT
Private, Fair, and Verifiable Aggregate Statistics for Mobile Crowdsensing in Blockchain Era
在本文中,我们提出了FairCrowd,这是一个私有的,公平的,可验证的框架,用于基于公共区块链的移动众测中的聚合统计。具体来说,鼓励移动用户收集和共享私人数据值(例如,当前位置)来完成由客户发布的共同感兴趣的任务,并且群体感知服务器计算移动用户的值的聚集统计(例如,最受欢迎的位置)。通过使用ElGamal加密,服务器几乎不了解私人数据或统计结果。聚合统计的正确性可以通过一种新的有效的和可验证的计算方法来公开验证。此外,在贪婪的服务提供商、客户和移动用户存在的情况下,基于公共区块链保证了激励的公平性,这些用户可能会发起逃避支付、减少支付、搭便车、双重报告和Sybil攻击来破坏奖励分配。最后,FairCrowd被证明可以实现可验证的聚合统计与隐私保护的移动用户。大量的实验进行了演示的高效率的FairCrowd的聚合统计在移动crowdsensing。
2020-07-19 cs.CR
Private Convex Optimization via Exponential Mechanism
Microsoft Research(微软研究院);University of Washington(华盛顿大学)
本文研究了非光滑凸函数$F(x)=\mathbb{E}_i f_i(x)$在$\mathbb{R}^d$上的私人优化问题。我们表明,通过在$F(x)$中添加$\ell_2^2$正则化器并从$π(x)\propto \exp(-k(F(x)+μ\|x\|_2^2/2))$中采样来修改指数机制,可以恢复$(ε,δ)$ -DP下的已知最优经验风险和人口损失。此外,我们展示了如何实现这种机制,使用$\widetilde{O}(n \min(d, n))$查询$f_i(x)$的DP-SCO,其中$n$是样本/用户的数量和$d$是环境尺寸。我们还给出了一个(几乎)匹配的下界$\widetildeΩ(n \min(d, n))$的评估查询的数量。我们的结果利用以下工具是独立的兴趣:(1)我们证明了高斯差分隐私(GDP)的指数机制,如果损失函数是强凸的,扰动是Lipschitz。我们的隐私界是\emph{optimal},因为它包括作为特殊情况的高斯机制的隐私,并证明了使用强对数凹测度的等周不等式。(2)我们展示了如何从$\exp(-F(x)-μ\|x\|^2_2/2)$中采样$G$ -Lipschitz $F$,$η$误差在总变差(TV)距离中使用$\widetilde{O}((G^2/μ) \log^2(d/η))$无偏查询$F(x)$。这是第一个其查询复杂度在维度$d$和准确度$η$上都具有…
2022-07-28 cs.CR cs.DS cs.LG
Privately Estimating Black-Box Statistics
University of Canterbury(坎特伯雷大学);Google DeepMind(谷歌DeepMind)
本文提出一种在黑盒函数上实现差分隐私的方案,平衡统计效率与 oracle 效率,并展示其近最优性。
2026-05-08 cs.CC cs.CR cs.DS
Efficient Private Statistics with Succinct Sketches
为了收集统计数据、训练机器学习模型和从数据中提取知识,大规模收集上下文信息通常是必不可少的。以{ \em隐私保护}方式这样做的能力--即,而不收集细粒度的用户数据--使得许多附加的计算场景能够在没有强隐私保证的情况下很难或完全不可能实现。在本文中,我们提出了设计和实现的实用技术,私人收集统计数据的大数据流。我们建立在有效的加密协议的私人聚集和数据结构的简洁的数据表示,即计数最小草图和计数草图。这些使我们能够减少每个数据源引起的通信和计算复杂性(例如,最终用户)的输入量从线性变为对数,同时引入一个参数化的上限误差,但不会影响统计数据的质量。然后,我们将展示如何有效地使用我们的技术来实例化真实世界的隐私友好系统,支持媒体流服务的推荐,用户位置的预测以及Tor隐藏服务的中值统计数据的计算。
2016-01-06 cs.CR
Private Empirical Risk Minimization Beyond the Worst Case: The Effect of the Constraint Set Geometry
Google(谷歌);Microsoft Research Silicon Valley(微软研究院硅谷分院);Yahoo Labs(雅虎实验室)
经验风险最小化(ERM)是机器学习中的一种标准技术,其中通过最小化约束集上的损失函数来选择模型。当训练数据集由私有信息组成时,很自然地使用差分私有ERM算法,这个问题一直是Chaudhuri和Monteleoni 2008开始的一系列工作的主题。私有ERM算法输出损失函数的近似最小值,其误差可以用与损失函数最优值的差来衡量。当约束集是任意的时,所需的误差界限是相当好理解的\cite{BassilyST14}。在这项工作中,我们表明,几何属性的约束集可以用来获得更好的结果。具体而言,我们表明,镜像下降的差分私有版本导致Lipschitz损失函数的$\tilde{O}(G_{\mathcal{C}}/n)$形式的误差界,改进了Basily,Smith和Thakurta 2014中的$\tilde{O}(\sqrt{p}/n)$界。这里$p$是问题的维度,$n$是训练集中的数据点数量,$G_{\mathcal{C}}$表示我们优化的约束集的高斯宽度。我们表现出类似的改进强凸函数,光滑的功能。此外,我们表明,当损失函数是Lipschitz的$\ell_1$规范和$\mathcal{C}$是$\ell_1$有界的,差分私人版本的弗兰克-沃尔夫算法给出的误差界的形式$\tilde{O}(n^{-2/3})$。当数据$x_i$满足$|x_i|_{\infty} \leq 1$并且我们在$\ell…
2016-11-20 cs.CR cs.LG stat.ML
Hypothesis Testing for Differentially Private Linear Regression
在这项工作中,我们设计了不同的私人假设检验的一般线性模型中的以下问题:测试的线性关系和测试的存在下的混合物。我们的大多数假设检验都是基于一般线性模型框架的$F$ -统计量的差异私有版本,这些版本在非私有设置中是一致最强大的无偏的。我们还提出了针对这些问题的其他测试,其中之一是基于Couch,Kazan,Shi,Bray和Groce(CCS 2019)的差异私有非参数测试,该测试特别适用于小数据集制度。我们发现,差分私人$F$ -统计收敛到其非私人对应的渐近分布。作为推论,差分私有$F$统计量的统计功效收敛于非私有$F$统计量的统计功效。通过一套基于Monte Carlo的实验,我们表明,我们的测试达到所需的显着性水平,并有一个高功率,接近功率的非私人测试,因为我们增加样本量或隐私损失参数。我们还表明,当我们的测试优于文献中现有的方法。
2022-06-29 cs.CR math.ST stat.TH
A New Class of Private Chi-Square Tests
本文提出了一种新的检验统计量用于私人假设检验。这些统计量是专门设计的,以便在考虑了出于隐私考虑而添加的噪声之后,它们的渐近分布与经典(非隐私)χ 2检验的渐近性相匹配,用于检验多项式数据参数是否位于低维流形中(示例包括拟合优度和独立性检验)。从经验上讲,这些新的检验统计量优于先前的工作,后者侧重于现有统计量的噪声版本。
2016-10-24 cs.CR math.ST stat.TH
Statistical Properties of Sanitized Results from Differentially Private Laplace Mechanism with Univariate Bounding Constraints
在发布和共享数据和信息时,保护个人隐私是一个共同关注的问题。差分隐私(DP)形式化隐私的概率条款,而不做假设的背景知识的数据入侵者,从而提供了一个强大的隐私保护的概念。DP的实际应用涉及开发差异隐私机制,以在预先指定的隐私预算中生成经过消毒的结果。对于具有诸如比例和相关系数之类的公共已知边界的统计数据的净化,边界约束将需要被并入差分私有机制中。有很少的工作检查的后果的边界约束的准确性的消毒结果和统计推断的人口参数的基础上消毒的结果。在本文中,我们形式化的差分私人截断和边界膨胀截断(BIT)的程序发布统计与公开已知的边界约束。截断和BIT拉普拉斯程序的统计精度和有效性的消毒统计的影响进行了评估,通过模拟研究的理论和经验。
2019-05-26 cs.CR stat.ME
Private Statistical Estimation via Truncation
Yale University(耶鲁大学)
本文提出基于数据截断的差分隐私统计估计框架,为无界支撑下的指数族分布(如高斯均值和协方差)设计高效DP估计器,并通过最大似然与DP随机梯度下降修正截断偏差,实现接近最优的样本复杂度。
2025-11-07 cs.CR cs.DS cs.LG
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame(圣母大学)
本文开发了开源R包DPpack,集成Laplace、Gaussian和指数机制,提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具,使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
Selective MPC: Distributed Computation of Differentially Private Key-Value Statistics
键值数据是一种自然出现的数据类型,尚未在本地信任模型中进行彻底的研究。现有的本地差分私有(LDP)解决方案用于计算键值数据上的统计数据,其受到每个用户添加其自己的噪声的固有精度限制。多方计算(MPC)保持比LDP更好的准确性,同样不需要可信的中央方。然而,天真地将MPC应用于键值数据会导致非常昂贵的计算成本。在这项工作中,我们提出了选择性多方计算,一种新的分布式计算方法,利用DP泄漏有效地和准确地计算统计的键值数据。通过向每一方提供数据的随机子集的视图,我们可以捕获减法噪声。我们证明了我们的协议满足纯DP和DP/MPC组合模型是可证明安全的。我们的经验评估表明,我们可以在20秒内计算超过10,000个密钥的统计数据,并且可以扩展到30台服务器,同时在不到一秒的时间内获得单个密钥的结果。
2022-08-30 cs.CR
Differentially Private ANOVA Testing
现代社会产生了大量关于个人的数据,以可证明保护个人隐私的方式发布有关这些数据的汇总统计数据将为许多领域的研究人员提供宝贵的资源。我们提出了第一个算法的方差分析(ANOVA),保留差分隐私,允许这个重要的统计测试进行(和结果发布)对数据库的敏感信息。除了F检验统计量的私有算法之外,我们还展示了一种严格的方法来计算p值,该方法考虑了保护隐私所需的额外噪声。最后,我们提出的实验结果量化的统计能力,这个差异的私人版本的测试,发现一个样本的几千观察是经常足以检测组之间的变化。差异私有方差分析算法是一种很有前途的方法,可以发布在科学和社会科学领域有价值的通用测试统计量。
2018-02-20 cs.CR stat.AP
Suboptimal Provision of Privacy and Statistical Accuracy When They are Public Goods
凭借庞大的数据库,私营科技公司可以与公共统计机构竞争提供人口统计数据。然而,私营公司在提供高质量统计数据和保护数据使用者的隐私方面面临着不同的激励。当隐私保护和统计准确性都是公共品时,私人提供者往往会提供至少一种次优产品,但不清楚是哪一种。我们模拟了一家在保证差异隐私的情况下发布统计数据的公司。我们证明,在这个框架中,由私人公司提供的数据质量低效率的结果。
2019-06-21 cs.CR cs.DB econ.TH
Private Isotonic Regression
Google Research(谷歌研究院)
在本文中,我们考虑保序回归的差分私有(DP)算法的问题。对于偏序集$\mathcal{X}$和任何Lipschitz损失函数的保序回归的最一般问题,我们得到一个纯DP算法,给定$n$输入点,具有大约$\mathrm{width}(\mathcal{X}) \cdot \log|\mathcal{X}| / n$的预期超额经验风险,其中$\mathrm{width}(\mathcal{X})$是偏序集的宽度。相比之下,我们还获得了一个近似匹配的下限大致$(\mathrm{width}(\mathcal{X}) + \log |\mathcal{X}|) / n$,即使是近似DP算法。此外,我们表明,上述界基本上是最好的,可以得到不利用任何进一步的结构的偏序集。在一个特殊的情况下,一个全序集和$\ell_1$和$\ell_2^2$损失,我们的算法可以实现在近线性运行时间,我们还提供了扩展该算法的问题,私人保序回归的输出函数上的附加结构约束。
2022-10-27 cs.CR cs.LG stat.ML
When Does Differentially Private Learning Not Suffer in High Dimensions?
Stanford University(斯坦福大学);University of Washington(华盛顿大学);Microsoft Research(微软研究院);Google Research(谷歌研究院)
大型预训练模型可以私下微调,以实现接近非私有模型的性能。这些结果中的一个共同主题是令人惊讶的观察结果,即高维模型可以实现有利的隐私-效用权衡。这似乎与差分私有凸学习的模型大小依赖性的已知结果相矛盾,并提出了以下研究问题:差分私有学习的性能何时不会随着模型大小的增加而降低?我们确定,投影到子空间的梯度的大小是决定性能的关键因素。为了精确地描述这一点的私人凸学习,我们引入了一个条件的目标,我们的术语\emph{restricted Lipschitz continuity},并获得改进的界限,为过剩的经验和人口的风险,是维度独立的额外条件。我们的经验表明,在私人微调的大语言模型,微调过程中获得的梯度主要是由几个主成分控制。这种行为是类似的条件下,我们获得的凸设置的维数无关的界限。我们的理论和实证结果一起提供了一个可能的解释,最近的成功,在大规模的私人微调。可以在\url{https://github.com/lxuechen/private-transformers/tree/main/examples/classification/spectral_analysis}上找到重现我们结果的代码。
2022-10-26 cs.CR cs.LG stat.ML
Buying Private Data without Verification
我们考虑的问题,设计一个调查,从一个隐私敏感的人口聚集不可验证的信息:分析师希望计算一些总的统计数据从每个成员的人口持有的私人位,但不能验证参与者在他的调查报告的位的正确性。人口中的个体是具有隐私成本的策略代理人,\ie,他们不仅考虑了他们期望从机制中获得的支付,而且考虑了他们的隐私成本,这些隐私成本来自机制的结果-计算的统计数据以及支付-以确定他们的效用。当个体战略性地决定是否参与和是否如实报告他们的敏感信息时,分析师如何设计支付方案以获得对总体统计数据的准确估计?我们设计了一个差分私人同行预测机制,支持准确估计的人口统计作为贝叶斯-纳什均衡的设置,代理人有明确的偏好隐私。该机制需要关于比特$b_i$的边缘先验分布的知识,但不需要关于成本$c_i$的边缘分布的全部知识,而是仅需要近似的上限。我们的机制保证$ε$ -差分隐私每个代理$i$对任何对手谁可以观察到的统计估计输出的机制,以及支付给$n-1$其他代理$j\neq i$。最后,我们表明,通过对每个代理的隐私成本函数进行稍微更结构化的假设,随着代理数量的差异,运行调查的成本将由$0$承担。
2014-04-24 cs.CR cs.DS cs.GT
Insufficient Statistics Perturbation: Stable Estimators for Private Least Squares
University of Washington(华盛顿大学);Boston University(波士顿大学);Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院);Harvard University(哈佛大学)
提出一种样本和时间高效的差分隐私普通最小二乘算法,其误差线性依赖于维度且独立于条件数,突破了先前算法在样本量、误差或时间上的限制。
2024-04-23 cs.CR cs.LG stat.ML
On Differentially Private U Statistics
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Cambridge(剑桥大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究差分隐私下U统计量的估计问题,提出基于局部Hájek投影的阈值化方法以改进现有私有均值估计算法的次优误差,并在非退化与退化情形下取得近乎最优的私有误差。
2024-07-06 cs.CR cs.LG math.ST
Differentially Private (Gradient) Expectation Maximization Algorithm with Statistical Guarantees
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Houston(休斯顿大学);Rutgers University(罗格斯大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
(梯度)期望最大化(EM)是一种广泛使用的算法,用于估计混合模型或不完全数据问题的最大似然。这种流行技术面临的一个主要挑战是如何有效地保护敏感数据的隐私。以前对这个问题的研究已经导致发现了一些差分私有(DP)算法(梯度)EM。然而,与非私有情况不同,现有技术尚不能提供有限样本的统计保证。为了解决这个问题,我们在本文中提出的第一个DP版本的(梯度)EM算法的统计保证。此外,我们将我们的一般框架应用于三个典型模型:高斯混合模型(GMM),混合回归模型(MRM)和缺失协变量线性回归(RMC)。具体来说,对于DP模型中的GMM,我们的估计误差在某些情况下接近最优。对于其他两个模型,我们提供了第一个有限样本的统计保证。我们的理论得到了充分的数值实验的支持。
2022-01-16 cs.CR cs.LG stat.ML
Differentially Private Domain Adaptation with Theoretical Guarantees
The Ohio State University(俄亥俄州立大学);Google Research(谷歌研究院);Courant Institute of Mathematical Sciences(柯朗数学科学研究所)
针对私有目标域的有监督域适应问题,提出两种差分隐私适应算法,分别处理线性回归凸优化和一般非凸光滑损失,理论分析并实验验证其性能接近非私有版本。
2024-02-04 cs.CR cs.LG stat.ML
Differentially Private Kolmogorov-Smirnov-Type Tests
本文提出基于Kolmogorov-Smirnov、Kuiper、Cramér-von Mises和Wasserstein统计量的差分隐私非参数检验方法,利用低敏感性和分布无关特性实现高效检验,在隐私预算小或重尾数据场景下优于现有方法。
2023-10-30 cs.CR stat.ME
Improved Differentially Private Analysis of Variance
Reed College(里德学院)
假设检验是最常见的数据分析类型之一,是许多学科科学研究的支柱。方差分析(ANOVA)特别用于检测分类变量和数值变量之间的相关性。在这里,我们将展示如何在差分隐私的限制下进行假设检验。我们发现,$F$ -统计量,在公共设置的最佳测试统计量,不再是最佳的私人设置,我们开发了一个新的测试统计量$F_1$具有更高的统计能力。我们将展示如何严格计算参考分布的$F_1$统计,并给出一个算法,输出准确的$p$值。我们实施我们的测试和实验优化几个参数。然后,我们将我们的测试与之前唯一的关于私人ANOVA测试的工作进行比较,使用与该工作相同的效应量。我们看到了一个数量级的改进,我们的测试只需要7%的数据来检测效果。
2019-03-01 cs.CR cs.LG stat.ML
How to Make the Gradients Small Privately: Improved Rates for Differentially Private Non-Convex Optimization
Wisconsin Institute for Discovery, University of Wisconsin-Madison(威斯康星大学麦迪逊分校威斯康星发现研究院);Khoury College of Computer Sciences, Northeastern University(东北大学卡尔计算机科学学院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出一个基于私有风险最小化器预热启动的框架,用于设计差分隐私算法,以改进非凸损失函数稳定点的寻找速率,并在多类函数上达到最优或最先进水平。
2024-08-20 cs.CR cs.LG math.OC
Private Non-Convex Federated Learning Without a Trusted Server
University of Southern California(南加州大学)
研究无可信服务器下的非凸跨孤岛联邦学习,提出ISRL-DP与Shuffle DP算法,在非凸非平滑及异构数据下达到接近最优效用并改进现有界限。
2023-06-25 cs.CR cs.LG math.OC
Differentially Private Non-Convex Optimization under the KL Condition with Optimal Rates
The Ohio State University(俄亥俄州立大学);The Johns Hopkins University(约翰霍普金斯大学);Pontificia Universidad Católica de Chile(智利天主教大学)
本文研究zCDP下满足KL条件的隐私ERM,提出方差缩减梯度下降、隐私近端点法及自适应噪声梯度下降,得到接近最优的超额风险与驻点逼近速率。
2024-04-03 cs.CR cs.LG math.OC
Revisiting Differentially Private Regression: Lessons From Learning Theory and their Consequences
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
私有回归受到了数据库和安全社区的关注。Fredrikson等人最近的工作(USENIX Security 2014)分析了在医疗数据上训练线性回归模型的功能机制(Zhang et al. VLDB 2012)。不幸的是,他们发现,当$\varepsilon = 5$。我们解决这个问题,提出了一个明确的连接之间的差分隐私和稳定的学习理论,通过它可以获得一个更好的隐私/效用权衡。也许更重要的是,我们的理论揭示了差分隐私中最基本的机制,输出扰动,可以用来获得一个更好的权衡所有凸Lipschitz有界学习任务。由于输出扰动是简单的实现,这意味着我们的方法是潜在的广泛适用于实践。我们继续将其应用于与Fredrikson等人使用的相同的医疗数据。令人鼓舞的是,即使对于$\varepsilon = 0.1$,我们也实现了准确的模型。在本文的最后一部分,我们研究了我们改进的差分隐私机制对模型反演攻击,由Fredrikson等人介绍的隐私攻击的影响。我们观察到,改进的权衡使产生的差分隐私模型更容易受到反转攻击。我们对这种现象进行了形式上的分析。
2015-12-20 cs.CR cs.DB cs.LG
High-Dimensional Differentially-Private EM Algorithm: Methods and Near-Optimal Statistical Guarantees
Rutgers University(罗格斯大学)
在本文中,我们开发了一个通用的框架来设计差分私人期望最大化(EM)算法在高维潜变量模型,基于噪声迭代硬阈值。我们推导出所提出的框架的统计保证,并将其应用到三个特定的模型:高斯混合,混合回归,回归与缺失协变量。在每个模型中,我们建立了接近最优的收敛速度与差分隐私约束,并表明该算法是最小最大率最优的对数因子。开发的技术工具的高维设置,然后扩展到经典的低维潜变量模型,我们提出了一个近速率最优的期望最大化算法在这种设置与差分隐私保证。仿真研究和实际数据分析进行支持我们的结果。
2021-09-09 cs.CR cs.LG math.ST
Differentially Private Finite Population Estimation via Survey Weight Regularization
针对调查加权统计的差分隐私发布难题,提出通过私有估计超参数来正则化调查权重,在偏差、精度与隐私间取得平衡,并以收入动态面板研究验证,最优策略噪声比朴素方法少几个数量级。
2024-11-06 cs.CR stat.ME
Visualizing Privacy-Utility Trade-Offs in Differentially Private Data Releases
各组织经常收集私人数据,并为公众的利益发布汇总统计数据。如果不采取保护隐私的措施,攻击者可能会使用发布的统计数据来推断有关私人数据集中描述的个人的未经授权的信息。不同的隐私算法通过用噪声稍微扰动底层统计数据来解决这一挑战,从而在数学上限制了可以从每个数据发布中推断出的信息量。正确校准这些算法--以及数据集中描述的人的披露风险--需要数据管理者为隐私预算参数$ε$选择一个值。然而,很少有正式的指导选择$ε$,一个任务,需要推理的概率隐私效用权衡。此外,在统计推断的上下文中选择$ε$需要在存在测量误差和差分隐私(DP)噪声两者的情况下推理关于准确性权衡。我们提出了可视化隐私(VIP),一个交互式界面,可视化之间的关系$ε$,准确性和披露风险,以支持设置和分裂$ε$查询。当用户调整$ε$时,ViP动态更新描述预期准确性和风险的可视化。ViP还具有推理设置,允许用户推理DP噪声对统计推理的影响。最后,我们提出了一项研究的结果,其中16个研究从业者很少或没有DP背景完成了一组相关的任务设置$ε$使用VIP和控制。我们发现,VIP可以帮助参与者更正确地回答与判断DP噪声释放可能下降的概率以及DP噪声和非私人置信区间之间的比较相关的问题。
2022-01-16 cs.CR cs.HC
A Graph Federated Architecture with Privacy Preserving Learning
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
联邦学习涉及一个中央处理器,它与多个代理一起工作,以找到一个全局模型。这一过程包括反复交换估计数,从而传播与当地私人数据有关的信息。这样的方案在处理敏感数据时可能不方便,因此,需要算法的私有化。此外,连接到多个客户端的服务器的当前架构对服务器处的通信故障和计算过载高度敏感。因此,在这项工作中,我们开发了一个私人的多服务器联邦学习计划,我们称之为图联邦学习。我们使用加密和差分隐私的概念来私有化的联邦学习算法,我们扩展到图结构。我们研究了私有化的学习算法的性能一般的私人计划,可以建模为加性噪声的影响。我们的凸性和Lipschitz条件下,私有化的过程中匹配的非私有算法的性能,即使当我们增加噪声方差。
2021-04-26 cs.AI cs.CR cs.LG
Differentially Private Learning of Undirected Graphical Models using Collective Graphical Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Mount Holyoke College(曼荷莲学院);Colgate University(科尔盖特大学)
我们研究的问题,学习离散的,无向的图形模型在一个不同的私人方式。我们表明,使用拉普拉斯机制释放噪声足够的统计数据的方法实现了隐私,实用性和实用性之间的良好权衡。一个朴素的学习算法,使用噪声足够的统计“是”优于通用的差分私人学习算法。然而,它有三个局限性:它忽略了关于数据生成过程的知识,依赖于不确定的理论基础,并表现出一定的病态。我们开发了一种更有原则的方法,应用集体图形模型的形式主义在期望最大化框架内对真正的充分统计数据进行推理。我们表明,这学习更好的模型比竞争的方法在合成数据和真实的人类流动性数据作为案例研究。
2017-06-14 cs.CR cs.LG stat.ML
Locally Differentially Private Analysis of Graph Statistics
图的差分私有分析被广泛用于从敏感图中发布统计信息,同时仍然保护用户隐私。然而,大多数现有的算法都处于集中式隐私模型中,其中可信的数据管理员拥有整个图。由于该模型提出了许多隐私和安全问题-例如,策展人的可信度和数据泄露的可能性,因此需要考虑在更分散的本地模型中的算法,其中没有服务器保存整个图。在这项工作中,我们考虑了一个本地模型,并提出算法计算子图-一个基本的任务,分析图中的连接模式-与LDP(本地差分隐私)。对于三角形计数,我们提出的算法,使用一轮和两轮的相互作用,并表明,额外的一轮可以显着提高效用。对于$k$ -星计数,我们提出了一种算法,实现了非交互式局部模型的阶最优估计误差。我们提供了新的下界估计误差一般图统计,包括三角形计数和$k$ -星计数。最后,我们在两个真实数据集上进行了大量的实验,并表明在局部差分隐私模型中确实可以准确地估计子图计数。
2021-02-11 cs.CR cs.DB
Differentially Private Maximal Information Coefficients
Yale University(耶鲁大学);U.S. Naval Research Laboratory(美国海军研究实验室)
最大信息系数(MIC)是一个强大的统计,以确定变量之间的依赖关系。但是,它可能适用于敏感数据,并且发布它可能会泄露私人信息。作为一种解决方案,我们提出的算法,以近似MIC的方式,提供差分隐私。我们表明,自然应用的经典拉普拉斯机制产生的准确性不足。因此,我们引入了MICr统计,这是一个新的MIC近似,是更兼容的差分隐私。我们证明了MICr是MIC的一致估计,并给出了两个不同的私有版本。我们在各种真实和合成数据集上进行了实验。结果表明,私人MICr统计显着优于直接应用拉普拉斯机制。此外,在真实世界数据集上的实验表明,当样本量至少适度大时,精度是可用的。
2022-06-21 cs.CR cs.IT cs.LG
Differentially Private Linear Regression with Linked Data
针对记录链接这一上游预处理带来的额外不确定性,本文提出噪声梯度和充分统计量扰动两种差分隐私线性回归算法,并给出有限样本误差界以分析隐私—准确性权衡。
2024-05-08 cs.CR stat.ME
One-Shot Private Confidence Regions via Resampling
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Cambridge(剑桥大学)
我们提出一次性重采样框架,仅对最终分位数加噪实现差分隐私置信区域,避免√B因子,提供GDP与效用保证,适用于均值类、分位数及退化U统计量,显著降低隐私与计算成本。
2026-10-09 cs.CR stat.ML
A Theoretical Perspective on Differentially Private Federated Multi-task Learning
Ant Group(蚂蚁集团)
在大数据时代,通过数据共享来扩大数据量以提高模型性能的需求已变得越来越迫切。因此,有效的协作学习模式需要开发的隐私和实用性的关注。在这项工作中,我们提出了一种新的联邦多任务学习方法,有效的参数传输与差分隐私,以保护梯度在客户端级别。具体而言,网络的较低层在所有客户端之间共享以捕获可转移的特征表示,而网络的顶层是针对客户端个性化的特定任务。我们提出的算法自然解决了联邦网络中的统计异质性问题。据我们所知,我们是第一个为这样一个拟议的联邦算法提供隐私和效用保证的。在非凸、凸和强凸条件下,证明了Lipschitz光滑目标函数的收敛性。在不同数据集上的实验结果验证了该算法的有效性和理论研究结果的意义。
2020-11-14 cs.CR cs.DC cs.LG
Generating Private Synthetic Data with Genetic Algorithms
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);University of Minnesota(明尼苏达大学)
针对差分私有合成数据生成中一阶优化仅限可微目标的问题,提出基于零阶启发式的私有遗传算法 Private-GSD,并在 ACS 数据上证明其对不可微统计查询优于现有方法。
2023-06-05 cs.CR cs.LG cs.NE
Some Constructions of Private, Efficient, and Optimal $K$-Norm and Elliptic Gaussian Noise
针对差分隐私中$K$-范数机制采样慢、椭圆高斯噪声最优形状难确定的问题,本文为求和、计数、投票统计量设计了$\tilde{O}(d^2)$复杂度的最优$K$-范数采样器,推导了椭圆高斯噪声最优形状闭式解,兼顾精度与实用性。
2024-05-21 cs.CR
Evaluating LLM Simulators as Differentially Private Data Generators
Capital One
研究评估LLM模拟器在生成复杂合成数据中的有效性,发现其在欺诈检测中表现良好但存在分布偏移问题,需解决系统性偏差以提升应用潜力。
2026-04-16 cs.CL cs.CR cs.LG
Differentially Private Empirical Risk Minimization: Efficient Algorithms and Tight Error Bounds
The Pennsylvania State University(宾夕法尼亚州立大学);Boston University(波士顿大学);Harvard University(哈佛大学);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
在本文中,我们提出了一个系统的调查差分私人算法凸经验风险最小化。以前已经研究过这个问题的各种实例。我们提供了新的算法和匹配的私人ERM下界假设只有每个数据点的贡献的损失函数是Lipschitz有界的,优化的域是有界的。我们提供了一个单独的一组算法和匹配的下限的设置,其中的损失函数已知也是强凸的。我们的算法运行在多项式时间,在某些情况下,甚至匹配的最佳非私有运行时间(如Oracle复杂性)。我们给单独的算法(和下限)为$(ε,0)$ -和$(ε,δ)$ -差分隐私,也许令人惊讶的是,用于设计最佳算法的技术在这两种情况下是完全不同的。我们的下界甚至适用于非常简单的光滑函数族,如线性和二次函数。这意味着,从以前的工作中的算法可以用来获得最佳的出错率,在额外的假设下,每个数据点的损失函数的贡献是平滑的。我们表明,简单的方法来平滑任意损失函数(为了应用以前的技术)不产生最佳的出错率。特别是,最佳算法是以前不知道的问题,如训练支持向量机和高维中位数。
2014-10-17 cs.CR cs.LG stat.ML
Optimal Differentially Private Mechanisms for Randomised Response
我们研究了一个广义的随机响应(RR)技术的背景下,差分隐私,并研究这种机制的最优性。严格和宽松的差分隐私被认为是二进制输出。通过检查统计估计的误差,我们在这两种情况下的最佳机制(S)的封闭的解决方案。最优机制也给出了原始RR技术的具体情况下,华纳在1965年推出。
2016-12-16 cs.CR
Differentially Private Federated Learning: Servers Trustworthiness, Estimation, and Statistical Inference
Rutgers University(罗格斯大学)
本文研究了差分隐私联邦学习中的高维估计与推断挑战,分别在不可信和可信中央服务器场景下证明了估计困难并提出了针对线性回归的新型联邦估计算法及统计推断方法。
2024-04-25 cs.CR cs.LG math.ST