Differentially Private Policy Evaluation
Lancaster University（兰卡斯特大学）；McGill University（麦吉尔大学）
我们提出了第一个差分私人算法的强化学习，适用于评估一个固定的政策的任务。我们建立了两种方法来实现差分隐私，提供了一个理论分析的隐私和实用性的两种算法，并显示出有前途的结果，简单的实证例子。
2016-03-07 cs.LG stat.ML
Differentially Private Continual Learning
University of Oxford（牛津大学）
灾难性的遗忘对于出于隐私原因必须删除历史数据的机构来说可能是一个严重的问题。例如，医院可能无法永久保留患者数据。但是，仅用最近的数据训练的神经网络往往会忘记从旧数据中吸取的教训。我们提出了一个基于变分推断的差分私有持续学习框架。我们使用旧数据集的差分私有生成模型来估计给定当前模型的过去数据的可能性。
2019-02-18 cs.LG stat.ML
The Differentially Private Lottery Ticket Mechanism
Simon Fraser University（西蒙弗雷泽大学）
我们提出了差分私人彩票机制（DPLTM）。基于彩票假说的端到端差异化私人培训范式。使用“高质量的赢家”，通过我们的自定义评分功能选择，DPLTM显着提高了隐私效用权衡超过国家的最先进的。我们表明，DPLTM收敛速度更快，允许提前停止与减少隐私预算消耗。我们进一步表明，从DPLTM票是跨数据集，域和架构可转移。我们对几个公共数据集的广泛评估为我们的主张提供了证据。
2020-02-16 cs.LG stat.ML
Differentially Private Learning of Geometric Concepts
Tel Aviv University（特拉维夫大学）；Google（谷歌）；Ben-Gurion University（本-古里安大学）
我们提出了差分私人有效的算法学习联盟的多边形在平面上（这不一定是凸的）。我们的算法实现$(α,β)$ -PAC学习和$(ε,δ)$ -差分隐私使用大小为$\tilde{O}\left(\frac{1}{αε}k\log d\right)$的样本，其中域是$[d]\times[d]$和$k$是多边形的并集中的边的数目。
2019-02-13 cs.LG stat.ML
Private Learning Implies Online Learning: An Efficient Reduction
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们研究了差异化私人学习和游戏中的在线学习概念之间的关系。最近的一些研究表明，差异化的私人学习意味着在线学习，但尼尔，罗斯和吴\cite{NeelAaronRoth2018}的一个开放的问题，问这种含义是否是{ \it有效}。具体来说，一个有效的差异化私人学习者是否意味着一个有效的在线学习者？在本文中，我们解决这个开放的问题的背景下，纯差分隐私。我们得到了一个有效的黑箱减少从差异私人学习在线学习专家的意见。
2019-06-05 cs.LG stat.ML
Differentially Private Empirical Risk Minimization with Input Perturbation
University of Tsukuba（筑波大学）；Secom Co., Ltd.（西科姆有限公司）；JST CREST（日本科学技术振兴机构 CREST）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
我们提出了一个新的框架，差分私人ERM，输入扰动。现有的差异化私有ERM隐含地假设数据贡献者将其私有数据提交给数据库，期望数据库调用差异化私有机制来发布所学习的模型。在输入扰动中，每个数据贡献者独立地随机化她/他的数据，并将扰动后的数据提交给数据库。我们表明，输入扰动框架理论上保证了与随机数据学习的模型最终满足规定的隐私参数的差分隐私。同时，输入扰动保证了服务器的局部差分隐私。我们还证明了在一定条件下，输入扰动学习的模型的超额风险界为$O(1/n)$，其中$n$为样本量.这与最新技术水平的超额风险界限相同。
2017-10-20 cs.LG stat.ML
Differentially Private Learning of Hawkes Processes
J.P. Morgan AI Research（摩根大通人工智能研究院）
Hawkes过程在事件序列数据建模中的多功能性最近得到了机器学习社区越来越多的关注。虽然它们的历史可以追溯到几十年前，但它们的一些属性，例如学习参数和发布差异隐私版本的样本复杂性，尚未得到彻底分析。本文研究了具有背景强度$μ$和激发函数$αe^{-βt}$的标准Hawkes过程.我们提供了非私人和差分私人估计的$μ$和$α$，并获得样本的复杂性结果，在这两种设置，以量化隐私的成本。我们的分析利用了Hawkes过程的强混合性质和弱相依随机变量的经典中心极限定理结果。我们在合成和真实数据集上验证了我们的理论研究结果。
2022-07-27 cs.LG stat.ML
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London（帝国理工学院）
差分隐私关注的是预测质量，同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的，但它们通常是不可微的。分析了标准的差分隐私算法，如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法，已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中，我们假设了一类特殊的凸但非光滑的正则化，诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作，分析了双重优化问题的风险最小化问题的背景下，差分隐私。
2019-05-13 cs.LG stat.ML
Distributed Differentially-Private Algorithms for Matrix and Tensor Factorization
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
在许多信号处理和机器学习应用中，包含隐私信息的数据集被保存在不同的位置，这需要开发分布式隐私保护算法。张量和矩阵分解是许多处理管道的关键组件。在分布式环境中，差分隐私算法受到影响，因为它们引入了噪声来保证隐私。针对两种常用的矩阵和张量分解方法：主成分分析（PCA）和正交张量分解（OTD），设计了新的改进的分布式差分隐私算法。新算法采用相关噪声设计方案来减轻噪声的影响，并可以实现与集中式方案相同的噪声水平。合成和真实数据上的实验说明了相关噪声允许与集中式设置相匹配的性能的制度，优于以前的方法，并证明有意义的效用是可能的，同时保证差分隐私。
2018-04-26 cs.LG stat.ML
Improving Differentially Private Models with Active Learning
UC Irvine（加州大学欧文分校）；Google Brain（谷歌大脑）
机器学习技术的广泛采用增加了对敏感数据（如医疗记录）训练的模型的隐私问题。现有的训练差分隐私（DP）模型的技术提供了严格的隐私保证，但将这些技术应用于神经网络会严重降低模型的性能。这种性能降低是在现实世界中部署私有模型的一个障碍。在这项工作中，我们通过对公共数据的主动学习来微调DP模型，从而提高DP模型的性能。我们引入了两种新技术- DIVERSEPUBLIC和NEARPRIVATE -用于以隐私感知的方式进行微调。对于MNIST和SVHN数据集，这些技术提高了DP模型的最新准确性，同时保留了隐私保证。
2019-10-02 cs.LG stat.ML
Gradient Perturbation is Underrated for Differentially Private Convex Optimization
The School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机学院）；Microsoft Research Asia（微软亚洲研究院）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
梯度扰动，广泛用于差分隐私优化，注入噪声在每次迭代更新，以保证差分隐私。以前的工作首先确定的噪声水平，可以满足隐私的要求，然后在非私人的情况下，分析噪声梯度更新的效用。相反，我们探讨隐私噪声如何影响优化性能。我们发现，差分私人凸优化，差分私人（随机）梯度下降的效用保证是由一个\emph{expected curvature}，而不是最小曲率。表示优化路径上的平均曲率的\emph{expected curvature}通常比最小曲率大得多。通过使用的\emph{expected curvature}，我们表明，梯度扰动可以实现显着提高效用保证，可以在理论上证明梯度扰动优于其他扰动方法的优势。最后，我们广泛的实验表明，梯度扰动与先进的合成方法确实优于其他扰动方法的大幅度，匹配我们的理论研究结果。
2020-10-26 cs.LG stat.ML
Distributed Differentially Private Computation of Functions with Correlated Noise
Rutgers, The State University of New Jersey（罗格斯，新泽西州立大学）；Nokia Bell Labs（诺基亚贝尔实验室）
机器学习的许多应用，如人类健康研究，涉及处理私人或敏感信息。隐私问题可能会对多个站点保存数据的场景中的协作造成重大障碍，并且目标是在所有数据集上联合估计属性。不同的私有分散算法可以提供强大的隐私保证。然而，当每个站点的数据集很小时，联合估计的准确性可能很差。本文提出了一个新的框架，相关辅助私人估计（CAPE），设计隐私保护分散算法，更好的准确性保证诚实，但好奇的模型。CAPE可以与函数机制一起用于统计和机器学习优化问题。提供了更严格的功能机制的表征，允许CAPE在使用所有数据集的分散设置中实现与集中式算法相同的性能。对合成数据集和真实数据集的回归和神经网络问题的实证结果表明，在许多感兴趣的场景中，差分私有方法可以与非私有算法竞争。
2021-02-23 cs.LG stat.ML
Differentially Private Precision Matrix Estimation
Northwest University（西北大学）；Macau University of Science and Technology（澳门科技大学）
本文研究了当数据集包含敏感信息时的精度矩阵估计问题。在差分隐私框架下，我们通过扰动样本协方差阵，构造了一个差分隐私岭估计器。然后，我们利用交替方向乘法（ADMM）算法建立了一个差分私有图形套索估计器。理论结果和实证结果表明，所提出的方法的实用性也提供。
2019-09-06 cs.CR cs.LG stat.ML
Actor Critic with Differentially Private Critic
McGill University（麦吉尔大学）；Mila - Québec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Google DeepMind（谷歌DeepMind）
已知强化学习算法是样本低效的，并且通常可以通过利用信息（例如，通过预先培训）进行其他相关任务。在这项工作中，我们提出了一种技术，以实现这种知识转移的情况下，代理轨迹包含敏感或私人信息，如在医疗保健领域。我们的方法利用差异化的私有策略评估算法来初始化演员-评论家模型，并提高下游任务的学习效率。我们的经验表明，这种技术增加了样本效率在资源受限的控制问题，同时保留隐私的轨迹收集在上游任务。
2019-10-14 cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University（北京大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了局部差分私有（LDP）强盗学习。首先，我们提出了简单的黑盒约简框架，可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架，我们可以改进以前的最佳结果为私人强盗学习与一点反馈，如私人强盗凸优化，并获得第一个结果为强盗凸优化（BCO）与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比，以前专门设计的和相对较弱的差分私有（DP）上下文无关的强盗算法。进一步地，我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits，它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$，并被证明是近最优的。请注意，鉴于DP上下文线性强盗的现有$Ω(T)$下限（Shariff & Sheffe，2018），我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Differentially Private Survival Function Estimation
Simon Fraser University（西蒙弗雷泽大学）
生存函数估计在许多学科中使用，但在医学分析中最常见的是Kaplan-Meier估计量的形式。敏感数据（患者记录）用于估计，而对信息泄露没有任何明确的控制，这是一个重大的隐私问题。我们提出了第一个差分私人估计的生存函数，并表明它可以很容易地扩展到提供差分私人置信区间和测试统计量，而无需花费任何额外的隐私预算。我们进一步提供了扩展的差分私人估计的竞争风险的累积发病率函数，纳尔逊-Aalen的估计的危险函数等，使用11个现实生活中的临床数据集，我们提供的经验证据表明，我们提出的方法提供了良好的实用性，同时提供强大的隐私保证。
2020-01-14 cs.LG stat.ME stat.ML
Convergence Rates for Differentially Private Statistical Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
差分隐私是一种基于密码学的隐私定义，在过去几年中受到了广泛的关注。差分隐私解决方案通过将随机噪声添加到对数据计算的函数来增强隐私，设计此类算法的挑战是控制添加的噪声，以优化隐私-准确性-样本大小的权衡。本文研究了差分私有统计估计，给出了差分私有近似统计估计收敛速度的上界和下界。我们的研究结果揭示了差分隐私和稳健统计中的粗差敏感性（GES）概念之间的正式联系，通过显示任何差分隐私近似估计的收敛速度，在一个大类的分布是准确的增长与GES的估计。然后，我们提供了一个上界的收敛速度的差分私人近似估计有界范围和有界GES。我们表明，有界范围条件是必要的，如果我们希望确保严格形式的差分隐私。
2012-06-27 cs.CR cs.LG stat.ML
Differentially Private Ensemble Classifiers for Data Streams
Simon Fraser University（西蒙弗雷泽大学）
通过分类/回归从连续数据流中学习在许多领域都很普遍。适应不断变化的数据特征（概念漂移），同时保护数据所有者的私人信息是一个公开的挑战。我们提出了一个差分私有集成解决方案，这个问题有两个显着的特点：它允许一个\textit{unbounded}数量的集成更新，以处理潜在的永无止境的数据流在一个固定的隐私预算，它是\textit{model agnostic}，因为它对待任何预先训练的差分私有分类/回归模型作为一个黑盒子。我们的方法在真实世界和模拟数据集上的性能优于竞争对手，这些数据集具有不同的隐私设置，概念漂移和数据分布。
2021-12-09 cs.CR cs.LG stat.ML
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响：由于数据汇集和隐私噪声，旨在防止重建的敏感信息采样噪声。在本文中，我们考虑的问题，设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间，满足差分隐私（以及最近提出的集中差分隐私），并可以与现有的差分隐私机制，训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Adaptive Differentially Private Empirical Risk Minimization
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个自适应（随机）梯度扰动方法差分私人经验风险最小化。在每次迭代中，添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有（ADP）学习。给定相同的隐私预算，我们证明了ADP方法大大提高了效用保证相比，标准的差分私人的方法，其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用，包括AdaGrad的变体（Duchi等人，2011年）。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Algorithms for Differentially Private Multi-Armed Bandits
Chalmers University of Technology（查尔姆斯理工大学）
我们提出了差分隐私算法的随机多臂强盗（MAB）问题。这对于自适应临床试验、实验设计和用户定向广告等应用来说是一个问题，在这些应用中，私人信息与个人奖励相关联。我们的主要贡献是表明，存在$(ε, δ)$差异私人变种的置信上限算法，具有最佳的遗憾，$O(ε^{-1} + \log T)$。这是一个显着的改进，以前的结果，只实现多对数遗憾$O(ε^{-2} \log^{2} T)$，因为我们使用了一种新的间隔为基础的机制。我们还大大提高了以前的家庭的算法，使用一个连续的释放机制的界限。实验清楚地证实了我们的理论界限。
2015-11-27 cs.CR cs.LG stat.ML
Differentially Private Generation of Small Images
Pionic（Pionic公司）
我们探索了具有差分隐私的生成对抗网络的训练，以匿名化图像数据集。在MNIST上，我们使用来自$ε$ - $δ$差分隐私和初始分数的参数来数值地测量隐私-效用权衡。我们的实验揭示了一个饱和的训练机制，其中增加隐私预算几乎没有增加生成图像的质量。我们还解释了为什么差分私人亚当优化是独立的梯度裁剪参数。此外，我们还强调了我们在最近的文献中发现的关于差异私有深度学习的先前工作中的常见错误。在整个主题的处理过程中，我们希望防止将来对匿名性的错误估计。
2020-05-06 cs.CR cs.LG stat.ML
A Differentially Private Wilcoxon Signed-Rank Test
Reed College（里德学院）
假设检验是数据采掘的重要统计工具，也是许多领域科学研究的主力。在这里，我们提出了一个经典的Wilcoxon符号秩假设检验的差异私人模拟，当比较成对的（例如，前后）数据值。我们不仅提供了检验统计量的私人估计，而且提供了一种准确计算p值和评估统计显著性的方法。我们评估我们的测试模拟和真实数据。与Task和Clifton针对这种情况的唯一现有私人测试相比，我们发现我们的测试需要不到一半的数据才能实现相同的统计功效。
2018-09-05 cs.CR cs.LG stat.ML
Computationally tractable robust differentially private mean estimation
Department of Mathematics and Statistics（数学与统计学系）
提出一种名为“气球均值”的新差分隐私均值估计器，通过扩展马氏距离球上的迭代裁剪实现计算可处理性、鲁棒性及零集中差分隐私，理论保证在重尾和污染椭圆模型下的统计性能与鲁棒性。
2026-08-18 cs.LG stat.ME stat.ML
A Knowledge Transfer Framework for Differentially Private Sparse Learning
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了在保持每个训练样本隐私的同时估计具有底层稀疏结构的高维模型的问题。我们开发了一个差分私有的高维稀疏学习框架，利用知识转移的思想。更具体地说，我们建议从一个私人数据集上训练的“教师”估计器中提取知识，通过从辅助特征创建一个新的数据集，然后使用这个新的数据集训练一个差分私人“学生”估计器。此外，我们建立了线性收敛速度以及效用保证我们提出的方法。对于稀疏线性回归和稀疏逻辑斯谛回归，与最佳已知结果相比，我们的方法实现了改进的效用保证（Kifer等人，2012; Wang和Gu，2019）。我们进一步证明了我们的框架的优越性，通过合成和真实世界的数据实验。
2019-09-13 cs.CR cs.LG stat.ML
Optimal differentially private kernel learning with random projection
Department of Mathematical Sciences, KAIST（数学科学系，韩国科学技术院）；Department of Industrial and Systems Engineering, KAIST（工业与系统工程系，韩国科学技术院）
本文提出基于随机投影的差分隐私核ERM算法，在经验风险最小化框架下实现平方损失和Lipschitz光滑凸损失函数的最小最大最优超额风险率。
2026-04-29 cs.LG stat.ME stat.ML
Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了第一个可证明准确的算法，用于分布式环境中的差异私有、自上而下的决策树学习（Balcan等人，2012年）。我们提出了DP-TopDown，一个通用的隐私保护决策树学习算法，并提出了两个分布式实现。我们的第一个方法NoisyCounts自然地通过使用拉普拉斯机制扩展了单机算法。我们的第二种方法LocalRNM通过在每个数据持有者处执行局部优化来显著减少通信和增加的噪声。我们提供了第一个效用保证差分私有自上而下的决策树学习在单机和分布式设置。这些保证表明，如果数据集足够大，则私人学习的决策树的错误很快变为零。我们在真实数据集上的大量实验说明了在分布式环境中学习私有决策树时隐私，准确性和泛化的权衡。
2021-02-23 cs.CR cs.LG stat.ML
Learning Rate Adaptation for Federated and Differentially Private Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
我们提出了一种算法，用于适应随机梯度下降（SGD）的学习率，避免了使用验证集的需要。自适应的想法来自外推技术：为了获得对SGD基础的梯度流的误差估计，我们比较了一个完整步骤和两个半步骤获得的结果。该算法应用于两个独立的框架：联邦和差分私人学习。使用深度神经网络的例子，我们凭经验表明，自适应算法是有竞争力的手动调整常用的优化方法的差异私人训练。我们还表明，它在联邦学习的情况下，与常用的优化方法不同，工作得很好。
2019-05-31 cs.CR cs.LG stat.ML
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame（圣母大学）
本文开发了开源R包DPpack，集成Laplace、Gaussian和指数机制，提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具，使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
Differentially Private Estimation of Hawkes Process
Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
点过程模型在实际应用中具有重要意义。在某些关键应用中，点过程模型的估计涉及来自用户的大量敏感个人数据。隐私问题自然会出现，但在现有文献中尚未得到解决。为了弥合这一明显的差距，我们提出了第一个一般的差分私人估计程序的点过程模型。具体地说，我们以Hawkes过程为例，在Hawkes过程离散化表示的基础上，对事件流数据引入了严格的差分隐私定义.然后，我们提出了两个差分隐私优化算法，它可以有效地估计霍克斯过程模型与所需的隐私和效用保证在两个不同的设置。实验结果支持了我们的理论分析。
2022-09-15 cs.CR cs.LG stat.ML
Differentially Private Regression with Unbounded Covariates
Columbia University（哥伦比亚大学）；NTUA（雅典国立技术大学）；Northeastern University（东北大学）
我们为最小二乘拟合、二元回归和线性回归的经典回归设置提供计算效率高、差异私有的算法。在此之前，我们的工作，隐私约束在这样的回归设置进行了研究，在强先验界的协变量。我们考虑高斯边缘的情况，并扩展了最近关于均值和协方差估计的差分私有技术（Kamath等人，2019; Karwa和Vadhan，2018）到亚高斯政权。我们提供了一种新的技术分析，产生差异的私人算法，上述经典的回归设置。通过二元回归的案例，我们捕获了逻辑回归和线性可分支持向量机的基本和广泛研究的模型，学习真实回归向量的无偏估计，直到缩放因子。
2022-02-19 cs.CR cs.DS cs.LG
Mitigating Statistical Bias within Differentially Private Synthetic Data
University of Oxford（牛津大学）；University of Warwick（华威大学）；Universitat Pompeu Fabra（庞培法布拉大学）；University of Kaiserslautern（凯泽斯劳滕大学）；German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心）
对隐私保护机器学习的兴趣日益增加，导致了用于从未公开的真实数据生成私有合成数据的新的和进化的方法。然而，隐私保护机制可以显著降低合成数据的效用，这反过来又会影响下游任务，如学习预测模型或推理。我们提出了几个重新加权策略，使用私有化的似然比，不仅减轻下游估计的统计偏差，但也具有普遍适用性的差分私人生成模型。通过大规模的实证评估，我们表明，私人重要性加权提供了简单而有效的隐私兼容的合成数据的一般应用程序的增强。
2022-05-19 cs.CR cs.LG stat.ML
DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing
Tsinghua University（清华大学）；Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Huazhong University of Science and Technology（华中科技大学）；Virginia Tech（弗吉尼亚理工大学）
深度学习技术在广泛的任务中取得了卓越的性能。然而，当在隐私敏感数据集上训练时，模型参数可能暴露训练数据中的隐私信息。之前的差异化私有训练尝试，虽然提供了严格的隐私保证，但导致模型性能比非私有训练低得多。此外，同一训练算法的不同运行产生的模型具有很大的性能差异。为了解决这些问题，我们提出了DPlis--Differentially Private Learning wIth Smoothing。DPlis的核心思想是构造一个平滑的损失函数，该函数有利于位于损失景观的大平坦区域中的抗噪声模型。我们提供了理论依据的实用程序的改进DPlis。大量的实验也表明，DPlis可以有效地提高模型质量和训练稳定性在给定的隐私预算。
2021-06-20 cs.CR cs.LG stat.ML
Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
Propose, Test, Release: Differentially private estimation with high probability
Columbia University, Department of Statistics（哥伦比亚大学统计系）；ENSAE ParisTech, Department of Statistics（巴黎高等经济商业学院统计系）
基于Dwork和Lei（2009）提出的“建议、检验、发布”（PTR）机制，我们推导了差分私有中位数和均值估计量的集中不等式。我们引入了一个新的通用版本的PTR机制，使我们能够获得高概率的误差界差分私人估计。我们的算法提供了第一个统计保证差异私人估计的中位数和平均值没有任何有界性假设的数据，而不假设目标人口参数位于一些已知的有界区间。我们的程序不依赖于任何截断的数据，并提供了第一个亚高斯高概率界差分私人中位数和均值估计，可能重尾随机变量。
2020-02-19 cs.CR cs.LG math.ST
Differentially-Private Logistic Regression for Detecting Multiple-SNP Association in GWAS Databases
Carnegie Mellon University（卡内基梅隆大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
在霍默等人发表了对全基因组关联研究（GWAS）数据的攻击之后，已经对开发用于以隐私保护方式发布GWAS数据的方法给予了相当大的关注。在这里，我们开发了一种端到端的差分私有方法，用于解决具有凸罚函数的回归问题，并通过交叉验证选择罚参数。特别是，我们专注于惩罚逻辑斯谛回归与弹性网络正则化，一种广泛用于GWAS分析，以确定致病基因的方法。我们展示了如何将弹性网络正则化惩罚逻辑斯谛回归的差分私有程序应用于GWAS数据的分析并评估我们的方法的性能。
2014-07-30 cs.LG stat.AP stat.ML
Differentially Private ADMM for Distributed Medical Machine Learning
University of Houston（休斯顿大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Science and Technology of China（中国科学技术大学）
由于大量数据分布在多个位置，分布式机器学习吸引了大量的研究兴趣。交替方向乘法（Alternating Direction Method of Multipliers，ADMM）是一种设计分布式机器学习算法的有效方法，每个Agent在本地数据集上进行计算，并通过迭代过程与相邻Agent交换计算结果。如果本地数据是敏感的，则在此迭代过程中存在显著的隐私泄漏。在本文中，我们提出了一个差分隐私ADMM算法（P-ADMM）提供动态零集中差分隐私（动态zCDP），通过插入高斯噪声线性衰减的方差。我们证明了P-ADMM与非私有对应方相比具有相同的收敛速度，即，$\mathcal{O}(1/K)$，其中$K$是一般凸和强凸问题的迭代次数和线性收敛，同时提供差分私有保证。此外，通过我们在真实世界数据集上进行的实验，我们的经验表明，P-ADMM具有最好的性能在现有的差分私有ADMM为基础的算法。
2020-12-09 cs.CR cs.LG stat.ML
Differentially Private E-Values
FGV EMAp
针对E值可能泄露敏感数据的问题，提出基于有偏乘性噪声机制的通用框架，将非隐私E值转换为保持统计有效性的差分隐私E值，其渐近功效与非隐私版本相当，在多场景实验中验证了有效性与广泛适用性。
2025-10-21 cs.CR cs.LG stat.ME
A Polynomial Time, Pure Differentially Private Estimator for Binary Product Distributions
University of Waterloo（滑铁卢大学）
该研究提出首个兼具ε-差分隐私与计算高效性的二元乘积分布均值估计算法，在总变分距离下保证估计精度，样本复杂度在多对数因子内达最优，弥补了此前研究隐私性弱或运行时间指数级的不足。
2024-01-25 cs.CR cs.DS cs.LG
Two Differentially Private Rating Collection Mechanisms for Recommender Systems
我们设计了两种机制的推荐系统来收集用户的评分。一种是改进的拉普拉斯机制，另一种是随机响应机制。我们证明了它们都是差分私有的，并且保持了数据效用。
2016-04-28 cs.CR cs.IR stat.ML
Differentially Private Stochastic Coordinate Descent
IBM Research, Zurich（苏黎世IBM研究院）
在本文中，我们解决的挑战，使随机坐标下降算法差异私人。与经典的梯度下降算法相比，其中更新对单个模型向量进行操作，并且对该向量的受控噪声添加足以隐藏关于个体的关键信息，随机坐标下降关键地依赖于在训练期间将辅助信息保持在内存中。这种辅助信息提供了额外的隐私泄露，并构成了这项工作中解决的主要挑战。驱动的洞察下，独立的噪声添加，辅助信息的一致性保持在预期中，我们提出了DP-SCD，第一个差分私人随机坐标下降算法。我们从理论上分析了我们的新方法，并认为解耦和并行坐标更新是必不可少的实用程序。在实证方面，我们证明了竞争力的表现对流行的随机梯度下降替代（DP-SGD），同时需要显着较少的调整。
2021-03-14 cs.CR cs.LG stat.ML
Differentially Private Synthetic Control
Columbia University（哥伦比亚大学）
合成控制是一种因果推理工具，用于通过创建合成的反事实数据来估计干预措施的治疗效果。这种方法结合了来自其他类似观测的测量结果（即，供体库）来预测感兴趣的反事实时间序列（即，目标单位）通过分析干预前目标和供体库之间的关系。随着合成控制工具越来越多地应用于敏感或专有数据，通常需要正式的隐私保护。在这项工作中，我们提供了第一个算法差分私人合成控制显式误差界。我们的方法建立在非私人合成控制和差异私人经验风险最小化的工具。我们提供的合成控制查询的灵敏度上的上限和下限，并提供明确的误差界限，我们的私人合成控制算法的准确性。我们表明，我们的算法产生准确的预测目标单位，隐私的成本很小。最后，我们经验性地评估我们的算法的性能，并显示出良好的性能，在各种参数制度，以及提供指导，从业者的超参数调整。
2023-03-24 cs.DS cs.LG stat.ML
Representation Transfer for Differentially Private Drug Sensitivity Prediction
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
动机：人类基因组数据集通常包含限制数据使用和共享的敏感信息。特别是，简单的匿名化策略无法为基因组数据提供足够的保护，因为数据本身是可识别的。差异私有机器学习可以保证发布的结果不会泄露太多关于任何单个数据点的信息。最近的研究已经取得了可喜的成果差异私人药物敏感性预测使用基因表达数据。基于基因组数据的差分隐私学习具有挑战性，因为它更难保证高维数据的隐私性。降维可以有所帮助，但如果降维映射是从数据中学习的，那么它也需要是差异隐私的，这可能会带来显着的隐私成本。此外，任何超参数（如目标维度）的选择也需要避免泄露私人信息。结果：我们研究了一种方法，该方法使用类似类型的大型公共数据集来学习差分私有学习的紧凑表示。我们比较了三种表示学习方法：变分自编码器，PCA和随机投影。我们解决了两个关于癌细胞系基因表达的机器学习任务：癌症类型分类和药物敏感性预测。实验表明，所有表示学习方法都具有显着的优势，变分自动编码器最常提供最准确的预测。我们的研究结果显着提高了以前的国家的最先进的差异私人药物敏感性预测的准确性。
2019-01-29 cs.CR cs.LG q-bio.QM
Differentially Private Learning of Undirected Graphical Models using Collective Graphical Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Mount Holyoke College（曼荷莲学院）；Colgate University（科尔盖特大学）
我们研究的问题，学习离散的，无向的图形模型在一个不同的私人方式。我们表明，使用拉普拉斯机制释放噪声足够的统计数据的方法实现了隐私，实用性和实用性之间的良好权衡。一个朴素的学习算法，使用噪声足够的统计“是”优于通用的差分私人学习算法。然而，它有三个局限性：它忽略了关于数据生成过程的知识，依赖于不确定的理论基础，并表现出一定的病态。我们开发了一种更有原则的方法，应用集体图形模型的形式主义在期望最大化框架内对真正的充分统计数据进行推理。我们表明，这学习更好的模型比竞争的方法在合成数据和真实的人类流动性数据作为案例研究。
2017-06-14 cs.CR cs.LG stat.ML
Differentially private Riemannian optimization
University of Sydney（悉尼大学）；Microsoft India（微软印度）
本文研究了参数约束在黎曼流形上的微分私人经验风险最小化问题。我们通过在切空间上的黎曼梯度上添加噪声来引入差分私有黎曼优化的框架。噪声遵循相对于黎曼度量固有地定义的高斯分布。我们适应高斯机制从欧几里得空间的切空间兼容这样的广义高斯分布。我们表明，这种策略提出了一个简单的分析相比，直接添加噪声的歧管。我们进一步展示了隐私保证的建议差分私人黎曼（随机）梯度下降使用的时刻会计技术的扩展。此外，我们证明了实用保障下测地（强）凸，一般非凸目标，以及在黎曼Polyak-Jasojasiewicz条件。我们在几个应用程序中所提出的框架的有效性。
2022-05-19 cs.CR cs.LG math.OC
Differentially Private Random Block Coordinate Descent
KAUST（阿卜杜拉国王科技大学）
提出一种差分隐私随机分块坐标下降方法，利用草图矩阵和重要性采样提升收敛速度与效用，推广了DP-CD和DP-SGD。
2024-12-22 cs.CR cs.LG math.OC
Designing Differentially Private Estimators in High Dimensions
Harvard University（哈佛大学）
本文研究了高维情形下的差分均值估计问题。现有的差分隐私技术应用于大的维度导致计算上棘手的问题或估计过度的隐私损失。最近在高维鲁棒统计方面的工作已经确定了具有渐近维数无关误差保证的计算上易于处理的均值估计算法。我们将这些结果开发一个严格的约束的鲁棒均值估计的全局灵敏度。这就产生了一个计算上易于处理的算法差分私人均值估计在高维与维度无关的隐私损失。最后，我们表明，我们的算法显着优于经典的差分隐私方法，克服了高维差分隐私的障碍。
2020-07-18 cs.CR cs.DS cs.LG
Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm
Iowa State University（爱荷华州立大学）；Rutgers University（罗格斯大学）；The University of Hong Kong（香港大学）
本文研究充分降维中的隐私保护问题，提出达到极小极大下界（相差对数因子）的差分隐私切片逆回归算法，并通过模拟和真实数据验证其有效性，同时将结果推广至差分隐私稀疏主成分分析。
2025-04-05 cs.CR cs.LG math.ST
Differentially private inference via noisy optimization
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）
该研究提出基于优化的差分隐私M估计计算框架与隐私置信域构建方法，结合稳健统计与噪声优化得到具收敛保证的最优隐私估计量，还构建了隐私渐近方差估计用于参数推断，经偏差校正提升了小样本性能。
2023-12-13 cs.CR cs.LG math.ST
Differentially Private Identity and Closeness Testing of Discrete Distributions
MIT（麻省理工学院）；USC（南加州大学）；TAU（特拉维夫大学）
本文研究了离散总体上随机样本的同一性和紧密性检验问题。我们的目标是开发高效的测试人员，同时保证人口中的个体的差分隐私。我们描述了一种方法，产生样本有效的差异私人测试这些问题。我们的理论研究结果表明，存在私人身份和亲密度测试，几乎是他们的非私人同行的样本效率。我们进行实验评估我们的算法上的合成数据。我们的实验表明，我们的私人测试人员实现小的I型和II型错误的样本量次线性域大小的基础分布。
2017-07-18 cs.DS cs.IT cs.LG
