Adaptive Differentially Private Empirical Risk Minimization
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个自适应（随机）梯度扰动方法差分私人经验风险最小化。在每次迭代中，添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有（ADP）学习。给定相同的隐私预算，我们证明了ADP方法大大提高了效用保证相比，标准的差分私人的方法，其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用，包括AdaGrad的变体（Duchi等人，2011年）。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
Differentially Private Empirical Risk Minimization: Efficient Algorithms and Tight Error Bounds
The Pennsylvania State University（宾夕法尼亚州立大学）；Boston University（波士顿大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
在本文中，我们提出了一个系统的调查差分私人算法凸经验风险最小化。以前已经研究过这个问题的各种实例。我们提供了新的算法和匹配的私人ERM下界假设只有每个数据点的贡献的损失函数是Lipschitz有界的，优化的域是有界的。我们提供了一个单独的一组算法和匹配的下限的设置，其中的损失函数已知也是强凸的。我们的算法运行在多项式时间，在某些情况下，甚至匹配的最佳非私有运行时间（如Oracle复杂性）。我们给单独的算法（和下限）为$(ε,0)$ -和$(ε,δ)$ -差分隐私，也许令人惊讶的是，用于设计最佳算法的技术在这两种情况下是完全不同的。我们的下界甚至适用于非常简单的光滑函数族，如线性和二次函数。这意味着，从以前的工作中的算法可以用来获得最佳的出错率，在额外的假设下，每个数据点的损失函数的贡献是平滑的。我们表明，简单的方法来平滑任意损失函数（为了应用以前的技术）不产生最佳的出错率。特别是，最佳算法是以前不知道的问题，如训练支持向量机和高维中位数。
2014-10-17 cs.CR cs.LG stat.ML
Differentially Private Empirical Risk Minimization with Input Perturbation
University of Tsukuba（筑波大学）；Secom Co., Ltd.（西科姆有限公司）；JST CREST（日本科学技术振兴机构 CREST）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
我们提出了一个新的框架，差分私人ERM，输入扰动。现有的差异化私有ERM隐含地假设数据贡献者将其私有数据提交给数据库，期望数据库调用差异化私有机制来发布所学习的模型。在输入扰动中，每个数据贡献者独立地随机化她/他的数据，并将扰动后的数据提交给数据库。我们表明，输入扰动框架理论上保证了与随机数据学习的模型最终满足规定的隐私参数的差分隐私。同时，输入扰动保证了服务器的局部差分隐私。我们还证明了在一定条件下，输入扰动学习的模型的超额风险界为$O(1/n)$，其中$n$为样本量.这与最新技术水平的超额风险界限相同。
2017-10-20 cs.LG stat.ML
Private Empirical Risk Minimization Beyond the Worst Case: The Effect of the Constraint Set Geometry
Google（谷歌）；Microsoft Research Silicon Valley（微软研究院硅谷分院）；Yahoo Labs（雅虎实验室）
经验风险最小化（ERM）是机器学习中的一种标准技术，其中通过最小化约束集上的损失函数来选择模型。当训练数据集由私有信息组成时，很自然地使用差分私有ERM算法，这个问题一直是Chaudhuri和Monteleoni 2008开始的一系列工作的主题。私有ERM算法输出损失函数的近似最小值，其误差可以用与损失函数最优值的差来衡量。当约束集是任意的时，所需的误差界限是相当好理解的\cite{BassilyST14}。在这项工作中，我们表明，几何属性的约束集可以用来获得更好的结果。具体而言，我们表明，镜像下降的差分私有版本导致Lipschitz损失函数的$\tilde{O}(G_{\mathcal{C}}/n)$形式的误差界，改进了Basily，Smith和Thakurta 2014中的$\tilde{O}(\sqrt{p}/n)$界。这里$p$是问题的维度，$n$是训练集中的数据点数量，$G_{\mathcal{C}}$表示我们优化的约束集的高斯宽度。我们表现出类似的改进强凸函数，光滑的功能。此外，我们表明，当损失函数是Lipschitz的$\ell_1$规范和$\mathcal{C}$是$\ell_1$有界的，差分私人版本的弗兰克-沃尔夫算法给出的误差界的形式$\tilde{O}(n^{-2/3})$。当数据$x_i$满足$|x_i|_{\infty} \leq 1$并且我们在$\ell…
2016-11-20 cs.CR cs.LG stat.ML
Continual and Sliding Window Release for Private Empirical Risk Minimization
University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
很难在保持隐私的同时用新数据不断更新私有机器学习模型。当数据被用于重复计算时，它们会导致越来越多的隐私损失--这是通过差分隐私来衡量的。在本文中，我们描述了正则化的经验风险最小化算法，该算法不断发布最近数据窗口的模型。该算法的一个版本使用整个数据历史来改进最近窗口的模型。第二个版本使用恒定大小的滑动窗口来改进模型，确保在数据不断变化的情况下模型更相关。该算法在随机梯度下降的框架内运行。我们证明了，即使在无限时间范围内的每个时间步释放一个模型，任何数据点的隐私成本是有界的常数$ε$差分隐私，输出模型的准确性接近最优。在MNIST和Arxiv数据上的实验结果与理论一致。
2022-03-07 cs.LG
Understanding Alternating Minimization for Matrix Completion
IBM Research Almaden（IBM阿尔马登研究院）
本文针对矩阵补全的交替最小化方法，提出基于幂法收敛分析与QR分解平滑分析的新算法，大幅降低样本量需求，运行时间接近线性，样本边界优于多数次二次时间算法。
2026-08-11 cs.DS cs.LG stat.ML
A Differentially Private Weighted Empirical Risk Minimization Procedure and its Application to Outcome Weighted Learning
University of Notre Dame（诺特大学）；St. Jude Children’s Research Hospital（圣犹大儿童研究医院）；University of Michigan（密歇根大学）
提出首个差分隐私加权经验风险最小化算法，推导经验与总体超额风险界，并应用于结果加权学习，实验证明在强隐私保护下保持鲁棒性能。
2026-08-11 cs.LG stat.ML
Differentially Private Two-Stage Empirical Risk Minimization with Applications to Individualized Treatment Rule
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文提出差分隐私两阶段经验风险最小化（DP-2ERM），通过目标扰动校准全流程的数据依赖敏感性，在因果推断和个体化治疗规则学习中实现隐私保护，并展示了优于逐阶段组合的隐私-效用权衡。
2026-05-23 math.ST stat.ML stat.TH
Differentially Empirical Risk Minimization under the Fairness Lens
Syracuse University（雪城大学）
差分隐私（Differential Privacy，DP）是私有机器学习系统中一种重要的隐私增强技术。它允许测量和约束与个人参与计算相关的风险。然而，最近观察到DP学习系统可能会加剧不同群体的偏见和不公平。本文建立在这些重要的意见，并揭示了不同的私人经验风险最小化的问题所产生的不同影响的原因。它集中在两个研究得很好的DP学习方法：输出扰动和差分私人随机梯度下降的群体之间产生的准确性差距。本文分析了哪些数据和模型属性造成了不成比例的影响，为什么这些方面对不同群体的影响不成比例，并提出了减轻这些影响的指导方针。所提出的方法进行了评估，在几个数据集和设置。
2022-09-08 cs.AI cs.CR cs.LG
Efficient Private ERM for Smooth Objectives
Peking University（北京大学）
在本文中，我们考虑有效的差分私人经验风险最小化的观点，最优化算法。对于强凸和光滑的目标，我们证明了梯度下降与输出扰动不仅实现了接近最优的效用，但也显着提高了以前的国家的最先进的私人优化算法的运行时间，为$ε$ -DP和$(ε, δ)$ -DP。对于非凸但光滑的目标，我们提出了一个RRPSGD（随机轮私人随机梯度下降）算法，该算法可证明收敛到一个平稳点的隐私保证。除了期望的效用界限，我们还提供了高概率形式的保证。实验表明，我们的算法始终优于现有的方法在实用程序和运行时间。
2017-05-24 cs.DS cs.LG stat.ML
Noise-Augmented Privacy-Preserving Empirical Risk Minimization with Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
University of Notre Dame（圣母大学）
我们提出了噪声增强的隐私保护经验风险最小化（NAPP-ERM），解决了不同的隐私保证的ERM。现有的隐私保护ERM方法可能会受到过度正则化的影响，使用l2项来实现目标正则化之上的强凸性。NAPP-ERM改进了当前的方法，并通过适当设计的增强数据迭代地实现目标正则化，并通过单个自适应加权的两用l2正则化器提供强凸性，从而减轻过度正则化。当目标正则化用于变量选择时，我们提出了一种新的正则化器，同时实现隐私和稀疏性保证。最后，我们提出了一种策略，以检索隐私预算时，满足强凸性的要求，这可以返回给用户，这样的DP的ERM是保证在一个较低的隐私成本比原来计划的，或被回收到ERM优化过程中，以减少注入DP噪声，提高DP-ERM的效用。从实现的角度来看，NAPP-ERM可以通过优化给定噪声增强数据的非扰动目标函数来实现，因此可以利用现有的工具进行非私有ERM优化。我们通过大量的实验说明了NAPP-ERM对变量选择和预测的过度正则化和私人预算检索的缓解效果。
2021-10-16 cs.CR cs.LG stat.ML
Bring Your Own Algorithm for Optimal Differentially Private Stochastic Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学习系统中心）；Amazon（亚马逊）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
我们研究了光滑随机极大极小优化的差分私有（DP）算法，随机极小化作为副产品。这些设置的圣杯是使用训练样本数量具有线性时间复杂度的算法来保证隐私和过度人口损失之间的最佳权衡。我们提供了一个通用的框架来解决差分私有随机极大极小优化（DP-SMO）问题，这使得从业者能够带来自己的基础优化算法，并将其作为一个黑盒，以获得接近最优的隐私损失权衡。我们的框架受到最近提出的非光滑差分私有随机凸优化（DP-SCO）的阶段性ERM方法[22]的启发，该方法利用经验风险最小化（ERM）的稳定性来保证隐私。我们的方法的灵活性，使我们能够回避基本算法需要有界的灵敏度的要求，并允许使用复杂的方差减少加速方法，以实现近线性的时间复杂度。据我们所知，这是第一个近线性时间算法，人口的对偶性差距光滑DP-SMO的近最佳保证，当目标是（强）凸-（强）凹。此外，基于我们灵活的框架，我们丰富了家庭的近线性时间算法的平滑DP-SCO与接近最佳的隐私损失的权衡。
2022-10-19 cs.CR cs.LG math.OC
Output Perturbation for Differentially Private Convex Optimization: Faster and More General
University of Southern California（南加州大学）
本文提出基于输出扰动的差分隐私凸优化算法，在光滑强凸损失下实现最优超额风险与线性时间，并推广至倾斜损失和对抗训练，首次给出紧的(ε,0)-DP界。
2024-09-20 cs.CR cs.LG stat.ML
Differentially Private Correlation Clustering
Boston University（波士顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Microsoft Research（微软研究院）
相关聚类是无监督机器学习中广泛使用的技术。出于个人隐私是一个问题的应用程序，我们开始研究的差异私人相关聚类。我们提出了一种算法，实现次二次加性误差相比，最佳成本。相比之下，现有的非私有算法的直接适应都导致一个微不足道的二次误差。最后，我们给出了一个下界，表明任何纯差分相关聚类算法需要$Ω(n)$的附加误差。
2021-02-17 cs.CR cs.DS cs.LG
Differentially private Riemannian optimization
University of Sydney（悉尼大学）；Microsoft India（微软印度）
本文研究了参数约束在黎曼流形上的微分私人经验风险最小化问题。我们通过在切空间上的黎曼梯度上添加噪声来引入差分私有黎曼优化的框架。噪声遵循相对于黎曼度量固有地定义的高斯分布。我们适应高斯机制从欧几里得空间的切空间兼容这样的广义高斯分布。我们表明，这种策略提出了一个简单的分析相比，直接添加噪声的歧管。我们进一步展示了隐私保证的建议差分私人黎曼（随机）梯度下降使用的时刻会计技术的扩展。此外，我们证明了实用保障下测地（强）凸，一般非凸目标，以及在黎曼Polyak-Jasojasiewicz条件。我们在几个应用程序中所提出的框架的有效性。
2022-05-19 cs.CR cs.LG math.OC
Rademacher Observations, Private Data, and Boosting
NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）；University of New South Wales（新南威尔士大学）
最小化逻辑损失是批量监督学习的一种流行方法。我们的论文从令人惊讶的观察开始，当拟合线性（或核化）分类器时，逻辑损失的最小化是\textit{equivalent}到指数\textit{rado} -损失的最小化，（i）在我们称为Rademacher观测（rados）的转换数据上计算，（ii）在\textit{same}分类器上计算，作为逻辑损失之一。因此，从rados学习的分类器可以是用于对\textit{observations}进行分类的\textit{directly}。我们提供了一个学习算法在rados与提升兼容的收敛速度上的\textit{logistic loss}（计算的例子）。在具有多达数百万个示例的领域上进行的实验（由理论论证支持）显示，通过一小组随机rado进行学习可以挑战通过\textit{complete}组示例进行学习的最新技术水平。我们表明，rados符合各种隐私要求，使它们成为隐私框架中机器学习的良好候选者。我们给出了几个代数，几何和计算硬度的结果重建的例子从雷达。我们还展示了如何在差分隐私框架中制作并有效地学习雷达。测试表明，从不同的私人雷达的学习可以与随机雷达的学习竞争，因此与批量学习的例子，实现非平凡的隐私与准确性的权衡。
2015-04-02 cs.LG
Stability Enhanced Privacy and Applications in Private Stochastic Gradient Descent
University of Edinburgh（爱丁堡大学）
私人机器学习涉及在训练时添加噪声，导致准确性较低。直觉上，更高的稳定性意味着更大的隐私，并改善这种隐私-效用权衡。我们研究了这种作用的稳定性在私人经验风险最小化，差分隐私是通过输出扰动，并建立了相应的理论结果表明，强凸损失函数，一个算法的$β$的一致稳定性意味着一个界的$O(\sqrtβ)$上所需的差分隐私的噪声规模。结果适用于显式正则化和隐式稳定的ERM，例如已知稳定的随机梯度下降的适应。因此，它概括了最近的结果，通过修改SGD提高隐私，并建立稳定性作为统一的观点。它意味着新的隐私保证的优化与统一的稳定性保证，相应的差分隐私保证是以前不知道的。实验结果验证了稳定性增强隐私在几个问题中的实用性，包括弹性网的应用和特征选择。
2020-06-25 cs.CR cs.LG stat.ML
On the Differentially Private Nature of Perturbed Gradient Descent
IIT Madras（印度理工学院马德拉斯分校）
我们考虑给定数据库的经验风险最小化问题，使用梯度下降算法。我们注意到，要优化的函数可能是非凸的，由鞍点组成，这阻碍了算法的收敛。通常采用扰动梯度下降算法来逃离这些鞍点。我们表明，这种算法，扰动的梯度，本质上保留了数据的隐私。然后，我们采用的差分隐私框架，从而实现量化的隐私。我们还分析了隐私的变化与不同的参数，如问题的尺寸和数据库之间的距离。
2021-01-18 cs.CR cs.LG
Momentum Aggregation for Private Non-convex ERM
Boston University（波士顿大学）
我们引入新的算法和收敛保证隐私保护的非凸经验风险最小化（ERM）光滑$d$维目标。我们开发了一个改进的灵敏度分析的随机梯度下降光滑的目标，利用在不同时期的例子的复发。通过将这种新方法与最近的动量分析与私有聚合技术相结合，我们提供了一个$(ε,δ)$ -差分私有算法，该算法在$O\left(\frac{N^{7/3}ε^{4/3}}{d^{2/3}}\right)$梯度评估中找到了范数$\tilde O\left(\frac{d^{1/3}}{(εN)^{2/3}}\right)$的梯度，改进了$\tilde O\left(\frac{d^{1/4}}{\sqrt{εN}}\right)$以前的最佳梯度界。
2022-10-12 cs.LG
Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent
Google（谷歌公司）
我们重新研究了差异私人经验风险最小化（ERM）的问题。我们证明了对于无约束凸广义线性模型（GLM），可以得到$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的超额经验风险，其中${\texttt{rank}}$是GLM问题中特征矩阵的秩，$n$是数据样本数，$ε$是隐私参数.这个界限是通过差分私有梯度下降（DP-GD）来实现的。此外，通过第一个无约束的私人ERM的下限，我们表明，我们的上限是紧的。与受约束的ERM设置形成鲜明对比的是，不依赖于环境模型空间（$p$）的维数。（请注意，${\texttt{rank}}\leq \min\{n, p\}$。）此外，我们还得到了一个类似的超额人口风险界，它依赖于${\texttt{rank}}$而不是$p$。对于平滑非凸GLM设置（即，其中的目标函数是非凸的，但保持GLM结构），我们进一步表明，DP-GD达到了一个维数无关的收敛$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的一阶平稳点的基本目标。最后，我们表明，对于凸GLM，在实践中常用的DP-GD的一个变体（涉及裁剪个别梯度）也表现出相同的维数独立收敛到一个明确定义的目标的最小值。为此，我们提供了一个结构引理，其特征在于DP-GD的优化配置文件上的裁剪的效果。
2021-03-02 cs.CR cs.LG math.OC
Bypassing the Ambient Dimension: Private SGD with Gradient Subspace Identification
University of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
差分私人SGD（DP-SGD）是求解差分私人经验风险最小化（ERM）问题的最常用方法之一。由于其在每个梯度更新上的噪声扰动，DP-SGD的出错率与环境维度$p$（模型中的参数数量）成比例。这种依赖性对于过参数化模型可能是有问题的，其中$p \gg n$是训练样本的数量。现有的私营企业风险管理的下限表明，这种依赖$p$在最坏的情况下是不可避免的。在本文中，我们通过利用深度网络中梯度空间的低维结构来规避对环境维度的依赖-也就是说，深度网络的随机梯度通常在训练过程中停留在低维子空间中。我们提出了投影DP-SGD，通过将噪声梯度投影到低维子空间来进行降噪，该子空间由小型公共数据集上的顶部梯度特征空间给出。我们提供了一个一般的样本复杂性分析的公共数据集的梯度子空间识别问题，并证明了在某些低维假设下，公共样本的复杂性只增长在$p$。最后，我们提供了一个理论分析和实证评估表明，我们的方法可以大大提高DP-SGD在高隐私制度（对应于低隐私损失$ε$）的准确性。
2021-04-23 cs.CR cs.LG stat.ML
Private Convex Optimization in General Norms
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
我们提出了一个新的框架，差分私人优化的凸函数是Lipschitz在任意范数$\|\cdot\|$。我们的算法是基于一个正则化的指数机制，从密度$\propto \exp(-k(F+μr))$的样本，其中$F$是经验损失和$r$是一个正则化强凸相对于$\|\cdot\|$，推广最近的工作[Gopi，李，刘'22]非欧几里德设置。我们表明，该机制满足高斯差分隐私，并解决了DP-ERM（经验风险最小化）和DP-SCO（随机凸优化）通过使用凸几何的本地化工具。我们的框架是第一个适用于私人凸优化一般赋范空间，并直接恢复非私人SCO率实现镜像下降的隐私参数$ε\to \infty$。作为应用，对于所有$p \in (1, 2)$的$\ell_p$范数中的Lipschitz优化，我们获得了第一个最优的隐私-效用权衡;对于$p = 1$，我们通过至少一个对数因子改进了最近的作品[Asi，Feldman，Koren，Talwar '21，Basily，Guzman，Nandi '21]获得的权衡。我们的$\ell_p$规范和Schatten- $p$规范优化框架补充了多项式时间采样器，其查询复杂性，我们显式绑定。
2022-11-10 cs.CR cs.LG math.OC
Private Rate-Constrained Optimization with Applications to Fair Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
针对差分隐私下的率约束优化问题，提出RaCO-DP算法，通过SGDA的拉格朗日形式处理约束，额外隐私代价仅限于每步小批量直方图估计，理论证明收敛，实验在公平约束下帕累托优于现有方法。
2026-07-01 cs.CR cs.LG stat.ML
Enforcing fairness in private federated learning via the modified method of differential multipliers
KTH Royal Institute of Technology（KTH皇家理工学院）；Apple（苹果公司）
具有差分隐私的联邦学习或私有联邦学习提供了一种在尊重用户隐私的同时训练训练机器学习模型的策略。然而，差分隐私会不成比例地降低模型在代表性不足的群体上的性能，因为在存在噪声的情况下，分布的这些部分很难学习。在机器学习模型中实施公平性的现有方法已经考虑了集中式设置，其中算法可以访问用户的数据。本文介绍了一种在私有联邦学习中增强组公平性的算法，其中用户的数据不会离开他们的设备。首先，本文将修正的微分乘子方法推广到具有公平性约束的经验风险最小化问题，从而提供了一种在中心环境下实现公平性的算法。然后，将该算法扩展到私有联邦学习环境。所提出的算法，\texttt{FPFL}，测试的联邦版本的成人数据集和“不公平”版本的FEMNIST数据集。这些数据集上的实验显示了私有联邦学习如何加剧训练模型中的不公平性，以及FPFL如何能够减轻这种不公平性。
2022-04-15 cs.LG stat.ML
Optimal differentially private kernel learning with random projection
Department of Mathematical Sciences, KAIST（数学科学系，韩国科学技术院）；Department of Industrial and Systems Engineering, KAIST（工业与系统工程系，韩国科学技术院）
本文提出基于随机投影的差分隐私核ERM算法，在经验风险最小化框架下实现平方损失和Lipschitz光滑凸损失函数的最小最大最优超额风险率。
2026-04-29 cs.LG stat.ME stat.ML
Empirical Risk Minimization in the Non-interactive Local Model of Differential Privacy
University at Buffalo, SUNY（纽约州立大学布法罗分校）；Boston University（波士顿大学）
本文研究了非交互式局部差分隐私（LDP）模型中的经验风险最小化（ERM）问题。以前对这个问题的研究\citep{smith2017interaction}表明，样本的复杂性，实现错误$α$，需要指数依赖于一般损失函数的维数$p$。在本文中，我们做了两个尝试，以解决这个问题，通过调查的条件损失函数，让我们消除这样的限制。在我们的第一次尝试中，我们表明，如果损失函数是$(\infty, T)$ -光滑的，通过使用伯恩斯坦多项式近似，我们可以避免指数依赖项的$α$。然后，我们提出了球员有效的算法与$1$位通信复杂性性和$O(1)$计算成本为每个球员。这些算法的误差界是渐近相同的原始。在一些额外的假设下，我们还给出了一个算法，这是更有效的服务器。在我们的第二次尝试中，我们表明，对于任何$1$ -Lipschitz广义线性凸损失函数，有一个$(ε, δ)$ -LDP算法，其样本复杂度为实现错误$α$是线性的维度$p$。我们的结果使用多项式的内积近似技术。最后，出于使用多项式近似的想法和不同类型的多项式近似的基础上，我们提出了（有效的）非交互式局部差分私有算法学习的k路边缘查询集和光滑查询集。
2020-11-11 cs.CR cs.LG stat.ML
Machine Unlearning via Algorithmic Stability
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
我们研究了机器遗忘的问题，并确定了算法稳定性的概念，总变差（TV）的稳定性，我们认为，是适合的目标，准确的遗忘。对于凸风险最小化问题，我们设计了基于噪声随机梯度下降（SGD）的TV稳定算法。我们的主要贡献是设计相应的有效的unlearning算法，这是基于构建一个（最大）耦合的马尔可夫链的噪声SGD过程。为了理解准确性和学习效率之间的权衡，我们给出了凸风险最小化的TV稳定算法的过度经验和种群风险的上界和下界。我们的技术推广到任意的非凸函数，我们的算法是差分私有的。
2021-02-25 cs.LG stat.ML
Private Blind Model Averaging - Distributed, Non-interactive, and Convergent
University of Luebeck（吕贝克大学）
本文提出盲模型平均方法，通过非交互式输出扰动实现分布式差分隐私学习，在多类分类任务中提升隐私与效用的权衡。
2026-02-24 cs.CR cs.LG stat.ML
Efficient Privacy-Preserving Stochastic Nonconvex Optimization
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
虽然许多解决方案的隐私保护凸经验风险最小化（ERM）已经开发，隐私保护非凸ERM仍然是一个挑战。我们研究非凸ERM，它采取的形式是最小化有限和的非凸损失函数的训练集。我们提出了一个新的差分私人随机梯度下降算法的非凸ERM，有效地实现强隐私保证，并提供了一个严密的分析其隐私和效用的保证，以及其梯度的复杂性。我们的算法降低了梯度复杂度，同时提高了Wang等人给出的最佳效用保证（NeurIPS 2017）。我们在基准非凸ERM问题上的实验表明，与以前使用相同隐私预算的差分隐私方法相比，在训练成本和效用增益方面具有优异的性能。
2023-02-02 cs.CR cs.LG math.OC
Fast Dimension Independent Private AdaGrad on Publicly Estimated Subspaces
Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research - Brain（谷歌研究院-大脑团队）
我们重新讨论了具有不同隐私的经验风险最小化（ERM）问题。我们表明，嘈杂的AdaGrad，适当的知识和条件的子空间，从梯度可以得出，实现了遗憾相比，传统的AdaGrad加上一个控制良好的长期由于噪声。我们展示了$O(\text{Tr}(G_T)/T)$的收敛速度，其中$G_T$捕获梯度子空间的几何形状。由于$\text{Tr}(G_T)=O(\sqrt{T})$，我们可以获得更快的速度为凸函数和Lipschitz函数，相比之下，$O(1/\sqrt{T})$率实现了已知版本的噪声（随机）梯度下降与可比的噪声方差。特别是，我们表明，如果梯度位于一个已知的常数秩子空间，并假设算法访问的信封边界衰减的灵敏度，可以实现更快的收敛到一个多余的经验风险的$\tilde O(1/εn)$，其中$ε$是隐私预算和$n$的样本数。让$p$成为问题维度，这个结果意味着，通过运行噪声Adagrad，我们可以在$T=(εn)^{2/(1+2α)}$迭代中绕过DP-SGD界$\tilde O(\sqrt{p}/εn)$，其中$α\geq 0$是控制梯度范数衰减的参数，而不是$T=ε^2n^2$的SGD所达到的速率。我们的结果与一般的凸函数在约束和无约束的最小化。一路上，我们做了一个扰动分析的独立利益的嘈杂AdaGrad。我们对私人ERM问题的效用保证是嘈杂的AdaGrad的遗憾保证的必然结果。
2021-01-30 cs.LG stat.ML
Dirichlet Mechanism for Differentially Private KL Divergence Minimization
Chiang Mai University（清迈大学）
给定敏感数据$x$的经验分布$f(x)$，我们考虑在概率单纯形上最小化$F(y) = D_{\text{KL}} (f(x)\Vert y)$的任务，同时保护$x$的隐私。我们观察到，如果我们采用指数机制并使用KL散度作为损失函数，那么所得到的算法是从Dirichlet分布输出单个绘制的Dirichlet机制。基于此，我们提出了一种Rényi差分私有（RDP）算法，该算法采用Dirichlet机制来解决KL发散最小化任务。此外，给定$f(x)$如上所述和$\hat{y}$的Dirichlet机制的输出，我们证明了概率尾界$D_{\text{KL}} (f(x)\Vert \hat{y})$，然后使用它来推导我们的RDP算法的样本复杂度的下界。在真实数据集上的实验表明，该算法在监督分类和最大似然估计方面优于高斯和拉普拉斯机制。
2023-02-21 cs.AI cs.CR cs.LG
On the Benefits of Accelerated Optimization in Robust and Private Estimation
University of Cambridge（剑桥大学）
本文研究基于Frank-Wolfe方法和Nesterov动量投影梯度下降的加速优化在差分隐私与重尾鲁棒估计中的优势，通过噪声梯度、高斯机制和几何中位数均值估计器降低迭代复杂度，并在多种数据设定下获得更强的统计保证和最优收敛速率。
2025-06-03 cs.LG math.ST stat.ML
On Convex Optimization with Semi-Sensitive Features
Google Research（谷歌研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究了半敏感差分隐私设置下的经验风险最小化问题，给出了改进的上下界，并证明误差在敏感域大小上仅以多对数级增长，优于先前的多项式级结果。
2024-06-27 cs.CR cs.DS cs.LG
Finding Differentially Private Second Order Stationary Points in Stochastic Minimax Optimization
King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学）；Provable Responsible AI and Data Analytics (PRADA) Lab（可证责任AI和数据分析师实验室）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Seoul National University（首尔国立大学）
本文提出了一种结合梯度下降-上升和方差减少的算法，在随机博弈优化中实现差分隐私的二阶 stationary 点。
2026-02-01 cs.LG
Improved Rates of Differentially Private Nonconvex-Strongly-Concave Minimax Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；KAUST（阿卜杜拉国王科技大学）
本文研究差分隐私下的非凸-强凹极小极大优化问题，分析DP版SGDA的梯度上界，提出低噪声方差新方法提升上界至与非凸DP经验风险最小化最优结果持平，讨论下界并通过实验验证理论。
2025-03-24 cs.LG
Differentially Private Regret Minimization in Episodic Markov Decision Processes
Indian Institute of Science（印度科学理工学院）；Wayne State University（韦恩州立大学）
研究了差分隐私（DP）约束下有限水平表马尔可夫决策过程（MDP）的后悔最小化问题。这是由强化学习（RL）在现实世界中的顺序决策问题，其中保护用户的敏感和私人信息变得至关重要的广泛应用的动机。我们考虑DP的两种变体-联合DP（JDP），其中集中式代理负责保护用户的敏感数据和本地DP（LDP），其中信息需要直接在用户端保护。我们首先提出了两个一般框架-一个用于策略优化，另一个用于值迭代-用于设计私有的乐观RL算法。然后，我们实例化这些框架与合适的隐私机制，以满足JDP和LDP的要求，同时获得次线性后悔保证。遗憾界表明，在JDP下，隐私成本只是一个低阶的加法项，而在LDP下，更强的隐私保护，所遭受的成本是乘法。最后，遗憾界得到了一个统一的分析，这，我们相信，可以扩展到表MDPs。
2021-12-20 cs.CR cs.LG math.PR
Differentially Private Non-Convex Optimization under the KL Condition with Optimal Rates
The Ohio State University（俄亥俄州立大学）；The Johns Hopkins University（约翰霍普金斯大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文研究zCDP下满足KL条件的隐私ERM，提出方差缩减梯度下降、隐私近端点法及自适应噪声梯度下降，得到接近最优的超额风险与驻点逼近速率。
2024-04-03 cs.CR cs.LG math.OC
DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出DP$^2$-FedSAM，结合个性化部分模型共享与锐度感知最小化，在差分隐私联邦学习中减轻噪声与裁剪影响，提升模型效用，尤其在数据异构场景下改善隐私-效用权衡。
2024-09-20 cs.CR cs.DC cs.LG
Differentially Private Algorithms for the Stochastic Saddle Point Problem with Optimal Rates for the Strong Gap
The Ohio State University（俄亥俄州立大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文提出一种基于递归正则化的差分隐私算法，在 $(ε,δ)$-差分隐私下以近乎最优的强间隙率解决凸-凹随机鞍点问题，并揭示了算法稳定性与准确性之间的基本权衡。
2023-06-29 cs.CR cs.LG math.OC
Private Federated Learning Without a Trusted Server: Optimal Algorithms for Convex Losses
University of Southern California（南加州大学）
本文研究跨孤岛联邦学习中不信任服务器场景下的隐私保护问题，提出ISRL-DP框架，并针对凸/强凸损失给出紧致上下界，通过加速算法在更少通信轮数内达到最优界，同时借助安全混洗器在实用信任假设下实现最优中心DP速率。
2024-11-24 cs.CR cs.LG math.OC
Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation
Oklahoma State University（俄克拉荷马州立大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
交替方向乘子法（ADMM）是一种流行的分布式学习算法，其中节点网络通过与分布式数据和数据交换相关联的迭代局部计算来协作求解正则化的经验风险最小化。当训练数据是敏感数据时，交换的迭代将引起严重的隐私问题。在本文中，我们的目标是提出一个新的差分私有分布式ADMM算法，提高了精度的范围广泛的凸学习问题。在我们提出的算法中，我们采用的目标函数的近似在本地计算中引入校准噪声的更新鲁棒性，并允许多个原始变量更新每个节点在每次迭代。我们的理论结果表明，我们的方法可以获得更高的效用，通过这样的多次近似更新，并实现了最先进的差分私人经验风险最小化的误差界渐近。
2020-05-16 cs.CR cs.DC cs.LG
Differentially Private Empirical Risk Minimization
University of California, San Diego（加州大学圣地亚哥分校）；Columbia University（哥伦比亚大学）
隐私保护机器学习算法对于分析个人数据（如医疗或财务记录）的日益常见的环境至关重要。我们提供了一般的技术来产生隐私保护近似的分类器通过（正则化）经验风险最小化（ERM）学习。根据Dwork等人（2006）的$ε$ -差分隐私定义，这些算法是私有的。首先，我们将Dwork et al.（2006）的输出扰动思想应用于ERM分类。在此基础上，提出了一种新的隐私保护机器学习算法设计方法--目标扰动法。这种方法需要在优化分类器之前扰动目标函数。如果损失和正则化满足一定的凸性和可微性标准，我们证明了理论结果表明，我们的算法保持隐私，并提供线性和非线性内核的泛化范围。我们进一步提出了一种隐私保护技术，用于调整一般机器学习算法中的参数，从而为训练过程提供端到端的隐私保证。我们应用这些结果来产生隐私保护的正则化逻辑回归和支持向量机的类似物。我们从真实的人口和基准数据集上评估他们的表现，获得了令人鼓舞的结果。我们的研究结果表明，无论是理论上和经验上，客观扰动优于以前的国家的最先进的，输出扰动，在管理隐私和学习性能之间的固有权衡。
2011-02-16 cs.AI cs.CR cs.DB
Differentially Private Worst-group Risk Minimization
The Ohio State University（俄亥俄州立大学）；Translational Data Analytics Institute (TDAI)（转化数据分析研究所）
本文研究差分隐私下的最差组风险最小化，提出稳定性泛化分析及在线凸优化框架，并给出在线与离线设定下近乎最优的超额风险界。
2024-02-29 cs.AI cs.CR cs.LG
Learning with User-Level Privacy
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；Google Research（谷歌研究院）；Courant Institute（库朗研究所）
我们提出并分析了算法，以解决一系列的学习任务下，用户级的差分隐私的限制。用户级DP不是仅保证单个样本的隐私，而是保护用户的整个贡献（$m \ge 1$样本），提供更严格但更现实的保护以防止信息泄漏。我们发现，对于高维均值估计，经验风险最小化与光滑损失，随机凸优化，和学习假设类与有限度量熵，隐私成本降低为$O(1/\sqrt{m})$作为用户提供更多的样本。相反，当增加用户$n$的数量时，隐私成本以更快的$O(1/n)$速率降低。我们补充这些结果与下界显示我们的算法的平均估计和随机凸优化的极大极小最优性。我们的算法依赖于新的技术在任意维度的私人均值估计与误差缩放的浓度半径$τ$的分布，而不是整个范围。
2021-12-03 cs.CR cs.LG math.OC
Differentially Private Distribution Release of Gaussian Mixture Models via KL-Divergence Minimization
State Key Laboratory of Internet of Things for Smart City and the Department of Electrical and Computer Engineering, University of Macau（物联网智能城市国家重点实验室和澳门大学电子与计算机工程系）；Department of Electrical and Computer Engineering, Cornell Tech, Cornell University（电气与计算机工程系，康奈尔科技，康奈尔大学）；Computing Sciences Research, Lawrence Berkeley National Laboratory（计算科学研究所，劳伦斯伯克利国家实验室）
本文提出通过KL散度度量高斯混合模型发布精度，结合差分隐私机制，在保证隐私安全的同时保持模型效用。
2026-10-16 cs.CR cs.IT cs.LG
Bilateral Trade: A Regret Minimization Perspective
Università degli Studi di Milano（米兰大学）；Toulouse School of Economics (TSE)（图卢兹经济学院）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所）；Istituto Italiano di Tecnologia（意大利理工学院）；Sapienza Università di Roma（罗马一大（罗马智慧大学））
双边贸易是经济学中的一个基本话题，它模拟了两个战略代理人（卖方和买方）之间的中介问题，这两个战略代理人愿意交易他们持有私人估值的商品。在本文中，我们投在$T$轮的卖方/买方互动的后悔最小化框架的双边贸易问题，没有事先知道他们的私人估值。我们的主要贡献是一个完整的表征后悔制度的固定价格机制与不同的反馈模型和私人估值，作为基准的最佳固定价格在事后。更准确地说，我们证明了以下关于遗憾的严格界限：-对于全反馈的$Θ(\sqrt{T})$（即，直接揭示机制）。- $Θ(T^{2/3})$用于现实反馈（即，定价机制）和独立的卖方/买方估值与有界密度。- $Θ(T)$提供真实的反馈和卖方/买方估价，密度有限。- $Θ(T)$提供真实的反馈和独立的卖方/买方估价。- $Θ(T)$用于对抗性设置。
2021-09-08 cs.GT cs.LG econ.TH
Differentially Private Synthetic Control
Columbia University（哥伦比亚大学）
合成控制是一种因果推理工具，用于通过创建合成的反事实数据来估计干预措施的治疗效果。这种方法结合了来自其他类似观测的测量结果（即，供体库）来预测感兴趣的反事实时间序列（即，目标单位）通过分析干预前目标和供体库之间的关系。随着合成控制工具越来越多地应用于敏感或专有数据，通常需要正式的隐私保护。在这项工作中，我们提供了第一个算法差分私人合成控制显式误差界。我们的方法建立在非私人合成控制和差异私人经验风险最小化的工具。我们提供的合成控制查询的灵敏度上的上限和下限，并提供明确的误差界限，我们的私人合成控制算法的准确性。我们表明，我们的算法产生准确的预测目标单位，隐私的成本很小。最后，我们经验性地评估我们的算法的性能，并显示出良好的性能，在各种参数制度，以及提供指导，从业者的超参数调整。
2023-03-24 cs.DS cs.LG stat.ML
Private Domain Adaptation from a Public Source
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
各种应用中的关键问题是从公共源域到私有目标域的领域自适应，对于公共源域，相对大量的没有隐私约束的标记数据在人们的处置中，对于私有目标域，私有样本在很少或没有标记数据的情况下可用。在对源数据或目标数据没有隐私约束的回归问题中，基于几种理论保证的差异最小化算法优于许多其他自适应算法基线。基于这种方法，我们设计了基于差异的私有差异算法，用于从具有公共标记数据的源域到具有未标记私有数据的目标域的适应。我们的私人算法的设计和分析关键取决于几个关键属性，我们证明了一个光滑近似的加权差异，如它的光滑度相对于$\ell_1$ -范数和它的梯度的敏感性。我们的解决方案是基于Frank-Wolfe和D-Descent算法的私有变体。我们表明，我们的适应算法受益于强大的泛化和隐私保证，并报告实验结果证明其有效性。
2022-08-12 cs.CR cs.LG stat.ML
Faster federated optimization under second-order similarity
Princeton University（普林斯顿大学）
本文研究二阶相似性与强凸性下的有限和联邦优化问题，提出SVRP与Catalyzed SVRP两种通信高效的新算法，后者均匀改进现有算法，并提供了对SPPM的新分析。
2023-05-23 cs.LG math.OC stat.ML
Differentially Private Online Submodular Optimization
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们开发了第一个算法在线子模最小化，保持差分隐私下的完全信息反馈和强盗反馈。$n$元素集合上的$T$子模块函数序列在线到达，并且在每个时间步，算法必须在看到函数之前选择$[n]$的子集。该算法产生的成本等于在所选集合上评估的函数，并试图选择一个序列的集合，实现低预期的遗憾。我们的第一个结果是在全信息设置中，算法可以在每个时间步做出决策后观察整个函数。我们给出了一个算法，在这种情况下，是$ε$ -差分隐私，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}\sqrt{T}}ε\right)$。该算法利用Lovasz扩张将次模函数松弛为凸函数，并模拟了一个差分私有在线凸优化算法。我们的第二个结果是在bandit设置中，算法只能看到其选择的集合所产生的成本，并且不能访问整个函数。该设置明显更具挑战性，因为算法没有接收到足够的信息来计算Lovasz扩展或其子梯度。相反，我们使用单点估计构建无偏估计，然后使用此估计模拟私人在线凸优化。我们的算法使用强盗反馈是$ε$ -差分私有的，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}T^{3/4}}ε\right)$。
2018-07-06 cs.DS cs.LG stat.ML
Differentially Private Shapley Values for Data Evaluation
University of Edinburgh（爱丁堡大学）
Shapley值已被提出作为机器学习中许多应用的解决方案，包括对数据的公平估值。Shapley值在计算上是昂贵的，并且涉及整个数据集。对一个点的Shapley值的查询也可能损害其他数据点的统计隐私。我们观察到，在机器学习问题，如经验风险最小化，并在许多学习算法（如那些具有一致稳定性），收益递减属性，其中每个数据点的边际效益随着数据样本大小迅速下降。基于这一性质，我们提出了一种新的分层逼近方法，称为分层Shapley算法。我们证明了这种方法的小（O（\polylog（n）的随机样本的数据和小尺寸（$O(\log n)$）联盟，以达到保证概率精度的结果，并可以修改，将差分隐私。实验结果表明，该算法正确地识别高值数据点，提高验证精度，和差分私人评价保持近似排名的数据。
2022-06-01 cs.CR cs.LG
Towards Optimal Differentially Private Regret Bounds in Linear MDPs
Department of Statistics and Data Science（统计与数据科学系）
本文研究线性MDP中隐私约束下的遗憾最小化问题，通过对LSVI-UCB++算法进行私有化并引入方差感知分析技术，设计出一种新的差分隐私算法，实现了优于以往私有方法的遗憾界且保持接近最优的效用。
2025-04-25 cs.DS cs.LG stat.ML
Shuffled Model of Federated Learning: Privacy, Communication and Accuracy Trade-offs
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
我们考虑一个分布式的经验风险最小化（ERM）优化问题的通信效率和隐私的要求，由联邦学习（FL）框架的动机。在FL的背景下，传统的企业风险管理问题面临的独特挑战包括：（i）需要为客户的数据提供隐私保证，（ii）压缩客户与服务器之间的通信，因为客户可能有低带宽的链接，（iii）在服务器与客户之间的每一轮通信中与动态的客户群体一起工作，因为每一轮都对一小部分客户进行抽样。为了解决这些挑战，我们开发（最佳）的通信效率计划的私人均值估计几个$\ell_p$空间，使有效的梯度聚合的ERM的优化解决方案的每次迭代。我们还提供了下限和上限的均值估计与隐私和通信的限制，任意$\ell_p$空间。为了获得整体通信、隐私和优化性能操作点，我们将其与该设置固有的隐私放大机会相结合。我们的解决方案利用了客户端采样和每个客户端的数据采样（通过随机梯度下降）提供的固有隐私放大，以及最近开发的使用匿名化的隐私框架，它有效地向服务器提供了相对于客户端随机洗牌的响应。把这些放在一起，我们证明，人们可以得到相同的隐私，优化性能的操作点，在最近的方法，使用全精度通信，但在一个低得多的通信成本，即，有效地获得了“免费”的通信效率。
2020-09-23 cs.IT cs.LG math.IT
Tracking the Best Expert Privately
Apple（苹果公司）；UMich（密歇根大学）；UIC（芝加哥大学伊利诺伊分校）
本文研究差分隐私下的追踪最佳专家问题，分别针对变化随机、无知和自适应对手设计动态遗憾算法，并证明自适应情形在高隐私区间存在线性遗憾下界。
2025-03-12 cs.LG
