Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds
California Institute of Technology（加州理工学院）；NVIDIA（英伟达）
经认证的鲁棒性是安全关键应用中的深度神经网络的期望属性，并且流行的训练算法可以通过计算其Lipschitz常数的全局界限来认证神经网络的鲁棒性。然而，这样的界限通常是松散的：它往往会过度正则化神经网络并降低其自然准确性。更严格的Lipschitz边界可以在自然和认证准确性之间提供更好的权衡，但由于网络的非凸性，通常难以精确计算。在这项工作中，我们提出了一个有效的和可训练的\emph{local} Lipschitz上界考虑之间的相互作用激活函数（例如ReLU）和权重矩阵。具体来说，当计算权重矩阵的诱导范数时，我们消除了相应的行和列，其中激活函数保证在每个给定数据点的邻域中是常数，这提供了比神经网络的全局Lipschitz常数更严格的边界。我们的方法可以作为一个插件模块来收紧Lipschitz界在许多可认证的训练算法。此外，我们提出裁剪激活函数（例如，ReLU和MaxMin），具有可学习的上限阈值和稀疏性损失，以帮助网络实现更严格的局部Lipschitz边界。在实验中，我们证明了我们的方法在MNIST，CIFAR-10和TinyImageNet数据集上的清洁和认证准确性方面始终优于最先进的方法。
2021-11-02 cs.CR cs.LG stat.ML
Differentially Private Top-k Selection via Canonical Lipschitz Mechanism
King’s College London（伦敦国王学院）
在差分隐私（DP）下选择前$k$最高得分项是许多应用的基本任务。这项工作提出了三个新的结果。首先，指数机制，置换和翻转和report-noisy-max，以及它们的oneshot变体，被统一到Lipschitz机制中，这是一种通过强制Lipschitz属性对噪声分布进行单DP证明的加性噪声机制。其次，将该机制与正则损失函数相结合，得到正则Lipschitz机制，该机制可以在$O(dk+d \log d)$时间内直接从$d$项中选择k个子集.规范损失函数通过为使子集成为顶级$k$而必须改变多少用户来评估子集。第三，这种无组合的子集选择方法通过$Ω(\log k)$因子提高了效用保证，与通过顺序组合进行的逐个选择相比，我们对合成数据和真实数据的实验表明了实质性的效用改进。
2022-01-31 cs.CR cs.LG
Certified but Private: Scalable Zero-Knowledge Proofs for Neural Network Guarantees
Yale University（耶鲁大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出基于零知识证明的PANDA系统，可在不泄露神经网络私有参数的情况下高效证明其鲁棒性与公平性，支持参数超290万的网络，规模远超同类方案且开销更低。
2026-11-10 cs.CR cs.LG cs.LO
Testing Lipschitz Property over Product Distribution and its Applications to Statistical Data Privacy
在这项工作中，我们提出了Lipschitz属性测试和差分隐私的一个宽松的概念之间的连接，我们假设数据集是从一个域根据一些分布定义它。具体来说，我们表明，测试是否是私人的算法可以减少到测试Lipschitz属性在分布设置。我们还开始了分布Lipschitz检验的研究。当相对于产物分布测量“到属性的距离”时，我们提出了一个高效的超立方体域Lipschitz测试器。大多数以前的函数性质测试工作（包括以前的Lipschitz测试工作）与均匀分布。
2012-09-18 cs.CR
Private Stochastic Optimization With Large Worst-Case Lipschitz Parameter
University of Southern California（南加州大学）
本文针对损失函数最坏情况Lipschitz参数极大或无穷的差分隐私随机优化问题，提出基于随机梯度k阶矩的风险界和线性时间算法，覆盖光滑凸、非光滑凸及满足Proximal-PL不等式的非凸情形，并证明了部分结果的极小极大最优性。
2024-09-28 cs.CR cs.LG math.OC
Optimal Rates for Pure {\varepsilon}-Differentially Private Stochastic Convex Optimization with Heavy Tails
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文研究在纯ε差分隐私下具有重尾梯度的随机凸优化问题，通过假设k阶矩有界而非梯度 Lipschitz 参数有界，推导出最优的过失界速率，并提出在多项式时间内以高概率达到该速率的算法。
2026-04-07 cs.CR cs.LG stat.ML
Private Stochastic Convex Optimization with Heavy Tails: Near-Optimality from Simple Reductions
Apple Inc.（苹果公司）；University of Washington（华盛顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对重尾梯度下的差分隐私随机凸优化问题，提出基于归约的新方法，首次获得匹配已知下界的最优误差速率，并给出多种改进算法。
2024-06-04 cs.CR cs.DS cs.LG
Node-Differentially Private Estimation of the Number of Connected Components
本文提出首个节点差分隐私的连通分量数量估计算法，通过基于森林多面体构造Lipschitz扩展克服图统计量对节点添加不鲁棒的障碍，并证明其误差近乎最优。
2023-04-13 cs.CR cs.DS
Private Convex Optimization in General Norms
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
我们提出了一个新的框架，差分私人优化的凸函数是Lipschitz在任意范数$\|\cdot\|$。我们的算法是基于一个正则化的指数机制，从密度$\propto \exp(-k(F+μr))$的样本，其中$F$是经验损失和$r$是一个正则化强凸相对于$\|\cdot\|$，推广最近的工作[Gopi，李，刘'22]非欧几里德设置。我们表明，该机制满足高斯差分隐私，并解决了DP-ERM（经验风险最小化）和DP-SCO（随机凸优化）通过使用凸几何的本地化工具。我们的框架是第一个适用于私人凸优化一般赋范空间，并直接恢复非私人SCO率实现镜像下降的隐私参数$ε\to \infty$。作为应用，对于所有$p \in (1, 2)$的$\ell_p$范数中的Lipschitz优化，我们获得了第一个最优的隐私-效用权衡;对于$p = 1$，我们通过至少一个对数因子改进了最近的作品[Asi，Feldman，Koren，Talwar '21，Basily，Guzman，Nandi '21]获得的权衡。我们的$\ell_p$规范和Schatten- $p$规范优化框架补充了多项式时间采样器，其查询复杂性，我们显式绑定。
2022-11-10 cs.CR cs.LG math.OC
A Certified Unlearning Approach without Access to Source Data
Department of Electrical and Computer Engineering, University of California, Riverside, CA, USA（加州大学河滨分校电子与计算机工程系）；Brookhaven National Laboratory, Upton, NY, USA（布鲁克海文国家实验室）
本文提出一种无需访问源数据的认证删除方法，通过替代数据集和噪声缩放技术，在不接触原始数据的情况下实现有效数据删除，并通过实验验证其在隐私保护中的有效性。
2025-12-18 cs.CR cs.LG stat.ML
Bounding the Excess Risk for Linear Models Trained on Marginal-Preserving, Differentially-Private, Synthetic Data
University of Maryland（马里兰大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）
针对差分隐私合成数据训练的线性模型，提出超额经验风险的新型上下界，并辅以广泛实验验证。
2024-07-19 cs.CR cs.LG
Private Empirical Risk Minimization Beyond the Worst Case: The Effect of the Constraint Set Geometry
Google（谷歌）；Microsoft Research Silicon Valley（微软研究院硅谷分院）；Yahoo Labs（雅虎实验室）
经验风险最小化（ERM）是机器学习中的一种标准技术，其中通过最小化约束集上的损失函数来选择模型。当训练数据集由私有信息组成时，很自然地使用差分私有ERM算法，这个问题一直是Chaudhuri和Monteleoni 2008开始的一系列工作的主题。私有ERM算法输出损失函数的近似最小值，其误差可以用与损失函数最优值的差来衡量。当约束集是任意的时，所需的误差界限是相当好理解的\cite{BassilyST14}。在这项工作中，我们表明，几何属性的约束集可以用来获得更好的结果。具体而言，我们表明，镜像下降的差分私有版本导致Lipschitz损失函数的$\tilde{O}(G_{\mathcal{C}}/n)$形式的误差界，改进了Basily，Smith和Thakurta 2014中的$\tilde{O}(\sqrt{p}/n)$界。这里$p$是问题的维度，$n$是训练集中的数据点数量，$G_{\mathcal{C}}$表示我们优化的约束集的高斯宽度。我们表现出类似的改进强凸函数，光滑的功能。此外，我们表明，当损失函数是Lipschitz的$\ell_1$规范和$\mathcal{C}$是$\ell_1$有界的，差分私人版本的弗兰克-沃尔夫算法给出的误差界的形式$\tilde{O}(n^{-2/3})$。当数据$x_i$满足$|x_i|_{\infty} \leq 1$并且我们在$\ell…
2016-11-20 cs.CR cs.LG stat.ML
Differential Privacy has Bounded Impact on Fairness in Classification
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文从理论上证明群体公平性度量关于模型参数具有Lipschitz连续性，并据此给出非渐近界，表明随样本增加差分隐私对分类公平性的影响有界且受置信边际制约。
2023-09-18 cs.CR cs.LG stat.ML
Private Stochastic Convex Optimization with Optimal Rates
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；University of California Santa Cruz（加州大学圣克鲁兹分校）
研究了随机凸优化问题的差分隐私算法。在这个问题中，目标是近似最小化给定i.i.d.的种群损失。样本来自凸函数和Lipschitz损失函数上的分布。现有的一长串关于私有凸优化的工作集中在经验损失上，并推导出超额经验损失的渐近紧界。然而，一个显着的差距存在于已知的人口损失的界限。我们发现，对数因子，DP算法的最佳过剩人口损失等于较大的最佳非私人过剩人口损失，和DP算法的最佳过剩经验损失。这意味着，相反的直觉基于私营企业风险管理，私营SCO有渐近相同的$1/\sqrt{n}$率为非私营SCO的参数制度中最常见的实践。此设置中的最佳先前结果给出$1/n^{1/4}$的速率。我们的方法建立在现有的差分隐私算法，并依赖于算法的稳定性分析，以确保泛化。
2019-08-27 cs.CR cs.DS cs.LG
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo（滑铁卢大学）；Meta；Cornell University（康奈尔大学）
研究了在差分隐私（DP）约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反，介绍了王，肖，Devadas，徐\cite{WangXDX20}，我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上，我们推导出新的算法私人均值估计的重尾分布，在纯和集中DP。最后，我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界，显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Private Convex Optimization via Exponential Mechanism
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
本文研究了非光滑凸函数$F(x)=\mathbb{E}_i f_i(x)$在$\mathbb{R}^d$上的私人优化问题。我们表明，通过在$F(x)$中添加$\ell_2^2$正则化器并从$π(x)\propto \exp(-k(F(x)+μ\|x\|_2^2/2))$中采样来修改指数机制，可以恢复$(ε,δ)$ -DP下的已知最优经验风险和人口损失。此外，我们展示了如何实现这种机制，使用$\widetilde{O}(n \min(d, n))$查询$f_i(x)$的DP-SCO，其中$n$是样本/用户的数量和$d$是环境尺寸。我们还给出了一个（几乎）匹配的下界$\widetildeΩ(n \min(d, n))$的评估查询的数量。我们的结果利用以下工具是独立的兴趣：（1）我们证明了高斯差分隐私（GDP）的指数机制，如果损失函数是强凸的，扰动是Lipschitz。我们的隐私界是\emph{optimal}，因为它包括作为特殊情况的高斯机制的隐私，并证明了使用强对数凹测度的等周不等式。(2)我们展示了如何从$\exp(-F(x)-μ\|x\|^2_2/2)$中采样$G$ -Lipschitz $F$，$η$误差在总变差（TV）距离中使用$\widetilde{O}((G^2/μ) \log^2(d/η))$无偏查询$F(x)$。这是第一个其查询复杂度在维度$d$和准确度$η$上都具有…
2022-07-28 cs.CR cs.DS cs.LG
Private Isotonic Regression
Google Research（谷歌研究院）
在本文中，我们考虑保序回归的差分私有（DP）算法的问题。对于偏序集$\mathcal{X}$和任何Lipschitz损失函数的保序回归的最一般问题，我们得到一个纯DP算法，给定$n$输入点，具有大约$\mathrm{width}(\mathcal{X}) \cdot \log|\mathcal{X}| / n$的预期超额经验风险，其中$\mathrm{width}(\mathcal{X})$是偏序集的宽度。相比之下，我们还获得了一个近似匹配的下限大致$(\mathrm{width}(\mathcal{X}) + \log |\mathcal{X}|) / n$，即使是近似DP算法。此外，我们表明，上述界基本上是最好的，可以得到不利用任何进一步的结构的偏序集。在一个特殊的情况下，一个全序集和$\ell_1$和$\ell_2^2$损失，我们的算法可以实现在近线性运行时间，我们还提供了扩展该算法的问题，私人保序回归的输出函数上的附加结构约束。
2022-10-27 cs.CR cs.LG stat.ML
Towards Fast Computation of Certified Robustness for ReLU Networks
Massachusetts Institute of Technology（麻省理工学院）；UC Davis（加州大学戴维斯分校）；Harvard University（哈佛大学）；UT Austin（德克萨斯大学奥斯汀分校）
·一般整流线性单元（ReLU）网络的鲁棒性是一个NP完全问题[Katz，Barrett，Dill，Julian和Kochenderfer CAV 17]。虽然找到确切的最小对抗失真是困难的，但给出最小失真的认证下限是可能的。目前可用的方法计算这样的界限是耗时的或提供低质量的界限，太松散，是有用的。在本文中，我们利用了ReLU网络的特殊结构，并提供了两种计算效率高的算法Fast-Lin和Fast-Lip，它们能够通过使用适当的线性函数Fast-Lin来约束ReLU单元，或者通过约束局部Lipschitz常数Fast-Lip来证明最小失真的非平凡下界。实验表明：（1）我们提出的方法提供的边界接近（差距是2-3X）精确的最小失真发现的Reluplex在小型MNIST网络，而我们的算法是超过10，000倍的速度;（2）我们的方法提供类似的边界质量（差距在35%以内，通常在10%左右;有时我们的边界甚至更好）对于更大的网络，与基于解决线性规划问题的方法相比，我们的算法要快33- 14，000倍;（3）我们的方法能够在单个CPU核心上在几十秒内解决多达7层的大型MNIST和CIFAR网络，其中超过10，000个神经元。此外，我们表明，事实上，没有多项式时间算法可以近似找到具有$0.99\ln n$近似比的ReLU网络的最小$\ell_1$对抗性失真，除非$\mathsf{NP}$ = $\ma…
2018-10-02 cs.CR cs.CV cs.LG
A unifying framework for differentially private quantum algorithms
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；University of Edinburgh（爱丁堡大学）
本文提出统一的邻近量子态定义，结合经典与量子噪声，为量子测量提供指数级更紧的差分隐私保证，并证明量子曲棍球棒散度的联合凸性，同时验证了认证对抗鲁棒性。
2023-07-10 cs.CR cs.IT cs.LG
Differentially Private Domain Adaptation with Theoretical Guarantees
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
针对私有目标域的有监督域适应问题，提出两种差分隐私适应算法，分别处理线性回归凸优化和一般非凸光滑损失，理论分析并实验验证其性能接近非私有版本。
2024-02-04 cs.CR cs.LG stat.ML
How to Make the Gradients Small Privately: Improved Rates for Differentially Private Non-Convex Optimization
Wisconsin Institute for Discovery, University of Wisconsin-Madison（威斯康星大学麦迪逊分校威斯康星发现研究院）；Khoury College of Computer Sciences, Northeastern University（东北大学卡尔计算机科学学院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出一个基于私有风险最小化器预热启动的框架，用于设计差分隐私算法，以改进非凸损失函数稳定点的寻找速率，并在多类函数上达到最优或最先进水平。
2024-08-20 cs.CR cs.LG math.OC
Private Non-Convex Federated Learning Without a Trusted Server
University of Southern California（南加州大学）
研究无可信服务器下的非凸跨孤岛联邦学习，提出ISRL-DP与Shuffle DP算法，在非凸非平滑及异构数据下达到接近最优效用并改进现有界限。
2023-06-25 cs.CR cs.LG math.OC
Quantum Proofs of Deletion for Learning with Errors
量子信息具有测量是固有破坏性过程的性质。这一特征在互补性互补原理中最为明显，该原理指出，相互不相容的观测量不能同时测量。Broadbent和Islam最近的工作（TCC 2020）建立在量子力学的这一方面，以实现一个称为认证删除的加密概念。虽然这个非凡的概念使经典验证者确信（私钥）量子密文已被不可信方删除，但它没有提供额外的功能层。在这项工作中，我们增加了删除证明的范式与全同态加密（FHE）。我们构建了第一个具有认证删除的全同态加密方案-一个交互式协议，该协议使不可信的量子服务器能够计算加密数据，并且如果请求，同时向客户端证明数据删除。我们的方案具有理想的属性，即删除证书的验证是公开的;这意味着任何人都可以验证删除已经发生。我们的主要技术成分是一个交互式协议，通过该协议，量子证明者可以说服经典验证者，删除了量子态形式的错误学习（LWE）分布的样本。作为我们的协议的应用，我们构造了一个双Regev公钥加密方案与认证删除，我们然后扩展到一个（水平）FHE计划的相同类型。我们引入了高斯崩溃散列函数的概念-Unruh定义的崩溃散列函数的特殊情况（Eurocrypt 2016）-并且我们在假设Ajtai散列函数在存在泄漏的情况下满足一定的强高斯崩溃属性的情况下证明了我们方案的安全性。
2023-01-07 cs.CR quant-ph
Differentially Private Non-Convex Optimization under the KL Condition with Optimal Rates
The Ohio State University（俄亥俄州立大学）；The Johns Hopkins University（约翰霍普金斯大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文研究zCDP下满足KL条件的隐私ERM，提出方差缩减梯度下降、隐私近端点法及自适应噪声梯度下降，得到接近最优的超额风险与驻点逼近速率。
2024-04-03 cs.CR cs.LG math.OC
A Graph Federated Architecture with Privacy Preserving Learning
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
联邦学习涉及一个中央处理器，它与多个代理一起工作，以找到一个全局模型。这一过程包括反复交换估计数，从而传播与当地私人数据有关的信息。这样的方案在处理敏感数据时可能不方便，因此，需要算法的私有化。此外，连接到多个客户端的服务器的当前架构对服务器处的通信故障和计算过载高度敏感。因此，在这项工作中，我们开发了一个私人的多服务器联邦学习计划，我们称之为图联邦学习。我们使用加密和差分隐私的概念来私有化的联邦学习算法，我们扩展到图结构。我们研究了私有化的学习算法的性能一般的私人计划，可以建模为加性噪声的影响。我们的凸性和Lipschitz条件下，私有化的过程中匹配的非私有算法的性能，即使当我们增加噪声方差。
2021-04-26 cs.AI cs.CR cs.LG
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne（墨尔本大学）
我们考虑使用局部差异私有数据集的机器学习，特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的，干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此，具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布，分布鲁棒优化问题可以放松为正则化的机器学习问题，其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归，这个正则化子是模型参数的对偶范数。对于高斯数据，分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后，在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
A Theoretical Perspective on Differentially Private Federated Multi-task Learning
Ant Group（蚂蚁集团）
在大数据时代，通过数据共享来扩大数据量以提高模型性能的需求已变得越来越迫切。因此，有效的协作学习模式需要开发的隐私和实用性的关注。在这项工作中，我们提出了一种新的联邦多任务学习方法，有效的参数传输与差分隐私，以保护梯度在客户端级别。具体而言，网络的较低层在所有客户端之间共享以捕获可转移的特征表示，而网络的顶层是针对客户端个性化的特定任务。我们提出的算法自然解决了联邦网络中的统计异质性问题。据我们所知，我们是第一个为这样一个拟议的联邦算法提供隐私和效用保证的。在非凸、凸和强凸条件下，证明了Lipschitz光滑目标函数的收敛性。在不同数据集上的实验结果验证了该算法的有效性和理论研究结果的意义。
2020-11-14 cs.CR cs.DC cs.LG
Differentially Private Empirical Risk Minimization: Efficient Algorithms and Tight Error Bounds
The Pennsylvania State University（宾夕法尼亚州立大学）；Boston University（波士顿大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
在本文中，我们提出了一个系统的调查差分私人算法凸经验风险最小化。以前已经研究过这个问题的各种实例。我们提供了新的算法和匹配的私人ERM下界假设只有每个数据点的贡献的损失函数是Lipschitz有界的，优化的域是有界的。我们提供了一个单独的一组算法和匹配的下限的设置，其中的损失函数已知也是强凸的。我们的算法运行在多项式时间，在某些情况下，甚至匹配的最佳非私有运行时间（如Oracle复杂性）。我们给单独的算法（和下限）为$(ε,0)$ -和$(ε,δ)$ -差分隐私，也许令人惊讶的是，用于设计最佳算法的技术在这两种情况下是完全不同的。我们的下界甚至适用于非常简单的光滑函数族，如线性和二次函数。这意味着，从以前的工作中的算法可以用来获得最佳的出错率，在额外的假设下，每个数据点的损失函数的贡献是平滑的。我们表明，简单的方法来平滑任意损失函数（为了应用以前的技术）不产生最佳的出错率。特别是，最佳算法是以前不知道的问题，如训练支持向量机和高维中位数。
2014-10-17 cs.CR cs.LG stat.ML
Differentially Private $\ell_1$-norm Linear Regression with Heavy-tailed Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
研究了重尾数据下的微分私有随机凸优化问题。具体而言，我们专注于$ε$ -DP模型中的$\ell_1$ -范数线性回归。虽然以前的大部分工作都集中在损失函数为Lipschitz的情况下，但在这里我们只需要假设变量具有有界矩。首先，我们研究了数据的$\ell_2$范数具有有界二阶矩的情形。我们提出了一种算法，它是基于指数机制，并表明，它是可能实现的上限$\tilde{O}(\sqrt{\frac{d}{nε}})$（具有高概率）。其次，我们放宽了假设，有界$θ$阶矩与一些$θ\in (1, 2)$，并表明它是可能实现的上限$\tilde{O}(({\frac{d}{nε}})^\frac{θ-1}θ)$。我们的算法也可以扩展到更宽松的情况下，只有每个坐标的数据有界的时刻，我们可以得到一个上界的$\tilde{O}({\frac{d}{\sqrt{nε}}})$和$\tilde{O}({\frac{d}{({nε})^\frac{θ-1}θ}})$在第二和$θ$ -th时刻的情况下，分别。
2022-01-10 cs.CR cs.LG stat.ML
Oracle Efficient Private Non-Convex Optimization
University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）
目标扰动是差分私有学习和优化的最有效算法之一。这种方法是在给定的优化问题（如ERM问题）上增加一个随机线性项，然后精确求解。然而，到目前为止，这种方法的分析主要依赖于目标函数的凸性和光滑性，限制了它的通用性。我们给出了两个算法，大大扩展了这种方法。第一种算法只要求损失函数有界，并在离散域上运行。它的隐私性和准确性保证甚至在不假设凸性的情况下也成立。这给出了在任意离散域上的Oracle高效优化算法，其一般性与指数机制相当。第二种算法在连续域上操作，仅要求损失函数有界且Lipschitz为其连续参数。它的隐私分析不需要凸性。它的精度分析确实需要凸性，但不需要二阶条件，如光滑性。即使没有凸性，该算法也可以作为一种通用的Oracle高效优化算法，并根据经验评估其精度。我们补充我们的理论结果与非凸的情况下，我们使用整数规划求解器作为我们的优化预言机的经验评估。我们发现，对于学习线性分类器的问题，使用我们的方法直接优化0/1损失可以优于在Adult数据集上私下优化凸代理损失函数的更标准方法。
2020-12-29 cs.CR cs.LG stat.ML
Differentially Private Non-convex Learning for Multi-layer Neural Networks
UCI（加州大学欧文分校）；KAUST（阿卜杜拉国王科技大学）；University at Albany（奥尔巴尼大学）
本文针对多层全连接神经网络提出差分隐私非凸优化算法，在广义线性模型、两层及多层网络中实现与维度无关的额外风险，并首次给出DP-SGD在大宽度下的理论保证。
2023-10-12 cs.CR cs.LG stat.ML
Fairness in the Eyes of the Data: Certifying Machine-Learning Models
Tel-Aviv University（特拉维夫大学）；The Hebrew University of Jerusalem（希伯来大学）；Bar-Ilan University（巴伊兰大学）；Aarhus University（奥胡斯大学）；IISc Bangalore（印度科学学院班加罗尔分院）
我们提出了一个框架，允许验证的公平程度的模型的基础上的互动和隐私保护测试。该框架验证任何经过训练的模型，无论其训练过程和架构如何。因此，它允许我们根据经验评估多个公平性定义的任何深度学习模型。我们处理两种情况，其中测试数据是私人的，只有测试人员或公开提前知道，甚至模型创建者。我们调查所提出的方法的合理性，使用理论分析和目前的统计保证的互动测试。最后，我们提供了一种加密技术来自动化公平性测试和认证推理，只有黑盒访问手头的模型，同时隐藏参与者的敏感数据。
2021-06-25 cs.AI cs.CR cs.LG
Private Algorithms for Stochastic Saddle Points and Variational Inequalities: Beyond Euclidean Geometry
The Ohio State University（俄亥俄州立大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文在欧几里得和非欧几里得设置下，针对差分隐私约束的随机鞍点问题和随机变分不等式，提出了通用算法，获得近最优的强间隙界，并开发了新的泛化分析工具。
2024-11-07 cs.CR cs.LG math.OC
