Enhancing Privacy in Federated Learning through Local Training
KTH Royal Institute of Technology（瑞典皇家理工学院）；East China University of Science and Technology（华东理工大学）
本文提出联邦学习算法Fed-PLT，通过部分参与和本地训练减少通信轮次且不影响准确率，推导其差分隐私边界并通过理论与分类任务数值结果验证其增强隐私的有效性。
2024-11-28 cs.LG math.OC
Revisiting ML Training under Fully Homomorphic Encryption: Convergence Guarantees, Differential Privacy, and Efficient Algorithms
University of Maryland, College Park, MD（马里兰大学 College Park 分校）；AlgoCRYPT CoE（算法密码学中心）
本文首次对全同态加密下的机器学习训练进行理论收敛性分析，结合适用于加密计算的差分隐私训练算法，通过多项式近似激活函数和损失函数实现近似梯度下降的收敛，并采用无逐样本梯度裁剪的差分隐私机制提升计算效率。
2026-05-27 cs.CR cs.LG
Differentially Private Learning Needs Hidden State (Or Much Faster Convergence)
National University of Singapore（新加坡国立大学）
先前的工作差分隐私分析的随机SGD算法依赖于组成定理，其中隐含的（不切实际的）假设是，内部状态的迭代算法被透露给对手。因此，通过这种基于成分的分析导出的Rényi DP界限随着训练时期的数量线性增长。当算法的内部状态是隐藏的，我们证明了一个收敛的隐私界噪声随机梯度下降（强凸光滑损失函数）。我们展示了如何通过子采样和随机后处理来利用隐私放大，并证明了“洗牌和分区”和“无替换采样”随机小批量梯度下降方案的隐私界动态性。我们证明了，在这些设置中，我们的隐私边界以指数速度收敛，并且大大小于组合边界，特别是在几个训练时期之后。因此，除非DP算法收敛快，我们的隐私分析表明，隐藏状态分析可以显着放大差分隐私。
2022-10-17 cs.CR cs.LG stat.ML
Convex Approximation of Two-Layer ReLU Networks for Hidden State Differential Privacy
University of Amsterdam（阿姆斯特丹大学）；Nokia Bell Labs（诺基亚贝尔实验室）
提出通过ReLU最小化问题的对偶形式的随机近似，将两层ReLU网络转化为强凸问题，从而应用隐藏状态差分隐私分析，实现与DP-SGD相当的隐私-效用权衡。
2026-06-16 cs.CR cs.LG
Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement
Texas State University（德克萨斯州立大学）；University of South Florida（南佛罗里达大学）；University of Arizona（亚利桑那大学）
针对固定大小子采样的DP-SGD，提出更紧的RDP会计方法，改进界限4倍，并证明其与泊松子采样隐私等价，且内存使用更优。
2024-08-19 cs.CR cs.LG
Model Explanations with Differential Privacy
National University of Singapore (NUS)（新加坡国立大学）
黑箱机器学习模型被用于关键决策领域，这引发了一些要求提高算法透明度的呼声。缺点是模型解释可能会泄露有关训练数据和用于生成它们的解释数据的信息，从而破坏数据隐私。为了解决这个问题，我们提出了不同的私人算法来构建基于特征的模型解释。我们设计了一个自适应差分隐私梯度下降算法，找到产生准确的解释所需的最小隐私预算。它通过自适应地重用过去的差异隐私解释，减少了解释数据的整体隐私损失。它还增强了关于训练数据的隐私保证。我们评估的影响，不同的私人模型和我们的隐私机制的模型解释的质量。
2020-06-16 cs.LG stat.ML
Differential Privacy Guarantees for Stochastic Gradient Langevin Dynamics
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）
我们分析噪声随机梯度下降的隐私泄漏建模雷尼发散动力学与朗之万扩散。最近的非随机算法的工作的启发，我们得到类似的理想性质的随机设置。特别是，我们证明了隐私损失指数收敛速度快的平滑和强凸目标下恒定的步长，这是一个显着的改进，比以前的DP-SGD分析。我们还将我们的分析扩展到任意序列的不同步长，并推导出新的效用界。最后，我们提出了一个实现和我们的实验表明，我们的方法相比，经典的DP-SGD库的实际效用。
2022-02-05 cs.LG stat.ML
Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners
UC Santa Barbara（加州大学圣塔芭芭拉分校）；Nokia Bell Labs（诺基亚贝尔实验室）
本文针对差分隐私线性学习器，通过更紧致的隐私分析和新的计算工具改进了目标扰动机制，使其在无约束凸广义线性问题上的性能与DP-SGD相当，同时降低了简单模型的隐私开销和计算复杂度。
2023-12-31 cs.CR cs.LG
Privacy Amplification by Decentralization
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
分析多方拥有的数据，同时在实用性和隐私性之间实现良好的权衡，是联邦学习和分析中的一个关键挑战。在这项工作中，我们介绍了一种新的放松本地差分隐私（LDP），自然出现在完全分散的算法，即，当参与者通过沿着没有中央协调器的网络图的边缘通信来交换信息时。这种松弛，我们称之为网络DP，捕捉了用户只有系统的本地视图的事实。为了显示网络DP的相关性，我们研究了一个分散的计算模型，其中令牌在网络图上执行行走，并由接收它的一方顺序更新。对于实求和，直方图计算和梯度下降优化等任务，我们提出了环和完整拓扑结构上的简单算法。我们证明了我们的算法在网络DP下的隐私效用权衡显着提高了LDP下可以实现的，并且通常与可信馆长模型的效用相匹配。我们的研究结果第一次表明，正式的隐私收益可以从完全去中心化。我们还提供了实验来说明我们的方法用于分散训练的随机梯度下降的改进效用。
2022-03-07 cs.CR cs.DC cs.LG
Amplifying Rényi Differential Privacy via Shuffling
差分隐私是构建机器学习模型的有用工具，该模型不会发布太多有关训练数据的信息。我们研究了随机梯度下降的Rényi差分隐私，当每个训练样本被采样而不替换（也称为循环SGD）。循环SGD通常比传统SGD更快，是大规模实现中的首选算法。我们恢复的隐私保证循环SGD这是竞争对手的那些已知的采样与替换。我们的证明技术不对模型或数据做任何假设，因此具有广泛的适用性。
2020-02-17 cs.CR cs.LG stat.ML
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
Local Differential Privacy in Decentralized Optimization
MIT（麻省理工学院）；KTH（瑞典皇家理工学院）
敏感数据的隐私问题正受到越来越多的关注。本文研究了交互式分散优化中的局部差分隐私问题。通过构建随机本地聚合器，我们提出了一个框架，以放大LDP的常数。本文以乘子的交替方向法和分散梯度下降法为例，通过实验验证了理论的正确性。在一个渐近的观点，我们解决以下问题：在LDP下，是否有可能设计一个分布式的私人最小的任意封闭凸约束与效用损失不显着依赖于维数？作为一个附属的结果，我们还表明，仅仅线性秘密共享，信息理论的隐私是可以实现的有界合谋代理。
2019-06-01 cs.CR cs.LG math.OC
Differentially Private Stochastic Coordinate Descent
IBM Research, Zurich（苏黎世IBM研究院）
在本文中，我们解决的挑战，使随机坐标下降算法差异私人。与经典的梯度下降算法相比，其中更新对单个模型向量进行操作，并且对该向量的受控噪声添加足以隐藏关于个体的关键信息，随机坐标下降关键地依赖于在训练期间将辅助信息保持在内存中。这种辅助信息提供了额外的隐私泄露，并构成了这项工作中解决的主要挑战。驱动的洞察下，独立的噪声添加，辅助信息的一致性保持在预期中，我们提出了DP-SCD，第一个差分私人随机坐标下降算法。我们从理论上分析了我们的新方法，并认为解耦和并行坐标更新是必不可少的实用程序。在实证方面，我们证明了竞争力的表现对流行的随机梯度下降替代（DP-SGD），同时需要显着较少的调整。
2021-03-14 cs.CR cs.LG stat.ML
Amplified Patch-Level Differential Privacy for Free via Random Cropping
Technical University of Munich（慕尼黑技术大学）；Machine Learning Research, Morgan Stanley（摩根大通机器学习研究）
本文研究了随机裁剪在差分隐私训练中的作用，发现其能增强隐私保护而不需改变模型结构，通过引入像素级邻域关系和分析隐私界限，验证了在多个分割架构和数据集上提升隐私-效用权衡。
2026-03-25 cs.CR cs.CV cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
真实世界的数据通常按属性划分，并分布在不同的各方。联邦学习支持协作培训，而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样，即使有一小部分损坏的数据，对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程，该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题，提出了一种基于前后向分裂算法的防御方法，在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失，同时实现了两个目标。在各种数据集上进行的大量实验表明，我们的防御方法显著减轻了隐私泄露，对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research（谷歌研究院）
采样高斯机制（SGM）--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样，其中一个单一的评价的隐私成本减少二次，而不是线性的，与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程，精确计算SGM的雷尼差分隐私，并证明了一个几乎紧（在一个小的常数因子）的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
On the utility and protection of optimization with differential privacy and classic regularization techniques
Politecnico di Milano（米兰理工大学）
如今，深度学习模型的所有者和开发人员必须考虑其训练数据的严格隐私保护规则，通常是众包和保留敏感信息。如今，最广泛采用的实施深度学习模型隐私保证的方法依赖于实施差分隐私的优化技术。根据文献，这种方法已被证明是一个成功的防御几个模型的隐私攻击，但其缺点是一个模型的性能大幅下降。在这项工作中，我们比较了差分私有随机梯度下降（DP-SGD）算法对标准的优化实践与正则化技术的有效性。我们分析了所得到的模型的效用，训练性能，以及对学习模型的隶属推理和模型反演攻击的有效性。最后，我们讨论了差分隐私的缺陷和局限性，并实证证明了往往优越的隐私保护性能的dropout和l2-正则化。
2022-09-07 cs.AI cs.CR cs.LG
Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization
University of Granada（格拉纳达大学）
针对神经网络训练数据中的隐私泄露问题，本文提出一种新颖的损失函数正则化策略，无需修改标准SGD算法即可更高效地实现与DP-SGD相同的隐私保护目标。
2024-09-25 cs.AI cs.CR cs.LG
Dynamic Differential-Privacy Preserving SGD
Ant Group（蚂蚁集团）；Shanghai Jiao Tong University（上海交通大学）；University of Minnesota（明尼苏达大学）
普通的差分私有随机梯度下降（DP-SGD），包括DP-Adam和其他变体，通过在训练步骤中均匀分布隐私成本来确保训练数据的隐私。当与非DP对应物相比时，通过在每个步骤中维持相同的梯度裁剪阈值和噪声功率来控制的等效隐私成本导致不稳定的更新和较低的模型精度。在本文中，我们提出了动态DP-SGD（以及动态DP-Adam等），以减少性能损失的差距，同时保持隐私，通过动态调整限幅阈值和噪声功率，同时坚持总隐私预算约束。对各种深度学习任务（包括图像分类、自然语言处理和联邦学习）的广泛实验表明，与普通DP-SGD相比，所提出的动态DP-SGD算法稳定了更新，因此显著提高了强隐私保护区域的模型准确性。我们还进行了理论分析，以更好地理解动态DP-SGD的隐私-效用权衡，并了解为什么动态DP-SGD可以优于普通DP-SGD。
2022-01-17 cs.CR cs.LG
Generalized Linear Bandits with Local Differential Privacy
The Hong Kong University of Science and Technology（香港科技大学）
上下文强盗算法在个性化在线决策中是有用的。然而，许多应用程序，如个性化医疗和在线广告需要利用个人特定的信息进行有效的学习，而用户的数据应该保持私有的服务器由于隐私问题。这促使引入局部差分隐私（LDP），一个严格的隐私概念，上下文强盗。在本文中，我们设计了随机广义线性强盗LDP算法，以实现在非隐私设置相同的遗憾界。我们的主要思想是开发一个随机的基于梯度的估计和更新机制，以确保LDP。然后，我们利用随机梯度下降（SGD）的灵活性，其理论保证土匪问题很少探索，在处理广义线性土匪。我们还开发了一个估计器和更新机制的基础上，普通最小二乘（OLS）的线性土匪。最后，我们进行了仿真和真实世界的数据集的实验，以证明我们的算法在LDP约束下具有合理的小参数$(\varepsilon, δ)$，以确保强大的隐私保护的一贯高超的性能。
2021-06-07 cs.LG stat.ML
Hyperparameter Tuning with Renyi Differential Privacy
Google Research（谷歌研究院）
对于许多差分隐私算法，例如突出的噪声随机梯度下降（DP-SGD），限制单个训练运行的隐私泄漏所需的分析是很好理解的。然而，很少有研究认为，由于需要多次训练来微调训练算法的超参数值，从而导致隐私泄露。在这项工作中，我们首先说明了如何简单地设置基于非私有训练运行的超参数可以泄漏私有信息。基于这一观察，我们在Renyi差分隐私的框架内为超参数搜索过程提供了隐私保证。我们的研究结果改进和扩展了Liu和Talwar的工作（STOC 2019）。我们的分析支持了我们之前的观察，即调整超参数确实会泄漏私人信息，但我们证明，在某些假设下，这种泄漏是适度的，只要选择超参数所需的每个候选训练运行本身是差异私人的。
2022-03-14 cs.CR cs.DS cs.LG
Considerations on the Theory of Training Models with Differential Privacy
CWI Amsterdam（阿姆斯特丹数学与计算机科学国家研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Connecticut（康涅狄格大学）；eBay（易贝）
该研究面向联邦学习中的本地数据隐私问题，综述差分隐私框架与性质，介绍 Gaussian DP/$f$-DP 定义及 DP-SGD，并以直观方式阐释相关理论洞见。
2023-07-16 cs.CR cs.LG
Median regression with differential privacy
Soochow University（苏州大学）；University of Tsukuba（筑波大学）
中值回归分析具有鲁棒性，这使得它比基于均值的回归更有吸引力，而差分隐私可以在某些数据集的统计分析过程中保护个人隐私。本文提出了三种中值回归的隐私保护方法。第一个算法是基于有限光滑方法，第二个提供了一个迭代的方式，最后一个进一步采用贪婪坐标下降方法。证明了这三种方法的隐私保护性能。这些算法的精度界或收敛性能也提供。数值计算表明，当样本量较小时，第一种方法比其他方法具有更好的精度。当样本量变大时，第一种方法需要更多的时间，而第二种方法需要更少的时间，并且具有很好的匹配精度。对于第三种方法，它在两种情况下都花费较少的时间，但它高度依赖于步长。
2020-06-04 cs.LG stat.CO stat.ML
Gradient Descent Converges Linearly for Logistic Regression on Separable Data
Google Research（谷歌研究院）；Yahoo! Research（雅虎研究院）
本文证明了在可分数据上，使用可变学习率的梯度下降法能保证 Logistic Regression 损失线性收敛，并改善了稀疏 Logistic Regression 的稀疏度-误差权衡。
2023-06-26 cs.LG
Dynamic Privacy Budget Allocation Improves Data Efficiency of Differentially Private Gradient Descent
Michigan State University（密歇根州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
在许多涉及敏感数据的应用程序中，在保持模型性能的同时保护学习中的隐私变得越来越重要。私有梯度下降（PGD）是一种常用的私有学习框架，它基于差分隐私协议对梯度进行噪声化。最近的研究表明，降低噪声幅度的\emph{dynamic privacy schedules}可以改善在最后迭代的损失，但这种调度的有效性及其与优化算法的联系的理论理解仍然有限。在本文中，我们提供了全面的分析噪声的影响，在动态隐私时间表来回答这些关键问题。首先，我们提出了一个动态的噪声时间表，最大限度地减少PGD的效用上限，并显示如何从每个优化步骤的噪声影响集体影响最终模型的效用。我们的研究还揭示了当使用动量时，动态噪声的影响如何影响变化。我们的经验表明，一般的非凸损失存在的连接，和损失曲率的影响很大。
2022-10-19 cs.LG
High-Dimensional Privacy-Utility Dynamics of Noisy Stochastic Gradient Descent on Least Squares
Pennsylvania State University（宾夕法尼亚州立大学）；McGill University（麦吉尔大学）；Boston University（波士顿大学）
本文采用扩散近似从连续时间视角精确分析带 ℓ2 正则化最小二乘中噪声 SGD 的高维统计风险与隐私损失动态，并研究无需显式梯度敏感度或裁剪的变体。
2025-10-19 cs.LG
Disparate Impact in Differential Privacy from Gradient Misalignment
Layer 6 AI
随着机器学习在整个社会中变得越来越普遍，必须仔细考虑数据隐私和公平性等方面，这对于在高度监管的行业中部署至关重要。不幸的是，隐私增强技术的应用可能会加剧模型中的不公平趋势。特别地，用于私有模型训练的最广泛使用的技术之一，差分私有随机梯度下降（DPSGD），经常加剧对数据中的组的不同影响。在这项工作中，我们研究了细粒度的原因DPSGD的不公平，并确定梯度错位，由于不公平的梯度裁剪作为最重要的来源。这一观察使我们提出了一种新的方法，通过防止DPSGD中的梯度不对准来减少不公平性。
2023-02-23 cs.AI cs.CR cs.LG
Differentially Private Coordinate Descent for Composite Empirical Risk Minimization
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Univ Montpellier（蒙彼利埃大学）；Institut Universitaire de France（法国大学研究院）
机器学习模型可能会泄露有关用于训练它们的数据的信息。为了缓解这个问题，已经设计了像随机梯度下降（DP-SGD）这样的优化算法的差分私有（DP）变体，以在经验风险最小化（ERM）问题中权衡隐私的效用。在本文中，我们提出了一种新的方法，差分私人邻近坐标下降（DP-CD），解决复合DP-ERM问题。我们通过一个新的理论分析，不精确的坐标下降得到效用保证。我们的研究结果表明，由于更大的步长，DP-CD可以利用梯度坐标的不平衡，优于DP-SGD。我们还证明了新的下限复合DP-ERM坐标明智的规律性假设下，几乎匹配的DP-CD。对于实际的实现，我们建议使用我们的理论中出现的坐标阈值来裁剪梯度，避免昂贵的超参数调整。在真实数据和合成数据上的实验支持了我们的结果，并表明DP-CD优于DP-SGD。
2022-10-21 cs.CR cs.LG stat.ML
Sharp Composition Bounds for Gaussian Differential Privacy via Edgeworth Expansion
Department of Statistics（统计系）；Graduate Group in Applied Mathematics and Computational Science（应用数学与计算科学研究生组）；Department of Biostatistics, Epidemiology and Informatics（生物统计学、流行病学与信息学系）
包含敏感信息的数据集通常由许多算法顺序分析。这就提出了一个基本的问题，在差分隐私的整体隐私约束如何降低下组成。为了解决这个问题，我们引入了一个家庭的分析和尖锐的隐私范围下的组成使用埃奇沃思扩展的框架内最近提出的f-差分隐私。与现有的使用中心极限定理的组合定理相比，我们的新的隐私组合下的边界获得改进的紧密性，利用改进的近似精度的埃奇沃思扩展。我们的方法是很容易实现和计算效率的任何数量的组合物。这些新的界限的优越性，证实了渐近误差分析和应用量化的整体隐私保证的噪声随机梯度下降用于训练私人深神经网络。
2020-03-25 cs.AI cs.CR cs.LG
Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication
联邦学习（FL）由于其分散的结构允许私下训练大量的数据。随机梯度下降（SGD）由于其良好的经验性能而通常用于FL，但是仍然可以从FL迭代期间共享的权重更新推断敏感的用户信息。我们考虑高斯机制，以保持局部差分隐私（LDP）的用户数据在FL模型与SGD。用户隐私，全球效用和传输速率之间的权衡证明通过定义适当的指标FL与LDP。与已有的结果相比，LDP中使用的查询敏感度被定义为一个变量，并应用更严格的隐私计费方法。建议的效用界允许所有用户的异构参数。我们的界限特征有多少效用减少和传输速率增加，如果一个更强的隐私制度的目标。此外，给定一个目标隐私级别，我们的研究结果保证一个显着更大的效用和更小的传输速率相比，现有的隐私会计方法。
2021-02-09 cs.CR cs.DC cs.IT
Differential Privacy and Byzantine Resilience in SGD: Do They Add Up?
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文讨论了在机器学习（ML）中将拜占庭弹性与隐私相结合的问题。具体而言，我们研究了著名的随机梯度下降（SGD）学习算法的分布式实现是否可行，同时具有差分隐私（DP）和$(α,f)$ -拜占庭弹性。据我们所知，这是第一个从理论角度解决这个问题的工作。我们分析的一个关键发现是，这两个（看似）正交问题的经典方法是不相容的。更确切地说，我们表明，这些技术的直接组合使得所得到的SGD算法的保证不利地依赖于ML模型的参数数量，使得大型模型的训练实际上是不可行的。我们通过对公开数据集的数值实验验证了我们的理论结果;表明同时确保DP和拜占庭弹性是不切实际的。
2021-06-24 cs.CR cs.DC cs.LG
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
Federated Coordinate Descent for Privacy-Preserving Multiparty Linear Regression
North China Electric Power University（华北电力大学）；Shandong University of Finance and Economics（山东财经大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
分布式隐私保护回归方案已经在各个领域中得到开发和扩展，其中多方协作和私有地运行优化算法，例如，梯度下降，学习一组最佳参数。然而，传统的基于递归下降的方法无法解决包含L1正则化的目标函数的问题，例如Lasso回归。在本文中，我们提出了联邦坐标下降，一个新的分布式计划，称为FCD，安全地解决这个问题下多方的情况。具体来说，通过安全聚合和增加扰动，我们的方案保证：（1）没有本地信息泄露给其他方，（2）全局模型参数不暴露给云服务器。增加的扰动最终可以由各方消除，以获得具有高性能的全局模型。我们发现，FCD方案填补了多方安全的坐标下降方法的空白，适用于一般的线性回归，包括线性，岭和套索回归。理论安全性分析和实验结果表明，FCD算法能够有效地执行三种类型线性回归任务，并在真实世界UCI数据集上提供与集中式方法一样低的MAE度量。
2022-10-16 cs.LG
Differentially Private Random Block Coordinate Descent
KAUST（阿卜杜拉国王科技大学）
提出一种差分隐私随机分块坐标下降方法，利用草图矩阵和重要性采样提升收敛速度与效用，推广了DP-CD和DP-SGD。
2024-12-22 cs.CR cs.LG math.OC
PATE-TripleGAN: Privacy-Preserving Image Synthesis with Gaussian Differential Privacy
South-East University（东南大学）
针对CGANs的隐私泄露及DPCGAN依赖标签数据、梯度裁剪损害精度的问题，提出PATE-TripleGAN框架，结合分类器预分类和混合梯度脱敏算法，在保护隐私的同时生成高质量带标签图像。
2024-04-19 cs.CR cs.CV cs.LG
Confined Gradient Descent: Privacy-preserving Optimization for Federated Learning
The University of Queensland（昆士兰大学）；Data61 CSIRO Australia（澳大利亚联邦科学与工业研究组织Data61）
联邦学习使多个参与者能够协作地训练模型，而无需聚合训练数据。虽然训练数据保存在每个参与者内部，并且可以安全地合成局部梯度，但最近的研究表明，这种隐私保护是不够的。为了优化而必须共享的全局模型参数容易泄漏关于训练数据的信息。在这项工作中，我们提出了约束梯度下降（CGD），通过消除全局模型参数的共享来增强联邦学习的隐私。CGD利用梯度下降优化可以从一组离散点开始并在目标函数的全局最小值的邻域处收敛到另一组离散点的事实。它允许参与者独立地对他们的本地数据进行训练，并安全地共享本地梯度的总和，以使彼此受益。我们正式证明了CGD的隐私增强传统的FL。我们证明了更少的信息暴露在CGD相比，传统的FL。CGD也保证了所需的模型精度。我们从理论上建立了CGD的收敛速度。我们证明了损失的专有模型学习每个参与者对一个模型学习的聚合训练数据是有界的。在两个真实世界数据集上的大量实验结果表明，CGD的性能与集中式学习相当，在验证损失（大多在0.05以内）和准确性（大多在1%以内）方面略有差异。
2021-04-27 cs.LG
Network Generation with Differential Privacy
Accenture Labs（埃森哲实验室）
我们考虑的问题，生成私人合成版本的真实世界的图包含私人信息，同时保持所生成的图形的效用。差分隐私是数据隐私的黄金标准，差分隐私随机梯度下降（DP-SGD）算法的引入促进了许多领域中的隐私神经模型的训练。通过深度生成网络生成图形的最新进展已经产生了几个高性能模型。我们评估和比较国家的最先进的模型，包括基于邻接矩阵的模型和基于边缘的模型，并显示一个实际的实施，有利于边列表的方法，利用高斯噪声机制时，常用的图形数据集进行评估。基于我们的研究结果，我们提出了一个生成模型，可以再现现实世界的网络的属性，同时保持边缘差分隐私。该模型是基于一个随机神经网络，产生离散的边列表样本，并使用Wasserstein GAN目标与DP-SGD优化器进行训练。作为第一种结合这些有益特性的方法，我们的模型有助于进一步研究图数据隐私。
2021-11-17 cs.AI cs.CR cs.LG
Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning
ISFA, UCBL（里昂第一大学金融与精算学院）；INRIA（法国国家信息与自动化研究所）
本文提出ProjFL和ProjFL+EF两种算法，通过将局部梯度投影到历史下降方向张成的共享子空间来降低联邦学习通信开销，并在多种凸性设置下证明收敛性，实验表明其能在保持精度的同时显著减少通信成本。
2025-11-05 cs.LG cs.NE math.OC
On the Differentially Private Nature of Perturbed Gradient Descent
IIT Madras（印度理工学院马德拉斯分校）
我们考虑给定数据库的经验风险最小化问题，使用梯度下降算法。我们注意到，要优化的函数可能是非凸的，由鞍点组成，这阻碍了算法的收敛。通常采用扰动梯度下降算法来逃离这些鞍点。我们表明，这种算法，扰动的梯度，本质上保留了数据的隐私。然后，我们采用的差分隐私框架，从而实现量化的隐私。我们还分析了隐私的变化与不同的参数，如问题的尺寸和数据库之间的距离。
2021-01-18 cs.CR cs.LG
Coordinate Descent for MCP/SCAD Penalized Least Squares Converges Linearly
Wuhan University（武汉大学）
从观测数据中恢复稀疏信号是信号/成像处理、统计学和机器学习中的一个重要课题。非凸惩罚最小二乘因其良好的统计性质而受到广泛关注。在计算上，坐标下降（CD）是一个主力最小化非凸惩罚最小二乘准则，由于其简单性和可扩展性。在这项工作中，我们证明了线性收敛速度CD解决MCP/SCAD惩罚最小二乘问题。
2021-09-18 cs.LG stat.CO stat.ML
Concentrated Differentially Private Gradient Descent with Adaptive per-Iteration Privacy Budget
University of Georgia（佐治亚大学）；Penn State University（宾夕法尼亚州立大学）
迭代算法（如梯度下降）是解决各种问题（例如模型拟合）的常用工具。出于这个原因，人们有兴趣创建它们的差异化私有版本。然而，它们转换为差分私有算法通常是幼稚的。例如，选择固定数量的迭代，隐私预算在它们之间均匀分配，并且在每次迭代时，参数都用噪声梯度更新。在本文中，我们表明，基于梯度的算法可以得到改善，更仔细的分配隐私预算每次迭代。直观地说，在优化开始时，梯度预计会很大，因此不需要精确测量。然而，随着参数接近其最佳值，梯度减小，因此需要更精确地测量。我们增加了一个基本的线搜索功能，帮助算法决定何时需要更精确的梯度测量。我们的梯度下降算法与最近推出的差分隐私的zCDP版本。它优于先前的模型拟合算法，并与$(ε,δ)$ -差分隐私（一个严格弱于zCDP的定义）的最新技术水平竞争。
2018-08-28 cs.LG stat.ML
Stability Enhanced Privacy and Applications in Private Stochastic Gradient Descent
University of Edinburgh（爱丁堡大学）
私人机器学习涉及在训练时添加噪声，导致准确性较低。直觉上，更高的稳定性意味着更大的隐私，并改善这种隐私-效用权衡。我们研究了这种作用的稳定性在私人经验风险最小化，差分隐私是通过输出扰动，并建立了相应的理论结果表明，强凸损失函数，一个算法的$β$的一致稳定性意味着一个界的$O(\sqrtβ)$上所需的差分隐私的噪声规模。结果适用于显式正则化和隐式稳定的ERM，例如已知稳定的随机梯度下降的适应。因此，它概括了最近的结果，通过修改SGD提高隐私，并建立稳定性作为统一的观点。它意味着新的隐私保证的优化与统一的稳定性保证，相应的差分隐私保证是以前不知道的。实验结果验证了稳定性增强隐私在几个问题中的实用性，包括弹性网的应用和特征选择。
2020-06-25 cs.CR cs.LG stat.ML
Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent
National University of Singapore（新加坡国立大学）
当迭代随机学习算法的内部状态为\emph{private}时，算法关于训练数据的信息泄漏是什么？每个特定的训练时期对通过发布模型的信息泄漏的贡献有多大？我们研究了这个问题的噪声梯度下降算法，并在整个训练过程中建模的Rényi差分隐私损失的\emph{dynamics}。我们的分析追踪了一个可证明的\emph{tight}边界，该边界位于在相邻数据集上训练的模型参数上的一对概率分布之间的Rényi发散上。我们证明了隐私损失指数收敛速度快，光滑和强凸损失函数，这是一个显着的改进组合定理（高估了隐私损失的上限，其总价值超过所有中间梯度计算）。对于Lipschitz，光滑，强凸损失函数，我们证明了噪声梯度下降算法的最佳效用与一个小的梯度复杂性。
2022-09-09 cs.CR cs.LG stat.ML
Privacy of Noisy Stochastic Gradient Descent: More Iterations without More Privacy Loss
MIT（麻省理工学院）；Apple（苹果公司）
机器学习的一个核心问题是如何在敏感的用户数据上训练模型。工业界广泛采用了一种简单的算法：带噪声的随机梯度下降（也称为随机梯度朗之万动力学）。然而，关于该算法的隐私损失的基本理论问题仍然是开放的-即使在有界域上光滑凸损失的看似简单的设置中。我们的主要结果解决了这些问题：对于一个大的参数范围内，我们的差分隐私的特点，以一个常数的因素。这一结果表明，之前针对该设置的所有分析都具有错误的定性行为。具体来说，虽然以前的隐私分析增加了迭代次数的无限次，但我们表明，经过一段时间的磨合，运行SGD不再泄漏更多的隐私。我们的分析与以前基于快速混合的方法不同，而是使用基于最佳传输（即迭代隐私放大）和采样高斯机制（即采样隐私放大）的技术。我们的技术很容易扩展到其他设置，例如，强凸损失、非均匀步长、任意批量大小以及批量的随机或循环选择。
2023-02-28 cs.CR cs.LG math.OC
Privacy-preserving data release leveraging optimal transport and particle gradient descent
ETH Zürich（苏黎世联邦理工学院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出PrivPGD方法，利用最优传输和粒子梯度 descent进行差分隐私数据合成，在多个数据集上优于现有方法，具备高可扩展性和领域约束灵活性。
2024-07-29 cs.CR cs.LG
Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy
University of Arkansas（阿肯色大学）
当我们在机器学习中强制实施差分隐私时，效用-隐私权衡是不同的。每组梯度裁剪和随机噪声添加不成比例地影响代表性不足和复杂的类和子群，这导致效用损失的不平等。在这项工作中，我们分析了不平等的效用损失差分隐私，并提出了一个修改的差分私人随机梯度下降（DPSGD），称为DPSGD-F，以消除潜在的不同影响的差分隐私的保护组。DPSGD-F根据组剪切偏差调整组中样本的贡献，使得差分隐私对组效用没有不同的影响。我们的实验评估显示了组样本大小和组剪切偏差如何影响DPSGD中的差分隐私的影响，以及每个组的自适应剪切如何有助于减轻DPSGD-F中的差分隐私所造成的不同影响。
2020-09-27 cs.CR cs.CY cs.LG
Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent
Sun Yat-sen University（中山大学）；University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
本文提出输出特定的$(\varepsilon,δ)$-DP方法及高效算法，刻画DP-SGD训练模型中单个样本的隐私保证，发现服务不足群体隐私较弱，如CIFAR-10上低准确率类别平均$\varepsilon$高44.2%。
2024-07-25 cs.CR cs.DS cs.LG
Decentralized Differentially Private Without-Replacement Stochastic Gradient Descent
Electronic Information School, Wuhan University（武汉大学）；Department of Electrical and Computer Engineering, North Carolina State University（北卡罗来纳州立大学）
虽然机器学习在各种领域都取得了显著的成果，但模型的训练通常需要从不同个体收集的大型数据集。由于个人数据集中可能包含敏感信息，因此共享训练数据可能导致严重的隐私问题。因此，迫切需要开发隐私感知的机器学习方法，其中一种有效的方法是利用差分隐私的通用框架。考虑到随机梯度下降（SGD）是大规模机器学习问题中最常用的方法之一，提出了一种分散的差分私有SGD算法.特别是，我们专注于SGD，由于其结构有利于实际实施，因此没有替代品。隐私和收敛性分析所提出的算法。最后，大量的实验证明了所提出的方法的有效性。
2023-02-05 cs.LG stat.ML
Gradient descent with adaptive stepsize converges (nearly) linearly under fourth-order growth
Wharton Department of Statistics and Data Science, University of Pennsylvania（沃顿统计与数据科学系，宾夕法尼亚大学）；Department of Mathematics, U. Washington（数学系，华盛顿大学）；Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文证明自适应步长梯度下降在仅具四阶增长的光滑函数上可近乎线性收敛，提出基于“沟壑”流形分解的步长策略，并在矩阵感知、分解及过参数化单神经元学习问题上验证了理论与算法。
2025-11-08 cs.LG math.OC
Gradient Descent Converges Linearly to Flatter Minima than Gradient Flow in Shallow Linear Networks
Princeton University（普林斯顿大学）；George Washington University（乔治华盛顿大学）
本文研究浅层线性网络中梯度下降的收敛动力学，证明其以线性速率收敛到比梯度流更平坦且范数更小的全局最小值，并揭示了收敛速度与隐式正则化之间的权衡。
2025-01-21 cs.LG math.OC stat.ML
Comparing Federated Stochastic Gradient Descent and Federated Averaging for Predicting Hospital Length of Stay
Aalto University（阿尔托大学）
本研究将医院住院时长预测建模为经验图，采用联邦学习（FedSGD与FedAVG）在不泄露隐私的前提下实现准确预测，解决了传统方法数据不足的问题。
2024-07-17 cs.LG
Differentially Private Two-Stage Gradient Descent for Instrumental Variable Regression
本文提出了一种具有差分隐私的双重阶段梯度下降算法，用于工具变量回归，解决了隐私保护与统计效率的平衡问题，并通过实验验证了其有效性。
2026-02-15 cs.AI cs.LG econ.EM
On the Inherent Privacy of Zeroth Order Projected Gradient Descent
Department of Computer Science University of Southern California（计算机科学系美国南加州大学）
本文证明零阶梯度下降的固有噪声不足以保证差分隐私，即使在随机初始化下，其隐私损失也可能随迭代次数超线性增长。
2025-07-09 cs.LG math.OC stat.ML
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降（SGD）方法，提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外，基于局部误差界条件，我们建立了该方法的线性收敛性，以获得非凸优化的稳定点。特别地，我们证明了不仅生成的序列线性收敛到问题的一个稳定点，而且相应的目标值序列也线性收敛。最后，数值实验验证了该方法的有效性.据我们所知，它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
