Numerical Composition of Differential Privacy
Microsoft（微软）；University of Washington（华盛顿大学）
我们给出了一个快速算法，以最佳组合的隐私保证差分隐私（DP）算法的任意精度。我们的方法是基于隐私损失随机变量的概念来量化DP算法的隐私损失。我们的算法所需的运行时间和内存来近似的隐私曲线的DP算法与自身$k$倍组成的是$\tilde{O}(\sqrt{k})$。这改进了Kopia等人（2020）的最佳现有方法，该方法需要$\tildeΩ(k^{1.5})$运行时间。我们通过准确计算Abadi et al.（2016）的DP-SGD算法的隐私损失来证明我们算法的实用性，并表明我们的算法与之前的工作相比将隐私计算速度提高了几个数量级，同时保持了类似的准确性。
2021-10-26 cs.CR cs.DS cs.LG
Fully Adaptive Composition for Gaussian Differential Privacy
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们发现，高斯差分隐私，一个变种的差分隐私适合高斯噪声的分析，组成优雅，即使在存在一个完全自适应的分析师。这样的分析师自适应地选择机制（在敏感数据集上运行）及其隐私预算，也就是说，基于来自先前在同一数据集上运行的其他机制的答案。用罗杰斯、罗斯、厄尔曼和瓦丹的话来说，这给出了一个GDP滤波器，其参数与非自适应合成滤波器的参数相同。
2022-10-31 cs.CR cs.LG
Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
差分隐私在过去十年中作为数据隐私的严格和实用的形式化已经取得了显着的成功。然而，这种隐私定义及其基于分歧的放松，有几个公认的弱点，无论是在处理组成的私人算法，或在分析重要的原语，如隐私放大子采样。受隐私权假设检验公式的启发，本文提出了一种新的隐私权松弛方法，我们称之为“$f$ -差分隐私”（$f$ -DP）.这种隐私的概念具有许多吸引人的特性，特别是避免了与基于发散的松弛相关联的困难。首先，$f$ -DP保留了假设检验解释。此外，$f$ -DP允许以代数方式进行关于组合的无损推理。此外，我们提供了一个强大的技术，进口现有的结果证明了原始DP的$f$ -DP，并作为一个应用程序，获得一个简单的子采样定理$f$ -DP。除了上述发现，我们引入了一个规范的单参数家庭的隐私概念内的$f$类，被称为“高斯差分隐私”（GDP），定义基于测试两个移位高斯。GDP是焦点之间的$f$ -DP类，因为我们证明了一个中心极限定理。更确切地说，基于隐私定义（包括原始DP）的\emph{any}假设检验的隐私保证在组合下的极限中收敛于GDP。CLT还产生了一个计算成本低廉的工具，用于分析私有算法的确切组成。综上所述，这些有吸引力的属性使$f$ -DP成为一个数学上一致的、分析上易处理的、多功能的私有数据分析框架。最后，我们展示了我们开发的工具的使用，通过提供一个改进的隐私分析嘈杂的随机梯度下降。
2019-05-30 cs.CR cs.DS cs.LG
Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research（微软研究院）
差分隐私（DP）是隐私保护深度学习的主要方法。因此，有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP，依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而，现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数，称为隐私预算。这阻止了训练算法的设计，即在运行中调整隐私预算，或者提前终止以减少总的隐私损失。或者，现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限，常数太大，是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题，证明了一个简单的合成定理，该定理具有较小的常数，使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用：在线调整噪声或批量大小，以在固定的总隐私损失内提高模型的准确性，以及在微调模型时提前停止，以减少总隐私损失。
2021-06-04 cs.LG stat.ML
Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics
LinkedIn（领英）
差分隐私（DP）为个人数据提供严格的隐私保证，同时还允许对整体敏感数据集进行准确的统计。要设计一个私有系统，首先必须设计私有算法，可以量化每个结果的隐私损失。然而，将噪声注入计算的私有算法不足以确保个人数据受到保护，因为许多噪声结果最终集中于真实的非私有化结果。因此，已经有几个作品提供了精确的公式，说明隐私损失如何在与私有算法的多次交互中累积。然而，这些公式要么提供了非常一般的隐私损失的界限，在某些类型的私人算法过于悲观的代价，或者他们可以太窄的范围，适用于一般的隐私系统。在这项工作中，我们统一了现有的隐私损失组合边界的特殊类别的差分隐私（DP）算法，以及一般DP组合边界。特别是，我们提供了强大的隐私损失界限时，分析师可以选择纯DP，有界范围（例如指数机制），或集中DP机制以任何顺序。我们还提供了最佳的隐私损失界限，适用于分析师可以选择纯DP和有界范围的机制在一批，即非自适应。此外，当一个分析师在每个类自适应选择机制，我们表现出不同的，预定的纯DP和有界范围机制之间的差异，隐私损失。最后，我们比较了基于直方图数据集的拉普拉斯和高斯机制的组合边界。
2020-11-17 cs.CR cs.LG
Tight Accounting in the Shuffle Model of Differential Privacy
Nokia Bell Labs（诺基亚贝尔实验室）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
差分隐私的Shuffle模型是一种基于局部隐私机制和安全Shuffler相结合的分布式隐私模型。已经表明，由洗牌器提供的额外随机化与纯本地机制相比提高了隐私界限。然而，会计紧边界由于洗牌带来的复杂性而变得复杂。最近提出的数值技术，用于评估$(\varepsilon,δ)$ -差分隐私保证已被证明比常用的各种复杂机制的组合物的方法给出更严格的界限。在本文中，我们展示了如何使用Feldman等人（2021）的分析获得一般$\varepsilon$ -LDP混洗器的自适应组合的准确界，以及如何使用Balle等人（2019）的分析获得$k$ -随机响应机制的混洗器的自适应组合的紧界。我们将展示如何加快评估所产生的隐私损失分布从$\mathcal{O}(n^2)$到$\mathcal{O}(n)$，其中$n$是用户的数量，而不会产生明显的变化$δ(\varepsilon)$上限。我们还证明了现有的界限和方法在文献中发现的松散，改善以前的组合物的结果显着。
2022-01-31 cs.CR cs.LG stat.ML
Adaptive Privacy Composition for Accuracy-first Mechanisms
LinkedIn（领英）；Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）
针对精度优先降噪机制缺乏组合理论的问题，本文提出可在差分隐私与事后隐私机制间自适应切换的隐私过滤器，以跟踪累积隐私损失并保证总体差分隐私。
2023-12-05 cs.CR cs.DS cs.LG
Composition Theorems for Multiple Differential Privacy Constraints
研究同时满足两个差分隐私约束的机制组合，提出一个能自然推广到任意数量约束的框架，并应用于近似f-差分隐私组合。
2026-04-15 cs.CR cs.IT math.IT
On Differential Privacy and Adaptive Data Analysis with Bounded Space
Ben-Gurion University（本-古里安大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Rice University（莱斯大学）
我们研究了差分隐私和自适应数据分析这两个相关领域的空间复杂度。具体而言，（1）在标准密码学假设下，我们证明了存在一个问题P，与没有隐私所需的空间相比，该问题P需要以指数方式更多的空间来有效地解决差分隐私。据我们所知，这是私有算法和非私有算法的空间复杂度之间的第一次分离。(2)自适应数据分析的工作重点是理解回答一系列自适应查询所需的样本数量。我们重新审视以前的下限在基础水平，并表明，它们是一个空间瓶颈，而不是采样瓶颈的后果。为了获得我们的结果，我们定义并构建了一个具有多个密钥的加密方案，该加密方案以一种非常特殊的方式承受有限数量的密钥泄漏。
2023-02-11 cs.CR cs.DS cs.LG
Differentially Private Learning Needs Hidden State (Or Much Faster Convergence)
National University of Singapore（新加坡国立大学）
先前的工作差分隐私分析的随机SGD算法依赖于组成定理，其中隐含的（不切实际的）假设是，内部状态的迭代算法被透露给对手。因此，通过这种基于成分的分析导出的Rényi DP界限随着训练时期的数量线性增长。当算法的内部状态是隐藏的，我们证明了一个收敛的隐私界噪声随机梯度下降（强凸光滑损失函数）。我们展示了如何通过子采样和随机后处理来利用隐私放大，并证明了“洗牌和分区”和“无替换采样”随机小批量梯度下降方案的隐私界动态性。我们证明了，在这些设置中，我们的隐私边界以指数速度收敛，并且大大小于组合边界，特别是在几个训练时期之后。因此，除非DP算法收敛快，我们的隐私分析表明，隐藏状态分析可以显着放大差分隐私。
2022-10-17 cs.CR cs.LG stat.ML
Differential Privacy at Risk: Bridging Randomness and Privacy Budget
École Normale Supérieure（巴黎高等师范学院）；Chalmers University of Technology（查尔姆斯理工大学）；National University of Singapore（新加坡国立大学）
隐私保护机制的噪声校准取决于查询的敏感性和规定的隐私级别。数据管理员必须对隐私级别做出重要的选择，以平衡用户的需求和业务实体的资金限制。我们分析角色的随机性的来源，即显式随机性引起的噪声分布和隐式随机性引起的数据生成分布，参与设计的隐私保护机制。更精细的分析使我们能够提供更强有力的隐私保证，并具有可量化的风险。因此，我们提出的隐私风险，这是一个概率校准的隐私保护机制。我们提供了一个组合定理，利用隐私的风险。我们实例化的概率校准拉普拉斯机制提供分析结果。我们还提出了一个成本模型，该模型可以弥合隐私级别与GDPR合规商业实体估计的补偿预算之间的差距。所提出的成本模型的凸性导致隐私级别的独特微调，最大限度地减少补偿预算。我们展示了它的有效性，说明了一个现实的情况下，避免高估的补偿预算使用隐私风险的拉普拉斯机制。我们定量地表明，组合使用成本最优的隐私风险提供了更强的隐私保证比经典的先进的组合。
2020-04-13 cs.CR cs.DS cs.LG
Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
联邦学习（FL）使分布式代理能够协作学习集中式模型，而无需彼此共享原始数据。然而，数据局部性不提供足够的隐私保护，并且期望促进具有严格的差分隐私（DP）保证的FL。现有的DP机制会引入幅度与模型大小成比例的随机噪声，这在深度神经网络中可能非常大。在本文中，我们提出了一个新的FL框架与稀疏放大隐私。我们的方法集成了随机稀疏与梯度扰动每个代理放大隐私保证。由于稀疏化会增加达到一定目标精度所需的通信轮数，这对DP保证不利，因此我们进一步引入加速技术以帮助降低隐私成本。我们严格分析了我们方法的收敛性，并利用Renyi DP来严格考虑端到端的DP保证。在基准数据集上的大量实验验证了该方法在隐私保证和通信效率方面都优于以前的差分私有FL方法。
2021-06-08 cs.CR cs.LG stat.ML
Adaptive Laplace Mechanism: Differential Privacy Preservation in Deep Learning
New Jersey Institute of Technology（新泽西理工学院）；University of Arkansas（阿肯色大学）；University of Oregon（俄勒冈大学）
在本文中，我们专注于开发一种新的机制来保护深度神经网络中的差分隐私，使得：（1）隐私预算消耗完全独立于训练步骤的数量;（2）它能够根据每个特征对输出的贡献自适应地将噪声注入特征;（3）它可以应用于各种不同的深度神经网络。为了实现这一点，我们找到了一种方法来扰动神经元的仿射变换，以及深度神经网络中使用的损失函数。此外，我们的机制有意地将“更多的噪音”添加到与模型输出“不太相关”的特征中，反之亦然。我们的理论分析进一步推导出我们的机制的灵敏度和误差范围。在MNIST和CIFAR-10数据集上进行的严格实验表明，我们的机制非常有效，优于现有的解决方案。
2018-04-23 cs.CR cs.LG stat.ML
Cactus Mechanisms: Optimal Differential Privacy Mechanisms in the Large-Composition Regime
Arizona State University（亚利桑那州立大学）；Harvard University（哈佛大学）；McMaster University（麦克马斯特大学）
大多数差分隐私机制被应用（即，在敏感的数据上多次。本文研究了在组合数较多的情况下最优差分隐私机制的设计问题。由于大数定律，在这种制度下，最好的隐私机制是最小化给定两个不同输入的机制的条件输出分布之间的Kullback-Leibler分歧的机制。我们制定了一个优化问题，以尽量减少这种分歧的噪声成本约束。我们首先证明了添加剂机制是最优的。由于优化问题是无限维的，它不能直接解决，然而，我们将这个问题，以获得接近最佳的添加剂机制，我们称之为“仙人掌机制”，由于它们的形状。我们表明，我们的量化方法可以任意接近最佳机制。令人惊讶的是，对于二次成本，高斯机制与仙人掌机制相比是严格次优的。最后，我们提供的数值结果表明，仙人掌机制优于高斯机制的有限数量的组合物。
2022-06-25 cs.CR cs.IT cs.LG
SAPAG: A Self-Adaptive Privacy Attack From Gradients
University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）；Duke University（杜克大学）；Amazon Web Services, Inc.（亚马逊云科技公司）；Stevens Institute of Technology（史蒂文斯理工学院）
分布式学习，如联邦学习或协作学习，可以对来自用户的分散数据进行模型训练，并且只收集局部梯度，其中数据在接近其来源的地方进行处理，以保护数据隐私。不集中训练数据的性质解决了隐私敏感数据的隐私问题。近年来的研究表明，在分布式机器学习系统中，第三方可以通过公开共享的梯度重构真实的训练数据。然而，现有的重构攻击框架缺乏对不同深度神经网络（DNN）架构和不同权重分布初始化的通用性，并且只能在早期训练阶段成功。为了解决这些限制，在本文中，我们提出了一个更一般的隐私攻击梯度，SAPAG，它使用高斯核的梯度差作为距离测量。我们的实验表明，SAPAG可以构建训练数据在不同的DNN与不同的权重初始化和DNN在任何训练阶段。
2020-09-14 cs.CR cs.LG stat.ML
Private Adaptive Optimization with Side Information
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
自适应优化方法已经成为许多机器学习任务的默认求解器。不幸的是，当使用差分隐私进行训练时，自适应性的好处可能会降低，因为为确保隐私而添加的噪声会降低自适应预处理器的有效性。为此，我们提出了AdaDPS，一个通用的框架，使用非敏感的边信息来预处理梯度，允许在私人设置中有效地使用自适应方法。我们正式表明AdaDPS减少了实现类似隐私保证所需的噪声量，从而提高了优化性能。从经验上讲，我们利用简单和现成的辅助信息来探索AdaDPS在实践中的性能，与集中式和联邦设置中的强大基线进行比较。我们的研究结果表明，AdaDPS平均将准确率提高了7.7%（绝对值）-在大规模文本和图像基准测试中获得了最先进的隐私实用性权衡。
2022-06-25 cs.CR cs.LG stat.ML
TADP-RME: A Trust-Adaptive Differential Privacy Framework for Enhancing Reliability of Data-Driven Systems
Indian Statistical Institute Kolkata（印度统计研究所加尔各答分校）；Army Institute of Management（陆军管理学院）
本文提出TADP-RME框架，通过引入逆信任分数和反向流形嵌入技术，改进隐私-效用权衡，提升对抗环境下的系统可靠性。
2026-04-09 cs.AI cs.CR cs.LG
On the Renyi Differential Privacy of the Shuffle Model
本文研究的中心问题是随机隐私模型中一般离散局部机制的Renyi差分隐私（RDP）保证。在混洗模型中，每个$n$客户端使用本地差异私有（LDP）机制随机化其响应，并且不可信服务器仅接收客户端响应的随机排列（混洗），而不与每个客户端关联。本文的主要结果是第一个非平凡的RDP保证一般离散局部随机化机制在洗牌隐私模型，我们开发了新的分析技术，得出我们的结果可能是独立的利益。在应用程序中，这样的RDP保证在我们使用它来组成几个私有交互时最有用。我们数值证明，对于重要的制度，与组合我们的边界产生的$8\times$的一个因素，在最先进的近似差分隐私（DP）保证（与标准组成）洗牌模型的隐私保证的改善。此外，结合泊松子采样，我们的结果导致至少$10\times$改进与标准组合的子采样近似DP。
2021-05-11 cs.CR cs.LG
A Randomized Approach for Tight Privacy Accounting
Princeton University（普林斯顿大学）；Virginia Tech（弗吉尼亚理工大学）
本文提出差分隐私新范式EVR，通过Monte Carlo技术构建随机化隐私验证器和DP accountant，将隐私参数估计转化为严格上界保证，提升了隐私保护机器学习的效用-隐私权衡。
2023-11-21 cs.CR cs.DS cs.LG
Mitigating Bias in Adaptive Data Gathering via Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
自适应地收集的数据-例如，通过强盗算法-显示出偏见。这是真实的，当收集简单的数值数据时-由随机强盗算法跟踪的经验手段是向下偏置的-当收集更复杂的数据时-对通过上下文强盗算法收集的复杂数据运行假设检验会导致错误的发现。在本文中，我们表明，如果数据汇集过程是差分私有的，这个问题是缓解。这让我们既可以约束简单数值量的偏差（如随机强盗算法的经验平均值），又可以校正在自适应收集的数据上运行的假设检验的p值。此外，存在差分私人土匪算法与附近的最佳遗憾界：我们应用现有的定理在简单的随机情况下，并给出了一个新的分析线性上下文土匪。我们补充我们的理论结果与实验验证我们的理论。
2018-06-06 cs.DS cs.LG stat.ML
The Role of Interactivity in Local Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
我们研究了局部差分隐私中的交互能力。首先，我们专注于完全交互式和顺序交互式协议之间的差异。顺序交互式协议可以按顺序自适应地查询用户，但不能返回到先前查询的用户。绝大多数现有的本地差分隐私的下限仅适用于顺序交互式协议，在本文之前，不知道是否完全交互式协议更强大。我们解决这个问题。首先，我们分类本地私有协议的组合性，乘法因子$k \geq 1$的协议的单轮隐私参数的总和超过其整体的隐私保证。然后，我们将展示如何有效地将任何完全交互式$k$组合协议转换为一个等价的顺序交互式协议与$O(k)$爆破样本的复杂性。接下来，我们表明，我们的减少是紧密的，表现出一系列的问题，这样对于任何$k$，有一个完全交互式的$k$ -组成协议，解决了这个问题，而没有顺序交互式协议可以解决这个问题，至少有一个$\tilde Ω(k)$因素更多的例子。然后，我们将注意力转向假设检验问题。我们发现，对于一个大类的复合假设检验问题-其中包括所有简单的假设检验问题作为一个特殊情况-一个简单的noninteractive测试是最佳的类中的所有（可能完全互动）的测试。
2019-11-08 cs.CR cs.LG stat.ML
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
Adaptive Statistical Learning with Bayesian Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
在统计学习中，数据集通常被划分为两个部分：训练集和保持集（即，测试）集合。例如，训练集用于学习预测器，然后保持集用于估计预测器在真实分布上的准确性。然而，在实践中，经常会重复使用保持数据集，并且基于先前估计的结果自适应地选择在保持数据集上测试的估计，导致预测器可能变得依赖于保持集。因此，可能会发生过拟合，并且学习的模型可能无法很好地推广到看不见的数据集。先前的研究已经建立了学习算法的稳定性和它的泛化能力之间的联系，但传统的泛化是不鲁棒的自适应组合。最近，Dwork等人在NIPS，STOC和Science 2015中表明，来自i.i.d.如果使用为差分隐私开发的技术来扰动和协调估计，则数据样本可以在自适应统计学习中被重新使用，差异隐私是量化隐私的广泛使用的概念。然而，Dwork等人的结果仅适用于i.i.d.的情况。样品相比之下，数据样本之间的相关性存在，因为用户之间的各种行为，社会和遗传关系。我们在自适应统计学习中的结果推广了Dwork等人的结果。数据样本到任意相关的数据。具体来说，我们证明了相关样本的holdout数据集可以在自适应统计学习中重用，如果使用贝叶斯差分隐私开发的技术对估计进行扰动和协调，这是Yang等人最近在SIGMOD 2015中引入的隐私概念，以拓宽数据记录相关时差分隐私的应用场景。
2019-11-02 cs.CR cs.CY cs.LG
SLDP: Semi-Local Differential Privacy for Density-Adaptive Analytics
Weierstrass Institute for Applied Analysis and Stochastic（魏尔斯特拉斯应用分析与随机研究所）
SLDP通过半局部差分隐私框架实现密度自适应分析，解耦隐私成本与迭代次数，提升高分辨率网格的隐私保护效果。
2026-02-21 cs.LG
An Adaptive and Fast Convergent Approach to Differentially Private Deep Learning
University of Nanjing（南京大学）；Michigan State University（密歇根州立大学）；Nanyang Technological University（南洋理工大学）；Yale University（耶鲁大学）
随着大数据时代的到来，深度学习已经成为各种机器学习或数据采掘任务（例如，信号处理、网络建模和流量分析等）中的普遍构建块。众包的海量用户数据对深度学习模型的成功起着至关重要的作用。然而，已经表明，用户数据可以从训练的神经模型中推断出来，从而暴露给潜在的对手，这引起了信息安全和隐私问题。为了解决这个问题，最近的研究利用差分隐私技术来设计隐私保护深度学习算法。尽管差分隐私在隐私保护方面取得了成功，但它降低了神经模型的性能。在本文中，我们开发ADADP，自适应和快速收敛的学习算法与可证明的隐私保证。ADADP通过自适应学习率提高收敛速度，显著降低了隐私代价，并通过引入自适应噪声，减轻了差分隐私对模型精度的负面影响。ADADP的性能在真实世界的数据集上进行了评估。实验结果表明，它优于国家的最先进的差分隐私方法的隐私成本和模型的准确性。
2019-12-19 cs.CR cs.LG
Stochastic Adaptive Line Search for Differentially Private Optimization
University of Georgia（佐治亚大学）
私有的基于梯度的优化算法的性能高度依赖于步长（或学习率）的选择，这通常需要非平凡量的调整。在本文中，我们介绍了一个经典的回溯线搜索算法，满足Rényi差分隐私的随机变体。具体而言，该算法自适应地选择步长satsisfying的Armijo条件（具有高概率）使用噪声梯度和函数估计。此外，为了提高所选择的步长满足条件的概率，该算法在运行时根据噪声梯度的可靠性来调整每次迭代的隐私预算。回溯搜索算法的幼稚实现可能最终使用不可接受的大隐私预算，因为自适应步长选择的能力是以额外的函数评估为代价的。该算法利用稀疏向量技术结合最近的隐私放大引理避免了这个问题。我们还引入了一个隐私预算自适应策略，该算法自适应地增加预算时，它检测到，连续梯度指向的方向是截然不同的。在凸和非凸问题上的大量实验表明，自适应选择的步长使该算法能够有效地利用隐私预算，并与现有的私有优化器相比表现出竞争力。
2020-08-27 cs.LG stat.ML
Optimal Accounting of Differential Privacy via Characteristic Function
UC Santa Barbara（加州大学圣巴巴拉分校）；Northwestern University（西北大学）
表征组合物的隐私退化，即，隐私计费是差分隐私（DP）中的基本主题，其具有差异私有机器学习和联邦学习的许多应用。我们提出了一个统一的最新进展（仁义DP，隐私配置文件，$f$ -DP和PLD形式主义）通过\emph{characteristic function}（$ϕ$ -功能）的某个\emph{dominating}隐私损失随机变量。我们表明，我们的方法允许\emph{natural}自适应组合像Renyi DP，提供\emph{exactly tight}隐私会计像PLD，并可以（通常\emph{losslessly}）转换为隐私配置文件和$f$ -DP，从而提供$(ε,δ)$ -DP保证和可解释的权衡功能。在数学上，我们提出了一个\emph{analytical Fourier accountant}，它象征性地表示$ϕ$ -函数的\emph{complex}对数，并使用高斯求积进行数值计算。在几个流行的DP机制和他们的子采样对应，我们证明了我们的方法在理论和实验上的灵活性和紧密性。
2022-05-31 cs.CR cs.LG
Rao Differential Privacy
Department of Mathematics and Statistics University of Massachusetts Amherst（数学与统计学系 马萨诸塞大学阿默斯特分校）
本文从信息几何视角出发，提出基于Rao距离的Rao差分隐私定义，该定义保留传统差分隐私的解释，同时改进了序列组合性能。
2025-08-23 cs.CR cs.IT cs.LG
Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation
Queen’s University（女王大学）；Ingenuity Labs Research Institute（Ingenuity Labs 研究院）；J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出ANADP算法，根据参数重要性自适应分配差分隐私噪声，在保持隐私约束的同时缩小了常规微调与差分隐私微调的性能差距。
2024-10-03 cs.AI cs.CL cs.CR
Bayesian Frequency Estimation Under Local Differential Privacy With an Adaptive Randomized Response Mechanism
Sabancı University（萨班哲大学）
针对随时间顺序收集的私有分类数据，提出AdOBEst-LDP算法，通过自适应LDP机制和贝叶斯后验采样提高未来数据效用，理论分析证明其收敛性，数值结果显示其优于非自适应和半自适应方法。
2024-11-30 cs.CR cs.LG stat.ML
Rényi Pufferfish Privacy: General Additive Noise Mechanisms and Privacy Amplification by Iteration
Craft AI；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Université de Montpellier（蒙彼利埃大学）
本文提出基于 Rényi 散度的 Pufferfish 隐私变体，通过推广 Wasserstein 机制、强化分布外敌手保证并证明收缩性含噪迭代的隐私放大，首次将 Pufferfish 框架应用于私有凸优化。
2024-06-10 cs.CR cs.LG stat.ML
Minimax And Adaptive Transfer Learning for Nonparametric Classification under Distributed Differential Privacy Constraints
本文研究了在分布式差分隐私约束及后验漂移模型下非参数分类的极小化与自适应迁移学习，建立了极小化误分类率并开发了实现最优率的数据驱动自适应分类器。
2024-06-28 math.ST stat.ME stat.ML
A bounded-noise mechanism for differential privacy
MIT（麻省理工学院）
我们提出了一种渐近最优的$(ε,δ)$差分私有机制，用于回答多个自适应询问的$Δ$敏感查询，解决了Steinke和Ullman的猜想[2020]。我们的算法有一个显着的优势，它增加了独立的有界噪声的每个查询，从而提供了一个绝对的错误界。此外，我们将我们的算法应用于自适应数据分析，获得了改进的保证，回答多个查询有关的一些潜在的分布使用有限的样本。数值计算表明，有界噪声机制优于高斯机制在许多标准设置。
2021-11-07 cs.CR cs.DS cs.LG
Efficient Federated Unlearning with Adaptive Differential Privacy Preservation
Nanyang Technological University（南洋理工大学）
针对联邦遗忘中存储历史更新引发的隐私风险，提出FedADP方法，通过自适应差分隐私机制、双层选择过程和新型校准方法，在降低存储与通信成本的同时有效平衡了遗忘效率与隐私保护。
2024-11-17 cs.CR cs.LG
Adaptive Methods Are Preferable in High Privacy Settings: An SDE Perspective
University of Basel（巴塞尔大学）；University of Zürich（苏黎世大学）
通过SDE分析发现，在高隐私或大批次噪声场景中，自适应方法在隐私-效用权衡和学习率调整上更具优势。
2026-03-03 cs.CR cs.LG
Improved Differential Privacy for SGD via Optimal Private Linear Operators on Adaptive Streams
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google Research（谷歌研究院）；Boston University（波士顿大学）
最近的应用程序需要差分隐私自适应流的动机，我们调查的矩阵机制在这种设置的最佳实例化的问题。我们证明了基本的理论结果的适用性矩阵分解自适应流，并提供了一个无参数的不动点算法计算最佳因子分解。我们实例化这个框架的具体矩阵，自然出现在机器学习，训练用户级差分隐私模型与由此产生的最佳机制，产生显着的改善，在一个显着的问题，在联邦学习与用户级差分隐私。
2023-01-18 cs.LG math.OC
Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation
Division of Information Science and Engineering, School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology（信息科学与工程系，电气工程与计算机科学学院，皇家理工学院）
针对联邦学习中的掉队者问题，提出自适应编码联邦学习（ACFL），通过自适应调整聚合权重，在保护隐私的同时提升学习性能，仿真验证其优于非自适应方法。
2025-08-06 cs.CR cs.LG eess.SP
Concentrated Differentially Private Gradient Descent with Adaptive per-Iteration Privacy Budget
University of Georgia（佐治亚大学）；Penn State University（宾夕法尼亚州立大学）
迭代算法（如梯度下降）是解决各种问题（例如模型拟合）的常用工具。出于这个原因，人们有兴趣创建它们的差异化私有版本。然而，它们转换为差分私有算法通常是幼稚的。例如，选择固定数量的迭代，隐私预算在它们之间均匀分配，并且在每次迭代时，参数都用噪声梯度更新。在本文中，我们表明，基于梯度的算法可以得到改善，更仔细的分配隐私预算每次迭代。直观地说，在优化开始时，梯度预计会很大，因此不需要精确测量。然而，随着参数接近其最佳值，梯度减小，因此需要更精确地测量。我们增加了一个基本的线搜索功能，帮助算法决定何时需要更精确的梯度测量。我们的梯度下降算法与最近推出的差分隐私的zCDP版本。它优于先前的模型拟合算法，并与$(ε,δ)$ -差分隐私（一个严格弱于zCDP的定义）的最新技术水平竞争。
2018-08-28 cs.LG stat.ML
Tangent Transformers for Composition, Privacy and Removal
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究提出切线注意力微调（TAFT）方法，对预训练Transformer做一阶泰勒展开得到线性化的Tangent Transformer，可高效计算且性能媲美非线性微调，在模型组合、并行训练、机器遗忘和差分隐私方面具备优势。
2024-05-14 cs.LG
Generalized PTR: User-Friendly Recipes for Data-Adaptive Algorithms with Differential Privacy
University of California, Santa Barbara（加州大学圣巴巴拉分校）
“Propose-Test-Release”（PTR）框架是设计数据自适应的差分私有（DP）算法的经典配方，即当输入数据集良好时添加较少噪声的算法。我们通过私下测试数据相关的隐私损失而不是本地敏感性，将PTR扩展到更一般的设置，从而使其适用于标准的噪声添加机制之外，例如，具有无限或未定义的敏感性的查询。我们证明了通用的PTR使用私人线性回归作为一个案例研究。此外，我们应用我们的算法来解决一个来自“教师集合的私人聚合（PATE）”的开放问题-通过精细的数据依赖分析私下发布整个模型。
2022-12-31 cs.LG
Adaptive False Discovery Rate Control with Privacy Guarantee
Iowa State University（爱荷华州立大学）
本文提出差分隐私自适应FDR控制方法DP-AdaPT，通过新颖的p值变换和镜像剥离算法，在精确控制FDR的同时保护隐私，相比现有方法性能更优且计算成本更低。
2023-05-31 cs.LG stat.ME stat.ML
DPxFin: Adaptive Differential Privacy for Anti-Money Laundering Detection via Reputation-Weighted Federated Learning
A*STAR IHPC（A*STAR 国家实验室信息物理计算中心）；SRM University-AP（SRM 大学-安得拉邦）；Evyd Singapore（Evyd 新加坡）
本文提出DPxFin框架，通过声誉引导的自适应差分隐私技术，在反洗钱检测中提升隐私保护与模型效用的平衡。
2026-03-14 cs.CR cs.LG
ALPINE: Closed-Loop Adaptive Privacy Budget Allocation for Mobile Edge Crowdsensing
ALPINE通过闭环自适应隐私预算分配框架，结合多维风险感知与深度强化学习策略，实现动态隐私保护与数据效用的平衡，降低隐私攻击风险并提升下游任务性能。
2026-04-09 cs.LG
Evaluation of Differential Privacy Mechanisms on Federated Learning
Technical University of Munich（慕尼黑工业大学）
针对联邦学习中固定差分隐私预算导致模型收敛时噪声过大的问题，本工作基于 SelecEval 模拟器实现了自适应隐私预算的 Laplace 和 Gaussian 机制，并引入自适应裁剪技术，实验证明该方法能在保护隐私的同时维持模型准确率。
2025-10-09 cs.AI cs.LG
Differentially Private Federated Learning With Time-Adaptive Privacy Spending
University of Toronto（多伦多大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
针对联邦学习中隐私预算均匀消耗的假设，提出时间自适应DP-FL框架，按轮次和客户端非均匀分配隐私预算，在早期节省预算用于后期细粒度学习，理论证明并实验验证了隐私-效用权衡的改善。
2025-02-25 cs.CR cs.DC cs.LG
Adaptive Control of Differentially Private Linear Quadratic Systems
Indian Institute of Science（印度科学研究院）；Wayne State University（韦恩州立大学）；The Ohio State University（俄亥俄州立大学）
本文研究了差分隐私约束下的强化学习（RL）中的遗憾最小化问题。这项工作的动机是广泛的RL应用程序提供个性化的服务，隐私问题变得至关重要。与以前的作品相比，我们向非表格RL设置迈出了第一步，同时提供了严格的隐私保证。特别地，我们考虑了差分私有线性二次（LQ）系统的自适应控制。我们开发了第一个私人RL算法，PRL，这是能够达到一个次线性的遗憾，同时保证隐私保护。更重要的是，在给定隐私参数$ε, δ> 0$的情况下，由于隐私而产生的额外成本仅为$\frac{\ln(1/δ)^{1/4}}{ε^{1/2}}$的量级。通过这一过程，我们还提供了一个一般的过程，LQ系统的自适应控制下的变化的正则化，这不仅推广了以前的非私人控制，但也作为一般的私人控制的基础。
2021-08-26 cs.LG
Model Explanations with Differential Privacy
National University of Singapore (NUS)（新加坡国立大学）
黑箱机器学习模型被用于关键决策领域，这引发了一些要求提高算法透明度的呼声。缺点是模型解释可能会泄露有关训练数据和用于生成它们的解释数据的信息，从而破坏数据隐私。为了解决这个问题，我们提出了不同的私人算法来构建基于特征的模型解释。我们设计了一个自适应差分隐私梯度下降算法，找到产生准确的解释所需的最小隐私预算。它通过自适应地重用过去的差异隐私解释，减少了解释数据的整体隐私损失。它还增强了关于训练数据的隐私保证。我们评估的影响，不同的私人模型和我们的隐私机制的模型解释的质量。
2020-06-16 cs.LG stat.ML
DP-MGTD: Privacy-Preserving Machine-Generated Text Detection via Adaptive Differentially Private Entity Sanitization
Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Hengxin Tech（恒心科技）
DP-MGTD通过自适应差分隐私实体净化技术，在保障隐私的前提下实现对机器生成文本的高精度检测。
2026-07-30 cs.CL cs.CR cs.LG
PA-CFL: Privacy-Adaptive Clustered Federated Learning for Transformer-Based Sales Forecasting on Heterogeneous Retail Data
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
针对零售异构数据下联邦学习需求预测的精度与隐私平衡问题，提出PA-CFL方法，通过差分隐私与特征分布划分气泡集群、适配Transformer模型，提升预测精度的同时保障隐私与系统鲁棒性。
2025-03-21 cs.CR cs.LG
Enhanced Privacy and Communication Efficiency in Non-IID Federated Learning with Adaptive Quantization and Differential Privacy
Department of Computer Engineering, Gebze Technical University（计算机工程系，盖兹技术大学）
本文提出结合差分隐私和自适应量化方法，以解决非IID联邦学习中的隐私保护和通信效率问题，通过实验验证在不同数据集上显著减少传输数据量并保持模型精度。
2026-04-25 cs.CV cs.LG
Steps Adaptive Decay DPSGD: Enhancing Performance on Imbalanced Datasets with Differential Privacy with HAM10000
Guangdong Provincial Key Laboratory of IRADS（广东省级IRADS关键实验室）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学）
针对不平衡医学数据集上差分隐私梯度裁剪导致性能下降的问题，提出SAD-DPSGD，通过线性衰减噪声与裁剪阈值，在HAM10000上比Auto-DPSGD准确率提升2.15%。
2025-07-09 cs.LG stat.ML
Flexible Differentially Private Vertical Federated Learning with Adaptive Feature Embeddings
Fudan University（复旦大学）；Tencent（腾讯）；Tongji University（同济大学）
本文针对纵向联邦学习中的隐私与效用平衡问题，提出VFL-AFE框架，通过解耦隐私与效用目标，利用范数裁剪提供严格差分隐私保证，并自适应调整特征嵌入以优化任务效用。
2023-07-26 cs.AI cs.CR cs.LG
Privacy-preserving Continual Federated Clustering via Adaptive Resonance Theory
Osaka Metropolitan University（大阪公立大学）；Okayama University（冈山大学）；Universiti Malaya（马来亚大学）；Southern University of Science and Technology（南方科技大学）；Tokyo Metropolitan University（东京都立大学）
本文提出一种基于自适应共振理论的隐私保护持续联邦聚类算法，无需预先指定簇数即可处理分布未知或持续变化的数据，并在合成与真实数据集上取得优于现有联邦聚类方法的性能。
2023-09-07 cs.CR cs.LG cs.NE
