SA-ADP: Sensitivity-Aware Adaptive Differential Privacy for Large Language Models
School of Information Technology Carleton University(信息科技学院卡尔顿大学)
SA-ADP通过根据个体PII的敏感性分配噪声,实现了大语言模型的隐私保护与效用之间的平衡。
2025-12-01 cs.LG
Differentially Private Selection using Smooth Sensitivity
针对差分隐私选择中全局敏感度方法噪声过大的问题,提出利用平滑敏感度的SNM机制,其预期误差上限更紧,在百分位数选择等三个应用中准确性优于现有方法。
2025-04-10 cs.CR cs.DB cs.LG
Differentially Private Naive Bayes Classifier using Smooth Sensitivity
Purdue University(普渡大学)
随着用户数据收集的不断增加,保护个人隐私受到了越来越多的关注。差分隐私是保护个人的一个强有力的概念。朴素贝叶斯是一种流行的机器学习算法,被用作许多任务的基线。在这项工作中,我们提供了一个差分私有朴素贝叶斯分类器,它添加了与其参数的平滑敏感度成比例的噪声。我们将我们的结果与Vaidya,Shafiq,Basu和Hong进行了比较,他们将噪声缩放到参数的全局灵敏度。在真实数据集上的实验结果表明,该方法在保持$\varepsilon$-差分隐私的同时,准确率有了显著提高.
2021-07-19 cs.CR cs.LG
Near Instance-Optimality in Differential Privacy
Stanford University(斯坦福大学)
我们开发了两个概念的实例最优性差分隐私,经典统计理论的启发:一个通过定义一个本地极大极小风险和其他考虑无偏机制和类比的Cramer-Rao界,我们表明,本地模的连续性的估计的兴趣完全决定了这些数量。我们还开发了一个互补的收集机制,我们称之为逆灵敏度机制,这是实例最优(或近实例最优)的一大类被估量。此外,这些机制在每个实例上对于几个感兴趣的函数类(包括实值连续函数)都一致优于平滑灵敏度框架。我们仔细地提出了两个实例的机制,中位数和强大的回归估计与相应的实验。
2020-05-16 cs.CR cs.LG stat.ML
Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation
Technical University of Munich(慕尼黑工业大学);OpenMined;Imperial College London(帝国理工学院)
近年来,出现了能够部署到数据驱动任务(如机器学习(ML))的隐私保护的正式方法,如差分隐私(DP)。要用个体隐私损失的原则性分析所需的封闭式推理来验证大规模ML,需要引入新的工具来进行自动敏感性分析,并通过计算流程跟踪个人数据及其特征。为此,我们引入了一种新的\textit{hybrid}自动微分(AD)系统,它结合了反向模式AD的效率,能够获得一个封闭形式的表达式中的任何给定的数量的计算图。这使得能够对任意可微函数组合的敏感性进行建模,例如在私有数据上训练神经网络。我们通过分析统计数据库查询的个人DP保证来证明我们的方法。此外,我们调查我们的技术的应用程序的DP神经网络的训练。我们的方法可以使原则推理的隐私损失的数据处理的设置,并进一步发展的自动敏感性分析和隐私预算系统。
2021-08-17 cs.CR cs.LG cs.SC
On the Sensitivity of Firing Rate-Based Federated Spiking Neural Networks to Differential Privacy
Center of Electrical Engineering(电气工程中心);Computer, Federal University of Campina Grande, Brazil(计算机,坎皮纳斯格雷大学,巴西)
本文研究了差分隐私对基于脉冲率的联邦脉冲神经网络的影响,揭示了隐私机制对训练信号和协调的扰动,并提供了隐私保护与协调平衡的指导。
2026-02-12 cs.AI cs.LG
A note on privacy preserving iteratively reweighted least squares
University of Amsterdam(阿姆斯特丹大学)
迭代加权最小二乘(IRLS)是机器学习中广泛使用的估计广义线性模型参数的方法。特别是,在线性模型下的L1最小化的IRLS在每个步骤中提供了一个封闭形式的解决方案,这是一个简单的乘法之间的逆加权二阶矩矩阵和加权一阶矩向量。然而,当处理隐私敏感数据时,开发隐私保护IRLS算法面临两个挑战。首先,由于二阶矩矩阵的求逆,通常的灵敏度分析在差分隐私纳入一个单一的数据点扰动变得复杂,往往需要不切实际的假设。其次,由于其迭代性质,会发生显著的累积隐私丢失。然而,添加高水平的噪声来补偿隐私损失会阻碍获得准确的估计。在这里,我们开发了一种实用的算法,克服了这些挑战,并输出私有化和准确的IRLS解决方案。在我们的方法中,我们分别分析每个时刻的灵敏度,并处理矩阵求逆和乘法作为一个后处理步骤,这简化了灵敏度分析。此外,我们应用{ \it{concentrated differential privacy} }形式主义,一个更宽松的版本的差分隐私,这需要增加一个显着更少的噪音量相同水平的隐私保证,相比传统的和先进的组合物的差异隐私机制。
2016-05-24 cs.AI cs.CR stat.AP
Structure and Sensitivity in Differential Privacy: Comparing K-Norm Mechanisms
该研究针对差分隐私下实值统计向量发布的噪声最小化问题,引入敏感性空间并提出含三种准则的K-范数机制比较框架,得出最优机制由敏感性空间凸包生成,扩展相关机制并应用于回归任务,实验验证其在同等风险下效用显著提升。
2024-10-31 stat.ME
Differentially Private Deep Learning with Smooth Sensitivity
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究院)
确保用于训练现代机器学习模型的敏感数据的隐私性在许多实践领域都至关重要。研究这些问题的一种方法是通过差分隐私的镜头。在此框架中,隐私保证通常通过以使得用于训练模型的数据的细节变得模糊的方式扰动模型来获得。这种方法的一个特定实例是通过“教师-学生”框架,其中拥有敏感数据的教师向学生提供有用但嘈杂的信息,希望允许学生模型在给定任务上表现良好,而无需访问敏感数据的特定特征。因为更强的隐私保障通常涉及教师方面更大的干扰,部署现有的框架从根本上涉及学生的表现和隐私保障之间的权衡。在以前的作品中使用的最重要的技术之一涉及教师模型的合奏,返回信息的基础上嘈杂的投票程序的学生。在这项工作中,我们提出了一种新的投票机制,具有平滑的灵敏度,我们称之为不可变的噪声ArgMax,在一定条件下,可以承受非常大的随机噪声从老师,而不影响有用的信息传递给学生。与以前的工作相比,我们的方法提高了国家的最先进的方法的所有措施,并扩展到更大的任务,更好的性能和更强的隐私($ε\approx 0$)。这个新提出的框架可以应用于任何机器学习模型,并为需要在大量数据上训练的任务提供了一个有吸引力的解决方案。
2020-03-01 cs.AI cs.CR cs.LG
Certification for Differentially Private Prediction in Gradient-Based Training
The Alan Turing Institute(艾伦图灵研究所);Accenture Labs(埃森哲实验室);ETH Zurich(苏黎世联邦理工学院)
针对输出加噪隐私预测中全局敏感度过松的问题,提出用凸松弛与界传播计算数据集特定敏感度上界,并结合平滑敏感度机制,显著收紧隐私分析。
2025-06-06 cs.AI cs.LG
Renyi Differential Privacy of Propose-Test-Release and Applications to Private and Robust Machine Learning
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学)
提议-测试-发布(PTR)是一个差分隐私框架,它使用函数的局部敏感性,而不是它们的全局敏感性。该框架通常用于以差异化的私有方式发布稳健的统计数据,例如中位数或修剪均值。虽然PTR是十多年前引入的一个通用框架,但在鲁棒SGD等需要许多自适应鲁棒查询的应用程序中使用它是具有挑战性的。这主要是由于缺乏Renyi差分隐私(RDP)分析,这是差异隐私深度学习的矩会计方法的基本成分。在这项工作中,我们推广了标准PTR,并推导出第一RDP界时,目标函数具有有界的全局灵敏度。我们表明,我们的RDP约束PTR产生更严格的DP保证比直接分析的$(\eps, δ)$ -DP。我们还推导出算法特定的隐私放大界限的PTR下采样。我们表明,我们的界是更严格的比一般的上限和接近下限。我们的RDP界限,使更严格的隐私损失计算组成的许多自适应运行的PTR。作为我们的分析的应用,我们表明,PTR和我们的理论结果可以用来设计不同的私人变量拜占庭强大的训练算法,使用强大的统计梯度聚合。我们在不同的数据集和架构上对标签,特征和梯度腐败的设置进行了实验。我们表明,基于PTR的私人和强大的训练算法显着提高了效用相比,基线。
2022-09-16 cs.CR cs.LG
Instance-Specific Asymmetric Sensitivity in Differential Privacy
Anonym Inc.(安诺尼姆公司)
本文提出一种新的差分隐私估计算法框架,基于逆敏感度机制并应用稀疏向量技术,通过打破无偏假设以优化偏差-方差权衡,使其能适应非对称距离并扩展至无界数据,在 $O(n)$ 时间内显著提升估计性能。
2023-11-02 cs.DS cs.LG stat.ML
Deep Learning under Fractional-Order Differential Privacy
MESA Lab, Dept. of EECS University of California, Merced(加州大学默塞德分校电子工程与计算机科学系MESA实验室);Dept. of Applied Mathematics University of California, Merced(加州大学默塞德分校应用数学系)
本文提出FO-DP-SGD,通过引入分数记忆机制改进隐私保护,实验显示在SVHN、CIFAR-10和CIFAR-100上提升了隐私与效用性能。
2026-05-11 cs.CR cs.LG
Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy
Rice University(莱斯大学);University of California, Berkeley(加州大学伯克利分校);INRIA(法国国家信息与自动化研究所)
针对LDP对所有特征统一保护导致下游性能下降的问题,本文提出贝叶斯坐标差分隐私框架BCDP,按特征敏感性量化并调整隐私保护,并在均值估计与最小二乘回归中验证其可在不损害隐私的前提下提升准确率。
2024-10-24 cs.CR cs.LG stat.ML
Differentially Private Analysis of Outliers
University of Tsukuba(筑波大学)
本文研究了基于距离的离群值的差异私有分析。离群点检测的问题是找到一小部分明显远离其余实例的实例。另一方面,差异隐私的目的是隐藏任何特定实例的存在(或不存在)。因此,异常值检测和隐私保护本质上是相互冲突的任务。在本文中,而不是报告检测到的离群值,我们提出了两种类型的差异私人查询,有助于了解离群值的行为。一个是计数离群值的查询,它报告出现在给定子空间中的离群值的数量。我们对离群点计数的精确全局灵敏度的形式化分析表明,常规的基于全局灵敏度的方法会使输出过于嘈杂,特别是当给定子空间的维数很高时。注意到异常值的计数通常预计是相对较小的数据的数量相比,我们引入了一个机制的基础上的本地灵敏度的平滑上限。另一个是用于发现包含大量离群值的顶级$h$子空间的查询。这个任务可以通过依次向每个子空间发出计数查询来简单地实现。然而,子空间的变化可以在数据维度上呈指数增长。这可能会严重消耗隐私预算。对于这项任务,我们提出了一个指数机制与自定义的得分函数的子空间发现。据我们所知,这项研究是第一次尝试,以确保差异隐私的距离为基础的离群值分析。我们用合成数据集和真实数据集演示了我们的方法。实验结果表明,与基于全局灵敏度的方法相比,该方法具有更好的实用性。
2015-07-27 cs.CR cs.LG stat.ML
Differentially Private Algorithms for Statistical Verification of Cyber-Physical Systems
University of Florida(佛罗里达大学);University of California, Berkeley(加州大学伯克利分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
统计模型检验是一类顺序算法,其可以验证信息物理系统的集合上的感兴趣的规范(例如,是否99%的汽车从一批满足要求的能源效率)。这些算法通过抽取足够数量的独立同分布样本来推断具有可证明的统计保证的系统满足给定规格的概率。在统计模型检验的过程中,样本的值(例如,用户的汽车能量效率)可能被入侵者推断,引起消费者级应用中的隐私问题(例如,汽车和医疗设备)。本文从差分隐私的角度研究了统计模型检验算法的隐私问题。这些算法是连续的,绘制样本直到满足其值的条件。我们表明,透露抽取的样本数量可能会侵犯隐私。我们还表明,标准的指数机制,随机化的算法的输出,以实现差分隐私未能做到这一点的上下文中的顺序算法。相反,我们放松了保守的要求,在差分隐私的算法的输出的灵敏度应该是有界的任何数据集的任何扰动。本文提出了一种新的差分隐私概念,我们称之为期望差分隐私。然后,我们提出了一种新的预期灵敏度分析的顺序算法,并提出了相应的指数机制,随机终止时间,以实现预期的差分隐私。我们提出的机制,统计模型检验算法,以保护隐私的样本,他们提请。所提出的算法的效用证明在一个案例研究。
2022-06-27 cs.CR cs.LG stat.ML
Integral Privacy for Sampling
Data61;the Australian National University(澳大利亚国立大学);the University of Sydney(悉尼大学)
差异隐私是一种领先的保护设置,其设计重点是个人隐私。在医疗/制药领域或社交网络中,许多应用程序在群体层面上保护隐私,我们称之为整体隐私。我们的目标是最强的隐私形式:特别是小组的大小是事先不知道的。我们研究了一个问题,在上述领域的相关应用程序,最近遇到了大量的最近的新闻:采样。在如此强大的统计不可否认性模型中保持正确的效用水平,看起来很难用通常的差分隐私工具箱来实现,因为它通常会在最坏的情况下通过样本量来缩放灵敏度,因此噪声方差高达其平方。我们引入了一个特定于采样的技巧,它绕过了敏感性分析。隐私执行近似的信息理论障碍,我们展示了如何达到这个障碍的目标非私人密度的近似保证。我们这样做,使用最近的方法,非私人密度估计依赖于原来的提升理论,学习充分统计量的指数族与分类。近似保证覆盖模式捕获问题。在学习的背景下,采样问题特别重要:因为积分隐私在后处理下享有与差分隐私相同的封闭性,所以任何使用积分隐私采样数据的算法都会产生同样积分隐私的输出。我们还表明,这带来了公平的保证后处理,最终将逃避经典的差分隐私:任何决策过程有界的数据依赖的偏见时,数据是完整的私人采样。针对私有核密度估计和私有GANs的实验结果显示了我们结果的质量。
2019-07-02 cs.LG stat.ML
Differential privacy and robust statistics in high dimensions
University of Washington(华盛顿大学);Google Research(谷歌研究院)
我们引入了一个通用的框架,用于表征具有差分隐私保证的统计估计问题的统计效率。我们的框架,我们称之为高维提案测试发布(HPTR),建立在三个关键组成部分:指数机制,强大的统计,和提案测试发布机制。将所有这些结合在一起的是弹性的概念,这是可靠的统计估计的核心。弹性指导算法的设计、灵敏度分析和Propose-Test-Release中测试步骤的成功概率分析。关键的见解是,如果我们设计一个指数机制,只通过一维鲁棒统计访问数据,那么由此产生的局部敏感性可以显着降低。使用弹性,我们可以提供严格的局部灵敏度界限。在某些情况下,这些严格的界限很容易转化为接近最优的效用保证。我们给出了一个通用的配方应用HPTR的统计估计问题的一个给定的例子,并证明了它的典型问题的均值估计,线性回归,协方差估计,和主成分分析。我们引入了一个通用的效用分析技术,证明了HPTR几乎达到了最佳的样本复杂度在文献中研究的几种情况下。
2021-11-12 cs.CR cs.IT cs.LG
A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization
Princeton University(普林斯顿大学)
本文提出一种自适应超参数优化方法,通过低成本试验估计并放大最优超参数,在22个基准任务上取得最优性能并兼顾隐私成本。
2024-05-05 cs.AI cs.CR cs.LG
Revisiting Certified Defense with Differential Privacy on Vision Transformers
SHOU(上海海洋大学);Tongji University(同济大学)
本文重新审视视觉Transformer中基于差分隐私的认证防御,发现补丁嵌入后注入噪声时拉普拉斯机制因灵敏度约束几何形状而崩溃,改用谱范数约束并推导无维度隐私保证以解决失效问题。
2026-11-03 cs.CR stat.AP
A Differentially Private Framework for Deep Learning with Convexified Loss Functions
Macquarie University(麦考瑞大学);Defence Science & Technology Group(国防科学技术集团)
差分隐私(DP)已被应用于深度学习中,用于保护底层训练集的隐私。现有的动态规划方法可分为三类:目标扰动、梯度扰动和输出扰动.他们面临三个主要问题。首先,目标函数的条件限制了一般深度学习任务中的目标扰动。第二,梯度扰动没有实现令人满意的隐私效用的权衡,由于在每个时期的过度注入噪声。第三,由于作为噪声尺度参数的训练模型参数的全局灵敏度的上界较松,不能保证输出扰动方法的高效用。为了解决这些问题,我们分析了模型参数全局灵敏度的更严格上限。在黑盒设置下,基于这种全局灵敏度,为了控制整体噪声注入,我们提出了一种新的输出扰动框架,通过将DP噪声注入到用凸化损失函数训练的基线非私有神经网络的输出层的随机采样神经元中(通过指数机制)。我们经验比较隐私效用权衡,衡量的准确性损失基线非私人模型和隐私泄漏对黑盒成员推断(MI)攻击,我们的框架和开源的差分私人随机梯度下降(DP-SGD)的方法在六个常用的现实世界的数据集。实验评估表明,当基线模型有可观察到的隐私泄漏MI攻击下,我们的框架实现了更好的隐私效用权衡比现有的DP-SGD实现,给定的整体隐私预算$ε\leq 1$大量的查询。
2022-04-03 cs.CR cs.LG
Generalized PTR: User-Friendly Recipes for Data-Adaptive Algorithms with Differential Privacy
University of California, Santa Barbara(加州大学圣巴巴拉分校)
“Propose-Test-Release”(PTR)框架是设计数据自适应的差分私有(DP)算法的经典配方,即当输入数据集良好时添加较少噪声的算法。我们通过私下测试数据相关的隐私损失而不是本地敏感性,将PTR扩展到更一般的设置,从而使其适用于标准的噪声添加机制之外,例如,具有无限或未定义的敏感性的查询。我们证明了通用的PTR使用私人线性回归作为一个案例研究。此外,我们应用我们的算法来解决一个来自“教师集合的私人聚合(PATE)”的开放问题-通过精细的数据依赖分析私下发布整个模型。
2022-12-31 cs.LG
Privacy Amplification by Subsampling in Time Domain
University of California, San Diego(加州大学圣迭戈分校)
聚合时间序列数据,如交通流量和站点占用率,会在一段时间内重复从人群中采样统计数据。这些数据对于了解特定人群的趋势非常有用,但也会带来重大的隐私风险,可能会揭示,例如,花时间在哪里。由于单个参与者可能对序列产生很大影响,因此产生满足差分隐私(DP)标准定义的时间序列的私有版本是具有挑战性的:如果个人可以对每个时间步做出贡献,则满足隐私所需的加性噪声量随采样的时间步数线性增加。因此,如果信号持续时间长或过采样,则必须添加过量的噪声,淹没潜在的趋势。然而,在许多应用中,个人实际上不能参与每个时间步骤。在这种情况下,我们观察到单个参与者的影响(敏感性)可以通过时间上的子采样和/或过滤来减少,同时仍然满足隐私要求。使用一种新的分析,我们表明这种显着降低敏感性,并提出了相应的一类隐私机制。我们用真实世界和合成时间序列数据实证证明了这些技术的效用。
2022-01-13 cs.AI cs.CR cs.LG
Differentially Private Relational Learning with Entity-level Privacy Guarantees
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
本文提出了一种具有实体级差分隐私保证的关系学习框架,通过自适应梯度裁剪和隐私放大分析,实现对关系数据的隐私保护与模型训练的平衡。
2026-02-03 cs.CR cs.LG
The Fair Value of Data Under Heterogeneous Privacy Constraints in Federated Learning
UC Berkeley(加州大学伯克利分校);UC Santa Barbara(加州大学圣巴巴拉分校)
本文基于公理化公平性(沙普利值)提出首个考虑隐私约束的数据公平补偿概念,并研究异构联邦学习中平台在不同隐私敏感度下的激励设计策略。
2024-02-04 cs.CR cs.GT cs.LG
Tempered Sigmoid Activations for Deep Learning with Differential Privacy
Google Brain(谷歌大脑);Apple(苹果公司)
由于学习有时涉及敏感数据,因此机器学习算法已被扩展为为训练数据提供隐私。在实践中,这主要是事后的想法,通过使用不同的优化器重新运行训练来获得隐私保护模型,但使用在非隐私保护设置中已经表现良好的模型架构。这种方法导致了不太理想的隐私/效用权衡,正如我们在这里所展示的。相反,我们建议从头开始明确选择模型架构进行隐私保护训练。为了在差分隐私的黄金标准下提供保证,必须尽可能严格地限制单个训练点如何影响模型更新。在本文中,我们首次观察到激活函数的选择对于限制隐私保护深度学习的敏感性至关重要。我们通过分析和实验证明了一个一般的有界激活函数家族,即回火S形函数,如何始终优于ReLU等无界激活函数。使用这种范式,我们在MNIST、FashionMNIST和CIFAR 10上实现了新的最先进的准确性,而无需对学习过程基础或差分隐私分析进行任何修改。
2020-07-28 cs.CR cs.LG stat.ML
Random Differential Privacy
我们提出了一个宽松的隐私定义称为{ \em随机差分隐私}(RDP)。差分隐私要求向数据库中添加任何新的观察结果对数据发布过程的输出影响很小。随机差分隐私要求将{ \em随机抽取的新观察}添加到数据库将对输出产生很小的影响。我们显示了一个模拟的组成性质的差异私人程序,适用于我们的新定义。我们展示了如何释放RDP直方图,我们表明,RDP直方图比使用普通差分隐私获得的直方图更准确。最后,我们展示了一个模拟的全球敏感性框架下,我们的隐私定义的功能发布。
2011-12-12 cs.CR cs.LG stat.ME
Differential Privacy of Decentralized Learning: Centralized Rate Conditions and Nearly Tight Guarantees
Nokia Bell Labs(诺基亚贝尔实验室)
该研究分析了去中心化 gossip 平均算法在不同威胁模型下的差分隐私保证,证明其与高斯机制的隐私保证相似,并展示了去中心化隐私学习在强凸损失下的额外风险特性。
2026-10-28 cs.CR cs.DC cs.LG
DP-MAC: The Differentially Private Method of Auxiliary Coordinates for Deep Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学)
开发差分私有深度学习算法是具有挑战性的,这是由于难以分析通常用于训练深度神经网络的目标函数的灵敏度。许多现有的方法诉诸于随机梯度下降算法,并应用一个预先定义的灵敏度的梯度私有化的权重。然而,它们的缓慢收敛通常产生高累积隐私损失。在这里,我们通过采用辅助坐标的方法采取不同的路线,该方法允许我们通过优化每层目标函数来独立更新每层的权重。这个目标函数可以很好地近似低阶泰勒展开,其中灵敏度分析变得易于处理。为了隐私,我们扰动了扩展的系数,我们使用比SGD更先进的优化例程进行优化,以加快收敛速度。我们的经验表明,我们的算法在适度的隐私预算下提供了一个体面的训练模型质量。
2019-10-15 cs.LG stat.ML
Differential Privacy for Functions and Functional Data
Carnegie Mellon University(卡内基梅隆大学)
差分隐私是一个用于私下发布数据库摘要的框架。以前的工作主要集中在方法的输出是一个有限维向量,或一些离散集的元素。我们开发的方法释放功能,同时保持差分隐私。具体来说,我们表明,添加一个适当的高斯过程的功能的利益产生差异隐私。当函数位于与高斯过程相同的RKHS中时,则通过测量函数在RKHS范数中的“灵敏度”来建立正确的噪声水平。作为例子,我们考虑核密度估计,核支持向量机,并在再生核希尔伯特空间的功能。
2012-03-12 cs.LG stat.ML
Efficient differentially private learning improves drug sensitivity prediction
University of Helsinki(赫尔辛基大学);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);Department of Mathematics and Statistics, University of Helsinki(赫尔辛基大学数学与统计系);Department of Public Health, University of Helsinki(赫尔辛基大学公共卫生系);Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Computer Science, Aalto University(阿尔托大学计算机科学系)
个性化推荐系统的用户面临着一个困境:可以通过从数据中学习来改进推荐,但前提是其他用户愿意分享他们的私人信息。良好的个性化预测在精准医疗中至关重要,但预测所基于的基因组信息也特别敏感,因为它直接识别患者,因此不易匿名。差分隐私已经成为一个潜在的有前途的解决方案:隐私被认为是足够的,如果个别患者的存在不能区分。然而,使用当前方法的差异化私人学习并不能改善具有可行数据大小和维度的预测。在这里,我们通过展示新的稳健私人回归方法在私人药物敏感性预测准确性方面的显着改进,表明可以在强大的差异隐私保证下,甚至从中等大小的数据集中学习有用的预测因子。该方法结合了两个关键属性不存在,即使在最近的建议,这可以推广到其他预测:我们证明了它是渐近一致的,有效的私人,并证明它表现良好的有限数据。通过降低维度和投影离群值以适应更严格的边界来限制私人信息的共享,从而实现良好的有限数据性能,因此需要为相等的隐私添加更少的噪声。由于这种易于实现的方法已经在具有挑战性的基因组数据上显示出了希望,我们预计除了急需的精准医学解决方案外,还将在许多领域的实际应用方面取得快速进展,例如移动传感和社交媒体。
2017-07-05 cs.CR cs.LG stat.ME
Attack-Aware Noise Calibration for Differential Privacy
Lausanne University Hospital (CHUV)(洛桑大学医院(CHUV));Harvard University(哈佛大学);Technical University Munich(慕尼黑工业大学);EPFL(洛桑联邦理工学院)
针对差分隐私,提出直接按攻击风险校准噪声规模的方法,替代先选ε再转换,显著降低噪声、提升效用,实验证明在相同风险下提高模型准确率。
2024-11-07 cs.AI cs.CR cs.LG
Continual Release Moment Estimation with Differential Privacy
Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所)
本文提出联合矩估计(JME),通过矩阵机制和联合敏感性分析在差分隐私下持续估计一阶和二阶矩,使二阶矩估计不增加隐私代价,并在高斯密度估计和CIFAR-10上的DP-Adam训练中验证了其有效性。
2025-06-04 cs.LG stat.ML
Differentially Private Graph Learning via Sensitivity-Bounded Personalized PageRank
Google Research(谷歌研究院)
针对PPR对图边高度敏感易泄露隐私的问题,提出一种敏感度有界的近似PPR算法,在高度数图上准确率接近非隐私算法,并直接衍生出多种差分隐私图学习工具。
2024-02-14 cs.CR cs.LG cs.SI
Provable Privacy with Non-Private Pre-Processing
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对差分隐私机器学习流水线中数据依赖预处理隐私成本易被忽略的问题,提出基于Smooth DP和预处理有界敏感度的通用评估框架,可量化非隐私预处理的额外隐私成本,适配多种预处理与DP算法且易集成。
2024-06-21 cs.AI cs.CR cs.LG
DP-MERF: Differentially Private Mean Embeddings with Random Features for Practical Privacy-Preserving Data Generation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了一个不同的私人数据生成范式使用随机特征表示的内核均值嵌入时,比较真实数据的分布与合成数据。我们利用随机特征表示有两个重要的好处。首先,我们需要最小的隐私成本来训练深度生成模型。这是因为与需要在所有真实和合成数据点对上计算核矩阵的基于核的距离度量不同,我们可以将数据依赖项与仅依赖于合成数据的项分离。因此,我们只需要扰动数据依赖项一次,然后在生成器训练期间重复使用它。其次,我们可以得到一个分析的灵敏度的核均值嵌入的随机特征是范数有界的建设。这消除了超参数搜索裁剪范数来处理发电机网络的未知灵敏度的必要性。我们提供了我们的算法的几个变体,具有随机特征的差分私有均值嵌入(DP-MERF),以联合生成标签和数据集(如异构表格数据和图像数据)的输入特征。我们的算法在多个数据集上进行测试时,实现了比现有方法更好的隐私-效用权衡。
2021-06-01 cs.LG stat.ML
Certification-Based Differentially Private Learning
Imperial College London(帝国理工学院)
本研究将形式化方法(抽象解释)推广至差分隐私的预测与学习,提出抽象梯度采样算法,提供更严格的隐私保证并首次在无界灵敏度场景给出有限隐私界限。
2026-10-01 cs.LG
Can Querying for Bias Leak Protected Attributes? Achieving Privacy With Smooth Sensitivity
University of Maryland(马里兰大学);Responsible AI LLC(责任人工智能有限责任公司)
本文揭示群体公平性指标查询可泄露受保护属性,并提出基于平滑敏感度的 Attribute-Conceal 差分隐私方法以降低泄露风险。
2023-06-05 cs.AI cs.CR cs.CY
User-Entity Differential Privacy in Learning Natural Language Models
New Jersey Institute of Technology(新泽西理工学院);Adobe Systems Inc.(奥多比系统公司)
在本文中,我们引入了一个新的概念,用户-实体差分隐私(UeDP)提供正式的隐私保护,同时在文本数据和数据所有者的敏感实体学习自然语言模型(NLM)。为了保护UeDP,我们开发了一种新的算法,称为UeDP-Alg,优化隐私损失和模型效用之间的权衡与紧密的敏感性界限来自无缝结合的用户和敏感的实体采样过程。广泛的理论分析和评估表明,我们的UeDP-Alg优于基准方法在模型效用相同的隐私预算消耗下的几个NLM任务,使用基准数据集。
2022-11-09 cs.CL cs.CR cs.LG
DPOAD: Differentially Private Outsourcing of Anomaly Detection through Iterative Sensitivity Learning
Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所);Cyber Security CRC(网络安全合作研究中心);Illinois Institute of Technology(伊利诺伊理工学院);Concordia University(康考迪亚大学);Hong Kong Polytechnic University(香港理工大学);Ericsson Security Research, Ericsson Canada(加拿大爱立信公司爱立信安全研究院);University of Connecticut(康涅狄格大学)
将异常检测外包给第三方可以允许数据所有者克服资源约束(例如,在轻量级IoT设备中),促进协作分析(例如,在分布式或多方场景下),并受益于较低的成本和专业知识(例如,安全管理服务提供商)。尽管有这样的好处,但数据所有者可能不愿意在没有足够的隐私保护的情况下外包异常检测。为此,大多数现有的隐私解决方案将面临新的挑战,即,保护隐私通常需要消除或减少数据录入之间的差异,而异常检测关键地取决于该差异。这种冲突最近通过将差分隐私(DP)保证的焦点从“所有”条目移动到仅“良性”条目而在具有可信分析师(其中不涉及外包)的本地分析设置下得到解决。在本文中,我们观察到,这种方法是不直接适用于外包设置,因为数据所有者不知道哪些条目是“良性”外包之前,因此不能有选择地应用DP的数据录入。因此,我们提出了一种新的迭代解决方案,让数据所有者逐渐将异常条目与良性条目“分离”,以便第三方分析师能够在充分的DP保证下产生准确的异常结果。我们设计并实现了我们的差异化私有异常检测外包(DPOAD)框架,并通过来自不同应用领域的真实数据实验,证明了其优于基线拉普拉斯和PainFree机制的优势。
2022-06-27 cs.CR cs.LG
Continual Learning with Differential Privacy
New Jersey Institute of Technology(新泽西理工学院);University of Florida(佛罗里达大学)
在本文中,我们专注于在持续学习(CL)中保持差分隐私(DP),其中我们训练ML模型来学习一系列新任务,同时记住以前的任务。我们首先引入连续相邻数据库的概念来约束参与CL训练过程的任何数据记录的灵敏度。在此基础上,我们开发了一种新的CL DP保留算法,该算法采用数据采样策略,通过应用时刻会计师来量化著名的平均梯度情景记忆(A-GEM)方法中训练数据的隐私风险。我们的算法提供了正式的保证隐私的数据记录在CL的任务。初步的理论分析和评估表明,我们的机制收紧隐私损失,同时保持一个有前途的模型效用。
2021-10-11 cs.CR cs.LG
Designing Differentially Private Estimators in High Dimensions
Harvard University(哈佛大学)
本文研究了高维情形下的差分均值估计问题。现有的差分隐私技术应用于大的维度导致计算上棘手的问题或估计过度的隐私损失。最近在高维鲁棒统计方面的工作已经确定了具有渐近维数无关误差保证的计算上易于处理的均值估计算法。我们将这些结果开发一个严格的约束的鲁棒均值估计的全局灵敏度。这就产生了一个计算上易于处理的算法差分私人均值估计在高维与维度无关的隐私损失。最后,我们表明,我们的算法显着优于经典的差分隐私方法,克服了高维差分隐私的障碍。
2020-07-18 cs.CR cs.DS cs.LG
JSAM: Privacy Straggler-Resilient Joint Client Selection and Incentive Mechanism Design in Differentially Private Federated Learning
Department of Information Engineering, The Chinese University of Hong Kong(信息工程系,香港中文大学);School of Science and Engineering, Shenzhen Institute of Artificial Intelligence and Robotics for Society(科学与工程学院,深圳人工智能与机器人研究院);The Chinese University of Hong Kong(香港中文大学)
JSAM通过联合优化客户端选择与隐私补偿,提升差分隐私联邦学习的训练效果和效率,实现隐私保护与参与激励的平衡。
2026-02-25 cs.DC cs.GT cs.LG
Online Sensitivity Optimization in Differentially Private Learning
Scuola Normale Superiore(高等师范学校);INRIA(法国国家信息与自动化研究所);Scuola Superiore Sant’Anna(圣安娜高等科学院)
提出一种动态优化差分隐私学习中梯度裁剪阈值的方法,将阈值作为可学习参数通过梯度下降优化,在最小化隐私分析影响的同时,避免了超参数调优的隐私开销,并在多种实验场景中表现优异。
2024-01-08 cs.LG
Smooth Sensitivity for Learning Differentially-Private yet Accurate Rule Lists
本文针对利用Gini不纯度构建可解释模型的机器学习算法,建立了Gini不纯度的平滑敏感度,以在保证差分隐私的同时添加更小噪声,实验证明在相同隐私预算下其规则列表模型比基于全局敏感度的方法准确率更高。
2024-11-12 cs.AI cs.CR cs.LG
Impact of Prior Knowledge and Data Correlation on Privacy Leakage: A Unified Analysis
差分隐私(DP)技术可以保证严格的隐私性,从而防止具有任意先验知识的攻击者。然而,最近的研究表明,这可能是不正确的相关数据,并表明三个因素可能会影响隐私泄漏:数据相关模式,对手的先验知识,和查询功能的敏感性。这就提出了一个基本问题:这三个因素与隐私泄露之间的数学关系是什么?在本文中,我们提出了一个统一的分析这个问题。提出了一种新的隐私定义\textit{prior differential privacy (PDP)},考虑攻击者所拥有的精确先验知识来评估隐私泄露。我们使用两个模型,加权层次图(WHG)和多元高斯模型来分析离散和连续的数据,分别。我们证明,积极的,消极的,和混合的相关性对隐私泄露有不同的影响。考虑到一般相关性,推导了连续数据隐私泄露的封闭表达式,给出了离散数据隐私泄露的链式规则。我们的结果是有效的一般线性查询,包括计数,总和,平均值和直方图。数值实验验证了我们的理论分析。
2019-06-05 cs.CR cs.LG math.PR
Efficient Privacy-Preserved Processing of Multimodal Data for Vehicular Traffic Analysis
我们估计车辆的交通状态,从单回路检测器收集的多模态数据,同时保护个人车辆的隐私,有助于数据。为此,我们提出了一种新的混合差分隐私(DP)的方法,利用最小的随机化,以保护隐私,利用相关的交通状态动态和DP敏感性的概念。通过理论分析和实验与真实世界的数据,我们表明,所提出的方法显着优于相关的基线非私人和私人的方法在准确性和隐私保护。
2023-02-20 cs.CR cs.SY eess.SY
$(ε, δ)$-Differentially Private Partial Least Squares Regression
Software Competence Center Hagenberg (SCCH) GmbH(哈根伯格软件能力中心有限公司);Faculty of Computer Science and Electrical Engineering(计算机科学与电气工程学院);University of Rostock(罗斯托克大学)
针对偏最小二乘回归无隐私保障的问题,提出融入高斯噪声机制的$(ε, δ)$-差分隐私PLS算法,实验验证其可抵御隐私攻击且在强隐私级别下仍保持预测性能。
2024-12-12 cs.LG stat.ML
Average-Case Averages: Private Algorithms for Smooth Sensitivity and Mean Estimation
保证差分隐私的最简单和最广泛应用的方法是向感兴趣的统计量添加与实例无关的噪声,该统计量被缩放到其全局灵敏度。然而,全局敏感性是一个最坏情况的概念,对于已实现的数据集实例来说往往过于保守。我们提供的方法缩放噪声在一个实例相关的方式,并证明他们提供更高的精度下平均情况下的分布假设。具体地说,我们考虑的基本问题私人估计的平均值的实际分布从i.i.d.~样品标准的经验均值估计可以具有任意高的全局灵敏度。我们提出了修剪均值估计,它插值之间的平均值和中位数,作为一种方法,平均获得低得多的灵敏度,而损失很少的统计精度。为了私下估计修剪均值,我们重新审视了Nissim,Raskhodnova和Smith(STOC 2007)的平滑灵敏度框架,该框架为使用实例依赖灵敏度提供了一个框架。我们提出了三个新的加性噪声分布,提供集中的差分隐私时,缩放到平滑的灵敏度。我们提供的理论和实验证据表明,我们的噪声分布比较有利的文献中的其他人,特别是当应用于均值估计问题。
2019-06-06 cs.CR cs.DS math.ST
An end-to-end Differentially Private Latent Dirichlet Allocation Using a Spectral Algorithm
University of Maryland(马里兰大学);UC Santa Barbara(加州大学圣巴巴拉分校)
我们提供了一个端到端的差分私有频谱算法学习LDA,基于矩阵/张量分解,并建立理论保证估计模型参数的效用/一致性。频谱算法由多个算法步骤组成,称为“{边缘}”,可以向其中注入噪声以获得差分隐私。我们确定\emph{subsets of edges},命名为“{configurations}",这样,在这样的子集中的所有边缘添加噪声保证差分隐私的端到端频谱算法。我们的特点是相对于输入的边缘的灵敏度,从而估计的噪声量被添加到每个边缘的任何所需的隐私级别。然后,我们的特点,为每个配置的效用损失作为注入噪声的函数。总的来说,通过结合灵敏度和效用特性,我们获得了LDA的端到端差分私有频谱算法,并确定了相应的配置,在任何特定的制度优于其他人。我们是第一个在LDA学习所需的差分隐私水平下实现效用保证的公司。总的来说,我们的方法系统地优于差分私人变分推断。
2020-01-17 cs.LG stat.ML
Adversarial Signed Graph Learning with Differential Privacy
The Hong Kong Polytechnic University(香港理工大学);Research Centre for Privacy and Security Technologies in Future Smart Systems, PolyU(隐私与安全技术在未来智能系统中的研究中心,PolyU)
本文提出ASGL方法,通过对抗学习和梯度扰动,在保护隐私的同时实现带符号图学习的高实用性。
2025-12-12 cs.AI cs.LG
Differential Privacy at Risk: Bridging Randomness and Privacy Budget
École Normale Supérieure(巴黎高等师范学院);Chalmers University of Technology(查尔姆斯理工大学);National University of Singapore(新加坡国立大学)
隐私保护机制的噪声校准取决于查询的敏感性和规定的隐私级别。数据管理员必须对隐私级别做出重要的选择,以平衡用户的需求和业务实体的资金限制。我们分析角色的随机性的来源,即显式随机性引起的噪声分布和隐式随机性引起的数据生成分布,参与设计的隐私保护机制。更精细的分析使我们能够提供更强有力的隐私保证,并具有可量化的风险。因此,我们提出的隐私风险,这是一个概率校准的隐私保护机制。我们提供了一个组合定理,利用隐私的风险。我们实例化的概率校准拉普拉斯机制提供分析结果。我们还提出了一个成本模型,该模型可以弥合隐私级别与GDPR合规商业实体估计的补偿预算之间的差距。所提出的成本模型的凸性导致隐私级别的独特微调,最大限度地减少补偿预算。我们展示了它的有效性,说明了一个现实的情况下,避免高估的补偿预算使用隐私风险的拉普拉斯机制。我们定量地表明,组合使用成本最优的隐私风险提供了更强的隐私保证比经典的先进的组合。
2020-04-13 cs.CR cs.DS cs.LG
What Does it Mean for a Language Model to Preserve Privacy?
National University of Singapore(新加坡国立大学);Cornell University(康奈尔大学);University of California San Diego(加利福尼亚大学圣地亚哥分校);Google(谷歌)
自然语言反映了我们的私人生活和身份,使其隐私问题与现实生活一样广泛。语言模型缺乏理解上下文和文本敏感性的能力,并且倾向于记忆训练集中的短语。对手可以利用这种趋势来提取训练数据。根据内容的性质和收集这些数据的背景,这可能会违反隐私的期望。因此,人们对保护隐私的训练语言模型的技术越来越感兴趣。在本文中,我们讨论了流行的数据保护技术(数据净化和差异隐私)所做的狭隘假设与自然语言和隐私作为社会规范的广泛性之间的不匹配。我们认为,现有的保护方法不能保证一个通用的和有意义的语言模型的隐私概念。我们的结论是,语言模型应该在明确为公众使用而制作的文本数据上进行训练。
2022-02-14 cs.CL cs.LG stat.ML
Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication
联邦学习(FL)由于其分散的结构允许私下训练大量的数据。随机梯度下降(SGD)由于其良好的经验性能而通常用于FL,但是仍然可以从FL迭代期间共享的权重更新推断敏感的用户信息。我们考虑高斯机制,以保持局部差分隐私(LDP)的用户数据在FL模型与SGD。用户隐私,全球效用和传输速率之间的权衡证明通过定义适当的指标FL与LDP。与已有的结果相比,LDP中使用的查询敏感度被定义为一个变量,并应用更严格的隐私计费方法。建议的效用界允许所有用户的异构参数。我们的界限特征有多少效用减少和传输速率增加,如果一个更强的隐私制度的目标。此外,给定一个目标隐私级别,我们的研究结果保证一个显着更大的效用和更小的传输速率相比,现有的隐私会计方法。
2021-02-09 cs.CR cs.DC cs.IT