Epsilon*: Privacy Metric for Machine Learning Models
LinkedIn Corporation(领英公司);Cornell University(康奈尔大学)
本文提出新隐私度量Epsilon*,通过成员推理攻击的假设检验率,仅需黑盒访问即可测量单个模型实例的经验隐私风险,实验证明其能有效反映差分隐私带来的风险缓解,并支持隐私与效用的权衡决策。
2024-02-09 cs.CR cs.DS cs.LG
Simple Binary Hypothesis Testing under Local Differential Privacy and Communication Constraints
IBM Research(IBM研究院);University of Cambridge(剑桥大学)
本文研究 LDP 与通信约束下的简单二元假设检验,给出纯 LDP 下的实例最优与极小极大最优样本复杂度界,并通过联合值域极点设计同时满足两类约束的高效最优算法。
2023-12-15 cs.DS cs.IT cs.LG
Instance-Specific Asymmetric Sensitivity in Differential Privacy
Anonym Inc.(安诺尼姆公司)
本文提出一种新的差分隐私估计算法框架,基于逆敏感度机制并应用稀疏向量技术,通过打破无偏假设以优化偏差-方差权衡,使其能适应非对称距离并扩展至无界数据,在 $O(n)$ 时间内显著提升估计性能。
2023-11-02 cs.DS cs.LG stat.ML
Membership Privacy for Machine Learning Models Through Knowledge Transfer
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
大容量的机器学习(ML)模型容易受到成员推断攻击(MIA)的攻击,MIA的目的是推断目标样本是否是目标模型的训练数据集的成员。由于成员推断引起的严重隐私问题已经激发了针对MIA的多种防御,例如,差分隐私和对抗正则化。不幸的是,这些防御产生的ML模型具有不可接受的低分类性能。我们的工作提出了一种新的防御,称为蒸馏会员隐私(蒸馏),对MIA,保留了所产生的模型的效用显着优于以前的防御。EML利用知识蒸馏来训练具有成员隐私的ML模型。我们提供了一个新的标准来调整用于知识转移的数据,以放大的会员隐私的研究。我们广泛的评估表明,与最先进的MIA防御相比,MIA在成员隐私和分类准确性之间提供了更好的权衡。例如,在CIFAR100上训练的DenseNet的对抗正则化的准确率提高了100%,对于类似的成员隐私(使用MIA风险测量):当MIA风险为53.7%时,对抗正则化的DenseNet的准确率为33.6%,而DMP训练的DenseNet的准确率为65.3%。
2020-12-31 cs.LG stat.ML
Large Margin Multiclass Gaussian Classification with Differential Privacy
Carnegie Mellon University(卡内基梅隆大学)
随着越来越多的敏感个人信息被聚集到数据存储库中,开发用于处理数据而不泄露关于个体数据实例的信息的机制变得重要。差分隐私模型为这种机制的发展和理论分析提供了一个框架。在本文中,我们提出了一种算法,用于学习一个判别式训练的多类高斯分类器,满足差分隐私使用一个大的利润损失函数与扰动正则化项。我们提出了一个理论上的上限的扰动引入的分类器的超额风险。
2010-07-28 cs.CR cs.LG stat.ML
Label Differential Privacy via Aggregation
Google Research India(谷歌印度研究院)
本文提出通过加权线性聚合实现标签差分隐私,无需添加标签噪声,并在袋聚合场景下扩展,保持回归任务效用,理论证明与实验验证均有效。
2026-09-11 cs.LG stat.ML
Concentrated Differentially Private Gradient Descent with Adaptive per-Iteration Privacy Budget
University of Georgia(佐治亚大学);Penn State University(宾夕法尼亚州立大学)
迭代算法(如梯度下降)是解决各种问题(例如模型拟合)的常用工具。出于这个原因,人们有兴趣创建它们的差异化私有版本。然而,它们转换为差分私有算法通常是幼稚的。例如,选择固定数量的迭代,隐私预算在它们之间均匀分配,并且在每次迭代时,参数都用噪声梯度更新。在本文中,我们表明,基于梯度的算法可以得到改善,更仔细的分配隐私预算每次迭代。直观地说,在优化开始时,梯度预计会很大,因此不需要精确测量。然而,随着参数接近其最佳值,梯度减小,因此需要更精确地测量。我们增加了一个基本的线搜索功能,帮助算法决定何时需要更精确的梯度测量。我们的梯度下降算法与最近推出的差分隐私的zCDP版本。它优于先前的模型拟合算法,并与$(ε,δ)$ -差分隐私(一个严格弱于zCDP的定义)的最新技术水平竞争。
2018-08-28 cs.LG stat.ML
Federated Learning with Bayesian Differential Privacy
EPFL(洛桑联邦理工学院)
我们考虑的问题,加强联邦学习与正式的隐私保证。我们建议采用贝叶斯差分隐私,放松差分隐私类似分布的数据,提供更清晰的隐私损失界限。我们适应贝叶斯隐私会计方法的联邦设置,并建议在不同层次上更有效的隐私预算的多个改进。我们的实验表明,在图像分类任务(包括医疗应用程序)上,联邦学习的最先进的差分隐私界限具有显着的优势,使隐私预算在客户端级别低于1,在实例级别低于0.1。较低的噪声量也有利于模型的准确性,并减少通信回合的数量。
2019-11-22 cs.CR cs.DC cs.LG
Offline Reinforcement Learning with Differential Privacy
UC Santa Barbara(加州大学圣巴巴拉分校)
离线强化学习(RL)问题通常是由金融、法律和医疗保健应用中学习数据驱动的决策策略的需求所驱动的。然而,所学习的策略可以在训练数据中保留个体的敏感信息(例如,患者的治疗和结果),因此容易受到各种隐私风险的影响。我们设计离线RL算法与差分隐私保证,可证明防止这种风险。这些算法在表格和线性马尔可夫决策过程(MDP)设置下也具有很强的实例相关学习边界。我们的理论和模拟表明,与中等规模数据集的非私有对应物相比,隐私保证的效用(几乎)没有下降。
2023-01-03 cs.AI cs.CR cs.LG
PPGAN: Privacy-preserving Generative Adversarial Network
Heilongjiang University(黑龙江大学);Southern University of Science and Technology(南方科技大学)
生成对抗网络(GAN)及其变体作为数据生成模型的完美代表,为研究人员提供了大量高质量的生成数据。它们说明了一个有希望的方向,研究有限的数据可用性。当GAN从数据集中学习语义丰富的数据分布时,生成的分布的密度倾向于集中在训练数据上。由于深度神经网络的梯度参数包含了训练样本的数据分布,它们可以很容易地记住训练样本。当GAN应用于私人或敏感数据时,例如,患者的医疗记录,因为私人信息可能会泄漏。为了解决这个问题,我们提出了一个隐私保护生成对抗网络(PPGAN)模型,在该模型中,我们通过在模型学习过程中向梯度中添加精心设计的噪声来实现GANs中的差分隐私。此外,在PPGAN训练过程中引入了Moments Accountant策略,通过控制隐私丢失来提高模型的稳定性和兼容性。并给出了差分隐私策略的数学证明。通过对基准数据集的广泛案例研究,我们证明了PPGAN可以生成高质量的合成数据,同时在合理的隐私预算下保留所需的数据。
2019-10-04 cs.LG stat.ML
Private Estimation when Data and Privacy Demands are Correlated
UC Berkeley, USA(加州大学伯克利分校)
针对数据与隐私需求相关时的私有估计问题,提出算法并在PAC误差和均方误差下建立理论保证,实现极小极大最优,实验验证优于基线。
2025-04-19 cs.CR cs.LG stat.ML
How Do Input Attributes Impact the Privacy Loss in Differential Privacy?
Technical University of Munich(慕尼黑工业大学);Ludwig Maximilian University of Munich(慕尼黑大学);Imperial College London(帝国理工学院);Helmholtz Zentrum Munich(慕尼黑亥姆霍兹中心)
差分隐私(DP)通常被表述为数据库中所有个体的最坏情况隐私保证。最近,已经引入了对单个主题或其属性的扩展。在个体/每实例DP解释下,我们研究了DP神经网络中每个主体的梯度范数与个体隐私损失之间的联系,并引入了一种新的度量标准,称为隐私损失-输入敏感性(PLIS),它允许将主体的隐私损失分摊到其输入属性。我们的实验表明,这使得识别敏感属性和数据重建的高风险的主题。
2022-11-18 cs.CR cs.LG
Differentially Private Analysis of Outliers
University of Tsukuba(筑波大学)
本文研究了基于距离的离群值的差异私有分析。离群点检测的问题是找到一小部分明显远离其余实例的实例。另一方面,差异隐私的目的是隐藏任何特定实例的存在(或不存在)。因此,异常值检测和隐私保护本质上是相互冲突的任务。在本文中,而不是报告检测到的离群值,我们提出了两种类型的差异私人查询,有助于了解离群值的行为。一个是计数离群值的查询,它报告出现在给定子空间中的离群值的数量。我们对离群点计数的精确全局灵敏度的形式化分析表明,常规的基于全局灵敏度的方法会使输出过于嘈杂,特别是当给定子空间的维数很高时。注意到异常值的计数通常预计是相对较小的数据的数量相比,我们引入了一个机制的基础上的本地灵敏度的平滑上限。另一个是用于发现包含大量离群值的顶级$h$子空间的查询。这个任务可以通过依次向每个子空间发出计数查询来简单地实现。然而,子空间的变化可以在数据维度上呈指数增长。这可能会严重消耗隐私预算。对于这项任务,我们提出了一个指数机制与自定义的得分函数的子空间发现。据我们所知,这项研究是第一次尝试,以确保差异隐私的距离为基础的离群值分析。我们用合成数据集和真实数据集演示了我们的方法。实验结果表明,与基于全局灵敏度的方法相比,该方法具有更好的实用性。
2015-07-27 cs.CR cs.LG stat.ML
Privacy-Preserving Boosting in the Local Setting
在机器学习中,Boosting是一种最流行的方法,它可以将多个基本学习器组合成一个更好的学习器。著名的Boosted决策树分类器,在许多领域得到了广泛的应用。在大数据时代,个人和实体掌握的数据,如个人图像、浏览历史和人口普查信息,更容易包含敏感信息。当这些数据离开所有者的手并被进一步探索或挖掘时,隐私问题就会出现。这样的隐私问题要求机器学习算法应该是隐私感知的。近年来提出的局部差分隐私(Local Differential Privacy)是一种有效的隐私保护方法,它为数据所有者提供了强有力的保证,因为数据在任何进一步的使用之前都是扰动的,并且真实的价值永远不会离开所有者的手中。因此,研究基于私有数据实例的机器学习算法具有重要的价值和意义。在本文中,我们感兴趣的是开发隐私保护的提升算法,数据用户被允许建立一个分类器,而不知道或推导出每个数据样本的确切值。我们的实验证明了所提出的增强算法的有效性和学习分类器的高实用性。
2020-02-06 cs.CR cs.LG stat.ML
Private Learning and Sanitization: Pure vs. Approximate Differential Privacy
Harvard University(哈佛大学)
我们比较了纯$ε$ -差分隐私[Dwork et al. TCC 2006]和近似$(ε,δ)$-差分隐私[Dwork et al. Eurocrypt 2006]下私人学习[Kasiviswanathan et al. 2008]和消毒[Blum et al. 2008]的样本复杂度。我们表明,这些任务的样本复杂度下近似差分隐私可以显着低于纯差分隐私。我们定义了一个家庭的优化问题,我们称之为准凹承诺问题,概括了我们考虑的一些任务。我们观察到,一个准凹的承诺问题可以私下近似使用一个较小的实例的一个准凹的承诺问题的解决方案。这使我们能够构建一个有效的递归算法解决这些问题的私人。具体来说,我们构造私人学习点函数,阈值函数,和轴对齐的矩形在高维。类似地,我们构造点函数和阈值函数的消毒器。我们还研究了标签私人学习者的样本复杂性,这是一种放松的私人学习,学习者只需要保护样本中标签的隐私。我们表明,VC维度完全表征了这样的学习者的样本复杂性,即,学习的样本复杂性与标签隐私是平等的(常数)学习没有隐私。
2014-07-10 cs.CR cs.LG stat.ML
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology(佐治亚理工学院)
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统,称为MPLens,有三个独特的贡献。首先,通过MPLens,我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次,通过MPLens,我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的,特别是当训练数据本身是偏斜的时候。我们发现,当模型使用倾斜的训练数据时,成员推断攻击的风险通常会增加。最后,我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性,学习任务的复杂性,数据集的复杂性和隐私参数设置。我们的实证结果表明,(1)少数群体在偏斜的数据集显示成员推理的风险增加和(2)差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
Privacy-Preserving Algorithmic Recourse
University of Washington Tacoma(华盛顿大学塔科马分校);J.P. Morgan AI Research(摩根大通人工智能研究院)
针对机器学习模型反事实解释追索路径的隐私泄露风险,提出端到端隐私保护流水线PrivRecourse,利用差分隐私聚类构建图结构,生成既私密又现实可行的多步追索路径。
2023-11-23 cs.CR cs.LG
Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising
UMass Amherst(马萨诸塞大学阿默斯特分校);National University of Singapore(新加坡国立大学)
深度学习模型会泄露大量关于其训练数据集的信息。先前的工作已经研究了通过向梯度添加DP噪声来保证差分隐私(DP)的训练模型。然而,这样的解决方案(特别是DPSGD)会导致训练模型的准确性大幅下降。在本文中,我们的目标是训练具有DP保证的深度学习模型,同时保持比以前更好的模型准确性。我们的关键技术是对梯度进行编码,将其映射到更小的向量空间,从而使我们能够获得不同噪声分布的DP保证。这使我们能够调查和选择噪声分布,以最好地保持目标隐私预算的模型准确性。我们还利用差分隐私的后处理特性,通过引入去噪的思想,进一步提高了训练模型的实用性,而不会降低其DP保证。我们表明,我们的机制优于国家的最先进的DPSGD,例如,对于相同的模型精度的$96.1\%$ MNIST,我们的技术结果在隐私界的$ε=3.2$相比,$ε=6$的DPSGD,这是一个显着的改进。
2020-07-22 cs.CR cs.LG stat.ML
Preserving Differential Privacy Between Features in Distributed Estimation
Disney Research(迪士尼研究中心)
隐私在机器学习的许多应用中至关重要。法律、道德和社会问题限制了敏感数据的共享,使得很难从多方之间划分的数据集中学习。这种分布式设置的一个重要实例是,当数据集中每个记录的信息由不同的数据所有者持有时(设计矩阵是“垂直分区的”)。在这种情况下,很少有出于统计估计目的而共享私人数据的方法,并且具有准备数据的“可信管理者”的差异隐私的经典设置不适用。我们的工作与$(ε,δ)$的概念-分布式差分隐私扩展到分布式的,垂直分区的情况下,单方差分隐私。我们提出了PriDE,一个可扩展的框架,分布式估计,每一方通信扰动随机投影的本地举行的功能,确保$(ε,δ)$ -分布式差分隐私被保存。对于$\ell_2$ -惩罚监督学习问题,PriDE有界估计误差相比,在非分布式设置中没有隐私约束的最优估计。我们在现实世界和合成数据集上证实了这一点。
2017-06-27 cs.CR cs.DC cs.LG
Optimal Variance and Covariance Estimation under Differential Privacy in the Add-Remove Model and Beyond
LY Corporation(LY 公司)
本文针对增删模型下的差分隐私方差与协方差估计,提出基于贝塞尔机制的高效方法,证明其在高隐私区间极小极大最优,并展示其在其他统计任务中的适用性。
2025-09-05 cs.DS cs.LG stat.ML
Transfer Learning In Differential Privacy's Hybrid-Model
Bar-Ilan University(巴伊兰大学)
差分隐私中的混合模型(Avent et al 2017)是本地模型的增强,其中除了N个本地代理之外,我们还得到一个特殊代理的帮助,该代理实际上是一个保管n个额外个人的敏感细节的策展人。在这里,我们研究混合模型中的机器学习问题,其中管理员数据集中的n个个体来自与一般人群(本地代理)不同的分布。我们为这个迁移学习问题给出了一个通用方案-子样本测试-重新加权-,该方案使用迭代子采样和重新加权馆长持有的n个示例,将任何馆长模型DP学习器减少到混合模型学习器,基于Multiplicative-Weights算法的平滑变化(由Bun等人介绍,2020)。我们的计划有一个样本的复杂性,依赖于两个分布之间的卡方分歧。我们给出了最坏情况下的分析界限,我们的私人减少所需的样本的复杂性。为了降低所述样本的复杂性,我们给出了两个具体的例子,我们的样本的复杂性可以大大降低(一个例子是数学分析,而另一个-经验),并提出了几个方向的后续工作。
2022-06-16 cs.CR cs.DS cs.LG
Learning from Aggregate responses: Instance Level versus Bag Level Loss Functions
University of Southern California(南加州大学);Google Research(谷歌研究院)
本文研究聚合响应学习中的袋级与实例级损失,证明后者是前者的正则化形式,并提出兼具二者的插值估计量,给出渐近风险分析、差分隐私最优袋大小及实验验证。
2024-01-20 cs.AI cs.LG math.ST
Locally Differentially Private Naive Bayes Classification
Case Western Reserve University(凯斯西储大学);University of South Florida(南佛罗里达大学)
在机器学习中,需要训练分类模型以预测类别标签。当训练数据包含关于个人的个人信息时,由于隐私问题,收集训练数据变得困难。局部差分隐私是一种度量不存在可信数据管理者时个人隐私的定义。个人与不受信任的数据聚合器交互,该数据聚合器在不了解个人数据的情况下获得关于人口的统计信息。为了训练一个朴素贝叶斯分类器在一个不可信的设置,我们建议使用满足本地差分隐私的方法。个体发送他们的扰动输入,保持特征值和类标签之间的关系。数据聚合器估计朴素贝叶斯分类器所需的所有概率。然后,可以基于估计的概率对新实例进行分类。我们提出了离散和连续数据的解决方案。为了消除大量的噪声和降低通信成本的多维数据,我们建议利用降维技术,可以由个人应用之前扰动他们的输入。实验结果表明,在局部差分隐私下,即使个人隐私得到保证,朴素贝叶斯分类器仍能保持准确性,并且通过降维提高了分类器的准确性.
2019-05-03 cs.CR cs.LG stat.ML
The Right Complexity Measure in Locally Private Estimation: It is not the Fisher Information
我们确定了基本的权衡统计效用和隐私的本地隐私模型中的数据是保密的,甚至从统计学家,私人估计和学习问题的发展\emph{local minimax risk}提供特定的实例边界。与基于最坏情况(极大极小)误差的方法相比,这是保守的,这使我们能够评估个别问题实例的难度,并描述在私人估计和推理中适应的可能性。我们的主要研究结果表明,局部模的连续性的估计相对于变化距离-而不是中央的海林格距离经典统计-表征收敛速度下的许多概念的隐私,包括差分隐私和放松的局部私人估计。作为这些结果的后果,我们确定了一种替代私人估计的Fisher信息,给出了一个更细致入微的理解的挑战,自适应性和最优性。
2020-09-29 cs.IT math.IT math.ST
Instance-Optimal Differentially Private Estimation
Apple, Inc.(苹果公司);Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们研究了局部极小极大收敛估计率受$ε$ -差分隐私。与最坏情况下的利率,这可能是保守的,算法是局部极小极大最优必须适应简单的问题。本文构造了单参数指数族的局部极小极大差分私有估计,并对分布的尾率进行了估计。在这些情况下,我们证明了用于简单假设检验的最优算法,即Canonne等人(2019)最近的最优私有检验器,直接告知局部极小极大估计算法的设计。
2022-10-28 cs.CR cs.LG math.ST
Privacy Amplification for the Gaussian Mechanism via Bounded Support
Meta;FAIR(Facebook人工智能研究院)
针对现有隐私机制难以充分利用依赖数据的隐私核算框架优势的问题,提出有界支撑高斯机制的简单修改方案,经DP-SGD训练实验验证可将pDP的ε界降低30%且不损失模型效用。
2024-03-07 cs.CR cs.LG
Inference Privacy: Properties and Mechanisms
University of Arizona(亚利桑那大学)
针对推理阶段用户数据隐私缺乏系统保障的问题,提出推理隐私(IP)概念,确立其性质并与本地差分隐私对比,设计可自定义的输入/输出扰动机制,实验验证其效用与隐私权衡的实用性。
2024-11-27 cs.CR cs.IT cs.LG
A False Sense of Privacy: Evaluating Textual Data Sanitization Beyond Surface-level Privacy Leakage
研究指出现有文本数据净化方法仅评估显性标识符泄露,忽视文本中细微标记可能引发的重新识别风险,提出新框架量化个体隐私风险,发现辅助信息可推断敏感属性,揭示当前净化技术存在隐私虚假感。
2026-03-13 cs.CL cs.CR cs.LG
AI-Driven Anonymization: Protecting Personal Data Privacy While Leveraging Machine Learning
Sam Houston State University(山姆休斯顿州立大学);San Fransisco Bay University(旧金山湾大学);Sun Yat-Sen University(中山大学);University of Chicago(芝加哥大学);Guangdong University of Technology(广东工业大学)
本文面向AI应用中的个人数据泄露风险,研究利用机器学习差分隐私算法进行数据加密、匿名化、检测与保护,并分析隐私保护挑战及数据集影响因素。
2024-02-27 cs.AI cs.CR cs.LG
Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search
Vector Institute(向量研究所);Mines Paris Université PSL(巴黎文理研究大学巴黎矿业学院);Google Research(谷歌研究院)
模型需要使用隐私保护学习算法进行训练,以防止其训练数据中包含的可能的敏感信息泄漏。然而,像差分私有随机梯度下降(DP-SGD)这样的规范算法并不像非私有学习那样受益于模型规模。这表现在当在复杂任务上使用DP-SGD时,隐私和实用性(准确性)之间的折衷形式。为了弥补这种紧张关系,一种范式正在出现:从公共预训练的模型(即,非敏感)训练数据。在这项工作中,我们确定了一个监督现有的方法不同的私人微调。他们没有针对隐私学习的具体情况定制微调方法。我们的主要结果是展示如何仔细选择在预训练的神经网络中进行微调的层,使我们能够在隐私和准确性之间建立新的最先进的权衡。例如,对于在ImageNet上预训练的模型,我们在CIFAR-100上实现了$(\varepsilon, δ)=(2, 10^{-5})$的77.9%准确率。我们的工作需要额外的超参数搜索来配置差分私有微调过程本身。
2022-10-05 cs.CR cs.LG
FusionDP: Foundation Model-Assisted Differentially Private Learning for Partially Sensitive Features
FusionDP提出一种两步框架,利用大型基础模型填补敏感特征并改进DP-SGD算法,在特征级差分隐私下显著提升模型效用,并通过表格和文本两种医疗任务验证了其改善隐私-效用权衡的有效性。
2025-11-05 cs.LG
Quantum Pufferfish Privacy: A Flexible Privacy Framework for Quantum Systems
Cornell University(康奈尔大学);school of Electrical and Computer Engineering(电气与计算机工程学院)
本文提出量子河豚隐私(QPP)框架,通过灵活指定私有信息、测量和领域知识,推广量子差分隐私,并利用信息谱散度实现隐私审计与权衡分析。
2024-05-28 cs.CR cs.IT cs.LG
Efficient Unlearning with Privacy Guarantees
CYBERCAT (Center for Cybersecurity Research of Catalonia)(加泰罗尼亚网络安全研究中心);ComSCIAM-Center for Computational Science and Applied Mathematics(计算科学与应用数学中心);Department of Computer Engineering and Mathematics, Universitat Rovira i Virgili(罗维拉-维尔吉利大学计算机工程与数学系)
本文提出EUPG框架,通过预训练保护数据的模型实现高效反学习,提供隐私保障,降低计算和存储成本,与精确反学习方法相比效果相当。
2026-06-26 cs.CR cs.LG
Decentralized Federated Learning Preserves Model and Data Privacy
Technische Universität Berlin(柏林工业大学)
IT系统日益复杂,需要解决方案,在故障情况下支持运营。因此,系统操作的人工智能(AIOps)是学术界和工业界日益关注的研究领域。这一领域的主要问题之一是缺乏对适当标记数据的访问,这主要是由于法律保护规定或行业机密。在联邦学习领域,不需要直接存取训练数据,因此有方法可以缓解这种混乱。原始的方法利用一个中心实例来执行模型同步的周期性聚合的所有模型参数。然而,有许多情况下,训练的模型不能公布,因为它的机密知识或训练数据可以从他们重建。此外,中心实例需要被信任,并且是单点故障。作为解决方案,我们提出了一种完全分散的方法,允许在训练模型之间共享知识。既不需要传输原始训练数据也不需要传输模型参数。这个概念依赖于分配给模型的教师和学生角色,学生通过合成生成的输入数据根据教师的输出进行训练。我们进行了一个案例研究日志异常检测。结果表明,一个未经训练的学生模型,培训的教师输出达到可比的F1分数的教师。此外,我们证明了我们的方法允许同步的几个模型训练不同的不同的训练数据子集。
2021-02-01 cs.LG cs.NI
Gaussian Differential Privacy on Riemannian Manifolds
University of Alberta(阿尔伯塔大学)
本文提出一种基于Bishop-Gromov定理的黎曼高斯分布,首次将高斯差分隐私扩展到一般黎曼流形,并提供算法计算隐私预算,在单位球面上验证了优于黎曼拉普拉斯机制的效用。
2023-11-09 cs.CR cs.DS cs.LG
Private Federated Frequency Estimation: Adapting to the Hardness of the Instance
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院);Rice University(莱斯大学)
本文针对多轮联邦频率估计提出可证明更优的混合草图算法,并设计两阶段方法根据实例难度自适应设置草图大小,同时支持差分隐私,在大规模数据上验证了性能优势。
2023-12-02 cs.DS cs.LG
A Privacy-Preserving Federated Learning Approach for Kernel methods
Leipzig University(莱比锡大学);University of Tuebingen(蒂宾根大学)
本文提出FLAKE联邦学习方法,通过数据掩码在保护隐私的前提下集中计算Gram矩阵,以支持核方法训练,并在半诚实模型下证明其安全性,实验表明其在准确性和效率上优于同类方法。
2023-06-05 cs.CR cs.LG
Privacy-Preserving Data Deduplication for Enhancing Federated Learning of Language Models (Extended Version)
Newcastle University(纽卡斯尔大学);Pennsylvania State University(宾夕法尼亚州立大学);University of Warwick(华威大学)
针对联邦学习中去重面临的可扩展性与隐私问题,本文提出高效隐私保护多方去重协议EP-MPD,通过模块化设计与新型私有集合交集变体实现隐私保护去重,实验证明其能显著提升大型语言模型联邦学习的困惑度并减少运行时间。
2024-12-04 cs.AI cs.CL cs.CR
Average-Case Averages: Private Algorithms for Smooth Sensitivity and Mean Estimation
保证差分隐私的最简单和最广泛应用的方法是向感兴趣的统计量添加与实例无关的噪声,该统计量被缩放到其全局灵敏度。然而,全局敏感性是一个最坏情况的概念,对于已实现的数据集实例来说往往过于保守。我们提供的方法缩放噪声在一个实例相关的方式,并证明他们提供更高的精度下平均情况下的分布假设。具体地说,我们考虑的基本问题私人估计的平均值的实际分布从i.i.d.~样品标准的经验均值估计可以具有任意高的全局灵敏度。我们提出了修剪均值估计,它插值之间的平均值和中位数,作为一种方法,平均获得低得多的灵敏度,而损失很少的统计精度。为了私下估计修剪均值,我们重新审视了Nissim,Raskhodnova和Smith(STOC 2007)的平滑灵敏度框架,该框架为使用实例依赖灵敏度提供了一个框架。我们提出了三个新的加性噪声分布,提供集中的差分隐私时,缩放到平滑的灵敏度。我们提供的理论和实验证据表明,我们的噪声分布比较有利的文献中的其他人,特别是当应用于均值估计问题。
2019-06-06 cs.CR cs.DS math.ST
Differential privacy and robust statistics in high dimensions
University of Washington(华盛顿大学);Google Research(谷歌研究院)
我们引入了一个通用的框架,用于表征具有差分隐私保证的统计估计问题的统计效率。我们的框架,我们称之为高维提案测试发布(HPTR),建立在三个关键组成部分:指数机制,强大的统计,和提案测试发布机制。将所有这些结合在一起的是弹性的概念,这是可靠的统计估计的核心。弹性指导算法的设计、灵敏度分析和Propose-Test-Release中测试步骤的成功概率分析。关键的见解是,如果我们设计一个指数机制,只通过一维鲁棒统计访问数据,那么由此产生的局部敏感性可以显着降低。使用弹性,我们可以提供严格的局部灵敏度界限。在某些情况下,这些严格的界限很容易转化为接近最优的效用保证。我们给出了一个通用的配方应用HPTR的统计估计问题的一个给定的例子,并证明了它的典型问题的均值估计,线性回归,协方差估计,和主成分分析。我们引入了一个通用的效用分析技术,证明了HPTR几乎达到了最佳的样本复杂度在文献中研究的几种情况下。
2021-11-12 cs.CR cs.IT cs.LG
A Privacy-Aware Bayesian Approach for Combining Classifier and Cluster Ensembles
University of Texas (UT) at Austin(德克萨斯大学奥斯汀分校);University of Sao Paulo (USP)(圣保罗大学)
本文介绍了一种隐私感知贝叶斯方法,它结合了分类器和聚类器的集成来执行半监督和直推学习。我们考虑的情况下,实例及其分类/聚类结果分布在不同的数据站点,并有共享限制。作为一种特殊情况,当目标数据的实例分布在不同的数据站点时,模型的隐私感知计算也进行了讨论。实验结果表明,该方法可以提供良好的分类精度,同时坚持数据/模型共享的限制。
2012-04-20 cs.CV cs.LG stat.ML
A Critical Overview of Privacy-Preserving Approaches for Collaborative Forecasting
INESC TEC(葡萄牙机电工程与计算机科学研究所);Faculty of Sciences of the University of Porto(波尔图大学理学院);Technical University of Denmark(丹麦技术大学)
不同数据所有者之间的合作可能会提高预测质量-例如,通过利用地理上分布的时间序列中的时空依赖性。由于业务竞争因素和个人数据保护问题,所述数据所有者可能不愿意共享其数据,这增加了对协作隐私保护预测的兴趣。分析了向量自回归(VAR)模型在保证数据隐私方面的研究现状,揭示了现有方法的不足。本文还提供了数学证明和数值分析来评估现有的隐私保护方法,将它们分为三组:数据转换,安全多方计算和分解方法。分析表明,最先进的技术在保护数据隐私方面存在局限性,例如隐私和预测准确性之间的权衡,而迭代模型拟合过程中的原始数据,其中中间结果是共享的,可以在一些迭代后推断出来。
2020-10-10 cs.LG stat.ML
Privacy-Preserving Collaborative Prediction using Random Forests
ISI Foundation(ISI基金会);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了隐私保护机器学习(PPML)集成方法的问题,我们的努力集中在随机森林。在协作分析中,PPML试图解决数据共享需求与隐私之间的冲突。这在隐私敏感应用中尤其重要,例如从来自不同诊所的EHR数据学习用于临床决策支持的预测模型,其中每个诊所都对其患者的隐私负责。我们提出了一种集成方法的新方法:每个实体从自己的数据中学习一个模型,然后当客户端要求预测一个新的私有实例时,所有本地训练模型的答案都被用来计算预测,这样就不会泄露任何额外的信息。我们实现了这种方法的随机森林,我们证明了其高效率和潜在的准确性的好处,通过实验对现实世界的数据集,包括实际的EHR数据。
2018-11-21 cs.LG stat.ML
Robust Federated Training via Collaborative Machine Teaching using Trusted Instances
Symantec Research Labs(赛门铁克研究实验室);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
联邦学习使用代理托管的本地数据执行分布式模型训练。它只共享模型参数更新,以便在服务器上进行迭代聚合。虽然它是隐私保护的设计,联邦学习是容易受到本地代理的噪音腐败,如在以前的研究对抗数据投毒威胁联邦学习系统。即使是一个噪声破坏的代理也会使模型训练产生偏差。在我们的工作中,我们提出了一个具有多个分布式教师的协作和隐私保护的机器教学范例,以提高联邦训练过程对本地数据损坏的鲁棒性。我们假设每个本地代理(教师)都有资源来验证一小部分可信实例,但这本身可能不足以进行学习。在建议的协作机器教学方法中,这些可信的实例指导分布式代理共同选择一个紧凑的,而信息丰富的训练子集,从他们自己托管的数据。同时,智能体学习将有限幅度的变化添加到所选择的数据实例中,以提高联邦训练模型的测试性能,尽管训练数据损坏。玩具和真实数据上的实验表明,我们的方法可以有效地识别训练集错误,并建议适当的修改标签。我们的算法是迈向可信的机器学习的一步。
2019-05-08 cs.AI cs.LG stat.ML
InstaHide: Instance-hiding Schemes for Private Distributed Learning
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
多个分布式实体如何在保护隐私的同时,在其私有数据上协作训练共享的深网?本文介绍了InstaHide,这是一种简单的训练图像加密,可以插入现有的分布式深度学习管道。加密是有效的,在训练过程中应用它对测试准确性的影响很小。InstaHide使用“一次性秘密密钥“对每个训练图像进行加密,该密钥包括混合许多随机选择的图像并应用随机像素掩码。本文的其他贡献包括:(a)在加密过程中使用大型公共数据集(例如ImageNet)进行混合,这提高了安全性。(b)实验结果表明,在保护隐私对已知的攻击只有轻微的影响,准确性的有效性。(c)理论分析表明,成功攻击隐私需要攻击者解决一个困难的计算问题。(d)证明使用像素掩码对安全性很重要,因为Mixup单独被证明对一些有效的攻击是不安全的。(e)发布挑战数据集https://github.com/Hazelsuko07/InstaHide_Challenge我们的代码可以在https://github.com/Hazelsuko07/InstaHide上找到
2021-02-24 cs.CC cs.CR cs.DS
Subverting Privacy-Preserving GANs: Hiding Secrets in Sanitized Images
NYU Tandon School of Engineering(纽约大学坦登工程学院)
前所未有的数据汇集和共享加剧了对隐私的担忧,并导致人们对隐私保护工具的兴趣日益增加,这些工具可以从图像中删除敏感属性,同时为其他任务保留有用的信息。目前,最先进的方法使用隐私保护生成对抗网络(PP-GAN)来实现这一目的,例如,在不泄露用户身份的情况下实现可靠的面部表情识别。然而,PP-GAN并不提供隐私的正式证明,而是依赖于使用基于深度学习(DL)的鉴别器的敏感属性上的分类准确性来实验性地测量信息泄漏。在这项工作中,我们通过颠覆现有的面部表情识别隐私保护GANs来质疑这种检查的严格性。我们表明,可以将敏感的识别数据隐藏在这种PP-GAN的经过消毒的输出图像中,以便以后提取,这甚至可以允许重建整个输入图像,同时满足隐私检查。我们通过基于PP-GAN的架构展示了我们的方法,并使用两个公共数据集提供定性和定量评估。我们的实验结果提出了关于需要对PP-GAN进行更严格的隐私检查的基本问题,并提供了对这些问题的社会影响的见解。
2020-09-19 cs.AI cs.CR cs.CV