ALI-DPFL: Differentially Private Federated Learning with Adaptive Local Iterations
East China Normal University(华东师范大学);Shanghai Key Laboratory of Trustworthy Computing(上海市可信计算重点实验室)
针对资源受限的联邦学习,提出ALI-DPFL算法,通过理论分析确定最优本地迭代次数,在MNIST等数据集上显著优于现有方法。
2024-05-22 cs.CR cs.LG
XRand: Differentially Private Defense against Explanation-Guided Attacks
University of Florida(佛罗里达大学);New Jersey Institute of Technology(新泽西理工学院)
可解释人工智能(XAI)领域的最新发展有助于提高机器学习即服务(MLaaS)系统的信任度,在MLaaS系统中,响应于每个查询,解释与模型预测一起提供。然而,XAI也为对手打开了一扇门,让他们能够深入了解MLaaS中的黑盒模型,从而使模型更容易受到多种攻击。例如,基于特征的解释(例如,SHAP)可能会暴露黑盒模型关注的最重要的功能。这种披露已被利用来制作针对恶意软件分类器的有效后门触发器。为了解决这种权衡,我们引入了一个新的概念,实现本地差分隐私(LDP)的解释,并从我们建立一个防御,称为XRand,对这种攻击。我们表明,我们的机制限制了信息,对手可以了解的最重要的功能,同时保持忠实的解释。
2022-12-14 cs.CR cs.LG
Differentially Private Filtering
智能电网或智能交通系统等新兴系统通常需要终端用户应用程序不断向执行监视或控制任务的外部数据聚合器发送信息。这可能导致用户在交换由应用提供的益处时的不期望的隐私损失。出于这种趋势,本文介绍了隐私的关注,在系统理论的背景下,并解决了问题,释放过滤信号,尊重用户数据流的隐私。我们的方法依赖于一个正式的概念,从数据库文献中的隐私,称为差分隐私,它提供了强大的隐私保证,对对手任意边信息。方法开发近似一个给定的过滤器的差分隐私版本,使隐私机制引入的失真最小化。两个具体的场景被认为是。首先,差分隐私的概念被扩展到动态系统,许多参与者贡献独立的输入信号。卡尔曼滤波也讨论了在这种情况下,当一个释放的输出信号必须保持差分隐私的测量信号或状态轨迹的个人参与者。其次,差分隐私机制被描述为近似稳定的过滤器时,参与者有助于一个单一的事件流,扩展以前的工作差分隐私下的持续观察。
2012-09-11 cs.CR math.OC
Achieving Secure and Differentially Private Computations in Multiparty Settings
由于安全和隐私问题,在从医疗保健到金融的分布式环境中共享和处理敏感数据是一项重大挑战。安全多方计算(SMC)是一个可行的灵丹妙药,它允许分布式各方进行计算,而各方对他们的数据一无所知,但最终的结果。尽管SMC在此类分布式环境中发挥着重要作用,但它并不能保证不向对手泄露有关个人的任何信息。差分隐私(DP)可以用来解决这个问题;然而,实现SMC与DP也不是一个微不足道的任务。在本文中,我们提出了一种新的安全多方分布式差分私有(SM-DDP)协议,以实现安全和私有的计算在多方环境中。具体来说,我们的协议,我们同时实现SMC和DP在分布式设置集中在线性回归水平分布的数据。也就是说,各方看不到彼此的数据,并且进一步地,不能从最终构建的统计模型推断关于个人的信息。任何允许独立计算局部统计的统计模型函数都可以通过我们的协议计算。该协议实现了SMC的同态加密和DP的功能机制,以达到预期的安全性和隐私保证。在这项工作中,我们首先介绍了SM-DDP协议的理论基础,然后在两个不同的数据集上评估其有效性和性能。我们的研究结果表明,一个可以实现个人级别的隐私,通过建议的协议与分布式DP,这是独立地适用于每一方在一个分布式的方式。此外,我们的研究结果还表明,SM-DDP协议产生的计算开销最小,是可扩展的,并提供安全和隐私保证。
2017-07-06 cs.CR
SA-DPSGD: Differentially Private Stochastic Gradient Descent based on Simulated Annealing
East China Normal University(华东师范大学)
差分隐私(DP)提供了一种正式的隐私保证,可以防止访问机器学习模型的对手提取有关单个训练点的信息。差分隐私随机梯度下降(DPSGD)是图像识别中最流行的具有差分隐私的训练方法。然而,现有的DPSGD方案导致显着的性能下降,这阻碍了差分隐私的应用。在本文中,我们提出了一个模拟退火为基础的差分私人随机梯度下降计划(SA-DPSGD),接受一个候选更新的概率取决于更新质量和迭代次数。通过这种随机的更新筛选,我们使得差分私有梯度下降在每次迭代中都朝着正确的方向进行,最终得到一个更精确的模型。在我们的实验中,在相同的超参数下,我们的方案在数据集MNIST,FashionMNIST和CIFAR 10上的测试准确率分别为98.35%,87.41%和60.92%,而最先进的结果为98.12%,86.33%和59.34%。在自由调整的超参数下,我们的方案实现了更高的准确率,分别为98.89%,88.50%和64.17%。我们相信,我们的方法有很大的贡献,私人和非私人图像分类之间的准确性差距。
2022-12-14 cs.AI cs.CR cs.CV
Differentially Private Counterfactuals via Functional Mechanism
Rice University(莱斯大学);Texas A&M University(得克萨斯农工大学);J.P. Morgan AI Research(摩根大通人工智能研究院)
反事实作为一种新兴的模型解释类型,近年来引起了业界和学术界的广泛关注。不同于传统的基于特征的解释(例如,归因),反事实是一系列假设样本,可以在查询上以最小的扰动翻转模型决策。在给定有效的反事实的情况下,人类能够在“假设”的情况下进行推理,以便更好地理解模型的决策边界。然而,发布反事实可能是有害的,因为它可能会无意中将敏感信息泄露给对手,这会给模型安全和数据隐私带来更高的风险。为了弥补这一差距,本文提出了一个新的框架来生成差异私有反事实(DPC),而不触及部署的模型或解释集,其中注入噪音以进行保护,同时保持反事实的解释角色。特别地,我们训练了一个自动编码器的功能机制,以构建嘈杂的类原型,然后推导出DPC的潜在原型的基础上的后处理免疫的差分隐私。进一步的评估表明,所提出的框架的有效性,DPC可以成功地减轻提取和推理攻击的风险。
2022-08-04 cs.AI cs.CR cs.LG
Differentially Private Inductive Miner
本文提出差分隐私归纳式挖掘器(DPIM),在保护事件轨迹个人数据的同时学习底层过程树,实验证明其在14个真实数据集上能以极小的效用损失生成忠实过程树。
2024-10-04 cs.CR cs.DB
An Adaptive and Fast Convergent Approach to Differentially Private Deep Learning
University of Nanjing(南京大学);Michigan State University(密歇根州立大学);Nanyang Technological University(南洋理工大学);Yale University(耶鲁大学)
随着大数据时代的到来,深度学习已经成为各种机器学习或数据采掘任务(例如,信号处理、网络建模和流量分析等)中的普遍构建块。众包的海量用户数据对深度学习模型的成功起着至关重要的作用。然而,已经表明,用户数据可以从训练的神经模型中推断出来,从而暴露给潜在的对手,这引起了信息安全和隐私问题。为了解决这个问题,最近的研究利用差分隐私技术来设计隐私保护深度学习算法。尽管差分隐私在隐私保护方面取得了成功,但它降低了神经模型的性能。在本文中,我们开发ADADP,自适应和快速收敛的学习算法与可证明的隐私保证。ADADP通过自适应学习率提高收敛速度,显著降低了隐私代价,并通过引入自适应噪声,减轻了差分隐私对模型精度的负面影响。ADADP的性能在真实世界的数据集上进行了评估。实验结果表明,它优于国家的最先进的差分隐私方法的隐私成本和模型的准确性。
2019-12-19 cs.CR cs.LG
On the privacy-utility trade-off in differentially private hierarchical text classification
SAP(思爱普);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
分层文本分类是将文本文档分类为类和子类的层次结构。虽然人工神经网络已被证明可用于执行此任务,但不幸的是,由于训练数据记忆,它们可能会将训练数据信息泄漏给对手。在模型训练期间使用差分隐私可以减轻对训练模型的泄漏攻击,使模型能够以降低模型准确性为代价安全地共享。这项工作调查的隐私效用权衡分层文本分类与差分隐私保证,并确定神经网络架构,提供优越的权衡。为此,我们使用白盒成员推断攻击经验评估三个广泛使用的神经网络架构的信息泄漏。我们发现,大的差分隐私参数已经足以完全减轻成员推断攻击,从而导致模型效用的适度下降。更具体地说,对于具有长文本的大型数据集,我们观察到基于transformer的模型可以实现整体有利的隐私-效用权衡,而对于具有较短文本的较小数据集,卷积神经网络更可取。
2021-12-09 cs.CL cs.CR cs.LG
Adversary Instantiation: Lower Bounds for Differentially Private Machine Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Brain(谷歌大脑)
差分私有(DP)机器学习允许我们在私有数据上训练模型,同时限制数据泄漏。DP通过加密游戏将这种数据泄漏形式化,其中攻击者必须预测模型是在数据集D或仅在一个示例中不同的数据集D'上训练的。如果观察训练算法并没有有意义地增加攻击者成功猜测模型是在哪个数据集上训练的几率,则该算法被称为差分私有的。因此,隐私分析的目的是上限的概率,任何对手都可以成功地猜测模型的训练数据集。在我们的论文中,我们实例化这个假设的对手,以建立下限的概率,这个区别游戏可以赢得。利用该攻击者模型,对DP训练算法的隐私分析中所允许的攻击者能力的重要性进行了评估。对于训练具有差分隐私的神经网络的最常用方法DP-SGD,我们的下界是紧的,并且与理论上界相匹配。这意味着,为了证明更好的上限,有必要使用额外的假设。幸运的是,我们发现,我们的攻击是显着削弱时,额外的(现实)限制对手的能力。因此,在许多现实世界的部署常见的实际设置,有一个差距,我们的下限和分析提供的上限:差分隐私是保守的,对手可能无法泄漏尽可能多的信息,建议的理论界。
2021-01-11 cs.CR cs.LG
Quantifying identifiability to choose and audit $ε$ in differentially private deep learning
SAP(SAP公司);Salzburg University of Applied Sciences(萨尔茨堡应用科学大学);University of Heidelberg(海德堡大学);University of Waterloo(滑铁卢大学)
差分隐私允许限制训练数据记录对机器学习模型的影响。为了在机器学习中使用差分隐私,数据科学家必须选择隐私参数$(ε,δ)$。选择有意义的隐私参数是关键,因为使用弱隐私参数训练的模型可能会导致过度的隐私泄露,而强隐私参数可能会过度降低模型的实用性。然而,由于两个主要原因,隐私参数值难以选择。首先,隐私损失的理论上限$(ε,δ)$可能是宽松的,这取决于实际数据集的敏感性和数据分布。第二,匿名化的法律要求和社会规范通常涉及个人的可识别性,而$(ε,δ)$只是间接相关。我们将$(ε,δ)$转换为由差分隐私假设的对手的贝叶斯后验信念上的界限,关于训练数据集中任何记录的存在。结合下的多维查询组合,我们表明,它可以在实践中紧密。此外,我们推导出一个可识别的界限,这涉及到对手假设在差分隐私以前的工作成员推断对手。我们制定了这种差分隐私对手的实现,允许数据科学家审计模型训练和计算经验可识别性得分和经验$(ε,δ)$。
2021-07-20 cs.CR cs.LG
Differentially Private Kalman Filtering
Ecole Polytechnique de Montreal(蒙特利尔高等商学院);University of Pennsylvania(宾夕法尼亚大学)
针对需要保护个体数据隐私的H2(卡尔曼)滤波问题,提出基于差分隐私的机制,并通过控制H∞范数减轻隐私机制对估计性能的影响。
2012-07-19 cs.CR cs.SY eess.SY
Visualizing Privacy-Utility Trade-Offs in Differentially Private Data Releases
各组织经常收集私人数据,并为公众的利益发布汇总统计数据。如果不采取保护隐私的措施,攻击者可能会使用发布的统计数据来推断有关私人数据集中描述的个人的未经授权的信息。不同的隐私算法通过用噪声稍微扰动底层统计数据来解决这一挑战,从而在数学上限制了可以从每个数据发布中推断出的信息量。正确校准这些算法--以及数据集中描述的人的披露风险--需要数据管理者为隐私预算参数$ε$选择一个值。然而,很少有正式的指导选择$ε$,一个任务,需要推理的概率隐私效用权衡。此外,在统计推断的上下文中选择$ε$需要在存在测量误差和差分隐私(DP)噪声两者的情况下推理关于准确性权衡。我们提出了可视化隐私(VIP),一个交互式界面,可视化之间的关系$ε$,准确性和披露风险,以支持设置和分裂$ε$查询。当用户调整$ε$时,ViP动态更新描述预期准确性和风险的可视化。ViP还具有推理设置,允许用户推理DP噪声对统计推理的影响。最后,我们提出了一项研究的结果,其中16个研究从业者很少或没有DP背景完成了一组相关的任务设置$ε$使用VIP和控制。我们发现,VIP可以帮助参与者更正确地回答与判断DP噪声释放可能下降的概率以及DP噪声和非私人置信区间之间的比较相关的问题。
2022-01-16 cs.CR cs.HC
Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions
University of Basel, Switzerland(瑞士巴塞尔大学);KAUST, Saudi Arabia(沙特阿拉伯阿卜杜拉国王科技大学);MBZUAI, UAE(阿联酋穆罕默德·本·扎耶德人工智能大学)
本文提出Byz-Clip21-SGD2M算法,结合鲁棒聚合与双动量,通过放宽条件实现收敛保证,同时在无对手和存在对手时提升隐私和效用保障。
2026-04-05 cs.CR cs.LG math.OC
Unlocking High-Accuracy Differentially Private Image Classification through Scale
DeepMind(深度思维)
差分隐私(DP)提供了一种正式的隐私保证,防止访问机器学习模型的对手提取有关各个训练点的信息。差分私有随机梯度下降(DP-SGD)是深度学习中最流行的DP训练方法,它通过在训练过程中注入噪声来实现这种保护。然而,以前的工作已经发现,DP-SGD往往会导致一个显着的性能下降标准图像分类基准。此外,一些作者假设DP-SGD在大型模型上固有地表现不佳,因为保护隐私所需的噪声的范数与模型维度成比例。相比之下,我们证明了DP-SGD在过参数化模型上的表现比以前认为的要好得多。将仔细的超参数调整与简单的技术相结合,以确保信号传播并提高收敛速度,我们使用40层Wide-ResNet在CIFAR-10上获得了一个新的SOTA,在(8,10^{-5})-DP下没有额外的数据,为81.4%,比以前的SOTA提高了71.7%。当对预训练的NFNet-F3进行微调时,我们在ImageNet上在(0.5,8*10^{-7})-DP下实现了83.8%的top-1准确率。此外,我们还在(8,8 \cdot 10^{-7})-DP下实现了86.7%的top-1准确率,仅比当前非私有SOTA低4.3%。我们相信我们的结果是缩小私人和非私人图像分类之间准确性差距的重要一步。
2022-06-16 cs.CR cs.CV cs.LG
Differentially Private Speaker Anonymization
The Alan Turing Institute(阿兰·图灵研究所);Vector Institute(向量研究所);Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Université de Lorraine(洛林大学);University of Toronto(多伦多大学)
共享真实世界的语音是训练和部署基于语音的服务的关键。然而,它也增加了隐私风险,因为语音包含大量的个人数据。说话人匿名化的目的是去除说话人信息,同时保持其语言和韵律属性不变。最先进的技术通过将说话者信息(经由说话者嵌入表示)从这些属性中分离出来并且基于另一说话者的说话者嵌入来重新合成语音来操作。隐私社区先前的研究表明,匿名化通常提供脆弱的隐私保护,更不用说任何可证明的保证。在这项工作中,我们表明,解纠缠确实是不完美的:语言和韵律属性仍然包含扬声器信息。我们从这些属性中删除扬声器信息,通过引入差分私人特征提取器的基础上的自动编码器和自动语音识别器,分别使用噪声层训练。我们将这些提取器插入到最先进的匿名化管道中,并首次生成私人语音话语,其包含的说话者信息具有可证明的上限。我们经验评估的隐私和实用程序所产生的差异私人扬声器匿名化方法的LibriSpeech数据集。实验结果表明,所生成的话语保留了非常高的实用程序的自动语音识别的训练和推理,同时更好地保护强大的对手谁利用匿名化过程的全部知识,试图推断说话人的身份。
2022-10-06 cs.CR cs.LG cs.SD
Accurate, Explainable, and Private Models: Providing Recourse While Minimizing Training Data Leakage
Harvard University(哈佛大学)
本文首次研究算法救济引发的训练数据隐私泄露问题,提出差分隐私模型(DPM)和拉普拉斯救济(LR)两种方法,在保持模型与救济准确性的同时有效降低隐私泄露风险。
2023-08-08 cs.CR cs.LG
Differentially private quantum sensor networks
Joint Center for Quantum Information and Computer Science, NIST/University of Maryland(量子信息与计算机科学联合中心,美国国家标准与技术研究院/马里兰大学);Joint Quantum Institute, NIST/University of Maryland(量子研究所,美国国家标准与技术研究院/马里兰大学);Department of Physics, University of Maryland(马里兰大学物理系);Department of Computer Science, University of Maryland(马里兰大学计算机科学系)
研究量子传感器网络用于隐私数据测量时的隐私问题,引入具差分隐私的安全传感协议,协调差分隐私与海森堡极限缩放,给出多种协议,证明主要协议在隐私-效用权衡中有优势且对多种攻击具弹性。
2026-07-08 cs.CR cs.IT math.IT