A Differential Privacy Mechanism Design Under Matrix-Valued Query
Princeton University（普林斯顿大学）
传统上，差分隐私机制设计已经针对标量值查询函数进行了定制。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声到矩阵的每个元素，这种方法往往是次优的，因为它丧失了利用通常与矩阵分析相关联的结构特性的机会。在这项工作中，我们考虑的差分隐私机制的设计，专门为矩阵值查询功能。所提出的解决方案是利用矩阵变量噪声，而不是传统的标量值噪声。特别是，我们提出了一种新的差分隐私机制称为矩阵变量高斯（MVG）机制，它增加了一个矩阵值的噪声从矩阵变量高斯分布。我们证明了MVG机制保留$(ε,δ)$ -差分隐私，并表明它允许自然地利用矩阵值查询函数的结构特征。此外，由于MVG机制和矩阵值查询的多维性质，我们引入了方向噪声的概念，可以利用它来减轻噪声对查询效用的影响。最后，我们展示了MVG机制的性能和方向噪声的优势，使用三个矩阵值查询三个隐私敏感的数据集。我们发现，MVG机制显着优于四个以前的国家的最先进的方法，并提供了可比的实用程序的非私人基线。因此，我们的工作提出了一个很好的前景，未来的研究和实现的差分隐私矩阵值查询函数。
2018-02-26 cs.CR cs.LG
MVG Mechanism: Differential Privacy under Matrix-Valued Query
Princeton University（普林斯顿大学）
传统上，差分隐私机制设计是针对纯量值查询函数量身定制的。虽然诸如拉普拉斯和高斯机制的许多机制可以通过添加i.i.d.噪声的矩阵的每个元素，这种方法往往是次优的，因为它丧失了一个机会，利用结构特征，通常与矩阵分析。为了解决这个问题，我们提出了一种新的差分隐私机制称为矩阵变量高斯（MVG）机制，它增加了一个矩阵值的噪声从矩阵变量高斯分布，我们严格证明了MVG机制保持$(ε,δ)$ -差分隐私。此外，我们引入了方向噪声的概念，通过MVG机制的设计成为可能。定向噪声允许噪声对矩阵值查询函数的效用的影响被缓和。最后，我们实验证明了我们的机制使用三个矩阵值查询三个隐私敏感的数据集的性能。我们发现，MVG机制显着优于四个以前的国家的最先进的方法，并提供了可比的实用程序的非私人基线。
2018-10-16 cs.CR cs.LG stat.ML
Assessing differentially private deep learning with Membership Inference
SAP SE（SAP公司）；University of Waterloo（滑铁卢大学）
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护，具有差分隐私。然而，数据科学家可以在本地和中央差分隐私之间进行选择，并且需要选择有意义的隐私参数$ε$，这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理，以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验，结果表明，这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案，因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
Privacy for Rescue: A New Testimony Why Privacy is Vulnerable In Deep Models
Beihang University（北京航空航天大学）
深度学习模型庞大的计算需求和边缘设备上有限的计算资源要求边缘设备和云服务通过将深度模型分成两半来进行合作。然而，在边缘设备和云服务之间传输来自部分模型的中间结果使得用户隐私容易受到攻击，因为攻击者可以拦截中间结果并从中提取隐私信息。现有的研究工作依赖于不切实际或不足以衡量隐私保护方法在上述场景中的有效性的指标，特别是从单个用户的角度。在本文中，我们首先提出了一个正式的定义，隐私保护问题的边缘云系统运行DNN模型。然后，分析了现有的方法，指出了它们的不足之处，特别是互信息（MI）等评价指标。此外，我们进行了几个实验来证明，虽然现有的方法在MI下表现良好，但它们不足以有效地保护单个用户的隐私。针对现有评价指标的不足，提出了两种新的评价指标，能够更准确地衡量隐私保护方法的有效性。最后，我们强调了几个潜在的研究方向，以鼓励未来的努力解决隐私保护问题。
2019-12-31 cs.CR cs.LG
Gradient Leakage Attack Resilient Deep Learning
Georgia Institute of Technology（佐治亚理工学院）
梯度泄漏攻击被认为是深度学习中最严重的隐私威胁之一，因为攻击者在迭代训练期间秘密地监视梯度更新，而不影响模型训练质量，并且使用泄漏的梯度秘密地重建敏感的训练数据，具有高攻击成功率。虽然具有差分隐私的深度学习是发布具有差分隐私保证的深度学习模型的事实标准，但我们表明具有固定隐私参数的差分隐私算法容易受到梯度泄漏攻击。本文研究了具有差分隐私（DP）的梯度泄漏弹性深度学习的替代方法。首先，我们分析了具有差分隐私的深度学习的现有实现，该实现使用固定的噪声方差来使用固定的隐私参数向所有层的梯度注入恒定的噪声。尽管提供了DP保证，但该方法精度低并且容易受到梯度泄漏攻击。其次，我们提出了一种梯度泄漏弹性深度学习方法，通过使用动态隐私参数的差分隐私保证。与导致恒定噪声方差的固定参数策略不同，不同的动态参数策略提供了引入自适应噪声方差和自适应噪声注入的替代技术，这些技术与差分私有模型训练期间的梯度更新趋势密切相关。最后，我们描述了四个补充指标来评估和比较替代方法。
2021-12-25 cs.CR cs.LG
Can Stochastic Gradient Langevin Dynamics Provide Differential Privacy for Deep Learning?
University of Bar-Ilan（巴伊兰大学）
贝叶斯学习通过随机梯度朗之万动力学（SGLD）已被建议用于差分私人学习。虽然以前的研究提供了差分隐私边界SGLD在算法的初始步骤或接近收敛时，之间的差分隐私保证的问题仍然没有答案。这个过渡区域非常重要，特别是对于贝叶斯神经网络，因为它很难保证收敛到后验。本文表明，使用SGLD可能会导致这个过渡区域的无限隐私损失，即使从后验采样是所需的差异隐私。
2023-02-05 cs.CR cs.LG
SoK: Privacy-preserving Deep Learning with Homomorphic Encryption
Georgia State University（佐治亚州立大学）；Rochester Institute of Technology（罗切斯特理工学院）
神经网络的外包计算允许用户访问最先进的模型，而无需投资于专门的硬件和专业知识。问题是用户失去了对潜在隐私敏感数据的控制。利用同态加密（HE），可以在不泄露其内容的情况下对加密数据执行计算。在知识的系统化中，我们深入研究了将神经网络与HE相结合以保护隐私的方法。我们对神经网络模型和架构的变化进行了分类，使它们在HE上可计算，以及这些变化如何影响性能。我们发现基于HE的隐私保护深度学习面临许多挑战，例如计算开销，可用性和加密方案带来的限制。
2022-01-01 cs.CR cs.LG
On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning
University of Toronto（多伦多大学）
虽然差分隐私和梯度压缩分别是机器学习中研究得很好的主题，但这两个主题之间的交互研究仍然相对较新。我们对差分隐私的高斯机制和梯度压缩如何共同影响深度学习中的测试准确性进行了详细的实证研究。现有的文献中的梯度压缩大多数评估压缩的差分隐私保证的情况下，并证明，足够高的压缩率降低准确性。类似地，现有的文献在差分隐私评估隐私机制的压缩的情况下，并证明，足够强大的隐私保证降低准确性。在这项工作中，我们观察到，虽然梯度压缩通常对非私有训练中的测试准确性有负面影响，但它有时可以提高差异私有训练中的测试准确性。具体来说，我们观察到，当采用积极的稀疏化或降秩梯度，测试精度是受高斯噪声添加的差分隐私。这些意见解释通过分析如何差分隐私和压缩的影响，估计平均梯度的偏差和方差。我们遵循这项研究，并就如何在差分私有深度学习和梯度压缩的背景下提高测试准确性提出了建议。我们评估了这个建议，发现它可以减少噪音添加的差分隐私机制对测试精度的负面影响高达24.6%，并减少梯度稀疏化对测试精度的负面影响高达15.1%。
2022-11-01 cs.CR cs.LG
Heterogeneous Gaussian Mechanism: Preserving Differential Privacy in Deep Learning with Provable Robustness
New Jersey Institute of Technology（新泽西理工学院）；Kent State University（肯特州立大学）；University of Oregon（俄勒冈大学）；University of Arkansas（阿肯色大学）；University of Florida（佛罗里达大学）
在本文中，我们提出了一种新的异构高斯机制（HGM），以保持差分隐私在深度神经网络，具有可证明的鲁棒性对抗性的例子。首先将传统高斯机制中的隐私预算约束从（0，1]放宽到（0，\infty），并引入一个新的噪声尺度上界来保持差分隐私。在我们的机制中的噪声可以任意重新分配，提供了一个独特的能力，以解决模型效用和隐私损失之间的权衡。为了获得可证明的鲁棒性，我们的HGM被应用于将高斯噪声注入到第一隐藏层中。然后，提出了一个更严格的鲁棒性界。理论分析和全面的评估表明，我们的机制显着提高了不同的私人深度神经网络的鲁棒性，与基线方法相比，在各种模型的攻击。
2019-06-02 cs.CR cs.LG
Differentially Private Model Publishing for Deep Learning
Georgia Institute of Technology（佐治亚理工学院）
基于神经网络的深度学习技术在广泛的人工智能任务中取得了巨大成功。大规模的训练数据集是其成功的关键因素之一。然而，当训练数据集是从个人众包的，并且包含敏感信息时，模型参数可能会编码隐私信息并承担隐私泄露的风险。最近，共享和发布预训练模型的趋势日益增长，进一步加剧了这种隐私风险。为了解决这个问题，我们提出了一种用于训练神经网络的差异私有方法。我们的方法包括几种新技术，用于优化隐私丢失和模型准确性。我们采用了一个概括的差分隐私称为集中的差分隐私（CDP），与两个不同的数据隐藏方法的正式和精细的隐私损失分析。我们在训练过程中实现了动态隐私预算分配器，以提高模型的准确性。大量的实验表明，我们的方法有效地提高了隐私损失会计，训练效率和模型质量在给定的隐私预算。
2019-12-19 cs.CR cs.LG
Privacy-Preserving Collaborative Deep Learning with Unreliable Participants
Wuhan University（武汉大学）；The State Key Laboratory of Cryptography（密码学国家重点实验室）；Huawei Technologies Co., Ltd（华为技术有限公司）
基于神经网络的深度学习凭借强大的并行计算GPU和海量的用户数据，能够在问题建模和求解方面发挥其强大的威力，在图像分类、语音识别、机器翻译等应用中取得了巨大的成功。随着深度学习的日益普及，隐私泄露问题也变得越来越紧迫。考虑到训练数据可能包含高度敏感信息的事实，个人医疗记录，直接在用户之间共享它们（即，参与者）或将它们集中存储在一个单独的位置可能对用户隐私造成相当大的威胁。在本文中，我们提出了一个实用的隐私保护的协作深度学习系统，允许用户合作建立一个集体的深度学习模型与所有参与者的数据，没有直接的数据共享和中央数据存储。在我们的系统中，每个参与者都用自己的数据训练本地模型，并且只与其他人共享模型参数。为了进一步避免共享模型参数带来的潜在隐私泄露，我们在训练过程中使用函数机制扰动神经网络的目标函数，实现$ε$ -差分隐私.特别地，我们第一次考虑~ \textit{unreliable participants}的存在性，即，低质量数据的参与者，并提出一种解决方案，以减少这些参与者的影响，同时保护他们的隐私。我们评估了我们的系统在两个著名的现实世界的数据集回归和分类任务的性能。结果表明，该系统对不可靠的参与者具有鲁棒性，在保证严格的隐私保护的同时，达到了接近传统集中式训练模型的高精度.
2019-10-25 cs.CR cs.LG
Multi-Trigger-Key: Towards Multi-Task Privacy Preserving In Deep Learning
University of Michigan（密歇根大学）；Arizona State University（亚利桑那州立大学）
基于深度学习的多任务分类（MTC）被广泛用于面部属性和医疗保健等需要强隐私保证的应用。在这项工作中，我们的目标是保护敏感信息在MTC的推理阶段，并提出了一种新的多触发密钥（MTK）框架，以实现隐私保护的目标。MTK将多任务数据集中的每个安全任务与专门设计的安全密钥相关联。如果用户被授权，则可以通过添加密码密钥来揭示真实信息。我们通过使用新生成的训练集对其进行训练来获得这样的MTK模型。为了解决不同任务之间的相关性导致的信息泄漏问题，我们通过将MTK解耦过程与保护功效和模型性能之间的可控权衡来概括训练过程。理论保证和实验结果表明，隐私保护的有效性，没有明显的影响模型的性能。
2021-10-06 cs.CR cs.LG
2P-DNN : Privacy-Preserving Deep Neural Networks Based on Homomorphic Cryptosystem
Xidian University（西安电子科技大学）
机器学习即服务（MLaaS），如Microsoft Azure、Amazon AWS，为受限于缺乏数据和计算能力的小型企业和个人提供了有效的DNN模型来完成机器学习任务。然而，这里有一个问题，即用户隐私暴露给MLaaS服务器，因为用户需要将其敏感数据上传到MLaaS服务器。为了保护他们的隐私，用户可以在上传之前加密他们的数据。这使得DNN模型很难运行，因为它不是为在密文域中运行而设计的。在本文中，使用Paillier同态密码系统，我们提出了一个新的隐私保护深度神经网络模型，我们称之为2 P-DNN。该模型可以完成密文域的机器学习任务。通过使用2 P-DNN，MLaaS能够为用户提供隐私保护机器学习服务。我们基于LeNet-5构建了我们的2 P-DNN模型，并使用加密的MNIST数据集对其进行了测试。分类准确率超过97%，接近MNIST数据集运行的LeNet-5的准确率，高于其他现有的隐私保护机器学习模型
2018-07-23 cs.CR cs.LG
An Adaptive and Fast Convergent Approach to Differentially Private Deep Learning
University of Nanjing（南京大学）；Michigan State University（密歇根州立大学）；Nanyang Technological University（南洋理工大学）；Yale University（耶鲁大学）
随着大数据时代的到来，深度学习已经成为各种机器学习或数据采掘任务（例如，信号处理、网络建模和流量分析等）中的普遍构建块。众包的海量用户数据对深度学习模型的成功起着至关重要的作用。然而，已经表明，用户数据可以从训练的神经模型中推断出来，从而暴露给潜在的对手，这引起了信息安全和隐私问题。为了解决这个问题，最近的研究利用差分隐私技术来设计隐私保护深度学习算法。尽管差分隐私在隐私保护方面取得了成功，但它降低了神经模型的性能。在本文中，我们开发ADADP，自适应和快速收敛的学习算法与可证明的隐私保证。ADADP通过自适应学习率提高收敛速度，显著降低了隐私代价，并通过引入自适应噪声，减轻了差分隐私对模型精度的负面影响。ADADP的性能在真实世界的数据集上进行了评估。实验结果表明，它优于国家的最先进的差分隐私方法的隐私成本和模型的准确性。
2019-12-19 cs.CR cs.LG
Towards Efficient and Secure Delivery of Data for Deep Learning with Privacy-Preserving
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Duke University（杜克大学）
隐私问题是深度学习中的一个重要问题，即在深度神经网络开发过程中，必须禁止与第三方共享敏感数据。在本文中，我们提出了Morphed Learning（MoLe），这是一种高效安全的深度学习数据传输方案。MoLe有两个主要组件：数据变形和增强卷积（Aug-Conv）层。数据变形允许数据提供者在没有隐私信息的情况下发送变形的数据，而Aug-Conv层帮助深度学习开发人员将其网络应用于变形的数据，而不会带来性能损失。与GAZELLE（USENIX Security 2018）相比，MoLe提供了更强的安全性，同时引入了更低的开销，这是另一种对神经网络没有性能损失的方法。在CIFAR数据集上使用MoLe进行VGG-16网络时，计算开销仅为9%，数据传输开销为5.12%。作为比较，GAZELLE具有10，000次的计算开销和421，000次的数据传输开销。在这种情况下，MoLe和GAZELLE的攻击成功率分别为7.9 x 10^{-90}和2.9 x 10^{-30}。
2019-09-17 cs.CR cs.LG
Quantifying identifiability to choose and audit $ε$ in differentially private deep learning
SAP（SAP公司）；Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）；University of Heidelberg（海德堡大学）；University of Waterloo（滑铁卢大学）
差分隐私允许限制训练数据记录对机器学习模型的影响。为了在机器学习中使用差分隐私，数据科学家必须选择隐私参数$(ε,δ)$。选择有意义的隐私参数是关键，因为使用弱隐私参数训练的模型可能会导致过度的隐私泄露，而强隐私参数可能会过度降低模型的实用性。然而，由于两个主要原因，隐私参数值难以选择。首先，隐私损失的理论上限$(ε,δ)$可能是宽松的，这取决于实际数据集的敏感性和数据分布。第二，匿名化的法律要求和社会规范通常涉及个人的可识别性，而$(ε,δ)$只是间接相关。我们将$(ε,δ)$转换为由差分隐私假设的对手的贝叶斯后验信念上的界限，关于训练数据集中任何记录的存在。结合下的多维查询组合，我们表明，它可以在实践中紧密。此外，我们推导出一个可识别的界限，这涉及到对手假设在差分隐私以前的工作成员推断对手。我们制定了这种差分隐私对手的实现，允许数据科学家审计模型训练和计算经验可识别性得分和经验$(ε,δ)$。
2021-07-20 cs.CR cs.LG
Impact of Privacy Parameters on Deep Learning Models for Image Classification
University of Georgia（佐治亚大学）
本研究针对CIFAR-10数据集构建差分隐私图像分类模型，实现5种深度学习模型与3种监督分类器并测试不同参数下的性能，最终EfficientNet取得59.63%的最优测试准确率，明确了隐私参数对模型效果的影响。
2024-12-09 cs.CR cs.LG
A Novel Privacy-Preserving Deep Learning Scheme without Using Cryptography Component
National Tsing Hua University（国立清华大学）
近年来，使用深度神经网络（DNN）的深度学习在许多领域发挥着重要作用。具有安全训练/推理方案的安全神经网络模型对于许多应用是必不可少的。为了完成这样的任务，通常需要实体之一（客户或服务提供商）向另一个实体提供私有信息（客户数据或模型）。如果没有一个安全的计划，以及服务提供者与客户之间的相互信任，这将是一个不可能完成的任务。在本文中，我们提出了一种新的隐私保护深度学习模型和一个安全的训练/推理方案，以保护神经网络应用中的输入，输出和模型。我们利用深层神经网络的固有属性来设计安全机制，而不使用任何复杂的密码组件。安全性分析表明，我们提出的方案是安全的，实验结果也表明，我们的方法是非常有效的，适合于实际应用。
2020-12-09 cs.CR cs.LG
A generic framework for privacy preserving deep learning
Imperial College London（帝国理工学院）；DeepMind（深度思维）；University of Oxford（牛津大学）；Case Western Reserve University（凯斯西储大学）
我们详细介绍了一个用于隐私保护的新框架深度学习并讨论了其资产。该框架重视数据的所有权和安全处理，并引入了基于命令链和张量的有价值的表示。这种抽象允许实现复杂的隐私保护结构，如联邦学习，安全多方计算和差分隐私，同时仍然向最终用户公开熟悉的深度学习API。我们报告了波士顿住房和皮马印第安人糖尿病数据集的早期结果。虽然除了差分隐私之外的隐私特征不影响预测准确性，但是框架的当前实现引入了显著的性能开销，这将在开发的稍后阶段解决。我们相信这项工作是一个重要的里程碑，为隐私保护深度学习引入了第一个可靠的通用框架。
2018-11-13 cs.CR cs.LG stat.ML
Comparison of Privacy-Preserving Distributed Deep Learning Methods in Healthcare
DeepTek Inc（DeepTek公司）；Singapore Bioimaging Consortium - A*Star（新加坡生物成像联盟——新加坡科技研究局）
在本文中，我们比较了三种隐私保护分布式学习技术：联邦学习，分裂学习和SplitFed。我们使用这些技术来开发用于从胸部X射线检测结核病的二进制分类模型，并在分类性能，通信和计算成本以及训练时间方面对其进行比较。我们提出了一种新的分布式学习架构SplitFedv3，在我们的实验中，它的性能优于分裂学习和SplitFedv2。我们还提出了交替小批量训练，这是一种用于分割学习的新训练技术，它比交替客户端训练（客户端轮流训练模型）性能更好。
2020-12-23 cs.CR cs.LG
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
A chaotic maps-based privacy-preserving distributed deep learning for incomplete and Non-IID datasets
Universidad Pablo de Olavide（巴勃罗·德·奥拉维德大学）；CUNEF Universidad（库内夫大学）；Universidad Autónoma de Chile（智利自治大学）
本研究提出一种安全的联邦学习方法，通过增加差分隐私或基于混沌的加密隐私层来解决non-IID数据挑战，实验证明该方法能提升深度神经网络在IID和non-IID数据下的平均性能。
2024-02-15 cs.CR cs.DC cs.LG
Privacy-Preserving Kickstarting Deep Reinforcement Learning with Privacy-Aware Learners
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Florida（佛罗里达大学）
启动深度强化学习算法促进了代理之间的师生关系，并允许表现良好的教师与学生分享演示，以加快学生的培训。然而，尽管已知的好处，演示可能包含有关教师的训练数据和现有的kickstarting方法不采取任何措施来保护它的敏感信息。因此，我们使用的框架差分隐私开发一个机制，安全地共享教师的演示与学生。该机制允许教师根据其消耗的隐私预算来决定其演示的准确性，从而授予教师对其数据隐私的完全控制。然后，我们为学生开发了一个启动的深度强化学习算法，该算法具有隐私意识，因为我们使用教师隐私机制的参数来校准其目标。该算法的隐私意识设计使得它可以启动学生的学习，尽管由隐私机制引起的扰动。从数值实验中，我们突出了三个实证结果：（i）该算法成功地加快了学生的学习，（ii）学生收敛到一个性能水平，这是不可能没有示范，和（iii）学生保持其增强的性能，即使在教师停止共享有用的演示，由于其隐私预算的限制。
2021-06-04 cs.AI cs.CR cs.LG
Attacks on Image Encryption Schemes for Privacy-Preserving Deep Neural Networks
隐私保护机器学习是一个活跃的研究领域，通常依赖于同态加密或安全多方计算等技术。最近，Tanaka和Sirichotedumrong、Kinoshita和Kiya提出了使用深度神经网络对图像执行机器学习的新加密技术。我们提出了新的选择明文和密文的攻击对这两个建议的图像加密方案，并证明了攻击的有效性的几个例子。
2020-04-29 cs.CR cs.CV cs.LG
Federated Deep Learning with Bayesian Privacy
WeBank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
联邦学习（FL）旨在通过协作学习模型而不在用户之间共享私有数据来保护数据隐私。对于具有数十亿模型参数的深度神经网络的联邦学习，现有的隐私保护解决方案不能令人满意。基于同态加密（HE）的方法提供安全的隐私保护，但是遭受极高的计算和通信开销，使得其在实践中几乎无用。具有差分隐私（DP）的深度学习被实现为以可管理的复杂度成本的实用学习算法。然而，DP是容易受到侵略性的贝叶斯恢复攻击，在文献中公开，并在这项工作的实验结果中证明。为了解决上述困惑，我们提出了一种新的贝叶斯隐私（BP）框架，使贝叶斯恢复攻击被制定为从观察到的公共信息重建私人数据的概率。具体地，所提出的BP框架通过Kullback-Leibler（KL）关于隐私数据的先验分布与基于暴露信息的恢复隐私数据的后验分布之间的分歧来准确地量化隐私损失。据我们所知，这种贝叶斯隐私分析是第一个提供安全的隐私保护能力对贝叶斯恢复攻击的理论依据。作为一个具体的用例，我们证明了一种使用私有护照层的新型联邦深度学习方法能够同时实现高模型性能，隐私保护能力和低计算复杂性。理论分析是根据信息泄漏的经验测量广泛实验了各种DNN网络的图像分类MNIST，CIFAR 10和CIFAR 100数据集。
2021-09-27 cs.AI cs.CR cs.LG
Tempered Sigmoid Activations for Deep Learning with Differential Privacy
Google Brain（谷歌大脑）；Apple（苹果公司）
由于学习有时涉及敏感数据，因此机器学习算法已被扩展为为训练数据提供隐私。在实践中，这主要是事后的想法，通过使用不同的优化器重新运行训练来获得隐私保护模型，但使用在非隐私保护设置中已经表现良好的模型架构。这种方法导致了不太理想的隐私/效用权衡，正如我们在这里所展示的。相反，我们建议从头开始明确选择模型架构进行隐私保护训练。为了在差分隐私的黄金标准下提供保证，必须尽可能严格地限制单个训练点如何影响模型更新。在本文中，我们首次观察到激活函数的选择对于限制隐私保护深度学习的敏感性至关重要。我们通过分析和实验证明了一个一般的有界激活函数家族，即回火S形函数，如何始终优于ReLU等无界激活函数。使用这种范式，我们在MNIST、FashionMNIST和CIFAR 10上实现了新的最先进的准确性，而无需对学习过程基础或差分隐私分析进行任何修改。
2020-07-28 cs.CR cs.LG stat.ML
Deep Learning with Differential Privacy
Google（谷歌）；OpenAI（开放人工智能研究中心）
基于神经网络的机器学习技术在广泛的领域中取得了显著的成果。通常，模型的训练需要大型的代表性数据集，这些数据集可能是众包的，并且包含敏感信息。模型不应该暴露这些数据集中的私有信息。为了实现这一目标，我们开发了新的学习算法技术，并在差分隐私的框架内对隐私成本进行了精细的分析。我们的实现和实验表明，我们可以训练深度神经网络与非凸目标，在适度的隐私预算，并在软件复杂性，训练效率和模型质量的可控成本。
2016-10-24 cs.CR cs.LG stat.ML
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
DPNAS: Neural Architecture Search for Deep Learning with Differential Privacy
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对有意义的差分隐私（DP）训练深度神经网络（DNN）保证严重降低模型效用。在本文中，我们证明了DNN的架构在私有深度学习的背景下对模型效用有重大影响，而其影响在以前的研究中基本上未被探索。鉴于这种缺失，我们提出了第一个框架，该框架采用神经架构搜索来自动设计私人深度学习的模型，称为DPNAS。为了将私有学习与架构搜索相结合，我们精心设计了一个新的搜索空间，并提出了一种DP感知的候选模型训练方法。我们经验证明所提出的框架的有效性。所搜索的模型DPNASNet实现了最先进的隐私/效用权衡，例如，对于$(ε, δ)=(3, 1\times10^{-5})$的隐私预算，我们的模型获得了$98.57\%$在MNIST上、$88.09\%$在FashionMNIST上和$68.33\%$在CIFAR-10上的测试准确度。此外，通过研究生成的架构，我们提供了设计私有学习友好的DNN的几个有趣的发现，这可以为具有差分隐私的深度学习模型设计提供新的思路。
2021-10-19 cs.AI cs.CR cs.LG
Privacy in Deep Learning: A Survey
University of California San Diego（加州大学圣地亚哥分校）；Massachusetts Institute of Technology（麻省理工学院）
深度学习在包括视觉、推荐系统、自然语言处理等在内的许多领域的不断发展，已经导致在生产系统中采用深度神经网络（DNN）。大型数据集的可用性和高计算能力是这些进步的主要贡献者。数据集通常是众包的，可能包含敏感信息。这造成了严重的隐私问题，因为这些数据可能会被滥用或通过各种漏洞泄露。即使云提供商和通信链路是可信的，仍然存在推理攻击的威胁，攻击者可以推测用于训练的数据的属性，或者找到底层模型架构和参数。在本次调查中，我们回顾了深度学习带来的隐私问题，以及为解决这些问题而引入的缓解技术。我们还表明，在文献中有一个差距，关于测试时推理隐私，并提出了未来可能的研究方向。
2020-11-07 cs.CR cs.LG stat.ML
Secure Deep Graph Generation with Link Differential Privacy
Emory University（埃默里大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Lehigh University（理海大学）
许多数据采掘和分析任务依赖于网络（图）的抽象来概括个体（节点）之间的关系结构。由于关系数据往往是敏感的，我们的目标是寻求有效的方法来生成实用程序保存，但隐私保护的结构化数据。在本文中，我们利用差分隐私（DP）框架制定和执行严格的隐私约束的深度图生成模型，重点是边缘DP，以保证个人链接的隐私。特别是，我们通过向基于链接重建的图生成模型的梯度注入适当的噪声来执行边缘DP，同时通过使用面向结构的图判别来改进结构学习来确保数据实用性。在两个真实网络数据集上的大量实验表明，我们提出的DPGGAN模型能够生成具有有效保留全局结构和严格保护个人链接隐私的图。
2021-05-01 cs.CR cs.LG cs.SI
Gradient Masking and the Underestimated Robustness Threats of Differential Privacy in Deep Learning
Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与集成安全研究所）
深度学习中的一个重要问题是神经网络（NN）的隐私和安全性。这两个方面长期以来一直被分开考虑。到目前为止，隐私增强训练如何影响NN的鲁棒性仍然知之甚少。本文通过实验评估了使用差分隐私（DP）（隐私保护的标准方法）进行训练对模型抵御各种对抗攻击的脆弱性的影响。结果表明，私有模型比非私有模型更不健壮，并且对抗性示例在DP模型之间的传递比非私有和私有模型之间的传递更好。此外，DP和非DP模型的详细分析表明其梯度之间存在显着差异。此外，这项工作是第一次观察到DP训练中参数的不利选择可能导致梯度掩蔽，从而导致错误的安全感。
2021-05-17 cs.AI cs.CR cs.LG
Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks
WeBank AI Lab（微众银行人工智能实验室）；University of Malaya（马来亚大学）；Hong Kong Univ. of Science and Tech.（香港科技大学）
本文研究了隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。首先，我们建议定量衡量模型的准确性和隐私损失所造成的重建，跟踪和成员攻击之间的权衡。其次，我们将重建攻击表述为求解一个噪声线性方程组，并证明了如果条件（2）不满足，则保证攻击被击败。第三，在理论分析的基础上，提出了一种新的秘密极化网络（SPN）来抵御隐私攻击，这对现有的PPDL方法提出了严峻的挑战。大量的实验表明，在数据隐私得到满意保护的情况下，与基线机制相比，模型准确性平均提高了5-20%。
2020-06-23 cs.CR cs.DC cs.LG
Accuracy-Privacy Trade-off in Deep Ensemble: A Membership Inference Perspective
University of California Davis（加州大学戴维斯分校）
本文实证揭示深度集成学习中准确率提升与成员推理攻击风险增加之间的权衡，分析其根因，并提出一种简单有效的防御方法以同时提升准确率与隐私保护。
2022-12-06 cs.AI cs.CR cs.LG
How Does a Deep Learning Model Architecture Impact Its Privacy? A Comprehensive Study of Privacy Attacks on CNNs and Transformers
University of Technology Sydney（悉尼科技大学）；Data 61；City University of Macau（澳门城市大学）
该研究对比CNN与Transformer的隐私脆弱性，发现Transformer更易受隐私攻击，明确激活层等微观设计及注意力模块对隐私性的影响，为隐私友好的模型架构设计提供参考。
2024-02-02 cs.AI cs.CR cs.LG
LSTM-TrajGAN: A Deep Learning Approach to Trajectory Privacy Protection
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
基于位置的服务的流行促成了个人层面轨迹数据的爆炸式增长，也引发了公众对隐私问题的担忧。在这项研究中，我们提出了一种新的LSTM-TrajGAN方法，这是一种端到端的深度学习模型，用于生成隐私保护的合成轨迹数据，用于数据共享和发布。我们设计了一个损失度量函数TrajLoss来衡量模型训练和优化的轨迹相似性损失。该模型在真实世界的语义轨迹数据集上的自动用户链接任务上进行评估。与其他常见的地理掩蔽方法相比，我们的模型可以更好地防止用户被重新识别，它也保留了必要的空间，时间和主题的真实轨迹数据的特征。该模型更好地平衡了轨迹隐私保护的有效性和空间和时间分析的效用，为GeoAI驱动的隐私保护提供了新的见解。
2020-06-14 cs.AI cs.CR cs.LG
Adaptive Laplace Mechanism: Differential Privacy Preservation in Deep Learning
New Jersey Institute of Technology（新泽西理工学院）；University of Arkansas（阿肯色大学）；University of Oregon（俄勒冈大学）
在本文中，我们专注于开发一种新的机制来保护深度神经网络中的差分隐私，使得：（1）隐私预算消耗完全独立于训练步骤的数量;（2）它能够根据每个特征对输出的贡献自适应地将噪声注入特征;（3）它可以应用于各种不同的深度神经网络。为了实现这一点，我们找到了一种方法来扰动神经元的仿射变换，以及深度神经网络中使用的损失函数。此外，我们的机制有意地将“更多的噪音”添加到与模型输出“不太相关”的特征中，反之亦然。我们的理论分析进一步推导出我们的机制的灵敏度和误差范围。在MNIST和CIFAR-10数据集上进行的严格实验表明，我们的机制非常有效，优于现有的解决方案。
2018-04-23 cs.CR cs.LG stat.ML
Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising
UMass Amherst（马萨诸塞大学阿默斯特分校）；National University of Singapore（新加坡国立大学）
深度学习模型会泄露大量关于其训练数据集的信息。先前的工作已经研究了通过向梯度添加DP噪声来保证差分隐私（DP）的训练模型。然而，这样的解决方案（特别是DPSGD）会导致训练模型的准确性大幅下降。在本文中，我们的目标是训练具有DP保证的深度学习模型，同时保持比以前更好的模型准确性。我们的关键技术是对梯度进行编码，将其映射到更小的向量空间，从而使我们能够获得不同噪声分布的DP保证。这使我们能够调查和选择噪声分布，以最好地保持目标隐私预算的模型准确性。我们还利用差分隐私的后处理特性，通过引入去噪的思想，进一步提高了训练模型的实用性，而不会降低其DP保证。我们表明，我们的机制优于国家的最先进的DPSGD，例如，对于相同的模型精度的$96.1\%$ MNIST，我们的技术结果在隐私界的$ε=3.2$相比，$ε=6$的DPSGD，这是一个显着的改进。
2020-07-22 cs.CR cs.LG stat.ML
Semi-supervised 3D Video Information Retrieval with Deep Neural Network and Bi-directional Dynamic-time Warping Algorithm
Northwestern University（西北大学）
本文提出一种半监督深度学习算法，结合卷积循环网络与双向动态时间规整，实现基于视觉内容的二维和三维视频检索，并在多个公开数据集上优于现有最先进模型。
2023-09-03 cs.CV cs.LG
Privacy-preserving Learning via Deep Net Pruning
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
本文试图回答神经网络剪枝是否可以作为一种工具来实现差分隐私而不会损失太多数据效用的问题。作为理解神经网络修剪和差分隐私之间关系的第一步，本文证明了修剪神经网络的给定层相当于在其隐藏层激活中添加一定量的差异隐私噪声。本文还提出了实验结果，以显示在一个简单的实际设置的理论发现和关键参数值的实际意义。这些结果表明，神经网络修剪可以是一个更有效的替代添加差分私有噪声的神经网络。
2020-03-04 cs.CR cs.LG stat.ML
Differentially Private Deep Q-Learning for Pattern Privacy Preservation in MEC Offloading
Northwest A&F University（西北农林科技大学）；Carnegie Mellon University（卡内基梅隆大学）；Singapore University of Technology and Design（新加坡科技设计大学）
移动边缘计算（MEC）是满足延迟敏感型物联网应用的服务质量（QoS）要求的一种有前途的范例。然而，攻击者可能会窃听卸载决定，推断边缘服务器（ES）的队列信息和用户的使用模式，从而引发模式隐私（PP）问题。因此，我们提出了一个卸载策略，联合最大限度地减少延迟，ES的能源消耗，和任务丢弃率，同时保持PP。首先，我们制定了一个马尔可夫决策过程（MDP）的动态计算卸载过程。接下来，我们开发了一种基于差分隐私的深度Q学习卸载（DP-DQO）算法来解决这个问题，同时通过将噪声注入到生成的卸载决策中来解决PP问题。这是通过用函数输出高斯过程机制修改深度Q网络（DQN）来实现的。我们提供了一个理论上的隐私保证和效用保证（学习误差界）的DP-DQO算法，最后，进行模拟，以评估我们提出的算法的性能，通过比较它与贪婪和基于DQN的算法。
2023-02-09 cs.CR cs.LG cs.NI
Security and Privacy Preserving Deep Learning
Indian Institute Of Information Technology Bhagalpur（巴加尔布尔印度信息技术学院）；Indian Institute of Technology Patna（巴特那印度理工学院）
大规模收集用户数据的商业公司一直是这一趋势的主要受益者，因为深度学习技术的成功与可用于训练的数据量成正比。深度学习所需的大量数据汇集存在明显的隐私问题。用户的个人，高度敏感的数据，如照片和录音，由收集它的公司无限期地保留。用户既不能删除它，也不能限制它的使用目的。因此，数据隐私一直是政府和公司非常关注的问题。这带来了一个非常有趣的挑战，因为一方面，我们正在进一步推动高质量的模型和可访问的数据，但另一方面，我们需要保护数据的安全，防止故意和意外的泄漏。数据越是个人化，就越受限制，这意味着一些最重要的社会问题无法使用机器学习来解决，因为研究人员无法获得适当的训练数据。但是，通过学习如何保护隐私的机器学习，我们可以在解决许多社会问题（如治疗疾病等）方面发挥巨大作用。深度神经网络容易受到各种推理攻击，因为它们记住了有关其训练数据的信息。在本章中，我们将介绍差分隐私，它确保不同类型的统计分析不会损害隐私和联邦学习，在我们无法访问的数据上训练机器学习模型。
2020-06-29 cs.AI cs.CR cs.LG
Plankton-FL: Exploration of Federated Learning for Privacy-Preserving Training of Deep Neural Networks for Phytoplankton Classification
University of Waterloo（滑铁卢大学）；University of Montreal（蒙特利尔大学）；Blue Lion Labs（蓝狮实验室）
为浮游植物监测创建高性能可推广的深度神经网络需要利用来自全球不同水源的大规模数据。培训这类网络的一个主要挑战在于数据隐私，在不同设施收集的数据往往被限制转移到一个集中的位置。克服这一挑战的一种有希望的方法是联邦学习，其中在站点级别对本地数据进行训练，并且仅通过网络交换模型参数以生成全局模型。在这项研究中，我们探讨了利用联邦学习进行浮游植物分类的深度神经网络的隐私保护训练的可行性。更具体地说，我们模拟了两种不同的联邦学习框架，联邦学习（FL）和互斥FL（ME-FL），并将其性能与传统的集中式学习（CL）框架进行了比较。本研究的实验结果证明了联邦学习在浮游植物监测中的可行性和潜力。
2022-12-18 cs.CR cs.CV cs.LG
Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research（微软研究院）
差分隐私（DP）是隐私保护深度学习的主要方法。因此，有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP，依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而，现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数，称为隐私预算。这阻止了训练算法的设计，即在运行中调整隐私预算，或者提前终止以减少总的隐私损失。或者，现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限，常数太大，是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题，证明了一个简单的合成定理，该定理具有较小的常数，使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用：在线调整噪声或批量大小，以在固定的总隐私损失内提高模型的准确性，以及在微调模型时提前停止，以减少总隐私损失。
2021-06-04 cs.LG stat.ML
Switching Isotropic and Directional Exploration with Parameter Space Noise in Deep Reinforcement Learning
The University of Tokyo（东京大学）
提出了一种基于参数空间噪声的深度强化学习探索方法。最近的研究已经实验表明，参数空间噪声比常用的动作空间噪声导致更好的探索。以往的方法设计了一种更新噪声分布的对角协方差阵的方法，并且没有考虑噪声向量的方向及其相关性。此外，需要快速更新噪声分布，以促进政策学习。我们提出了一种方法，变形的噪声分布，根据累积的回报和噪声，导致的回报。此外，该方法在参数空间中切换各向同性探索和定向探索，获得的回报。我们在OpenAI Gym连续环境和具有稀疏奖励的修改环境中验证了我们的探索策略。所提出的方法实现的结果是有竞争力的基线任务与以前的方法。此外，我们的方法表现出更好的性能在稀疏奖励环境中的探索与切换策略。
2018-09-27 cs.LG stat.ML
DarKnight: An Accelerated Framework for Privacy and Integrity Preserving Deep Learning Using Trusted Hardware
University of Southern California（南加州大学）
随着机器学习进入不同的应用领域，隐私和安全相关的问题越来越多。数据持有者希望利用私有数据进行训练或推断，同时利用托管在云中的加速器（如GPU）。云系统容易受到攻击者的攻击，这些攻击者会损害数据的隐私性和计算的完整性。要应对这样的挑战，需要将理论上的隐私算法与硬件安全功能统一起来。DarKnight是一个大型DNN训练框架，同时保护输入隐私和计算完整性。DarKnight依赖于可信执行环境（TEE）和加速器之间的协作执行，其中TEE提供隐私和完整性验证，而加速器执行大部分线性代数计算以优化性能。特别是，DarKnight使用基于矩阵掩码的自定义数据编码策略在TEE中创建输入混淆。然后将混淆的数据卸载到GPU以进行快速线性代数计算。DarKnight的数据混淆策略在云服务器中提供可证明的数据隐私和计算完整性。虽然以前的作品解决了推理隐私，不能用于训练，但DarKnight的编码方案旨在支持训练和推理。
2022-06-30 cs.AR cs.CR cs.LG
Disguised-Nets: Image Disguising for Privacy-preserving Outsourced Deep Learning
Wright State University（莱特州立大学）
深度学习模型开发人员经常使用云GPU资源来试验需要昂贵设置的大数据和模型。然而，这种做法引起了隐私问题。攻击者可能对以下内容感兴趣：1）训练图像中编码的个人身份信息或对象，以及2）使用敏感数据训练的模型，以发起基于模型的攻击。由于大量的训练数据和昂贵的学习过程，从加密数据中学习深度神经网络（DNN）仍然是不切实际的。最近的一些研究试图提供有效、实用的解决方案来保护外包深度学习中的数据隐私。然而，我们发现它们在某些攻击下是脆弱的。在本文中，我们具体识别了两种类型的对外包深度学习的独特攻击：1）对训练数据的视觉重新识别攻击，以及2）对学习模型的类成员攻击，这可能会破坏现有的隐私保护解决方案。我们开发了一种图像伪装方法来解决这些攻击，并设计了一套方法来评估外包深度学习隐私保护解决方案的攻击弹性水平。实验结果表明，我们的图像伪装机制可以提供高水平的保护，防止这两种攻击，同时仍然生成高质量的DNN模型的图像分类。
2019-04-19 cs.CR cs.CV cs.LG
Distributed Layer-Partitioned Training for Privacy-Preserved Deep Learning
HTC Research（宏达电研究）
深度学习技术已经在许多领域取得了显著的成果。通常，训练深度学习模型需要大型数据集，这可能需要将敏感信息上传到云端以加速训练。为了充分保护敏感信息，我们提出了分布式分层分区训练和逐步激活函数，用于隐私保护深度学习。实验结果证明了该方法的简单性和有效性。
2019-04-12 cs.LG stat.ML
Privacy Partitioning: Protecting User Data During the Deep Learning Inference Phase
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
我们提出了一种基于二分拓扑威胁建模和交互式对抗深度网络构建的深度学习推理阶段的数据保护实用方法。我们将这种方法称为\emph{Privacy Partitioning}。在提出的框架中，我们拆分了机器学习模型，并将几层部署到用户的本地设备中，其余层部署到远程服务器中。我们提出了一种方法来保护用户的数据在推理阶段，同时仍然实现良好的分类精度。我们对三个计算机视觉任务的基准数据集进行了实验评估。实验结果表明，这种方法可以用来显着削弱攻击者访问最先进的深度网络的中间状态来学习网络的隐私敏感输入的能力。例如，我们证明了我们的方法可以防止攻击者从人脸图像数据集中推断出性别等私有属性，而不会牺牲原始机器学习任务（如人脸识别）的分类准确性。
2018-12-07 cs.CR cs.CV cs.LG
Security and Privacy Issues in Deep Learning
Seoul National University（首尔大学）；Ehwa University（梨花大学）
为了促进安全和私有的人工智能（SPAI），我们回顾了DNN的模型安全和数据隐私的研究。模型安全性允许系统按预期运行，而不受可能损害其完整性和效率的恶意外部影响。安全攻击可以根据它们发生的时间来划分：如果攻击发生在训练期间，则称为中毒攻击，如果它发生在推理期间（训练后），则称为逃避攻击。中毒攻击通过使用恶意示例破坏数据来破坏训练过程，而规避攻击使用对抗性示例来破坏整个分类过程。针对这种攻击提出的防御包括识别和删除恶意数据的技术，训练模型对这种数据不敏感，以及屏蔽模型的结构和参数以使攻击更难以实现。此外，模型训练中涉及的数据隐私也受到模型反演攻击等攻击的威胁，或者受到AI应用程序的不诚实服务提供商的威胁。为了维护数据隐私，已经提出了几种结合现有数据隐私技术的解决方案，包括差分隐私和现代密码技术。在本文中，我们描述了一些方法的概念，例如，同态加密，并回顾它们在深度学习模型中实现时的优势和挑战。
2021-03-10 cs.CR cs.LG stat.ML
Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks against Centralized and Federated Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；National University of Singapore（新加坡国立大学）
深度神经网络容易受到各种推理攻击，因为它们记住了有关其训练数据的信息。我们设计了白盒推理攻击来对深度学习模型进行全面的隐私分析。我们通过完全训练模型的参数以及训练过程中模型的参数更新来测量隐私泄漏。我们设计了集中式和联邦学习的推理算法，相对于被动和主动推理攻击者，并假设不同的对手先验知识。我们评估了针对深度学习算法的新型白盒成员推理攻击，以跟踪其训练数据记录。我们表明，一个简单的扩展已知的黑盒攻击的白盒设置（通过分析激活函数的输出）是无效的。因此，我们通过利用随机梯度下降算法的隐私漏洞来设计针对白盒设置的新算法，该算法用于训练深度神经网络。我们调查了深度学习模型可能泄露其训练数据信息的原因。然后，我们通过分析CIFAR数据集的最先进的预训练和公开可用的模型，证明即使是广义模型也很容易受到白盒成员推断攻击。我们还展示了在联邦学习环境中，对抗性参与者如何成功地对其他参与者进行主动成员推理攻击，即使全局模型达到了很高的预测精度。
2020-06-06 cs.CR cs.LG stat.ML
Backpropagation Clipping for Deep Learning with Differential Privacy
我们提出了反向传播裁剪，这是一种用于隐私保护深度学习的差分隐私随机梯度下降（DP-SGD）的新变体。我们的方法裁剪每个可训练层的输入（在向前传递期间）及其上游梯度（在向后传递期间），以确保层梯度的有界全局灵敏度;这种组合取代了现有DP-SGD变体中的梯度裁剪步骤。我们的方法很容易在现有的深度学习框架中实现。我们的实证评估的结果表明，反向传播裁剪提供了更高的准确性，在较低的值的隐私参数$ε$相比，以前的工作。我们使用$ε= 0.07$对MNIST的准确度达到98.7%，使用$ε= 3.64$对CIFAR-10的准确度达到74%。
2022-02-17 cs.LG
Robust Detection of Directional Adversarial Attacks in Deep Neural Networks for Radiological Imaging
AGH University of Kraków（克拉科夫AGH科技大学）；Center of Excellence in Artificial Intelligence（人工智能卓越中心）
针对放射成像DNN的定向对抗攻击，提出基于Sigmoid函数变化分析的检测框架，在三类医学数据集上实现99.8%的攻击识别准确率，性能优于现有防御机制，具备临床应用潜力。
2026-10-14 cs.CR cs.CV cs.LG
Recent Advances of Differential Privacy in Centralized Deep Learning: A Systematic Survey
Graz University of Technology (Austria)（格拉茨技术大学）；Know-Center GmbH (Austria)（Know-Center公司）；University of Graz (Austria)（格拉茨大学）
该综述系统性梳理了集中式深度学习中差分隐私的研究现状，分析了现有进展与开放问题，涵盖模型审计、隐私效用权衡等多方向内容，并展望了未来发展。
2023-09-28 cs.LG
