Robust or Private? Adversarial Training Makes Models More Vulnerable to Privacy Attacks
Lab41, In-Q-Tel（Lab41，In-Q-Tel）
引入对抗性训练是为了提高深度学习模型对对抗攻击的鲁棒性。这种训练方法提高了对对抗攻击的鲁棒性，但增加了模型对隐私攻击的脆弱性。在这项工作中，我们演示了如何模型反演攻击，直接从模型中提取训练数据，以前被认为是棘手的成为可行的攻击时，一个强大的训练模型。传统训练模型的输入空间由对抗性示例主导--强烈激活某个类但缺乏语义意义的数据点--这使得很难成功进行模型反演攻击。我们使用CIFAR-10数据集在三种不同的模型反演攻击下证明了这种效果，香草梯度下降方法，不同尺度的基于梯度的方法，以及基于生成对抗网络的攻击。
2019-06-15 cs.LG stat.ML
Privacy-Preserving Matrix Factorization for Recommendation Systems using Gaussian Mechanism
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出基于差分隐私框架与矩阵分解的隐私保护推荐系统，利用高斯机制输出扰动和 Rényi 差分隐私，在真实数据上验证了严格隐私下仍可保持良好推荐效用。
2023-04-11 cs.CR cs.IR cs.LG
Certified Robustness to Adversarial Examples with Differential Privacy
Columbia University（哥伦比亚大学）
欺骗机器学习模型，特别是深度神经网络的对抗性示例一直是人们强烈研究的主题，攻击和防御都在紧密的来回发展。过去的大多数防御都是尽力而为的，并且已经被证明容易受到复杂的攻击。最近引入了一组经过认证的防御，它们提供了对范数有界攻击的鲁棒性保证，但它们要么不能扩展到大型数据集，要么在它们可以支持的模型类型方面受到限制。本文提出了第一个认证的防御，既可以扩展到大型网络和数据集（例如Google的Inception网络ImageNet），又可以广泛应用于任意模型类型。我们的防御称为PixelDP，基于对抗性示例的鲁棒性和差分隐私之间的新型联系，差分隐私是一种受密码学启发的形式主义，为防御提供了严格，通用和灵活的基础。
2019-05-29 cs.AI cs.CR cs.LG
PPGAN: Privacy-preserving Generative Adversarial Network
Heilongjiang University（黑龙江大学）；Southern University of Science and Technology（南方科技大学）
生成对抗网络（GAN）及其变体作为数据生成模型的完美代表，为研究人员提供了大量高质量的生成数据。它们说明了一个有希望的方向，研究有限的数据可用性。当GAN从数据集中学习语义丰富的数据分布时，生成的分布的密度倾向于集中在训练数据上。由于深度神经网络的梯度参数包含了训练样本的数据分布，它们可以很容易地记住训练样本。当GAN应用于私人或敏感数据时，例如，患者的医疗记录，因为私人信息可能会泄漏。为了解决这个问题，我们提出了一个隐私保护生成对抗网络（PPGAN）模型，在该模型中，我们通过在模型学习过程中向梯度中添加精心设计的噪声来实现GANs中的差分隐私。此外，在PPGAN训练过程中引入了Moments Accountant策略，通过控制隐私丢失来提高模型的稳定性和兼容性。并给出了差分隐私策略的数学证明。通过对基准数据集的广泛案例研究，我们证明了PPGAN可以生成高质量的合成数据，同时在合理的隐私预算下保留所需的数据。
2019-10-04 cs.LG stat.ML
NetFense: Adversarial Defenses against Privacy Attacks on Neural Networks for Graph Data
National Cheng Kung University（成功大学）
保护图数据节点隐私和攻击图神经网络（GNNs）的最新进展受到了广泛关注。眼睛还没有把这两个基本任务结合起来。想象一下，对手可以利用强大的GNN来推断社交网络中用户的私人标签。我们如何在对抗这种隐私攻击的同时保持扰动图的效用？在这项工作中，我们提出了一个新的研究任务，对抗性防御基于GNN的隐私攻击，并提出了一个基于图扰动的方法，NetFense，以实现这一目标。NetFense可以同时保持图形数据的不可访问性（即，在图结构上具有有限的改变），保持目标标签分类的预测置信度（即，保持数据效用），并降低私有标签分类的预测置信度（即，保护节点的隐私）。使用三个真实图数据对单目标和多目标扰动进行的实验表明，NetFense的扰动图可以有效地保持数据效用（即，模型不确定性）并显著降低私有标签分类的预测置信度（即，隐私保护）。广泛的研究也带来了一些见解，如NetFense的灵活性，在数据不受干扰的情况下保留本地邻域，以及对高度节点更好的隐私保护。
2021-06-22 cs.CR cs.LG cs.SI
Semantics-Preserving Adversarial Training
Seoul National University（首尔国立大学）；Seoul, Korea（韩国首尔（注意：根据要求，地址信息不应提取为机构，此处可能是误判，正确机构应为Seoul National University相关部分））
对抗训练是一种防御技术，通过在训练数据中包含对抗示例来提高深度神经网络（DNN）的对抗鲁棒性。在本文中，我们发现了一个被忽视的对抗性训练问题，因为这些对抗性示例通常具有与原始数据不同的语义，从而在模型中引入了意想不到的偏差。我们假设，这种非语义保持（和结果模糊）的对抗性数据损害目标模型的鲁棒性。为了减轻对抗性示例的这种意外语义变化，我们提出了语义保持对抗性训练（SPAT），它鼓励在训练阶段生成对抗性示例时对所有类之间共享的像素进行扰动。实验结果表明，SPAT提高了对抗鲁棒性，并在CIFAR-10和CIFAR-100中取得了最好的效果。
2020-09-23 cs.CV cs.LG stat.ML
Better accuracy with quantified privacy: representations learned via reconstructive adversarial network
Rice University（莱斯大学）；Xidian University（西安电子科技大学）
机器学习，特别是深度学习的巨大成功，为移动用户提供了各种基于云的服务。此类服务要求最终用户向服务提供商发送数据，这对最终用户隐私提出了严重挑战。为了解决这个问题，以前的作品要么向数据中添加噪声，要么发送从原始数据中提取的特征。他们努力在实用性和隐私性之间取得平衡，因为增加的噪声会降低实用性，而原始数据可以从提取的特征中重建。这项工作代表了与先前工作的有条不紊的背离：我们通过利用对抗性学习来找到一个更甜蜜的权衡，从而在隐私和另一种实用性之间取得平衡。我们设计了一个编码器，对重建误差（隐私的措施），adversarially由解码器，和推理精度（实用程序的措施）的分类器进行优化。其结果是RAN，这是一种新型的深度模型，具有新的训练算法，可以自动提取既私密又有用的分类特征。事实证明，相反地迫使提取的特征仅传达分类所需的预期信息会导致隐式正则化，从而导致比完全忽略隐私的原始模型更好的分类精度。因此，我们实现了更好的隐私和更好的实用性，这在机器学习中是一个令人惊讶的可能性！我们对五个流行的数据集进行了广泛的实验，超过四个训练方案，并证明了RAN与现有的替代品相比的优越性。
2019-01-25 cs.CR cs.LG stat.ML
DeMem: Privacy-Enhanced Robust Adversarial Learning via De-Memorization
Department of Electronic Systems, Aalborg University, Copenhagen, Denmark（电子系统系，奥胡斯大学，哥本哈根，丹麦）
DeMem通过选择性对高风险样本去记忆化，在保持对抗鲁棒性的同时显著降低隐私泄露，并可无缝集成到多种对抗训练方法中。
2025-08-22 cs.CR cs.LG
Interpretable Machine Learning for Privacy-Preserving Pervasive Systems
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
我们与普适系统的日常交互会生成跟踪，这些跟踪捕获人类行为的各个方面，并使机器学习算法能够提取有关用户的潜在信息。在本文中，我们提出了一个机器学习可解释性框架，使用户能够理解这些生成的痕迹如何侵犯他们的隐私。
2019-06-04 cs.CR cs.LG stat.ML
Generative Adversarial Privacy
Arizona State University（亚利桑那州立大学）；Stanford University（斯坦福大学）
我们提出了一个数据驱动的框架，称为生成对抗隐私（GAP）。受生成对抗网络（GANs）最新进展的启发，GAP允许数据持有者直接从数据中学习私有化机制。在GAP下，找到最佳的隐私机制制定为私有化者和对手之间的约束极大极小博弈。我们表明，适当选择的对抗性损失函数，GAP提供隐私保证，对强大的信息理论的对手。我们还评估了GAP的性能上的GENKI人脸数据库。
2019-06-26 cs.CR cs.GT cs.IT
Adversarial Privacy-preserving Filter
Beijing Jiaotong University（北京交通大学）；Peng Cheng Laboratory（鹏城实验室）；Beijing University of Technology（北京工业大学）；Beijing Artificial Intelligence Institute（北京人工智能研究院）
虽然人脸识别在实际应用中被广泛采用，但人脸识别已经就人脸图像的恶意使用和潜在的隐私问题进行了严格的讨论，例如，欺骗支付系统和造成个人破坏。在线照片共享服务无意中成为恶意爬虫和人脸识别应用程序的主要存储库。本文提出了一种基于端云协同的对抗攻击解决方案，以满足隐私、实用性和不可访问性的要求。具体而言，解决方案由三个模块组成：（1）图像特定梯度生成，以使用压缩探头模型在用户端提取图像特定梯度;（2）对抗性梯度转移，以微调服务器云中的图像特定梯度;以及（3）通用对抗性扰动增强，以附加图像无关扰动来导出最终的对抗性噪声。在三个数据集上的大量实验验证了所提出的解决方案的有效性和效率。我们希望这个端云协同攻击框架能够从用户的角度为解决在线多媒体共享的隐私保护问题提供参考。
2020-08-04 cs.CR cs.LG
Discriminative Adversarial Privacy: Balancing Accuracy and Membership Privacy in Neural Networks
Politecnico di Milano（米兰理工大学）
本文提出判别式对抗隐私（DAP），通过对抗训练和新损失函数同时降低预测误差并最大化MIA误差，并以AOP指标评估其在准确率、训练速度与成员隐私间的权衡。
2023-06-05 cs.CR cs.LG
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University（杜克大学）
对抗训练（AT）对于获得对对抗攻击鲁棒的深度神经网络至关重要，但最近的研究发现，它也可能使模型更容易受到隐私攻击。在这项工作中，我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击，实际上适用于隐私敏感的联邦学习（FL）系统。使用我们的方法，攻击者可以利用在FL系统中的AT模型，以准确地重建用户的私人训练图像，即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
Privacy-Preserving Adversarial Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Boston University（波士顿大学）
我们提出了一个数据驱动的框架，优化隐私保护的数据发布机制，以达到信息理论上的最佳折衷之间的失真最小化的有用数据和隐藏特定的敏感信息。我们的方法采用对抗训练的神经网络实现随机机制，并执行变分近似的互信息隐私。我们通过对离散和连续合成数据以及MNIST手写数字数据集的概念验证实验来验证我们的隐私保护对抗网络（PPAN）框架。对于合成数据，我们的模型无关的PPAN方法实现了非常接近于从模型知识中解析得出的最佳权衡的权衡点。在MNIST数据的实验中，我们直观地展示了最小化像素级失真与隐藏写入数字之间的权衡。
2019-06-12 cs.CR cs.GT cs.IT
Privacy-Aware Human Mobility Prediction via Adversarial Networks
Imperial College London（帝国理工学院）；University of Washington（华盛顿大学）
随着各种移动设备和基于位置的服务在不同的智慧城市场景和应用中越来越多地发展，由于地理定位的数据汇集和共享，出现了许多意想不到的隐私泄露。虽然这些地理定位数据可以提供对人类移动模式的丰富理解并解决各种社会研究问题，但对用户敏感信息的隐私问题限制了其利用。在本文中，我们设计并实现了一种新的基于LSTM的对抗机制与表示学习，以达到一个隐私保护的功能表示的原始地理定位数据（移动数据）的共享目的。我们量化了移动数据集在轨迹重建风险、用户重新识别风险和移动可预测性方面的效用-隐私权衡。我们提出的架构报告的帕累托前沿分析，使用户能够评估这种权衡作为一个函数的拉格朗日损失重量参数。在四个有代表性的移动数据集上的广泛比较结果表明了我们提出的架构的优越性和所提出的隐私保护特征提取器的效率。我们的研究结果表明，通过探索帕累托最优设置，我们可以同时增加隐私（45%）和效用（32%）。
2022-01-19 cs.CR cs.LG
Privacy Adversarial Network: Representation Learning for Mobile Data Privacy
Xidian University（西安电子科技大学）；Rice University（莱斯大学）
机器学习的显着成功为移动用户培育了越来越多的基于云的智能服务。这种服务要求用户向提供商发送数据，例如图像、语音和视频，这对用户隐私提出了严重挑战。为了解决这个问题，现有技术要么混淆数据，例如添加噪声并删除身份信息，要么发送从数据中提取的表示，例如匿名特征。他们努力在服务效用和数据隐私之间取得平衡，因为混淆的数据降低了效用，并且提取的表示仍然可能揭示敏感信息。这项工作在方法上与之前的工作不同：我们利用对抗学习来更好地平衡隐私和实用性。我们设计了一个\textit{representation encoder}，它生成的特征表示，以优化对敏感信息的隐私泄露风险（隐私的措施）的\textit{privacy adversaries}，并同时优化与任务推理的准确性（效用的措施）的\textit{utility discriminator}。其结果是隐私对抗网络（\systemname），这是一种具有新训练算法的新型深度模型，可以自动从原始数据中学习表示。直觉上，PAN对抗性地迫使提取的表示仅传达目标任务所需的信息。令人惊讶的是，这构成了一个隐式正则化，实际上提高了任务的准确性。因此，PAN实现了更好的实用性和更好的隐私在同一时间！我们报告了广泛的实验6个流行的数据集，并证明了优越性的\systemname相比，在以前的工作中报道的替代方法。
2020-06-08 cs.AI cs.CR cs.LG
Privacy-Preserving 3-Layer Neural Network Training
针对仅同态加密设置下的神经网络隐私保护训练问题，结合并扩展现有技术，实现了该设置下回归与分类任务的三层神经网络训练。
2025-04-15 cs.CR cs.LG
Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks
WeBank AI Lab（微众银行人工智能实验室）；University of Malaya（马来亚大学）；Hong Kong Univ. of Science and Tech.（香港科技大学）
本文研究了隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。首先，我们建议定量衡量模型的准确性和隐私损失所造成的重建，跟踪和成员攻击之间的权衡。其次，我们将重建攻击表述为求解一个噪声线性方程组，并证明了如果条件（2）不满足，则保证攻击被击败。第三，在理论分析的基础上，提出了一种新的秘密极化网络（SPN）来抵御隐私攻击，这对现有的PPDL方法提出了严峻的挑战。大量的实验表明，在数据隐私得到满意保护的情况下，与基线机制相比，模型准确性平均提高了5-20%。
2020-06-23 cs.CR cs.DC cs.LG
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；College of Mathematics and Computer Science, Fuzhou University（福州大学数学与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）
移动众测是一种新兴的感知数据汇集模式，具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外，现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护，而不是数据处理的隐私保护。为了解决MCS面临的问题，本文将联邦学习（FL）融入MCS，提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说，为了保护隐私，参与者通过联邦学习在本地处理传感数据，只上传加密的训练模型。特别地，提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销，设计了丢弃和重传策略。此外，设计了一种隐私保护的发布定价激励机制，试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明，所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私，是可行和有效的。
2021-02-20 cs.CR cs.LG
Adversarial Sample-Based Approach for Tighter Privacy Auditing in Final Model-Only Scenarios
Hongik University（弘益大学）；Yonsei University（延世大学）
针对最终模型仅场景下DP-SGD隐私审计下界松散的问题，提出基于损失的输入空间对抗样本审计方法，无需额外假设即可获得更紧致的经验下界，在MNIST上以ε=10.0达到4.914的下界，优于基线4.385。
2025-02-24 cs.CR cs.LG
Privacy Preserving Machine Learning: Threats and Solutions
Iowa State University（爱荷华州立大学）；University of South Florida（南佛罗里达大学）
为了在当前的机器学习系统中充分解决隐私问题，必须弥合机器学习社区和隐私社区之间的知识差距。本文旨在介绍这两个领域的交叉点，特别强调用于保护数据的技术。
2018-03-27 cs.CR cs.LG
Representation Learning for Audio Privacy Preservation using Source Separation and Robust Adversarial Learning
Tampere University（坦佩雷大学）；University of Helsinki（赫尔辛基大学）；Nokia Tech（诺基亚技术公司）
本研究提出整合源分离与对抗表示学习来学习音频潜在表示，防止区分语音与非语音，从而在保持声学监测性能的同时显著提升语音隐私保护效果。
2023-08-09 cs.CR cs.LG cs.SD
Bounding the Invertibility of Privacy-preserving Instance Encoding using Fisher Information
Pennsylvania State University（宾夕法尼亚州立大学）；Meta AI；Georgia Institute of Technology（佐治亚理工学院）；Cornell University（康奈尔大学）
本文提出基于Fisher信息的理论化隐私度量，用于界定隐私保护实例编码的可逆性，兼具直观性与实用性，并在理论与实证层面验证其有效性。
2023-05-06 cs.CR cs.LG
PCAL: A Privacy-preserving Intelligent Credit Risk Modeling Framework Based on Adversarial Learning
信用风险建模已经渗透到我们的日常生活中。大多数银行和金融公司使用这种技术来模拟客户的可信度。虽然机器学习越来越多地用于这一领域，但由此产生的大规模用户私人信息收集重新激发了隐私辩论，考虑到每年由未经授权的黑客造成的数十起数据泄露事件，以及（可能更多）授权方的信息误用/滥用。为了解决这些关键问题，本文提出了一个基于对抗学习的隐私保护信用风险建模框架（PCAL）。PCAL旨在通过（迭代）权衡隐私风险损失和面向实用性的损失，掩盖原始数据集内的私人信息，同时保留目标预测任务性能的重要实用信息。在实用性和隐私保护方面，将PCAL与现成的选项进行比较。实验结果表明，PCAL可以从用户数据中学习到一种有效的、无隐私的表示方法，为信用风险分析中隐私保护的机器学习提供了坚实的基础。
2020-10-06 cs.CR cs.CV cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University（罗格斯大学）；Duke University（杜克大学）；University of California, Irvine（加州大学欧文分校）
本文提出融合联邦学习与差分隐私的广告个性化框架，通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术，在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
Privacy-Preserving Generative Models: A Comprehensive Survey
De Montfort University（德蒙福特大学）；University of Basel（巴塞尔大学）
本文通过分析100篇文献，系统综述了隐私保护生成模型，提出GANs和VAEs的隐私与效用指标新分类体系，并指出当前挑战与未来研究方向。
2025-02-05 cs.CR cs.LG
PrivacyNet: Semi-Adversarial Networks for Multi-attribute Face Privacy
Michigan State University（密歇根州立大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
最近的研究已经建立了从个人的面部图像中以高精度推断诸如年龄、性别和种族等软生物特征属性的可能性。然而，这引起了隐私问题，特别是当为生物识别目的收集的面部图像在未经个人同意的情况下用于属性分析时。为了解决这个问题，我们开发了一种技术，通过图像扰动方法赋予软生物特征隐私的人脸图像。图像扰动是使用基于GAN的半对抗网络（SAN）（称为PrivacyNet）进行的，该网络修改输入面部图像，使其可以被面部匹配器用于匹配目的，但不能被属性分类器可靠地使用。此外，PrivacyNet允许人选择必须在输入面部图像中模糊的特定属性（例如，年龄和种族），同时允许提取其他类型的属性（例如，性别）。使用多个人脸匹配器，多个年龄/性别/种族分类器和多个人脸数据集的广泛实验证明了所提出的多属性隐私增强方法在多个人脸和属性分类器上的通用性。
2021-03-14 cs.CR cs.CV cs.LG
Finding Solutions to Generative Adversarial Privacy
Stanford University（斯坦福大学）
我们提出了解决线性和卷积神经网络（CNN）对手的生成对抗隐私设置引起的最大最小问题的算法。在线性对手设置，我们提出了一个贪心算法的私有化，表现更好的情况下，增加的数量接近最优解。我们还提供了对该算法的分析，以表明它不仅首先删除了与私有标签最相关的特征，而且还保留了与私有标签相关的特征充分独立的公共标签的预测准确性。在CNN对手设置，我们提出了一种方法，隐藏选定的信息从对手，同时保留其他通过交替优化私有化和对手的目标，使用神经网络反向传播。我们的实验表明，我们的方法成功地对一个固定的对手。
2018-10-04 cs.LG stat.ML
A Critical Overview of Privacy-Preserving Approaches for Collaborative Forecasting
INESC TEC（葡萄牙机电工程与计算机科学研究所）；Faculty of Sciences of the University of Porto（波尔图大学理学院）；Technical University of Denmark（丹麦技术大学）
不同数据所有者之间的合作可能会提高预测质量-例如，通过利用地理上分布的时间序列中的时空依赖性。由于业务竞争因素和个人数据保护问题，所述数据所有者可能不愿意共享其数据，这增加了对协作隐私保护预测的兴趣。分析了向量自回归（VAR）模型在保证数据隐私方面的研究现状，揭示了现有方法的不足。本文还提供了数学证明和数值分析来评估现有的隐私保护方法，将它们分为三组：数据转换，安全多方计算和分解方法。分析表明，最先进的技术在保护数据隐私方面存在局限性，例如隐私和预测准确性之间的权衡，而迭代模型拟合过程中的原始数据，其中中间结果是共享的，可以在一些迭代后推断出来。
2020-10-10 cs.LG stat.ML
Can large language models be privacy preserving and fair medical coders?
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究院）
本研究探讨将差分隐私应用于大语言模型医疗编码任务的两大权衡，发现隐私保护会导致MIMIC-III数据集上前50标签微F1降超40%，且男女患者召回率差距扩大3%以上，为现实部署提供参考。
2024-12-07 cs.CR cs.LG
SoK: Privacy-Preserving Collaborative Tree-based Model Learning
Laboratory for Data Security -- EPFL（数据安全实验室 -- 洛桑联邦理工学院）
基于树的模型因其准确性、可解释性和简单性而成为当今数据采掘最有效的机器学习技术之一。最近对更多数据和隐私保护的正交需求要求协作隐私保护解决方案。在这项工作中，我们调查了文献的分布式和隐私保护训练的基于树的模型，我们系统化的知识的基础上的四个轴：学习算法，协作模型，保护机制，和威胁模型。我们用它来识别这些作品的优点和局限性，并首次提供了一个框架，分析分布式基于树的模型学习中发生的信息泄漏。
2021-06-18 cs.CR cs.LG
Understanding Compressive Adversarial Privacy
Stanford University（斯坦福大学）
本文提出了一种压缩对抗隐私框架，通过凸优化在数据隐私和效用之间取得平衡，并通过实证应用展示了该框架在保护敏感信息方面的有效性。
2018-10-02 cs.CY cs.LG cs.SY
FedXGBoost: Privacy-Preserving XGBoost for Federated Learning
Technical University of Munich（慕尼黑工业大学）；Bytedance Inc.（字节跳动公司）；Massachusetts Institute of Technology（麻省理工学院）
联邦学习是一种分布式机器学习框架，它支持多方协作训练，同时确保数据隐私。XGBoost是最先进的树提升框架，由于传统隐私保护方法的高成本，XGBoost对联邦学习的实际适应仍然有限。为了解决这个问题，我们提出了两种具有隐私保证的联邦XGBoost变体：FedXGBoost-SMM和FedXGBoost-LDP。我们的第一个协议FedXGBoost-SMM部署了增强的安全矩阵乘法方法，以无损的准确性和较低的开销比基于防御的技术来保护隐私。第二个协议FedXGBoost-LDP是独立开发的，它是用噪声扰动为本地差分隐私设计的，并在真实世界和合成数据集上进行了经验评估。
2021-08-12 cs.CR cs.LG
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
Subverting Privacy-Preserving GANs: Hiding Secrets in Sanitized Images
NYU Tandon School of Engineering（纽约大学坦登工程学院）
前所未有的数据汇集和共享加剧了对隐私的担忧，并导致人们对隐私保护工具的兴趣日益增加，这些工具可以从图像中删除敏感属性，同时为其他任务保留有用的信息。目前，最先进的方法使用隐私保护生成对抗网络（PP-GAN）来实现这一目的，例如，在不泄露用户身份的情况下实现可靠的面部表情识别。然而，PP-GAN并不提供隐私的正式证明，而是依赖于使用基于深度学习（DL）的鉴别器的敏感属性上的分类准确性来实验性地测量信息泄漏。在这项工作中，我们通过颠覆现有的面部表情识别隐私保护GANs来质疑这种检查的严格性。我们表明，可以将敏感的识别数据隐藏在这种PP-GAN的经过消毒的输出图像中，以便以后提取，这甚至可以允许重建整个输入图像，同时满足隐私检查。我们通过基于PP-GAN的架构展示了我们的方法，并使用两个公共数据集提供定性和定量评估。我们的实验结果提出了关于需要对PP-GAN进行更严格的隐私检查的基本问题，并提供了对这些问题的社会影响的见解。
2020-09-19 cs.AI cs.CR cs.CV
Context-Aware Generative Adversarial Privacy
Arizona State University（亚利桑那州立大学）；Stanford University（斯坦福大学）
保护已发布数据集的实用性，同时提供可证明的隐私保证是一个众所周知的挑战。一方面，上下文无关的隐私解决方案，如差分隐私，提供了强有力的隐私保障，但往往导致效用显著降低。另一方面，上下文感知隐私解决方案，如信息理论隐私，实现了改进的隐私-效用权衡，但假设数据持有者可以访问数据集统计数据。我们通过引入一种称为生成对抗隐私（GAP）的新颖的上下文感知隐私框架来规避这些限制。GAP利用生成对抗网络（GANs）的最新进展，允许数据持有者从数据集本身学习私有化方案。在GAP下，学习隐私机制被制定为两个参与者之间的约束极大极小博弈：一个私有化器以限制对个人私有变量的推断攻击风险的方式对数据集进行净化，另一个对手试图从净化的数据集推断私有变量。为了评估GAP的性能，我们研究了两个简单的（但规范的）统计数据集模型：（a）二进制数据模型，和（b）二进制高斯混合模型。对于这两种模型，我们推导出博弈理论上的最优极大极小隐私机制，并表明从数据中学习的隐私机制（以生成对抗的方式）与理论上的最优隐私机制相匹配。这表明我们的框架可以很容易地应用于实践，即使在没有数据集统计的情况下。
2017-12-03 cs.AI cs.CR cs.GT
Privacy-preserving recommender system using the data collaboration analysis for distributed datasets
University of Tsukuba（筑波大学）；Hosei University（法政大学）
本研究针对分布式数据集共享中的隐私保护问题，建立了一个基于数据协作分析的隐私保护推荐系统框架，数值实验表明该方法能提高评分预测准确率。
2024-05-24 cs.CR cs.IR cs.LG
Achieving Privacy in the Adversarial Multi-Armed Bandit
Chalmers University of Technology（查尔姆斯理工大学）；University of Lille（里尔大学）；Harvard University（哈佛大学）
在本文中，我们改进了以前最著名的遗憾界，以实现$ε$ -差分隐私在不经意的对抗土匪从$\mathcal{O}{(T^{2/3}/ε)}$到$\mathcal{O}{(\sqrt{T} \ln T /ε)}$。这是通过将拉普拉斯机制与EXP 3相结合来实现的。我们表明，虽然EXP 3已经是差异私有的，它泄漏了线性量的信息在$T$。然而，我们可以通过依赖其内在的指数机制来选择动作来改善这种隐私。这使我们能够达到$\mathcal{O}{(\sqrt{\ln T})}$ -DP，遗憾的是$\mathcal{O}{(T^{2/3})}$可以对抗自适应对手，这是对最著名的$\mathcal{O}{(T^{3/4})}$的改进。这是通过使用在小批处理循环中运行EXP 3的算法来完成的。最后，我们运行的实验清楚地证明了我们的理论分析的有效性。
2017-01-16 cs.AI cs.CR cs.LG
TAPAS: a Toolbox for Adversarial Privacy Auditing of Synthetic Data
The Alan Turing Institute（艾伦·图灵研究所）；The Office for National Statistics（英国国家统计局）；University of Oxford（牛津大学）；University of Glasgow（格拉斯哥大学）；University of Edinburgh（爱丁堡大学）
大规模收集的个人数据有望改善决策并加速创新。然而，共享和使用这些数据会引发严重的隐私问题。一个有希望的解决方案是产生合成数据，人工记录来共享，而不是真实数据。由于合成记录与真实的人没有联系，这直观地防止了经典的重新识别攻击。但这不足以保护隐私。我们在这里提出了TAPAS，一个工具箱的攻击评估合成数据隐私下的各种情况。这些攻击包括以前的作品和新的攻击的概括。我们还介绍了一个一般的框架，推理隐私威胁的合成数据和展示TAPAS的几个例子。
2022-11-12 cs.AI cs.CR cs.LG
Adversarial Learning of Privacy-Preserving and Task-Oriented Representations
University of California, Merced（加州大学默塞德分校）；NEC Laboratories America（NEC美国实验室）；University of California, San Diego（加州大学圣地亚哥分校）
数据隐私已经成为一个重要的问题，因为数据驱动的深度学习已经成为现代机器学习系统的重要组成部分。例如，通过模型反演攻击，机器学习系统可能存在潜在的隐私风险，其目标是从深度网络的潜在表示中重建输入数据。我们的工作旨在学习一个隐私保护和面向任务的表示，以抵御这种模型反演攻击。具体来说，我们提出了一个对抗性的重建学习框架，防止潜在的表示解码成原始的输入数据。通过模拟对手的预期行为，我们的框架是通过最小化负像素重建损失或负特征重建（即，感知距离）损失。我们验证了所提出的方法对人脸属性预测，表明我们的方法可以保护视觉隐私的效用性能略有下降。此外，我们还展示了在训练时针对负感知距离损失的不同超参数选择的效用-隐私权衡，允许服务提供商确定具有一定效用性能的正确隐私保护水平。此外，我们提供了一个广泛的研究与不同的功能，任务和数据的选择，以进一步分析其对隐私保护的影响。
2019-11-22 cs.CR cs.CV cs.LG
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University（南京大学）
联邦学习（FL）是近年来的研究热点，其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而，这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战，我们从理论上分析了通信压缩方法应满足的条件，以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发，我们提出了一种新的通信压缩方法，称为共识稀疏化（ConSpar）。据我们所知，ConSpar是第一种通信压缩方法，旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上，我们进一步提出了一个新的FL框架FedREP，它是拜占庭式的鲁棒性，通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明，FedREP可以显着优于通信效率的隐私保护基线。此外，与拜占庭强大的通信效率基线相比，FedREP可以实现相当的准确性，并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Combined Use of Federated Learning and Image Encryption for Privacy-Preserving Image Classification with Vision Transformer
Tokyo Metropolitan University（东京都立大学）
近年来，深度学习的隐私保护方法已经成为一个迫切的问题。因此，我们提出了联邦学习（FL）和加密图像的隐私保护图像分类下使用的视觉Transformer（ViT）的组合使用。所提出的方法不仅允许我们在多个参与者之间进行训练模型而不直接共享原始数据，而且还首次保护了测试（查询）图像的隐私。此外，它还可以保持与正常训练模型相同的精度。在一个实验中，所提出的方法被证明是很好的工作，没有任何性能下降的CIFAR-10和CIFAR-100数据集。
2023-03-03 cs.CR cs.CV cs.LG
TrajSyn: Privacy-Preserving Dataset Distillation from Federated Model Trajectories for Server-Side Adversarial Training
Computer Science Department, Columbia University（哥伦比亚大学计算机科学系）；School of Computer Science and Engineering, Vellore Institute of Technology（维洛雷理工学院计算机科学与工程学院）；School of Information Technology, Deakin University（德肯大学信息科技学院）
TrajSyn通过从客户端模型更新轨迹中生成代理数据集，实现隐私保护的服务器端对抗训练，提升图像分类任务的对抗鲁棒性。
2025-12-17 cs.LG
Adversarial Privacy Protection on Speech Enhancement
College of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）
语音很容易在不知不觉中泄露，比如在不同的情况下被手机录下来。语音中的隐私内容可能通过语音增强技术被恶意提取。语音增强技术随着深度神经网络（DNN）的发展而迅速发展，但对抗性示例可能会导致DNN失败。在这项工作中，我们提出了一个对抗性的方法来降低语音增强系统。实验结果表明，生成的对抗性样例可以擦除原样例中的大部分内容信息，或者通过语音增强用目标语音内容替换。增强后的原始样本与增强后的对抗样本识别结果之间的单词出错率（WER）可达89.0%。增强对抗样本与目标样本的目标攻击WER较低，为33.75%。对抗扰动可以使原始示例的变化率超过1.4430。这项工作可以防止语音的恶意提取。
2022-06-16 cs.CR cs.LG cs.SD
CATS: Conditional Adversarial Trajectory Synthesis for Privacy-Preserving Trajectory Data Publication Using Deep Learning Approaches
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
CATS框架通过K-匿名分布约束、条件对抗训练、注意力上下文学习和二分图匹配，生成高质量隐私保护轨迹数据，并在9万条GPS轨迹上验证了其在隐私、时空特征和下游效用上的优势。
2023-09-20 cs.AI cs.CR cs.LG
Privacy-preserving Active Learning on Sensitive Data for User Intent Classification
Amazon Research（亚马逊研究院）
主动学习有望在保持合理模型性能的同时显著降低数据注释成本。但是，它需要将数据发送给注释器进行标记。当训练集包括敏感的用户数据时，这存在可能的隐私泄漏。在本文中，我们描述了一种方法进行隐私保护主动学习与量化的保证。我们评估我们的方法，显示隐私，实用程序和注释预算之间的权衡二进制分类任务中的主动学习设置。
2019-03-26 cs.CL cs.LG stat.ML
Towards Split Learning-based Privacy-Preserving Record Linkage
University of Macedonia（马其顿大学）
本文研究如何利用分割学习实现隐私保护记录链接，提出基于公开参考集的新型训练方法，在保护数据隐私的同时取得与集中式SVM方法接近的匹配效果。
2024-09-02 cs.CR cs.DB cs.LG
Privacy-preserving and yet Robust Collaborative Filtering Recommender as a Service
Luxembourg Institute of Science and Technology (LIST)（卢森堡科学技术研究院（LIST））
协同过滤服务器以牺牲最终用户的隐私为代价提供有效的个性化服务。随着社会对隐私保护的日益关注和隐私保护法规的日益严格，设计一种既能保护隐私又能为隐私敏感用户提供推荐服务的鲁棒的推荐器成为一个迫切的研究挑战。我们的分析表明，现有的解决方案在几个方面存在不足，包括缺乏对最终用户的精确输出的关注和忽略相关的鲁棒性问题。在本文中，我们提供了一个通用的系统结构，潜在因素为基础的协同过滤过滤器，制定他们的模型训练和预测计算阶段，还描述了一个新的安全模型。针对务实的解决方案，我们首先展示了如何构建隐私保护，但强大的模型训练阶段的基础上现有的解决方案。然后，我们提出了两个密码协议来实现隐私保护的预测计算阶段，这取决于是否涉及额外的代理。与标准的Top-k推荐不同，作为我们隐私设计策略的结果，我们让最终用户检索预测高于阈值的未评级项目。实验结果表明，我们的新协议是相当有效的。
2019-10-09 cs.CR cs.IR cs.LG
Bayesian Adversarial Privacy
Department of Statistics, University of Warwick, UK（沃里克大学统计系）
本文提出了一种基于贝叶斯决策理论的新型隐私定义，强调在数据被观察时仍从先验视角做出披露决策，以提供更明确和严谨的隐私保护框架。
2026-09-10 cs.CR cs.LG math.ST
Privacy-Preserving Adversarial Network (PPAN) for Continuous non-Gaussian Attributes
McGill University（麦吉尔大学）
隐私保护对抗网络（PPAN）最近被提出作为一个信息理论框架，以解决数据共享中的隐私问题。该模型的主要思想是使用互信息作为两个深度神经网络的隐私度量和对抗训练，一个作为机制，另一个作为对手。与分析最优折衷相比，评估了PPAN模型对离散合成数据、MNIST手写数字和连续高斯数据的性能。在这项研究中，我们评估连续非高斯数据的PPAN模型，其中使用的隐私保护问题的下限和上限。这些界限包括基于k次最近邻的熵和互信息的Kraskov（KSG）估计。除了合成数据集，一个实际的情况下隐藏的实际用电量从智能电表读数检查。结果表明，对于连续非高斯数据，PPAN模型的性能在确定的最佳范围内，接近下限。
2020-03-11 cs.LG eess.SP
Minimum Noticeable Difference based Adversarial Privacy Preserving Image Generation
Nanyang Technological University（南洋理工大学）
深度学习模型被发现容易受到对抗性示例的影响，因为错误的预测可能由深度学习模型的输入中的小扰动引起。现有的对抗性图像生成方法大多试图实现对大多数模型的攻击，而很少有人致力于保证对抗性样本的感知质量。高质量的对抗性示例对于许多应用都很重要，特别是对于隐私保护。在这项工作中，我们开发了一个基于最小可注意差异（MND）概念的框架，以生成与干净图像具有最小感知差异但能够攻击深度学习模型的对抗性隐私保护图像。为了实现这一点，首先提出了一种对抗损失，使深度学习模型成功地被对抗图像攻击。然后，通过考虑扰动的大小以及扰动引起的结构和梯度变化来开发感知质量保持损失，其目的是为对抗图像生成保持高感知质量。据我们所知，这是第一个基于隐私保护的MND概念探索质量保持对抗图像生成的工作。为了评估其在感知质量方面的性能，在这项工作中，使用所提出的方法和几种锚点方法测试了图像分类和人脸识别的深度模型。大量的实验结果表明，所提出的MND框架能够生成具有显著改善的性能指标的对抗图像（例如，PSNR、SSIM和MOS）比用锚定方法生成的更好。
2022-06-17 cs.AI cs.CV cs.LG
Adversarial Representation Learning for Robust Privacy Preservation in Audio
University of Helsinki（赫尔辛基大学）；Tampere University（坦佩雷大学）；Nokia Tech（诺基亚科技）
针对音频处理中的隐私泄露问题，提出一种对抗训练方法，通过定期替换语音分类器权重生成不变潜在表示，有效隐藏语音活动并显著降低隐私违规。
2024-01-03 cs.CR cs.LG cs.SD
Privacy-Preserving Graph Convolutional Networks for Text Classification
图卷积网络（GCN）是用于对自然地作为图出现的文档进行表示学习的强大架构，例如，引用或社交网络。然而，敏感的个人信息，例如以人们的个人资料或关系为边缘的文档，很容易发生隐私泄露，因为经过训练的模型可能会泄露原始输入。虽然差分隐私（DP）提供了一个有充分依据的隐私保护框架，GCN提出了理论和实践的挑战，由于他们的培训细节。我们通过将基于差异私有梯度的训练适应于GCN来解决这些挑战，并使用两种优化器在两种语言的五个NLP数据集上进行实验。我们提出了一个简单而有效的方法，基于随机图分裂，不仅提高了基线隐私边界的2.7倍，同时保留竞争力的F1分数，但也提供了强大的隐私保证，？= 1.0。我们表明，在某些建模选择下，隐私保护GCN执行高达90%的非私有变体，同时正式保证强大的隐私措施。
2022-05-02 cs.CL cs.CR cs.LG
Privacy Preserving in Non-Intrusive Load Monitoring: A Differential Privacy Perspective
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
智能电表设备可以更好地了解需求，避免私人信息泄露的潜在风险。减轻这种风险的一种有希望的解决方案是将噪声注入到仪表数据中以实现一定水平的差分隐私。在本文中，我们投一次性的非侵入式负载监测（NILM）的压缩感知框架，并弥合NILM推理的理论精度和差分隐私的参数之间的差距。然后，我们推导出有效的理论界提供见解的差分隐私参数如何影响NILM的性能。此外，我们推广了我们的结论，提出了层次框架来解决多镜头NILM问题。数值实验验证了我们的分析结果，并提供更好的物理见解的差分隐私在各种实际情况下。这也说明了我们的工作对一般隐私保护机制设计的意义。
2020-11-12 cs.CR cs.LG cs.SY
