Privacy-Aware Recommendation with Private-Attribute Protection using Adversarial Learning
推荐是帮助用户找到与其兴趣相关的信息的关键应用之一。然而，恶意攻击者可以通过推荐来推断用户的私人信息。先前的工作在与推荐系统共享之前混淆用户项数据。这种方法在执行数据混淆时没有显式地解决推荐的质量。此外，它不能保护用户免受基于建议的私有属性推理攻击。这项工作是第一次尝试建立一个推荐与属性保护（RAP）模型，同时推荐相关的项目和计数器私有属性推理攻击。我们的方法的关键思想是制定这个问题作为一个对抗性的学习问题，有两个主要组成部分：私人属性推理攻击者，和贝叶斯个性化推荐。攻击者试图根据用户的项目列表和建议来推断用户的私有属性信息。推荐器的目标是提取用户的兴趣，同时利用攻击者来规范推荐过程。实验表明，该模型既保持了推荐服务的质量，又保护了用户免受私有属性推理攻击。
2019-11-22 cs.CR cs.IR cs.SI
AdvSGM: Differentially Private Graph Learning via Adversarial Skip-gram Model
The Hong Kong Polytechnic University（香港理工大学）；Hong Kong Baptist University（香港浸会大学）
针对图跳元模型训练中的隐私风险，提出AdvSGM，利用对抗性训练设计可优化噪声项，实现无需额外噪声的差分隐私梯度更新，在六个真实数据集上保持高效用。
2025-03-27 cs.CR cs.LG
Differentially Private Sketches for Jaccard Similarity Estimation
IT University of Copenhagen（哥本哈根信息技术大学）
本文描述了两个局部差分私有算法释放用户向量，使这些向量之间的Jaccard相似性可以有效地估计。基本构建块是众所周知的MinHash方法。为了实现隐私-效用权衡，MinHash使用广义随机响应和拉普拉斯机制的变体以两种方式进行扩展。理论分析提供了绝对误差的界限，实验显示了合成数据和真实数据的实用性-隐私权衡。本文最后对相关工作进行了批判性的讨论。
2020-08-18 cs.CR cs.IR cs.LG
Can collaborative learning be private, robust and scalable?
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）；Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）
在用于医学图像分析的联邦学习中，学习协议的安全性至关重要。这样的设置通常会被攻击者破坏，攻击者的目标要么是联盟使用的私有数据，要么是模型本身的完整性。这就要求医学成像界开发出一种机制来训练协作模型，这种模型是私有的，并且对对抗性数据具有鲁棒性。为了应对这些挑战，我们提出了一个实用的开源框架来研究差分隐私，模型压缩和对抗性训练相结合的有效性，以提高模型对对抗性样本在训练和推理时间攻击下的鲁棒性。使用我们的框架，我们实现了有竞争力的模型性能，显着减少模型的大小和改进的经验对抗鲁棒性没有严重的性能下降，在医学图像分析中至关重要。
2022-08-08 cs.CR cs.LG
Enhancing Stateful Detection of Adversarial Attacks with Soft-labels' Temporality and Robust Similarity Approximations
National University of Singapore（新加坡国立大学）
提出两阶段方法，利用软标签时间相关性降低误报率，并设计鲁棒相似性近似防御针对近似函数的对抗攻击，在多种攻击下TPR达1.00，FPR≤0.06。
2026-06-23 cs.CR
Differentially Private Adversarial Robustness Through Randomized Perturbations
University of Southern California（南加利福尼亚大学）；Amazon Alexa（亚马逊 Alexa）
尽管深度神经网络在不同领域取得了巨大成功，但可以证明，它对正确分类的样本的小扰动很敏感，并导致错误的预测。最近，有人提出，这种行为可以通过优化最坏情况下的损失函数在所有可能的替代训练样本。然而，这可能倾向于对不太可能的替换进行更高的加权，从而限制了准确性增益。本文通过随机扰动来研究对抗鲁棒性，它有两个直接的优点：（1）通过确保替换可能性由与原始词的接近度加权，我们避免了优化最坏情况保证并获得了性能增益;以及（2）经校准的随机性赋予差分私有模型训练，这另外提高了对模型输出的对抗攻击的鲁棒性。我们的方法使用了一种基于截断Gumbel噪声的新的基于密度的机制，该机制确保了对词汇表中稀有和密集单词的替换进行训练，同时保持语义相似性以提高模型的鲁棒性。
2020-09-27 cs.CR cs.LG stat.ML
Differentially Private Generative Adversarial Network
Michigan State University（密歇根州立大学）；Rutgers University（罗格斯大学）；Weill Cornell Medical School（威尔康奈尔医学院）
生成对抗网络（GAN）及其变体由于其良好的理论基础和出色的生成模型性能，近年来引起了广泛的研究兴趣。这些工具为数据可用性有限的研究提供了一个有希望的方向。GANs中的一个常见问题是，学习的生成分布的密度可能集中在训练数据点上，这意味着由于深度网络的高模型复杂性，它们可以很容易地记住训练样本。当GANs应用于患者病历等隐私或敏感数据时，这成为一个主要问题，并且分布的集中可能会泄露关键的患者信息。为了解决这个问题，在本文中，我们提出了一个差分隐私GAN（DPGAN）模型，在该模型中，我们通过在学习过程中向梯度添加精心设计的噪声来实现GANs中的差分隐私。我们为隐私保证提供了严格的证据，以及全面的经验证据来支持我们的分析，我们证明我们的方法可以在合理的隐私级别上生成高质量的数据点。
2018-02-19 cs.CR cs.LG stat.ML
Learning Differentially Private Diffusion Models via Stochastic Adversarial Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
针对隐私敏感领域数据受限导致生成图像质量不佳的问题，提出DP-SAD方法，通过随机对抗蒸馏训练差分隐私扩散模型，利用教师-学生蒸馏加噪和判别器对抗训练，有效提升了脱敏数据生成质量。
2024-08-27 cs.CR cs.CV cs.LG
Semi-Private Computation of Data Similarity with Applications to Data Valuation and Pricing
针对两方数据估值中相似度计算的隐私保护问题，提出基于相关性的多方计算协议，实现精确与近似相似度计算，复杂度与样本数线性相关，并给出近似误差界限。
2023-04-11 cs.CR cs.IT math.IT
Priority-Aware Private Matching Schemes for Proximity-Based Mobile Social Networks
移动设备和在线社交网络的快速发展使得移动社交网络（MSN）越来越受到关注。移动连接和位置感知设备的爆炸性增长使得基于邻近的移动社交网络（PMSNs）成为可能和有意义的。用户可以通过智能手机中嵌入的WiFi/蓝牙接口，轻松地发现并与物理接近的移动用户进行新的社交互动。然而，用户享受这些便利的代价是他们日益增长的隐私问题。为了解决这个问题，我们提出了一套优先级感知的私人匹配计划，私人匹配的相似性与潜在的朋友在附近。与大多数现有的工作不同，我们提出的优先级感知匹配方案（P-match）通过结合可交换加密函数和Tanimoto相似性系数来实现隐私目标，该相似性系数既考虑了用户之间的共同属性的数量，也考虑了每个共同属性的相应优先级。此外，基于新构造的相似度函数，考虑了属性在所有输入集上匹配的比率，我们设计了一个增强版本，以应对一些潜在的攻击，如无限输入属性集的发起方或响应方等。我们提出的E-match避免了繁重的密码操作，并通过采用布隆过滤器的新用法显著提高了系统性能。我们的计划的安全性和通信/计算开销进行了彻底的分析和评估，通过详细的模拟和实施。
2014-01-31 cs.CR
PrAda-GAN: A Private Adaptive Generative Adversarial Network with Bayes Network Structure
针对差分隐私下合成数据生成中基于边缘分布方法的局限，提出整合GAN与边缘分布方法优势的PrAda-GAN，通过序列生成器架构和自适应正则化提升收敛速度，在隐私-效用权衡上优于现有表格数据合成方法。
2025-11-11 cs.CR cs.LG stat.ME
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
Georgia State University（佐治亚州立大学）；Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
生成对抗网络（GAN）由于其生成模型具有从现有样本分布中生成逼真示例的令人信服的能力，已经促进了计算机视觉、自然语言处理等领域的各种应用。GAN不仅在基于数据生成的任务上提供了令人印象深刻的性能，而且由于其博弈论优化策略，还刺激了面向隐私和安全的研究。遗憾的是，没有关于GAN在隐私和安全方面的全面调查，这促使本文系统地总结这些最先进的作品。根据隐私和安全功能对现有作品进行了适当的分类，并对它们的优缺点进行了全面的分析。考虑到GAN在隐私和安全方面仍处于非常初级的阶段，并提出了独特的挑战，尚未得到很好的解决，本文还揭示了一些潜在的隐私和安全应用与GAN，并阐述了一些未来的研究方向。
2021-06-07 cs.CR cs.LG
Private Dataset Generation Using Privacy Preserving Collaborative Learning
Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
随着深度学习算法在许多应用中的使用越来越多，与隐私和对抗攻击相关的新研究问题正在出现。然而，深度学习算法的改进需要越来越多的数据在研究社区内共享。联邦学习、差分隐私、附加秘密共享等方法提供了一种在边缘上训练机器学习模型而不从边缘移动数据的方法。然而，它是非常计算密集型的，并且容易受到对抗攻击。因此，这项工作引入了一个隐私保护FedCollabNN框架，用于在边缘训练机器学习模型，该框架具有计算效率和对对抗攻击的鲁棒性。使用MNIST数据集的仿真结果表明了该框架的有效性。
2020-04-28 cs.CR cs.LG stat.ML
Differentially Private Optimizers Can Learn Adversarially Robust Models
首次从理论和实验证明差分隐私模型在准确性与鲁棒性权衡上达到帕累托最优，通过优化超参数、公共数据预训练和选择合适的DP优化器，在CIFAR10上实现了优于非私有模型的鲁棒性。
2023-11-21 cs.CR cs.CV cs.LG
imdpGAN: Generating Private and Specific Data with Generative Adversarial Networks
IIIT - Delhi（德里印度理工学院）
生成对抗网络（GAN）及其变体在生成合成数据方面显示出有希望的结果。然而，GANs的问题是：（i）学习围绕训练样本进行，模型通常最终会记住它们，因此，损害了单个样本的隐私-当GANs应用于包括个人身份信息的训练数据时，这成为一个主要问题，（ii）生成数据的随机性-无法控制生成样本的特异性。为了解决这些问题，我们提出了imdpGAN -一个信息最大化差异私有生成对抗网络。它是一个端到端的框架，同时实现隐私保护和学习潜在的表示。通过在MNIST数据集上的实验，我们证明了imdpGAN保护了单个数据点的隐私，并学习了潜在代码来控制生成样本的特异性。我们对数字对进行二进制分类，以显示效用与隐私的权衡。随着我们在框架中增加隐私级别，分类精度会降低。我们还通过实验表明，imdp GAN的训练过程是稳定的，但与其他GAN框架相比，时间增加了10倍。最后，我们将imdpGAN框架扩展到CelebA数据集，以展示如何使用隐私和学习表示来控制输出的特异性。
2020-09-29 cs.AI cs.CR cs.CV
Gradient Similarity: An Explainable Approach to Detect Adversarial Attacks against Deep Learning
深度神经网络容易受到能够欺骗网络的小但特定的对抗性扰动的影响。此漏洞可能会在安全关键型应用程序中导致潜在的有害后果。为了解决这个漏洞，我们提出了一个新的度量称为\emph{Gradient Similarity}，使我们能够捕捉测试输入的训练数据的影响。我们表明，\emph{Gradient Similarity}的行为不同的正常和敌对的输入，并使我们能够检测到各种对抗攻击与接近完美的ROC-AUC为95-100\%。即使是拥有系统完美知识的白盒对手也无法轻松绕过我们的检测器。在MNIST数据集上，白盒攻击要么以87- 96%的高ROC-AUC检测到，要么需要非常高的失真来绕过我们的检测器。
2018-06-27 cs.CR cs.CV cs.LG
The Relationship Between Network Similarity and Transferability of Adversarial Attacks
Fraunhofer SIT / ATHENE（弗劳恩霍夫安全信息技术研究所 / ATHENE）；TU-Darmstadt（达姆施塔特工业大学）
本文研究网络相似性与对抗攻击可迁移性之间的关系，利用CKA相似度分数和DecisionTreeRegressor模型预测迁移攻击成功率，发现复杂网络更脆弱且预测准确率超90%。
2025-01-27 cs.CR cs.LG
Adversarial representation learning for synthetic replacement of private attributes
AI Sweden（瑞典人工智能研究院）
数据隐私是许多现实世界中越来越重要的方面。包含敏感信息的数据源可能具有巨大的潜力，可以使用正确的隐私增强转换来解锁，但当前的方法通常无法产生令人信服的输出。此外，在隐私和实用性之间找到正确的平衡往往是一个棘手的权衡。在这项工作中，我们提出了一种新的方法，数据私有化，其中包括两个步骤：在第一步，它删除了敏感信息，并在第二步，它取代了一个独立的随机样本的信息。我们的方法建立在对抗性表示学习的基础上，通过训练模型来欺骗越来越强大的对手，从而确保强大的隐私。虽然以前的方法只针对混淆的敏感信息，我们发现，添加新的随机信息在其位置加强了所提供的隐私，并提供更好的实用程序在任何给定的隐私级别。其结果是一种方法，可以提供更强的私有化的图像数据，但保留域和输入的效用，完全独立于下游的任务。
2021-02-08 cs.CR cs.LG stat.ML
Audit and Improve Robustness of Private Neural Networks on Encrypted Data
University of Central Florida（中佛罗里达大学）；Kent State University（肯特州立大学）；Texas Tech University（得克萨斯理工大学）；University of Houston（休斯顿大学）；Drexel University（德雷塞尔大学）
在不解密的情况下对加密数据执行神经网络推理是使隐私保护神经网络（PNet）成为服务的一种流行方法。与部署用于机器学习即服务的常规神经网络相比，PNet需要额外的编码，例如，量化精度数字和多项式激活。加密输入也带来了新的挑战，如对抗性鲁棒性和安全性。据我们所知，我们是第一个研究问题的人，包括（i）PNet是否比常规神经网络对对抗性输入更鲁棒？(ii)如何在不解密的情况下设计一个鲁棒的PNet？我们提出了PNet-Attack来生成黑盒对抗示例，这些示例可以成功地以目标和非目标方式攻击PNet。攻击结果表明，PNet对对抗性输入的鲁棒性需要提高。这不是一个简单的任务，因为PNet模型所有者无法访问输入值的明文，这阻止了现有检测和防御方法的应用，如输入调优，模型规范化和对抗训练。为了解决这个问题，我们提出了一种新的快速和准确的噪声插入方法，称为RPNet，设计鲁棒和私有神经网络。我们的综合实验表明，PNet-Attack减少至少$2.5\times$查询比以前的作品。我们从理论上分析了我们的RPNet方法，并证明了RPNet可以降低$\sim 91.88\%$攻击的成功率。
2022-09-20 cs.CR cs.LG
Adversarial Attacks against Binary Similarity Systems
Sapienza University of Rome（罗马第一大学）
本文评估深度学习二进制相似度模型的对抗鲁棒性，通过黑盒贪婪攻击（含新提出的 Spatial Greedy）与迁移自图像分类器的白盒梯度攻击，证明三类先进方案均易受定向和非定向攻击。
2023-11-03 cs.CR cs.LG
AnomiGAN: Generative adversarial networks for anonymizing private medical data
Seoul National University（首尔国立大学）
典型的个人医疗数据包含有关个人的敏感信息。因此，存储或共享个人医疗数据通常是有风险的。例如，一个短的DNA序列可以提供信息，不仅可以识别一个人，而且还可以识别他或她的亲属。尽管如此，大多数国家和研究人员都同意收集个人医疗数据的必要性。这是因为，包括基因组数据在内的医疗数据是进一步研究和开发疾病预防和治疗的不可或缺的资源。为了防止个人医疗数据被滥用，应该开发用于实际应用的可靠地保存敏感信息的技术。在本文中，我们提出了一个名为匿名生成对抗网络（AnomiGAN）的框架，以改善个人医疗数据隐私的维护，同时保持高预测性能。我们将我们的方法与最先进的技术进行了比较，并观察到我们的方法保留了与差分隐私（DP）相同的隐私级别，但具有更好的预测结果。我们还观察到，根据原始数据的保存程度，隐私和性能结果之间存在权衡。在这里，我们提供了我们提出的模型的数学概述，并使用UCI机器学习存储库数据集来演示其验证，以突出其在实践中的实用性。实验上，我们的方法提供了更好的性能相比，DP的方法。
2019-01-31 cs.CR cs.LG
Learning Privacy Preserving Encodings through Adversarial Training
University of Florida（佛罗里达大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
我们提出了一个框架来学习隐私保护编码的图像，抑制推理选择的私人属性，同时允许恢复其他所需的信息。我们的目标不是简单地抑制给定的固定预训练估计器，而是即使知道编码函数，估计器也无法学习准确预测私有属性。我们使用一种基于自然对抗优化的公式来实现这一点--针对私有属性的分类器训练编码函数，两者都建模为深度神经网络。我们工作的关键贡献是一种稳定和收敛的优化方法，该方法成功地学习了具有我们所需属性的编码器-保持实用性，同时抑制私有属性的推断，不仅在对抗优化中，而且在编码器固定后训练的分类器。我们采用了严格的实验协议进行验证，其中分类器进行了详尽的训练，直到饱和的固定编码器。我们评估了我们的方法在现实世界的复杂性任务--学习高维编码，抑制检测不同的场景类别-并发现它产生的编码器，在维护隐私的弹性。
2018-12-04 cs.CR cs.CV cs.LG
Similarity Preserving Adversarial Graph Contrastive Learning
KAIST（韩国科学技术院）
针对现有对抗训练GCL方法无法保持节点特征相似性的问题，提出SP-AGCL框架，通过对比干净图与节点相似性保持视图及对抗视图，在多种下游任务和复杂场景中实现了有竞争力的性能与鲁棒性。
2023-06-24 cs.AI cs.CR cs.LG
Adversarial Evasion in Non-Stationary Malware Detection: Minimizing Drift Signals through Similarity-Constrained Perturbations
Northern Arizona University（北亚利桑那大学）
研究探讨了攻击者能否生成同时规避分类和保持漂移监控机制不可察的对抗性恶意软件样本，提出通过相似性约束扰动平衡分类误判与漂移信号最小化。
2026-04-23 cs.AI cs.CR
Detection of Adversarial Supports in Few-shot Classifiers Using Self-Similarity and Filtering
ST Engineering-SUTD Cyber Security Laboratory（ST Engineering-新加坡科技设计大学网络安全实验室）；Singapore University of Technology and Design（新加坡科技设计大学）；Ben-Gurion University（本-古里安大学）；University of Oslo（奥斯陆大学）
Few-Shot分类器在有限的训练样本下表现出色，这使得它们在具有稀疏用户提供的标签的应用中非常有用。他们独特的相对预测设置为新型攻击提供了机会，例如对未见过的测试样本进行分类所需的目标支持集，这在其他机器学习设置中不可用。在这项工作中，我们提出了一种检测策略，以确定敌对的支持集，旨在破坏理解的Few-Shot分类器为某一类别。我们实现这一点，通过引入的概念，自相似性的支持集，并采用过滤的支持。我们的方法是攻击不可知的，我们是第一个探索对抗检测支持集的Few-Shot分类器，以我们所知的。我们对miniImagenet（MI）和CUB数据集的评估显示出良好的攻击检测性能，尽管概念简单，显示出较高的AUROC分数。我们表明，自相似性和过滤对抗检测可以与其他过滤功能配对，构成一个可推广的概念。
2021-06-28 cs.CR cs.LG
TSCheater: Generating High-Quality Tibetan Adversarial Texts via Visual Similarity
Minzu University of China（中央民族大学）；National Language Resource Monitoring & Research Center Minority Languages Branch（国家语言资源监测与研究中心少数民族语言分中心）；Tibet University（西藏大学）；Collaborative Innovation Center for Tibet Informatization by Ministry of Education & Tibet Autonomous Region（教育部-西藏自治区西藏信息化协同创新中心）
本文提出TSCheater方法，利用藏文编码特性和视觉相似音节语义相近的特征生成高质量对抗文本，并在多个模型上验证其优于现有方法，同时构建了首个藏文对抗鲁棒性评估基准AdvTS。
2026-10-06 cs.CL cs.CR
Secure and Private Federated Learning: Achieving Adversarial Resilience through Robust Aggregation
O’Donnell Data Science and Research Computing Institute（奥登数据科学与研究计算研究所）；Southern Methodist University（南方 Methodist 大学）
本文提出 ArKrum 聚合策略，通过中位数过滤和多更新平均提升联邦学习在 Byzantine 攻击下的鲁棒性与隐私保障，并在图像和文本基准上验证其高准确率和稳定性。
2025-06-03 cs.CR cs.LG
Revisiting Locally Differentially Private Protocols: Towards Better Trade-offs in Privacy, Utility, and Attack Resistance
Inria（法国国家信息与自动化研究所）；ÉTS Montréal（蒙特利尔高等技术学院）；Université du Québec à Montréal (UQAM)（魁北克大学蒙特利尔分校）
本文提出多目标优化框架，优化隐私和效用在对抗性设置中的平衡，通过分析八种先进协议并提出改进方案，实验表明所提机制在降低攻击成功率的同时保持效用，接近ASR-MSE帕累托前沿。
2026-03-18 cs.CR
Privacy, Security, and Utility Analysis of Differentially Private CPES Data
差分隐私（DP）已被广泛用于保护机密网络物理能量系统（CPES）数据的隐私。然而，在不分析效用、隐私和安全要求的情况下应用DP可能影响数据效用以及帮助攻击者进行完整性攻击（例如，虚假数据注入（FDI））利用差异私有数据。现有的基于异常检测的数据完整性攻击防御策略在基于DP的智能电网中未能最大限度地减少攻击的影响，同时最大限度地提高数据的隐私性和实用性。为了应对这一挑战，在设计过程中应用防御性方法是非常重要的。在本文中，我们制定和开发的防御策略的设计过程中的一部分，调查数据的隐私，安全性和实用程序在DP为基础的智能电网网络。我们提出了一个DP参数之间的可证明关系，使防御者能够设计一个容错系统，抵御FDI攻击。为了实验评估和证明我们提出的设计方法的有效性，我们模拟了基于DP的网格中的FDI攻击。评估表明，攻击的影响可以最小化，如果设计者校准隐私级别根据建议的DP参数的相关性来设计网格网络。此外，我们分析了智能电网网络的DP机制和QoS在对抗环境中的可行性。我们的分析表明，DP机制是可行的，在智能电网领域现有的隐私保护机制。此外，不同的私有网格应用程序的QoS是令人满意的对抗存在。
2021-09-21 cs.CR
A self-attention-based differentially private tabular GAN with high data utility
Fudan University（复旦大学）
针对GAN生成表格数据效果不佳及差分隐私导致效用下降的问题，提出基于自注意力的DP-SACTGAN框架，实验证明其能准确建模数据分布并满足差分隐私要求。
2023-12-20 cs.CR cs.DB cs.LG
Differentially Private Generative Adversarial Networks for Time Series, Continuous, and Discrete Open Data
Polytech Nice-Sophia（尼斯-索菲亚理工学院）；SAP Labs France（法国思爱普实验室）；Ville d’Antibes（昂蒂布市）
开放数据在21世纪发挥着重要作用，可以刺激经济增长，使社会更加透明和包容。然而，对于许多用例，创建具有所需隐私保证的新的高质量数据集总是很困难的。本文旨在创建一个框架，发布新的开放数据，同时保护用户的个性，通过一个严格的隐私定义称为差分隐私。与以前的工作不同，本文提供了一个隐私保护数据发布的框架，可以很容易地适应不同的用例，从时间序列的生成到连续数据，以及离散数据;没有以前的工作集中在后一类。事实上，许多用例都暴露了离散数据，或者至少是分类值和数值之间的组合。由于深度学习和生成模型的最新发展，现在可以对丰富语义数据进行建模，同时保持特征的原始分布和它们之间的相关性。该框架的输出是一个深度网络，即生成器，能够按需创建新数据。我们证明了我们的方法在法国公共管理和经典基准数据集的真实数据集上的效率。
2019-03-06 cs.CR cs.LG
FedPerm: Private and Robust Federated Learning by Parameter Permutation
Oracle Labs（甲骨文实验室）
联邦学习（FL）是一种分布式学习范例，其使得相互不信任的客户端能够协作地训练公共机器学习模型。客户端数据隐私在FL中至关重要。同时，必须保护模型免受敌对客户端的中毒攻击。现有的解决方案孤立地解决了这两个问题。我们提出FedPerm，一个新的FL算法，解决这两个问题，通过结合一种新的模型内参数洗牌技术，放大数据隐私，与私人信息检索（PIR）为基础的技术，允许加密聚合客户端的模型更新。这些技术的组合进一步帮助联合服务器约束来自客户端的参数更新，以便减少敌对客户端的模型中毒攻击的影响。我们进一步提出了FedPerm的独特的超参数，可以有效地用于权衡模型效用的计算开销。我们对MNIST数据集的实证评估表明，FedPerm的有效性超过现有的差分隐私（DP）在FL的执法解决方案。
2022-08-16 cs.CR cs.LG
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；NVIDIA（英伟达）
尽管在海量数据上训练的机器学习模型在多个领域取得了突破性进展，但由于数据访问受限，它们在隐私敏感领域的部署仍然有限。使用私有数据的隐私约束训练的生成模型可以避开这一挑战，而是提供对私有数据的间接访问。我们提出了DP-Sinkhorn，一种新的基于最优传输的生成方法，用于从具有差分隐私的私有数据中学习数据分布。DP-Sinkhorn最大限度地减少了Sinkhorn发散，一个计算效率高的近似精确的最佳传输距离，模型和数据之间的差异私人的方式，并使用一种新的技术控制的偏差方差权衡梯度估计。与现有的训练差异私有生成模型的方法不同，这些方法主要基于生成对抗网络，我们不依赖于对抗目标，这是众所周知的难以优化，特别是在存在隐私约束所施加的噪声的情况下。因此，DP-Sinkhorn易于训练和部署。在实验上，我们改进了最先进的多个图像建模基准，并显示了信息丰富的RGB图像的差异私人合成。项目页面：https://nv-tlabs.github.io/DP-Sinkhorn。
2021-11-29 cs.CR cs.LG
Passive Inference Attacks on Split Learning via Adversarial Regularization
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Renmin University of China（中国人民大学）
针对现有拆分学习被动攻击依赖强假设、性能有限的问题，提出基于对抗正则化的SDAR攻击框架，利用辅助数据学习客户端私有模型的可解码模拟器，在多种拆分场景下实现了远超现有方法、媲美主动攻击的私有数据推断效果。
2025-03-21 cs.CR cs.LG
PCEvolve: Private Contrastive Evolution for Synthetic Dataset Generation via Few-Shot Private Data and Generative APIs
针对少样本私有数据下差分隐私合成图像生成难题，提出PCEvolve算法，通过迭代挖掘类间对比关系并集成到指数机制中，在四个专业数据集上验证其优于现有API辅助方法。
2025-06-04 cs.CR
Private Knowledge Transfer via Model Distillation with Generative Adversarial Networks
Zhejiang University（浙江大学）
深度学习应用的部署必须解决在使用私人和敏感数据进行训练时日益增长的隐私问题。传统的深度学习模型容易受到隐私攻击，隐私攻击可以从模型参数或对目标模型的访问中恢复个体的敏感信息。最近，已经提出了提供可证明的隐私保证的差分隐私来以隐私保护的方式训练训练神经网络以保护训练数据。然而，许多方法倾向于为模型发布提供最坏情况的隐私保证，不可避免地损害了训练模型的准确性。在本文中，我们提出了一种新的私人知识转移策略，私人教师接受敏感数据的培训是不可公开访问的，但教学生公开发布。特别是，一个三人（教师-学生-学习者）的学习框架，提出了实现效用和隐私之间的权衡，学生从教师那里获得的蒸馏知识，并与学习者训练，以产生类似的输出作为教师。然后，我们将差分隐私保护机制集成到学习过程中，这使得严格的隐私预算的培训。该框架最终允许学生仅使用未标记的公共数据和很少的时期进行训练，从而防止敏感的训练数据的暴露，同时确保模型实用性与适度的隐私预算。在MNIST、SVHN和CIFAR-10数据集上的实验表明，在隐私边界为（1.93，10^-5）、（5.02，10^-6）、（8.81，10^-6）的情况下，我们的学生获得了相对于教师的0.89%、2.29%、5.16%的准确率损失。当与现有的作品\cite{papernot2016semi,wang2019private}相比，所提出的工作可以实现5-82%的精度损失的改善…
2020-04-05 cs.CR cs.LG stat.ML
FuncFooler: A Practical Black-box Attack Against Learning-based Binary Code Similarity Detection Methods
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Shandong University（山东大学）；RIKEN（理化学研究所）
二进制代码相似性检测（BCSD）方法测量两个二进制可执行代码的相似性。近年来，基于学习的BCSD方法取得了很大的成功，在检测精度和效率上都优于传统的BCSD方法。然而，现有的研究是相当稀疏的基于学习的BCSD方法的对抗性脆弱性，在安全相关的应用中造成的危害。为了评估对抗性鲁棒性，设计了一种高效的黑盒对抗性代码生成算法FuncFocal。FuncFocal约束对抗代码1）保持程序的控制流图（CFG）不变，2）保持相同的语义。具体而言，FuncFocal连续地1）确定恶意代码中的易受攻击的候选者，2）从良性代码中选择并插入对抗性指令，以及3）纠正对抗性代码的语义副作用以满足约束。从经验上看，我们的FuncFocal可以成功地攻击三个基于学习的BCSD模型，包括SAFE，Asm2Vec和jTrans，这就质疑了基于学习的BCSD是否可取。
2022-08-26 cs.AI cs.CR cs.LG
X-Search: Revisiting Private Web Search using Intel SGX
搜索引擎对用户搜索查询的利用是其经济模式的核心。因此，提供私人网络搜索功能是必不可少的用户谁关心他们的隐私。目前，还没有令人满意的方法来使用户能够以隐私保护的方式访问搜索引擎。现有的解决方案要么由于大量使用密码机制（例如，私有信息检索协议），易受攻击（例如，Tor，TrackMeNot，GooPIR）或依赖弱对抗模型（例如，PEAS）。本文介绍了X-Search，一种新的私有Web搜索机制，建立在英特尔提出的破坏性软件保护扩展（SGX）。我们使用真实网络搜索查询的数据集将X-Search与其最接近的竞争对手Tor和PEAS进行比较。我们的评估表明：（1）X-Search提供了比竞争对手更强的隐私保障，因为它在更强的对抗模型下运行;（2）它更好地抵御了最先进的重新识别攻击;（3）从性能角度来看，X-Search在延迟和吞吐量方面都超过了竞争对手。
2018-05-04 cs.CR cs.DC
Adversarial Analysis of the Differentially-Private Federated Learning in Cyber-Physical Critical Infrastructures
本文针对差分隐私联邦学习中 DP 噪声可被模型投毒利用的问题，提出自适应 α-MPELM 攻击及基于强化学习的 DP 等级选择防御，显著降低异常检测准确率并实现自动最优隐私策略。
2022-12-01 cs.CR cs.DC
Tight Auditing of Differentially Private Machine Learning
Google DeepMind（谷歌DeepMind）；ETHZ（苏黎世联邦理工学院）
差分隐私的审计机制使用概率手段来经验性地估计算法的隐私级别。对于私有机器学习，现有的审计机制是严格的：经验隐私估计（几乎）匹配算法的可证明隐私保证。但这些审计技术有两个局限性。首先，他们只在不可信的最坏情况假设下给出严格的估计（例如，一个完全对抗的数据集）。其次，它们需要数千或数百万次训练运行来产生隐私泄漏的重要统计估计。这项工作解决了这两个问题。我们设计了一个改进的审计方案，可以对自然（而不是对手精心制作的）数据集进行严格的隐私估计-如果对手可以在训练期间看到所有模型更新。以前的审计工作依赖于相同的假设，这是允许在标准的差分隐私威胁模型。该威胁模型也适用于，例如，在联邦学习环境中。此外，我们的审计方案只需运行两次训练（而不是数千次）即可通过调整差分隐私紧合成定理的最新进展来产生严格的隐私估计。我们展示了我们改进的审计方案的实用性，通过在私人机器学习代码中隐藏先前审计技术的实现错误。
2023-02-15 cs.CR cs.LG
Adversarial Sample-Based Approach for Tighter Privacy Auditing in Final Model-Only Scenarios
Hongik University（弘益大学）；Yonsei University（延世大学）
针对最终模型仅场景下DP-SGD隐私审计下界松散的问题，提出基于损失的输入空间对抗样本审计方法，无需额外假设即可获得更紧致的经验下界，在MNIST上以ε=10.0达到4.914的下界，优于基线4.385。
2025-02-24 cs.CR cs.LG
Adversarial Robustness of Similarity-Based Link Prediction
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Warsaw（华沙大学）
链接预测是社会网络分析的基本问题之一。链接预测的一组常见技术依赖于相似性度量，该相似性度量使用观察到的子网的拓扑来量化未观察到的链接的可能性。最近，链接预测的相似性度量已被证明是容易受到攻击，从而对网络的意见是不利的修改，以隐藏目标链接。我们提出了一种新的方法来增加基于相似性的链接预测的鲁棒性，通过赋予分析师一组可靠的查询，准确地衡量查询链接的存在。分析师的目标是通过优化分配可靠的查询来鲁棒地预测可能的链接的集合。我们正式分析师的问题作为一个贝叶斯Stackelberg游戏中，他们首先选择可靠的查询，然后由对手谁删除的一个子集的链接之间的其余（不可靠）查询的分析师。在我们的模型中，分析师不确定对手试图隐藏的特定目标链接，而对手则拥有关于分析师和网络的全部信息。专注于相似性度量，仅使用本地信息，我们表明，这个问题是NP-难的球员，并设计两个原则和有效的方法来解决它近似。真实网络和合成网络的大量实验证明了我们方法的有效性。
2019-09-03 cs.AI cs.CR cs.SI
Saliency Attention and Semantic Similarity-Driven Adversarial Perturbation
Praxis Business School（普拉西斯商学院）
针对传统文本对抗攻击难以兼顾攻击有效性与语义一致性的问题，提出融合显著性、注意力与语义相似度的三阶段扰动方法SASSP，相比CLARE实现了更高攻击成功率与更低扰动率。
2024-06-18 cs.CL cs.CR cs.LG
Learning Anonymized Representations with Adversarial Neural Networks
Laboratoire des Signaux et Systèmes (L2S, UMR8506), CentraleSupélec-CNRS-Université Paris-Sud（信号与系统实验室（L2S，UMR8506），中央理工-高等电力学院-法国国家科学研究中心-巴黎第十一大学）；Montreal Institute for Learning Algorithms, Université de Montréal（蒙特利尔学习算法研究所，蒙特利尔大学）
保护敏感信息或数据所有者身份的统计方法对于确保个人和组织的隐私至关重要。本文研究了基于表征学习和深度神经网络的匿名化方法，并受到新的信息理论边界的启发。我们引入了一个新的训练目标，用于同时训练目标变量（常规标签）上的预测器，同时防止中间表示预测私有标签。该架构基于三个子网络：一个从输入到表示，一个从表示到预测的常规标签，一个从表示到预测的私有标签。训练过程的目的是学习表示，保留相关部分的信息（关于常规标签），而解雇的私人标签，对应于一个人的身份的信息。我们证明了这种方法的成功，两个不同的分类与匿名化任务（手写数字和情感分析）。
2018-02-26 cs.CR cs.LG stat.ML
NetFense: Adversarial Defenses against Privacy Attacks on Neural Networks for Graph Data
National Cheng Kung University（成功大学）
保护图数据节点隐私和攻击图神经网络（GNNs）的最新进展受到了广泛关注。眼睛还没有把这两个基本任务结合起来。想象一下，对手可以利用强大的GNN来推断社交网络中用户的私人标签。我们如何在对抗这种隐私攻击的同时保持扰动图的效用？在这项工作中，我们提出了一个新的研究任务，对抗性防御基于GNN的隐私攻击，并提出了一个基于图扰动的方法，NetFense，以实现这一目标。NetFense可以同时保持图形数据的不可访问性（即，在图结构上具有有限的改变），保持目标标签分类的预测置信度（即，保持数据效用），并降低私有标签分类的预测置信度（即，保护节点的隐私）。使用三个真实图数据对单目标和多目标扰动进行的实验表明，NetFense的扰动图可以有效地保持数据效用（即，模型不确定性）并显著降低私有标签分类的预测置信度（即，隐私保护）。广泛的研究也带来了一些见解，如NetFense的灵活性，在数据不受干扰的情况下保留本地邻域，以及对高度节点更好的隐私保护。
2021-06-22 cs.CR cs.LG cs.SI
Targeted Adversarial Attacks against Neural Machine Translation
EPFL（洛桑联邦理工学院）；University of Tehran（德黑兰大学）；Armasuisse S+T（瑞士联邦国防采购局科技中心）
神经机器翻译（NMT）系统用于各种应用中。然而，已经表明，它们容易受到输入的非常小的扰动，称为对抗攻击。在本文中，我们提出了一种新的针对NMT模型的定向对抗攻击。特别是，我们的目标是将预定义的目标关键字插入到对抗句子的翻译中，同时保持原始句子与源域中的扰动句子之间的相似性。为此，我们提出了一个优化问题，包括一个对抗损失项和一个相似项。我们在嵌入空间中使用梯度投影来制作一个对抗性句子。实验结果表明，我们的攻击优于Seq2Sick，另一个针对NMT模型的对抗攻击，在成功率和翻译质量下降。我们的攻击成功地将关键字插入到超过75%的句子的翻译中，同时保持与原始句子的相似性。
2023-03-02 cs.CL cs.CR cs.LG
ScoreShield: Differentially Private Release of Similarity Scores
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；School of Engineering, École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院工程学院）
研究生物识别等应用中相似度分数隐私保护问题，提出ScoreShield先扰动后投影机制，添加校准高斯噪声并投影到可行性集，满足（ε，δ）-DP，给出效用保证，在多任务中评估，改进了风险的n依赖性。
2026-07-29 cs.CR cs.CV cs.IR
Generative Adversarial Networks Applied for Privacy Preservation in Biometric-Based Authentication and Identification
Brno University of Technology, Faculty of Information Technology（布拉格技术大学信息科技学院）
本文提出一种基于生成对抗网络（GAN）的身份验证方法，将人脸图像转换为视觉私有域（如花朵或鞋子）以保护隐私，实验表明该方法对攻击鲁棒且保持效用。
2025-09-24 cs.AI cs.CR cs.CV
On the Suitability of $L_p$-norms for Creating and Preventing Adversarial Examples
Carnegie Mellon University（卡内基梅隆大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
许多研究工作都致力于更好地理解对抗性示例，这些示例是机器学习模型的特制输入，在感知上类似于良性输入，但分类不同（即，误分类）。创建对抗性示例的算法和防御它们的策略通常使用$L_p$ -范数来测量对抗性输入与其良性原始输入之间的感知相似性。然而，先前的工作已经表明，两个图像不需要如通过$L_p$ -范数测量的那样彼此接近以在感知上相似。在这项工作中，我们表明，接近根据$L_p$规范不仅是不必要的感知相似性，但也是不够的。具体来说，专注于数据集（CIFAR 10和MNIST），$L_p$规范，并在以前的工作中使用的阈值，我们通过在线用户研究表明，“对抗性的例子”，更接近他们的良性同行比常用的$L_p$规范阈值所需的，但仍然可以感知不同的人类从相应的良性的例子。即，根据$L_p$ -范数彼此“接近”的两个图像之间的感知距离可以足够高，使得参与者频繁地将两个图像分类为表示不同的对象或数字。结合以前的工作，我们因此表明，接近的输入所测量的$L_p$规范是既不必要也不充分的感知相似性，这对创建和防御对抗性的例子。我们提出并讨论了替代相似性度量，以刺激未来的研究在该领域。
2018-07-27 cs.CR cs.CV
Gradient Masking and the Underestimated Robustness Threats of Differential Privacy in Deep Learning
Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与集成安全研究所）
深度学习中的一个重要问题是神经网络（NN）的隐私和安全性。这两个方面长期以来一直被分开考虑。到目前为止，隐私增强训练如何影响NN的鲁棒性仍然知之甚少。本文通过实验评估了使用差分隐私（DP）（隐私保护的标准方法）进行训练对模型抵御各种对抗攻击的脆弱性的影响。结果表明，私有模型比非私有模型更不健壮，并且对抗性示例在DP模型之间的传递比非私有和私有模型之间的传递更好。此外，DP和非DP模型的详细分析表明其梯度之间存在显着差异。此外，这项工作是第一次观察到DP训练中参数的不利选择可能导致梯度掩蔽，从而导致错误的安全感。
2021-05-17 cs.AI cs.CR cs.LG
RDP-GAN: A Rényi-Differential Privacy based Generative Adversarial Network
Nanjing University of Science and Technology（南京理工大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；University of Technology Sydney（悉尼科技大学）；Jinan University（暨南大学）；Princeton University（普林斯顿大学）
生成对抗网络（GAN）因其能够生成具有高隐私保护的真实样本而受到越来越多的关注。在不直接与训练样本交互的情况下，生成模型可以完全用于估计原始数据集的潜在分布，而判别模型可以通过将标签值与训练样本进行比较来检查生成样本的质量。然而，当GANs应用于敏感或私人的训练样本时，例如医疗或财务记录，仍然有可能泄露个人的敏感和私人信息。为了减轻这种信息泄漏并构建私有GAN，在这项工作中，我们提出了一个雷尼差分私有GAN（RDP-GAN），它通过在训练期间仔细地在损失函数的值上添加随机噪声来实现GAN中的差分隐私（DP）。此外，我们推导出的分析结果的总隐私损失下的子采样方法和累积迭代，这表明它的隐私预算分配的有效性。此外，为了减轻噪声注入带来的负面影响，我们对算法进行了改进，增加了自适应噪声调整步骤，根据测试精度的不同，调整噪声的大小。通过大量的实验结果，我们验证了该算法可以实现更好的隐私水平，同时产生高质量的样本相比，基准DP-GAN方案的基础上噪声扰动的训练梯度。
2020-07-04 cs.CR cs.LG cs.NI
Efficiently Computing Similarities to Private Datasets
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文针对差分隐私模型训练中计算查询点与私有数据相似度的核心子程序，提出利用低维结构的高效DP数据结构，改进隐私-效用权衡与查询时间，并在DP分类中验证了其速度优势。
2024-03-13 cs.CR cs.DS cs.LG
Dynamic Homophily with Imperfect Recall: Modeling Resilience in Adversarial Networks
Computer Science Department, Al-Baha University（阿尔巴大学计算机科学系）
本研究提出一种结合记忆衰减机制的模型，通过比较余弦相似性与传统度量，发现其在提升网络稳定性方面具有显著优势，并强调了记忆参数与网络动态的匹配对增强韧性的重要性。
2025-12-13 cs.AI cs.CR cs.IT
DeepObfuscator: Obfuscating Intermediate Representations with Privacy-Preserving Adversarial Learning on Smartphones
Duke University（杜克大学）；Tsinghua University（清华大学）；RMIT University（皇家墨尔本理工大学）
深度学习已经广泛应用于许多计算机视觉应用中，并取得了显著的成功。然而，由于计算资源的限制，在移动设备上运行深度学习模型通常具有挑战性。一个流行的替代方案是使用云服务来运行深度学习模型来处理原始数据。然而，这会带来隐私风险。一些现有技术提出将从原始数据提取的特征发送到云。不幸的是，这些提取的特征仍然可以被攻击者利用来恢复原始图像并推断嵌入的私有属性。在本文中，我们提出了一个对抗性训练框架DeepObfuscator，它可以防止使用这些特征来重建原始图像和推断私有属性。这样做的同时保留了用于预期云服务的有用信息。DeepObfuscator包括一个可学习的混淆器，旨在通过执行我们提出的对抗训练算法来隐藏与隐私相关的敏感信息。该算法通过模拟攻击者和防御者之间的博弈来设计，攻击者努力重建原始图像并从提取的特征中推断出私有属性，防御者的目的是保护用户隐私。通过在智能手机上部署经过训练的混淆器，可以在本地提取特征，然后发送到云端。我们在CelebA和LFW数据集上的实验表明，在多尺度结构相似性方面，从原始图像的模糊特征重建的图像的质量从0.9458急剧下降到0.3175。因此，重建图像中的人变得难以被重新识别。攻击者可以实现的推断的私有属性的分类准确性被显著降低到随机猜测的水平。
2021-05-06 cs.AI cs.CR cs.CV
