Deep Learning with Gaussian Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型通常在包含敏感信息的数据集上进行训练，例如个人的购物交易，个人联系人和医疗记录。因此，一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络，这些隐私约束由差分隐私或其基于发散的松弛指定。然而，这些隐私定义在处理某些重要的原语（组合和子采样）时存在弱点，从而对训练神经网络进行松散或复杂的隐私分析。在本文中，我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18]，用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性，本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式，而不需要像[3]那样开发复杂的技术。我们的研究结果表明，$f$ -差分隐私框架允许一种新的隐私分析，它改进了先前的分析~[3]，这反过来又建议调整神经网络的某些参数，以获得更好的预测精度，而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务，在图像分类，文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
Differential Privacy Protected Preference Alignment on Survey Derived Data
ShanghaiTech University（上海科技大学）
该研究针对世界价值观调查衍生数据的偏好对齐问题，提出结合随机响应、指数机制和DP-SGD的差分隐私流程，实验表明标签级机制优于梯度级方法，为带隐私保障的语言模型对齐提供了新方向。
2026-10-14 cs.CL cs.CR cs.LG
When Machine Learning Meets Privacy: A Survey and Outlook
University of Technology Sydney（悉尼科技大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；The University of Sydney（悉尼大学）；La Trobe University（乐卓博大学）；The University of Melbourne（墨尔本大学）
新出现的机器学习（例如深度学习）方法已成为智能医疗、金融技术和监控系统等广泛行业革命的强大驱动力。与此同时，在这个基于机器学习的人工智能时代，隐私已经成为一个大问题。值得注意的是，机器学习背景下的隐私保护问题与传统数据隐私保护中的问题有很大不同，因为机器学习既可以是朋友，也可以是敌人。目前，关于隐私保护和机器学习（ML）的工作仍处于起步阶段，因为大多数现有解决方案仅关注机器学习过程中的隐私问题。因此，需要对隐私保护问题和机器学习进行全面的研究。本文综述了机器学习的隐私问题和解决方案的最新技术水平。该调查涵盖隐私与机器学习之间的三大类交互：（i）私有机器学习，（ii）机器学习辅助隐私保护，以及（iii）基于机器学习的隐私攻击和相应的保护方案。目前的研究进展，在每个类别的审查和确定的关键挑战。最后，在对隐私和机器学习领域进行深入分析的基础上，指出了该领域未来的研究方向。
2020-11-24 cs.AI cs.CR cs.LG
A Survey of What to Share in Federated Learning: Perspectives on Model Utility, Privacy Leakage, and Communication Efficiency
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Polytechnic University（香港理工大学）
本文从“共享什么”的新视角系统综述了联邦学习，提出基于共享模型、合成数据和知识的新分类法，分析了隐私攻击脆弱性与防御机制，并通过实验比较了不同共享方式的学习性能、通信开销及隐私泄露情况。
2024-02-18 cs.CR cs.LG
How to Securely Shuffle? A survey about Secure Shufflers for privacy-preserving computations
University of Twente（特文特大学）；Inria（法国国家信息与自动化技术研究院）
本文综述了26种安全洗牌协议，分析其分类、比较及隐私保护技术，提供选择指南和未来研究方向。
2025-12-01 cs.CR cs.LG
A Survey on Differential Privacy for SpatioTemporal Data in Transportation Research
The University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）
本文综述了差分隐私在交通时空数据中的应用，总结了相关机制、软件及交通领域的应用工作，并探讨了部署与大规模采用所面临的挑战。
2024-07-18 cs.CR cs.CY cs.LG
A Survey on Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection
National University of Singapore（新加坡国立大学）；The University of Western Australia（西澳大利亚大学）
联邦学习是在隐私限制下实现不同组织间机器学习模型协同训练的一个研究热点。随着研究人员试图用不同的隐私保护方法支持更多的机器学习模型，开发系统和基础设施时需要简化各种联邦学习算法的开发。与PyTorch和TensorFlow等深度学习系统类似，联邦学习系统（FLS）同样重要，并面临来自有效性，效率和隐私等各个方面的挑战。在本调查中，我们对联邦学习系统进行了全面的综述。为了实现流畅的流程和指导未来的研究，我们介绍了联邦学习系统的定义和分析的系统组件。从数据分布、机器学习模型、隐私机制、通信结构、联邦规模和联邦动机六个方面对联邦学习系统进行了分类。正如我们的案例研究所示，分类可以帮助设计联邦学习系统。通过对现有的联邦学习系统进行系统总结，提出了联邦学习系统的设计要素、案例分析和未来的研究方向。
2021-12-05 cs.CR cs.DB cs.LG
Privacy-Preserving Machine Learning for IoT: A Cross-Paradigm Survey and Future Roadmap
School of CSE, University of NSW（新南威尔士大学计算机科学与工程学院）
本文综述了物联网中隐私保护机器学习的跨范式方法，分析了隐私保障、计算复杂度、异构设备参与下的可扩展性及威胁抵御能力，并探讨了无线物联网环境中的部署限制与开放挑战。
2026-03-30 cs.CR cs.LG
A Survey of Privacy Attacks in Machine Learning
Czech Technical University in Prague（布拉格捷克理工大学）
本文综述了近七年来40余篇针对机器学习的隐私攻击研究，提出攻击分类法和威胁模型，分析泄露原因与攻击方法，并总结防御措施及未来方向。
2023-09-16 cs.CR cs.LG
A Survey on Privacy in Graph Neural Networks: Attacks, Preservation, and Applications
Vanderbilt University（范德堡大学）；The Chinese University of Hong Kong（香港中文大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文综述了图神经网络中的隐私攻击、隐私保护技术及相关数据集与应用，并展望了未来构建更强隐私保护GNN的研究方向。
2023-09-19 cs.AI cs.CR cs.LG
Decentralized Federated Learning: A Survey on Security and Privacy
University of Windsor（温莎大学）；University of New Brunswick（新不伦瑞克大学）；University of Western Ontario（西安大略大学）；Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
本综述系统分析了去中心化联邦学习中的安全与隐私威胁、对手类型及防御机制，并探讨了其可信性与可验证性。
2024-01-25 cs.AI cs.CR cs.LG
A Survey of Privacy-Preserving Model Explanations: Privacy Risks, Attacks, and Countermeasures
Griffith University（格里菲斯大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Bremen（不来梅大学）；Hanoi University of Science and Technology（河内科技大学）；The University of Queensland（昆士兰大学）
本文首次系统综述模型解释的隐私攻击与对策，构建分类法并分析隐私泄露原因，提供在线资源库，为可解释AI隐私保护研究奠定基础。
2024-06-26 cs.AI cs.CR cs.CY
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
Georgia State University（佐治亚州立大学）；Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
生成对抗网络（GAN）由于其生成模型具有从现有样本分布中生成逼真示例的令人信服的能力，已经促进了计算机视觉、自然语言处理等领域的各种应用。GAN不仅在基于数据生成的任务上提供了令人印象深刻的性能，而且由于其博弈论优化策略，还刺激了面向隐私和安全的研究。遗憾的是，没有关于GAN在隐私和安全方面的全面调查，这促使本文系统地总结这些最先进的作品。根据隐私和安全功能对现有作品进行了适当的分类，并对它们的优缺点进行了全面的分析。考虑到GAN在隐私和安全方面仍处于非常初级的阶段，并提出了独特的挑战，尚未得到很好的解决，本文还揭示了一些潜在的隐私和安全应用与GAN，并阐述了一些未来的研究方向。
2021-06-07 cs.CR cs.LG
Differential Privacy and Fairness in Decisions and Learning Tasks: A Survey
Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）
本文综述了差分隐私（DP）和公平性的交叉最近的工作。它审查的条件下，隐私和公平性可能有对齐或对比的目标，分析DP如何以及为什么可能加剧偏见和不公平的决策问题和学习任务，并描述了可用的缓解措施DP系统中出现的公平性问题。该调查提供了对在公平视角下部署隐私保护机器学习或决策任务时所面临的主要挑战和潜在风险的统一理解。
2022-09-08 cs.AI cs.LG
The Federation Strikes Back: A Survey of Federated Learning Privacy Attacks, Defenses, Applications, and Policy Landscape
Purdue University（普渡大学）；KeyByte；University of Southern California（南加州大学）；FedML；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；Amazon（亚马逊）；NVIDIA（英伟达）
本综述全面梳理联邦学习的隐私攻击与防御方法，分析其局限性与隐私破防场景，总结行业应用经验，调研监管格局并提出未来发展方向，推动联邦学习兼顾模型准确性与数据隐私保护。
2025-03-22 cs.CR cs.LG
New Challenges in Reinforcement Learning: A Survey of Security and Privacy
University of Technology Sydney（悉尼科技大学）；City University of Macau（澳门城市大学）
强化学习（Reinforcement Learning，RL）是人工智能的重要分支之一。由于其在动态环境中的自适应和决策能力，强化学习已广泛应用于医疗保健、数据市场、自动驾驶和机器人等多个领域。然而，其中一些应用程序和系统已被证明容易受到安全或隐私攻击，导致服务不可靠或不稳定。大量的研究集中在强化学习中的这些安全和隐私问题上。然而，很少有调查对现有问题和最先进的解决办法进行系统审查和比较，以跟上新出现的威胁的步伐。因此，我们在此提出了这样一个全面的审查，解释和总结的挑战与安全和隐私的强化学习从一个新的角度，即马尔可夫决策过程（MDP）。在本调查中，我们首先介绍与该领域相关的关键概念。接下来，我们将分别讨论与MDP流程的状态、操作、环境和奖励函数相关的安全和隐私问题。我们进一步强调了与强化学习相关的安全和隐私方法的特殊性。最后，我们讨论了该领域未来可能的研究方向。
2022-12-31 cs.AI cs.CR cs.LG
Differential Privacy in Machine Learning: A Survey from Symbolic AI to LLMs
Department of Computer Science and Artificial Intelligence, University of Granada（计算机科学与人工智能系，格拉纳达大学）
本文综述了差分隐私在机器学习中的应用，从符号AI到大语言模型，探讨了隐私保护方法及评估技术。
2026-03-11 cs.AI cs.CR cs.LG
A Survey of Trustworthy Federated Learning with Perspectives on Security, Robustness, and Privacy
The Chinese University of Hong Kong（香港中文大学）；University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Lab（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
值得信赖的人工智能（AI）技术彻底改变了日常生活，极大地造福了人类社会。在各种人工智能技术中，联邦学习（FL）脱颖而出，成为各种现实世界场景的有前途的解决方案，从金融风险评估系统到生命科学中的药物发现等尖端技术。然而，围绕数据隔离和隐私的挑战威胁着FL系统的可信度。针对数据隐私、学习算法稳定性和系统机密性的对抗攻击在联邦学习中的分布式训练环境中尤其令人担忧。因此，以值得信赖的方式开发FL至关重要，重点是安全性，鲁棒性和隐私性。在这项调查中，我们提出了一个全面的路线图，用于开发值得信赖的FL系统，并从三个关键方面总结了现有的努力：安全性，鲁棒性和隐私。我们概述了在不同的开发阶段（包括数据处理、模型训练和部署）对可信的联邦学习构成漏洞的威胁。为了指导选择最合适的防御方法，我们讨论了实现可信FL（TFL）的各个方面的具体技术解决方案。我们的方法不同于以往的工作，主要是从法律的角度来讨论TFL或从高层次的，非技术的角度来介绍FL。
2023-02-21 cs.CR cs.LG
A Survey of Privacy Threats and Defense in Vertical Federated Learning: From Model Life Cycle Perspective
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Zhejiang University（浙江大学）；AntGroup（蚂蚁集团）；Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；The University of Hong Kong（香港大学）
本文首次全面综述纵向联邦学习中的隐私攻击与防御，从模型生命周期视角分类并讨论挑战与未来方向，为研究和实践提供指导。
2024-02-06 cs.AI cs.CR cs.LG
Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks
WeBank AI Lab（微众银行人工智能实验室）；University of Malaya（马来亚大学）；Hong Kong Univ. of Science and Tech.（香港科技大学）
本文研究了隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。首先，我们建议定量衡量模型的准确性和隐私损失所造成的重建，跟踪和成员攻击之间的权衡。其次，我们将重建攻击表述为求解一个噪声线性方程组，并证明了如果条件（2）不满足，则保证攻击被击败。第三，在理论分析的基础上，提出了一种新的秘密极化网络（SPN）来抵御隐私攻击，这对现有的PPDL方法提出了严峻的挑战。大量的实验表明，在数据隐私得到满意保护的情况下，与基线机制相比，模型准确性平均提高了5-20%。
2020-06-23 cs.CR cs.DC cs.LG
LLM-Based Schema-Aware Split Learning for Privacy-Preserving Mental Distress Prediction Across Heterogeneous Surveys
Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）
提出一种基于LLM的架构感知分裂学习框架，通过语义编码统一异构调查数据，在保护隐私的同时实现高效协作学习，显著提升准确率并降低客户端计算开销。
2026-09-15 cs.AI cs.CR cs.LG
Differential Privacy and Machine Learning: a Survey and Review
机器学习的目标是从数据中提取有用的信息，同时通过隐藏信息来保护隐私。因此，似乎很难调和这些相互竞争的利益。然而，在挖掘敏感数据时，它们通常必须平衡。例如，医学研究代表了一个重要的应用，其中需要提取有用的信息并保护患者隐私。解决冲突的方法之一是提取整个人口的一般特征，而不披露个人的私人信息。在本文中，我们考虑差分隐私，最流行和最强大的隐私定义之一。我们探讨机器学习和差分隐私之间的相互作用，即隐私保护机器学习算法和基于学习的数据发布机制。我们还描述了一些理论结果，解决了什么可以学到的差异私人和上界的损失函数的差异私人算法。最后，我们提出了一些开放的问题，包括如何将公共数据，如何处理丢失的数据在私人数据集，以及是否，作为观察到的样本的数量增长任意大，差分私人机器学习算法可以实现在没有成本的效用相比，相应的非差分私人算法。
2014-12-24 cs.CR cs.DB cs.LG
Recent Advances of Differential Privacy in Centralized Deep Learning: A Systematic Survey
Graz University of Technology (Austria)（格拉茨技术大学）；Know-Center GmbH (Austria)（Know-Center公司）；University of Graz (Austria)（格拉茨大学）
该综述系统性梳理了集中式深度学习中差分隐私的研究现状，分析了现有进展与开放问题，涵盖模型审计、隐私效用权衡等多方向内容，并展望了未来发展。
2023-09-28 cs.LG
How Does a Deep Learning Model Architecture Impact Its Privacy? A Comprehensive Study of Privacy Attacks on CNNs and Transformers
University of Technology Sydney（悉尼科技大学）；Data 61；City University of Macau（澳门城市大学）
该研究对比CNN与Transformer的隐私脆弱性，发现Transformer更易受隐私攻击，明确激活层等微观设计及注意力模块对隐私性的影响，为隐私友好的模型架构设计提供参考。
2024-02-02 cs.AI cs.CR cs.LG
Privacy-preserving feature selection: A survey and proposing a new set of protocols
University of Toronto（多伦多大学）；University of Windsor（温莎大学）
特征选择是对特征进行筛选的过程，在这个过程中，信息特征从冗余和不相关的特征中分离出来。这个过程在机器学习、数据采掘和生物信息学中起着重要的作用。然而，传统的特征选择方法只能处理集中式数据集，不能满足当今分布式数据处理的需求。这些需求需要一种新的数据处理算法，称为隐私保护特征选择，它通过在中间处理和最终结果中不泄露数据的任何部分来保护用户的数据。这对于包含个人数据的数据集（如医疗数据集）至关重要。因此，修改现有的算法或提出新的算法是合理的，不仅引入应用于分布式数据集的能力，而且通过保护用户的隐私来负责任地处理用户的数据。在本文中，我们将审查三个隐私保护的特征选择方法，并提供建议，以提高其性能时，任何差距被确定。本文还提出了一种基于粗糙集特征选择的隐私保护特征选择方法。所提出的方法是能够处理水平和垂直分区的数据集在两个和多方的情况下。
2020-08-17 cs.CR cs.LG
Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research（微软研究院）
差分隐私（DP）是隐私保护深度学习的主要方法。因此，有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP，依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而，现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数，称为隐私预算。这阻止了训练算法的设计，即在运行中调整隐私预算，或者提前终止以减少总的隐私损失。或者，现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限，常数太大，是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题，证明了一个简单的合成定理，该定理具有较小的常数，使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用：在线调整噪声或批量大小，以在固定的总隐私损失内提高模型的准确性，以及在微调模型时提前停止，以减少总隐私损失。
2021-06-04 cs.LG stat.ML
Federated Learning for Privacy Preservation in Smart Healthcare Systems: A Comprehensive Survey
University of Quebec（魁北克大学）；ETS（高等技术学院）；Princeton University（普林斯顿大学）
电子设备和通信基础设施的最新进展已经通过使用IoMT设备将传统医疗保健系统彻底改变为智能医疗保健系统。然而，由于人工智能（AI）的集中式训练方法，移动和可穿戴IoMT设备的使用引起了关于医院和最终用户之间已经通信的信息的隐私问题。IoMT设备传递的信息是高度机密的，可能会暴露给对手。在这方面，联邦学习（FL），一种分布式AI范式，为IoMT中的隐私保护开辟了新的机会，而无需访问参与者的机密数据。此外，FL为最终用户提供隐私，因为在训练期间仅共享梯度。针对FL的这些特定属性，本文提出了IoMT中的隐私相关问题。之后，我们介绍了FL在IoMT网络中用于隐私保护的作用，并介绍了一些先进的FL架构，包括深度强化学习（DRL），数字孪生和生成对抗网络（GANs）用于检测隐私威胁。随后，我们提出了FL在智能医疗系统中的一些实际机会。最后，我们通过为FL提供可用于未来智能医疗保健系统的开放研究挑战来结束本次调查
2022-03-18 cs.CR cs.LG cs.SY
Decision Tree Classification with Differential Privacy: A Survey
Charles Sturt University（查尔斯特大学）
数据采掘有关人的信息在21世纪的数据驱动社会中变得越来越重要。不幸的是，有时候现实世界中的考虑因素与数据采掘的目标相冲突;有时候需要考虑被数据挖掘的人的隐私。这需要修改数据采掘算法的输出以保护隐私，同时不破坏输出模型的预测能力。差分隐私是一个强有力的、可执行的隐私定义，可用于数据采掘算法，保证不会了解数据中的人，如果没有他们的参与，就无法发现。在本综述中，我们将重点介绍一种特定的数据采掘算法--决策树--以及差分隐私如何与构成决策树算法的每个组件进行交互。我们分析了贪婪和随机决策树，以及在试图平衡隐私要求与模型准确性时出现的冲突。
2019-05-23 cs.DB cs.LG
Distributed Layer-Partitioned Training for Privacy-Preserved Deep Learning
HTC Research（宏达电研究）
深度学习技术已经在许多领域取得了显著的成果。通常，训练深度学习模型需要大型数据集，这可能需要将敏感信息上传到云端以加速训练。为了充分保护敏感信息，我们提出了分布式分层分区训练和逐步激活函数，用于隐私保护深度学习。实验结果证明了该方法的简单性和有效性。
2019-04-12 cs.LG stat.ML
Privacy-Preserving Graph Machine Learning from Data to Computation: A Survey
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Arizona State University（亚利桑那州立大学）
本文系统综述了图机器学习中的隐私保护技术，涵盖隐私保护图数据生成、隐私保护信息传输与优化计算，并展望了统一的安全图机器学习系统。
2023-07-10 cs.CR cs.LG
Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions
Sapienza University of Rome（罗马第一大学）；University of Rome Tor Vergata（罗马第二大学（托尔韦尔加塔大学））
本文综述了大语言模型面临的隐私威胁，系统梳理了数据匿名化、差分隐私和机器遗忘等贯穿训练全流程的隐私保护方案，并展望了未来研究方向。
2025-02-10 cs.AI cs.CL cs.CR
Survey and Open Problems in Privacy Preserving Knowledge Graph: Merging, Query, Representation, Completion and Applications
Ant Group（蚂蚁集团）；Macquarie University（麦考瑞大学）
知识图谱（KG）因其能够以有意义的方式连接不同类型的数据，并支持丰富的数据服务，受到越来越多企业的关注。然而，数据隔离问题限制了KG的性能，并阻碍了其进一步发展。即是说，多个机构都有自己的幼儿园，但基于规管或竞争的理由，不能共用。因此，如何进行隐私保护的幼儿园成为一个重要的研究课题。也就是说，多方在保护多个幼儿园隐私的基础上协同进行幼儿园相关任务。到目前为止，很少有解决上述KG隔离问题的工作。在本文中，为了填补这一空白，我们总结了开放的问题，隐私保护KG在数据隔离设置，并提出了可能的解决方案。具体而言，我们从四个方面总结了隐私保护KG中存在的问题，即，合并、查询、表示和完成。我们详细介绍了这些问题，并提出了可能的技术解决方案。此外，我们提出了三个隐私保护KG感知的应用程序，并简单地描述了如何将我们提出的技术应用到这些应用程序。
2020-11-20 cs.CR cs.DB cs.LG
Eye-tracked Virtual Reality: A Comprehensive Survey on Methods and Privacy Challenges
Technical University of Munich, School of Social Sciences and Technology, Department of Educational Sciences, Chair for Human-Centered Technologies for Learning（慕尼黑技术大学，社会科学与技术学院，教育科学系，人机学习中心）
本文综述了眼动追踪在虚拟现实中的方法和隐私挑战，探讨了眼动追踪在VR中的应用及其隐私影响。
2026-01-19 cs.AI cs.CR cs.GR
Security and Privacy Problems in Voice Assistant Applications: A Survey
James Cook University（詹姆斯·库克大学）；RMIT University（皇家墨尔本理工大学）；Deakin University（迪肯大学）；Swinburne University of Technology（斯威本科技大学）
该综述系统梳理语音助手应用面临的安全攻击与隐私威胁，总结顶级会议中的五类攻击和三类威胁，以呈现现有研究分类与风险图景。
2023-04-19 cs.CR cs.LG cs.SD
Assessing differentially private deep learning with Membership Inference
SAP SE（SAP公司）；University of Waterloo（滑铁卢大学）
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护，具有差分隐私。然而，数据科学家可以在本地和中央差分隐私之间进行选择，并且需要选择有意义的隐私参数$ε$，这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理，以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验，结果表明，这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案，因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
Optimal Survey Design for Private Mean Estimation
Purdue University（普渡大学）
本研究在差分隐私框架下，针对多种隐私机制提出首个隐私感知分层抽样方案，将最优调查设计转化为优化问题，证明方差目标强凸性并给出高效求解算法，可最小化隐私均值估计的方差。
2025-01-30 cs.CR cs.LG math.ST
Privacy for Rescue: A New Testimony Why Privacy is Vulnerable In Deep Models
Beihang University（北京航空航天大学）
深度学习模型庞大的计算需求和边缘设备上有限的计算资源要求边缘设备和云服务通过将深度模型分成两半来进行合作。然而，在边缘设备和云服务之间传输来自部分模型的中间结果使得用户隐私容易受到攻击，因为攻击者可以拦截中间结果并从中提取隐私信息。现有的研究工作依赖于不切实际或不足以衡量隐私保护方法在上述场景中的有效性的指标，特别是从单个用户的角度。在本文中，我们首先提出了一个正式的定义，隐私保护问题的边缘云系统运行DNN模型。然后，分析了现有的方法，指出了它们的不足之处，特别是互信息（MI）等评价指标。此外，我们进行了几个实验来证明，虽然现有的方法在MI下表现良好，但它们不足以有效地保护单个用户的隐私。针对现有评价指标的不足，提出了两种新的评价指标，能够更准确地衡量隐私保护方法的有效性。最后，我们强调了几个潜在的研究方向，以鼓励未来的努力解决隐私保护问题。
2019-12-31 cs.CR cs.LG
Gradient Leakage Attack Resilient Deep Learning
Georgia Institute of Technology（佐治亚理工学院）
梯度泄漏攻击被认为是深度学习中最严重的隐私威胁之一，因为攻击者在迭代训练期间秘密地监视梯度更新，而不影响模型训练质量，并且使用泄漏的梯度秘密地重建敏感的训练数据，具有高攻击成功率。虽然具有差分隐私的深度学习是发布具有差分隐私保证的深度学习模型的事实标准，但我们表明具有固定隐私参数的差分隐私算法容易受到梯度泄漏攻击。本文研究了具有差分隐私（DP）的梯度泄漏弹性深度学习的替代方法。首先，我们分析了具有差分隐私的深度学习的现有实现，该实现使用固定的噪声方差来使用固定的隐私参数向所有层的梯度注入恒定的噪声。尽管提供了DP保证，但该方法精度低并且容易受到梯度泄漏攻击。其次，我们提出了一种梯度泄漏弹性深度学习方法，通过使用动态隐私参数的差分隐私保证。与导致恒定噪声方差的固定参数策略不同，不同的动态参数策略提供了引入自适应噪声方差和自适应噪声注入的替代技术，这些技术与差分私有模型训练期间的梯度更新趋势密切相关。最后，我们描述了四个补充指标来评估和比较替代方法。
2021-12-25 cs.CR cs.LG
Privacy Preservation in Federated Learning: An insightful survey from the GDPR Perspective
Imperial College London（帝国理工学院）；Hong Kong Baptist University（香港浸会大学）
随着基于人工智能和机器学习的应用和服务的蓬勃发展，数据隐私和安全已成为一个关键的挑战。传统上，数据在数据中心中被收集和聚合，机器学习模型在该数据中心上被训练。这种集中的方法导致了严重的隐私风险，包括个人数据泄漏，误用和滥用。此外，在物联网和大数据时代，数据基本上是分布式的，将大量数据传输到数据中心进行处理似乎是一种繁琐的解决方案。这不仅是因为在数据源之间传输和共享数据的困难，而且还因为遵守严格的数据保护法规和复杂的行政程序（如欧盟通用数据保护条例（GDPR））的挑战。在这方面，联邦学习（FL）作为一种有前景的解决方案出现，它促进了分布式协作学习，而不会公开原始训练数据，同时自然符合GDPR。最近的研究表明，在FL中保留设备上的数据和计算不足以保证隐私。这是因为FL系统中各方之间交换的ML模型参数仍然隐藏了敏感信息，这些信息可以在一些隐私攻击中被利用。因此，FL系统应通过有效的隐私保护技术来遵守GDPR。本文致力于调查可以系统地在FL中使用的最先进的隐私保护技术，以及这些技术如何减轻数据安全和隐私风险。此外，我们还提供了对挑战的见解，以及遵循GDPR监管指南的前瞻性方法，FL系统应实施这些方法以遵守GDPR。
2021-03-18 cs.AI cs.CR cs.LG
Trustworthy AI: Safety, Bias, and Privacy -- A Survey
该综述针对AI系统存在的失效、漏洞与偏差等可信性挑战，从安全性、偏差、隐私三大方向梳理领域现状，结合自身实验观察给出洞见与展望。
2025-06-11 cs.AI cs.CL cs.CR
A Survey on Blockchain-Based Federated Learning and Data Privacy
Texas Tech University（得克萨斯理工大学）
本文综述了联邦学习的隐私泄露风险，系统比较了基于区块链的联邦学习架构中各种数据隐私机制的性能与安全性，并指出了未来研究方向。
2023-06-29 cs.LG
Facial Recognition: A cross-national Survey on Public Acceptance, Privacy, and Discrimination
University of St.Gallen（圣加仑大学）；Freie Universität Berlin（柏林自由大学）
随着机器学习（ML）的快速发展，越来越多的这种技术被部署到现实世界中，与我们和我们的环境进行交互。ML应用最广泛的应用之一是面部识别，因为它在数百万台设备上运行。虽然对一些人有用，但其他人认为，当公共当局使用时，它是一种威胁。这种差异和缺乏政策增加了ML社区对面部识别研究和开发未来方向的不确定性。在本文中，我们介绍了一项关于公众接受度，隐私和公众使用面部识别技术（FRT）的歧视的跨国调查结果。本研究提供了中国、德国、英国和美国对首次登记税的看法，可作为政策制定者和法律监管者的参考。
2020-07-15 cs.CV cs.CY cs.LG
A Survey on Split Learning for LLM Fine-Tuning: Models, Systems, and Privacy Optimizations
Zhejiang University（浙江大学）
本文综述了分裂学习在LLM微调中的应用，探讨了模型、系统和隐私优化方法，旨在为该领域提供清晰的方向和系统的分类比较。
2026-04-27 cs.CL cs.CR cs.DC
Deep Learning with Data Privacy via Residual Perturbation
University of Utah（犹他大学）；Tsinghua University（清华大学）
针对现有隐私保护深度学习机制效用损失大、计算开销高的问题，提出基于随机微分方程的残差扰动方法，向ResNets残差映射注高斯噪声，理论证明可保差分隐私、缩小泛化间隙，实验显示其效率高且效用维持优于DPSGD。
2024-08-11 cs.CR cs.CV cs.LG
Holistic Survey of Privacy and Fairness in Machine Learning
University of Southern California（南加州大学）；Deakin University（迪肯大学）；University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）；Amazon（亚马逊）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文全面综述了机器学习中隐私与公平的相互影响、现有架构及兼顾两者的算法，并指出同时实现这两者的研究挑战，特别关注大型语言模型。
2023-07-28 cs.LG
Privacy Preservation in Artificial Intelligence and Extended Reality (AI-XR) Metaverses: A Survey
Qatar University（卡塔尔大学）；Information Technology University (ITU)（信息技术大学（ITU））
本文综述了AI-XR元宇宙中的隐私挑战，分析了差分隐私、同态加密和联邦学习等解决方案，并探讨了相关社会技术问题。
2023-09-19 cs.AI cs.CR cs.LG
A chaotic maps-based privacy-preserving distributed deep learning for incomplete and Non-IID datasets
Universidad Pablo de Olavide（巴勃罗·德·奥拉维德大学）；CUNEF Universidad（库内夫大学）；Universidad Autónoma de Chile（智利自治大学）
本研究提出一种安全的联邦学习方法，通过增加差分隐私或基于混沌的加密隐私层来解决non-IID数据挑战，实验证明该方法能提升深度神经网络在IID和non-IID数据下的平均性能。
2024-02-15 cs.CR cs.DC cs.LG
Privacy and Security Implications of Cloud-Based AI Services : A Survey
Nanyang Technological University（南洋理工大学）
该综述针对云AI服务中机器学习模型风险应对的空白，调研AIaaS领域风险并提出分类体系，梳理各方风险与防御措施，为构建隐私安全且稳健的AI系统奠定基础。
2024-01-31 cs.AI cs.CR cs.LG
Privacy-Preserving Kickstarting Deep Reinforcement Learning with Privacy-Aware Learners
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Florida（佛罗里达大学）
启动深度强化学习算法促进了代理之间的师生关系，并允许表现良好的教师与学生分享演示，以加快学生的培训。然而，尽管已知的好处，演示可能包含有关教师的训练数据和现有的kickstarting方法不采取任何措施来保护它的敏感信息。因此，我们使用的框架差分隐私开发一个机制，安全地共享教师的演示与学生。该机制允许教师根据其消耗的隐私预算来决定其演示的准确性，从而授予教师对其数据隐私的完全控制。然后，我们为学生开发了一个启动的深度强化学习算法，该算法具有隐私意识，因为我们使用教师隐私机制的参数来校准其目标。该算法的隐私意识设计使得它可以启动学生的学习，尽管由隐私机制引起的扰动。从数值实验中，我们突出了三个实证结果：（i）该算法成功地加快了学生的学习，（ii）学生收敛到一个性能水平，这是不可能没有示范，和（iii）学生保持其增强的性能，即使在教师停止共享有用的演示，由于其隐私预算的限制。
2021-06-04 cs.AI cs.CR cs.LG
Survey: Leakage and Privacy at Inference Time
Facebook FAIAR（脸书FAIAR）；University of Edinburgh（爱丁堡大学）；University of Glasgow（格拉斯哥大学）；NHS Scotland（苏格兰国民保健制度）；Canon Medical Research Europe（佳能医疗欧洲研究中心）；The Alan Turing Institute（艾伦·图灵研究所）
从公开的机器学习（ML）模型中泄漏数据是一个日益重要的领域，因为ML的商业和政府应用可以利用多个数据源，可能包括用户和客户的敏感数据。我们对几个方面的当代进展进行了全面的调查，包括ML模型自然发生的非自愿数据泄漏，隐私攻击造成的潜在恶意泄漏以及目前可用的防御机制。我们专注于推理时间泄漏，作为最有可能的情况下公开可用的模型。我们首先讨论在不同的数据、任务和模型架构的上下文中泄漏是什么。然后，我们提出了一个分类在非自愿和恶意泄漏，可用的防御，其次是目前可用的评估指标和应用程序。我们总结了突出的挑战和开放的问题，概述了未来研究的一些有前途的方向。
2022-09-09 cs.LG
A Survey on Intelligent Internet of Things: Applications, Security, Privacy, and Future Directions
University of Luxembourg（卢森堡大学）；Nantes University（南特大学）；École Centrale Nantes（南特中央理工学院）；Politecnico di Torino（都灵理工大学）；University of Ulsan（蔚山大学）；University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）；Trinity College Dublin, The University of Dublin（都柏林大学圣三一学院）
本文全面综述智能物联网（IIoT）范式，梳理其在多领域的应用，分析安全与隐私问题及应对方案，并指出未来研究挑战与方向。
2024-06-21 cs.AI cs.CR cs.ET
A Survey of Personalized Federated Foundation Models for Privacy-Preserving Recommendation
Australian Artificial Intelligence Institute, University of Technology Sydney（澳大利亚人工智能研究所，悉尼技术大学）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）；Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（香港理工大学数据科学与人工智能系）
本文综述了面向隐私保护推荐的个性化联邦基础模型，分析了联邦环境下有效的个性化技术，并讨论了基础模型在联邦架构中的适应性，以平衡泛化能力与用户特定需求。
2026-05-06 cs.AI cs.LG
A Survey on Deep Learning Approaches for Tabular Data Generation: Utility, Alignment, Fidelity, Privacy, Diversity, and Beyond
本文综述了表格数据生成的深度学习方法，从效用、对齐、保真度、隐私、多样性等方面探讨不同需求下的生成方法，并讨论评估方法和未来发展方向。
2026-03-16 cs.LG
Federated Learning: A Survey on Privacy-Preserving Collaborative Intelligence
本文综述了联邦学习的隐私保护协作智能，探讨了其核心架构、技术挑战、新兴趋势及实际应用，旨在推动可扩展、高效和可信的联邦学习系统发展。
2026-03-05 cs.AI cs.LG
