Bayesian Differential Privacy for Machine Learning
Artificial Intelligence Lab, Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院人工智能实验室）
传统的差分隐私与数据分布无关。然而，这与现代机器学习环境并不匹配，其中模型是在特定数据上训练的。因此，在ML中实现有意义的隐私保证通常会过度降低准确性。我们提出贝叶斯差分隐私（BDP），它考虑到数据的分布，提供更实际的隐私保障。我们还得到了一个一般的隐私会计方法下BDP，著名的时刻会计师的基础上。我们的实验表明，在经典的机器学习数据集，如MNIST和CIFAR-10，分布样本享有显着更强的隐私保证比DP假设，而模型保持高分类精度。
2020-08-19 cs.CR cs.LG stat.ML
Differential Privacy: What is all the noise about?
差分隐私（DP）是对隐私的正式定义，它提供了严格的保证，防止数据处理过程中隐私泄露的风险。它不假设对手的知识或计算能力，并提供了一个可解释，可量化和可组合的形式主义。在过去的15年里，DP一直在积极研究，但对于许多机器学习（ML）从业者来说，它仍然很难掌握。本文旨在概述DP在ML中最重要的思想，概念和用途，特别关注其与联邦学习（FL）的交叉点。
2022-05-19 cs.AI cs.CR cs.LG
Towards Identifying and Managing Sources of Uncertainty in AI and Machine Learning Models - An Overview
量化和管理数据驱动模型（如人工智能和机器学习方法提供的模型）时出现的不确定性至关重要。本白皮书简要介绍了识别和量化数据驱动组件的不确定性来源以及分析其影响的方法的最新技术水平。
2018-11-28 cs.LG stat.ML
Federated Learning: Balancing the Thin Line Between Data Intelligence and Privacy
U.S. Bank AI Innovation（美国合众银行人工智能创新部门）
联邦学习在从碎片化的敏感数据中学习方面具有很大的前景，并彻底改变了机器学习模型的训练方式。本文对联邦学习进行了系统的概述和详细的分类。我们调查了联邦学习中现有的安全挑战，并全面概述了数据投毒、推理攻击和模型中毒攻击的防御技术。这项工作还概述了当前联邦学习的培训挑战，重点是处理非独立同异。数据，高维问题，异构体系结构，并讨论了相关的挑战的几个解决方案。最后，我们讨论了在管理联邦学习培训方面仍然存在的挑战，并提出了有针对性的研究方向，以解决悬而未决的问题。联邦学习的潜在候选领域，包括物联网生态系统，医疗保健应用，特别关注银行和金融领域。
2022-04-22 cs.AI cs.CV cs.LG
The Value of Collaboration in Convex Machine Learning with Differential Privacy
Macquarie University（麦考瑞大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；The University of Melbourne（墨尔本大学）；Australian National University（澳大利亚国立大学）
在本文中，我们将机器学习应用于多个数据所有者所拥有的分布式私有数据，这些数据所有者可以访问非重叠的训练数据集。我们使用噪声，差分私有梯度，以最小化随机梯度下降的机器学习模型的适应度成本。我们使用适应度成本来量化训练模型的质量，作为隐私预算和分布式数据集大小的函数，以捕获机器学习中隐私和实用性之间的权衡。通过这种方式，我们可以在执行潜在的计算昂贵的机器学习算法之前预测隐私感知数据所有者之间的协作结果。特别是，我们表明，训练机器学习模型的健身使用差分私人梯度查询和训练的机器模型的健身在没有任何隐私问题之间的差异是成反比的训练数据集的平方和隐私预算的平方的大小。我们成功地验证了所提出的隐私感知学习算法的实际性能的性能预测，适用于：金融数据集，用于确定贷款利率使用回归;和检测信用卡欺诈使用支持向量机。
2019-06-24 cs.CR cs.LG stat.ML
Privacy-Preserving Public Release of Datasets for Support Vector Machine Classification
University of Melbourne（墨尔本大学）
我们考虑公开发布用于支持向量机分类的数据集同时不侵犯数据主体的隐私（即，其私人信息存储在数据集中的个人）。为了隐私保护，使用加性噪声系统地混淆数据集。受Cramer-Rao界的启发，Fisher信息矩阵的迹的逆被用作隐私的度量。建立条件以确保从原始数据集提取的分类器和混淆的分类器彼此接近（捕获效用）。最佳的噪声分布是通过最大化的隐私和效用的措施的加权和确定的。证明了最优隐私保护噪声可以实现局部差分隐私。结果推广到更广泛的一类基于优化的监督机器学习算法。在多个数据集上证明了该方法的适用性。
2019-12-29 cs.CR cs.LG stat.ML
Data Privacy and Trustworthy Machine Learning
National University of Singapore（新加坡国立大学）
机器学习模型的隐私风险是在敏感和个人数据上训练它们时的主要问题。我们讨论了数据隐私和可信机器学习的其余目标（特别是公平性，鲁棒性和可解释性）之间的权衡。
2022-09-14 cs.CR cs.LG
Privacy Preserving Machine Learning: Threats and Solutions
Iowa State University（爱荷华州立大学）；University of South Florida（南佛罗里达大学）
为了在当前的机器学习系统中充分解决隐私问题，必须弥合机器学习社区和隐私社区之间的知识差距。本文旨在介绍这两个领域的交叉点，特别强调用于保护数据的技术。
2018-03-27 cs.CR cs.LG
AI-Driven Anonymization: Protecting Personal Data Privacy While Leveraging Machine Learning
Sam Houston State University（山姆休斯顿州立大学）；San Fransisco Bay University（旧金山湾大学）；Sun Yat-Sen University（中山大学）；University of Chicago（芝加哥大学）；Guangdong University of Technology（广东工业大学）
本文面向AI应用中的个人数据泄露风险，研究利用机器学习差分隐私算法进行数据加密、匿名化、检测与保护，并分析隐私保护挑战及数据集影响因素。
2024-02-27 cs.AI cs.CR cs.LG
Bridging Privacy and Robustness for Trustworthy Machine Learning
Huazhong University of Science and Technology（华中科技大学）
本文系统研究LDP、MBP、ABP三类隐私概念的理论关系，将其与PAC学习框架下的算法鲁棒性关联，证明隐私机制可赋予PAC鲁棒性并量化隐私泄露对输入鲁棒性的影响，为可信机器学习的隐私-鲁棒性权衡提供统一理论框架。
2025-07-30 cs.AI cs.CR cs.LG
Evaluating Differentially Private Machine Learning in Practice
University of Virginia（弗吉尼亚大学）
差分隐私是一个强有力的隐私概念，可以用来证明形式上的保证，在隐私预算方面，$ε$，关于有多少信息被泄露的机制。然而，隐私保护机器学习的实现通常选择大的$ε$值，以获得可接受的模型效用，而很少了解这种选择对有意义的隐私的影响。此外，在使用迭代学习过程的情况下，使用提供更严格分析的差分隐私变体，这似乎减少了所需的隐私预算，但在隐私和效用之间存在难以理解的权衡。在本文中，我们量化的影响，这些选择的隐私实验与逻辑回归和神经网络模型。我们的主要发现是，即使使用先进的机制，也可以保证隐私损失的上限与使用当前推理攻击可以测量的有效隐私损失之间存在巨大差距。当前的差异私有机器学习机制很少提供可接受的效用-隐私权衡，并保证复杂的学习任务：提供有限准确性损失的设置提供无意义的隐私保证，提供强隐私保证的设置导致无用的模型。实验代码可以在这里找到：https://github.com/bargavj/EvaluatingDPML
2019-08-12 cs.CR cs.LG stat.ML
Statistical Privacy Guarantees of Machine Learning Preprocessing Techniques
Imperial College London（帝国理工学院）；ConsenSys Health
差分隐私为机器学习应用提供了强大的隐私保证。最近的许多工作都集中在开发差异私有模型上，但是在机器学习管道的其他阶段，特别是在预处理阶段，存在差距。我们的贡献是双重的：我们采用基于统计方法的隐私侵犯检测框架，以经验性地测量机器学习管道的隐私级别，并应用新创建的框架来表明，在处理不平衡数据集时使用的恢复技术导致所得模型泄漏更多隐私。这些结果突出了开发私有预处理技术的必要性。
2021-09-06 cs.CR cs.LG
PINFER: Privacy-Preserving Inference for Machine Learning
OneSpan
预计外包机器学习服务的作用将越来越大，这引发了人们对用户数据隐私的担忧。目前正在提出若干技术解决办法来解决这一问题。云数据中心中的硬件安全模块由于其复杂性而仅限于企业客户，而一般的多方计算技术需要大量的消息交换。本文提出了各种隐私保护回归和分类协议，这些协议（i）只需要添加同态加密算法，（ii）将交互限制为仅仅是请求和响应，以及（iii）可以直接用于重要的机器学习算法，如逻辑回归和SVM分类。然后，将基本协议扩展并应用于前馈神经网络。
2019-10-04 cs.AI cs.CR cs.LG
A compressive multi-kernel method for privacy-preserving machine learning
Princeton University（普林斯顿大学）；University of South Florida（南佛罗里达大学）
随着分析工具变得越来越强大，每天产生的数据越来越多，数据隐私问题也随之出现。这导致了隐私保护机器学习算法的设计研究。给定两个目标，即效用最大化和隐私损失最小化，这项工作是基于两个以前不相交的制度-压缩隐私和多核方法。Compressive Privacy是一种隐私框架，它采用效用保持的有损编码方案来保护数据的隐私，而多核方法是一种基于内核的机器学习机制，它探索了使用多个内核来构建更好的预测器的想法。提出的压缩多核方法包括两个阶段-压缩阶段和多核阶段。压缩阶段遵循压缩隐私范例以提供期望的隐私保护。每个核矩阵压缩与有损投影矩阵从判别分量分析（DCA）。多核阶段使用每个核的信噪比（SNR）分数来非均匀地组合多个压缩核。该方法在两个移动传感数据集- MHEALTH和HAR -上进行了评估，其中活动识别被定义为实用程序，人员识别被定义为隐私。实验结果表明，该压缩机制在隐私保护方面是成功的，在所有实验中隐私分类精度几乎都处于随机猜测水平。另一方面，新的基于SNR的多核显示出实用分类精度的提高，在两个数据集的最新技术。这些结果为隐私保护机器学习的研究指明了一个很有前途的方向。
2021-06-20 cs.CR cs.LG stat.ML
Addressing Privacy Threats from Machine Learning
University of California San Diego（加利福尼亚大学圣迭戈分校）
每年在NeurIPS上，机器学习研究人员都会聚集在一起，讨论机器学习在公共卫生、灾难应对、气候变化、教育等领域令人兴奋的应用。然而，这些研究人员中的许多人对机器学习在监视中的应用表示越来越多的关注（Nanayakkara等人，2021年）。本文简要概述了抵制这些监视技术的策略，并呼吁机器学习和人机交互研究人员之间加强合作，以应对这些技术带来的威胁。
2021-10-25 cs.CR cs.CY cs.LG
A Survey on Differential Privacy with Machine Learning and Future Outlook
University of Dayton（戴顿大学）
如今，机器学习模型和应用已经变得越来越普遍。随着机器学习模型的开发和使用的快速增长，对隐私的关注也在上升。因此，有合法的需要来保护数据免受泄漏和任何攻击。可用于保护机器学习模型免受任何攻击和漏洞的最强大和最流行的隐私模型之一是差分隐私（DP）。DP是对隐私的严格而严格的定义，它可以保证对手无法可靠地预测数据集中是否包含特定的参与者。它的工作原理是向数据注入噪声，无论是输入、输出、地面真值标签、目标函数，还是梯度，以减轻隐私问题并保护数据。为此，这篇调查论文提出了不同的私有机器学习算法，分为两大类（传统机器学习模型与深度学习模型）。最后展望了机器学习算法在差分隐私保护中的应用前景。
2022-11-19 cs.CR cs.LG
Differential Privacy in Machine Learning: A Survey from Symbolic AI to LLMs
Department of Computer Science and Artificial Intelligence, University of Granada（计算机科学与人工智能系，格拉纳达大学）
本文综述了差分隐私在机器学习中的应用，从符号AI到大语言模型，探讨了隐私保护方法及评估技术。
2026-03-11 cs.AI cs.CR cs.LG
ML Privacy Meter: Aiding Regulatory Compliance by Quantifying the Privacy Risks of Machine Learning
National University of Singapore（新加坡国立大学）
当使用敏感数据构建机器学习模型时，组织应确保在此类系统中处理的数据得到充分保护。对于涉及个人数据机器学习的项目，GDPR第35条要求其执行数据保护影响评估（DPIA）。除了通过安全漏洞非法访问数据的威胁外，机器学习模型还通过模型预测和参数间接揭示数据，从而对数据构成额外的隐私风险。信息专员办公室（英国）和国家标准与技术研究所（美国）发布的指南强调了模型数据面临的威胁，并建议组织考虑和估计这些风险，以遵守数据保护法规。因此，迫切需要一种可以量化模型数据隐私风险的工具。在本文中，我们专注于这种间接泄漏的训练数据从机器学习模型。我们提出了ML Privacy Meter，这是一个可以通过最先进的成员推断攻击技术量化模型数据隐私风险的工具。我们讨论了该工具如何帮助从业者在部署机器学习模型时遵守数据保护法规。
2020-07-18 cs.CR cs.LG
When Machine Unlearning Jeopardizes Privacy
University of Virginia（弗吉尼亚大学）；University of Lausanne（洛桑大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
被遗忘权是指数据所有者有权从存储数据的实体中删除数据。在机器学习（ML）的上下文中，被遗忘权要求ML模型所有者从用于构建ML模型的训练集中删除数据所有者的数据，这一过程称为机器遗忘。虽然最初的设计是为了保护数据所有者的隐私，但我们认为机器遗忘可能会在ML模型中留下一些数据的印记，从而产生意想不到的隐私风险。在本文中，我们进行了第一次研究调查无意的信息泄漏所造成的机器遗忘。我们提出了一种新的成员推断攻击，它利用ML模型的两个版本的不同输出来推断目标样本是否是原始模型的训练集的一部分，但不在相应的未学习模型的训练集。我们的实验表明，提出的成员推断攻击取得了很好的性能。更重要的是，我们证明了我们的攻击在多个情况下优于对原始ML模型的经典成员推断攻击，这表明机器遗忘可能会对隐私产生反作用。我们注意到，隐私退化对于广义ML模型尤其重要，其中经典的成员推理表现不佳。我们进一步研究了四种机制来减轻新发现的隐私风险，并表明仅发布预测标签、温度缩放和差分隐私是有效的。我们相信，我们的研究结果可以帮助改善隐私保护的实际实现的机器遗忘。我们的代码可在https://github.com/MinChen00/UnlearningLeaks上获得。
2021-09-14 cs.CR cs.LG stat.ML
Challenges of Privacy-Preserving Machine Learning in IoT
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）
物联网（IoT）将成为实现更好系统智能的主要数据生成基础设施。然而，物联网中广泛的数据汇集和处理也产生了各种隐私问题。本文提供了一个分类的现有的隐私保护机器学习方法开发的背景下，云计算，并讨论了将它们应用在物联网的背景下的挑战。此外，我们提出了一种保护隐私的推理方法，该方法在物联网对象处运行轻量级神经网络以在传输之前混淆数据，并在云中运行深层神经网络以对混淆的数据进行分类。基于MNIST数据集的评估显示出令人满意的性能。
2019-09-21 cs.CR cs.LG stat.ML
Every Query Counts: Analyzing the Privacy Loss of Exploratory Data Analyses
Technische Universität Berlin（柏林工业大学）；anacision GmbH（anacision有限公司）
探索性数据分析是每个数据分析师获得见解、评估数据质量和（如果需要）选择机器学习模型进行进一步处理的重要步骤。虽然保护隐私的机器学习正在兴起，但这种初始分析通常不会计入隐私预算。在本文中，我们量化了基本统计功能的隐私损失，并强调了在计算机器学习方法的隐私损失预算时将其考虑在内的重要性。
2020-08-27 cs.CR cs.LG stat.ML
Privacy Preserving Machine Learning for Electronic Health Records using Federated Learning and Differential Privacy
University of Washington（华盛顿大学）
针对电子健康记录的高敏感属性，为保障机器学习模型分析患者数据时的隐私安全，提出结合联邦学习与差分隐私的隐私保护技术方案。
2024-06-23 cs.CR cs.ET cs.LG
A Novel Review of Stability Techniques for Improved Privacy-Preserving Machine Learning
本文综述了多种增强模型稳定性的技术，旨在减少隐私保护所需的随机噪声量，从而最小化隐私化对机器学习模型性能的负面影响。
2024-05-31 cs.CR cs.LG
Quantum Privacy Aggregation of Teacher Ensembles (QPATE) for Privacy-preserving Quantum Machine Learning
Wells Fargo（富国银行）
本文首次将教师集成隐私聚合（PATE）技术应用于量子神经网络集成，提出 QPATE 方法，为量子机器学习模型提供隐私保护。
2024-01-15 cs.CR cs.LG quant-ph
FT-PrivacyScore: Personalized Privacy Scoring Service for Machine Learning Participation
UMBC（马里兰大学巴尔的摩分校）
针对受控数据访问模式下个体数据贡献者无法量化参与机器学习任务的隐私风险这一问题，研究团队开发了FT-PrivacyScore演示原型，可高效定量评估参与模型微调任务的隐私风险，源代码将开源。
2024-10-30 cs.CR cs.LG
Efficient Private Machine Learning by Differentiable Random Transformations
Zhejiang University（浙江大学）
随着人们对隐私保护需求的日益增长，近年来提出了许多隐私保护的机器学习系统。但由于同态加密和安全多方计算（MPC）方法代价高昂，导致训练和推理速度慢，大部分无法投入生产。为了规避这一点，我提出了一个隐私的定义，这是适合在机器学习任务的大量数据。在此基础上，证明了线性变换和随机置换等随机变换可以很好地保护隐私。结合随机变换和算法共享，设计了一个高效、低计算代价的私有机器学习框架。
2020-08-18 cs.CR cs.LG stat.ML
Desensitized RDCA Subspaces for Compressive Privacy in Machine Learning
Princeton University（普林斯顿大学）
对更好的数据分析和人工智能的追求导致越来越多的数据被收集和存储。因此，更多的数据被暴露给恶意实体。本文研究了机器学习分类中的隐私问题。我们利用岭判别成分分析（RDCA）对隐私标签的数据进行脱敏。基于五个实验，我们表明，通过RDCA脱敏可以有效地保护隐私（即隐私标签的准确性低）的效用损失很小。在HAR和CMU Faces数据集上，脱敏数据的使用导致隐私的随机猜测水平准确度平均下降5.14%和0.04%。对于Semeion Handwritten Digit数据集，隐私敏感数字的准确率几乎为零，而实用程序相关数字的准确率平均下降了7.53%。这为机器学习分类中的隐私问题提供了一个很有前途的解决方案。
2017-07-24 cs.CR cs.LG
Evaluations of Machine Learning Privacy Defenses are Misleading
ETH Zurich（苏黎世联邦理工学院）
本文揭示现有机器学习经验性隐私防御评估存在严重缺陷，通过5个案例研究表明先前评估将隐私泄露低估一个数量级，并证明这些防御均无法与调优后的DP-SGD基线竞争。
2024-09-05 cs.CR cs.LG
Systematic Evaluation of Privacy Risks of Machine Learning Models
Princeton University（普林斯顿大学）
机器学习模型倾向于记忆敏感数据，使其容易受到成员推断攻击，其中对手旨在猜测输入样本是否用于训练模型。在本文中，我们表明，以前的工作成员推断攻击可能严重低估了隐私风险，仅仅依靠训练自定义神经网络分类器来执行攻击，只关注数据样本的聚合结果，如攻击的准确性。为了克服这些局限性，我们首先提出了基准成员推理隐私风险，通过改进现有的非神经网络为基础的推理攻击，并提出了一种新的推理攻击方法的基础上修改的预测熵。我们还提出了防御机制的基准，通过考虑具有防御知识的自适应对手，并考虑模型准确性和隐私风险之间的权衡。使用我们的基准攻击，我们证明了现有的防御方法并不像以前报道的那样有效。接下来，我们引入了一种新的方法，通过制定和推导一个新的度量称为隐私风险评分细粒度的隐私分析。我们的隐私风险评分指标衡量了单个样本成为训练成员的可能性，这使得对手能够识别具有高隐私风险的样本并以高置信度执行攻击。我们通过实验验证了隐私风险评分的有效性，并证明了隐私风险评分在各个样本中的分布是异质的。最后，我们进行了深入的调查，以了解为什么某些样本具有高隐私风险，包括与模型敏感性，泛化误差和特征嵌入的相关性。我们的工作强调了对机器学习模型的隐私风险进行系统和严格评估的重要性。
2020-12-09 cs.CR cs.LG stat.ML
Secure Byzantine-Robust Machine Learning
EPFL（洛桑联邦理工学院）
越来越多的机器学习系统被部署到边缘服务器和设备（例如移动电话），并以协作方式进行训练。这种分布式/联合/分散式训练引起了对过程的鲁棒性，隐私性和安全性的一些担忧。虽然在单独处理鲁棒性，隐私或安全性方面已经做了大量的工作，但很少研究它们的组合。在本文中，我们提出了一个安全的两个服务器协议，同时提供输入隐私和拜占庭鲁棒性。此外，该协议具有通信效率高、容错性好、局部差分隐私等优点。
2020-10-18 cs.CR cs.LG stat.ML
Supervised Machine Learning Techniques: An Overview with Applications to Banking
Wells Fargo（富国银行）
本文概述了监督机器学习（SML），重点介绍了银行业的应用。涵盖的SML技术包括Bagging（随机森林或RF），Boosting（梯度提升机或GBM）和神经网络（NN）。我们首先介绍ML任务和技术。接下来是对以下内容的描述：i）基于树的集成算法，包括使用RF的Bagging和使用GBM的Boosting，ii）前馈NN，iii）超参数优化技术的讨论，以及iv）机器学习可解释性。本文最后比较了不同ML算法的特点。本文以银行业信用风险建模为例，说明了算法的实现方法，并对算法结果进行了解释。
2020-07-28 cs.LG q-fin.GN stat.ML
On the Protection of Private Information in Machine Learning Systems: Two Recent Approaches
Google（谷歌）；Pennsylvania State University（宾夕法尼亚州立大学）
最近，机器学习的显着增长导致了对机器学习所依赖的数据隐私的强烈兴趣，以及保护隐私的新技术。然而，关于隐私的旧思想可能仍然有效和有用。本说明回顾了两个最近的著作隐私的智慧，在光的一些早期的文献，特别是由Saltzer和施罗德在20世纪70年代蒸馏的原则。
2017-08-26 cs.CR cs.LG stat.ML
An Overview of Machine Learning Techniques for Radiowave Propagation Modeling
我们给出了一个概述的无线电波传播的建模，基于机器学习算法的最新发展。我们将模型的输入和输出规范以及架构确定为与机器学习驱动的传播模型相关的主要挑战。相关的论文进行了讨论和分类的基础上，他们对每一个这些挑战的方法。重点是在这个充满希望和迅速发展的领域提出的前景和开放的问题。
2021-01-28 cs.LG eess.SP
The Cost of Privacy in Asynchronous Differentially-Private Machine Learning
University of Melbourne（墨尔本大学）；Macquarie University（麦考瑞大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织 Data61）；Australian National University（澳大利亚国立大学）
我们考虑使用位于具有不同隐私设置的多个私有和地理上分散的服务器上的训练数据来训练机器学习模型。由于数据的分布式性质，同时与所有合作的私人数据所有者进行通信可能具有挑战性或完全不可能。在本文中，我们开发了差分私有异步算法，用于在多个私有数据集上协作训练机器学习模型。算法的异步性质意味着，中央学习器与私有数据所有者一对一地交互，只要它们可用于通信，而不需要聚合查询响应来构建整个适应度函数的梯度。因此，该算法有效地扩展到许多数据所有者。我们将隐私成本定义为隐私保护机器学习模型的适应度与在没有隐私问题的情况下训练的机器学习模型的适应度之间的差异。我们证明，我们可以预测所提出的隐私保护异步算法的性能。我们证明了隐私成本的上限与训练数据集平方和隐私预算平方之和的组合大小成反比。我们验证了金融和医疗数据集上的实验的理论结果。实验表明，与仅在其中一个数据集上孤立训练的模型相比，具有至少10，000条隐私预算大于或等于1的记录的10多个数据所有者之间的协作产生了更好的机器学习模型，说明了协作的价值和隐私的成本。如果隐私预算较高，则可以降低协作数据集的数量。
2020-06-29 cs.CR cs.LG eess.SP
Evaluating Privacy-Preserving Machine Learning in Critical Infrastructures: A Case Study on Time-Series Classification
Technical University Kaiserslautern（凯泽斯劳滕工业大学）
随着机器学习在医疗保健和能源等关键基础设施应用中的出现，隐私问题越来越受到利益相关者的关注。关键是要确保模型和数据都不能被用来提取攻击者用来攻击个人的敏感信息，或通过利用关键基础设施来伤害整个社会。机器学习在这些领域的适用性主要是有限的，由于缺乏信任的透明度和隐私约束。各种安全关键用例（主要依赖于时间序列数据）目前在隐私相关的考虑中代表性不足。通过评估几种隐私保护方法对时间序列数据的适用性，我们验证了加密对深度学习的无效性，差分隐私的强数据集依赖性以及联邦方法的广泛适用性。
2021-11-29 cs.CR cs.LG
Privacy-Preserving Machine Learning for Collaborative Data Sharing via Auto-encoder Latent Space Embeddings
Los Andes University（洛斯安第斯大学）；Rappi（Rappi公司）；Amazon（亚马逊）
数据共享过程中的隐私保护机器学习是一项至关重要的任务，它可以在不需要共享原始数据源的情况下实现机器学习（ML）模型的协作训练。当组织必须确保敏感数据在整个ML管道中保持私有时，这一点尤其重要，即，训练和推理阶段。本文提出了一个创新的框架，使用表示学习通过自动编码器生成隐私保护的嵌入式数据。因此，组织可以共享数据表示，以提高机器学习模型在具有用于共享的预测下游任务的多个数据源的场景中的性能。
2022-11-11 cs.CR cs.LG
Gradient Sparsification Can Improve Performance of Differentially-Private Convex Machine Learning
The University of Melbourne（墨尔本大学）
我们使用梯度稀疏化来减少差分隐私噪声对私有机器学习模型性能的不利影响。为此，我们采用压缩感知和加性拉普拉斯噪声来评估差分私有梯度。噪声隐私保护梯度用于执行随机梯度下降以训练机器学习模型。通过将最小梯度项设置为零来实现的稀疏化可以降低训练算法的收敛速度。然而，通过稀疏化和压缩感知，可以降低所传递的梯度的维数和加性噪声的幅度。这些效应之间的相互作用决定了梯度稀疏化是否提高了差分私有机器学习模型的性能。我们在论文中对此进行了分析研究。我们证明，对于小的隐私预算，压缩可以提高隐私保护机器学习模型的性能。然而，对于大的隐私预算，压缩不一定提高性能。直观地说，这是因为隐私保护噪声的影响在大隐私预算制度中是最小的，因此梯度稀疏化的改进不能补偿其较慢的收敛。
2020-12-01 cs.CR cs.LG math.OC
Privacy and Transparency in Graph Machine Learning: A Unified Perspective
Delft University of Technology（代尔夫特理工大学）
图机器学习（GraphML），其中经典的机器学习被推广到不规则的图形域，最近已经享受了复兴，导致了令人眼花缭乱的模型阵列及其在几个领域的应用。随着它越来越适用于敏感领域和政府机构对可信人工智能系统的监管，研究人员已经开始研究图学习的透明度和隐私问题。然而，这些主题主要是独立研究的。在这份立场文件中，我们提供了一个关于GraphML中隐私和透明度相互作用的统一观点。特别是，我们描述的挑战和可能的研究方向，在GraphML的隐私透明度权衡的正式调查。
2022-10-19 cs.CR cs.LG
An Overview and Prospective Outlook on Robust Training and Certification of Machine Learning Models
University of California, Berkeley（加州大学伯克利分校）
在这篇讨论论文中，我们综述了最近围绕机器学习模型鲁棒性的研究。随着学习算法在数据驱动控制系统中变得越来越流行，必须确保其对数据不确定性的鲁棒性，以便维持可靠的安全关键操作。我们首先回顾这种鲁棒性的常见形式，然后讨论用于训练鲁棒机器学习模型的流行和最先进的技术，以及可证明证明这种鲁棒性的方法。从这个统一的强大的机器学习，我们确定和讨论在该领域的未来研究的紧迫方向。
2022-09-27 cs.LG math.OC stat.ML
A Critical Review on the Use (and Misuse) of Differential Privacy in Machine Learning
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）；University of Oklahoma（俄克拉荷马大学）
我们回顾了差分隐私（DP）在机器学习（ML）中的隐私保护。我们表明，在保持学习模型准确性的目标的驱动下，基于DP的ML实现是如此松散，以至于它们不提供DP的事前隐私保证。相反，它们提供的基本上是噪音添加类似于传统的（经常受到批评的）统计披露控制方法。由于缺乏正式的隐私保障，所提供的实际隐私水平必须事后进行实验性评估，而这种评估很少进行。在这方面，我们提出的实证结果表明，ML中的标准抗过拟合技术可以实现比DP更好的效用/隐私/效率权衡。
2022-07-05 cs.CR cs.LG
Quantum machine learning with differential privacy
Brookhaven National Laboratory（布鲁克海文国家实验室）
量子机器学习（QML）可以补充将学习模型用于从图像识别到自然语音处理的各种分类任务的日益增长的趋势。一个量子优势的出现是由于量子运算在经典计算机上的棘手性。机器学习中使用的许多数据集都是众包的，或者包含一些私人信息。据我们所知，当前的QML模型都没有配备隐私保护功能，这引起了人们的担忧，因为模型不暴露敏感信息至关重要。因此，隐私保护算法需要用QML来实现。一种解决方案是使机器学习算法具有差异性，这意味着单个数据点对训练数据集的影响最小化。差分隐私机器学习模型已经被研究过，但是差分隐私还没有在QML的背景下被研究。在这项研究中，我们开发了一个混合量子经典模型，该模型使用差分隐私优化算法进行训练以保护隐私。这标志着隐私保护QML的第一个原理证明。实验表明，差分私有QML可以保护用户敏感信息，而不降低模型的准确性。虽然量子模型是在经典计算机上模拟和测试的，但它显示出在近期量子设备（噪声中间尺度量子[NISQ]）上有效实现的潜力。该方法的成功说明通过空间分类的二维数据集和二进制MNIST分类的分类。这种隐私保护QML的实现将确保NISQ技术的机密性和准确学习。
2021-03-10 cs.AI cs.CR cs.LG
Assessing the Impact of Image Dataset Features on Privacy-Preserving Machine Learning
affiliation1.de（德机构）
本研究探讨图像数据集特征对隐私保护机器学习模型效用与隐私权衡的影响，发现数据集不平衡性、类数及熵值等因素会影响模型性能与隐私保护。
2024-12-11 cs.AI cs.CR cs.CV
Differential Privacy and Machine Learning: a Survey and Review
机器学习的目标是从数据中提取有用的信息，同时通过隐藏信息来保护隐私。因此，似乎很难调和这些相互竞争的利益。然而，在挖掘敏感数据时，它们通常必须平衡。例如，医学研究代表了一个重要的应用，其中需要提取有用的信息并保护患者隐私。解决冲突的方法之一是提取整个人口的一般特征，而不披露个人的私人信息。在本文中，我们考虑差分隐私，最流行和最强大的隐私定义之一。我们探讨机器学习和差分隐私之间的相互作用，即隐私保护机器学习算法和基于学习的数据发布机制。我们还描述了一些理论结果，解决了什么可以学到的差异私人和上界的损失函数的差异私人算法。最后，我们提出了一些开放的问题，包括如何将公共数据，如何处理丢失的数据在私人数据集，以及是否，作为观察到的样本的数量增长任意大，差分私人机器学习算法可以实现在没有成本的效用相比，相应的非差分私人算法。
2014-12-24 cs.CR cs.DB cs.LG
A Survey of Privacy Attacks in Machine Learning
Czech Technical University in Prague（布拉格捷克理工大学）
本文综述了近七年来40余篇针对机器学习的隐私攻击研究，提出攻击分类法和威胁模型，分析泄露原因与攻击方法，并总结防御措施及未来方向。
2023-09-16 cs.CR cs.LG
A Privacy-Preserving Cloud Architecture for Distributed Machine Learning at Scale
Texas, USA（德克萨斯大学）
本文提出一种结合联邦学习、差分隐私和强化学习的隐私保护云架构，实现安全的分布式机器学习部署与持续合规治理。
2025-12-11 cs.AI cs.LG
AIJack: Let's Hijack AI! Security and Privacy Risk Simulator for Machine Learning
本文提出开源库AIJack，通过统一API集成多种攻击与防御方法，用于评估机器学习模型训练和部署中的安全与隐私风险。
2024-04-08 cs.CR cs.LG
PrivacyGuard: A Modular Framework for Privacy Auditing in Machine Learning
Meta.（Meta）
PrivacyGuard 是一个模块化框架，通过多种推理攻击和隐私度量，对机器学习模型进行经验性差分隐私审计，支持可配置分析并易于扩展。
2025-10-27 cs.LG
On the Fairness of Privacy Protection: Measuring and Mitigating the Disparity of Group Privacy Risks for Differentially Private Machine Learning
Southern University of Science and Technology（南方科技大学）；Lingnan University（岭南大学）
针对差分隐私机器学习中跨群体隐私保护公平性未被充分探索的问题，提出新型成员推理博弈以高效评估近似最坏情况群体隐私风险，并增强DP-SGD算法以减少群体隐私风险差异，提升隐私保护公平性。
2025-11-16 cs.AI cs.LG
Encrypted statistical machine learning: new privacy preserving methods
University of Oxford（牛津大学）
我们提出了两种新的统计机器学习方法，旨在学习全同态加密（FHE）数据。继Gentry（2009）之后，FHE方案的引入开辟了隐私保护统计机器学习分析和加密数据建模的前景，而不会损害安全约束。我们提出了量身定制的算法，用于应用极端随机森林，涉及一个新的加密随机分数估计器，以及朴素贝叶斯，涉及类决策边界的半参数模型，并展示了它们如何用于从加密数据中学习和预测。我们证明了这些技术在各种分类数据集上具有竞争力，并提供了有关这些和其他FHE方法的计算实用性的详细信息。
2015-08-27 cs.CR cs.LG stat.ME
Privacy and Trust Redefined in Federated Machine Learning
Edinburgh Napier University（爱丁堡龙比亚大学）；Eight Bells LTD（八钟有限公司）
传统机器学习中的一个常见隐私问题是训练过程需要公开数据。在医疗记录等高度敏感数据的情况下，访问这些信息具有挑战性，并且通常被禁止。幸运的是，隐私保护技术已经开发出来，通过分配训练的计算并确保其所有者的数据隐私来克服这一障碍。将计算分配给多个参与实体引入了新的隐私复杂性和风险。在本文中，我们提出了一个隐私保护的分散工作流程，促进参与者之间的可信联邦学习。我们的概念验证定义了一个信任框架，该框架使用在超级账本项目Aries/Indy/Ursa下开发的分散身份技术进行实例化。只有拥有由适当机构颁发的可验证凭据的实体才能够建立安全的、经过认证的通信渠道，这些渠道被授权参与与心理健康数据相关的联邦学习工作流程。
2021-03-30 cs.CR cs.CY cs.DC
CodedPrivateML: A Fast and Privacy-Preserving Framework for Distributed Machine Learning
University of Southern California（南加州大学）；University of California, Riverside（加州大学河滨分校）
如何训练机器学习模型，同时保持数据的私密性和安全性？我们提出CodedPrivateML，一个快速和可扩展的方法来解决这个关键问题。CodedPrivateML保持数据和模型信息的私密性，同时允许跨分布式工作者进行有效的并行训练。我们描述了CodedPrivateML的隐私阈值，并证明了它对逻辑（和线性）回归的收敛性。此外，通过在Amazon EC2上进行的大量实验，我们证明了CodedPrivateML比基于多方计算（MPC）的加密方法提供了显著的加速。
2021-02-20 cs.CR cs.IT cs.LG
Game-Theoretic Machine Unlearning: Mitigating Extra Privacy Leakage
School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
提出博弈论机器遗忘算法，通过遗忘与隐私模块的竞争关系，在保持模型性能的同时降低额外隐私泄露风险。
2024-11-06 cs.CY cs.LG
Substra: a framework for privacy-preserving, traceable and collaborative Machine Learning
Owkin（奥金公司）；Substra Foundation（Substra基金会）
机器学习很有前途，但它通常需要处理大量敏感数据，这引发了对隐私的担忧。在本白皮书中，我们介绍了Substra，这是一个用于隐私保护，可追溯和协作机器学习的分布式框架。Substra将数据提供者和算法设计者聚集到一个节点网络中，这些节点可以按需训练模型，但需要高级许可制度。为了保证数据隐私，Substra实现了分布式学习：数据永远不会离开节点;只有算法、预测模型和非敏感元数据在网络上交换。计算由分布式账本技术协调，该技术保证了信息的可追溯性和真实性，而无需信任第三方。虽然最初是为医疗保健应用开发的，但Substra并不特定于数据、算法或程序设计语言。它支持多种类型的计算方案，包括联邦学习中常用的并行计算方案。有了适当的指导方针，它可以部署在许多机器学习用例中，其中数据或算法提供商的信任是有限的。
2019-10-25 cs.CR cs.LG
Individualized PATE: Differentially Private Machine Learning with Individual Privacy Guarantees
Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）；Vector Institute（向量研究所）；Free University Berlin（柏林自由大学）；Columbia University（哥伦比亚大学）；University of Toronto（多伦多大学）
将机器学习（ML）应用于敏感领域需要通过正式的隐私框架（如差分隐私（DP））对底层训练数据进行隐私保护。然而，通常情况下，训练数据的隐私是以最终ML模型的实用性为代价的。其中一个原因是DP对所有训练数据点使用一个统一的隐私预算，这必须与所有数据持有者之间遇到的最严格的隐私要求保持一致。在实践中，不同的数据持有者有不同的隐私要求，要求较低的数据持有者的数据点可以为ML模型的训练过程提供更多的信息。为了满足这一需求，我们提出了两种基于教师集合私有聚合（Private Aggregation of Teacher Ensembles，PATE）框架的新方法，以支持具有个性化隐私保证的ML模型的训练。我们正式描述的方法，提供其隐私边界的理论分析，并实验评估其对最终模型的效用使用MNIST，SVHN和成人收入数据集的影响。我们的实证结果表明，个性化隐私方法产生的ML模型比非个性化的基线具有更高的准确性。因此，我们改进了在不同数据持有者同意在不同个人隐私级别贡献其敏感数据的情况下的隐私-效用权衡。
2022-11-08 cs.CR cs.LG
