Analyzing Inference Privacy Risks Through Gradients in Machine Learning
Vanderbilt University（范德堡大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出统一博弈框架系统分析分布式学习中梯度泄露的隐私风险，并通过实验证明数据聚合不足以抵御推理攻击，同时评估多种防御方法并引入基于对抗性金丝雀记录的隐私审计方法。
2024-08-29 cs.AI cs.CR cs.LG
Poison to Detect: Detection of Targeted Overfitting in Federated Learning
Interdisciplinary Centre for Security, Reliability and Trust（安全、可靠性与信任跨学科中心）；University of Luxembourg（卢森堡大学）；KDD Lab - ISTI National Research Council of Italy（KDD实验室—意大利国家研究 council）
研究联邦学习中不诚实编排器诱导特定客户端目标过拟合的威胁，提出标签翻转、后门触发器注入和模型指纹识别三种检测技术，经多数据集和场景评估，能在单客户端攻击中早期有效检测，支持FL系统安全部署。
2026-07-28 cs.AI cs.CR
Linear Model Against Malicious Adversaries with Local Differential Privacy
University of Florida（佛罗里达大学）；Northeastern University（东北大学）
科学合作受益于分布式资源的协作学习，但当数据敏感时仍然难以实现。近年来，隐私保护技术得到了广泛的研究，以分析跨不同机构的分布式数据，同时保护敏感信息。大多数现有的隐私保护技术都是为了抵抗半诚实的对手，并需要密集的计算来执行数据分析。安全的协作学习是显着困难的恶意对手谁可能偏离安全协议的存在。另一个挑战是在隐私保护的情况下保持高计算效率。本文利用矩阵加密技术对数据进行加密，使安全方案能够抵抗选择明文攻击、已知明文攻击和合谋攻击。该加密方案还实现了局部差分隐私。此外，交叉验证研究，以防止过度拟合，而不增加通信成本。在真实数据集上的实验结果表明，与现有的恶意攻击和半诚实模型相比，所提出的方案具有更高的计算效率。
2022-06-29 cs.CR cs.LG stat.ML
Quantifying Overfitting: Evaluating Neural Network Performance through Analysis of Null Space
Iran University of Science and Technology（伊朗科技大学）；Okinawa Institute of Science and Technology（冲绳科学技术研究所）；Institute For Research In Fundamental Sciences（基础科学研究所）
本文提出通过分析神经网络最后一层零空间来量化过拟合，无需访问训练数据或了解训练精度，并在多种架构和数据集上验证了零空间角度模式与泛化能力的关系。
2023-05-30 cs.CR cs.CV cs.LG
Analyzing privacy-aware mobility behavior using the evolution of spatio-temporal entropy
University of Lausanne（洛桑大学）
分析用户的移动性行为对于创建或改进现有服务是非常有用的。为了研究主要使用用户的重要位置的用户的移动性行为，已经进行了若干研究工作。然而，这些现有的分析是非常侵入性的，因为它们需要用户经常访问的地方的知识，从而使得识别它们相当容易。因此，在本文中，我们提出了一个隐私感知的方法来分析用户的移动行为。我们首先提出了一个新的度量的基础上著名的香农熵，称为时空熵，量化的移动性水平的用户在一个时间窗口。然后，我们计算一个序列的时空熵的位置历史的用户表示用户的运动节奏。其次，我们提出了如何研究几组额外的变量对用户的时空熵的演变的影响，如时空，人口和交通变量的平均值。为此，我们使用广义加性模型（GAM）。结果表明，时空熵和GAM是理解单个用户或一组用户移动行为的理想组合。我们还评估了一个全球GAM的预测精度相比，个人GAM和个人自回归综合移动平均（ARIMA）模型。这些最后的结果强调了全局GAM通过检查平均绝对误差（MAE）给出了更准确的时空熵预测。此外，这项研究工作开辟了各种思路，例如预测用户的人口统计数据或通过使用用户的运动节奏特征创建个性化的移动预测模型。
2019-07-05 cs.CR cs.LG stat.ML
A Critical Review on the Use (and Misuse) of Differential Privacy in Machine Learning
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）；University of Oklahoma（俄克拉荷马大学）
我们回顾了差分隐私（DP）在机器学习（ML）中的隐私保护。我们表明，在保持学习模型准确性的目标的驱动下，基于DP的ML实现是如此松散，以至于它们不提供DP的事前隐私保证。相反，它们提供的基本上是噪音添加类似于传统的（经常受到批评的）统计披露控制方法。由于缺乏正式的隐私保障，所提供的实际隐私水平必须事后进行实验性评估，而这种评估很少进行。在这方面，我们提出的实证结果表明，ML中的标准抗过拟合技术可以实现比DP更好的效用/隐私/效率权衡。
2022-07-05 cs.CR cs.LG
Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis Testing: A Lesson From Fano
Meta AI
本文在多重假设检验框架下利用Fano不等式分析离散数据重建攻击，证明隐私参数ε可达O(log M)仍能有效防御攻击，为差分隐私在大ε值下的有效性提供理论依据。
2023-08-10 cs.CR cs.IT cs.LG
OPTT: Optimal Piecewise Transformation Technique for Analyzing Numerical Data under Local Differential Privacy
隐私保护数据分析（PPDA）由于其广泛的应用而受到越来越多的关注。本地差分隐私（LDP）作为一种适用于PPDA的新兴标准，已被广泛部署到各种现实场景中，用于分析海量数据，同时防止多种形式的隐私泄露。在本研究中，我们主要关注于分析局部差分隐私下数值资料的分段转换技术（PTT）。本文提出了一个基于LDP的PTT原则框架，并在此基础上对PTT进行了系统的研究。结果表明：（1）PTTs中的许多成员在用于获得数值数据均值的无偏估计时是渐近最优的;（2）对于给定的隐私预算，存在达到方差理论下限的PTT.接下来，我们通过详细研究两类PTT来证明：（1）与常用技术相比，不存在最佳PTT，即，Duchi的方案，在一致性噪声方差方面，（2）另一方面，人们有能力找到大量的PTT，这些PTT在最坏情况的噪声方差方面始终比后者更优，这是迄今为止从未报道过的。当我们被限制为只考虑高隐私级别时，足够的PTT比众所周知的拉普拉斯机制更优。最后，我们证明了，对于一个家庭的PTT，相应的噪声方差的理论下界遵循$O(ε^{-2})$时，考虑到高的隐私水平。
2021-12-09 cs.CR
Privacy Auditing of Multi-domain Graph Pre-trained Model under Membership Inference Attacks
针对多领域图预训练模型在成员推断攻击中的隐私风险，提出MGP-MIA框架，通过信号放大、影子模型构建和相似性推断机制提升攻击效果。
2025-11-22 cs.AI cs.CR cs.LG
Preserving Privacy in GANs Against Membership Inference Attack
École de technologie supérieure（高等技术学院）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）；McGill University（麦吉尔大学）；ILLS - International Laboratory on Learning Systems（国际学习系统实验室）；MILA - Quebec AI Institute（魁北克人工智能研究所）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
针对GAN易受成员推理攻击、现有防御方案存在合成数据质量下降或不适配小数据集的问题，提出MEGAN和MIMGAN两种防御框架，可将攻击准确率降至随机猜测水平且合成数据质量损失较小。
2023-11-06 cs.CR cs.LG eess.SP
Summarizing and Analyzing the Privacy-Preserving Techniques in Bitcoin and other Cryptocurrencies
本文综述 Bitcoin 等加密货币面临的去匿名化攻击与分析技术，分析各类隐私保护算法及其解决的问题，并探讨其伦理、影响、合法性与接受度。
2024-09-09 cs.CR
Health App Reviews for Privacy & Trust (HARPT): A Corpus for Analyzing Patient Privacy Concerns, Trust in Providers and Trust in Applications
Institute for Data Science & Informatics, University of Missouri（密苏里大学数据科学与信息学研究所）；Dept. Electrical Engineering & Computer Science, University of Missouri（密苏里大学电气工程与计算机科学系）；Dept. of Computer Science, Yale University（耶鲁大学计算机科学系）
HARPT语料库通过大规模标注的患者评论，旨在提升对电子健康应用中隐私和信任问题的研究能力。
2025-11-24 cs.CR cs.HC cs.LG
Analyzing Privacy Breaches in the Aircraft Communications Addressing and Reporting System (ACARS)
飞机通信、寻址和报告系统（ACARS）的使用方式随着时间的推移发生了重大变化。虽然最初用于商业客机跟踪其航班并为机组人员提供自动计时，但今天它作为多用途的空地数据链路，为许多航空利益相关者提供服务，包括私人飞机所有者，国家行为者和军方。由于ACARS消息仍然主要通过无线信道以明文发送，因此使用ACARS发送的任何敏感信息都可能导致用户隐私泄露。当然，不同的利益相关者认为不同类型的数据是敏感的。在本文中，我们提出了一个隐私框架匹配航空利益相关者的一系列敏感信息类型，并评估每个的影响。基于超过一百万个ACARS消息，收集了几个月，然后，我们证明，目前的ACARS使用系统地侵犯隐私的所有利益相关者群体。我们进一步支持我们的调查结果，为每个群体提供了一些重大隐私问题的案例，并分析了此类泄漏的影响。虽然众所周知，ACARS消息容易受到窃听攻击，但这项工作是第一次量化现实世界中相关航空利益相关者隐私泄露的程度和影响。
2017-05-19 cs.CR cs.CY
A Statistical Viewpoint on Differential Privacy: Hypothesis Testing, Representation and Blackwell's Theorem
University of Pennsylvania（宾夕法尼亚大学）
本文从统计视角重新解读差分隐私，基于Blackwell定理证明其所有定义可从假设检验视角推导，提出f-差分隐私统一框架并分析其在多领域应用中的优势，论证假设检验是推理差分隐私的恰当语言。
2024-10-29 cs.CR cs.LG math.ST
FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation
University of Cambridge（剑桥大学）；University of Birmingham（伯明翰大学）
FLea框架通过全局特征缓冲区、激活混合特征增强和混淆方法，在保护隐私的前提下缓解联邦学习中数据稀缺与标签偏斜导致的本地过拟合和漂移问题，并在多种设置下优于现有方法。
2024-07-02 cs.CR cs.DC cs.LG
Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks against Centralized and Federated Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；National University of Singapore（新加坡国立大学）
深度神经网络容易受到各种推理攻击，因为它们记住了有关其训练数据的信息。我们设计了白盒推理攻击来对深度学习模型进行全面的隐私分析。我们通过完全训练模型的参数以及训练过程中模型的参数更新来测量隐私泄漏。我们设计了集中式和联邦学习的推理算法，相对于被动和主动推理攻击者，并假设不同的对手先验知识。我们评估了针对深度学习算法的新型白盒成员推理攻击，以跟踪其训练数据记录。我们表明，一个简单的扩展已知的黑盒攻击的白盒设置（通过分析激活函数的输出）是无效的。因此，我们通过利用随机梯度下降算法的隐私漏洞来设计针对白盒设置的新算法，该算法用于训练深度神经网络。我们调查了深度学习模型可能泄露其训练数据信息的原因。然后，我们通过分析CIFAR数据集的最先进的预训练和公开可用的模型，证明即使是广义模型也很容易受到白盒成员推断攻击。我们还展示了在联邦学习环境中，对抗性参与者如何成功地对其他参与者进行主动成员推理攻击，即使全局模型达到了很高的预测精度。
2020-06-06 cs.CR cs.LG stat.ML
Trade-offs between membership privacy & adversarially robust learning
University College London（伦敦大学学院）
从历史上看，机器学习方法在设计时并没有考虑到安全性。反过来，这又产生了对抗性的例子，仔细扰动输入样本，旨在误导检测在测试时，已被应用于攻击垃圾邮件和恶意软件分类，最近攻击图像分类。因此，大量的研究致力于设计对对抗性示例鲁棒的机器学习方法。不幸的是，除了鲁棒性之外，安全和安全的机器学习模型还必须满足其他要求，例如公平性和隐私性。Song et al.（2019）最近的研究表明，经验表明，健壮和私有机器学习模型之间存在权衡。设计为对对抗性示例具有鲁棒性的模型通常比标准（非鲁棒）模型在训练数据上更大程度地过拟合。如果数据集包含隐私信息，那么通过观察模型的输出来分离训练和测试数据的任何统计测试都可能代表隐私泄露，如果模型在训练数据上过拟合，这些统计测试就会变得更容易。在这项工作中，我们确定设置标准模型将过拟合到更大程度上相比，强大的模型，并在以前的作品中，根据经验观察，设置相反的行为发生。因此，不一定必须牺牲隐私来实现鲁棒性。过度拟合的程度自然取决于可用于训练的数据量。我们继续描述训练集大小如何影响通过在简单的高斯数据任务上训练鲁棒模型所暴露的隐私风险，并根据经验表明我们的研究结果适用于图像分类基准数据集，如CIFAR-10和CIFAR-100。
2022-01-08 cs.CR cs.LG stat.ML
Predicting Privacy Leakage from Weight Spectral Density
University of the West of England（西英格兰大学）
本研究利用重尾自正则化框架下的廉价谱度量（如稳定秩和Log alpha-Norm）预测成员推理攻击的隐私泄露，发现其关联强于传统泛化差距，为可扩展隐私审计提供了新方向。
2026-09-11 cs.CR cs.LG cs.NE
FinP: Fairness-in-Privacy in Federated Learning by Addressing Disparities in Privacy Risk
University of California, Irvine（加州大学尔湾分校）
针对联邦学习中隐私风险分布不均的问题，提出FinP框架，通过服务器端自适应聚合和客户端正则化技术，减轻源推理攻击风险，将隐私暴露差异降低57.14%，同时保持模型效用与基线相当。
2026-06-18 cs.CR cs.LG
Analyzing Privacy Implications of Data Collection in Android Automotive OS
本文针对Android Automotive OS的数据收集隐私问题，开发了名为PriDrive的分析工具，通过网络流量检查及静态与动态分析，揭示了OEM平台在车辆数据收集频率与隐私政策披露上存在的显著差异与违规现象。
2024-09-23 cs.CR
Decoding the Legalese: A Scalable and Quantitative Framework for Analyzing Corporate Privacy Policies
University of Michigan（密歇根大学）；University of North Florida（北佛罗里达大学）
本研究提出一个基于大型语言模型的可扩展框架，将10,000个网站隐私政策转化为结构化数据，并引入四个维度的定量指标，以评估用户保护与商业利益之间的张力。
2026-09-23 cs.CR cs.CY
Collecting and Analyzing Multidimensional Data with Local Differential Privacy
Ocean University of China（中国海洋大学）；National University of Singapore（新加坡国立大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Nanyang Technological University（南洋理工大学）；Samsung Research, Samsung Electronics（三星电子三星研究院）；Northeastern University（东北大学）
局部差分隐私（LDP）是最近提出的用于收集和分析数据的隐私标准，其已经被使用，例如，在Chrome浏览器、iOS和macOS中。在LDP中，每个用户在本地扰动她的信息，并且只将随机化的版本发送给执行分析的聚合器，这保护了用户和聚合器免受私人信息泄漏。虽然LDP近年来吸引了大量的研究关注，但大多数现有工作都集中在将LDP应用于复杂的数据和/或分析任务。在本文中，我们指出，在LDP下收集多维数据的基本问题还没有得到充分的解决，仍然有很大的改进空间，即使是基本的任务，如计算平均值在一个单一的数值属性下LDP。出于这一动机，我们首先提出了新的LDP机制收集的数值属性，其准确性至少是不差（通常更好）比现有的解决方案在最坏情况下的噪声方差。然后，我们将这些机制扩展到可以包含数值和分类属性的多维数据，其中我们的机制在最坏情况下的噪声方差方面始终优于现有的解决方案。作为一个案例研究，我们应用我们的解决方案来构建一个符合LDP的随机梯度下降算法（SGD），该算法为许多重要的机器学习任务提供了动力。使用真实数据集的实验证实了我们的方法的有效性，以及它们相对于现有解决方案的优势。
2019-06-28 cs.CR cs.CY cs.DB
SoK: A Review of Differentially Private Linear Models For High-Dimensional Data
Booz Allen Hamilton（博兹·艾伦·汉密尔顿）；University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；Air Force Research Laboratory（空军研究实验室）
本文系统综述了高维差分隐私线性模型的优化方法，并通过实证比较发现鲁棒算法与坐标优化算法性能最优，同时公开了全部实现代码。
2024-04-01 cs.CR cs.LG stat.ML
Privacy-preserving Prompt Personalization in Federated Learning for Multimodal Large Language Models
针对联邦提示个性化中的隐私泄露问题，提出SecFPP协议，通过分层提示适配和基于秘密共享的自适应聚类算法，在保证隐私的同时实现卓越的个性化性能。
2025-05-28 cs.CR
Analyzing Confidentiality and Privacy Concerns: Insights from Android Issue Logs
上下文：发布后的用户反馈在提高软件质量和提供新功能方面起着不可或缺的作用。鉴于其日益重要性，关于加强安全的反馈尤其值得注意。在考虑Android的快速发展时，我们研究了其利益相关者报告的Android安全威胁的规模和严重性。目的：我们系统地挖掘Android问题日志，以深入了解利益相关者对某些Android安全问题的看法和经验。方法：我们采用上下文分析技术来研究最近三个主要Android版本中提出的有关机密性和隐私的问题，考虑利益相关者评论的协方差以及用户偏好和优先级的一致性水平。结果：保密和隐私问题的严重程度各不相同，最普遍的果冻豆释放。在保密方面提出的问题主要涉及访问、用户凭证和许可管理，而对隐私的关切主要涉及电话锁定。社区用户对新的安全功能也表达了不同的偏好，从更宽松到非常严格。结论：支持对新旧Android版本采取持续纠正措施的策略可能会保持利益相关者的信心。一种为用户提供基本默认安全设置的方法，但如果需要，可以配置额外的安全功能，这将为Android的广泛利益相关者群体提供最佳平衡。
2021-02-24 cs.CR cs.SE
Improved Generalization Guarantees in Restricted Data Models
Harvard University（哈佛大学）
众所周知，差分隐私可以防止由于自适应或探索性数据分析而导致的有效性威胁-即使分析师对抗性地搜索与底层人群的感兴趣数量的真实值不同的统计估计。这种保护的代价是差分隐私造成的准确性损失。在这项工作中，受基因组学文献中的标准模型的启发，我们考虑了数据模型，其中个体由一系列属性表示，其中远距离属性仅弱相关。我们表明，在这种假设下，可以在数据的不同部分上“重用”隐私预算，从而在不增加过度拟合风险的情况下显著提高准确性。
2022-07-20 cs.CR cs.CY cs.LG
Exact and Efficient Bayesian Inference for Privacy Risk Quantification (Extended Version)
本文提出基于多元高斯分布的精确贝叶斯推断引擎，替代Privug中的MCMC近似方法，实现高效准确的隐私风险量化，并在公共统计发布场景中验证其优越性及差分隐私分析能力。
2023-08-31 cs.CR
Privacy- and Utility-Preserving Textual Analysis via Calibrated Multivariate Perturbations
Amazon（亚马逊）
准确地从用户数据中学习，同时提供可量化的隐私保证，这为在维护用户信任的同时构建更好的ML模型提供了机会。本文提出了一种形式化的方法来进行隐私保护文本扰动使用的概念dx隐私设计，以实现地理位置数据的不可否认性。我们的方法适用于仔细校准的噪音，以向量表示的话，在一个高维空间定义的词嵌入模型。我们提出了一个隐私证明，满足DX隐私的隐私参数提供保证相对于由词嵌入空间定义的距离度量。我们演示了如何通过分析GloVe和fastText嵌入的大规模分析支持的似是而非的可否认性统计数据来选择。我们对2个基线模型进行隐私审计实验，并在3个数据集上进行效用实验，以证明不同任务类型上不同值的隐私和效用之间的权衡。我们的研究结果证明了实用性（训练二进制分类器的效用损失< 2%），同时提供了比基线模型更好的隐私保证。
2019-10-20 cs.CL cs.CR cs.LG
Analyzing Consumer IoT Traffic from Security and Privacy Perspectives: a Comprehensive Survey
Key Laboratory of Data and Intelligent System Security, Ministry of Education, China (DISSec)（数据与智能系统安全重点实验室，教育部，中国（DISSec））；Tianjin Key Laboratory of Network and Data Security Technology (NDST)（天津网络与数据安全技术重点实验室（NDST））；College of Cryptology and Cyber Science, Nankai University（密码与网络安全科学学院，南开大学）；DISSec；NDST；College of Computer Science, Nankai University（计算机科学学院，南开大学）；School of Computer Science and Technology, Hangzhou Dianzi University（计算机科学与技术学院，杭州电子科技大学）
本文综述2018年1月至2024年6月的310篇文献，梳理CIoT流量分析流程，按设备指纹、活动推断、恶意流量检测和测量四类归纳研究，并指出未来安全隐私方向。
2025-05-14 cs.AI cs.CR cs.LG
Analyzing Bias in Sensitive Personal Information Used to Train Financial Models
IBM Research — Africa（IBM研究院（非洲））
数据中的偏差可能会产生意想不到的后果，这些后果会传播到机器学习模型的设计、开发和部署中。在金融服务部门，这可能导致某些金融工具和服务的歧视。与此同时，数据隐私至关重要，最近的数据泄露事件对大型机构的声誉造成了损害。本文提出的是一个可信的模型生命周期管理平台，试图确保消费者数据保护，匿名和公平。具体来说，我们研究了如何使用深度学习技术来复制数据集，以有效地保留数据集中的重要统计特征，同时保护数据隐私，并在当前实践状态之外安全可靠地共享敏感的个人信息。
2019-11-09 cs.CR cs.DB cs.LG
Privacy-Preserving Matrix Factorization for Recommendation Systems using Gaussian Mechanism
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出基于差分隐私框架与矩阵分解的隐私保护推荐系统，利用高斯机制输出扰动和 Rényi 差分隐私，在真实数据上验证了严格隐私下仍可保持良好推荐效用。
2023-04-11 cs.CR cs.IR cs.LG
SoK: Privacy-Preserving Collaborative Tree-based Model Learning
Laboratory for Data Security -- EPFL（数据安全实验室 -- 洛桑联邦理工学院）
基于树的模型因其准确性、可解释性和简单性而成为当今数据采掘最有效的机器学习技术之一。最近对更多数据和隐私保护的正交需求要求协作隐私保护解决方案。在这项工作中，我们调查了文献的分布式和隐私保护训练的基于树的模型，我们系统化的知识的基础上的四个轴：学习算法，协作模型，保护机制，和威胁模型。我们用它来识别这些作品的优点和局限性，并首次提供了一个框架，分析分布式基于树的模型学习中发生的信息泄漏。
2021-06-18 cs.CR cs.LG
Adversarial Privacy Preserving Graph Embedding against Inference Attack
University of Electronic Science and Technology of China（电子科技大学）；Georgia State University（佐治亚州立大学）
最近，物联网（IoT）、移动设备、社交媒体等的普及为图形数据开辟了大量来源。图嵌入已被证明是非常有用的学习低维特征表示从图结构化数据。这些特征表示可用于从节点分类到链接预测的各种预测任务。然而，现有的图嵌入方法没有考虑用户的隐私，以防止推理攻击。也就是说，攻击者可以通过分析从图嵌入算法学习的节点表示来推断用户的敏感信息。在本文中，我们提出了对抗隐私图嵌入（APGE），这是一个图对抗训练框架，它集成了解开和清除机制，以从学习的节点表示中删除用户的隐私信息。该方法保留了图的结构信息和效用属性，同时隐藏了用户的私有属性，避免了推理攻击。在真实世界的图数据集上进行的大量实验表明，与最先进的算法相比，APGE具有更好的性能。我们的源代码可以在https://github.com/uJ62JHD/Privacy-Preserving-Social-Network-Embedding上找到。
2020-08-30 cs.CR cs.LG stat.ML
A Comprehensive Survey on Local Differential Privacy Toward Data Statistics and Analysis
收集和分析从智能设备生成的大量数据在人群感知中变得越来越普遍，这是数据驱动决策的基石。但是，对这些数据进行广泛的统计和分析将严重威胁参与用户的隐私。局部差分隐私（LDP）是一种优秀的分布式隐私模型，能够在数据收集和分析过程中为每个用户提供强隐私保护。LDP确保每个用户的数据首先在客户端进行本地扰动，然后发送到服务器端，从而保护数据免受客户端和服务器端的隐私泄露。该调查全面系统地概述了LDP的隐私模型、研究任务、启用机制和各种应用程序。具体而言，我们首先提供了一个理论总结LDP，包括LDP模型，LDP的变种，LDP算法的基本框架。然后，我们从频率估计、均值估计和机器学习的角度研究和比较了用于各种数据统计和分析任务的不同LDP机制。此外，我们还总结了实际的基于LDP的应用场景。最后，我们概述了LDP下的几个未来研究方向。
2021-01-28 cs.CR
Effectiveness of L2 Regularization in Privacy-Preserving Machine Learning
Centre for Research and Technology Hellas（希腊研究与技术中心）；Hellenic Institute of Transport（希腊运输研究所）；University of Patras（帕特雷大学）
本文针对成员推理攻击带来的训练数据隐私风险，系统比较L2正则化与差分隐私在缓解该攻击方面的有效性。
2024-12-02 cs.AI cs.CR cs.LG
How the Future Works at SOUPS: Analyzing Future Work Statements and Their Impact on Usable Security and Privacy Research
本文分析了2019年SOUPS会议论文集的未来工作声明及其对后续978篇引用文献的影响，发现这些声明因含糊不清且难以寻找而影响有限，并据此提出了改进建议。
2024-05-30 cs.CR cs.CY
Privacy Re-identification Attacks on Tabular GANs
Norwegian University of Science and Technology（挪威科技大学）
本文研究表格型 GAN 合成数据的隐私重识别攻击，分析不同攻击者知识水平下的风险，并发现黑盒访问生成模型及进化多目标优化重构攻击会显著加剧隐私泄露。
2024-03-31 cs.CR cs.LG
Analyzing the Shuffle Model through the Lens of Quantitative Information Flow
本文在定量信息流（QIF）框架内严格分析了本地差分隐私（LDP）与 Shuffle 模型的组合，推导出精确表达信息泄漏的闭式公式，并证明该组合在不知情对手下能提供比强对手假设更现实的隐私保证。
2023-05-22 cs.CR
Quantifying and Mitigating Privacy Risks of Contrastive Learning
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全研究中心 (CISPA Helmholtz Center for Information Security)）
在过去的十年中，数据是推动机器学习（ML）发展的关键因素。然而，高质量的数据，特别是标记的数据，往往是困难和昂贵的收集，利用大规模的未标记的数据，自监督学习，以对比学习，介绍。对比学习的目的是映射从训练样本导出的不同视图（例如，通过数据增强）在它们的表示空间中更近，而从不同样本导出的不同视图更远。通过这种方式，对比模型学习为数据样本生成信息表示，然后用于执行下游ML任务。最近的研究表明，机器学习模型容易受到各种隐私攻击。然而，目前的大部分努力集中在用监督学习训练的模型上。同时，通过对比学习获得的数据样本的信息表示也可能导致严重的隐私风险。在本文中，我们进行了第一次隐私分析的对比学习通过镜头的成员推理和属性推理。我们的实验结果表明，在图像数据集上训练的对比模型不太容易受到成员推断攻击，但更容易受到属性推理攻击相比，监督模型。前者是由于对比模型不太容易过拟合，而后者是由于对比模型表达数据样本的能力。为了弥补这种情况，我们提出了第一个隐私保护的对比学习机制，Talos，依赖于对抗训练。实验结果表明，Talos可以成功地降低属性推理风险的对比模型，同时保持他们的成员隐私和模型效用。
2021-09-21 cs.CR cs.LG
A Discussion and Comparative Study on Security and Privacy of Smart Meter Data
云计算伴随着隐私和安全问题带来了很多高级功能。智能电表数据利用智能电网中的云计算。通过分析家用电器产生的智能电表数据，用户的隐私可能会受到损害。当数据转移到云端时，用户失去了对数据的控制。本文介绍了云环境下智能电表数据的隐私和安全问题。我们还比较了现有的方法来保护智能电表数据的隐私和安全性。
2021-11-17 cs.CR
Analyzing Information Leakage of Updates to Natural Language Models
Microsoft（微软）；University of Melbourne（墨尔本大学）
为了不断提高质量并反映数据的变化，机器学习应用程序必须定期重新训练和更新其核心模型。我们表明，差异分析的语言模型快照之前和之后的更新可以揭示一个令人惊讶的数量的详细信息的变化，在训练数据。我们提出了两个新的度量- \emph{differential score}和\emph{differential rank} -用于分析由于自然语言模型更新而导致的泄漏。我们使用这些指标对使用不同方法和配置在几个不同数据集上训练的模型进行泄漏分析。我们讨论我们的研究结果的隐私影响，提出缓解策略，并评估其效果。
2021-08-05 cs.CL cs.CR cs.LG
PTMF: A Privacy Threat Modeling Framework for IoT with Expert-Driven Threat Propagation Analysis
本文提出PTMF框架，结合MITRE ATT&CK与LINDDUN，通过专家问卷分析12种物联网隐私威胁，识别关键威胁行为者及路径，为主动隐私防护提供基础。
2025-10-24 cs.CR
Modeling Neural Networks with Privacy Using Neural Stochastic Differential Equations
Oregon State University（俄勒冈州立大学）；Arizona State University（亚利桑那州立大学）；Sandia National Laboratories（桑塔纳国家实验室）
本文提出利用神经随机微分方程（NSDEs）建模神经网络以增强隐私，相比传统模型（如ResNets）成员推断风险减半，并提供与DP-SGD相当的隐私保证及更优的隐私-效用权衡。
2025-06-20 cs.CR cs.LG
Adaptive Statistical Learning with Bayesian Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
在统计学习中，数据集通常被划分为两个部分：训练集和保持集（即，测试）集合。例如，训练集用于学习预测器，然后保持集用于估计预测器在真实分布上的准确性。然而，在实践中，经常会重复使用保持数据集，并且基于先前估计的结果自适应地选择在保持数据集上测试的估计，导致预测器可能变得依赖于保持集。因此，可能会发生过拟合，并且学习的模型可能无法很好地推广到看不见的数据集。先前的研究已经建立了学习算法的稳定性和它的泛化能力之间的联系，但传统的泛化是不鲁棒的自适应组合。最近，Dwork等人在NIPS，STOC和Science 2015中表明，来自i.i.d.如果使用为差分隐私开发的技术来扰动和协调估计，则数据样本可以在自适应统计学习中被重新使用，差异隐私是量化隐私的广泛使用的概念。然而，Dwork等人的结果仅适用于i.i.d.的情况。样品相比之下，数据样本之间的相关性存在，因为用户之间的各种行为，社会和遗传关系。我们在自适应统计学习中的结果推广了Dwork等人的结果。数据样本到任意相关的数据。具体来说，我们证明了相关样本的holdout数据集可以在自适应统计学习中重用，如果使用贝叶斯差分隐私开发的技术对估计进行扰动和协调，这是Yang等人最近在SIGMOD 2015中引入的隐私概念，以拓宽数据记录相关时差分隐私的应用场景。
2019-11-02 cs.CR cs.CY cs.LG
Unraveling Privacy Threat Modeling Complexity: Conceptual Privacy Analysis Layers
本文针对隐私威胁分析中“如何发现威胁”不清晰的问题，提出功能、生态系统、业务上下文和环境四个概念层次来结构化隐私分析支持，以提升分析过程的可操作性。
2024-08-07 cs.CR
Balancing Privacy Protection and Interpretability in Federated Learning
联邦学习（FL）的目标是通过将模型参数从本地客户端共享到中央服务器，以分布式方式协作训练全局模型，从而潜在地保护用户的私有信息。然而，最近的研究表明，FL仍然遭受信息泄漏，因为对手试图通过分析来自本地客户端的共享参数来恢复训练数据。为了解决这个问题，差分隐私（DP）被用来添加噪声的局部模型的梯度聚集之前。然而，它导致基于梯度的可解释性方法的性能较差，因为一些权重捕获的显着区域的特征地图将被扰动。为了克服这个问题，我们提出了一个简单而有效的自适应差分隐私（ADP）机制，选择性地添加噪声扰动的梯度客户端模型在FL。我们还从理论上分析了梯度扰动对模型可解释性的影响。最后，在IID和非IID数据上的实验表明，所提出的ADP可以在FL中实现隐私性和可解释性之间的良好权衡。
2023-02-16 cs.CR cs.LG
Don't Trust the AI Ecosystem: Analyzing Privacy Leakage in Compromised Open-Source Components
Yonsei University（延世大学）；National Institute of Information and Communications Technology（信息通信技术研究所）；University of Hyogo（兵库大学）
该研究提出GradLock新型训练时注入攻击，将敏感数据注入模型参数，可从最终模型提取像素级完美数据，鲁棒性强且难被检测，揭示AI供应链安全存在严重盲点。
2026-08-03 cs.CR
Analyzing the BrowserID SSO System with Primary Identity Providers Using an Expressive Model of the Web
BrowserID是Mozilla最近开发的一个复杂的、真实的Web应用程序单点登录（SSO）系统。它采用新的HTML5功能（如Web消息和Web存储）和加密断言来提供分散的登录，旨在尊重用户的隐私。它可以在主要和次要身份提供者模式下操作。在主模式下，BrowserID与任意身份提供程序（IdP）一起运行，而在辅助模式下，只有一个IdP，即Mozilla的默认IdP。最近，我们提出了一个表达的通用模型的Web基础设施，并在此Web模型的基础上，分析了二级身份验证模式的BrowserID的安全性。分析揭示了几个严重的弱点。在本文中，我们通过分析BrowserID的更复杂的主IdP模式来补充我们之前的工作。我们不仅像以前一样研究认证属性，而且还研究隐私属性。在我们的分析过程中，我们发现了不适用于二级模式的新的和实际的攻击：身份注入攻击，它违反了SSO系统的中央身份验证属性，以及破坏BrowserID的重要隐私承诺的攻击，如果不对系统进行重大重新设计，这些攻击似乎是不可修复的。我们对隐私的一些攻击利用了浏览器侧通道，到目前为止还没有得到很多关注。对于身份验证错误，我们提出了一个修复方案，并在我们的通用Web模型的轻微扩展中正式证明，修复后的系统满足我们考虑的所有要求。这构成了迄今为止基于Web基础设施的表达模型的Web应用程序的最复杂的形式化分析。作为另一个贡献，我们确定并证明了重要的安…
2015-04-01 cs.CR
Cybersecurity Information Exchange with Privacy (CYBEX-P) and TAHOE -- A Cyberthreat Language
University of Nevada, Reno（内华达大学里诺分校）
网络安全信息共享（CIS）旨在更有效地保护组织免受高级网络攻击。然而，完全自动化的CIS平台并没有被广泛采用。主要挑战是：（1）缺乏强大的网络威胁语言（CTL）和（2）对数据隐私的担忧。这项工作介绍了网络安全信息交换与隐私（CYBEX-P），作为一个CIS框架，以应对这些挑战。CYBEX-P允许组织通过基于属性的隐私控制来共享异构数据。它将数据关联起来，自动生成直观的报告和防御规则。为了实现这样的通用性，我们已经开发了TAHOE -一个基于图形的CTL。TAHOE是一种用于存储、共享和分析威胁数据的结构。它还内在地关联数据。我们进一步开发了一个通用的威胁数据查询语言（TDQL）。在本文中，我们提出了CYBEX-P的系统架构，然后讨论了它的可扩展性和隐私功能，以及CYBEX-P提供基础设施即服务（IaaS）的用例。我们进一步引入TAHOE和TDQL作为现有CTL的更好的替代品，并制定了ThreatRank -一种检测新恶意事件的算法，
2021-06-03 cs.CR cs.LG
A Simple Algorithm for Estimating Distribution Parameters from $n$-Dimensional Randomized Binary Responses
随机化响应对于隐私保护数据汇集是有吸引力的，因为所提供的隐私可以通过诸如差分隐私之类的手段来量化。然而，恢复和分析涉及多个相关随机化二进制属性的统计数据可能很困难，这对使用构成了重大障碍。在这项工作中，我们解决这个问题，通过识别和分析一个家庭的响应随机改变每个二进制属性独立相同的概率。Google的Rappor随机发生器的模式以及两个著名的经典随机化回答方法，Warner的原始方法和Simmons的无关问题方法的应用都属于这个家族。我们表明，在这个家庭的随机变换多项式分布参数的可逆和双对称$2 \times 2$矩阵的迭代克罗内克积。这使我们能够提出一个简单而有效的算法，获得无偏的最大似然参数估计$k$路边际随机响应，并提供理论界的统计效率。我们还描述了效率-差分隐私权衡。重要的是，响应的随机化和估计算法都易于实现，这是隐私保护和安全技术的关键方面。
2018-07-13 cs.CR
Contraction of $E_γ$-Divergence and Its Applications to Privacy
Harvard University（哈佛大学）；Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas (IIMAS), Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所（IIMAS））
研究了由强数据处理不等式导出的$E_γ$ -发散的压缩系数。通过将著名的Dobrushin系数从全变差距离推广到$E_γ$ -散度，我们得到了$E_γ$ -散度收缩的封闭形式表达式。这一结果在两种隐私设置中具有根本性的后果。首先，它意味着局部差分隐私可以等价地表示为$E_γ$ -发散的收缩。这个等价公式可以用来精确地量化局部隐私的影响（贝叶斯和极大极小）估计和假设检验问题的有效样本量的减少。其次，它导致了一个新的信息理论技术分析在线算法的隐私保证。在这种技术中，我们认为这样的算法作为一个组合的振幅约束高斯信道，然后将其收缩系数下$E_γ$发散的整体差分隐私保证。作为一个例子，我们应用我们的技术来获得梯度下降的差分隐私参数。此外，我们还表明，这个框架可以定制的批处理学习算法，可以实现一遍的训练数据集。
2023-02-10 cs.CR cs.IT cs.LG
Adversarial Attacks on Locally Private Graph Neural Networks
Indian Institute of Technology Kharagpur（印度理工学院加尔各答分校）；University of Connecticut（康涅狄格大学）
本文研究了本地差分隐私保护下图神经网络的对抗攻击问题，分析现有攻击方法有效性及挑战，并提出防御方向，探讨隐私与安全的平衡。
2026-03-21 cs.CR cs.LG
Distributed Clustering in the Anonymized Space with Local Differential Privacy
对收集的数据进行聚类和分析可以改善大数据、物联网应用中的用户体验和服务质量。然而，直接发布原始数据带来了潜在的隐私问题，这为隐私保护聚类带来了挑战和机遇。本文在局部差分隐私框架下研究了分布式环境下的非交互式聚类问题。我们首先扩展了位向量，一种新的匿名化机制是功能性和隐私保护。基于改进的编码机制，我们提出了kCluster算法，可用于聚类的匿名空间。我们表明，修改后的编码机制可以很容易地实现在现有的聚类算法，只依赖于距离信息，如DBSCAN。理论分析和实验结果验证了所提方案的有效性。
2019-06-27 cs.CR cs.DB
Differential Privacy in Machine Learning: A Survey from Symbolic AI to LLMs
Department of Computer Science and Artificial Intelligence, University of Granada（计算机科学与人工智能系，格拉纳达大学）
本文综述了差分隐私在机器学习中的应用，从符号AI到大语言模型，探讨了隐私保护方法及评估技术。
2026-03-11 cs.AI cs.CR cs.LG
