Speech Privacy Leakage from Shared Gradients in Distributed Learning
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Intuit AI Research（财捷人工智能研究院）
分布式机器学习范例，如联邦学习，最近已被采用在许多隐私关键的应用程序的语音分析。然而，这样的框架容易受到来自共享梯度的隐私泄露攻击。尽管在图像领域进行了广泛的努力，但对梯度语音隐私泄漏的探索非常有限。在本文中，我们探讨了在分布式学习环境中从共享梯度中恢复私人语音/说话人信息的方法。我们进行实验的关键字定位模型与两种不同类型的语音特征，通过测量原始和恢复的语音信号之间的相似性来量化泄漏的信息量。我们进一步证明了在分布式学习框架下，在不访问用户数据的情况下推断各种水平的侧信道信息（包括语音内容和说话人身份）的可行性。
2023-02-21 cs.CR cs.LG
Measuring and Controlling Split Layer Privacy Leakage Using Fisher Information
Pennsylvania State University（宾夕法尼亚州立大学）；Meta AI；Georgia Institute of Technology（佐治亚理工学院）；Cornell University（康奈尔大学）
拆分学习和推理建议运行跨客户端设备和云拆分的大型模型的训练/推理。然而，这样的模型分割强加了隐私问题，因为流经分割层的激活可能泄漏关于客户端的私有输入数据的信息。目前还没有好的方法来量化有多少私人信息通过分离层泄露，也没有好的方法来将隐私提高到所需的水平。在这项工作中，我们提出使用Fisher信息作为隐私度量来测量和控制信息泄漏。我们表明，费舍尔信息可以提供一个直观的理解有多少私人信息泄漏通过分裂层，在一个无偏重建攻击者的错误界的形式。然后，我们提出了一个隐私增强技术，ReFIL，可以强制执行用户所需的水平的费舍尔信息泄漏在分裂层，以实现高隐私，同时保持合理的效用。
2022-09-21 cs.CR cs.LG
Impact of Prior Knowledge and Data Correlation on Privacy Leakage: A Unified Analysis
差分隐私（DP）技术可以保证严格的隐私性，从而防止具有任意先验知识的攻击者。然而，最近的研究表明，这可能是不正确的相关数据，并表明三个因素可能会影响隐私泄漏：数据相关模式，对手的先验知识，和查询功能的敏感性。这就提出了一个基本问题：这三个因素与隐私泄露之间的数学关系是什么？在本文中，我们提出了一个统一的分析这个问题。提出了一种新的隐私定义\textit{prior differential privacy (PDP)}，考虑攻击者所拥有的精确先验知识来评估隐私泄露。我们使用两个模型，加权层次图（WHG）和多元高斯模型来分析离散和连续的数据，分别。我们证明，积极的，消极的，和混合的相关性对隐私泄露有不同的影响。考虑到一般相关性，推导了连续数据隐私泄露的封闭表达式，给出了离散数据隐私泄露的链式规则。我们的结果是有效的一般线性查询，包括计数，总和，平均值和直方图。数值实验验证了我们的理论分析。
2019-06-05 cs.CR cs.LG math.PR
Federated Learning with Reduced Information Leakage and Computation
University of Michigan（密歇根大学）；The Ohio State University（俄亥俄州立大学）
本文提出 Upcycled-FL 策略，通过在偶数轮更新中应用一阶近似减少一半联邦学习更新的信息泄露与计算传输开销，并结合扰动机制在多种框架中改善隐私与准确率权衡。
2024-10-01 cs.LG
Analysis of Privacy Leakage in Federated Large Language Models
University of Florida（佛罗里达大学）
本研究针对适配大语言模型的联邦学习协议缺乏全面隐私分析的问题，设计两种有理论成功率保障的主动成员推理攻击，揭示主流大语言模型的隐私漏洞，并评估差分隐私机制下的隐私泄露情况。
2024-03-02 cs.CR cs.LG
A Graph Symmetrisation Bound on Channel Information Leakage under Blowfish Privacy
School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）；Australian Tax Office（澳大利亚税务局）；School of Mathematics and Statistics, University of Melbourne（墨尔本大学数学与统计学院）
Blowfish隐私是差分隐私的最新概括，它可以提高效用，同时保持具有语义保证的隐私策略，这是推动计算机科学中差分隐私流行的一个因素。本文将Blowfish隐私与通信理论界提出的一种度量信息通道隐私损失的重要方法：最小熵泄漏联系起来。输入数据相邻关系中的对称性对于差分隐私和最小熵泄漏之间的已知连接是中心的。但是，虽然差分隐私具有很强的对称性，Blowfish相邻关系对应于任意简单的图形，由于该框架的灵活的隐私政策。要绑定的最小熵泄漏的河豚私人机制，我们组织我们的分析对称分区对应的轨道图自同构群。一个满足我们的渐近相等界的构造证明了紧性。
2021-10-13 cs.CR cs.IT cs.LG
Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering
Pennsylvania State University（宾夕法尼亚州立大学）；Dartmouth College（达特茅斯学院）
研究联邦语言模型中隐私敏感数据泄露问题，发现中间轮次模型快照及恶意参与者篡改选择性权重会加剧泄露，提出无梯度攻击方法，提升了成员推理召回率和私有数据重建率，还给出客户端防御隐私风险的技术建议。
2026-07-21 cs.CR cs.LG
Game-Theoretic Machine Unlearning: Mitigating Extra Privacy Leakage
School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
提出博弈论机器遗忘算法，通过遗忘与隐私模块的竞争关系，在保持模型性能的同时降低额外隐私泄露风险。
2024-11-06 cs.CY cs.LG
Privacy Leakage Avoidance with Switching Ensembles
Perspecta Labs（Perspecta实验室）；University of Maryland（马里兰大学）
我们考虑成员推断攻击，在机器学习的主要隐私问题之一。这些最近开发的攻击已被证明成功地确定了给定样本是否属于受攻击机器学习模型训练的数据集，其置信度优于随机猜测。已经开发了几种方法来减轻这种隐私泄露，但是这些防御机制的折衷性能影响（即，受保护的机器学习模型的准确性和实用性）还没有得到很好的研究。我们提出了一种新的方法，隐私泄漏避免与开关集成（PASE），既可以防止当前的成员推断攻击，并与非常小的准确性惩罚，同时需要可接受的增加训练和推理时间。我们测试我们的PASE方法，以及目前最先进的PATE方法，在三个校准图像数据集，并分析其权衡。
2019-11-18 cs.CR cs.LG stat.ML
In Differential Privacy, There is Truth: On Vote Leakage in Ensemble Private Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）
当从敏感数据中学习时，必须注意确保训练算法解决隐私问题。规范的教师集合的私有聚合（PATE）通过投票机制聚合（可能是分布式的）教师模型集合的预测来计算输出标签。该机制添加噪声以获得关于教师的训练数据的差分隐私保证。在这项工作中，我们观察到，这种使用噪声，这使得PATE预测随机，使新形式的泄漏的敏感信息。对于给定的输入，我们的对手利用这种随机性来提取潜在教师提交的投票的高保真直方图。从这些直方图中，对手可以了解输入的敏感属性，如种族，性别或年龄。虽然这种攻击并不直接违反差分隐私保证，但它显然违反了隐私规范和期望，如果不插入噪声以获得差分隐私，则根本不可能。事实上，与直觉相反，当我们添加更多噪声以提供更强的差分隐私时，攻击变得更容易。我们希望这能鼓励未来的工作从整体上考虑隐私，而不是将差分隐私视为灵丹妙药。
2022-09-22 cs.CR cs.LG
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology（华中科技大学）
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析，证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私，推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界，为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
A False Sense of Privacy: Evaluating Textual Data Sanitization Beyond Surface-level Privacy Leakage
研究指出现有文本数据净化方法仅评估显性标识符泄露，忽视文本中细微标记可能引发的重新识别风险，提出新框架量化个体隐私风险，发现辅助信息可推断敏感属性，揭示当前净化技术存在隐私虚假感。
2026-03-13 cs.CL cs.CR cs.LG
LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage
UC Santa Barbara（加州大学圣巴巴拉分校）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Meta；United States Military Academy（美国军事学院）
提出LeakAgent框架，通过强化学习训练攻击智能体生成对抗性提示以提取LLM训练数据和系统提示，显著优于现有方法并能规避防御，助力安全对齐。
2025-08-08 cs.AI cs.CR cs.LG
Predicting Privacy Leakage from Weight Spectral Density
University of the West of England（西英格兰大学）
本研究利用重尾自正则化框架下的廉价谱度量（如稳定秩和Log alpha-Norm）预测成员推理攻击的隐私泄露，发现其关联强于传统泛化差距，为可扩展隐私审计提供了新方向。
2026-09-11 cs.CR cs.LG cs.NE
A Comprehensive Analysis of Information Leakage in Deep Transfer Learning
Alibaba Group（阿里巴巴集团）
迁移学习被广泛用于将知识从源域迁移到标记数据稀缺的目标域。最近，深度迁移学习在各种应用中取得了显著的进展。然而，在许多现实场景中，源数据集和目标数据集通常属于两个不同的组织，在深度迁移学习中存在潜在的隐私问题。在这项研究中，为了彻底分析深度迁移学习中潜在的隐私泄露，我们首先将以前的方法分为三类。在此基础上，我们展示了导致每个类别中无意隐私泄露的具体威胁。此外，我们还提供了一些解决方案来防止这些威胁。据我们所知，我们的研究是第一个对深度迁移学习方法中的信息泄漏问题进行彻底分析并提供潜在解决方案的研究。在两个公共数据集和一个行业数据集上进行了大量的实验，以显示不同深度迁移学习设置下的隐私泄漏和防御解决方案的有效性。
2020-09-04 cs.CL cs.LG
Securing Distributed SGD against Gradient Leakage Threats
Georgia Institute of Technology（佐治亚理工学院）；Fordham University（福特汉姆大学）；Soochow University（苏州大学）；Florida International University（佛罗里达国际大学）
本文提出一种基于差分隐私自适应噪声注入的梯度泄漏鲁棒分布式SGD方法，通过跟踪逐样本梯度趋势实现噪声对齐，在五个基准数据集上优于现有方法，兼顾准确性、隐私与攻击鲁棒性。
2023-05-10 cs.CR cs.LG
DeepLeak: Privacy Enhancing Hardening of Model Explanations Against Membership Leakage
Department of Computer and Information Science（计算机与信息科学系）；University of Michigan-Dearborn（密歇根大学-迪尔伯恩分校）
DeepLeak通过系统化方法减少模型解释中的成员泄露，提升隐私保护与可解释性的平衡。
2026-01-06 cs.CR cs.LG
Privacy Leakage of Adversarial Training Models in Federated Learning Systems
Duke University（杜克大学）
对抗训练（AT）对于获得对对抗攻击鲁棒的深度神经网络至关重要，但最近的研究发现，它也可能使模型更容易受到隐私攻击。在这项工作中，我们进一步揭示了这种令人不安的属性AT设计一种新的隐私攻击，实际上适用于隐私敏感的联邦学习（FL）系统。使用我们的方法，攻击者可以利用在FL系统中的AT模型，以准确地重建用户的私人训练图像，即使在训练批量大小很大。代码可在https://github.com/zjysteven/PrivayAttack_AT_FL上获得。
2022-02-21 cs.CR cs.CV cs.LG
Channel Leakage, Information-Theoretic Limitations of Obfuscation, and Optimal Privacy Mask Design for Streaming Data
New York University（纽约大学）
在本文中，我们首先引入了信道泄漏的概念，作为信道输入和信道输出之间的最小互信息。正如其名称所示，信道泄漏量化了对恶意接收器的最小信息泄漏。从广义上讲，它可以被看作是信道容量的双重概念，它表征了到目标接收机的最大信息传输。我们得到明确的公式的信道泄漏的情况下，白色高斯，有色高斯的情况下，和衰落的情况下。然后，我们利用这一概念调查的基本限制混淆的隐私失真权衡（以及隐私权权衡）的流数据，特别是，我们推导出分析权衡方程的固定的情况下，非固定的情况下，和有限时间的情况下。我们的研究结果还明确指出，如何设计的隐私面具在一个最佳的方式。
2020-09-29 cs.CR cs.IT cs.LG
CutClean: Neural Network Pruning for Privacy-Preserving Inference
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信学院）；University of Genoa（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
CutClean是一种感知隐私的神经网络剪枝方法，通过辅助线性隐私头量化并消除私有属性泄露，在保持分类精度的同时实现高稀疏度，减少隐私信息流。
2026-08-17 cs.AI cs.LG
Learning to Prevent Leakage: Privacy-Preserving Inference in the Mobile Cloud
Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology（香港科技大学）
在云中的机器学习服务的支持下，许多学习驱动的移动应用程序在市场上越来越受欢迎。由于深度学习任务大多是计算密集型的，因此在设备上处理原始数据并将深度神经网络（DNN）特征发送到云端已成为一种趋势，在云端，这些特征被进一步处理以返回最终结果。然而，随着特征的发布，总是会出现意想不到的泄漏，对手可以利用这些泄漏推断出大量关于原始数据的信息。我们从DNN结构的角度提出了一个基于移动云基础设施的隐私保护强化学习框架。该框架旨在学习修改基本DNN的策略，以防止信息泄漏，同时保持高推理精度。该策略也可以很容易地转移到大型DNN上，以加快学习速度。对各种DNN的广泛评估表明，我们的框架可以成功地找到保护隐私的DNN结构来防御不同的隐私攻击。
2021-06-15 cs.LG eess.SP stat.ML
Characterizing Privacy Risks of Quantum Machine Learning with Emergent Quantum-Native Access
University of Pittsburgh（匹兹堡大学）；Cisco Research（思科研究院）
本文研究量子原生访问下QML的隐私风险，通过成员推断攻击证明增强量子访问和计算能力可带来理论及实证隐私泄露，揭示现有研究低估了此类风险。
2026-09-10 cs.LG quant-ph
Uniqueness ratio as a predictor of a privacy leakage
University of Essex（埃塞克斯大学）
本研究提出通过唯一性比率预测连接前隐私泄露风险，为数据工程师提供可解释的预连接风险评估信号。
2025-12-07 cs.CR cs.DB cs.LG
Differential Privacy: Gradient Leakage Attacks in Federated Learning Environments
Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；University of Deusto (Bilbao, Spain)（德乌斯大学）
本研究针对联邦学习中的梯度泄露攻击问题，评估DP-SGD与PDP-SGD两种差分隐私机制的防御效果，发现DP-SGD可有效降低泄露风险但存在效用权衡，为分布式学习隐私防护提供实证依据。
2025-10-27 cs.CR cs.DC cs.LG
Information Theoretic Evaluation of Privacy-Leakage, Interpretability, and Transferability for Trustworthy AI
Software Competence Center Hagenberg（哈根贝格软件能力中心）；University of Rostock（罗斯托克大学）
为了开发考虑到可信AI的指导方针和原则的机器学习和深度学习模型，引入了一种新的信息理论可信AI框架。一个统一的方法，“隐私保护的可解释性和可转移的学习”被认为是研究和优化隐私，可解释性和可转移性方面之间的权衡。变分成员映射贝叶斯模型用于分析近似的定义的信息理论措施的隐私泄漏，可解释性和可转让性。该方法包括近似的信息理论的措施，通过最大限度地利用变分优化的下限。该研究提出了一种统一的信息理论方法，以严格的分析方式研究可信AI的不同方面。该方法是通过大量的实验基准数据集和现实世界的生物医学应用程序有关的个人使用心率变异性分析的精神压力的检测证明。
2022-04-12 cs.AI cs.CR cs.LG
A Theoretical Insight into Attack and Defense of Gradient Leakage in Transformer
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
本文全面分析了基于transformer模型的梯度泄露攻击，证明了仅从梯度恢复数据的条件，并在差分隐私框架下理论分析了引入噪声防御的隐私成本及SGD算法的收敛性。
2023-11-22 cs.CR cs.LG
A Survey of What to Share in Federated Learning: Perspectives on Model Utility, Privacy Leakage, and Communication Efficiency
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Polytechnic University（香港理工大学）
本文从“共享什么”的新视角系统综述了联邦学习，提出基于共享模型、合成数据和知识的新分类法，分析了隐私攻击脆弱性与防御机制，并通过实验比较了不同共享方式的学习性能、通信开销及隐私泄露情况。
2024-02-18 cs.CR cs.LG
DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning
University of Michigan, Dearborn（密歇根大学迪尔伯恩分校）
差分隐私（DP）已经成为一种严格的形式主义，用于推理可量化的隐私泄露。在机器学习（ML）中，DP已被用于限制训练样本的推断/公开。之前的工作在整个ML管道中利用DP，尽管是孤立的，但通常集中在梯度扰动等机制上。在本文中，我们提出了DP-UTIL，一个跨ML管道的DP整体效用分析框架，重点关注输入扰动，目标扰动，梯度扰动，输出扰动和预测扰动。给定一个关于隐私敏感数据的ML任务，DP-UTIL使ML隐私从业者能够对DP在这五个扰动点的影响进行全面的比较分析，从模型效用损失、隐私泄露和真正揭示的训练样本数量方面进行衡量。我们使用两种代表性的学习算法（逻辑回归和深度神经网络）对成员推断攻击进行评估，在视觉，医疗和金融数据集上对DP-UTIL进行分类任务作为案例研究攻击。我们结果的亮点之一是预测扰动在所有数据集的所有模型上始终实现最低的效用损失。在逻辑回归模型中，与其他扰动技术相比，客观扰动导致最低的隐私泄露。对于深度神经网络，梯度扰动导致最低的隐私泄漏。此外，我们的研究结果显示，真实的记录表明，隐私泄漏的增加，差异私人模型揭示了更多的成员样本。总的来说，我们的研究结果表明，为了做出关于使用哪种扰动机制的明智决定，ML隐私从业者需要检查优化技术（凸与非凸），扰动机制，类的数量和隐私预算之间的动态关系。
2021-12-24 cs.CR cs.LG
Measuring the Privacy Leakage via Graph Reconstruction Attacks on Simplicial Neural Networks (Student Abstract)
Texas Tech University（德克萨斯理工大学）；Xavier University of Louisiana（泽维尔大学路易斯安那分校）；The Ohio State University（俄亥俄州立大学）
在本文中，我们通过研究图表示是否可以被反转来恢复用于生成它们的图，通过图重构攻击（GRA）来测量隐私泄漏。我们提出了一个GRA，通过一个图形解码器，最大限度地减少部分图和重建图之间的重建损失的表示恢复图的邻接矩阵。我们研究了在图上训练的三种类型的表示，即，表示输出从图卷积网络（GCN），图注意力网络（GAT），和我们提出的单纯神经网络（SNN）通过高阶组合拉普拉斯算子。与仅编码成对关系的前两种类型的表示不同，第三种类型的表示，即，SNN输出、编码高阶交互（例如，同调特征）之间的节点。我们发现，SNN的输出揭示了最低的隐私保护能力，以保护GRA，其次是GAT和GCN，这表明了建立更多的私人表示与高阶节点信息，可以防御潜在的威胁，如GRA的重要性。
2023-02-08 cs.CR cs.LG
Controlled privacy leakage propagation throughout overlapping grouped learning
University of Toronto（多伦多大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Vector Institute（矢量研究院）
针对多工作者同时属于多个重叠分组时的隐私泄露问题，提出差分隐私重叠分组学习方法（DP-OGL），推导了任意工作者对之间的隐私保证，量化了传播延迟和信息退化效应，在维持强隐私的同时提升了效用。
2025-03-06 cs.CR cs.DC cs.LG
Decentralized Collaborative Learning Framework with External Privacy Leakage Analysis
IBM（IBM公司）
本文提出去中心化多任务学习的两项进展：将深度变分自编码器纳入协作字典学习框架以增强异常检测，并分析模型外部共享时的隐私泄露，证明其满足Renyi差分隐私并给出内部隐私监控指标。
2024-04-01 cs.CR cs.DC cs.LG
BettiSplit: Topology-Guided Privacy-Aware Split Learning Against Feature Inversion and Gradient Leakage
Nottingham Trent University（诺丁汉特伦特大学）；King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）
研究针对分割学习中因分割位置不当致隐私泄露问题，基于持久贝蒂复杂度提出拓扑引导框架，引入BettiSafe策略，提升对特征反转抗性，保持准确率，还通过正则化实现隐私效用权衡，凸显拓扑复杂度在分割学习中的作用。
2026-07-28 cs.AI cs.CR cs.LG
Provable Defense against Privacy Leakage in Federated Learning from Representation Perspective
Duke University（杜克大学）
联邦学习（FL）是一种流行的分布式学习框架，它可以通过不显式共享私有数据来降低隐私风险。然而，最近的工作表明，共享模型更新使FL容易受到推理攻击。在这项工作中，我们展示了我们的关键观察，即梯度的数据表示泄漏是FL中隐私泄漏的根本原因。我们还提供了对这一观察的分析，以解释数据表示是如何泄漏的。基于这一观察，我们提出了一种防御模型反演攻击在FL。我们的防御的关键思想是学习扰动数据表示，使重建数据的质量严重下降，而FL性能保持。此外，我们得到认证的鲁棒性保证FL和收敛保证FedAvg，应用我们的防御后。为了评估我们的防御，我们进行了实验MNIST和CIFAR10对DLG攻击和GS攻击的防御。在不牺牲准确性的情况下，结果表明，与基线防御方法相比，对于DLG攻击和GS攻击，我们提出的防御方法可以将重建数据与原始数据之间的均方误差增加多达160倍以上。FL系统的隐私性得到显著改善。
2020-12-08 cs.AI cs.CV cs.LG
How You Act Tells a Lot: Privacy-Leakage Attack on Deep Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Duke University（杜克大学）；Peking University（北京大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；JD AI Research（京东人工智能研究院）
机器学习已广泛应用于各种应用，其中一些应用涉及使用隐私敏感数据进行训练。已经研究了少量的数据泄露，包括自然语言数据中的信用卡信息和人脸数据集的身份。然而，这些研究大多集中在监督学习模型。随着深度强化学习（DRL）在室内机器人导航等现实系统中的应用，经过训练的DRL策略是否会泄露隐私信息，需要深入研究。为了从总体上研究这类隐私泄露，我们主要提出了两种方法：基于遗传算法的环境动态搜索和基于影子策略的候选推理。我们进行了广泛的实验，以证明在各种设置下的DRL的隐私漏洞。我们利用所提出的算法来推断平面图从一些训练有素的网格世界导航DRL代理与激光雷达感知。该算法可以正确地推断出大多数的平面图，并达到了95.83%的平均回收率使用策略梯度训练的代理。此外，我们能够在连续控制环境和高精度的自动驾驶模拟器中恢复机器人配置。据我们所知，这是第一次调查隐私泄漏DRL设置，我们表明，DRL为基础的代理可能会泄漏隐私-敏感信息从训练的政策。
2019-04-24 cs.LG stat.ML
Split Without a Leak: Reducing Privacy Leakage in Split Learning
Tampere University（坦佩雷大学）；RISE Research Institutes of Sweden（瑞典RISE研究院）
针对分割学习中的隐私泄露问题，提出结合同态加密的混合方法，加密激活图防止服务器重建输入，在MIT-BIH数据集上训练快6倍、通信开销降160倍。
2023-08-30 cs.CR cs.LG
A Quantitative Metric for Privacy Leakage in Federated Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
在联邦学习系统中，参数梯度在参与者和中央调制器之间共享，而原始数据永远不会离开其受保护的源域。然而，梯度本身可能携带足够的信息来精确推断原始数据。通过向中央服务器报告其参数梯度，客户端数据集暴露于来自对手的推理攻击。本文提出了一种基于互信息的定量度量方法，用于客户评估其梯度中的信息泄漏潜在风险。在过去的几年里，互信息在机器学习和数据采掘社区中受到越来越多的关注。然而，现有的互信息估计方法不能处理高维变量。本文提出了一种新的方法来近似高维梯度和批量输入数据之间的互信息。实验结果表明，该度量方法能够可靠地反映联邦学习中的信息泄漏程度。此外，使用所提出的度量，我们调查的风险水平的影响因素。研究表明，信息泄漏风险与任务模型的状态以及固有的数据分布有关。
2021-02-24 cs.CR cs.LG
When Privacy Isn't Synthetic: Hidden Data Leakage in Generative AI Models
Department of Mathematical Sciences University of Texas at El Paso（数学科学系德克萨斯理工大学埃尔帕索分校）；Department of Computer Science University of Texas at El Paso（计算机科学系德克萨斯理工大学埃尔帕索分校）；Department of Radiology St. Jude Children’s Research Hospital（放射医学系圣犹太儿童研究医院）
本文提出了一种针对生成AI模型的黑盒成员推断攻击，通过数据流形中的结构重叠泄露隐私信息，揭示了合成数据生成中未被充分探索的隐私风险。
2025-12-05 cs.AI cs.LG
Metric-Normalized Posterior Leakage (mPL): Attacker-Aligned Privacy for Joint Consumption
Department of Computer Science and Engineering, University of North Texas, Denton, TX, USA（计算机科学与工程系，北卡罗来纳州立大学达顿分校）；Department of Electrical Engineering, University of North Texas, Denton, TX, USA（电气工程系，北卡罗来纳州立大学达顿分校）
本文提出mPL，一种攻击对齐的后验几率偏移度量，证明在联合观察下，mPL与mDP等价，通过AmPL框架有效控制后验泄露，降低隐私泄露风险。
2026-05-01 cs.CR cs.LG
Learning With Differential Privacy
University of Kalyani（卡利亚尼大学）；National Institute of Science, Education and Research Bhubaneswar（布巴内斯瓦尔国家科学教育与研究学院）；Homi Bhaba National Institute（霍米·巴巴国家学院）
如果数据包含敏感信息，则数据泄漏可能会对个人产生极端影响。加密解密、端点保护、入侵检测系统等常见预防方法容易发生泄露。差分隐私提供了适当的保护以防止泄漏的承诺，因为它在收集数据时使用了随机响应技术，该技术承诺具有更好的实用性的强隐私。差分隐私允许人们通过描述数据组的模式来访问数据森林，而不公开任何单独的树。目前，领先的科技公司和学术界对差分隐私的适应鼓励作者详细探讨这个话题。差分隐私的不同方面，它的应用在隐私保护和信息泄漏，比较讨论，在这一领域的当前研究方法，它在现实世界中的效用以及权衡-将被讨论。
2020-06-11 cs.CR cs.LG stat.ML
Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种利用模型遗忘作为投毒手段的攻击方法，通过操纵预训练语言模型在微调时加剧私有数据泄露，同时保持模型可用性，并显著提升成员推断与数据提取攻击效果。
2024-08-30 cs.AI cs.CR cs.LG
SALT: Steering Activations towards Leakage-free Thinking in Chain of Thought
Independent（独立研究者）；RAND；University of Maryland（马里兰大学）；META；Algoverse
SALT通过在链式思维中注入引导向量减少隐私泄露，提升模型隐私保护能力
2025-11-21 cs.AI cs.CL cs.CR
Beyond Inferring Class Representatives: User-Level Privacy Leakage From Federated Learning
Wuhan University（武汉大学）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
联邦学习，即，用于深度学习的移动边缘计算框架是隐私保护机器学习的最新进展，其中模型由客户端以分散的方式训练，即，数据管理员，防止服务器直接访问来自客户端的这些私有数据。这种学习机制极大地挑战了来自服务器端的攻击。尽管结合生成对抗网络（GANs）的先进性的最先进的攻击技术可以在所有客户端之间构建全局数据分布的类代表，但是可预测地攻击特定客户端（即，用户级隐私泄露），这是从特定客户端精确恢复私人数据的更强隐私威胁。本文首次尝试通过恶意服务器的攻击来研究针对联邦学习的用户级隐私泄露问题。我们提出了一个框架，将GAN与多任务的识别，同时区分类别，现实和客户端身份的输入样本。新的客户端身份的歧视，使发电机恢复用户指定的私人数据。与现有的作品往往会干扰联邦学习的训练过程不同，所提出的方法在服务器端“看不见”地工作。实验结果表明，该攻击方法是有效的，优于现有的攻击方法。
2018-12-05 cs.CR cs.CV cs.LG
Defense Against Gradient Leakage Attacks via Learning to Obscure Data
Michigan State University（密歇根州立大学）；The Hong Kong Polytechnic University（香港理工大学）
联邦学习被认为是一种有效的隐私保护学习机制，它将客户端的数据和模型训练过程分开。然而，联邦学习仍然面临着隐私泄露的风险，因为存在攻击者故意进行梯度泄漏攻击来重构客户端数据。近年来，一些流行的策略如梯度扰动方法和输入加密方法被提出来抵抗梯度泄漏攻击。然而，这些防御可能会极大地牺牲模型性能，或者被更高级的攻击所规避。在本文中，我们提出了一种新的防御方法来保护客户端的数据的隐私，通过学习模糊数据。我们的防御方法可以生成与原始样本完全不同的合成样本，但它们也可以最大限度地保留其预测特征并保证模型性能。此外，我们的防御策略使得梯度泄漏攻击及其变种非常难以重建客户端数据。通过大量的实验，我们表明，我们提出的防御方法获得更好的隐私保护，同时保持高准确性相比，国家的最先进的方法。
2022-06-01 cs.CR cs.LG stat.ML
When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry
Institute of Science Tokyo（东京科学大学）；Nanyang Technological University（南洋理工大学）；Tohoku University（东北大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Shandong University（山东大学）
该研究提出路由器增强的成员推理攻击，发现MoE模型的路由器遥测可泄露样本是否用于微调，在多设置下提升成员推理性能，是微调MoE模型的额外隐私风险面。
2026-10-09 cs.CR cs.LG
Adaptive Model Inversion Attacks Generalize a Privacy-Robustness Tradeoff
Dartmouth College（达特茅斯学院）
本文通过自适应攻击调整揭示标准模型反演攻击评估低估隐私泄露，并发现重建泄露与对抗鲁棒性紧密相关，提出鲁棒性可作为重建脆弱性的广泛代理。
2026-10-07 cs.CR cs.LG
Driving Privacy Forward: Mitigating Information Leakage within Smart Vehicles through Synthetic Data Generation
本文提出通过TVAE模型生成合成数据以缓解智能车辆数据隐私泄露问题，构建了14种车载传感器漏洞分类法，并在保真度、效用和隐私指标上实现了90.1%统计相似性与78%分类准确率，有效防止了驾驶员画像。
2024-10-11 cs.CR cs.LG
Privacy Leakage in Text Classification: A Data Extraction Approach
University of Minnesota（明尼苏达大学）；Microsoft Research（微软研究院）
最近的工作已经证明了从生成语言模型中成功地提取训练数据。然而，这是不明显的，这种提取是否是可行的文本分类模型，因为训练目标是预测类标签，而不是下一个词的预测。这提出了一个有趣的挑战，并提出了一个重要的问题，在文本分类设置的训练数据的隐私。因此，我们通过调查与学习任务无关的训练数据的非故意记忆问题来研究文本分类领域中潜在的隐私泄漏。我们提出了一种算法，通过利用模型提供的类标签的可能性来提取部分文本的缺失标记。我们通过将金丝雀插入训练集中并尝试在训练后提取这些金丝雀中的标记来测试我们算法的有效性。在我们的实验中，我们证明了成功的提取在一定程度上是可能的。这也可以用作审计策略，以评估任何未经同意的潜在未经授权使用个人数据的情况。
2022-06-09 cs.CL cs.CR cs.LG
A Framework for Evaluating Gradient Leakage Attacks in Federated Learning
Georgia Institute of Technology（佐治亚理工学院）
联邦学习（FL）是一种新兴的分布式机器学习框架，用于与客户端（边缘设备）网络进行协作模型训练。FL通过允许客户端将其敏感数据保存在本地设备上并仅与联邦服务器共享本地训练参数更新来提供默认的客户端隐私。然而，最近的研究表明，即使从客户端到联邦服务器共享本地参数更新也可能容易受到梯度泄漏攻击，并侵犯客户端关于其训练数据的隐私。在本文中，我们提出了一个原则性的框架来评估和比较不同形式的客户端隐私泄露攻击。我们首先提供形式和实验分析，以显示对手如何通过简单地分析来自本地训练的共享参数更新来重建私有本地训练数据（例如，局部梯度或权重更新向量）。然后，我们分析了联邦学习中不同的超参数配置和攻击算法的不同设置如何影响攻击效率和攻击成本。我们的框架还测量，评估和分析客户端隐私泄漏攻击的有效性时，使用通信高效FL协议在不同的梯度压缩比。我们的实验还包括一些初步的缓解策略，以强调提供系统的攻击评估框架的重要性，以深入了解联邦学习中各种形式的客户端隐私泄露威胁，并为攻击缓解奠定理论基础。
2020-04-23 cs.CR cs.LG stat.ML
Privacy Leakage via Output Label Space and Differentially Private Continual Learning
University of Helsinki（赫尔辛基大学）；CSC – IT Center for Science（CSC – 科学信息中心）；Ericsson Research（爱立信研究）；Aalto University（阿alto大学）
本文提出通过输出标签空间的隐私泄露问题，针对连续学习中的隐私侧信道，提出差分隐私机制和公开标签空间来消除侧信道，实验显示模型在保持隐私的同时准确率更高。
2026-08-24 cs.CR cs.LG
PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage
Technische Universität Ilmenau（伊尔梅瑙工业大学）；Friedrich Schiller Universität Jena（耶拿弗里德里希·席勒大学）
神经网络的协作训练通过在不同客户端之间交换梯度信息来利用分布式数据。虽然训练数据完全驻留在客户端，但最近的工作表明，训练数据可以从这种交换的梯度信息中重构。为了增强隐私，已经提出了梯度扰动技术。然而，它们的代价是降低模型性能，增加收敛时间或增加数据需求。在本文中，我们介绍了PRECODE，一个PRIVACY Enhancing模块，可用于任何模型架构的通用扩展。我们提出了一个简单而有效的实现PRECODE使用变分建模。变分建模引入的随机采样有效地防止了梯度的隐私泄漏，从而保护了数据所有者的隐私。我们使用最先进的梯度反转攻击对在三个数据集上训练的两种不同模型架构进行评估。与常用的防御机制相比，我们发现我们提出的修改始终将攻击成功率降低到0%，同时对模型训练和最终性能几乎没有负面影响。因此，PRECODE揭示了一条通往隐私增强模型扩展的有前途的道路。
2021-10-21 cs.AI cs.LG
Tracing Privacy Leakage of Language Models to Training Data via Adjusted Influence Functions
Huawei Technologies Canada Co. Ltd（华为技术加拿大有限公司）
本文提出启发式调整影响函数HAIF，通过降低大梯度范数token的权重来更准确地追溯语言模型隐私泄露至训练数据，并在多个数据集和模型上显著优于现有方法。
2024-09-05 cs.CL cs.CR cs.LG
SparLeak: Privacy Leakage from Sparse Attention in LLM Inference on Shared GPUs
Shandong University（山东大学）；Waseda University（早稻田大学）
SparLeak利用稀疏注意力引发的GPU内存访问侧信道，通过相位感知攻击提取轨迹，实现查询属性推断与响应重建，在真实服务下成功率分别达90.9%和87.3%。
2026-10-01 cs.CR cs.LG
Defeating Cerberus: Concept-Guided Privacy-Leakage Mitigation in Multimodal Language Models
CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍茨信息安全中心）；Nokia Bell Labs（诺基亚贝尔实验室）
本研究针对多模态大语言模型的个人身份信息泄露风险，提出无需重训练的概念引导缓解方法，构建多模态PII数据集，实现93.3%的平均敏感任务拒绝率且对无关性能影响极小。
2025-09-29 cs.CR cs.LG
Hyperparameter Tuning with Renyi Differential Privacy
Google Research（谷歌研究院）
对于许多差分隐私算法，例如突出的噪声随机梯度下降（DP-SGD），限制单个训练运行的隐私泄漏所需的分析是很好理解的。然而，很少有研究认为，由于需要多次训练来微调训练算法的超参数值，从而导致隐私泄露。在这项工作中，我们首先说明了如何简单地设置基于非私有训练运行的超参数可以泄漏私有信息。基于这一观察，我们在Renyi差分隐私的框架内为超参数搜索过程提供了隐私保证。我们的研究结果改进和扩展了Liu和Talwar的工作（STOC 2019）。我们的分析支持了我们之前的观察，即调整超参数确实会泄漏私人信息，但我们证明，在某些假设下，这种泄漏是适度的，只要选择超参数所需的每个候选训练运行本身是差异私人的。
2022-03-14 cs.CR cs.DS cs.LG
