Antipodes of Label Differential Privacy: PATE and ALIBI
Facebook AI;Stanford University(斯坦福大学)
我们考虑隐私保护机器学习(ML)设置,其中训练模型必须满足训练样本标签的差分隐私(DP)。我们提出了两种新的方法的基础上,分别拉普拉斯机制和PATE框架,并证明其有效性的标准基准。虽然Ghazi等人最近的工作提出了基于随机响应机制的标签DP方案,但我们认为加性拉普拉斯噪声加上贝叶斯推理(ALIBI)更适合典型的ML任务。此外,我们展示了如何在某些制度中实现非常强大的隐私级别,我们适应的PATE框架,建立在半监督学习的最新进展。我们补充我们的算法的隐私保证与经验评估其记忆性能的理论分析。我们的评估表明,比较不同的算法,根据其可证明的DP保证可能会产生误导,有利于一个更严格的分析,更少的私人算法。用于实现算法和记忆攻击的代码可从www.example.com获得。
2021-10-29 cs.CR cs.LG
Privacy Leakage via Output Label Space and Differentially Private Continual Learning
University of Helsinki(赫尔辛基大学);CSC – IT Center for Science(CSC – 科学信息中心);Ericsson Research(爱立信研究);Aalto University(阿alto大学)
本文提出通过输出标签空间的隐私泄露问题,针对连续学习中的隐私侧信道,提出差分隐私机制和公开标签空间来消除侧信道,实验显示模型在保持隐私的同时准确率更高。
2026-08-24 cs.CR cs.LG
Auditing Privacy Mechanisms via Label Inference Attacks
Google Research(谷歌研究院);Boston University(波士顿大学);Google DeepMind(谷歌DeepMind)
本文提出重建优势度量来审计标签私有化机制,通过加法和乘法度量在同等基础上评估多种私有化方案,理论分析与实证表明差分隐私方案在隐私-效用权衡上优于启发式方法。
2024-06-04 cs.CR cs.LG
Privacy-Preserving Conformal Prediction Under Local Differential Privacy
Bar-Ilan University(巴伊兰大学)
本文提出在局部差分隐私下实现隐私保护的置信区间方法,通过两种互补的隐私保护技术,确保在不可信聚合者环境下仍能保持数据和标签隐私,并提供稳健的覆盖保证。
2025-12-05 cs.LG stat.ML
Mutual Information Regularization for Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院)
垂直联邦学习(Vertical Federated Learning,VFL)被广泛应用于现实世界的应用中,以实现协作学习,同时保护数据隐私和安全。然而,以往的工作表明,没有标签的各方(被动方)在VFL可以推断的敏感标签信息所拥有的标签方(主动方)或执行后门攻击VFL。同时,主动方也可以从被动方推断敏感特征信息。所有这些都对VFL系统提出了新的隐私和安全挑战。我们提出了一种新的通用防御方法,限制私有原始数据之间的互信息,包括特征和标签,以及中间输出,以实现模型效用和隐私之间更好的权衡。我们将这种防御称为互信息正则化防御(MID)。我们从理论和实验上证明了我们的MID方法在抵御现有的攻击VFL,包括标签推理攻击,后门攻击和特征重建攻击的有效性。
2023-02-24 cs.LG
RPWithPrior: Label Differential Privacy in Regression
School of Mathematics and Statistics & Institute of Interdisciplinary Research for Mathematics and Applied Science & Hubei Key Laboratory of Engineering Modeling and Scientific Computing(数学与统计学学院及数学与应用科学跨学科研究中心及湖北省工程建模与科学计算重点实验室)
本文提出RPWithPrior方法,通过将原始和随机响应建模为连续变量,实现回归任务中的ε-标签差分隐私保护,并在多个数据集上验证了其优越性能。
2026-01-30 cs.LG stat.ML
Label differential privacy via clustering
Google Research(谷歌研究院)
我们提出了\emph{label differential privacy}的新机制,这是一种放松的差分私有机器学习,只保护训练集中标签的隐私。我们的机制使用它们的(非私有)特征向量对训练集中的示例进行聚类,从同一聚类中的示例中随机重新采样每个标签,并输出带有噪声标签的训练集以及真实损失函数的修改版本。我们证明,当集群都是大的和高质量的,模型,最大限度地减少修改后的噪声训练集上的损失收敛到小的超额风险的速度,是可比的非私人学习的速度。我们描述了一个集中式的机制,其中整个训练集存储由一个可信的策展人,和一个分布式的机制,每个用户存储一个单一的标记的例子,并取代她的标签与标签随机选择的用户从同一个集群。我们还描述了一个学习问题,其中大集群是必要的,以实现强大的隐私和良好的精度或良好的召回。我们的实验表明,与对标签应用统一的随机化响应相比,以及与通过DP-SGD学习模型相比,随机化每个集群内的标签显着提高了隐私与准确性的权衡。
2021-10-05 cs.CR cs.DS cs.IT
GAN-based Vertical Federated Learning for Label Protection in Binary Classification
Yale University(耶鲁大学)
本文提出GAFM模型,通过将splitNN与GAN结合并引入噪声标签交叉熵损失,有效缓解垂直联邦学习中的梯度标签泄露问题,在保护隐私的同时保持模型效用。
2023-05-17 cs.LG
GeoPointGAN: Synthetic Spatial Data with Local Label Differential Privacy
University of Warwick(华威大学)
合成数据生成是许多数据管理和数据科学应用的基本任务。空间数据特别令人感兴趣,其敏感性往往导致隐私问题。我们介绍了GeoPointGAN,这是一种新的基于GAN的解决方案,用于生成具有高实用性和强个人隐私保证的合成空间点数据集。GeoPointGAN的架构包括一个新颖的点变换生成器,该生成器学习将随机生成的点坐标投影到有意义的合成坐标中,该合成坐标捕获微观(例如,结,正方形)和宏观的(例如,公园、湖泊)地理特征。我们通过标签本地差分隐私来提供我们的隐私保障,这比传统的本地差分隐私更实用。我们将这种级别的隐私无缝集成到GeoPointGAN中,方法是将加密扩展到点级别,并实现一种基于随机响应的机制,该机制可以翻转与训练中使用的“真实”和“假”点相关的标签。大量的实验表明,GeoPointGAN的性能明显优于最近的解决方案,与最具竞争力的基线相比,提高了10倍。我们还评估GeoPointGAN使用范围,热点和设施位置查询,这证实了GeoPointGAN的隐私保护查询的实际有效性。结果表明,在几乎没有不利效用成本的情况下实现了很强的隐私水平,我们通过在训练期间翻转数据标签实现的泛化和正则化效应来解释这一点。
2022-05-18 cs.AI cs.CR cs.DB
Label Differential Privacy via Aggregation
Google Research India(谷歌印度研究院)
本文提出通过加权线性聚合实现标签差分隐私,无需添加标签噪声,并在袋聚合场景下扩展,保持回归任务效用,理论证明与实验验证均有效。
2026-09-11 cs.LG stat.ML
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank(微众银行);HKUST(香港科技大学)
垂直联邦学习(VFL)允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中,私有特征和标签泄漏问题引起了广泛的研究关注。在本文中,我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass,它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力(定理1和定理2)。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性,因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
DP-CGAN: Differentially Private Synthetic Data and Label Generation
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google AI(谷歌人工智能)
生成对抗网络(GANs)是生成包括图像在内的合成数据的著名模型之一,特别是对于那些无法使用原始敏感数据集的研究社区,因为它们无法公开访问。该领域的主要挑战之一是保护参与GAN模型训练的个人的隐私。为了解决这一挑战,我们引入了一个基于新的裁剪和扰动策略的差分私有条件GAN(DP-CGAN)训练框架,该框架在保护训练数据集隐私的同时提高了模型的性能。DP-CGAN生成合成数据和相应的标签,并利用最近推出的Renyi差分隐私会计来跟踪隐私预算。实验结果表明,DP-CGAN在差分隐私下,在MNIST数据集上使用一位数的隐私参数,可以产生视觉上和经验上都有希望的结果.
2020-01-27 cs.LG stat.ML
Apollo: A Posteriori Label-Only Membership Inference Attack Towards Machine Unlearning
University of Pittsburgh(匹兹堡大学);Cisco Research(思科研究)
本研究针对现有面向机器遗忘的隐私攻击依赖弱威胁模型、可行性受限的问题,提出仅需访问遗忘模型标签输出的Apollo后验仅标签成员推理攻击,以更低的模型访问权限实现了较高的被遗忘样本成员身份推断精度。
2025-10-27 cs.LG
PATE-TripleGAN: Privacy-Preserving Image Synthesis with Gaussian Differential Privacy
South-East University(东南大学)
针对CGANs的隐私泄露及DPCGAN依赖标签数据、梯度裁剪损害精度的问题,提出PATE-TripleGAN框架,结合分类器预分类和混合梯度脱敏算法,在保护隐私的同时生成高质量带标签图像。
2024-04-19 cs.CR cs.CV cs.LG
Distributed LSTM-Learning from Differentially Private Label Proportions
TU Dortmund University(多特蒙德工业大学)
近年来,数据隐私和分散的数据汇集变得越来越流行。为了解决隐私,通信带宽和时空数据学习的问题,我们将提出两种使用差分隐私和分散式LSTM学习的有效模型:一种是学习长短期记忆(LSTM)模型,用于提取局部时间节点约束并将其馈送到密集层(LabelProportionToLocal)。另一种方法通过从邻居获取直方图数据并将信息与LSTM输出(LabelProportionToDense)相结合来扩展第一种方法。为了进行评估,使用了两个流行的数据集:Pems-Bay和METR-LA。此外,我们还提供了一个基于LuST的数据集。评估将显示性能和数据隐私之间的权衡。
2023-01-15 cs.AI cs.CR cs.LG
On Theoretical Limits of Learning with Label Differential Privacy
School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区网络空间科学与技术学院);College of Computer Science, Chongqing University(重庆大学计算机学院);School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院);School of Cyberspace Science and Technology, Beijing Institute of Technology(北京理工大学网络空间科学与技术学院)
本文研究了分类和回归任务中局部与中心模型下标签差分隐私学习的基本理论极限,通过极小极大收敛速率建立下界与匹配上界,揭示了放宽局部DP定义的显著优势及中心DP放宽的有限益处。
2025-03-02 cs.IT cs.LG math.IT
Square$χ$PO: Differentially Private and Robust $χ^2$-Preference Optimization in Offline Direct Alignment
Wayne State University(韦恩州立大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出 Square$χ$PO 算法,通过将标准对数损失替换为概率平方损失,在一般函数逼近下同时实现了具备理论保证的差分隐私保护与鲁棒的离线直接对齐,并揭示了隐私与损坏先后顺序的影响。
2025-05-27 cs.LG
Differentially Private Label Protection in Split Learning
ByteDance(字节跳动)
分裂学习是一种分布式训练框架,它允许多方在垂直分区的数据(按属性分区)上联合训练机器学习模型。其思想是,只有中间计算结果,而不是私有特征和标签,在各方之间共享,以便原始训练数据保持私有。然而,最近的研究表明,分裂学习的明文实现存在严重的隐私风险,半诚实的对手可以很容易地重建标签。在这项工作中,我们提出了\textsf{TPSL}(转录私有分裂学习),一个通用的梯度扰动为基础的分裂学习框架,提供可证明的差分隐私保证。差分隐私不仅对模型权重,而且对分布式计算设置中的通信消息强制执行。我们在大规模真实数据集上的实验证明了\textsf{TPSL}对标签泄漏攻击的鲁棒性和有效性。我们还发现,\textsf{TPSL}有一个更好的实用性,隐私权衡比基线。
2022-03-04 cs.CR cs.DS cs.LG
Privacy-Preserving Student Learning with Differentially Private Data-Free Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
本文提出一种基于差分隐私的无数据蒸馏师生学习方法,通过生成合成数据并采用选择性随机响应保护标签隐私,在统一框架下同时保护数据和标签隐私,实验验证其有效性。
2024-09-19 cs.AI cs.CR cs.CV
Label Leakage and Protection from Forward Embedding in Vertical Federated Learning
Bytedance Inc.(字节跳动公司)
近年来,垂直联邦学习(vFL)得到了广泛的关注,并被用于解决机器学习问题和数据隐私问题。然而,最近的一些工作表明,vFL很容易受到隐私泄露的影响,即使只有前向中间嵌入(而不是原始特征)和反向传播梯度(而不是原始标签)在参与者之间进行通信。由于原始标签通常包含高度敏感信息,因此最近提出了一些工作来有效地防止vFL中来自反向传播梯度的标签泄漏。然而,这些工作仅识别和防御来自反向传播梯度的标签泄漏的威胁。这些工作都没有注意到从中间包埋的标签泄漏的问题。本文提出了一种实用的标签推理方法,该方法在使用标签差分隐私和梯度扰动等现有保护方法的情况下,仍能有效地从共享中间嵌入中窃取私有标签。标签攻击的有效性与中间嵌入和相应私有标签之间的相关性密不可分。为了减轻前向嵌入的标签泄漏问题,我们在标签方添加了一个额外的优化目标,通过最小化中间嵌入和相应的私有标签之间的距离相关性来限制对手的标签窃取能力。我们进行了大量的实验来证明我们提出的保护方法的有效性。
2022-05-25 cs.CR cs.LG
Differentially Private AUC Computation in Vertical Federated Learning
Bytedance Inc.(字节跳动公司)
联邦学习最近作为一种隐私增强工具获得了极大的关注,以通过多方联合训练机器学习模型。作为一个子类别,垂直联邦学习(vFL)专注于将特征和标签分成不同方的场景。之前关于vFL的工作主要研究如何在模型训练期间保护标签隐私。然而,vFL中的模型评估也可能导致私有标签信息的潜在泄漏。一种缓解策略是应用标签差分隐私(DP),但它给出了对真实(非隐私)度量的不良估计。在这项工作中,我们提出了两个评估算法,可以更准确地计算广泛使用的AUC(曲线下面积)度量时,使用标签DP在vFL。通过大量的实验,我们表明我们的算法可以实现更准确的AUC相比,基线。
2022-05-24 cs.CR cs.LG
Private Learning and Sanitization: Pure vs. Approximate Differential Privacy
Harvard University(哈佛大学)
我们比较了纯$ε$ -差分隐私[Dwork et al. TCC 2006]和近似$(ε,δ)$-差分隐私[Dwork et al. Eurocrypt 2006]下私人学习[Kasiviswanathan et al. 2008]和消毒[Blum et al. 2008]的样本复杂度。我们表明,这些任务的样本复杂度下近似差分隐私可以显着低于纯差分隐私。我们定义了一个家庭的优化问题,我们称之为准凹承诺问题,概括了我们考虑的一些任务。我们观察到,一个准凹的承诺问题可以私下近似使用一个较小的实例的一个准凹的承诺问题的解决方案。这使我们能够构建一个有效的递归算法解决这些问题的私人。具体来说,我们构造私人学习点函数,阈值函数,和轴对齐的矩形在高维。类似地,我们构造点函数和阈值函数的消毒器。我们还研究了标签私人学习者的样本复杂性,这是一种放松的私人学习,学习者只需要保护样本中标签的隐私。我们表明,VC维度完全表征了这样的学习者的样本复杂性,即,学习的样本复杂性与标签隐私是平等的(常数)学习没有隐私。
2014-07-10 cs.CR cs.LG stat.ML
Guarding the Privacy of Label-Only Access to Neural Network Classifiers via iDP Verification
Technion(以色列理工学院)
针对神经网络隐私攻击,提出LUCID方法,通过计算iDP确定性边界并仅对不满足iDP的输入添加噪声,实现仅标签访问的隐私保护,在0-iDP下准确率仅下降1.4%,优于DP训练算法。
2025-02-26 cs.LG cs.PL
FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation
针对联邦学习中设备间数据稀缺、标签偏移导致的局部模型过拟合与漂移问题,提出含全局特征缓冲、混合特征增强、激活混淆的FLea框架,在多数实验场景中性能提升超5%且兼顾隐私保护。
2024-06-18 cs.DC cs.LG
Differential Privacy Protected Preference Alignment on Survey Derived Data
ShanghaiTech University(上海科技大学)
该研究针对世界价值观调查衍生数据的偏好对齐问题,提出结合随机响应、指数机制和DP-SGD的差分隐私流程,实验表明标签级机制优于梯度级方法,为带隐私保障的语言模型对齐提供了新方向。
2026-10-14 cs.CL cs.CR cs.LG
Evaluating the Impact of Local Differential Privacy on Utility Loss via Influence Functions
University of Arkansas(阿肯色大学)
本文提出利用影响函数估计本地差分隐私中随机响应对模型测试损失的影响,从而以较低计算成本辅助选择隐私参数,并在二分类和多分类实验中验证了其近似准确性。
2023-09-15 cs.CR cs.LG
Towards Privacy-Guaranteed Label Unlearning in Vertical Federated Learning: Few-Shot Forgetting without Disclosure
WeBank AI Lab(WeBank人工智能实验室);Universiti Malaya(马来亚大学)
本文提出一种面向垂直联邦学习中隐私保障的标签撤销学习方法,通过流形混合机制生成合成嵌入,实现高效标签撤销与性能恢复。
2026-02-27 cs.CR cs.CV cs.LG
End-to-End Differential Privacy in Training Deep Neural Network Classifiers
School of Electrical and Computer Engineering, Georgia Institute of Technology(电气与计算机工程学院,佐治亚理工学院)
研究在深度神经网络分类器训练中实现端到端差分隐私,提出对训练输入私有化、标签公开的框架,并利用狄利克雷机制和雷尼差分隐私概念,实验表明在多个数据集上达到新最优精度,显著优于先前工作。
2026-07-23 cs.CR cs.LG
DPAUC: Differentially Private AUC Computation in Federated Learning
ByteDance Inc.(字节跳动公司)
联邦学习(FL)最近作为一种隐私增强工具,由多个参与者联合训练机器学习模型,得到了极大的关注。先前关于FL的工作主要研究如何在模型训练期间保护标签隐私。然而,FL中的模型评估也可能导致私有标签信息的潜在泄漏。在这项工作中,我们提出了一个评估算法,可以准确地计算广泛使用的AUC(曲线下面积)度量时,使用标签差分隐私(DP)在FL。通过大量的实验,我们表明我们的算法可以计算准确的AUC相比,地面真相。代码可从{ \url{https://github.com/bytedance/fedlearner/tree/master/example/privacy/DPAUC} }获得。
2022-12-07 cs.CR cs.LG
GDBR: Label Recovery Attack Against Partial Gradient Encryption in Federated Learning
The Hong Kong Polytechnic University(香港理工大学)
研究联邦学习中部分梯度加密的隐私问题,提出GDBR攻击,利用常用神经模块漏洞,构建梯度桥近似logits信息恢复标签,揭示其隐私威胁并通过实验验证。
2026-07-07 cs.CR cs.LG
Privacy-Preserving Model Transcription with Differentially Private Synthetic Distillation
Institute of Information Engineering at Chinese Academy of Sciences(中国科学院信息工程研究所);Beijing Institute of Astronautical Systems Engineering(北京航天系统工程研究所);Trustworthy Machine Learning Lab, School of Computer Science, The University of Sydney(悉尼大学计算机科学学院可信机器学习实验室)
本文提出差分隐私合成蒸馏方法,通过生成器和对抗训练实现隐私保护的模型转换,实验表明其在性能和隐私保护方面优于现有方法。
2026-01-27 cs.AI cs.CV cs.LG
Unveiling Client Privacy Leakage from Public Dataset Usage in Federated Distillation
Case Western Reserve University(凯斯西储大学)
本文首次系统分析了公共数据集辅助联邦蒸馏(PDA-FD)的隐私风险,提出标签分布推断攻击和基于LiRA的成员推断攻击,在FedMD、DS-FL和Cronus上验证了其有效性,揭示了现有框架的隐私脆弱性。
2025-06-04 cs.CR cs.LG
Towards Federated Learning against Noisy Labels via Local Self-Regularization
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
联邦学习(FL)旨在以隐私保护的方式从具有标记数据的大规模分散设备中学习联合知识。然而,由于高质量的标记数据需要昂贵的人工智能和努力,具有不正确标签的数据(称为噪声标签)在现实中无处不在,这不可避免地导致性能下降。虽然有很多方法被提出来直接处理噪声标签,这些方法要么需要过多的计算开销或违反隐私保护原则的FL。为此,我们专注于这个问题,在FL的目的是减轻性能下降所产生的噪声标签,同时保证数据的隐私。具体来说,我们提出了一种局部自正则化方法,它通过隐式地阻止模型记住噪声标签并使用自蒸馏显式地缩小原始和增强实例之间的模型输出差异来有效地正则化局部训练过程。实验结果表明,我们提出的方法可以实现显着的阻力对噪声标签在不同的噪声水平在三个基准数据集。此外,我们将我们的方法与现有的最先进的技术相结合,并在现实世界的数据集Clothing1M上实现了卓越的性能。该代码可在https://github.com/Sprinter1999/FedLSR上获得。
2022-08-25 cs.AI cs.DC cs.LG
FLea: Addressing Data Scarcity and Label Skew in Federated Learning via Privacy-preserving Feature Augmentation
University of Cambridge(剑桥大学);University of Birmingham(伯明翰大学)
FLea框架通过全局特征缓冲区、激活混合特征增强和混淆方法,在保护隐私的前提下缓解联邦学习中数据稀缺与标签偏斜导致的本地过拟合和漂移问题,并在多种设置下优于现有方法。
2024-07-02 cs.CR cs.DC cs.LG
Privacy-preserving Speech Emotion Recognition through Semi-Supervised Federated Learning
Department of Mathematics and Computer Science, Eindhoven University of Technology(埃因霍温理工大学数学与计算机科学系)
语音情感识别(SER)是指从自然语音中识别人类情感。如果准确地完成,它可以在构建以人为中心的上下文感知智能系统方面提供许多好处。现有的SER方法在很大程度上是集中式的,没有考虑用户的隐私。联邦学习(FL)是一种分布式机器学习范式,用于处理隐私敏感个人数据的分散化。在本文中,我们提出了一个隐私保护和数据高效的SER方法,利用FL的概念。据我们所知,这是第一个联邦SER方法,它利用自我训练学习结合联邦学习,利用标记和未标记的设备上的数据。我们对IEMOCAP数据集的实验评估表明,即使在数据标签可用性低和高度非独立同分布的情况下,我们的联邦方法也可以学习可推广的SER模型。分布。我们表明,与完全监督的联邦同行相比,我们的方法平均只需10%的标记数据,就可以将识别率提高8.67%。
2022-02-05 cs.AI cs.LG cs.SD
BLIA: Detect model memorization in binary classification model through passive Label Inference attack
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校);Meta
本文提出两种仅利用预训练模型输出的被动标签推理攻击BLIA,通过canary标签翻转实验检测二分类模型的标签记忆,并证明即使采用Label-DP,攻击成功率仍超过50%。
2025-03-17 cs.CR cs.LG
Modeling Global Distribution for Federated Learning with Label Distribution Skew
Central South University(中南大学);University of South Florida(南佛罗里达大学)
联邦学习通过连接分散的数据源实现深度模型的联合训练,可以显著降低隐私泄露的风险。然而,在更一般的情况下,标签在客户端之间的分布是不同的,称为“标签分布偏斜”。直接应用传统的联邦学习而不考虑标签分布偏斜问题会严重损害全局模型的性能。为此,我们提出了一种新的联邦学习方法,名为FedMGD,以减轻标签分布偏斜问题所造成的性能下降。它引入了一个全局生成对抗网络来对全局数据分布进行建模,而不需要访问局部数据集,因此全局模型可以使用数据分布的全局信息进行训练,而不会泄露隐私。实验结果表明,我们提出的方法显着优于国家的最先进的几个公共基准。代码可在\url{https://github.com/Sheng-T/FedMGD}上获得。
2022-12-17 cs.CV cs.LG
Confidence Calibration of Deep Learning Systems
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
本论文针对标签噪声、无监督域适应及隐私保护场景,开发深度学习系统的置信度校准方法,提升其在实际部署中的可靠性与安全性。
2026-08-13 cs.AI cs.LG stat.ML
PFSL: Personalized & Fair Split Learning with Data & Label Privacy for thin clients
Indian Institute of Technology, Bhilai(印度理工学院比莱分校)
传统的联邦学习(FL)框架要求每个客户端在每次迭代中重新训练他们的模型,这使得资源受限的移动设备无法训练深度学习(DL)模型。分裂学习(SL)通过使用集中式服务器来卸载模型子集的激活和梯度的计算提供了一种替代方案,但存在收敛速度慢和精度较低的问题。在本文中,我们实现了PFSL,一个新的分布式分裂学习框架,大量的瘦客户端并行执行迁移学习,从一个预先训练的DL模型开始,而不与中央服务器共享数据或标签。我们实现了客户端模型个性化的轻量级步骤,为各自的数据分布提供高性能。此外,我们评估的工作公平性约束下的非i.i.d.的各种情况下,客户端之间的性能公平性。数据分布和样本量不等。我们的准确性远远超过了目前的SL算法,并且非常接近于几个现实生活中的基准集中式学习。与FL变体相比,它具有非常低的计算成本,并承诺将DL的全部优势提供给极瘦,资源受限的客户端。
2023-03-19 cs.DC cs.LG
Similarity-based Label Inference Attack against Training and Inference of Split Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Pengcheng Laboratory(鹏城实验室)
本文揭示了分割学习交换的中间结果会泄漏私有标签,基于梯度与特征相似性设计三种标签推断攻击,在训练和推理阶段实现接近100%攻击准确率,并能有效抵抗多种最先进防御机制。
2024-03-22 cs.AI cs.CR cs.LG
Defending Label Inference Attacks in Split Learning under Regression Setting
Zhejiang University(浙江大学)
针对回归设置下 Split Learning 中基于梯度反演的标签推理攻击,提出 RLE 与自适应 MLE 标签扩展防御,在保持原任务性能的同时显著降低攻击效果。
2023-08-18 cs.CR cs.LG
Learning versus Refutation in Noninteractive Local Differential Privacy
University of Toronto(多伦多大学);Columbia University(哥伦比亚大学)
我们研究了非交互式局部差分隐私(LDP)中的两个基本统计任务:学习和反驳。学习需要找到一个最适合未知目标函数的概念(从从分布中提取的标记样本中),而反驳需要区分与类中某些概念相关性良好的数据分布与标签随机的分布。我们的主要结果是一个完整的表征样本的复杂性不可知PAC学习的非交互式LDP协议。我们发现,任何概念类的最佳样本复杂性捕获的近似$γ_2$ ~范数的自然矩阵与类。结合以前的工作[Edmonds,Nikolov和Ullman,2019],这给出了不可知论环境中学习和反驳之间的等价性。
2022-10-26 cs.CR cs.DS cs.LG
User-Level Label Leakage from Gradients in Federated Learning
Technical University of Darmstadt(达姆施塔特工业大学)
联邦学习使多个用户能够通过共享他们的模型更新(梯度)来构建联合模型,而他们的原始数据仍保留在他们的设备上。与普遍认为这提供了隐私益处相反,我们在这里添加了最近关于共享梯度时隐私风险的结果。具体来说,我们调查标签泄漏从副本(LLG),一种新的攻击提取标签的用户的训练数据从他们的共享梯度。该攻击利用梯度的方向和幅度来确定是否存在任何标签。LLG简单而有效,能够泄漏由标签表示的潜在敏感信息,并且可以很好地扩展到任意批量大小和多个类。我们从数学和经验上证明了在不同的设置下的攻击的有效性。此外,实验结果表明,LLG在模型训练的早期阶段成功地提取了高精度的标签。我们还讨论了不同的防御机制对这种泄漏。我们的研究结果表明,梯度压缩是一种实用的技术,以减轻攻击。
2022-01-03 cs.CR cs.LG
PROPS: Progressively Private Self-alignment of Large Language Models
PROPS通过多阶段隐私保护对齐框架,在保护偏好标签隐私的同时提升LLM对齐效果,实现更高的胜率。
2025-12-09 cs.AI cs.CR cs.IT
Does Differential Privacy Prevent Backdoor Attacks in Practice?
Emory University(埃默里大学);Zhejiang University(浙江大学)
本文首次评估DP-SGD与PATE在后门攻击下的实际防御效果,并提出更快更准的Label-DP替代方案,发现超参数调优可使Label-DP在保持精度的同时更有效防御后门攻击。
2023-11-10 cs.CR cs.LG
Label Leakage in Federated Inertial-based Human Activity Recognition
University of Siegen(辛根大学)
本研究评估了联邦学习中基于梯度的标签泄露攻击在惯性人体活动识别任务上的有效性,发现活动类别数、采样策略和类别不平衡是影响泄露的关键因素,重建准确率超90%,且局部差分隐私保护有限,并为隐私感知部署提供了建议。
2025-08-07 cs.HC cs.LG
Towards Unsupervised Domain Adaptation for Deep Face Recognition under Privacy Constraints via Federated Learning
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
无监督领域自适应已被广泛采用,以推广目标域中的未标记数据的模型,给定源域中的标记数据,其数据分布与目标域不同。然而,现有的工作是不适用于人脸识别的隐私约束下,因为他们需要在两个域之间共享敏感的人脸图像。为了解决这个问题,我们提出了一种新的无监督联邦人脸识别方法(FedFR)。FedFR通过联邦学习迭代地聚合来自源域的知识来提高目标域的性能。它通过在域之间传输模型而不是原始数据来保护数据隐私。此外,我们提出了一种新的域约束损失(DCL)来正则化源域训练。DCL抑制了源域的数据量优势。我们还提高了层次聚类算法预测伪标签的未标记的目标域准确。为此,FedFR形成了一个端到端的训练管道:(1)在源域中进行预训练;(2)通过在目标域中进行聚类来预测伪标签;(3)跨两个域进行域约束的联邦学习。在两个新构造的基准测试上的大量实验和分析证明了FedFR的有效性。在更现实的基准测试中,它在目标域中的性能优于基线和经典方法4%以上。我们相信,FedFR将有助于在隐私限制下将联邦学习应用于更多计算机视觉任务。
2021-05-17 cs.AI cs.CV cs.DC
Label-Only Membership Inference Attacks
University of Toronto(多伦多大学);Vector Institute(向量研究所);Stanford University(斯坦福大学);Google(谷歌)
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一:给定一个数据点和模型,确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签,而没有置信度,这些攻击就不适用。在本文中,我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分,而是评估模型预测标签在扰动下的鲁棒性,以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明,我们的标签只有成员推断攻击执行与以前的攻击,需要访问模型的信心。我们进一步证明,标签攻击打破多重防御成员推断攻击(隐式或显式)依赖于一种现象,我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击,但保持模型的预测标签不变。我们的标签攻击表明,信心掩蔽是不是一个可行的防御策略,对成员推理。最后,我们研究了最坏情况下的仅标签攻击,即推断少数离群数据点的成员资格。我们发现,在这种情况下,仅标签攻击也匹配基于信任的攻击。我们发现,具有差分隐私和(强)L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时,这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
FedCorr: Multi-Stage Federated Learning for Label Noise Correction
Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学)
联邦学习(FL)是一种隐私保护的分布式学习范式,使客户端能够联合训练一个全局模型。在现实世界的FL实现中,客户端数据可能具有标签噪声,并且不同的客户端可能具有非常不同的标签噪声水平。虽然存在用于解决标签噪声的集中式学习方法,但由于FL中的客户端数据集和数据隐私要求通常较小,因此这些方法在FL设置中的异构标签噪声上表现不佳。在本文中,我们提出了$\texttt{FedCorr}$,一个通用的多阶段框架来解决FL中的异构标签噪声,而不对本地客户端的噪声模型进行任何假设,同时仍然保持客户端数据隐私。具体地,(1)$\texttt{FedCorr}$通过利用在所有客户端上独立测量的模型预测子空间的维度来动态地识别有噪声的客户端,并且然后基于每样本损失来识别有噪声的客户端上的不正确标签。为了处理数据的异质性和提高训练的稳定性,我们提出了一个自适应的局部邻近正则化项,它是基于估计的局部噪声水平。(2)我们进一步对识别出的干净客户端上的全局模型进行微调,并在微调后为剩余的嘈杂客户端校正嘈杂标签。(3)最后,我们对所有客户进行常规培训,以充分利用所有本地数据。在具有联邦合成标签噪声的CIFAR-10/100和真实世界噪声数据集Clothing 1 M上进行的实验表明,$\texttt{FedCorr}$对标签噪声具有鲁棒性,并且在多个噪声水平下显著优于最先进的方法。
2022-04-10 cs.AI cs.CV cs.LG
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);NTNU(挪威科技大学)
我们提出了一个集成学习框架与泊松子采样,有效地训练一组教师模型,发出一些差分隐私(DP)的训练数据的保证。通过DP下的提升,从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制,即:(i)经由泊松子采样的隐私预算放大,以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型,以及(ii)子采样技术和总体师生学习框架的组合,该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练,以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明,我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
Improving on-device speaker verification using federated learning with privacy
Apple(苹果公司)
关于说话人特征的信息可以作为辅助信息用于提高说话人识别准确度。然而,这些信息往往是私人的。本文研究如何隐私保护学习可以提高说话人确认系统,使使用隐私敏感的说话人数据训练一个辅助分类模型,预测说话人的声音特征。特别是,本文探讨了不同的联邦学习和差分隐私机制相结合的方法所实现的效用。这些方法使得在保护用户隐私的同时训练中心模型成为可能,用户的数据保留在他们的设备上。此外,它们使学习大量说话者成为可能,确保在训练模型时良好地覆盖说话者特征。这里描述的辅助模型使用从触发说话人验证系统的短语中提取的特征。从这些功能,该模型预测扬声器特性标签被认为是有用的边信息。辅助模型的知识被提取到说话人确认系统中,使用多任务学习,由该辅助模型预测的边信息标签是额外的任务。这种方法的结果是在一个6%的相对改善等误差率超过基线系统。
2020-08-06 cs.LG cs.SD eess.AS
LabObf: A Label Protection Scheme for Vertical Federated Learning Through Label Obfuscation
Nanjing University(南京大学);Beijing Science and Technology Co, Three Fast Online(北京三快在线科技有限公司)
针对纵向联邦学习中分割神经网络易受标签推断攻击的问题,提出嵌入扩展攻击揭示现有防御缺陷,并设计标签混淆策略LabObf,通过随机映射软标签提升隐私保护,实验证明其有效降低攻击成功率且保持模型精度。
2024-07-22 cs.CR cs.LG
Differentially Private Active Learning: Balancing Effective Data Selection and Privacy
Technical University of Munich (TUM)(慕尼黑工业大学);TUM University Hospital(慕尼黑工业大学医院);Imperial College London(伦敦帝国理工学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Helmholtz Munich(亥姆霍兹慕尼黑中心);deepc GmbH(deepc有限公司)
本文针对标准学习场景提出差分隐私主动学习(DP-AL),通过步长放大技术优化数据利用,并评估了隐私约束下获取函数的有效性,揭示了隐私、模型准确率与数据选择准确率间的权衡。
2025-01-31 cs.CR cs.LG
Towards Independence Criterion in Machine Unlearning of Features and Labels
Yale University(耶鲁大学);Penn State University(宾夕法尼亚州立大学);Wuhan University(武汉大学);EPFL(洛桑联邦理工学院)
本研究提出基于影响函数和分布独立性原理的机器遗忘框架,以应对分布偏移下非均匀特征与标签移除的挑战,在保护隐私的同时维持模型性能与泛化能力。
2024-03-12 cs.AI cs.CR cs.LG