Post-processing of Differentially Private Data: A Fairness Perspective
Georgia Institute of Technology(佐治亚理工学院);Syracuse University(雪城大学)
后处理免疫性是差分隐私的一个基本属性:它使任意数据独立的转换到差异隐私输出,而不影响其隐私保证。后处理通常用于数据发布应用程序,包括普查数据,然后用于产生重大社会影响的分配。本文表明,后处理会对个人或群体产生不同的影响,并分析了两个关键设置:发布差异化的私有数据集,以及将这些私有数据集用于下游决策,例如美国人口普查数据所告知的资金分配。在第一种设置中,本文提出了传统后处理机制的不公平性的严格界限,为决策者提供了一个独特的工具来量化其发布所带来的不同影响。在第二种情况下,本文提出了一种新的后处理机制,是(近似)在不同的公平性指标下的最佳,无论是减少公平性问题大大降低或降低隐私的成本。人口普查数据的数值模拟的理论分析的补充。
2022-01-24 cs.AI cs.CR
Improving Noise Efficiency in Privacy-preserving Dataset Distillation
Carnegie Mellon University(卡内基梅隆大学);Pennsylvania State University(宾夕法尼亚州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对隐私保护数据集蒸馏中噪声利用效率低的问题,提出解耦采样与优化并在信息子空间匹配以减轻DP噪声的新框架,在CIFAR-10上显著提升性能。
2025-08-03 cs.AI cs.CV
Auditing Fairness-Privacy Trade-offs: Subpopulation-Level Effects of Fairness-Enhancing Algorithms
Virginia Tech(弗吉尼亚理工大学);ADA University(阿塞拜疆ADA大学);University of Potsdam(波茨坦大学);University of Passau(帕绍大学)
研究公平性增强算法在亚群体层面如何影响隐私风险,通过调整似然比攻击进行审计,分析差分隐私与公平性方法交互,发现公平性干预对隐私风险影响因多种因素而异,引入统一实证框架支持相关审计。
2026-07-17 cs.AI cs.LG
Toward the Tradeoffs between Privacy, Fairness and Utility in Federated Learning
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science and Technology(华中科技大学)
本文研究联邦学习中隐私、公平性与效用的相互影响,提出隐私保护的公平联邦学习方法,并实验证明三者之间存在权衡关系。
2023-11-30 cs.AI cs.LG
PFGuard: A Generative Framework with Privacy and Fairness Safeguards
KAIST(韩国科学技术院);Google(谷歌公司)
提出PFGuard生成框架,通过集成多个教师模型平衡隐私与公平冲突,同时保障隐私、公平和效用,实验验证其在高维数据上的有效性与DP保证。
2025-02-28 cs.AI cs.LG
Differential Privacy and Fairness in Decisions and Learning Tasks: A Survey
Syracuse University(雪城大学);Georgia Institute of Technology(佐治亚理工学院)
本文综述了差分隐私(DP)和公平性的交叉最近的工作。它审查的条件下,隐私和公平性可能有对齐或对比的目标,分析DP如何以及为什么可能加剧偏见和不公平的决策问题和学习任务,并描述了可用的缓解措施DP系统中出现的公平性问题。该调查提供了对在公平视角下部署隐私保护机器学习或决策任务时所面临的主要挑战和潜在风险的统一理解。
2022-09-08 cs.AI cs.LG
Balancing Fairness, Privacy, and Accuracy: A Multitask Adversarial Framework for Centralized Data-Driven Systems
School of Computing Technologies, RMIT University(计算技术学院,皇家墨尔本理工大学)
提出一种多任务对抗模型,将公平性和隐私作为核心目标,通过优化代价函数动态平衡三者,在最小化性能损失的同时实现高公平性和隐私保护。
2026-05-23 cs.AI cs.LG
On the Fairness of Privacy Protection: Measuring and Mitigating the Disparity of Group Privacy Risks for Differentially Private Machine Learning
Southern University of Science and Technology(南方科技大学);Lingnan University(岭南大学)
针对差分隐私机器学习中跨群体隐私保护公平性未被充分探索的问题,提出新型成员推理博弈以高效评估近似最坏情况群体隐私风险,并增强DP-SGD算法以减少群体隐私风险差异,提升隐私保护公平性。
2025-11-16 cs.AI cs.LG
A Multivocal Literature Review on Privacy and Fairness in Federated Learning
University of Bayreuth(拜罗伊特大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
本文通过多声文献综述梳理联邦学习中隐私与公平性的整合方法,指出二者关系被忽视且存在内在张力,呼吁构建兼顾隐私、公平与性能的一体化框架。
2024-10-27 cs.AI cs.LG
Improving Group Fairness in Knowledge Distillation via Laplace Approximation of Early Exits
EESC KTH Royal Institute of Technology(皇家理工学院电子与系统工程系);CSE IIT Bombay(印度理工学院班加罗尔计算机科学与工程系)
本文提出利用拉普拉斯近似获得校准良好的不确定性估计,对知识蒸馏中的困难实例进行重新加权,以改善学生模型的群体公平性,并在MultiNLI数据集上验证了其优于边际方法的稳健性。
2025-05-02 cs.AI cs.LG
Improving Fairness and Privacy in Selection Problems
University of Delaware(特拉华大学);University of Michigan(密歇根大学);Alan Turing Institute(阿兰·图灵研究所);University of California, Berkeley(加州大学伯克利分校)
监督学习模型已经越来越多地用于在招聘、贷款和大学录取等应用中对个人做出决策。这些模型可能会从训练数据集继承预先存在的偏差,并歧视受保护的属性(例如,种族或性别)。除了不公平之外,当模型的使用暴露了敏感的个人信息时,隐私问题也会出现。在各种隐私概念中,差分隐私是近年来比较流行的一种隐私概念。在这项工作中,我们研究了使用差分私有指数机制作为后处理步骤来提高监督学习模型的公平性和隐私性的可能性。与许多现有的作品不同,我们考虑的情况下,监督模型用于选择有限数量的申请人的可用职位的数量是有限的。这个假设非常适合各种场景,例如工作申请和大学录取。我们使用“机会均等”作为公平的概念,并表明指数机制可以使决策过程完全公平。此外,在真实世界数据集上的实验表明,指数机制可以提高隐私和公平性,与没有后处理的模型相比,准确性略有下降。
2020-12-07 cs.AI cs.LG
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad(国际信息技术学院(海得拉巴))
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先,这项工作提出了一个道德的联邦学习模型,同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Investigating Trade-offs in Utility, Fairness and Differential Privacy in Neural Networks
Tilburg University(蒂尔堡大学)
该研究对比四类神经网络,探究隐私、效用与公平的权衡关系,发现最高隐私保证下差分隐私公平神经网络公平性最优、准确率仅小幅下降,但相较前期工作准确率提升而公平性有所下降。
2021-02-11 cs.AI cs.LG
Analysing Fairness of Privacy-Utility Mobility Models
Imperial College London(伦敦帝国理工学院);University of Washington(华盛顿大学)
本文定义了一组基于轨迹结构相似性和熵的人类移动性公平性指标,并据此评估两个基于GAN和表示学习的隐私保护模型,发现它们在群体公平上达标但违反个人公平性,揭示了重识别任务与个人公平性之间的张力。
2023-04-10 cs.AI cs.CR cs.CY
Learning with Impartiality to Walk on the Pareto Frontier of Fairness, Privacy, and Utility
University of Toronto(多伦多大学);Vector Institute(向量研究所)
部署机器学习(ML)模型通常需要公平性和隐私保证。这两个目标都提出了独特的权衡与效用(例如,模型的准确性。然而,公平、隐私和效用之间的相互作用还不太清楚。因此,通常只有一个目标被优化,而其他目标则被调整为超参数。因为它们隐含地优先考虑某些目标,这样的设计以有害的、不可检测的方式使模型产生偏差。为了解决这个问题,我们采用公正性作为原则:ML管道的设计不应该偏向于一个目标。我们提出了公平指定的模型,它为我们提供了准确的帕累托边界,显示目标之间的内在权衡。扩展了两个用于隐私保护学习的规范ML框架,我们提供了两种方法(FairDP-SGD和FairPATE)来训练公平指定的模型并恢复Pareto边界。通过理论隐私分析和全面的实证研究,我们提供了一个答案的问题,公平缓解应该集成在一个隐私感知ML管道。
2023-02-17 cs.AI cs.CY cs.LG
Privacy and Fairness in Federated Learning: on the Perspective of Trade-off
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文综述了联邦学习中隐私与公平的相互作用,分析了FL环境下的独特挑战与解决方案,并揭示了二者相互竞争的权衡关系,为公平与隐私联邦学习指明了新研究方向。
2023-06-25 cs.AI cs.CR cs.CY
FedPF: Accurate Target Privacy Preserving Federated Learning Balancing Fairness and Utility
The School of Computer Science, Shanghai Jiao Tong University, Shanghai, China(上海交通大学计算机科学学院,上海,中国);The Shanghai Key Laboratory of Integrated Administration Technologies for Information Security, Shanghai, China(上海信息安全集成管理技术重点实验室,上海,中国);The School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳)科学与工程学院,中国)
FedPF通过将多目标优化转化为零和博弈,平衡公平性与隐私保护,实验证明在严格隐私约束下仍能保持最低歧视水平和高效用,同时揭示了隐私和公平性需通过精心权衡而非单独优化。
2026-04-29 cs.AI cs.LG
Fairness Meets Privacy: Integrating Differential Privacy and Demographic Parity in Multi-class Classification
Sorbonne Universite(索邦大学)
本文提出DP2DP算法,通过整合差分隐私与人口平等,实现多类分类中的隐私保护与公平性保障。
2025-11-24 cs.LG stat.ML
Unraveling Privacy Risks of Individual Fairness in Graph Neural Networks
Faculty of IT Monash University(莫纳什大学信息技术学院);School of CIS The University of Melbourne(墨尔本大学计算机与信息系统学院);School of ICT Griffith University(格里菲斯大学信息与通信技术学院)
本文探索图神经网络中边泄漏隐私风险与个体公平性的相互作用,发现提升公平性会加剧隐私风险,并提出基于影响函数的损失重加权与图结构扰动方法以平衡两者。
2024-03-20 cs.CY cs.LG
What is Left After Distillation? How Knowledge Transfer Impacts Fairness and Bias
University of Calgary(卡尔加里大学)
研究知识蒸馏对深度神经网络公平性与偏见的影响,发现提高蒸馏温度能显著改善蒸馏学生模型的整体和个体公平性,甚至在高温下超越教师模型,强调在敏感领域使用蒸馏模型需谨慎。
2025-04-02 cs.CY cs.LG stat.ML
When Fairness Meets Privacy: Exploring Privacy Threats in Fair Binary Classifiers via Membership Inference Attacks
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学);Data61 CSIRO
针对公平性增强二分类模型对基于分数的成员推理攻击存在抵抗力的现象,提出利用原始模型与公平性增强模型预测差异及预测差距作为攻击线索的高效攻击方法FD-MIA,并验证了其有效性。
2024-08-27 cs.AI cs.CR cs.LG
Can Synthetic Data be Fair and Private? A Comparative Study of Synthetic Data Generation and Fairness Algorithms
Centre for the Science of Learning & Technology (SLATE), University of Bergen(学习科学与技术中心(SLATE),卑尔根大学);University of South Australia(澳大利亚南澳大利亚大学)
本研究探讨了合成数据生成与公平性算法在平衡隐私和公平性方面的效果,发现DECAF算法在隐私和公平性之间取得最佳平衡,但其预测准确性较低,而对合成数据应用预处理公平算法能进一步提升公平性。
2025-01-03 cs.AI cs.CY cs.LG
The Impact of Generalization Techniques on the Interplay Among Privacy, Utility, and Fairness in Image Classification
Norwegian University of Science and Technology(挪威科技大学);SAP Labs France(思爱普法国实验室)
本研究探讨图像分类中隐私、效用与公平性的权衡,结合锐度感知训练与差分隐私优化平衡,提出调和分数指标,通过实验验证泛化技术的多方面影响及数据偏差的作用规律。
2024-12-16 cs.AI cs.LG
Privacy at a Price: Exploring its Dual Impact on AI Fairness
Commonwealth Scientific and Industrial Research Organisation(英联邦科学与工业研究组织)
该研究探究差分隐私对AI公平性的非单调影响,发现隐私增强初期准确性差异增大、高隐私水平更高时差异减小,且梯度裁剪可缓解DP噪声对公平性的负面影响。
2024-04-15 cs.AI cs.CR cs.CY
SAFES: Sequential Privacy and Fairness Enhancing Data Synthesis for Responsible AI
Lucy Family Institute for Data & Society(数据与社会卢西家族研究所);University of Notre Dame(北德克萨斯大学);Department of Applied and Computational Mathematics and Statistics(应用与计算数学与统计系)
提出 SAFES 序贯数据合成框架,将差分隐私合成与公平感知预处理结合,支持在隐私、公平性和效用间灵活权衡,并在真实数据集上验证其低效用损失下显著改善公平性。
2025-10-20 cs.CR cs.LG
On the Alignment of Group Fairness with Attribute Privacy
Univ Lyon, INSA Lyon, Inria, CITI(里昂大学、里昂国立应用科学学院、法国国家信息与自动化研究所、CITI研究所);University of Waterloo(滑铁卢大学)
本文研究群体公平性与属性隐私的关系,提出面向类别不平衡数据的AdaptAIA,并证明标准群体公平算法可在仅承担效用权衡的同时防御属性推断攻击。
2024-03-05 cs.CR cs.LG
Holistic Survey of Privacy and Fairness in Machine Learning
University of Southern California(南加州大学);Deakin University(迪肯大学);University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校);Amazon(亚马逊);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文全面综述了机器学习中隐私与公平的相互影响、现有架构及兼顾两者的算法,并指出同时实现这两者的研究挑战,特别关注大型语言模型。
2023-07-28 cs.LG
Do Fairness Interventions Come at the Cost of Privacy: Evaluations for Binary Classifiers
Australian Artificial Intelligence Institute and the School of Computer Science, University of Technology Sydney(澳大利亚人工智能研究所和悉尼技术大学计算机学院);Data61, CSIRO(Data61和澳大利亚联邦科学与工业研究组织);City University of Macau(澳门城市大学)
本文通过成员推理攻击和属性推理攻击评估公平性增强二元分类器的隐私风险,发现公平性干预通常能增强抵御能力,但揭露了利用公平与有偏差模型预测差异的新型威胁机制,暴露了重大隐私风险。
2025-03-11 cs.LG
Quantitative Auditing of AI Fairness with Differentially Private Synthetic Data
Institute of Information Science, Academia Sinica(学术院信息研究所)
该研究提出利用差分隐私合成数据审计AI系统公平性的框架,在保护隐私的同时实现严格的公平性评估,并在真实数据集上验证了其有效性和适用性。
2025-04-30 cs.AI cs.CY cs.LG
Decomposed Trust: Privacy, Adversarial Robustness, Ethics, and Fairness in Low-Rank LLMs
Department of Computer Science, Iowa State University, United States(爱荷华州立大学计算机科学系);Meta, United States(Meta)
本文研究低秩因子化对大语言模型信任性的影响,发现其在隐私保护上有所保留,但会削弱对话中个人身份信息的保护,同时增强对抗鲁棒性,但伦理和公平性有所下降。
2026-04-30 cs.AI cs.LG
Differential privacy for medical deep learning: methods, tradeoffs, and deployment implications
Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学模式识别实验室);Department of Diagnostic and Interventional Radiology, University Hospital RWTH Aachen(亚琛大学诊断与介入放射科);Department of Radiology, Stanford University(斯坦福大学放射科);Department of Urology, Stanford University(斯坦福大学泌尿科)
本文探讨医疗深度学习中差分隐私的应用,分析其在隐私保护与模型性能之间的权衡及部署影响。
2025-11-09 cs.AI cs.LG
Dikaios: Privacy Auditing of Algorithmic Fairness via Attribute Inference Attacks
机器学习(ML)模型已经被部署用于高风险应用。由于在数据集中观察到的敏感属性的类别不平衡,ML模型对由敏感属性(如种族和性别)识别的少数亚组是不公平的。处理中的公平性算法确保模型预测与敏感属性无关。此外,ML模型容易受到属性推断攻击,其中对手可以通过利用其可区分的模型预测来识别敏感属性的值。尽管隐私和公平性是可信ML的重要支柱,但公平算法引入的属性泄漏隐私风险尚未研究。我们确定属性推理攻击作为一种有效的措施,审计黑盒公平算法,使模型构建者占隐私和公平的模型设计。我们提出了Dikaios,一个隐私审计工具的公平算法的模型构建者,利用一个新的有效的属性推理攻击,占类不平衡的敏感属性,通过自适应预测阈值。我们对Dikaios进行了评估,以在五个数据集上对两个处理中公平算法进行隐私审计。我们表明,我们的属性推断攻击与自适应预测阈值显着优于以前的攻击。我们强调了处理中公平算法的局限性,以确保在敏感属性的不同值之间进行不可区分的预测。事实上,这些处理中公平方案的属性隐私风险根据数据集中敏感属性的比例是高度可变的。公平机制对属性隐私风险的这种不可预测的影响是模型构建者必须考虑的对其利用的重要限制。
2022-11-24 cs.CR cs.LG
Decoupling Knowledge and Privacy: Post-Task Self-Distillation Replay for LLM Continual Learning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University(南京大学);Tsinghua University(清华大学)
针对隐私保护持续学习中保留与纠正的粒度冲突,提出SPARK分解方法,先冻结任务后分布再选择性纠正,实现有效PII抑制并保持知识保留。
2026-11-05 cs.AI cs.LG
Federated Learning with Privacy-Preserving Ensemble Attention Distillation
University at Buffalo(布法罗大学);United Imaging Intelligence(联影智能)
联邦学习(FL)是一种机器学习范例,其中许多本地节点协作地训练中央模型,同时保持训练数据分散。这是特别相关的临床应用,因为患者数据通常不允许被转移出医疗设施,导致需要FL。现有的FL方法通常共享模型参数或采用共蒸馏来解决数据分布不平衡的问题。然而,它们还需要多轮同步通信,更重要的是,它们存在隐私泄露风险。在这项工作中,我们提出了一个隐私保护FL框架,利用未标记的公共数据进行单向离线知识蒸馏。中心模型通过集成注意蒸馏从局部知识中学习。我们的技术像现有的FL方法一样使用分散和异构的本地数据,但更重要的是,它显着降低了隐私泄露的风险。我们证明,我们的方法实现了非常有竞争力的性能与更强大的隐私保护的基础上广泛的实验图像分类,分割和重建任务。
2022-10-16 cs.AI cs.CR cs.LG
Productionized Fairness Measurement Under Privacy Constraints
LinkedIn(领英)
提出隐私保护的概率种族/民族估计方法,结合隐私技术实现美国LinkedIn成员种族/民族公平性度量,并展示其在候选人和观众侧公平性测量中的应用。
2026-06-29 cs.CR cs.LG
Fairness and/or Privacy on Social Graphs
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文全面研究了图神经网络(GNNs)中的公平性与隐私问题,通过跨数据集实验评估了多种公平性干预措施,揭示了公平性、隐私与准确性之间的权衡关系,为构建更稳健且符合伦理的图学习模型提供了重要见解。
2025-03-03 cs.CY cs.LG cs.SI
CoRe-Fed: Bridging Collaborative and Representation Fairness via Federated Embedding Distillation
CoRe-Fed通过联邦嵌入蒸馏实现协同与表示公平性,通过嵌入级正则化和公平性感知聚合策略提升模型性能和公平性。
2026-01-31 cs.LG
Membership and Memorization in LLM Knowledge Distillation
Peking University(北京大学);Brave Software(Brave软件公司);Purdue University(普渡大学);Imperial College London(伦敦帝国理工学院)
本研究系统调查了六种LLM知识蒸馏技术在多种NLP任务和模型中的成员推断与记忆化隐私风险,发现所有方法均会将隐私风险从教师传递给学生,且不同KD组件对风险影响各异。
2025-08-09 cs.AI cs.LG
PrivFairFL: Privacy-Preserving Group Fairness in Federated Learning
Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院);University of Washington Tacoma(华盛顿大学塔科马分校);Ghent University(根特大学)
群体公平性确保了基于机器学习(ML)的决策系统的结果不会偏向于由敏感属性(如性别或种族)定义的特定人群。在联邦学习(FL)中实现群体公平性是具有挑战性的,因为减轻偏见本质上需要使用所有客户端的敏感属性值,而FL的目的正是通过不允许访问客户端的数据来保护隐私。正如我们在本文中所示,在FL中的公平性和隐私性之间的冲突可以通过将FL与安全多方计算(MPC)和差分隐私(DP)相结合来解决。在这样做的过程中,我们提出了一种在完整和正式的隐私保证下在跨设备FL中训练组公平ML模型的方法,而不需要客户端公开其敏感属性值。
2022-08-26 cs.CR cs.LG
Fairness and Privacy Guarantees in Federated Contextual Bandits
IIIT, Hyderabad(印度理工学院海得拉巴分校);IIT, Ropar(印度理工学院罗帕尔分校)
本文提出联邦公平上下文老虎机算法Fed-FairX-LinUCB及其隐私版本,通过新颖通信协议实现次线性公平遗憾,并保证差分隐私,实验验证其接近最优性能。
2024-02-05 cs.LG
Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Alibaba Group(阿里巴巴集团)
针对对抗训练及蒸馏中存在的不同类别鲁棒性不均的鲁棒公平问题,提出反偏差软标签蒸馏方法,通过为知识蒸馏不同类别分配不同温度调整软标签平滑度,缩小类别间误差风险差距,在鲁棒性与公平性综合指标上优于现有方法。
2024-10-31 cs.CV cs.CY cs.LG
Does Privacy Always Harm Fairness? Data-Dependent Trade-offs via Chernoff Information Neural Estimation
University of California Santa Barbara(加州大学圣芭芭拉分校);JP Morgan Chase Global Technology Applied Research(摩根大通全球技术应用研究)
本文通过Chernoff信息理论分析隐私与公平性之间的数据依赖性权衡,提出Chernoff差异及其噪声变体,并开发神经网络估计器CINE以实现实世界数据集的分析。
2026-03-24 cs.AI cs.IT cs.LG
Empirical Analysis of Asynchronous Federated Learning on Heterogeneous Devices: Efficiency, Fairness, and Privacy Trade-offs
RISE Research Institutes of Sweden(瑞典RISE研究机构);Mälardalen University(马尔默大学)
本文通过五设备边缘测试平台比较FedAvg与FedAsync,结合LDP和Moments Accountant量化隐私损失,揭示异步FL提升效率但加剧公平性与隐私差异。
2025-05-11 cs.AI cs.DC cs.LG
Fair4Free: Generating High-fidelity Fair Synthetic Samples using Data Free Distillation
Linköping University(林雪平大学)
针对私有或不可访问数据场景,本文提出 Fair4Free,通过教师模型学习公平表示并无数据蒸馏到小型学生模型来生成公平合成样本,在公平性、效用和合成质量上均超越现有方法。
2024-10-02 cs.AI cs.LG
Decision Making with Differential Privacy under a Fairness Lens
Syracuse University(雪城大学);Georgia Institute of Technology(佐治亚理工学院)
本文研究差分隐私数据发布在资源分配决策中的公平性问题,揭示隐私噪声对部分群体造成不成比例影响的原因,并提出缓解指导方针。
2024-11-23 cs.AI cs.CY cs.LG
Privacy Cost as Equity Input: A Group Fairness Criterion for Differentially Private Machine Learning
研究差分隐私机器学习中群体公平性问题,提出基于隐私成本公平比率(PCER)的度量方法,该方法仅需每组训练和测试准确性,通过实验评估其与标准公平性度量的差异,揭示了基于结果度量遗漏的模式及隐私保证对审计的影响。
2026-07-21 cs.AI cs.CR cs.CY
Generating Synthetic Fair Syntax-agnostic Data by Learning and Distilling Fair Representation
Northeastern University(东北大学)
本文提出基于知识蒸馏的公平数据生成方法,通过小型架构蒸馏潜在空间中的公平表示,在公平性、样本质量和数据效用上分别提升5%、5%和10%。
2024-08-20 cs.AI cs.LG
FERD: Fairness-Enhanced Data-Free Robustness Distillation
提出FERD框架,通过鲁棒性引导的类别重加权和均匀目标对抗样本生成,解决无数据鲁棒性蒸馏中的公平性问题,提升最差类别鲁棒性。
2025-09-26 cs.CV cs.LG
Neither Private Nor Fair: Impact of Data Imbalance on Utility and Fairness in Differential Privacy
Seldon(塞尔顿);University of California San Diego(加州大学圣地亚哥分校);Ford R&A(福特研发中心);University of Oxford(牛津大学);OpenMined(开放挖掘)
深度学习在不同领域和行业的部署日益增长,这是由于其性能依赖于数据和计算的可用性。数据通常是众包的,并且包含关于其贡献者的敏感信息,这些信息会泄漏到在其上训练的模型中。为了实现严格的隐私保证,使用了不同的隐私训练机制。然而,最近的研究表明,差分隐私会加剧数据中现有的偏见,并对不同数据子组的准确性产生不同的影响。在本文中,我们的目标是研究差异私有深度学习中的这些影响。具体来说,我们的目标是研究数据中不同程度的不平衡如何影响模型在不同隐私级别下做出的决策的准确性和公平性。我们证明,即使是很小的不平衡和宽松的隐私保障也会造成不同的影响。
2020-10-03 cs.AI cs.CR cs.LG
Federated fairness-aware classification under differential privacy
Department of Statistics, University of Warwick(沃里克大学统计系)
本文研究了在联邦学习中差分隐私与公平性对分类任务的联合影响,提出FDP-Fair算法及简化版CDP-Fair算法,理论分析并验证了算法在隐私、公平性和风险控制方面的保障。
2026-03-25 cs.LG stat.ME stat.ML
Linkage on Security, Privacy and Fairness in Federated Learning: New Balances and New Perspectives
City University of Macau(澳门城市大学);University of Technology Sydney(悉尼科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本综述梳理联邦学习中隐私、安全与公平问题,分析三者间复杂关联与权衡,并指出公平性可作为连接隐私与安全的桥梁及未来研究方向。
2024-06-16 cs.CR cs.DC cs.LG
Towards Collaborative Fairness in Federated Learning Under Imbalanced Covariate Shift
The Pennsylvania State University(宾夕法尼亚州立大学);State University of New York at Albany(纽约州立大学阿尔巴尼分校);University of Minnesota Twin Cities(明尼苏达大学双城分校);Dalian University of Technology(大连理工大学)
针对联邦学习中不平衡协变量偏移影响协作公平性的问题,提出FedAKD方法,通过异步知识蒸馏策略利用高置信度样本更新模型,显著提升了协作公平性、预测准确性和客户端参与度。
2025-07-11 cs.AI cs.LG
(Local) Differential Privacy has NO Disparate Impact on Fairness
Inria(法国国家信息与自动化研究所);École Polytechnique (IPP)(巴黎综合理工学院(巴黎理工学院))
本文实证研究了在本地差分隐私(LDP)下收集多种敏感属性对公平性的影响,提出了一种考虑属性域大小的新型隐私预算分配方案,实验表明LDP不仅未恶化反而略微改善了公平性,挑战了差分隐私必然损害公平性的普遍看法。
2023-08-01 cs.CR cs.LG
An Empirical Analysis of Fairness Notions under Differential Privacy
SAP(SAP公司);INRIA(法国国家信息与自动化研究所);Eurecom(欧洲通信学院)
本研究针对差分隐私场景,实证分析适配DP-SGD的最优效用模型架构对不同类别公平性概念的影响,发现该架构通常会减小或可忽略地影响群体公平性差异,挑战了差分隐私必然加剧模型不公的认知。
2024-10-31 cs.LG