Towards a Measure of Individual Fairness for Deep Learning
University of Vermont(佛蒙特大学)
深度学习在人工智能方面取得了巨大进步,但经过训练的神经网络往往会反映和放大其训练数据中的偏差,从而产生不公平的预测。我们提出了一种新的衡量个人公平性的方法,称为预测敏感性,它近似于特定预测依赖于受保护属性的程度。我们展示了如何使用现代深度学习框架中的标准自动微分功能来计算预测灵敏度,并提出了初步的实证结果,表明预测灵敏度可能对测量个体预测中的偏差有效。
2020-09-28 cs.AI cs.CY
Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks
Texas State University(得克萨斯州立大学);Illinois Institute of Technology(伊利诺伊理工学院)
算法偏见越来越受到研究界和整个社会的关注。人工智能中的偏见比传统形式的歧视更加抽象和不直观,并且更难以检测和减轻。在目前的文献中存在一个明显的差距,在多类分类器的性能评估的相对偏差。在这项工作中,我们提出了两个简单而有效的度量,组合误差方差(CEV)和对称距离误差(EFT),以定量评估两个模型之间的类偏差。通过评估这些新指标的性能,并通过展示其实际应用,我们表明,它们可以用来衡量公平性以及偏见。这些演示表明,我们的指标可以解决测量多类分类中的偏差的特定需求。
2021-10-08 cs.AI cs.CY cs.LG
MAFT: Efficient Model-Agnostic Fairness Testing for Deep Neural Networks via Zero-Order Gradient Search
East China Normal University(华东师范大学)
本文提出黑盒个体公平性测试方法MAFT,通过零阶梯度搜索、梯度估计和属性扰动等轻量级技术,在不依赖模型内部信息的情况下达到白盒方法同等效果,并在有效性和效率上大幅超越现有黑盒方法。
2024-12-28 cs.AI cs.CY cs.LG
MIMIC-IF: Interpretability and Fairness Evaluation of Deep Learning Models on MIMIC-IV Dataset
University of Southern California(南加州大学)
最近发布的大规模医疗数据集极大地推动了针对医疗应用的数据驱动深度学习模型的研究。然而,由于这种深度黑盒模型的性质,对人类生命受到威胁的医疗保健场景中的可解释性,公平性和偏见的担忧需要对数据集和模型进行仔细和彻底的检查。在这项工作中,我们专注于MIMIC-IV(重症监护医学信息集市,第四版),最大的公共医疗数据集,并对数据集表示偏差以及用于院内死亡率预测的深度学习模型的可解释性和预测公平性进行全面分析。在可解释性方面,我们观察到:(1)性能最佳的可解释性方法成功地识别了各种预测模型中死亡率预测的关键特征;(2)人口统计学特征对预测很重要。在公平性方面,我们观察到:(1)在不同种族、性别和年龄的患者组中,机械通气的处方治疗存在差异;(2)所有研究的死亡率预测因素通常都是公平的,而IMV-LSTM(可解释多变量长短期记忆)模型在所有受保护组中提供了最准确和无偏倚的预测。我们进一步绘制了可解释性方法和公平性指标之间的具体联系,通过展示可解释性方法的特征重要性如何有利于量化死亡率预测因子的潜在差异。
2021-02-12 cs.AI cs.LG
Ensuring Equitable Financial Decisions: Leveraging Counterfactual Fairness and Deep Learning for Bias
Nihilent Technologies Ltd.(Nihilent科技有限公司)
本文针对机器学习模型在贷款审批等关键决策中的性别偏见问题,提出结合反事实公平与数据增强的偏见缓解技术,并在偏斜金融数据集上验证了其能有效实现更公平的决策结果。
2024-08-27 cs.AI cs.LG
Deep Learning on a Healthy Data Diet: Finding Important Examples for Fairness
Microsoft Research(微软研究院)
在商业应用中占主导地位的数据驱动的预测解决方案往往会受到偏见和刻板印象的影响,这引起了公平问题。预测模型可能会发现、使用或放大基于性别或其他受保护的个人特征的虚假相关性,从而歧视边缘化群体。减轻性别偏见已成为自然语言处理(NLP)的一个重要研究热点,也是一个有注释语料库可用的领域。数据增强通过向训练数据集添加反事实示例来减少性别偏见。在这项工作中,我们证明了增强数据集中的一些例子对于公平性来说可能并不重要,甚至是有害的。因此,我们提出了一个通用的方法修剪的事实和反事实的例子,以最大限度地提高模型的公平性,衡量的人口均等,机会均等,机会均等的赔率。在三个文本分类数据集上,我们的方法所实现的公平性超过了数据增强,使用的例子不超过增强数据集中的一半。我们的实验使用不同大小和预训练设置的模型进行。
2022-11-25 cs.AI cs.CL cs.CY
FairNeuron: Improving Deep Neural Network Fairness with Adversary Games on Selective Neurons
Xi’an Jiaotong University(西安交通大学);Rutgers University(罗格斯大学);Wuhan University(武汉大学)
随着深度神经网络(DNN)被集成到越来越多对社会产生深远影响的关键系统中,人们越来越关注其道德性能,例如公平性。不幸的是,在许多情况下,模型的公平性和准确性是相互矛盾的优化目标。为了解决这个问题,已经有一些工作试图通过在模型级使用对抗性博弈来提高模型的公平性。该方法引入了一个对手,除了评估模型对主任务的预测准确性外,还评估模型的公平性,并执行联合优化以获得平衡的结果。在本文中,我们注意到,在执行基于反向传播的训练时,这种矛盾的现象已经在单个神经元水平上表现出来。基于这一观察,我们提出了FairNeuron,一个DNN模型自动修复工具,以减轻公平性问题,并在不引入另一个模型的情况下平衡准确性-公平性权衡。它的工作原理是从准确性和公平性训练目标中检测具有矛盾优化方向的神经元,并通过选择性丢弃来实现权衡。与现有的方法相比,我们的方法是轻量级的,使其可扩展性和更有效。在3个数据集上的测试结果表明,FairNeuron能够有效地提高模型的公平性,同时保持稳定的效用。
2022-05-11 cs.AI cs.LG cs.SE
Insights into Fairness through Trust: Multi-scale Trust Quantification for Financial Deep Learning
University of Waterloo(滑铁卢大学);DarwinAI Corp.(达尔文人工智能公司);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所)
近年来,深度学习的成功使得人们对采用深度学习来解决金融服务任务的兴趣和流行度显著增加。在金融服务中采用深度学习的一个障碍是,开发的金融深度学习模型在预测中是否公平,特别是考虑到金融服务行业强大的治理和监管合规要求。在金融深度学习中尚未探索的公平性的一个基本方面是信任的概念,其变化可能指向以自我为中心的公平性观点,从而提供对模型公平性的见解。在这项研究中,我们探索了多尺度信任量化策略的可行性和实用性,以深入了解金融深度学习模型的公平性,特别是在不同尺度的不同场景下。更具体地说,我们在深度神经网络上进行多尺度信任量化,用于信用卡违约预测,以研究:1)模型的整体可信度2)所有可能的预测-真值关系下的信任水平,3)可能预测范围内的信任水平,4)不同人口统计群体(例如,年龄、性别和教育),以及5)个体预测场景的总体信任分布。这项概念验证研究的见解表明,这种多尺度信任量化策略可能有助于金融服务领域的数据科学家和监管机构,作为金融深度学习解决方案验证和认证的一部分,以深入了解这些解决方案的公平性和信任度。
2020-11-03 cs.AI cs.LG q-fin.ST
Model Selection's Disparate Impact in Real-World Deep Learning Applications
算法公平性强调了有偏见的数据在自动决策结果中的作用。最近,人们的注意力转移到了涉及ML管道其他阶段公平性的偏见来源上。我们认为,这种偏见的一个来源,在模型选择中的人类偏好,在其对不同人口群体的影响方面仍然没有得到充分的探讨。使用在真实世界医学成像数据上训练的深度学习模型,我们根据经验验证了我们的主张,并认为模型比较的度量标准的选择,特别是那些不考虑可变性的度量标准,可以显着偏差模型选择结果。
2021-09-07 cs.AI cs.CY cs.LG
DetoxAI: a Python Toolkit for Debiasing Deep Learning Models in Computer Vision
Institute of Computing Science, Poznan University of Technology(计算科学研究所,波兹南技术大学)
DetoxAI是一个开源Python工具包,通过事后去偏、内部表示干预、公平性指标与可视化工具,解决深度学习视觉分类中的公平性问题。
2026-10-23 cs.AI cs.CV cs.LG
Time to Fake It: Continual Machine Learning Intensifies Unfairness in Deepfake Detection
Faculty of Mathematics and Computer Science, University of Bremen(不来梅大学数学与计算机科学学院)
该研究针对深度伪造检测,发现持续学习(CL)方法会加剧不公平性,准确性下降常加剧不公平,公平性改善稀缺,呼吁CL方法权衡稳定性-可塑性时考虑社会结果。
2026-10-16 cs.AI cs.LG
Technical Challenges for Training Fair Neural Networks
University of Maryland, College Park(马里兰大学帕克分校);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
随着机器学习算法在应用程序中的广泛部署,人们对其预测的公平性提出了许多担忧,特别是在高风险环境中(如面部识别和医学成像)。为了回应这些关注,社会提出并正式确定了各种公平的概念以及纠正不公平行为的方法。虽然公平性约束已经被广泛研究了经典模型,但对深度神经网络施加公平性的方法的有效性尚不清楚。在本文中,我们观察到这些大型模型过度拟合公平目标,并产生一系列意想不到的和不希望的后果。我们使用最先进的架构对面部识别和自动医疗诊断数据集进行实验。
2021-02-12 cs.AI cs.CY cs.LG
FairLint-DL: An IDE-Native Tool for Fairness Debugging of Deep Learning Software
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
FairLint-DL是一个Visual Studio Code扩展,通过代理模型和QID指标实现训练前公平性检测,并在多个基准上高效发现偏差。
2026-09-16 cs.AI cs.LG cs.SE
Auditability and the Landscape of Distance to Multicalibration
本文研究如何衡量预测器的多重校准程度,指出已有度量 wdMC 和 dMC 无法同时满足修改幅度刻画与信息论可审计性,并提出连续化 dMC 和到交集多重校准距离两个等价度量,同时揭示多重校准距离的损失景观与几何结构。
2025-09-21 cs.LG
Differential privacy for medical deep learning: methods, tradeoffs, and deployment implications
Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学模式识别实验室);Department of Diagnostic and Interventional Radiology, University Hospital RWTH Aachen(亚琛大学诊断与介入放射科);Department of Radiology, Stanford University(斯坦福大学放射科);Department of Urology, Stanford University(斯坦福大学泌尿科)
本文探讨医疗深度学习中差分隐私的应用,分析其在隐私保护与模型性能之间的权衡及部署影响。
2025-11-09 cs.AI cs.LG
Fairness in Cardiac MR Image Analysis: An Investigation of Bias Due to Data Imbalance in Deep Learning Based Segmentation
King's College London(伦敦国王学院);Guy’s and St Thomas' Hospital(盖伊和圣托马斯医院);University of Oxford(牛津大学);Queen Mary University London(伦敦玛丽女王大学);St Bartholomew’s Hospital(圣巴塞洛缪医院);Barts Health NHS Trust(巴茨健康国民保健服务信托基金);Health Data Research UK(英国健康数据研究所);Alan Turing Institute(艾伦·图灵研究所)
人工智能(AI)中的“公平性”主题是指根据种族和性别等人口统计特征评估AI算法的潜在偏见,以及开发算法来解决这种偏见。迄今为止,大多数应用都是在计算机视觉领域,尽管医疗保健领域的一些工作已经开始出现。近年来,在心脏MR分割中使用深度学习(DL)已经取得了令人印象深刻的结果,并且这些技术开始转化为临床实践。然而,还没有工作调查这种模式的公平性。在这项工作中,我们对种族/性别组进行了这样的分析,重点是训练数据不平衡的问题,使用nnU-Net模型对来自英国生物银行数据集的电影短轴心脏MR数据进行训练和评估,包括来自6个不同种族组的5,903名受试者。我们发现不同种族群体之间的骰子性能存在统计学显著差异。为了减少种族偏见,我们研究了三种策略:(1)分层批量抽样,其中批量抽样被分层以确保种族群体之间的平衡;(2)用于分割的公平元学习,其中DL分类器被训练以分类种族并与分割模型联合优化;以及(3)保护组模型,其中为每个种族群体训练不同的分割模型。我们还将结果与具有完全平衡的数据库的情况进行了比较。为了评估公平性,我们使用平均Dice值的标准差(SD)和偏误率(SER)。我们的研究结果表明,种族偏见的结果,使用不平衡的训练数据,所有提出的偏见缓解策略,提高公平性,最好的SD和SER的使用保护组模型。
2021-07-01 cs.AI cs.CV
Learning to Teach Fairness-aware Deep Multi-task Learning
L3S Research Center(L3S研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学);Free University Berlin(柏林自由大学)
公平意识学习主要关注单任务学习(STL)。多任务学习(MTL)的公平性影响最近才被考虑,并提出了一种开创性的方法,该方法考虑了每个任务的公平性-准确性权衡以及不同任务之间的性能权衡。我们提出了一种灵活的方法,而不是一个刚性的公平性和准确性的权衡制定,学习如何在MTL设置公平,选择目标(准确性或公平性),以优化在每一步。我们介绍了L2 T-FMT算法,这是一个教师-学生网络协同训练;学生学习解决公平MTL问题,而教师指导学生从准确性或公平性中学习,这取决于每个任务的学习难度。此外,这种在每个任务的每个步骤使用哪个目标的动态选择将权衡权重的数量从2 T减少到T,其中T是任务的数量。我们在三个真实数据集上的实验表明,L2 T-FMT在公平性(12-19%)和准确性(高达2%)方面都优于最先进的方法。
2022-06-16 cs.AI cs.CY cs.LG
Split-n-Chain: Privacy-Preserving Multi-Node Split Learning with Blockchain-Based Auditability
Indian Institute of Technology (Indian School of Mines) Dhanbad, India(印度理工学院(印度矿山学院)达翰巴德分校);Indian Institute of Engineering Science and Technology, Shibpur, India(印度工程科学与技术学院,希伯普尔分校)
提出Split-n-Chain,一种将神经网络层分割到多个分布式节点的分割学习变体,实现数据隐私和模型参数隐私保护,并利用区块链审计节点计算,实验表明其高效且训练损失与单体实现相似。
2026-07-03 cs.CR cs.LG
Data-Driven Fairness Generalization for Deepfake Detection
Florida State University(佛罗里达州立大学);Oklahoma State University(俄克拉荷马州立大学)
本文提出一种数据驱动框架,通过合成多样化人口群体数据、损失锐度感知优化和多任务学习,解决深度伪造检测中的公平性泛化问题,并在跨数据集评估中超越现有方法。
2024-12-31 cs.AI cs.CV cs.CY
DeepFair: Deep Learning for Improving Fairness in Recommender Systems
Universidad Politécnica de Madrid(马德里理工大学)
推荐系统中缺乏偏见管理导致少数群体收到不公平的推荐。此外,公平与精确之间的权衡使得很难获得同时符合这两项标准的建议。在这里,我们提出了一种基于深度学习的协同过滤算法,该算法在不知道用户的人口统计信息的情况下,提供了公平性和准确性之间的最佳平衡的推荐。实验结果表明,它是可能的,使公平的建议,而不会失去一个显着比例的准确性。
2020-06-09 cs.AI cs.LG stat.ML
Fairness Testing of Deep Image Classification with Adequacy Metrics
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学)
作为深度图像分类应用,例如,人脸识别在我们的日常生活中越来越普遍,其公平性问题也越来越受到关注。因此,在部署之前全面测试这些应用程序的公平性至关重要。现有的公平性测试方法存在以下局限性:1)适用性,即,它们仅适用于结构化数据或文本,而不处理用于图像分类应用的语义级中的高维和抽象域采样; 2)功能性,即,它们产生不公平的样本,而没有提供测试标准来表征模型的公平充分性。为了填补这一空白,我们提出了DeepFAIT,这是一个专门为深度图像分类应用设计的系统公平性测试框架。DeepFAIT由几个重要组件组成,可以对深度图像分类应用进行有效的公平性测试:1)用于识别公平性相关神经元的神经元选择策略; 2)用于评估模型公平性的一组多粒度充分性度量; 3)用于有效解决公平性问题的测试选择算法。我们已经对广泛采用的大规模人脸识别应用进行了实验,即,VGGFace和FairFace。实验结果表明,该方法可以有效地识别公平性相关的神经元,表征模型的公平性,并选择最有价值的测试用例,以减轻模型的公平性问题。
2021-12-01 cs.LG
On Demographic Group Fairness Guarantees in Deep Learning
Harvard AI and Robotics Lab at Harvard University(哈佛大学人工智能与机器人实验室);Embodied AI and Robotics (AIR) Lab at New York University(纽约大学具身人工智能与机器人实验室);School of Computing and Informatics, University of Louisiana at Lafayette(路易斯安那州立大学拉法叶分校计算机与信息学院)
本文提出Fairness-Aware Regularization方法,通过减少组间特征差异提升模型公平性与准确性。
2026-02-28 cs.CY cs.LG
Automatic Fairness Testing of Neural Classifiers through Adversarial Sampling
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学);Huawei International Pte. Ltd.(华为国际私人有限公司);National University of Singapore(新加坡国立大学)
尽管深度学习在许多应用中表现出惊人的性能,但人们仍然担心它的可靠性。具有社会影响的深度学习应用的一个期望属性是公平性(即,不歧视)。不幸的是,由于训练数据中的歧视,歧视可能固有地嵌入到模型中。作为一种对策,公平性测试系统地识别歧视性样本,可以用来重新训练模型,提高模型的公平性。然而,现有的公平性测试方法有两个主要的局限性。首先,它们只在传统的机器学习模型上工作得很好,性能很差(例如,深度学习模型的有效性和效率。其次,它们只适用于简单的结构化(例如,表格)数据,并且不适用于文本等域。在这项工作中,我们通过提出一种可扩展的有效方法来弥补这一差距,该方法用于系统地搜索歧视性样本,同时扩展现有的公平性测试方法以解决更具挑战性的领域,即,文本分类与最先进的方法相比,我们的方法只采用轻量级的过程,如梯度计算和聚类,这是显着更具可扩展性和有效性。实验结果表明,平均而言,我们的方法更有效地探索搜索空间(9.62和2.38倍以上的最先进的方法分别对表格和文本数据集),并产生更多的歧视性样本(24.95和2.68倍)在相同的合理时间。此外,重新训练的模型平均分别减少了57.2%和60.2%的歧视。
2021-07-29 cs.AI cs.CY cs.LG
Fairness-aware Adversarial Perturbation Towards Bias Mitigation for Deployed Deep Models
Wuhan University(武汉大学);Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Adobe Research(Adobe研究院)
优先考虑公平性在人工智能(AI)系统中至关重要,特别是对于那些社会应用,例如,招聘制度应平等地推荐来自不同人口群体的申请人,风险评估制度必须消除刑事司法中的种族主义。现有的人工智能系统道德发展努力利用数据科学来减轻训练集中的偏见,或将公平原则引入训练过程。然而,对于已部署的人工智能系统,它可能不允许在实践中进行重新训练或调整。相比之下,我们提出了一种更灵活的方法,即,公平感知对抗扰动(FAAP),其学习扰动输入数据以在公平相关特征上盲部署模型,例如,性别和种族。FAAP的主要优势在于它不会修改已部署模型的参数和结构。为了实现这一目标,我们设计了一个基于潜在表示的公平性相关属性从部署的模型区分。同时,一个扰动发生器的训练,对干扰,这样就没有公平相关的功能可以从扰动输入提取。详尽的实验评估表明,建议FAAP的有效性和优越的性能。此外,FAAP在真实世界的商业部署(无法访问模型参数)上进行了验证,这表明FAAP具有可移植性,具有黑盒适应的潜力。
2022-03-03 cs.AI cs.LG
Integrating Fairness and Model Pruning Through Bi-level Optimization
Clemson University(克莱姆森大学)
针对传统剪枝加剧算法偏见的问题,提出公平模型剪枝概念,通过双层优化联合优化剪枝掩码与权重更新,在保持性能的同时确保公平性,实验验证其优越性。
2026-11-17 cs.AI cs.CY cs.LG
Adversarial Sampling for Fairness Testing in Deep Neural Network
University of Texas at El Paso(德克萨斯大学埃尔帕索分校);Virginia Tech(弗吉尼亚理工大学);Austin Peay State University(奥斯汀佩伊州立大学)
在这项研究中,我们专注于使用对抗采样来测试深度神经网络模型在给定数据集中不同类别图像上预测的公平性。虽然已经提出了一些框架来确保机器学习模型对对抗攻击的鲁棒性,其中一些框架包括对抗训练算法。对抗性训练算法仍然存在陷阱,往往会导致不同群体之间的准确性和鲁棒性差异。我们的研究旨在使用对抗性采样来测试深度神经网络模型在给定数据集中不同类别或类别的图像中预测的公平性。我们成功地证明了一种新的方法,可以确保深度神经网络分类器中各组输入的公平性。我们在原始图像上训练我们的神经网络模型,而不是在受干扰或受攻击的图像上训练我们的模型。当我们将对抗样本输入到我们的模型中时,它能够预测对抗样本所属的图像的原始类别/类。我们还引入并使用了来自软件工程的关注点分离概念,其中有一个额外的独立过滤层,通过在自动将其传递到网络进行分类之前大量去除噪声或攻击来过滤扰动图像,我们能够获得93.3%的准确率。Cifar-10数据集有10个类别的数据集,因此,为了考虑公平性,我们将假设应用于每个类别的数据集,并能够获得一致的结果和准确性。
2023-03-06 cs.CY cs.LG
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad(国际信息技术学院(海得拉巴))
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先,这项工作提出了一个道德的联邦学习模型,同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
Evaluating the Fairness of Deep Learning Uncertainty Estimates in Medical Image Analysis
Centre for Intelligent Machines, McGill University(麦吉尔大学智能机器中心)
尽管深度学习(DL)模型在许多医学图像分析任务中取得了巨大成功,但将所产生的模型部署到实际临床环境中需要:(1)它们在不同的子人群中表现出鲁棒性和公平性,以及(2)DL模型预测的置信度以不确定性的形式准确表达。不幸的是,最近的研究确实显示了人口统计学亚组(例如,种族、性别、年龄),表明模型缺乏公平性。尽管ML文献中已经提出了几种方法来减轻DL模型中缺乏公平性的问题,但它们完全关注组之间的绝对性能,而不考虑它们对不确定性估计的影响。在这项工作中,我们提出了第一次探索流行的公平模型的影响,克服偏见在医疗图像分析的底线性能方面的子群,以及它们对不确定性量化的影响。我们对三种不同的临床相关任务进行了广泛的实验:(i)皮肤病变分类,(ii)脑肿瘤分割,(iii)阿尔茨海默病临床评分回归。我们的研究结果表明,流行的ML方法,如数据平衡和分布式鲁棒优化,成功地减轻了一些任务的模型性能方面的公平性问题。然而,这可能是以与模型预测相关的不确定性估计较差为代价的。如果要在医学图像分析中采用公平模型,则必须减轻这种权衡。
2023-03-06 cs.CV cs.CY cs.LG
Learning Fairer Representations with FairVIC
Department of Computer Science, University of York, York, United Kingdom(英国约克大学计算机科学系)
本文提出 FairVIC,在训练损失中引入方差、不变性和协方差项以减少对受保护特征的依赖,实验表明其在不损失准确性的情况下将各项公平性指标提升约 70%。
2025-10-21 cs.AI cs.CY cs.LG
Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning
University of Maryland(马里兰大学);MPI-SWS(马克斯·普朗克软件系统研究所)
深度神经网络(DNN)越来越多地用于现实世界的应用(例如面部识别)。这导致了人们对这些模型所做决定的公平性的担忧。人们提出了各种公平的概念和措施,以确保决策制度不会不成比例地损害(或有利于)人口中的特定亚群体。在本文中,我们认为,传统的公平性的概念,只基于模型的输出是不够的,当模型容易受到对抗攻击。我们认为,在某些情况下,攻击者可能更容易针对特定的子组,从而导致\textit{robustness bias}的形式。我们证明了测量鲁棒性偏差对DNN来说是一项具有挑战性的任务,并提出了两种方法来测量这种形式的偏差。然后,我们对最先进的神经网络在常用的现实世界数据集(如CIFAR-10,CIFAR-100,Adience和UTKFace)上进行了实证研究,并表明在几乎所有情况下,都存在鲁棒性较差的子组(在某些情况下,基于种族,性别等敏感属性),因此处于不利地位。我们认为,这种偏见的出现是由于数据分布和学习的决策边界在DNN的情况下,高度复杂的性质,从而使减轻这种偏见的一个不平凡的任务。我们的研究结果表明,鲁棒性偏差是审计依赖DNN进行决策的真实世界系统时需要考虑的一个重要标准。代码重现我们所有的结果可以在这里找到:\url{https://github.com/nvedant07/Fairness-Through-Robustness}
2021-01-21 cs.CY cs.LG
Fairpriori: Improving Biased Subgroup Discovery for Deep Neural Network Fairness
The University of Sydney(悉尼大学);CSIRO(联邦科学与工业研究组织)
本文提出 Fairpriori,利用频繁项集生成快速计算多类公平性指标并发现有偏子群,在易用性、解释性、适用范围和效率上优于现有方法。
2024-06-25 cs.CY cs.LG cs.SE
Contexts Matter: An Empirical Study on Contextual Influence in Fairness Testing for Deep Learning Systems
University of Birmingham(伯明翰大学)
本文通过涵盖10,800个案例的实证研究,考察超参数、数据偏差和标注偏差等情境对深度学习公平性测试的影响,并借助适应度景观分析揭示其显著改变测试结果的机制。
2024-08-12 cs.CY cs.LG cs.SE
Fairness-enhancing deep learning for ride-hailing demand prediction
Massachusetts Institute of Technology(麻省理工学院)
按需叫车服务的短期需求预测是智能交通系统的基本问题之一。然而,以往的出行需求预测研究主要集中在提高预测精度,忽视了公平性问题,如系统低估了弱势社区的出行需求。本研究旨在探讨如何衡量、评估和提高网约车服务时空需求预测中弱势群体和特权群体之间的预测公平性。一个双管齐下的方法来减少需求预测偏差。首先,我们开发了一种新的深度学习模型架构,命名为社会感知神经网络(SA-Net),通过创新的社会感知卷积运算整合社会人口统计和乘客量信息进行公平需求预测。其次,我们提出了一种偏差缓解正则化方法来缓解不同群体之间的平均百分比预测误差差距。在芝加哥交通网络公司(Chicago Transportation Network Company,TNC)真实数据上的实验结果表明,去偏SA-Net在预测精度和公平性方面都有较好的预测性能。具体而言,与最先进的模型相比,SA网络提高了对弱势群体和特权群体的预测准确性。当与偏差缓解正则化方法相结合时,去偏SA网络有效地弥合了弱势群体和特权群体之间的平均百分比预测误差差距,并保护弱势地区免受系统性低估跨国公司需求的影响。我们提出的去偏置方法可以在许多现有的短期出行需求估计模型中采用,并且可以用于各种其他时空预测任务,例如犯罪事件预测。
2023-03-10 cs.CY cs.LG
Benchmarking Stochastic Approximation Algorithms for Fairness-Constrained Training of Deep Neural Networks
Artificial Intelligence Center, Czech Technical University in Prague(捷克技术大学布拉格分校人工智能中心)
本文提出了一种用于评估在公平性约束下训练深度神经网络的随机逼近算法的基准测试方法,并展示了三种新算法的实现与比较。
2026-02-18 cs.CY cs.LG math.OC
The Disparate Benefits of Deep Ensembles
JKU Linz(林茨约翰内斯·开普勒大学);ELLIS Alicante(欧洲学习与智能系统研究所阿利坎特分部)
本文研究深度集成模型的性能提升与算法公平性的关系,发现其收益在不同受保护群体间不均衡,提出差异性收益效应,并用预测多样性解释成因,证明Hardt后处理可有效缓解该效应。
2025-06-04 cs.AI cs.LG
Fair Knowledge Tracing in Second Language Acquisition
Monash University(莫纳什大学);Renmin University of China(中国人民大学);Australian National University(澳大利亚国立大学)
本研究评估Duolingo数据集上两种预测模型在跨平台和国家间的公平性,发现深度学习在准确率与公平性上总体优于机器学习,但模型普遍偏向移动用户,且不同语言轨道适用性不同。
2024-12-23 cs.AI cs.CY cs.HC
A Deep Reinforcement Learning Approach for Fair Traffic Signal Control
University of Toronto(多伦多大学)
交通信号控制是城市交通管理最有效的方法之一。近年来,基于深度强化学习(DRL)的交通控制方法因其利用实时交通数据的能力而受到关注,而传统的手工方法往往无法很好地利用这些数据。虽然大多数基于日间行车线的方法都集中在最大化的吞吐量或最小化的平均行驶时间的车辆,交通信号控制器的公平性往往被忽视。这一点尤其重要,因为忽略公平性可能导致某些车辆经历极端等待时间的情况,或者特定交通流的吞吐量受到交叉口另一冲突流的波动的高度影响。为了解决这些问题,我们引入了两个公平性的概念:基于延迟的公平性和基于吞吐量的公平性,这对应于上面提到的两个问题。此外,我们提出了两种基于DRL的交通信号控制方法来实现这些公平性的概念,可以实现高吞吐量。我们使用三种流量到达分布来评估我们所提出的方法的性能,并发现我们的方法在测试场景中优于基线。
2021-07-21 cs.AI cs.LG
Deep Clustering based Fair Outlier Detection
Brandeis University(布兰迪斯大学);Michtom School of Computer Science(米奇托姆计算机科学学院)
在本文中,我们专注于无监督离群点检测的公平性问题。传统的算法,没有一个具体的设计,算法公平性,可以隐含编码和传播数据中的统计偏差,并引起社会的关注。为了纠正这种不公平并提供一组公平的潜在离群点候选者,我们提出了基于深度聚类的公平离群点检测(DCFOD),它学习一个好的表示以实现效用最大化,同时强制可学习的表示在敏感属性上保持子群不变。考虑到聚类和离群点检测之间的耦合和互惠性质,我们利用深度聚类来发现内在的聚类结构和结构外实例。同时,对抗性训练擦除实例的敏感模式以进行公平性自适应。从技术上讲,我们提出了一种实例级加权表示学习策略来增强联合深度聚类和离群点检测,其中动态权重模块重新强调了可能的内点的贡献,同时减轻了离群点的负面影响。通过对8个数据集和17个离群点检测算法的实验表明,我们的DCFOD方法在离群点检测有效性和两种类型的公平性概念上都取得了优异的性能。
2021-06-09 cs.CY cs.LG
Fairness Definitions and Metrics in Deep Reinforcement Learning for Drug Discovery in Healthcare: A Rapid Evidence Review
Department of Electrical and Software Engineering, Schulich School of Engineering, University of Calgary(电气与软件工程系,Schulich工程学院,卡尔加里大学)
本文通过快速证据综述,系统总结了深度强化学习在药物分子生成中公平性的定义、测量指标,并分析了数据集组成、奖励设计对公平性的影响。
2026-06-01 cs.CY cs.LG
FAIR-Ensemble: When Fairness Naturally Emerges From Deep Ensembling
Cohere For AI Community(Cohere For AI 社区);UC Berkeley(加州大学伯克利分校);Cohere For AI
本文发现简单的同质深度神经网络集成能自然提升少数群体性能,实现公平性涌现,并揭示随机性来源差异是导致公平性变化的原因。
2023-12-20 cs.AI cs.CV cs.CY
Measuring Fairness in Generative Models
Singapore University of Technology and Design(新加坡科技设计大学)
深度生成模型在提高训练稳定性和生成数据质量方面取得了很大进展。最近,人们对深层生成数据的公平性越来越感兴趣。公平在许多应用中很重要,例如执法,因为偏见会影响效率。公平数据生成的核心是用于评估和评价不同生成模型的公平性度量。在本文中,我们首先回顾公平性指标提出了在以前的作品,并突出潜在的弱点。然后,我们讨论了性能基准框架以及替代指标的评估。
2021-07-16 cs.LG
ProportionNet: Balancing Fairness and Revenue for Auction Design with Deep Learning
University of Maryland(马里兰大学);Hofstra University(霍夫斯特拉大学);University of Maryland and John Dickerson(马里兰大学和John Dickerson)
具有强激励保证的收入最大化拍卖的设计是经济理论的核心问题。计算拍卖使在线广告,采购,频谱分配和无数的金融市场成为可能。在这个领域的分析进展是出了名的困难;自从Myerson在1981年的工作描述了单一物品最优拍卖,在限制设置之外的进展有限。Dütting等人最近的一篇论文通过将深度学习技术应用于近似最优拍卖来规避分析困难。与此同时,Ilvento等人和其他研究小组的新研究也在拍卖设计的背景下发展了公平的概念。受这些进展的启发,在本文中,我们使用深度学习扩展了近似拍卖的技术,以解决公平性问题,同时保持高收入和强激励保证。
2020-10-13 cs.GT cs.LG
Fairness-enhancing mixed effects deep learning improves fairness on in- and out-of-distribution clustered (non-iid) data
University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心);Harvard University(哈佛大学)
本文提出Fair MEDL框架,通过聚类对抗网络、贝叶斯神经网络和对抗性去偏网络,在聚类非独立同分布数据上同时改善公平性与预测性能,并在金融和医疗数据集上验证了显著效果。
2024-12-30 cs.LG
DemOpts: Fairness corrections in COVID-19 case prediction models
University of Maryland, College Park(马里兰大学帕克分校)
针对COVID-19预测模型因数据偏差导致不同种族群体预测误差差异大、易引发不公平政策的问题,提出新型去偏差方法DemOpts,相比现有方法实现更好的误差均等,有效减少多群体间平均误差分布差异。
2024-05-20 cs.CY cs.LG
Deep Fair Discriminative Clustering
University of California - Davis(加州大学戴维斯分校)
与传统的聚类方法(如$k$ -means和谱聚类)相比,深度聚类具有学习强表示的潜力,因此具有更好的聚类性能。然而,这种强大的表示学习能力可能会通过发现受保护信息的代理人而使聚类不公平,这在我们的实验中是经验性的。在这项工作中,我们研究了一个一般的概念,二进制和多状态保护状态变量(PSV)的组级公平性。我们首先将组级公平性问题制定为整数线性规划公式,其完全么模约束矩阵意味着它可以通过线性规划有效地解决。然后,我们展示了如何将此求解器注入到一个有区别的深度聚类骨干中,从而提出了一种改进的学习算法,将聚类目标与公平目标相结合,以自适应地学习公平聚类。在真实数据集上的实验结果表明,我们的模型始终优于最先进的公平聚类算法。我们的框架显示出可喜的成果,新的聚类任务,包括灵活的公平性约束,多状态PSV和预测聚类。
2021-05-28 cs.CY cs.LG stat.ML
FairQuant: Certifying and Quantifying Fairness of Deep Neural Networks
University of Southern California(南加州大学);Purdue University(普渡大学)
本文提出FairQuant方法,通过对DNN符号区间分析应用抽象与迭代细化,克服可扩展性限制,将传统定性公平认证提升为定量认证,准确率更高且速度快数个数量级。
2024-10-11 cs.LG cs.SE
Deep Fair Learning: Task-Aware Fair Representations via Joint Distance-Covariance Regularization
University of Alberta(阿尔伯塔大学)
本文提出深度公平学习框架,将非线性充分降维与深度学习结合,通过微调中的新惩罚项实现敏感属性与表示的条件独立,在多种敏感属性类型和数据结构上显著优于现有方法。
2026-10-06 cs.LG stat.ML
NeuronFair: Interpretable White-Box Fairness Testing through Biased Neuron Identification
Zhejiang University of Technology(浙江工业大学);Zhejiang University(浙江大学);Huawei International Pte. Ltd.(华为国际有限公司);National University of Defense Technology(国防科技大学)
深度神经网络(DNN)已经在各个领域展示了其出色的性能。然而,这引发了社会关注,DNN是否能够产生可靠和公平的决策,特别是当它们应用于涉及宝贵资源分配的敏感领域时,例如教育、贷款和就业。在DNN被可靠地部署到这些敏感域之前,进行公平性测试是至关重要的,即,生成尽可能多的实例来发现公平性违规。然而,现有的测试方法仍然受到三个方面的限制:可解释性,性能和通用性。为了克服这些挑战,我们提出了一个新的DNN公平性测试框架NeuronFair,它在几个关键方面与以前的工作不同:(1)可解释-它定量地解释DNN的公平性违规行为,以获得有偏见的决策;(2)有效-它使用解释结果来指导在更短的时间内生成更多样化的实例;(3)通用-它可以处理结构化和非结构化数据。对7个数据集和相应DNN的广泛评估证明了NeuronFair的卓越性能。例如,在结构化数据集上,与最先进的方法相比,它生成了更多的实例(~x5.84)并节省了更多的时间(平均加速比为534.56%)。此外,还可以利用NeuronFair的实例来提高有偏DNN的公平性,这有助于构建更公平和可信的深度学习系统。
2021-12-25 cs.AI cs.LG
DQ4FairIM: Fairness-aware Influence Maximization using Deep Reinforcement Learning
Eindhoven University of Technology, The Netherlands(埃因霍温理工大学、荷兰)
DQ4FairIM通过深度强化学习实现公平性意识的影响力最大化,确保所有社区公平传播影响力,同时在保持性能平衡的同时提升公平性。
2025-11-29 cs.LG cs.SI stat.ML
From Discrete to Continuous: Deep Fair Clustering With Transferable Representations
School of Information Science and Engineering, Southeast University(东南大学信息科学与工程学院)
针对现有深度公平聚类无法处理连续敏感属性且忽略表示迁移潜力的问题,提出一种基于信息瓶颈的灵活方法,在表示层面施加公平性约束,能同时处理离散与连续敏感属性,并首次实现向下游任务的可迁移性,实验证明其优于现有最先进方法。
2024-03-24 cs.CV cs.CY cs.LG
Balancing Efficiency and Fairness in Traffic Light Control through Deep Reinforcement Learning
University of Padova(帕多瓦大学)
本文提出一种新型深度强化学习代理,通过整合公平性考虑平衡车辆和行人交通流,实验证明能有效减少拥堵并保障服务公平性。
2026-05-11 cs.LG
Unveiling Fairness Biases in Deep Learning-Based Brain MRI Reconstruction
The University of Edinburgh(爱丁堡大学);Indiana University School of Medicine(印第安纳大学医学院);The Alan Turing Institute(艾伦·图灵研究所)
本文首次分析基于U-Net的脑部MRI重建模型公平性,发现性别与年龄亚组间存在显著性能偏差,且数据不平衡和训练歧视并非主要来源。
2023-09-25 cs.CV cs.LG eess.IV
Provable Fairness Repair for Deep Neural Networks
Hangzhou Dianzi University, China(杭州电子科技大学);Zhejiang University, China(浙江大学);Zhejiang University of Technology, China(浙江工业大学)
本文提出ProF框架,通过区间界限传播技术,为深度神经网络提供可证的公平性修复,实现对偏见样本周围整个集合的公平性保障,并在多个基准数据集上验证了其有效性。
2026-05-19 cs.LG cs.SE
Information-Theoretic Testing and Debugging of Fairness Defects in Deep Neural Networks
University of Texas at El Paso(得克萨斯大学埃尔帕索分校);University of Colorado Boulder(科罗拉多大学博尔德分校);Pennsylvania State University(宾夕法尼亚州立大学)
提出信息论测试与调试框架DICE,通过量化受保护信息比特数衡量公平性缺陷严重程度,并利用因果调试定位训练不足的层和神经元,有效发现、排序和定位DNN中的公平性缺陷。
2023-04-09 cs.LG cs.SE