An Introduction to Artificial Intelligence and Solutions to the Problems of Algorithmic Discrimination
BLDS, LLC(BLDS有限责任公司)
有大量证据表明,人工智能(AI)和机器学习(ML)算法可能会对少数民族、妇女和其他受保护阶层产生偏见。联邦和州法律已经颁布,以保护消费者在信贷,住房和就业方面免受歧视,监管机构和机构负责执行这些法律。此外,有法律确保消费者理解他们为什么被拒绝获得服务和产品,如消费贷款。在本文中,我们概述了使用算法和数据的潜在好处和风险,并特别关注公平性。虽然我们的观察概括到许多情况下,我们专注于消费信贷和平等信贷和机会法案的法律要求提出的公平性问题。我们提出了一种方法来评估算法公平性和最大限度地减少算法偏见,符合联邦和州反歧视法规的规定,禁止公开的,不同的待遇,特别是不同的影响歧视。我们认为,虽然AI和ML算法的使用增加了潜在的歧视风险,但这些风险是可以评估和减轻的,但这样做需要深入了解这些算法以及它们被使用的背景和领域。
2019-11-08 cs.CY cs.LG
Muffin: A Framework Toward Multi-Dimension AI Fairness by Uniting Off-the-Shelf Models
George Mason University(乔治梅森大学);University of Notre Dame(圣母大学);University of Pittsburgh(匹兹堡大学)
针对AI多维度公平性优化中单一属性优化会导致其他属性公平性崩溃的问题,提出Muffin框架,通过整合现成模型同时提升多属性公平性,在皮肤病数据集上实现双属性公平性与准确率同步提升。
2023-08-26 cs.CY cs.LG
MANI-Rank: Multiple Attribute and Intersectional Group Fairness for Consensus Ranking
Worcester Polytechnic Institute(伍斯特理工学院)
将许多排名者的偏好结合到一个单一的共识排名中,对于从招聘、录取到贷款的后续申请至关重要。虽然群体公平性已被广泛研究的分类,群体公平性的排名,特别是排名聚合仍然处于起步阶段。最近的工作引入了用于组合排名的公平排名聚合的概念,但仅限于候选人具有单个二进制保护属性的情况,即,他们只分为两类。然而,如何创建一个代表所有排名者偏好的共识排名,同时确保公平对待具有性别、种族和国籍等多重受保护属性的候选人,仍然是一个悬而未决的问题。在这项工作中,我们是第一个定义和解决这个开放的多属性公平共识排名(MFCR)问题。作为一个基础,我们设计了新的组公平性标准的排名,称为MANI-RANK,确保公平对待由个人保护属性及其交集定义的组。利用MANI-RANK准则,我们开发了一系列的算法,首次解决MFCR问题。我们的实验研究与丰富多样的共识方案表明,我们的MFCR方法是唯一的方法来实现交叉和保护属性的公平性,同时也代表了通过许多基础排名表达的偏好。我们对优秀奖学金的真实案例研究说明了我们的MFCR方法在减轻多个受保护属性及其交叉点之间的偏差方面的有效性。这是“MANI排名:多属性和交叉组公平性共识排名”的扩展版本,将出现在ICDE 2022中。
2022-07-20 cs.CY cs.LG
Fairness Improvement with Multiple Protected Attributes: How Far Are We?
University College London(伦敦大学学院);King’s College London(伦敦国王学院)
本文评估11种公平性改进方法在多受保护属性场景下的表现,揭示单属性优化会损害其他属性公平性,而准确率损失相近、F1-score受影响更大。
2024-04-04 cs.AI cs.CY cs.LG
Globalizing Fairness Attributes in Machine Learning: A Case Study on Health in Africa
Google Research(谷歌研究院);Duke University(杜克大学);Stanford University(斯坦福大学)
本文以非洲为案例,提出在机器学习医疗应用中应考虑的公平属性,并分析其在不同医疗模式中的作用,旨在推动全球健康公平性研究。
2023-04-05 cs.AI cs.CY cs.LG
Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach
Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所);University of Padova(帕多瓦大学);Istituto di Scienza e Tecnologie dell’Informazione(信息科学与技术研究所);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
本文提出将敏感属性不可知下的群体公平衡量转化为量化问题,借助群体流行率估计方法在分布偏移下稳健评估人口统计均等,并避免推断个体敏感属性。
2023-03-27 cs.CY cs.LG
When Fair Classification Meets Noisy Protected Attributes
Northeastern University(东北大学)
本文首次系统对比依赖属性、容忍噪声和属性盲三类公平分类算法,在四个真实数据集上验证了属性盲和容忍噪声方法在受保护属性带噪时仍可接近依赖属性算法的性能,为实际部署提供了指导。
2023-07-11 cs.CY cs.LG
Fairness in Ranking: Robustness through Randomization without the Protected Attribute
University of Padova(帕多瓦大学);National Technical University of Athens(雅典国家技术大学);Athena Research & Innovation Center in Information Communication & Knowledge Technologies(雅典娜信息通信与知识技术研究创新中心);Czech Technical University in Prague(捷克技术大学)
针对排序公平性研究中受保护属性缺失、单一公平指标优化易导致其他指标不公平的问题,提出无需受保护属性的随机化排序后处理方法,经数值研究验证其在P-Fairness上的鲁棒性及NDCG上的有效性,优于现有方法。
2024-03-28 cs.AI cs.CY cs.LG
Positive-Sum Fairness: Leveraging Demographic Attributes to Achieve Fair AI Outcomes Without Sacrificing Group Gains
Lunit Inc.(Lunit公司)
本文提出正和公平概念,认为只要不损害子群体性能,利用种族等敏感属性提升整体性能所导致的群体差异扩大是可接受的,并通过四个CNN模型的对比实验验证了该思想。
2024-09-30 cs.AI cs.CV cs.CY
Fair Ranking with Noisy Protected Attributes
Yale University(耶鲁大学)
公平排序问题,要求排序一组给定的项目,以最大限度地提高效用受组公平性约束,已受到关注的公平性,信息检索,和机器学习文献。然而,最近的作品,观察到社会显着(包括受保护)的项目属性的错误可以显着破坏现有的公平排名算法的公平性保证,并提出减轻这种错误的影响的问题。我们研究了一个模型下的公平排名问题,其中项目的社会显着属性是随机和独立扰动。我们提出了一个公平的排名框架,它结合了群体公平性的要求,以及社会显着的属性扰动的概率信息。我们提供可证明的保证,我们的框架实现的公平性和效用,并表明这是信息理论上不可能显着击败这些保证。我们的框架适用于多个非不相交的属性和一般类的公平性约束,包括比例和平等的代表性。从经验上讲,我们观察到,与基线相比,我们的算法输出具有更高公平性的排名,并且与基线相比具有类似或更好的公平性-效用权衡。
2022-11-30 cs.CY cs.DS cs.IR
Weak Proxies are Sufficient and Preferable for Fairness with Missing Sensitive Attributes
ByteDance(字节跳动);University of California, Santa Cruz(加州大学圣克鲁兹分校)
评估公平性在实践中可能具有挑战性,因为数据的敏感属性通常由于隐私限制而无法访问。业界经常采用的方法是使用现成的代理模型来预测缺失的敏感属性,例如Meta [Alao et al.,2021]和Twitter [Belli等人,2022年]。尽管它很受欢迎,但有三个重要的问题没有得到回答:(1)直接使用代理在衡量公平方面是否有效?(2)如果不能,是否可以只使用代理来准确地评估公平性?(3)考虑到推断用户隐私信息的道德争议,是否有可能只使用弱(即不准确)代理来保护隐私?我们的理论分析表明,直接使用代理模型可能会给人一种虚假的(不)公平感。其次,我们开发了一种算法,能够测量公平性(可证明)准确地只有三个正确识别的代理。第三,我们证明了我们的算法只允许使用弱代理(例如,在COMPAS上只有68.85%的准确率),为用户隐私增加了一层额外的保护。实验验证了我们的理论分析,并表明我们的算法可以有效地测量和减轻偏见。我们的研究结果意味着一套实用的指导方针,从业者如何正确使用代理。代码可在github.com/UCSC-REAL/fair-eval上获得。
2023-01-31 cs.AI cs.CY cs.LG
Towards Fairness and Privacy: A Novel Data Pre-processing Optimization Framework for Non-binary Protected Attributes
Heinrich Heine University(海因里希·海涅大学)
本文提出了一种基于组合优化和遗传算法的数据预处理框架,通过寻找最小化歧视的数据子集来消除数据集中的偏见,支持数据移除或合成数据等用例,在提升AI公平性的同时保护隐私,且具备高度的灵活性和高效运行时间。
2024-10-01 cs.CY cs.LG
Strong statistical parity through fair synthetic data
MOSTLY AI
本文研究构建具备设计即公平特性的合成数据,通过均衡敏感属性间的目标概率分布,使下游模型实现强统计 parity 公平预测,且公平调整可灵活集成或后处理,无需重训练生成器即可微调准确率与公平性的权衡。
2023-11-06 cs.CY cs.LG stat.ML
Predicting consumer-technology ownership without a diffusion history
该研究利用人类及Anthropic Claude Opus 4.7、OpenAI GPT-5.5两款语言模型对消费技术的属性评分,通过符号约束惩罚回归预测技术拥有率,其效果优于上市年限基准模型,还对2025-2026年新品做了2027年拥有率预测。
2026-08-14 cs.CL cs.CY stat.AP
Fairness without the sensitive attribute via Causal Variational Autoencoder
CNRS(法国国家科学研究中心);AXA(安盛集团);Polish Academy of Science(波兰科学院)
近年来,机器学习模型中的大多数公平策略都集中在通过假设敏感信息被观察到来减轻不必要的偏差。然而,这在实践中并不总是可能的。由于隐私目的和各种法规,如欧盟的RGPD,许多个人敏感属性通常不会被收集。我们注意到,在这种困难的情况下,缺乏减轻偏见的方法,特别是实现经典的公平目标,如人口均等和均等赔率。通过利用最近的发展近似推理,我们提出了一种方法来填补这一空白。基于因果图,我们依靠一个新的变分自动编码为基础的框架命名为SRCVAE推断敏感信息代理,服务于偏见减轻对抗公平的方法。我们的经验表明,显着的改进,在该领域的现有作品。我们观察到,生成的代理的潜在空间恢复敏感信息,我们的方法实现了更高的准确性,同时获得相同水平的公平性,在两个真实的数据集上,测量使用常见的公平性定义。
2021-09-10 cs.AI cs.CY cs.LG
Group fairness without demographics using social networks
提出基于社交网络同质性的无群体公平性度量方法,避免依赖敏感属性,并开发公平算法,在无标签情况下有效减少受保护类别间的不平等。
2023-05-19 cs.CY cs.SI
Fair Graph Representation Learning via Sensitive Attribute Disentanglement
Sun Yat-sen University(中山大学)
提出 FairSAD 框架,通过敏感属性解耦与通道掩码识别、去相关,在降低 GNN 决策对敏感属性依赖的同时保留任务信息,并在真实数据集上显著提升公平性与效用。
2024-05-11 cs.CY cs.LG
Auditing and Achieving Intersectional Fairness in Classification Problems
QuantumBlack, a McKinsey company(QuantumBlack,麦肯锡旗下公司);University of Warwick(华威大学)
机器学习算法被广泛用于对人做出越来越重要的决策,因此实现最佳预测性能不再是唯一的焦点。一个特别重要的考虑因素是种族、性别或任何其他敏感属性的公平性。本文研究交叉公平性,其中考虑多个敏感属性的交集。先前的研究主要集中在相对于单个敏感属性的公平性上,尽管交叉公平性对于现代机器学习系统的安全性至关重要,但交叉公平性的研究相对较少。我们提出了一个全面的框架,审计和实现交叉公平的分类问题:我们定义了一套指标,以评估交叉公平的数据或模型输出,通过扩展已知的单属性公平性指标,并提出了方法,即使在一些交叉分组代表性不足的稳健估计。此外,我们还开发了后处理技术,以减轻分类模型中检测到的任何交叉偏倚。我们的技术不依赖于关于基础模型的任何假设,并在保证公平的水平上保持预测性能。最后,我们给出了一个实际实现的指导,展示了所提出的方法如何在真实世界的数据集上执行。
2020-06-08 cs.AI cs.CY cs.LG
F3: Fair and Federated Face Attribute Classification with Heterogeneous Data
IIIT Hyderabad(国际信息技术学院海得拉巴分校)
不同人口群体之间的公平性是人脸相关任务的一个重要标准,人脸属性分类(FAC)是一个突出的例子。除了这种趋势,联邦学习(FL)作为分布式训练的可扩展范例越来越受到关注。现有的FL方法需要数据的同质性,以确保公平性。然而,这种假设在现实世界中限制太多。我们提出了F3,一个新的FL框架下的公平FAC数据异构性。F3采用多重统计学方法,在不需要数据同质性假设的情况下,提高不同人口统计群体之间的公平性。我们通过在流行的人脸数据集上报告经验观察到的公平性措施和准确性保证来证明F3的有效性。我们的研究结果表明,F3罢工FAC的准确性和公平性之间的实际平衡。
2022-06-24 cs.CV cs.CY cs.LG
Position: Beyond Sensitive Attributes, ML Fairness Should Quantify Structural Injustice via Social Determinants
University of California, Berkeley(加州大学伯克利分校);University of Cambridge(剑桥大学);University of Washington(华盛顿大学);University of Michigan(密歇根大学);University of Toronto(多伦多大学)
本文主张算法公平性研究应超越敏感属性,通过社会决定因素量化结构性不公正,并通过理论模型和实证研究证明仅关注敏感属性的缓解策略可能引入新的结构性不公正。
2026-05-29 cs.AI cs.CY cs.LG
Ethical Fairness in Ubiquitous Health Sensing without Known Attributes
Ira A. Fulton Schools of Engineering, Arizona State University(亚利桑那州立大学弗里曼工程学院);Arizona State University(亚利桑那州立大学);Cornell University(康奈尔大学);University of Michigan(密歇根大学)
针对普适健康感知中缺乏人口统计或异构属性时的公平性问题,提出基于Fisher信息引导的潜在子群学习与无害正则化框架Flare,通过优化几何实现伦理公平。
2026-11-04 cs.AI cs.CY cs.LG
Intersectional Fairness: A Fractal Approach
Holistic AI
近年来,人工智能的公平性问题越来越受到关注。可以通过查看不同的受保护属性(例如,种族、性别等)独立,但个人受保护属性的公平并不意味着交叉公平。在这项工作中,我们框架内的几何设置的交叉公平性的问题。我们将数据投影到一个超立方体上,并将公平性分析分为几个层次,每个层次对我们交叉的受保护属性的数量进行编码。我们从数学上证明,虽然公平不会传播“向下”的水平,它传播“向上”的水平。这意味着确保最低交叉水平上所有子组的公平性(例如,黑人女性、白人女性、黑人男性和白人男性),将必然导致所有上述级别的公平性,包括每个受保护的属性(例如,种族和性别)独立进行。我们还推导出一个公式描述的方差的一组估计的成功率在每个级别上,假设完美的公平。使用这一理论发现作为基准,我们定义了一个家庭的指标,捕捉整体交叉偏见。最后,我们提出公平可以被隐喻地认为是一个“分形”问题。在分形中,最小尺度的图案在更大尺度上重复。我们从这个例子中看到,以自下而上的方式在尽可能低的级别上解决问题,会导致公平人工智能的自然出现。我们认为,可信度必然是一个新兴的,分形和AI系统的关系属性。
2023-02-24 cs.AI cs.CY cs.LG
Causal Multi-Level Fairness
Tandon School of Engineering New York University(纽约大学坦登工程学院);School of Global Public Health New York University(纽约大学全球公共卫生学院)
众所周知,种族歧视制度对边缘化群体的影响很大,如果不考虑所有偏见来源,影响就更大。虽然迄今为止算法公平性的工作主要集中在解决由于个体相关属性而引起的歧视,但社会科学研究阐明了我们与个体相关的一些属性如何被概念化为在宏观(例如结构)层面上有原因,并且在多个层面上对属性公平可能很重要。例如,不是简单地将种族视为个人的因果关系和受保护的属性,而是可以将原因提炼为个人经历的感知种族歧视,而这反过来又会受到邻里因素的影响。这种多层次的概念化与公平问题有关,因为不仅要考虑到个人是否属于另一个人口群体,而且要考虑到个人是否在宏观一级受到歧视待遇。在本文中,我们正式的问题,多层次的公平性,使用工具,从因果推理的方式,允许一个评估和解释敏感属性的影响,在多个层次。我们通过说明剩余的不公平性,如果宏观层面的敏感属性不占,或包括不占其多层次的性质,说明问题的重要性。此外,在现实世界的任务的背景下,预测收入的基础上,宏观和个人层面的属性,我们展示了一种方法来减轻不公平,多层次的敏感属性的结果。
2021-05-12 cs.CY cs.LG stat.ML
Estimating and Implementing Conventional Fairness Metrics With Probabilistic Protected Features
Stanford University(斯坦福大学);Barnard College(巴纳德学院);Massachusetts Institute of Technology(麻省理工学院);University of Chicago(芝加哥大学)
针对受保护属性难以获取的问题,提出利用概率估计的受保护属性计算公平性指标紧边界、训练低违规模型的方法,在投票数据上验证了其边界更紧、公平性-准确率权衡更优的效果。
2023-10-02 cs.CY cs.LG stat.ML
Mitigating Bias in Set Selection with Noisy Protected Attributes
Yale University(耶鲁大学)
子集选择算法在人工智能驱动的应用程序中无处不在,包括在线招聘门户网站和图像搜索引擎,因此这些工具必须不基于性别或种族等受保护属性进行歧视。目前,公平子集选择算法假设受保护的属性是已知的数据集的一部分。然而,受保护的属性可能由于数据汇集期间的错误或如果它们被估算(如在现实世界设置中经常发生的情况)而具有噪声。虽然有大量的工作解决了噪声对机器学习算法性能的影响,但其对公平性的影响在很大程度上仍未得到检验。我们发现,在噪声保护属性的存在下,在试图增加公平性而不考虑噪声,实际上,可以降低结果的公平性!为了解决这个问题,我们考虑现有的噪声模型,其中存在关于受保护属性的概率信息(例如,[58,34,20,46]),并询问在噪声条件下公平选择是否可能?我们制定了一个“去噪”的选择问题,其功能为一大类的公平性度量;给定所需的公平性目标,去噪问题的解决方案违反了目标,最多一个小的乘法量具有很高的概率。虽然这个去噪问题是NP难的,但我们给出了一个基于线性规划的近似算法,并在合成数据集和真实数据集上对该算法进行了评估。我们的实证结果表明,这种方法可以产生子集,显着提高公平性指标,尽管存在噪声保护属性,和以前的噪声无关的方法相比,有更好的效用和公平性之间的帕累托权衡。
2021-02-22 cs.CY cs.DS cs.IR
Practical Approaches for Fair Learning with Multitype and Multivariate Sensitive Attributes
University of Cambridge(剑桥大学)
重要的是要保证部署在现实世界中的机器学习算法不会导致不公平或意外的社会后果。Fair ML在很大程度上专注于在属性和目标结果都是二进制的简单环境中保护单个属性。然而,在许多实际问题中的实际应用需要同时保护多个敏感属性,这些属性通常不是简单的二进制,而是连续的或分类的。为了解决这个更具挑战性的任务,我们引入了FairCOCCO,这是一个建立在再生核希尔伯特空间上的互协方差算子上的公平性度量。这导致了两个实用的工具:第一,FairCOCCO分数,一个归一化的度量,可以量化设置中的公平性与任意类型的单个或多个敏感属性;第二,随后的正则化项,可以被纳入任意学习目标,以获得公平的预测。这些贡献解决了算法公平性文献中的关键差距,我们根据经验证明了在平衡预测能力和真实世界数据集公平性方面对最先进技术的一致改进。
2022-11-11 cs.CY cs.LG stat.ML
What Is Fairness? On the Role of Protected Attributes and Fictitious Worlds
LMU Munich, Germany Munich Center for Machine Learning (MCML)(慕尼黑大学慕尼黑分校慕尼黑机器学习中心);LMU Munich, Germany(慕尼黑大学慕尼黑分校)
本研究通过形式化公平概念并引入虚构规范期望(FiND)世界框架,弥合了哲学与机器学习间的鸿沟,论证了受保护属性的因果效应移除方法,并在COMPAS数据上进行了实验验证。
2024-11-29 cs.AI cs.CY cs.LG
Blind Justice: Fairness with Encrypted Sensitive Attributes
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);University College London(伦敦大学学院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
最近的工作已经探索了如何训练机器学习模型,这些模型不歧视由敏感属性(如性别或种族)确定的任何群体。为避免区别对待,不应考虑敏感属性。另一方面,为了避免不同的影响,必须检查敏感属性,例如,以便学习公平模型,或者检查给定模型是否公平。我们引入安全多方计算的方法,使我们能够避免这两种情况。通过加密敏感属性,我们展示了如何学习,检查基于结果的公平模型,或验证其输出并将其保留在帐户中,而无需用户泄露其敏感属性。
2018-06-08 cs.CR cs.CY cs.LG
Debiasing Diffusion Model: Enhancing Fairness through Latent Representation Learning in Stable Diffusion Model
National Cheng Kung University(成功大学)
针对扩散图像生成模型继承数据集偏见且传统去偏依赖预定义敏感属性的问题,提出 DDM,利用指示器学习平衡潜在表示以增强公平性。
2025-03-16 cs.CV cs.CY cs.LG
Fairness Implications of Encoding Protected Categorical Attributes
University of Southampton(南安普顿大学);Scuola Normale Superiore(比萨高等师范学校);University of Pisa(比萨大学);University of Stuttgart(斯图加特大学)
本文比较独热编码与目标编码对含受保护分类属性模型的准确率和公平性影响,区分不可约与可约偏差,并分析正则化及高基数交叉编码带来的交叉性不公平。
2023-05-05 cs.CY cs.DS cs.LG
Class-attribute Priors: Adapting Optimization to Heterogeneity and Fairness Objective
University of California, Riverside(加州大学河滨分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);University of British Columbia(不列颠哥伦比亚大学)
本文提出 CAP 框架,依据各类别样本量、标签质量、可预测性等属性生成类别特定学习策略,以适应异质性并提升公平性、标签噪声及加权目标下的分类表现。
2024-01-25 cs.CY cs.LG stat.ML
Consistent End-to-End Estimation for Counterfactual Fairness
LMU Munich & Munich Center for Machine Learning (MCML)(慕尼黑大学及慕尼黑机器学习中心)
针对反事实公平缺乏理论保证的问题,提出基于定制神经网络与反事实中介正则化的预测器,兼具理论保障与当前最优性能。
2025-10-02 cs.CY cs.LG
On Fairness of Medical Image Classification with Multiple Sensitive Attributes via Learning Orthogonal Representations
The University of British Columbia(不列颠哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学)
减轻机器学习模型的歧视在医学图像分析中得到了越来越多的关注。然而,罕见的作品集中在多个敏感的人口统计数据的患者的公平治疗,这是一个关键的,但现实世界的临床应用具有挑战性的问题。在本文中,我们提出了一种新的方法,公平的表示学习方面的多敏感属性。我们追求目标和多敏感表示之间的独立性,实现正交的表示空间。具体地说,我们通过将目标信息保持在低秩敏感空间的补空间上来增强列空间的正交性。此外,在行空间中,我们鼓励目标和敏感表示之间的特征维度是正交的。在CheXpert数据集上进行了大量实验,证明了该方法的有效性。据我们所知,这是第一个工作,以减轻不公平的多个敏感属性在医学成像领域。
2023-03-08 cs.CV cs.CY cs.LG
Measuring Fairness of Text Classifiers via Prediction Sensitivity
Harvard University(哈佛大学);Amazon Alexa AI(亚马逊Alexa人工智能)
随着语言处理应用的快速增长,公平性已成为数据驱动解决方案中的重要考虑因素。虽然在最近的文献中已经探讨了各种公平性的定义,但对于哪些指标最准确地反映了系统的公平性缺乏共识。在这项工作中,我们提出了一个新的公式:累积预测敏感性,它衡量公平性的基础上,机器学习模型的预测敏感性输入特征的扰动。该度量试图量化单个预测对受保护属性的依赖程度,其中受保护属性对受保护组中个体的成员身份状态进行编码。我们表明,该指标可以在理论上与一个特定的概念,组公平性(统计奇偶性)和个人的公平性。它也与人类对公平的感知密切相关。我们在两个文本分类数据集上进行实验:JIGSAW TOXICITY和BIAS IN BIOS,并评估指标和手动注释之间的相关性,以确定模型是否产生了公平的结果。我们观察到,建议的公平性度量的基础上预测灵敏度是统计上显着更相关的人类注释比现有的反事实的公平性度量。
2022-03-16 cs.CY cs.LG
Gaussian Harmony: Attaining Fairness in Diffusion-based Face Generation Models
Johns Hopkins University(约翰斯·霍普金斯大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出一种基于高斯混合模型在扩散模型潜在空间中定位并调整面部属性均值的方法,无需重训练即可缓解人脸生成中的年龄、性别和种族偏差,实现更公平的数据生成并保持样本质量。
2023-12-21 cs.CV cs.CY
Fairness Through Controlled (Un)Awareness in Node Embeddings
本文研究图表示学习中的公平性问题,通过微调CrossWalk算法的超参数来控制节点嵌入中敏感属性的可检测性,从而提升机器学习系统对不同公平性范式的适应性。
2024-07-29 cs.CY cs.SI
Fair Classification with Noisy Protected Attributes: A Framework with Provable Guarantees
Yale University(耶鲁大学);Huawei(华为)
我们提出了一个优化框架,学习一个公平的分类器中存在的噪声扰动的保护属性。与以前的工作相比,我们的框架可以使用非常一般的线性和线性分数公平性约束,可以处理多个非二进制保护属性,并输出一个分类器,该分类器具有可证明的准确性和公平性保证。从经验上讲,我们表明,我们的框架可以用来实现统计率或误报率的公平性保证,即使在噪声很大的情况下,在两个真实世界的数据集的准确性损失最小。
2021-02-16 cs.AI cs.CY cs.DS
On Graph Neural Network Fairness in the Presence of Heterophilous Neighborhoods
University of Michigan(密歇根大学);Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室);RWTH Aachen University(亚琛工业大学)
我们研究了图神经网络(GNNs)的节点分类任务,并建立了由统计奇偶性和平等机会衡量的组公平性与局部非线性之间的联系,即,链接节点具有相似属性的趋势。这种非对称性通常是由同质性引起的,即具有相似属性的节点连接的趋势。在社交网络中,系统性因素迫使个体进入具有共同敏感属性的社区,因此,同质性是很常见的。通过合成图,我们研究了本地发生的同质性和公平预测之间的相互作用,发现并不是所有的节点邻域在这方面都是平等的-由一类敏感属性主导的邻域往往很难获得公平待遇,特别是在发散的本地类和敏感属性同质性的情况下。在确定局部同质性和公平性之间存在关系后,我们研究了不公平性问题是否与所应用的GNN模型的设计有关。我们表明,通过采用能够处理dispertative组标签的heterophilous GNN设计,在真实和合成数据集中,局部heterophilous邻域中的组公平性可以比homophilous设计提高高达25%。
2022-11-14 cs.CY cs.LG cs.SI
Towards Counterfactual Fairness-aware Domain Generalization in Changing Environments
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);Department of Computer Science, Baylor University(贝勒大学计算机科学系);GE Aerospace Research(GE航空航天研究院);NEC Labs America(美国 NEC 实验室)
本文提出CDSAE框架,通过分离环境信息与敏感属性并引入公平性正则化,在连续变化的领域分布中同时提升模型泛化能力与分类公平性。
2024-05-06 cs.AI cs.CY cs.LG
Analyzing Fairness in Deepfake Detection With Massively Annotated Databases
NTNU(挪威科技大学)
本研究为5个主流Deepfake数据集添加47种属性的大规模标注,分析3种最优检测骨干模型的偏差成因,发现数据集多样性不足且模型受属性影响存在公平性问题,相关资源已公开以助力偏差缓解研究。
2024-03-11 cs.CV cs.CY cs.LG
Fairness via Representation Neutralization
Texas A&M University(德州农工大学);Microsoft Research(微软研究院);Rice University(莱斯大学)
DNN模型的现有偏差缓解方法主要用于学习去偏编码器。这个过程不仅需要对敏感属性进行大量的实例级注释,而且不能保证所有的公平性敏感信息都已从编码器中删除。为了解决这些局限性,我们探讨了以下研究问题:我们是否可以通过仅对分类头进行去偏来降低DNN模型的区分度,即使使用有偏的表示作为输入?为此,我们提出了一种新的缓解技术,即公平表示中立化(RNF),通过仅对DNN模型的特定任务分类头进行去偏来实现公平性。为此,我们利用具有相同地面真实标签但不同敏感属性的样本,并使用它们的中性表示来训练DNN模型的分类头。RNF的关键思想是阻止分类头捕获具有特定类别标签的编码器表示中的公平性敏感信息之间的虚假相关性。为了解决无法访问敏感属性注释的低资源设置,我们利用偏差放大模型为敏感属性生成代理注释。在几个基准数据集上的实验结果表明,我们的RNF框架可以有效地减少DNN模型的区分度,同时最大限度地降低特定任务的性能。
2021-10-27 cs.AI cs.CY cs.LG
Enhancing Fairness in Unsupervised Graph Anomaly Detection through Disentanglement
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对图异常检测中被忽视的公平性问题,提出解耦框架DEFEND,通过在GNN中引入解耦和仅基于属性的重构来消除敏感属性偏见,在保持检测效用的同时显著提升了公平性。
2025-03-03 cs.CY cs.LG cs.SI
When Fairness Meets Privacy: Fair Classification with Semi-Private Sensitive Attributes
Illinois Institute of Technology(伊利诺伊理工学院);Cisco Research(思科研究院);University of Connecticut(康涅狄格大学)
本文提出FairSP框架,利用少量干净敏感属性纠正受本地差分隐私保护的敏感属性,并通过对抗式联合建模实现半私有设置下的公平分类,在保护隐私的同时保持高准确率。
2023-05-29 cs.AI cs.CR cs.CY
FACT: A Diagnostic for Group Fairness Trade-offs
Carnegie Mellon University(卡内基梅隆大学);JP Morgan(摩根大通);JP Morgan AI Research(摩根大通人工智能研究院);Determined AI
群体公平性是一类公平性概念,衡量不同群体的个人如何根据其受保护的属性受到不同的对待,已被证明是相互冲突的,通常会损失模型的预测性能。我们提出了一个通用的诊断,使这些权衡组公平性的系统特征。我们观察到,大多数组公平性概念可以通过公平混淆张量来表达,这是根据受保护的属性值分裂的混淆矩阵。我们构建了几个优化问题,这些优化问题直接优化了该张量元素的准确性和公平性目标,从而为理解包括组公平性不兼容性在内的多种权衡提供了一个总体视角。它还提出了一种替代的后处理方法,设计公平的分类。在合成和真实数据集上,我们展示了我们诊断的用例,特别是在理解准确性和公平性之间的权衡方面。
2020-07-07 cs.CY cs.LG stat.ML
Multiwinner Voting with Fairness Constraints
EPFL(洛桑联邦理工学院)
多赢家投票规则用于从给定投票者偏好的较大集合中选择候选人或项目的小的代表子集。然而,如果候选人有敏感的属性,如性别或种族(在选择委员会时),或指定的类型,如政治倾向(在选择新闻项目的子集时),通过优化多赢家投票规则选择子集的算法可能在其选择中不平衡-它可能低于或超过代表上述示例中的特定性别或政治取向。我们引入了一个算法框架多赢家投票问题时,有一个额外的要求,所选的子集应该是“公平的”相对于一组给定的属性。我们的框架提供了以下灵活性:(1)指定关于多个非不相交属性(例如,种族和性别)和(2)指定评分函数。研究了单调和次模评分函数约束多赢家投票问题的计算复杂性,给出了几种近似算法和不同属性组结构和评分函数类型下近似结果的匹配难度.我们还提出了模拟表明,增加公平性约束可能不会影响分数显着相比,无约束的情况下。
2018-06-18 cs.AI cs.CY cs.DS
Adversarial Learning for Counterfactual Fairness
Sorbonne Université(索邦大学);LIP6/CNRS(法国国家科学研究中心计算机科学实验室);AXA REV Research(安盛研究)
近年来,公平性已经成为机器学习研究界的一个重要话题。特别是,反事实公平的目的是建立预测模型,确保在最个人的水平公平。这个想法不是从全局上考虑整个人口的公平性,而是想象任何一个人在给定的兴趣属性(例如不同的性别或种族)变化的情况下会是什么样子。现有的方法依赖于个体的变分自动编码,使用最大平均离散(MMD)惩罚来限制推断表示与其相应的敏感属性的统计依赖性。这使得能够模拟用于训练目标公平模型的反事实样本,目标是为任何个体的每个替代版本产生类似的结果。在这项工作中,我们建议依赖于一种对抗性神经学习方法,这种方法可以实现比MMD惩罚更强大的推理,并且特别适合连续设置,其中敏感属性的值不能被穷举。实验表明,显着的改善,无论是离散和连续设置的反事实的公平性。
2020-08-30 cs.AI cs.CY cs.LG
Improving Fairness in Graph Neural Networks via Mitigating Sensitive Attribute Leakage
Vanderbilt University(范德堡大学);University of Virginia(弗吉尼亚大学);Case Western Reserve University(凯斯西储大学)
图神经网络(GNN)在学习图上的节点表示方面表现出强大的能力。然而,它们可能从训练数据中继承历史偏见,导致预测中的歧视性偏差。虽然一些工作已经开发了公平的GNN,但大多数都直接从非图域借用公平的表示学习技术,而没有考虑GNN中特征传播引起的敏感属性泄漏的潜在问题。然而,我们根据经验观察到,特征传播可以改变以前无害的非敏感特征与敏感特征的相关性。这可以被视为敏感信息的泄漏,这可能进一步加剧预测中的歧视。因此,我们根据特征相关性设计了两种特征掩蔽策略,以突出考虑特征传播和相关性变化在减轻歧视方面的重要性。出于我们的分析,我们提出了公平的看法图神经网络(FairVGNN)自动识别和屏蔽敏感相关的功能,考虑相关性变化后的功能传播,以产生公平的功能视图。给定学习到的公平视图,我们自适应地钳制编码器的权重,以避免使用敏感相关的特征。在真实数据集上的实验表明,FairVGNN在模型效用和公平性之间具有更好的权衡。我们的代码可在https://github.com/YuWVandy/FairVGNN上公开获取。
2022-06-09 cs.CR cs.CY cs.LG
Bayesian Modeling of Intersectional Fairness: The Variance of Bias
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
交叉性是一个框架,它分析了权力和压迫的连锁系统如何沿着重叠的维度影响个人,包括种族,性别,性取向,阶级和残疾。因此,交叉性理论意味着重要的是,在人工智能系统中的公平性受到保护的多维保护属性。然而,由于数据稀疏性,在多维环境中公平性的测量在统计上变得具有挑战性,数据稀疏性在维度的数量和每个维度的值中迅速增加。我们提出了一个贝叶斯概率建模方法的可靠性,数据效率的估计公平性与多维保护属性,我们适用于两个现有的交叉公平性指标。人口普查数据和COMPAS刑事司法累犯数据集的实验结果表明,我们的方法的实用性,并表明贝叶斯方法是有价值的建模和测量的公平性在一个交叉的背景下。
2019-09-10 cs.AI cs.CY cs.LG
Estimating and Improving Fairness with Adversarial Learning
Princeton University(普林斯顿大学);Shanghai Jiaotong University(上海交通大学);University of Pennsylvania(宾夕法尼亚大学);RIKEN AIP(理化学研究所先进智能项目中心);University of Tokyo(东京大学)
公平和问责制是医疗保健领域值得信赖的人工智能(AI)的两个重要支柱。然而,现有的人工智能模型可能在其决策标记方面存在偏见。为了解决这个问题,我们提出了一种对抗性多任务训练策略,以同时减轻和检测基于深度学习的医学图像分析系统中的偏差。具体来说,我们建议增加一个歧视模块对偏见和一个关键的模块,预测不公平的基础分类模型。我们进一步施加正交正则化以迫使两个模块在训练期间独立。因此,我们可以保持这些深度学习任务彼此不同,并避免将它们折叠成流形上的奇点。通过这种对抗性训练方法,来自弱势群体的数据,由于性别和肤色等属性而容易受到偏见的影响,被转移到相对于这些属性来说是中性的领域。此外,关键模块可以预测具有未知敏感属性的数据的公平性得分。我们评估我们的框架在一个大规模的公共可用的皮肤病变数据集在各种公平性评价指标。实验证明了我们提出的方法在基于深度学习的医学图像分析系统中估计和提高公平性的有效性。
2021-05-11 cs.AI cs.CV cs.CY
Fairness GAN
IBM Research(IBM研究院)
在本文中,我们介绍了公平性GAN,一种方法,用于生成一个数据集,这是类似于一个给定的多媒体数据集,但更公平的分配决策中的保护属性。我们提出了一种新的辅助分类器GAN,它致力于人口统计学上的均等或机会均等,并在几个数据集上显示了实证结果,包括CelebFaces属性(CelebA)数据集,Quick,Draw!数据集,以及足球运动员图像和他们被要求的罪行的数据集。所提出的公式非常适合吸收未标记的数据;我们利用这一点来用更大的CelebA数据集来增强足球数据集。这种方法往往改善人口均等和机会均等,同时产生可信的形象。
2018-05-24 cs.CY cs.LG stat.ML
Marginal Fairness: Fair Decision-Making under Risk Measures
UNSW Business School, School of Risk and Actuarial Studies(新南威尔士大学商学院、风险与精算研究学院);Department of Statistical Sciences, University of Toronto(多伦多大学统计科学系)
本文提出边际公平概念,通过修改广义扭曲风险度量使决策对受保护属性不敏感,并利用级联敏感性扩展,在保险等监管行业中实现公平决策,数值与实证验证了其有效性。
2025-05-24 cs.CC cs.CY cs.LG
When Feasibility of Fairness Audits Relies on Willingness to Share Data: Examining User Acceptance of Multi-Party Computation Protocols for Fairness Monitoring
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Max Planck Institute for Security and Privacy (MPI-SP)(马克斯·普朗克安全与隐私研究所);Saarland University(萨尔兰大学)
研究探讨了用户对多方计算协议在公平性监控中的接受度,发现用户对隐私保护和公平性目标的重视影响其数据共享意愿。
2026-02-02 cs.CR cs.CY cs.HC
Mitigating Voter Attribute Bias for Fair Opinion Aggregation
Kyoto University(京都大学)
针对投票者属性偏见导致意见聚合不公的问题,提出Soft D&S模型提升软标签估计精度,结合多种公平选项实验验证了不同数据密度下的最优公平聚合方案。
2023-07-20 cs.CY cs.HC cs.LG
Endowing Pre-trained Graph Models with Provable Fairness
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出 GraphPAR 框架,通过冻结预训练图模型参数并训练适配器与敏感语义增强器,在节点分类任务中实现可证明的公平性,约 90% 节点获得公平性保证。
2024-02-20 cs.AI cs.CY cs.LG