A Survey on Intersectional Fairness in Machine Learning: Notions, Mitigation, and Challenges
Iowa State University(爱荷华州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文综述了机器学习中同时涉及多个敏感属性的交叉公平性问题,提出概念与缓解方法分类体系,并总结关键挑战与未来研究方向。
2023-05-12 cs.CY cs.LG
One-vs.-One Mitigation of Intersectional Bias: A General Method to Extend Fairness-Aware Binary Classification
Fujitsu Laboratories Ltd.(富士通实验室)
本文提出一对一缓解方法,通过比较敏感属性各子群体对,在二分类中显著降低交叉偏见,优于传统方法,适用于多敏感属性场景。
2025-03-25 cs.AI cs.CY cs.LG
Intersectional Two-sided Fairness in Recommendation
Quan Cheng Laboratory(泉城实验室);DCST, Tsinghua University(清华大学信息科学技术学院);AIR, Tsinghua University(清华大学人工智能国际研究院);Kuaishou Technology(快手科技)
本文提出ITFR方法,利用锐度感知损失、协同损失平衡和预测分数归一化,有效缓解推荐系统中交叉双侧不公平性,持续优于现有方法。
2024-02-15 cs.CY cs.IR cs.LG
An Intersectional Definition of Fairness
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们提出了机器学习和人工智能系统中公平性的定义,这些系统由交叉性框架提供信息,这是一个来自人文文学的关键镜头,它分析了权力和压迫的联锁系统如何影响个人,包括性别,种族,性取向,阶级和残疾。我们表明,我们的标准行为的任何子集的受保护的属性,我们证明经济,隐私和泛化保证。我们提供了一个学习算法,尊重我们的交叉公平性标准。人口普查数据和COMPAS刑事累犯数据集的案例研究表明,我们的方法的实用性。
2019-09-10 cs.CY cs.LG stat.ML
Evaluating Intersectional Fairness across Clinical Machine Learning Use Cases using Fairlogue and the All of Us Research Program
College of Engineering, The University of Arizona(亚利桑那大学工程学院)
本文使用Fairlogue工具包在临床预测任务中评估交叉公平性,发现交叉群体差异大于单轴分析,但反事实诊断表明多数差异与随机分组相当。
2026-06-17 cs.CY cs.LG q-bio.QM
Bounding and Approximating Intersectional Fairness through Marginal Fairness
Inria(法国国家信息与自动化研究所)
本文研究边际公平性与交叉公平性的关系,证明了高概率下的理论界限,并提出启发式方法改进交叉公平性近似,在真实和合成数据上验证了有效性。
2023-06-23 cs.LG stat.ML
Intersectionality: Multiple Group Fairness in Expectation Constraints
University of Oxford(牛津大学)
群体公平性是机器学习研究人员、开发人员和监管机构的重要关注点。然而,模型必须被严格限制才能被认为是公平的,这一点仍在辩论中。这项工作的重点是约束核回归,特别是决策树回归,应用于随机森林,提升树和其他集成模型的子群体的预期结果。虽然以前解决了个别的约束,这项工作解决了同时纳入多个约束的问题。所提出的解决方案不影响决策树的计算或内存复杂度的顺序,并且很容易在训练后集成到模型中。
2018-11-25 cs.AI cs.CY cs.LG
Fair Without Leveling Down: A New Intersectional Fairness Definition
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
针对分类场景下交叉群体公平问题,提出结合绝对与相对性能的α交叉公平新定义,经基准测试发现现有公平方法存在拉平最优群体性能而非提升最差群体性能的问题。
2023-11-07 cs.CL cs.CY cs.LG
APFEx: Adaptive Pareto Front Explorer for Intersectional Fairness
Indian Statistical Institute, Kolkata(印度统计研究院,科利卡特)
APFEx首次将交叉公平性建模为敏感属性笛卡尔积上的联合优化问题,通过自适应多目标优化器、可微公平性度量和理论收敛保证,在四个数据集上实现了减少公平性违规并保持竞争力的准确率。
2025-09-23 cs.LG
Looking Beyond What You See: An Empirical Analysis on Subgroup Intersectional Fairness for Multi-label Chest X-ray Classification Using Social Determinants of Racial Health Inequities
Massachusetts Institute of Technology(麻省理工学院);University at Buffalo(布法罗大学)
本文针对胸部X光多标签分类中的交叉群体公平性问题,提出通过平衡数据集重训练预训练模型最后一层并结合公平约束与类别平衡微调的框架,在MIMIC-CXR上实现了准确性与公平性的最优权衡。
2024-03-27 cs.AI cs.CV cs.CY
Synthetic Data Generation for Intersectional Fairness by Leveraging Hierarchical Group Structure
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Université de Montpellier(蒙彼利埃大学)
本文提出一种利用层级群体结构生成合成数据的数据增强方法,以增强分类任务的交叉性公平性,实验证明其优于传统公平性方法。
2024-05-23 cs.CL cs.LG
MIFair: A Mutual-Information Framework for Intersectionality and Multiclass Fairness
Orange Research(Orange研究院);EURECOM
MIFair通过互信息框架解决机器学习中的公平性问题,提供灵活的指标模板和偏见缓解方法,支持交集性和多类分类,实验显示其能有效减少偏见并保持预测性能。
2026-04-30 cs.AI cs.CY cs.IT
A Tutorial On Intersectionality in Fair Rankings
Politecnico di Milano(米兰理工大学)
该研究针对算法偏见与不公平排序问题,指出多数公平感知排序方法忽视属性交叉性的局限,通过案例介绍交叉性纳入公平排序的方法,强调交叉性对实现公平的必要性。
2025-02-07 cs.CY cs.IR cs.LG
Intersectional Fairness via Mixed-Integer Optimization
Czech Technical University in Prague(捷克技术大学布拉格分校);Technion(技术学院)
本文提出利用混合整数优化实现交叉公平性的统一框架,通过证明两种公平性度量的等价性并实证验证,提升偏见检测性能,提供可解释且稳健的分类器解决方案。
2026-10-07 cs.AI cs.LG math.OC
FairLogue: A Toolkit for Intersectional Fairness Analysis in Clinical Machine Learning Models
University of Arizona(亚利桑那大学)
本文提出Fairlogue工具包,用于在临床机器学习中评估交集公平性,通过观测和反事实框架分析种族和性别等保护属性的公平性差异。
2026-04-06 cs.LG q-bio.QM
MANI-Rank: Multiple Attribute and Intersectional Group Fairness for Consensus Ranking
Worcester Polytechnic Institute(伍斯特理工学院)
将许多排名者的偏好结合到一个单一的共识排名中,对于从招聘、录取到贷款的后续申请至关重要。虽然群体公平性已被广泛研究的分类,群体公平性的排名,特别是排名聚合仍然处于起步阶段。最近的工作引入了用于组合排名的公平排名聚合的概念,但仅限于候选人具有单个二进制保护属性的情况,即,他们只分为两类。然而,如何创建一个代表所有排名者偏好的共识排名,同时确保公平对待具有性别、种族和国籍等多重受保护属性的候选人,仍然是一个悬而未决的问题。在这项工作中,我们是第一个定义和解决这个开放的多属性公平共识排名(MFCR)问题。作为一个基础,我们设计了新的组公平性标准的排名,称为MANI-RANK,确保公平对待由个人保护属性及其交集定义的组。利用MANI-RANK准则,我们开发了一系列的算法,首次解决MFCR问题。我们的实验研究与丰富多样的共识方案表明,我们的MFCR方法是唯一的方法来实现交叉和保护属性的公平性,同时也代表了通过许多基础排名表达的偏好。我们对优秀奖学金的真实案例研究说明了我们的MFCR方法在减轻多个受保护属性及其交叉点之间的偏差方面的有效性。这是“MANI排名:多属性和交叉组公平性共识排名”的扩展版本,将出现在ICDE 2022中。
2022-07-20 cs.CY cs.LG
Intersectional Divergence: Measuring Fairness in Regression
Lucy Family Institute for Data \& Society, University of Notre Dame Notre Dame IN USA;Lucy Family Institute for Data \& Society, University of Notre Dame
针对回归任务公平性研究不足的问题,提出交叉散度ID度量多受保护属性下的交叉公平性,适配为IDLoss损失函数,实验证明其可提升公平性并维持预测性能平衡。
2025-07-31 cs.LG
Diversity Drives Fairness: Ensemble of Higher Order Mutants for Intersectional Fairness of Machine Learning Software
Nanyang Technological University(南洋理工大学);Peking University(北京大学);King’s College London(伦敦国王学院);University College London(伦敦大学学院);China-Singapore International Joint Research Institute(中新国际联合研究院)
针对机器学习软件的交叉公平性需求,提出无需重新训练模型、基于输入高阶突变体集成的FairHOME方法,在24项任务中公平性提升效果优于现有7种SOTA方法。
2024-12-11 cs.LG cs.SE
FairSelect: A Systematic Evaluation of Multi-Level and Intersectional Algorithmic Fairness
研究针对算法公平性方法多孤立单轴评估的局限,提出FairSelect工具包,支持多模型架构等评估。通过合成与真实临床数据集验证,发现公平干预相互作用方式复杂,该工具包能系统识别策略,兼顾临床机器学习中群体公平与模型性能。
2026-07-13 cs.LG
Causal intersectionality for fair ranking
New York University(纽约大学)
在本文中,我们提出了一个因果建模方法,交叉公平,和一个灵活的,特定于任务的方法计算交叉公平的排名。排名在许多情况下使用,从网络搜索结果到大学录取,但公平排名的因果推理受到的关注有限。此外,越来越多的关于因果公平的文献很少关注交叉性。通过将这些问题放在一个正式的因果框架中,我们使交叉性在公平机器学习中的应用变得明确,与重要的现实世界影响和领域知识相关联,并且对技术限制透明。我们在真实和合成数据集上对我们的方法进行了实验评估,探索了不同结构假设下的行为。
2020-06-15 cs.AI cs.LG stat.AP
Intersectionality and Testimonial Injustice in Medical Records
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Computer Science(计算机科学)
本文利用真实医疗数据和公平性指标,证明引入性别、种族等人口统计学特征的交叉性分析,能更准确地揭示医疗记录中子群体遭受的证言不公正及其差异。
2023-06-20 cs.CY cs.LG
Auditing Predictive Models for Intersectional Biases
Machine Learning for Good Laboratory(向善机器学习实验室);New York University(纽约大学);Harvard Business School(哈佛商学院)
针对交叉性偏见风险,提出条件偏见扫描(CBS)审计框架,能识别分类模型中受保护类别与非受保护类别间偏见最显著的子群体,并在COMPAS工具上验证了其高检测能力。
2023-06-22 cs.LG
Data-Driven Analysis of Intersectional Bias in Image Classification: A Framework with Bias-Weighted Augmentation
Independent Researcher(独立研究者)
提出IFEF框架识别图像分类中的交叉偏见,并通过依据子群体分布调整增强强度的BWA方法,在Open Images V7上显著提升弱势交叉组合准确率并降低公平性差异。
2025-10-17 cs.AI cs.CV cs.LG
Bias Mitigation Framework for Intersectional Subgroups in Neural Networks
Meta AI
我们提出了一个公平意识的学习框架,减轻与受保护的属性相关的交叉子组偏见。先前的研究主要集中在通过将复杂的公平驱动约束纳入优化目标或设计专注于特定受保护属性的附加层来减轻一种偏见。我们介绍了一个简单的和通用的偏见缓解方法,防止模型学习之间的关系,保护属性和输出变量,减少它们之间的互信息。我们证明,我们的方法是有效的,在减少偏见,很少或没有下降的准确性。我们还表明,用我们的学习框架训练的模型变得因果公平,对受保护属性的值不敏感。最后,我们通过研究受保护和不受保护的属性之间的功能交互来验证我们的方法。我们证明,这些相互作用显着减少时,应用我们的偏见缓解。
2022-12-26 cs.CY cs.LG
Fairpriori: Improving Biased Subgroup Discovery for Deep Neural Network Fairness
The University of Sydney(悉尼大学);CSIRO(联邦科学与工业研究组织)
本文提出 Fairpriori,利用频繁项集生成快速计算多类公平性指标并发现有偏子群,在易用性、解释性、适用范围和效率上优于现有方法。
2024-06-25 cs.CY cs.LG cs.SE
Towards Intersectionality in Machine Learning: Including More Identities, Handling Underrepresentation, and Performing Evaluation
Princeton University(普林斯顿大学)
机器学习公平性的研究在历史上考虑了一个单一的二元人口统计属性;然而,现实当然要复杂得多。在这项工作中,我们努力解决当将交叉性作为多个人口统计属性时,机器学习管道的三个阶段出现的问题:(1)将哪些人口统计属性作为数据集标签,(2)如何在模型训练期间处理逐渐变小的子组,以及(3)如何在对更多子组进行模型公平性基准测试时超越现有的评估指标。对于每一个问题,我们都对来自美国人口普查的表格数据集进行了全面的实证评估,并为机器学习社区提出了建设性的建议。首先,我们主张在选择要训练的人口统计属性标签时,用经验验证来补充领域知识,同时始终对整套人口统计属性进行评估。第二,我们警告不要使用数据不平衡技术,而不考虑其规范性的影响,并建议使用数据中的结构的替代方案。第三,我们引入了新的评价指标,更适合交叉设置。总的来说,我们提供了三个必要的实质性建议(尽管还不够!)将交叉性纳入机器学习时的考虑。
2022-05-10 cs.CY cs.LG
Beyond Demographic Balance: Multi-Metric and Intersectional Evaluation of Fairness in MIMIC-IV Mortality Prediction
Virginia Tech(弗吉尼亚理工大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);University of Melbourne(墨尔本大学);University of Toronto(多伦多大学);University of Virginia(弗吉尼亚大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本研究针对MIMIC-IV死亡率预测,提出多指标与交叉性评估框架,揭示公平性干预在不同指标和亚组分辨率下评估差异显著,强调需结合干预目标与估计可靠性进行综合评估。
2026-10-06 cs.LG
Fair Models in Credit: Intersectional Discrimination and the Amplification of Inequity
University of Edinburgh(爱丁堡大学);Humboldt University of Berlin(柏林洪堡大学)
本文以西班牙小额信贷数据为例,从交叉性视角研究性别、年龄、婚姻状况、单亲身份和子女数量等多重社会类别对信贷分配公平性的影响,发现表面公平下低层次不公平会因组合效应而加剧,并提出更公平的算法决策路径。
2023-08-01 cs.CY cs.LG
InfoFair: Information-Theoretic Intersectional Fairness
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Arizona State University(亚利桑那州立大学);University of Arkansas(阿肯色大学)
算法公平性在数据采掘和机器学习中变得越来越重要。其中,一个基本的符号是群体公平。除了少数例外,绝大多数现有的关于群体公平性的工作主要集中在关于单个敏感属性的去偏置上,尽管事实上多个敏感属性(例如,性别、种族、婚姻状况等)在现实世界中是司空见惯的。因此,需要制定方法,确保同时在所有令人关切的敏感属性方面取得公平的学习成果。在本文中,我们研究的问题,信息理论的交叉公平性(InfoFair),其中统计奇偶性,一个代表性的组公平性措施,是保证人口群体之间形成的多个敏感属性的利益。我们将其描述为一个互信息最小化问题,并提出了一个通用的端到端算法框架来解决这个问题,其核心思想是利用互信息的变分表示,该变分表示考虑了学习结果和敏感属性之间的变分分布,以及变分分布和原始分布之间的密度比。我们提出的框架可以推广到许多不同的设置,包括其他统计公平概念,并可以处理任何类型的学习任务配备了基于梯度的优化器。在三个真实世界的数据集上的公平分类任务的实证评估表明,我们提出的框架可以有效地去偏的分类结果与分类精度的影响最小。
2023-01-01 cs.IT cs.LG math.IT
Size-adaptive Hypothesis Testing for Fairness
CENTAI;Graz University of Technology(格拉茨技术大学);Sapienza University(拉瓦尔大学);EURECAT
本文提出一种统一的大小适应性假设检验框架,用于解决公平性评估中的统计决策问题,通过中央极限定理和贝叶斯方法提高小群体的估计精度。
2026-03-19 cs.AI cs.CY cs.LG
Machine Learning with Multitype Protected Attributes: Intersectional Fairness through Regularisation
Centre for Actuarial Studies, Department of Economics, University of Melbourne, Australia(墨尔本大学经济系精算研究所以及中心);Faculty of Economics and Business(经济与商业学院);University of Amsterdam, The Netherlands(阿姆斯特丹大学);LRisk, Leuven Research Center on Insurance(勒夫洛保险研究所以及中心);LStat, Leuven Statistics Research Centre, KU Leuven, Belgium(勒夫洛统计研究所以及中心)
本文提出基于距离协方差正则化的框架,通过引入JdCov和CCdCov多元依赖度量,有效缓解多类型受保护属性下的交叉公平性问题,适用于回归与分类任务。
2025-10-12 cs.LG q-fin.RM stat.AP
A structured regression approach for evaluating model performance across intersectional subgroups
University of Maryland(马里兰大学);Oregon State University(俄勒冈州立大学);Microsoft Research(微软研究院)
针对交叉子群体样本量小导致AI公平性分解评估受限的问题,提出结构化回归方法,可对小子群体生成可靠性能估计,搭配推断策略与拟合优度检验,实验验证其准确性优于标准方法。
2024-05-14 cs.CY cs.LG stat.AP
Intersectional Fairness in Reinforcement Learning with Large State and Constraint Spaces
University of Pennsylvania(宾夕法尼亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究强化学习中面向交叉群体的多目标公平优化,提出基于状态奖励重加权的框架,并给出即使目标数指数庞大时仍 oracle-efficient 的算法,覆盖表格型与结构化大型 MDP,且通过优先连接图 MDP 实验验证。
2025-02-17 cs.GT cs.LG
MMM-fair: An Interactive Toolkit for Exploring and Operationalizing Multi-Fairness Trade-offs
University of the Bundeswehr(德国联邦国防军大学);Free University Berlin(柏林自由大学)
本文介绍mmm-fair,一个开源交互式工具包,通过提升集成方法实现多目标优化,联合最小化分类错误与公平性违规,支持无代码界面、LLM解释和帕累托探索,以探索和操作多公平性权衡。
2025-09-09 cs.CY cs.LG
Data Bias Mitigation under Coverage Constraints & The Price of Fairness
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机科学学院);Cheriton School of Computer Science, University of Waterloo(滑铁卢大学切里顿计算机科学学院)
针对多敏感属性交叉群体的偏差问题,提出在覆盖约束下扩展偏差缓解框架,通过整数线性规划优化缓解策略,权衡偏差近似误差与数据效率,并刻画公平的代价。
2026-06-19 cs.CY cs.DB cs.LG
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University(耶鲁大学)
机器学习中的社会偏见已经引起了人们的极大关注,工作范围从在众多应用程序中展示偏见,为不同的上下文策划公平的定义,到开发算法来减轻偏见。在自然语言处理中,性别偏见已经被证明存在于上下文无关的词嵌入中。最近,上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文,也可以用于编码整个句子。在本文中,我们分析了在何种程度上的最先进的模型上下文单词表示,如BERT和GPT-2,编码偏见与性别,种族和交叉身份。为此,我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应,但避免了混淆效应,低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据,发现不同的证据嵌入关联测试中的偏见,特别是显示,种族偏见是强烈编码的上下文单词模型,并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外,在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见,这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
FairVis: Visual Analytics for Discovering Intersectional Bias in Machine Learning
Georgia Institute of Technology(佐治亚理工学院)
机器学习的能力和可访问性不断增长,导致其应用于许多现实世界的领域和关于人的数据。尽管算法系统可能带来好处,但模型可以在其输出中反映、注入或加剧隐性和显性的社会偏见,从而使某些人口亚群处于不利地位。发现机器学习模型引入了哪些偏见是一个巨大的挑战,因为公平性的定义很多,而且有大量可能受到影响的子群体。我们提出了FairVis,一个混合主动视觉分析系统,集成了一种新的子组发现技术,供用户审计机器学习模型的公平性。通过FairVis,用户可以应用领域知识来生成和调查已知的子组,并探索建议的和类似的子组。FairVis的协调视图使用户能够探索子组性能的高级概述,并随后深入到特定子组的详细调查。我们展示了FairVis如何帮助发现用于预测收入和累犯的两个真实数据集的偏差。作为一个致力于发现机器学习偏见的可视化分析系统,FairVis展示了交互式可视化如何帮助数据科学家和公众理解和创建更公平的算法系统。
2019-09-01 cs.LG stat.ML
Intersectional Disentangling of Temporal and Acquisition Bias in Fetal Ultrasound
Technical University of Denmark(丹麦技术大学);Rigshospitalet(哥本哈根大学 Rigshospitalet 医院)
该研究针对胎儿超声体重估计,通过交叉分析与模型无关的偏回归解耦时间偏差(STD)与采集偏差(PS),发现STD是主要误差来源,DL模型对STD更敏感但仍具优势,强调公平性分析需关注混杂因素。
2026-08-10 cs.CV cs.LG eess.IV
Fair Machine Learning for Healthcare Requires Recognizing the Intersectionality of Sociodemographic Factors, a Case Study
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本研究通过逻辑回归分析西奈山患者数据,发现社会经济地位与种族、性别存在显著交互作用,对精神分裂症诊断率的影响因种族而异,强调公平医疗AI需考虑社会人口学因素的交叉性。
2024-05-30 cs.CY cs.LG
A Unifying Human-Centered AI Fairness Framework
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文提出一个统一的人本AI公平性框架,整合八种公平性度量标准,通过权重分配实现多利益相关者妥协,应用于四个真实数据集展示其在实际部署中的价值。
2025-12-07 cs.AI cs.CY cs.LG
Revisiting (Un)Fairness in Recourse by Minimizing Worst-Case Social Burden
针对算法补救过程的公平性问题,本研究通过理论表征关联补救与分类公平性,提出基于社会负担的公平框架及MISOB算法,实证显示其可降低所有群体社会负担且不影响分类器准确性。
2025-11-18 cs.CY cs.LG
Runtime Monitoring and Enforcement of Conditional Fairness in Generative AIs
Chalmers University of Technology, Sweden Carl von Ossietzky Universität Oldenburg, Germany Universit\'e Grenoble Alpes, France University of Warwick, United Kingdom CSX-AI, France SRI International, United States
本文针对生成式AI的公平性问题,提出条件公平性概念及其两级评估标准,通过界定最坏情况并利用基于智能体框架的提示词注入方案,以最小干预实现了条件公平性的运行时监控与执行。
2025-08-11 cs.AI cs.CY cs.LG
Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval
University of Washington(华盛顿大学);Salzburg University(萨尔茨堡大学)
本研究通过模拟求职者选拔的文档检索框架,发现Massive Text Embedding(MTE)模型在简历筛选中存在性别、种族及交叉性偏见,偏向白人姓名,黑人男性在所有案例中均受不利影响,为相关AI工具的公平性改进提供了依据。
2026-09-01 cs.AI cs.CL cs.CY
Alpha and Prejudice: Improving $α$-sized Worst-case Fairness via Intrinsic Reweighting
Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所);Centre for Frontier AI Research, Agency for Science, Technology and Research(新加坡科技研究局前沿人工智能研究中心);School of Computer Science, Beihang University(北京航空航天大学计算机学院)
本文针对人口统计信息缺失场景,提出基于内在重要性的样本重加权方法,实现$\alpha$规模最坏情况公平性,并引入稳健变体处理异常值,实验证明其优越性。
2024-11-05 cs.LG
Parametric Fairness with Statistical Guarantees
Université de Montréal(蒙特利尔大学);Université du Québec à Montréal(魁北克大学蒙特利尔分校)
本文提出一种扩展的人口统计均等指标,将分布性质和专家知识纳入公平性约束,并开发参数化方法以在有限数据和支出约束下获得具有统计保证的公平解。
2023-10-31 cs.CY cs.LG stat.ML
Beyond Adult and COMPAS: Fairness in Multi-Class Prediction
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院);McMaster University(麦克马斯特大学)
我们考虑的问题,产生公平的概率分类多类分类任务。我们制定了这个问题的“投影”一个预先训练(和潜在的不公平)的分类到一组模型,满足目标群体的公平性要求。新的投影模型是通过用乘法因子对预训练分类器的输出进行后处理来给出的。我们提供了一个并行迭代算法计算投影分类器,并获得样本的复杂性和收敛保证。与最先进的基准测试的全面数值比较表明,我们的方法在准确性-公平性权衡曲线方面保持了有竞争力的性能,同时在大型数据集上实现了良好的运行时间。我们还在具有多个类,多个交叉保护组和超过100万个样本的开放数据集上大规模评估了我们的方法。
2022-06-15 cs.CY cs.IT cs.LG
Safe Fairness Guarantees Without Demographics in Classification: Spectral Uncertainty Set Perspective
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心);Predictive Analytics Lab, University of Sussex(预测分析实验室,苏塞克斯大学);Monash University Indonesia(墨尔本大学印尼分校);University of the Basque Country EHU(巴斯克国家大学EHU)
SPECTRE通过调整傅里叶特征映射谱,提供无需人口统计信息的分类公平性保障,并通过理论分析推导出最坏情况误差的可计算界限。
2026-02-12 cs.AI cs.LG
Insufficiently Justified Disparate Impact: A New Criterion for Subgroup Fairness
New York University(纽约大学);Harvard Business School(哈佛商学院)
提出IJDI准则评估算法推荐公平性,识别调整基础率后仍显著的组间错误率差异,并开发IJDI-Scan高效发现交叉性子群,在累犯和信用数据上验证并缓解。
2023-06-19 cs.CY cs.LG stat.ML
Fairness-Aware Naive Bayes Classifier for Data with Multiple Sensitive Features
University of Durham(杜伦大学)
公平感知机器学习寻求在生成预测时最大化效用,同时避免基于种族、性别、宗教等敏感属性的不公平歧视。遵循这种策略的简单而有效的二进制分类算法是两个朴素贝叶斯(2NB),它强制执行统计奇偶性-要求组成数据集的组以相同的可能性接收阳性标签。在本文中,我们将此算法推广到N-naive-Bayes(NNB),以消除假设数据中只有两个敏感组的简化,而是将其应用于任意数量的组。我们提出了一个扩展的原始算法的统计奇偶约束和后处理例程,强制执行统计独立的标签和单个敏感属性。然后,我们研究了它的应用程序的数据与多个敏感功能,并提出了一个新的约束和后处理例程,以执行差分公平,扩展已建立的组公平约束集中在交叉。我们实证证明了美国人口普查数据集的NNB算法的有效性,并比较其准确性和去偏性能,不同的影响和DF- $ε$分数,与类似的组公平算法。最后,我们列出了用户在将该算法纳入其应用程序之前应该注意的重要事项,并指导他们进一步阅读使用统计奇偶性作为公平标准的利弊和道德影响。
2022-02-23 cs.AI cs.LG
Fairness Testing through Extreme Value Theory
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Texas at El Paso(德克萨斯大学埃尔帕索分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对数据驱动软件在极端情况下可能放大歧视的问题,本文提出基于极值理论的极端反事实歧视准则,并设计随机算法与缓解器,在多数任务中改善尾部公平性且不损害平均公平。
2025-01-20 cs.AI cs.CY cs.LG
Monotonicity for AI ethics and society: An empirical study of the monotonic neural additive model in criminology, education, health care, and finance
Duke Kunshan University(昆山杜克大学)
算法公平性在人工智能应用中的重要性是一个更好的社会所必需的。公平作为社会机制的基本公理,具有多方面的内容。虽然机器学习(ML)社区一直专注于交叉性作为统计平等的问题,特别是在歧视问题上,但一个新兴的文献机构解决了另一个方面-单调性。基于领域专业知识,单调性在许多与公平相关的领域中起着至关重要的作用,在这些领域中,违规行为可能会误导人类的决策并导致灾难性的后果。在本文中,我们首先系统地评估了应用单调神经加性模型(MNAMs)的重要性,MNAMs使用公平意识ML算法来执行个体和成对单调性原则,以实现AI伦理和社会的公平性。通过理论推理、模拟和大量实证分析的混合方法,我们发现,考虑单调性公理在公平的所有领域都是必不可少的,包括犯罪学、教育、医疗保健和金融。我们的研究有助于AI伦理学,可解释AI(XAI)和人机交互(HCI)接口的跨学科研究。通过证明如果不满足单调性的灾难性后果,我们解决了单调性要求在AI应用中的重要性。此外,我们证明了MNAMS是一种有效的公平意识ML方法,通过施加单调性限制来整合人类智能。
2023-01-17 cs.AI cs.CY cs.LG
Algorithm Fairness in AI for Medicine and Healthcare
Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院);Broad Institute of Harvard and MIT(哈佛-麻省理工学院博德研究所);Dana-Farber Cancer Institute(丹娜-法伯癌症研究所);Boston University School of Medicine(波士顿大学医学院);Massachusetts Institute of Technology(麻省理工学院);Massachusetts General Hospital(麻省总医院);Harvard University(哈佛大学)
在目前医疗保健领域许多人工智能(AI)系统的开发和部署中,算法公平性是提供公平护理的一个具有挑战性的问题。最近对跨种族亚群分层的人工智能模型的评估显示,患者在诊断、治疗和医疗费用方面存在不平等。在这篇观点文章中,我们通过当前医疗保健问题的背景,总结了机器学习中公平性的交叉领域,概述了算法偏差(例如-图像采集,遗传变异,观察者内标记变异性)如何在当前临床工作流程中出现以及由此产生的医疗保健差异。最后,我们还回顾了通过联邦学习、解纠缠和模型可解释性来减轻偏见的新兴技术,以及它们在AI-SaMD开发中的作用。
2022-03-24 cs.CV cs.LG
Finetuning Text-to-Image Diffusion Models for Fairness
National University of Singapore(新加坡国立大学);Sea AI Lab(Sea AI实验室);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对文本到图像扩散模型的偏见问题,提出分布对齐损失和调整后的直接微调方法,有效减少职业提示中的性别、种族偏见,并支持多概念同时去偏。
2024-03-15 cs.AI cs.CV cs.CY
FairHealth: An Open-Source Python Library for Trustworthy Healthcare AI in Low-Resource Settings
Independent Researcher(独立研究者)
FairHealth通过整合公平性审计、隐私保护联邦学习、可解释性工具等模块,解决低资源医疗AI工具包的关键缺口,提升全球南医疗数据的可信度与公平性。
2026-05-05 cs.AI cs.CY cs.LG