Position: Fairness Failure in Generative Models is an Evaluation Problem
Criteo AI Lab(Criteo人工智能实验室);FairPlay joint team(FairPlay联合团队)
本文指出生成式模型的公平性失效源于评估问题,提出Fairness Cards工具明确评估选择以提升公平性评估的可复现性与可比性,推动评估标准的范式转变。
2026-08-19 cs.AI cs.LG
Equalized Generative Treatment: Matching f-divergences for Fairness in Generative Models
DI ENS, École normale supérieure, Université PSL, CNRS, Paris, France;Sorbonne Universit\'e, Universit\'e Paris Cit\'e, CNRS, Laboratoire de Probabilit\'es, Statistique et Mod\'elisation, LPSM, Paris, France;Miles, LAMSADE, Universit\'e Paris-Dauphine-PSL, CNRS, Paris, France
本文提出均等生成处理(EGT)作为生成模型的公平性定义,通过min-max微调方法平衡f-分歧度,提升生成质量的公平性。
2026-02-09 cs.AI cs.LG
Measuring Model-Induced Discrimination via Efficient Fairness Approximation
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);Department of Mathematics, National University of Singapore(新加坡国立大学数学系)
提出基于流形视角的公平度量HFM,利用集合间距离评估分类器歧视,并设计近似算法ApproxDist提高计算效率,实验表明其兼顾个体与群体公平。
2026-06-23 cs.CY cs.LG
FairGAN: Fairness-aware Generative Adversarial Networks
University of Arkansas(阿肯色大学)
公平感知学习在数据采掘中越来越重要。歧视预防的目的是在训练数据用于进行预测分析之前,防止在训练数据中出现歧视。在本文中,我们专注于公平的数据生成,确保生成的数据是无歧视的。受生成对抗网络(GAN)的启发,我们提出了一种公平感知的生成对抗网络,称为公平GAN,它能够学习生成公平数据的生成器,并保持良好的数据效用。与朴素的公平数据生成模型相比,FairGAN进一步保证了在生成数据上训练的分类器可以在真实数据上实现公平分类。在真实数据集上的实验表明了FairGAN的有效性。
2018-05-28 cs.CY cs.LG stat.ML
Safety and Fairness for Content Moderation in Generative Models
Google Research(谷歌研究院)
针对生成模型部署中的内容风险问题,本文提出文本到图像生成技术负责任内容审核的理论框架,定义区分安全、公平与指标公平性概念并演示危害量化方法,支撑数据驱动的内容审核决策。
2023-06-09 cs.AI cs.LG
LiFT: A Scalable Framework for Measuring Fairness in ML Applications
LinkedIn Corporation(领英公司);Amazon AWS AI(亚马逊云科技人工智能)
许多互联网应用程序由机器学习模型提供支持,这些模型通常在通过隐式/显式用户反馈信号或人类判断获得的标记数据集上进行训练。由于在生成此类数据集时可能存在社会偏见,因此训练的模型可能存在偏见,从而导致对弱势群体的潜在歧视和伤害。出于理解和解决网络规模ML系统中的算法偏见的需要以及现有公平性工具包的局限性,我们提出了LinkedIn公平性工具包(LiFT),这是一个用于可扩展计算公平性度量的框架,作为大型ML系统的一部分。我们强调部署设置的关键要求,并提出了我们的公平性测量系统的设计。我们讨论了在实践中纳入公平工具所遇到的挑战,以及在LinkedIn部署过程中吸取的经验教训。最后,我们根据实际经验提出了一些开放性问题。
2020-08-14 cs.AI cs.CY cs.LG
Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学);TU Berlin(柏林工业大学)
随着人们对自然语言处理资源(如BERT)中有偏模式的认识不断提高,许多度量标准开始量化“偏”和“公平”。但是,比较不同指标的结果和用这些指标评估的作品仍然很困难,如果不是完全不可能的话。我们调查了现有的文献公平性指标的预训练语言模型和实验评估兼容性,包括在语言模型的偏见,在他们的下游任务。我们采用传统的文献调查和相关分析相结合的方法,并进行了实证评估。我们发现,许多指标是不兼容的,高度依赖于(i)模板,(ii)属性和目标种子和(iii)嵌入的选择。这些结果表明,公平性或偏见评估仍然具有挑战性的上下文语言模型,如果不是至少高度主观。为了改善未来的比较和公平性评估,我们建议避免基于嵌入的度量,并专注于下游任务中的公平性评估。
2021-12-14 cs.CL cs.CY cs.LG
Fairness in generative modeling
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);ESIEE Paris(巴黎高等电子与电工技术工程师学院);Facebook AI Research(脸书人工智能研究院);Univ. du Littoral Cote d’Opale(滨海奥帕尔海岸大学);Univ. of Konstanz(康斯坦茨大学);Univ. d’Antananarivo(塔那那利佛大学);The University of Adelaide(阿德莱德大学)
我们设计了通用的算法,用于解决公平性问题和生成式建模中的模式坍塌。更确切地说,为了为尽可能多的敏感变量(包括我们可能不知道的变量)设计公平算法,我们假设没有敏感变量的先验知识:我们的算法只使用无监督公平性,这意味着没有与敏感变量相关的信息用于我们的公平性改进方法。所有人脸图像(甚至是生成的)都已被删除,以减轻法律风险。
2022-10-06 cs.AI cs.LG cs.NE
Measuring Non-Expert Comprehension of Machine Learning Fairness Metrics
University of Maryland(马里兰大学);ICSI(国际计算机科学研究所)
机器学习中的偏见已经在几个领域表现出了不公正,例如医学,招聘和刑事司法。作为回应,计算机科学家们开发了无数的公平定义,以纠正现场算法中的这种偏见。虽然有些定义是基于既定的法律和道德规范,但其他定义在很大程度上是数学的。目前还不清楚公众是否同意这些公平的定义,也许更重要的是,他们是否理解这些定义。我们采取初步措施,通过解决这个问题来弥合ML研究人员和公众之间的差距:外行观众是否理解ML公平的基本定义?我们开发了一个度量标准来衡量对三个定义的理解-人口均等,平等机会和均等几率。我们使用在线调查来评估这个指标,并调查理解和情感,人口统计学和定义本身之间的关系。
2020-07-02 cs.AI cs.CY cs.LG
Model-Based Approach for Measuring the Fairness in ASR
Facebook AI
当自动语音识别(ASR)系统对所有人群的表现不一样时,公平性问题就会出现。在ASR的任何公平性测量研究中,如何控制滋扰因素,如何处理说话者之间未观察到的异质性,以及如何追踪不同亚组之间的任何单词错误率(WER)差距的来源等开放性问题尤为重要-如果没有适当地解释,将得出错误的结论。在本文中,我们引入了混合效应泊松回归,以更好地衡量和解释任何WER之间的差异感兴趣的亚组。特别是,所提出的方法可以有效地解决上述三个问题,是非常灵活的实际差异分析使用。我们证明了所提出的基于模型的方法在合成和真实世界的语音数据的有效性。
2021-09-19 cs.CY cs.LG stat.ML
From Efficiency to Equity: Measuring Fairness in Preference Learning
Birla Institute of Technology and Science, Pilani(毕拉理工学院皮拉尼分校);University of Montréal(蒙特利尔大学)
本文借鉴不平等与罗尔斯正义理论,提出基于 Gini Coefficient、Atkinson Index 和 Kuznets Ratio 的偏好学习认知公平评估框架,并通过两个数据集验证及缓解策略分析效率与公平的权衡。
2024-10-24 cs.AI cs.LG
Measuring and signing fairness as performance under multiple stakeholder distributions
Meta AI
随着学习机器对人类生活决策的影响越来越大,分析其公平性成为一个至关重要的主题。然而,我们衡量学习系统公平性的最佳工具是严格的公平性指标,这些指标被封装为数学上的一行代码,为参与预测任务的利益相关者提供有限的权力,并且当我们施加过度的压力来优化它们时,它们很容易被操纵。为了推进这些问题,我们建议将重点从塑造公平性指标转移到策划这些计算的例子的分布。特别是,我们建议每一个关于公平性的声明都应该立即加上这样的标语:“在什么样的例子下公平,由谁收集?".通过强调与领域概括文献的联系,我们建议将公平性衡量为系统在多重压力测试下概括的能力--具有社会相关性的示例的分布。我们鼓励每个利益相关者策划一个或多个压力测试,其中包含反映他们(可能相互冲突)利益的例子。通过低于或超过预定义的度量值,机器通过或未通过每次压力测试。测试结果让所有利益相关者参与讨论如何改进学习系统,并根据上下文和可解释的数据提供灵活的公平性评估。我们提供了完整的压力测试实施指南,说明了这个框架的优点和缺点,并介绍了一个加密方案,使一定程度的预测问责制系统提供商。
2022-07-20 cs.CY cs.LG stat.ML
Shapley meets Rawls: an integrated framework for measuring and explaining unfairness
UM6P Airess University Mohammed VI Polytechnic(穆罕默德六世理工大学UM6P Airess大学);Univ. Nîmes Chrome Um6p, Airess(尼姆大学Chrome实验室,穆罕默德六世理工大学Airess);Liser Luxembourg(卢森堡社会经济研究所)
本文提出利用Shapley值定义和解释不公平性,结合标准群体公平标准,提供评估和推断不公平性的综合框架,并扩展至ESL值家族,以更稳健的公平定义和更快的计算时间。
2026-03-30 cs.LG
Measuring Model Fairness under Noisy Covariates: A Theoretical Perspective
Google(谷歌)
在这项工作中,我们研究的问题衡量的公平性的机器学习模型在噪声信息。集中在组公平性指标,我们调查的特殊但常见的情况下,评估需要控制协变量的混杂效应。在实际环境中,我们可能无法联合观察协变量和组信息,标准的解决方法是使用这些变量中的一个或多个的代理。先前的工作已经证明了使用敏感属性的代理的挑战,并且需要强独立性假设来保证噪声估计的准确性。相比之下,在这项工作中,我们研究使用代理的协变量,并提出了一个理论分析,旨在表征较弱的条件下,准确的公平性评估是可能的。此外,我们的理论确定了潜在的错误来源,并将其分为两个可解释的部分$γ$和$ε$。第一部分$γ$仅取决于代理的性能,例如精确度和召回率,而第二部分$ε$捕获所有感兴趣变量之间的相关性。我们发现,在许多情况下,估计的误差主要是由$γ$通过线性依赖,而依赖于相关性$ε$只构成一个较低的顺序项。因此,我们扩大了理解的情况下,通过代理测量模型的公平性可以是一种有效的方法。最后,我们比较,通过模拟,理论上的上限模拟估计误差的分布,并表明,假设一些结构的数据,即使是弱的,是显着提高理论保证和实证结果的关键。
2021-05-20 cs.LG stat.ML
Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach
Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所);University of Padova(帕多瓦大学);Istituto di Scienza e Tecnologie dell’Informazione(信息科学与技术研究所);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
本文提出将敏感属性不可知下的群体公平衡量转化为量化问题,借助群体流行率估计方法在分布偏移下稳健评估人口统计均等,并避免推断个体敏感属性。
2023-03-27 cs.CY cs.LG
Equal Confusion Fairness: Measuring Group-Based Disparities in Automated Decision Systems
University of Houston(休斯顿大学)
本文提出 Equal Confusion Fairness 测试和混淆对等误差,用于检测和量化自动决策系统中的群体公平性,并通过 COMPAS 案例验证方法有效性。
2023-07-02 cs.CY cs.LG
Counterfactual Fair Opportunity: Measuring Decision Model Fairness with Counterfactual Reasoning
Polytechnic University of Bari(巴里理工大学);University of Bari(巴里大学)
越来越多的人工智能和机器学习模型的应用带来了不公平行为的潜在风险,根据最近的法规,已经引起了研究界的关注。一些研究人员专注于寻求新的公平定义或开发方法来识别有偏见的预测。然而,没有人试图利用反事实空间来达到这一目的。在这个方向上,在这项工作中提出的方法,旨在揭示不公平的模型行为,使用反事实推理的情况下,在无意识设置的公平。定义了机会平等的反事实版本--反事实公平机会,并引入了两种新的度量方法来分析反事实样本中的敏感信息。在三个不同数据集上的实验结果显示了我们的方法和指标的有效性,揭示了经典机器学习和去偏置模型的不公平行为。
2023-02-16 cs.AI cs.CY cs.LG
Improving Fairness and Mitigating MADness in Generative Models
Rice University(莱斯大学)
本文通过设计超网络训练生成模型并引入正则化项,以缓解少数类不公平、模型自噬障碍和参数统计偏差,同时提供可扩展的超网络实现以适配现有深度生成模型。
2024-10-03 cs.LG stat.ML
On the Fairness of Privacy Protection: Measuring and Mitigating the Disparity of Group Privacy Risks for Differentially Private Machine Learning
Southern University of Science and Technology(南方科技大学);Lingnan University(岭南大学)
针对差分隐私机器学习中跨群体隐私保护公平性未被充分探索的问题,提出新型成员推理博弈以高效评估近似最坏情况群体隐私风险,并增强DP-SGD算法以减少群体隐私风险差异,提升隐私保护公平性。
2025-11-16 cs.AI cs.LG
On the Fairness of Generative Adversarial Networks (GANs)
Innopolis University(因诺波利斯大学)
生成对抗网络(GANs)是近年来人工智能领域最大的进步之一。凭借其直接学习数据概率分布的能力,然后对合成的真实数据进行采样。已经出现了许多应用,使用GANs来解决机器学习中的经典问题,例如数据增强,类不平衡问题和公平表示学习。在本文中,我们分析和突出的公平性关注的GANs模型。在这方面,我们根据经验表明,GANs模型在训练过程中可能固有地偏好某些组,因此它们无法在测试阶段从不同的组中均匀地生成数据。此外,我们提出了解决这个问题的解决方案,通过将GAN模型调节为样本组或使用集成方法(提升)来允许GAN模型在训练阶段利用数据的分布式结构,并在测试阶段以相等的速率生成组。
2021-05-21 cs.CV cs.LG
Runtime Monitoring and Enforcement of Conditional Fairness in Generative AIs
Chalmers University of Technology, Sweden Carl von Ossietzky Universität Oldenburg, Germany Universit\'e Grenoble Alpes, France University of Warwick, United Kingdom CSX-AI, France SRI International, United States
本文针对生成式AI的公平性问题,提出条件公平性概念及其两级评估标准,通过界定最坏情况并利用基于智能体框架的提示词注入方案,以最小干预实现了条件公平性的运行时监控与执行。
2025-08-11 cs.AI cs.CY cs.LG
On Measuring Fairness in Generative Models
Singapore University of Technology Design (SUTD)(新加坡科技设计大学)
本文首次深入研究生成模型公平性度量问题,发现现有框架存在显著度量误差,并提出分类器误差感知度量框架CLEAM,显著降低误差并揭示主流文本到图像生成器和GAN中的严重偏见。
2023-10-30 cs.CV cs.CY cs.LG
Measuring Individual User Fairness with User Similarity and Effectiveness Disparity
University of Copenhagen(哥本哈根大学);LUT University(拉普兰塔大学)
本文提出PUF,一种新的推荐系统个体用户公平性度量方法,同时考虑用户相似性和有效性差异。
2026-01-23 cs.AI cs.CY cs.IR
Measuring Unfairness through Game-Theoretic Interpretability
Escola Politécnica da Universidade de São Paulo, USP(圣保罗大学理工学院,USP)
人们经常在文献中发现公平性度量和用于解释训练分类器的特征重要性度量之间的联系。然而,似乎没有研究比较公平性措施和特征重要性措施。在本文中,我们提出了评估和比较这些措施的方法。我们特别关注SHAP,这是一种基于博弈论的特征重要性度量;我们提出了一些不公平倾向数据集的结果。
2019-10-12 cs.LG stat.ML
Measuring, Interpreting, and Improving Fairness of Algorithms using Causal Inference and Randomized Experiments
University of Southern California(南加州大学)
本文提出一个与算法无关的框架MIIF,利用因果推断和随机实验测量算法偏差,并通过可解释模型解释黑盒算法,以改进算法公平性,尤其适用于电子商务和定向广告等实际应用。
2023-09-04 cs.CY cs.LG stat.ME
Trust the Process: Zero-Knowledge Machine Learning to Enhance Trust in Generative AI Interactions
Imperial College London(伦敦帝国学院);Flashbots
本文提出基于零知识证明的ZKML框架及snarkGPT实现,用于在保护模型隐私的同时验证生成式AI输出的公平性与准确性,增强用户信任。
2024-02-09 cs.CR cs.LG
On the Origins of Sampling Bias: Implications on Fairness Measurement and Mitigation
University of Doha for Science and Technology (UDST)(多哈科技大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Université Claude Bernard Lyon 1(里昂第一大学);Université de Sousse(苏塞大学)
本文针对采样偏差术语使用不一致的问题,明确定义样本量偏差与代表性不足偏差两类变体,通过基准数据集和主流算法的大量实验得出观测结论,并整理为公平性评估相关的可操作实践建议。
2025-03-23 cs.LG
Is Your Classifier Actually Biased? Measuring Fairness under Uncertainty with Bernstein Bounds
Stanford University(斯坦福大学)
大多数NLP数据集都没有使用受保护的属性(如性别)进行注释,因此很难使用标准的公平性度量(例如,机会均等)。但是,手动注释具有受保护属性的大型数据集是缓慢且昂贵的。我们能不能不标注所有的例子,而是标注其中的一个子集,并使用该样本来估计偏差?虽然有可能这样做,但注释样本越小,我们就越不确定估计值是否接近真实偏倚。在这项工作中,我们建议使用伯恩斯坦界来表示这种不确定性的偏差估计的置信区间。我们提供的经验证据表明,以这种方式得出的95%置信区间始终是真实偏倚的界限。在量化这种不确定性时,我们称之为伯恩斯坦有界不公平的方法有助于防止分类器在没有足够的证据做出任何声明时被认为是有偏见或无偏见的。我们的研究结果表明,目前用于测量特定偏差的数据集太小,无法最终确定偏差,除非在最严重的情况下。例如,考虑一个共指消解系统,它在性别刻板印象句子上的准确率要高出5%--要声称它有95%的置信度,我们需要一个比WinoBias大3.8倍的特定于偏见的数据集。
2020-04-26 cs.CL cs.LG
Causal Bias Detection in Generative Artificial Intelligence
Department of Statistics & Data Science(统计与数据科学系)
本文研究了生成人工智能中的因果公平性问题,提出了新的因果分解结果,以量化不同因果路径和现实机制被生成模型替代对公平性的影响,并通过分析大型语言模型中的种族和性别偏见验证了方法的有效性。
2026-05-18 cs.AI cs.LG stat.ML
Foundation Models at Work: Fine-Tuning for Fairness in Algorithmic Hiring
IBM Research(IBM研究院)
针对基础模型微调依赖高成本人工反馈的问题,提出AutoRefine方法,借助下游任务性能反馈的强化学习实现针对性微调,在算法招聘场景中可有效检测调控职位描述偏见、提升招聘公平性。
2025-01-13 cs.LG
No Location Left Behind: Measuring and Improving the Fairness of Implicit Representations for Earth Data
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
针对现有地球数据隐式神经表示(INRs)优先全局平均性能而缺乏公平性评估的问题,本文构建首个FAIR-Earth数据集,提出球面小波编码方法,提升高频信号子群体建模性能,推动INRs公平评估与部署。
2025-02-05 cs.AI cs.LG
The Road to Explainability is Paved with Bias: Measuring the Fairness of Explanations
Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所);Unity Health Toronto(多伦多团结健康医院)
医疗保健等安全关键环境中的机器学习模型通常是黑盒:它们包含大量对用户不透明的参数。事后可解释性方法,其中一个简单的,人类可解释的模型模仿这些黑盒模型的行为,经常被提出来帮助用户信任模型预测。在这项工作中,我们审计质量的不同的保护亚组使用真实的数据,从四个设置在金融,医疗保健,大学招生和美国司法系统的解释。在两种不同的黑盒模型架构和四种流行的可解释性方法中,我们发现解释模型的近似质量(也称为保真度)在子组之间存在显着差异。我们还证明,配对的可解释性方法与强大的机器学习的最新进展,可以提高解释的公平性,在某些设置。然而,我们强调了向用户传达非零保真度差距细节的重要性,因为单个解决方案可能不存在于所有设置中。最后,我们讨论了不公平的解释模型作为一个具有挑战性的和欠研究的问题所面临的机器学习社区的影响。
2022-06-02 cs.AI cs.CY cs.LG
Downstream Fairness Caveats with Synthetic Healthcare Data
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文评估综合生成的医疗数据的偏见,并调查公平缓解技术效用公平的影响。隐私法限制对电子病历(EMR)等健康数据的访问,以保护患者隐私。尽管这些法律是必要的,但它们阻碍了研究的可重复性。合成数据是一种可行的解决方案,可以在没有隐私风险的情况下访问类似于真实医疗数据的数据。医疗保健数据集可能存在偏见,某些受保护的群体可能会比其他群体经历更糟糕的结果。由于真实数据存在偏差,综合生成的健康数据的公平性受到质疑。在本文中,我们评估了在两个医疗数据集上生成的性别和种族偏见模型的公平性。我们使用名为HealthGAN的生成对抗网络生成数据集的合成版本,并比较真实和合成模型的平衡准确性和公平性得分。我们发现,合成数据具有不同的公平性相比,真实数据和公平缓解技术的表现不同,突出表明,合成数据是没有偏见的。
2022-03-09 cs.LG
On the Maximal Local Disparity of Fairness-Aware Classifiers
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学)
本文提出最大局部公平性差异指标MCDP及其高效计算和可微近似方法,并通过双层优化在表格和图像数据上实现更优的公平性-准确性权衡。
2024-06-05 cs.LG
FairX: A comprehensive benchmarking tool for model analysis using fairness, utility, and explainability
Institute for Experiential AI, Northeastern University(东北大学体验式人工智能研究院)
FairX是一个开源Python基准测试工具,统一支持公平性、效用和可解释性分析,并新增公平生成模型训练与合成数据质量评估能力,支持表格和图像数据集。
2024-09-03 cs.AI cs.LG
On the Correlation between Individual Fairness and Predictive Accuracy in Probabilistic Models
IDSIA USI-SUPSI(IDSIA USI-SUPSI 研究所);SUPSI(瑞士南部应用科学与艺术大学)
通过分析后验推断对私有特征扰动的鲁棒性,研究生成式概率分类器的个体公平性,证实鲁棒性与预测准确性正相关,为缓解公平性与准确性的权衡提供新方向。
2025-09-16 cs.AI cs.LG
Fairness and Explainability: Bridging the Gap Towards Fair Model Explanations
Vanderbilt University(范德堡大学)
虽然机器学习模型在现实世界的应用中取得了前所未有的成功,但它们可能会对特定的人口群体做出有偏见/不公平的决定,从而导致歧视性的结果。虽然研究工作一直致力于测量和减轻偏见,他们主要是从结果导向的角度来研究偏见,而忽略了编码在决策过程中的偏见。这导致他们无法捕获面向程序的偏倚,因此限制了完全去偏倚方法的能力。幸运的是,随着可解释的机器学习的快速发展,现在可以通过对预测的解释来深入了解该过程。在这项工作中,我们提出了一个新的视角,面向程序的公平性的基础上的解释,弥合公平性和可解释性之间的差距。我们通过基于比率和基于价值的解释公平性测量不同群体之间的解释质量差距来识别基于程序的偏见。新的指标进一步促使我们设计一个优化目标,以减轻基于程序的偏差,我们观察到它也将减轻预测的偏差。基于我们设计的优化目标,我们提出了一个综合公平算法(CFA),它同时满足多个目标-提高传统的公平性,满足解释公平性,并保持效用性能。对真实世界数据集的广泛实验证明了我们提出的CFA的有效性,并强调了从可解释性角度考虑公平性的重要性。我们的代码可在https://github.com/YuyingZhao/FairExplanations-CFA上公开获取。
2022-12-07 cs.CY cs.LG
To which reference class do you belong? Measuring racial fairness of reference classes with normative modeling
Radboud University Medical Center(拉德堡德大学医学中心);University of Tuebingen(蒂宾根大学);Harvard Medical School(哈佛医学院)
本文通过规范建模评估脑影像参照模型的种族公平性,发现纳入种族并未消除偏差,并指出偏差可能源于人口统计学不匹配,呼吁获取更具代表性的样本。
2025-03-11 cs.CV cs.CY cs.LG
On the Consistency of Fairness Measurement Methods for Regression Tasks
Imam Abdulrahman Bin Faisal University(伊玛目阿卜杜勒拉赫曼·本·费萨尔大学);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
针对回归任务公平性度量近似算法缺乏一致性验证的问题,本文通过多任务实验对比各类方法的输出一致性,发现不同方法一致性存在差异,呼吁构建更具原则性的回归公平度量方法。
2024-06-19 cs.LG
Subverting Fair Image Search with Generative Adversarial Perturbations
Northeastern University(东北大学);Google Research(谷歌研究院)
在这项工作中,我们将探讨交叉的公平性和鲁棒性的排名的背景下:当一个排名模型已被校准,以实现某种定义的公平性,是可能的外部对手,使排名模型的行为不公平,而无需访问模型或训练数据?为了研究这个问题,我们提出了一个案例研究,我们开发,然后攻击一个国家的最先进的,公平意识的图像搜索引擎使用的图像已被恶意修改使用生成对抗扰动(GAP)模型。这些扰动试图导致公平重新排名算法不公平地提升包含来自对手选择的子群体的人的图像的排名。我们提出了大量的实验结果表明,我们的攻击可以成功地赋予显着的不公平的优势,相对于公平排名的基线搜索结果的人从大多数类。我们证明了我们的攻击在许多变量上都是稳健的,它们对搜索结果的相关性几乎没有影响,并且在严格的威胁模型下成功。我们的研究结果强调了在野外部署公平机器学习算法的危险,当(1)实现公平所需的数据可能被恶意操纵,以及(2)模型本身对攻击不鲁棒。
2022-05-06 cs.CY cs.LG
Identifying, measuring, and mitigating individual unfairness for supervised learning models and application to credit risk models
Microsoft(微软)
在过去的几年里,人工智能(AI)已经引起了包括金融服务(FS)在内的各个行业的关注。人工智能通过提高生产力和改善风险管理对金融服务产生了积极影响。虽然人工智能可以提供有效的解决方案,但它有可能带来意想不到的后果。其中一个后果是与人工智能相关的不公平和随之而来的与公平相关的伤害的明显影响。这些与公平相关的损害可能涉及对个人的差别待遇;例如,不公平地拒绝向某些个人或群体提供贷款。在本文中,我们专注于识别和减轻个人不公平,并利用该领域最近发布的一些技术,特别是适用于信用裁决用例。我们还调查了实现个人公平的技术在多大程度上有效地实现了群体公平。我们在这项工作中的主要贡献是功能化的两步训练过程,其中包括学习一个公平的相似性度量从一组意义上使用一小部分的原始数据和训练一个单独的“公平”分类器使用其余的数据,其中敏感的功能被排除在外。这种两步技术的关键特征与其灵活性有关,即,在第一步骤中获得的公平度量可以在第二步骤中与任何其它单独的公平算法一起使用。此外,我们开发了第二个度量标准(与公平相似性度量标准不同)来确定模型对待相似个体的公平程度。我们使用这个指标来比较一个“公平”模型与其基线模型在各自的公平值。最后,一些实验结果相应的个人不公平缓解技术。
2022-11-11 cs.AI cs.CY cs.LG
FSGR: Mitigating Token Frequency Bias for Fair SID-Based Generative Recommendation
College of Computer Science, Nankai University(南开大学计算机学院);College of Cryptology and Cyber Science, Nankai University(南开大学密码与网络科学学院)
针对基于SID的生成式推荐中存在的令牌频率偏差问题,提出FSGR框架,通过优化SID构建与训练策略缓解偏差,在保持准确率的同时提升了约20%的基尼公平性。
2026-08-14 cs.AI cs.IR cs.LG
Measuring disentangled generative spatio-temporal representation
RMIT University(皇家墨尔本理工大学)
解纠缠表示学习提供了有用的属性,如降维和可解释性,这对现代深度学习方法至关重要。虽然深度学习技术已被广泛应用于时空数据采掘,但很少有人关注进一步解开潜在特征并了解它们对模型性能的贡献,特别是它们的互信息和特征之间的相关性。在这项研究中,我们采用了两个国家的最先进的解开表示学习方法,并将其应用到三个大规模的公共时空数据集。为了评估它们的性能,我们提出了一个内部评估指标,专注于学习表示的潜在变量之间的相关程度和下游任务的预测性能。实证结果表明,我们的修改后的方法可以学习解纠缠表示,达到相同的性能水平,现有的国家的最先进的ST深度学习方法在时空序列预测问题。此外,我们发现,我们的方法可以用来发现真实世界的时空语义来描述学习表示中的变量。
2022-04-08 cs.LG
AIM-Fair: Advancing Algorithmic Fairness via Selectively Fine-Tuning Biased Models with Contextual Synthetic Data
Queen Mary University of London(伦敦玛丽女王大学)
AIM-Fair提出利用上下文感知LLM引导扩散模型生成无偏合成数据,并通过选择性微调仅更新对偏差敏感的参数,从而在无人口统计标签条件下同时提升模型公平性与效用。
2025-03-07 cs.CV cs.LG
Constructing Fair Latent Space for Intersection of Fairness and Explainability
Seoul National University(首尔大学);NextQuantum;HodooAI Labs
本文提出一种构建公平潜在空间的新模块,通过解耦和重分配标签与敏感属性,在预训练生成模型上实现公平性与可解释性的兼顾,并提供反事实解释,经多种公平性指标验证有效。
2025-01-20 cs.AI cs.CV cs.LG
Towards Measuring Fairness in AI: the Casual Conversations Dataset
Facebook AI
本文介绍了一种新的数据集,以帮助研究人员评估他们的计算机视觉和音频模型在不同年龄、性别、明显肤色和环境照明条件下的准确性。我们的数据集由3,011个主题组成,包含超过45,000个视频,平均每人15个视频。这些视频是在美国多个州录制的,有不同年龄、性别和肤色的成年人。一个关键的特点是,每个主题同意参加他们的肖像被使用。此外,我们的年龄和性别注释由受试者自己提供。一组受过训练的注释者使用Fitzpatrick皮肤类型量表标记受试者的明显肤色。此外,还提供了在低环境照明下记录的视频的注释。作为衡量某些属性的预测鲁棒性的应用程序,我们对DeepFake Detection Challenge(DFDC)的前五名获奖者进行了全面的研究。实验评估表明,获胜的模型在某些特定人群上的性能较差,例如肤色较深的受试者,因此可能无法推广到所有人。此外,我们还评估了最先进的表观年龄和性别分类方法。我们的实验从公平对待不同背景的人的角度对这些模型进行了全面的分析。
2021-11-03 cs.AI cs.CV cs.LG
Towards Effective Discrimination Testing for Generative AI
Columbia University(哥伦比亚大学);New York University(纽约大学)
本文指出生成式AI公平性评估方法与监管目标之间存在显著差距,通过四个案例研究证明这种不一致会导致实际歧视性结果,并提出改进歧视测试的实用建议。
2024-12-30 cs.AI cs.CY cs.LG
50 Years of Test (Un)fairness: Lessons for Machine Learning
Google(谷歌)
关于什么是不公平和什么是公平的定量定义已经在多个学科中引入了50多年,包括教育,招聘和机器学习。我们追溯了在过去的半个世纪里,公平的概念是如何在教育和招聘的测试社区中被定义的,探索了不同公平定义出现的文化和社会背景。在某些情况下,公平性的早期定义与当前机器学习研究中的公平性定义相似或相同,并预示着当前的正式工作。在其他情况下,对公平意味着什么以及如何衡量公平的见解在很大程度上被忽视了。我们从几个方面比较了过去和现在的公平概念,包括公平标准、标准的重点(例如,测试、模型或其使用),公平性与个人、组和子组的关系,以及用于测量公平性的数学方法(例如,分类,回归)。这项工作指出了未来研究和测量(不)公平的方式,建立在我们对公平的现代理解的基础上,同时结合了过去的见解。
2018-12-03 cs.AI cs.LG
BiasGuard: Guardrailing Fairness in Machine Learning Production Systems
Ben Gurion University(本·古里安大学)
本文提出BiasGuard,利用CTGAN驱动的测试时增强在不重训模型的情况下修正已部署ML系统输出,实验显示公平性提升31%且准确率仅降0.09%。
2025-01-07 cs.AI cs.CY cs.LG
DECAF: Generating Fair Synthetic Data Using Causally-Aware Generative Networks
University of Cambridge(剑桥大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);The Alan Turing Institute(艾伦图灵研究所)
机器学习模型因在训练数据中反映不公平的偏见而受到批评。我们不是通过直接引入公平学习算法来解决这个问题,而是专注于生成公平的合成数据,这样任何下游学习器都是公平的。从不公平的数据生成公平的合成数据-同时保持对底层数据生成过程(DGP)的真实性-是不平凡的。在本文中,我们介绍了DECAF:一个基于GAN的公平合成数据生成器的表格数据。使用DECAF,我们将DGP显式地嵌入生成器的输入层中作为结构因果模型,允许每个变量以其因果父变量为条件进行重建。这个过程使推理时间去偏置,其中偏置的边缘可以被策略性地移除,以满足用户定义的公平性要求。DECAF框架是通用的,与几种流行的公平性定义兼容。在我们的实验中,我们表明,DECAF成功地消除了不必要的偏见,并与现有的方法相比,能够生成高质量的合成数据。此外,我们提供了理论保证的发电机的收敛性和下游模型的公平性。
2021-11-04 cs.LG stat.ML
The Extractive-Abstractive Axis: Measuring Content "Borrowing" in Generative Language Models
Megagon Labs(Megagon实验室)
针对大语言模型输出高度抽象化的特点及其带来的内容许可与归属问题,研究提出“抽取-抽象轴”用于生成式模型基准测试,指出需开发对应指标、数据集与标注指南,讨论范围限定于文本模态。
2023-07-20 cs.AI cs.CL cs.CY
A Unified Approach to Quantifying Algorithmic Unfairness: Measuring Individual & Group Unfairness via Inequality Indices
MPI-SWS(马克斯·普朗克软件系统研究所);ETH Zurich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
通过算法决策的歧视已经受到了相当大的关注。以前的工作主要集中在定义公平的条件,但没有定义令人满意的措施算法的不公平。在本文中,我们专注于以下问题:给定两个不公平的算法,我们应该如何确定这两个更不公平?我们的核心思想是使用经济学中现有的不平等指数来衡量算法的结果如何不平等地使人口中的不同个体或群体受益。我们的工作提供了一个合理的和一般的框架来比较和对比算法预测的(不)公平性。这种统一的方法使我们能够量化个人和群体层面的不公平。此外,我们的工作揭示了不同公平概念之间被忽视的权衡:使用我们提出的措施,算法的整体个人层面的不公平可以分解为组间和组内组件。早期的方法通常是为了解决群体之间的不公平,这可能是合理的法律或其他原因。然而,我们证明,最大限度地减少组间组件,事实上,增加组内,因此整体的不公平。我们的特点和说明我们的措施(不)公平和预测精度之间的权衡。
2018-07-02 cs.CY cs.LG stat.ML
Fairness Testing: Testing Software for Discrimination
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文定义了软件公平和歧视,并开发了一种基于测试的方法来衡量软件是否歧视以及有多少歧视,重点是歧视行为中的因果关系。在现代软件系统中发现了软件歧视的证据,这些软件系统建议刑事判决,授予金融产品的访问权,并确定谁可以参加促销活动。我们的方法,Themis,生成有效的测试套件来衡量歧视。给定一个描述有效系统输入的模式,Themis自动生成判别测试,不需要oracle。我们评估Themis的20个软件系统,其中12个来自以前的工作,明确侧重于避免歧视。我们发现,(1)Themis在发现软件歧视方面是有效的,(2)从算法中消除歧视的最先进技术在许多情况下都失败了,有时歧视高达98%的输入子域,(3)Themis优化在产生有效的测试套件以测量歧视方面是有效的,(4)Themis在表现出更多辨别力的系统上更有效。因此,我们表明,公平性测试是一个重要的方面,软件开发周期的域可能的歧视,并提供初步的工具来衡量软件歧视。
2017-09-11 cs.AI cs.CY cs.DB
Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心(hessian.AI));German Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));LAION;Huggingface(Hugging Face)
针对文本到图像生成模型因海量网络数据而继承并强化社会偏见的问题,本文提出 Fair Diffusion,在模型部署后按人类指令任意调节群体比例,无需过滤数据或额外训练。
2023-07-17 cs.AI cs.CV cs.CY