Minimax Optimal Fair Classification with Bounded Demographic Disparity
University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究有限样本下具有人口统计差异约束的公平二分类问题，提出公平性感知超额风险度量并推导其最小最大下界，进而设计达到该下界的 FairBayes-DDP+ 方法，实验验证其能有效控制差异并具有更优的公平性-准确性权衡。
2024-03-27 cs.CY cs.LG math.ST
When Post-Processing Fairness Constraints Help and When They Harm: Evidence from Eight Cross-Domain Evaluations
本研究提出FAPE框架，通过八项跨领域评估发现后处理公平性约束在高差异场景下有效但可能恶化接近公平场景，主张采用基线差异筛查与持续监控替代单一部署时审计。
2026-10-14 cs.CY cs.LG
Fairness through Equality of Effort
University of Arkansas（阿肯色大学）
公平机器学习在机器学习领域受到越来越多的关注。公平学习领域的研究人员已经开发出了相关性或基于关联的测量方法，如人口差异、虐待差异、校准;基于因果关系的测量方法，如总效应、直接和间接歧视、反事实公平;以及公平概念，如机会均等和机会均等，这些概念既考虑了训练数据中的决策，也考虑了预测模型做出的决策。在本文中，我们开发了一个新的基于cabinet的公平表示法，称为平等的努力。与现有的公平概念主要侧重于发现两组个体之间决策的差异不同，拟议的努力平等标记法有助于回答这样的问题：合法变量应该改变到什么程度才能使特定个人达到一定的结果水平，并解决了人们担心的问题：为保护群体的个人实现相同的结果水平所做的努力是否与来自受保护群体的个人的努力相同不受保护的群体不同。我们开发的算法，以确定是否一个人或一组个人的歧视方面的平等的努力。我们还开发了一种基于优化的方法，用于消除歧视的影响，从数据中，如果歧视检测。我们进行实证评估，比较公平的努力和现有的公平概念，并显示我们所提出的算法的有效性。
2019-11-11 cs.AI cs.CY
Fairness Under Feature Exemptions: Counterfactual and Observational Measures
Carnegie Mellon University（卡内基梅隆大学）
随着ML在高度重要的领域中的使用越来越多，量化关于受保护属性的差异，例如，性别、种族等等，很重要.虽然量化差异是必不可少的，但有时职业的需要可能需要使用某些关键特征，这些特征可能需要豁免任何可以解释的差异。例如，在一个示例中，在为安全关键应用雇用软件工程师时，编码技能可能会被强烈地权衡，而姓名、邮政编码或推荐信可能仅在它们不增加差异的程度上被使用。在这项工作中，我们提出了一个信息理论分解的总差距（反事实公平的启发量化）成两个组成部分：一个非豁免组件，量化的一部分，不能占的关键功能，和豁免组件，量化剩余的差距。这种分解允许人们检查差异是否纯粹是由于关键特性引起的（灵感来自不同影响法律的业务必要性辩护），并且如果需要，还可以选择性地删除非豁免组件。我们到达这个分解通过规范的例子，导致一组理想的属性（公理），一个措施的非豁免的差距应该满足。我们提出的措施满足了所有这些要求。我们的量化连接了因果关系、辛普森悖论和信息论的部分信息分解。我们还得到了一个不可能的结果，表明没有观测措施可以满足所有的理想性质，导致我们放松我们的目标，并检查观测措施，满足其中的一些。我们进行案例研究，以显示如何可以审计/训练模型，同时减少非豁免的差距。
2021-08-06 cs.CR cs.CY cs.IT
Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning
University of Maryland（马里兰大学）；MPI-SWS（马克斯·普朗克软件系统研究所）
深度神经网络（DNN）越来越多地用于现实世界的应用（例如面部识别）。这导致了人们对这些模型所做决定的公平性的担忧。人们提出了各种公平的概念和措施，以确保决策制度不会不成比例地损害（或有利于）人口中的特定亚群体。在本文中，我们认为，传统的公平性的概念，只基于模型的输出是不够的，当模型容易受到对抗攻击。我们认为，在某些情况下，攻击者可能更容易针对特定的子组，从而导致\textit{robustness bias}的形式。我们证明了测量鲁棒性偏差对DNN来说是一项具有挑战性的任务，并提出了两种方法来测量这种形式的偏差。然后，我们对最先进的神经网络在常用的现实世界数据集（如CIFAR-10，CIFAR-100，Adience和UTKFace）上进行了实证研究，并表明在几乎所有情况下，都存在鲁棒性较差的子组（在某些情况下，基于种族，性别等敏感属性），因此处于不利地位。我们认为，这种偏见的出现是由于数据分布和学习的决策边界在DNN的情况下，高度复杂的性质，从而使减轻这种偏见的一个不平凡的任务。我们的研究结果表明，鲁棒性偏差是审计依赖DNN进行决策的真实世界系统时需要考虑的一个重要标准。代码重现我们所有的结果可以在这里找到：\url{https://github.com/nvedant07/Fairness-Through-Robustness}
2021-01-21 cs.CY cs.LG
Pareto-Guided Teacher Alignment for Fair Personalized Text Generation
Purdue University（普渡大学）
提出帕累托引导的教师对齐框架，通过修订候选生成、对感知可行性门控、帕累托候选选择和偏好优化，在减少人口统计差异的同时保持个性化保真度，实验表明公平缓解效果依赖于目标且跨域迁移不一致。
2026-06-08 cs.AI cs.CL cs.CY
Towards Return Parity in Markov Decision Processes
University of Virginia（弗吉尼亚大学）；Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
机器学习模型在高风险领域做出的决策可能会随着时间的推移产生持久的影响。然而，标准公平准则在时域上的静态设置中的幼稚应用可能导致延迟和不利影响。为了理解性能差异的动态，我们研究了马尔可夫决策过程（MDP）中的公平性问题。具体来说，我们提出了回报平价，一个公平的概念，需要来自不同人口群体的MDP共享相同的状态和动作空间，以实现大致相同的预期时间折扣奖励。我们首先提供了一个分解定理的回报差距，它分解的回报差距的任何两个共享相同的状态和动作空间的MDP到组明智的奖励函数之间的距离，组策略的差异，和状态访问分布之间的差异引起的组策略。出于我们的分解定理，我们提出了算法，以减轻回报差距，通过学习一个共享的组策略与状态访问分布对齐使用积分概率度量。我们进行实验来证实我们的结果，表明该算法可以成功地关闭差距，同时保持两个现实世界的推荐系统基准数据集的政策的性能。
2022-02-25 cs.AI cs.CY cs.LG
The Cost of Local and Global Fairness in Federated Learning
University of Notre Dame（圣母大学）
本文针对多分类联邦学习，提出一个同时兼顾全局与局部公平性的后处理框架，通过从贝叶斯最优评分函数导出公平预测器，在最小化准确率损失的同时，于准确率-公平性权衡及计算通信成本上优于现有SOTA方法。
2025-03-27 cs.AI cs.CY cs.LG
Bayes-Optimal Fair Classification with Linear Disparity Constraints via Pre-, In-, and Post-processing
Department of Statistics and Data Science, Xiamen University（厦门大学统计与数据科学系）；Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学统计与数据科学系）；Dept of Statistics and Data Science, University of California, Los Angeles（加州大学洛杉矶分校统计与数据科学系）
本文提出基于线性与双线性差异度量的贝叶斯最优公平分类理论，并据此设计预处理、处理中和后处理三类方法，在直接控制群体差异的同时实现接近最优的公平性-准确性权衡。
2025-08-27 cs.CY cs.LG stat.ML
PC-Fairness: A Unified Framework for Measuring Causality-based Fairness
University of Arkansas（阿肯色大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
公平机器学习最近的一个趋势是将公平性定义为基于因果关系的概念，这些概念涉及受保护的属性和决策之间的因果关系。然而，所有基于可识别性的公平概念的一个共同挑战是可识别性，即，它们是否可以从观测数据中唯一地测量，这是将这些概念应用于现实世界情况的关键障碍。在本文中，我们开发了一个框架，用于测量不同的基于cabetity的公平性。我们提出了一个统一的定义，涵盖了大多数以前的基于容差的公平概念，即路径特定的反事实公平（PC公平）。在此基础上，我们提出了一个一般的方法，在约束优化问题的形式为边界的路径特定的反事实的公平性在所有不可识别的情况下。在人工数据集和真实数据集上的实验表明了该方法的正确性和有效性。
2019-10-20 cs.AI cs.CY cs.LG
Privacy at a Price: Exploring its Dual Impact on AI Fairness
Commonwealth Scientific and Industrial Research Organisation（英联邦科学与工业研究组织）
该研究探究差分隐私对AI公平性的非单调影响，发现隐私增强初期准确性差异增大、高隐私水平更高时差异减小，且梯度裁剪可缓解DP噪声对公平性的负面影响。
2024-04-15 cs.AI cs.CR cs.CY
User Fairness in Recommender Systems
推荐系统中最近的工作集中在推荐的多样性作为推荐质量的一个重要方面。在这项工作中，我们认为，后处理算法的目的只是提高多样性的建议导致歧视的用户之间。我们引入了用户公平性的概念，这在文献中被忽视了，到目前为止，并提出了措施来量化它。我们的实验上的两个多样化算法表明，增加聚合多样性的结果在用户之间的差距增加。
2018-07-17 cs.CY cs.IR
Estimating and Implementing Conventional Fairness Metrics With Probabilistic Protected Features
Stanford University（斯坦福大学）；Barnard College（巴纳德学院）；Massachusetts Institute of Technology（麻省理工学院）；University of Chicago（芝加哥大学）
针对受保护属性难以获取的问题，提出利用概率估计的受保护属性计算公平性指标紧边界、训练低违规模型的方法，在投票数据上验证了其边界更紧、公平性-准确率权衡更优的效果。
2023-10-02 cs.CY cs.LG stat.ML
On the Fairness of Time-Critical Influence Maximization in Social Networks
影响力最大化已经在广泛的现实世界问题中得到应用，例如，在线社交网络中的产品的病毒式营销，以及诸如职位空缺广告和健康相关信息的有价值信息的信息传播。虽然现有的算法技术通常旨在最大化受影响的总人数，但人口通常包括几个社会显著群体，例如，基于性别或种族。因此，这些技术可能导致不同群体在接收重要信息方面的差异。此外，在许多此类应用中，影响力的传播对时间至关重要，即，只有在最后期限之前受到影响才是有益的。正如我们在本文中所展示的那样，信息的时间关键性可能会进一步加剧不同群体之间的影响力差距。这种差异是由旨在最大化总体影响力的算法引入的，可能会产生深远的影响，影响人们的繁荣，并使少数群体处于非常不利的地位。在这项工作中，我们提出了一个概念，在时间关键的影响力最大化组公平。我们引入代理目标函数来解决公平性下的影响力最大化问题。通过利用我们的目标的子模块化结构，我们提供了计算效率高的算法，保证在传播过程中有效地执行公平。我们通过合成和真实世界的实验证明了我们的方法的有效性。
2021-11-03 cs.CY cs.SI
Measuring Non-Expert Comprehension of Machine Learning Fairness Metrics
University of Maryland（马里兰大学）；ICSI（国际计算机科学研究所）
机器学习中的偏见已经在几个领域表现出了不公正，例如医学，招聘和刑事司法。作为回应，计算机科学家们开发了无数的公平定义，以纠正现场算法中的这种偏见。虽然有些定义是基于既定的法律和道德规范，但其他定义在很大程度上是数学的。目前还不清楚公众是否同意这些公平的定义，也许更重要的是，他们是否理解这些定义。我们采取初步措施，通过解决这个问题来弥合ML研究人员和公众之间的差距：外行观众是否理解ML公平的基本定义？我们开发了一个度量标准来衡量对三个定义的理解-人口均等，平等机会和均等几率。我们使用在线调查来评估这个指标，并调查理解和情感，人口统计学和定义本身之间的关系。
2020-07-02 cs.AI cs.CY cs.LG
Racial Disparity in Natural Language Processing: A Case Study of Social Media African-American English
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们强调了算法公平性的一个重要前沿：当应用于来自不同社会群体的作者的语言时，自然语言处理算法的质量差异。例如，目前的系统有时对女性和少数民族语言的分析比对白人和男性的分析更差。我们进行了实证分析的种族差异的语言识别写在非洲裔美国人的英语推文，并讨论在NLP的差异的影响。
2017-06-30 cs.CL cs.CY
Counterfactual Fair Opportunity: Measuring Decision Model Fairness with Counterfactual Reasoning
Polytechnic University of Bari（巴里理工大学）；University of Bari（巴里大学）
越来越多的人工智能和机器学习模型的应用带来了不公平行为的潜在风险，根据最近的法规，已经引起了研究界的关注。一些研究人员专注于寻求新的公平定义或开发方法来识别有偏见的预测。然而，没有人试图利用反事实空间来达到这一目的。在这个方向上，在这项工作中提出的方法，旨在揭示不公平的模型行为，使用反事实推理的情况下，在无意识设置的公平。定义了机会平等的反事实版本--反事实公平机会，并引入了两种新的度量方法来分析反事实样本中的敏感信息。在三个不同数据集上的实验结果显示了我们的方法和指标的有效性，揭示了经典机器学习和去偏置模型的不公平行为。
2023-02-16 cs.AI cs.CY cs.LG
LiFT: A Scalable Framework for Measuring Fairness in ML Applications
LinkedIn Corporation（领英公司）；Amazon AWS AI（亚马逊云科技人工智能）
许多互联网应用程序由机器学习模型提供支持，这些模型通常在通过隐式/显式用户反馈信号或人类判断获得的标记数据集上进行训练。由于在生成此类数据集时可能存在社会偏见，因此训练的模型可能存在偏见，从而导致对弱势群体的潜在歧视和伤害。出于理解和解决网络规模ML系统中的算法偏见的需要以及现有公平性工具包的局限性，我们提出了LinkedIn公平性工具包（LiFT），这是一个用于可扩展计算公平性度量的框架，作为大型ML系统的一部分。我们强调部署设置的关键要求，并提出了我们的公平性测量系统的设计。我们讨论了在实践中纳入公平工具所遇到的挑战，以及在LinkedIn部署过程中吸取的经验教训。最后，我们根据实际经验提出了一些开放性问题。
2020-08-14 cs.AI cs.CY cs.LG
The FairCeptron: A Framework for Measuring Human Perceptions of Algorithmic Fairness
RWTH Aachen University（亚琛工业大学）；GESIS - Leibniz Institute for the Social Sciences（GESIS - 莱布尼茨社会科学研究所）
算法公平性的测量通常不考虑人类对公平性的看法，这种看法在不同的社会人口统计学和利益相关者之间可能存在很大差异。FairCeptron框架是一种研究算法决策（如排名或分类）中公平性感知的方法。它支持（i）研究人类对公平的感知，以及（ii）将这些人类感知与算法公平性的度量进行比较。该框架包括公平场景生成、公平感知获取和公平感知分析。我们证明了FairCeptron框架，将其应用到一个假设的大学录取的情况下，我们收集人类的公平观念，在少数民族的存在。FairCeptron框架的实现是公开可用的，并且它可以很容易地适应于研究其他应用环境中的算法公平性的感知。我们希望我们的工作为提升人类公平感知研究在设计算法决策系统过程中的作用铺平了道路。
2021-02-08 cs.AI cs.CY
Measuring Fairness of Text Classifiers via Prediction Sensitivity
Harvard University（哈佛大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
随着语言处理应用的快速增长，公平性已成为数据驱动解决方案中的重要考虑因素。虽然在最近的文献中已经探讨了各种公平性的定义，但对于哪些指标最准确地反映了系统的公平性缺乏共识。在这项工作中，我们提出了一个新的公式：累积预测敏感性，它衡量公平性的基础上，机器学习模型的预测敏感性输入特征的扰动。该度量试图量化单个预测对受保护属性的依赖程度，其中受保护属性对受保护组中个体的成员身份状态进行编码。我们表明，该指标可以在理论上与一个特定的概念，组公平性（统计奇偶性）和个人的公平性。它也与人类对公平的感知密切相关。我们在两个文本分类数据集上进行实验：JIGSAW TOXICITY和BIAS IN BIOS，并评估指标和手动注释之间的相关性，以确定模型是否产生了公平的结果。我们观察到，建议的公平性度量的基础上预测灵敏度是统计上显着更相关的人类注释比现有的反事实的公平性度量。
2022-03-16 cs.CY cs.LG
Impact of Fairness Regulations on Institutions' Policies and Population Qualifications
Tehran Institute of Advanced Studies（德黑兰高等研究院）；The Chinese University of Hong Kong（香港中文大学）
该研究探讨公平性监管中歧视惩罚对选拔差异的作用，分析个体资质随政策演变时惩罚可能阻碍公平自然实现的场景，并提出抵消不良结果、保障公平的条件。
2024-05-19 cs.AI cs.CY cs.LG
Measuring a Texts Fairness Dimensions Using Machine Learning Based on Social Psychological Factors
公平是一项主要的社会价值观，在世界各地的文明中都可以看到。这一点的一个表现是社会协议，往往在文本中描述，如合同。然而，尽管这样的普遍性，描述社会行为的文本的公平性度量仍然需要。为了解决这个问题，我们后退一步，根据第一原则来考虑这个问题。我们利用社会心理学文献来确定人类在进行公平评估时使用的主要因素，而不是使用规则或模板。然后，我们试图数字化这些使用词嵌入到一个多维的句子级公平的看法向量，作为这些公平的看法的近似。该方法利用了词嵌入中的亲社会偏见，我们获得了F1= 81.0。基于所述公平性近似向量使用PCA和ML的第二种方法产生86.2的F1分数。我们详细介绍了改进，可以在该方法中，将投影的句子嵌入的子空间表示的公平性。
2021-12-15 cs.AI cs.CL cs.CY
Measuring Model-Induced Discrimination via Efficient Fairness Approximation
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Department of Mathematics, National University of Singapore（新加坡国立大学数学系）
提出基于流形视角的公平度量HFM，利用集合间距离评估分类器歧视，并设计近似算法ApproxDist提高计算效率，实验表明其兼顾个体与群体公平。
2026-06-23 cs.CY cs.LG
Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；TU Berlin（柏林工业大学）
随着人们对自然语言处理资源（如BERT）中有偏模式的认识不断提高，许多度量标准开始量化“偏”和“公平”。但是，比较不同指标的结果和用这些指标评估的作品仍然很困难，如果不是完全不可能的话。我们调查了现有的文献公平性指标的预训练语言模型和实验评估兼容性，包括在语言模型的偏见，在他们的下游任务。我们采用传统的文献调查和相关分析相结合的方法，并进行了实证评估。我们发现，许多指标是不兼容的，高度依赖于（i）模板，（ii）属性和目标种子和（iii）嵌入的选择。这些结果表明，公平性或偏见评估仍然具有挑战性的上下文语言模型，如果不是至少高度主观。为了改善未来的比较和公平性评估，我们建议避免基于嵌入的度量，并专注于下游任务中的公平性评估。
2021-12-14 cs.CL cs.CY cs.LG
Model-Based Approach for Measuring the Fairness in ASR
Facebook AI
当自动语音识别（ASR）系统对所有人群的表现不一样时，公平性问题就会出现。在ASR的任何公平性测量研究中，如何控制滋扰因素，如何处理说话者之间未观察到的异质性，以及如何追踪不同亚组之间的任何单词错误率（WER）差距的来源等开放性问题尤为重要-如果没有适当地解释，将得出错误的结论。在本文中，我们引入了混合效应泊松回归，以更好地衡量和解释任何WER之间的差异感兴趣的亚组。特别是，所提出的方法可以有效地解决上述三个问题，是非常灵活的实际差异分析使用。我们证明了所提出的基于模型的方法在合成和真实世界的语音数据的有效性。
2021-09-19 cs.CY cs.LG stat.ML
Measuring and signing fairness as performance under multiple stakeholder distributions
Meta AI
随着学习机器对人类生活决策的影响越来越大，分析其公平性成为一个至关重要的主题。然而，我们衡量学习系统公平性的最佳工具是严格的公平性指标，这些指标被封装为数学上的一行代码，为参与预测任务的利益相关者提供有限的权力，并且当我们施加过度的压力来优化它们时，它们很容易被操纵。为了推进这些问题，我们建议将重点从塑造公平性指标转移到策划这些计算的例子的分布。特别是，我们建议每一个关于公平性的声明都应该立即加上这样的标语：“在什么样的例子下公平，由谁收集？".通过强调与领域概括文献的联系，我们建议将公平性衡量为系统在多重压力测试下概括的能力--具有社会相关性的示例的分布。我们鼓励每个利益相关者策划一个或多个压力测试，其中包含反映他们（可能相互冲突）利益的例子。通过低于或超过预定义的度量值，机器通过或未通过每次压力测试。测试结果让所有利益相关者参与讨论如何改进学习系统，并根据上下文和可解释的数据提供灵活的公平性评估。我们提供了完整的压力测试实施指南，说明了这个框架的优点和缺点，并介绍了一个加密方案，使一定程度的预测问责制系统提供商。
2022-07-20 cs.CY cs.LG stat.ML
The Road to Explainability is Paved with Bias: Measuring the Fairness of Explanations
Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Unity Health Toronto（多伦多团结健康医院）
医疗保健等安全关键环境中的机器学习模型通常是黑盒：它们包含大量对用户不透明的参数。事后可解释性方法，其中一个简单的，人类可解释的模型模仿这些黑盒模型的行为，经常被提出来帮助用户信任模型预测。在这项工作中，我们审计质量的不同的保护亚组使用真实的数据，从四个设置在金融，医疗保健，大学招生和美国司法系统的解释。在两种不同的黑盒模型架构和四种流行的可解释性方法中，我们发现解释模型的近似质量（也称为保真度）在子组之间存在显着差异。我们还证明，配对的可解释性方法与强大的机器学习的最新进展，可以提高解释的公平性，在某些设置。然而，我们强调了向用户传达非零保真度差距细节的重要性，因为单个解决方案可能不存在于所有设置中。最后，我们讨论了不公平的解释模型作为一个具有挑战性的和欠研究的问题所面临的机器学习社区的影响。
2022-06-02 cs.AI cs.CY cs.LG
Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach
Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）；University of Padova（帕多瓦大学）；Istituto di Scienza e Tecnologie dell’Informazione（信息科学与技术研究所）；Consiglio Nazionale delle Ricerche（意大利国家研究委员会）
本文提出将敏感属性不可知下的群体公平衡量转化为量化问题，借助群体流行率估计方法在分布偏移下稳健评估人口统计均等，并避免推断个体敏感属性。
2023-03-27 cs.CY cs.LG
Equal Confusion Fairness: Measuring Group-Based Disparities in Automated Decision Systems
University of Houston（休斯顿大学）
本文提出 Equal Confusion Fairness 测试和混淆对等误差，用于检测和量化自动决策系统中的群体公平性，并通过 COMPAS 案例验证方法有效性。
2023-07-02 cs.CY cs.LG
On Measuring Fairness in Generative Models
Singapore University of Technology Design (SUTD)（新加坡科技设计大学）
本文首次深入研究生成模型公平性度量问题，发现现有框架存在显著度量误差，并提出分类器误差感知度量框架CLEAM，显著降低误差并揭示主流文本到图像生成器和GAN中的严重偏见。
2023-10-30 cs.CV cs.CY cs.LG
Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality
Massachusetts Institute of Technology（麻省理工学院）
研究通过用户实验探讨了人工智能系统中公平性感知的影响因素，发现公平性判断受结果和对差异原因的信念共同影响。
2026-03-06 cs.CY cs.HC
Measuring, Interpreting, and Improving Fairness of Algorithms using Causal Inference and Randomized Experiments
University of Southern California（南加州大学）
本文提出一个与算法无关的框架MIIF，利用因果推断和随机实验测量算法偏差，并通过可解释模型解释黑盒算法，以改进算法公平性，尤其适用于电子商务和定向广告等实际应用。
2023-09-04 cs.CY cs.LG stat.ME
Identifying, measuring, and mitigating individual unfairness for supervised learning models and application to credit risk models
Microsoft（微软）
在过去的几年里，人工智能（AI）已经引起了包括金融服务（FS）在内的各个行业的关注。人工智能通过提高生产力和改善风险管理对金融服务产生了积极影响。虽然人工智能可以提供有效的解决方案，但它有可能带来意想不到的后果。其中一个后果是与人工智能相关的不公平和随之而来的与公平相关的伤害的明显影响。这些与公平相关的损害可能涉及对个人的差别待遇;例如，不公平地拒绝向某些个人或群体提供贷款。在本文中，我们专注于识别和减轻个人不公平，并利用该领域最近发布的一些技术，特别是适用于信用裁决用例。我们还调查了实现个人公平的技术在多大程度上有效地实现了群体公平。我们在这项工作中的主要贡献是功能化的两步训练过程，其中包括学习一个公平的相似性度量从一组意义上使用一小部分的原始数据和训练一个单独的“公平”分类器使用其余的数据，其中敏感的功能被排除在外。这种两步技术的关键特征与其灵活性有关，即，在第一步骤中获得的公平度量可以在第二步骤中与任何其它单独的公平算法一起使用。此外，我们开发了第二个度量标准（与公平相似性度量标准不同）来确定模型对待相似个体的公平程度。我们使用这个指标来比较一个“公平”模型与其基线模型在各自的公平值。最后，一些实验结果相应的个人不公平缓解技术。
2022-11-11 cs.AI cs.CY cs.LG
Towards measuring fairness in speech recognition: Fair-Speech dataset
Meta AI
本文提出了 Fair-Speech 数据集，旨在评估语音识别模型在不同人口统计信息上的公平性，包含约 26.5K 条语音记录，并提供了多种 ASR 基准。
2024-08-22 cs.AI cs.CY cs.SD
Fairness Hub Technical Briefs: AUC Gap
本文提出用 AUC Gap 衡量不同子群体间的模型性能差异，为多团队教育 AI/ML 应用提供算法无关、易计算的公平性基准与分析依据。
2023-09-25 cs.CY cs.LG
Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs
Stanford University（斯坦福大学）；Cornell Tech（康奈尔科技）
本文提出在特定语境下对群体进行差异感知对算法公平性至关重要，构建了包含8种场景1.6万问题的基准套件，并在10个模型上验证了差异感知是公平性的独立维度，现有偏见缓解策略可能适得其反。
2025-08-11 cs.CL cs.CY
To which reference class do you belong? Measuring racial fairness of reference classes with normative modeling
Radboud University Medical Center（拉德堡德大学医学中心）；University of Tuebingen（蒂宾根大学）；Harvard Medical School（哈佛医学院）
本文通过规范建模评估脑影像参照模型的种族公平性，发现纳入种族并未消除偏差，并指出偏差可能源于人口统计学不匹配，呼吁获取更具代表性的样本。
2025-03-11 cs.CV cs.CY cs.LG
Fairness Index Measures to Evaluate Bias in Biometric Recognition
Idiap Research Institute（Idiap研究所）；University of Lausanne（洛桑大学）
本文提出基于分数分布统计特征的多种公平性指数，用于评估生物识别系统的人口统计偏差，并引入非线性加权策略以缓解数据集不平衡影响，适用于多种生物识别模态。
2023-06-19 cs.CV cs.CY cs.LG
Fairness Testing: Testing Software for Discrimination
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文定义了软件公平和歧视，并开发了一种基于测试的方法来衡量软件是否歧视以及有多少歧视，重点是歧视行为中的因果关系。在现代软件系统中发现了软件歧视的证据，这些软件系统建议刑事判决，授予金融产品的访问权，并确定谁可以参加促销活动。我们的方法，Themis，生成有效的测试套件来衡量歧视。给定一个描述有效系统输入的模式，Themis自动生成判别测试，不需要oracle。我们评估Themis的20个软件系统，其中12个来自以前的工作，明确侧重于避免歧视。我们发现，（1）Themis在发现软件歧视方面是有效的，（2）从算法中消除歧视的最先进技术在许多情况下都失败了，有时歧视高达98%的输入子域，（3）Themis优化在产生有效的测试套件以测量歧视方面是有效的，（4）Themis在表现出更多辨别力的系统上更有效。因此，我们表明，公平性测试是一个重要的方面，软件开发周期的域可能的歧视，并提供初步的工具来衡量软件歧视。
2017-09-11 cs.AI cs.CY cs.DB
Investigating Gender Fairness in Machine Learning-driven Personalized Care for Chronic Pain
Eindhoven University of Technology（埃因霍温理工大学）；University of Michigan（密歇根大学）
本文研究RL个性化慢性疼痛护理建议中的性别公平性，发现特征选择会影响公平性，并提出NestedRecommendation以自适应选择兼顾效用与公平的特征且利用临床专家知识加速优化。
2024-06-14 cs.CY cs.LG
On the (In)Compatibility between Group Fairness and Individual Fairness
University of California Davis（加州大学戴维斯分校）；Center of Data Science and Artificial Intelligence Research（数据科学与人工智能研究中心）
本文研究最优统计均等与个体公平的兼容性条件，在冲突时通过 Pareto 前沿刻画二者最优权衡，并给出后处理模型的个体公平保证，为实践者提供兼顾统计均等 Pareto 最优性与个体公平约束的方法。
2024-01-13 cs.CY cs.LG math.ST
Measuring the right thing: justifying metrics in AI impact assessments
本文提出一种两步方法，先阐明伦理与社会价值观念，再据此匹配具体指标，从而为AI影响评估中的指标选择提供正当性，并以公平指标为例加以说明。
2025-04-07 cs.AI cs.CY cs.ET
