CoRe-Fed: Bridging Collaborative and Representation Fairness via Federated Embedding Distillation
CoRe-Fed通过联邦嵌入蒸馏实现协同与表示公平性，通过嵌入级正则化和公平性感知聚合策略提升模型性能和公平性。
2026-01-31 cs.LG
Towards Equalised Odds as Fairness Metric in Academic Performance Prediction
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）
公平感知机器学习的文献知道大量不同的公平概念。然而，众所周知，不可能满足所有这些要求，因为某些概念相互矛盾。在本文中，我们仔细研究了学习成绩预测（APP）系统，并试图验证哪些公平概念最适合这项任务。为此，我们扫描最近的文献提出的指导方针，以公平的概念，使用和应用这些指导方针到APP。我们的研究结果表明，均衡的赔率为APP最合适的概念，基于APP的所见即所得的世界观，以及潜在的长期改善人口。
2022-09-29 cs.AI cs.CY cs.LG
Survey on Fairness Notions and Related Tensions
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；IPP（巴黎综合理工学院联盟）
本文综述了机器学习中的公平性概念及其与隐私、准确性的张力，并分类探讨了公平-准确性权衡的四种解决方法，通过实验验证了公平性与准确性的关系。
2023-06-19 cs.AI cs.CY cs.LG
Long-Term Fairness Inquiries and Pursuits in Machine Learning: A Survey of Notions, Methods, and Challenges
Iowa State University（爱荷华州立大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对机器学习静态公平性方法难以应对长期决策公平性、反馈循环与环境交互带来的公平偏离问题，本文综述长期公平性研究文献，提出分类体系，梳理挑战并展望未来方向。
2025-07-29 cs.AI cs.CY cs.LG
A Notion of Individual Fairness for Clustering
University of Washington（华盛顿大学）；Rutgers University（罗格斯大学）；Google（谷歌）
在公平机器学习中，特别是在公平分类中，一个常见的区别是群体公平性和个体公平性。在聚类的背景下，群体公平性近年来得到了广泛的研究，然而，聚类的个体公平性几乎没有被探索。在本文中，我们提出了一个自然的概念，个人的公平聚类。我们的概念要求每个数据点，平均而言，比任何其他集群中的点更接近自己集群中的点。我们研究了几个问题，我们提出的个人公平的概念。在消极的一面，我们表明，决定一个给定的数据集是否允许这样一个单独的公平聚类一般是NP-难的。在积极的一面，对于一个数据集躺在真正的线的特殊情况下，我们提出了一个有效的动态规划方法来找到一个单独的公平聚类。对于一般的数据集，我们调查的目的是尽量减少个人违反公平的数量，并比较它们的标准聚类方法对真实的数据集。
2020-06-08 cs.LG stat.ML
Efficient Algorithms For Fair Clustering with a New Fairness Notion
Indian Institute of Technology (IIT) Ropar（印度理工学院罗巴尔分校）；Indian Institute of Technology (IIT) Hyderabad（印度理工学院海得拉巴分校）
我们重新审视公平聚类的问题，首先由Chierichetti等人提出，这要求每个受保护属性在每个簇中具有近似相等的表示;即，平衡属性。现有的解决方案，公平聚类是不可扩展的，或者没有实现聚类目标和公平性之间的最佳权衡。在本文中，我们提出了一个新的公平性的概念，我们称之为$tau$ -公平的公平性，严格概括的平衡属性，并使细粒度的效率与公平性权衡。此外，我们表明，简单的贪婪轮循算法有效地实现这种权衡。在更一般的多值保护属性的情况下，我们严格地分析了算法的理论性质。我们的实验结果表明，所提出的解决方案优于所有国家的最先进的算法，工作得非常好，即使是大量的集群。
2022-06-28 cs.AI cs.CY cs.LG
Bridging Machine Learning and Mechanism Design towards Algorithmic Fairness
CU Boulder（科罗拉多大学博尔德分校）；Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；IIT Kharagpur（印度理工学院克勒格布尔分校）；Cornell University（康奈尔大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
决策系统越来越多地协调我们的世界：因此，如何干预算法组件以建立公平和公正的系统是一个至关重要的问题;一个因公平和歧视的上下文依赖性而变得非常复杂的问题。现代决策系统涉及向人们分配资源或信息（例如，学校选择，广告）将机器学习的预测纳入其管道中，引起对潜在战略行为或限制分配的担忧，这些担忧通常在机制设计的背景下解决。虽然机器学习和机制设计都开发了解决公平和公正问题的框架，但在一些复杂的决策系统中，这两个框架都是不够的。在本文中，我们发展的立场，建立公平的决策系统需要克服这些限制，我们认为，每个领域所固有的。我们的最终目标是建立一个包容性的框架，内聚桥梁的机制设计和机器学习的各个框架。我们开始为实现这一目标奠定基础，比较每个学科对公平决策的看法，梳理出每个领域已经传授的经验教训，并强调需要这些学科之间强有力合作的应用领域。
2021-03-04 cs.GT cs.LG
Non-Comparative Fairness for Human-Auditing and Its Relation to Traditional Fairness Notions
Missouri University of Science and Technology（密苏里科技大学）
基于比较原则的传统算法公平性概念的基于机器学习的服务（MLS）中的偏差评估实际上是困难的，使得有必要依赖于人类审计员反馈。然而，尽管在各种比较公平的概念上接受了严格的培训，但众所周知，人类审计师在实践中对公平概念的各个方面都不同意，因此很难收集可靠的反馈。本文通过提出一种基于非比较正义原则的新的公平概念，为算法公平性领域提供了一个范式转换。与传统的公平概念相反，在传统的公平概念中，两个人/群体的结果进行比较，我们提出的概念比较MLS的结果与每个输入的期望结果。这个期望的结果自然描述了人类审计员的期望，并且可以很容易地用于在人群审计平台上评估MLS。我们表明，任何MLS可以被认为是公平的，从比较公平的角度来看（无论是在个人公平性，统计平价，平等机会或校准），如果它是非相对公平的一个公平的审计师。我们还表明，反之亦然的情况下，个人公平。鉴于这种评估依赖于审计师的可信度，我们还提出了一种方法，以确定公平和可靠的审计师，估计他们的偏见相对于一组给定的敏感属性，以及量化的不确定性在一个给定的MLS内的偏见估计。此外，所有上述结果也验证了COMPAS，德国信贷和成人普查收入数据集。
2021-06-29 cs.AI cs.HC cs.LG
Comparing Fairness Criteria Based on Social Outcome
The University of Tokyo（东京大学）；Santa Fe Institute（圣塔菲研究所）
算法决策过程中的公平性正引起越来越多的关注。当一个算法被应用于与人类相关的决策时，一个仅仅优化其预测能力的估计器可以在现有数据上学习偏差，这激发了我们在机器学习中的公平性概念。虽然文献中研究了几种不同的概念，但很少研究这些概念如何影响个人。我们证明了这样的比较引起的几个政策的公知的公平标准，包括色盲（CB），人口平价（DP），和均衡的赔率（EO）。我们表明，EO是唯一的标准，其中消除组水平的差距。对这些政策的社会福利和差距进行了实证研究。
2018-06-13 cs.AI cs.LG stat.ML
Fair Representation: Guaranteeing Approximate Multiple Group Fairness for Unknown Tasks
National University of Singapore（新加坡国立大学）
受数据用于不同预测任务的场景的启发，我们研究了公平表示是否可以用于保证未知任务的公平性和同时用于多个公平概念。我们认为七组公平的概念，涵盖独立，分离和校准的概念。在公平不可能结果的背景下，我们探讨近似公平。我们证明，虽然公平表示可能无法保证所有预测任务的公平性，但它确实保证了一个重要的任务子集的公平性-表示是有区别的任务。具体而言，所有七个组公平性概念是线性控制的公平性和歧视性的表示。当不同的公平概念之间存在不相容时，公平和歧视性的表示达到了近似满足所有概念的最佳点。出于我们的理论研究结果，我们建议学习公平和歧视性的表示使用借口损失自我监督学习，和最大平均离散作为一个公平的正则化。在表格，图像和人脸数据集上的实验表明，使用学习的表示，我们在学习表示时不知道的下游预测确实对七个组公平性概念变得更公平，并且根据我们的理论结果计算的公平性保证都是有效的。
2022-02-20 cs.CV cs.CY cs.LG
On Formalizing Fairness in Prediction with Machine Learning
Department of Computer Science, Montanuniversitat Leoben（蒙塔努大学莱奥本分校计算机科学系）；Department of Computer Science, TU Eindhoven（埃因霍温理工大学计算机科学系）
用于预测的机器学习算法越来越多地用于影响人类生活的关键决策。各种公平的形式化，还没有明确的共识，用于防止这些算法系统地歧视基于某些属性受法律保护的人。本文的目的是调查如何在机器学习文献中形式化公平的预测任务，并提出这些形式化与其相应的概念分配正义的社会科学文献。我们从社会科学文献中对这些概念提出了理论和经验的批评，并解释了这些批评如何限制了相应公平形式化对某些领域的适用性。我们还提出了两个分配正义的概念，以解决其中的一些批评，并讨论未来公平形式化的途径。
2018-05-28 cs.AI cs.LG stat.ML
Effort-aware Fairness: Incorporating a Philosophy-informed, Human-centered Notion of Effort into Algorithmic Fairness Metrics
本文提出基于哲学中“力”概念的努力感知公平性（EaF）度量，通过实验证明人们更关注特征时间轨迹而非聚合值，并提供刑事司法与金融领域的计算流程，以帮助审计员发现并纠正针对努力改善但仍受系统性劣势影响的个体的不公平决策。
2025-09-11 cs.AI cs.CY cs.HC
Pareto Efficient Fairness in Supervised Learning: From Extraction to Tracing
The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Bing（微软必应）
随着算法决策系统变得越来越普遍，确保此类系统不会成为基于性别、种族、民族、宗教等的不公平歧视机制至关重要。此外，由于公平性度量和准确性之间的固有权衡，希望在不显著影响准确性的情况下学习公平性增强的模型。在本文中，我们提出了帕累托有效公平（PEF）作为一个合适的公平性概念的监督学习，可以确保整体损失和其他公平性标准之间的最佳权衡。所提出的PEF概念是定义不可知的，这意味着任何定义良好的公平性概念都可以简化为PEF概念。为了有效地找到一个PEF分类器，我们铸造的公平性增强的分类作为一个双层优化问题，并提出了一种基于梯度的方法，可以保证解决方案属于帕累托前沿与可证明的保证凸和非凸目标。我们还概括了所提出的算法解决方案，以提取和跟踪任意的解决方案，从帕累托前沿的精度和公平性措施的给定偏好。这种方法是通用的，可以推广到任何多目标优化问题，跟踪点的帕累托前沿曲线，这是有趣的本身。我们经验证明了PEF解决方案的有效性和提取的帕累托前沿在现实世界的数据集相比，国家的最先进的方法。
2021-04-04 cs.AI cs.LG stat.ML
A Survey on Intersectional Fairness in Machine Learning: Notions, Mitigation, and Challenges
Iowa State University（爱荷华州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文综述了机器学习中同时涉及多个敏感属性的交叉公平性问题，提出概念与缓解方法分类体系，并总结关键挑战与未来研究方向。
2023-05-12 cs.CY cs.LG
Survey on Causal-based Machine Learning Fairness Notions
INRIA（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；IPP（巴黎理工学院）
解决公平性问题对于安全地使用机器学习算法来支持对人们生活产生关键影响的决策至关重要，例如招聘，虐待儿童，疾病诊断，贷款发放等。然而，最新的公平概念是基于因果关系的，反映了现在广泛接受的观点，即使用因果关系是适当解决公平问题的必要条件。本文研究了一个详尽的清单，基于cabinet的公平概念，并研究其在现实世界中的应用场景。由于大多数基于因果关系的公平性概念是根据不可观察的量来定义的（例如，干预措施和反事实），在实践中部署它们需要使用观测数据来计算或估计这些数量。本文提供了一个全面的报告，不同的方法来推断因果量的观测数据，包括可识别性（珍珠的SCM框架）和估计（潜在的结果框架）。这份调查报告的主要贡献是（1）一个指导方针，以帮助选择一个合适的公平概念给定一个特定的现实世界的情况下，（2）根据珍珠的因果关系阶梯的公平概念的排名，表明它是多么困难，在实践中部署每个概念。
2022-06-07 cs.LG
Addressing Fairness in Classification with a Model-Agnostic Multi-Objective Algorithm
Helmholtz AI（亥姆霍兹AI）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Swisscom（瑞士电信）
分类公平性的目标是学习一个分类器，该分类器不会基于敏感属性（如种族和性别）来歧视个人群体。设计公平算法的一种方法是使用公平概念的松弛作为正则化项或在约束优化问题中。我们观察到双曲正切函数可以近似指示函数。我们利用这个属性来定义一个可微的放松，近似公平的概念证明比现有的放松。此外，我们提出了一个模型无关的多目标架构，可以同时优化多个公平的概念和多个敏感属性，并支持所有基于统计奇偶校验的公平概念。我们使用我们的放松与多目标架构来学习公平分类器。在公共数据集上的实验表明，相对于无约束模型，我们的方法比当前的去偏置算法具有更低的精度损失。
2021-06-08 cs.AI cs.IR cs.LG
From Parity to Preference-based Notions of Fairness in Classification
MPI-SWS（马克斯·普朗克软件系统研究所）；MPI-IS（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
在不断扩大的应用程序中采用自动化，数据驱动的决策已经引起了人们对其对某些社会群体的潜在不公平的担忧。在这种情况下，最近的一些研究集中在定义，检测和消除数据驱动的决策系统中的不公平。然而，现有的公平概念，基于不同社会群体的待遇或结果的均等（平等），往往是相当严格的，限制了整体决策的准确性。在本文中，我们从经济学和博弈论中的公平分工和无嫉妒文献中汲取灵感，并提出了基于偏好的公平概念--在各种决策处理或结果之间进行选择，任何一组用户都会集体偏好其处理或结果，而不管与其他组相比的（差异）平价。然后，我们引入易处理的代理设计的边缘为基础的分类器，满足这些基于偏好的公平性的概念。最后，我们用各种合成和真实世界的数据集进行实验，并表明基于偏好的公平性比基于奇偶校验的公平性允许更高的决策准确性。
2017-11-28 cs.LG stat.ML
Identifiability of Causal-based Fairness Notions: A State of the Art
Inria（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；IPP（巴黎理工学院）
机器学习算法可能会产生有偏见的结果/预测，通常针对少数群体和代表性不足的子群体。因此，公平性正在成为基于机器学习的技术的大规模应用的重要要求。最常用的公平概念（例如统计奇偶性，均衡赔率，预测奇偶性等）是观察性的，仅仅依赖于变量之间的相关性。这些概念无法识别统计异常情况下的偏差，如辛普森悖论或伯克森悖论。基于偏见的公平概念（例如，反事实公平、无代理歧视等）不受这种异常的影响，因此更可靠地评估公平性。然而，基于因果关系的公平概念的问题在于，它们是根据并不总是可测量的数量（例如因果、反事实和特定路径效应）来定义的。这被称为可识别性问题，是因果推理文献中大量工作的主题。本文是一个汇编的主要可识别性的结果，特别是相关的机器学习公平性。使用大量的例子和因果关系图的结果进行说明。本文将特别感兴趣的公平研究人员，从业者和政策制定者谁正在考虑使用的cafecurity为基础的公平概念，因为它总结和说明了主要的可识别性的结果
2022-06-07 cs.LG
Reconciling Predictive and Statistical Parity: A Causal Approach
Columbia University（哥伦比亚大学）
本文通过因果分解公式调和了统计平价与预测平价，证明二者互补而非互斥，并借助业务必要性概念统一了公平性谱系。
2023-12-22 cs.AI cs.CY cs.LG
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Measuring Non-Expert Comprehension of Machine Learning Fairness Metrics
University of Maryland（马里兰大学）；ICSI（国际计算机科学研究所）
机器学习中的偏见已经在几个领域表现出了不公正，例如医学，招聘和刑事司法。作为回应，计算机科学家们开发了无数的公平定义，以纠正现场算法中的这种偏见。虽然有些定义是基于既定的法律和道德规范，但其他定义在很大程度上是数学的。目前还不清楚公众是否同意这些公平的定义，也许更重要的是，他们是否理解这些定义。我们采取初步措施，通过解决这个问题来弥合ML研究人员和公众之间的差距：外行观众是否理解ML公平的基本定义？我们开发了一个度量标准来衡量对三个定义的理解-人口均等，平等机会和均等几率。我们使用在线调查来评估这个指标，并调查理解和情感，人口统计学和定义本身之间的关系。
2020-07-02 cs.AI cs.CY cs.LG
Fair Sequential Selection Using Supervised Learning Models
University of Delaware（特拉华大学）；Ohio State University（俄亥俄州立大学）；Alan Turing Institute（艾伦·图灵研究所）
我们考虑一个选择问题，顺序到达的申请人申请有限数量的职位/工作。在每个时间步，决策者使用预先训练的监督学习模型接受或拒绝给定的申请人，直到所有的空缺职位都被填补。在本文中，我们讨论是否公平的概念（例如，机会均等、统计均等等）分类问题中常用的两种方法都适用于序贯选择问题。特别是，我们表明，即使有一个预先训练的模型，满足常见的公平概念，选择结果仍然可能对某些人口统计群体有偏见。这一观察结果意味着，公平的概念中使用的分类问题是不适合的选择问题，申请人竞争的职位数量有限。我们引入了一个新的公平性概念，“平等选择（ES），”适合顺序选择问题，并提出了一个后处理方法，以满足ES公平性的概念。我们还考虑了申请人有隐私问题的设置，决策者只能访问敏感属性的嘈杂版本。在这种情况下，我们可以证明，完美的ES公平性仍然可以在一定条件下实现。
2021-10-26 cs.AI cs.CY cs.LG
Fairness and Randomness in Machine Learning: Statistical Independence and Relativization
University of Tübingen（图宾根大学）；Tübingen AI Centre（图宾根人工智能中心）
公平机器学习致力于防止在社会中嵌入的机器学习应用的背景下出现不公平。尽管公平的定义和提出的“公平算法”的各种各样，仍然存在未解决的概念问题，公平。在本文中，我们剖析了统计独立性在机器学习中经常使用的公平性和随机性概念中的作用。因此，我们被引导到一个令人惊讶的假设：随机性和公平性可以被认为是机器学习中的等价概念。特别是，我们获得了一个相对化的概念表示为统计独立的随机性呼吁冯米塞斯的百年历史的基础概率。这个概念在抽象意义上与常用的i.i.d.是“正交的”。随机性使用机器学习中的标准公平性概念（通过统计独立性定义），我们将数据的事前随机性假设与公平预测的事后要求联系起来。这种联系证明是富有成果的：我们用它来论证随机性和公平性本质上是相对的，并且这两个概念都应该反映它们作为机器学习中的建模假设的性质。
2022-11-16 cs.CY cs.LG
FACT: A Diagnostic for Group Fairness Trade-offs
Carnegie Mellon University（卡内基梅隆大学）；JP Morgan（摩根大通）；JP Morgan AI Research（摩根大通人工智能研究院）；Determined AI
群体公平性是一类公平性概念，衡量不同群体的个人如何根据其受保护的属性受到不同的对待，已被证明是相互冲突的，通常会损失模型的预测性能。我们提出了一个通用的诊断，使这些权衡组公平性的系统特征。我们观察到，大多数组公平性概念可以通过公平混淆张量来表达，这是根据受保护的属性值分裂的混淆矩阵。我们构建了几个优化问题，这些优化问题直接优化了该张量元素的准确性和公平性目标，从而为理解包括组公平性不兼容性在内的多种权衡提供了一个总体视角。它还提出了一种替代的后处理方法，设计公平的分类。在合成和真实数据集上，我们展示了我们诊断的用例，特别是在理解准确性和公平性之间的权衡方面。
2020-07-07 cs.CY cs.LG stat.ML
Fairness Aware Counterfactuals for Subgroups
Athena Research Center（雅典娜研究中心）；Université Libre De Bruxelles（布鲁塞尔自由大学）；National Technical University of Athens（雅典国立技术大学）
本文提出FACTS框架，通过反事实解释审计子组公平性，引入更精细的子组公平性概念及高效可解释的评估框架，并在多个基准数据集上验证了其优势与广泛适用性。
2023-06-26 cs.CY cs.LG
Bridging Jensen Gap for Max-Min Group Fairness Optimization in Recommendation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；NExT++ Research Center, National University of Singapore（新加坡国立大学NExT++研究中心）
该研究针对推荐系统中最大-最小群体公平性（MMF）优化因小批量采样引入的Jensen间隙问题，提出基于对偶优化的FairDual算法，理论证明其收敛性并通过实验验证其在准确性和公平性上优于基线。
2025-02-13 cs.IR cs.LG
Causal Fairness for Outcome Control
Columbia University（哥伦比亚大学）
本文针对结果控制任务，从因果视角定义收益与收益公平，并进一步提出因果收益公平及优化算法，以在最大化结果$Y$时消除受保护属性导致的歧视。
2023-06-08 cs.AI cs.LG stat.ML
Fair Regression under Sample Selection Bias
University of Arkansas（阿肯色大学）；University of Illinois（伊利诺伊大学）
近年来，公平回归的研究主要集中在发展新的公平概念和近似方法，因为目标变量甚至敏感属性在回归设置中是连续的。然而，所有以前的公平回归研究假设训练数据和测试数据是从相同的分布。由于训练数据和测试数据之间的样本选择偏差，这一假设在现实世界中经常被违反。在本文中，我们开发了一个框架下的样本选择偏差的公平回归时，从训练数据的一组样本的因变量值丢失作为另一个隐藏的过程的结果。我们的框架采用了经典的Heckman模型的偏差校正和拉格朗日对偶，以实现公平的回归的基础上，各种公平的概念。Heckman模型描述了样本选择过程，并使用称为逆米尔斯比（IMR）的衍生变量来校正样本选择偏差。我们使用公平不等式和等式约束来描述各种公平概念，并应用拉格朗日对偶理论将原问题转化为对偶凸优化问题。对于两个流行的公平性概念，平均差和均方误差差，我们推导出明确的公式，无需迭代优化，和皮尔逊相关，我们推导出它的条件，实现强对偶。我们在三个真实世界的数据集上进行了实验，实验结果证明了该方法在效用和公平性指标方面的有效性。
2021-10-08 cs.AI cs.CY cs.LG
Proportional Fairness in Clustering: A Social Choice Perspective
Technische Universität Berlin（柏林工业大学）
本文从社会选择视角研究聚类中的比例公平，证明弱比例性聚类同时近似比例公平、个体公平与核心，并扩展至多中心偏离的更强比例代表概念。
2024-05-24 cs.CY cs.GT cs.LG
Equal Improvability: A New Fairness Notion Considering the Long-term Impact
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Yonsei University（延世大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对动态场景下公平分类器的长期影响问题，提出名为Equal Improvability的新公平性概念及三种EI正则化优化方法，以均等化不同群体中被拒绝样本在付出有限努力后的潜在接受率，有效促进了长期公平性。
2023-04-09 cs.CY cs.LG
A Clarification of the Nuances in the Fairness Metrics Landscape
Intesa Sanpaolo S.p.A.（意大利联合圣保罗银行）；Univ. of Milano Bicocca（米兰比可卡大学）
近年来，解决机器学习（ML）和自动决策中的公平性问题引起了人工智能科学界的广泛关注。已经提出了ML中大量不同的公平定义，这些定义考虑了在影响人群中个体的情况下什么是“公平决策”的不同概念。这些概念之间的确切差异、含义和“正交性”尚未在文献中得到充分分析。在这项工作中，我们试图把这个动物园的定义。
2022-03-11 cs.CY cs.LG stat.ML
Bayesian fairness
University of Oslo（奥斯陆大学）；Chalmers University（查尔姆斯理工大学）；UC Santa Cruz（加州大学圣克鲁兹分校）；Harvard University（哈佛大学）
我们考虑的问题，如何决策可以是公平的，当世界的基本概率模型是不确定的。我们认为，最近的机器学习中的公平性的概念需要明确地纳入参数的不确定性，因此，我们引入了{ \em贝叶斯公平性}的概念作为一个合适的候选人公平的决策规则。使用平衡，Kleinberg et al（2016）引入的公平性定义，我们展示了贝叶斯观点如何导致即使在高度不确定性下也能表现良好，公平的决策规则。
2018-11-04 cs.LG stat.ML
Finding Representative Group Fairness Metrics Using Correlation Estimations
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
意识到数据中嵌入的历史歧视并考虑公平性措施以减少整个预测建模流程中的偏差至关重要。考虑到文献中定义的各种公平性概念，调查指标之间的相关性和相互作用对于解决不公平性至关重要。从业者和数据科学家应该能够理解每个指标，并根据上下文、用例和法规检查它们对彼此的影响。探索用于这种检查的不同度量的组合空间是繁重的。为了减轻选择公平概念的负担，我们提出了一个框架，估计公平概念之间的相关性。因此，我们的框架确定了一组不同的和语义上不同的指标作为代表给定的上下文。我们提出了一个蒙特卡罗抽样技术计算的公平性指标之间的相关性间接和有效的扰动模型空间。使用估计的相关性，然后我们找到一个子集的代表性指标。本文提出了一种通用的方法，可以推广到任何任意一组公平性指标。我们展示了使用真实世界的基准数据集上的综合实验的建议的有效性。
2022-12-28 cs.CY cs.LG
Fair Clustering: A Causal Perspective
ETH Zürich（苏黎世联邦理工学院）；Columbia University（哥伦比亚大学）
针对现有公平聚类方法未考虑因果机制、优化非因果公平性可能引发直接歧视的问题，提出结合因果公平性指标的聚类方法，支持指定需最小化的指标，并在含不公平偏差的数据集上验证了有效性。
2023-12-14 cs.CY cs.LG stat.ML
Pairwise Fairness for Ordinal Regression
MPI-IS Tübingen（马克斯·普朗克智能系统研究所图宾根分所）；Amazon（亚马逊）；Fiddler AI（Fiddler人工智能公司）
本文首先研究了有序回归的公平性问题。我们适应两个公平的概念，以前认为在公平的排名，并提出了一个战略，训练的预测，这是近似公平的根据任何一个概念。我们的预测器具有阈值模型的形式，由一个评分函数和一组阈值组成，我们的策略是基于减少到公平的二进制分类学习的评分函数和本地搜索选择的阈值。我们提供泛化保证我们的预测的错误和公平违反，我们说明了我们的方法在广泛的实验中的有效性。
2022-02-11 cs.LG stat.ML
Fairness Through Regularization for Learning to Rank
IST Austria（奥地利科学技术研究所）
鉴于近年来大量的排名应用，解决自动排名系统的公平性问题对于增加最终用户之间的信任是必要的。以前关于公平排名的工作主要集中在应用程序特定的公平概念上，通常是针对在线广告的，很少考虑学习作为过程的一部分。在这项工作中，我们将展示如何将众多的公平性概念从二进制分类转移到学习排序设置。我们的形式主义使我们能够设计方法，将公平性目标与可证明的泛化保证。一个广泛的实验评估表明，我们的方法可以大大提高排名的公平性，没有或只有很少的损失模型的质量。
2021-06-07 cs.IR cs.LG stat.ML
Re-formalization of Individual Fairness
National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（产业技术综合研究所））
本文提出以个体为条件的统计独立性来重新形式化个体公平性，该方法不仅与Dwork等人的经典形式化兼容，还能将个体公平性与均等化赔率、充分性及统计平价相结合，并适用于预处理、处理中和后处理等多种公平预测方法。
2023-09-11 cs.CY cs.IR cs.LG
An Empirical Study of Rich Subgroup Fairness for Machine Learning
University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）
Kearns et al. [2018]最近提出了一个富子群公平的概念，旨在弥合统计和个人公平概念之间的差距。富子组公平性选择一个统计公平性约束（例如，均衡受保护组之间的误报率），但随后要求该约束适用于由一类具有有界VC维数的函数定义的指数或无限大的子组集合。他们给出了一个算法，保证学习受此约束，条件是它有机会完美的学习没有公平约束的预言。在本文中，我们对Kearns等人的算法进行了广泛的实证评估。在四个关注公平性的真实数据集上，我们研究了当使用快速算法代替学习预言机时算法的基本收敛性，测量公平性和准确性之间的权衡，并将这种方法与Agarwal等人的最新算法进行比较。[2018]，其实现了由各个受保护属性定义的更弱和更传统的边际公平性约束。我们发现，在一般情况下，Kearns等人。算法收敛速度快，可以获得较大的收益的公平性与温和的成本准确性，并优化精度只受边际公平导致分类器与大量的子群不公平。我们还提供了一些分析和可视化的动力学和行为的卡恩斯等人。算法。总的来说，我们发现该算法是有效的真实数据，丰富的子群公平性是一个可行的概念在实践中。
2018-08-24 cs.LG stat.ML
Fair Risk Control: A Generalized Framework for Calibrating Multi-group Fairness Risks
Rutgers（罗格斯大学）；Penn（宾夕法尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Rutgers University（罗格斯大学）
本文提出广义多维多重校准框架及算法，用于对机器学习模型进行后处理以实现多群体公平性保证，并应用于图像分割、层次分类和文本生成等任务。
2024-05-03 cs.AI cs.CY cs.LG
Tier Balancing: Towards Dynamic Fairness over Underlying Causal Factors
Carnegie Mellon University（卡内基梅隆大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文用DAG因果建模决策与数据分布的动态相互作用，提出面向潜在因果因素的Tier Balancing公平概念，并证明单步干预的局限及趋近长期公平的可能与不可能性。
2023-06-06 cs.LG stat.ML
Striking a Balance in Fairness for Dynamic Systems Through Reinforcement Learning
University of Arkansas（阿肯色大学）
本文针对动态系统中的顺序决策公平性问题，提出将传统公平与长期公平统一纳入强化学习的算法框架，并通过三个案例验证其能在公平与效用间取得平衡。
2024-01-12 cs.AI cs.LG
It's Not Fairness, and It's Not Fair: The Failure of Distributional Equality and the Promise of Relational Equality in Complete-Information Hiring Games
University of Michigan（密歇根大学）；Western University（韦仕敦大学）
现有的努力，制定公平的计算定义主要集中在平等的分配概念，平等是由系统中的个人的资源或决定。然而，现有的歧视和不公正往往是不平等社会关系的结果，而不是资源分配不平等的结果。在这里，我们展示了如何优化现有的计算和经济的公平和平等的定义未能防止不平等的社会关系。为了做到这一点，我们提供了一个例子，在一个简单的招聘市场，是相对不平等的，但满足现有的公平分配概念的自我确认均衡。在这样做的时候，我们引入了一个概念，公然的关系不公平的完全信息游戏，并讨论这个定义如何有助于启动一个新的方法，将关系平等到计算系统。
2022-09-12 cs.CY cs.GT cs.LG
Biased Models Have Biased Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们通过为机器学习模型生成的基于属性的解释来研究机器学习（FairML）中的公平性。我们的假设是：有偏的模型有偏的解释。为了建立这一点，我们首先翻译现有的群体公平的统计概念，并根据模型给出的解释来定义这些概念。然后，我们提出了一种新的方法来检测（不）公平的任何黑盒模型。我们进一步研究后处理技术的公平性和原因如何解释可以用来使偏见缓解技术更个别公平。我们还介绍了一种新的后处理缓解技术，提高个人公平性的追索权，同时保持组级的公平性。
2020-12-20 cs.AI cs.LG
Attainability and Optimality: The Equalized Odds Fairness Revisited
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
机器学习算法的公平性越来越受到人们的关注。为了抑制或消除预测中的歧视，已经提出了各种概念和方法来施加公平。给定公平的概念，一个基本问题是，即使有无限数量的数据，它是否总是可以实现。然而，这一问题尚未得到很好的解决。在本文中，集中在公平性的均衡赔率的概念，我们认为这一标准的可达性，而且，如果它是可以实现的，在各种设置下的预测性能的最优性。特别是，对于由输入特征的确定性函数进行的预测，我们给出了均衡赔率可以成立的条件;如果随机预测是可以接受的，我们表明，在温和的假设下，总是可以得到公平的预测。对于分类，我们进一步证明，与通过后处理来实现公平性相比，人们总是可以从训练期间利用所有可用的特征中受益，并在保持公平的同时获得潜在的更好的预测性能。此外，虽然随机预测可以在理论上保证实现均衡赔率，但我们也讨论了其局限性和潜在的负面社会影响。
2022-02-24 cs.LG stat.ML
A Moral Framework for Understanding of Fair ML through Economic Models of Equality of Opportunity
ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）；MPI-SWS（马克斯·普朗克软件系统研究所）
我们将最近提出的算法公平性的概念映射到机会均等（EOP）的经济模型--一个广泛研究的政治哲学中的公平理想。我们正式表明，通过我们的概念映射，许多现有的算法公平性的定义，如预测值奇偶性和平等的赔率，可以被解释为EOP的特殊情况。在这方面，我们的工作作为一个统一的道德框架，理解现有的算法公平性的概念。最重要的是，这个框架使我们能够明确地阐明每一个公平概念背后的道德假设，并以新的眼光解释最近的公平不可能性结果。最后但并非最不重要的启发运气平等主义模型的EOP，我们提出了一个新的家庭的措施算法公平性。我们说明了我们的建议经验，并表明，采用算法（不）公平的措施时，其基本的道德假设不满意，可能会对弱势群体的福利产生毁灭性的后果。
2018-11-27 cs.LG econ.TH stat.ML
50 Years of Test (Un)fairness: Lessons for Machine Learning
Google（谷歌）
关于什么是不公平和什么是公平的定量定义已经在多个学科中引入了50多年，包括教育，招聘和机器学习。我们追溯了在过去的半个世纪里，公平的概念是如何在教育和招聘的测试社区中被定义的，探索了不同公平定义出现的文化和社会背景。在某些情况下，公平性的早期定义与当前机器学习研究中的公平性定义相似或相同，并预示着当前的正式工作。在其他情况下，对公平意味着什么以及如何衡量公平的见解在很大程度上被忽视了。我们从几个方面比较了过去和现在的公平概念，包括公平标准、标准的重点（例如，测试、模型或其使用），公平性与个人、组和子组的关系，以及用于测量公平性的数学方法（例如，分类，回归）。这项工作指出了未来研究和测量（不）公平的方式，建立在我们对公平的现代理解的基础上，同时结合了过去的见解。
2018-12-03 cs.AI cs.LG
Individual Fairness in Hindsight
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
针对传统个体公平概念未考虑在线决策时间因素的问题，本文提出跨时间公平与事后公平两种时间延伸定义，设计满足事后公平的CaFE算法实现次线性阶最优遗憾，可在保障公平的同时维持长期决策质量。
2019-03-04 cs.LG stat.ML
Certifying Fairness of Probabilistic Circuits
University of California, Los Angeles（加州大学洛杉矶分校）；Arizona State University（亚利桑那州立大学）
随着越来越多地使用机器学习系统进行决策，有关此类系统的公平性的问题开始占据中心舞台。大多数关于算法公平性的现有工作都假设在预测时完全观察到特征，就像统计奇偶性和机会均等等流行概念一样。然而，这对于可以通过部分观察进行预测的模型来说是不够的，因为我们可能会错过偏差模式并错误地证明模型是公平的。为了解决这个问题，最近引入的公平性概念询问模型是否表现出任何歧视模式，其中以（部分）特征观察为特征的个体仅通过披露一个或多个敏感属性（如性别和种族）来获得截然不同的决定。通过显式地解释部分观测，这提供了一个更细粒度的公平性概念。在本文中，我们提出了一个算法来搜索歧视模式的一般类的概率模型，即概率电路。以前，这样的算法仅限于朴素贝叶斯分类器，使强大的独立性假设;相比之下，概率电路提供了一个统一的框架，范围广泛的易处理的概率模型，甚至可以从某些类别的贝叶斯网络和概率程序编译，使我们的方法更广泛地适用。此外，对于不公平的模型，快速找到歧视模式并提取它们以获得更好的可解释性可能是有用的。因此，我们还提出了一种基于采样的方法来更有效地挖掘歧视模式，并引入了新的模式类别，如最小，最大和帕累托最优模式，可以有效地指数总结许多歧视模式
2022-12-05 cs.AI cs.CY cs.LG
Fairness-Aware Reinforcement Learning (FAReL): A Framework for Transparent and Balanced Sequential Decision-Making
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Technische Universiteit Delft（代尔夫特理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit Leiden（莱顿大学）；Universiteit Hasselt（哈塞尔特大学）
本文提出公平感知强化学习框架FAReL，通过扩展MDP（$f$MDP）显式建模个体与群体，在招聘和欺诈检测场景中实现性能与公平性的可探索权衡，以轻微性能损失换取更公平的策略。
2025-09-26 cs.AI cs.LG
Preference-Informed Fairness
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究决策系统中的公平概念，当个人对决策的可能结果有不同的偏好时。我们的出发点是Dwork等人的开创性工作，其中引入了个体公平性（IF）的概念：给定特定任务的相似性度量，根据该度量具有相似资格的每对个体都应该获得相似的结果。我们表明，当个人对结果有不同的偏好时，要求IF可能会无意中导致IF旨在保护的个人不太喜欢的结果。一个自然的替代IF是公平分配的经典概念，无嫉妒（EF）：没有人应该喜欢另一个人的结果超过自己的。虽然EF允许所有个体都获得高度偏好的结果的解决方案，但EF也可能过度限制。例如，如果许多人都同意最佳结果，那么如果任何一个人接受了这个结果，他们都必须接受它，而不管每个人对结果的潜在资格。我们引入并研究了一个新的概念，偏好知情的个人公平（PIIF），这是一个放松的个人公平和嫉妒自由。在高层次上，PIIF要求结果满足IF式约束，但允许偏差，只要它们符合个人的偏好。我们表明，PIIF可以允许的结果是更有利于个人比任何IF解决方案，同时提供了更多的灵活性，决策者比EF。此外，我们展示了如何有效地优化任何凸目标的结果受到PIIF丰富的个人偏好。最后，我们证明了广泛的适用性的PIIF框架，通过扩展我们的定义和算法，多任务有针对性的广告设置Dwork和Ilvento介绍。
2019-09-10 cs.CY cs.DS cs.LG
An Algorithmic Framework for Fairness Elicitation
University Of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑的设置中，正确的公平概念是不是简单的数学定义（如平等的出错率组），但可能更复杂和微妙的，因此需要从个人或集体利益相关者的启发。我们引入了一个框架，在这个框架中，成对的个人可以被确定为需要（近似）平等的待遇下的学习模型，或需要有序的治疗，如“申请人爱丽丝应该至少有可能获得贷款申请人鲍勃”。我们提供了一个可证明收敛和预言机有效的算法，学习最准确的模型受到公平性的约束，并证明泛化的准确性和公平性的界限。该算法还可以结合传统的统计公平性的概念，从而“纠正”或修改后者由前者引发的约束。我们报告的行为研究的初步结果，我们的框架，使用人类主体的公平约束引起的COMPAS刑事累犯数据集。
2020-10-14 cs.LG stat.ML
Post-Fair Federated Learning: Achieving Group and Community Fairness in Federated Learning via Post-processing
University of Notre Dame（圣母大学）
本文提出后处理公平联邦学习框架post-FFL，通过线性规划同时实现群体公平与社区公平，最大化全局模型效用，理论界定准确率损失，实验证明优于现有方法。
2024-05-28 cs.CY cs.LG
An Empirical Analysis of Fairness Notions under Differential Privacy
SAP（SAP公司）；INRIA（法国国家信息与自动化研究所）；Eurecom（欧洲通信学院）
本研究针对差分隐私场景，实证分析适配DP-SGD的最优效用模型架构对不同类别公平性概念的影响，发现该架构通常会减小或可忽略地影响群体公平性差异，挑战了差分隐私必然加剧模型不公的认知。
2024-10-31 cs.LG
On the Vulnerability of Fairness Constrained Learning to Malicious Noise
Toyota Technological Institute, Chicago（丰田理工学院芝加哥分校）
研究公平性约束学习对训练数据中恶意噪声的脆弱性，提出允许随机化分类器以绕过对手放大能力的技巧，将 Demographic Parity 和 Equal Opportunity 等公平性约束下的准确率损失降至 $Θ(α)$ 或 $O(\sqrtα)$，提供了更细粒度的乐观分析。
2024-08-22 cs.AI cs.CR cs.CY
