Statistical inference for individual fairness
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI lab（MIT-IBM沃森人工智能实验室）
当我们依赖于机器学习（ML）模型来做出更重要的决策时，ML模型的问题会延续甚至加剧不受欢迎的历史偏见（例如，性别和种族偏见）已成为公众关注的焦点。在本文中，我们专注于在ML模型中检测违反个体公平性的问题。我们将问题形式化为测量ML模型对一种对抗性攻击的敏感性，并为对抗性成本函数开发了一套推理工具。这些工具允许审计人员以一种严格原则的方式评估ML模型的个体公平性：形成相似个体之间最差情况下的性能差异的置信区间，以及具有（渐近）非覆盖/第一类错误率控制的模型公平性的测试假设。我们展示了我们的工具在现实世界中的案例研究的效用。
2021-03-30 cs.LG stat.ML
FaiREO: User Group Fairness for Equality of Opportunity in Course Recommendation
University of Minnesota（明尼苏达大学）；Florida International University（佛罗里达国际大学）
对于高等教育机构的学生来说，课程选择是一项挑战。现有的课程推荐系统为学生提供相关的建议，帮助他们探索可用的课程。推荐的课程可以影响学生对学位课程的选择，未来的就业，甚至他们的社会经济地位。本文的重点是识别和减轻偏见，可能存在于一个课程推荐系统。我们努力促进我们的建议，以学生的所有群体的均衡机会。与此同时，我们需要向所有受保护群体提出高质量的建议。我们制定我们的方法作为一个多目标优化问题，并研究平等的机会和质量之间的权衡。我们使用真实世界和合成数据集来评估我们的方法。结果表明，我们可以大大提高公平的机会均等，但我们会引入一些质量损失。在我们测试的四种方法中，GHC-Inc和GHC-Tabu是性能最好的方法，具有不同的优势特征。
2021-09-13 cs.CY cs.LG
Counterfactual Fair Opportunity: Measuring Decision Model Fairness with Counterfactual Reasoning
Polytechnic University of Bari（巴里理工大学）；University of Bari（巴里大学）
越来越多的人工智能和机器学习模型的应用带来了不公平行为的潜在风险，根据最近的法规，已经引起了研究界的关注。一些研究人员专注于寻求新的公平定义或开发方法来识别有偏见的预测。然而，没有人试图利用反事实空间来达到这一目的。在这个方向上，在这项工作中提出的方法，旨在揭示不公平的模型行为，使用反事实推理的情况下，在无意识设置的公平。定义了机会平等的反事实版本--反事实公平机会，并引入了两种新的度量方法来分析反事实样本中的敏感信息。在三个不同数据集上的实验结果显示了我们的方法和指标的有效性，揭示了经典机器学习和去偏置模型的不公平行为。
2023-02-16 cs.AI cs.CY cs.LG
Towards Substantive Conceptions of Algorithmic Fairness: Normative Guidance from Equal Opportunity Doctrines
New York University（纽约大学）；Surveillance Technology Oversight Project（监控技术监督项目）
在这项工作中，我们使用平等机会（EO）的政治哲学学说，明确的规范性判断嵌入在不同的概念算法公平性。我们对比正式的EO方法，狭隘地集中在公平的竞争在离散的决策点，与实质性的EO学说，看看人们的公平生活的机会，更全面地在一生中。我们使用这种分类法来提供一个道德解释的不可能的结果之间的不相容的公平竞争的不同概念-向前看与向后看-当人们没有公平的生活机会。我们用这个结果来激发实质性的概念算法公平性和概述两个合理的程序的基础上的运气平等主义学说的EO，罗尔斯的公平机会均等的原则。
2022-07-11 cs.AI cs.CY cs.LG
Equal Opportunity and Affirmative Action via Counterfactual Predictions
Columbia University（哥伦比亚大学）
机器学习（ML）可以通过学习从历史数据中预测决策来自动化决策。然而，这些预测因素可能会从过去的决策中继承歧视性政策，并复制不公平的决策。在本文中，我们提出了两种算法，调整拟合的ML预测，使它们公平。我们专注于公平的两个法律概念：（a）提供平等的机会（EO），无论个人的敏感属性和（b）通过平权行动（AA）修复历史上的劣势。从技术上讲，我们通过建立因果模型并考虑反事实决策来产生公平的EO和AA预测。我们证明了所得到的预测理论上是最佳的预测性能，同时满足公平性。我们评估算法，以及准确性和公平性之间的权衡，关于入学，收入，信用和累犯的数据集。
2019-05-29 cs.LG stat.ML
A Moral Framework for Understanding of Fair ML through Economic Models of Equality of Opportunity
ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）；MPI-SWS（马克斯·普朗克软件系统研究所）
我们将最近提出的算法公平性的概念映射到机会均等（EOP）的经济模型--一个广泛研究的政治哲学中的公平理想。我们正式表明，通过我们的概念映射，许多现有的算法公平性的定义，如预测值奇偶性和平等的赔率，可以被解释为EOP的特殊情况。在这方面，我们的工作作为一个统一的道德框架，理解现有的算法公平性的概念。最重要的是，这个框架使我们能够明确地阐明每一个公平概念背后的道德假设，并以新的眼光解释最近的公平不可能性结果。最后但并非最不重要的启发运气平等主义模型的EOP，我们提出了一个新的家庭的措施算法公平性。我们说明了我们的建议经验，并表明，采用算法（不）公平的措施时，其基本的道德假设不满意，可能会对弱势群体的福利产生毁灭性的后果。
2018-11-27 cs.LG econ.TH stat.ML
Fairness as Equality of Opportunity: Normative Guidance from Political Philosophy
New York University（纽约大学）
最近的兴趣编纂的公平性在自动决策系统（ADS），导致了广泛的配方是什么意思的算法系统是公平的。这些主张大多受到政治哲学学术的启发，但没有充分地扎根于政治哲学学术。本文旨在纠正这一缺陷。我们引入了一个公平理想的分类法，从政治哲学的机会均等（EOP）的原则，澄清他们的哲学概念和公平机器学习的建议编纂。我们安排这些公平的理想上的EOP频谱，这是一个有用的框架，以指导设计一个公平的ADS在给定的上下文中。我们使用我们的公平作为EOP框架，重新解释不可能的结果从哲学的角度来看，不同的价值体系之间的不兼容性，并展示了几个现实世界和假设的例子的框架的效用。通过我们的EOP框架，我们希望从道德和政治哲学的角度回答ADS公平意味着什么，并为道德和法律专家的类似奖学金铺平道路。
2021-06-15 cs.AI cs.CY cs.LG
Equalizing Credit Opportunity in Algorithms: Aligning Algorithmic Fairness Research with U.S. Fair Lending Regulation
Brown University（布朗大学）；Arthur AI（亚瑟人工智能）
信贷是美国金融福利的重要组成部分，而获得信贷的不平等是当今人口群体之间经济差距的一个重要因素。如今，机器学习算法，有时是在替代数据上进行训练，正越来越多地被用于确定信贷的获得，但研究表明，机器学习可以编码许多不同版本的“不公平”，从而引起了人们的担忧，即银行和其他金融机构可能-可能无意中-通过使用这种技术从事非法歧视。在美国，有法律确保在贷款和负责执行这些法律的机构中不会发生歧视。然而，在计算机科学和政策领域，围绕公平信用模型的讨论往往是不一致的：公平机器学习研究往往缺乏针对现有公平贷款政策的法律和实践考虑，监管机构尚未就信用风险模型应如何利用研究界的实践和技术发布新的指导。本文旨在更好地协调对话的这些方面。我们描述了美国信贷歧视监管的现状，将公平机器学习研究的结果结合起来，以确定在贷款中使用机器学习所引起的具体公平性问题，并讨论解决这些问题的监管机会。
2022-10-05 cs.CY cs.LG
RAWLSNET: Altering Bayesian Networks to Encode Rawlsian Fair Equality of Opportunity
Northeastern University（东北大学）；Amherst College（阿默斯特学院）
我们提出了RAWLSNET，一个系统，改变贝叶斯网络（BN）模型，以满足罗尔斯公平机会均等（FEO）的原则。RAWLSNET的BN模型生成理想的数据分布：生成的数据反映了理想的公平，FEO满意的社会。FEO指出，每个具有相同天赋和意愿的人都应该有同样的机会获得有利的社会地位（例如，就业），无论其背景情况如何（例如，社会经济地位）。满足FEO需要改变社会结构，如学校作业。我们的论文介绍了RAWLSNET，一种方法，它需要作为输入的BN表示的FEO应用程序和改变BN的参数，以满足FEO时，可能的话，并尽量减少从FEO的偏差，否则。我们还提供应用RAWLSNET的指导，包括识别FEO的正确应用。我们展示了我们的系统与公开可用的数据集的使用。RAWLSNET的改变BN提供了为FEO相关任务生成期望数据的新能力。期望数据不受真实世界数据的偏差的影响，因此对于识别和检测机器学习算法中的不公平来源以及偏差数据是有用的。
2021-03-16 cs.AI cs.CY cs.LG
Fairness in Algorithmic Recourse Through the Lens of Substantive Equality of Opportunity
New York University（纽约大学）；NOVA University（新星大学）；CENTAI
针对现有算法追索权公平性研究缺乏时间维度考量的问题，本文提出两种契合实质机会平等的追索权公平概念，结合基于智能体的模拟框架分析努力成本，并提出奖励努力的干预方案以提升公平性。
2024-01-29 cs.CY cs.LG
FedCF: Fair Federated Conformal Prediction
Georgia Institute of Technology（佐治亚理工学院）；The Ohio State University（俄亥俄州立大学）
提出FedCF框架，将共形公平性扩展到联邦学习，通过分析不同人口统计组的公平性差距来审计模型公平性，并在多个数据集上验证。
2026-05-30 cs.LG
Fairness GAN
IBM Research（IBM研究院）
在本文中，我们介绍了公平性GAN，一种方法，用于生成一个数据集，这是类似于一个给定的多媒体数据集，但更公平的分配决策中的保护属性。我们提出了一种新的辅助分类器GAN，它致力于人口统计学上的均等或机会均等，并在几个数据集上显示了实证结果，包括CelebFaces属性（CelebA）数据集，Quick，Draw！数据集，以及足球运动员图像和他们被要求的罪行的数据集。所提出的公式非常适合吸收未标记的数据;我们利用这一点来用更大的CelebA数据集来增强足球数据集。这种方法往往改善人口均等和机会均等，同时产生可信的形象。
2018-05-24 cs.CY cs.LG stat.ML
FairEquityFL -- A Fair and Equitable Client Selection in Federated Learning for Heterogeneous IoV Networks
School of Computing, Macquarie University, Sydney, NSW 2109, Australia（计算机学院，麦考瑞大学，悉尼，新南威尔士州2109，澳大利亚）
针对异构车联网中联邦学习客户端选择不公平的问题，提出FairEquityFL框架，通过采样均衡器和异常检测机制实现公平参与并识别恶意客户端，在FEMNIST数据集上验证了其优越性能。
2025-09-24 cs.LG
Equality of opportunity in travel behavior prediction with deep neural networks and discrete choice models
Massachusetts Institute of Technology（麻省理工学院）
尽管研究人员越来越多地采用机器学习来建模旅行行为，但他们主要关注预测准确性，忽视了机器学习算法中嵌入的伦理挑战。本研究引入了一个重要的缺失维度-计算公平性-旅游行为分析。我们首先通过机会均等将计算公平性操作化，然后区分数据中固有的偏见和建模引入的偏见。然后，我们使用2017年全国家庭旅行调查（NHTS）和2018-2019年我在芝加哥的每日旅行调查来展示旅行行为建模的预测差异。从实证上看，深度神经网络和离散选择模型（DCM）在多个社会群体中表现出一致的预测差异：对少数民族、低收入人群和残疾人群体的频繁驾驶的假阴性率都有过高的预测，而对社会弱势群体和农村人口的出行负担都有过高的预测。比较DNN和DCM，我们发现DNN在预测差异方面优于DCM，因为DNN的误指定误差更小。为了减轻预测差异，本研究引入了绝对相关正则化方法，该方法用合成和真实世界的数据进行评估。结果表明，在旅行行为建模中预测差异的普遍性，并且差异仍然存在于各种模型细节中，例如DNN层的数量，批量大小和权重初始化。由于这些预测差异，如果没有公平调整的预测结果用于交通政策制定，会加剧社会不公平，我们主张认真考虑公平问题的出行行为建模，并使用偏见缓解算法公平的交通决策。
2021-09-25 cs.LG stat.AP stat.ML
Achieving Fairness via Post-Processing in Web-Scale Recommender Systems
LinkedIn Corp.（领英公司）
由于其对社会的巨大影响，建立公平的推荐系统是一个具有挑战性和关键性的研究领域。我们扩展了两个普遍接受的公平性概念的定义，推荐系统，即机会均等和均等化的赔率。这些公平措施确保同等“合格”（或“不合格”）的候选人得到平等对待，而不论其受保护的属性状态（如性别或种族）如何。我们提出了可扩展的方法来实现平等的机会和均衡的赔率排名中存在的位置偏差，这通常困扰推荐系统生成的数据。我们的算法是模型不可知的，因为它们只依赖于模型提供的最终分数，这使得它们很容易适用于几乎所有的网络规模的推荐系统。我们进行了广泛的模拟以及现实世界的实验，以显示我们的方法的有效性。
2022-08-11 cs.LG stat.ME stat.ML
Fairness-Aware Node Representation Learning
University of California, Irvine（加州大学欧文分校）
节点表示学习已经证明了它在图的各种应用中的有效性。特别是，对比学习的最新发展已经导致了一些任务的无监督节点表示学习的有希望的结果。尽管图对比学习取得了成功，随之而来的兴趣也在不断增长，但公平性在该领域的探索还很不够。为此，本研究通过自适应特征掩蔽和边缘删除，解决了图对比学习中的公平性问题，并采用公平性感知图增强设计。在这项研究中，不同的公平性概念的图，作为建议的图增强的指导方针。此外，理论分析提供了定量证明所提出的特征掩蔽方法可以减少本征偏差。真实社交网络上的实验结果表明，所提出的增强可以提高公平性的统计奇偶性和平等的机会，同时提供可比的分类精度，以国家的最先进的对比方法节点分类。
2021-06-09 cs.LG
Pairwise Fairness for Ranking and Regression
Google Research（谷歌研究院）
我们提出了成对的公平性指标的排名模型和回归模型，形成类似的统计公平的概念，如平等的机会，平等的准确性，统计奇偶性。我们的成对公式支持离散保护组和连续保护属性。我们表明，由此产生的训练问题，可以有效地解决现有的约束优化和强大的优化技术开发的公平分类。实验说明了这些方法的广泛适用性和权衡。
2020-01-07 cs.LG stat.ML
Algorithmic Tradeoffs in Fair Lending: Profitability, Compliance, and Long-Term Impact
Delhi Public School（德里公共学校）；Ruby Park Kolkata, India（加尔各答Ruby Park，印度）
本文通过合成数据模拟，比较不同公平性约束对信贷利润和违约率的影响，发现移除受保护属性在公平性和盈利能力上均优于显式干预，并识别了公平信贷盈利的经济条件。
2025-06-03 cs.AI cs.CE cs.CY
FairGSE: Fairness-Aware Graph Neural Network without High False Positive Rates
针对现有公平感知图神经网络假阳性率过高的问题，提出FairGSE框架，通过最大化二维结构熵兼顾公平性与假阳性控制，实验显示其FPR较SOTA方法降低39%且公平性提升相当。
2025-11-15 cs.LG
Fairness Through Counterfactual Utilities
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
针对现有群体公平性定义局限于分类问题且在其他机器学习环境中存在多种定制化解释的问题，提出基于效用和反事实结果的广义公平框架，解决了分类、聚类和强化学习中的公平性问题。
2022-02-12 cs.CY cs.LG
On the Burden of Achieving Fairness in Conformal Prediction
McGill University（麦吉尔大学）；TD Insurance（TD保险）；Layer 6 AI
研究揭示了单一阈值校准在符合预测中隐藏的跨组异质性，证明了公平性定义之间的根本矛盾，并量化了不同校准策略的成本。
2026-11-10 cs.LG stat.ML
Data Bias Mitigation under Coverage Constraints & The Price of Fairness
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）；Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切里顿计算机科学学院）
针对多敏感属性交叉群体的偏差问题，提出在覆盖约束下扩展偏差缓解框架，通过整数线性规划优化缓解策略，权衡偏差近似误差与数据效率，并刻画公平的代价。
2026-06-19 cs.CY cs.DB cs.LG
FairNorm: Fair and Fast Graph Neural Network Training
University of California, Irvine（加州大学欧文分校）
图神经网络（GNN）已被证明可以实现许多基于图的学习任务的最新技术，这导致它们在各个领域的就业率上升。然而，已经表明GNN可能会继承甚至放大训练数据中的偏差，这会导致对某些敏感群体的不公平结果。与此同时，GNN的训练带来了额外的挑战，例如收敛缓慢和可能的不稳定性。面对这些限制，这项工作提出了FairNorm，这是一个统一的规范化框架，可以减少基于GNN的学习中的偏差，同时提供可证明的更快收敛。具体来说，FairNorm在不同的敏感组上使用具有可学习参数的公平感知归一化算子，以减少GNN中的偏差。FairNorm的设计是建立在分析的基础上的，这些分析阐明了基于图的学习中的偏见来源。在真实网络上进行的节点分类实验表明，与公平感知基线相比，该方案在统计奇偶性和机会均等方面提高了公平性。此外，它是经验表明，所提出的框架导致更快的收敛相比，天真的基线，没有归一化。
2022-05-20 cs.LG
What Is the Point of Equality in Machine Learning Fairness? Beyond Equality of Opportunity
Seoul National University（首尔国立大学）
本文探讨机器学习公平性中平等的意义，提出超越机会平等的平等主义框架，以解决结构性不平等和代表性伤害问题。
2025-09-01 cs.AI cs.CY cs.LG
EqGNN: Equalized Node Opportunity in Graphs
Technion, Israel Institute of Technology（以色列理工学院）
图神经网络（GNNs），已被广泛用于图中的监督学习任务，达到最先进的结果。然而，很少有工作致力于创建无偏见的GNN，即，其中分类与诸如种族或性别的敏感属性无关。有些人忽略了敏感的属性，或者为了公平而优化统计对等的标准。然而，已经表明，这两种方法都不能确保公平性，而是削弱了预测任务的效用。在这项工作中，我们提出了一个GNN框架，允许优化均衡赔率公平标准的概念表示。该架构由三个组件组成：（1）GNN分类器预测效用类，（2）采样器学习给定标签的节点的敏感属性的分布。它生成的样本被送入一个（3）鉴别器，该鉴别器使用一种新的“置换损失”函数来区分真实的和采样的敏感属性。使用这些组件，我们训练一个模型来忽略关于敏感属性的信息，只考虑它的标签。据我们所知，我们是第一个为均衡赔率标准优化GNN的人。我们在几个图数据集和敏感属性上评估了我们的分类器，并显示我们的算法达到了最先进的结果。
2021-08-19 cs.AI cs.LG
Understanding Biases in ChatGPT-based Recommender Systems: Provider Fairness, Temporal Stability, and Recency
Polytechnic University of Bari（巴里理工大学）
本文通过大量实验研究ChatGPT推荐系统中的提供者公平性等偏差，发现准确性导向提示优于多样化提示，将公平性嵌入系统角色更有效，且零样本学习在公平性和覆盖率上总体优于上下文学习。
2024-07-04 cs.IR cs.LG
SimFair: A Unified Framework for Fairness-Aware Multi-Label Classification
Purdue University（普渡大学）
近年来，人们越来越关注机器学习算法做出的不公平决策。为了提高模型决策的公平性，人们提出了各种公平性概念，并开发了许多公平性感知方法。然而，大多数现有的定义和方法只关注单标签分类。多标签分类的公平性，其中每个实例与多个标签相关联，仍然有待建立。为了填补这一空白，本文研究了公平感知的多标签分类。我们首先扩展人口均等（DP）和机会均等（EOP），两个流行的公平概念，多标签分类的情况下。通过系统的研究，我们表明，在多标签数据，由于不均匀分布的标签，EOp通常无法构建一个可靠的估计标签的实例很少。然后，我们提出了一个新的框架命名为相似性$s$ -诱导公平（$s_γ$ -SimFair）.这个新的框架在估计特定标签组的公平性时利用具有相似标签的数据以获得更好的稳定性，并且可以统一DP和EOp。理论分析和在真实数据集上的实验结果表明，与现有的多标签分类方法$s_γ$ -SimFair相比，该方法具有更好的分类性能.
2023-02-22 cs.LG
Equal Opportunity in Online Classification with Partial Feedback
The Hebrew University（希伯来大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Colorado（科罗拉多大学）；University of Minnesota（明尼苏达大学）
我们研究了一个在线分类问题与部分反馈，其中个人到达一个固定的时间，但未知的分布，必须被归类为积极或消极的。我们的算法只观察到一个人的真实标签，如果他们被赋予一个积极的分类。这一设置捕捉到了许多关注公平性的分类问题：例如，在刑事累犯预测中，只有在囚犯被释放的情况下才能观察到累犯;在贷款申请中，只有在贷款被授予的情况下才能观察到贷款偿还。我们要求我们的算法在每一轮都满足常见的统计公平性约束（例如均衡假阳性或假阴性率-在Hardt et al.（2016）中作为“平等机会”引入）。我们给出了上界和下界特征的成本限制的遗憾率（并表明它是温和的），并给出了一个预言的有效算法，实现了上限。
2020-04-16 cs.LG stat.ML
Parity-based Cumulative Fairness-aware Boosting
Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）；Freie Universität Berlin（柏林自由大学）
数据驱动的人工智能系统可能会导致基于性别或种族等受保护属性的歧视。这种行为的一个原因是训练数据中编码的社会偏见（例如，女性代表不足），这在阶级分布不平衡的情况下更加严重（例如，“被授予”是少数人阶级）。最先进的公平性感知机器学习方法专注于在提高公平性的同时保持\emph{overall}分类准确性。在存在阶级不平衡的情况下，这种方法可能进一步加剧歧视问题，因为它剥夺了已经代表性不足的群体（例如，\textit{females}）平等社会特权的基本权利（例如，平等的信贷机会）。为此，我们提出了AdaFair，一个公平性感知的提升集成，它在每一轮改变数据分布，不仅考虑到类错误，而且还考虑到基于部分集成累积定义的模型的公平性相关性能。除了在训练中提升每一轮被区分的组之外，AdaFair通过优化集成学习器的数量来直接解决训练后阶段的不平衡问题，以实现平衡的错误性能（BER）。AdaFair可以促进不同的基于均等的公平概念，并有效地减少歧视性结果。我们的实验表明，我们的方法可以实现统计奇偶性，平等的机会，和不同的虐待方面的奇偶性，同时保持良好的预测性能的所有类。
2022-01-04 cs.AI cs.LG
Towards Fair In-Context Learning with Tabular Foundation Models
ÉTS Montréal（蒙特利尔ÉTS）；Mila - Quebec AI Institute（魁北克人工智能研究所）；University of Calgary（卡尔加里大学）；CIFAR（加拿大基础科学研究院）
本文提出通过三种预处理方法提升基于表格基础模型的上下文学习公平性，实验表明基于不确定性的策略有效提高公平性指标且对预测准确性影响小。
2026-01-05 cs.LG
Selective Regression Under Fairness Criteria
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
选择性回归允许在没有足够的信心做出准确预测时避免预测。一般来说，通过允许拒绝选项，人们期望回归模型的性能以减少覆盖率为代价增加（即，通过在较少的样本上进行预测）。然而，正如我们所展示的，在某些情况下，当我们减少覆盖范围时，少数子组的表现会下降，因此选择性回归会放大不同敏感子组之间的差异。出于这些差异，我们提出了新的选择性回归的公平标准，要求每个子组的性能，以提高覆盖率的下降。我们证明，如果一个功能表示满足充分性标准或校准的均值和方差，比建议的公平性标准是符合的。此外，我们引入了两种方法来减轻子组之间的性能差异：（a）通过正则化条件互信息的上界高斯假设和（b）通过正则化条件均值和条件方差预测的对比损失。这些方法的有效性证明了合成和真实世界的数据集。
2022-07-14 cs.LG stat.ML
Learning Adversarially Fair and Transferable Representations
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在本文中，我们提倡表示学习作为减轻下游不公平预测结果的关键。出于一个场景的动机，学习的表示被第三方使用未知的目标，我们提出并探索对抗性表示学习作为一种自然的方法，确保这些方公平行事。我们将群体公平性（人口统计学上的平等、均等化的几率和平等的机会）与不同的对抗性目标联系起来。通过最坏情况下的理论保证和实验验证，我们表明，这个目标的选择是至关重要的公平预测。此外，我们提出了第一个深入的公平迁移学习的实验演示，并实证表明，我们学到的表示承认公平的预测新的任务，同时保持效用，公平表示学习的一个基本目标。
2018-10-22 cs.LG stat.ML
How Far Can Fairness Constraints Help Recover From Biased Data?
IIIT Delhi（德里印度信息技术学院）；Microsoft Research India（微软研究院印度分部）
本文提出一种通用方法，将公平分类的恢复结果扩展至不同公平性约束、数据偏差模型、数据分布与假设类，证明在偏差参数满足简单条件时，可从有偏数据中恢复最优且公平的分类器。
2024-06-01 cs.AI cs.LG
Auditing ICU Readmission Rates in an Clinical Database: An Analysis of Risk Factors and Clinical Outcomes
Vector Institute of Artificial Intelligence（人工智能向量研究所）
本研究构建机器学习流程预测30天ICU再入院，并在MIMIC III数据集上按性别、种族等敏感属性进行公平性审计，揭示模型在不同群体间的性能差异，呼吁多方协作缓解AI偏见。
2023-04-12 cs.LG
A Stochastic Optimization Framework for Fair Risk Minimization
University of Southern California（南加利福尼亚大学）；University of Washington（华盛顿大学）；Google Research（谷歌研究院）
尽管大规模经验风险最小化（ERM）在各种机器学习任务中实现高精度方面取得了成功，但公平ERM受到公平约束与随机优化不相容的阻碍。我们考虑离散敏感属性和潜在的大模型和数据集的公平分类问题，需要随机求解器。现有的处理中公平算法要么是不切实际的，在大规模的设置，因为他们需要大量的数据在每次迭代，或者他们不能保证收敛。在本文中，我们开发了第一个随机处理中的公平算法，保证收敛。对于人口均等，均衡的赔率，公平的机会均等的概念，我们提供了我们的算法略有变化-称为费米-并证明这些变化收敛于随机优化与任何批量大小。从经验上讲，我们表明，FERMI是服从多个（非二进制）敏感属性和非二进制目标的随机解算器，即使小批量大小为1。广泛的实验表明，FERMI实现了最有利的权衡之间的公平违反和测试精度在所有测试的设置相比，国家的最先进的基线人口均等，均等的赔率，平等的机会。这些优点在小批量和具有大量敏感属性的非二进制分类中尤为显著，使FERMI成为一种实用的、可扩展的公平算法。本文中所有实验的代码都可以在https://github.com/optimization-for-data-driven-science/FERMI上找到。
2023-01-12 cs.IT cs.LG math.IT
Fairness in TabNet Model by Disentangled Representation for the Prediction of Hospital No-Show
Qatar Computing Research Institute（卡塔尔计算研究所）；University of Gabes（加贝斯大学）；Sidra Medicine（西德拉医院）
病人不出现是卫生中心的主要负担，导致收入损失，增加等待时间和健康结果恶化。开发机器学习（ML）模型来预测不出现的情况可能有助于解决这个重要问题。为了确保获得医疗服务的机会平等，考虑使用公平的ML模型进行未出现预测至关重要。在这项工作中，我们感兴趣的是开发基于表格数据的深度学习模型，用于在确保公平性的同时进行未出现预测。我们的基线模型TabNet使用了细心的特征变换，并在表格数据上显示出了有希望的结果。我们提出了基于表示学习的Fair-TabNet，它将预测性与敏感性成分分离开来。该模型被训练为联合最小化未显示和敏感变量的损失函数，同时确保敏感和预测表示正交。在实验分析中，我们使用了2019年收集的210，000个预约的医院数据集。我们的初步结果表明，建议公平TabNet提高了预测，公平性和收敛速度TabNet的预约未出现预测的任务。与最先进的表格数据模型的比较显示出有希望的结果，并可以通过更好地调整超参数来进一步改进。
2021-03-06 cs.LG
Chameleon: Foundation Models for Fairness-aware Multi-modal Data Augmentation to Enhance Coverage of Minorities
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Michigan（密歇根大学）
针对训练数据中少数群体代表性不足的问题，提出Chameleon系统，利用基础模型通过拒绝采样和指导策略生成高质量合成元组增强数据，有效提升少数群体覆盖率并降低下游任务模型不公平性。
2024-02-02 cs.CY cs.DB cs.LG
FaiREE: Fair Classification with Finite-Sample and Distribution-Free Guarantee
Stanford University（斯坦福大学）；Peking University（北京大学）；Rutgers University（罗格斯大学）
本文提出公平分类算法FaiREE，在有限样本和分布无关条件下满足多种群体公平约束并实现最优准确率，实验证明其优于现有方法。
2025-03-12 cs.LG stat.ML
Discovering Fair Representations in the Data Domain
Higher School of Economics（高等经济学院）；University of Sussex（萨塞克斯大学）；Imperial College London（帝国理工学院）
可解释性和公平性在计算机视觉和机器学习应用中至关重要，特别是在处理人类结果时，例如根据可能包括照片的申请材料邀请或不邀请参加面试。实现公平性的一个有希望的方向是通过学习数据表示来去除受保护特征的语义，从而能够减轻不公平的结果。然而，所有可用的模型都会学习潜在的嵌入，这是以不可解释为代价的。我们建议将这个问题转换为数据到数据的转换，即学习从输入域到公平目标域的映射，其中公平定义正在执行。在这里，数据域可以是图像或任何表格数据表示。如果我们有公平的目标数据，这项任务将是直截了当的，但情况并非如此。为了克服这一点，我们学习一个高度无约束的映射，利用残差的统计数据-输入数据和它的翻译版本之间的差异-和受保护的特征。当应用于CelebA人脸图像数据集时，性别属性作为受保护的特征，我们的模型通过调整眼睛和嘴唇区域来执行机会均等。有趣的是，在相同的数据集上，当使用图像的语义属性表示进行翻译时，我们得出了类似的结论。在最近的DiF数据集的人脸图像上，具有相同的性别属性，我们的方法调整鼻子区域。在成人收入数据集中，也具有受保护的性别属性，我们的模型通过混淆妻子和丈夫的关系等方式实现了机会平等。分析这些系统性变化将使我们能够仔细检查公平性标准、所选择的受保护特征和预测性能之间的相互作用。
2019-04-11 cs.LG stat.ML
FairGC: Fairness-aware Graph Condensation
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Advanced Design and Intelligent Computing, Dalian University（大连大学先进设计与智能计算重点实验室）；School of Computing Technologies, RMIT University（RMIT大学计算技术学院）；Guangdong Institute of Smart Education, Jinan University（暨南大学广东智慧教育研究院）
FairGC通过整合公平性约束，改进图压缩过程，减少统计平等方面和等机会方面的不平等，提升模型公平性与准确性平衡。
2026-03-30 cs.LG
Fairness under Competition
Department of Economics University of Haifa（海法大学经济系）；Faculty of Data and Decision Sciences Technion – Israel Institute of Technology（技术学院数据与决策科学学院）
本文研究竞争环境下算法公平性对生态系统整体公平性的影响，证明个体公平的分类器可能导致生态系统不公平，并呼吁关注系统层面的公平性。
2025-10-27 cs.GT cs.LG
README: REpresentation learning by fairness-Aware Disentangling MEthod
Yonsei University（延世大学）
公平表示学习的目的是编码关于受保护属性（如性别或年龄）的不变表示。在本文中，我们设计了公平意识的解纠缠变分自编码器（FD-VAE）的公平表示学习。该网络将潜在空间分解为三个子空间，每个子空间包含独立的信息：1）目标属性信息，2）受保护属性信息，3）互属性信息。在表示学习之后，通过排除具有受保护的属性信息的子空间，该解纠缠表示被用于更公平的下游分类。我们通过在CelebA和UTK Face数据集上的大量实验证明了我们模型的有效性。我们的方法优于以前的国家的最先进的方法，在平等的机会和均衡的赔率大幅度。
2020-07-07 cs.CV cs.LG stat.ML
Fair Prediction with Endogenous Behavior
University of Pennsylvania（宾夕法尼亚大学）；Rice University（莱斯大学）
越来越多的监管机构对部署在重要领域（例如刑事司法）的机器学习算法是否“公平地对待不同的人口群体”感兴趣。“然而，有几个拟议的公平概念，通常是相互不相容的。以刑事司法为例，我们研究了一个模型，在这个模型中，社会选择监禁规则。不同人口群体的代理人在其外部选择（例如合法就业机会）方面有所不同，并决定是否犯罪。我们发现，均衡的I型和II型错误跨组是一致的目标，最大限度地减少整体犯罪率;其他流行的公平观念不。
2020-02-18 cs.AI cs.GT cs.LG
Conformal Classification with Equalized Coverage for Adaptively Selected Groups
University of Southern California（南加州大学）
本研究提出一种面向自适应选择分组的共形分类方法，通过生成带有效条件覆盖率的预测集评估分类不确定性，在预测效率与敏感群体算法公平性间实现折中，并在模拟和真实数据集上验证了有效性。
2024-10-30 cs.LG stat.ML
A Unified Post-Processing Framework for Group Fairness in Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出名为LinearPost的公平分类后处理算法，在统一框架下通过线性变换基础预测器实现多种群体公平性标准，保证在多校准条件下的公平性，并在高公平性要求下表现优异。
2024-12-23 cs.CY cs.LG
Distributive Justice and Fairness Metrics in Automated Decision-making: How Much Overlap Is There?
University of Mannheim（曼海姆大学）；LMU Munich（慕尼黑大学）；University of Maryland（马里兰大学）
强大的预测算法的出现导致了有关政府支出和福利支持等稀缺资源分配的高风险决策的自动化程度提高。这种自动化有可能使弱势群体和历史上处于不利地位的群体遭受不必要的歧视。计算机科学和其他学科中对算法歧视的研究开发了大量的公平性度量来检测和纠正歧视性算法。借鉴强大的社会学和哲学话语分配正义，我们确定的局限性和突出的公平指标的问题的影响。我们发现，实现机会均等的指标只适用于资源分配是基于应得的，但失败时，分配应该反映对平等主义，充足性和优先级的关注。我们认为，通过明确区分预测任务和决策任务，公平机器学习的研究可以更好地利用丰富的文献分配正义。
2021-05-06 cs.LG stat.ML
Learning Fair Representations for Kernel Models
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
公平代表是一个强大的工具，用于建立标准，如统计平等，代理非歧视，以及学习模型中的机会平等。用于学习这些表示的现有技术通常是模型不可知的，因为它们对原始数据进行预处理，使得输出满足某些公平性标准，并且可以与任意学习方法一起使用。相比之下，我们展示了学习模型感知的公平表示的承诺，专注于基于内核的模型。我们利用经典的充分降维（SDR）框架来构造表示作为再生核希尔伯特空间（RKHS）的子空间，其成员函数保证满足公平性。我们的方法支持几个公平的标准，连续和离散数据，和多个受保护的属性。我们进一步展示了如何校准的精度权衡的RKHS的子空间之间的主要角度来表征它。最后，我们应用我们的方法来获得公平贝叶斯学习的第一个公平高斯过程（FGP）先验，并表明它与真实数据上的最先进方法相比具有竞争力，并且在某些情况下优于最先进的方法。
2020-01-20 cs.LG stat.ML
Fairness-Aware Few-Shot Learning for Audio-Visual Stress Detection
针对AI压力检测在数据稀缺场景下的性别偏见问题，提出公平感知元学习框架FairM2S，通过元训练和适应阶段的等化赔率约束等缓解偏见，在提升准确率的同时降低公平性差距，并发布SAVSD数据集支持相关研究。
2025-11-12 cs.CY cs.HC cs.LG
Fair Pipelines
University of Michigan（密歇根大学）；Michigan Tech Research Institute（密歇根理工大学研究所）；University of Utah（犹他大学）
这项工作有助于确保公平的机器学习在现实世界中的解耦复合决策的公平性考虑。特别是，这项工作研究如何通过一个复合的决策过程，我们称之为管道的公平传播。以前的工作在算法公平性只集中在公平性方面的一个决定。然而，许多决策过程需要不止一个决策。例如，招聘至少是一个两阶段的模型：决定从申请人池中面试谁，然后决定从面试池中雇用谁。也许令人惊讶的是，我们表明，公平的组成部分可能无法保证公平管道下的$(1+\varepsilon)$ -公平的机会均等的定义。然而，我们确定了确实提供这种保证的情况。我们还提出了许多方向，为未来的工作更一般的复合机器学习决策。
2017-07-03 cs.CY cs.LG stat.ML
Fair Node Representation Learning via Adaptive Data Augmentation
University of California, Irvine（加利福尼亚大学尔湾分校）
节点表示学习已经证明了它在图的各种应用中的有效性，这导致了对该领域越来越多的关注。然而，公平性在很大程度上是外地一个探索不足的领域，这可能导致在随后的任务中产生偏向代表性不足群体的结果。为此，这项工作从理论上解释了通过图神经网络（GNNs）获得的节点表示中的偏差来源。我们的分析表明，节点的功能和图形结构导致偏见在所获得的表示。在分析的基础上，开发了节点特征和图结构上的公平性感知数据增强框架，以减少固有偏差。我们的分析和提出的方案可以很容易地用于提高各种基于GNN的学习机制的公平性。在图对比学习的背景下，在真实网络上进行了大量的节点分类和链接预测实验。与多个基准的比较表明，拟议的增强战略可以提高公平性的统计平价和平等机会，同时提供可比的效用，以国家的最先进的对比方法。
2022-01-21 cs.AI cs.LG
Enforcing Delayed-Impact Fairness Guarantees
Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
最近的研究表明，看似公平的机器学习模型，当用于为影响人们生活或福祉的决策提供信息时（例如，涉及教育、就业和贷款的应用），从长远来看，可能会无意中增加社会不平等。这是因为先前的公平感知算法只考虑静态公平约束，例如平等机会或人口统计学奇偶性。然而，强制执行这类限制可能会导致对弱势个人和社区产生长期负面影响的模式。我们引入ELF（强制长期公平），这是第一个在长期或延迟影响方面提供高置信度公平保证的分类算法。我们证明了ELF返回一个不公平的解决方案的概率小于用户指定的公差和（在温和的假设下），有足够的训练数据，ELF是能够找到并返回一个公平的解决方案，如果存在的。我们的实验表明，我们的算法可以成功地减轻长期的不公平。
2022-08-24 cs.AI cs.CY cs.LG
FASE : A Fairness-Aware Spatiotemporal Event Graph Framework for Predictive Policing
Department of Information Systems University of Maryland, Baltimore County（信息系统系马里兰大学巴尔的摩分校）；Department of Statistics Jagannath University（统计系贾甘纳思大学）；MBBS Shaheed M. Monsur Ali Medical College（谢赫莫纳斯尔阿里医学院）
FASE框架整合时空犯罪预测与公平性约束的巡逻分配，通过闭环反馈模拟器减少数据偏见对种族差异的放大效应。
2026-04-22 cs.AI cs.LG
Cumulative Utility Parity for Fair Federated Learning under Intermittent Client Participation
Department of Computer Science and Technology, University of Cambridge, Cambridge, United Kingdom（计算机科学与技术系，剑桥大学，剑桥，英国）
本文提出累积效用公平性，通过评估客户端长期收益来提升联邦学习中的公平性，实验显示其在保持性能的同时改善了长期表示公平性。
2026-02-14 cs.AI cs.LG
Learning Fairness-aware Relational Structures
SUNY Binghamton（纽约州立大学宾汉姆顿分校（SUNY Binghamton））
开发公平的机器学习模型，有效地避免偏见和歧视，是近年来引起关注的一个重要问题。为了进行有能力的预测，需要对特征和变量之间的复杂关系依赖进行编码，这就需要开发公平而又富有表现力的关系模型。在这项工作中，我们引入公平A3 SL，公平意识的结构学习算法学习关系结构，它结合了公平措施，同时学习关系图形模型结构。我们的方法是通用的，能够编码广泛的公平性指标，如统计奇偶性差异，高估，均衡的赔率，平等的机会，包括最近提出的关系公平措施。虽然现有方法在预测后对预定模型结构采用公平性度量，但Fair-A3 SL直接学习结构，同时优化公平性度量，因此能够消除模型中的任何结构偏差。我们证明了我们学习的模型结构的有效性时，与最先进的公平模型定量和定性的数据集代表三种不同的建模场景：i）关系数据集，ii）累犯预测数据集广泛用于研究歧视，和iii）推荐系统数据集。我们的研究结果表明，Fair-A3 SL可以学习公平，但可解释和表达的结构，能够做出准确的预测。
2020-02-21 cs.AI cs.LG stat.ML
