Fairness Testing through Extreme Value Theory
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
针对数据驱动软件在极端情况下可能放大歧视的问题，本文提出基于极值理论的极端反事实歧视准则，并设计随机算法与缓解器，在多数任务中改善尾部公平性且不损害平均公平。
2025-01-20 cs.AI cs.CY cs.LG
AI Fairness for People with Disabilities: Point of View
IBM Accessibility Research（IBM无障碍研究中心）
我们考虑了残疾人在社会中的公平待遇可能会受到人工智能，特别是机器学习方法使用的影响。我们认为，对残疾人的公平与对其他受保护属性（如年龄、性别或种族）的公平不同。一个主要的区别是残疾的表现方式和人们适应的方式的极端多样性。第二，残疾信息高度敏感，并不总是共享的，这正是因为可能存在歧视。鉴于这些差异，我们探讨公平的定义以及它们在残疾领域的作用。最后，我们提出了在人工智能应用中为残疾人实现公平的方法。
2018-11-26 cs.AI cs.CY
Causal Interventions for Fairness
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）；University of Surrey（萨里大学）；New York University（纽约大学）；University College London（伦敦大学学院）
算法公平性中的大多数方法都约束机器学习方法，因此所得到的预测满足公平性的几个直观概念之一。虽然这可能有助于私营公司遵守非歧视法律或避免负面宣传，但我们认为这往往太少，太迟了。在收集培训数据时，弱势群体中的个人已经因无法控制的因素而遭受歧视和失去机会。在目前的工作中，我们专注于干预措施，如新的公共政策，特别是如何最大限度地发挥其积极作用，同时提高整个系统的公平性。我们使用因果方法来模拟干预的效果，考虑到潜在的干扰-每个人的结果可能取决于谁接受干预。我们证明了这一点的一个例子，分配预算的教学资源使用的数据集在纽约市的学校。
2018-06-06 cs.AI cs.LG stat.ML
Applications of Risk Science to AI Fairness Evaluation: Principles, Challenges, and Best Practices
University of Washington（华盛顿大学）
该研究探讨AI评估是否遵循风险科学原则，分析22种公平性指标的不足，通过简历筛选案例展示风险科学的应用，提出AI风险报告卡，推动AI社会影响评估进步。
2026-09-01 cs.AI cs.CY
Putting Fairness Principles into Practice: Challenges, Metrics, and Improvements
Google（谷歌（公司））
随着越来越多的研究人员意识到并热衷于算法公平性，出现了大量论文，提出了新的指标，建议了解决问题的算法，并呼吁关注机器学习现有应用中的问题。这项研究极大地扩展了我们对部署机器学习的关注和挑战的理解，但在了解橡胶如何满足道路方面的工作要少得多。在本文中，我们提供了一个案例研究的公平性在机器学习研究的生产分类系统的应用，并提供新的见解，如何衡量和解决算法公平性问题。我们讨论了开放的问题，在实施机会平等，并描述我们的公平性指标，有条件的平等，考虑到分配的差异。此外，我们提供了一种新的方法来改善模型训练过程中的公平性度量，并证明了其在提高真实产品性能方面的功效
2019-01-14 cs.AI cs.CY cs.LG
AI Fairness: from Principles to Practice
Accenture（埃森哲）；Lancaster University（兰卡斯特大学）
本文总结和评价了人工智能（AI）系统中追求公平性的各种途径、方法和技术。它研究了这些措施的优点和缺点，并提出了定义，测量和防止AI偏见的实用指南。特别是，它警告不要使用一些简单但常见的方法来评估人工智能系统中的偏见，并提供更复杂和有效的替代方案。本文还通过在高影响力人工智能系统的不同利益相关者之间提供共同语言，解决了该领域广泛存在的争议和困惑。它描述了涉及AI公平性的各种权衡，并提供了平衡它们的实用建议。它提供了评估公平目标的成本和收益的技术，并定义了人类判断在设定这些目标中的作用。本文为人工智能从业者、组织领导者和政策制定者提供了讨论和指导方针，并为技术性更强的受众提供了指向其他材料的各种链接。提供了许多真实世界的例子，以澄清概念，挑战和建议，从实践的角度来看。
2022-07-20 cs.AI cs.CY cs.LG
AI Fairness Beyond Complete Demographics: Current Achievements and Future Directions
Florida International University（佛罗里达国际大学）；National University of Singapore（新加坡国立大学）
本文针对多数AI公平性方法依赖完整人口统计信息、难以适配现实场景的问题，综述相关研究，提出新的公平性概念分类体系，总结现有技术并指出开放研究方向。
2025-11-17 cs.AI cs.CY cs.LG
Position: Beyond Sensitive Attributes, ML Fairness Should Quantify Structural Injustice via Social Determinants
University of California, Berkeley（加州大学伯克利分校）；University of Cambridge（剑桥大学）；University of Washington（华盛顿大学）；University of Michigan（密歇根大学）；University of Toronto（多伦多大学）
本文主张算法公平性研究应超越敏感属性，通过社会决定因素量化结构性不公正，并通过理论模型和实证研究证明仅关注敏感属性的缓解策略可能引入新的结构性不公正。
2026-05-29 cs.AI cs.CY cs.LG
Shortcomings of Counterfactual Fairness and a Proposed Modification
London School of Economics and Political Science（伦敦政治经济学院）
在本文中，我认为，反事实的公平性并不构成一个算法是公平的必要条件，并随后提出如何修改约束，以弥补这一缺陷。为此，我讨论了一个假设的情况下，反事实的公平和公平的直觉判断来分开。然后，我转向的问题，歧视的概念可以解释，以检查的缺点，反事实的公平性作为一个必要条件的算法公平性更详细。然后，我将这种分析的见解到一个新的公平约束，因果相关公平，这是一个修改的反事实公平约束，似乎规避其缺点。
2020-11-14 cs.AI cs.LG stat.ML
Algorithmic Fairness in Business Analytics: Directions for Research and Practice
The McCombs School of Business, The University of Texas at Austin（德克萨斯大学奥斯汀分校麦库姆斯商学院）；LMU Munich（慕尼黑大学）
商业分析（BA）的广泛采用带来了财务收益和效率的提高。然而，这些进步同时引起了人们对BA告知具有公平性影响的决定时不断上升的法律和道德挑战的关注。作为对这些关切的回应，新出现的关于算法公平性的研究涉及可能导致不同结果或对人口亚群体，特别是那些历史上被边缘化的人造成其他形式的不公正的算法输出。公平性与法律合规、社会责任和效用相关;如果不充分和系统地加以解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自身的生存、竞争力和整体绩效。本文对算法公平性进行了前瞻性的、以BA为重点的综述。我们首先回顾了最先进的研究的来源和措施的偏见，以及偏见缓解算法。然后，我们提供了一个详细的讨论的效用公平的关系，强调这两个结构之间的权衡经常假设是错误的或短视的。最后，我们通过为商业学者确定机会来解决有影响力的，开放的挑战，这些挑战是有效和负责任地部署BA的关键，从而制定了前进的道路。
2022-07-22 cs.AI
Capuchin: Causal Database Repair for Algorithmic Fairness
University of Washington（华盛顿大学）
公平性越来越被认为是机器学习系统的关键组成部分。然而，这些系统训练的基础数据往往反映了歧视，这表明数据库修复问题。现有的公平处理方法依赖于统计相关性，而这些相关性可能被统计异常所愚弄，比如辛普森悖论。基于因果关系的公平定义的建议可以正确地模拟这些情况中的一些，但它们需要规范的基本因果模型。在本文中，我们正式的情况下，作为一个数据库修复问题，证明公平的分类器的充分条件，而不是一个完整的因果模型的容许变量。我们表明，这些条件正确地捕捉微妙的违反公平。然后，我们使用这些条件作为数据库修复算法的基础，这些算法为在其训练标签上训练的分类器提供可证明的公平性保证。我们评估我们的算法在真实数据上，证明了在文献中提出的多个公平性指标上的最新技术水平的改进，同时保留了高实用性。
2019-10-01 cs.AI cs.DB
Black Loans Matter: Distributionally Robust Fairness for Fighting Subgroup Discrimination
当今贷款的算法公平性依赖于用于监测受保护群体之间统计平等的群体公平性指标。这种方法很容易受到代理人的分组歧视，给贷款人带来法律和声誉损害的重大风险，并对借款人造成明显的不公平结果。实际的挑战来自许多可能的组合和保护基团的子集。我们在美国历史和残余种族主义的背景下激发了这个问题，污染了所有可用的训练数据，并提高了公众对算法偏见的敏感性。我们回顾了目前的监管合规协议的公平贷款，并讨论其局限性相对于国家的最先进的公平的方法可能提供的贡献。我们提出了一个解决子群歧视的解决方案，同时坚持现有的组公平性的要求，从最近的发展，在个人的公平性方法和相应的公平度量学习算法。
2020-11-27 cs.CY
Aleatoric and Epistemic Discrimination: Fundamental Limits of Fairness Interventions
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard College（哈佛学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Harvard University（哈佛大学）
本文提出区分数据分布固有的偶然歧视与建模决策导致的认知歧视，并利用统计实验比较给出公平性性能极限，以基准评估现有公平干预。
2024-04-15 cs.CY cs.IT cs.LG
Fairness Testing: Testing Software for Discrimination
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文定义了软件公平和歧视，并开发了一种基于测试的方法来衡量软件是否歧视以及有多少歧视，重点是歧视行为中的因果关系。在现代软件系统中发现了软件歧视的证据，这些软件系统建议刑事判决，授予金融产品的访问权，并确定谁可以参加促销活动。我们的方法，Themis，生成有效的测试套件来衡量歧视。给定一个描述有效系统输入的模式，Themis自动生成判别测试，不需要oracle。我们评估Themis的20个软件系统，其中12个来自以前的工作，明确侧重于避免歧视。我们发现，（1）Themis在发现软件歧视方面是有效的，（2）从算法中消除歧视的最先进技术在许多情况下都失败了，有时歧视高达98%的输入子域，（3）Themis优化在产生有效的测试套件以测量歧视方面是有效的，（4）Themis在表现出更多辨别力的系统上更有效。因此，我们表明，公平性测试是一个重要的方面，软件开发周期的域可能的歧视，并提供初步的工具来衡量软件歧视。
2017-09-11 cs.AI cs.CY cs.DB
Measuring Model-Induced Discrimination via Efficient Fairness Approximation
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Department of Mathematics, National University of Singapore（新加坡国立大学数学系）
提出基于流形视角的公平度量HFM，利用集合间距离评估分类器歧视，并设计近似算法ApproxDist提高计算效率，实验表明其兼顾个体与群体公平。
2026-06-23 cs.CY cs.LG
Compatibility of Fairness Metrics with EU Non-Discrimination Laws: Demographic Parity & Conditional Demographic Disparity
Hasselt University（哈塞尔特大学）；Université Catholique de Louvain（鲁汶大学）；University of Bologna（博洛尼亚大学）；University of Luxembourg（卢森堡大学）
本研究结合欧盟反歧视法律框架，通过CDD分析DP公平定义与法律反歧视概念的适配性，实验验证带公平约束的分类器可在降偏差的同时适配司法情境解释，为AI决策的法律公平性研究提供了初步依据。
2023-06-14 cs.CY cs.LG
Multi-dimensional discrimination in Law and Machine Learning -- A comparative overview
L3S Research Center Hannover（汉诺威L3S研究中心）；Free University of Berlin（柏林自由大学）；Leibniz University of Hanover（莱布尼茨汉诺威大学）；Bundeswehr University Munich（慕尼黑联邦国防军大学）
人工智能驱动的决策可能会导致基于种族、性别或年龄等受保护特征/属性对某些个人或社会群体的歧视。公平感知机器学习领域专注于理解、减轻和解释AI/ML模型中的偏见的方法和算法。尽管如此，到目前为止，绝大多数提出的方法基于单个受保护的属性（例如，仅性别或种族）来评估公平性。然而，在现实中，人的身份是多方面的，歧视可能基于一个以上的受保护特征而发生，导致所谓的"多方面歧视“或”多方面公平“问题。虽然在法律文献中得到了充分阐述，但歧视的多层面性在机器学习界却较少探讨。最近在这方面的做法主要遵循法律领域的所谓交叉公平定义，而其他概念，如附加和顺序歧视，则研究较少或迄今未考虑。在这项工作中，我们概述了多维歧视/公平在法律领域的不同定义，以及他们如何被转移/操作（如果）在公平意识的机器学习域。通过并列这两个领域，我们得出的连接，确定的局限性，并指出开放的研究方向。
2023-02-12 cs.CY cs.LG
SensitiveLoss: Improving Accuracy and Fairness of Face Representations with Discrimination-Aware Deep Learning
Universidad Autonoma de Madrid（马德里自治大学）；Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所）
我们提出了一种区分感知的学习方法，以提高有偏见的人脸识别算法的准确性和公平性。最受欢迎的人脸识别基准假设受试者的分布，而不太注意他们的人口统计属性。在这项工作中，我们进行了一个全面的歧视意识的实验深度学习为基础的人脸识别。我们还提出了一个一般的配方的算法歧视与人脸生物识别的应用。这些实验包括三个流行的人脸识别模型和三个公共数据库，其中包括来自不同性别和种族的64，000个身份。我们的实验表明，基于最常用的人脸数据库的学习过程导致了流行的预训练深度人脸模型，这些模型具有很强的算法识别能力。最后，我们提出了一个歧视意识的学习方法，敏感的损失，流行的三重损失函数和敏感的三重生成器的基础上。我们的方法可以作为预训练网络的附加组件，用于提高其平均准确性和公平性。该方法显示的结果与最先进的去偏置网络，并代表了一个进步，以防止歧视性的自动系统的影响。
2020-12-02 cs.CV cs.CY
Certifying Fairness of Probabilistic Circuits
University of California, Los Angeles（加州大学洛杉矶分校）；Arizona State University（亚利桑那州立大学）
随着越来越多地使用机器学习系统进行决策，有关此类系统的公平性的问题开始占据中心舞台。大多数关于算法公平性的现有工作都假设在预测时完全观察到特征，就像统计奇偶性和机会均等等流行概念一样。然而，这对于可以通过部分观察进行预测的模型来说是不够的，因为我们可能会错过偏差模式并错误地证明模型是公平的。为了解决这个问题，最近引入的公平性概念询问模型是否表现出任何歧视模式，其中以（部分）特征观察为特征的个体仅通过披露一个或多个敏感属性（如性别和种族）来获得截然不同的决定。通过显式地解释部分观测，这提供了一个更细粒度的公平性概念。在本文中，我们提出了一个算法来搜索歧视模式的一般类的概率模型，即概率电路。以前，这样的算法仅限于朴素贝叶斯分类器，使强大的独立性假设;相比之下，概率电路提供了一个统一的框架，范围广泛的易处理的概率模型，甚至可以从某些类别的贝叶斯网络和概率程序编译，使我们的方法更广泛地适用。此外，对于不公平的模型，快速找到歧视模式并提取它们以获得更好的可解释性可能是有用的。因此，我们还提出了一种基于采样的方法来更有效地挖掘歧视模式，并引入了新的模式类别，如最小，最大和帕累托最优模式，可以有效地指数总结许多歧视模式
2022-12-05 cs.AI cs.CY cs.LG
Consumer-side Fairness in Recommender Systems: A Systematic Survey of Methods and Evaluation
Norwegian University of Science and Technology（挪威科技大学）
本文系统综述了推荐系统中消费者侧公平性的研究，提出基于高层次公平性解释的新型分类法，对现有方法和评估指标进行分类，并展望未来研究方向。
2023-05-16 cs.AI cs.CY cs.IR
Themis-ml: A Fairness-aware Machine Learning Interface for End-to-end Discrimination Discovery and Mitigation
随着越来越多的行业将机器学习整合到招聘、贷款审批和假释等社会敏感的决策过程中，我们面临着使历史和当代社会经济差距永久化的风险。这是一个关键问题，因为一方面，使用但不了解此类系统的歧视潜力的组织将在算法绝对客观的假设下促进社会差距的扩大。另一方面，负责任地使用机器学习可以帮助我们测量、理解和减轻社会敏感数据中隐含的历史偏见，方法是用明确的统计模型来表达隐含的决策心理模型。在本文中，我们指定，实现和评估一个“公平意识”的机器学习接口，称为themis-ml，它旨在供个人数据科学家和工程师，学术研究团队，或在生产系统中使用机器学习的大型产品团队使用。
2017-10-18 cs.CY
FairGAN: Fairness-aware Generative Adversarial Networks
University of Arkansas（阿肯色大学）
公平感知学习在数据采掘中越来越重要。歧视预防的目的是在训练数据用于进行预测分析之前，防止在训练数据中出现歧视。在本文中，我们专注于公平的数据生成，确保生成的数据是无歧视的。受生成对抗网络（GAN）的启发，我们提出了一种公平感知的生成对抗网络，称为公平GAN，它能够学习生成公平数据的生成器，并保持良好的数据效用。与朴素的公平数据生成模型相比，FairGAN进一步保证了在生成数据上训练的分类器可以在真实数据上实现公平分类。在真实数据集上的实验表明了FairGAN的有效性。
2018-05-28 cs.CY cs.LG stat.ML
Automatic Fairness Testing of Neural Classifiers through Adversarial Sampling
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Huawei International Pte. Ltd.（华为国际私人有限公司）；National University of Singapore（新加坡国立大学）
尽管深度学习在许多应用中表现出惊人的性能，但人们仍然担心它的可靠性。具有社会影响的深度学习应用的一个期望属性是公平性（即，不歧视）。不幸的是，由于训练数据中的歧视，歧视可能固有地嵌入到模型中。作为一种对策，公平性测试系统地识别歧视性样本，可以用来重新训练模型，提高模型的公平性。然而，现有的公平性测试方法有两个主要的局限性。首先，它们只在传统的机器学习模型上工作得很好，性能很差（例如，深度学习模型的有效性和效率。其次，它们只适用于简单的结构化（例如，表格）数据，并且不适用于文本等域。在这项工作中，我们通过提出一种可扩展的有效方法来弥补这一差距，该方法用于系统地搜索歧视性样本，同时扩展现有的公平性测试方法以解决更具挑战性的领域，即，文本分类与最先进的方法相比，我们的方法只采用轻量级的过程，如梯度计算和聚类，这是显着更具可扩展性和有效性。实验结果表明，平均而言，我们的方法更有效地探索搜索空间（9.62和2.38倍以上的最先进的方法分别对表格和文本数据集），并产生更多的歧视性样本（24.95和2.68倍）在相同的合理时间。此外，重新训练的模型平均分别减少了57.2%和60.2%的歧视。
2021-07-29 cs.AI cs.CY cs.LG
On Discrimination Discovery and Removal in Ranked Data using Causal Graph
University of Arkansas（阿肯色大学）
从历史数据中学习的预测模型被广泛用于帮助公司和组织做出决策。然而，他们可能会在数字上不公平地对待不受欢迎的群体，引发对公平和歧视的担忧。本文研究了基于公平性的排序问题，旨在发现排序数据中的差异性，并重建公平的排序。现有的公平意识排名方法主要是基于统计平等，不能衡量真正的歧视性影响，因为歧视是因果关系。另一方面，现有的基于分类器的反歧视学习方法集中在分类问题上，不能直接应用于处理排名数据。为了解决这些限制，我们建议将排名位置映射到一个连续的分数变量，代表候选人的资格。然后，我们建立一个因果图，由离散的个人资料属性和连续的分数。路径特异性效应技术扩展到混合变量因果图，以确定直接和间接歧视。从理论上分析了排序数据的路径特异性效应与二元决策的路径特异性效应之间的关系。最后，算法发现和消除歧视的排名数据集。使用真实数据集的实验表明，我们的方法的有效性。
2018-03-05 cs.AI cs.CY cs.LG
Causal Discovery for Fairness
INRIA（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；IPP（巴黎综合理工学院研究院）
考虑基于AI和ML的决策的社会和伦理后果对于安全和可接受地使用这些新兴技术至关重要。特别是，公平性保证了ML的决定不会导致对个人或少数群体的歧视。利用因果关系可以更好地确定和可靠地衡量公平/歧视，这种因果关系考虑到敏感属性（如性别、种族、宗教等）之间的因果关系，而不仅仅是联系。以及决定（例如，工作招聘、贷款发放等）。然而，使用因果关系来解决公平问题的最大障碍是因果模型（通常表示为因果图）的不可用性。现有的因果关系的公平性的方法在文献中不解决这个问题，并假设因果模型是可用的。在本文中，我们不做这样的假设，我们回顾了主要的算法，发现因果关系，从可观察的数据。本研究的重点是因果发现及其对公平性的影响。特别是，我们展示了不同的因果发现方法可能会导致不同的因果模型，最重要的是，因果模型之间的微小差异如何对公平/歧视结论产生重大影响。这些结果通过使用合成和标准公平基准数据集的实证分析得到巩固。本研究的主要目标是强调因果发现步骤的重要性，以适当地解决公平使用因果关系。
2022-06-14 cs.AI cs.CY cs.LG
Fairness in Machine Learning: Lessons from Political Philosophy
从可操作的角度来看，机器学习模型“公平”意味着什么？公平应该包括确保每个人都有平等的机会获得某种利益，还是我们应该以最小化对最小利益者的伤害为目标？是否可以参照不存在特定社会歧视模式的其他事态来确定相关的理想？最近文献中提出的各种定义对歧视和公平等术语的含义以及如何用数学术语定义它们做出了不同的假设。歧视、平等主义和正义的问题是道德和政治哲学家们非常感兴趣的，他们花费了大量的努力来正式化和捍卫这些中心概念。因此，在机器学习中正式定义“公平”的尝试包含了这些古老的哲学辩论的回声，这并不奇怪。本文借鉴了道德和政治哲学的现有工作，以阐明公平的机器学习的新兴辩论。
2021-03-23 cs.CY
Towards a Flexible Framework for Algorithmic Fairness
越来越多的学者寻求整合法律和技术见解，以打击人工智能系统中的偏见。近年来，为保证算法决策系统的非歧视性，提出了许多不同的定义。在本文中，我们首先简要描述了涵盖算法歧视案件的欧盟法律框架。其次，我们提出了一个算法，利用最佳运输提供了一个灵活的框架，不同的公平性定义之间的插值。第三，我们表明，在现实世界的场景中实施算法公平性干预仍然存在重要的规范和法律挑战。总体而言，本文旨在促进寻求灵活的技术框架，可以适应不同的法律和规范的公平约束。
2020-10-15 cs.CY
Eliminating Latent Discrimination: Train Then Mask
Yale University（耶鲁大学）；Yale Institute for Network Science（耶鲁网络科学研究所）；School of Management（管理学院）
我们如何控制预测模型中的潜在歧视？我们怎样才能证明可以去除它？这些问题是算法公平性及其对社会影响的核心。在本文中，我们定义了一个新的操作公平性标准，在统计学和计量经济学中的省略变量偏差的概念的启发。我们的公平性概念有效地控制了敏感功能，并为偏离公平决策提供了诊断。然后，我们建立了一个公平的分类器的存在，在监督学习的上下文中的分析和算法的结果。我们的结果很容易暗示一种简单但反直觉的消除潜在歧视的策略。为了防止其他特征取代敏感特征，我们需要在训练阶段包含敏感特征，但在测试/评估阶段排除它们，同时控制它们的影响。我们评估了我们的算法在几个真实世界的数据集上的性能，并展示了如何在精度损失很小的情况下提高这些数据集的公平性。
2019-02-21 cs.CY cs.LG stat.ML
Towards Effective Discrimination Testing for Generative AI
Columbia University（哥伦比亚大学）；New York University（纽约大学）
本文指出生成式AI公平性评估方法与监管目标之间存在显著差距，通过四个案例研究证明这种不一致会导致实际歧视性结果，并提出改进歧视测试的实用建议。
2024-12-30 cs.AI cs.CY cs.LG
Marrying Fairness and Explainability in Supervised Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文用因果效应与SHAP揭示公平学习方法仍可能诱发歧视，提出保留非保护特征影响、消除受保护属性影响的后处理方法，以维持准确率并降低多种差异。
2023-04-21 cs.CY cs.LG
Multi-fairness under class-imbalance
Free University of Berlin（柏林自由大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）；L3S Research Center（L3S研究中心）
最近的研究表明，用于多个受保护属性的公平感知机器学习（以下称为多歧视）的数据集通常是不平衡的。对于往往代表性不足的受保护群体（如女性、非白人等），阶级不平衡问题更为严重。关键的少数民族阶级。尽管如此，现有的方法只关注整体的错误歧视权衡，忽略了不平衡的问题，从而放大了少数群体中普遍存在的偏见。因此，需要解决多重歧视和阶级不平衡的综合问题。为此，我们引入了一个新的公平性措施，多最大误处理（MMM），它认为（多属性）保护组和类成员的实例来衡量歧视。为了解决这一问题，我们提出了一种提升方法，该方法将MMM成本纳入分布更新和后训练中，以在准确、平衡和公平的解决方案中选择最佳权衡。实验结果表明，我们的方法对国家的最先进的方法，在产生最佳的平衡性能跨组和类和最佳的准确性为保护组的少数类的优越性。
2022-06-21 cs.CY cs.LG
Fairness in Deep Learning: A Computational Perspective
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）；Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯农工大学工业与系统工程系）
深度学习越来越多地用于影响个人生活的高风险决策应用程序。然而，深度学习模型可能会表现出对受保护群体的算法歧视行为，可能会对个人和社会造成负面影响。因此，深度学习中的公平性最近引起了极大的关注。我们提供了一个综述，涵盖了最近的进展，以解决算法公平性问题的深度学习从计算的角度来看。具体来说，我们表明，可解释性可以作为一个有用的成分，诊断导致算法歧视的原因。我们还讨论了根据深度学习生命周期的三个阶段分类的公平性缓解方法，旨在推进深度学习的公平性领域，构建真正公平可靠的深度学习系统。
2020-03-19 cs.AI cs.CY cs.LG
TESTSGD: Interpretable Testing of Neural Networks Against Subtle Group Discrimination
Singapore Management University（新加坡管理大学）；Zhejiang University（浙江大学）
许多机器学习应用中都存在歧视现象，这就要求在将其部署到人脸识别、医疗诊断和刑事判决等道德相关领域之前进行充分的公平性测试。现有的公平测试方法大多是为了识别个人歧视而设计的，即，歧视个人。然而，作为另一种广泛关注的歧视类型，针对群体歧视的测试，大多是隐藏的，研究得少得多。为了解决这一差距，在这项工作中，我们提出了TESTSGD，一个可解释的测试方法，系统地识别和测量隐藏的（我们称之为“微妙的”组歧视}的神经网络的特征是条件的敏感功能的组合。具体来说，给定一个神经网络，TESTSGD首先自动生成一个可解释的规则集，将输入空间分为两组，暴露模型的组歧视。此外，TESTSGD还根据对输入空间的采样提供了一个估计的群体公平性分数，以衡量所识别的微妙群体歧视的程度，该分数保证在误差范围内是准确的。我们评估TESTSGDon多个神经网络模型训练流行的数据集，包括结构化数据和文本数据。实验结果表明，TESTSGD是有效的，有效地识别和测量这种微妙的群体歧视，从来没有被揭示出来。此外，我们表明，测试结果的TESTSGD可以指导生成新的样本，以减轻这种歧视，通过重新训练，可以忽略不计的准确性下降。
2022-08-24 cs.CY cs.LG cs.SE
Counterfactual Situation Testing: Uncovering Discrimination under Fairness given the Difference
Scuola Normale Superiore, University of Pisa（比萨高等师范学校，比萨大学）；University of Pisa（比萨大学）
本文提出因果数据挖掘框架CST，通过基于因果知识生成申诉人反事实并构建对照与测试组来检测分类器个体歧视，实验表明其即使在反事实公平条件下也能发现更多案例。
2023-10-16 cs.CY cs.LG stat.ML
Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs
Stanford University（斯坦福大学）；Cornell Tech（康奈尔科技）
本文提出在特定语境下对群体进行差异感知对算法公平性至关重要，构建了包含8种场景1.6万问题的基准套件，并在10个模型上验证了差异感知是公平性的独立维度，现有偏见缓解策略可能适得其反。
2025-08-11 cs.CL cs.CY
An Introduction to Artificial Intelligence and Solutions to the Problems of Algorithmic Discrimination
BLDS, LLC（BLDS有限责任公司）
有大量证据表明，人工智能（AI）和机器学习（ML）算法可能会对少数民族、妇女和其他受保护阶层产生偏见。联邦和州法律已经颁布，以保护消费者在信贷，住房和就业方面免受歧视，监管机构和机构负责执行这些法律。此外，有法律确保消费者理解他们为什么被拒绝获得服务和产品，如消费贷款。在本文中，我们概述了使用算法和数据的潜在好处和风险，并特别关注公平性。虽然我们的观察概括到许多情况下，我们专注于消费信贷和平等信贷和机会法案的法律要求提出的公平性问题。我们提出了一种方法来评估算法公平性和最大限度地减少算法偏见，符合联邦和州反歧视法规的规定，禁止公开的，不同的待遇，特别是不同的影响歧视。我们认为，虽然AI和ML算法的使用增加了潜在的歧视风险，但这些风险是可以评估和减轻的，但这样做需要深入了解这些算法以及它们被使用的背景和领域。
2019-11-08 cs.CY cs.LG
Matching Code and Law: Achieving Algorithmic Fairness with Optimal Transport
越来越多的算法歧视被视为一个社会和法律问题。作为响应，在文献中已经开发了用于在机器学习中实现算法公平性的许多标准。本文提出了连续公平算法（CFA $θ$），使不同的公平性定义之间的连续插值。更具体地说，我们对现有文献做出了三个主要贡献。首先，我们的方法允许决策者在个人和群体公平的具体概念之间不断变化。因此，该算法使决策者能够在算法过程中编码的歧视程度上采用中间的“世界观”，为文献中迄今为止提出的“我们都是平等的”（WAE）和“你所看到的就是你所得到的”（WYSIWYG）的极端情况添加细微差别。其次，我们使用最优运输理论，特别是重心的概念，最大限度地提高决策者的效用下选择的公平约束。第三，该算法能够处理交叉性的情况，即，根据若干标准对某些群体进行多方面歧视。我们讨论了三个主要的例子（信贷申请;大学录取;保险合同），并绘制出我们的方法的法律和政策含义。个人和群体公平之间的权衡的明确形式化允许这种后处理方法被定制为不同的情境上下文，其中一个或另一个公平标准可能优先。最后，我们对我们的模型进行了实验评估。
2019-09-24 cs.CY stat.ML
The Fairness of Machine Learning in Insurance: New Rags for an Old Man?
自历史开始以来，保险公司一直使用数据来对风险进行分类和定价。因此，他们很早就面临着与数据相关的公平和歧视问题。随着人们获得更细粒度的行为数据，这个问题变得越来越重要，并且正在演变以反映当前的技术和社会问题。通过研究早期关于歧视的辩论，我们发现一些算法偏见是旧偏见的更新版本，而另一些则显示了以前顺序的逆转。讽刺的是，虽然保险实践并没有发生深刻的变化，而且大多数偏见也不是新的，但机器学习时代仍然深刻地动摇了保险公平的概念。
2022-05-17 cs.CY econ.GN q-fin.EC
Impact of Fairness Regulations on Institutions' Policies and Population Qualifications
Tehran Institute of Advanced Studies（德黑兰高等研究院）；The Chinese University of Hong Kong（香港中文大学）
该研究探讨公平性监管中歧视惩罚对选拔差异的作用，分析个体资质随政策演变时惩罚可能阻碍公平自然实现的场景，并提出抵消不良结果、保障公平的条件。
2024-05-19 cs.AI cs.CY cs.LG
Everything is Relative: Understanding Fairness with Optimal Transport
Brown University（布朗大学）；University of Rhode Island（罗德岛大学）
为了研究自动决策系统中的歧视，学者们提出了几种公平的定义，每一种都表达了不同的公平理想。这些定义要求从业人员就采用哪种概念做出复杂的决定，而且往往难以在实践中使用，因为它们对系统是否公平做出二元判断，而不是解释所发现的不公平的结构。我们提出了一个最佳的运输为基础的公平性，提供了一个可解释的和可量化的探索偏见及其结构，通过比较一对结果彼此。在这项工作中，我们使用的最佳运输地图来检查个人，子群和组的公平性。我们的框架能够恢复众所周知的算法歧视的例子，当其他指标失败时检测不公平，并探索追索机会。
2021-02-20 cs.CY cs.LG
Moving beyond Principles: Identifying Actionable AI Fairness Practices
University of Reading（雷丁大学）；Zeppelin University（齐佩林大学）
本文提出了一种基于社会技术视角的AI公平实践框架，通过分析60个来源，构建了涵盖AI全生命周期的结构化实践矩阵，提供动态、角色特定的指导以支持AI公平的实施与持续。
2026-04-20 cs.CY
Regulating Gatekeeper AI and Data: Transparency, Access, and Fairness under the DMA, the GDPR, and beyond
European University Viadrina（欧洲维德拉大学）；European New School of Digital Studies（欧洲数字研究新学院）
本文研究欧盟数字经济AI监管问题，指出《数字市场法案》比拟议的《AI法案》影响更深远，从四方面分析其对AI与数据的监管规则，提出公平性的新解读及综合监管框架提案。
2023-08-24 cs.AI cs.CY
On Algorithmic Fairness and the EU Regulations
本文基于欧盟法律、AI法规和GDPR，通过理论场景分析探讨了算法公平性与非歧视问题，证明了纠正AI歧视性偏见的合法性，并指出了潜在的法律违规情况，为AI工程合规研究提供了法律见解。
2024-12-21 cs.CY
Fairness Risks for Group-conditionally Missing Demographics
Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学芝加哥分校计算机科学系）；Amazon（亚马逊）
针对敏感特征因群体依赖性而缺失导致公平性模型受限的问题，提出在变分自编码器中联合学习群体条件缺失概率并结合概率插补增强公平性风险，在图像与表格数据上实现了准确性与公平性的更好平衡。
2025-04-30 cs.CY cs.LG
Investigating Practices and Opportunities for Cross-functional Collaboration around AI Fairness in Industry Practice
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Microsoft Research（微软研究院）
本研究通过访谈和工作坊调研23名行业从业者，探究AI公平性跨职能协作的现有实践与问题，揭示从业者的衔接、依托策略及隐形劳动，为优化相关协作提供方向。
2023-06-10 cs.CY cs.HC cs.LG
Fairness Hacking: The Malicious Practice of Shrouding Unfairness in Algorithms
Data Protection Authority of Baden-Württemberg（巴登-符腾堡州数据保护局）；University of Tübingen（蒂宾根大学）；University of Stuttgart（斯图加特大学）
本文提出“公平性黑客”概念，揭示通过度量内和度量间两种方式滥用公平性指标以掩盖算法不公平性的恶意实践，并探讨相应对策及真实数据集演示，旨在指导社区减少此类滥用。
2023-11-12 cs.AI cs.CY cs.LG
How Could Equality and Data Protection Law Shape AI Fairness for People with Disabilities?
本文从数据保护和平等法的角度探讨了残疾人“人工智能公平”的概念。这项研究表明，由于歧视和数据保护法适用于残疾人的方式不同，因此需要一种与其他受保护特征截然不同的独特的人工智能公平方法。我们阐述了为残疾人提供人工智能公平的新议程，解释了如何将数据保护和平等法结合起来，为残疾人组织和辅助技术研究人员创造新的机会，以塑造人工智能的使用，并挑战潜在的有害用途。
2021-07-12 cs.CY cs.HC
Avoiding Discrimination through Causal Reasoning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）；University of California, Berkeley（加利福尼亚大学伯克利分校）
最近关于机器学习公平性的工作集中在各种统计歧视标准以及它们如何权衡。这些标准中的大多数是观察性的：它们仅取决于预测因子、受保护属性、特征和结果的联合分布。虽然便于使用，但观察标准具有严重的固有局限性，这使它们无法最终解决公平问题。超越观察标准，我们框架的歧视问题的基础上保护属性的语言的因果推理。这种观点将注意力从“什么是正确的公平标准？“到“关于因果数据生成过程，我们要假设什么？“通过因果关系的镜头，我们做出了几项贡献。首先，我们清楚地阐明为什么以及何时观察标准失败，从而正式确定了之前的观点。其次，我们的方法揭示了以前被忽视的微妙之处，以及为什么它们是问题的根本。最后，我们提出了自然因果非歧视性标准，并开发算法，满足他们。
2018-01-21 cs.CY cs.LG stat.ML
Fairness: from the ethical principle to the practice of Machine Learning development as an ongoing agreement with stakeholders
University of Notre Dame（圣母大学）；Universitat Ramon Llull（拉蒙·柳利大学）；IQS School of Management（IQS管理学院）
本文提出一种端到端的亲伦理迭代方法，将公平伦理原则转化为机器学习开发中与利益相关者的持续协议，以识别、缓解和监控偏见并解释不完美权衡。
2023-03-22 cs.AI cs.CY cs.LG
The Fair Lending Model: How the Longest-Running Algorithmic Fairness Programs Work in Practice
New York University（纽约大学）；Center for Democracy & Technology（民主与技术中心）；Upturn；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
通过35次半结构化访谈，首次实证揭示美国金融机构如何测试和缓解算法歧视，发现监管监督是合规工作的关键驱动因素，但具体实践因机构而异。
2026-06-16 cs.CY
An Empirical Analysis of Racial Categories in the Algorithmic Fairness Literature
通过对FAccT上60篇论文的内容分析，研究了算法公平性文献中种族类别的概念化与操作化，发现其建构受法律框架与计算机科学价值观共同影响，且普遍缺乏正当理由，具有重大社会政治后果。
2023-09-12 cs.CY
Are fairness metric scores enough to assess discrimination biases in machine learning?
IRIT（图卢兹计算机科学研究所）；Université Paul-Sabatier（保罗·萨巴蒂埃大学）；IMT（图卢兹国立应用科学学院）
本文通过在 Bios 数据集上以多种样本规模训练 200 多个职业预测模型，证明常用性别偏见指标在小样本下可能分歧且不可靠，强调方差计算的重要性。
2023-06-08 cs.CL cs.CY cs.LG
Underrepresentation, Label Bias, and Proxies: Towards Data Bias Profiles for the EU AI Act and Beyond
University of Padova（帕多瓦大学）；IBM Research Europe（IBM欧洲研究院）；University of Trieste（特伦蒂诺大学）；MPI-SP（马克斯·普朗克研究所）
本文研究了代表性不足、标签偏差和代理变量三种数据偏差对算法歧视的影响，提出了数据偏差画像（DBP）来系统检测和记录偏差信号，为预测歧视风险和公平性干预提供了数据驱动的计算框架。
2025-07-09 cs.CY cs.LG stat.ML
Approximating Discrimination Within Models When Faced With Several Non-Binary Sensitive Attributes
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；Department of Electrical and Computer Engineering, The University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德谷电子与计算机工程系）
针对现有公平性度量难以处理多非二元敏感属性下模型歧视评估的问题，提出基于流形集合距离的HFM公平度量及两种加速近似算法，验证了其有效性与高效性。
2025-05-18 cs.CY cs.LG
