Can Explainable AI Explain Unfairness? A Framework for Evaluating Explainable AI
University of Florida（佛罗里达大学）
许多机器学习模型对人类来说是不透明的，产生的决策太复杂，人类难以理解。作为回应，可解释的人工智能（XAI）工具，分析模型的内部工作已经创建。尽管这些工具在翻译模型行为方面很有实力，但批评人士对XAI工具作为“公平清洗”工具的影响表示担忧，因为它误导用户信任有偏见或不正确的模型。在本文中，我们创建了一个框架，用于评估可解释的人工智能工具在检测和解决偏见和公平问题方面的能力，以及将这些结果清晰地传达给用户的能力。我们发现，尽管它们具有简化和解释模型行为的能力，但许多突出的XAI工具缺乏在检测偏差方面可能至关重要的功能。开发人员可以使用我们的框架来建议在他们的工具包中进行必要的修改，以减少像公平交易这样的问题。
2021-06-14 cs.AI cs.CY cs.LG
Toward Operationalizing Pipeline-aware ML Fairness: A Research Agenda for Developing Practical Guidelines and Tools
Barnard College, Columbia University（哥伦比亚大学巴纳德学院）；Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
本文梳理公平机器学习文献中贯穿ML流水线的不公平检测、衡量与缓解研究，指出实践操作化缺口，并提出制定指南与工具的研究议程。
2023-09-29 cs.AI cs.CY cs.LG
Evaluating AI fairness in credit scoring with the BRIO tool
University of Milan（米兰大学）；MIRAI S.r.l.（米拉伊有限公司）；University of Bologna（博洛尼亚大学）；INFN（意大利核物理国家研究院）；CRIF S.p.A.（CRIF股份公司）；Alkemy S.p.A.（阿尔克米股份公司）
本文提出使用BRIO工具对信用评分AI系统进行公平性定量分析，通过在UCI German Credit Dataset上应用公平性指标识别潜在偏差与歧视，并结合收益分析评估不公平风险。
2024-06-05 cs.AI
Fairness Hacking: The Malicious Practice of Shrouding Unfairness in Algorithms
Data Protection Authority of Baden-Württemberg（巴登-符腾堡州数据保护局）；University of Tübingen（蒂宾根大学）；University of Stuttgart（斯图加特大学）
本文提出“公平性黑客”概念，揭示通过度量内和度量间两种方式滥用公平性指标以掩盖算法不公平性的恶意实践，并探讨相应对策及真实数据集演示，旨在指导社区减少此类滥用。
2023-11-12 cs.AI cs.CY cs.LG
Identifying, measuring, and mitigating individual unfairness for supervised learning models and application to credit risk models
Microsoft（微软）
在过去的几年里，人工智能（AI）已经引起了包括金融服务（FS）在内的各个行业的关注。人工智能通过提高生产力和改善风险管理对金融服务产生了积极影响。虽然人工智能可以提供有效的解决方案，但它有可能带来意想不到的后果。其中一个后果是与人工智能相关的不公平和随之而来的与公平相关的伤害的明显影响。这些与公平相关的损害可能涉及对个人的差别待遇;例如，不公平地拒绝向某些个人或群体提供贷款。在本文中，我们专注于识别和减轻个人不公平，并利用该领域最近发布的一些技术，特别是适用于信用裁决用例。我们还调查了实现个人公平的技术在多大程度上有效地实现了群体公平。我们在这项工作中的主要贡献是功能化的两步训练过程，其中包括学习一个公平的相似性度量从一组意义上使用一小部分的原始数据和训练一个单独的“公平”分类器使用其余的数据，其中敏感的功能被排除在外。这种两步技术的关键特征与其灵活性有关，即，在第一步骤中获得的公平度量可以在第二步骤中与任何其它单独的公平算法一起使用。此外，我们开发了第二个度量标准（与公平相似性度量标准不同）来确定模型对待相似个体的公平程度。我们使用这个指标来比较一个“公平”模型与其基线模型在各自的公平值。最后，一些实验结果相应的个人不公平缓解技术。
2022-11-11 cs.AI cs.CY cs.LG
Mitigating Unfairness via Evolutionary Multi-objective Ensemble Learning
Research Institute of Trustworthy Autonomous System, Southern University of Science and Technology（南方科技大学可信自主系统研究院）；Trustworthiness Theory Research Center, Huawei Technologies Co., Ltd.（华为技术有限公司可信理论研究中心）；School of Computer Science, University of Birmingham（伯明翰大学计算机学院）
本文将缓解机器学习不公平性视为多目标学习问题，提出多目标进化学习框架同时优化准确率与多个公平性度量，并基于生成的高质量模型构建集成以自动平衡各项指标，在八个数据集上表现出优于现有方法的权衡能力。
2022-10-30 cs.AI cs.CY cs.LG
Addressing Polarization and Unfairness in Performative Prediction
针对表现型预测框架中表现稳定解易引发极化、性能差异且现有公平干预失效的问题，提出可同时保证稳定性与公平性的新型公平机制，并通过理论与实验验证其有效性。
2025-11-16 cs.AI cs.CY cs.LG
A Unified Approach to Quantifying Algorithmic Unfairness: Measuring Individual & Group Unfairness via Inequality Indices
MPI-SWS（马克斯·普朗克软件系统研究所）；ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
通过算法决策的歧视已经受到了相当大的关注。以前的工作主要集中在定义公平的条件，但没有定义令人满意的措施算法的不公平。在本文中，我们专注于以下问题：给定两个不公平的算法，我们应该如何确定这两个更不公平？我们的核心思想是使用经济学中现有的不平等指数来衡量算法的结果如何不平等地使人口中的不同个体或群体受益。我们的工作提供了一个合理的和一般的框架来比较和对比算法预测的（不）公平性。这种统一的方法使我们能够量化个人和群体层面的不公平。此外，我们的工作揭示了不同公平概念之间被忽视的权衡：使用我们提出的措施，算法的整体个人层面的不公平可以分解为组间和组内组件。早期的方法通常是为了解决群体之间的不公平，这可能是合理的法律或其他原因。然而，我们证明，最大限度地减少组间组件，事实上，增加组内，因此整体的不公平。我们的特点和说明我们的措施（不）公平和预测精度之间的权衡。
2018-07-02 cs.CY cs.LG stat.ML
What Hides behind Unfairness? Exploring Dynamics Fairness in Reinforcement Learning
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
本文通过因果视角探究强化学习中长期不公平性的来源，提出动态公平性概念以区分环境动态导致的不平等，并推导识别公式进行定量评估，实验证明其能有效解释、检测和减少不平等。
2024-04-28 cs.AI cs.CY cs.LG
RAGUEL: Recourse-Aware Group Unfairness Elimination
University of Warwick（华威大学）；Amazon Web Services（亚马逊云科技）
虽然机器学习和基于排名的系统广泛用于敏感的决策过程（例如，确定工作候选人，分配信用评分），他们对结果中的非预期偏差充满担忧，这使得算法公平性（例如，人口均等、机会均等）是一个令人感兴趣的目标。“民事追索权”提供了可行的恢复行动，通过修改属性来改变不想要的结果。我们引入了排名组级追索公平的概念，并开发了一个“资源感知排名”的解决方案，满足排名追索公平的约束，同时最大限度地减少建议修改的成本。我们的解决方案提出了干预措施，可以重新排序数据库记录的排名列表，并减轻组级的不公平性，特别是，不成比例的代表性的子组和追索权的成本不平衡。这种重新排序确定了对数据点的最小修改，这些属性修改根据其求助的难易程度进行加权。然后，我们提出了一个有效的基于块的扩展，使重新排名在任何粒度（例如，银行贷款利率的多个括号、搜索引擎结果的多个页面）。真实数据集上的评估表明，虽然现有的方法甚至可能加剧追索权的不公平性，我们的解决方案- RAGUEL -显着提高追索权感知的公平性。RAGUEL在提高追索权公平性方面优于其他方法，通过反事实生成和重新排序的组合过程，同时保持大规模数据集的效率。
2022-08-30 cs.CY cs.LG
Learning Antidote Data to Individual Unfairness
Brandeis University（布兰迪斯大学）；Cornell University（康奈尔大学）
针对DRO方法因忽略特征相关性导致流形外优化的问题，提出学习符合数据分布的解毒数据作为预处理方法，在最小或零效用损失下有效缓解个体不公平性。
2023-05-24 cs.CY cs.LG
New Fairness Metrics for Recommendation that Embrace Differences
Department of Computer Science Blacksburg Virginia 24060；Department of Computer Science
我们研究了协同过滤推荐系统的公平性，该系统对历史数据中存在的歧视很敏感。有偏见的数据会导致协同过滤方法对少数用户群体做出不公平的预测。我们确定现有的公平性指标的不足，并提出了四个新的指标，解决不同形式的不公平。这些公平性度量可以通过向学习目标添加公平性项来优化。在合成数据和真实数据上的实验表明，我们的新指标可以更好地衡量公平性比基线，公平性目标有效地帮助减少不公平。
2017-12-13 cs.AI cs.CY
A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）
由于减少ML预测中的不公平性越来越重要，Fair-ML研究人员提出了一套广泛的算法“公平性增强”补救措施。然而，大多数现有的算法是不可知的观察到的不公平的来源。因此，文献目前缺乏指导框架来指定每种算法干预可能减轻不公平的根本原因的条件。为了缩小这一差距，我们仔细研究了潜在的偏见（例如，在训练数据或设计选择中）引起观测不公平。我们提出的概念思想和第一个实现的偏见注入沙箱工具，调查各种偏见的公平后果，并评估算法补救措施的有效性，在特定类型的偏见的存在。我们称这个过程为算法干预的偏差（压力）测试。与现有的工具包不同，我们提供了一个受控的环境，可以在ML管道中反事实地注入偏见。这种程式化的设置提供了超越观察数据和无偏见基准测试公平干预的独特能力。特别是，我们可以测试一个给定的补救措施是否可以减轻注入的偏见，通过比较的预测结果后，在有偏见的设置与真正的标签在无偏见的制度，也就是说，在任何偏见注入。我们通过对合成数据的概念验证案例研究来说明我们的工具包的实用性。我们的实证分析展示了通过我们的模拟可以获得的见解类型。
2022-12-13 cs.CY cs.LG
Everything is Relative: Understanding Fairness with Optimal Transport
Brown University（布朗大学）；University of Rhode Island（罗德岛大学）
为了研究自动决策系统中的歧视，学者们提出了几种公平的定义，每一种都表达了不同的公平理想。这些定义要求从业人员就采用哪种概念做出复杂的决定，而且往往难以在实践中使用，因为它们对系统是否公平做出二元判断，而不是解释所发现的不公平的结构。我们提出了一个最佳的运输为基础的公平性，提供了一个可解释的和可量化的探索偏见及其结构，通过比较一对结果彼此。在这项工作中，我们使用的最佳运输地图来检查个人，子群和组的公平性。我们的框架能够恢复众所周知的算法歧视的例子，当其他指标失败时检测不公平，并探索追索机会。
2021-02-20 cs.CY cs.LG
Toward Valid Measurement Of (Un)fairness For Generative AI: A Proposal For Systematization Through The Lens Of Fair Equality of Chances
本文提出基于机会公平平等框架的生成式人工智能不公平性测量系统化方案，将不公平性分解为危害/收益、道德任意因素和道德决定性因素三个核心组成部分，以提升GenAI公平性测量的有效性。
2025-07-07 cs.CY
Understanding Unfairness in Fraud Detection through Model and Data Bias Interactions
Feedzai（Feedzai公司）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）
近年来，机器学习算法在众多高风险决策应用中变得无处不在。机器学习算法从数据中学习模式的无与伦比的能力也使它们能够将偏见嵌入其中。一个有偏见的模型可以做出不成比例地伤害社会中某些群体的决定-例如，限制他们获得金融服务。对这一问题的认识已经引起了公平ML领域的兴起，该领域专注于研究、测量和减轻算法预测中关于一组受保护组（例如，种族或性别）。然而，算法不公平的根本原因仍然难以捉摸，研究人员在归咎于ML算法或它们训练的数据之间存在分歧。在这项工作中，我们认为算法不公平源于模型之间的相互作用和数据中的偏见，而不是来自其中任何一个的孤立贡献。为此，我们提出了一种分类来表征数据偏差，并研究了一组关于公平盲ML算法在不同数据偏差设置下表现出的公平-准确性权衡的假设。在我们真实的开户欺诈用例中，我们发现每个设置都需要特定的权衡，影响期望值和方差的公平性-后者通常被忽视。此外，我们还展示了算法在准确性和公平性方面的不同比较，这取决于影响数据的偏见。最后，我们注意到，在特定的数据偏差条件下，简单的预处理干预可以成功地平衡组的出错率，而同样的技术在更复杂的设置失败。
2022-07-13 cs.CY cs.LG q-fin.ST
Equity of Attention: Amortizing Individual Fairness in Rankings
人物和物品的排名是从就业网站到共享经济平台的选择、匹配和推荐系统的核心。由于排名位置会影响排名主题获得的关注量，排名中的偏见可能会导致机会和资源的不公平分配，例如工作或收入。本文提出了新的措施和机制，量化和减轻不公平的偏见固有的所有排名，即位置偏见，这导致不成比例地少关注低排名的科目。我们的方法在两个重要方面不同于最近的公平排名方法。首先，现有的作品测量不公平的主题组的水平，而我们的措施捕捉不公平的个人科目的水平，并因此submenu组的不公平。其次，由于没有一个单一的排名可以实现个人的注意力公平，我们提出了一种新的机制，实现摊销的公平性，在一系列的排名中积累的注意力是成比例的积累相关性。我们制定的挑战，实现摊销的个人公平性的约束排名质量作为一个在线优化问题，并表明它可以作为一个整数线性规划来解决。我们的实验评估表明，不公平的注意力分布在排名可以是实质性的，并表明我们的方法可以提高个人的公平性，同时保持高排名质量。
2018-05-04 cs.CY cs.IR
Individual Fairness in Pipelines
Radcliffe Institute for Advanced Study（拉德克利夫高等研究院）；Microsoft Research（微软研究院）；Harvard University（哈佛大学）
众所周知，一个由单独公平的组成部分构建的系统本身可能并不公平。在这项工作中，我们调查管道组成下的个人公平。管道不同于普通的顺序或重复组成，因为个人可能在任何阶段退出，随后阶段的分类可能取决于剩余的“群体”个人。举个例子，一家公司可能会为一个新项目雇佣一个团队，并在以后的某个时候提拔团队中表现最好的人。与其他重复分类设置不同，其中不公平程度在多个公平步骤中优雅地降低，管道中的不公平程度可以是任意的，即使在只有两个阶段的管道中也是如此。在一系列真实例子的指导下，我们提供了一个严格的框架来评估管道的不同类型的公平性保证。我们表明，天真的审计是无法发现系统的不公平，为了确保公平性，一定存在某种形式的依赖之间的设计算法在不同阶段的管道。最后，我们提供了在后期阶段允许灵活性的结构，这意味着在构建早期阶段时不需要锁定整个管道。
2020-04-12 cs.CY cs.LG stat.ML
Learning Fair Representations with High-Confidence Guarantees
University of Massachusetts（马萨诸塞大学）；Berkeley Existential Risk Initiative（伯克利生存风险倡议）
本文正式定义了以高置信度学习公平表示的问题，提出了FRG框架，为限制所有下游模型和任务的不公平性提供用户定义上限的高置信度保证，并经理论和实证评估验证了其有效性。
2023-10-23 cs.CY cs.LG stat.ML
Counterfactual Fairness in Mortgage Lending via Matching and Randomization
Albers School of Business and Economics（阿尔伯斯商业与经济学院）；Seattle University（西雅图大学）
抵押贷款中的不公平造成了美国种族和族裔群体之间的代际不平等。许多研究解决了这个问题，但大多数现有的工作集中在基于相关性的技术。在我们的工作中，我们使用反事实公平的框架来训练公平的机器学习模型。我们提出了一个新的因果关系图的变量在住房抵押贷款披露法案（HMDA）的数据。我们使用基于匹配的方法，而不是潜变量建模方法，因为前一种方法不依赖于任何建模假设。此外，匹配为我们提供了反事实对，其中种族变量是孤立的。我们首先证明了非洲裔美国人和非西班牙裔白人亚群之间的抵押贷款批准和利率的不公平性。然后，我们证明了使用匹配来平衡数据并不能保证机器学习模型的完美反事实公平性。
2021-12-03 cs.CY cs.LG
Fairness-Aware Data Valuation for Supervised Learning
Feedzai（Feedzai公司）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）
数据估值是一个ML领域，研究训练实例对给定预测任务的价值。虽然数据偏差是下游模型不公平的主要来源之一，但以前的数据评估工作并没有考虑训练实例如何影响ML模型的性能和公平性。因此，我们提出了公平感知数据评估（FADO），这是一个数据评估框架，可用于将公平性问题纳入一系列ML相关任务（例如，数据预处理、探索性数据分析、主动学习）。我们提出了一个基于熵的数据评估指标，适合于解决我们的双管齐下的目标，最大限度地提高性能和公平性，这是更有效的计算比现有的指标。然后，我们将展示如何FADO可以应用为基础的不公平缓解预处理技术。我们的方法取得了令人鼓舞的结果-与基线相比，公平性提高了40个百分点，性能损失不到1个百分点-并以数据为中心的方式促进公平性，其中对数据质量的更深入理解占据了中心地位。
2023-03-29 cs.CY cs.LG
Procedural Fairness Through Decoupling Objectionable Data Generating Components
Carnegie Mellon University（卡内基梅隆大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；ByteDance Research（字节跳动研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文针对隐蔽程序不公平问题，借鉴 Rawls 的纯粹程序正义思想，提出利用参考点和价值实例化规则解耦数据生成过程中令人反感成分与中立成分的框架。
2024-05-09 cs.AI cs.CY cs.LG
BiaScope: Visual Unfairness Diagnosis for Graph Embeddings
偏见问题（即，系统的不公平性）最近引起了研究人员和实践者的关注。特别是对于图挖掘社区，实现算法公平性的一个重要目标是检测和减轻并入图嵌入中的偏差，因为它们通常用于以人为中心的应用，例如，社交媒体推荐。然而，用于检测偏差的简单分析方法通常涉及总体统计数据，这些统计数据并不能揭示不公平的来源。相反，视觉方法可以提供图嵌入的整体公平性表征，并帮助揭示观察到的偏差的原因。在这项工作中，我们提出了BiaScope，一个交互式的可视化工具，支持端到端的视觉不公平诊断图嵌入。该工具是与领域专家合作进行设计研究的产物。它允许用户（i）在视觉上比较两个嵌入的公平性，（ii）定位不公平嵌入的节点或图社区，以及（iii）通过交互式地将相关嵌入子空间与相应的图拓扑连接起来来理解偏差的来源。专家的反馈证实了我们的工具在检测和诊断不公平方面是有效的。因此，我们设想我们的工具既是研究人员设计算法的伴侣，也是使用现成图嵌入的从业者的指南。
2022-10-12 cs.CY cs.GR cs.HC
Failing on Bias Mitigation: A Case Study on the Challenges of Fairness in Government Data
Hongbo Bo（1. 香港大学）；Debbie Watson（2. 英国皇家统计学会）
本文通过布里斯托尔市议会犯罪率预测数据，探讨政府数据中公平性问题的持续存在，发现偏见缓解方法失效源于数据本身的固有属性而非模型缺陷。
2026-03-17 cs.AI cs.CY
Unfairness Despite Awareness: Group-Fair Classification with Strategic Agents
Washington University in Saint Louis（圣路易斯华盛顿大学）；George Mason University（乔治梅森大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）
在影响人们的金融、社会和政治福祉的领域中使用算法决策系统，已经产生了对这些决策系统在某种公认的公平概念下是"公平的"的需求。这一需求反过来又激发了大量的工作集中在公平的学习算法，然后使用它们来代替传统的同行的发展。对这种公平算法的大多数分析都是从这样一个假设出发的，即受算法决策影响的人被表示为不可变的特征向量。然而，战略代理人可能拥有的能力和动机来操纵这个观察到的特征向量，以获得更有利的结果。我们探讨的影响，战略代理人的行为可能会对公平的分类，并得出条件下，这种行为导致公平的分类变得不公平，比他们的传统同行在公平的公平性，公平的分类考虑到相同的措施。这些条件是有关的公平分类补救不公平的原始未经处理的数据的方式：公平的分类，补救不公平的选择性比他们的传统同行是那些变得不公平比他们的同行时，代理商的战略。我们进一步证明，公平的分类器的选择性增加，因此损失的公平性，出现时执行公平的学习域中的组是过度代表的区域附近（和有益的一面）的传统分类器的决策边界。最后，我们使用几个数据集和学习方法进行实验观察，这种公平性逆转是常见的，并且我们对公平性逆转条件的理论描述在大多数情况下确实成立。
2021-12-06 cs.CY cs.GT cs.LG
Bias, diversity, and challenges to fairness in classification and automated text analysis. From libraries to AI and back
KU Leuven（鲁汶大学）；TU Berlin（柏林工业大学）；Weizenbaum Institute（魏岑鲍姆研究所）
图书馆越来越依赖计算方法，包括人工智能（AI）方法。这种日益增加的使用引起了人们对人工智能风险的担忧，这些风险目前在科学文献，媒体和立法中广泛讨论。在这篇文章中，我们调查了图书馆应用程序中分类和自动文本分析中AI使用的偏见和不公平风险。我们描述的例子表明，图书馆界已经意识到这样的风险很长一段时间，以及它如何制定和部署对策。我们仔细研究了“（不）公平”的概念与“多样性”的概念，我们研究了包容性和分布模型的多样性的形式化。我们认为，自动内容分析的许多不公平问题也可以通过多样性的镜头和采取的对策，以提高多样性。
2023-03-07 cs.AI cs.CY
FairLay-ML: Intuitive Remedies for Unfairness in Data-Driven Social-Critical Algorithms
THE PENNSYLVANIA STATE UNIVERSITY（宾夕法尼亚州立大学）；SCHREYER HONORS COLLEGE（施赖尔荣誉学院）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本论文提出FairLay-ML概念验证GUI，整合现有ML解释工具与Streamlit界面，让非专业人士能够直观理解并针对ML决策系统中的不公平性提出可操作的补救建议，并通过Parfait-ML和Themis验证了其有效性。
2023-07-11 cs.CY cs.LG
Active Fairness in Algorithmic Decision Making
MIT（麻省理工学院）
社会越来越依赖于机器学习模型来进行自动化决策。然而，自动化带来的效率提升伴随着对算法歧视的担忧，这种歧视可能会使不平等现象系统化。最近的工作提出了最佳的后处理方法，随机分类决策的一小部分个人，以实现公平的措施有关的奇偶性错误和校准。然而，这些方法引起了人们的关注，由于信息效率低下，组内的不公平性，和帕累托次优，它们所带来的。目前的工作提出了一种替代的主动框架，公平的分类，其中，在部署中，决策者自适应地获取信息，根据不同的群体或个人的需要，对平衡的差异分类性能。我们提出了两种这样的方法，其中信息收集是适应组和个人层面的需求分别。我们在现实世界的数据集上展示了这些可以实现的：1）校准和单错误奇偶校验（例如，机会均等）;以及2）假阳性率和假阴性率的均等（即，等赔率）。此外，我们表明，通过利用其额外的自由度，主动方法可以大大优于先前认为最佳的基于随机化的分类器，同时避免组内不公平等限制。
2018-11-07 cs.AI cs.CY cs.LG
Outlier Detection Bias Busted: Understanding Sources of Algorithmic Bias through Data-centric Factors
Carnegie Mellon University（卡内基梅隆大学）
本研究通过审计不同以数据为中心的因素，揭示了无监督异常检测中不公平性的来源，发现数据属性与算法设计选择的相互作用会导致不公平，证明OD算法偏差不仅是数据偏差问题。
2024-08-24 cs.CY cs.LG
Using Synthetic Data to Mitigate Unfairness and Preserve Privacy in Collaborative Machine Learning
Lehigh University（利哈伊大学）
提出两阶段合成数据策略，通过双层优化和差分隐私生成合成数据，实现协作机器学习中的公平预测、隐私保护和单次通信降本。
2025-01-23 cs.CY cs.LG math.OC
An Introduction to Algorithmic Fairness
近年来，公众和科学界越来越意识到，算法系统可以复制、放大甚至在我们的社会中引入不公平。这些课堂讲稿介绍了算法公平性研究中的一些核心概念。我们列出了不同类型的公平相关的危害，解释了算法公平性的两个主要概念，并将这些危害背后的偏见映射到机器学习开发过程中。
2021-05-12 cs.CY
Legally grounded fairness objectives
bristol.ac.uk（布里斯托尔大学）
最近的工作已经确定了一些形式上不兼容的操作措施的不公平的机器学习（ML）系统。由于这些衡量标准都反映了公平制度的直观可取方面，因此不可能选择“唯一真实”的衡量标准，相反，合理的方法是尽量减少衡量标准的加权组合。然而，这只是提出了如何选择权重的问题。在这里，我们制定了基于法律的公平目标（LGFO），它使用来自法律系统的信号来非任意地衡量特定程度的不公平的社会成本。LGFO是推定诉讼下的预期损害赔偿，可能会判给那些被错误分类的人，从这个意义上说，ML系统做出的决定与法院首选措施下做出的决定不同。值得注意的是，计算LGFO所需的两个量，法院对公平措施的偏好，以及预期的损害赔偿，是未知的，但定义明确，可以通过法律咨询来估计。此外，由于法律制度规定的损害赔偿是为了衡量和补偿不公平分类对个人造成的伤害，《地方政府平等办公室法》与社会对社会成本的估计密切相关。
2020-09-24 cs.CY cs.LG stat.ML
Normalise for Fairness: A Simple Normalisation Technique for Fairness in Regression Machine Learning Problems
University of Augsburg（奥格斯堡大学）；Technical University of Munich (TUM)（慕尼黑工业大学）；SYNCPILOT GmbH（SYNCPILOT有限公司）；Imperial College London（伦敦帝国学院）
本文提出一种基于归一化的简单公平性方法FaiReg及其混合变体FaiRegH，用于回归任务，有效减少标签偏差导致的不公平，且不显著损害预测性能，并在First Impressions数据集上验证了其优越性。
2024-08-20 cs.CY cs.LG
Muffin: A Framework Toward Multi-Dimension AI Fairness by Uniting Off-the-Shelf Models
George Mason University（乔治梅森大学）；University of Notre Dame（圣母大学）；University of Pittsburgh（匹兹堡大学）
针对AI多维度公平性优化中单一属性优化会导致其他属性公平性崩溃的问题，提出Muffin框架，通过整合现成模型同时提升多属性公平性，在皮肤病数据集上实现双属性公平性与准确率同步提升。
2023-08-26 cs.CY cs.LG
Balancing Fairness and Efficiency in Traffic Routing via Interpolated Traffic Assignment
系统最优（SO）路由，其中所有用户的总旅行时间最小化，是一个圣杯的运输当局。然而，SO路由可能会歧视那些为了实现高系统效率而招致比其他人大得多的旅行时间的用户，即，总旅行时间短。为了解决SO路由固有的不公平性，我们研究了$β$ -公平SO问题，其目标是最大限度地减少总旅行时间，同时保证${β\geq 1}$水平的不公平性，它指定了最大可能的比例之间的旅行时间的不同用户共享的起源和目的地。为了获得可行的解决方案的$β$ -公平SO问题，同时实现高系统效率，我们开发了一个新的凸规划，插值交通分配问题（I-TAP），它插入之间的公平促进和效率促进交通分配目标。我们评估的效率I-TAP通过理论界的总系统的旅行时间和水平的不公平性方面的插值参数，以及I-TAP和一个国家的最先进的算法在一系列的交通网络之间的数值比较。数值结果表明，我们的方法是快了几个数量级的基准算法相比，同时实现更高的系统效率为所有理想的水平的不公平。我们进一步利用I-TAP的结构，开发两种定价机制，共同执行I-TAP解决方案中存在的自私的同质和异构的用户，分别独立地选择路线，以尽量减少自己的旅行成本。我们提到，这是第一次在一般道路网络公平路由的背景下研究定价（与之相反，例如，平行公路网）。
2022-02-09 cs.CY cs.SY eess.SY
Improving fairness in machine learning systems: What do industry practitioners need?
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；University of Maryland（马里兰大学）
机器学习（ML）系统放大社会不平等和不公平的潜力正在受到越来越多的公众和学术界的关注。最近大量的工作集中在开发算法工具来评估和减轻这种不公平。然而，如果这些工具要对行业实践产生积极影响，那么它们的设计必须了解现实世界的需求。通过35次半结构化访谈和对267名机器学习从业者的匿名调查，我们首次系统地调查了商业产品团队在开发更公平的机器学习系统方面的挑战和支持需求。我们确定了行业从业者面临的挑战与公平ML研究文献中提出的解决方案之间的一致性和脱节性。基于这些发现，我们强调了未来ML和HCI研究的方向，这些研究将更好地满足行业从业者的需求。
2019-01-07 cs.CY cs.HC cs.LG
Human Perceptions of Fairness in Algorithmic Decision Making: A Case Study of Criminal Risk Prediction
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）；University of Maryland（马里兰大学）；Cambridge University（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
随着算法越来越多地用于做出影响人类生活的重要决策，从社会福利分配到预测犯罪累犯风险，人们对算法决策的公平性提出了担忧。大多数关于算法公平性的先前作品规范性地规定了应该如何做出公平的决定。相比之下，在这里，我们连续调查用户如何感知和推理算法决策的公平性。这项工作的一个关键贡献是我们提出的框架，以了解为什么人们认为某些功能是公平或不公平的算法中使用。我们的框架确定了八个属性的功能，如相关性，意志性和可靠性，作为潜在的考虑因素，告知人们的道德判断的公平性的功能使用决策算法。我们通过对576人进行的一系列基于ESTA的调查来验证我们的框架。我们发现，基于一个人对我们示例场景中某个特征的八个潜在属性的评估，我们可以准确地（> 85%）预测这个人是否会认为该特征的使用是公平的。我们的发现具有重要意义。在高层次上，我们表明，人们的不公平的关注是多方面的，并认为未来的研究需要解决歧视以外的不公平的关注。在低层次上，我们发现人们对公平性的判断存在相当大的分歧。我们找出分歧的根源，并指出解决这些分歧的可能途径。
2018-02-26 cs.CY cs.LG stat.ML
The age of secrecy and unfairness in recidivism prediction
在我们当前的社会中，秘密算法对个人做出重要决定。关于这些算法是否对个人群体不公平，已经有了大量的讨论。虽然崇高，但这种追求是复杂的，最终会停滞不前，因为公平没有明确的定义，而相互竞争的定义在很大程度上是不相容的。我们认为，对公平性问题的关注是错误的，因为这些算法未能满足一个更重要但更容易实现的目标：透明度。因此，秘密算法的创建者可以提供关于其模型如何工作的不完整或误导性描述，并且各种其他类型的错误很容易被忽视。通过对COMPAS算法（一种在整个刑事司法系统中使用的累犯风险评分算法）进行部分逆向工程，我们发现它似乎并不线性依赖于被告的年龄，尽管该算法的创建者发表了相反的声明。此外，通过从COMPAS中减去其（假设的）非线性年龄成分，我们表明COMPAS不一定取决于种族，这与ProPublica的分析相矛盾，该分析假设年龄呈线性。换句话说，对专有算法的错误假设会导致错误的结论，如果没有仔细的逆向工程，这些结论就不会受到检查。如果算法一开始就是透明的，这可能就不会发生。这项工作中最重要的结果是，我们发现有许多被告的风险评分低，但长期的犯罪历史，这表明数据不一致经常发生在刑事司法数据库。我们认为，透明度满足了一个不同的概念的程序公平提供被告和公众有机会仔细审查的方法和计算背后的累犯风险评分。
2019-06-17 cs.CY stat.AP
Adaptive Fairness Improvement Based on Causality Analysis
Singapore Management University（新加坡管理大学）
给定一个有区别的神经网络，公平性改进的问题是系统地减少区别而不显著牺牲其性能（即，准确度）。针对神经网络的公平性改进方法有多种，包括预处理、处理中和后处理。然而，我们的实证研究表明，这些方法并不总是有效的（例如，它们可以通过付出巨大的准确性下降的代价来提高公平性）或者甚至没有帮助（例如，它们甚至可能使公平性和准确性都恶化）。在这项工作中，我们提出了一种方法，自适应地选择基于因果关系分析的公平性改善方法。也就是说，我们选择的方法的基础上，神经元和属性负责不公平的分布在输入属性和隐藏的神经元。我们的实验评估表明，我们的方法是有效的（即，总是识别最佳的公平性改进方法）和高效（即，平均时间开销为5分钟）。
2022-09-15 cs.CY cs.LG cs.SE
Fairness Implications of Encoding Protected Categorical Attributes
University of Southampton（南安普顿大学）；Scuola Normale Superiore（比萨高等师范学校）；University of Pisa（比萨大学）；University of Stuttgart（斯图加特大学）
本文比较独热编码与目标编码对含受保护分类属性模型的准确率和公平性影响，区分不可约与可约偏差，并分析正则化及高基数交叉编码带来的交叉性不公平。
2023-05-05 cs.CY cs.DS cs.LG
Adaptive Boosting with Fairness-aware Reweighting Technique for Fair Classification
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
提出公平 AdaBoost（FAB）方法，利用公平性感知重加权技术在保持预测性能的同时实现公平分类，并推导了目标损失函数上界，在三个真实数据集上优于现有公平分类方法。
2024-01-06 cs.CY cs.LG cs.SY
