Towards a Flexible Framework for Algorithmic Fairness
越来越多的学者寻求整合法律和技术见解，以打击人工智能系统中的偏见。近年来，为保证算法决策系统的非歧视性，提出了许多不同的定义。在本文中，我们首先简要描述了涵盖算法歧视案件的欧盟法律框架。其次，我们提出了一个算法，利用最佳运输提供了一个灵活的框架，不同的公平性定义之间的插值。第三，我们表明，在现实世界的场景中实施算法公平性干预仍然存在重要的规范和法律挑战。总体而言，本文旨在促进寻求灵活的技术框架，可以适应不同的法律和规范的公平约束。
2020-10-15 cs.CY
Affirmative Algorithms: The Legal Grounds for Fairness as Awareness
Stanford University（斯坦福大学）；Stanford Institute for Economic Policy Research（斯坦福经济政策研究所）；Stanford Institute for Human-Centered Artificial Intelligence（斯坦福以人为本人工智能研究所）；Partnership on AI（人工智能伙伴关系）
虽然对算法公平性进行了一系列研究，但人们较少认识到的是，现代反歧视法可能会禁止采用此类技术。我们做了三个贡献。首先，我们讨论这种方法如何可能被视为“算法平权行动”，构成严重的法律风险，违反平等保护，特别是在高等教育的判例。这类案件越来越倾向于反分类，要求“个性化考虑”，并禁止无论出于何种目的对种族进行正式的定量加权。因此，这种判例法与机器学习的公平性根本不相容。其次，我们认为，政府承包的情况下提供了一个替代的基础算法公平性，因为这些情况下允许明确和定量的基于种族的补救措施的基础上的历史歧视的演员。第三，虽然这种理论方法有限，但它也指导着算法公平性的未来，要求调整必须根据实体对造成当今差异的历史歧视的责任进行校准。承包商的情况下提供了一个法律上可行的路径算法公平性在当前的宪法学说，但需要更多的研究在交叉点的算法公平性和因果推理，以确保偏见缓解量身定制的具体原因和机制的偏见。
2020-12-18 cs.CY cs.LG
Legally grounded fairness objectives
bristol.ac.uk（布里斯托尔大学）
最近的工作已经确定了一些形式上不兼容的操作措施的不公平的机器学习（ML）系统。由于这些衡量标准都反映了公平制度的直观可取方面，因此不可能选择“唯一真实”的衡量标准，相反，合理的方法是尽量减少衡量标准的加权组合。然而，这只是提出了如何选择权重的问题。在这里，我们制定了基于法律的公平目标（LGFO），它使用来自法律系统的信号来非任意地衡量特定程度的不公平的社会成本。LGFO是推定诉讼下的预期损害赔偿，可能会判给那些被错误分类的人，从这个意义上说，ML系统做出的决定与法院首选措施下做出的决定不同。值得注意的是，计算LGFO所需的两个量，法院对公平措施的偏好，以及预期的损害赔偿，是未知的，但定义明确，可以通过法律咨询来估计。此外，由于法律制度规定的损害赔偿是为了衡量和补偿不公平分类对个人造成的伤害，《地方政府平等办公室法》与社会对社会成本的估计密切相关。
2020-09-24 cs.CY cs.LG stat.ML
Compatibility of Fairness Metrics with EU Non-Discrimination Laws: Demographic Parity & Conditional Demographic Disparity
Hasselt University（哈塞尔特大学）；Université Catholique de Louvain（鲁汶大学）；University of Bologna（博洛尼亚大学）；University of Luxembourg（卢森堡大学）
本研究结合欧盟反歧视法律框架，通过CDD分析DP公平定义与法律反歧视概念的适配性，实验验证带公平约束的分类器可在降偏差的同时适配司法情境解释，为AI决策的法律公平性研究提供了初步依据。
2023-06-14 cs.CY cs.LG
Co-designing for Compliance: Multi-party Computation Protocols for Post-Market Fairness Monitoring in Algorithmic Hiring
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）；Leiden University（莱顿大学）；Universitat Pompeu Fabra（庞培法布拉大学）；InfoJobs；Ruhr University Bochum（波鸿鲁尔大学）；Radboud University（拉德堡德大学）
本文提出一种集成技术、法律和工业专家的协同设计方法，开发了一个符合法律的多方计算协议，用于算法招聘中的事后公平性监控，并在大规模工业环境中验证其有效性。
2026-05-07 cs.CR cs.CY
Facets of Disparate Impact: Evaluating Legally Consistent Bias in Machine Learning
Washington State University（华盛顿州立大学）
本文提出“客观公平指数”，在法律标准下结合边际收益与客观测试，用于区分机器学习中的歧视性测试与系统性差异，并在COMPAS等应用中验证其价值。
2025-05-08 cs.CY cs.LG
How May U.S. Courts Scrutinize Their Recidivism Risk Assessment Tools? Contextualizing AI Fairness Criteria on a Judicial Scrutiny-based Framework
本文通过法律研究揭示技术性AI公平标准与司法审查的关联及矛盾，提出整合美国法律审查概念与技术公平标准的新框架，并在欧盟、中国和印度情境化验证。
2025-05-26 cs.CY
Are Models Trained on Indian Legal Data Fair?
IIT Madras（印度理工学院马德拉斯分校）；IIIT Hyderabad（国际信息技术学院海得拉巴分校）；American Express（美国运通）
该研究聚焦印度法律AI的公平性问题，针对印地语法律文档训练的保释预测决策树模型，用人口均等性评估发现印度教徒与穆斯林群体间存在0.237的公平差异，呼吁关注印度语境下法律AI的偏见与公平研究。
2024-05-14 cs.CL cs.CY
It's complicated. The relationship of algorithmic fairness and non-discrimination provisions for high-risk systems in the EU AI Act
University Tübingen（图宾根大学）；CZS Institute for AI and Law Germany（德国人工智能与法律研究所）
本文探讨欧盟人工智能法案中高风险系统中算法公平与非歧视规定的相互关系，分析两者之间的联系及未来可能的互动。
2026-01-22 cs.AI cs.CY cs.LG
Beyond Incompatibility: Trade-offs between Mutually Exclusive Fairness Criteria in Machine Learning and Law
本文提出FAIM算法，在互斥的算法公平性标准间进行连续插值，使预测能部分满足加权公平条件，并探讨其在传统法律与新AI法规中的合规潜力。
2024-12-20 cs.CY
Algorithmic Unfairness through the Lens of EU Non-Discrimination Law: Or Why the Law is not a Decision Tree
Eindhoven University of Technology（埃因霍温理工大学）；Sciences Po Law School（巴黎政治学院法学院）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；University of Copenhagen（哥本哈根大学）
本文通过欧盟非歧视法视角分析算法不公的典型案例，揭示法律推理与算法公平性指标在规范假设上的差异及其局限，并为AI从业者和监管者提供启示。
2023-05-24 cs.AI cs.CY cs.LG
Rules, Cases, and Reasoning: Positivist Legal Theory as a Framework for Pluralistic AI Alignment
Oxford Martin AI Governance Initiative（牛津马丁人工智能治理倡议）
本文借鉴实证主义法律理论中规则与案例互动的机制，提出用 AI 生成案例来具体化抽象原则，以支持兼顾多元价值的民主 AI 对齐流程。
2024-10-28 cs.AI cs.CY
Multi-dimensional discrimination in Law and Machine Learning -- A comparative overview
L3S Research Center Hannover（汉诺威L3S研究中心）；Free University of Berlin（柏林自由大学）；Leibniz University of Hanover（莱布尼茨汉诺威大学）；Bundeswehr University Munich（慕尼黑联邦国防军大学）
人工智能驱动的决策可能会导致基于种族、性别或年龄等受保护特征/属性对某些个人或社会群体的歧视。公平感知机器学习领域专注于理解、减轻和解释AI/ML模型中的偏见的方法和算法。尽管如此，到目前为止，绝大多数提出的方法基于单个受保护的属性（例如，仅性别或种族）来评估公平性。然而，在现实中，人的身份是多方面的，歧视可能基于一个以上的受保护特征而发生，导致所谓的"多方面歧视“或”多方面公平“问题。虽然在法律文献中得到了充分阐述，但歧视的多层面性在机器学习界却较少探讨。最近在这方面的做法主要遵循法律领域的所谓交叉公平定义，而其他概念，如附加和顺序歧视，则研究较少或迄今未考虑。在这项工作中，我们概述了多维歧视/公平在法律领域的不同定义，以及他们如何被转移/操作（如果）在公平意识的机器学习域。通过并列这两个领域，我们得出的连接，确定的局限性，并指出开放的研究方向。
2023-02-12 cs.CY cs.LG
FairComp: Workshop on Fairness and Robustness in Machine Learning for Ubiquitous Computing
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；University of Cambridge（剑桥大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Aalborg University（奥尔堡大学）
FairComp研讨会聚焦泛在计算中机器学习公平性这一尚未充分探索的问题，从社会、技术和法律三个维度探讨伦理风险、偏见缓解方法及政策影响，以推动负责任的泛在计算研究社区建设。
2023-09-22 cs.CY cs.ET cs.LG
Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems
Cornell University（康奈尔大学）；Loyola University Maryland（洛约拉大学马里兰州）
研究探讨了大型科技公司如何在推荐系统中处理公平性，识别了技术团队与法律、数据团队在公平性工作中的挑战，并提出可行的实践建议。
2026-02-27 cs.AI cs.CY cs.HC
Achieving Socio-Economic Parity through the Lens of EU AI Act
本研究指出现有AI公平概念忽视社会经济地位（SES），提出社会经济平权（SEP）概念及度量，优化受SEP约束的模型以缓解偏见，并结合EU AI Act探讨其法律合规性。
2025-04-04 cs.CY
Rethinking Fairness: An Interdisciplinary Survey of Critiques of Hegemonic ML Fairness Approaches
Purdue University（普渡大学）
这篇调查文章评估和比较了当前对机器学习（ML）的公平性增强技术干预的现有批评，这些批评来自一系列非计算学科，包括哲学，女权主义研究，批判性种族和民族研究，法律研究，人类学和科学技术研究。它弥合了认识上的分歧，以提供对霸权计算方法的可能性和局限性的跨学科理解，以实现ML公平，为社会最边缘化的人产生公正的结果。本文根据九个主要的批评主题进行组织，其中这些不同的领域相互交叉：1）人工智能公平研究中的“公平”如何定义; 2）人工智能系统如何解决问题; 3）抽象对人工智能工具功能的影响及其导致技术解决方案的倾向; 4）种族分类如何在人工智能公平研究中运作; 5）使用人工智能公平措施来避免监管和进行道德清洗; 6）在人工智能公平考虑方面缺乏参与式设计和民主审议; 7）巩固“偏见”、非共识和缺乏透明度的数据汇集做法; 8）将边缘化群体掠夺性地纳入人工智能系统; 9）缺乏对人工智能长期社会和道德结果的参与。从这些批评中，文章最后设想了未来ML公平研究的方向，这些方向积极地破坏了社会中根深蒂固的权力动态和结构性不公正。
2022-05-06 cs.AI cs.CY cs.LG
Characterizing Intersectional Group Fairness with Worst-Case Comparisons
Fiddler Labs（菲德勒实验室）；Northeastern University（东北大学）
机器学习或人工智能算法由于其模仿和放大社会中现有偏见的倾向，近年来受到了相当多的关注。这导致了一个利基，但越来越多的工作，确定并试图修复这些偏见。使这些算法更公平的第一步是设计衡量不公平性的指标。这一领域的大多数现有工作要么涉及公平的二元观点（受保护群体与未受保护群体），要么涉及政治定义的类别（种族或性别）。这种分类忽略了交叉性的重要细微差别-在将不同类别的成员组合在一起的亚组中，偏见往往会被放大，特别是如果这样一个亚组在历史机会平台中的代表性特别不足。在本文中，我们讨论了为什么公平性指标需要在交叉性的镜头下看，确定现有的工作在交叉公平性，提出了一个简单的最坏情况下的比较方法，以扩大现有的组公平性指标的定义，将交叉性，并最终得出结论的社会，法律和政治框架，以处理交叉公平在现代背景下。
2022-05-04 cs.AI cs.CY cs.LG
The Role of Legal Frameworks in Shaping Ethical Artificial Intelligence Use in Corporate Governance
本文分析现行立法、行业标准与学术观点，评估企业AI治理法律框架的优劣，并提出以原则性监管结合行业指引促进透明、问责与公平的建议。
2025-03-17 cs.CY cs.HC
Can AI be Consentful?
Hugging Face
本文从法律与伦理角度剖析生成式AI中传统同意机制的失效，提出范围、时间性与自主性陷阱三大挑战及“同意缺口”概念，论证了演进同意框架以支撑负责任AI的必要性。
2025-06-27 cs.AI cs.CY
Explaining how your AI system is fair
AXA GO, AI Research（AXA GO 人工智能研究院）
为了以可持续的方式实现公平的机器学习，选择正确的公平目标是关键。由于公平是一个正义的概念，它有各种各样的定义，有时是相互冲突的，这不是一个微不足道的任务。人工智能（AI）系统最合适的公平定义是道德标准和法律要求的问题，正确的选择取决于特定的用例及其上下文。在这份立场文件中，我们建议使用一个决策树的手段来解释和证明实现的公平性的最终用户。这样的结构首先将支持人工智能从业者将道德原则映射到具体应用的公平定义，从而使选择成为一个简单透明的过程。然而，这种方法也有助于记录决策背后的推理。由于人工智能中公平性主题的普遍复杂性，我们认为为给定用例指定“公平性”是保持人工智能系统信心的最佳方法。在这种情况下，这可以通过与更广泛的受众分享决策过程中表达的理由和原则来实现。
2021-05-03 cs.AI cs.CY cs.LG
FairPFN: Transformers Can do Counterfactual Fairness
University of Freiburg（弗莱堡大学）；Zuse School ELIZA（楚塞ELIZA学院）；Charité（夏里特医学院）；ELLIS Institute Tübingen（蒂宾根ELLIS研究院）
本文提出 FairPFN，一种基于 ICL 与 PFN、用合成公平数据预训练的 Transformer，可无需真实因果模型而从观测数据中消除受保护属性的因果影响。
2024-07-08 cs.AI cs.CY cs.LG
"I will never pay for this" Perception of fairness and factors affecting behaviour on 'pay-or-ok' models
本研究通过焦点小组与法律分析，探究用户对cookie付费墙模式的公平感知及付费决策影响因素，指出其存在经济排斥、同意不符合GDPR要求的问题，并提出以用户为中心的优化建议。
2025-07-31 cs.CY
AI Fairness in Practice
本工作手册探讨基于情境和以社会为中心的方法，帮助项目团队在AI项目工作流中识别、缓解和管理不公平偏见与歧视，将AI公平性原则付诸实践。
2024-02-19 cs.AI cs.CY cs.HC
Fairness Certification for Natural Language Processing and Large Language Models
Leipzig University（莱比锡大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig（可扩展数据分析与人工智能中心（ScaDS.AI）德累斯顿/莱比锡）
本文针对自然语言处理和大型语言模型中的公平性问题，采用定性研究方法，通过文献回顾和专家访谈，系统提出了六项可细分为18个子类别的公平性标准，为公平性认证流程的操作化和测试奠定了基础。
2024-01-03 cs.AI cs.CL cs.CY
The four-fifths rule is not disparate impact: a woeful tale of epistemic trespassing in algorithmic fairness
Princeton Center for Information Technology Policy（普林斯顿信息技术政策中心）；Parity Technologies, Inc.（Parity科技公司）
计算机科学家被训练来创建简化和概括的抽象。然而，一个不成熟的抽象，忽略了关键的上下文细节，通过错误地断言其相关性到其他上下文，创造了认知侵入的风险。我们研究了负责任的人工智能领域是如何通过抽象五分之四规则（又名“五分之四规则”）来创造一个不完美的提喻的。4/5规则或80%规则），不同影响歧视法的单个部分，到不同影响度量中。这个度量错误地引入了一个新的道义上的细微差别和新的潜在的道德危害，而这些在最初的4/5规则中是不存在的。我们还调查了该领域如何将4/5规则编入流行的AI公平软件工具包中，从而放大了潜在的危害。对法律细微差别的有害消除是对计算机科学家的一个警钟，要求他们自我批判地重新评估他们创造和使用的抽象，特别是在人工智能伦理的跨学科领域。
2022-02-19 cs.AI cs.CY cs.LG
Secure and Confidential Certificates of Online Fairness
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Brave Software（Brave软件公司）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Imperial College London（伦敦帝国理工学院）
针对现有公平性认证缺乏可靠性与可扩展性的问题，本文提出在线公平性证书及零知识证明协议OATH，以保密方式验证模型对在线数据的群体公平性。
2025-10-27 cs.CY cs.LG
Integrating Psychometrics and Computing Perspectives on Bias and Fairness in Affective Computing: A Case Study of Automated Video Interviews
University of Colorado Boulder（科罗拉多大学博尔德分校）；Purdue University（普渡大学）
本文整合心理测量学与计算机视角，拓展人际沟通框架识别情感计算中的偏见来源，讨论公平性衡量方法及美国法律语境影响，并以视频面试多模态数据的人格与可雇佣性推断为案例展开验证，呼吁研究者与从业者重视公平性建设。
2023-05-04 cs.CY cs.LG
A Differentiable Distance Approximation for Fairer Image Classification
Monash University（莫纳什大学）；The University of Melbourne（墨尔本大学）
经过简单训练的AI模型可能存在严重的偏见。当偏见涉及种族背景、年龄或性别等受法律或道德保护的属性时，这可能特别成问题。这个问题的现有解决方案是以额外的计算为代价的，不稳定的对抗性优化或者在特征空间结构上有损失，这些特征空间结构与公平性度量无关，并且只能松散地概括为公平性。在这项工作中，我们提出了人口统计学方差的可微近似值，这是一种可用于衡量AI模型中的偏见或不公平性的度量标准。我们的近似可以与常规训练目标一起优化，这消除了在训练过程中对任何额外模型的需要，并直接提高了正则化模型的公平性。我们证明了我们的方法在不同的任务和数据集场景中提高了AI模型的公平性，同时仍然保持了高水平的分类准确性。代码可在https://bitbucket.org/nelliottrosa/base_fairness上获得。
2022-10-09 cs.CV cs.CY cs.LG
FairPFN: A Tabular Foundation Model for Causal Fairness
ELLIS Institute Tübingen（图宾根ELLIS研究所）；University of Freiburg（弗赖堡大学）；Prior Labs（Prior实验室）；Meta
针对因果公平方法依赖已知因果模型的问题，本文提出在合成因果公平数据上预训练的表格基础模型 FairPFN，可在无因果模型先验知识时识别并消除受保护属性的因果效应。
2025-06-08 cs.CY cs.LG
Fair Off-Policy Learning from Observational Data
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对离策略学习公平性研究不足的问题，提出基于神经网络的公平离策略学习框架，形式化多种公平概念、给出有限样本泛化界，经实验验证有效，可支撑公平性要求下的算法决策应用。
2023-10-09 cs.CY cs.LG
Post-Fair Federated Learning: Achieving Group and Community Fairness in Federated Learning via Post-processing
University of Notre Dame（圣母大学）
本文提出后处理公平联邦学习框架post-FFL，通过线性规划同时实现群体公平与社区公平，最大化全局模型效用，理论界定准确率损失，实验证明优于现有方法。
2024-05-28 cs.CY cs.LG
FairPrep: Promoting Data to a First-Class Citizen in Studies on Fairness-Enhancing Interventions
New York University（纽约大学）
将道德和法律合规纳入机器辅助决策的重要性得到了广泛认可。此外，最近的几项工作认为，如果我们不考虑模型训练和部署上游的生命周期阶段，就会错过提高数据质量和代表性、控制偏差以及允许人类监督和影响计算过程的关键机会。然而，迄今为止，为希望开发和部署负责任的机器学习方法的数据科学家提供系统级支持的工作很少。我们的目标是填补这一空白，目前FairPrep，公平性增强干预措施的设计和评估框架。FairPrep基于以开发人员为中心的设计，帮助数据科学家遵循软件工程和机器学习的最佳实践。作为我们的贡献的一部分，我们确定现有的实证研究中的不足之处，分析公平性增强的干预措施。然后，我们将展示如何使用FairPrep来衡量声音最佳实践的影响，例如超参数调整和功能缩放。特别是，我们的研究结果表明，在以前的研究中观察到的公平性增强干预措施的结果的高度可变性往往是缺乏超参数调整的伪像。此外，我们还表明，数据清理方法的选择可能会影响增强公平性干预措施的有效性。
2019-11-28 cs.CY cs.DB cs.LG
Fairness in Machine Learning
University of Pisa（比萨大学）；DeepMind（深度思维）
基于机器学习的系统正在广泛应用于社会和日常生活的许多方面。这一现象伴随着对采用这些技术可能产生的道德问题的担忧。ML公平性是机器学习最近建立的一个领域，它研究如何确保数据和模型不准确性中的偏见不会导致模型基于种族、性别、残疾和性或政治取向等特征对个人不利。在这篇手稿中，我们讨论了目前关于公平的推理和处理方法中存在的一些局限性，并描述了作者为解决这些问题所做的一些工作。更具体地说，我们展示了因果贝叶斯网络如何在推理和处理公平性方面发挥重要作用，特别是在复杂的不公平场景中。我们描述了如何最优运输理论可以用来开发的方法，施加约束的完整形状的分布对应于不同的敏感属性，克服了大多数方法的限制，近似公平desiderata施加约束的低阶矩或其他功能的分布。我们提出了一个统一的框架，包括方法，可以处理不同的设置和公平标准，并享有强有力的理论保证。我们介绍了一种学习公平表示的方法，可以推广到看不见的任务。最后，我们描述了一种技术，占敏感属性的使用的法律限制。
2020-12-31 cs.CY cs.LG stat.ML
"What We Can't Measure, We Can't Understand": Challenges to Demographic Data Procurement in the Pursuit of Fairness
Partnership on AI（人工智能伙伴关系）；Minnesota State University, Mankato（明尼苏达州立大学曼卡托分校）；Sony AI（索尼人工智能）
随着对公平和无偏见的算法系统的需求增加，在工业中致力于算法公平性的个人数量也在增加。然而，这些从业者往往无法获得他们认为需要的人口统计数据，以发现实践中的偏见。即使有越来越多的工具包和策略来实现算法公平性，它们几乎总是需要访问人口统计属性或代理。我们通过半结构化的访谈调查了这一困境，采访了38位从事算法公平性工作或与之相邻的从业者和专业人士。与会者描绘了一幅复杂的图景，说明人口数据的可用性和实际使用情况，从无法获得任何类型的个人数据到法律要求收集和使用人口数据进行歧视评估。在许多领域，人口数据汇集提出了一系列难题，包括如何平衡隐私和公平，如何定义相关的社会类别，如何确保有意义的同意，以及私营公司推断某人的人口统计数据是否合适。我们的研究提出了企业、监管机构、研究人员和社区团体必须考虑的挑战，以使从业者能够在实践中解决算法偏见。重要的是，我们并不建议未来工作的总体目标应该是简单地降低收集人口数据的障碍。相反，我们的研究提出了一系列规范性问题，即如何、何时以及是否应该获取这些数据，以及在不获取这些数据的情况下，还应该做些什么来减轻偏倚。
2021-01-23 cs.CY cs.LG
Privacy Constrained Fairness Estimation for Decision Trees
Department of Information and Computing Sciences, Utrecht（乌得勒支信息与计算科学系）；Responsible AI Team, Dutch Central Government Audit Service（荷兰中央政府审计服务责任AI团队）
本文研究了在决策树中结合差分隐私的公平性估计问题，提出了一种隐私感知的规则公平性估计方法，通过实验和理论分析证明该方法在可解释性较高的决策树上表现更优。
2023-12-13 cs.CR cs.CY cs.LG
