Algorithmic Unfairness through the Lens of EU Non-Discrimination Law: Or Why the Law is not a Decision Tree
Eindhoven University of Technology（埃因霍温理工大学）；Sciences Po Law School（巴黎政治学院法学院）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；University of Copenhagen（哥本哈根大学）
本文通过欧盟非歧视法视角分析算法不公的典型案例，揭示法律推理与算法公平性指标在规范假设上的差异及其局限，并为AI从业者和监管者提供启示。
2023-05-24 cs.AI cs.CY cs.LG
Tackling Algorithmic Disability Discrimination in the Hiring Process: An Ethical, Legal and Technical Analysis
解决针对残疾人的算法歧视需要一种独特的方法，这种方法与适用于其他受保护特征的方法根本不同，这是由于特定的道德，法律和技术挑战。我们特别在招聘过程中使用的人工智能（AI）系统（或自动化招聘系统，AHS）的背景下解决这些挑战，其中自动化评估程序受到独特的道德和法律考虑因素的影响，并对残疾人产生不可否认的不利影响。在本文中，我们讨论了人工智能驱动的招聘在残疾歧视方面提出的问题和机会。最终，我们的目标是鼓励对这一主题进行进一步的研究。因此，我们建立了一些起点，并为伦理学家、立法者、倡导者以及人工智能从业者设计了路线图。
2022-06-13 cs.CY
Strengthening legal protection against discrimination by algorithms and artificial intelligence
Radboud University（拉德堡德大学）
本文评估欧洲针对算法与AI歧视的现有法律保护，指出反歧视法和数据保护法的作用与应用缺陷，提出改进执行方案并主张制定分领域监管规则。
2025-10-03 cs.CY
It's complicated. The relationship of algorithmic fairness and non-discrimination provisions for high-risk systems in the EU AI Act
University Tübingen（图宾根大学）；CZS Institute for AI and Law Germany（德国人工智能与法律研究所）
本文探讨欧盟人工智能法案中高风险系统中算法公平与非歧视规定的相互关系，分析两者之间的联系及未来可能的互动。
2026-01-22 cs.AI cs.CY cs.LG
The Neutrality Fallacy: When Algorithmic Fairness Interventions are (Not) Positive Action
Eindhoven University of Technology（埃因霍温理工大学）；Sciences Po Law School（巴黎政治学院法学院）；Université Paris-Saclay（巴黎萨克雷大学）；University of Copenhagen（哥本哈根大学）；IEA-Paris（巴黎经济合作协会）
本文指出算法公平干预常被误判为积极行动，实为防歧视，并建议从消极“不伤害”转向积极“不造成伤害”的框架。
2024-04-18 cs.AI cs.CY
Algorithmic Discrimination: Formulation and Exploration in Deep Learning-based Face Biometrics
Universidad Autonoma de Madrid（马德里自治大学）；Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所）
最流行的人脸识别基准假设的主题分布没有太多的注意他们的人口统计属性。在这项工作中，我们进行了一个全面的歧视意识的实验深度学习为基础的人脸识别。本研究的主要目的是更好地理解深度模型生成的特征空间，以及在不同人口统计群体中实现的性能。我们还提出了一个一般的配方的算法歧视与人脸生物识别的应用。这些实验是在新的DiveFace数据库上进行的，该数据库由来自六个不同人口群体的24 K身份组成。在实验框架中考虑了两种流行的人脸识别模型：ResNet-50和VGG-Face。我们的实验表明，在流行的人脸数据库中高度代表的人口统计学群体导致了流行的预训练深度人脸模型，表现出强大的算法歧视。这种区分可以在深度模型的特征空间定性地观察到，也可以在将这些模型应用于不同的人口统计学群体（例如面部生物识别）时定量地观察到较大的性能差异。
2019-12-04 cs.CV cs.CY
An Introduction to Artificial Intelligence and Solutions to the Problems of Algorithmic Discrimination
BLDS, LLC（BLDS有限责任公司）
有大量证据表明，人工智能（AI）和机器学习（ML）算法可能会对少数民族、妇女和其他受保护阶层产生偏见。联邦和州法律已经颁布，以保护消费者在信贷，住房和就业方面免受歧视，监管机构和机构负责执行这些法律。此外，有法律确保消费者理解他们为什么被拒绝获得服务和产品，如消费贷款。在本文中，我们概述了使用算法和数据的潜在好处和风险，并特别关注公平性。虽然我们的观察概括到许多情况下，我们专注于消费信贷和平等信贷和机会法案的法律要求提出的公平性问题。我们提出了一种方法来评估算法公平性和最大限度地减少算法偏见，符合联邦和州反歧视法规的规定，禁止公开的，不同的待遇，特别是不同的影响歧视。我们认为，虽然AI和ML算法的使用增加了潜在的歧视风险，但这些风险是可以评估和减轻的，但这样做需要深入了解这些算法以及它们被使用的背景和领域。
2019-11-08 cs.CY cs.LG
Why Fair Automated Hiring Systems Breach EU Non-Discrimination Law
本文针对机器学习招聘系统中的算法歧视问题，辨析算法公平与算法非歧视的差异，并审视相关技术方案是否符合欧盟反歧视法。
2023-11-07 cs.CY
Algorithmic Fairness in Education
Cornell University（康奈尔大学）
数据驱动的预测模型越来越多地用于教育，以支持学生，教师和管理员。然而，人们担心这些算法系统的预测和使用的公平性。在这篇教育领域算法公平性的介绍中，我们与之前关于教育机会、偏见和歧视的文献进行了比较，并研究了算法系统的核心组成部分（测量、模型学习和行动），以确定开发和部署这些系统过程中的偏见和歧视来源。统计，相似性为基础的，和因果关系的公平概念进行审查和对比的方式，他们在教育环境中的应用。对教育技术的政策制定者和开发者的建议为如何促进教育中的算法公平性提供了指导。
2021-04-11 cs.AI cs.CY cs.LG
Towards a Flexible Framework for Algorithmic Fairness
越来越多的学者寻求整合法律和技术见解，以打击人工智能系统中的偏见。近年来，为保证算法决策系统的非歧视性，提出了许多不同的定义。在本文中，我们首先简要描述了涵盖算法歧视案件的欧盟法律框架。其次，我们提出了一个算法，利用最佳运输提供了一个灵活的框架，不同的公平性定义之间的插值。第三，我们表明，在现实世界的场景中实施算法公平性干预仍然存在重要的规范和法律挑战。总体而言，本文旨在促进寻求灵活的技术框架，可以适应不同的法律和规范的公平约束。
2020-10-15 cs.CY
Accounting for Model Uncertainty in Algorithmic Discrimination
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
在算法决策中确保群体公平性的传统方法旨在均衡群体中不同子群体的“总体”出错率。相比之下，我们认为，公平的方法，而不是只专注于均衡错误所产生的模型不确定性（又名认知的不确定性），造成由于缺乏知识的最佳模型或由于缺乏数据。换句话说，我们的建议要求忽略由于数据中固有的不确定性而发生的错误，即，任意的不确定性我们得出了预测的多重性和模型的不确定性之间的连接，并认为预测的多重性的技术可以用来识别由于模型的不确定性所造成的错误。我们提出了可扩展的凸代理来展示预测多样性的分类器，并根据经验表明，我们的方法在性能上具有可比性，并且比目前的状态快四个数量级。我们进一步提出了方法，以实现我们的目标，均衡组出错率，由于模型的不确定性，在算法决策，并证明这些方法的有效性，使用合成和真实的。世界数据集
2021-05-10 cs.CY cs.LG
Moving beyond harm. A critical review of how NLP research approaches discrimination
本文批判性综述NLP歧视研究，指出技术修复倾向和词汇局限，主张以“不公正”替代“伤害”以系统性理解并解决算法歧视问题。
2025-08-06 cs.CY
The Fair Lending Model: How the Longest-Running Algorithmic Fairness Programs Work in Practice
New York University（纽约大学）；Center for Democracy & Technology（民主与技术中心）；Upturn；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
通过35次半结构化访谈，首次实证揭示美国金融机构如何测试和缓解算法歧视，发现监管监督是合规工作的关键驱动因素，但具体实践因机构而异。
2026-06-16 cs.CY
On Algorithmic Fairness and the EU Regulations
本文基于欧盟法律、AI法规和GDPR，通过理论场景分析探讨了算法公平性与非歧视问题，证明了纠正AI歧视性偏见的合法性，并指出了潜在的法律违规情况，为AI工程合规研究提供了法律见解。
2024-12-21 cs.CY
Formalising Anti-Discrimination Law in Automated Decision Systems
针对现有机器学习公平性范式在法律适配性上的三类缺陷，本文提出基于英国反歧视法的决策论框架与“条件估计奇偶性”指标，结合真实案例验证了其在检测、缓解非法歧视上的作用，为相关从业者提供合规指导。
2025-06-17 cs.CY stat.ML
Unequal Uncertainty: Rethinking Algorithmic Interventions for Mitigating Discrimination from AI
University of Cambridge（剑桥大学）；Northumbria University（北umbria大学）；George Washington University（乔治华盛顿大学）；King’s College London（伦敦大学国王学院）
研究人工智能预测不确定性带来的法律伦理问题，通过对英国法律下基于不确定性的算法干预（选择性弃权和选择性摩擦）进行教义分析及案例研究，发现不确定性阈值有歧视性影响，认为选择性摩擦在法律上更优，还探讨其对决策质量的影响及条件。
2026-07-08 cs.CY cs.HC cs.LG
Private Again: Artificial Intelligence Agents Restore Anonymity---Foreclosing Discrimination and Its Proof
Avyayam Holdings；Lee Kong Chian School of Business, Singapore Management University（新加坡管理大学李光前商学院）
研究人工智能代理恢复匿名性以消除歧视及证据问题，核心方法是代理介导交易使歧视缺乏输入信息与证据，主要贡献是促使法律将代理介导匿名性作为民权基础设施管理，应对相关挑战。
2026-08-11 cs.CY
An Empirical Analysis of Racial Categories in the Algorithmic Fairness Literature
通过对FAccT上60篇论文的内容分析，研究了算法公平性文献中种族类别的概念化与操作化，发现其建构受法律框架与计算机科学价值观共同影响，且普遍缺乏正当理由，具有重大社会政治后果。
2023-09-12 cs.CY
Discrimination, intelligence artificielle et decisions algorithmiques
Institut des sciences informatiques et de l'information, Université de Radboud（鲁汶大学信息科学研究所）；Institut du droit de l'information, Université d’Amsterdam（阿姆斯特丹大学信息法研究所）
本文介绍一项由欧洲委员会反歧视部委托的研究，分析算法决策及其他AI应用可能嵌入并延续偏见与歧视的风险。
2025-10-20 cs.CY
Algorithmic UDAP
Columbia University（哥伦比亚大学）；Barnard College（巴纳德学院）；NYU（纽约大学）
本文探讨了UDAP与DI在算法歧视评估中的不同作用，指出UDAP引入了新的分析要素，但其应用面临监管指导不足的问题。
2025-12-18 cs.CY
Eliminating Latent Discrimination: Train Then Mask
Yale University（耶鲁大学）；Yale Institute for Network Science（耶鲁网络科学研究所）；School of Management（管理学院）
我们如何控制预测模型中的潜在歧视？我们怎样才能证明可以去除它？这些问题是算法公平性及其对社会影响的核心。在本文中，我们定义了一个新的操作公平性标准，在统计学和计量经济学中的省略变量偏差的概念的启发。我们的公平性概念有效地控制了敏感功能，并为偏离公平决策提供了诊断。然后，我们建立了一个公平的分类器的存在，在监督学习的上下文中的分析和算法的结果。我们的结果很容易暗示一种简单但反直觉的消除潜在歧视的策略。为了防止其他特征取代敏感特征，我们需要在训练阶段包含敏感特征，但在测试/评估阶段排除它们，同时控制它们的影响。我们评估了我们的算法在几个真实世界的数据集上的性能，并展示了如何在精度损失很小的情况下提高这些数据集的公平性。
2019-02-21 cs.CY cs.LG stat.ML
Matching Code and Law: Achieving Algorithmic Fairness with Optimal Transport
越来越多的算法歧视被视为一个社会和法律问题。作为响应，在文献中已经开发了用于在机器学习中实现算法公平性的许多标准。本文提出了连续公平算法（CFA $θ$），使不同的公平性定义之间的连续插值。更具体地说，我们对现有文献做出了三个主要贡献。首先，我们的方法允许决策者在个人和群体公平的具体概念之间不断变化。因此，该算法使决策者能够在算法过程中编码的歧视程度上采用中间的“世界观”，为文献中迄今为止提出的“我们都是平等的”（WAE）和“你所看到的就是你所得到的”（WYSIWYG）的极端情况添加细微差别。其次，我们使用最优运输理论，特别是重心的概念，最大限度地提高决策者的效用下选择的公平约束。第三，该算法能够处理交叉性的情况，即，根据若干标准对某些群体进行多方面歧视。我们讨论了三个主要的例子（信贷申请;大学录取;保险合同），并绘制出我们的方法的法律和政策含义。个人和群体公平之间的权衡的明确形式化允许这种后处理方法被定制为不同的情境上下文，其中一个或另一个公平标准可能优先。最后，我们对我们的模型进行了实验评估。
2019-09-24 cs.CY stat.ML
Does everyone have a price? Understanding people's attitude towards online and offline price discrimination
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
本研究通过两项荷兰代表性消费者调查，发现绝大多数人认为在线价格歧视不公平且应被禁止，并分析了人们对多种价格歧视策略反感的原因。
2025-10-09 cs.CY
Underrepresentation, Label Bias, and Proxies: Towards Data Bias Profiles for the EU AI Act and Beyond
University of Padova（帕多瓦大学）；IBM Research Europe（IBM欧洲研究院）；University of Trieste（特伦蒂诺大学）；MPI-SP（马克斯·普朗克研究所）
本文研究了代表性不足、标签偏差和代理变量三种数据偏差对算法歧视的影响，提出了数据偏差画像（DBP）来系统检测和记录偏差信号，为预测歧视风险和公平性干预提供了数据驱动的计算框架。
2025-07-09 cs.CY cs.LG stat.ML
Fairness in Deep Learning: A Computational Perspective
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）；Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯农工大学工业与系统工程系）
深度学习越来越多地用于影响个人生活的高风险决策应用程序。然而，深度学习模型可能会表现出对受保护群体的算法歧视行为，可能会对个人和社会造成负面影响。因此，深度学习中的公平性最近引起了极大的关注。我们提供了一个综述，涵盖了最近的进展，以解决算法公平性问题的深度学习从计算的角度来看。具体来说，我们表明，可解释性可以作为一个有用的成分，诊断导致算法歧视的原因。我们还讨论了根据深度学习生命周期的三个阶段分类的公平性缓解方法，旨在推进深度学习的公平性领域，构建真正公平可靠的深度学习系统。
2020-03-19 cs.AI cs.CY cs.LG
A Sociotechnical View of Algorithmic Fairness
University of Zurich（苏黎世大学）；LMU Munich（慕尼黑大学）
算法公平性被定义为一种新兴的技术，它可以减轻自动决策中的系统性歧视，为改善信息系统（IS）的公平性提供了机会。然而，基于国家的最先进的文献综述，我们认为，公平是一个固有的社会概念和技术的算法公平性，因此应通过社会技术的镜头。我们推进算法公平性作为一种社会技术现象的话语。我们的研究目标是嵌入AF的社会技术观点的IS。具体来说，我们详细说明了为什么使用算法手段来确保公平的系统的结果取决于技术和社会结构之间的相互影响。这种观点可以产生新的见解，整合来自技术领域和社会研究的知识。此外，它还为IS辩论提出了新的方向。我们的贡献如下：首先，我们质疑的基本假设，在当前的话语算法公平性的基础上，系统地分析了310篇文章。其次，我们回应这些假设的理论算法公平性作为一个社会技术的建设。第三，我们提出的方向是研究人员，以提高他们的影响，追求独特的理解社会技术算法公平性。我们呼吁并采取整体方法来解决AF。从社会技术的角度看待算法公平性可以为系统性偏见和歧视提供整体解决方案。
2021-09-27 cs.CY cs.LG stat.ML
Developing a Philosophical Framework for Fair Machine Learning: Lessons From The Case of Algorithmic Collusion
Carnegie Mellon University（卡内基梅隆大学）
本文以算法共谋影响全体消费者的市场公平问题为例，提出将形式化公平指标与明确范围的规范性原则相结合的伦理框架，以弥补现有公平机器学习研究主要关注歧视性分类的不足。
2023-09-27 cs.CY cs.LG
Black Loans Matter: Distributionally Robust Fairness for Fighting Subgroup Discrimination
当今贷款的算法公平性依赖于用于监测受保护群体之间统计平等的群体公平性指标。这种方法很容易受到代理人的分组歧视，给贷款人带来法律和声誉损害的重大风险，并对借款人造成明显的不公平结果。实际的挑战来自许多可能的组合和保护基团的子集。我们在美国历史和残余种族主义的背景下激发了这个问题，污染了所有可用的训练数据，并提高了公众对算法偏见的敏感性。我们回顾了目前的监管合规协议的公平贷款，并讨论其局限性相对于国家的最先进的公平的方法可能提供的贡献。我们提出了一个解决子群歧视的解决方案，同时坚持现有的组公平性的要求，从最近的发展，在个人的公平性方法和相应的公平度量学习算法。
2020-11-27 cs.CY
An Outcome Test of Discrimination for Ranked Lists
本文扩展了贝克尔（1957）的结果测试的歧视设置（人类或算法）决策者产生的候选人的排名列表。排名列表在产生搜索结果或提要的在线平台的上下文中特别相关，并且当人类决策者表达对候选人列表的顺序偏好时也会出现。我们表明，非歧视意味着一个系统的时刻不平等，这直观地施加，一个不能置换的位置，排名较低的候选人从一组与排名较高的候选人从第二组和系统地提高目标。此外，我们表明，这些时刻的不平等是唯一可检验的影响，非歧视时，审计师只观察结果和组成员的排名。我们展示了如何在统计上测试隐含的不等式，并使用LinkedIn的数据在应用程序中验证我们的方法。
2021-11-15 cs.CY econ.EM
Equalizing Credit Opportunity in Algorithms: Aligning Algorithmic Fairness Research with U.S. Fair Lending Regulation
Brown University（布朗大学）；Arthur AI（亚瑟人工智能）
信贷是美国金融福利的重要组成部分，而获得信贷的不平等是当今人口群体之间经济差距的一个重要因素。如今，机器学习算法，有时是在替代数据上进行训练，正越来越多地被用于确定信贷的获得，但研究表明，机器学习可以编码许多不同版本的“不公平”，从而引起了人们的担忧，即银行和其他金融机构可能-可能无意中-通过使用这种技术从事非法歧视。在美国，有法律确保在贷款和负责执行这些法律的机构中不会发生歧视。然而，在计算机科学和政策领域，围绕公平信用模型的讨论往往是不一致的：公平机器学习研究往往缺乏针对现有公平贷款政策的法律和实践考虑，监管机构尚未就信用风险模型应如何利用研究界的实践和技术发布新的指导。本文旨在更好地协调对话的这些方面。我们描述了美国信贷歧视监管的现状，将公平机器学习研究的结果结合起来，以确定在贷款中使用机器学习所引起的具体公平性问题，并讨论解决这些问题的监管机会。
2022-10-05 cs.CY cs.LG
Affirmative Algorithms: The Legal Grounds for Fairness as Awareness
Stanford University（斯坦福大学）；Stanford Institute for Economic Policy Research（斯坦福经济政策研究所）；Stanford Institute for Human-Centered Artificial Intelligence（斯坦福以人为本人工智能研究所）；Partnership on AI（人工智能伙伴关系）
虽然对算法公平性进行了一系列研究，但人们较少认识到的是，现代反歧视法可能会禁止采用此类技术。我们做了三个贡献。首先，我们讨论这种方法如何可能被视为“算法平权行动”，构成严重的法律风险，违反平等保护，特别是在高等教育的判例。这类案件越来越倾向于反分类，要求“个性化考虑”，并禁止无论出于何种目的对种族进行正式的定量加权。因此，这种判例法与机器学习的公平性根本不相容。其次，我们认为，政府承包的情况下提供了一个替代的基础算法公平性，因为这些情况下允许明确和定量的基于种族的补救措施的基础上的历史歧视的演员。第三，虽然这种理论方法有限，但它也指导着算法公平性的未来，要求调整必须根据实体对造成当今差异的历史歧视的责任进行校准。承包商的情况下提供了一个法律上可行的路径算法公平性在当前的宪法学说，但需要更多的研究在交叉点的算法公平性和因果推理，以确保偏见缓解量身定制的具体原因和机制的偏见。
2020-12-18 cs.CY cs.LG
Demographic-Reliant Algorithmic Fairness: Characterizing the Risks of Demographic Data Collection in the Pursuit of Fairness
Partnership on AI（人工智能合作伙伴组织）
大多数提出的算法公平性技术需要访问关于“敏感属性”或“受保护类别”（例如种族、民族、性别或性取向）的数据，以便跨组进行性能比较和分类，然而，这些数据在实践中基本上不可用，这阻碍了算法公平性的广泛采用。通过这篇论文，我们考虑了收集更多人口统计数据的呼吁，以实现算法公平性，并挑战歧视可以通过足够聪明的技术方法和足够的数据来克服的概念。我们展示了这些技术如何在为了更公平的算法处理而对个人进行分类时，在很大程度上忽略了数据治理和系统压迫等更广泛的问题。在这项工作中，我们探索在什么条件下，人口统计数据应该被收集和使用，使算法公平性的方法，通过表征一系列的社会风险，以个人和社区。对于个人风险，我们考虑了与共享敏感属性相关的独特隐私风险，这些敏感属性可能是公平分析的目标，在数据汇集过程中错误分类和歪曲个人可能造成的危害，以及超出数据主体预期的敏感数据使用。从更广泛的角度来看，整个群体和社区面临的风险包括以公平的名义扩大监视基础设施，歪曲和歪曲成为人口群体的一部分或持有某种身份的含义，以及放弃自己定义什么是偏见或不公平待遇的能力。我们认为，通过在收集人口统计数据之前和期间面对这些问题，算法公平性方法更有可能在不加强压迫系统的情况下实际减轻有害的待遇差异。
2022-05-04 cs.AI cs.CY
The epistemic dimension of algorithmic fairness: assessing its impact in innovation diffusion and fair policy making
本文通过扩展线性阈值模型（LTM）形式化社会环境的认识论属性，研究可信度偏差对创新扩散的影响，揭示认识论维度在算法公平性决策中的关键作用。
2025-06-03 cs.CY cs.SI
Fairness and Explainability in Automatic Decision-Making Systems. A challenge for computer science and law
CNRS-IRISSO（法国国家科学研究中心-信息系统与决策科学研究所）；PSL（巴黎文理研究大学）；Université Paris Dauphine（巴黎多芬大学）；CR2D（法律与决策研究中心）；CNRS-LAMSADE（法国国家科学研究中心-决策数学与计算机科学实验室）
本文提供了一个跨学科的结构分析自动算法决策的公平性问题的贡献。第1节表明，监督学习中的技术选择具有需要考虑的社会影响。第2节提出了一种处理非故意群体歧视问题的背景方法，即表面上中立但对社会群体产生不成比例影响的决策规则（例如，性别、种族或民族）。背景化将侧重于美国和欧洲的法律制度。特别是，立法和判例法往往促进大西洋两岸不同的公平标准。第3节专门讨论算法决定的可解释性;它将面对并试图交叉引用法律概念（在欧洲和法国法律中）与技术概念，并将突出与算法决定的可解释性有关的欧洲和法国法律文本的多元性，甚至是多义性。结论为进一步的研究提出了方向。
2022-05-14 cs.AI cs.CY
Measuring Model-Induced Discrimination via Efficient Fairness Approximation
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Department of Mathematics, National University of Singapore（新加坡国立大学数学系）
提出基于流形视角的公平度量HFM，利用集合间距离评估分类器歧视，并设计近似算法ApproxDist提高计算效率，实验表明其兼顾个体与群体公平。
2026-06-23 cs.CY cs.LG
Discrimination through Image Selection by Job Advertisers on Facebook
本研究揭示Facebook招聘广告商可通过选择性使用特定人口统计特征人群的广告图像，结合平台投放算法的偏差放大实施歧视，并验证了该现象的普遍性，最后探讨了应对方法与挑战。
2023-06-13 cs.CY
European Union regulations on algorithmic decision-making and a "right to explanation"
Oxford Internet Institute（牛津互联网研究所）；University of Oxford（牛津大学）
我们总结了欧盟新的《通用数据保护条例》将对机器学习算法的日常使用产生的潜在影响。预计将于2018年在欧盟范围内生效，它将限制自动化的个人决策（即基于用户级预测因素做出决策的算法），这些决策会“显著影响”用户。该法律还将有效地创造一个“解释权”，用户可以要求解释关于他们的算法决定。我们认为，虽然这项法律将对行业带来巨大的挑战，但它突出了计算机科学家在设计算法和评估框架方面发挥带头作用的机会，这些算法和评估框架可以避免歧视并实现解释。
2016-08-31 cs.CY cs.LG stat.ML
Active Fairness in Algorithmic Decision Making
MIT（麻省理工学院）
社会越来越依赖于机器学习模型来进行自动化决策。然而，自动化带来的效率提升伴随着对算法歧视的担忧，这种歧视可能会使不平等现象系统化。最近的工作提出了最佳的后处理方法，随机分类决策的一小部分个人，以实现公平的措施有关的奇偶性错误和校准。然而，这些方法引起了人们的关注，由于信息效率低下，组内的不公平性，和帕累托次优，它们所带来的。目前的工作提出了一种替代的主动框架，公平的分类，其中，在部署中，决策者自适应地获取信息，根据不同的群体或个人的需要，对平衡的差异分类性能。我们提出了两种这样的方法，其中信息收集是适应组和个人层面的需求分别。我们在现实世界的数据集上展示了这些可以实现的：1）校准和单错误奇偶校验（例如，机会均等）;以及2）假阳性率和假阴性率的均等（即，等赔率）。此外，我们表明，通过利用其额外的自由度，主动方法可以大大优于先前认为最佳的基于随机化的分类器，同时避免组内不公平等限制。
2018-11-07 cs.AI cs.CY cs.LG
The four-fifths rule is not disparate impact: a woeful tale of epistemic trespassing in algorithmic fairness
Princeton Center for Information Technology Policy（普林斯顿信息技术政策中心）；Parity Technologies, Inc.（Parity科技公司）
计算机科学家被训练来创建简化和概括的抽象。然而，一个不成熟的抽象，忽略了关键的上下文细节，通过错误地断言其相关性到其他上下文，创造了认知侵入的风险。我们研究了负责任的人工智能领域是如何通过抽象五分之四规则（又名“五分之四规则”）来创造一个不完美的提喻的。4/5规则或80%规则），不同影响歧视法的单个部分，到不同影响度量中。这个度量错误地引入了一个新的道义上的细微差别和新的潜在的道德危害，而这些在最初的4/5规则中是不存在的。我们还调查了该领域如何将4/5规则编入流行的AI公平软件工具包中，从而放大了潜在的危害。对法律细微差别的有害消除是对计算机科学家的一个警钟，要求他们自我批判地重新评估他们创造和使用的抽象，特别是在人工智能伦理的跨学科领域。
2022-02-19 cs.AI cs.CY cs.LG
On the Privacy Risks of Algorithmic Fairness
National University of Singapore (NUS)（新加坡国立大学）
数学公平性和隐私性是值得信赖的机器学习的重要支柱。公平的机器学习旨在最大限度地减少对受保护群体的歧视，例如，对模型施加约束，以使不同群体的行为平等。这可能会以不成比例的方式改变训练数据点对公平模型的影响。我们研究了这如何改变模型关于其训练数据的信息泄漏。我们分析了群体公平的隐私风险（例如，均衡的几率）通过成员推断攻击的镜头：推断数据点是否用于训练模型。我们表明，公平性是以隐私为代价的，而这种代价并不是平均分布的：公平模型的信息泄漏在无特权的子组上显着增加，这是我们需要公平学习的子组。我们发现，训练数据越有偏见，实现公平的非特权子群的隐私成本将越高。我们为一般的机器学习算法提供了全面的实证分析。
2021-04-07 cs.CR cs.CY cs.LG
A Unified Approach to Quantifying Algorithmic Unfairness: Measuring Individual & Group Unfairness via Inequality Indices
MPI-SWS（马克斯·普朗克软件系统研究所）；ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
通过算法决策的歧视已经受到了相当大的关注。以前的工作主要集中在定义公平的条件，但没有定义令人满意的措施算法的不公平。在本文中，我们专注于以下问题：给定两个不公平的算法，我们应该如何确定这两个更不公平？我们的核心思想是使用经济学中现有的不平等指数来衡量算法的结果如何不平等地使人口中的不同个体或群体受益。我们的工作提供了一个合理的和一般的框架来比较和对比算法预测的（不）公平性。这种统一的方法使我们能够量化个人和群体层面的不公平。此外，我们的工作揭示了不同公平概念之间被忽视的权衡：使用我们提出的措施，算法的整体个人层面的不公平可以分解为组间和组内组件。早期的方法通常是为了解决群体之间的不公平，这可能是合理的法律或其他原因。然而，我们证明，最大限度地减少组间组件，事实上，增加组内，因此整体的不公平。我们的特点和说明我们的措施（不）公平和预测精度之间的权衡。
2018-07-02 cs.CY cs.LG stat.ML
Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs
Stanford University（斯坦福大学）；Cornell Tech（康奈尔科技）
本文提出在特定语境下对群体进行差异感知对算法公平性至关重要，构建了包含8种场景1.6万问题的基准套件，并在10个模型上验证了差异感知是公平性的独立维度，现有偏见缓解策略可能适得其反。
2025-08-11 cs.CL cs.CY
Individual Fairness under Uncertainty
Florida International University（佛罗里达国际大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Mississippi（密西西比大学）；National Institutes of Health（美国国立卫生研究院）
针对类别标签审查导致的不确定性，本文提出无需 Lipschitz 条件的排序视角个体公平性度量与算法，并在四个真实数据集上验证其兼顾预测性能与降低歧视的优势。
2023-12-11 cs.AI cs.CY cs.LG
How Platform-User Power Relations Shape Algorithmic Accountability: A Case Study of Instant Loan Platforms and Financially Stressed Users in India
University of Michigan（密歇根大学）；Google Research（谷歌研究院）
问责制是负责任的人工智能的必要条件，可以通过审计和可解释性等透明度机制来促进。然而，先前的工作表明，这些机制的成功可能仅限于全球北方的背景下，了解目前的干预措施在不同的社会政治条件下的局限性是至关重要的，以帮助决策者促进更广泛的问责制。为此，我们研究了在全球南方环境中脆弱用户与“高风险”人工智能系统之间现有交互中的问责调解。我们报告了一项定性研究，其中有29名印度即时贷款平台的财务压力用户。我们发现，用户对即时贷款的“恩惠”产生了强烈的负债感，并对贷款平台承担了巨大的义务。用户通过接受苛刻的条款和条件、过度共享敏感数据以及向未知和未经验证的贷款人支付高额费用来履行义务。用户表现出对贷款平台的依赖，尽管存在滥用、重复债务、歧视、隐私损害和自我伤害等伤害风险，但仍坚持这种行为。用户没有对贷款平台感到愤怒，而是为他们的负面体验承担责任，从而使强大的贷款平台免于承担责任。我们认为，问责制是由平台-用户权力关系塑造的，并敦促政策制定者在采用纯技术方法来促进算法问责制时保持谨慎。相反，我们呼吁定位干预，增强用户的代理，实现有意义的透明度，重新配置设计者-用户关系，并促使从业者对更广泛的问责制进行批判性反思。最后，我们总结了在印度及其他地区的金融科技应用中负责任地部署人工智能的影响。
2022-05-11 cs.AI cs.CY cs.HC
Human Perceptions of Fairness in Algorithmic Decision Making: A Case Study of Criminal Risk Prediction
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）；University of Maryland（马里兰大学）；Cambridge University（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
随着算法越来越多地用于做出影响人类生活的重要决策，从社会福利分配到预测犯罪累犯风险，人们对算法决策的公平性提出了担忧。大多数关于算法公平性的先前作品规范性地规定了应该如何做出公平的决定。相比之下，在这里，我们连续调查用户如何感知和推理算法决策的公平性。这项工作的一个关键贡献是我们提出的框架，以了解为什么人们认为某些功能是公平或不公平的算法中使用。我们的框架确定了八个属性的功能，如相关性，意志性和可靠性，作为潜在的考虑因素，告知人们的道德判断的公平性的功能使用决策算法。我们通过对576人进行的一系列基于ESTA的调查来验证我们的框架。我们发现，基于一个人对我们示例场景中某个特征的八个潜在属性的评估，我们可以准确地（> 85%）预测这个人是否会认为该特征的使用是公平的。我们的发现具有重要意义。在高层次上，我们表明，人们的不公平的关注是多方面的，并认为未来的研究需要解决歧视以外的不公平的关注。在低层次上，我们发现人们对公平性的判断存在相当大的分歧。我们找出分歧的根源，并指出解决这些分歧的可能途径。
2018-02-26 cs.CY cs.LG stat.ML
Social Norm Bias: Residual Harms of Fairness-Aware Algorithms
California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
许多现代机器学习算法通过在与性别或种族等敏感属性相关的粗略定义的群体中实施公平约束来减轻偏见。然而，这些算法很少考虑组内异质性和偏见，可能会不成比例地影响一个组的一些成员。在这项工作中，我们的特点社会规范偏差（SNoB），一个微妙的，但后果类型的算法歧视，可能会表现出的机器学习模型，即使这些系统实现组公平的目标。我们通过职业分类中的性别偏见来研究这个问题。我们通过测量算法的预测如何与推断的性别规范一致性相关联来量化SNoB。当预测一个人是否属于男性主导的职业时，这个框架表明，“公平”分类器仍然倾向于以符合推断的男性规范的方式撰写的传记。我们比较了算法公平性方法之间的SNoB，并表明它通常是一个残余偏差，后处理方法根本不能减轻这种类型的偏差。
2022-08-10 cs.AI cs.CY cs.LG
Fairness in AI: challenges in bridging the gap between algorithms and law
本文从法律视角研究算法公平性，通过梳理欧美反歧视法、介绍公平性定义及选择标准，提出在现实AI系统中采用公平性方法的关键考虑与最佳实践。
2024-04-30 cs.CY
"What We Can't Measure, We Can't Understand": Challenges to Demographic Data Procurement in the Pursuit of Fairness
Partnership on AI（人工智能伙伴关系）；Minnesota State University, Mankato（明尼苏达州立大学曼卡托分校）；Sony AI（索尼人工智能）
随着对公平和无偏见的算法系统的需求增加，在工业中致力于算法公平性的个人数量也在增加。然而，这些从业者往往无法获得他们认为需要的人口统计数据，以发现实践中的偏见。即使有越来越多的工具包和策略来实现算法公平性，它们几乎总是需要访问人口统计属性或代理。我们通过半结构化的访谈调查了这一困境，采访了38位从事算法公平性工作或与之相邻的从业者和专业人士。与会者描绘了一幅复杂的图景，说明人口数据的可用性和实际使用情况，从无法获得任何类型的个人数据到法律要求收集和使用人口数据进行歧视评估。在许多领域，人口数据汇集提出了一系列难题，包括如何平衡隐私和公平，如何定义相关的社会类别，如何确保有意义的同意，以及私营公司推断某人的人口统计数据是否合适。我们的研究提出了企业、监管机构、研究人员和社区团体必须考虑的挑战，以使从业者能够在实践中解决算法偏见。重要的是，我们并不建议未来工作的总体目标应该是简单地降低收集人口数据的障碍。相反，我们的研究提出了一系列规范性问题，即如何、何时以及是否应该获取这些数据，以及在不获取这些数据的情况下，还应该做些什么来减轻偏倚。
2021-01-23 cs.CY cs.LG
Laissez-Faire Harms: Algorithmic Biases in Generative Language Models
Young Data Scientists League（年轻数据科学家联盟）；Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Schar School of Policy and Government & Department of Computer Science（政策与政府学院及计算机科学系）；George Mason University（乔治·马歇尔大学）
研究通过开放性提示分析生成语言模型的偏见，发现五种主流模型对少数族裔、性别和性取向群体存在排除、从属和刻板印象的伤害，强调需保护消费者免受语言模型歧视性影响。
2024-04-16 cs.AI cs.CL cs.CY
Reconsidering Fairness Through Unawareness From the Perspective of Model Multiplicity
University of Tübingen（图宾根大学）；ELLIS Alicante Foundation（阿利坎特基金会）
本文从模型多样性的角度重新审视通过无意识实现的公平性，证明其能减少算法歧视而不降低准确性，并强调在高风险场景中使用受保护属性需有充分正当理由。
2025-08-25 cs.CY cs.LG stat.ML
Flexible Group Fairness Metrics for Survival Analysis
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；Ludwig-Maximilians-Universität München（慕尼黑大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）；Chalmers Technical University（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Leibniz Institute for Prevention Research and Epidemiology - BIPS GmbH（莱布尼茨预防研究与流行病学研究所-BIPS有限公司）；Birla Institute of Technology and Science（贝拉理工学院）
算法公平性是一个越来越重要的领域，涉及检测和减轻机器学习模型中的偏差。在回归和分类中有大量关于算法公平性的文献，但是对于生存分析领域的探索很少。生存分析是一项预测任务，其中试图预测事件随时间发生的概率。生存预测在敏感环境中尤其重要，例如在利用机器学习进行患者诊断和预后时。在本文中，我们将探讨如何利用现有的生存指标来衡量偏见与群体公平性指标。我们用29个生存数据集和8个指标进行了实证实验。我们发现，措施的歧视是能够捕捉偏见以及校准和评分规则的措施，而不太清楚。我们建议进一步的研究领域，包括基于预测的公平性指标的分布预测。
2022-07-22 cs.CY cs.LG stat.AP
