Human Perceptions of Fairness in Algorithmic Decision Making: A Case Study of Criminal Risk Prediction
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）；University of Maryland（马里兰大学）；Cambridge University（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
随着算法越来越多地用于做出影响人类生活的重要决策，从社会福利分配到预测犯罪累犯风险，人们对算法决策的公平性提出了担忧。大多数关于算法公平性的先前作品规范性地规定了应该如何做出公平的决定。相比之下，在这里，我们连续调查用户如何感知和推理算法决策的公平性。这项工作的一个关键贡献是我们提出的框架，以了解为什么人们认为某些功能是公平或不公平的算法中使用。我们的框架确定了八个属性的功能，如相关性，意志性和可靠性，作为潜在的考虑因素，告知人们的道德判断的公平性的功能使用决策算法。我们通过对576人进行的一系列基于ESTA的调查来验证我们的框架。我们发现，基于一个人对我们示例场景中某个特征的八个潜在属性的评估，我们可以准确地（> 85%）预测这个人是否会认为该特征的使用是公平的。我们的发现具有重要意义。在高层次上，我们表明，人们的不公平的关注是多方面的，并认为未来的研究需要解决歧视以外的不公平的关注。在低层次上，我们发现人们对公平性的判断存在相当大的分歧。我们找出分歧的根源，并指出解决这些分歧的可能途径。
2018-02-26 cs.CY cs.LG stat.ML
Price discrimination, algorithmic decision-making, and European non-discrimination law
Radboud University（拉德堡德大学）；iHub, Radboud University（iHub，拉德堡德大学）；Institute for Computing and Information Sciences (iCIS), Radboud University Nijmegen（计算与信息科学研究所（iCIS），奈梅亨拉德堡德大学）
本文以在线价格差异化为例，分析算法决策导致间接歧视的机制，并评估欧洲反歧视法在保护个人方面的作用与适用局限。
2025-09-28 cs.CY
Algorithmic Fairness in AI Surrogates for End-of-Life Decision-Making
The Department of Computing & Software Systems University of Washington Bothell Harborview Medical Center, UW Medicine（计算与软件系统系华盛顿大学Bothell分校哈佛湾医疗中心，华盛顿大学医学部）
针对临终决策 AI 替代者，本文将主要公平概念映射到现实临终场景并跨道德传统考察，提出公平应包含道德代表性及对患者价值观、关系与世界观的忠实。
2025-10-16 cs.AI cs.CY cs.LG
How do "technical" design-choices made when building algorithmic decision-making tools for criminal justice authorities create constitutional dangers? Part II
这篇由两部分组成的论文认为，基于机器学习的算法工具的开发人员所做的看似“技术性”的选择可能会造成严重的宪法危险，增加滥用决策权的可能性以及不公正的范围和程度。利用正在使用或最近使用的三种算法工具来评估个人所构成的“风险”，以告知刑事司法当局应该如何对待他们，我们整合了数据科学和公法奖学金的见解，以展示公法原则和植根于这些原则的更具体的法律义务如何在算法工具的构建和实施中经常被忽视。我们认为，技术开发人员必须与公法专家密切合作，以确保如果算法决策支持工具要为刑事司法决策提供信息，则这些工具的配置和实施方式必须明显符合公法原则和学说，包括尊重人权。
2023-01-11 cs.CY
Fairness Perceptions of Algorithmic Decision-Making: A Systematic Review of the Empirical Literature
Heinrich Heine University Düsseldorf（海因里希·海涅杜塞尔多夫大学）
商业决策（ADM）越来越多地影响着人们的日常生活。鉴于这种自治系统可能对个人和社会群体造成严重伤害，人们对公平性产生了担忧。学者和政策制定者要求以人为本的方法，需要考虑到人们的公平观念时，设计和实施ADM。我们提供了一个全面的，系统的文献综述，综合现有的经验见解的算法公平性的看法，从39个实证研究跨越多个领域和科学学科。通过彻底的编码，我们系统化目前的实证文献沿四个维度：（a）算法预测，（b）人类预测，（c）比较效果（人类决策与算法决策），（d）ADM的后果。虽然我们发现很多异质性的理论概念和经验测量的算法公平性，见解几乎完全来自西方民主的背景。通过倡导更多的跨学科研究，采用社会在环框架，我们希望我们的工作将有助于更公平，更负责任的ADM。
2021-03-22 cs.AI cs.CY cs.HC
On the Long-term Impact of Algorithmic Decision Policies: Effort Unfairness and Feature Segregation through Social Learning
ETH Zürich（苏黎世联邦理工学院）；MPI-SWS（马克斯·普朗克软件系统研究所）
大多数现有的算法公平性概念都是一次性的：它们确保了决策时某种形式的分配平等，但没有考虑到今天的算法决策对某些群体的长期福利和繁荣的不利影响。我们对算法公平性采取更广泛的视角。我们提出了一种基于努力的公平性衡量标准，并提出了一个数据驱动的框架，用于表征算法政策对重塑底层人口的长期影响。受\emph{social learning}的心理学文献和机会均等的经济学文献的启发，我们提出了一个个体如何对决策算法做出反应的微观模型。我们采用现有的隔离措施，从社会学和经济学量化所产生的宏观规模的人口水平的变化。重要的是，我们观察到，不同的模型可能会改变资格的群体条件分布在不同的方向。我们的研究结果提出了一些关于决策模型公平性的形式化的重要问题。
2019-06-27 cs.AI cs.CY
'It's Reducing a Human Being to a Percentage'; Perceptions of Justice in Algorithmic Decisions
对个人产生影响的数据驱动决策提出了问责和公正的重要问题。事实上，欧洲法律为个人提供了有限的权利，以了解贷款审批、保险报价和简历过滤等重大自主决策背后的“有关逻辑的有意义信息”。我们进行了三项实验研究，研究人们在不同场景和解释风格下对算法决策的正义感。以前在人类决策中观察到的正义维度似乎也同样参与了算法决策。定性分析确定了几个问题，并参与司法观念，包括任意性，概括性，（在）尊严。定量分析表明，只有当被试暴露于多种不同的风格时，解释风格才主要影响公正知觉-在重复暴露一种风格的情况下，情景效应掩盖了任何解释效应。我们的研究结果表明，可能没有“最好”的方法来解释算法决策，并且对其自动化性质的反思既涉及又减轻了正义维度。
2018-01-31 cs.CY cs.HC
"Computer Says No": Algorithmic Decision Support and Organisational Responsibility
决策支持越来越多地用于社会各个领域的各种不同背景和结构，影响着许多人的生活。除其他外，它的使用引起了关于问责制、透明度和责任的问题。虽然对算法系统和责任问题有大量的研究，但对组织责任及其归属的研究很少或根本没有。我们的文章旨在填补这一空白;我们简要概述了与组织背景下的ADS，责任和决策有关的核心问题，并确定了开放性问题和研究空白。此外，我们描述了一套指导方针和一个互补的数字工具，以协助从业者在映射责任时，在他们的组织背景下引入ADS。
2022-06-23 cs.CY
How do "technical" design-choices made when building algorithmic decision-making tools for criminal justice authorities create constitutional dangers?
University of Birmingham（伯明翰大学）
这篇由两部分组成的论文认为，基于机器学习的算法工具的开发人员所做的看似“技术性”的选择可能会造成严重的宪法危险，增加滥用决策权的可能性以及不公正的范围和程度。利用正在使用或最近使用的三种算法工具来评估个人所构成的“风险”，以告知刑事司法当局应该如何对待他们，我们整合了数据科学和公法奖学金的见解，以展示公法原则和植根于这些原则的更具体的法律义务如何在算法工具的构建和实施中经常被忽视。我们认为，技术开发人员必须与公法专家密切合作，以确保如果算法决策支持工具要为刑事司法决策提供信息，则这些工具的配置和实施方式必须明显符合公法原则和学说，包括尊重人权。
2023-01-11 cs.AI cs.CY
Mathematical decisions and non-causal elements of explainable AI
University of Toronto（多伦多大学）；Australian National University（澳大利亚国立大学）
算法决策在敏感环境中的社会影响在多个利益相关者之间产生了激烈的辩论，如道德和政治哲学家，计算机科学家和公众。然而，缺乏一种共同的语言和一个概念框架来适当地弥合辩论的道德、技术和政治方面，这阻碍了讨论尽可能有效。社会科学家和心理学家通过收集大量的经验数据为这场辩论做出了贡献，但对算法决策的社会影响的哲学分析仍然相对贫乏。在试图解决这一空白，本文认为，不同类型的层次结构的解释为什么和如何实现的算法决策的结果可以建立相关的道德和技术方面的算法决策之间的联系。特别是，我为算法决策的解释和解释提供了一个多方面的概念框架，我声称这个框架可以为多个利益相关者之间关于算法决策的社会影响以及更普遍的人工智能治理和道德的集中讨论奠定基础。
2019-12-12 cs.AI cs.CY cs.HC
Discrimination, artificial intelligence, and algorithmic decision-making
Radboud University Nijmegen（奈梅亨拉德堡德大学）；University of Amsterdam（阿姆斯特丹大学）
本研究探讨人工智能与算法决策引发的歧视风险，分析其成因与挑战，旨在为政策制定提供参考。
2025-10-15 cs.CY
A Framework of High-Stakes Algorithmic Decision-Making for the Public Sector Developed through a Case Study of Child-Welfare
算法已经渗透到整个公民政府和社会，在那里它们被用来做出关乎人类生命的高风险决策。在本文中，我们首先开发了一个有凝聚力的框架，算法决策适用于公共部门（ADMAPS），反映了复杂的社会技术之间的互动\textit{human discretion}，\textit{bureaucratic processes}，和\textit{algorithmic decision-making}通过合成不同的机构的工作领域的人机交互（HCI），科学和技术研究（STS），公共管理（PA）。然后，我们应用ADMAPS框架对一个儿童福利机构内日常使用的算法进行了深入的、为期八个月的人种学案例研究，该机构为美国中西部约900个家庭和1300名儿童提供服务。总的来说，我们发现有必要关注以社会生态框架为中心的基于实力的算法结果。此外，算法系统需要支持现有的官僚程序，增加人类的自由裁量权，而不是取代它。最后，算法系统的集体购买需要在实践者和官僚层面对目标结果的信任。作为我们的研究结果，我们提出了指导方针的设计高风险的算法决策工具，在儿童福利系统，更普遍的是，在公共部门。我们从经验上验证了理论推导的ADMAPS框架，以展示它如何有助于系统地为公共部门的算法设计做出务实的决策。
2021-10-12 cs.CY cs.HC
Protected Grounds and the System of Non-Discrimination Law in the Context of Algorithmic Decision-Making and Artificial Intelligence
本文探讨算法决策下非歧视法律体系的适用性，分析现行法律漏洞，并提出立法者应对算法差异化（如基于非受保护特征）的最佳途径，聚焦欧洲但具跨区域参考价值。
2025-09-01 cs.CY
A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous Algorithmic Scores
算法预测在敏感领域的使用越来越多，这带来了热情和关注。要了解这些技术的机会和风险，关键是研究专家在使用这些工具时如何改变他们的决策。在本文中，我们研究了采用一种算法工具，用于协助儿童虐待热线筛选决策。我们关注的问题是：人类是否有能力识别机器错误的情况，并推翻这些建议？我们首先表明，人类在部署工具时确实会改变他们的行为。然后，我们表明，当显示的分数是对风险的错误估计时，人类不太可能遵守机器的建议，即使推翻建议需要监督批准。这些结果凸显了完全自动化的风险，以及设计为人类提供自主权的决策管道的重要性。
2020-02-20 cs.CY
Algorithmic Pluralism: A Structural Approach To Equal Opportunity
本研究提出算法多元主义的结构性方法，拓展约瑟夫·菲什金的瓶颈理论重审算法决策中的机会平等问题，主张优先缓解严重算法瓶颈以系统性促进机会平等，并探讨了其对算法招聘等场景的设计与监管启示。
2024-05-15 cs.CY
Understanding Relations Between Perception of Fairness and Trust in Algorithmic Decision Making
在人工智能（AI）取得巨大成功之后，管理决策越来越多地采用数学过程。这种范式转变正在发生，因为这些复杂的人工智能技术正在保证性能指标的最优性。然而，由于公平性等各种问题，这种采用目前正在接受审查，人工智能算法的公平性如何影响用户的信任是值得追求的。在这方面，我们的目标是了解诱导算法公平性和它在人类的感知之间的关系。特别是，我们感兴趣的是这两者是否正相关，并反映实质性的公平。此外，我们还研究了诱导算法公平性如何影响用户信任的算法决策。为了理解这一点，我们进行了一项用户研究，模拟候选人入围介绍（操纵数学）公平的人力资源招聘设置。我们的实验结果表明，不同水平的公平性是正相关的人类感知的公平性，同时它也是正相关的用户信任的算法决策。有趣的是，我们还发现，用户对较高水平的公平性比较低水平的公平性更敏感。此外，本文还对公平感的研究进行了讨论，总结了本研究的理论和实践意义。
2021-09-29 cs.CY cs.HC
Algorithmic decision-making in AVs: Understanding ethical and technical concerns for smart cities
Lee Kuan Yew School of Public Policy, National University of Singapore（新加坡国立大学李光耀公共政策学院）
自动驾驶汽车（AV）在世界各地越来越多地被接受，以推进智能移动和更广泛的智能和可持续城市。算法构成了自动驾驶汽车决策的基础，使它们能够自主、高效、比人类驾驶员更安全地执行驾驶任务，并提供各种经济、社会和环境效益。然而，自动驾驶汽车中的算法决策也会带来新的问题，从而产生新的安全风险并使歧视永久化。我们将偏见、道德和不正当的激励确定为AV算法决策中的关键道德问题，这些问题可能会产生新的安全风险和歧视性结果。AV感知、决策和控制算法中的技术问题、现有AV测试和验证方法的局限性以及网络安全漏洞也会破坏AV系统的性能。本文探讨了围绕自动驾驶汽车算法决策的伦理和技术问题，探讨了驾驶决策如何使歧视永久化，并为公众带来新的安全风险。我们讨论了解决这些问题所采取的步骤，强调了现有的研究差距，以及通过设计自动驾驶算法和政策法规来缓解这些问题的必要性，以充分实现自动驾驶对智能和可持续城市的好处。
2019-10-29 cs.AI cs.CY cs.HC
A Justice-Based Framework for the Analysis of Algorithmic Fairness-Utility Trade-Offs
Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）；Polytechnic University of Milan（米兰理工大学）
该研究提出基于分配正义的算法公平-效用权衡分析框架，将决策者效用与对象公平性量化对比，用帕累托效率选决策规则，助力系统实施与审计。
2023-05-01 cs.CY cs.LG
Algorithmic Monoculture and Social Welfare
随着算法越来越多地被应用于筛选求职者，以便在就业、贷款和其他领域做出高风险决策，人们对算法单一文化的影响提出了担忧，在这种单一文化中，许多决策者都依赖于同一种算法。这一关切与农业类似，单一文化体系有可能因意外冲击而遭受严重损害。在这里，我们表明，算法的单一文化的危险运行得更深，在单一的算法由一组决策代理收敛，即使该算法是更准确的任何一个代理隔离，可以降低整体质量的决策由全部收集的代理。因此，不需要意外的冲击来暴露单一文化的风险;即使在“正常”操作下，它也会损害准确性，甚至对于只有一个决策者使用时更准确的算法。我们的研究结果依赖于最小的假设，并涉及一个概率框架的发展，分析系统，使用多个嘈杂的估计一组替代品。
2021-06-01 cs.CY cs.GT cs.LG
Reviewable Automated Decision-Making: A Framework for Accountable Algorithmic Systems
University of Cambridge（剑桥大学）
本文介绍了可审查性作为一个框架，以提高问责制的自动化和算法决策（ADM）涉及机器学习。我们利用ADM的理解，作为一个社会技术过程，涉及人力和技术因素，开始之前作出决定，并超出了决定本身。虽然解释和其他以模型为中心的机制可能有助于一些问责问题，但它们通常提供的这些更广泛的ADM流程的信息不足，无法用于监管监督和法律合规性评估。可审查性涉及将ADM流程分解为技术和组织要素，以提供一个系统框架，用于确定适合背景的记录保存机制，以促进对个人决策和整个流程的有意义的审查。我们认为，可审查性框架，借鉴行政法的方法来审查人类的决策，提供了一个切实可行的方法，朝着更全面和法律相关的形式问责ADM。
2021-02-10 cs.AI cs.CY
From Explanation to Recommendation: Ethical Standards for Algorithmic Recourse
人们越来越多地受到算法决策的影响，人们普遍认为，应该向最终用户提供这些决策的解释或理由。解释可以有不同的目的，例如增加用户对系统的信任或允许用户对决策提出异议。一个正在获得更多牵引力的特定目的是算法追索权。我们首先建议，追索权应被视为一个建议问题，而不是一个解释问题。然后，我们认为，能力的方法提供了合理的和富有成效的道德标准的追索权。我们通过考虑算法追索权的多样性约束的情况下说明。最后，我们讨论了采用能力方法进行算法资源研究的意义和影响。
2022-05-30 cs.CY
Fairness vs Performance: Characterizing the Pareto Frontier of Algorithmic Decision Systems
Zurich University of Applied Sciences / University of Zurich（应用科学大学苏黎世分校 / 苏黎世大学）；Zurich University of Applied Sciences（应用科学大学苏黎世分校）
研究探讨算法决策系统中公平性与性能的权衡，通过多目标优化分析决策者效用与群体公平性，揭示帕累托前沿由确定性阈值规则构成，扩展了现有公平性约束下的最优定理。
2026-05-11 cs.AI cs.CY cs.LG
Algorithms and Decision-Making in the Public Sector
本文调查了算法系统在公共部门决策支持中的应用。政府采用、采购和使用算法系统来支持其在多种背景下的职能，包括刑事司法、教育和福利提供，这对问责制、隐私、社会不平等和公众参与决策产生了重要影响。我们探讨了市政算法系统在各个阶段的社会影响，包括问题制定，技术获取，部署和评估。我们强调几个开放的问题，需要进一步的实证研究。
2021-06-10 cs.CY
Enforcing Group Fairness in Algorithmic Decision Making: Utility Maximization Under Sufficiency
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）
二元决策分类器在默认情况下是不公平的。公平性要求是决策基本原理的一个附加要素，决策基本原理通常由最大化某些效用函数驱动。在这个意义上，算法公平性可以被公式化为约束优化问题。本文讨论了如何实现公平性，重点讨论了阳性预测值（PPV）奇偶性，假遗漏率（FOR）奇偶性和充分性（结合前两者）的公平性概念。我们表明，特定于组的阈值规则是最佳的PPV奇偶校验和为奇偶校验，类似于其他组的公平性标准的知名结果。然而，根据潜在的人口分布和效用函数，我们发现，有时一个组的上限阈值规则是最佳的：效用最大化下PPV奇偶校验（或为奇偶校验）可能会导致选择一组具有最小效用的个人，而不是选择最有前途的个人。这一结果是反直觉的，与统计平价和机会均等的类似解决方案相反。我们还提供了满足公平性约束充分性的最优决策规则的解决方案。我们表明，需要更复杂的决策规则，这导致组内的不公平，但所有的组之一。我们根据模拟和真实数据说明了我们的研究结果。
2022-06-05 cs.CY cs.LG
Identifying biases in legal data: An algorithmic fairness perspective
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）；Claudius Legal Intelligence（克劳迪乌斯法律智能公司）
解决法律案件数据中的代表偏见和量刑差异的必要性早已得到承认。在这里，我们从算法公平性的角度研究了识别和测量大规模法律案件数据中的偏差的问题。我们的方法利用两个回归模型：一个基线，代表了一个“典型”的判断，由数据和“公平”的判断，适用于三个公平的概念之一。比较“典型”法官和“公正”法官的决定可以量化人口群体之间的偏见，正如我们在库克县（伊利诺伊州）的犯罪数据的四个案例研究中所证明的那样。
2021-09-21 cs.AI cs.CY cs.LG
Active Fairness in Algorithmic Decision Making
MIT（麻省理工学院）
社会越来越依赖于机器学习模型来进行自动化决策。然而，自动化带来的效率提升伴随着对算法歧视的担忧，这种歧视可能会使不平等现象系统化。最近的工作提出了最佳的后处理方法，随机分类决策的一小部分个人，以实现公平的措施有关的奇偶性错误和校准。然而，这些方法引起了人们的关注，由于信息效率低下，组内的不公平性，和帕累托次优，它们所带来的。目前的工作提出了一种替代的主动框架，公平的分类，其中，在部署中，决策者自适应地获取信息，根据不同的群体或个人的需要，对平衡的差异分类性能。我们提出了两种这样的方法，其中信息收集是适应组和个人层面的需求分别。我们在现实世界的数据集上展示了这些可以实现的：1）校准和单错误奇偶校验（例如，机会均等）;以及2）假阳性率和假阴性率的均等（即，等赔率）。此外，我们表明，通过利用其额外的自由度，主动方法可以大大优于先前认为最佳的基于随机化的分类器，同时避免组内不公平等限制。
2018-11-07 cs.AI cs.CY cs.LG
Algorithmic decision making and the cost of fairness
算法现在经常被用来决定等待审判的被告是否太危险而不能被释放回社区。在某些情况下，黑人被告比白人被告更有可能被错误地归类为高风险。为了减轻这种差异，最近已经提出了几种技术来实现算法公平性。在这里，我们重新制定算法公平性的约束优化：目标是最大限度地提高公共安全，同时满足正式的公平约束，旨在减少种族差异。我们发现，对于过去的几个公平的定义，最佳算法，结果需要拘留被告以上的种族特定的风险阈值。我们进一步表明，最佳的无约束算法需要应用一个单一的，统一的阈值，所有被告。因此，无约束算法最大限度地提高了公共安全，同时也满足了对平等的一个重要理解：所有个人都必须遵守同一标准，而不分种族。由于最佳约束算法和无约束算法通常不同，因此在改善公共安全和满足流行的算法公平性概念之间存在矛盾。通过研究佛罗里达州布劳沃德县的数据，我们发现，这种权衡在实践中可能很大。我们专注于审前释放决策的算法，但我们讨论的原则适用于其他领域，也适用于执行结构化决策规则的人类决策者。
2017-06-10 cs.CY stat.AP
Algorithmic decision making methods for fair credit scoring
Alexandru Ioan Cuza University（亚历山德鲁·伊万·库扎大学）
本文评估了12种偏见缓解方法在5种公平性指标上的效果，并分析了其对金融机构的准确性和盈利能力，旨在平衡公平与性能，弥合机器学习研究与金融实践的差距。
2023-06-22 cs.AI cs.CY cs.LG
Improving Human-AI Partnerships in Child Welfare: Understanding Worker Practices, Challenges, and Desires for Algorithmic Decision Support
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）；University of California, Berkeley（加州大学伯克利分校）
基于人工智能的决策支持工具（ADS）越来越多地用于在高风险的社会环境中增强人类决策。随着公共部门机构开始采用ADS，我们了解工人在实践中使用这些系统的经验至关重要。在本文中，我们介绍了儿童福利机构的一系列访谈和背景调查的结果，以了解他们目前如何做出人工智能辅助的儿童虐待筛查决策。总的来说，我们观察到工人对ADS的依赖如何受到以下因素的指导：（1）他们对AI模型捕捉之外的丰富上下文信息的了解，（2）他们对ADS相对于自己的能力和局限性的信念，（3）围绕ADS使用的组织压力和激励，以及（4）算法预测与他们自己的决策目标之间不一致的意识。根据这些发现，我们讨论了支持更有效的人类-AI决策的设计意义。
2022-04-05 cs.AI cs.CY cs.HC
Algorithmic Challenges in Ensuring Fairness at the Time of Decision
US Naval Academy（美国海军学院）；Massachusetts Institute of Technology（麻省理工学院）；University of Illinois Chicago（芝加哥伊利诺伊大学）
本文将无嫉妒性公平约束引入随机凸优化，提出一种坐标下降结构的无嫉妒算法，在满足 PL 不等式的光滑凸函数上实现近最优遗憾，并探讨了若干开放问题。
2024-10-18 cs.AI cs.CY cs.LG
Does Algorithmic Uncertainty Sway Human Experts? Evidence from a Field Experiment in Selective College Admissions
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）
本文通过实地实验研究算法不确定性对人类决策的影响，发现即使算法预测存在差异，录取结果未显著变化，表明专家决策受专业判断和制度环境影响较大。
2026-05-12 cs.CY cs.HC
Beyond Algorithmic Fairness: A Guide to Develop and Deploy Ethical AI-Enabled Decision-Support Tools
Georgia Institute of Technology（佐治亚理工学院）
本文针对AI与优化交叉领域工程系统的伦理部署挑战，提出需超越算法公平，覆盖全流程伦理决策，并通过多领域案例明确伦理考量要点，以推动研究人员的伦理反思。
2024-09-17 cs.AI cs.CY cs.LG
Fairness and Accountability Design Needs for Algorithmic Support in High-Stakes Public Sector Decision-Making
University College London（伦敦大学学院）；University of Oxford（牛津大学）
在基于算法的公共决策（如税收、司法和儿童保护）中，呼吁加强对公平性和问责制的考虑现在已经司空见惯。设计师如何支持这样的人类价值观？我们采访了5个经合组织国家的27位公共部门机器学习从业者，了解他们在工作中理解和灌输公共价值观的挑战。结果表明，组织和机构的现实，限制和需求之间存在脱节，以及当前研究可用，透明和“歧视意识”的机器学习-如果不解决，可能会破坏实际举措。我们在这种脱节中看到了设计机会，例如支持跟踪二级数据源中的概念漂移，以及建立可用的透明度工具来识别风险并整合领域知识，针对管理人员和公共服务第一线的“街头官僚”。最后，我们概述了在这些高风险的应用程序中的合作的道德挑战和未来的方向。
2018-02-03 cs.CY cs.HC cs.LG
Algorithmic Fairness: A Tolerance Perspective
University of New South Wales（新南威尔士大学）；La Trobe University（拉筹伯大学）；University of Technology Sydney（悉尼科技大学）
该综述从容忍度视角切入算法公平性研究，提出基于容忍度的全新分类体系，覆盖多行业研究现状，梳理新兴挑战并给出未来研究与政策方向，助力构建更公平的算法系统。
2024-04-26 cs.AI cs.CY cs.IR
Paradoxes in Fair Computer-Aided Decision Making
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
计算机辅助决策--人类决策者在做出决策时得到计算分类器的帮助--正变得越来越普遍。例如，至少有九个州的法官在判决、假释或保释决定中使用算法工具来确定刑事被告的“累犯风险评分”。最近争论的一个主题是，这种算法工具是否“公平”，因为它们不歧视某些群体（例如，种族）的人。我们的主要结果表明，对于“非平凡”的计算机辅助决策，要么分类器必须是歧视性的，或者一个理性的决策者使用的分类器的输出是被迫歧视。我们进一步提供了一个完整的表征的情况下，公平的计算机辅助决策是可能的。
2018-01-31 cs.CY cs.LG
Algorithmic Risk Assessments Can Alter Human Decision-Making Processes in High-Stakes Government Contexts
University of Michigan（密歇根大学）；Harvard University（哈佛大学）
各国政府在做出重要决策时越来越多地转向算法风险评估，比如是否在审判前释放刑事被告。政策制定者断言，为公务员提供算法建议将改善人类风险预测，从而导致更好的（例如，更公平的决定。然而，由于许多政策决策需要在降低风险与竞争目标之间取得平衡，因此提高预测的准确性并不一定会提高决策的质量。如果风险评估让人们更加关注以牺牲其他价值为代价来降低风险，那么这些算法将减少公共政策的实施，即使它们导致更准确的预测。通过一项有2,140名外行参与者模拟两个高风险政府环境的实验，我们提供了第一个直接证据，证明风险评估可以系统地改变人们如何将风险因素纳入决策。这些变化抵消了提高预测准确性的潜在好处。在我们实验的审前设置中，风险评估使参与者对感知风险的增加更加敏感;这种转变使审前拘留中的种族差异增加了1.9%。在我们实验中的政府贷款设置中，风险评估使参与者更加厌恶风险;这一转变使政府援助减少了8.3%。这些结果表明，试图通过将预测算法纳入多方面的政策决策来改善公共政策的潜在限制和危害。如果这些观察到的行为在实践中发生，向公务员提交风险评估将在公共政策中产生意想不到的和不公正的转变，而不受民主审议或监督。
2021-08-12 cs.AI cs.CY cs.HC
Crowdsourcing Impacts: Exploring the Utility of Crowds for Anticipating Societal Impacts of Algorithmic Decision Making
随着算法在行业和政府中的日益普及，越来越多的工作都在努力了解它们的社会影响和道德影响。在算法开发的不同阶段使用了各种方法，以鼓励研究人员和设计人员考虑其研究的潜在社会影响。在这一领域，一个研究不足但很有前途的领域是利用参与式远见来预测这些不同的社会影响。我们采用众包作为一种参与式预见的手段，根据一套政府算法决策工具揭示四种不同类型的影响领域：（1）感知效价，（2）社会领域，（3）具体的抽象影响类型，（4）伦理算法问题。我们的研究结果表明，这种方法可以有效地利用人群的认知多样性来揭示一系列问题。我们进一步分析了影响领域相互作用的复杂性，以展示众包如何照亮影响之间联系的模式。最终，这项工作确立了众包作为预测算法影响的有效手段，通过利用参与性远见和认知多样性，补充了评估社会中算法的其他方法。
2022-07-19 cs.CY
Governance and Communication of Algorithmic Decision Making: A Case Study on Public Sector
Open Universiteit（开放大学）
军事决策已经渗透到社会的各个方面。政府机构也受到这一趋势的影响。然而，ADM的使用一直受到公众、媒体和利益集团的负面关注。有很少或没有可操作的指导方针，政府组织，通过ADM创造积极的影响。在这个案例研究中，我们检查了八个市政组织在荷兰关于他们的实际和打算使用ADM。我们采访了关键人员和决策者。我们的研究结果表明，市政当局主要以临时方式使用ADM，并且他们还没有系统地定义或制度化数据科学过程。它们的运作规避风险，明确表示需要国家一级的合作、指导甚至监督。第三方，大多数是商业性的，通常参与ADM开发生命周期，没有系统的治理。关于使用ADM的宣传通常是对媒体和公众的负面关注的回应。有强烈的迹象表明，需要一个ADM治理框架。在本文中，我们详细介绍了我们的研究结果，以及对ADM系统的治理，沟通和性能评估的可操作的见解。
2021-10-08 cs.AI cs.CY
Algorithmic Fairness
Tel-Aviv University（特拉维夫大学）
越来越多的关于人类日常生活的决策正在由人工智能（AI）算法控制，从医疗保健，交通和教育到大学招生，招聘，提供贷款等领域。由于它们现在涉及我们生活的许多方面，因此开发不仅准确而且客观公正的人工智能算法至关重要。最近的研究表明，算法决策可能是固有的倾向于不公平的，即使是没有intention.This本文提出了一个概述的主要概念，识别，测量和改善算法公平性时，使用AI算法。本文首先讨论了算法偏见和不公平的原因，以及公平性的常用定义和度量。然后，公平性增强机制进行了审查，并分为预处理，过程中和后处理机制。然后对这些机制进行全面比较，以便更好地了解在不同情况下应使用哪些机制。然后，本文介绍了最常用的公平性相关的数据集在这一领域。最后，本文通过回顾几个新兴的研究子领域的算法公平性结束。
2020-01-21 cs.AI cs.CY cs.LG
"A cold, technical decision-maker": Can AI provide explainability, negotiability, and humanity?
在人们生活的许多领域中，越来越多地部署计算机系统来做出决策。从人类决策到算法决策的转变伴随着对不符合社会价值观的潜在不透明决策的担忧，以及提出的补救措施，如可解释性。我们提出了算法决策的定性研究的结果，包括五个研讨会进行了总共有60名参与者在芬兰，德国，英国和美国。我们邀请参与者对决策质量进行推理，例如在各个领域的可解释性和准确性。参与者将人工智能视为一个决策者，它遵循严格的标准，能够很好地执行机械任务，但在很大程度上无法做出主观或道德上复杂的判断。我们讨论了参与者在决策中对人性的考虑，并引入了“可谈判性”的概念，即超越正式标准并围绕系统灵活工作的能力。
2020-12-01 cs.CY
Explanation Hacking: The perils of algorithmic recourse
Utrecht University（乌得勒支大学）；University of Edinburgh（爱丁堡大学）
该研究指出AI决策的追索解释存在伦理弊端与概念陷阱，易引发解释黑客攻击削弱其伦理地位，提出AI决策解释应以理解为目标的替代方案。
2024-03-22 cs.AI cs.CY
Detecting algorithmic bias in medical-AI models using trees
School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）；Department of Biomedical Informatics, Emory University School of Medicine（埃默里大学医学院生物医学信息学系）；Department of Surgery, Duke University School of Medicine（杜克大学医学院外科系）
针对医疗AI决策系统的公平性需求，提出结合CART算法与一致性分数的偏见检测框架，经合成数据和医院电子病历验证，可有效识别脓毒症预测等场景下的算法偏见，助力临床医疗决策的公平公正。
2024-10-29 cs.CY cs.LG stat.AP
Making Transparency Advocates: An Educational Approach Towards Better Algorithmic Transparency in Practice
New York University（纽约大学）
针对算法透明度研究未转化为实际实施的问题，提出通过开源教育研讨会培养组织内部的透明度倡导者，以自下而上的方式推动算法透明度实践并验证了其有效性。
2024-12-19 cs.AI cs.CY cs.HC
When the Strike Zone Becomes Algorithmic: Umpire Judgment and Player Challenge Decisions under AI Review
KAIST（韩国科学技术院）；Yonsei University（延世大学）
本研究利用MLB 2026年自动挑战系统的海量数据，揭示选择性AI复核不仅纠正判罚错误，还促使裁判调整边界判断、球员基于可见证据决策，重塑了人机互动中的判断与策略行为。
2026-09-23 cs.CY cs.HC
Bridging Formal and Perceived Fairness: Development of an Interdisciplinary Framework in Algorithmic Decision-Making
Johannes Gutenberg University（约翰内斯·古腾堡大学）
本文构建了弥合算法形式公平与用户感知公平的跨学科框架，通过文献综合、研讨会及访谈，为算法公平评估与系统设计提供方法支撑。
2026-09-04 cs.CY
Algorithmic Injustices: Towards a Relational Ethics
指出各种社会、政治和经济领域的决策过程如何得到自动化系统的帮助已经变得微不足道。效率的提高是这些系统的标志，推动了自动化系统大规模集成到日常生活中。然而，正如算法不公正领域的大量研究所表明的那样，算法工具嵌入并延续了社会和历史的偏见和不公正。特别是，文献中持续出现的趋势表明，社会最弱势群体受到的影响不成比例。当算法的不公正和偏见被摆在面前时，大多数解决方案1）围绕技术解决方案，2）不关注受影响的群体。这张纸缩小并绘制更大的图片。它1）认为，围绕算法决策和算法不公正的问题需要超越技术解决方案进行根本性的重新思考，2）通过关系伦理的视角，以弱势群体为中心，概述了前进的道路。
2019-12-16 cs.CY
Algorithmic Unfairness through the Lens of EU Non-Discrimination Law: Or Why the Law is not a Decision Tree
Eindhoven University of Technology（埃因霍温理工大学）；Sciences Po Law School（巴黎政治学院法学院）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；University of Copenhagen（哥本哈根大学）
本文通过欧盟非歧视法视角分析算法不公的典型案例，揭示法律推理与算法公平性指标在规范假设上的差异及其局限，并为AI从业者和监管者提供启示。
2023-05-24 cs.AI cs.CY cs.LG
Legal Minds, Algorithmic Decisions: How LLMs Apply Constitutional Principles in Complex Scenarios
Bank of Italy（意大利银行）
本文以意大利宪法法院生命伦理裁决为样本，实证比较 GPT-4 生成的法律论证，发现其系统性偏向进步主义解释并反映申请人立场，揭示数据偏差对法律决策对齐的影响。
2024-08-09 cs.CL cs.CY
"Look! It's a Computer Program! It's an Algorithm! It's AI!": Does Terminology Affect Human Perceptions and Evaluations of Algorithmic Decision-Making Systems?
在媒体、政策制定以及研究文章中，算法决策（ADM）系统被称为算法、人工智能和计算机程序等术语。我们假设，这样的术语差异可以影响人们的认知属性的ADM系统，人们的评价系统中的应用背景下，和可复制性的研究结果可能会受到术语的差异。在两项研究（N = 397，N = 622）中，我们表明术语确实会影响外行对系统属性的感知（例如，感知的复杂性）和系统的评估（例如，信任）。我们的研究结果强调了在选择术语来描述ADM系统时需要注意，因为术语可能会产生意想不到的后果，并可能影响HCI研究的鲁棒性和可复制性。此外，我们的研究结果表明，术语可以战略性地使用（例如，在关于ADM系统的交流中）影响人们对这些系统的看法和评价。
2022-05-26 cs.CY cs.HC
Strengthening legal protection against discrimination by algorithms and artificial intelligence
Radboud University（拉德堡德大学）
本文评估欧洲针对算法与AI歧视的现有法律保护，指出反歧视法和数据保护法的作用与应用缺陷，提出改进执行方案并主张制定分领域监管规则。
2025-10-03 cs.CY
Unequal Uncertainty: Rethinking Algorithmic Interventions for Mitigating Discrimination from AI
University of Cambridge（剑桥大学）；Northumbria University（北umbria大学）；George Washington University（乔治华盛顿大学）；King’s College London（伦敦大学国王学院）
研究人工智能预测不确定性带来的法律伦理问题，通过对英国法律下基于不确定性的算法干预（选择性弃权和选择性摩擦）进行教义分析及案例研究，发现不确定性阈值有歧视性影响，认为选择性摩擦在法律上更优，还探讨其对决策质量的影响及条件。
2026-07-08 cs.CY cs.HC cs.LG
Algorithmic Monoculture and its Critics
MIT（麻省理工学院）
本文评估算法单一性的批评，分析系统排斥、代理与博弈、信息聚合与探索等核心问题，指出批评观点大多不成立，算法单一性总体风险较低。
2026-09-26 cs.CY
Decision Provenance: Harnessing data flow for accountable systems
University of Cambridge（剑桥大学）
越来越多的人要求对日益占据我们世界的技术系统实行更多的问责制。然而，许多这些系统的复杂性-往往是系统的系统-对问责制构成挑战。其中一个关键原因是，互连和驱动系统的信息流的细节和性质往往是不可见或不透明的，这些信息流往往跨越技术和组织边界。本文认为，数据出处的方法显示出很大的希望，作为一种技术手段，增加这些相互关联的系统的透明度。具体来说，考虑到自动化和算法决策水平不断提高，以及所谓的“算法系统”一般的关注，我们提出了决策出处作为一个概念，表现出很大的希望。决策起源需要使用起源方法来提供暴露决策管道的信息：整个系统中（在设计和运行时）所采取的决策和行动的输入链、性质和流动效应。本文介绍了决策出处的概念，并采取跨学科（技术-法律）探索其在算法系统中协助问责制的潜力。我们认为，决策出处可以帮助促进监督，审计，合规，风险缓解和用户授权，我们还指出了实现其愿景所需的实施考虑和研究领域。更一般地说，我们认为，对数据流和更广泛的系统的考虑对于讨论问责制很重要，并补充了对算法细节的大量关注。
2019-11-15 cs.AI cs.CY
Experimental Evaluation of Algorithm-Assisted Human Decision-Making: Application to Pretrial Public Safety Assessment
尽管在我们的日常生活中越来越依赖全自动算法决策，但人类仍然会做出非常重要的决策。正如在商业、医疗保健和公共政策中经常看到的那样，算法产生的建议被提供给人类决策者，以指导他们的决策。虽然有大量文献对这种算法推荐的偏见和公平性进行了评估，但一个被忽视的问题是，它们是否有助于人类做出更好的决策。我们开发了一种统计方法，用于实验评估算法建议对人类决策的因果影响。我们还展示了如何检查算法建议是否提高了人类决策的公平性，并在各种设置下得出最佳决策规则。我们将提出的方法应用于有史以来第一次随机对照试验的初步数据，该试验评估了刑事司法系统中的审前公共安全评估（PSA）。《公共安全法》的一个目标是帮助法官决定哪些被捕的人应该被释放。在现有的初步数据的基础上，我们发现，提供PSA的法官对法官的决定和随后的被捕者的行为几乎没有整体的影响。然而，我们的分析产生了一些潜在的暗示性证据表明，PSA可能有助于避免对女性被捕者做出不必要的严厉决定，而无论其风险水平如何，同时鼓励法官对被认为有风险的男性被捕者做出更严格的决定。在公平性方面，《公共服务法案》似乎增加了对男性的性别偏见，而对法官裁决中现有的种族差异几乎没有影响。最后，我们发现，除非新犯罪的成本足够高，否则PSA的建议可能会不必要地严厉。
2021-12-11 cs.CY stat.AP stat.ME
