Equal Confusion Fairness: Measuring Group-Based Disparities in Automated Decision Systems
University of Houston(休斯顿大学)
本文提出 Equal Confusion Fairness 测试和混淆对等误差,用于检测和量化自动决策系统中的群体公平性,并通过 COMPAS 案例验证方法有效性。
2023-07-02 cs.CY cs.LG
Measuring and signing fairness as performance under multiple stakeholder distributions
Meta AI
随着学习机器对人类生活决策的影响越来越大,分析其公平性成为一个至关重要的主题。然而,我们衡量学习系统公平性的最佳工具是严格的公平性指标,这些指标被封装为数学上的一行代码,为参与预测任务的利益相关者提供有限的权力,并且当我们施加过度的压力来优化它们时,它们很容易被操纵。为了推进这些问题,我们建议将重点从塑造公平性指标转移到策划这些计算的例子的分布。特别是,我们建议每一个关于公平性的声明都应该立即加上这样的标语:“在什么样的例子下公平,由谁收集?".通过强调与领域概括文献的联系,我们建议将公平性衡量为系统在多重压力测试下概括的能力--具有社会相关性的示例的分布。我们鼓励每个利益相关者策划一个或多个压力测试,其中包含反映他们(可能相互冲突)利益的例子。通过低于或超过预定义的度量值,机器通过或未通过每次压力测试。测试结果让所有利益相关者参与讨论如何改进学习系统,并根据上下文和可解释的数据提供灵活的公平性评估。我们提供了完整的压力测试实施指南,说明了这个框架的优点和缺点,并介绍了一个加密方案,使一定程度的预测问责制系统提供商。
2022-07-20 cs.CY cs.LG stat.ML
Fairness: from the ethical principle to the practice of Machine Learning development as an ongoing agreement with stakeholders
University of Notre Dame(圣母大学);Universitat Ramon Llull(拉蒙·柳利大学);IQS School of Management(IQS管理学院)
本文提出一种端到端的亲伦理迭代方法,将公平伦理原则转化为机器学习开发中与利益相关者的持续协议,以识别、缓解和监控偏见并解释不完美权衡。
2023-03-22 cs.AI cs.CY cs.LG
Mapping Stakeholder Needs to Multi-Sided Fairness in Candidate Recommendation for Algorithmic Hiring
针对算法招聘公平性研究仅关注单边的不足,通过访谈40名多类利益相关方,梳理其不公平经历并共同设计公平定义与指标,最终将多方视角映射到现有候选人推荐公平性指标体系中。
2025-07-29 cs.CY
Perceptions of the Fairness Impacts of Multiplicity in Machine Learning
本研究通过调查发现,非专业利益相关者认为机器学习中的多重性威胁模型结果的公平性,但不影响使用模型的适当性,且反对用单一模型或随机化解决多重性,提示开发者需有意识地处理多重性以维护公平。
2025-01-23 cs.CY cs.HC
FairPlay: A Collaborative Approach to Mitigate Bias in Datasets for Improved AI Fairness
Department of Computer Science, Stony Brook University(计算机科学系,石英布鲁克大学)
针对AI决策中公平性标准冲突的问题,提出协作式去偏见工具FairPlay,通过战略互动协商达成共识,用户研究显示约五轮即可达成一致,有效提升AI公平性。
2025-04-22 cs.CY cs.HC cs.LG
Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems
Cornell University(康奈尔大学);Loyola University Maryland(洛约拉大学马里兰州)
研究探讨了大型科技公司如何在推荐系统中处理公平性,识别了技术团队与法律、数据团队在公平性工作中的挑战,并提出可行的实践建议。
2026-02-27 cs.AI cs.CY cs.HC
"Taking Stock at FAccT": Using Participatory Design to Co-Create a Vision for the Fairness, Accountability and Transparency Community
Northeastern University Boston United States;Munich Center for Machine Learning (MCML) Munich Germany;University of Mannheim Mannheim Germany;StickFlux Labs \& University of Chicago United States;Northeastern University;Munich Center for Machine Learning (MCML);University of Mannheim;StickFlux Labs \& University of Chicago
本文通过参与式设计方法,为FAccT论坛的治理提出反思性框架,展示了如何通过集体参与制定议程,促进对AI社会影响的批判性讨论,并推动大规模参与式设计理论的发展。
2026-04-17 cs.AI cs.CY cs.HC
Towards FATE in AI for Social Media and Healthcare: A Systematic Review
本文系统综述社交媒体与医疗保健AI中的FATE研究,分析现有方案的优劣,指出统计与交叉性公平及透明度的关键作用,并提出未来方向。
2023-06-05 cs.CY
Am I Being Treated Fairly? A Conceptual Framework for Individuals to Ascertain Fairness
Data Science and Computational Intelligence Institute (DaSCI), University of Granada(格拉纳达大学数据科学与计算智能研究所(DaSCI));University of Bergen(卑尔根大学);Department of Computer Science and Artificial Intelligence (DCSAI), University of Granada(格拉纳达大学计算机科学与人工智能系(DCSAI))
本文提出一个概念框架,赋予个体评估自动决策系统公平性的能力,将公平性视为个体的认知权利,使其能理解、质疑和验证决策,并为组织与政策制定者提供蓝图。
2025-04-03 cs.AI cs.CY cs.HC
Responsible LLM Deployment for High-Stake Decisions by Decentralized Technologies and Human-AI Interactions
University of Liverpool(利物浦大学);Chain Crunch Labs(Chain Crunch实验室);Kendall Square Financial Technology(肯德尔广场金融科技公司)
本文提出通过去中心化技术和人机交互实现LLM在高风险决策中的负责任部署,通过多次迭代评估不确定样本并确保解释的稳定性,以提高安全性和责任追溯能力。
2025-11-28 cs.AI cs.CY cs.HC
Accountability in AI: From Principles to Industry-specific Accreditation
Playtech plc(Playtech公司);City, University of London(伦敦大学城市学院)
最近与人工智能相关的丑闻使人们关注人工智能的问责制,公众的兴趣和关注越来越多。本文借鉴了公共政策和治理的相关文献,做出了两方面的贡献。首先,我们提出了一个人工智能问责生态系统,作为系统的一个有用的镜头,不同的利益相关者需要并促进特定的问责机制。我们认为,目前的生态系统是不平衡的,需要通过人工智能的可解释性和足够的文件和流程形式化来提高透明度,以支持内部审计,最终导致外部认证流程。其次,我们使用赌博行业的案例研究来说明整个生态系统的一个子集,需要特定于行业的问责制原则和流程。我们严格定义和评估的关键问责制原则在赌博行业的实施,即解决算法偏见和模型的可解释性,然后根据我们的研究结果总结和讨论未来的工作方向。关键词:问责制,可解释的人工智能,算法偏见,监管。
2021-10-08 cs.AI cs.CY
Accuracy-Efficiency Trade-Offs and Accountability in Distributed ML Systems
Cornell University(康奈尔大学)
准确性和效率之间的权衡遍布法律、公共卫生和其他非计算领域,这些领域已经制定了政策来指导如何在不确定的条件下平衡两者。虽然计算机科学通常也研究准确性和效率的权衡,但它们的政策含义仍然没有得到很好的研究。借鉴美国的风险评估实践,我们认为,由于检查这些权衡已用于指导其他领域的治理,我们需要同样考虑这些权衡在治理计算机系统。我们的分析集中在分布式机器学习系统。了解这一领域的政策影响尤为紧迫,因为包括自动驾驶汽车在内的此类系统往往风险很高,而且对安全至关重要。我们1)描述了这些系统的权衡是如何形成的,2)强调了现有美国风险评估标准与这些系统需要进行适当评估之间的差距,3)当关于准确性-效率权衡的假设风险在现实世界中成为事故时,提出具体的行动呼吁,以促进问责制。最后,我们讨论了这种问责机制如何鼓励更公正,透明的治理与公共价值观一致。
2021-10-02 cs.CY cs.LG
Towards Accountability for Machine Learning Datasets: Practices from Software Engineering and Infrastructure
Google(谷歌)
对人工智能系统的社会影响的日益关注激发了对更大透明度和问责制的需求。然而,赋予机器学习权力的数据集经常被使用、共享和重用,而对导致其创建的审议过程几乎没有可见性。在构思数据集时,哪些利益攸关方群体的观点被纳入其中?关于如何对子群和其他现象建模,咨询了哪些领域专家?如何衡量和解决代表性偏见的问题?是谁给数据贴上标签的?在本文中,我们介绍了一个严格的数据集开发透明度框架,支持决策和问责制。该框架利用数据集开发的周期性、基础设施和工程性质,从软件开发生命周期中汲取最佳实践。数据开发生命周期的每个阶段都会产生一组文档,这些文档有助于改善沟通和决策,并提请注意仔细数据工作的价值和必要性。拟议的框架旨在通过使数据集创建中经常被忽视的工作变得可见,从而有助于缩小人工智能系统中的问责制差距。
2021-01-30 cs.CY cs.DB cs.LG
Perceived Fairness of the Machine Learning Development Process: Concept Scale Development
University of Nebraska(内布拉斯加大学)
本研究从社会技术视角定义并验证机器学习开发中的感知公平性,提出透明度、问责制和代表性三维框架,以指导公平ML系统的构建。
2025-01-23 cs.CY cs.HC cs.LG
Addressing multiple metrics of group fairness in data-driven decision making
Joint Research Centre, European Commission(欧盟联合研究中心);Universitat Pompeu Fabra(庞培法布拉大学)
机器学习中的公平性、责任性和透明度(FAT-ML)文献提出了一组不同的群体公平性度量标准,以衡量对受保护特征(如性别或种族)表征的社会人口统计群体的歧视。根据度量标准的选择,这种系统可以被视为公平或不公平。已经提出了几个指标,其中一些相互不兼容。我们这样做的经验,通过观察,这些指标中的几个集群在两个或三个主要集群为相同的群体和机器学习方法。此外,我们提出了一个强大的方法来可视化多维公平性在两个维度上,通过主成分分析(PCA)的组公平性指标。在多个数据集上的实验结果表明,PCA分解解释了具有一到三个分量的度量之间的方差。
2020-03-10 cs.CY cs.LG stat.ML
An Empirical Comparison of Bias Reduction Methods on Real-World Problems in High-Stakes Policy Settings
Carnegie Mellon University(卡内基梅隆大学)
近年来,机器学习(ML)在教育、刑事司法、医疗保健和社会服务等高风险政策环境中的应用迅速增长,引发了关于如何确保这些系统公平结果的重要讨论。机器学习研究界已经通过提出一系列针对ML模型的公平性增强策略来应对这一挑战,但是尽管已经开发了大量的方法,但在现实世界中评估这些方法的实证工作很少。在这里,我们试图通过调查在ML管道的不同点运行的几种方法在四个现实世界的公共政策和社会公益问题上的性能来填补这一研究空白。在这些问题中,我们发现许多方法在提高模型公平性的能力方面存在很大程度的可变性和不一致性,但通过选择特定于组的分数阈值进行后处理,始终可以消除差异,这对ML研究社区和部署机器学习的从业者都有重要影响,以告知相应的政策决策。
2021-05-13 cs.CY cs.LG
Subjective fairness in algorithmic decision-support
本文批判客观公平性度量的局限,提出将公平性视为主观属性,并通过可解释聚类和主观解释实现算法决策支持中的公平对待。
2024-06-28 cs.CY
On the Need and Applicability of Causality for Fairness: A Unified Framework for AI Auditing and Legal Analysis
CISPA, Helmholtz Center for Information Security(亥姆霍兹信息安全中心CISPA);University of Liège(列日大学);INRIA, Saclay Ile-de-France(法国国家信息与自动化研究所萨克雷-法兰西岛分部)
本文聚焦AI公平性评估中的因果关系需求,结合法律与社会视角,分析欧盟相关案例与监管下证明AI决策因果性的挑战及方法局限,提出提升算法透明度、问责制与公平性的可行方案。
2025-03-19 cs.AI cs.CY cs.LG
Superhuman Game AI Disclosure: Expertise and Context Moderate Effects on Trust and Fairness
CSIRO’s Data61(联邦科学与工业研究组织数据61);UNSW Sydney(新南威尔士大学悉尼分校)
本文通过 Persona Cards 模拟多样化用户,研究超人类游戏 AI 能力披露对信任与公平性的影响,发现透明度具有双重效应,并发布数据集以支持可复现的人类对齐 AI 设计研究。
2025-04-07 cs.AI cs.CL cs.CY
Participatory Problem Formulation for Fairer Machine Learning Through Community Based System Dynamics
Google(谷歌);System Stars;DeepMind(深度思维)
最近关于算法公平性的研究强调,ML系统开发的问题制定阶段可能是对ML系统公平性结果具有重大下游影响的偏差的关键来源。然而,很少有人关注提高ML系统开发这一关键阶段的公平性的方法。目前的做法既没有考虑到高风险领域的动态复杂性,也没有纳入弱势利益攸关方的观点。在本文中,我们引入了基于社区的系统动力学(CBSD)作为一种方法,使通常被排除在外的利益相关者能够参与ML系统开发过程的问题制定阶段,并促进在这个关键阶段减轻偏见所需的深入问题理解。
2020-05-22 cs.CY cs.LG stat.ML
The Right Tool for the Job: Open-Source Auditing Tools in Machine Learning
Complex Adaptive Systems Research(复杂自适应系统研究机构)
近年来,关于机器学习、人工智能伦理和算法审计公平性的讨论越来越多。许多实体制定了框架指导,以确定公平和问责的基线标准。然而,尽管有越来越多的讨论和多种框架,算法和数据审计在实践中仍然难以执行。许多开源审计工具都是可用的,但用户并不总是知道这些工具,它们有什么用,或者如何访问它们。模型审计和评估在机器学习中并不是经常强调的技能。主动采用这些工具也有法律上的原因,这些工具超出了对机器学习更公平的渴望。在我们高度联系的全球社会中,公众的看法和善意存在着积极的社会问题。更多地了解这些工具以及积极利用它们的原因可能有助于程序员、数据科学家、工程师、研究人员、人工智能和机器学习产品的用户和消费者。重要的是,每个人都要更好地了解输入和输出差异,它们是如何发生的,以及可以做些什么来促进机器和深度学习中的FATE(公平性,问责制,透明度和道德)。自由访问开源审计工具的能力消除了机器学习最基本级别的公平性评估障碍。本文旨在强调实际使用这些工具的迫切需要,并提供这样做的动机。本文强调的示例性工具是开源的,具有软件或代码库,可供全球任何人立即使用。
2022-06-20 cs.AI cs.CY cs.LG
D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias
Stony Brook University(石溪大学)
随着人工智能的兴起,算法已经变得更善于从训练数据中学习潜在模式,包括基于性别、种族等根深蒂固的社会偏见。将此类算法部署到招聘、医疗保健、执法等领域,引发了人们对机器学习算法中公平性、问责制、信任度和可解释性的严重担忧。为了缓解这个问题,我们提出了D-BIAS,这是一个可视化的交互工具,它体现了人工智能的方法,用于审计和减轻表格数据集中的社会偏见。它使用图形因果模型来表示数据集中不同特征之间的因果关系,并作为注入领域知识的媒介。用户可以通过识别因果网络中的不公平因果关系并使用一系列公平度量来检测对一个群体(比如女性)或一个子群体(比如黑人女性)的偏见的存在。此后,用户可以通过作用于不公平的因果边来减轻偏差。对于每个交互,比如削弱/删除有偏因果边,系统使用一种新方法来模拟基于当前因果模型的新(去偏)数据集。用户可以直观地评估他们的交互对不同公平性指标、效用指标、数据失真和底层数据分布的影响。一旦满意,他们可以下载去偏数据集,并将其用于任何下游应用程序,以实现更公平的预测。我们通过在3个数据集上进行实验以及正式的用户研究来评估D-BIAS。我们发现,D-BIAS有助于减少偏见显着相比,在不同的公平性指标的基线去偏置方法,同时引起很少的数据失真和效用的小损失。此外,我们基于人在回路的方法在信任、可解释性和问责制方面明显优于自动化方法。
2022-08-10 cs.CY cs.HC cs.LG
Assessing the Fairness of AI Systems: AI Practitioners' Processes, Challenges, and Needs for Support
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
已经开发了各种工具和实践来支持从业人员识别,评估和减轻人工智能系统造成的公平相关伤害。然而,先前的研究已经强调了这些工具和实践的预期设计与其在特定背景下的使用之间的差距,包括组织因素在塑造公平工作中所发挥的作用所造成的差距。在本文中,我们调查了这样一种做法的这些差距:人工智能系统的分类评估,旨在揭示人口统计群体之间的性能差异。通过对来自三家科技公司的10个团队的33名人工智能从业者进行半结构化访谈和结构化研讨会,我们确定了从业者在设计分类评估时的流程、挑战和支持需求。我们发现,从业人员面临的挑战时,选择绩效指标,确定最相关的直接利益相关者和人口群体的重点,并收集数据集进行分类评价。更一般地说,我们确定了对公平工作的影响,这些影响来自缺乏与直接利益相关者或领域专家的接触,优先考虑客户而不是边缘化群体的业务需求,以及大规模部署人工智能系统的驱动力。
2022-02-10 cs.AI cs.CY cs.HC
Operational AI Deployment Assurance: Governance-State Orchestration Under Threshold-Sensitive Deployment Conditions -- A Governance Framework for High-Stakes AI Systems
Ducaltus | AI Assurance \& Governance Newcastle upon Tyne, United Kingdom School of Computing, Engineering \& Digital Technologies Teesside University Middlesbrough, United Kingdom
提出运营级AI部署保障(OADA)框架,通过部署保障分数、就绪分类、阈值稳定区、治理升级状态和修复感知保障推进等机制,将公平性分歧、子组不稳定性和阈值敏感性转化为部署导向的治理决策,以解决高风险AI系统中静态指标报告和事后审计的不足。
2026-05-27 cs.AI cs.CY
Bridging Formal and Perceived Fairness: Development of an Interdisciplinary Framework in Algorithmic Decision-Making
Johannes Gutenberg University(约翰内斯·古腾堡大学)
本文构建了弥合算法形式公平与用户感知公平的跨学科框架,通过文献综合、研讨会及访谈,为算法公平评估与系统设计提供方法支撑。
2026-09-04 cs.CY
"The Human Body is a Black Box": Supporting Clinical Decision-Making with Deep Learning
Duke Institute for Health Data & Society Research(杜克健康数据与社会研究所);Duke Institute for Health Innovation(杜克健康创新研究所);Harvard University(哈佛大学);Duke School of Medicine(杜克医学院)
机器学习技术越来越多地被开发用于医疗保健。虽然研究界专注于创建最先进的模型,但对现实世界的实施以及来自实际使用的准确性,公平性,问责制和透明度的相关挑战的关注较少。关于如何在道德上建立模型,解释和解释模型输出,识别和解释偏见,以及最大限度地减少对专业知识和工作文化的破坏,仍然存在严重的问题。我们在文献中解决了这一差距,并提供了一个详细的案例研究,涵盖了脓毒症观察,机器学习驱动的工具,协助医院临床医生在早期诊断和治疗脓毒症的开发,实施和评估。我们,开发和评估该工具的团队,讨论我们对该工具的概念化,而不是作为一个模型部署在世界上,而是作为一个社会技术系统,需要融入现有的社会和专业背景。我们并不关注模型的可解释性以确保机器学习的公平和负责任,而是指出了在开发机器学习以支持临床决策时应该考虑的四个关键价值观和实践:严格定义上下文中的问题,与利益相关者建立关系,尊重专业自由裁量权,并与利益相关者建立持续的反馈循环。我们的工作对未来的研究机构问责机制和设计机器学习系统的考虑因素具有重要意义。我们的工作强调了模型可解释性的局限性,以确保实践中的透明度,准确性和问责制。相反,我们的工作展示了在设计和实践中实现FATML价值的其他方法和目标。
2019-12-07 cs.AI cs.CY cs.HC
Causal Conceptions of Fairness and their Consequences
Stanford University(斯坦福大学);New York University(纽约大学);Harvard University(哈佛大学)
本文将因果公平定义分为约束反事实差异与约束保护特征影响两类,证明并实证其几乎总是产生被强帕累托支配的策略,揭示形式局限与不良后果。
2022-07-12 cs.AI cs.CY cs.LG
An Algorithmic Equity Toolkit for Technology Audits by Community Advocates and Activists
University of Washington(华盛顿大学);West Virginia University(西弗吉尼亚大学);Middlebury College(明德学院);University of Michigan(密歇根大学);University of Oxford(牛津大学)
最近一波学术研究记录了算法系统的歧视性危害,激发了人们对算法问责和监管的广泛兴趣。然而,由于持续缺乏支持公众理解算法和人工智能的资源,有效的问责和监管受到阻碍。通过与美国的民权组织和他们的社区组织联盟的互动,我们确定了一个需要(i)的分析,帮助利益相关者在区分类型的分析和信息系统在外行的语言,和(ii)风险评估工具,这样的系统,首先使算法更清晰。目前的工作提供了一个工具包,以实现这些目标。本文既介绍了作为一个工件,我们的参与过程中塑造了它的设计的mathemic公平工具包(AEKit)公平。我们的工作符合人机交互奖学金,作为HCI方法和方法在算法透明度和问责制领域的问题的价值的证明。
2019-12-06 cs.AI cs.CY cs.HC
Alternative Fairness and Accuracy Optimization in Criminal Justice
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出在刑事司法中通过优化误差损失和控制假阴性率差异来提升公平与准确性的方法,并提供部署框架以确保决策系统的合法性。
2025-12-18 cs.AI cs.CY cs.LG
From Review to Design: Ethical Multimodal Driver Monitoring Systems for Risk Mitigation, Incident Response, and Accountability in Automated Vehicles
C3I Imaging Lab, School of Engineering, University of Galway(Galway大学工程学院C3I成像实验室);Royal College of Surgeons in Ireland(爱尔兰皇家外科医师学院)
本文提出针对自动驾驶车辆中多模态驾驶员监控系统的设计框架,解决伦理和法律挑战,强调透明、可信和以人为本的设计方法。
2026-05-07 cs.CV cs.CY cs.ET
Agentic AI: Autonomy, Accountability, and the Algorithmic Society
本文从创意与知识产权、法律伦理及市场竞争三方面分析智能体式AI自主执行带来的问责缺口,并倡导以跨学科框架平衡自主性、透明度与社会福祉。
2025-02-15 cs.CY
Towards Integrating Fairness Transparently in Industrial Applications
AT&T Labs - Research(AT&T实验室-研究部)
近年来,许多与机器学习(ML)偏见相关的失败导致了对公司如何在其ML生命周期中纳入透明度和问责制方面的审查。公司有责任监控ML流程中的偏见,并减轻检测到的任何偏见,确保业务产品的完整性,维护客户忠诚度,并保护品牌形象。行业ML项目所面临的挑战可以大致分为原则性文档、人为监督以及对实现信息重用和提高成本效率的机制的需求。我们强调了具体的障碍,并为ML从业者和组织主题专家提出了基于每个类别的概念解决方案。我们的系统方法通过在ML生命周期的各个阶段将机械化和人在环组件集成到偏差检测、缓解和项目文档中来应对这些挑战。为了激励我们的系统的实施- SIFT(系统整合公平性)-我们提出了它的结构原语与一个示例现实世界的用例,它可以用来识别潜在的偏见,并确定适当的缓解策略,在参与的方式。
2021-02-13 cs.AI cs.CY cs.LG
Long-Term Fairness Inquiries and Pursuits in Machine Learning: A Survey of Notions, Methods, and Challenges
Iowa State University(爱荷华州立大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对机器学习静态公平性方法难以应对长期决策公平性、反馈循环与环境交互带来的公平偏离问题,本文综述长期公平性研究文献,提出分类体系,梳理挑战并展望未来方向。
2025-07-29 cs.AI cs.CY cs.LG
Fairness in Deep Learning: A Computational Perspective
Department of Computer Science and Engineering, Texas A&M University(德克萨斯农工大学计算机科学与工程系);Department of Industrial and Systems Engineering, Texas A&M University(德克萨斯农工大学工业与系统工程系)
深度学习越来越多地用于影响个人生活的高风险决策应用程序。然而,深度学习模型可能会表现出对受保护群体的算法歧视行为,可能会对个人和社会造成负面影响。因此,深度学习中的公平性最近引起了极大的关注。我们提供了一个综述,涵盖了最近的进展,以解决算法公平性问题的深度学习从计算的角度来看。具体来说,我们表明,可解释性可以作为一个有用的成分,诊断导致算法歧视的原因。我们还讨论了根据深度学习生命周期的三个阶段分类的公平性缓解方法,旨在推进深度学习的公平性领域,构建真正公平可靠的深度学习系统。
2020-03-19 cs.AI cs.CY cs.LG
Modeling Fairness in Recruitment AI via Information Flow
Umeå University(乌梅大学)
针对现有招聘AI公平性研究未打通技术与社会伦理要素交互的问题,本文采用信息流建模框架结合访谈构建招聘流程多层表征,识别偏见产生与传播路径,为社会技术系统公平风险分析提供支撑。
2025-11-16 cs.AI cs.CY
Technical Challenges for Training Fair Neural Networks
University of Maryland, College Park(马里兰大学帕克分校);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
随着机器学习算法在应用程序中的广泛部署,人们对其预测的公平性提出了许多担忧,特别是在高风险环境中(如面部识别和医学成像)。为了回应这些关注,社会提出并正式确定了各种公平的概念以及纠正不公平行为的方法。虽然公平性约束已经被广泛研究了经典模型,但对深度神经网络施加公平性的方法的有效性尚不清楚。在本文中,我们观察到这些大型模型过度拟合公平目标,并产生一系列意想不到的和不希望的后果。我们使用最先进的架构对面部识别和自动医疗诊断数据集进行实验。
2021-02-12 cs.AI cs.CY cs.LG
Policy Optimization with Advantage Regularization for Long-Term Fairness in Decision Systems
UC San Diego(加州大学圣迭戈分校);UT Austin(得克萨斯大学奥斯汀分校)
长期公平性是在高风险决策环境中设计和部署基于学习的决策系统时考虑的一个重要因素。最近的工作提出了使用马尔可夫决策过程(MDP)制定决策与长期的公平性要求,在动态变化的环境中,并表现出直接部署启发式和基于规则的政策,在静态环境中工作良好的主要挑战。我们表明,与以前已知的策略相比,深度强化学习的策略优化方法可以用来找到更好的决策策略,这些策略通常可以实现更高的整体效用和更少的公平性要求。特别是,我们提出了新的方法,在政策优化的公平性要求,通过正规化的优势评估不同的行动。我们提出的方法可以很容易地施加公平性约束,而无需奖励工程或牺牲训练效率。我们在三个已建立的案例研究中进行了详细的分析,包括事件监测中的注意力分配,银行贷款审批和人口网络中的疫苗分配。
2022-10-22 cs.AI cs.CY cs.LG
Co-designing for Compliance: Multi-party Computation Protocols for Post-Market Fairness Monitoring in Algorithmic Hiring
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所);Leiden University(莱顿大学);Universitat Pompeu Fabra(庞培法布拉大学);InfoJobs;Ruhr University Bochum(波鸿鲁尔大学);Radboud University(拉德堡德大学)
本文提出一种集成技术、法律和工业专家的协同设计方法,开发了一个符合法律的多方计算协议,用于算法招聘中的事后公平性监控,并在大规模工业环境中验证其有效性。
2026-05-07 cs.CR cs.CY
Fairness of ChatGPT
Rutgers University(罗格斯大学)
本文以 ChatGPT 为案例,系统评估了大语言模型在教育、犯罪学、金融和医疗等高风险领域的公平性与有效性,结合群体和个体公平指标分析有偏与无偏提示下的输出差异,为偏见缓解和负责任 AI 发展提供依据。
2024-05-05 cs.AI cs.CL cs.CY
Safety Drift After Fine-Tuning: Evidence from High-Stakes Domains
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Center for Democracy & Technology(民主与技术中心)
研究发现微调导致的安全性变化显著且不一致,挑战了基于基础模型的安全性假设,需重新评估微调模型以管理下游风险。
2026-04-27 cs.CY cs.SE
Stakeholder-in-the-Loop Fair Decisions: A Framework to Design Decision Support Systems in Public and Private Organizations
针对机器学习决策支持系统的可解释性与公平性需求,本文提出“利益相关者在环的公平决策”框架,通过明确四类利益相关者特征并整合其价值观,设计出确保负责任决策的系统。
2023-08-02 cs.CY
On the Effectiveness and Generalization of Race Representations for Debiasing High-Stakes Decisions
Department of Computer Science University of Chicago(计算机科学系芝加哥大学)
针对大语言模型在高风险决策中的种族偏差问题,本研究构建了录取与招聘测试平台,发现提示工程难以去偏,而通过干预模型激活中的种族子空间可有效降低偏差,但种族子空间泛化性有限,为LLM公平性研究提供了机制性方向。
2025-10-03 cs.AI cs.CL cs.CY
The FairCeptron: A Framework for Measuring Human Perceptions of Algorithmic Fairness
RWTH Aachen University(亚琛工业大学);GESIS - Leibniz Institute for the Social Sciences(GESIS - 莱布尼茨社会科学研究所)
算法公平性的测量通常不考虑人类对公平性的看法,这种看法在不同的社会人口统计学和利益相关者之间可能存在很大差异。FairCeptron框架是一种研究算法决策(如排名或分类)中公平性感知的方法。它支持(i)研究人类对公平的感知,以及(ii)将这些人类感知与算法公平性的度量进行比较。该框架包括公平场景生成、公平感知获取和公平感知分析。我们证明了FairCeptron框架,将其应用到一个假设的大学录取的情况下,我们收集人类的公平观念,在少数民族的存在。FairCeptron框架的实现是公开可用的,并且它可以很容易地适应于研究其他应用环境中的算法公平性的感知。我们希望我们的工作为提升人类公平感知研究在设计算法决策系统过程中的作用铺平了道路。
2021-02-08 cs.AI cs.CY
Causal Feature Selection for Algorithmic Fairness
University of Chicago(芝加哥大学);IBM Research AI(IBM研究院人工智能部门)
在高风险的社会决策中使用机器学习(ML)鼓励在整个ML生命周期中考虑公平性。虽然数据集成是生成高质量训练数据的主要步骤之一,但大多数公平性文献都忽略了这一阶段。在这项工作中,我们在数据管理的集成组件中考虑公平性,旨在确定在不向数据集添加任何偏差的情况下提高预测的特征。我们在因果干预公平范式下工作。在不需要先验的基础结构因果模型的情况下,我们提出了一种方法来确定一个子集合的功能,通过执行不同的功能子集之间的条件独立性测试,确保数据集的公平性。我们使用组测试来提高方法的复杂性。我们从理论上证明了所提出的算法的正确性,以确定功能,确保干预的公平性,并表明,次线性条件独立性测试是足够的,以确定这些变量。在真实世界的数据集上进行了详细的经验评估,以证明我们的技术的有效性和效率。
2022-03-31 cs.CY cs.DB cs.LG
Fairness and Bias in Algorithmic Hiring: a Multidisciplinary Survey
Max Planck Institute for Security and Privacy(安全与隐私研究所);Radboud University(拉德博德大学);Eindhoven University of Technology(埃因霍温理工大学);Randstad(Randstad公司);European University Viadrina(弗赖堡大学)
本文通过多学科视角全面调查算法招聘中的公平性与偏见问题,涵盖系统、偏见、度量、缓解策略、数据集及法律层面,为该技术的理解与治理提供平衡建议。
2025-06-27 cs.AI cs.CY
Machine Learning Fairness in Justice Systems: Base Rates, False Positives, and False Negatives
机器学习最佳实践声明已经激增,但对于标准应该是什么缺乏共识。特别是对于公平标准,几乎没有关于如何在实践中实现公平的指导。具体来说,错误(包括假阴性和假阳性)的公平性可能会带来一个问题,即如何设置权重,如何进行不可避免的权衡,以及如何判断跨种族群体呈现不同类型错误的模型。本文考虑了一个种族群体的假阳性率较高和另一个种族群体的假阴性率较高的后果。本文探讨了司法环境中的不同错误如何为机器学习应用程序带来问题,解决权衡的计算限制,以及如何通过与领导层,一线工人,利益相关者和受影响社区的勇敢对话来制定解决方案。
2020-08-05 cs.AI cs.CY
Blockchain As a Platform For Artificial Intelligence (AI) Transparency
Emporia State University(恩波利亚州立大学)
本文研究如何利用区块链的去中心化、不可篡改和透明特性解决AI黑箱问题,提出区块链增强型AI透明度框架,以改善决策可追溯性、数据来源和模型问责制,并分析了其应用、优势与挑战。
2025-03-07 cs.AI cs.CR cs.CY
A Human-in-the-loop Framework to Construct Context-aware Mathematical Notions of Outcome Fairness
University of Toronto(多伦多大学);ETH Zürich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学)
现有的数学公平概念无法解释决策的背景。我们认为,道德考虑的背景因素是一个固有的人类任务。因此,我们提出了一个框架来学习上下文感知的公平性的数学公式,引发人们的公平性评估。我们的公平概念家族对应于对机会平等(EOP)经济模型的新解释,它包括了大多数现有的公平概念作为特例。我们的人在回路的方法是设计来学习EOP家庭的适当参数,利用人类的反应,成对的问题,决策主体的情况和应得的,以及对他们的伤害/好处。我们通过在Amazon Mechanical Turk上进行一系列人类受试者实验,在假设的犯罪风险评估场景中说明了我们的框架。我们的工作迈出了重要的第一步,使利益相关者能够在制定机器学习的公平性方面发表意见。
2021-05-18 cs.AI cs.CY
The Conflict Between Explainable and Accountable Decision-Making Algorithms
KAIST(韩国科学技术院);IBS(基础科学研究院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Max Planck Institute for Research on Collective Goods(马克斯·普朗克集体物品研究所);Kangwon National University(江原国立大学)
决策算法正在用于重要的决策,例如谁应该参加医疗保健计划和被雇用。尽管这些系统目前部署在高风险场景中,但其中许多系统无法解释其决策。这种限制促使了可解释人工智能(XAI)计划,该计划旨在使算法可解释以遵守法律要求,促进信任并保持问责制。本文质疑可解释性是否以及在多大程度上可以帮助解决自主AI系统带来的责任问题。我们认为,提供事后解释的XAI系统可能被视为应受责备的代理人,模糊了开发人员在决策过程中的责任。此外,我们认为,XAI可能会导致对弱势利益相关者的责任归属不正确,例如那些受到算法决策影响的人(即,患者),由于他们对可解释的算法具有控制权的误导性感知。如果设计师选择将算法和患者作为道德和法律的替罪羊,那么可解释性和问责制之间的冲突可能会加剧。最后,我们提出了一系列建议,以解决算法决策的社会技术过程中的这种紧张局势,并为硬监管辩护,以防止设计师逃避责任。
2022-05-11 cs.AI cs.CY