Forks Over Knives: Predictive Inconsistency in Criminal Justice Algorithmic Risk Assessment Tools
大数据和算法风险预测工具有望通过减少决策中的人为偏见和不一致性来改善刑事司法系统。然而,在开发、测试和部署这些社会技术工具时,不同的、同样合理的选择可能会导致同一个人的预测风险评分不同。综合来自机器学习、统计学、社会学、犯罪学、法律、哲学和经济学的不同观点,我们将这种现象概念化为预测不一致。我们描述了算法风险评估工具开发和部署的不同阶段的预测不一致性的来源,并考虑未来的技术发展可能会放大预测不一致性。然而,我们认为,在一个多样化和多元化的社会,我们不应该期望完全消除预测的不一致性。相反,为了支持算法风险预测工具的法律,政治和科学合法性,我们建议识别和记录相关和合理的“分叉路径”,以实现可量化,可重现的多元宇宙和规范曲线分析,在个人层面上的预测不一致。
2022-09-22 cs.CY
Algorithms as Social-Ecological-Technological Systems: an Environmental Justice Lens on Algorithmic Audits
本文将算法系统重新界定为社会-生态-技术系统(SETS)的一部分,提出面向环境正义的算法审计方法论,并给出三项政策建议及定性提问框架,以促进多方互动。
2023-05-23 cs.CY
Justice in Misinformation Detection Systems: An Analysis of Algorithms, Stakeholders, and Potential Harms
University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学)
面对社交媒体上错误信息的规模和激增,许多平台和事实核查组织已经转向算法,以自动化错误信息检测管道的关键部分。虽然为规模挑战提供了一个有希望的解决方案,但与算法错误信息检测相关的道德和社会风险尚未得到很好的理解。在本文中,我们采用和扩展后的概念,信息正义开发一个框架,阐述有关的代表性,参与,利益和负担的分配,以及在错误信息检测管道的可信度的正义问题。利用该框架:(1)我们展示了在三个算法阶段中,利益相关者如何实现不公正;(2)我们提出了评估这些不公正的经验措施;(3)我们确定了这些伤害的潜在来源。该框架应有助于研究人员、政策制定者和从业人员分析与这些算法相关的潜在危害或风险,并为该领域的算法公平性审计设计提供概念性指导。
2022-04-29 cs.AI cs.CY
Transparency, Governance and Regulation of Algorithmic Tools Deployed in the Criminal Justice System: a UK Case Study
我们提出了在英国的刑事司法系统中使用的工具在三个类别:数据基础设施,数据分析和风险预测的调查。许多工具目前正在部署中,提供了潜在的好处,包括提高效率和一致性。然而,也有一些重要的关切。关于这些工具的透明信息,它们的目的,它们是如何使用的,以及由谁使用的,很难获得。即使有资料,也往往不足以进行令人满意的评价。需要开展更多工作,建立治理机制,确保以透明、安全和道德的方式部署工具。我们呼吁与利益相关者进行更多的接触,并更多地记录工具的预期目标,与其他选项相比,它将如何实现这一目标,以及如何在部署中对其进行监控。我们强调了在评估已部署工具的可信度时需要考虑的其他要点,并提出了具体的政策建议。
2022-06-01 cs.CY
Learning about Data, Algorithms, and Algorithmic Justice on TikTok in Personally Meaningful Ways
本文探讨年轻人在TikTok上以个人有意义的方式学习数据、算法及算法正义,并利用平台理解倡导变革。
2024-05-24 cs.CY
Lecture II: Communicative Justice and the Distribution of Attention
Australian National University(澳大利亚国立大学)
针对算法中介塑造传播与分配注意力所引发的数字公共领域问题,本文提出并捍卫一种民主平等主义的传播正义理论。
2024-10-17 cs.AI cs.CY
A Justice-Based Framework for the Analysis of Algorithmic Fairness-Utility Trade-Offs
Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学);Polytechnic University of Milan(米兰理工大学)
该研究提出基于分配正义的算法公平-效用权衡分析框架,将决策者效用与对象公平性量化对比,用帕累托效率选决策规则,助力系统实施与审计。
2023-05-01 cs.CY cs.LG
Crowdsourcing Impacts: Exploring the Utility of Crowds for Anticipating Societal Impacts of Algorithmic Decision Making
随着算法在行业和政府中的日益普及,越来越多的工作都在努力了解它们的社会影响和道德影响。在算法开发的不同阶段使用了各种方法,以鼓励研究人员和设计人员考虑其研究的潜在社会影响。在这一领域,一个研究不足但很有前途的领域是利用参与式远见来预测这些不同的社会影响。我们采用众包作为一种参与式预见的手段,根据一套政府算法决策工具揭示四种不同类型的影响领域:(1)感知效价,(2)社会领域,(3)具体的抽象影响类型,(4)伦理算法问题。我们的研究结果表明,这种方法可以有效地利用人群的认知多样性来揭示一系列问题。我们进一步分析了影响领域相互作用的复杂性,以展示众包如何照亮影响之间联系的模式。最终,这项工作确立了众包作为预测算法影响的有效手段,通过利用参与性远见和认知多样性,补充了评估社会中算法的其他方法。
2022-07-19 cs.CY
Algorithmic Fairness and Structural Injustice: Insights from Feminist Political Philosophy
数据驱动的预测算法被广泛用于自动化和指导高风险决策,如保释和假释建议,医疗资源分配和抵押贷款分配。然而,也有报告称,出现了不利于弱势群体的有害结果。被称为“算法公平性”的不断发展的研究领域旨在减轻这些有害的偏见。它的主要方法包括提出数学指标,以解决算法有偏见的输出所造成的社会危害。这些衡量标准通常是由政治和法律哲学家制定的分配正义的理想所推动的,或者说是植根于这种理想。相比之下,女性主义政治哲学家关于社会正义的观点在很大程度上被忽视了。一些女性主义哲学家批评了分配正义的范式,并提出了纠正修正案,以克服其局限性。本文将女性主义政治哲学的一些重要观点引入算法公平性。该文件有三个目标。首先,我表明,算法公平性并不适应其目前的范围内的结构性不公正。第二,我捍卫结构性不公正的相关性--正如Iris Marion Young在当代哲学文献中所开创的那样--与算法公平性的相关性。第三,我采取了一些步骤,在发展的范式“负责任的算法公平性”,以纠正错误的算法公平性的当前范围和实施。
2022-06-02 cs.CY cs.HC
Alternative Fairness and Accuracy Optimization in Criminal Justice
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出在刑事司法中通过优化误差损失和控制假阴性率差异来提升公平与准确性的方法,并提供部署框架以确保决策系统的合法性。
2025-12-18 cs.AI cs.CY cs.LG
Design Theory for Societal Digital Transformation: The Case of Digital Global Health
针对社会数字化转型理论缺失问题,基于全球南方80多国25年干预研究,提出含六项关联原则的设计理论,协调数字方案多样性与多层级连接。
2023-11-15 cs.CY
The Algorithmic Flattening of Sound: Computational Evidence and Justice Implications of AI Music Homogenization
University of Pennsylvania(宾夕法尼亚大学)
本文审计Suno和Lyria 3在四类音乐中的同质化趋势,发现二者存在不同的同质化模式,AI与人类曲目可被MIR特征近乎完美区分,该现象关乎音乐风格的可识别性与经济回报等正义问题。
2026-08-07 cs.CY
On the Societal Impact of Machine Learning
Faculty of Business, Economics and Informatics of the University of Zurich(苏黎世大学商学院、经济学与信息学学院)
该博士论文研究机器学习的社会影响,提出公平性测量、系统分解和干预方法以减少算法歧视,为机器学习与社会价值对齐奠定基础。
2026-09-11 cs.AI cs.CY cs.LG
Visibility Allocation Systems: How Algorithmic Design Shapes Online Visibility and Societal Outcomes
NCCR Automation(自动化国家研究中心);Swiss National Science Foundation(瑞士国家科学基金会);Kone Foundation(Kone基金会)
本文提出可见性分配系统(VASs)的形式化框架,将其拆解为典型算法工具与数据流,并结合学校选择案例说明其评估及支持AI立法的价值。
2025-10-20 cs.AI cs.CY
The Overstated Cost of AI Fairness in Criminal Justice
University of Oxford, Faculty of Law(牛津大学法学院);Institute for Ethics in AI(人工智能伦理研究所);Yale Law School Information Society Project(耶鲁法学院信息社会项目)
该研究通过COMPAS数据集实证分析,发现算法公平性被高估,刑事司法中施加公平性约束不一定牺牲准确率,还揭示了种族偏见被模型放大的问题,为相关法律政策调整提供启示。
2026-11-13 cs.CY cs.LG
AI & Racial Equity: Understanding Sentiment Analysis Artificial Intelligence, Data Security, and Systemic Theory in Criminal Justice Systems
Systemic Justice Institute, Harvard Law School(哈佛法学院系统正义研究所)
人工智能的各种形式的影响,无论是加剧或减少种族系统的不公正已经在这个应用研究工作进行了探讨。以识别,分析和辩论系统性问题的每个主题领域为基础,研究了在种族敏感环境中使用算法自动化人类决策的优点和缺点。通过对历史系统模式、隐含偏见、现有算法风险和法律影响的分析,人们断言,基于自然语言处理的人工智能,如风险评估工具,具有种族差异的结果。它的结论是,需要更多的诉讼政策来规范和限制内部政府机构和企业如何利用算法,隐私和安全风险,以及审计要求,以偏离种族不公正的结果和过去的做法。
2022-01-03 cs.CL cs.CY
Algorithmic Monoculture and its Critics
MIT(麻省理工学院)
本文评估算法单一性的批评,分析系统排斥、代理与博弈、信息聚合与探索等核心问题,指出批评观点大多不成立,算法单一性总体风险较低。
2026-09-26 cs.CY
Scarcity and Predictive Uncertainty: Implications for Societal Resource Allocation
Virginia Tech(弗吉尼亚理工大学);Washington University in St. Louis(华盛顿大学圣路易斯分校)
该研究探讨预测不确定性差异对稀缺社会资源分配的影响,构建相关数学模型,发现资源稀缺与充足时的优先分配策略反转,还评估两种分配策略的效率损失。
2026-09-22 cs.CY
On the Need and Applicability of Causality for Fairness: A Unified Framework for AI Auditing and Legal Analysis
CISPA, Helmholtz Center for Information Security(亥姆霍兹信息安全中心CISPA);University of Liège(列日大学);INRIA, Saclay Ile-de-France(法国国家信息与自动化研究所萨克雷-法兰西岛分部)
本文聚焦AI公平性评估中的因果关系需求,结合法律与社会视角,分析欧盟相关案例与监管下证明AI决策因果性的挑战及方法局限,提出提升算法透明度、问责制与公平性的可行方案。
2025-03-19 cs.AI cs.CY cs.LG
Algorithmic Fairness: A Tolerance Perspective
University of New South Wales(新南威尔士大学);La Trobe University(拉筹伯大学);University of Technology Sydney(悉尼科技大学)
该综述从容忍度视角切入算法公平性研究,提出基于容忍度的全新分类体系,覆盖多行业研究现状,梳理新兴挑战并给出未来研究与政策方向,助力构建更公平的算法系统。
2024-04-26 cs.AI cs.CY cs.IR
What does the public want their local government to hear? A data-driven case study of public comments across the state of Michigan
University of Michigan(密歇根大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本文通过密歇根州15个城市的公共评论数据,探讨公众关注的地方问题和社会议题,并利用机器学习方法构建分类体系。
2025-07-24 cs.CY
Towards Algorithmic Fairness in Space-Time: Filling in Black Holes
AT&T Chief Data Office(AT&T首席数据办公室);Trustworthy ML Initiative(可信机器学习倡议)
新技术和地理空间数据的可用性引起了人们对社会中存在的时空偏差的关注。举例来说:COVID-19疫情凸显了宽带服务可用性的差异及其在数字鸿沟中的作用;美国的环境正义运动提高了人们对历史性红线做法对少数群体健康影响的认识;研究发现,收集和共享开源地理空间数据的质量和覆盖范围各不相同。尽管有大量关于机器学习(ML)公平性的文献,但很少有算法策略被提出来减轻这种偏见。在本文中,我们通过科学文献和媒体中呈现的用例镜头,强调了量化和解决时空偏差的独特挑战。我们设想了一个需要开发或调整的ML策略路线图,以量化和克服这些挑战-包括迁移学习,主动学习和强化学习技术。此外,我们还讨论了ML在为决策者提供空间公平性相关问题的指导方面的潜在作用。
2022-11-08 cs.CY cs.LG stat.AP
Exploiting the Margin: How Capitalism Fuels AI at the Expense of Minoritized Groups
University of Cambridge(剑桥大学)
本文揭示资本主义与种族不公如何借AI延续剥削,分析零工经济、算法偏见及监控执法对少数群体的伤害,呼吁将社会正义与公平嵌入AI设计与政策核心。
2024-05-01 cs.AI cs.CY
Effort-aware Fairness: Incorporating a Philosophy-informed, Human-centered Notion of Effort into Algorithmic Fairness Metrics
本文提出基于哲学中“力”概念的努力感知公平性(EaF)度量,通过实验证明人们更关注特征时间轨迹而非聚合值,并提供刑事司法与金融领域的计算流程,以帮助审计员发现并纠正针对努力改善但仍受系统性劣势影响的个体的不公平决策。
2025-09-11 cs.AI cs.CY cs.HC
A Mulching Proposal
算法系统的伦理含义已经在HCI和更广泛的技术设计,开发和政策感兴趣的社区中进行了大量讨论。在本文中,我们探讨了一个突出的道德框架的应用-公平,问责制和透明度-一个拟议的算法,解决围绕粮食安全和人口老龄化的各种社会问题。通过使用各种标准化形式的算法审计和评估,我们大大提高了算法对FAT框架的遵守程度,从而形成了一个更加道德和有益的系统。我们讨论了这可能如何作为其他研究人员或从业者的指南,以确保在他们的工作中从算法系统中获得更好的道德结果。
2019-08-10 cs.CY
Algorithmic and Economic Perspectives on Fairness
至少一个世纪以来,计算机系统一直被用来为重大决策提供信息。累犯预测可以追溯到20世纪20年代。自动信用评分日期始于上世纪中叶,但在过去十年中,预测算法的采用加速了。他们被部署来筛选求职者,以推荐产品,人员和内容,以及医学(诊断和决策辅助),刑事司法,面部识别,贷款和保险以及公共服务的分配。算法方法的突出性导致了人们对它们在对待被预测行为的人时的系统性不公平的担忧。这些担忧通过新闻报道和大众兴趣书籍进入了大众的想象。即使这些算法部署在受监管的领域,现有的监管似乎也不足以处理这个问题。在这种情况下,“公平”一词是三个相关的公平问题的占位符。首先,这种算法可能会系统地歧视具有共同种族、宗教或性别的个人,而不管相关群体是否享有法律保护。第二,这些算法未能将人视为个体。第三,谁来决定算法的设计和部署。当人类在没有帮助的情况下做出预测时,这些问题就会出现。
2019-09-11 cs.CY
Street-Level AI: Are Large Language Models Ready for Real-World Judgments?
该研究以无家可归者资源分配领域为场景,通过真实数据对比大语言模型判断与人类判断、现有脆弱性评分系统的一致性,发现LLM优先级排序多维度不一致,质疑其直接用于高风险社会决策的可行性。
2025-09-04 cs.AI cs.CY
Algorithmic Fairness from a Non-ideal Perspective
Carnegie Mellon University(卡内基梅隆大学)
受预测建模领域最近突破的启发,工业界和政府的从业者都转向了机器学习,希望将预测操作化,以推动自动化决策。不幸的是,许多涉及到后果决定的社会需求,如正义或公平,在纯粹的预测框架内没有自然的表述。为了缓解这些问题,研究人员提出了各种度量标准,用于量化我们可能期望在公平世界中观察到的各种统计奇偶性的偏差,并提供了各种算法,试图满足这些奇偶性的子集或权衡它们对效用的满足程度。在本文中,我们将这种方法与\emph{fair machine learning}和政治哲学中的理想和非理想方法论的文献联系起来。理想的方法需要设定一个公正世界运作的原则。在理想理论最直接的应用中,人们支持一项拟议中的政策,认为它弥合了现实世界与完全公正世界之间的差异。然而,由于未能解释我们的非理想世界产生的机制,各种决策者的责任以及拟议政策的影响,天真地应用理想思维可能导致误导性的干预。在本文中,我们证明了公平的机器学习文学和政治哲学的理想方法之间的联系,并认为,提出公平的机器学习算法日益明显的缺点反映了更广泛的麻烦所面临的理想方法。最后,我们对误导性解决方案的危害进行了批判性的讨论,对不可能结果进行了重新解释,并为未来的研究指明了方向。
2020-01-08 cs.AI cs.CY cs.LG
Introducing the A2AJ's Canadian Legal Data: An open-source alternative to CanLII for the era of computational law
Lincoln Alexander School of Law, Toronto Metropolitan University(多伦多都会大学林肯·亚历山大法学院);Osgoode Hall Law School, York University(约克大学奥斯古德霍尔法学院)
本文指出CanLII限制数据访问阻碍了法律计算发展,为此介绍了A2AJ的Canadian Legal Data项目,通过API等渠道开放超11.6万份判决与5千部法规,以促进法律数据民主化与AI工具开发。
2025-09-16 cs.AI cs.CY
Fair Like Us? Auditing LLM Alignment in Resource Allocation
Rutgers University(罗格斯大学);Pennsylvania State University(宾夕法尼亚州立大学);Binghamton University(宾汉姆顿大学)
本研究提出一种通用方法评估大型语言模型在资源分配中的公平推理,发现其比人类更偏好严格约束、更自利且难以通过现有数据集微调对齐人类判断。
2026-09-25 cs.AI cs.CY cs.GT
Data Ecofeminism
针对GenAI高能耗与环境破坏问题,论文提出七项数据生态女性主义原则,主张以社会与环境正义重塑AI算法和基础设施。
2025-02-16 cs.CY
Subjective fairness in algorithmic decision-support
本文批判客观公平性度量的局限,提出将公平性视为主观属性,并通过可解释聚类和主观解释实现算法决策支持中的公平对待。
2024-06-28 cs.CY
Tackling the Algorithmic Control Crisis -- the Technical, Legal, and Ethical Challenges of Research into Algorithmic Agents
University of Amsterdam(阿姆斯特丹大学);Amsterdam School of Communication Research, University of Amsterdam(阿姆斯特丹传播研究学院,阿姆斯特丹大学);Information Language Processing Systems, University of Amsterdam(信息语言处理系统,阿姆斯特丹大学)
本文针对算法智能体广泛渗透带来的研究困境,介绍算法推荐影响研究的可行路径,探讨“追踪追踪者”的伦理法律问题与权衡,提出应对算法研究实践、伦理、法律挑战的具体建议,助力合规的算法治理研究。
2025-10-29 cs.CY
Mechanism Design for Social Good
Cornell University(康奈尔大学);University of Washington(华盛顿大学)
在卫生、教育和住房等各个领域,改善社会福利涉及分配资源、制定政策、有针对性的干预措施和监管活动。这些解决方案对个人的日常生活产生了巨大的影响,无论是在获得优质医疗保健的形式,劳动力市场的结果,还是在民主社会中如何计算选票。对那些机会历来有限的个人产生巨大影响的问题往往会带来概念和技术上的挑战,需要来自许多学科的见解。相反,缺乏跨学科方法可能使这些迫切需求得不到解决,甚至可能加剧根本的社会经济不平等。为了实现这些领域的机会,我们需要正确地设定目标,并对人类的行为和行动进行推理。这样做需要在感兴趣的领域有深厚的基础,并与了解所提出解决方案的社会影响和可行性的领域专家合作。这些见解可以在提出基于算法的政策方面发挥重要作用。在这篇文章中,我们描述了机制设计为社会公益(MD4SG)的研究议程,其中包括使用算法,优化和机制设计的见解,以提高获得机会。MD4SG研究社区采用跨学科,多利益相关者的方法来改善社会福利。我们讨论了MD4SG中与改善发展中国家的机会,劳动力市场和歧视以及住房有关的三个令人兴奋的研究途径。对于每一个,我们展示正在进行的工作,强调新的方向,并讨论在实践中实施现有工作的潜力。
2018-10-21 cs.AI cs.CY cs.DS
From Network Inequality to Network Fairness: A Perspective on Responsible Decision-Making
Complexity Science Hub Vienna(维也纳复杂性科学中心);Northeastern University(东北大学);Santa Fe Institute(圣塔菲研究所);Hong Kong Baptist University(香港浸会大学);Vienna University of Technology(维也纳工业大学);KTH Royal Institute of Technology(KTH皇家理工学院);Universitat Pompeu Fabra(庞培法布拉大学);Brown University(布朗大学);Graz University of Technology(格拉茨工业大学)
本文提出网络化公平视角,识别十种网络效应,以学术招聘为例,结合分配与程序正义审视决策过程,呼吁超越静态类别应对结构性不平等。
2026-09-15 cs.CY cs.LG cs.SI
Research Opportunities in Sociotechnical Interventions for Health Disparity Reduction
内置于我们的计算系统中的隐性和显性偏见正变得越来越清晰--它们影响着从广告定位到我们如何被识别为人的一切。这些偏见对边缘化群体-被排除在主流社会、经济、文化或政治生活之外的人-的影响尤为严重。虽然这些偏见可以影响我们生活的各个方面,从休闲到刑事司法再到个人财务,但由于其重大的个人和社会影响,它们在健康和医疗保健方面更加重要。在这个跨学科的研讨会上,我们探讨了如何通过以下学科镜头为不同人群设计和建立卫生系统。计算社区联盟(CCC)与行为医学学会(SBM)第39届年会的领导层合作,于2018年4月9日星期一和4月10日星期二在路易斯安那州新奥尔良举办了为期两天的题为“减少健康差距的社会技术干预”的研讨会。该研讨会的目标是汇集计算,健康信息学,行为医学和健康差距的主要研究人员,制定一个综合研究议程,重点是社会技术干预,以减少健康差距和改善边缘化人群的健康。
2019-08-07 cs.CY
Expanding the Scope of Computational Thinking in Artificial Intelligence for K-12 Education
University of Pennsylvania(宾夕法尼亚大学);Looking Glass Ventures
本文探讨了在K-12教育中如何扩展计算思维以涵盖人工智能和机器学习技术,并结合过去十年的教学经验解决相关问题。
2026-02-18 cs.CY cs.HC
Algorithmically Curated Lies: How Search Engines Handle Misinformation about US Biolabs in Ukraine
本文通过虚拟智能体审计Google、Bing和Yandex,分析其对“美国在乌克兰生物实验室”虚假信息的策展表现,揭示不同引擎、语言和地点下的虚假内容暴露差异。
2024-01-24 cs.CY cs.IR