FAT Forensics: A Python Toolbox for Algorithmic Fairness, Accountability and Transparency
University of Bristol(布里斯托尔大学);RMIT University(皇家墨尔本理工大学)
今天,由机器学习算法驱动的人工智能系统可以对我们的日常生活做出重要的、有时具有法律约束力的决定。然而,在许多情况下,这些系统及其行动既没有受到管制,也没有得到认证。为了帮助应对这些算法可能造成的潜在危害,我们开发了一个开源工具箱,可以分析机器学习过程中选定的公平性,问责制和透明度方面:数据(及其特征),模型和预测,允许自动客观地向相关利益相关者报告。在本文中,我们描述了这个Python包的设计,范围,使用和影响,它是在3-Clause BSD开源许可证下发布的。
2022-08-25 cs.AI cs.CY cs.LG
How Platform-User Power Relations Shape Algorithmic Accountability: A Case Study of Instant Loan Platforms and Financially Stressed Users in India
University of Michigan(密歇根大学);Google Research(谷歌研究院)
问责制是负责任的人工智能的必要条件,可以通过审计和可解释性等透明度机制来促进。然而,先前的工作表明,这些机制的成功可能仅限于全球北方的背景下,了解目前的干预措施在不同的社会政治条件下的局限性是至关重要的,以帮助决策者促进更广泛的问责制。为此,我们研究了在全球南方环境中脆弱用户与“高风险”人工智能系统之间现有交互中的问责调解。我们报告了一项定性研究,其中有29名印度即时贷款平台的财务压力用户。我们发现,用户对即时贷款的“恩惠”产生了强烈的负债感,并对贷款平台承担了巨大的义务。用户通过接受苛刻的条款和条件、过度共享敏感数据以及向未知和未经验证的贷款人支付高额费用来履行义务。用户表现出对贷款平台的依赖,尽管存在滥用、重复债务、歧视、隐私损害和自我伤害等伤害风险,但仍坚持这种行为。用户没有对贷款平台感到愤怒,而是为他们的负面体验承担责任,从而使强大的贷款平台免于承担责任。我们认为,问责制是由平台-用户权力关系塑造的,并敦促政策制定者在采用纯技术方法来促进算法问责制时保持谨慎。相反,我们呼吁定位干预,增强用户的代理,实现有意义的透明度,重新配置设计者-用户关系,并促使从业者对更广泛的问责制进行批判性反思。最后,我们总结了在印度及其他地区的金融科技应用中负责任地部署人工智能的影响。
2022-05-11 cs.AI cs.CY cs.HC
Fairness and Accountability Design Needs for Algorithmic Support in High-Stakes Public Sector Decision-Making
University College London(伦敦大学学院);University of Oxford(牛津大学)
在基于算法的公共决策(如税收、司法和儿童保护)中,呼吁加强对公平性和问责制的考虑现在已经司空见惯。设计师如何支持这样的人类价值观?我们采访了5个经合组织国家的27位公共部门机器学习从业者,了解他们在工作中理解和灌输公共价值观的挑战。结果表明,组织和机构的现实,限制和需求之间存在脱节,以及当前研究可用,透明和“歧视意识”的机器学习-如果不解决,可能会破坏实际举措。我们在这种脱节中看到了设计机会,例如支持跟踪二级数据源中的概念漂移,以及建立可用的透明度工具来识别风险并整合领域知识,针对管理人员和公共服务第一线的“街头官僚”。最后,我们概述了在这些高风险的应用程序中的合作的道德挑战和未来的方向。
2018-02-03 cs.CY cs.HC cs.LG
Smart technology in the classroom: a systematic review.Prospects for algorithmic accountability
University of Bergen(卑尔根大学)
人工智能(AI)算法已经出现在教育领域,作为一种工具,使学习更有效。儿童使用不同的应用程序来掌握特定技能,学习新语言并跟踪其进度。使用这种智能技术对儿童有什么影响?我们进行了一次系统的回顾,以了解最新的技术水平。我们在几个子学科中探索了文献:可穿戴设备,儿童心理学,人工智能和教育,学校监控和问责制。我们的审查确定了对每个既定主题进行更多研究的必要性。我们设法找到了使用可穿戴设备的积极和消极影响,但无法得出结论,如果智能技术的使用导致降低幼儿的表现。基于我们的见解,我们提出了一个框架,以有效地确定教育中智能技术的责任。
2020-07-13 cs.AI cs.CY
Beyond Explanation: Evidentiary Rights for Algorithmic Accountability
Independent Researcher USA;Independent Researcher
本文提出证据权利作为算法问责的核心,指出仅靠解释无法实现有效争议,需通过程序性权利和事实性责任规则来完善问责机制。
2026-03-24 cs.CY
Agentic AI: Autonomy, Accountability, and the Algorithmic Society
本文从创意与知识产权、法律伦理及市场竞争三方面分析智能体式AI自主执行带来的问责缺口,并倡导以跨学科框架平衡自主性、透明度与社会福祉。
2025-02-15 cs.CY
"Is This Not Enough?": Asymmetries in Institutional Accountability and Collective Sensemaking in the Case of Canada's Algorithmic Visa Triage System
Department of Computer Science, University of Toronto(计算机科学系,多伦多大学);Faculty of Information, University of Toronto(信息学院,多伦多大学)
研究加拿大签证系统中算法问责的机构表述与申请者体验,发现机构强调透明度与程序保障,而申请者通过集体意义建构应对不透明决策,揭示认知、管辖和时空关系三方面不对称。
2026-06-12 cs.AI cs.CY cs.HC
Judging the algorithm: Algorithmic accountability on the risk assessment tool for intimate partner violence in the Basque Country
University of Oxford(牛津大学);King’s College London(伦敦国王学院);Euskal Herriko Unibertsitatea(巴斯克大学)
本文探讨了西班牙巴斯克地区用于评估亲密伴侣暴力风险的算法工具,分析其算法风险与局限性,并提出跨学科方法以减少算法危害。
2026-03-30 cs.CY cs.HC
Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing
对人工智能系统的社会影响的日益关注激发了一波学术和新闻文献,其中部署的系统由部署算法的组织外部的调查人员进行审计。然而,对于从业人员来说,在部署之前确定自己的系统的有害影响仍然具有挑战性,并且一旦部署,紧急问题可能难以或不可能追溯到其根源。在本文中,我们介绍了一个框架,算法审计,支持人工智能系统开发端到端,在整个内部组织的开发生命周期。审计的每个阶段产生一套文件,这些文件共同构成一份总体审计报告,利用组织的价值观或原则来评估整个过程中所做决策的适用性。拟议的审计框架旨在通过嵌入一个确保审计完整性的强有力程序,帮助缩小在开发和部署大规模人工智能系统方面的问责差距。
2020-01-03 cs.CY
AI and the Transformation of Accountability and Discretion in Urban Governance
Harvard University(哈佛大学);Harvard University Graduate School of Design(哈佛设计研究生院)
本文探讨人工智能如何重塑城市治理中的裁量权与问责关系,提出问责裁量的概念并提出指导原则,强调AI对规则性裁量的系统性影响。
2026-03-06 cs.CY
An Algorithmic Equity Toolkit for Technology Audits by Community Advocates and Activists
University of Washington(华盛顿大学);West Virginia University(西弗吉尼亚大学);Middlebury College(明德学院);University of Michigan(密歇根大学);University of Oxford(牛津大学)
最近一波学术研究记录了算法系统的歧视性危害,激发了人们对算法问责和监管的广泛兴趣。然而,由于持续缺乏支持公众理解算法和人工智能的资源,有效的问责和监管受到阻碍。通过与美国的民权组织和他们的社区组织联盟的互动,我们确定了一个需要(i)的分析,帮助利益相关者在区分类型的分析和信息系统在外行的语言,和(ii)风险评估工具,这样的系统,首先使算法更清晰。目前的工作提供了一个工具包,以实现这些目标。本文既介绍了作为一个工件,我们的参与过程中塑造了它的设计的mathemic公平工具包(AEKit)公平。我们的工作符合人机交互奖学金,作为HCI方法和方法在算法透明度和问责制领域的问题的价值的证明。
2019-12-06 cs.AI cs.CY cs.HC
Reviewable Automated Decision-Making: A Framework for Accountable Algorithmic Systems
University of Cambridge(剑桥大学)
本文介绍了可审查性作为一个框架,以提高问责制的自动化和算法决策(ADM)涉及机器学习。我们利用ADM的理解,作为一个社会技术过程,涉及人力和技术因素,开始之前作出决定,并超出了决定本身。虽然解释和其他以模型为中心的机制可能有助于一些问责问题,但它们通常提供的这些更广泛的ADM流程的信息不足,无法用于监管监督和法律合规性评估。可审查性涉及将ADM流程分解为技术和组织要素,以提供一个系统框架,用于确定适合背景的记录保存机制,以促进对个人决策和整个流程的有意义的审查。我们认为,可审查性框架,借鉴行政法的方法来审查人类的决策,提供了一个切实可行的方法,朝着更全面和法律相关的形式问责ADM。
2021-02-10 cs.AI cs.CY
Outsider Oversight: Designing a Third Party Audit Ecosystem for AI Governance
很多注意力都集中在算法审计和影响评估上,以使算法系统的开发人员和用户承担责任。但现有的算法问责政策方法忽视了非算法领域的经验教训:特别是允许第三方有效参与的干预措施的重要性。我们的论文综合了其他领域关于如何为算法部署制定有效的外部监督系统的经验教训。首先,我们讨论了当前人工智能领域第三方监督的挑战。其次,我们调查跨领域的审计系统-例如,金融、环境和卫生监管--并表明这种审计的制度设计远非铁板一块。最后,我们调查这些设计组件的证据基础,并阐明算法审计的影响。我们的结论是,仅仅转向审计不太可能实现实际的算法问责制,并且需要持续关注制度设计,以实现有意义的第三方参与。
2022-06-09 cs.CY
The Accountability Paradox: How Platform API Restrictions Undermine AI Transparency Mandates
University of Bath(巴斯大学)
本文研究平台API限制与欧盟数字服务法案之间的矛盾,提出审计框架揭示平台内容审核和算法放大不可验证的盲区,指出AI依赖与问责限制的悖论,建议采用联邦访问模型和加强监管执行。
2026-06-15 cs.AI cs.CY
Private Accountability in the Age of Artificial Intelligence
University of California at Berkeley(加州大学伯克利分校);Berkeley Center for Law and Technology(伯克利法律与技术中心)
本文探讨了人工智能时代公民权利保护与算法问责的冲突,主张通过私人产业而非公共监管来增强透明度和问责制。
2026-01-14 cs.AI cs.CY
Decision Provenance: Harnessing data flow for accountable systems
University of Cambridge(剑桥大学)
越来越多的人要求对日益占据我们世界的技术系统实行更多的问责制。然而,许多这些系统的复杂性-往往是系统的系统-对问责制构成挑战。其中一个关键原因是,互连和驱动系统的信息流的细节和性质往往是不可见或不透明的,这些信息流往往跨越技术和组织边界。本文认为,数据出处的方法显示出很大的希望,作为一种技术手段,增加这些相互关联的系统的透明度。具体来说,考虑到自动化和算法决策水平不断提高,以及所谓的“算法系统”一般的关注,我们提出了决策出处作为一个概念,表现出很大的希望。决策起源需要使用起源方法来提供暴露决策管道的信息:整个系统中(在设计和运行时)所采取的决策和行动的输入链、性质和流动效应。本文介绍了决策出处的概念,并采取跨学科(技术-法律)探索其在算法系统中协助问责制的潜力。我们认为,决策出处可以帮助促进监督,审计,合规,风险缓解和用户授权,我们还指出了实现其愿景所需的实施考虑和研究领域。更一般地说,我们认为,对数据流和更广泛的系统的考虑对于讨论问责制很重要,并补充了对算法细节的大量关注。
2019-11-15 cs.AI cs.CY
Null Compliance: NYC Local Law 144 and the Challenges of Algorithm Accountability
本研究调查了391名雇主对纽约市第144号地方法律的合规情况,发现合规率极低,并揭示了因雇主自由裁量权导致的“零合规”现象及透明度问责机制的局限性。
2024-06-03 cs.CY
War-Algorithm Accountability
在这份简报中,我们介绍了一个新的概念(战争算法),它将算法衍生的选择和决策提升到一个,也许是关于战争中技术自主性的核心问题。因此,我们的目标是阐明和重塑关于自主武器系统的讨论。我们将战争算法定义为以计算机代码表示的任何算法,通过构建的系统实现,并且能够在与武装冲突有关的情况下运行。在介绍这一概念时,我们的基本技术关注点是构建系统的能力,而无需进一步的人为干预,以帮助做出和实现战争算法的决定或选择。经过提炼,两个核心成分是用计算机代码表达的算法和一个适当的构造系统。通过这一视角,我们将国际法和相关问责架构与相关技术联系起来。我们概述了一个由三部分组成的(非详尽的)方法,强调传统和非传统的问责途径。我们在很大程度上侧重于国际法,因为它是唯一在关键方面声称具有普遍性和统一性的规范性制度,但有一些重要的警告。通过不将我们的调查仅限于武器系统,我们采取了一种扩展的观点,展示了战争算法的广泛概念如何可能受到监管,以及这些算法如何可能已经适合国际法建立的现有监管体系。
2016-09-12 cs.CY
Algorithms and Decision-Making in the Public Sector
本文调查了算法系统在公共部门决策支持中的应用。政府采用、采购和使用算法系统来支持其在多种背景下的职能,包括刑事司法、教育和福利提供,这对问责制、隐私、社会不平等和公众参与决策产生了重要影响。我们探讨了市政算法系统在各个阶段的社会影响,包括问题制定,技术获取,部署和评估。我们强调几个开放的问题,需要进一步的实证研究。
2021-06-10 cs.CY
"Computer Says No": Algorithmic Decision Support and Organisational Responsibility
决策支持越来越多地用于社会各个领域的各种不同背景和结构,影响着许多人的生活。除其他外,它的使用引起了关于问责制、透明度和责任的问题。虽然对算法系统和责任问题有大量的研究,但对组织责任及其归属的研究很少或根本没有。我们的文章旨在填补这一空白;我们简要概述了与组织背景下的ADS,责任和决策有关的核心问题,并确定了开放性问题和研究空白。此外,我们描述了一套指导方针和一个互补的数字工具,以协助从业者在映射责任时,在他们的组织背景下引入ADS。
2022-06-23 cs.CY
Mitigating Bias in Algorithmic Hiring: Evaluating Claims and Practices
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
人们对在招聘中使用算法的兴趣迅速增长,特别是作为解决或减轻偏见的一种手段。然而,到目前为止,人们对这些方法在实践中如何使用知之甚少。算法评估是如何建立、验证和检查偏差的?在这项工作中,我们记录和分析的索赔和实践的公司提供算法的就业评估。特别是,我们确定了算法就业前评估的供应商(即,筛选候选人的算法),记录他们披露的关于他们的开发和验证程序的信息,并评估他们的实践,特别关注检测和减轻偏见的努力。我们的分析考虑了技术和法律两个方面。从技术上讲,我们考虑供应商在数据汇集和预测目标方面做出的各种选择,并探讨这些选择带来的风险和权衡。我们还讨论了如何算法去偏置技术接口,并创造挑战,反歧视法。
2019-12-06 cs.AI cs.CY cs.LG
Who Audits the Auditors? Recommendations from a field scan of the algorithmic auditing ecosystem
本研究通过调研算法审计生态系统的从业者与机构,梳理了行业实践、工具及障碍,提出六项政策建议以提升AI审计的质量与问责效力。
2023-10-04 cs.CY
Evaluating Algorithmic Bias in Models for Predicting Academic Performance of Filipino Students
University of Pennsylvania(宾夕法尼亚大学);Kyushu University(九州大学);Sorbonne University(索邦大学);Ateneo de Manila University(雅典耀大学);LIP6(巴黎第六大学信息学实验室);ait.kyushu-u.ac.jp(九州大学先进信息技术研究所)
本研究针对亚洲教育场景中地区层面算法偏差研究不足的问题,基于菲律宾某大学5986名学生的Canvas LMS活动日志训练成绩预测模型,通过三项指标评估未发现地区相关的预测不公平性。
2024-07-15 cs.CY cs.LG
A Mulching Proposal
算法系统的伦理含义已经在HCI和更广泛的技术设计,开发和政策感兴趣的社区中进行了大量讨论。在本文中,我们探讨了一个突出的道德框架的应用-公平,问责制和透明度-一个拟议的算法,解决围绕粮食安全和人口老龄化的各种社会问题。通过使用各种标准化形式的算法审计和评估,我们大大提高了算法对FAT框架的遵守程度,从而形成了一个更加道德和有益的系统。我们讨论了这可能如何作为其他研究人员或从业者的指南,以确保在他们的工作中从算法系统中获得更好的道德结果。
2019-08-10 cs.CY
Auditing Work: Exploring the New York City algorithmic bias audit regime
本文通过专家访谈审查了纽约市第144号地方法律的算法偏见审计制度,发现其因定义不清、行业游说及数据获取困难等问题未能有效保护求职者,并为政策制定者提出了改进建议。
2024-02-12 cs.CY
Algorithmic Autonomy in Data-Driven AI
本文提出并探讨算法自主性概念,分析数据驱动AI对个人自主性的削弱,并指出当前挑战与未来研究方向。
2024-11-07 cs.CY cs.HC
Equal Confusion Fairness: Measuring Group-Based Disparities in Automated Decision Systems
University of Houston(休斯顿大学)
本文提出 Equal Confusion Fairness 测试和混淆对等误差,用于检测和量化自动决策系统中的群体公平性,并通过 COMPAS 案例验证方法有效性。
2023-07-02 cs.CY cs.LG
D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias
Stony Brook University(石溪大学)
随着人工智能的兴起,算法已经变得更善于从训练数据中学习潜在模式,包括基于性别、种族等根深蒂固的社会偏见。将此类算法部署到招聘、医疗保健、执法等领域,引发了人们对机器学习算法中公平性、问责制、信任度和可解释性的严重担忧。为了缓解这个问题,我们提出了D-BIAS,这是一个可视化的交互工具,它体现了人工智能的方法,用于审计和减轻表格数据集中的社会偏见。它使用图形因果模型来表示数据集中不同特征之间的因果关系,并作为注入领域知识的媒介。用户可以通过识别因果网络中的不公平因果关系并使用一系列公平度量来检测对一个群体(比如女性)或一个子群体(比如黑人女性)的偏见的存在。此后,用户可以通过作用于不公平的因果边来减轻偏差。对于每个交互,比如削弱/删除有偏因果边,系统使用一种新方法来模拟基于当前因果模型的新(去偏)数据集。用户可以直观地评估他们的交互对不同公平性指标、效用指标、数据失真和底层数据分布的影响。一旦满意,他们可以下载去偏数据集,并将其用于任何下游应用程序,以实现更公平的预测。我们通过在3个数据集上进行实验以及正式的用户研究来评估D-BIAS。我们发现,D-BIAS有助于减少偏见显着相比,在不同的公平性指标的基线去偏置方法,同时引起很少的数据失真和效用的小损失。此外,我们基于人在回路的方法在信任、可解释性和问责制方面明显优于自动化方法。
2022-08-10 cs.CY cs.HC cs.LG
Evaluating AI Providers' Frontier Safety Frameworks
SaferAI
本文评估12家AI公司的前沿安全框架,通过65项加权标准评估四个维度,发现框架存在诸多缺失或不明确之处,评分范围从34%到8%,建议未来需完善以提升问责功能。
2026-04-30 cs.CY
'It's Reducing a Human Being to a Percentage'; Perceptions of Justice in Algorithmic Decisions
对个人产生影响的数据驱动决策提出了问责和公正的重要问题。事实上,欧洲法律为个人提供了有限的权利,以了解贷款审批、保险报价和简历过滤等重大自主决策背后的“有关逻辑的有意义信息”。我们进行了三项实验研究,研究人们在不同场景和解释风格下对算法决策的正义感。以前在人类决策中观察到的正义维度似乎也同样参与了算法决策。定性分析确定了几个问题,并参与司法观念,包括任意性,概括性,(在)尊严。定量分析表明,只有当被试暴露于多种不同的风格时,解释风格才主要影响公正知觉-在重复暴露一种风格的情况下,情景效应掩盖了任何解释效应。我们的研究结果表明,可能没有“最好”的方法来解释算法决策,并且对其自动化性质的反思既涉及又减轻了正义维度。
2018-01-31 cs.CY cs.HC
Evaluating the Contextual Integrity of False Positives in Algorithmic Travel Surveillance
本文评估算法旅行监控中误报对情境完整性的影响,通过对芬兰成年人口的全国代表性调查(N=1550)及新提出的阈值估计方法,发现即使误报数量很高也被视为合法,并讨论了基于个人权利的监控合法化方法可能忽视大规模监控的系统性特征。
2025-05-30 cs.CY
Beyond Algorithmic Bias: A Socio-Computational Interrogation of the Google Search by Image Algorithm
我们执行的谷歌搜索图像算法,谷歌搜索引擎的主要组成部分的社会计算的审讯。我们对算法进行了审计,向其展示了4万多张所有年龄段和4个以上种族的面孔,并使用适当的统计工具收集和分析分配的标签。我们发现,该算法再现了白人男性的父权结构,往往简化,刻板印象和歧视女性和非白人个体,同时提供更多样化和积极的描述白人男性。通过借鉴布迪厄的文化再生产理论,我们将这些结果与算法设计者、所有者和算法训练数据集的态度联系起来。我们通过使用学习的民族志实践进一步巩固了算法的问题本质:我们展示了算法如何将个人置于他们塑造的社会文化现实中的科技行业的顶端,很多时候会产生对它们的偏见。我们认为,使用社会理论框架,如上述能够有助于改善算法的问责制,算法的影响评估,并提供额外的和更重要的深度算法偏见和审计研究。在分析的基础上,我们讨论了科学和设计的影响,并提供建议的替代方法来设计社会算法系统。
2021-06-12 cs.CY
Logics and practices of transparency and opacity in real-world applications of public sector machine learning
University College London(伦敦大学学院)
机器学习系统越来越多地用于支持各个部门的公共部门决策。鉴于对这些领域问责制的关注,以及对有意或无意偏见的指责,人们越来越多地呼吁这些技术的透明度。然而,很少有人考虑过,那些参与机器学习系统的人是如何理解有关透明度的逻辑和实践的,这些系统已经在公共机构中试用和部署。这篇简短的论文从对5个经合组织国家的27个此类行为者(主要是公务员和相关承包商)的采访中提炼出关于透明度的见解。考虑到透明度和不透明与信任和买进,更好的决策,并避免游戏,它试图为那些希望开发社会技术方法的人提供有用的见解,这些方法可能对实地的从业人员有用。这篇论文的扩展存档版本可以作为Veale M.,Van Kleek M.,&宾斯河。(2018年)。“公平和问责制设计需要算法支持高风险公共部门决策”2018年CHI计算机系统人为因素会议(CHI'18),http://doi.org/10.1145/3173574.3174014。
2018-11-05 cs.CY cs.LG
Algorithmic decision making methods for fair credit scoring
Alexandru Ioan Cuza University(亚历山德鲁·伊万·库扎大学)
本文评估了12种偏见缓解方法在5种公平性指标上的效果,并分析了其对金融机构的准确性和盈利能力,旨在平衡公平与性能,弥合机器学习研究与金融实践的差距。
2023-06-22 cs.AI cs.CY cs.LG
'Put the Car on the Stand': SMT-based Oracles for Investigating Decisions
针对算法决策的可信问责需求,提出将问责流程建模为CLEAR循环,用符号执行与SMT求解实现对算法行为的类法律对抗式审查,并用车祸场景验证了框架效用。
2024-01-29 cs.CY cs.LO cs.PL
The Tyranny of Data? The Bright and Dark Sides of Data-Driven Decision-Making for Social Good
大规模人类行为数据的空前可用性正在深刻改变我们生活的世界。研究人员、公司、政府、金融机构、非政府组织和公民团体正在积极试验、创新和调整算法决策工具,以了解人类行为的全球模式,并为解决具有社会重要性的问题提供决策支持。在本章中,我们将重点放在社会良好的决策算法,即算法强烈影响决策和资源优化的公共产品,如公共健康,安全,获得资金和公平就业。通过对具体用例和方法的分析,我们强调了通过数据驱动的算法决策创造的积极机会,以及从业者应该意识到并解决的潜在负面后果,以便真正实现这一新兴领域的潜力。我们详细阐述了这些算法需要提供透明度和问责制,保护隐私,并通过涉及公民的生活实验室方法进行测试和评估。最后,我们转向能够利用数据驱动的人类行为分析的预测能力,同时确保透明度,问责制和公民参与的要求。
2016-12-02 cs.CY physics.soc-ph
The Conflict Between Explainable and Accountable Decision-Making Algorithms
KAIST(韩国科学技术院);IBS(基础科学研究院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Max Planck Institute for Research on Collective Goods(马克斯·普朗克集体物品研究所);Kangwon National University(江原国立大学)
决策算法正在用于重要的决策,例如谁应该参加医疗保健计划和被雇用。尽管这些系统目前部署在高风险场景中,但其中许多系统无法解释其决策。这种限制促使了可解释人工智能(XAI)计划,该计划旨在使算法可解释以遵守法律要求,促进信任并保持问责制。本文质疑可解释性是否以及在多大程度上可以帮助解决自主AI系统带来的责任问题。我们认为,提供事后解释的XAI系统可能被视为应受责备的代理人,模糊了开发人员在决策过程中的责任。此外,我们认为,XAI可能会导致对弱势利益相关者的责任归属不正确,例如那些受到算法决策影响的人(即,患者),由于他们对可解释的算法具有控制权的误导性感知。如果设计师选择将算法和患者作为道德和法律的替罪羊,那么可解释性和问责制之间的冲突可能会加剧。最后,我们提出了一系列建议,以解决算法决策的社会技术过程中的这种紧张局势,并为硬监管辩护,以防止设计师逃避责任。
2022-05-11 cs.AI cs.CY
Robo-Reporters: Evaluating Autonomous AI Agents as Algorithmic Gatekeepers in Computational Journalism
Texas Tech University(德克萨斯理工大学);College of Media and Communication(媒体与传播学院)
研究对比四种人工智能代理架构在新闻任务中的表现,通过200个对照实验,发现架构对任务时长和计算策略有显著影响,多智能体协作准确率最高,整体式架构有特定信息源拒绝率,还揭示了透明度方面差异,为新闻编辑室提供架构选择指导。
2026-07-14 cs.CY
The Algorithmic Imprint
Georgia Institute of Technology(佐治亚理工学院);Data & Society Research Institute(数据与社会研究所)
当算法危害出现时,合理的反应是停止使用算法来解决与公平性,问责制,透明度和道德(FATE)相关的问题。然而,仅仅因为一个算法被删除并不意味着它与FATE相关的问题不再存在。在本文中,我们引入了“算法印记”的概念来说明仅仅删除算法并不一定会撤销或减轻其后果。我们通过2020年围绕普通教育证书(GCE)高级(A)水平考试算法评分的活动来实施这一概念及其影响,这是一项国际公认的英国高中文凭考试,在160多个国家进行。虽然算法标准化最终被删除,由于全球抗议,我们展示了如何删除未能撤销的算法印记的社会技术基础设施,塑造学生,教师和家长的生活。这些事件提供了一个难得的机会来分析世界的状态,无论是否有算法中介。我们在孟加拉国进行了案例研究,以说明全球北方的算法如何不成比例地影响全球南方的利益相关者。记录了长达一年多的社区参与,包括47次访谈,我们提出了孟加拉国“发生了什么”的第一个连贯的时间轴,通过算法印记和定位算法公平性的镜头,将“为什么”和“如何”发生联系起来。通过分析这些事件,我们强调了如何在基础设施、社会和个人层面上推断算法印记的轮廓。我们分享了关于印记意识如何(a)拓宽我们如何看待算法影响的界限,(b)告知我们如何设计算法,以及(c)指导我们进行人工智能治理的概念和实践意义。
2022-06-03 cs.AI cs.CY cs.HC
An Introduction to Artificial Intelligence and Solutions to the Problems of Algorithmic Discrimination
BLDS, LLC(BLDS有限责任公司)
有大量证据表明,人工智能(AI)和机器学习(ML)算法可能会对少数民族、妇女和其他受保护阶层产生偏见。联邦和州法律已经颁布,以保护消费者在信贷,住房和就业方面免受歧视,监管机构和机构负责执行这些法律。此外,有法律确保消费者理解他们为什么被拒绝获得服务和产品,如消费贷款。在本文中,我们概述了使用算法和数据的潜在好处和风险,并特别关注公平性。虽然我们的观察概括到许多情况下,我们专注于消费信贷和平等信贷和机会法案的法律要求提出的公平性问题。我们提出了一种方法来评估算法公平性和最大限度地减少算法偏见,符合联邦和州反歧视法规的规定,禁止公开的,不同的待遇,特别是不同的影响歧视。我们认为,虽然AI和ML算法的使用增加了潜在的歧视风险,但这些风险是可以评估和减轻的,但这样做需要深入了解这些算法以及它们被使用的背景和领域。
2019-11-08 cs.CY cs.LG
Constructing Algorithmic Authority: How Multi-Channel Networks (MCNs) Govern Live-Streaming Labor in China
Carnegie Mellon University(卡内基梅隆大学);Central South University(中南大学);University of California San Diego(加州大学圣地亚哥分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Hong Kong(香港大学);University of Iowa(爱荷华大学);George Mason University(乔治梅森大学)
本研究探讨了MCN如何通过构建算法解释来管理中国直播行业的劳动,揭示了算法作为软控制中介基础设施的作用。
2026-01-29 cs.CY cs.HC
Algorithmic Inheritance: Surname Bias in AI Decisions Reinforces Intergenerational Inequality
Massachusetts Institute of Technology(麻省理工学院);Nanyang Technological University(南洋理工大学);University of Bonn(波恩大学)
本研究首次实证揭示AI决策中姓氏偏见会强化代际不平等,基于美泰两国72,000次评估发现精英姓氏提升AI对权力、智力和财富的感知,其中感知智力是关键中介机制,并呼吁构建公平算法与政策干预。
2025-02-05 cs.AI cs.CY cs.LG
The Flaws of Policies Requiring Human Oversight of Government Algorithms
随着算法成为世界各地政府决策的重要组成部分,政策制定者一直在讨论政府如何在防止算法危害的同时获得算法的好处。有一种机制已经成为全球监管政府算法的核心,那就是要求人工监督算法决策。尽管人们普遍转向人类监督,但这些政策都基于一个未经质疑的假设:人们能够有效地监督算法决策。在本文中,我调查了41项规定人类监督政府算法的政策,发现它们存在两个重大缺陷。首先,有证据表明,人们无法履行所期望的监督职能。其次,由于第一个缺陷,人类监督政策使政府使用有缺陷和有争议的算法合法化,而没有解决这些工具的根本问题。因此,人类的监督政策并没有保护政府免受算法决策的潜在危害,而是在采用算法时提供了一种虚假的安全感,并使供应商和机构能够逃避对算法危害的责任。鉴于这些缺陷,我建议将人类监督转变为机构监督,作为监管政府算法的中央机制。这种体制办法分两个阶段运作。首先,机构必须证明将算法纳入决策是适当的,并且任何拟议的人类监督形式都得到了经验证据的支持。第二,这些理由必须经过民主的公众审查和批准,行政机关才能采用该算法。
2022-10-24 cs.CY cs.HC
Algorithmic Changes Are Not Enough: Evaluating the Removal of Race Adjustment from the eGFR Equation
本研究在Stanford Health Care评估了实施无种族调整的eGFR方程(CKD-EPI 2021)对肾脏病转诊和就诊率的影响,发现算法改变未能显著改善差异,不足以实现CKD护理的健康公平。
2024-04-25 cs.CY stat.AP
Safeguarding Efficacy in Large Language Models: Evaluating Resistance to Human-Written and Algorithmic Adversarial Prompts
Manchester Metropolitan University(曼彻斯特城市大学)
本文用 SALAD-Bench 的 1,200 条提示评估四款 LLM 对人工与算法对抗提示的抵抗,揭示鲁棒性、攻击可迁移性及危害类别差异,为防御提供依据。
2025-10-12 cs.AI cs.CR cs.CY
Bureaucratic Silences: What the Canadian AI Register Reveals, Omits, and Obscures
Department of Computer Science University of Toronto Toronto Ontario Canada(计算机科学系多伦多大学多伦多安大略加拿大);Faculty of Information University of Toronto Toronto Ontario Canada(信息学院多伦多大学多伦多安大略加拿大);University of Toronto(多伦多大学)
本文通过分析加拿大人工智能登记处的数据,揭示其作为问责边界配置工具的非中立性,指出登记处对AI作为可争议决策的忽视,以及其对技术描述优先于社会技术背景的倾向。
2026-04-16 cs.AI cs.CY cs.HC
Towards an intelligent assessment system for evaluating the development of algorithmic thinking skills: An exploratory study in Swiss compulsory schools
Università della Svizzera Italiana(瑞士意大利语区大学);Faculty of Informatics(信息学院)
本研究开发了一个基于贝叶斯网络的智能评估系统,用于大规模评估瑞士义务教育学生的算法思维技能,实验表明该系统适用于不同年龄和情境,且算法思维呈渐进发展。
2025-03-27 cs.AI cs.CY cs.HC
Great Disappearance Acts Generative Search and Shadow Banning
Peking University School of Transnational Law(北京大学跨国法学院)
本文研究生成式搜索和影子封禁对互联网开放生态的破坏,分析其法律与监管问题,并提出增强透明度与公平性的解决方案。
2026-06-11 cs.CY cs.SI
Visibility Allocation Systems: How Algorithmic Design Shapes Online Visibility and Societal Outcomes
NCCR Automation(自动化国家研究中心);Swiss National Science Foundation(瑞士国家科学基金会);Kone Foundation(Kone基金会)
本文提出可见性分配系统(VASs)的形式化框架,将其拆解为典型算法工具与数据流,并结合学校选择案例说明其评估及支持AI立法的价值。
2025-10-20 cs.AI cs.CY
The Ethical Compass of the Machine: Evaluating Large Language Models for Decision Support in Construction Project Management
School of Computing, Engineering and Digital Technologies, Teesside University(提赛德大学计算、工程与数字技术学院)
本研究针对建筑项目管理的高风险伦理决策场景,采用混合方法评估两款主流LLMs的伦理可行性,发现其在语境处理、问责与推理透明度上有缺陷,提出EDSAC框架并建议LLMs仅作为人在回路监督下的决策辅助工具。
2025-09-02 cs.AI cs.CY
Beyond the Checkbox: Strengthening DSA Compliance Through Social Media Algorithmic Auditing
Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所);Comenius University Bratislava(布拉迪斯拉发康斯坦丁神学家大学)
本文通过社交媒体算法审计提升DSA合规性,批判性分析三个关键条款的审计报告,提出算法审计方法以增强合规性评估的深度和独立性。
2026-01-26 cs.CY cs.HC cs.IR
Experimental Evaluation of Algorithm-Assisted Human Decision-Making: Application to Pretrial Public Safety Assessment
尽管在我们的日常生活中越来越依赖全自动算法决策,但人类仍然会做出非常重要的决策。正如在商业、医疗保健和公共政策中经常看到的那样,算法产生的建议被提供给人类决策者,以指导他们的决策。虽然有大量文献对这种算法推荐的偏见和公平性进行了评估,但一个被忽视的问题是,它们是否有助于人类做出更好的决策。我们开发了一种统计方法,用于实验评估算法建议对人类决策的因果影响。我们还展示了如何检查算法建议是否提高了人类决策的公平性,并在各种设置下得出最佳决策规则。我们将提出的方法应用于有史以来第一次随机对照试验的初步数据,该试验评估了刑事司法系统中的审前公共安全评估(PSA)。《公共安全法》的一个目标是帮助法官决定哪些被捕的人应该被释放。在现有的初步数据的基础上,我们发现,提供PSA的法官对法官的决定和随后的被捕者的行为几乎没有整体的影响。然而,我们的分析产生了一些潜在的暗示性证据表明,PSA可能有助于避免对女性被捕者做出不必要的严厉决定,而无论其风险水平如何,同时鼓励法官对被认为有风险的男性被捕者做出更严格的决定。在公平性方面,《公共服务法案》似乎增加了对男性的性别偏见,而对法官裁决中现有的种族差异几乎没有影响。最后,我们发现,除非新犯罪的成本足够高,否则PSA的建议可能会不必要地严厉。
2021-12-11 cs.CY stat.AP stat.ME
Assessing Student Ability to Select an Algorithmic Paradigm
Utah State University(犹他州立大学);University of California, Irvine(加州大学尔湾分校)
提出算法范式选择评估(APSA),通过多项选择题测试学生选择不同算法设计范式的能力,初步数据表明其有效性(Cronbach's α=0.73)。
2026-06-12 cs.CY cs.DS cs.HC