The Accountability Paradox: How Platform API Restrictions Undermine AI Transparency Mandates
University of Bath（巴斯大学）
本文研究平台API限制与欧盟数字服务法案之间的矛盾，提出审计框架揭示平台内容审核和算法放大不可验证的盲区，指出AI依赖与问责限制的悖论，建议采用联邦访问模型和加强监管执行。
2026-06-15 cs.AI cs.CY
Transparency, Governance and Regulation of Algorithmic Tools Deployed in the Criminal Justice System: a UK Case Study
我们提出了在英国的刑事司法系统中使用的工具在三个类别：数据基础设施，数据分析和风险预测的调查。许多工具目前正在部署中，提供了潜在的好处，包括提高效率和一致性。然而，也有一些重要的关切。关于这些工具的透明信息，它们的目的，它们是如何使用的，以及由谁使用的，很难获得。即使有资料，也往往不足以进行令人满意的评价。需要开展更多工作，建立治理机制，确保以透明、安全和道德的方式部署工具。我们呼吁与利益相关者进行更多的接触，并更多地记录工具的预期目标，与其他选项相比，它将如何实现这一目标，以及如何在部署中对其进行监控。我们强调了在评估已部署工具的可信度时需要考虑的其他要点，并提出了具体的政策建议。
2022-06-01 cs.CY
Think About the Stakeholders First! Towards an Algorithmic Transparency Playbook for Regulatory Compliance
New York University（纽约大学）
世界各国政府越来越多地提出和通过法律，以规范公共和私营部门实施的人工智能（AI）系统。其中许多法规都涉及人工智能系统的透明度，以及相关的公民意识问题，例如允许个人有权解释人工智能系统如何做出影响他们的决定。然而，到目前为止，几乎所有的人工智能治理文件都有一个显著的缺点：它们都专注于在使人工智能系统透明方面应该做什么（或不应该做什么），但却把工作的主要任务留给了技术人员来弄清楚如何构建透明的系统。我们填补了这一空白，提出了一种新的技术人员优先的方法，协助技术人员设计透明的，符合法规的系统。我们还描述了一个现实世界的案例研究，说明了这种方法可以在实践中使用。
2022-06-10 cs.CY cs.HC cs.LG
Algorithmic Approaches to Opinion Selection for Online Deliberation: A Comparative Study
médialab, Sciences Po Paris, France（媒体实验室，巴黎社会科学高等研究院，法国）
本文提出了一种结合多样性和平衡代表性的算法，用于在线辩论中意见选择，以优化民主标准的权衡。
2026-02-17 cs.AI cs.CY cs.SI
Dimensions of Diversity in Human Perceptions of Algorithmic Fairness
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Research on Collective Goods（马克斯·普朗克集体商品研究所）；KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
越来越多的监督委员会和监管机构寻求监督和管理那些决定人们生活的算法。以前的工作已经探索了人们如何相信应该做出算法决策，但很少有人了解社会人口统计学或决策场景的直接经验等个人因素如何影响他们的道德观点。我们通过探索人们对程序算法公平性（在算法决策中使用特定特征的公平性）的一个方面的看法如何与他们的（i）人口统计数据（年龄，教育，性别，种族，政治观点）和（ii）个人经验与算法决策情景相关，从而朝着填补这一空白迈出了一步。我们发现，政治观点和个人经验的算法决策的背景下显着影响的公平性使用不同的功能保释决策的看法。根据我们的研究结果，我们讨论了利益相关者参与和算法监督的影响，包括在组成监督和监管机构时需要考虑多样性的多个维度。
2022-09-05 cs.CY cs.LG
Political audience diversity and news reliability in algorithmic ranking
University of South Florida（南佛罗里达大学）；Stanford University（斯坦福大学）；Indiana University（印第安纳大学）；Dartmouth College（达特茅斯学院）
本文提出利用政治受众多样性作为新闻可靠性信号，改进算法推荐，提升用户获取信息的可信度。
2021-03-06 cs.CY cs.SI
FATE in AI: Towards Algorithmic Inclusivity and Accessibility
University of Huddersfield（哈德斯菲尔德大学）
本研究通过用户研究和参与式会议，探讨全球南方地区AI的FATE需求，提出社区主导的数据策略以促进包容性，确保AI符合社会价值观。
2023-11-13 cs.AI cs.CY cs.HC
Beyond the Checkbox: Strengthening DSA Compliance Through Social Media Algorithmic Auditing
Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；Comenius University Bratislava（布拉迪斯拉发康斯坦丁神学家大学）
本文通过社交媒体算法审计提升DSA合规性，批判性分析三个关键条款的审计报告，提出算法审计方法以增强合规性评估的深度和独立性。
2026-01-26 cs.CY cs.HC cs.IR
Beyond opening up the black box: Investigating the role of algorithmic systems in Wikipedian organizational culture
Berkeley Institute for Data Science（伯克利数据科学研究所）
跨领域的学者和从业者越来越关注算法的透明度和不透明性，质疑嵌入自动化黑箱系统中的价值观和假设，特别是在用户生成的内容平台中。我从维基百科上的基础设施人种志报告，讨论这个主题的一个经常未被充分研究的方面：参与高度自动化的社会技术环境的本地，上下文，学习的专业知识。今天，维基百科的组织文化与各种数据驱动的算法系统紧密相连，维基百科依靠这些系统来帮助管理和治理“任何人都可以编辑”的大规模百科全书。这些机器人、脚本、工具、插件和仪表板使维基百科对那些知道如何使用它们的人来说更有效率，但就像所有组织文化一样，如果新人想要充分参与，他们必须学习它们。我通过讨论两个自我民族志的小插曲来说明文化和组织专业知识是如何围绕算法代理制定的，这与我作为维基百科老手的个人经历有关。我将详细描述如何通过这些自动化基础设施来阐明治理和把关实践，并与之保持一致。在过去的15年里，维基百科的资深人士和管理员已经做出了具体的决定，以特定的方式支持管理和编辑工作流程的自动化，而不是其他方式。我使用维基百科的机器人支持的官僚机构的这些案例来讨论关键算法研究，关键数据研究，公平性，问责制和机器学习的透明度等领域的几个问题-最主要的是认为学术和实践必须超越试图“打开黑匣子”这样的系统，并检查社会文化过程，如新人社会化。
2017-10-01 cs.AI cs.CY cs.HC
Rideshare Transparency: Translating Gig Worker Insights on AI Platform Design to Policy
本文通过结合超百万条工人社区评论的 LLM 分析与半结构化访谈，揭示网约车平台的透明度差距，并提出以强制公开透明度报告的监管方案保障司机知情权。
2025-02-16 cs.CY cs.HC
Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty
Partnership on AI（人工智能合作组织）；University of Cambridge（剑桥大学）；IBM Research（IBM研究院）；Carnegie Mellon University（卡内基梅隆大学）；Element AI；Intel Labs（英特尔实验室）；New York University（纽约大学）；The Alan Turing Institute（艾伦·图灵研究所）；Sony AI（索尼AI）
系统透明性需要将系统属性暴露给各种利益相关者，以实现理解、改进和质疑预测等目的。到目前为止，大多数关于算法透明度的研究主要集中在可解释性上。可解释性试图为利益相关者提供机器学习模型行为的原因。然而，仅仅理解模型的特定行为可能不足以让涉众判断模型是否是错误的，或者缺乏足够的知识来解决手头的任务。在本文中，我们主张考虑一种补充形式的透明度，估计和沟通的不确定性与模型预测。首先，我们讨论评估不确定性的方法。然后，我们描述了如何使用不确定性来减轻模型的不公平性，增强决策，并建立可信的系统。最后，我们概述了向利益相关者展示不确定性的方法，并建议如何收集将不确定性纳入现有ML管道所需的信息。这项工作构成了一个跨学科的审查，从文献跨越机器学习，可视化/人机交互，设计，决策和公平。我们的目标是鼓励研究人员和从业人员测量，沟通，并使用不确定性作为一种形式的透明度。
2021-05-04 cs.CY cs.HC cs.LG
"Computer Says No": Algorithmic Decision Support and Organisational Responsibility
决策支持越来越多地用于社会各个领域的各种不同背景和结构，影响着许多人的生活。除其他外，它的使用引起了关于问责制、透明度和责任的问题。虽然对算法系统和责任问题有大量的研究，但对组织责任及其归属的研究很少或根本没有。我们的文章旨在填补这一空白;我们简要概述了与组织背景下的ADS，责任和决策有关的核心问题，并确定了开放性问题和研究空白。此外，我们描述了一套指导方针和一个互补的数字工具，以协助从业者在映射责任时，在他们的组织背景下引入ADS。
2022-06-23 cs.CY
Suspect AI: Vibraimage, Emotion Recognition Technology, and Algorithmic Opacity
The Alan Turing Institute（阿兰·图灵研究所）
Vibraimage是一个数字系统，通过分析头部运动的视频片段来量化受试者的精神和情绪状态。Vibraimage被俄罗斯、中国、日本和韩国的警察、核电站运营商、机场安全和精神科医生使用，并已被部署在奥运会、FIFA世界杯和G7峰会上。然而，没有可靠的证据表明这项技术实际上是有效的;事实上，许多关于其效果的说法似乎无法证明。vibrimage究竟在测量什么？它是如何获得渗透俄罗斯和亚洲最引人注目、最敏感的安全基础设施的能力的？我首先追溯了情感识别行业的发展，然后研究了vibramage的开发者和附属机构试图科学地合法化这项技术的尝试，得出的结论是，vibramage的纪律力量和企业价值是通过其非常不透明产生的，而不是整个社会科学对透明度的要求越来越高。我提议用“可疑人工智能”这个词来描述越来越多的系统，比如Vibrimage，它们在算法上对嫌疑人/非嫌疑人进行分类，但它们本身也非常可疑。普及这个术语可能有助于抵制这种技术对“阅读”的还原主义方法-并对情感，意图和代理施加权威。
2020-09-01 cs.AI cs.CY
Algorithmic Bias and the New Chicago School
本文基于Lawrence Lessig的新芝加哥学派框架，探讨了利用间接监管规制AI算法偏见，提出有效监管需结合架构、规范、市场与法律实现直接与间接监管的混合。
2025-01-08 cs.CY
Hiring Fairly in the Age of Algorithms
自动化的广泛发展减少了对人力投入的需求。然而，尽管机器学习的能力越来越强，但在许多情况下，这些程序做出的决策是有问题的。数据中的偏见和不透明的模型放大了人类的偏见，催生了亚马逊（现已停产）实验性招聘算法等工具，该算法被发现在一项活动之前添加“女性”一词时，会持续降低简历的等级。本文批判性地调查了围绕算法招聘的现有法律和技术环境。我们认为，招聘算法的负面影响可以通过提高雇主对公众的透明度来减轻，这将使民事倡导团体能够追究雇主的责任，并允许美国司法部提起诉讼。我们的主要贡献是自动招聘透明度框架，算法透明度报告，使用自动招聘软件的雇主必须依法发布。我们还解释了如何在就业和商业秘密法的现有法规可以由平等就业机会委员会和国会扩展，以适应这些报告。
2020-04-15 cs.CY cs.HC
Peer-induced Fairness: A Causal Approach for Algorithmic Fairness Auditing
提出融合反事实公平与同伴比较的“peer-induced fairness”审计框架，可区分算法歧视与主体内在局限，并在中小企业融资场景中发现41.51%的微型企业遭受歧视。
2024-09-05 cs.CY q-fin.CP q-fin.ST
How Platform-User Power Relations Shape Algorithmic Accountability: A Case Study of Instant Loan Platforms and Financially Stressed Users in India
University of Michigan（密歇根大学）；Google Research（谷歌研究院）
问责制是负责任的人工智能的必要条件，可以通过审计和可解释性等透明度机制来促进。然而，先前的工作表明，这些机制的成功可能仅限于全球北方的背景下，了解目前的干预措施在不同的社会政治条件下的局限性是至关重要的，以帮助决策者促进更广泛的问责制。为此，我们研究了在全球南方环境中脆弱用户与“高风险”人工智能系统之间现有交互中的问责调解。我们报告了一项定性研究，其中有29名印度即时贷款平台的财务压力用户。我们发现，用户对即时贷款的“恩惠”产生了强烈的负债感，并对贷款平台承担了巨大的义务。用户通过接受苛刻的条款和条件、过度共享敏感数据以及向未知和未经验证的贷款人支付高额费用来履行义务。用户表现出对贷款平台的依赖，尽管存在滥用、重复债务、歧视、隐私损害和自我伤害等伤害风险，但仍坚持这种行为。用户没有对贷款平台感到愤怒，而是为他们的负面体验承担责任，从而使强大的贷款平台免于承担责任。我们认为，问责制是由平台-用户权力关系塑造的，并敦促政策制定者在采用纯技术方法来促进算法问责制时保持谨慎。相反，我们呼吁定位干预，增强用户的代理，实现有意义的透明度，重新配置设计者-用户关系，并促使从业者对更广泛的问责制进行批判性反思。最后，我们总结了在印度及其他地区的金融科技应用中负责任地部署人工智能的影响。
2022-05-11 cs.AI cs.CY cs.HC
From Explanation to Recommendation: Ethical Standards for Algorithmic Recourse
人们越来越多地受到算法决策的影响，人们普遍认为，应该向最终用户提供这些决策的解释或理由。解释可以有不同的目的，例如增加用户对系统的信任或允许用户对决策提出异议。一个正在获得更多牵引力的特定目的是算法追索权。我们首先建议，追索权应被视为一个建议问题，而不是一个解释问题。然后，我们认为，能力的方法提供了合理的和富有成效的道德标准的追索权。我们通过考虑算法追索权的多样性约束的情况下说明。最后，我们讨论了采用能力方法进行算法资源研究的意义和影响。
2022-05-30 cs.CY
The Problem of Algorithmic Collisions: Mitigating Unforeseen Risks in a Connected World
University of Cambridge（剑桥大学）；University of Cologne（科隆大学）
本文探讨了算法相互作用带来的系统性风险，提出通过分阶段注册、许可框架和增强监控来提高透明度和问责制。
2026-02-21 cs.AI cs.CY math.HO
No computation without representation: Avoiding data and algorithm biases through diversity
人工智能中伦理问题研究的出现和发展，特别是算法公平性，源于一个基本的观察，即社会中的结构性不平等反映在用于训练预测模型的数据和目标函数的设计中。虽然旨在缓解这些问题的研究本质上是跨学科的，但设计无偏见的算法和公平的社会技术系统是关键的预期成果，这取决于数据科学和计算领域的从业者。然而，这些计算领域也普遍存在与我们分析的数据集中相同的代表性不足问题。这种脱节既影响了预期结果的设计，也影响了我们衡量成功的指标。如果道德人工智能研究界接受这一点，我们就默认了现状，并违背了算法公平性、问责制和透明度所寻求解决的非歧视和公平的目标。因此，在这项工作中，我们倡导将计算多样化作为该领域的核心优先事项，并努力实现合乎道德的人工智能实践。我们在学术和专业计算领域缺乏多样性与数据集，机器学习模型，问题公式和结果解释中遇到的偏见的类型和广度之间建立了联系。通过研究人工智能文献中当前的公平性/道德，我们强调了这种缺乏多样性观点的情况，这是处理代表性不足和受保护群体数据的不公平的基础。我们还关注其他专业领域，如法律和卫生领域，这些领域的受训人员教育多样性和专业实践之间的差距已经缩小。我们利用这些经验教训来制定建议，为计算社区提供增加多样性的具体步骤。
2020-02-26 cs.CY
Designing Recommender Systems to Depolarize
两极分化涉及民主的侵蚀和暴力的发展，这使得大型算法内容选择系统（推荐系统）的两极分化特性成为和平与安全的一个问题。虽然算法驱动的社交媒体似乎不是国家一级两极分化的主要驱动力，但它可能是两极分化社会的一个有用的干预点。本文探讨了算法去极化干预的冲突转化的目标：不抑制或消除冲突，但走向更建设性的冲突。在三个阶段考虑了媒体干预：哪些内容可用（审核），如何选择和个性化内容（排名），以及内容呈现和控制（用户界面）。网络冲突的实证研究表明，作为“过滤泡沫”的解毒剂提出的曝光多样性干预可以得到改善，甚至可以在某些条件下恶化两极分化。在内容选择中结合使用文明指标可能更有效。然而，基于多样性的干预措施尚未经过大规模测试，在真实平台的多样性和动态背景下可能无法发挥作用。相反，干预平台偏振动态将可能需要持续监测偏振度量，例如广泛使用的“感觉温度计”。“这些指标可用于评估产品功能，并可能设计为算法目标。可能进一步证明有必要在推荐算法的目标函数中包括极化度量，以防止优化过程产生冲突作为副作用。
2021-07-11 cs.CY cs.IR cs.SI
Follow the guides: disentangling human and algorithmic curation in online music consumption
推荐系统在平台上内容消费多样性中的作用是一个备受争议的问题。定量的最新技术往往忽略了存在的个人态度的指导，并最终在这方面的不同类别的用户。以音乐流媒体为例，我们分析了大约9000名用户在一年内的完整收听历史，并证明推荐使用和消费多样性的交织没有一个统一的答案：它取决于用户。首先，我们计算每个用户的相对重要性，不同的访问模式在他们的收听历史，介绍了一个区分所谓的“有机”使用算法和编辑指导。因此，我们确定了四类用户。然后，我们关注与内容多样性相关的两个尺度，即分散度（用户重复消费相同内容的程度）和流行度（他们消费的内容有多受欢迎）。我们发现，音乐平台提供的两种类型的推荐--算法和编辑--可能会在相反的方向上推动或多或少多样化内容的消费，这也很大程度上取决于用户的类型。最后，我们将用户的流媒体历史与同期法国流行广播电台的音乐节目进行了比较。虽然广播节目通常比用户的收听历史更倾向于重复，但它们通常会播放更多不太受欢迎的艺术家的歌曲。总的来说，我们的研究结果突出了平台介导的推荐对消费的重要影响，并引导我们谈论“过滤器利基”而不是“过滤器泡沫”。它们暗示了推荐系统的研究和设计的进一步分支。
2021-09-08 cs.CY cs.IR cs.SI
Enduring Disparities in the Workplace: A Pilot Study in the AI Community
本文通过对1260名AI/ML从业者的试点调查，揭示了职场中代表性不足及边缘化群体持续存在的差距，尤其关注残障员工和交叉群体，并探讨DEI举措的实际影响，为促进AI社区职场公平提供实证依据。
2025-06-06 cs.CY
Implicit Gender Bias in Computer Science -- A Qualitative Study
科技行业的性别多样性-还没有？- 这足以使男女比例平衡。对许多妇女来说，接触计算机科学受到与社会化有关的社会、文化和结构性障碍的阻碍。所谓的内隐性别偏见在这方面有很大的影响。在计算机科学领域缺乏接触，很难发展或扩大潜在的兴趣。女性榜样以及职务说明的更大透明度应有助于妇女促进她们对职务说明的可能兴趣。然而，领导人也可以通过采取适当措施来促进和培养性别多样性。
2021-07-04 cs.CY cs.SE
Análisis jurídico de la discriminación algorítmica en los procesos de selección laboral
在处理工作申请时使用机器学习系统使这一过程变得敏捷和高效，但同时也在平等、可靠性和透明度方面产生了问题。在本文中，我们解释了ML在美国工作选择过程中的一些用途，并提出了一些已经发现的种族和性别偏见。实际上和法律上都存在阻碍发现和分析这些偏见的障碍。从法律角度如何处理算法歧视也不清楚。一个可能的分析工具是由美国的不同影响的理论，但我们显示了一些局限性和问题时，适应其他法律制度，如哥伦比亚法律。最后，我们提供了一些算法歧视的法律分析应该提供的必要条件。
2020-08-02 cs.CY
Harms from Increasingly Agentic Algorithmic Systems
本文针对日益自主的算法系统，提出通过规格不足、影响直接性、目标导向性和长期规划四个特征来预见其危害，并强调系统性及长期影响，同时指出自主性不减轻人类责任。
2023-05-12 cs.CY
Diversity in Sociotechnical Machine Learning Systems
最近在机器学习（ML）研究中，人们对社会文化多样性的兴趣激增，研究人员（i）研究多样性作为缓解算法偏见问题的组织解决方案的好处，（ii）提出实施多样性作为预测算法构建中的设计需求的措施和方法。然而，目前，一方面，在ML中对多样性的措施和益处的讨论与另一方面，对多样性的基本概念及其功能益处的确切机制的更广泛研究之间存在差距。这种差距是有问题的，因为多样性不是一个单一的概念。相反，不同的多样性概念基于不同的理论基础，这些理论基础应该指导我们如何在特定背景下衡量多样性。同样，缺乏对支撑多样性潜在益处的确切机制的具体性，可能导致缺乏信息的概括、无效的实验设计和对发现的非法解释。在这项工作中，我们借鉴了哲学，心理学，社会和组织科学的研究，作出三个贡献：首先，我们介绍了不同的多样性概念从科学哲学的分类，并阐明了这些概念背后的独特的认识和政治理性。第二，我们提供了一个概述的机制，多样性可以受益于组的性能。第三，我们在社会技术ML系统的生命周期中对这些分类（概念和机制）进行分类，并证明它们在公平和负责任的ML中的有用性。我们这样做，说明他们如何澄清ML系统的背景下，围绕多样性的话语，促进制定更精确的研究问题的多样性的影响，并提供概念工具，以进一步推进研究和实践。
2021-07-19 cs.CY cs.HC
Prediction Laundering: The Illusion of Neutrality, Transparency, and Governance in Polymarket
University of Toronto（多伦多大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文通过分析Polymarket平台，揭示预测清洗现象，指出其通过算法聚合掩盖不确定性与资本不对称，导致认知信任偏差，并提出摩擦积极设计以应对合成真相生产中的社会与财务摩擦。
2026-02-05 cs.CY
AI for Sustainable Data Protection and Fair Algorithmic Management in Environmental Regulation
Guru Nanak Dev University（古鲁那纳克德夫大学）；Desh Bhagat University（德什巴加特大学）
本文研究人工智能在环境监管中如何通过增强加密技术实现可持续数据保护和公平算法管理。
2026-02-02 cs.AI cs.CR cs.CY
YouTube Recommendations Reinforce Negative Emotions: Auditing Algorithmic Bias with Emotionally-Agentic Sock Puppets
本研究通过袜子木偶审计方法，发现YouTube推荐算法会放大愤怒等负面情绪，且随时间加剧，形成情感过滤气泡，呼吁平衡个性化与内容多样性。
2025-01-25 cs.CY cs.SI
Like trainer, like bot? Inheritance of bias in algorithmic content moderation
University of Oxford（牛津大学）；University College London（伦敦大学学院）
互联网已成为“网络公众”表达意见和进行辩论的中心媒介。冒犯性的评论和人身攻击可能会抑制这些空间的参与。自动内容审核旨在使用机器学习分类器来克服这个问题，这些分类器是在手动注释的大型文本语料库上训练的。虽然这样的系统可以帮助鼓励更多的民间辩论，但它们必须在内在规范上保持稳定的边界，并受制于提供训练数据的人类评分员的特殊规范。平台实施这些措施的一个重要目标可能是确保它们不会不适当地偏向或反对特定的犯罪规范。本文提供了一些探索性的方法，通过这些方法可以测量算法内容审核系统的规范性偏差，通过使用现有的标记为犯罪的评论数据集的案例研究。我们训练分类器标记的不同的人口子集（男性和女性）的意见，以了解这些群体之间的犯罪概念的差异可能会影响不同的测试集上的结果模型的性能。最后，我们讨论了一些道德的选择面临的算法适度系统的实施者，考虑到各种所需的水平之间的讨论参与者的观点的多样性。
2017-07-05 cs.CL cs.CY cs.LG
