A Human-Centric Perspective on Fairness and Transparency in Algorithmic Decision-Making
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
自动决策系统(ADS)越来越多地用于后续决策。这些系统通常依赖于复杂但不透明的机器学习模型,这些模型不允许理解给定决策是如何得出的。这不仅从法律的角度来看是有问题的,而且不透明的系统也容易产生不公平的结果,因为它们的理智首先很难评估和校准-这对人类决策主体来说尤其令人担忧。基于这一观察,并在现有工作的基础上,我的目标是通过我的博士论文做出以下三个主要贡献:(a)了解如何(潜在)决策--受试者感知算法决策(基础ADS的透明度不同),与人类做出的类似决定相比;(b)评估不同的透明决策工具在使人们能够适当评估ADS的质量和公平性方面的有效性;以及(c)为公平的自动决策制定开发人类可理解的技术工件。在我的博士课程的前半部分,我已经解决了(a)和(c)的实质性部分,而(b)将是下半部分的主要焦点。
2022-04-29 cs.AI cs.HC cs.LG
Progressive Disclosure: Designing for Effective Transparency
随着我们越来越多地将重要决策委托给智能系统,用户必须了解算法决策是如何做出的。以前的工作往往采取以技术为中心的方法来提高透明度。相比之下,我们探索以用户为中心的经验方法,以更好地了解用户对透明系统的反应。我们在两项研究中评估了用户对全局和增量反馈的反应。在研究1中,用户预期更透明的增量系统会表现得更好,但在使用该系统后撤回了这一评价。定性数据表明,这可能是因为增量反馈分散注意力,破坏了用户对系统操作的简单理解。研究2深入探讨了这些影响,表明用户可能会受益于最初简化的反馈,隐藏潜在的系统错误,并帮助用户建立工作系统操作的技巧。我们利用这些发现来激励新的渐进披露原则,以提高智能系统的透明度。
2018-11-06 cs.HC
Applying Transparency in Artificial Intelligence based Personalization Systems
University of Tübingen(蒂宾根大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学);The University of Edinburgh(爱丁堡大学)
基于人工智能的系统越来越多地使用个性化来为用户提供相关的内容、产品和解决方案。个性化旨在支持用户并满足他们各自的需求和偏好。然而,由于算法的进步和缺乏透明度,用户越来越容易受到在线操纵。这种操纵降低了用户对与他们交互的系统的信任、自主性和满意度。增加透明度是基于个性化的系统的重要目标。不幸的是,系统设计者缺乏在其开发的系统中评估和实施透明度的指导。在这项工作中,我们结合了技术伦理和计算机科学的见解,为机器生成的个性化生成一个透明的最佳实践列表。基于这些最佳实践,我们开发了一个清单,供希望评估和提高其算法系统透明度的设计师使用。采用设计师的角度来看,我们适用于清单突出的在线服务,并讨论其优点和缺点。我们鼓励研究人员在各种环境中采用该清单,并努力建立一个基于共识的工具,用于衡量个性化社区的透明度。
2020-08-21 cs.CY cs.HC cs.LG
Rideshare Transparency: Translating Gig Worker Insights on AI Platform Design to Policy
本文通过结合超百万条工人社区评论的 LLM 分析与半结构化访谈,揭示网约车平台的透明度差距,并提出以强制公开透明度报告的监管方案保障司机知情权。
2025-02-16 cs.CY cs.HC
Beyond the Checkbox: Strengthening DSA Compliance Through Social Media Algorithmic Auditing
Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所);Comenius University Bratislava(布拉迪斯拉发康斯坦丁神学家大学)
本文通过社交媒体算法审计提升DSA合规性,批判性分析三个关键条款的审计报告,提出算法审计方法以增强合规性评估的深度和独立性。
2026-01-26 cs.CY cs.HC cs.IR
Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty
Partnership on AI(人工智能合作组织);University of Cambridge(剑桥大学);IBM Research(IBM研究院);Carnegie Mellon University(卡内基梅隆大学);Element AI;Intel Labs(英特尔实验室);New York University(纽约大学);The Alan Turing Institute(艾伦·图灵研究所);Sony AI(索尼AI)
系统透明性需要将系统属性暴露给各种利益相关者,以实现理解、改进和质疑预测等目的。到目前为止,大多数关于算法透明度的研究主要集中在可解释性上。可解释性试图为利益相关者提供机器学习模型行为的原因。然而,仅仅理解模型的特定行为可能不足以让涉众判断模型是否是错误的,或者缺乏足够的知识来解决手头的任务。在本文中,我们主张考虑一种补充形式的透明度,估计和沟通的不确定性与模型预测。首先,我们讨论评估不确定性的方法。然后,我们描述了如何使用不确定性来减轻模型的不公平性,增强决策,并建立可信的系统。最后,我们概述了向利益相关者展示不确定性的方法,并建议如何收集将不确定性纳入现有ML管道所需的信息。这项工作构成了一个跨学科的审查,从文献跨越机器学习,可视化/人机交互,设计,决策和公平。我们的目标是鼓励研究人员和从业人员测量,沟通,并使用不确定性作为一种形式的透明度。
2021-05-04 cs.CY cs.HC cs.LG
Navigating Algorithmic Opacity: Folk Theories and User Agency in Semi-Autonomous Vehicles
Rutgers University(罗格斯大学)
研究探讨了半自动驾驶车辆司机如何通过folk理论理解算法行为,揭示了司机在算法治理中的被动地位,并提出参与式算法治理框架以提升透明度和用户参与度。
2026-02-07 cs.HC
3D4ALL: Toward an Inclusive Pipeline to Classify 3D Contents
网络内容审核管理每天在线共享的爆炸性数量的用户创建的内容。尽管有大量的3D设计可供用户免费下载、共享和3D打印,但在透明和公平的情况下检测灵敏度一直存在争议。虽然敏感3D内容可能比其他媒体具有更大的影响力,因为它可能具有无限制的可复制性和可复制性,但普遍存在的无知导致敏感3D模型在线扩散,并且缺乏对透明和公平的3D内容审核的讨论。由于3D内容作为主要由文本和图像组成的网络上的文档存在,我们首先研究了基于文本和图像的现有算法努力以及先前的努力,以适度地包含透明度和公平性,这在3D打印领域也是有用的。与此同时,我们确定了应该解决的3D特定功能,以推进3D专用算法的适度。作为一种潜在的解决方案,我们建议使用增强学习的人在回路管道,由具有不同背景和理解内容的角度的各种利益相关者提供支持。我们的管道旨在通过使不同的利益相关者能够在反映各种因素来解释内容时发声,从而最大限度地减少个人偏见。我们增加了我们的初步建议,重新设计开放的3D存储库的元数据,调用用户的负责任的行为被授予同意后,在公共空间免费共享内容的主题。
2021-02-24 cs.HC
FATE in AI: Towards Algorithmic Inclusivity and Accessibility
University of Huddersfield(哈德斯菲尔德大学)
本研究通过用户研究和参与式会议,探讨全球南方地区AI的FATE需求,提出社区主导的数据策略以促进包容性,确保AI符合社会价值观。
2023-11-13 cs.AI cs.CY cs.HC
Examining Algorithmic Curation on Social Media: An Empirical Audit of Reddit's r/popular Feed
本研究对Reddit的r/popular算法策展信息流进行实证审计,发现近期评论延长帖子留存并提升排名,排名低于80位活动骤降,不良行为无显著助益,凸显算法决定内容优先级,倡导提高透明度。
2025-08-07 cs.HC cs.SI
Beyond opening up the black box: Investigating the role of algorithmic systems in Wikipedian organizational culture
Berkeley Institute for Data Science(伯克利数据科学研究所)
跨领域的学者和从业者越来越关注算法的透明度和不透明性,质疑嵌入自动化黑箱系统中的价值观和假设,特别是在用户生成的内容平台中。我从维基百科上的基础设施人种志报告,讨论这个主题的一个经常未被充分研究的方面:参与高度自动化的社会技术环境的本地,上下文,学习的专业知识。今天,维基百科的组织文化与各种数据驱动的算法系统紧密相连,维基百科依靠这些系统来帮助管理和治理“任何人都可以编辑”的大规模百科全书。这些机器人、脚本、工具、插件和仪表板使维基百科对那些知道如何使用它们的人来说更有效率,但就像所有组织文化一样,如果新人想要充分参与,他们必须学习它们。我通过讨论两个自我民族志的小插曲来说明文化和组织专业知识是如何围绕算法代理制定的,这与我作为维基百科老手的个人经历有关。我将详细描述如何通过这些自动化基础设施来阐明治理和把关实践,并与之保持一致。在过去的15年里,维基百科的资深人士和管理员已经做出了具体的决定,以特定的方式支持管理和编辑工作流程的自动化,而不是其他方式。我使用维基百科的机器人支持的官僚机构的这些案例来讨论关键算法研究,关键数据研究,公平性,问责制和机器学习的透明度等领域的几个问题-最主要的是认为学术和实践必须超越试图“打开黑匣子”这样的系统,并检查社会文化过程,如新人社会化。
2017-10-01 cs.AI cs.CY cs.HC
Fairness and Transparency in Recommendation: The Users' Perspective
University of Colorado Boulder(科罗拉多大学博尔德分校)
虽然推荐系统是由个性化定义的,但最近的工作表明了额外的,超越准确性目标的重要性,例如公平性。由于用户通常希望他们的推荐是纯粹个性化的,这些新的算法目标必须在公平意识推荐系统中透明地传达。虽然解释在推荐系统研究中有很长的历史,但很少有工作试图解释使用公平目标的系统。尽管人工智能其他分支以前的工作已经探索了使用解释作为提高公平性的工具,但这项工作并没有集中在推荐上。在这里,我们认为公平意识推荐系统和技术,以提高其透明度的用户的观点。我们描述了一个探索性的访谈研究,调查用户的公平感,推荐系统,公平意识的目标的结果。我们提出了三个功能-通知我们的参与者的需求-可以提高用户的理解和信任的公平意识的推荐系统。
2021-03-16 cs.AI cs.HC cs.IR
Interactive Counterfactual Exploration of Algorithmic Harms in Recommender Systems
University of Pittsburgh(匹兹堡大学);Quest Diagnostics(奎斯特诊断公司)
针对推荐系统存在算法偏差引发不公平体验的问题,本研究开发了结合可视化、反事实解释与交互模块的探索工具,经用户访谈验证可提升算法透明度,助力理解偏差并推动更公平的推荐。
2024-09-10 cs.AI cs.HC cs.IR
How Platform-User Power Relations Shape Algorithmic Accountability: A Case Study of Instant Loan Platforms and Financially Stressed Users in India
University of Michigan(密歇根大学);Google Research(谷歌研究院)
问责制是负责任的人工智能的必要条件,可以通过审计和可解释性等透明度机制来促进。然而,先前的工作表明,这些机制的成功可能仅限于全球北方的背景下,了解目前的干预措施在不同的社会政治条件下的局限性是至关重要的,以帮助决策者促进更广泛的问责制。为此,我们研究了在全球南方环境中脆弱用户与“高风险”人工智能系统之间现有交互中的问责调解。我们报告了一项定性研究,其中有29名印度即时贷款平台的财务压力用户。我们发现,用户对即时贷款的“恩惠”产生了强烈的负债感,并对贷款平台承担了巨大的义务。用户通过接受苛刻的条款和条件、过度共享敏感数据以及向未知和未经验证的贷款人支付高额费用来履行义务。用户表现出对贷款平台的依赖,尽管存在滥用、重复债务、歧视、隐私损害和自我伤害等伤害风险,但仍坚持这种行为。用户没有对贷款平台感到愤怒,而是为他们的负面体验承担责任,从而使强大的贷款平台免于承担责任。我们认为,问责制是由平台-用户权力关系塑造的,并敦促政策制定者在采用纯技术方法来促进算法问责制时保持谨慎。相反,我们呼吁定位干预,增强用户的代理,实现有意义的透明度,重新配置设计者-用户关系,并促使从业者对更广泛的问责制进行批判性反思。最后,我们总结了在印度及其他地区的金融科技应用中负责任地部署人工智能的影响。
2022-05-11 cs.AI cs.CY cs.HC
Algorithmic Fairness Perceptions in the Global South: Evidence from Bangladesh on Ride-Sharing, Beauty Filters, and Large Language Models
East West University(东西大学)
该研究通过对孟加拉国199名民众的双语调查,揭示了情境影响算法公平感知、对算法保护需求普遍、美颜滤镜损害自我形象、识别与阐明LLM文化偏见存在差异等四个关键模式,指出仅结果导向的公平指标存在局限。
2026-08-31 cs.HC
Understanding User Perceptions of Human-centered AI-Enhanced Support Group Formation in Online Healthcare Communities
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本研究探讨了在线健康社区中人工智能增强型支持小组形成用户的感知价值及接受条件,发现信任、隐私和算法治理是影响采纳的关键因素。
2026-03-11 cs.HC
GAM Coach: Towards Interactive and User-centered Algorithmic Recourse
Georgia Tech(佐治亚理工学院);Microsoft Research(微软研究院)
机器学习(ML)资源技术越来越多地用于高风险领域,为最终用户提供更改ML预测的操作,但他们假设ML开发人员了解可以更改哪些输入变量。然而,追索计划的可诉性是主观的,不太可能完全符合开发商的期望。我们提出了GAM教练,一个新的开源系统,适应整数线性规划生成可定制的反事实解释广义加性模型(GAM),并利用交互式可视化,使最终用户能够迭代生成满足他们需求的追索计划。41名参与者的定量用户研究表明,我们的工具是可用的和有用的,用户更喜欢个性化的追索计划比通用计划。通过日志分析,我们探索了用户如何发现令人满意的追索计划,并提供了经验证据,证明透明度可以为日常用户带来更多机会,发现ML模型中的反直觉模式。GAM教练可在:https://poloclub.github.io/gam-coach/.
2023-03-01 cs.AI cs.HC cs.LG
Negotiating the Shared Agency between Humans & AI in the Recommender System
本研究提出双重控制机制,通过实验证明透明度需与用户直接控制相结合才能显著增强推荐系统中的用户能动性,为设计更以用户为中心的推荐系统提供了概念验证。
2025-05-10 cs.CY cs.HC
The Impact of Artificial Intelligence on Human Thought
Independent Researcher(独立研究者)
本文从认知、社会、伦理和哲学多维视角分析人工智能如何通过认知卸载、过滤气泡和算法操纵削弱人类批判性思维与智力自主性,并提出教育、透明度和治理等应对途径。
2025-08-15 cs.AI cs.CY cs.HC
An Empirical Analysis on Transparent Algorithmic Exploration in Recommender Systems
UNIST(蔚山科学技术院);Department of Computer Science and Engineering(计算机科学与工程学院)
所有用于推荐的学习算法都面临着在利用用户偏好的部分知识以获得短期满意度和探索其他用户偏好以获得长期覆盖之间不可避免的关键权衡。虽然探索是必不可少的推荐系统的长期成功,探索已被认为是降低用户满意度的风险。风险的原因是,选择用于探索的项目经常与用户的兴趣不匹配。为了减轻这种风险,推荐系统将选择用于探索的项目混合到推荐列表中,将项目伪装为推荐以引起对项目的反馈,从而发现用户的其他口味。这种混合方法已被广泛应用于许多广告商,但很少有研究,评估混合方法的有效性或提出一种新的方法来获得用户反馈而不欺骗用户。在这项工作中,我们的目标是提出一种新的方法,没有任何欺骗的反馈启发,并比较我们的方法与传统的混合方法进行评估。为此,我们设计了一个推荐界面,揭示了哪些项目是探索,并进行了主题内的研究与94 MTurk工人。我们的研究结果表明,用户留下了显着更多的反馈项目选择探索与我们的界面。此外,用户评价我们的新界面在新颖性,多样性,透明度,信任和满意度方面优于传统的混合界面。最后,路径分析表明,只有在我们的新界面,探索导致增加以用户为中心的评价指标。我们的工作为如何设计界面铺平了道路,该界面利用基于用户反馈信号的学习算法,提供更好的用户体验并收集更多反馈数据。
2021-08-12 cs.HC cs.IR cs.LG
Bureaucratic Silences: What the Canadian AI Register Reveals, Omits, and Obscures
Department of Computer Science University of Toronto Toronto Ontario Canada(计算机科学系多伦多大学多伦多安大略加拿大);Faculty of Information University of Toronto Toronto Ontario Canada(信息学院多伦多大学多伦多安大略加拿大);University of Toronto(多伦多大学)
本文通过分析加拿大人工智能登记处的数据,揭示其作为问责边界配置工具的非中立性,指出登记处对AI作为可争议决策的忽视,以及其对技术描述优先于社会技术背景的倾向。
2026-04-16 cs.AI cs.CY cs.HC