Legal Minds, Algorithmic Decisions: How LLMs Apply Constitutional Principles in Complex Scenarios
Bank of Italy(意大利银行)
本文以意大利宪法法院生命伦理裁决为样本,实证比较 GPT-4 生成的法律论证,发现其系统性偏向进步主义解释并反映申请人立场,揭示数据偏差对法律决策对齐的影响。
2024-08-09 cs.CL cs.CY
Yet another algorithmic bias: A Discursive Analysis of Large Language Models Reinforcing Dominant Discourses on Gender and Race
Instituto de Estudos da Linguagem (IEL), Universidade Estadual de Campinas (UNICAMP)(语言研究学院(IEL),Campinas州立大学(UNICAMP));Instituto de Computação (IC), Universidade Estadual de Campinas (UNICAMP)(计算学院(IC),Campinas州立大学(UNICAMP));Instituto de Informática, Universidade Federal de Goiás (UFG)(信息学院,戈亚斯联邦大学(UFG))
本研究提出定性话语分析框架,通过分析LLM生成的短篇故事,揭示了模型在性别与种族表征中强化主导话语和本质主义的偏见,表明仅靠提示纠正难以消除偏见,强调了AI伦理开发需采用跨学科批判方法。
2025-08-14 cs.AI cs.CL
Graduate Employment Prediction with Bias
Dalian University of Technology(大连理工大学);Federation University Australia(澳大利亚联邦大学);Anshan Normal University(鞍山师范学院);TAL Education Group(好未来教育集团);Michigan State University(密歇根州立大学)
大学生找不到工作可能会导致严重的社会后果,如酗酒和自杀。除了学习成绩,无意识的偏见也可能成为毕业生找工作的一个主要障碍。因此,有必要了解这些无意识的偏见,以便我们可以帮助这些学生在早期阶段更个性化的干预。在本文中,我们开发了一个框架,即,MAYA(Multi-mAjor emploYment stAtus)预测学生的就业状况,同时考虑偏差。该框架由四个主要部分组成。首先,我们通过将学习成绩嵌入到一个统一的空间中来解决学生课程的异质性。然后,我们应用生成对抗网络(GAN)来克服类不平衡问题。第三,我们采用具有新型丢弃机制的长短期记忆(LSTM)来全面捕获学期之间的序列信息。最后,我们设计了一个基于偏差的正则化来捕获就业市场偏差。我们在一个大规模的教育数据集上进行了大量的实验,结果证明了我们的预测框架的有效性。
2019-12-27 cs.CY cs.LG stat.ML
No Thoughts Just AI: Biased LLM Hiring Recommendations Alter Human Decision Making and Limit Human Autonomy
Kyra Wilson(1 Kyra Wilson);Mattea Sim(2 Mattea Sim)
本研究通过简历筛选实验发现,有偏见的AI招聘推荐会显著改变人类决策,使人们高达90%的时间偏向AI偏爱的群体,并限制人类自主性,即使人们认为AI推荐质量低也仍受影响。
2025-09-08 cs.AI cs.CL cs.CY
BQA: Body Language Question Answering Dataset for Video Large Language Models
Nara Institute of Science and Technology(奈良科学技术大学)
本文提出肢体语言问答数据集BQA,包含26种情绪标签的短视频,用于评估视频大语言模型解读非语言情绪的能力,并揭示现有模型在年龄和种族上存在显著偏见。
2025-08-18 cs.CL
Evaluating Gender Bias in Large Language Models via Chain-of-Thought Prompting
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tokyo Institute of Technology(东京工业大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
本研究针对不可扩展任务中CoT提示对大语言模型性别偏见的影响展开探究,构建了兼具算术与符号推理特征的词汇计数基准,发现CoT提示可减轻大语言模型的无意识社会偏见,促进公平预测。
2024-01-28 cs.CL
Mind vs. Mouth: On Measuring Re-judge Inconsistency of Social Bias in Large Language Models
Tianjin University(天津大学);China Mobile Communication Group Tianjin Co., Ltd.(中国移动通信集团天津有限公司)
该研究聚焦大语言模型的外显与内隐社会偏见,提出两阶段方法发现“重判不一致性”现象,经ChatGPT和GPT-4实验验证其稳定性,为借助心理学理论探究大模型认知机制提供新视角。
2023-08-24 cs.AI cs.CL
Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Maryland, College Park(马里兰大学学院市分校)
本研究评估LLMs生成合成德国公众意见的算法保真度,发现Llama表现更优,对左倾政党支持者建模更准,提示变量影响显著,强调需对齐LLMs以减少偏见。
2025-06-02 cs.CL
Exploiting Synergistic Cognitive Biases to Bypass Safety in LLMs
针对大语言模型安全易受认知偏差攻击的问题,提出整合监督微调与强化学习的红队框架CognitiveAttack,利用多认知偏差协同实现更高攻击成功率,揭示现有防御漏洞。
2025-11-17 cs.AI cs.CL cs.LG
Quantifying Algorithmic Biases over Time
Rutgers University(罗格斯大学)
算法现在渗透到人类生活的多个方面,最近的多项研究结果表明,这些算法可能存在与性别、种族和其他人口统计特征有关的偏见。用于量化这些偏差的指标仍然集中在算法的静态概念上。然而,算法随着时间的推移而发展。例如,Tay(微软推出的一款对话机器人)在推出时并没有偏见,但随着时间的推移,它很快就变得有偏见、性别歧视和种族主义。我们提出了一组直观的指标来研究随着时间的推移偏见的变化,并提出了一个案例研究的结果,从Twitter图像搜索#护士和#医生在21天内产生的图像中所代表的性别。结果表明,随着时间的推移,偏差变化显着,偏差的方向可能会出现不同的日子。因此,单次测量可能不足以理解算法偏见,从而激励进一步研究算法随时间推移的偏差。
2019-07-02 cs.CY cs.LG
Identifying biases in legal data: An algorithmic fairness perspective
University of Michigan(密歇根大学);Princeton University(普林斯顿大学);Claudius Legal Intelligence(克劳迪乌斯法律智能公司)
解决法律案件数据中的代表偏见和量刑差异的必要性早已得到承认。在这里,我们从算法公平性的角度研究了识别和测量大规模法律案件数据中的偏差的问题。我们的方法利用两个回归模型:一个基线,代表了一个“典型”的判断,由数据和“公平”的判断,适用于三个公平的概念之一。比较“典型”法官和“公正”法官的决定可以量化人口群体之间的偏见,正如我们在库克县(伊利诺伊州)的犯罪数据的四个案例研究中所证明的那样。
2021-09-21 cs.AI cs.CY cs.LG
Algorithmic Bias, Generalist Models,and Clinical Medicine
本文针对临床机器学习从窄域模型转向通用模型的趋势,分析了通用模型新型算法偏见与传统临床模型偏见的差异及成因,并提出了偏见缓解的实用建议。
2023-05-06 cs.CY
Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation
Tilburg University(蒂尔堡大学);University of Maryland, College Park(马里兰大学帕克分校)
最近在机器翻译(MT)和自然语言处理(NLP)领域的研究表明,现有模型放大了在训练数据中观察到的偏差。语言技术中偏见的放大主要是针对具体现象进行研究的,如性别偏见。在这项工作中,我们超越了性别的研究MT和调查如何偏见放大可能会影响语言在更广泛的意义上。我们假设,“算法偏见”,即频繁观察到的模式的恶化与较不频繁的模式的丢失相结合,不仅加剧了当前数据集中存在的社会偏见,而且还可能导致人为贫困的语言:“机器语言”。我们评估的语言丰富性(在词汇和形态水平)的翻译创建不同的数据驱动的MT范式-基于短语的统计(PB-SMT)和神经MT(NMT)。我们的实验表明,有一个损失的词汇和形态的丰富性,在两个语言对(EN<=>FR和EN<=>ES)的所有研究MT范式产生的翻译。
2021-01-30 cs.AI cs.CL cs.CY
Algorithmic amplification of biases on Google Search
本文通过调查和信息寻求任务研究谷歌搜索,发现用户既有态度、查询用词和搜索历史会导致搜索结果差异,搜索引擎会强化既有信念并可能加剧信息极化。
2024-01-17 cs.CY cs.HC cs.IR
Mitigating Algorithmic Bias on Facial Expression Recognition
Bayor University(贝勒大学)
针对有偏见数据集导致算法偏向多数类的问题,本文提出使用去偏变分自编码器缓解偏见,并在面部表情识别任务上进行实验验证。
2023-12-23 cs.CV cs.CY cs.LG
Algorithmic Bias and the New Chicago School
本文基于Lawrence Lessig的新芝加哥学派框架,探讨了利用间接监管规制AI算法偏见,提出有效监管需结合架构、规范、市场与法律实现直接与间接监管的混合。
2025-01-08 cs.CY
Algorithmic Fairness and Structural Injustice: Insights from Feminist Political Philosophy
数据驱动的预测算法被广泛用于自动化和指导高风险决策,如保释和假释建议,医疗资源分配和抵押贷款分配。然而,也有报告称,出现了不利于弱势群体的有害结果。被称为“算法公平性”的不断发展的研究领域旨在减轻这些有害的偏见。它的主要方法包括提出数学指标,以解决算法有偏见的输出所造成的社会危害。这些衡量标准通常是由政治和法律哲学家制定的分配正义的理想所推动的,或者说是植根于这种理想。相比之下,女性主义政治哲学家关于社会正义的观点在很大程度上被忽视了。一些女性主义哲学家批评了分配正义的范式,并提出了纠正修正案,以克服其局限性。本文将女性主义政治哲学的一些重要观点引入算法公平性。该文件有三个目标。首先,我表明,算法公平性并不适应其目前的范围内的结构性不公正。第二,我捍卫结构性不公正的相关性--正如Iris Marion Young在当代哲学文献中所开创的那样--与算法公平性的相关性。第三,我采取了一些步骤,在发展的范式“负责任的算法公平性”,以纠正错误的算法公平性的当前范围和实施。
2022-06-02 cs.CY cs.HC
Assessing and Addressing Algorithmic Bias - But Before We Get There
在大众媒体中,数据偏见和数据偏见正作为一个紧迫的问题受到关注--这是正确的。然而,除了这些行动呼吁之外,从业者还没有现成的标准流程和工具来评估和解决不公平的算法和数据偏差。文献相对分散,所需的跨学科方法意味着非常不同的社区正在研究这一主题。我们在这里提供了一些在评估和解决算法和数据偏差的实践中遇到的挑战。我们描述了一种早期的方法,试图将文献转化为(生产)团队想要评估预期数据和算法特征以及意外的,不公平的偏见的过程。
2018-09-10 cs.CY
Fuck the Algorithm: Conceptual Issues in Algorithmic Bias
本文围绕“算法本身是否可能存在偏见”的争议展开概念分析,厘清算法的定义与偏见的多重含义,结合多领域实例论证算法可作为偏见载体,为责任判定与反歧视工作提供概念支撑。
2025-05-16 cs.CY cs.LG
Finding the white male: The prevalence and consequences of algorithmic gender and race bias in political Google searches
本文通过算法审计和在线实验揭示谷歌政治搜索对女性和非白人政治家的系统性偏见,证明算法表征会扭曲政治认知并强化白人男性主导的政治观。
2024-05-01 cs.CY
Fair and Unbiased Algorithmic Decision Making: Current State and Future Challenges
JRC(欧盟联合研究中心)
机器学习算法现在经常用于对人类生活产生重大影响的敏感环境中,例如信贷或刑事司法。这是由这样一种想法驱动的,即“客观”机器的决定完全基于事实,不受人类认知偏见、歧视倾向或情绪的影响。然而,有压倒性的证据表明,当算法基于包含有偏见的人类决策的数据时,它们可以继承甚至延续人类决策中的偏见。这导致了对公平意识机器学习的呼吁。然而,公平性是一个复杂的概念,这也反映在试图正式公平算法决策。公平性的统计形式化导致了一长串标准,这些标准在不同的情况下都是有缺陷的(甚至是有害的)。此外,这些标准中固有的权衡使得不可能将它们统一在一个总的框架中。因此,算法中的公平性约束必须特定于算法所应用的域。未来,算法决策系统的研究应该意识到数据和开发者的偏见,并关注透明度,以促进定期的公平审计。
2019-01-15 cs.CY cs.LG stat.ML
Fairness and Bias in Algorithmic Hiring: a Multidisciplinary Survey
Max Planck Institute for Security and Privacy(安全与隐私研究所);Radboud University(拉德博德大学);Eindhoven University of Technology(埃因霍温理工大学);Randstad(Randstad公司);European University Viadrina(弗赖堡大学)
本文通过多学科视角全面调查算法招聘中的公平性与偏见问题,涵盖系统、偏见、度量、缓解策略、数据集及法律层面,为该技术的理解与治理提供平衡建议。
2025-06-27 cs.AI cs.CY
Interventions for Ranking in the Presence of Implicit Bias
Yale University(耶鲁大学);Indian Institute of Technology, Kanpur(坎pur印度理工学院)
内隐偏见是将特定品质(或缺乏)无意识地归因于来自特定社会群体的成员(例如,按性别或种族划分)。对内隐偏见的研究表明,这些无意识的刻板印象在各种社会背景下都会产生不良后果,例如工作筛选,教学或警务。最近,(Kleinberg和Raghavan,2018)考虑了隐式偏差的数学模型,并证明了鲁尼规则作为约束的有效性,以提高子集选择问题某些情况下结果的效用。在这里,我们研究的问题,设计干预措施的泛化子集选择-排名-需要输出一个有序的集合,是一个中央原语在各种社会和计算环境。我们提出了一系列简单且可解释的约束条件,并表明它们可以最佳地减轻隐式偏差,以推广(Kleinberg和Raghavan,2018)中研究的模型。随后,我们证明,在自然分布的假设下,项目的效用,简单的,鲁尼规则一样,约束也可以令人惊讶地恢复几乎所有的效用损失,由于隐含的偏见。最后,我们用来自IIT-JEE(2009)数据集和Semantic Scholar Research语料库的真实世界分布的经验发现来增强我们的理论结果。
2020-01-23 cs.AI cs.CY cs.DS
Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction
本文研究了在住房安置预测任务中,结合街道走访案例笔记的大型语言模型在算法公平性方面的表现,发现通过案例笔记摘要微调模型可提升准确性并减少公平性差异。
2026-04-21 cs.CY cs.LG
Algorithms are not neutral: Bias in collaborative filtering
Queen’s University(女王大学)
关于算法偏见的讨论往往集中在数据或构建算法的人有偏差的例子上。这给人的印象是,干净的数据和良好的意图可以消除偏见。著名的人工智能研究人员为算法本身的中立性辩护。然而,算法不是中立的。除了有偏见的数据和有偏见的算法制定者之外,AI算法本身也会有偏见。这是说明与协同过滤的例子,这是众所周知的受欢迎程度,和偏见。迭代信息过滤算法通常在从用户对算法推荐的文档的响应中学习的过程中产生选择偏差。这些不仅仅是统计意义上的偏见;这些统计偏见可能导致歧视性结果。人类数据分布边缘的数据点往往对应于边缘化人群。大众化和偏见会使已经边缘化的人进一步边缘化。考虑到算法决策的普遍性,这种偏见的来源值得认真关注。
2021-05-03 cs.CY cs.LG
Algorithmic Distortion of Informational Landscapes
Centre Marc Bloch(马克·布洛赫中心);CNRS(法国国家科学研究中心);HU Berlin(柏林洪堡大学)
算法推荐对互联网用户的自主性和自由选择的可能影响越来越多地被讨论,特别是在信息的呈现和交互的结构化方面。本文旨在沿着双重二分法审查和框定这一问题。第一个问题解决了用户的意图和行为之间的差异(1)在一些算法的影响下,(2)没有它。第二个问题区分算法的偏见(1)先验信息的安排和(2)后验信息的安排。在所有情况下,我们关注并区分算法经验性地扩大用户认知和社交视野的情况,以及它们似乎限制该视野的情况。我们还建议,如果不考虑算法所依赖的潜在社会过程,这些偏见可能无法得到适当的评估。
2019-07-19 cs.CY cs.IR cs.LG
How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language
Department of Computer Science University of Toronto Toronto Ontario Canada(计算机科学系多伦多大学多伦多安大略加拿大);Faculty of Information University of Toronto Toronto Ontario Canada(信息学院多伦多大学多伦多安大略加拿大);Department of Information Science University of Colorado Boulder Boulder Colorado United States(信息科学系科罗拉多大学波德 Boulder科罗拉多美国);University of Toronto(多伦多大学);University of Colorado Boulder(科罗拉多大学波德)
本文研究了孟加拉语中基于性别、宗教和国籍身份的偏见问题,通过分析mBERT和BanglaBERT模型发现,尽管语义内容相似,但模型仍存在偏见,揭示了算法审计中方法论和数据来源的重要性。
2026-05-07 cs.CL cs.CY cs.HC
Towards Algorithmic Fairness in Space-Time: Filling in Black Holes
AT&T Chief Data Office(AT&T首席数据办公室);Trustworthy ML Initiative(可信机器学习倡议)
新技术和地理空间数据的可用性引起了人们对社会中存在的时空偏差的关注。举例来说:COVID-19疫情凸显了宽带服务可用性的差异及其在数字鸿沟中的作用;美国的环境正义运动提高了人们对历史性红线做法对少数群体健康影响的认识;研究发现,收集和共享开源地理空间数据的质量和覆盖范围各不相同。尽管有大量关于机器学习(ML)公平性的文献,但很少有算法策略被提出来减轻这种偏见。在本文中,我们通过科学文献和媒体中呈现的用例镜头,强调了量化和解决时空偏差的独特挑战。我们设想了一个需要开发或调整的ML策略路线图,以量化和克服这些挑战-包括迁移学习,主动学习和强化学习技术。此外,我们还讨论了ML在为决策者提供空间公平性相关问题的指导方面的潜在作用。
2022-11-08 cs.CY cs.LG stat.AP
Like trainer, like bot? Inheritance of bias in algorithmic content moderation
University of Oxford(牛津大学);University College London(伦敦大学学院)
互联网已成为“网络公众”表达意见和进行辩论的中心媒介。冒犯性的评论和人身攻击可能会抑制这些空间的参与。自动内容审核旨在使用机器学习分类器来克服这个问题,这些分类器是在手动注释的大型文本语料库上训练的。虽然这样的系统可以帮助鼓励更多的民间辩论,但它们必须在内在规范上保持稳定的边界,并受制于提供训练数据的人类评分员的特殊规范。平台实施这些措施的一个重要目标可能是确保它们不会不适当地偏向或反对特定的犯罪规范。本文提供了一些探索性的方法,通过这些方法可以测量算法内容审核系统的规范性偏差,通过使用现有的标记为犯罪的评论数据集的案例研究。我们训练分类器标记的不同的人口子集(男性和女性)的意见,以了解这些群体之间的犯罪概念的差异可能会影响不同的测试集上的结果模型的性能。最后,我们讨论了一些道德的选择面临的算法适度系统的实施者,考虑到各种所需的水平之间的讨论参与者的观点的多样性。
2017-07-05 cs.CL cs.CY cs.LG
Political Biases on X before the 2025 German Federal Election
本研究使用算法审计工具分析436名德国政客的X帖子,发现X默认信息流过度呈现极右翼AfD内容,指出参与度指标和政党归属相关因素导致了政治不代表性。
2025-02-18 cs.CY cs.SI
Outlier Detection Bias Busted: Understanding Sources of Algorithmic Bias through Data-centric Factors
Carnegie Mellon University(卡内基梅隆大学)
本研究通过审计不同以数据为中心的因素,揭示了无监督异常检测中不公平性的来源,发现数据属性与算法设计选择的相互作用会导致不公平,证明OD算法偏差不仅是数据偏差问题。
2024-08-24 cs.CY cs.LG
A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
由于减少ML预测中的不公平性越来越重要,Fair-ML研究人员提出了一套广泛的算法“公平性增强”补救措施。然而,大多数现有的算法是不可知的观察到的不公平的来源。因此,文献目前缺乏指导框架来指定每种算法干预可能减轻不公平的根本原因的条件。为了缩小这一差距,我们仔细研究了潜在的偏见(例如,在训练数据或设计选择中)引起观测不公平。我们提出的概念思想和第一个实现的偏见注入沙箱工具,调查各种偏见的公平后果,并评估算法补救措施的有效性,在特定类型的偏见的存在。我们称这个过程为算法干预的偏差(压力)测试。与现有的工具包不同,我们提供了一个受控的环境,可以在ML管道中反事实地注入偏见。这种程式化的设置提供了超越观察数据和无偏见基准测试公平干预的独特能力。特别是,我们可以测试一个给定的补救措施是否可以减轻注入的偏见,通过比较的预测结果后,在有偏见的设置与真正的标签在无偏见的制度,也就是说,在任何偏见注入。我们通过对合成数据的概念验证案例研究来说明我们的工具包的实用性。我们的实证分析展示了通过我们的模拟可以获得的见解类型。
2022-12-13 cs.CY cs.LG
Laissez-Faire Harms: Algorithmic Biases in Generative Language Models
Young Data Scientists League(年轻数据科学家联盟);Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);Schar School of Policy and Government & Department of Computer Science(政策与政府学院及计算机科学系);George Mason University(乔治·马歇尔大学)
研究通过开放性提示分析生成语言模型的偏见,发现五种主流模型对少数族裔、性别和性取向群体存在排除、从属和刻板印象的伤害,强调需保护消费者免受语言模型歧视性影响。
2024-04-16 cs.AI cs.CL cs.CY
YouTube Recommendations Reinforce Negative Emotions: Auditing Algorithmic Bias with Emotionally-Agentic Sock Puppets
本研究通过袜子木偶审计方法,发现YouTube推荐算法会放大愤怒等负面情绪,且随时间加剧,形成情感过滤气泡,呼吁平衡个性化与内容多样性。
2025-01-25 cs.CY cs.SI
Bias in Generative AI
UBC Sauder School of Business(不列颠哥伦比亚大学尚德商学院);UCI Paul Merage School of Business(加州大学尔湾分校保罗梅拉吉商学院);CMU Tepper School of Business(卡内基梅隆大学泰珀商学院)
本文通过分析Midjourney、Stable Diffusion和DALLE 2生成的职业图像,发现其存在一致的性别、种族及表情外貌偏见,凸显治理生成式AI偏见的紧迫性。
2024-03-05 cs.AI cs.CY econ.GN
Using Pareto Simulated Annealing to Address Algorithmic Bias in Machine Learning
University College Dublin(都柏林大学)
算法偏见可能是由于训练数据的偏差或算法本身的问题。这些算法问题通常与模型容量和正则化问题有关。这种低估偏差可能会出现,因为模型已经优化了良好的泛化精度,而没有明确考虑偏差或公平性。从某种意义上说,我们不应该感到惊讶,一个模型可能是有偏见的,当它没有被“要求”不要。在本文中,我们考虑将偏差(低估)作为模型训练中的一个额外标准。我们提出了一个多目标优化策略,使用帕累托模拟退火,优化平衡的准确性和低估。我们在一个合成数据集和两个真实世界数据集上证明了该策略的有效性。
2021-05-31 cs.CY cs.LG
Defining bias in AI-systems: Biased models are fair models
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学)
本文挑战无偏模型即公平模型的假设,主张精确定义偏见,区分偏见与歧视,以促进AI公平性讨论。
2025-02-25 cs.AI cs.CL cs.CY
Unmasking Nationality Bias: A Study of Human Perception of Nationalities in AI-Generated Articles
Pennsylvania State University(宾夕法尼亚州立大学)
本文通过定量分析与定性访谈相结合的混合方法,研究AI生成文章中的国籍偏见,发现NLP模型会复制并放大社会偏见,并可能改变读者对国家的认知,强调纠正AI系统偏见的重要性。
2023-08-08 cs.CL cs.CY
How optimal transport can tackle gender biases in multi-class neural-network classifiers for job recommendations?
Institut de Mathématiques de Toulouse(图卢兹数学研究所);CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);AKKODIS group(AKKODIS集团)
基于深度神经网络的自动推荐系统在过去十年中变得非常流行。然而,这些系统中的一些可用于被欧盟委员会在A.I.中列为高风险的应用。例如,在线求职推荐。当在欧盟使用时,用于此目的的商业人工智能系统将被要求具有适当的统计特性,以防止可能产生的歧视。这激发了我们的贡献,我们提出了一种新的最优传输策略,以减轻不可取的算法偏差多类神经网络分类。我们的策略是模型不可知的,可以用于任何多类分类神经网络模型。为了预测使用文本数据的推荐系统的认证,我们将其用于Bios数据集,其学习任务包括基于LinkedIn传记预测女性和男性个体的职业。结果表明,它可以减少不必要的算法偏差在这种情况下,以低于标准的策略。
2023-02-27 cs.AI cs.CY cs.LG
Análisis jurídico de la discriminación algorítmica en los procesos de selección laboral
在处理工作申请时使用机器学习系统使这一过程变得敏捷和高效,但同时也在平等、可靠性和透明度方面产生了问题。在本文中,我们解释了ML在美国工作选择过程中的一些用途,并提出了一些已经发现的种族和性别偏见。实际上和法律上都存在阻碍发现和分析这些偏见的障碍。从法律角度如何处理算法歧视也不清楚。一个可能的分析工具是由美国的不同影响的理论,但我们显示了一些局限性和问题时,适应其他法律制度,如哥伦比亚法律。最后,我们提供了一些算法歧视的法律分析应该提供的必要条件。
2020-08-02 cs.CY
Detecting Emergent Intersectional Biases: Contextualized Word Embeddings Contain a Distribution of Human-like Biases
George Washington University(乔治华盛顿大学)
以语言的统计特征反映了人类的隐性偏见为出发点,可以测量英语静态词嵌入中的偏见。最先进的神经语言模型根据单词出现的上下文生成动态词嵌入。当前的方法测量出现在句子模板定义的特定上下文中的预定义的社会和交叉偏见。免除模板,我们介绍了语境化嵌入关联测试(CEAT),它可以总结神经语言模型的整体偏差的大小,通过纳入随机效应模型。社会和交叉偏见的实验表明,CEAT发现所有测试的偏见的证据,并提供了全面的信息,在不同的情况下,相同的偏见的影响幅度的方差。我们研究的所有英语语料库训练的模型都包含有偏见的表征。此外,我们开发了两种方法,交叉偏见检测(IBD)和新兴交叉偏见检测(EIBD),自动识别交叉偏见和新兴交叉偏见从静态词嵌入除了测量它们在上下文词嵌入。我们提出了第一个算法偏见检测结果,交叉组成员如何强烈相关的独特的紧急偏见,不重叠的偏见,他们的组成少数民族的身份。IBD和EIBD在检测非裔美国女性和墨西哥裔美国女性的交叉和突发偏见时具有很高的准确性。我们的研究结果表明,在种族和性别的交叉点与多个少数群体的成员,如非洲裔美国女性和墨西哥裔美国女性的偏见,在所有的神经语言模型的幅度最高。
2021-05-19 cs.AI cs.CL cs.CY
The Impact of Presentation Style on Human-In-The-Loop Detection of Algorithmic Bias
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院)
虽然决策者已经开始使用机器学习,但机器学习模型可能会做出不利于某些人口统计群体的预测。半自动偏差检测工具通常使用推荐列表或视觉提示来呈现自动检测到的偏差的报告。然而,缺乏关于在什么情况下使用哪种呈现样式的指导。我们进行了一项小型实验室研究,有16名参与者,以调查如何演示风格可能会影响用户在审查偏见报告的行为。参与者使用了一个带有推荐列表的原型和一个带有视觉线索的原型来进行偏见检测。我们发现,参与者经常想调查那些没有被自动检测为偏见的绩效指标。然而,当使用带有建议列表的原型时,他们往往较少考虑这些措施。基于研究结果,我们提出了信息负载和全面性作为表征偏见检测任务的两个轴,并说明了如何通过这两个轴来推理何时使用推荐列表或视觉提示。
2020-05-09 cs.CY cs.HC cs.LG
Debiasing surgeon: fantastic weights and how to find them
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎理工学院)
本文证明普通训练的深度模型内含可提取的无偏子网络,无需额外训练即可用于去偏,并发现特定架构无法学习特定偏见,为偏见问题提供了架构性对策。
2024-07-19 cs.AI cs.CV cs.CY
Towards causal benchmarking of bias in face analysis algorithms
Massachusetts Institute of Technology(麻省理工学院);California Institute of Technology(加州理工学院);Amazon Web Services(亚马逊云科技)
度量算法偏见对于评估算法公平性和指导算法改进都是至关重要的。目前在计算机视觉中测量算法偏见的方法是基于观测数据集的,不足以完成这项任务,因为它们将算法偏见与数据集偏差混为一谈。为了解决这个问题,我们开发了一种用于测量人脸分析算法的算法偏见的实验方法,该方法直接操纵感兴趣的属性,例如,性别和肤色,以揭示属性变化和性能变化之间的因果关系。我们所提出的方法是基于生成合成的“横断面”的匹配样本图像,设计沿特定属性不同,而其他属性不变。我们的方法的一个关键方面是依赖于人类观察者的感知,既要指导操作,又要测量算法偏见。除了允许测量算法偏见之外,合成样带相对于观测数据集还有其他优势:它们更均匀地对属性进行采样,允许对少数群体和交叉群体进行更直接的偏差分析,它们能够预测新场景中的偏差,它们大大减少了伦理和法律挑战,并且它们经济快速,有助于使偏差测试负担得起并广泛使用。我们通过将其与采用传统观察方法分析性别分类算法中的偏见的研究进行比较来验证我们的方法。这两种方法得出不同的结论。虽然观察方法报告了性别和肤色偏见,但实验方法揭示了由于性别,头发长度,年龄和面部毛发造成的偏见。
2020-07-13 cs.CV cs.CY cs.LG
The Power of Absence: Thinking with Archival Theory in Algorithmic Design
本文借鉴跨学科档案理论,将“缺席”重新概念化为权力、在场与生产性,为理解和介入算法偏见的技术及社会历史政治根源提供新框架。
2024-05-08 cs.CY cs.HC
Algorithmic Inheritance: Surname Bias in AI Decisions Reinforces Intergenerational Inequality
Massachusetts Institute of Technology(麻省理工学院);Nanyang Technological University(南洋理工大学);University of Bonn(波恩大学)
本研究首次实证揭示AI决策中姓氏偏见会强化代际不平等,基于美泰两国72,000次评估发现精英姓氏提升AI对权力、智力和财富的感知,其中感知智力是关键中介机制,并呼吁构建公平算法与政策干预。
2025-02-05 cs.AI cs.CY cs.LG
Underrepresentation, Label Bias, and Proxies: Towards Data Bias Profiles for the EU AI Act and Beyond
University of Padova(帕多瓦大学);IBM Research Europe(IBM欧洲研究院);University of Trieste(特伦蒂诺大学);MPI-SP(马克斯·普朗克研究所)
本文研究了代表性不足、标签偏差和代理变量三种数据偏差对算法歧视的影响,提出了数据偏差画像(DBP)来系统检测和记录偏差信号,为预测歧视风险和公平性干预提供了数据驱动的计算框架。
2025-07-09 cs.CY cs.LG stat.ML
Generative AI in Writing Research Papers: A New Type of Algorithmic Bias and Uncertainty in Scholarly Work
该研究指出大语言模型驱动的生成式AI用于论文写作时,因训练数据特性、幻觉、提示差异等会引发新型上下文诱导算法偏差,带来不确定性与不可复现性,对学术发展存在诸多负面影响。
2023-12-04 cs.CY cs.HC
Secondary Bounded Rationality: A Theory of How Algorithms Reproduce Structural Inequality in AI Hiring
本文提出二级有限理性的理论,探讨算法如何通过技术和社会政治约束放大人类偏见,揭示AI招聘系统如何将历史不平等转化为看似 meritocratic 的结果,并提出缓解策略。
2026-04-23 cs.CY
Aesthetics as Structural Harm: Algorithmic Lookism Across Text-to-Image Generation and Classification
Université Libre de Bruxelles(布鲁塞尔自由大学);Weizenbaum Institute(魏泽曼研究所);ELLIS Alicante(阿利坎特ELLIS)
本文揭示了生成式AI在文本到图像生成和性别分类中系统性地将面部吸引力与积极属性关联,导致性别偏见和审美歧视。
2026-02-02 cs.AI cs.CV cs.CY
Beyond Algorithmic Bias: A Socio-Computational Interrogation of the Google Search by Image Algorithm
我们执行的谷歌搜索图像算法,谷歌搜索引擎的主要组成部分的社会计算的审讯。我们对算法进行了审计,向其展示了4万多张所有年龄段和4个以上种族的面孔,并使用适当的统计工具收集和分析分配的标签。我们发现,该算法再现了白人男性的父权结构,往往简化,刻板印象和歧视女性和非白人个体,同时提供更多样化和积极的描述白人男性。通过借鉴布迪厄的文化再生产理论,我们将这些结果与算法设计者、所有者和算法训练数据集的态度联系起来。我们通过使用学习的民族志实践进一步巩固了算法的问题本质:我们展示了算法如何将个人置于他们塑造的社会文化现实中的科技行业的顶端,很多时候会产生对它们的偏见。我们认为,使用社会理论框架,如上述能够有助于改善算法的问责制,算法的影响评估,并提供额外的和更重要的深度算法偏见和审计研究。在分析的基础上,我们讨论了科学和设计的影响,并提供建议的替代方法来设计社会算法系统。
2021-06-12 cs.CY
Understanding Unfairness in Fraud Detection through Model and Data Bias Interactions
Feedzai(Feedzai公司);Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究所)
近年来,机器学习算法在众多高风险决策应用中变得无处不在。机器学习算法从数据中学习模式的无与伦比的能力也使它们能够将偏见嵌入其中。一个有偏见的模型可以做出不成比例地伤害社会中某些群体的决定-例如,限制他们获得金融服务。对这一问题的认识已经引起了公平ML领域的兴起,该领域专注于研究、测量和减轻算法预测中关于一组受保护组(例如,种族或性别)。然而,算法不公平的根本原因仍然难以捉摸,研究人员在归咎于ML算法或它们训练的数据之间存在分歧。在这项工作中,我们认为算法不公平源于模型之间的相互作用和数据中的偏见,而不是来自其中任何一个的孤立贡献。为此,我们提出了一种分类来表征数据偏差,并研究了一组关于公平盲ML算法在不同数据偏差设置下表现出的公平-准确性权衡的假设。在我们真实的开户欺诈用例中,我们发现每个设置都需要特定的权衡,影响期望值和方差的公平性-后者通常被忽视。此外,我们还展示了算法在准确性和公平性方面的不同比较,这取决于影响数据的偏见。最后,我们注意到,在特定的数据偏差条件下,简单的预处理干预可以成功地平衡组的出错率,而同样的技术在更复杂的设置失败。
2022-07-13 cs.CY cs.LG q-fin.ST
Insidious by Design: Implications of Large Language Model algorithmic bias for the Global South
通过向四个主流LLM提交相同提示,发现其输出在叙事结构和情感模板中微妙地再现种族、性别等级和西方中心认识论,对全球南方构成阴险偏见。
2026-05-26 cs.AI cs.CY
D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias
Stony Brook University(石溪大学)
随着人工智能的兴起,算法已经变得更善于从训练数据中学习潜在模式,包括基于性别、种族等根深蒂固的社会偏见。将此类算法部署到招聘、医疗保健、执法等领域,引发了人们对机器学习算法中公平性、问责制、信任度和可解释性的严重担忧。为了缓解这个问题,我们提出了D-BIAS,这是一个可视化的交互工具,它体现了人工智能的方法,用于审计和减轻表格数据集中的社会偏见。它使用图形因果模型来表示数据集中不同特征之间的因果关系,并作为注入领域知识的媒介。用户可以通过识别因果网络中的不公平因果关系并使用一系列公平度量来检测对一个群体(比如女性)或一个子群体(比如黑人女性)的偏见的存在。此后,用户可以通过作用于不公平的因果边来减轻偏差。对于每个交互,比如削弱/删除有偏因果边,系统使用一种新方法来模拟基于当前因果模型的新(去偏)数据集。用户可以直观地评估他们的交互对不同公平性指标、效用指标、数据失真和底层数据分布的影响。一旦满意,他们可以下载去偏数据集,并将其用于任何下游应用程序,以实现更公平的预测。我们通过在3个数据集上进行实验以及正式的用户研究来评估D-BIAS。我们发现,D-BIAS有助于减少偏见显着相比,在不同的公平性指标的基线去偏置方法,同时引起很少的数据失真和效用的小损失。此外,我们基于人在回路的方法在信任、可解释性和问责制方面明显优于自动化方法。
2022-08-10 cs.CY cs.HC cs.LG