Are Emily and Greg Still More Employable than Lakisha and Jamal? Investigating Algorithmic Hiring Bias in the Era of ChatGPT
New York University(纽约大学);University of New South Wales Sydney(悉尼新南威尔士大学);University of Calgary(卡尔加里大学)
本研究复现经典招聘偏见实验,评估GPT-3.5、Bard等前沿大语言模型在简历匹配、简历摘要任务中的多维度偏见,发现其种族和性别维度表现稳健,怀孕状态、政治派别维度存在差异,并通过对比输入解码揭示偏见来源。
2023-10-08 cs.AI cs.CL cs.LG
BiasLab: A Multilingual Dual-Framing Framework for LLM Bias Measurement, Applied to Workplace and HR Contexts
Tsinghua University(清华大学);Federal University of Rio de Janeiro(里约热内卢联邦大学)
研究针对大语言模型在工作场所和人力资源领域的偏差问题,提出BiasLab多语言双框架框架,结合多种方法对十个模型在六个主题上评估,发现模型有一致方向性偏好,为模型偏差测量提供标准化工具助组织审查。
2026-07-14 cs.AI cs.CL
Gender and Positional Biases in LLM-Based Hiring Decisions: Evidence from Comparative CV/Résumé Evaluations
本研究通过22个LLM的简历比较实验,发现模型普遍偏好女性候选人,并存在显著的位置偏差,提示在高风险决策中需谨慎使用LLM。
2025-05-27 cs.AI cs.CL cs.CY
The Audit Decides the Verdict: Instrument Effects Rival Demographic Bias in LLM Decision Audits
Carnegie Mellon University(卡内基梅隆大学);Amazon Web Services AI Native(亚马逊网络服务AI原生部门);Indian Institute of Technology(印度理工学院)
本研究通过大规模实验发现,LLM决策审计结果主要受审计工具设计影响,而非人口统计偏见,且此结论在招聘、贷款和医疗分诊中均成立。
2026-09-09 cs.AI cs.CL cs.CY
FAIRE: Assessing Racial and Gender Bias in AI-Driven Resume Evaluations
Algoverse AI Research(Algoverse人工智能研究院)
本文提出基准FAIRE,通过直接评分和排名方法测试大型语言模型在评估简历时的种族与性别偏见,发现各模型均存在不同程度和方向的偏见,强调了减少AI招聘偏见的迫切需求。
2025-04-02 cs.AI cs.CL
Robustly Improving LLM Fairness in Realistic Settings via Interpretability
Anthropic
针对真实招聘场景下现有反偏见提示失效的问题,提出通过识别模型激活中敏感属性方向并进行仿射概念编辑的内部偏见缓解方法,可稳健降低LLM招聘偏见且基本不影响性能。
2025-06-12 cs.AI cs.CL cs.LG
"You Gotta be a Doctor, Lin": An Investigation of Name-Based Bias of Large Language Models in Employment Recommendations
University of Maryland(马里兰大学);University of Southern California(南加州大学);Microsoft Research(微软研究院)
本研究针对大语言模型的就业推荐偏见问题,用两款主流LLM基于320个带种族性别信号的姓名、超75万条提示模拟招聘,发现模型存在白人女性姓名偏好且薪资推荐差异最高达5%,与美国劳动力市场特征不符,凸显LLM就业应用的风险调查必要性。
2024-10-05 cs.AI cs.CL
What You See Is What You Get? The Impact of Representation Criteria on Human Bias in Hiring
Microsoft Research(微软研究院)
虽然决策中的系统性偏见被广泛记录,但人们对它们如何从不同来源出现的了解较少。我们提出了一个受控的实验平台,通过将世界分布(特定职业中候选人的性别细分)的影响与人类决策中的偏见脱钩,来研究招聘中的性别偏见。我们探讨了\textit{representation criteria}的有效性,固定比例显示的候选人,作为一种干预策略,通过进行实验测量人类决策者的排名,他们会推荐谁作为潜在的雇员,以减轻性别偏见。在不同性别比例的职业中进行的实验表明,平衡候选人名单中的性别代表性可以纠正某些职业的偏见,这些职业的世界分布是倾斜的,尽管这样做对人类持续偏好起作用的其他职业没有影响。我们发现,决策者的性别,决策任务的复杂性和候选人名单中性别的代表性过高和过低都会影响最终的决定。通过解耦偏差源,我们可以更好地隔离人在环系统中的偏差缓解策略。
2019-09-08 cs.AI cs.CY cs.HC
LLM Nepotism in Organizational Governance
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院)
本文研究了大语言模型在组织治理中因对AI信任态度产生的偏袒现象,提出Merit-Attitude Factorization方法以缓解该偏见。
2026-03-18 cs.AI cs.CL cs.CY
Do LLMs Share Human-Like Biases? Causal Reasoning Under Prior Knowledge, Irrelevant Context, and Varying Compute Budgets
本文通过对比20余种LLM与人类基准,在11个由碰撞结构形式化的因果判断任务中发现,小型可解释模型能有效压缩LLM的因果判断,多数LLM表现出比人类更规则化的推理策略,但未表现出人类典型的碰撞偏见。
2026-03-12 cs.AI
Race, Gender and Beauty: The Effect of Information Provision on Online Hiring Biases
我们在一个模拟平台上进行了一项关于招聘偏见的研究,我们要求亚马逊MTurk参与者为一项数学密集型任务做出招聘决定。我们的研究结果表明,对黑人工人和不太有吸引力的工人的雇用偏见和对亚洲工人,女性工人和更有吸引力的工人的偏好。我们还表明,某些UI设计,包括提供候选人的个人信息,减少选择的数量,可以显着减少歧视。然而,在分组一级提供候选人信息可能会增加歧视。研究结果对设计更好的在线自由职业者市场具有实际意义。
2020-01-16 cs.CY cs.SI
Fairness and Bias in Algorithmic Hiring: a Multidisciplinary Survey
Max Planck Institute for Security and Privacy(安全与隐私研究所);Radboud University(拉德博德大学);Eindhoven University of Technology(埃因霍温理工大学);Randstad(Randstad公司);European University Viadrina(弗赖堡大学)
本文通过多学科视角全面调查算法招聘中的公平性与偏见问题,涵盖系统、偏见、度量、缓解策略、数据集及法律层面,为该技术的理解与治理提供平衡建议。
2025-06-27 cs.AI cs.CY
Mitigating Bias in Algorithmic Hiring: Evaluating Claims and Practices
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
人们对在招聘中使用算法的兴趣迅速增长,特别是作为解决或减轻偏见的一种手段。然而,到目前为止,人们对这些方法在实践中如何使用知之甚少。算法评估是如何建立、验证和检查偏差的?在这项工作中,我们记录和分析的索赔和实践的公司提供算法的就业评估。特别是,我们确定了算法就业前评估的供应商(即,筛选候选人的算法),记录他们披露的关于他们的开发和验证程序的信息,并评估他们的实践,特别关注检测和减轻偏见的努力。我们的分析考虑了技术和法律两个方面。从技术上讲,我们考虑供应商在数据汇集和预测目标方面做出的各种选择,并探讨这些选择带来的风险和权衡。我们还讨论了如何算法去偏置技术接口,并创造挑战,反歧视法。
2019-12-06 cs.AI cs.CY cs.LG
What we learned while automating bias detection in AI hiring systems for compliance with NYC Local Law 144
本文总结了在自动化纽约市地方法律第144条AI招聘偏见审计中获得的经验,提出了关键挑战与最佳实践,以支持其他地区制定类似法规。
2024-12-13 cs.AI cs.CY
ECHO: A Participatory Framework for Bias-Anchored AI Harm Anticipation
Aristotle University(亚里士多德大学)
本文提出ECHO框架,通过系统映射人工智能偏见类型到危害结果,实现主动危害预见,用于高风险领域中的偏见驱动危害检测与治理。
2026-10-02 cs.AI cs.CY
How Supply Chain Dependencies Complicate Bias Measurement and Accountability Attribution in AI Hiring Applications
Mila Quebec AI Institute(魁北克人工智能研究所)
本文探讨了AI招聘系统中供应链依赖如何使偏见评估和问责制归因复杂化,指出组件交互导致偏见产生,且碎片化责任导致法律与技术层面的不透明。
2026-04-24 cs.AI cs.CY
Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias
Boston University(波士顿大学)
本研究通过引入因果框架,揭示语言模型对用户专业知识的内部表征存在职业偏见,该偏见会受人口统计学属性影响,且仅靠行为指标无法完全检测到相关失效模式。
2026-08-24 cs.AI cs.CL cs.CY
What does it mean to solve the problem of discrimination in hiring? Social, technical and legal perspectives from the UK on automated hiring systems
Cardiff University(卡迪夫大学);University of Newcastle(纽卡斯尔大学)
获得和保持工作的能力是参与社会和维持生计的一个关键方面。然而,随着由数据驱动工具驱动的自动招聘系统(AHS)的出现和增长,关于谁有资格获得工作以及为什么有资格获得工作的决策方式正在迅速改变。对这类AHS的主要关切包括缺乏透明度和对特定职位的就业机会的潜在限制。然而,就后者而言,其中一些AHS声称能够发现和减轻针对受保护群体的歧视性做法,并促进工作中的多样性和包容性。然而,虽然这些工具在世界各地的用户群不断增长,但这种偏见缓解的主张很少受到审查和评估,并且在这样做时,几乎完全是从美国的社会法律角度出发。在本文中,我们通过批判性地研究在英国经常使用的三个突出的自动化招聘系统(AHS),HireVue,Pymetrics和Applied,了解并试图减轻偏见和歧视,来介绍美国以外的观点。我们使用公开文件描述了他们的工具是如何设计、验证和审计偏见的,强调了假设和限制,然后将其置于英国的社会法律背景中。英国与美国的法律背景非常不同,不仅在雇佣和平等法方面,而且在数据保护(DP)法方面。我们认为,这可能是重要的,以解决有关透明度的问题,并可能意味着一个挑战,建立偏见缓解到AHS最终能够满足欧盟的法律标准。这一点很重要,因为这些AHS,特别是美国制定的AHS,可能会掩盖而不是改善工作场所的系统性歧视。
2020-01-17 cs.AI cs.CY
Surgeons Are Indian Males and Speech Therapists Are White Females: Auditing Biases in Vision-Language Models for Healthcare Professionals
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校);Aligarh Muslim University(阿尔瓦格穆斯林大学)
本研究提出评估协议,量化CLIP等视觉语言模型在医疗职业中的人口统计偏见,发现跨角色和模型存在一致偏差,强调AI招聘中的公平风险。
2025-10-06 cs.AI cs.CV cs.CY
Monocultural Biases: Correlated biases in large language models lead to unequal systemic exclusion rates in hiring
University of Oxford(牛津大学);Burning Glass Institute(燃烧玻璃研究所);University College London(伦敦大学学院)
本研究揭示大型语言模型后训练阶段加剧招聘中的年龄歧视,导致模型决策高度相关,使全球系统性排斥率从5.6%升至17.3%,引发对边缘群体不平等的担忧。
2026-09-22 cs.CL cs.CY econ.GN
Evaluating the Promise and Pitfalls of LLMs in Hiring Decisions
该研究对比了多款通用大语言模型与专有招聘模型Match Score在候选人匹配中的表现,发现后者在准确性和公平性上均更优,证明招聘领域定制模型可兼顾准确率与公平性,警示勿直接使用现成LLMs开展高风险招聘任务。
2025-07-28 cs.CL cs.CY cs.LG
Small Changes, Big Impact: Demographic Bias in LLM-Based Hiring Through Subtle Sociocultural Markers in Anonymised Resumes
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学);GovTech Singapore(新加坡政府科技局);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Agency for Science, Technology and Research (A*STAR)(科学技术研究局);University of British Columbia (UBC)(不列颠哥伦比亚大学)
研究通过匿名简历中的社会文化标记揭示LLM在招聘中的人口统计偏差,发现模型能通过非显性特征推断种族和性别,且提示解释会加剧偏见。
2026-08-28 cs.CY
Contextual StereoSet: Stress-Testing Bias Alignment Robustness in Large Language Models
Indian Institute of Information Technology, Allahabad (IIITA)(印度信息与技术研究所(Allahabad));National Institute of Electronics and Information Technology (NIELIT)(国家电子与信息技术研究所)
上下文立体集通过压力测试大型语言模型在不同上下文中的偏见对齐鲁棒性,揭示固定条件测试的偏见分数可能无法推广。
2026-01-15 cs.AI cs.CL cs.CY
NBIAS: A Natural Language Processing Framework for Bias Identification in Text
Vector Institute for Artificial Intelligence(向量人工智能研究所);Mayo Clinic(梅奥诊所);Environmental Resources Management(环境资源管理公司);Toronto Metropolitan University(多伦多都会大学)
NBIAS是一个四层架构的自然语言处理框架,利用基于Transformer的标记分类模型识别文本中的偏见词汇,在多个领域数据集上较基线准确率提升1%至8%,促进数据公平使用。
2023-08-29 cs.AI cs.CL
Large Language Models Badly Generalize across Option Length, Problem Types, and Irrelevant Noun Replacements
Qiyuan Tech(奇源科技);Zhinao(360智脑);Peking University(北京大学)
本文通过泛化压力测试发现大语言模型在选项长度、问题类型和无关名词替换等微小扰动下准确率大幅下降,表明其依赖表面线索而非鲁棒抽象表示。
2025-09-21 cs.AI cs.CL cs.LG
Biases in the Blind Spot: Detecting What LLMs Fail to Mention
Poseidon Research(Poseidon研究);University College London, United Kingdom(伦敦大学学院, 英国);Imperial College London, United Kingdom(伦敦帝国学院, 英国)
提出全自动黑盒流水线,通过统计测试和思维链分析,自动检测大语言模型在任务中未明确表述的偏见。
2026-05-29 cs.AI cs.LG
Gender Bias in LLM Hiring Decisions: Evidence from a Japanese Context and Evaluation of Mitigation Strategies
Shibaura Institute of Technology, Tokyo, Japan(Shibaura技术学院,东京,日本);Amsterdam University of Applied Sciences, Amsterdam, Netherlands(阿姆斯特丹应用科学大学,阿姆斯特丹,荷兰);University of Pennsylvania, Philadelphia, USA(宾夕法尼亚大学,费城,美国);Carnegie Mellon University, Pittsburgh, USA(卡内基梅隆大学,匹兹堡,美国);Keio University, Tokyo, Japan(庆应大学,东京,日本)
本研究通过60份日本履历书格式的简历和5个先进LLM,发现所有模型均存在显著的亲女性偏见,且简单的提示指令无法缓解,而移除姓名几乎完全消除该偏见。
2026-06-19 cs.CL cs.CY cs.MA
On the Effectiveness and Generalization of Race Representations for Debiasing High-Stakes Decisions
Department of Computer Science University of Chicago(计算机科学系芝加哥大学)
针对大语言模型在高风险决策中的种族偏差问题,本研究构建了录取与招聘测试平台,发现提示工程难以去偏,而通过干预模型激活中的种族子空间可有效降低偏差,但种族子空间泛化性有限,为LLM公平性研究提供了机制性方向。
2025-10-03 cs.AI cs.CL cs.CY
Don't let Ricci v. DeStefano Hold You Back: A Bias-Aware Legal Solution to the Hiring Paradox
针对企业解决就业不平等时面临的招聘悖论,本研究结合Ricci v. DeStefano案法律细节与分级法律实践,提出基于偏序集的偏见感知技术,既符合Title VII要求,又能缓解就业流程固有偏见。
2022-01-31 cs.CY
HALF: Harm-Aware LLM Fairness Evaluation Aligned with Deployment
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出HALF框架,通过伤害严重程度分层评估大语言模型在真实应用中的公平性,发现模型公平性跨域不一致且规模性能不保证公平,揭示基准与部署间的差距。
2025-10-16 cs.AI cs.CL
Self-Blinding and Counterfactual Self-Simulation Mitigate Biases and Sycophancy in Large Language Models
University of Oxford(牛津大学)
通过自我屏蔽和反事实自我模拟,大语言模型能够减少偏见和趋炎附势,提高决策公平性和透明度。
2026-01-21 cs.AI cs.CL cs.CY
SC-ML: Self-supervised Counterfactual Metric Learning for Debiased Visual Question Answering
Nanjing University of Information Science and Technology(南京信息工程大学);Inria(法国国家信息与自动化研究所);Universite Paris-Saclay(巴黎萨克雷大学);Southeast University(东南大学)
针对VQA中的语言偏置问题,提出自监督反事实度量学习方法SC-ML,通过自适应选择问题相关视觉特征并融入反事实训练方案,在VQA-CP数据集上有效提升了模型去偏性能与鲁棒性。
2023-04-04 cs.AI cs.CV
AI Self-preferencing in Algorithmic Hiring: Empirical Evidence and Insights
Robert H. Smith School of Business, University of Maryland(马里兰大学罗伯特H史密斯商学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Max M. Fisher College of Business, The Ohio State University(俄亥俄州立大学马克M费舍尔商学院)
通过大规模简历实验和模拟,发现LLM在招聘中偏好自己生成的简历,导致使用同模型简历的候选人获得23%-60%的短名单优势,且可通过干预减少50%以上偏差。
2026-06-06 cs.CY
Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval
University of Washington(华盛顿大学);Salzburg University(萨尔茨堡大学)
本研究通过模拟求职者选拔的文档检索框架,发现Massive Text Embedding(MTE)模型在简历筛选中存在性别、种族及交叉性偏见,偏向白人姓名,黑人男性在所有案例中均受不利影响,为相关AI工具的公平性改进提供了依据。
2026-09-01 cs.AI cs.CL cs.CY
Synthetic CVs To Build and Test Fairness-Aware Hiring Tools
Universitat Pompeu Fabra(庞培法布拉大学)
针对算法招聘偏见研究缺乏多样化简历数据的问题,本文基于真实捐赠材料建模特征,构建含1,730份简历的合成数据集,以支持公平性技术的评估与比较。
2025-08-28 cs.CY cs.IR cs.LG
The Silicon Ceiling: Auditing GPT's Race and Gender Biases in Hiring
University of Pennsylvania(宾夕法尼亚大学);Temple University(天普大学)
本研究受传统简历审计启发,对 OpenAI 的 GPT-3.5 在招聘中的种族与性别偏见进行 AI 审计,发现该模型在简历评估和生成中均表现出基于刻板印象的偏见。
2024-11-15 cs.CL cs.CY
Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict
Princeton University(普林斯顿大学)
研究大语言模型在道德困境判断中的是非偏差,通过交叉对称化等心理测量方法区分逻辑判断、词汇等因素,发现前沿模型立场与形式无关,部分模型存在顺序和词汇偏差,最小模型可总结伪像,强调跨框架测量模型重视内容。
2026-11-09 cs.AI cs.CL cs.CY
Prompting Fairness: Integrating Causality to Debias Large Language Models
Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学);University of Maryland, College Park(马里兰大学帕克分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种因果性引导的去偏框架,通过识别社会信息影响LLM决策的因果路径并设计原则性提示策略进行调节,有效减少了模型决策中的社会偏见,并统一了现有提示去偏技术。
2025-03-02 cs.AI cs.CL cs.LG
Counterfactual, Per-Decision Bias Auditing for Automated Hiring: Localizing and Explaining Disparate Impact in Applicant Tracking Systems
Independent Researcher
本文提出AI偏差防火墙(AIBF),用于逐决策审计自动招聘的申请人跟踪系统,在真实数据集上验证其能精准定位偏差决策与受损害候选人,但纠正偏差无法达到法律要求的公平性。
2026-08-25 cs.CR cs.CY
Fragile Preferences: A Deep Dive Into Order Effects in Large Language Models
Paul Merage School of Business, University of California-Irvine(加州大学 Irvine 分校保罗·梅拉吉商学院);Muma College of Business, University of South Florida(佛罗里达州立大学穆玛商学院)
研究揭示大型语言模型在选择任务中存在显著的顺序效应,包括质量依赖性偏移和未记录的姓名偏见,提出通过温度参数调整等方法缓解顺序效应导致的决策偏差。
2026-07-24 cs.AI
Investigating Intersectional Bias in Large Language Models using Confidence Disparities in Coreference Resolution
Apple(苹果公司)
本研究扩展单轴公平性评估,通过构建WinoIdentity基准和提出共指置信度差异指标,评估LLMs在交叉身份下的偏见,发现模型在反刻板印象环境中对双重劣势身份置信度差异高达40%,且表明其高性能源于记忆而非推理。
2025-08-09 cs.AI cs.CL
Evaluating the Hidden Costs of Personalization in Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);HKUST(香港科技大学)
本研究针对大语言模型个性化的三种隐性风险,提出PRISK评估框架,经13个模型实证分析,发现个性化信息会加剧偏见并导致特定指标下降。
2026-09-01 cs.AI
Human, Algorithm, or Both? Gender Bias in Human-Augmented Recruiting
Jobindex A/S;IT University of Copenhagen(哥本哈根信息技术大学)
研究通过实证分析比较了人类、人工智能和混合招聘在性别公平性上的表现,发现混合方法在公平性上表现最佳。
2026-03-06 cs.CY
From Biased Chatbots to Biased Agents: Examining Role Assignment Effects on LLM Agent Robustness
研究发现基于人口统计学的人设分配会影响LLM代理的行为和性能,导致高达26.2%的降级,揭示了代理系统中隐含偏见和行为波动的风险。
2026-01-21 cs.AI cs.CL
Investigating Thinking Behaviours of Reasoning-Based Language Models for Social Bias Mitigation
本文研究了基于推理的语言模型在缓解社会偏见中的思维机制,发现两种导致偏见累积的失败模式,并提出轻量级提示方法减少偏见同时保持准确性。
2026-05-12 cs.AI cs.CL
Can LLMs Hire Fairly? Racial Bias in Resume Screening
Department of Finance, CUHK Business School(财务系,CUHK商学院)
使用配对简历方法审计14个主流大语言模型,发现2023年模型重现白人回调差距,而2024年后模型显示无差距或反向偏差,表明算法招聘偏见方向随模型代际反转。
2026-06-27 cs.CL cs.CY
Selection Problems in the Presence of Implicit Bias
Cornell University(康奈尔大学)
在过去的二十年里,隐性偏见的概念已经成为我们理解招聘、晋升和入学等活动中歧视的重要组成部分。关于内隐偏见的研究表明,当人们评价他人时--例如,在招聘环境中--他们对特定群体成员身份的无意识偏见会影响他们的决策,即使他们没有故意歧视这些群体的成员。越来越多的实验工作指出,内隐偏见可能会产生负面结果。在这里,我们提出了一个理论模型,研究隐性偏见的影响,选择决策,并分析可能的程序补救措施,在这个模型内的隐性偏见的方式。我们的模型所代表的典型情况是招聘环境:招聘委员会试图从求职者中选择一组入围者进行面试,根据他们的未来潜力评估这些求职者,但他们对潜力的估计因对一个群体成员的隐性偏见而扭曲。在这个模型中,我们表明,措施,如鲁尼规则,要求至少有一个决赛选手从受影响的群体中选择,不仅可以提高这个受影响的群体的代表性,但也导致更高的回报在绝对值上的组织进行招聘。然而,确定条件下,这些措施可以导致改善收益涉及微妙的权衡之间的程度的偏见和潜在的分布的申请人的特点,导致新的理论问题的存在下,概率的边信息的顺序统计。
2018-01-04 cs.CY cs.LG stat.ML
Legal perspective on possible fairness measures - A legal discussion using the example of hiring decisions (preprint)
随着人工智能在算法决策中的使用越来越多(例如基于神经网络),出现了如何排除或减轻偏差的问题。有一些很有前途的方法,但其中许多是基于“公平”的基础事实,其他人是基于要达到的主观目标,这导致了如何定义和计算“公平”的常见问题。与人类决策相比,算法决策的不同功能导致了从过程导向到结果导向的歧视评估的转变。我们认为,随着这种转变,社会需要确定哪种公平是正确的选择,为某些情况。为了理解这种决定的含义,我们解释了可能适用于招聘决策具体应用的不同类型的公平概念,分析了各自公平解释的利弊,并从法律角度(基于欧盟法律)对其进行评估。
2021-08-16 cs.CY
Do job seekers value procedure in AI hiring only for error correction? Evidence from a conjoint experiment
London School of Economics and Political Science(伦敦政治经济学院);Cornell University(康奈尔大学)
通过联合实验发现,求职者重视AI招聘程序本身而非仅其纠错功能,人工参与影响最大,改进性能无法替代程序权利。
2026-09-16 cs.CY
The Effect of the Rooney Rule on Implicit Bias in the Long Term
Yale University(耶鲁大学)
大量证据表明,从招聘到医疗保健,各种情况下的隐性偏见都会产生负面影响。鲁尼规则是一种旨在消除隐性偏见的干预措施,已在私营和公共部门实施。鲁尼规则要求选拔小组在候选人入围名单中至少包括一名来自代表性不足群体的候选人。最近,Kleinberg和Raghavan提出了一个内隐偏见模型,并研究了鲁尼规则应用于单一选择决策时的有效性。然而,随着时间的推移,选择决策往往会反复出现。此外,人们还观察到,如果有一致的反刻板印象反馈,对代表性不足的候选人的隐性偏见可能会改变。我们考虑一个模型,如何选择小组的隐式偏见随着时间的推移而变化,无论是否有鲁尼规则的地方,他们的招聘决定。我们的主要结果是,当小组受到鲁尼规则的约束时,他们的隐性偏见大致以与候选人名单大小相反的速度减少-与候选人的数量无关,而没有鲁尼规则,该速度与候选人的数量成反比。因此,当候选人的数量远远大于候选人名单的大小时,鲁尼规则可以更快地减少隐式偏见,这为使用它作为减轻隐式偏见的策略提供了额外的理由。为了从经验上评估鲁尼规则在重复选择决策中的长期影响,我们在Amazon MTurk上进行了迭代候选人选择实验。我们观察到,事实上,决策者受到鲁尼规则选择更多的少数候选人除了那些规则本身所要求的比他们会,如果没有规则是有效的,这样做没有显着降低候选人的效用选择。
2020-10-21 cs.AI cs.CY cs.LG
Identifying and Improving Disability Bias in GPT-Based Resume Screening
University of Washington(华盛顿大学)
本研究通过简历审计发现GPT-4对含残障相关荣誉的简历存在偏见,并证明基于DEI和残障正义原则训练自定义GPT可量化减少偏见,同时定性分析了能力主义辩护类型。
2024-05-22 cs.AI cs.CY
Algorithmic Inheritance: Surname Bias in AI Decisions Reinforces Intergenerational Inequality
Massachusetts Institute of Technology(麻省理工学院);Nanyang Technological University(南洋理工大学);University of Bonn(波恩大学)
本研究首次实证揭示AI决策中姓氏偏见会强化代际不平等,基于美泰两国72,000次评估发现精英姓氏提升AI对权力、智力和财富的感知,其中感知智力是关键中介机制,并呼吁构建公平算法与政策干预。
2025-02-05 cs.AI cs.CY cs.LG
Are Language Models Sensitive to Morally Irrelevant Distractors?
University of Washington(华盛顿大学);Johns Hopkins University(约翰霍普金斯大学)
本研究借鉴道德心理学中的“情境主义”观点,通过构建包含60种道德无关干扰因素的多模态数据集,发现这些干扰因素能使大语言模型的道德判断偏移超过30%,揭示了其道德判断的不稳定性。
2026-06-23 cs.CL cs.CY
Beauty and the Bias: Exploring the Impact of Attractiveness on Multimodal Large Language Models
本研究探究外貌吸引力对多模态大语言模型决策的影响,发现MLLMs在多数场景中存在显著的吸引力偏见和光环效应,且该偏见与性别、年龄和种族等因素存在交叉性,强调了算法偏见检测需考虑交叉性。
2025-08-11 cs.CY