Gender Inequalities in Content Collaborations: Asymmetric Creator Synergy and Symmetric Audience Biases
本研究利用YouTube数据,通过Shapley值分析发现创作者合作中存在供给侧不对称与需求侧对称的性别不平等,并提出量化协同效应的通用框架。
2024-11-08 cs.CY
Female Librarians and Male Computer Programmers? Gender Bias in Occupational Images on Digital Media Platforms
媒体平台、技术体系、搜索引擎等,充当着各类信息的通道和把关人。它们往往影响、反映和强化性别陈规定型观念,包括那些代表职业的陈规定型观念。这项研究探讨了数字媒体平台上性别刻板印象的普遍性,并考虑了人类创造和策划信息的努力如何直接影响这些刻板印象。虽然社交媒体和算法中的性别陈规定型观念在最近的文献中得到了一些研究,但它在不同类型的平台(例如,维基对新闻对社交网络)以及在不同的条件下(例如,人类和机器主导的内容创建和管理的程度)还有待研究。这项研究探讨了某些强烈性别职业(图书管理员,护士,计算机程序员,土木工程师)的刻板印象持续存在的程度,并且可能在数字平台(Twitter,纽约时报在线,维基百科和Shutterstock)上有所不同。结果表明,当人类直接在数字平台上创建和策划内容时,性别刻板印象最有可能受到挑战,而高度算法化的策划方法几乎没有表现出打破刻板印象的倾向。更具包容性的设计和使用的数字媒体平台,特别是在介导的职业信息的影响,进行了讨论。
2019-12-11 cs.CY cs.HC
Gender Stereotype Reinforcement: Measuring the Gender Bias Conveyed by Ranking Algorithms
搜索引擎(SE)已被证明延续了心理学文献中确定的众所周知的性别陈规定型观念,并相应地影响用户。从大型在线语料库中学习到的词嵌入(WEs)中也发现了类似的偏见。在这种情况下,我们提出了性别刻板印象强化(GSR)措施,它量化的倾向,SE支持性别刻板印象,利用性别相关的信息编码在WE。通过结构效度的关键镜头,我们验证了合成和真实集合的建议措施。随后,我们使用GSR比较广泛使用的信息检索排名算法,包括词汇,语义和神经模型。我们检查基于WEs的排名算法是否以及如何继承底层嵌入的偏差。我们还考虑了文献中提出的WEs最常见的去偏置方法,并测试了它们在GSR和常见性能指标方面的影响。据我们所知,GSR是第一个专门为IR量身定制的措施,能够量化代表性伤害。
2020-09-02 cs.CY
Translate With Care: Addressing Gender Bias, Neutrality, and Reasoning in Large Language Model Translations
Independent Researcher(独立研究者)
本文提出 Translate-with-Care 数据集,揭示现有翻译模型在无性别语言翻译中普遍存在男性代词偏见与推理错误,并通过微调开源模型 mBART-50 有效消除偏见、超越专有大语言模型。
2025-05-31 cs.CL cs.CY
Operationalizing Perceptions of Agent Gender: Foundations and Guidelines
Institute of Science Tokyo(东京科学大学);University of Cambridge(剑桥大学);University College Dublin(都柏林大学学院);Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学与哥德堡大学);Uppsala University(乌普萨拉大学)
本文探讨智能代理性别感知的操作化方法,提出理论驱动的框架以提高研究严谨性和包容性,解决现有标准缺失的问题。
2026-03-10 cs.AI cs.CY cs.HC
Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora
ELLIS Alicante, Spain(西班牙阿利坎特ELLIS研究所);University of Alicante, Spain(西班牙阿利坎特大学)
针对性别化语言语料中性别表征偏差研究不足的问题,提出基于大语言模型的人物指代词汇识别分类方法,检测出多语料的男性主导失衡,且发现小规模反向性别偏向训练可缓解该偏差对模型输出的影响。
2025-06-17 cs.CL cs.CY
A Large Scale Analysis of Gender Biases in Text-to-Image Generative Models
Technical University of Munich, Munich Center for Machine Learning, MDSI(慕尼黑技术大学、慕尼黑机器学习中心、MDSI);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎理工学院);Helmholtz Munich(海德堡-慕尼黑研究中心);University of California, Berkeley(加州大学伯克利分校)
该研究构建3,217条性别中立提示词并分析五个主流T2I模型生成的逾229万张图像,揭示其在日常活动、物品与情境中强化传统性别角色和刻板印象。
2025-09-29 cs.CV cs.CY
Exploring Gender Biases in Language Patterns of Human-Conversational Agent Conversations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究探讨对话智能体(CAs)的性别设计如何触发并强化用户的性别偏见,分析人机交互的语言模式,为促进性别平等的伦理设计提供指导。
2024-01-05 cs.CL cs.CY cs.HC
Diversity dilemmas: uncovering gender and nationality biases in graduate admissions across top North American computer science programs
本文构建涵盖北美25所顶尖高校约14,000名CS研究生的数据集,利用统计假设检验分析招生偏好及多样性与团队科研成就的关系,发现不存在性别偏见但存在国籍偏见。
2023-08-29 cs.CY cs.SI
Quantifying Gender Biases Towards Politicians on Reddit
University of Copenhagen(哥本哈根大学)
本研究通过分析Reddit上千万条政治讨论评论,评估了5种性别偏见,发现公众对女性政治家虽有同等兴趣,但表达方式不如对男性专业尊重,且在极右翼社区中差异最显著。
2025-08-12 cs.CL cs.CY
Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs)
Technical University of Munich(慕尼黑工业大学);Helmholtz Munich(亥姆霍兹慕尼黑中心);UC Berkeley(加州大学伯克利分校)
本文评估了22个开源视觉语言助手在人格、技能和职业上的性别偏见,发现其复制了人类职业不平衡等偏见,并提出基于微调的去偏方法可在保持性能的同时有效减少偏见。
2025-03-12 cs.CL cs.CY
It's a Man's Wikipedia? Assessing Gender Inequality in an Online Encyclopedia
维基百科是一个社区创建的百科全书,包含来自不同国家,时代和学科的着名人物的信息,旨在从中立的角度记录世界知识。然而,维基百科编辑社区的狭隘多样性有可能在维基百科的内容中引入系统性偏见,如性别偏见。在本文中,我们的目标是解决这个更大的挑战的子问题,提出并应用计算方法来评估性别偏见维基百科沿多个维度。我们发现,虽然维基百科上的女性在许多维基百科语言版本中都有很好的报道和特色,但女性的描绘方式与男性的描绘方式截然不同。我们希望我们的工作有助于提高人们对在线性别偏见的认识,特别是提高人们对性别偏见在网络上表现出来的不同层面的关注。
2015-03-23 cs.CY cs.SI
ChatGPT Exhibits Gender and Racial Biases in Acute Coronary Syndrome Management
Stanford Cardiovascular Institute(斯坦福心血管研究所);Stanford School of Medicine(斯坦福医学院);Greenstone Biosciences(格林斯通生物科学公司);Stanford School of Engineering(斯坦福工程学院);NewYork–Presbyterian Hospital/Weill Cornell Medical Center(纽约长老会医院/威尔康奈尔医学中心)
本研究评估了ChatGPT 3.5在急性冠状动脉综合征管理中的性别和种族偏见,发现其推荐存在显著差异,并证明通过要求模型先解释推理过程可有效提高临床准确性并减轻偏见。
2023-11-10 cs.CL cs.CY
Race, Gender and Beauty: The Effect of Information Provision on Online Hiring Biases
我们在一个模拟平台上进行了一项关于招聘偏见的研究,我们要求亚马逊MTurk参与者为一项数学密集型任务做出招聘决定。我们的研究结果表明,对黑人工人和不太有吸引力的工人的雇用偏见和对亚洲工人,女性工人和更有吸引力的工人的偏好。我们还表明,某些UI设计,包括提供候选人的个人信息,减少选择的数量,可以显着减少歧视。然而,在分组一级提供候选人信息可能会增加歧视。研究结果对设计更好的在线自由职业者市场具有实际意义。
2020-01-16 cs.CY cs.SI
A Close Reading Approach to Gender Narrative Biases in AI-Generated Stories
Sapienza University of Rome(罗马萨皮恩扎大学);Link University of Rome(罗马链接大学)
本文采用细读方法,基于Propp角色分类和Freytag叙事结构设计提示词,分析ChatGPT、Gemini和Claude生成故事中的性别叙事偏见,揭示了隐性偏见的持续存在并强调多层面评估的重要性。
2025-08-13 cs.AI cs.CL cs.CY
The Male CEO and the Female Assistant: Evaluation and Mitigation of Gender Biases in Text-To-Image Generation of Dual Subjects
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出PST框架系统评估双主体T2I生成中的性别偏见,并设计FairCritic框架通过LLM评判模型检测偏见并自适应反馈,在PST上实现近乎完美的公平性。
2025-06-02 cs.AI cs.CV cs.CY
Transcending the "Male Code": Implicit Masculine Biases in NLP Contexts
Tokyo Institute of Technology(东京工业大学);University of Waterloo(滑铁卢大学);The University of Tokyo(东京大学)
本文考察两个NLP数据集,揭示性别化语言中普遍存在且随语境变化的隐性男性偏见,并发布AVA词典以刻画虚拟助手语言中的性别化模糊关联。
2023-04-22 cs.CL cs.CY cs.HC
The Silicon Ceiling: Auditing GPT's Race and Gender Biases in Hiring
University of Pennsylvania(宾夕法尼亚大学);Temple University(天普大学)
本研究受传统简历审计启发,对 OpenAI 的 GPT-3.5 在招聘中的种族与性别偏见进行 AI 审计,发现该模型在简历评估和生成中均表现出基于刻板印象的偏见。
2024-11-15 cs.CL cs.CY
Large scale analysis of gender bias and sexism in song lyrics
ISI Foundation(ISI基金会);Central European University(中欧大学);CENTAI;Sapienza University(罗马大学);Universitat Pompeu Fabra(庞培法布拉大学)
该研究利用自然语言处理技术对近38万首英文歌词做大规模分析,发现性别歧视内容随时间增长,男性艺人及热门歌曲中更突出,且男性独唱作品偏见更多更强,为流行文化语言研究提供新洞见。
2023-05-02 cs.CL cs.CY
Gender Biased Legal Case Retrieval System on Users' Decision Process
本文通过72名法律背景参与者的模拟法官实验,检验法律案例检索结果中的被告性别偏见是否影响量刑认知,结果显示该影响并不显著。
2024-02-25 cs.CY cs.HC cs.IR
Exploring Gender and Race Biases in the NFT Market
MIT(麻省理工学院);Microsoft(微软)
本文首次在更广泛的 NFT 市场中检验性别与种族偏见,发现 CryptoPunks 存在种族偏见但无性别偏见,并构建了性别标注的 NFT 数据集以促进社会公平研究。
2023-03-29 cs.CY cs.LG cs.SI
Smiling Women Pitching Down: Auditing Representational and Presentational Gender Biases in Image Generative AI
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
该研究审计了DALL-E 2生成图像中的职业性别偏见,发现其存在表征和呈现层面的性别偏差且比Google Images更显著,呼吁采取干预措施避免偏见反哺媒介生态。
2023-05-17 cs.AI cs.CV cs.CY
Gender Bias in BERT -- Measuring and Analysing Biases through Sentiment Rating in a Realistic Downstream Classification Task
Institute for Software Technology(软件技术研究所);German Aerospace Center (DLR)(德国航空航天中心(DLR));TU Darmstadt(达姆施塔特工业大学)
本文通过提出一种基于男女样本情感评估差异的新偏见测量方法,并在IMDB电影分类任务中系统分析63个模型,发现性别偏见主要源于公开BERT模型而非任务数据,强调了负责任使用的重要性。
2023-06-27 cs.AI cs.CL cs.CY
GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations
Physikalisch-Technische Bundesanstalt(物理技术联邦机构);Technische Universität Berlin(技术大学柏林)
GECOBench通过性别控制文本数据集研究预训练模型中的偏见问题,并评估XAI方法的性能。
2026-01-21 cs.AI cs.CL cs.CY
It's All in the Name: Mitigating Gender Bias with Name-Based Counterfactual Data Substitution
University of Cambridge(剑桥大学);Bar-Ilan University(巴伊兰大学)
本文探讨了隐藏在词嵌入中的性别偏见。以前的缓解尝试依赖于性别偏见的操作作为线性子空间的投影。另一种方法是反事实数据增强(CDA),其中语料库被复制和增强以消除偏见,例如通过交换副本中所有固有性别的单词。我们对这些方法在英语Gigaword和维基百科上进行了实证比较,发现虽然两者都成功地减少了直接偏见,并且在量化嵌入质量的任务中表现良好,但CDA变体在绘制无偏见性别类比的任务中表现优于基于投影的方法,在两个语料库中平均为19%。我们提出了两个改进CDA:反事实数据替换(CDS),CDA的一个变种,其中潜在的偏见文本被随机替换,以避免重复,和名称干预,一种新的名称配对技术,大大增加了被处理的单词的数量。带有名称干预的CDA/S是唯一能够减轻间接性别偏见的方法:在去偏见之后,先前有偏见的单词根据性别的聚类显着减少(聚类纯度降低了49%),从而改善了偏见减轻的最新技术水平。
2020-02-05 cs.CL cs.CY
Fair Embedding Engine: A Library for Analyzing and Mitigating Gender Bias in Word Embeddings
Delhi Technological University(德里技术大学)
非语境词嵌入模型已经被证明继承了来自训练语料库的类似人类的性别、种族和宗教的刻板偏见。为了解决这个问题,出现了大量研究,旨在减轻这些偏见,同时保持嵌入的语法和语义效用不变。本文介绍了公平嵌入引擎(FEE),用于分析和减轻性别偏见的词嵌入库。FEE结合了各种最先进的技术,用于在标准抽象下量化、可视化和减轻词嵌入中的性别偏见。FEE将帮助从业者快速分析嵌入模型上现有的去偏方法。此外,它将允许通过评估一套标准度量的性能来快速原型化新方法。
2020-10-25 cs.CL cs.CY
Quantifying Gender Bias in Large Language Models: When ChatGPT Becomes a Hiring Manager
Massachusetts Institute of Technology(麻省理工学院)
研究量化了LLM在招聘决策中的性别偏见,发现女性候选人更易被录用但薪酬建议较低,探讨了提示工程作为偏见缓解技术。
2026-03-10 cs.AI cs.CY
Gender Disparities in StackOverflow's Community-Based Question Answering: A Matter of Quantity versus Quality
IIT-CNR(意大利国家研究委员会信息系统技术研究所);ISTI-CNR(意大利国家研究委员会计算机科学和技术研究所);Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚高级研究院)
本研究通过人类评估和大型语言模型分析,发现Stack Overflow中答案质量无性别差异,性别差异主要源于用户活动量而非答案质量。
2026-01-30 cs.CY cs.SI
Identifying and examining machine learning biases on Adult dataset
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本研究通过集成学习评估Adult数据集上的机器学习偏见,发现显著的性别工资预测差异,并验证了堆叠模型的偏见韧性,倡导混合模型以实现公平。
2023-10-13 cs.CY cs.LG
Surprising gender biases in GPT
University of Milan-Bicocca(米兰比可卡大学)
本文通过七项实验考察 GPT 的性别偏见,发现其在作者归因和高风险道德困境中存在不对称、内隐且情境依赖的性别判断,提示包容性措施需谨慎管理。
2024-07-08 cs.AI cs.CY
The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data
University of Trento(特伦托大学)
本研究通过在线购物数据分析大语言模型中的性别偏见,发现模型在性别预测中受刻板印象影响,且减少偏见指令只能降低预测确定性,无法消除刻板印象模式。
2025-12-11 cs.AI cs.CL cs.CY
Assessing gender bias in medical and scientific masked language models with StereoSet
SIU School of Medicine(南伊利诺伊大学医学院)
NLP系统使用语言模型,例如Masked语言模型(MLM),这些模型在大量文本(例如Wikipedia)上进行预训练,以创建语言表示。BERT是一个强大而灵活的通用MLM系统,使用未标记的文本开发。对大量文本进行预训练也有可能将源文本中的文化和社会偏见透明地嵌入到传销系统中。本研究的目的是比较一般用途和医疗MLMs与StereoSet偏差评估工具的偏差。通用MLMs总体上显示出显著偏倚,BERT评分为57,RoBERTa评分为61。性别偏见类别是发现表现最好的类别,BERT为63,RoBERTA为73。专业,种族和宗教的表现是相似的总体偏见分数为通用MLMs.医疗MLMs显示更多的偏见,在所有类别比通用MLMs除了科学BERT,它显示了种族偏见得分为55,这是优于种族偏见得分为53 BERT。医学多层膜中发现了更多的性别(医学54-58比一般63-73)和宗教(46-54比58)偏见。这四个医疗MLMs关于种族,性别,宗教和职业的刻板印象评估的评价显示,一般用途的MLMs性能较差。这些以医学为重点的MLM在训练源数据方面差异很大,这可能是StereoSet工具对刻板偏见评级差异的根本原因。
2021-11-15 cs.CL cs.CY
Gender and Positional Biases in LLM-Based Hiring Decisions: Evidence from Comparative CV/Résumé Evaluations
本研究通过22个LLM的简历比较实验,发现模型普遍偏好女性候选人,并存在显著的位置偏差,提示在高风险决策中需谨慎使用LLM。
2025-05-27 cs.AI cs.CL cs.CY
How Gender Interacts with Political Values: A Case Study on Czech BERT Models
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本研究探讨捷克BERT模型的政治偏见,提出新方法测量模型感知的政治价值观,发现其不遵循价值驱动推理且无性别差异,偏见源于对训练数据的表面模仿。
2024-03-20 cs.CL cs.CY
Are Models Biased on Text without Gender-related Language?
University of California Irvine(加州大学欧文分校)
本文提出 UnStereoEval 框架,在无性别相关语言的场景中评估模型性别偏见,发现 28 个模型仅在 9%-41% 的句子中表现公平,表明偏见并非仅源于性别词汇。
2024-05-01 cs.AI cs.CL cs.CV
Vision-Language Models Performing Zero-Shot Tasks Exhibit Gender-based Disparities
Meta AI
我们探讨了在何种程度上zero-shot视觉语言模型表现出不同的视觉任务的性别偏见。视觉模型传统上需要特定于任务的标签来表示概念,以及微调;像CLIP这样的zero-shot模型使用开放词汇表执行任务,这意味着它们不需要一组固定的标签,通过使用文本嵌入来表示概念。考虑到这些功能,我们问:视觉语言模型在执行zero-shot图像分类、目标检测和语义分割时是否表现出性别偏见?我们使用跨一组概念的多个数据集来评估不同的视觉语言模型,并且发现(i)基于与图像中的给定概念共现的人的感知性别,评估的所有模型显示出明显的性能差异,并且对所有概念的聚合分析可以掩盖这些问题;(ii)模型校正(即准确性和置信度之间的关系)也因感知的性别而明显不同,即使在评估类似的概念表示时也是如此;以及(iii)这些观察到的差异与来自语言模型的词嵌入中的现有性别偏见一致。这些发现表明,虽然语言极大地扩展了视觉任务的能力,但它也可能导致zero-shot视觉设置中的社会偏见。此外,当其他模型使用CLIP等基础模型来实现zero-shot功能时,偏差可能会进一步传播。
2023-01-26 cs.CV cs.CY cs.HC
Evaluating Large Language Models through Gender and Racial Stereotypes
Georgia Institute of Technology(佐治亚理工学院)
本研究建立评估框架,在专业背景下对比分析大型语言模型的性别和种族偏见,发现新模型中性别偏见大幅减少但种族偏见依然存在。
2023-11-24 cs.AI cs.CL cs.CY
Politeness Stereotypes and Attack Vectors: Gender Stereotypes in Japanese and Korean Language Models
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
该研究针对日语和韩语语言模型,探究礼貌层级相关的语法性别偏见,发现礼貌层级是网络欺凌检测模型的性别偏见攻击向量,并构建攻击数据集以识别偏见、展示攻击方式及缓解分配式偏见,呼吁偏见研究突破英语中心局限。
2023-06-16 cs.AI cs.CL cs.CY
Disentangling Societal Inequality from Model Biases: Gender Inequality in Divorce Court Proceedings
Rochester Institute of Technology(罗切斯特理工学院);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
该研究通过17306份印度离婚法庭诉讼语料分析性别不平等,提出需调整现有NLP资源以量化社会不平等,发现女性挑战父权制的同时仍面临显著性别不平等与家庭暴力问题。
2023-07-09 cs.AI cs.CL cs.CY
Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You
TU Darmstadt(图宾根大学);Ontocord(Ontocord公司);Technical University of Munich (TUM)(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);CERTAIN(CERTAIN公司);DFKI(德意志联邦防务研究院);Charles University Prague(布拉格查理大学);Centre for Cognitive Science, Darmstadt(达姆施塔特认知科学中心);Munich Data Science Institute(慕尼黑数据科学研究所)
本文提出多语言性别偏见基准MAGBIG,发现多语言文本到图像模型不仅存在显著的性别刻板印象,且不同语言间表现差异显著,而提示工程策略缓解偏见效果有限并损害文本对齐。
2025-06-02 cs.CL cs.CY cs.LG
Gender Bias in Word Embeddings: A Comprehensive Analysis of Frequency, Syntax, and Semantics
University of Washington(华盛顿大学);Information School(信息学院);Birla Institute of Technology and Science(比尔拉科学技术学院);Harvard University(哈佛大学)
语言语料库中的统计数据将众所周知的社会偏见编码到词嵌入中。在这里,我们专注于性别,以全面分析在互联网语料库上训练的广泛使用的静态英语词嵌入中基于群体的偏见(GloVe 2014,fastText 2017)。使用单类别词嵌入关联测试,我们证明了性别偏见的普遍存在,也显示出差异:(1)与男性和女性相关的词的频率;(b)性别相关词的词性标签;(c)性别相关词的语义类别;(d)性别相关词的效价,唤醒和优势。首先,在词频方面:我们发现,在词汇表中最常见的1,000个单词中,77%与男性的联系比女性更多,这为英语世界的日常语言中男性默认提供了直接证据。第二,转向词性:与男性相关的词最多的通常是动词(例如,fight,overpower),而与女性相关的最多的词通常是形容词和副词(例如,情感上的,情感上的)。嵌入中的性别偏见也渗透到词性中。第三,对于语义类别:自下而上,对与每个性别相关的前1,000个词进行聚类分析。与男性相关的概念包括大型科技、工程、宗教、体育和暴力的角色和领域;相比之下,与女性相关的概念则不太关注角色,包括女性特有的诽谤和性内容,以及外观和厨房术语。第四,从一个约20,000字的词汇,使用人类的评级的字的效价,唤醒,和优势,我们发现,男性相关的词更高的唤醒和优势,而女性相关的词更高的效价。
2022-06-07 cs.AI cs.CL cs.CY
End-To-End Bias Mitigation: Removing Gender Bias in Deep Learning
Wake Forest University(维克森林大学)
机器学习模型已经被部署在社会的许多不同方面,通常是在影响社会福利的情况下。虽然这些模型为大问题提供了简化的解决方案,但它们可能包含偏见,并基于受保护的属性(如性别)不公平地对待群体或个人。在本文中,我们介绍了机器学习性别偏见在实践中的几个例子,其次是公平的形式化。我们通过详细介绍有影响力的预处理、处理中和后处理偏差缓解算法来提供公平性研究的调查。然后,我们提出了一个端到端的偏见缓解框架,它采用了融合的前,中,后处理方法,以利用每个单独的技术的优势。我们在深度神经网络上测试了这种方法以及我们回顾的标准技术,以分析深度学习环境中的偏差缓解。我们发现,我们的端到端的偏见缓解框架优于基准方面的几个公平性指标,这表明其承诺作为一种方法,提高公平性。随着社会越来越依赖人工智能来帮助决策,解决深度学习模型中存在的性别偏见势在必行。为了向读者提供评估机器学习模型的公平性并减轻其中存在的偏见的工具,我们讨论了多个用于AI公平性的开源软件包。
2021-06-21 cs.AI cs.CY cs.LG
Who Gets Recommended? Investigating Gender, Race, and Country Disparities in Paper Recommendations from Large Language Models
本文研究大语言模型在文献推荐中的表现与偏差,发现其准确率有限且偏好高引用、新近发表、大团队文献,但未表现出推荐男性、白人或发达国家作者的偏差。
2024-12-31 cs.CY cs.DL cs.IR
How optimal transport can tackle gender biases in multi-class neural-network classifiers for job recommendations?
Institut de Mathématiques de Toulouse(图卢兹数学研究所);CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);AKKODIS group(AKKODIS集团)
基于深度神经网络的自动推荐系统在过去十年中变得非常流行。然而,这些系统中的一些可用于被欧盟委员会在A.I.中列为高风险的应用。例如,在线求职推荐。当在欧盟使用时,用于此目的的商业人工智能系统将被要求具有适当的统计特性,以防止可能产生的歧视。这激发了我们的贡献,我们提出了一种新的最优传输策略,以减轻不可取的算法偏差多类神经网络分类。我们的策略是模型不可知的,可以用于任何多类分类神经网络模型。为了预测使用文本数据的推荐系统的认证,我们将其用于Bios数据集,其学习任务包括基于LinkedIn传记预测女性和男性个体的职业。结果表明,它可以减少不必要的算法偏差在这种情况下,以低于标准的策略。
2023-02-27 cs.AI cs.CY cs.LG
Examining Pathological Bias in a Generative Adversarial Network Discriminator: A Case Study on a StyleGAN3 Model
Haverford College(哈弗福德学院);Bowdoin College(鲍登学院)
本研究发现预训练 StyleGAN3-r 模型判别器存在无法用训练数据解释的内部颜色和亮度病态偏差,且该偏差导致评分按图像质量分层,对性别、种族等不同类别产生不成比例影响。
2024-08-28 cs.AI cs.CV cs.CY
Men Are Elected, Women Are Married: Events Gender Bias on Wikipedia
University of Southern California(南加利福尼亚大学);Information Sciences Institute, University of Southern California(南加利福尼亚大学信息科学研究所);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
人类活动可以被视为一系列事件,这对理解社会至关重要。不同人口群体的不成比例的事件分布可以表现和放大社会陈规定型观念,并可能危及某些群体成员追求某些目标的能力。在本文中,我们提出了第一个以事件为中心的研究性别偏见的维基百科语料库。为了便于研究,我们策划了一个职业和个人生活描述的语料库,其中包含来自10,412位名人的7,854个片段。然后,我们用最先进的事件检测模型检测事件,使用策略生成的模板校准结果,并提取与性别有不对称关联的事件。我们的研究发现,维基百科的页面往往会将个人生活事件与女性的专业事件相结合,而不是男性,这需要维基百科社区的意识,以正式制定指导方针,并训练编辑注意贡献者所携带的隐性偏见。我们的工作也奠定了基础,为未来的工作量化和发现事件的偏见在语料库的水平。
2021-06-03 cs.AI cs.CL cs.CY