AI Gender Bias, Disparities, and Fairness: Does Training Data Matter?
本研究利用BERT和GPT-3.5分析自动评分系统,发现性别不平衡的训练数据虽不必然导致评分偏见,但会扩大性别差异并降低评分公平性。
2025-01-27 cs.CY
Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora
ELLIS Alicante, Spain(西班牙阿利坎特ELLIS研究所);University of Alicante, Spain(西班牙阿利坎特大学)
针对性别化语言语料中性别表征偏差研究不足的问题,提出基于大语言模型的人物指代词汇识别分类方法,检测出多语料的男性主导失衡,且发现小规模反向性别偏向训练可缓解该偏差对模型输出的影响。
2025-06-17 cs.CL cs.CY
A Survey on Gender Bias in Natural Language Processing
University of Copenhagen(哥本哈根大学)
语言可被用作复制和强化有害的陈规定型观念和偏见的手段,许多研究都对此进行了分析。本文对304篇关于自然语言处理中性别偏见的论文进行了统计分析。我们分析了社会科学中性别及其类别的定义,并将其与NLP研究中性别偏见的正式定义联系起来。我们调查了性别偏见研究中应用的词汇和数据集,然后比较和对比了检测和减轻性别偏见的方法。我们发现,性别偏见的研究受到四个核心限制。1)大多数研究将性别视为二元变量,忽视了其流动性和连续性。2)大多数工作都是在英语或其他高资源语言的单语设置中进行的。3)尽管有无数关于NLP方法中性别偏见的论文,但我们发现大多数新开发的算法都没有测试他们的模型是否存在偏见,也没有考虑到他们工作中可能存在的道德问题。4)最后,在这一研究领域制定的方法存在根本性缺陷,涉及性别偏见的定义非常有限,缺乏评价基线和管道。我们建议克服这些限制,为今后的研究提供指导。
2021-12-28 cs.CL cs.CY
Public Perceptions of Gender Bias in Large Language Models: Cases of ChatGPT and Ernie
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文通过分析社交媒体讨论,比较了公众对ChatGPT和文心一言中性别偏见的认知差异,发现前者多表现为隐性偏见、后者多表现为显性偏见,并据此提出文化影响反思与治理建议。
2023-09-17 cs.AI cs.CY
Dynamics of Gender Bias in Software Engineering
本文结合历史考察与ICNE作者参与数据(1976–2010),分析软件工程领域性别偏见的演变,发现十二个年份存在统计显著的性别排斥,并提出相关研究政策方向。
2025-08-28 cs.CY cs.SE
Gender Bias in Fake News: An Analysis
St. Joseph’s College(圣约瑟夫学院);Queen’s University Belfast(贝尔法斯特女王大学)
近年来,对假新闻的数据科学研究已经获得了很大的动力,可以说是由于大型公共基准数据集的出现。虽然媒体研究中已经确立了性别偏见是新闻媒体普遍存在的问题,但很少有人探讨性别偏见和假新闻之间的关系。在这项工作中,我们提供了第一个关于性别偏见与假新闻的实证分析,在公共基准数据集上利用简单透明的基于词典的方法。我们的分析从三个方面确定了假新闻中性别偏见的普遍性增加,丰富,影响和接近的话。我们的分析提供了一个强有力的论据,即性别偏见需要成为假新闻研究的重要考虑因素。
2023-02-04 cs.CY cs.LG
It's All in the Name: Mitigating Gender Bias with Name-Based Counterfactual Data Substitution
University of Cambridge(剑桥大学);Bar-Ilan University(巴伊兰大学)
本文探讨了隐藏在词嵌入中的性别偏见。以前的缓解尝试依赖于性别偏见的操作作为线性子空间的投影。另一种方法是反事实数据增强(CDA),其中语料库被复制和增强以消除偏见,例如通过交换副本中所有固有性别的单词。我们对这些方法在英语Gigaword和维基百科上进行了实证比较,发现虽然两者都成功地减少了直接偏见,并且在量化嵌入质量的任务中表现良好,但CDA变体在绘制无偏见性别类比的任务中表现优于基于投影的方法,在两个语料库中平均为19%。我们提出了两个改进CDA:反事实数据替换(CDS),CDA的一个变种,其中潜在的偏见文本被随机替换,以避免重复,和名称干预,一种新的名称配对技术,大大增加了被处理的单词的数量。带有名称干预的CDA/S是唯一能够减轻间接性别偏见的方法:在去偏见之后,先前有偏见的单词根据性别的聚类显着减少(聚类纯度降低了49%),从而改善了偏见减轻的最新技术水平。
2020-02-05 cs.CL cs.CY
For the Misgendered Chinese in Gender Bias Research: Multi-Task Learning with Knowledge Distillation for Pinyin Name-Gender Prediction
ShanghaiTech University(上海科技大学)
针对拼音姓名性别推断易出错的问题,本文提出知识蒸馏辅助的多任务学习网络,将汉字语义注入拼音嵌入,性能显著超越商业工具和现有算法。
2024-05-10 cs.CL cs.CY
A Large Scale Analysis of Gender Biases in Text-to-Image Generative Models
Technical University of Munich, Munich Center for Machine Learning, MDSI(慕尼黑技术大学、慕尼黑机器学习中心、MDSI);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎理工学院);Helmholtz Munich(海德堡-慕尼黑研究中心);University of California, Berkeley(加州大学伯克利分校)
该研究构建3,217条性别中立提示词并分析五个主流T2I模型生成的逾229万张图像,揭示其在日常活动、物品与情境中强化传统性别角色和刻板印象。
2025-09-29 cs.CV cs.CY
Measuring Gender Inequalities of German Professions on Wikipedia
维基百科是一个社区创建的在线百科全书;可以说,它是互联网上最受欢迎、最大的知识资源。因此,可靠性和中立性对维基百科来说非常重要。先前的研究[3]揭示了许多职业和职业的谷歌搜索结果中的性别偏见。此外,维基百科因传记中存在性别偏见[4]和编辑社区中的性别差距而受到批评[5,6]。因此,人们可以预期,与专业和职业相关的性别偏见可能存在于维基百科中。性别偏见一词在这里是指在专业和职业方面有意识或无意识地偏袒一种性别而不是另一种性别。这项工作的目的是查明和评估性别偏见。为此,德语维基百科关于职业和职业的文章从三个维度进行了分析:重定向,图像和文章中提到的人。这项工作提供的证据表明,男子在所有三个方面的系统性代表性偏高;女性偏见只存在于少数职业。
2017-02-02 cs.CY cs.SI
Measuring Gender Bias in Word Embeddings of Gendered Languages Requires Disentangling Grammatical Gender Signals
George Washington University(乔治华盛顿大学);University of Washington(华盛顿大学)
当衡量一种语言的词嵌入所捕获的语义性别信息时,语言的语法性别是否会产生干扰?一些在性别语言嵌入中的异常性别偏见测量表明了这种可能性。我们证明,词嵌入学习语法性别的语言,这可能会扭曲社会性别偏见的测量名词和它的语法性别之间的关联。因此,词嵌入后处理方法被引入到量化,解开,和评估语法性别信号。该评估是在印欧语系的日耳曼语、罗曼语和斯拉夫语分支的五种性别语言上进行的。我们的方法降低了语法性别信号的强度,这是衡量的效果大小(科恩的d),由一个显着的平均值d = 1.3为法语,德语和意大利语,和d = 0.56为波兰语和西班牙语。一旦语法性别被解开,超过90%的10,000无生命名词和他们的语法性别之间的关联减弱,跨语言的偏见结果从词嵌入协会测试(WEAT)变得更加符合国家级的内隐偏见测量。结果进一步表明,从词嵌入中解开语法性别信号可能会导致语义机器学习任务的改进。
2022-06-03 cs.AI cs.CL cs.CY
Fair Embedding Engine: A Library for Analyzing and Mitigating Gender Bias in Word Embeddings
Delhi Technological University(德里技术大学)
非语境词嵌入模型已经被证明继承了来自训练语料库的类似人类的性别、种族和宗教的刻板偏见。为了解决这个问题,出现了大量研究,旨在减轻这些偏见,同时保持嵌入的语法和语义效用不变。本文介绍了公平嵌入引擎(FEE),用于分析和减轻性别偏见的词嵌入库。FEE结合了各种最先进的技术,用于在标准抽象下量化、可视化和减轻词嵌入中的性别偏见。FEE将帮助从业者快速分析嵌入模型上现有的去偏方法。此外,它将允许通过评估一套标准度量的性能来快速原型化新方法。
2020-10-25 cs.CL cs.CY
Gender Representation and Bias in Indian Civil Service Mock Interviews
Rochester Institute of Technology(罗切斯特理工学院)
本文通过分析51,278个印度公务员模拟面试问题,揭示了面试问题中的性别偏见,并利用大型语言模型验证了其解释中的性别偏见,同时提供了可用于社会科学研究的新数据集。
2024-09-20 cs.CL cs.CY
Implicit Gender Bias in Computer Science -- A Qualitative Study
科技行业的性别多样性-还没有?- 这足以使男女比例平衡。对许多妇女来说,接触计算机科学受到与社会化有关的社会、文化和结构性障碍的阻碍。所谓的内隐性别偏见在这方面有很大的影响。在计算机科学领域缺乏接触,很难发展或扩大潜在的兴趣。女性榜样以及职务说明的更大透明度应有助于妇女促进她们对职务说明的可能兴趣。然而,领导人也可以通过采取适当措施来促进和培养性别多样性。
2021-07-04 cs.CY cs.SE
Invisible Women in Digital Diplomacy: A Multidimensional Framework for Online Gender Bias Against Women Ambassadors Worldwide
本文首次全球分析社交媒体上女性大使的待遇,提出多维多语言方法,发现女性转推数比男性少66.4%,揭示在线可见度差异是显著性别偏见。
2025-08-07 cs.CY cs.SI
Gender bias in (non)-contextual clinical word embeddings for stereotypical medical categories
Utrecht University(乌得勒支大学)
临床词嵌入作为一种最先进的特征向量表示,广泛应用于各种生物自然语言处理问题。虽然他们在单词的语义表示方面非常成功,但由于他们接受培训的数据集-可能带有统计和社会偏见-他们可能会表现出性别刻板印象。本研究分析性别偏见的临床嵌入三个医学类别:精神障碍,性传播疾病和人格特质。在这种程度上,我们分析了两种不同的预训练嵌入,即(情境化)临床BERT和(非情境化)BioWordVec。我们发现,这两种嵌入都偏向于敏感的性别群体,但BioWordVec在所有三个类别中表现出比临床BERT更高的偏差。此外,我们的分析表明,临床嵌入进行了高度的偏见,一些医学术语和疾病,这是与医学文献相冲突。这种缺乏根据的关系可能会对使用临床嵌入的下游应用造成损害。
2022-08-08 cs.CL cs.CY
Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving
University of Alberta(阿尔伯塔大学);University of Essex(埃塞克斯大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
随着自然语言处理(NLP)在日常生活中的广泛应用,NLP模型中继承的社会偏见变得更加严重和成问题。先前的研究表明,在人类生成的语料库上训练的词嵌入具有强烈的性别偏见,可以在下游任务中产生歧视性结果。以前的去偏见方法主要集中在对偏见进行建模,只隐含地考虑语义信息,而完全忽视了偏见和语义成分之间复杂的潜在因果结构。为了解决这些问题,我们提出了一种新的方法,利用因果推理框架,以有效地消除性别偏见。所提出的方法使我们能够构建和分析复杂的因果机制,促进性别信息流,同时保留词嵌入内的甲骨文语义信息。我们的综合实验表明,该方法在性别去偏见任务中取得了最先进的结果。此外,我们的方法在单词相似性评估和各种外部下游NLP任务中具有更好的性能。
2021-12-09 cs.CL cs.CY
The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data
University of Trento(特伦托大学)
本研究通过在线购物数据分析大语言模型中的性别偏见,发现模型在性别预测中受刻板印象影响,且减少偏见指令只能降低预测确定性,无法消除刻板印象模式。
2025-12-11 cs.AI cs.CL cs.CY
Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs)
Technical University of Munich(慕尼黑工业大学);Helmholtz Munich(亥姆霍兹慕尼黑中心);UC Berkeley(加州大学伯克利分校)
本文评估了22个开源视觉语言助手在人格、技能和职业上的性别偏见,发现其复制了人类职业不平衡等偏见,并提出基于微调的去偏方法可在保持性能的同时有效减少偏见。
2025-03-12 cs.CL cs.CY
CORGI-PM: A Chinese Corpus For Gender Bias Probing and Mitigation
Beijing Academy of Artificial Intelligence(北京人工智能研究院);The University of Sheffield(谢菲尔德大学);University of Michigan(密歇根大学);University of Colorado Boulder(科罗拉多大学博尔德分校);Sichuan University(四川大学);McGill University(麦吉尔大学)
针对性别偏见的自然语言处理(NLP)是一个重要的跨学科研究课题,目前流行的大规模语言模型等数据驱动技术存在着数据不足和语料偏差的问题,特别是对于汉语这样资源不足的语言。为此,我们提出了一个中国cOrpus forR性别bIas探测和缓解CORGI-PM,其中包含32.9k的句子与高质量的标签来自以下的注释计划专门开发的性别偏见在中国的情况下。此外,我们解决了自动文本性别偏见缓解的三个挑战,这需要模型来检测,分类和缓解文本性别偏见。我们还使用最先进的语言模型进行实验,以提供基线。据我们所知,CORGI-PM是第一个用于性别偏见研究和缓解的高级汉语语料库。
2023-01-01 cs.AI cs.CL cs.CY
Exploring the Linear Subspace Hypothesis in Gender Bias Mitigation
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
本文推广Bolukbasi等人(2016)的线性性别偏见缓解方法至核化非线性版本,并实证验证了偏见子空间确为线性,支持原假设。
2024-05-22 cs.CL cs.CY cs.LG
Gender Bias in Machine Translation and The Era of Large Language Models
本章综述传统神经机器翻译与大语言模型中的性别偏见,并通过英语—意大利语场景下的 ChatGPT 实验评估其偏见应对能力,强调持续缓解偏见、促进公平包容的必要性。
2024-01-18 cs.AI cs.CL cs.CY
From Individuals to Interactions: Benchmarking Gender Bias in Multimodal Large Language Models from the Lens of Social Relationship
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学)
本文提出Genres基准,通过双角色叙事生成任务从社会关系视角评估多模态大语言模型中的性别偏见,实验表明开源与闭源模型均存在单角色场景下无法显现的情境敏感偏见,为偏见诊断与缓解提供新思路。
2026-10-14 cs.AI cs.CL cs.CY
Who Gets Cited? Gender- and Majority-Bias in LLM-Driven Reference Selection
本研究通过受控实验发现,LLM在参考文献选择中表现出对男性作者和多数性别群体的双重偏见,且偏见随候选池增大而加剧,提示需在学术工作流中引入缓解策略。
2025-08-02 cs.AI cs.CY cs.DL
She Works, He Works: A Curious Exploration of Gender Bias in AI-Generated Imagery
University of Ioannina(约阿尼纳大学)
本文基于Griselda Pollock的视觉文化理论,分析了建筑工人AI生成图像中的性别偏见,发现AI倾向于性化女性并赋予男性权威形象,强调需批判性对待AI内容以应对其伦理影响。
2026-10-28 cs.AI cs.CV cs.CY
"I'm Not Confident in Debiasing AI Systems Since I Know Too Little": Teaching AI Creators About Gender Bias Through Hands-on Tutorials
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Duke Kunshan University(昆山杜克大学);University of California, Berkeley(加州大学伯克利分校)
本文针对AI系统中严重的性别偏见问题,设计了实践教程以提升AI创建者的认知与消除偏见技术,经18名受试者验证有效,为未来CS/AI教育提供了设计启示与评估准则。
2023-09-15 cs.AI cs.CY cs.HC
Politeness Stereotypes and Attack Vectors: Gender Stereotypes in Japanese and Korean Language Models
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
该研究针对日语和韩语语言模型,探究礼貌层级相关的语法性别偏见,发现礼貌层级是网络欺凌检测模型的性别偏见攻击向量,并构建攻击数据集以识别偏见、展示攻击方式及缓解分配式偏见,呼吁偏见研究突破英语中心局限。
2023-06-16 cs.AI cs.CL cs.CY
Exploring Gender and Race Biases in the NFT Market
MIT(麻省理工学院);Microsoft(微软)
本文首次在更广泛的 NFT 市场中检验性别与种族偏见,发现 CryptoPunks 存在种族偏见但无性别偏见,并构建了性别标注的 NFT 数据集以促进社会公平研究。
2023-03-29 cs.CY cs.LG cs.SI
Gender Bias in Text-to-Video Generation Models: A case study of Sora
Aligarh Muslim University(阿利加尔穆斯林大学);VIT Bhopal University(韦洛尔理工大学博帕尔分校);Nanyang Technological University(南洋理工大学);Technical University of Munich(慕尼黑工业大学);Imperial College London(帝国理工学院);Edinburgh Napier University(爱丁堡龙比亚大学)
本文通过分析 Sora 对性别中立及刻板印象提示生成的视频,揭示其将特定性别与行为和职业不当关联的偏见及训练数据根源。
2025-01-10 cs.AI cs.CV cs.CY
Using Word Embeddings to Examine Gender Bias in Dutch Newspapers, 1950-1990
DHLab KNAW Humanities Cluster(荷兰皇家艺术与科学学院人文集群数字实验室)
当代关于公共和社交媒体中的过滤泡沫和两极分化的辩论提出了一个问题,即过去的新闻媒体在多大程度上表现出偏见。本文专门探讨偏见有关的性别在1950年和1990年之间的六个荷兰全国性报纸。我们通过比较在具有不同意识形态背景的报纸上训练的词嵌入模型的局部变化来衡量与性别相关的偏见。我们展示了性别偏见的明显差异,以及随着时间的推移报纸内部和之间的变化。在性和休闲等主题方面,我们看到偏向女性的倾向,而一般来说,偏向男性的倾向,尽管女性就业人数和女权主义运动不断增加。尽管荷兰社会在意识形态上变得不那么分层(去支柱化),但我们发现宗教和社会民主派与自由派报纸之间的性别偏见越来越大。在方法论上,本文阐述了如何利用词嵌入来考察历史语言变化。未来的工作将研究如何微调深度上下文嵌入模型,如ELMO,可能用于具有更多上下文信息的类似任务。
2019-07-21 cs.CL cs.CY cs.LG
Are Models Biased on Text without Gender-related Language?
University of California Irvine(加州大学欧文分校)
本文提出 UnStereoEval 框架,在无性别相关语言的场景中评估模型性别偏见,发现 28 个模型仅在 9%-41% 的句子中表现公平,表明偏见并非仅源于性别词汇。
2024-05-01 cs.AI cs.CL cs.CV