Female Librarians and Male Computer Programmers? Gender Bias in Occupational Images on Digital Media Platforms
媒体平台、技术体系、搜索引擎等,充当着各类信息的通道和把关人。它们往往影响、反映和强化性别陈规定型观念,包括那些代表职业的陈规定型观念。这项研究探讨了数字媒体平台上性别刻板印象的普遍性,并考虑了人类创造和策划信息的努力如何直接影响这些刻板印象。虽然社交媒体和算法中的性别陈规定型观念在最近的文献中得到了一些研究,但它在不同类型的平台(例如,维基对新闻对社交网络)以及在不同的条件下(例如,人类和机器主导的内容创建和管理的程度)还有待研究。这项研究探讨了某些强烈性别职业(图书管理员,护士,计算机程序员,土木工程师)的刻板印象持续存在的程度,并且可能在数字平台(Twitter,纽约时报在线,维基百科和Shutterstock)上有所不同。结果表明,当人类直接在数字平台上创建和策划内容时,性别刻板印象最有可能受到挑战,而高度算法化的策划方法几乎没有表现出打破刻板印象的倾向。更具包容性的设计和使用的数字媒体平台,特别是在介导的职业信息的影响,进行了讨论。
2019-12-11 cs.CY cs.HC
Politeness Stereotypes and Attack Vectors: Gender Stereotypes in Japanese and Korean Language Models
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
该研究针对日语和韩语语言模型,探究礼貌层级相关的语法性别偏见,发现礼貌层级是网络欺凌检测模型的性别偏见攻击向量,并构建攻击数据集以识别偏见、展示攻击方式及缓解分配式偏见,呼吁偏见研究突破英语中心局限。
2023-06-16 cs.AI cs.CL cs.CY
From Perceived Effectiveness to Measured Impact: Identity-Aware Evaluation of Automated Counter-Stereotypes
本研究评估两种自动反刻板印象策略对社交媒体用户性别偏见的实际影响,发现实际效果与感知不一致且因身份而异,呼吁动态情境感知的评估与缓解方法。
2025-10-27 cs.CY
"My Kind of Woman": Analysing Gender Stereotypes in AI through The Averageness Theory and EU Law
本研究基于平均性理论,利用Stable Diffusion 2.1模型生成数据集,发现AI性别分类准确性受面部吸引力影响,揭示了算法中的社会偏见,并强调结合认知心理学与女性主义法学理论在GDPR等法律框架下保障AI性别平等的重要性。
2024-06-27 cs.AI cs.CY
Local Contrastive Editing of Gender Stereotypes
University of Mannheim(曼海姆大学);University of Amsterdam(阿姆斯特丹大学);University of Mannheim, GESIS, CSH Vienna(曼海姆大学、GESIS、维也纳CSH);University of Hamburg(汉堡大学)
本文提出局部对比编辑方法,通过对比参考模型定位并编辑语言模型中编码性别刻板印象的少量权重(<0.5%),以精确控制性别偏差,并推动参数高效模型属性控制策略的发展。
2024-10-23 cs.CL cs.CY
The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data
University of Trento(特伦托大学)
本研究通过在线购物数据分析大语言模型中的性别偏见,发现模型在性别预测中受刻板印象影响,且减少偏见指令只能降低预测确定性,无法消除刻板印象模式。
2025-12-11 cs.AI cs.CL cs.CY
Evaluating Large Language Models through Gender and Racial Stereotypes
Georgia Institute of Technology(佐治亚理工学院)
本研究建立评估框架,在专业背景下对比分析大型语言模型的性别和种族偏见,发现新模型中性别偏见大幅减少但种族偏见依然存在。
2023-11-24 cs.AI cs.CL cs.CY
Word Embeddings Quantify 100 Years of Gender and Ethnic Stereotypes
Stanford University(斯坦福大学)
词嵌入使用向量来表示词,使得向量之间的几何形状捕获词之间的语义关系。在本文中,我们开发了一个框架,以展示如何嵌入的时间动态可以利用量化的变化,在20世纪和21世纪的美国对妇女和少数民族的刻板印象和态度。我们将100年文本数据训练的词嵌入与美国人口普查相结合,以表明嵌入的变化与人口和职业的变化密切相关。嵌入捕捉全球社会变化-例如,20世纪60年代的妇女运动和亚洲移民到美国--也阐明了具体的形容词和职业是如何随着时间的推移与某些人群联系得更紧密的。我们的词嵌入的时间分析框架开辟了机器学习和定量社会科学之间的一个强大的新的交叉点。
2017-11-22 cs.CL cs.CY
The Male CEO and the Female Assistant: Evaluation and Mitigation of Gender Biases in Text-To-Image Generation of Dual Subjects
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出PST框架系统评估双主体T2I生成中的性别偏见,并设计FairCritic框架通过LLM评判模型检测偏见并自适应反馈,在PST上实现近乎完美的公平性。
2025-06-02 cs.AI cs.CV cs.CY
Decoding the Gender Gap: Addressing Gender Stereotypes and Psychological Barriers to Empower Women in Technology
本文通过结构化综述分析科技领域性别差距的社会与心理成因,结合德国项目经验,提出教育、组织、导师与心理支持等综合干预路径,并介绍 NEURON 赋能项目。
2025-09-30 cs.CY cs.HC
Language, communication and society: a gender based linguistics analysis
National Research Council of Italy(意大利国家研究委员会);Institute of Intelligent Systems for Automation – Genoa branch(智能系统自动化研究所热那亚分部);Institute of Electronics, Computer and Telecommunication Engineering – Genoa branch(电子、计算机与通信工程研究所热那亚分部)
本研究的目的是寻找证据支持这一假设,即语言是我们的思想,我们的偏见和文化成见的镜子。在这项分析中,对537人进行了问卷调查。对回答进行了分析,以确定是否存在性别陈规定型观念,例如心理和行为特征的归属。特别是,其目的是查明在界定现代社会男女角色时出现的定型形象。此外,给出的结果可以作为一个很好的起点,以了解性别陈规定型观念及其产生的期望是否会导致惩罚或不平等。如果是这样的话,这种语言及其使用本身就会产生性别偏见,影响工作环境和日常生活中的评价。
2020-07-14 cs.CL cs.CY
How Do Mothers and Fathers Talk About Parenting to Different Audiences?: Stereotypes and Audience Effects: An Analysis of r/Daddit, r/Mommit, and r/Parenting Using Topic Modelling
虽然在公共生活中实现性别平等方面取得了重大进展,但在家庭领域,特别是在养育子女方面,仍然存在严重的不平等。本研究分析了Reddit上关于育儿的讨论,以探讨受众效应和性别刻板印象。这为研究个体在与不同受众互动时的语言主题变异提供了一种新的方法。2020年发布的评论来自三个育儿子Reddit,分别为父亲(r/Daddit)、母亲(r/Mommit)和所有父母(r/Parenting)。在r/Parenting和r/Daddit或r/Parenting和r/Mommit上发帖的用户被假定分别标识为父亲或母亲,允许性别比较。使用LDA主题建模,将用户对r/Parenting(针对混合性别受众)的评论与他们对r/Daddit或r/Mommit的单性别受众的评论进行了比较。结果显示,父母讨论最多的话题是关于教育和家庭建议,这个话题主要在混合性别子Reddit上讨论,父亲比母亲更多。关于儿童的基本需求(睡眠、食物和医疗),母亲似乎更关心,无论观众是谁。相比之下,在以父亲为中心的Reddit子站中,父亲们更多地讨论出生和怀孕通知以及外表等话题。总的来说,调查结果似乎表明,母亲一般更关心育儿的实际方面,而父亲表达的关切则更有背景:与其他父亲一起,在与母亲讨论教育问题时,似乎希望表现出父亲的身份并得到承认。这些结果表明,父母在Reddit上表达的担忧是对上下文敏感的,但也符合性别陈规定型观念,可能反映…
2022-02-25 cs.CY cs.SI
User Acceptance of Gender Stereotypes in Automated Career Recommendations
The Harker School(哈克学校);The Dalton School(道尔顿学校);River Hill High School(河山高中);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
目前,人们对公平的人工智能(AI)和机器学习(ML)研究的兴趣激增,这些研究旨在减轻AI算法中的歧视性偏见,例如性别,年龄和种族。虽然这一领域的大多数研究都集中在开发公平的AI算法上,但在这项工作中,我们表明,公平的AI算法本身可能不足以在现实世界中实现其预期的结果。以职业推荐为例,通过引入性别去偏机器学习技术,构建了一个公平的人工智能职业推荐系统。我们的离线评估表明,去偏见推荐器在不牺牲准确性的情况下做出了更公平的职业推荐。然而,一项针对200多名大学生的在线用户研究显示,平均而言,参与者更喜欢原始的偏见系统,而不是去偏见系统。具体来说,我们发现,感知的性别差异是一个决定性因素,接受一项建议。换句话说,我们的研究结果表明,如果不解决人类的性别偏见,我们就无法完全解决人工智能建议中的性别偏见问题。
2021-07-28 cs.AI cs.CY cs.LG
Analyzing Gender Stereotyping in Bollywood Movies
在社会的许多方面存在性别陈规定型观念是一个众所周知的现象。在本文中,我们专注于研究这种刻板印象和偏见在印地语电影业(宝莱坞)。我们分析了自1970年以来发行的所有电影的电影情节和海报。通过对句间和句内情节的语义建模,发现了句子中的性别偏见。电影中的职业、角色介绍、关联动作和描述等不同的特征被捕捉到,以显示性别偏见和立体式在电影中的普遍性。我们推导出一个语义图,计算每个字符的中心性,并观察到类似的偏见。我们还表明,这种偏见是不适用的电影海报,女性得到同等的重要性,即使他们的性格有很少或没有影响的电影情节。此外,我们还探索了电影预告片,以估计男性和女性的屏幕上的时间,并研究了他们的性别情感的写照。令人欣慰的是,我们的系统能够在过去3年中识别出30部打破这种刻板印象的电影。
2017-10-11 cs.CY cs.SI
Automated Evaluation of Gender Bias Across 13 Large Multimodal Models
Aymara
本研究提出Aymara图像公平性评估基准,测试13个大型多模态模型,发现它们普遍放大职业性别刻板印象且存在默认男性偏见,但模型间差异显著,表明高偏见可通过设计选择避免。
2025-09-08 cs.AI cs.CV cs.CY
Are Models Biased on Text without Gender-related Language?
University of California Irvine(加州大学欧文分校)
本文提出 UnStereoEval 框架,在无性别相关语言的场景中评估模型性别偏见,发现 28 个模型仅在 9%-41% 的句子中表现公平,表明偏见并非仅源于性别词汇。
2024-05-01 cs.AI cs.CL cs.CV
Gender bias and stereotypes in Large Language Models
Apple(苹果公司);MIT(麻省理工学院);Swarthmore College(斯沃斯莫尔学院)
本文测试四个大型语言模型,发现它们在选择职业时存在性别偏见,比感知和实际情况更严重,且常忽略歧义并提供不准确解释,强调需公平对待少数群体。
2023-08-28 cs.CL cs.CY cs.LG
Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You
TU Darmstadt(图宾根大学);Ontocord(Ontocord公司);Technical University of Munich (TUM)(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);CERTAIN(CERTAIN公司);DFKI(德意志联邦防务研究院);Charles University Prague(布拉格查理大学);Centre for Cognitive Science, Darmstadt(达姆施塔特认知科学中心);Munich Data Science Institute(慕尼黑数据科学研究所)
本文提出多语言性别偏见基准MAGBIG,发现多语言文本到图像模型不仅存在显著的性别刻板印象,且不同语言间表现差异显著,而提示工程策略缓解偏见效果有限并损害文本对齐。
2025-06-02 cs.CL cs.CY cs.LG
An Empirical Investigation of Gender Stereotype Representation in Large Language Models: The Italian Case
Politecnico di Torino(都灵理工大学)
本文通过意大利语职业层级提示实验,测试ChatGPT与Gemini的性别职业偏见,发现二者均显著将女性代词关联于低层职位。
2025-07-25 cs.AI cs.CL cs.CY
Exploring Gender Biases in Language Patterns of Human-Conversational Agent Conversations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究探讨对话智能体(CAs)的性别设计如何触发并强化用户的性别偏见,分析人机交互的语言模式,为促进性别平等的伦理设计提供指导。
2024-01-05 cs.CL cs.CY cs.HC
A Survey on Stereotype Detection in Natural Language Processing
Language and Translation Technology Team, Ghent University(格鲁特大学语言与翻译技术团队);Department of Methodology and Statistics, Utrecht University(乌得勒支大学方法学与统计学系)
本文综述了NLP中的刻板印象检测研究,分析了跨学科定义,基于6000余篇论文识别趋势与挑战,强调其作为早期监测工具的价值,并呼吁多语言与交叉性研究。
2025-09-29 cs.CL cs.CY
Gender and Racial Bias in Visual Question Answering Datasets
Osaka University(大阪大学)
视觉和语言任务作为评估机器学习模型中类人推理的一种手段越来越受到关注。该领域的一个流行任务是视觉问答(VQA),其目的是回答有关图像的问题。然而,VQA模型已经被证明可以通过学习问题和答案之间的统计相关性来利用语言偏见,而无需查看图像内容:例如,关于香蕉颜色的问题用黄色来回答,即使图像中的香蕉是绿色的。如果社会偏见(例如,性别歧视、种族主义、残疾歧视等)存在于训练数据中,这个问题可能会导致VQA模型学习有害的定型。出于这个原因,我们调查了五个VQA数据集的性别和种族偏见。在我们的分析中,我们发现,答案的分布是非常不同的问题之间的妇女和男子,以及存在有害的性别陈规定型观念的样本。同样,我们发现特定的种族相关属性代表性不足,而潜在的歧视性样本出现在分析的数据集中。我们的研究结果表明,使用VQA数据集而不考虑和处理潜在有害的刻板印象是有危险的。我们通过提出解决方案来缓解数据集收集过程之前,期间和之后的问题来结束本文。
2022-06-03 cs.CV cs.CY
Assessing gender bias in medical and scientific masked language models with StereoSet
SIU School of Medicine(南伊利诺伊大学医学院)
NLP系统使用语言模型,例如Masked语言模型(MLM),这些模型在大量文本(例如Wikipedia)上进行预训练,以创建语言表示。BERT是一个强大而灵活的通用MLM系统,使用未标记的文本开发。对大量文本进行预训练也有可能将源文本中的文化和社会偏见透明地嵌入到传销系统中。本研究的目的是比较一般用途和医疗MLMs与StereoSet偏差评估工具的偏差。通用MLMs总体上显示出显著偏倚,BERT评分为57,RoBERTa评分为61。性别偏见类别是发现表现最好的类别,BERT为63,RoBERTA为73。专业,种族和宗教的表现是相似的总体偏见分数为通用MLMs.医疗MLMs显示更多的偏见,在所有类别比通用MLMs除了科学BERT,它显示了种族偏见得分为55,这是优于种族偏见得分为53 BERT。医学多层膜中发现了更多的性别(医学54-58比一般63-73)和宗教(46-54比58)偏见。这四个医疗MLMs关于种族,性别,宗教和职业的刻板印象评估的评价显示,一般用途的MLMs性能较差。这些以医学为重点的MLM在训练源数据方面差异很大,这可能是StereoSet工具对刻板偏见评级差异的根本原因。
2021-11-15 cs.CL cs.CY
Divine LLaMAs: Bias, Stereotypes, Stigmatization, and Emotion Representation of Religion in Large Language Models
Bocconi University(博科尼大学);University of Leeds(利兹大学)
本研究通过情感归因探究大语言模型中的宗教表征,发现欧美宗教表征更细致、东方宗教存刻板印象、犹太教与伊斯兰教遭污名化,归因于文化偏见与相关NLP研究匮乏,凸显纠正偏见的紧迫性。
2024-07-09 cs.CL cs.CY
Measuring Machine Learning Harms from Stereotypes Requires Understanding Who Is Harmed by Which Errors in What Ways
Stanford University(斯坦福大学);Cornell Tech(康奈尔科技);University of Chicago(芝加哥大学);Microsoft Research(微软研究院)
本研究通过图像搜索案例,发现强化刻板印象的机器学习错误主要造成主观体验伤害,且对女性影响更大,提出公平性缓解需考虑伤害的具体类型与对象。
2025-05-24 cs.AI cs.CY
Gender bias across LLMs is common and highly heterogeneous
University of Milan-Bicocca(米兰比可卡大学)
本研究通过两项实验评估十个LLM的性别偏见,发现偏见普遍存在但方向和程度高度异质,强调偏见审计需持续进行并覆盖多供应商。
2026-10-01 cs.AI cs.CL cs.CY
Protected group bias and stereotypes in Large Language Models
Apple(苹果公司);MIT(麻省理工学院);University of Manchester(曼彻斯特大学)
本文研究了大型语言模型在伦理和公平性领域的受保护群体偏见,通过收集并人工标注超过1万个句子补全,发现模型不仅反映且放大了社会偏见,并在回复少数群体查询时过度谨慎,强调多样性而掩盖其他特征。
2024-03-21 cs.CL cs.CY cs.LG
Surprising gender biases in GPT
University of Milan-Bicocca(米兰比可卡大学)
本文通过七项实验考察 GPT 的性别偏见,发现其在作者归因和高风险道德困境中存在不对称、内隐且情境依赖的性别判断,提示包容性措施需谨慎管理。
2024-07-08 cs.AI cs.CY
Gender bias in (non)-contextual clinical word embeddings for stereotypical medical categories
Utrecht University(乌得勒支大学)
临床词嵌入作为一种最先进的特征向量表示,广泛应用于各种生物自然语言处理问题。虽然他们在单词的语义表示方面非常成功,但由于他们接受培训的数据集-可能带有统计和社会偏见-他们可能会表现出性别刻板印象。本研究分析性别偏见的临床嵌入三个医学类别:精神障碍,性传播疾病和人格特质。在这种程度上,我们分析了两种不同的预训练嵌入,即(情境化)临床BERT和(非情境化)BioWordVec。我们发现,这两种嵌入都偏向于敏感的性别群体,但BioWordVec在所有三个类别中表现出比临床BERT更高的偏差。此外,我们的分析表明,临床嵌入进行了高度的偏见,一些医学术语和疾病,这是与医学文献相冲突。这种缺乏根据的关系可能会对使用临床嵌入的下游应用造成损害。
2022-08-08 cs.CL cs.CY
Bias and Volatility: A Statistical Framework for Evaluating Large Language Model's Stereotypes and the Associated Generation Inconsistency
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);China University of Petroleum (Beijing)(中国石油大学(北京))
提出偏见-波动性框架(BVF),通过分解偏见风险与波动性风险,量化评估大型语言模型生成中的刻板印象及其不一致性,发现偏见风险主导歧视且RLHF降低偏见但增加波动。
2025-05-26 cs.CL cs.CY
The Silicon Ceiling: Auditing GPT's Race and Gender Biases in Hiring
University of Pennsylvania(宾夕法尼亚大学);Temple University(天普大学)
本研究受传统简历审计启发,对 OpenAI 的 GPT-3.5 在招聘中的种族与性别偏见进行 AI 审计,发现该模型在简历评估和生成中均表现出基于刻板印象的偏见。
2024-11-15 cs.CL cs.CY
A Survey on Gender Bias in Natural Language Processing
University of Copenhagen(哥本哈根大学)
语言可被用作复制和强化有害的陈规定型观念和偏见的手段,许多研究都对此进行了分析。本文对304篇关于自然语言处理中性别偏见的论文进行了统计分析。我们分析了社会科学中性别及其类别的定义,并将其与NLP研究中性别偏见的正式定义联系起来。我们调查了性别偏见研究中应用的词汇和数据集,然后比较和对比了检测和减轻性别偏见的方法。我们发现,性别偏见的研究受到四个核心限制。1)大多数研究将性别视为二元变量,忽视了其流动性和连续性。2)大多数工作都是在英语或其他高资源语言的单语设置中进行的。3)尽管有无数关于NLP方法中性别偏见的论文,但我们发现大多数新开发的算法都没有测试他们的模型是否存在偏见,也没有考虑到他们工作中可能存在的道德问题。4)最后,在这一研究领域制定的方法存在根本性缺陷,涉及性别偏见的定义非常有限,缺乏评价基线和管道。我们建议克服这些限制,为今后的研究提供指导。
2021-12-28 cs.CL cs.CY
Robots Enact Malignant Stereotypes
Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学);Johns Hopkins University(约翰斯·霍普金斯大学);Technical University of Munich(慕尼黑工业大学)
刻板印象,偏见和歧视已经在机器学习(ML)方法中得到了广泛的记录,例如计算机视觉(CV)[18,80],自然语言处理(NLP)[6]或两者,在大型图像和标题模型的情况下,如OpenAI CLIP [14]。在本文中,我们评估了ML偏见如何体现在机器人中,这些机器人在世界范围内进行物理和自主行动。我们审计了最近发表的几个CLIP驱动的机器人操作方法之一,将其与表面上有人脸照片的物体一起呈现,这些照片在种族和性别上各不相同,同时还有包含与常见刻板印象相关的术语的任务描述。我们的实验明确地表明,机器人在性别、种族和科学上不可信的外貌方面表现出有毒的刻板印象。此外,审计方法不太可能识别女性和有色人种。我们的跨学科社会技术分析综合了各个领域和应用,如科学技术与社会(STS),批判性研究,历史,安全,机器人和人工智能。我们发现,由包含人类的大型数据集和溶解模型(有时称为“基础模型“,例如CLIP)驱动的机器人通常会在物理上放大恶性刻板印象;仅仅纠正差异不足以解决问题的复杂性和规模。相反,我们建议,那些在物理上表现出刻板印象或其他有害结果的机器人学习方法应该暂停、重新工作,甚至在适当的时候减少,直到结果被证明是安全、有效和公正的。最后,我们讨论了全面的政策变化和新的跨学科研究的潜力,如身份安全评估框架和设计正义,以更好地理解和解决这些危害。
2022-07-23 cs.AI cs.CV cs.CY
A Large Scale Analysis of Gender Biases in Text-to-Image Generative Models
Technical University of Munich, Munich Center for Machine Learning, MDSI(慕尼黑技术大学、慕尼黑机器学习中心、MDSI);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎理工学院);Helmholtz Munich(海德堡-慕尼黑研究中心);University of California, Berkeley(加州大学伯克利分校)
该研究构建3,217条性别中立提示词并分析五个主流T2I模型生成的逾229万张图像,揭示其在日常活动、物品与情境中强化传统性别角色和刻板印象。
2025-09-29 cs.CV cs.CY
Uncovering Bias in Foundation Models: Impact, Testing, Harm, and Mitigation
Nankai University(南开大学);University of Oulu(奥卢大学);National University of Defense Technology(国防科技大学)
本研究提出TriProTesting测试方法和AdaLogAdjustment后处理技术,揭示并缓解CLIP等基础模型在性别、种族等属性上的显性和混合偏见,无需重训练即可显著提升公平性。
2025-01-14 cs.AI cs.CY cs.LG
Fine-Tuning Strategy, Not Just Data: A Statistically Rigorous Audit of Gender and Stereotypical Bias in Embedding Models for HR Recommendation Systems
Randstad N.V.(兰仕德有限公司)
该研究审计六种嵌入模型,发现E5-Base的知识蒸馏微调会显著增加人力资源推荐系统的偏差,二分类微调则无显著变化,指出微调策略是控制偏差的关键设计杠杆。
2026-10-14 cs.CL cs.CY cs.IR