When Stereotypes GTG: The Impact of Predictive Text Suggestions on Gender Bias in Human-AI Co-Writing
University of Maryland(马里兰大学)
研究探讨了预测文本建议对人类-人工智能共写中性别偏见的影响,发现挑战刻板印象的建议可能增加反刻板印象故事的比例,但刻板印象叙事仍占主导,表明技术去偏见效果有限。
2026-02-18 cs.CL
FairI Tales: Evaluation of Fairness in Indian Contexts with a Focus on Bias and Stereotypes
Nilekani Centre at AI4Bharat(AI4Bharat 奈尔肯中心);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Indian Institute of Science, Bangalore(印度科学研究所班加罗尔)
针对现有公平性研究西方中心化问题,提出印度语境基准INDIC-BIAS,包含85个身份群体与2万个场景模板,评估14个LLM发现其存在强烈偏见与刻板印象,呼吁实际应用中谨慎使用。
2025-06-29 cs.CL
Constructing Holistic Measures for Social Biases in Masked Language Models
本文提出KLDivS和JSDivS两种基于高斯分布假设的整体度量,用于评估掩码语言模型中的社会偏见,在StereoSet和CrowS-Pairs上验证了其稳定性和可解释性。
2023-09-01 cs.CL
Probing Gender Bias in Multilingual LLMs: A Case Study of Stereotypes in Persian
University of Tehran(德黑兰大学);Tehran Institute for Advanced Studies(德黑兰高等研究院)
本研究提出基于模板的探测方法和DS-GSI指标,评估四个多语言大模型在波斯语中的性别刻板印象,发现所有模型均存在偏见且波斯语差异大于英语,体育领域最严重。
2025-09-24 cs.CL
Is there Gender bias and stereotype in Portuguese Word Embeddings?
UFRGS(南里奥格兰德联邦大学);Instituto de Informática(信息学院)
在这项工作中,我们提出了一个分析与葡萄牙语词嵌入的职业性别偏见的存在。这项工作的目的是研究葡萄牙语中与男女定型职业有关的性别影响。
2018-10-10 cs.AI cs.CL
Fewer Errors, but More Stereotypes? The Effect of Model Size on Gender Bias
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
预训练模型的大小正在增加,它们在各种NLP任务上的性能也在增加。然而,随着他们记忆能力的增强,他们可能会发现更多的社会偏见。在这项工作中,我们研究模型大小和性别偏见(特别是职业性别偏见)之间的联系。我们在两种设置中测量三个掩蔽语言模型家族(RoBERTa,DeBERTa和T5)的偏差:直接使用基于提示的方法,和使用下游任务(Winogender)。我们发现,一方面,较大的模型在前一项任务中获得更高的偏见分数,但在后一项任务中,它们的性别错误较少。为了检验这些可能相互矛盾的结果,我们仔细研究了Winogender上不同模型的行为。我们发现,虽然较大的模型表现优于较小的模型,但它们的错误由性别偏见引起的概率更高。此外,我们发现,与反刻板印象错误相比,刻板印象错误的比例随着模型大小的增加而增加。我们的研究结果强调了增加模型大小可能带来的潜在风险。
2022-06-20 cs.CL
Let's Unlearn Stereotypes Before Decision-Making: Assessing the Impact of Intrinsic Bias Mitigation on Downstream Fairness in LLMs
本研究提出公平感知概念忘却(FACU)方法,在保留预测性能的同时缓解LLM内在偏差,可提升下游公平性,结合反事实数据增强效果更佳,为LLM公平性优化提供了新路径。
2026-08-10 cs.CL cs.CY cs.LG
Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias
University of Groningen(格罗宁根大学);University of Malta(马耳他大学)
语境化的词嵌入已经取代标准嵌入,成为NLP系统中选择的表征性知识源。由于之前在标准词嵌入中发现了各种偏见,因此评估其替换中编码的偏见也至关重要。关注BERT(Devlin等人,2018),我们通过研究英语和德语中表示性别的目标词与职业名称之间的关联来衡量性别偏见,并将研究结果与现实世界的劳动力统计数据进行比较。我们通过在GAP语料库上微调BERT来减轻偏差(Webster等人,2018),在应用反事实数据替代(CDS)(Maudslay等人,2019年)。我们表明,我们的方法测量偏见是适当的语言,如英语,但不适合语言丰富的形态和性别标记,如德语。我们的研究结果强调了跨语言调查偏见和缓解技术的重要性,特别是考虑到目前对大规模,多语言语言模型的重视。
2020-10-27 cs.CL
Mitigating Gender Stereotypes in Hindi and Marathi
Manipal Institute of Technology(马尼帕尔理工学院);MAHE(马尼帕尔高等教育学院);University of Texas, Austin(德克萨斯大学奥斯汀分校)
随着自然语言处理在我们日常生活中的使用越来越多,解决这些系统中固有的性别偏见的需求也越来越大。这是因为在执行机器翻译等任务时,固有的偏见会干扰这些系统输出的语义结构。虽然研究是在英语中进行量化和减轻偏见,印度语言中的去偏见方法要么相对新生,要么完全没有一些印度语言。大多数印度语言都是有性别的,即,每个名词都根据每种语言的语法规则被赋予一个性。因此,评价不同于用英语进行的评价。本文评估了印地语和马拉地语中的性别刻板印象。这些方法将不同于英语中的方法,因为在某些单词中有阳性和阴性对应物。我们建立了一个中性和性别的职业词,情感词和测量偏见的嵌入连贯性测试(ECT)和相对范数距离(RND)的帮助下的数据集。我们也试图减轻这种偏见的嵌入。实验表明,我们提出的去偏见技术减少这些语言中的性别偏见。
2022-05-12 cs.CL
Detecting and Mitigating Indirect Stereotypes in Word Embeddings
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出BIRM方法,通过在学习嵌入前修改词间共现概率来消除偏见属性影响,以缓解词嵌入中的间接偏见,实验证明其能降低偏见且仅轻微影响语义质量。
2023-05-23 cs.CL cs.LG
The Missing Minimal Pair: Stereotype Evaluation in LLMs
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
针对大语言模型刻板印象评估中单对比较不可靠的问题,提出双最小对设置及数据增强框架,并引入基于互信息的评估指标,实现跨语言和模型的稳健比较。
2026-10-07 cs.CL
A Stereotype Content Analysis on Color-related Social Bias in Large Vision Language Models
Department of Artificial Intelligence, Chung-Ang University(人工智能系, Chung-Ang 大学)
针对大型视觉语言模型(LVLMs)的刻板印象评估在实词和颜色影响上的局限,本研究提出基于SCM的新评估指标和BASIC基准,对8个LVLMs进行测试,发现模型存在颜色、性别和种族刻板印象,且架构与参数规模的交互作用对此有影响。
2025-05-27 cs.AI cs.CL
MBBQ: A Dataset for Cross-Lingual Comparison of Stereotypes in Generative LLMs
Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所);Center for Language and Cognition, University of Groningen(格罗宁根大学语言与认知中心)
提出MBBQ多语言问答偏见基准,扩展至荷兰语、西班牙语和土耳其语,验证了非英语语言中LLMs的刻板印象偏见更严重,并发现跨语言偏见差异显著。
2026-11-03 cs.CL
Quantifying Gender Bias in Consumer Culture
Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
歌曲等文化项目在创造和加强陈规定型观念、偏见和歧视方面具有重要影响。但这些项目的实际性质往往不那么透明。以歌曲为例。歌词对女性有偏见吗?随着时间的推移,这些偏见是如何改变的?自然语言处理对50年来25万首歌曲进行了量化。女性不太可能与理想的特征(即,虽然这种偏见已经减少,但它仍然存在。辅助分析进一步表明,歌词可能有助于推动社会对女性的刻板印象的转变,而抒情的转变是由男性艺术家推动的(因为女性艺术家一开始就没有那么偏见)。总的来说,这些结果揭示了文化进化,偏见和歧视的微妙措施,以及自然语言处理和机器学习如何更深入地了解刻板印象和文化变革。
2022-01-10 cs.CL
Simulating Identity, Propagating Bias: Abstraction and Stereotypes in LLM-Generated Text
Computational Linguistics and Text Mining Lab, Vrije Universiteit, Amsterdam(自由大学计算语言学与文本挖掘实验室);Università di Bologna(博洛尼亚大学);CLCG, University of Groningen(格罗宁根大学CLCG)
本文研究人物角色提示是否导致LLM生成文本出现不同语言抽象化水平,引入Self-Stereo数据集,通过具体性、特异性和否定性三个指标分析六种模型,发现该方法在调节抽象化上有限,且可能传播刻板印象。
2025-09-10 cs.CL
Dual Debiasing: Remove Stereotypes and Keep Factual Gender for Fair Language Modeling and Translation
Institute of Formal and Applied Linguistics, Faculty of Mathematics and Physics Charles University(查理大学数学与物理学院形式与应用语言学研究所)
提出双重去偏算法2DAMA,通过模型适应在减少性别刻板偏见的同时保留事实性别信息,有效提升英语语言建模与翻译的公平性。
2025-01-30 cs.AI cs.CL
Investigating Thinking Behaviours of Reasoning-Based Language Models for Social Bias Mitigation
本文研究了基于推理的语言模型在缓解社会偏见中的思维机制,发现两种导致偏见累积的失败模式,并提出轻量级提示方法减少偏见同时保持准确性。
2026-05-12 cs.AI cs.CL
Text Style Transfer for Bias Mitigation using Masked Language Modeling
University of Antwerp(安特卫普大学)
众所周知,互联网和其他数字平台上的文本数据包含大量偏见和刻板印象。虽然许多这样的文本包含固有地存在于自然语言中的刻板印象和偏见,其原因不一定是恶意的,但有关键的原因来减轻这些偏见。首先,这些文本正被用作训练语料库,为简历筛选、搜索引擎和聊天机器人等突出应用训练语言模型;这些应用正在产生歧视性的结果。此外,一些研究结果得出结论,有偏见的文本对目标人口群体有显着影响。例如,男性化措辞的招聘广告往往对女性申请人不那么有吸引力。在本文中,我们提出了一个文本风格转换模型,可以用来自动去偏文本数据。我们的风格转换模型改进了许多现有风格转换技术的局限性,例如内容信息丢失。我们的模型通过将潜在内容编码与显式关键字替换相结合来解决这些问题。我们将证明,这种技术产生更好的内容保存,同时保持良好的风格转移的准确性。
2022-01-21 cs.CL
Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation
Texas A&M University(德克萨斯A&M大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出无需预定义性别短语和刻板印象的条件文本生成机制,通过三类输入和显隐性指标评估LLM性别偏见,发现模型增大未必提升公平性且所有被测模型均存在显性或隐性偏见。
2023-11-01 cs.CL
Bias and Volatility: A Statistical Framework for Evaluating Large Language Model's Stereotypes and the Associated Generation Inconsistency
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);China University of Petroleum (Beijing)(中国石油大学(北京))
提出偏见-波动性框架(BVF),通过分解偏见风险与波动性风险,量化评估大型语言模型生成中的刻板印象及其不一致性,发现偏见风险主导歧视且RLHF降低偏见但增加波动。
2025-05-26 cs.CL cs.CY
Biased or Flawed? Mitigating Stereotypes in Generative Language Models by Addressing Task-Specific Flaws
Virginia Tech(弗吉尼亚理工大学)
本文提出通过指令微调解决理解缺陷,在不使用显式去偏技术的情况下,将生成模型在国籍、年龄等维度上的刻板印象输出减少超过60%,并强调区分偏见与任务缺陷的重要性。
2024-12-16 cs.CL cs.LG
Stereotype or Personalization? User Identity Biases Chatbot Recommendations
Carnegie Mellon University(卡内基梅隆大学)
研究发现,LLMs 在生成推荐时会因用户身份特征产生种族刻板印象偏见,且未能透明披露该影响,此现象在多个主流模型和种族群体中普遍存在。
2025-05-30 cs.CL
Do Multilingual Large Language Models Mitigate Stereotype Bias?
Conversational AI and Social Analytics (CAISA) Lab, University of Bonn(波恩大学);Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所)
本研究通过训练6个同规模同架构的单/多语言大语言模型并开展跨语言偏见评估,证实多语言训练可有效缓解刻板印象偏见,且能同时提升模型预测准确率。
2024-07-09 cs.CL
From Measurement to Mitigation: Exploring the Transferability of Debiasing Approaches to Gender Bias in Maltese Language Models
Department of Artificial Intelligence, University of Malta(人工智能系,马耳他大学)
本文测量马耳他语BERTu和mBERTu模型中的性别偏见,并将英语去偏方法适配到马耳他语进行迁移性研究,揭示现有方法在形态丰富低资源语言上的局限,并创建评估数据集以推动更具包容性的多语言NLP发展。
2025-07-03 cs.CL
Acmite: Mitigating Gender Bias in LLMs through Concept-Guided Mutual Information
Kyoto University(京都大学);Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Inner Mongolia University(内蒙古大学)
提出Acmite框架,通过概念引导和互信息最小化,实现对大语言模型性别偏见的选择性去偏,在保持通用能力的同时有效降低偏见。
2026-10-02 cs.CL
StereoKG: Data-Driven Knowledge Graph Construction for Cultural Knowledge and Stereotypes
Saarland University(萨尔兰大学)
分析种族或宗教偏见对于提高自然语言处理模型的公平性、问责制和透明度非常重要。然而,许多技术依赖于人工编译的偏见术语列表,这是昂贵的创建和覆盖范围有限。在这项研究中,我们提出了一个完全数据驱动的管道,用于生成文化知识和刻板印象的知识图谱(KG)。我们由此产生的幼儿园涵盖5个宗教团体和5个民族,并可以很容易地扩展到包括更多的实体。我们的人工评估显示,大多数(59.2%)非单例条目是连贯和完整的刻板印象。我们进一步表明,在言语化KG上执行中间掩蔽语言模型训练会导致模型中更高水平的文化意识,并有可能提高相关任务中知识关键样本的分类性能,即,仇恨言论检测
2022-05-27 cs.CL
Revisiting The Classics: A Study on Identifying and Rectifying Gender Stereotypes in Rhymes and Poems
Sri Sathya Sai Institute of Higher Learning(斯里·萨蒂亚·赛高等学习学院);GESIS - Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所(GESIS));Citridot Solutions(西特里多特解决方案公司);University of Tartu(塔尔图大学);IIT Ropar(罗帕尔印度理工学院)
本研究收集童谣和诗歌数据集,提出准确率97%的模型识别性别偏见,并利用LLM纠正刻板印象,揭示其在促进性别平等与包容性方面的潜力。
2024-03-25 cs.CL
Judging a Book by its Description : Analyzing Gender Stereotypes in the Man Bookers Prize Winning Fiction
IBM Research AI-India(IBM印度研究院人工智能部门);IIIT-Delhi(德里英德拉普拉斯塔信息技术学院);DTU-Delhi(德里理工大学)
在社会的许多方面存在性别陈规定型观念是一个众所周知的现象。在本文中,我们专注于研究和量化这种刻板印象和偏见的曼布克奖获奖小说。我们考虑了1969年至2017年期间入围曼布克奖的275本书。通过对Goodreads上的图书描述进行语义建模,分析了性别偏见。这反映了性别偏见和刻板印象在书中的不同特征,如职业,介绍和与书中人物有关的行动。
2018-07-25 cs.AI cs.CL
Investigating Gender Bias in LLM-Generated Stories via Psychological Stereotypes
Johannes Kepler University (JKU)(约翰内斯·开普勒大学);Linz Institute of Technology (LIT)(林茨技术研究所);University of Innsbruck(因斯布鲁克大学)
本研究通过心理刻板印象在叙事生成中探究大语言模型的性别偏见,提出StereoBias-Stories数据集,发现属性条件化可缓解偏见,组合属性加剧或缓解偏见,且模型偏见与心理真实情况一致。
2025-08-05 cs.AI cs.CL
Good Secretaries, Bad Truck Drivers? Occupational Gender Stereotypes in Sentiment Analysis
Stanford University(斯坦福大学);UC Irvine(加州大学欧文分校)
在这项工作中,我们调查职业性别刻板印象的存在下,情感分析模型。这样的任务对减少这些模型中的隐含偏差有意义,这些模型正被应用于越来越广泛的下游任务。我们发布了一个新的性别平衡的数据集的800个句子有关的特定职业,并提出了一种方法,使用它作为一个测试台来评估情感分析模型。我们评估职业性别刻板印象的存在,在3个不同的模型,使用我们的方法,并探讨其与社会的职业观念的关系。
2019-07-13 cs.CL
Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models
University College London(伦敦大学学院)
本文提出了两个直观的指标,偏斜和刻板印象,量化和分析的性别偏见存在于上下文语言模型时,解决WinoBias代词决议任务。我们发现的证据表明,性别刻板印象与开箱即用的模型中的性别偏斜近似呈负相关,这表明这两种形式的偏见之间存在权衡。我们研究两种方法来减轻偏见。第一种方法是一种在线方法,它可以有效地以刻板印象为代价来消除偏斜。第二个是受ELMo以前工作的启发,涉及使用增强的性别平衡数据集对BERT进行微调。我们表明,这减少了偏斜和刻板印象相对于其未增强的微调对应。然而,我们发现,现有的性别偏见的基准不完全探测专业偏见的代词决议可能会混淆的交叉相关性,从其他表现形式的性别偏见。我们的代码可以在https://github.com/12kleingordon34/NLP_masters_project上在线获得。
2021-02-16 cs.AI cs.CL cs.LG
More Women, Same Stereotypes: Unpacking the Gender Bias Paradox in Large Language Models
Computer Science and Information Engineering(计算机科学与信息工程系)
本研究通过自由叙事揭示大型语言模型中的性别偏见,发现其在职业性别分布上更接近人类刻板印象,而非现实数据,强调了平衡缓解措施的重要性。
2026-03-09 cs.AI cs.CL
EuroGEST: Investigating gender stereotypes in multilingual language models
University of Edinburgh(爱丁堡大学);Warsaw University of Technology(华沙技术大学);Aveni
EuroGEST研究多语言语言模型中的性别刻板印象,通过跨29种欧洲语言的数据集揭示了性别刻板印象的普遍性及模型对刻板印象的编码强度。
2026-02-23 cs.CL
Current State-of-the-Art of Bias Detection and Mitigation in Machine Translation for African and European Languages: a Review
Applied Machine Intelligence(应用机器智能);Bern University of Applied Sciences(伯尔尼应用科学大学)
本综述聚焦非洲与欧洲语言的机器翻译偏见检测与缓解研究,分析前沿进展后发现现有研究多集中于少数语言,提出拓展低研究度语言可提升领域多样性。
2024-10-28 cs.CL
Shirtless and Dangerous: Quantifying Linguistic Signals of Gender Bias in an Online Fiction Writing Community
Stanford University(斯坦福大学)
想象一下,一位公主在城堡里熟睡,等待着她的王子杀死龙来拯救她。像著名的《睡美人》这样的故事显然划分了性别角色。但是更现代的故事呢?这些故事是由越来越意识到性别歧视和种族主义等社会结构的一代人所产生的。这些故事是倾向于强化性别刻板印象,还是对抗它们?在本文中,我们提出了一种技术,结合自然语言处理与众包的刻板印象词汇捕捉小说中的性别偏见。我们将这种技术应用于来自Wattpad在线写作社区的18亿字小说,调查故事中的性别代表性,男性和女性角色的行为和描述,以及作者如何使用性别刻板印象与社区的评级相关。我们发现,男性的过度代表性和传统的性别陈规定型观念(例如,占主导地位的男人和顺从的女人)在我们的语料库中几乎每一种体裁中都很常见。然而,只有一些刻板印象,如性或暴力的男人,与高评价的故事有关。最后,尽管妇女往往是负面陈规定型观念的目标,但女作家与男子一样有可能写出这种陈规定型观念。
2016-03-29 cs.CL cs.SI
Addressing Stereotypes in Large Language Models: A Critical Examination and Mitigation
UNIVERSITY OF CALIFORNIA DAVIS(加州大学戴维斯分校)
本文探讨了大型语言模型中的刻板印象问题,通过评估不同模型的偏见表现,提出增强学习策略以提升模型性能和减少偏见输出。
2025-11-18 cs.CL cs.CY cs.LG
Identifying Gender Stereotypes and Biases in Automated Translation from English to Italian using Similarity Networks
Department of Computer Science(计算机科学系);Università degli Studi di Milano(米兰大学);Department of Italian and Supranational Public Law(意大利与超国家公法系)
该跨学科研究聚焦英意自动化翻译的性别偏见问题,通过结合法学与语言学定义、分析性别特定术语的余弦相似度及数值特征评估偏见强度方向,为性别中立翻译算法开发提供了洞见。
2025-02-17 cs.AI cs.CL
Prompting Away Stereotypes? Evaluating Bias in Text-to-Image Models for Occupations
该研究构建职业表征偏见评估基准,测试五种主流文本生成图像模型,发现公平提示词可改变人口统计表征但效果因模型而异,揭示了提示词作为公平干预手段的局限与补充模型策略的必要性。
2025-08-31 cs.CL
IndiCASA: A Dataset and Bias Evaluation Framework in LLMs Using Contrastive Embedding Similarity in the Indian Context
针对现有大语言模型偏见评估方法在印度多元文化语境下难以捕捉细微刻板印象的问题,本研究提出基于对比学习编码器的细粒度偏见评估框架,发布含2575条人工验证句子的IndiCASA数据集,覆盖五个人口维度,评估发现开源大模型均存在偏见,残障类偏见最突出。
2025-10-03 cs.CL
Does Reasoning Introduce Bias? A Study of Social Bias Evaluation and Mitigation in LLM Reasoning
Santa Clara University(圣克拉拉大学);Rochester Institute of Technology(罗切斯特理工学院);Docomo Innovations(Docomo创新)
本文首次系统评估LLM推理链中的社会偏见,揭示有偏推理与错误预测的关联,并提出轻量级缓解方法ADBP,在多数情况下优于基线并提升模型准确性。
2025-09-20 cs.AI cs.CL
An Empirical Study of Gendered Stereotypes in Emotional Attributes for Bangla in Multilingual Large Language Models
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学)
本研究首次针对闭源与开源大语言模型,全面调查孟加拉语语境下的性别情感归因偏见,证实该类偏见存在并揭示其随性别角色选择的变化规律,公开相关资源以支持孟加拉语NLP研究。
2024-07-08 cs.CL
Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection
College of Intelligence and Computing, Tianjin University(智能与计算学院,天津大学);AI Lab, China Mobile Communication Group Tianjin Co., Ltd.(中国移动通信集团天津有限公司人工智能实验室)
本文通过自反思框架系统比较LLMs的显式与隐式社会偏见,发现二者存在显著不一致,且对齐技术对隐式偏见效果有限。
2025-06-03 cs.CL
Politeness Stereotypes and Attack Vectors: Gender Stereotypes in Japanese and Korean Language Models
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
该研究针对日语和韩语语言模型,探究礼貌层级相关的语法性别偏见,发现礼貌层级是网络欺凌检测模型的性别偏见攻击向量,并构建攻击数据集以识别偏见、展示攻击方式及缓解分配式偏见,呼吁偏见研究突破英语中心局限。
2023-06-16 cs.AI cs.CL cs.CY
CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models
New York University(纽约大学)
预训练的语言模型,特别是掩蔽的语言模型(MLM)在许多NLP任务中取得了成功。然而,有充分的证据表明,他们使用的文化偏见,无疑是存在于语料库中,他们接受培训,含蓄地造成伤害与偏见的陈述。为了衡量语言模型对美国受保护人口群体的某些形式的社会偏见,我们引入了众包刻板印象对基准(CrowS-Pairs)。CrowS-Pairs有1508个例子,涵盖了九种类型的偏见,如种族,宗教和年龄。在CrowS-Pairs中,模型由两个句子表示:一个是更多的刻板印象,另一个是更少的刻板印象。这些数据侧重于对历史上处于不利地位的群体的陈规定型观念,并将其与弱势群体进行对比。我们发现,我们评估的所有三种广泛使用的多层膜都非常青睐表达CrowS-Pairs中每个类别刻板印象的句子。随着构建偏差较小的模型的工作取得进展,该数据集可以用作评估进展的基准。
2020-09-30 cs.AI cs.CL
Blind Men and the Elephant: Diverse Perspectives on Gender Stereotypes in Benchmark Datasets
Tehran Institute for Advanced Studies(泰赫兰高级研究所);Khatam University(卡塔姆大学);Cardiff NLP(卡迪夫自然语言处理);Cardiff University(卡迪夫大学)
本文通过StereoSet和CrowS-Pairs案例,指出现有性别刻板印象基准仅捕捉部分方面,并利用社会心理学框架平衡数据,证明简单平衡技术可显著提升不同测量方法间的相关性,揭示偏见复杂性并指引新方向。
2025-09-24 cs.AI cs.CL
Intersectional Fairness in Large Language Models
University of Calgary(卡尔加里大学)
本文评估了六个大语言模型在交叉人口属性上的公平性,发现模型在模糊情境中表现良好,但在解歧情境中受刻板印象影响,且跨群体结果分布不均。
2026-09-15 cs.CL
A Survey on Stereotype Detection in Natural Language Processing
Language and Translation Technology Team, Ghent University(格鲁特大学语言与翻译技术团队);Department of Methodology and Statistics, Utrecht University(乌得勒支大学方法学与统计学系)
本文综述了NLP中的刻板印象检测研究,分析了跨学科定义,基于6000余篇论文识别趋势与挑战,强调其作为早期监测工具的价值,并呼吁多语言与交叉性研究。
2025-09-29 cs.CL cs.CY
REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning
ADAPT Centre, Trinity College Dublin(都柏林圣三一学院ADAPT中心);CRIL CNRS, Univ Artois(阿尔图瓦大学CRIL法国国家科学研究中心);INRIA/IRISA Rennes(雷恩INRIA/IRISA研究所);U. Lorraine, CNRS, LORIA(洛林大学法国国家科学研究中心LORIA研究所);U. Lisboa, INESC-I(里斯本大学INESC-I研究所)
针对语言模型存在的多类刻板印象偏差问题,提出无需微调、标注少、成本低的REFINE-LM强化学习去偏方法,可在保留模型性能的同时有效降低多类偏差。
2024-08-18 cs.AI cs.CL
Local Contrastive Editing of Gender Stereotypes
University of Mannheim(曼海姆大学);University of Amsterdam(阿姆斯特丹大学);University of Mannheim, GESIS, CSH Vienna(曼海姆大学、GESIS、维也纳CSH);University of Hamburg(汉堡大学)
本文提出局部对比编辑方法,通过对比参考模型定位并编辑语言模型中编码性别刻板印象的少量权重(<0.5%),以精确控制性别偏差,并推动参数高效模型属性控制策略的发展。
2024-10-23 cs.CL cs.CY
Responsible AI in NLP: GUS-Net Span-Level Bias Detection Dataset and Benchmark for Generalizations, Unfairness, and Stereotypes
针对句子级偏见检测掩盖具体词汇和类型的问题,提出GUS-Net框架,包含3,739个片段、超69,000词元级标注的GUS数据集和多标签词元级检测器,采用多智能体流水线辅助人工标注,基准测试表明编码器模型在细粒度片段识别上优于解码器LLM,支持可解释的偏见审计与缓解。
2025-09-15 cs.AI cs.CL
Social-Group-Agnostic Word Embedding Debiasing via the Stereotype Content Model
University of Southern California(南加州大学)
现有的词嵌入去偏置方法需要社会群体特定的词对(例如,“男人”-“女人”)的每个社会属性(例如,性别),这不能用于减轻对其他社会群体的偏见,使得这些方法不切实际或成本高昂,以将未充分研究的社会群体纳入去偏见。我们建议,刻板印象内容模型(SCM),在社会心理学中开发的理论框架,了解刻板印象的内容,结构刻板印象的内容沿两个心理维度-“温暖”和“能力”-可以帮助去偏见的努力,成为社会群体不可知论通过捕捉偏见和刻板印象之间的潜在联系。只使用成对的温暖术语(例如,“真的”-“假的”)和能力(例如,“聪明”-“愚蠢”),我们用既定的方法进行去偏置,并发现,在性别,种族和年龄上,基于SCM的去偏置执行与特定于组的去偏置相同的去偏置
2022-10-11 cs.AI cs.CL cs.LG
The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data
University of Trento(特伦托大学)
本研究通过在线购物数据分析大语言模型中的性别偏见,发现模型在性别预测中受刻板印象影响,且减少偏见指令只能降低预测确定性,无法消除刻板印象模式。
2025-12-11 cs.AI cs.CL cs.CY
On The Role of Reasoning in the Identification of Subtle Stereotypes in Natural Language
Vector Institute(向量研究所)
本文研究推理在开源大语言模型零样本细微刻板印象识别中的作用,证明多步推理能显著提升检测准确率和决策可解释性,为构建更强的刻板印象缓解流程奠定基础。
2024-09-28 cs.AI cs.CL cs.CY
How Far Can It Go?: On Intrinsic Gender Bias Mitigation for Text Classification
University of Antwerp(安特卫普大学);KU Leuven(鲁汶大学);Leuven.AI Institute for Artificial Intelligence(鲁汶人工智能研究所);Weizenbaum Institute(魏泽鲍姆研究所);TU Berlin(柏林工业大学)
为了减轻语境化语言模型中的性别偏见,已经提出了不同的内在减轻策略,以及许多偏见度量。考虑到这些语言模型的最终用途是用于文本分类等下游任务,理解这些固有的偏见缓解策略实际上如何转化为下游任务中的公平性及其程度是很重要的。在这项工作中,我们设计了一个探测器,以调查一些主要的内在性别偏见缓解策略对下游文本分类任务的影响。我们发现,而不是解决性别偏见,内在的缓解技术和指标能够隐藏它的方式,重要的性别信息被保留在嵌入。此外,我们表明,每个缓解技术是能够隐藏的偏见,从一些内在的偏见措施,但不是所有的,每个内在的偏见措施可以被愚弄的一些缓解技术,但不是所有的。我们通过实验证实,没有任何其他公平性干预的内在缓解技术都无法持续影响外在偏见。我们建议,内在的偏见缓解技术应结合其他公平性干预下游任务。
2023-01-30 cs.CL