Harmful Speech Detection by Language Models Exhibits Gender-Queer Dialect Bias
University of Southern California ISI(南加州大学信息科学研究所)
本研究针对内容审核中性别酷儿方言的偏见问题,构建QueerReclaimLex数据集评估5款现成语言模型,发现模型易误标性别酷儿文本,且对目标群体文本的F1值≤0.24,呼吁提升内容审核的公平包容性。
2024-06-21 cs.CL cs.CY
Harm Laundering in GPT Models: Evidence That Gender Discrimination Is Transformed Rather Than Reduced Across Safety-Trained Generations
Durham University(杜伦大学)
本研究揭示 GPT 系列模型安全训练中,显性性别歧视被转化为隐性表征危害而非消除,提出“危害洗白”概念及三标准检测协议,证明毒性分数下降不足以代表危害减少。
2026-09-18 cs.AI cs.CL
Toward Gender-Inclusive Coreference Resolution
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
正确地解决文本中提到的人从根本上需要对这些人做出推论。这样的推论增加了共指消解系统中系统性偏见的风险,包括可能伤害二元和非二元反式和顺式利益相关者的偏见。为了更好地理解这种偏见,我们前景微妙的概念化的性别从社会学和社会语言学,并开发两个新的数据集询问偏见在人群注释和现有的共指消解系统。通过这些对英文文本进行的研究,我们证实,如果不承认和建立认识到性别复杂性的系统,我们建立的系统就会导致许多潜在的危害。
2020-12-02 cs.CL
MiTTenS: A Dataset for Evaluating Gender Mistranslation
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);University of Washington(华盛顿大学)
为衡量翻译系统性别误译的潜在危害,研究者推出覆盖26种语言的MiTTenS数据集,经评估发现神经机器翻译和基础模型均存在性别误译问题,高资源语言也不例外。
2024-10-04 cs.CL cs.CY
More of the Same: Persistent Representational Harms Under Increased Representation
EleutherAI;Universitat Ramon Llull, ESADE(拉蒙·拉鲁尔大学,ESADE);UT Austin(德克萨斯大学奥斯汀分校)
本研究提出 GAS(P) 评估方法,用于揭示生成式 AI 系统在未提示场景下生成文本中的群体分布层面表征偏见,发现单纯增加表征比例并不能消除表征方式上的偏见和刻板印象。
2025-10-31 cs.AI cs.CL
GENDIS: Gender-Related Discourse and Stance in Multilingual YouTube Comments from India, Kenya, and Nigeria
World Bank(世界银行);Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学);New York University(纽约大学);University of Pennsylvania(宾夕法尼亚大学)
针对现有性别相关在线内容研究的数据集局限,推出含印度、肯尼亚、尼日利亚各3200条共9600条多语言YouTube评论的GENDIS数据集,采用两级标注框架,实验表明轻监督分类器成本低且性能优,跨国迁移有限。
2026-10-14 cs.CL
"I'm fully who I am": Towards Centering Transgender and Non-Binary Voices to Measure Biases in Open Language Generation
UCLA(加州大学洛杉矶分校);Amazon Alexa AI-NU(亚马逊Alexa人工智能-西北(团队));Amazon Global Diversity, Equity, & Inclusion(亚马逊全球多元、公平与包容部)
本文构建源自 TGNB 社区的 TANGO 数据集,从错认性别与性别披露回应两方面评估 LLM,揭示其偏向二元性别规范并对 TGNB 群体产生污名化伤害。
2023-06-01 cs.AI cs.CL cs.CY
"Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University Of Southern California(南加利福尼亚大学);Adobe Research(奥多比研究院)
本文通过语言风格、词汇内容及幻觉偏见三个维度评估ChatGPT和Alpaca生成的推荐信,揭示其中存在显著性别偏见,警示未经审查使用此类模型可能损害女性申请者,并强调研究大语言模型职业文书中隐藏偏见的重要性。
2023-12-01 cs.AI cs.CL
GATE: A Challenge Set for Gender-Ambiguous Translation Examples
Microsoft(微软)
虽然近年来在提高性别不明确句子的翻译方面取得了重大进展,但性别不明确输入的翻译仍然相对较少。当源语言性别不明确时,机器翻译模型通常会默认为刻板的性别角色,从而使有害的偏见永久化。最近的工作导致了“性别重写器”的发展,这些重写器在这种模糊的输入上生成替代的性别翻译,但这种系统受到语言覆盖率低的困扰。为了鼓励更好地完成这项任务,我们提出并发布了GATE,这是一个语言多样的语料库,包含性别模糊的源句子以及多种替代目标语言翻译。我们还提供了使用GATE时的评估和系统分析工具,并使用它们来评估我们的翻译重写器系统。
2023-03-07 cs.CL
Run Like a Girl! Sports-Related Gender Bias in Language and Vision
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究院)
本文分析了两个语言与视觉数据集中的性别偏见,发现女性被低估且在体育命名中存在显著差异(男性46% vs 女性35%),计算模型会重现该偏见,导致对女性的表征性伤害。
2023-05-23 cs.CL cs.CV
Online Anti-sexist Speech: Identifying Resistance to Gender Bias in Political Discourse
University of Exeter(埃克塞特大学);University of Birmingham(伯明翰大学);The Alan Turing Institute(艾伦·图灵研究所)
本文通过评估五个大语言模型对英国政治推文的分类表现,揭示模型在政治敏感事件中常将反性别歧视言论误判为有害内容,并提出超越二元审核框架、引入人在回路审查及将反制言论纳入训练数据等改进方案。
2025-08-15 cs.CL cs.CY
Generalizing Fairness to Generative Language Models via Reformulation of Non-discrimination Criteria
Technical University of Denmark(丹麦技术大学)
本文将分类任务中的独立性、分离性和充分性三个非歧视准则重构为生成式人工智能版本,通过聚焦职业性别刻板印象的提示设计,揭示并量化了对话式语言模型中存在的职业性别偏见。
2024-09-02 cs.AI cs.CL cs.HC
ABLEIST: Intersectional Disability Bias in LLM-Generated Hiring Scenarios
Cornell University(康奈尔大学);Princeton University(普林斯顿大学);University of Washington(华盛顿大学)
本研究审计了六个LLM在2820个招聘场景中对残疾、性别、种姓等交叉身份的偏见,提出ABLEIST评估指标,发现模型对残疾候选人存在显著伤害且现有安全工具未能检测,强调需进行交叉性安全评估。
2026-10-12 cs.AI cs.CL cs.CY
Gender-Neutral Machine Translation Strategies in Practice
Digital Technologies Research Centre National Research Council Canada (NRC-CNRC)(加拿大国家研究委员会数字技术研究中心)
本研究评估21个机器翻译系统在三个翻译方向对性别歧义的处理,发现多数缺乏性别中立翻译,仅少数系统根据目标语言采用特定策略实现性别中立。
2025-06-18 cs.CL
QueerGen: How LLMs Reflect Societal Norms on Gender and Sexuality in Sentence Completion Tasks
Centrum Wiskunde & Informatica(荷兰数学与信息学中心);Universiteit van Amsterdam(阿姆斯特丹大学)
QueerGen研究LLMs在句子完成任务中对性别和性取向的社会规范反映,揭示模型在不同主体类别中的偏见表现及影响因素。
2026-01-28 cs.AI cs.CL cs.CY
Evaluating Machine Translation Datasets for Low-Web Data Languages: A Gendered Lens
UC Berkeley(加州大学伯克利分校);Addis Ababa University(亚的斯亚贝巴大学);Addis Ababa Science and Technology University(亚的斯亚贝巴科技大学)
本文从性别视角评估三种低资源语言机器翻译数据集的质量,发现数据存在男性性别倾斜、领域分布不均及有害内容,证明数据量大不等于质量高。
2025-11-05 cs.CL cs.CY
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文研究零样本多语言神经机器翻译中的性别偏见,发现语言无关表示可减轻男性偏见,且桥接语言性别屈折程度越高,枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Tokenization Matters: Navigating Data-Scarce Tokenization for Gender Inclusive Language Technologies
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon AGI Foundations(亚马逊AGI基金会);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文揭示BPE因数据稀缺过度切分英语新代词并导致LLM性别错称,提出代词分词对等与利用已有代词知识两种方法,将准确率从14.1%提升至58.4%。
2024-04-06 cs.AI cs.CL cs.LG
Gender Coreference and Bias Evaluation at WMT 2020
Microsoft(微软);Charles University(查尔斯大学);Charles University in Prague(布拉格查尔斯大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
机器翻译中的性别偏见可以表现在基于虚假的性别相关性来选择性别屈折变化。例如,总是把医生翻译成男人,把护士翻译成女人。随着模型变得越来越流行并部署在商业系统中,这可能特别有害。我们的工作提供了最大的证据,在超过19个系统提交给WMT超过四个不同的目标语言:捷克语,德语,波兰语和俄语的现象。为了实现这一点,我们使用WinoMT,最近的自动测试套件,检查性别共指和偏见时,从英语翻译到语法性别的语言。我们扩展WinoMT来处理WMT中测试的两种新语言:波兰语和捷克语。我们发现,所有的系统始终使用虚假的相关性的数据,而不是有意义的上下文信息。
2020-10-12 cs.CL
From Measurement to Mitigation: Exploring the Transferability of Debiasing Approaches to Gender Bias in Maltese Language Models
Department of Artificial Intelligence, University of Malta(人工智能系,马耳他大学)
本文测量马耳他语BERTu和mBERTu模型中的性别偏见,并将英语去偏方法适配到马耳他语进行迁移性研究,揭示现有方法在形态丰富低资源语言上的局限,并创建评估数据集以推动更具包容性的多语言NLP发展。
2025-07-03 cs.CL
Gender and content bias in Large Language Models: a case study on Google Gemini 2.0 Flash Experimental
University of Perugia(佩鲁贾大学);Chapin Hall at University of Chicago(芝加哥大学查平学院);Berdyansk State Pedagogical University(别尔江斯克国立师范大学);Università di Bologna(博洛尼亚大学);University of North Texas(北得克萨斯大学);Chapin Hall(查平学院)
本研究评估Google Gemini 2.0 Flash Experimental的性别与内容偏见,对比ChatGPT-4o发现其性别偏见降低但对暴力、性内容更宽松,揭示AI伦理对齐的复杂性,强调需持续优化审核机制。
2025-03-18 cs.AI cs.CL cs.CY
LLMs Reproduce Stereotypes of Sexual and Gender Minorities
University of Edinburgh(爱丁堡大学)
本研究基于刻板印象内容模型,发现LLMs在调查问答和文本生成中均会复现对性与性别少数群体更负面的刻板印象,加剧创意写作中的表征性伤害。
2025-09-24 cs.CL
Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学);RWTH Aachen(亚琛工业大学);University of Michigan(密歇根大学);ETH Zürich(苏黎世联邦理工学院);Max Planck Institute(马克斯·普朗克研究所)
本文提出衡量生成式语言模型偏见的因果框架与稳健基准设计原则,构建 OccuGender 评估 Llama、Mistral 等模型的职业性别偏见,并探讨提示缓解方法及框架泛化性。
2025-07-24 cs.CL cs.LG
A Survey on Gender Bias in Natural Language Processing
University of Copenhagen(哥本哈根大学)
语言可被用作复制和强化有害的陈规定型观念和偏见的手段,许多研究都对此进行了分析。本文对304篇关于自然语言处理中性别偏见的论文进行了统计分析。我们分析了社会科学中性别及其类别的定义,并将其与NLP研究中性别偏见的正式定义联系起来。我们调查了性别偏见研究中应用的词汇和数据集,然后比较和对比了检测和减轻性别偏见的方法。我们发现,性别偏见的研究受到四个核心限制。1)大多数研究将性别视为二元变量,忽视了其流动性和连续性。2)大多数工作都是在英语或其他高资源语言的单语设置中进行的。3)尽管有无数关于NLP方法中性别偏见的论文,但我们发现大多数新开发的算法都没有测试他们的模型是否存在偏见,也没有考虑到他们工作中可能存在的道德问题。4)最后,在这一研究领域制定的方法存在根本性缺陷,涉及性别偏见的定义非常有限,缺乏评价基线和管道。我们建议克服这些限制,为今后的研究提供指导。
2021-12-28 cs.CL cs.CY
Masculine Defaults via Gendered Discourse in Podcasts and Large Language Models
Texas A&M University(德克萨斯农工大学)
本研究针对男性默认值这一未被充分关注的性别偏见,提出双重框架分析播客中的性别话语词汇及LLMs中的相关偏见,发现男性话语词汇在特定领域更流行且LLM嵌入表示更稳定,导致男性下游任务性能更优。
2025-04-15 cs.AI cs.CL cs.CY
The Birth of Bias: A case study on the evolution of gender bias in an English language model
Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
检测和减轻现代语言模型中的有害偏见被广泛认为是关键的、开放的问题。在本文中,我们退一步,首先研究语言模型是如何产生偏差的。我们使用一个相对较小的语言模型,使用在英语维基百科语料库上训练的LSTM架构。通过完全访问数据和模型参数,因为它们在训练过程中的每一步都在变化,我们可以详细绘制性别表示如何发展,数据集中的模式是什么,以及模型的内部状态如何与下游任务中的偏见(语义文本相似性)相关。我们发现,性别的代表性是动态的,并确定在培训过程中的不同阶段。此外,我们表明,性别信息越来越多地在模型的输入嵌入中局部表示,因此,去偏置这些可以有效地减少下游偏差。通过监控训练动态,我们可以检测到输入嵌入中女性和男性性别的不对称性。这一点很重要,因为它可能导致幼稚的缓解策略引入新的不良偏倚。我们讨论的相关性的缓解策略的研究结果更普遍和推广我们的方法,以更大的语言模型,Transformer架构,其他语言和其他不良的偏见的前景。
2022-07-21 cs.AI cs.CL
Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation
University of California Santa Barbara(加州大学圣巴巴拉分校);Rice University(莱斯大学)
妇女往往被认为地位比男性低,即使是在同样的职位上。虽然在评估自然语言处理(NLP)中的性别偏见方面取得了重大进展,但现有的研究很少调查当与其他社会偏见复合时,对性别群体的偏见如何变化。在这项工作中,我们研究了资历如何影响预训练神经生成模型中表现出的性别偏见程度,通过引入一个新的框架来探测复合偏见。我们贡献了一个跨越两个领域的基准稳健性测试数据集,美国参议员职位和教授职位,使用远程监督方法创建。我们的数据集包括人类书写的文本,其中包含基础事实和成对的反事实。然后,我们研究GPT-2困惑和生成的文本中的性别语言的频率。我们的研究结果表明,GPT-2放大了偏见,认为妇女作为初级和男子作为高级往往比地面真理在这两个领域。这些结果表明,使用GPT-2构建的NLP应用程序可能会损害女性的专业能力。
2022-05-19 cs.CL
What's in a Name? Auditing Large Language Models for Race and Gender Bias
Stanford Law School(斯坦福法学院)
本研究通过审计设计发现GPT-4等大型语言模型在建议中系统性地歧视与少数种族和女性相关的名字,尤其是黑人女性,并指出数值锚点可缓解偏见,强调部署时审计的必要性。
2025-01-24 cs.AI cs.CL cs.CY
Gender bias in (non)-contextual clinical word embeddings for stereotypical medical categories
Utrecht University(乌得勒支大学)
临床词嵌入作为一种最先进的特征向量表示,广泛应用于各种生物自然语言处理问题。虽然他们在单词的语义表示方面非常成功,但由于他们接受培训的数据集-可能带有统计和社会偏见-他们可能会表现出性别刻板印象。本研究分析性别偏见的临床嵌入三个医学类别:精神障碍,性传播疾病和人格特质。在这种程度上,我们分析了两种不同的预训练嵌入,即(情境化)临床BERT和(非情境化)BioWordVec。我们发现,这两种嵌入都偏向于敏感的性别群体,但BioWordVec在所有三个类别中表现出比临床BERT更高的偏差。此外,我们的分析表明,临床嵌入进行了高度的偏见,一些医学术语和疾病,这是与医学文献相冲突。这种缺乏根据的关系可能会对使用临床嵌入的下游应用造成损害。
2022-08-08 cs.CL cs.CY
Learning from Red Teaming: Gender Bias Provocation and Mitigation in Large Language Models
National Taiwan University(国立台湾大学);Intel Labs(英特尔实验室)
提出自动生成测试用例检测LLM性别偏见的方法,并利用这些用例作为上下文学习演示进行缓解,无需参数微调,实验显示回应更公平。
2023-10-17 cs.AI cs.CL
Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models
本文提出Context-CDA方法,通过增强上下文和过滤低质量反事实,有效缓解语言模型中的性别偏见,同时保持语言建模能力。
2026-02-10 cs.AI cs.CL
Misgendering and Assuming Gender in Machine Translation when Working with Low-Resource Languages
University of Washington(华盛顿大学);University of Melbourne(墨尔本大学)
本章研究低资源语言机器翻译中的性别误指问题,以孟加拉语为例揭示性别预设机制及其社会影响,并提出赋予语言更多自主权的解决方向。
2024-03-12 cs.CL
Probing Gender Bias in Multilingual LLMs: A Case Study of Stereotypes in Persian
University of Tehran(德黑兰大学);Tehran Institute for Advanced Studies(德黑兰高等研究院)
本研究提出基于模板的探测方法和DS-GSI指标,评估四个多语言大模型在波斯语中的性别刻板印象,发现所有模型均存在偏见且波斯语差异大于英语,体育领域最严重。
2025-09-24 cs.CL
Welcome to the Modern World of Pronouns: Identity-Inclusive Natural Language Processing beyond Gender
Università Luigi Bocconi(博科尼大学);University of South Carolina(南卡罗来纳大学)
代词的世界正在发生变化。从一个成员很少的封闭的词类到一个更开放的术语集,以反映身份。然而,自然语言处理(NLP)几乎没有反映这种语言转变,尽管最近的工作概述了性别排斥语言技术的危害。特别有问题的是目前的第三人称代词建模,因为它在很大程度上忽略了各种现象,如新代词,即,古人云:“物以稀为贵,物以稀为贵。这一遗漏助长了对边缘化和代表性不足群体的歧视,例如,非二元个体。然而,性别之外的其他身份表达现象也被当前的NLP技术所忽视。在本文中,我们提供了一个NLP第三人称代词问题的概述。基于我们的观察和伦理的考虑,我们定义了一系列的desiderata建模代词在语言技术。我们评估现有的和新的建模方法w.r.t.这些都需要从质量上和数量上说明更加无歧视的方法对既定基准数据的影响。
2022-02-24 cs.CL
A database to support the evaluation of gender biases in GPT-4o output
TU Berlin(柏林工业大学)
针对 LLM 输出中的性别偏见问题,提出一种新颖的数据集构建方法,以支持评估 GPT-4o 输出中的性别偏见,超越单纯的中性化程度评估,推动公平性研究。
2025-02-28 cs.CL
Personality Shapes Gender Bias in Persona-Conditioned LLM Narratives Across English and Hindi: An Empirical Investigation
Politecnico di Milano(米兰理工学院);Apple(苹果公司);Meta
本研究探讨了在英语和印地语中,人物条件化大语言模型叙事中的性别偏见如何受到性格特征的影响,发现性格特质与性别偏见的幅度和方向显著相关,特别是黑暗三联体性格特质与性别刻板印象的表示更相关,但这些关联在不同模型和语言中有所变化。
2026-06-04 cs.CL
Gender bias across LLMs is common and highly heterogeneous
University of Milan-Bicocca(米兰比可卡大学)
本研究通过两项实验评估十个LLM的性别偏见,发现偏见普遍存在但方向和程度高度异质,强调偏见审计需持续进行并覆盖多供应商。
2026-10-01 cs.AI cs.CL cs.CY
An Empirical Study of Metrics to Measure Representational Harms in Pre-Trained Language Models
Meta AI;Microsoft Research(微软研究院)
大规模预训练语言模型(PTLM)从大量人类书面数据中捕获知识,这些数据包含潜在的社会偏见和有毒内容。在本文中,我们利用PTLM的主要任务,即,语言建模,并提出了一个新的指标来量化表现的隐性代表性的伤害PTLM对13个边缘化的人口。使用这个指标,我们进行了24个广泛使用的PTLM的实证分析。我们的分析提供了深入了解在这项工作中提出的指标和其他相关指标的代表性伤害之间的相关性。我们观察到,我们的指标与文献中的大多数性别特异性指标相关。通过广泛的实验,我们探索PTLM架构和代表性的伤害之间的连接在两个维度:网络的深度和宽度。我们发现,优先考虑深度超过宽度,减轻了一些PTLM的代表性伤害。我们的代码和数据可以在https://github.com/microsoft/SafeNLP上找到。
2023-01-22 cs.AI cs.CL
GG-BBQ: German Gender Bias Benchmark for Question Answering
Fraunhofer Institute for Intelligent Analysis and Information Systems(弗劳恩霍夫智能分析与信息系统研究所);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用科学大学)
本文构建了德语性别偏见问答基准GG-BBQ,通过机器翻译加人工修订Parrish等人的英文BBQ数据集,并评估多个德语大语言模型,发现所有模型均存在沿袭或违背社会刻板印象的性别偏见。
2025-07-22 cs.CL cs.CY cs.LG
Personalized Machine Translation: Preserving Original Author Traits
IBM Research - Haifa(IBM 海法研究院);C-DAC Mumbai(孟买先进计算发展中心);University of Haifa(海法大学);University of Sheffield(谢菲尔德大学)
我们产生的语言反映了我们的个性,各种个人和人口统计特征可以在自然语言文本中检测到。我们专注于作者的一个特殊的个人特征,性别,并研究它是如何在原文和翻译中表现出来的。我们发现,作者的性别在原文中有一个强大的,明确的信号,但这个信号是混淆在人类和机器翻译。然后,我们提出了简单的域适应技术,有助于保留翻译中的原始性别特征,而不会损害翻译的质量,从而创建更个性化的机器翻译系统。
2017-01-12 cs.CL
Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models
Intel Labs(英特尔实验室);National Taiwan University(国立台湾大学)
针对LLM性别偏见评估缺乏标准且依赖人工的问题,本文训练模型自动生成对抗性提示以诱发偏见回复,并提出基于LLM的评估指标,验证LLM-as-a-Judge与人类判断一致。
2024-08-07 cs.AI cs.CL
Unveiling the "Fairness Seesaw": Discovering and Mitigating Gender and Race Bias in Vision-Language Models
LMU Munich(慕尼黑莱布尼茨大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出RES-FAIR框架,通过调整隐藏状态缓解视觉-语言模型中的性别和种族偏见,提升响应公平性和置信度校准。
2026-02-11 cs.AI cs.CL cs.CV
Can Large Language Models Differentiate Harmful from Argumentative Essays? Steps Toward Ethical Essay Scoring
Konkuk University(韩国康 kuk 大学)
本研究提出HED基准,揭示LLMs在识别有害文章方面的能力不足,并强调需开发更注重伦理因素的AES系统。
2026-01-09 cs.CL
MISGENDERED: Limits of Large Language Models in Understanding Pronouns
University of California, Irvine(加州大学欧文分校);Google Research(谷歌研究院)
本文提出MISGENDERED框架评估大语言模型对非二元代词的理解能力,发现模型因训练数据缺乏代表性而表现不佳,少样本适配后准确率仍仅达64.7%,并公开了数据集与代码。
2023-07-07 cs.CL
"They are uncultured": Unveiling Covert Harms and Social Threats in LLM Generated Conversations
University of Washington(华盛顿大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出基于社会科学的七项 CHAST 指标,并用与人类判断一致的评估模型检测招聘场景下 LLM 对话中的隐蔽文化伤害,发现多数模型存在难检测的偏见,且对非西方概念更极端。
2024-05-08 cs.AI cs.CL cs.CY
Laissez-Faire Harms: Algorithmic Biases in Generative Language Models
Young Data Scientists League(年轻数据科学家联盟);Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);Schar School of Policy and Government & Department of Computer Science(政策与政府学院及计算机科学系);George Mason University(乔治·马歇尔大学)
研究通过开放性提示分析生成语言模型的偏见,发现五种主流模型对少数族裔、性别和性取向群体存在排除、从属和刻板印象的伤害,强调需保护消费者免受语言模型歧视性影响。
2024-04-16 cs.AI cs.CL cs.CY
Blacks is to Anger as Whites is to Joy? Understanding Latent Affective Bias in Large Pre-trained Neural Language Models
University of Calicut(卡利卡特大学);Queen’s University Belfast(贝尔法斯特女王大学);Indian Institute of Technology Palakkad(巴拉卡德印度理工学院)
该研究针对大型预训练语言模型中的情感偏见展开探究,从语料分布与模型预测两方面量化验证了情绪与特定性别、种族、宗教存在统计显著的偏向性关联。
2023-01-21 cs.AI cs.CL
Stereotypes and Smut: The (Mis)representation of Non-cisgender Identities by Text-to-Image Models
University of Edinburgh(爱丁堡大学);University of Hamburg(汉堡大学)
本文首次系统研究文本到图像模型对非顺性别身份的呈现偏差,发现其输出更不人性化、更刻板且更性化,并通过调查与访谈提出应以社区参与、数据筛选和定制化取代简单内容过滤。
2023-05-26 cs.CL cs.CY
Indian-BhED: A Dataset for Measuring India-Centric Biases in Large Language Models
Oxford Internet Institute, University of Oxford(牛津大学牛津互联网研究所)
本文构建Indian-BhED数据集,从种姓与宗教维度评估流行LLM的印度中心刻板印象偏见,发现其偏见显著,并分析成因与干预方向。
2024-08-09 cs.CL cs.CY