Auditing Gender Analyzers on Text Data
IIT Kharagpur（印度理工学院克勒格布尔分校）
本研究审计三款现有性别分析工具及ChatGPT的性别偏见，发现其对非二元性别群体准确率低且存在刻板偏见，通过微调BERT多标签分类器可有效缓解该类社会性别偏见。
2023-10-09 cs.CL cs.CY
A Multi-Perspective Benchmark and Moderation Model for Evaluating Safety and Adversarial Robustness
Department of Computer and Information Science, Fordham University（福德汉大学计算机与信息科学系）；College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·卡西姆大学科学与工程学院）；Department of Computer Science and Engineering, Qatar University（卡塔尔大学计算机科学与工程系）
本文提出GuardEval多视角基准和GGuard模型，通过细粒度标签提升内容审核的准确性和对抗鲁棒性，实验显示GGuard在宏平均F1得分上优于现有模型。
2026-03-19 cs.AI cs.CL cs.HC
Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings
Boston University（波士顿大学）；Microsoft Research New England（微软研究院新英格兰分院）
机器学习的盲目应用有放大数据中存在的偏差的风险。词嵌入是一种将文本数据表示为向量的流行框架，已用于许多机器学习和自然语言处理任务。我们发现，即使是在谷歌新闻文章上训练的词嵌入也会表现出令人不安的女性/男性性别刻板印象。这引起了人们的担忧，因为正如我们所描述的，它们的广泛使用往往会放大这些偏见。从几何学上讲，性别偏见首先被证明是由词嵌入中的方向捕获的。第二，性别中性词被证明是线性可分离的性别定义词的词嵌入。使用这些属性，我们提供了一种方法来修改嵌入，以消除性别刻板印象，如接待员和女性之间的关联，同时保持所需的关联，如女王和女性之间的话。我们定义的指标来量化嵌入中的直接和间接性别偏见，并开发算法来“消除”嵌入。使用人群工作者评估以及标准基准，我们经验证明，我们的算法显着减少性别偏见的嵌入，同时保留其有用的属性，如聚类相关的概念和解决类比任务的能力。由此产生的嵌入可以在不放大性别偏见的应用中使用。
2016-07-21 cs.AI cs.CL cs.LG
Test Suites Task: Evaluation of Gender Fairness in MT with MuST-SHE and INES
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文基于 WMT-2023 测试套件任务，利用 MuST-SHE-WMT23 和 INES 评估英德双向机器翻译的性别公平性，发现模型在阴阳性翻译上表现合理，但生成性别包容性译文仍具挑战。
2023-10-30 cs.CL
Is She Even Relevant? When BERT Ignores Explicit Gender Cues
Department of Computational Cognitive Science, Tilburg University（蒂尔堡大学计算认知科学系）
本文研究了荷兰BERT模型在训练过程中性别信息的出现时机，发现模型在短句模板中难以更新性别表示，导致默认男性解读。
2026-05-08 cs.CL
Shifting social norms as a driving force for linguistic change: Struggles about language and gender in the German Bundestag
Leibniz Institute for the German Language (IDS)（莱布尼茨德语研究所）
本文以德国联邦议院自1980年代以来的语言实践为例，论证社会规范转变驱动语言变化，并探讨早期性别语言斗争对当前性别包容性语言辩论的启示。
2024-02-06 cs.CL
Under the Morphosyntactic Lens: A Multifaceted Evaluation of Gender Bias in Speech Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
性别偏见在很大程度上被认为是一种影响语言技术的问题现象，最近的研究强调，它可能在不同的语言中表现得不同。然而，目前大多数的评价实践都是在综合条件下，对一组狭窄的职业名词进行词级评价。这种协议忽略了语法性别语言的关键特征，其特征是性别协议的形态句法链，标记在各种词汇和词性（POS）上。为了克服这一限制，我们丰富了自然的、性别敏感的Must-SHE语料库（Bentivogli等人，2020）与两个新的语言注释层（POS和协议链），并探讨在何种程度上不同的词汇类别和协议现象的影响性别倾斜。专注于语音翻译，我们对三种语言方向（英语-法语/意大利语/西班牙语）进行了多方面的评估，模型在不同的数据量和不同的分词技术上进行了训练。通过揭示模型行为，性别偏见及其在几个粒度级别上的检测，我们的研究结果强调了专门分析的价值，而不仅仅是汇总的整体结果。
2022-03-18 cs.CL
Identifying Gender Stereotypes and Biases in Automated Translation from English to Italian using Similarity Networks
Department of Computer Science（计算机科学系）；Università degli Studi di Milano（米兰大学）；Department of Italian and Supranational Public Law（意大利与超国家公法系）
该跨学科研究聚焦英意自动化翻译的性别偏见问题，通过结合法学与语言学定义、分析性别特定术语的余弦相似度及数值特征评估偏见强度方向，为性别中立翻译算法开发提供了洞见。
2025-02-17 cs.AI cs.CL
Multi-Dimensional Gender Bias Classification
Facebook AI Research（Facebook人工智能研究院）；Laboratoire Lorrain d’Informatique et Applications (LORIA)（洛林计算机科学及其应用实验室（LORIA））
机器学习模型被训练来寻找数据中的模式。NLP模型在训练有性别偏见的文本时，可能会无意中学习到社会上不受欢迎的模式。在这项工作中，我们提出了一个总体框架，分解文本中的性别偏见沿几个语用和语义方面：从性别的人被谈论的偏见，从性别的人被说话的偏见，从性别的扬声器的偏见。使用这个细粒度的框架，我们自动注释八个大规模的数据集与性别信息。此外，我们还收集了一个新颖的、众包的话语级性别重写评估基准。区分多个维度的性别偏见是很重要的，因为它使我们能够训练更细粒度的性别偏见分类器。我们证明了我们的分类器对于各种重要的应用都是有价值的，例如控制生成模型中的性别偏见，检测任意文本中的性别偏见，并在性别方面揭示攻击性语言。
2020-05-01 cs.CL
Gender Bias in Transformer Models: A comprehensive survey
The Brookings Institution（布鲁金斯学会）；Princeton University（普林斯顿大学）
本文从语言学视角全面综述Transformer模型中的性别偏见，批判性分析现有评估方法与指标，识别其局限性，并探讨对下游应用的影响，为未来研究提供方向。
2023-06-18 cs.AI cs.CL
Addressing speaker gender bias in large scale speech translation systems
Microsoft Speech and Language Group（微软语音与语言组）
针对大规模语音翻译中的男性化性别偏见，本文提出用LLMs纠正翻译并微调ST模型，使其直接依据音频生成性别正确译文，在MuST-SHE上将女性说话人翻译改善70%。
2025-01-10 cs.AI cs.CL
Gender Bias in Large Language Models across Multiple Languages
University of Toronto（多伦多大学）；Mcgill University（麦吉尔大学）；SI-TECH Information Technology（SI-TECH信息技术公司）；University of Alberta（阿尔伯塔大学）
本文针对英语之外研究不足的问题，用三类度量考察GPT系列模型在多语言生成中的性别偏见，发现所测语言均存在显著偏见。
2024-03-01 cs.CL
Towards Lexical Gender Inference: A Scalable Methodology using Online Databases
Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；School of ICS（信息与计算科学学院）；University College Dublin（都柏林大学学院）
提出了一种在大规模语言数据集中自动检测具有词汇性别的词的新方法。目前，在自然语言处理中对性别偏见的评估依赖于人工编译的性别表达的词典，例如代词（“他”、“她”等）。以及带有词汇性的名词（“mother”、“boyfriend”、“policewoman”等）。然而，如果不定期更新，手工汇编这些列表可能会导致信息静态化，并且往往涉及个人注释者和研究人员的价值判断。此外，未列入清单的术语不在分析范围之内。为了解决这些问题，我们设计了一个可扩展的，基于字典的方法来自动检测词汇性别，可以提供一个动态的，最新的分析，高覆盖率。我们的方法在确定从维基百科样本中随机检索的名词的词汇性别时，以及在以前的研究中使用的性别词列表上进行测试时，准确率达到80%以上。
2022-06-28 cs.CL
Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis
SIFT
本文通过量化词嵌入中的性别偏见，分析不同文化背景下教育、政治、经济和健康领域的性别差距。
2026-01-23 cs.CL
ChatGPT Perpetuates Gender Bias in Machine Translation and Ignores Non-Gendered Pronouns: Findings across Bengali and Five other Low-Resource Languages
University of Washington（华盛顿大学）
研究评估ChatGPT在孟加拉语等六种低资源语言互译中的性别中立代词处理，发现其延续职业性别刻板印象且误译“they”，并提出以人为本的改进建议。
2023-05-17 cs.AI cs.CL cs.CY
Investigating Gender Bias in BERT
Singapore University of Technology and Design（新加坡科技设计大学）
上下文语言模型（CLM）将NLP基准测试推向了一个新的高度。在文本分类等下游任务中利用CLM提供的词嵌入已经成为一种新的规范。然而，除非得到解决，否则CLM很容易在数据集中学习固有的性别偏见。因此，下游NLP模型的预测可能会因性别词的变化而发生明显变化，例如将“他”替换为“她”，甚至是性别中性词。在本文中，我们将重点分析一个流行的CLM，即，BERT。我们分析了它在五个与情绪和情绪强度预测相关的下游任务中引起的性别偏见。对于每个任务，我们训练一个简单的回归利用BERT的词嵌入。然后，我们使用公平评估语料库评估回归的性别偏见。理想情况下，从具体的设计来看，模型应该从输入中丢弃性别信息特征。然而，结果显示，系统的预测对性别特定的单词和短语的依赖性很大。我们认为，这种偏见可以通过从词嵌入中去除性别特征来减少。因此，对于BERT中的每一层，我们识别主要编码性别信息的方向。由这些方向形成的空间被称为词嵌入语义空间中的性别子空间。我们提出了一种算法，发现细粒度的性别方向，即，每个BERT层有一个主方向。这就避免了在多个维度上实现性别子空间的需要，也避免了其他关键信息的遗漏。实验表明，去除这些方向的嵌入组件在减少下游任务中的BERT引起的偏差方面取得了很大的成功。
2020-09-10 cs.CL
Angry Men, Sad Women: Large Language Models Reflect Gendered Stereotypes in Emotion Attribution
Bocconi University（博科尼大学）；University of Leeds（利兹大学）；Heriot-Watt University（赫瑞瓦特大学）
本研究首次系统评估五种大型语言模型在情绪归因中的性别刻板印象，发现模型一致反映性别化情绪，与心理学研究一致，并探讨了其社会影响及预测性应用的局限。
2024-05-28 cs.CL
Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and Addressing Sociological Implications
Indian Institute of Technology Bhilai（印度理工学院比莱分校）
本研究通过对比GPT-2与GPT-3.5，分析大语言模型在职业术语中的性别偏见，揭示其社会学影响，并提出算法与数据增强等缓解策略，旨在推动更公平的AI系统。
2023-08-31 cs.CL
Mitigating Gender Bias Amplification in Distribution by Posterior Regularization
Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）
先进的机器学习技术提高了自然语言处理的性能。然而，最近的研究，例如，Zhao et al.（2017）表明，这些技术无意中捕获了隐藏在语料库中的社会偏见，并进一步放大了它。然而，他们的分析仅针对模型的最佳预测。在本文中，我们从分布的角度研究了性别偏见放大问题，并证明了偏见是放大的标签上的预测概率分布的观点。我们进一步提出了一种基于后验正则化的偏差缓解方法。在性能损失很小的情况下，我们的方法几乎可以消除分布中的偏置放大。我们的研究有助于理解偏差放大效应。
2020-05-13 cs.CL cs.CV cs.LG
Akal Badi ya Bias: An Exploratory Study of Gender Bias in Hindi Language Technology
Microsoft Research（微软研究院）；Karya；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Delft University of Technology（代尔夫特理工大学）；Cornell University（康奈尔大学）
本文首次综合考察印地语语言技术中的性别偏见，结合文本挖掘、计算模型与面向农村及低收入女性的田野研究，指出方法局限并倡导社区中心的包容性研究框架。
2024-05-10 cs.CL
The Effect of Perceived Race and Gender on Police Language Use: Experimental Evidence from VR Simulations
University of Maryland（马里兰大学）
本研究通过VR模拟实验发现，警察对黑人男性虚拟角色的说话恭敬程度更低，还探讨了LLM在ATE估计中的应用，推荐混合效应模型结合iptw方法，认为LLM相关技术需进一步完善。
2026-08-06 cs.AI cs.CL cs.CY
Exploring and Mitigating Gender Bias in Encoder-Based Transformer Models
Department of Computer Science and Engineering BRAC University（计算机科学与工程系 BRAC大学）
本文研究了BERT等基于编码器的Transformer模型中的性别偏见，提出了量化偏见的新指标MALoR和基于反事实数据增强的持续预训练缓解方法，显著降低了偏见得分且不损害下游任务性能。
2025-11-01 cs.CL
Quantifying Gender Bias in Consumer Culture
Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
歌曲等文化项目在创造和加强陈规定型观念、偏见和歧视方面具有重要影响。但这些项目的实际性质往往不那么透明。以歌曲为例。歌词对女性有偏见吗？随着时间的推移，这些偏见是如何改变的？自然语言处理对50年来25万首歌曲进行了量化。女性不太可能与理想的特征（即，虽然这种偏见已经减少，但它仍然存在。辅助分析进一步表明，歌词可能有助于推动社会对女性的刻板印象的转变，而抒情的转变是由男性艺术家推动的（因为女性艺术家一开始就没有那么偏见）。总的来说，这些结果揭示了文化进化，偏见和歧视的微妙措施，以及自然语言处理和机器学习如何更深入地了解刻板印象和文化变革。
2022-01-10 cs.CL
Comparing Humans and Models on a Similar Scale: Towards Cognitive Gender Bias Evaluation in Coreference Resolution
School of Computer Science and Engineering, The Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院）
本文基于双过程理论，通过众包实验比较人类与模型在共指消解中的性别偏见，发现真实数据上人类偏见多约3%，而合成数据上模型偏见高约12%。
2023-05-24 cs.CL
Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate
Federal University of Rio Grande do Sul（南里奥格兰德州联邦大学）
最近，人们越来越关注机器偏见，其中训练的统计模型增长以反映有争议的社会不对称性，例如性别或种族偏见。最近有大量的人工智能工具被认为对某些少数民族有有害的偏见，有报道称种族主义犯罪行为预测器，iPhone X无法区分两个亚洲人，谷歌照片错误地将黑人分类为大猩猩。尽管对这种偏见进行系统的研究可能很困难，但我们相信，可以通过性别中立的语言来利用自动翻译工具，从而为人工智能中的性别偏见现象提供一个窗口。在本文中，我们从美国劳工统计局（BLS）的一份全面的工作职位列表开始，并用它来构建12种不同性别中性语言（如匈牙利语，汉语，约鲁巴语等）中的句子，如“他/她是一名工程师”。我们使用Google Translate API将这些句子翻译成英语，并收集有关翻译输出中女性，男性和性别中性代词频率的统计数据。我们发现，GT表现出强烈的男性默认倾向，特别是在与性别分布不平衡有关的领域，如STEM工作。我们将这些统计数据与劳工统计局关于女性参与每个工作岗位的频率的数据进行了比较，结果表明GT未能再现女性工人的真实分布。我们提供的实验证据表明，即使人们不期望在原则上50：50代词性别分布，GT产生男性默认更频繁地比预期的人口数据。我们希望这项工作将引发一场辩论，即需要用科学文献中已经存在的去偏置技术来增强当前的统计翻译工具。
2019-03-11 cs.CL cs.CY
Harmful Speech Detection by Language Models Exhibits Gender-Queer Dialect Bias
University of Southern California ISI（南加州大学信息科学研究所）
本研究针对内容审核中性别酷儿方言的偏见问题，构建QueerReclaimLex数据集评估5款现成语言模型，发现模型易误标性别酷儿文本，且对目标群体文本的F1值≤0.24，呼吁提升内容审核的公平包容性。
2024-06-21 cs.CL cs.CY
A Longitudinal Analysis of Racial and Gender Bias in New York Times and Fox News Images and Articles
NYU Abu Dhabi（纽约大学阿布扎比分校）；Lahore University of Management Sciences（拉合尔管理科学大学）
本研究针对现有新闻偏见研究缺乏纵向分析的空白，提出两个检测种族与年龄的机器学习分类器，基于《纽约时报》和福克斯新闻的图文数据集，揭示了两家媒体在种族与性别群体呈现频率、突出程度及报道语境上的偏见差异。
2024-10-31 cs.CL cs.CV cs.CY
An Empirical Investigation of Gender Stereotype Representation in Large Language Models: The Italian Case
Politecnico di Torino（都灵理工大学）
本文通过意大利语职业层级提示实验，测试ChatGPT与Gemini的性别职业偏见，发现二者均显著将女性代词关联于低层职位。
2025-07-25 cs.AI cs.CL cs.CY
Investigating Markers and Drivers of Gender Bias in Machine Translations
Edinburgh Napier University（爱丁堡龙比亚大学）；School of Computing, Engineering, and Built Environment（计算、工程与建筑环境学院）
本文通过DeepL回译56项软件工程任务，比较五种无性别中间语言并提出新的性别变化度量指标，识别主要动词为偏见驱动因素，验证了回译方法用于分析语言模型性别偏见的有效性与可重复性。
2024-04-02 cs.CL cs.CY cs.SE
Mitigating Bias in Queer Representation within Large Language Models: A Collaborative Agent Approach
App-In Club（App-In俱乐部）
针对 LLM 在性别代词使用中排斥酷儿身份的问题，本文提出含偏见检测与纠正专用智能体的协作流水线，并在 Tango 上证明其相较 GPT-4o 显著提升包容性代词判断。
2024-12-02 cs.CL cs.MA
Preventing Author Profiling through Zero-Shot Multilingual Back-Translation
Saarland University（萨尔兰大学）
短至一句话的文件可能会无意中泄露有关作者的敏感信息，包括例如其性别或种族。风格转换是一种转换文本的有效方法，可以删除任何可能导致作者分析的信息。然而，对于许多当前最先进的方法，改进的隐私性伴随着经变换的数据的下游效用的不期望的下降。在本文中，我们提出了一种简单的，zero-shot的方法，通过使用现成的翻译模型进行多语言回译来有效地降低作者分析的风险。我们将我们的模型与五个代表性的文本风格传输模型在不同领域的三个数据集上进行比较。自动和人工评估的结果表明，我们的方法达到了最佳的整体性能，而不需要训练数据。我们能够将性别和种族的对抗性预测降低高达$22\%$，同时保留下游任务的原始效用$95\%$。
2021-09-19 cs.CL
Bias A-head? Analyzing Bias in Transformer-Based Language Model Attention Heads
University of Notre Dame（圣母大学）
本文提出偏见分析框架，识别BERT和GPT中导致刻板印象偏见的少数注意力头，并通过实验揭示其行为机制，为模型公平性评估与偏见缓解提供依据。
2024-06-16 cs.CL
Bias after Prompting: Persistent Discrimination in Large Language Models
Apple（苹果公司）
针对偏见迁移假设的错误认知，研究验证提示适配下大语言模型的偏见迁移现象，发现主流提示去偏方法无法持续阻断偏见迁移，指出修正模型固有偏见的重要性。
2025-11-19 cs.CL cs.LG
Persuasiveness and Bias in LLM: Investigating the Impact of Persuasiveness and Reinforcement of Bias in Language Models
Department of Mathematics and Computer Science（数学与计算机科学系）；Data and Artificial Intelligence Research Group（数据与人工智能研究组）
本文通过说服者-怀疑者框架量化LLM的说服力及其对种族、性别、宗教偏见的强化效应，揭示其塑造叙事与传播错误信息的双重能力，并据此提出防护栏与政策建议。
2025-08-13 cs.AI cs.CL
Are fairness metric scores enough to assess discrimination biases in machine learning?
IRIT（图卢兹计算机科学研究所）；Université Paul-Sabatier（保罗·萨巴蒂埃大学）；IMT（图卢兹国立应用科学学院）
本文通过在 Bios 数据集上以多种样本规模训练 200 多个职业预测模型，证明常用性别偏见指标在小样本下可能分歧且不可靠，强调方差计算的重要性。
2023-06-08 cs.CL cs.CY cs.LG
A Machine Learning Application for Raising WASH Awareness in the Times of COVID-19 Pandemic
Shiv Nadar University；Indraprastha Institute of Information Technology, Delhi（德里英迪拉普拉斯塔信息技术学院）；All India Institute of Medical Sciences（全印度医学科学研究所）；GL Bajaj Institute Of Tech and Management（GL Bajaj 技术与管理学院）；Netaji Subhas University of Technology（Netaji Subhas 技术大学）
背景：COVID-19大流行揭示了数字错误信息在塑造国家健康方面的潜力。未经核实的信息泛滥，传播速度超过了疫情本身，这是一种前所未有的现象，使数百万人的生命处于危险之中。缓解这种信息流行病需要强大的健康信息系统，这些系统具有吸引力，本地化，可扩展，有效并不断学习新的错误信息模式。目的：我们创建了WashKaro，这是一种多管齐下的干预措施，通过对话AI，机器翻译和自然语言处理来减少错误信息。WashKaro通过人工智能提供与世卫组织指南相匹配的正确信息，并以当地语言以正确的格式提供。研究方法：我们理论化（i）一个基于NLP的AI引擎，它可以不断地结合用户反馈来提高信息的相关性，（ii）当地语言中的一口大小的音频，以提高性别识字率不平衡的国家的识字率，以及（iii）与用户进行对话但互动的AI参与，以提高社区的健康意识。结果：共有5026人在研究窗口期间下载了该应用程序，其中1545人是活跃用户。我们的研究表明，与男性相比，使用印地语应用程序的女性人数是男性的3.4倍，在连续机器学习的45天内，人工智能过滤的新闻内容的相关性翻了一番，集成人工智能聊天机器人Satya的谨慎性增加，从而证明了移动健康平台在减少健康错误信息方面的有用性。结论：我们的结论是，多管齐下的机器学习应用程序提供本地化的一口大小的音频和对话式人工智能是一种有效的方法，以减轻健康错误信息。
2020-10-30 cs.CL cs.CY cs.LG
