Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and Addressing Sociological Implications
Indian Institute of Technology Bhilai（印度理工学院比莱分校）
本研究通过对比GPT-2与GPT-3.5，分析大语言模型在职业术语中的性别偏见，揭示其社会学影响，并提出算法与数据增强等缓解策略，旨在推动更公平的AI系统。
2023-08-31 cs.CL
Understanding and Mitigating Gender Bias in LLMs via Interpretable Neuron Editing
The University of Manchester（曼彻斯特大学）；National Centre for Text Mining（国家文本挖掘中心）
本研究提出CommonWords数据集和可解释神经元编辑方法，通过识别并选择性编辑性别偏见相关神经元，在五个大语言模型上有效降低性别偏见同时保持模型原有能力。
2025-01-24 cs.CL
Comparing Intrinsic Gender Bias Evaluation Measures without using Human Annotated Examples
Tokyo Institute of Technology（东京工业大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
在预训练的语言模型（PLM）中已经识别出许多类型的社会偏见，并且已经提出了各种内在偏见评估措施来量化这些社会偏见。先前的工作依赖于人类注释的例子来比较现有的固有偏差评估措施。然而，这种方法不容易适应不同的语言，也不适合大规模的评估，由于成本和困难时，招募人类注释。为了克服这一限制，我们提出了一种方法来比较内在的性别偏见的评价措施，而不依赖于人类注释的例子。具体来说，我们创建多个偏见控制版本的PLM使用不同数量的男性与女性性别的句子，挖掘自动从一个未注释的语料库使用性别相关的单词列表。接下来，使用内在偏差评估措施评估每个偏差控制的PLM，并计算计算出的偏差分数与用于微调PLM的性别比例之间的等级相关性。在多个语料库和PLM上的实验反复表明，我们提出的方法报告的相关性，不需要人类注释的例子是可比的，在以前的工作中使用人类注释的例子计算。
2023-01-28 cs.CL
In-Contextual Gender Bias Suppression for Large Language Models
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊公司）
本文提出一种无需访问模型参数、仅通过文本前言注入反事实陈述和性别中立描述来抑制大语言模型性别偏见的方法，并在LLaMA2等模型上验证了其有效性和对下游任务影响的可接受性。
2024-02-20 cs.CL
Measuring Gender Bias in West Slavic Language Models
University of Copenhagen（哥本哈根大学）
本文构建首个捷克语、波兰语和斯洛伐克语的模板数据集，通过毒性和性别化程度量化分析西斯拉夫语言模型中的性别偏见，发现以男性为主体时模型产生更多与暴力、死亡和疾病相关的有害补全。
2023-05-25 cs.CL
GenderAlign: An Alignment Dataset for Mitigating Gender Bias in Large Language Models
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对大语言模型中的性别偏见问题，构建了包含8k个单轮对话的对齐数据集GenderAlign，通过选择低偏见高质量回应，有效减少性别偏见。
2024-12-16 cs.AI cs.CL
Don't Forget About Pronouns: Removing Gender Bias in Language Models Without Losing Factual Gender Information
Institute of Formal and Applied Linguistics, Faculty of Mathematics and Physics（数学与物理学院形式与应用语言学研究所）；Charles University（查理大学）
大语言模型中的表示包含多种类型的性别信息。我们专注于两种类型的此类信号在英语文本：事实性别信息，这是一个语法或语义属性，性别偏见，这是一个词和特定性别之间的相关性。我们可以解开模型的嵌入，并通过探测识别编码两种类型信息的组件。我们的目标是在保留事实性别信号的同时，减少陈述中的陈规定型偏见。我们的过滤方法表明，它是可能的，以减少性别中立的专业名称的偏见，而不会显着恶化的语言建模能力。研究结果可以应用到语言生成，以减少依赖的定型观念，同时保持性别协议的共指。
2022-06-21 cs.AI cs.CL
Evaluating LLMs for Gender Disparities in Notable Persons
Robert H. Smith School of Business, University of Maryland（马里兰大学罗伯特·H·史密斯商学院）；University of Antwerp（安特卫普大学）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本研究评估GPT系列大语言模型在事实检索中的性别差异，发现GPT-3.5存在明显性别偏见，GPT-4虽改进但未消除，尤其在拒绝回应时，并探讨了提示词性别关联与回应同质性的影响。
2024-03-14 cs.CL cs.IR
Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora
ELLIS Alicante, Spain（西班牙阿利坎特ELLIS研究所）；University of Alicante, Spain（西班牙阿利坎特大学）
针对性别化语言语料中性别表征偏差研究不足的问题，提出基于大语言模型的人物指代词汇识别分类方法，检测出多语料的男性主导失衡，且发现小规模反向性别偏向训练可缓解该偏差对模型输出的影响。
2025-06-17 cs.CL cs.CY
GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models
University of Science and Technology of China（中国科学技术大学）；A*STAR（新加坡科技研究局）；Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）
GenderCARE提出综合框架，含新标准、对基准GenderPair和去偏技术，显著减少LLMs性别偏见，平均超35%，最高超90%，且语言任务性能损失低于2%。
2025-02-23 cs.AI cs.CL
LFTF: Locating First and Then Fine-Tuning for Mitigating Gender Bias in Large Language Models
Harbin Institute of Technology（哈尔滨工业大学）；Tencent（腾讯）
本研究提出GenBiasEval、GenHintEval两个数据集及对应指标以评估大模型性别偏见，还提出LFTF算法，通过定位并微调与偏见最相关的模块，在保留通用能力的同时有效缓解性别偏见。
2025-05-21 cs.AI cs.CL
Contaminated Collaboration: Measuring Gender Bias Transfer in LLM-Assisted Student Writing
Brac University（布拉卡大学）
通过实验发现，使用性别偏见的LLM写作助手会显著增加学生职业规划作文中的性别刻板印象，且偏见迁移不对称：女性目标作文的能动性被抑制，男性目标作文受影响较小。
2026-06-16 cs.CL cs.HC
Who Gets the Mic? Investigating Gender Bias in the Speaker Assignment of a Speech-LLM
Department of Linguistics（语言学系）；Department of Speech, Music, and Hearing（语音、音乐与听觉系）
本研究通过分析语音大语言模型Bark的说话人分配来探究性别偏见，构建职业和性别色彩词语两个数据集，发现Bark虽无系统性偏见但具有性别意识和一定倾向。
2025-08-19 cs.AI cs.CL
Exploring Gender Bias in Large Language Models: An In-depth Dive into the German Language
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限责任公司）；Know Center Research GmbH（Know Center研究有限责任公司）
本文通过构建五个德语性别偏见评估数据集并在八个多语言LLM上测试，揭示了德语中男性职业术语歧义和中性名词影响性别感知等独特挑战，强调需要定制化评估框架。
2025-07-22 cs.CL cs.LG
DR.GAP: Mitigating Bias in Large Language Models using Gender-Aware Prompting with Decoupled Reasoning
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；School of Computer and Cyber Sciences, Augusta University（奥古斯塔大学计算机与网络科学学院）
该研究针对大语言模型的性别偏见问题，提出DR.GAP方法，通过生成无性别推理轨迹作为上下文示例，在不修改模型参数的情况下缓解偏见，且可扩展至视觉语言模型，经多任务多模型实验验证有效。
2026-08-18 cs.AI cs.CL
Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）；University College London（伦敦大学学院）
偏差测量数据集在检测语言模型的偏差行为和评估偏差减轻方法的进展方面起着至关重要的作用。在这项工作中，我们专注于通过共指消解来评估性别偏见，以前的数据集要么是手工制作的，要么不能可靠地测量明确定义的偏见。为了克服这些缺点，我们提出了一种新的方法来收集不同的，自然的，和最小的距离通过反事实生成的文本对，并构建Counter-GAP，一个注释数据集组成的4008个实例分为1002四元组。我们进一步确定了一个偏见消除问题，在以前的组级指标的反差距，并建议使用性别之间的差异和性别内的不一致性来衡量偏见在四重水平。我们的研究结果表明，四个预先训练的语言模型在不同性别群体之间的不一致性明显高于每个群体内部的不一致性，并且基于姓名的反事实数据增强方法比基于匿名化的方法更有效地减轻了这种偏见。
2023-02-11 cs.AI cs.CL
Towards Fair Rankings: Leveraging LLMs for Gender Bias Detection and Measurement
Università della Svizzera italiana \& University of Amsterdam；University of Amsterdam The Netherland；Unviersity of Amsterdam The Netherland；University of Amsterdam
本文利用LLMs检测段落排序中的性别偏见，提出新指标CWEx并发布MSMGenderBias数据集，实验证明其比以往指标更详细且与人类标签对齐度更高，为缓解IR系统偏见提供稳健框架。
2025-06-27 cs.CL cs.IR
Gender Bias in LLM-generated Interview Responses
Rutgers University（罗格斯大学）；University of Pittsburgh（匹兹堡大学）；Korea University（高丽大学）；Korean National Police University（韩国警察大学）；Ewha Womans University（梨花女子大学）
本研究评估GPT-3.5、GPT-4、Claude三个LLM生成的面试回答，发现其性别偏见与性别刻板印象及岗位主导性高度一致，为系统检查该类偏见并推动相关应用的偏见缓解提供了依据。
2024-11-28 cs.AI cs.CL
The Confidence Trap: Gender Bias and Predictive Certainty in LLMs
本研究探讨大语言模型在性别偏见任务中的置信度校准问题，提出Gender-ECE指标以评估公平性差异，发现Gemma-2在性别偏见基准中校准最差。
2026-01-12 cs.CL cs.LG
Investigating Gender Bias in LLM-Generated Stories via Psychological Stereotypes
Johannes Kepler University (JKU)（约翰内斯·开普勒大学）；Linz Institute of Technology (LIT)（林茨技术研究所）；University of Innsbruck（因斯布鲁克大学）
本研究通过心理刻板印象在叙事生成中探究大语言模型的性别偏见，提出StereoBias-Stories数据集，发现属性条件化可缓解偏见，组合属性加剧或缓解偏见，且模型偏见与心理真实情况一致。
2025-08-05 cs.AI cs.CL
Assessing Gender Bias in LLMs: Comparing LLM Outputs with Human Perceptions and Official Statistics
Minerva University（密涅瓦大学）
本研究通过新建职业角色评估集并利用KL散度比较五个LLM与人类感知及官方统计数据的性别判断，发现LLM普遍偏离性别中立且更贴近统计数据，仍存在固有性别偏见。
2024-11-20 cs.CL cs.LG
Evaluating Large Language Models through Gender and Racial Stereotypes
Georgia Institute of Technology（佐治亚理工学院）
本研究建立评估框架，在专业背景下对比分析大型语言模型的性别和种族偏见，发现新模型中性别偏见大幅减少但种族偏见依然存在。
2023-11-24 cs.AI cs.CL cs.CY
Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions
Carnegie Mellon University（卡内基梅隆大学）
针对预训练语言模型传播性别偏见且重新训练成本高的问题，本文提出仅用10个去偏样本进行微调的少样本数据干预方法，在尽量保持语言建模能力的同时取得优于现有基线的去偏效果。
2023-06-07 cs.CL cs.LG
The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data
University of Trento（特伦托大学）
本研究通过在线购物数据分析大语言模型中的性别偏见，发现模型在性别预测中受刻板印象影响，且减少偏见指令只能降低预测确定性，无法消除刻板印象模式。
2025-12-11 cs.AI cs.CL cs.CY
Gender Bias in Machine Translation and The Era of Large Language Models
本章综述传统神经机器翻译与大语言模型中的性别偏见，并通过英语—意大利语场景下的 ChatGPT 实验评估其偏见应对能力，强调持续缓解偏见、促进公平包容的必要性。
2024-01-18 cs.AI cs.CL cs.CY
From Individuals to Interactions: Benchmarking Gender Bias in Multimodal Large Language Models from the Lens of Social Relationship
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）
本文提出Genres基准，通过双角色叙事生成任务从社会关系视角评估多模态大语言模型中的性别偏见，实验表明开源与闭源模型均存在单角色场景下无法显现的情境敏感偏见，为偏见诊断与缓解提供新思路。
2026-10-14 cs.AI cs.CL cs.CY
Mitigating Extrinsic Gender Bias for Bangla Classification Tasks
Ahsanullah University of Science and Technology（阿沙努拉科学与技术大学）；University of California, Riverside（加州大学河滨分校）
本文研究了孟加拉语预训练语言模型中的外在性别偏见，构建了四个任务特定的基准数据集，并提出RandSymKL方法以缓解偏见，实验表明其能有效减少偏见并保持高准确率。
2026-05-16 cs.AI cs.CL cs.LG
Politeness Stereotypes and Attack Vectors: Gender Stereotypes in Japanese and Korean Language Models
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
该研究针对日语和韩语语言模型，探究礼貌层级相关的语法性别偏见，发现礼貌层级是网络欺凌检测模型的性别偏见攻击向量，并构建攻击数据集以识别偏见、展示攻击方式及缓解分配式偏见，呼吁偏见研究突破英语中心局限。
2023-06-16 cs.AI cs.CL cs.CY
Are Models Biased on Text without Gender-related Language?
University of California Irvine（加州大学欧文分校）
本文提出 UnStereoEval 框架，在无性别相关语言的场景中评估模型性别偏见，发现 28 个模型仅在 9%-41% 的句子中表现公平，表明偏见并非仅源于性别词汇。
2024-05-01 cs.AI cs.CL cs.CV
Evaluating Gender Bias in Speech Translation
Alexandria University（亚历山大大学）
科学界越来越意识到必须接受多元化，并始终代表主要和次要的社会群体。目前，对于不同类型的偏差没有标准的评估技术。因此，迫切需要提供评估集和协议来测量我们的自动系统中的现有偏差。评估偏见应该是在系统中减轻偏见的重要一步。本文介绍了WinoST，这是一款用于评估语音翻译中性别偏见的新的免费挑战赛。WinoST是WinoMT的语音版本，WinoMT是MT挑战集，两者都遵循评估协议来测量性别准确性。使用最先进的端到端语音翻译系统，我们报告了四种语言对的性别偏见评估，我们表明语音翻译的性别准确率比MT低23%以上。
2022-05-14 cs.CL
MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating Gender Accuracy in Machine Translation
AWS AI Labs（AWS人工智能实验室）
随着通用机器翻译（MT）质量的提高，对探索细粒度质量方面的有针对性的基准测试的需求也在增加。特别是，翻译中的性别准确性可能会对输出流畅性，翻译准确性和道德产生影响。在本文中，我们介绍了MT-GenEval，一个用于评估从英语翻译成八种广泛使用的语言的性别准确性的基准。MT-GenEval补充了现有的基准，以八种语言对提供现实的、性别平衡的、反事实的数据，其中个人的性别在输入部分中是明确的，包括需要跨性别协议的多句部分。我们的数据和代码在CC BY SA 3.0许可证下公开提供。
2022-11-02 cs.CL
Multi-Dimensional Gender Bias Classification
Facebook AI Research（Facebook人工智能研究院）；Laboratoire Lorrain d’Informatique et Applications (LORIA)（洛林计算机科学及其应用实验室（LORIA））
机器学习模型被训练来寻找数据中的模式。NLP模型在训练有性别偏见的文本时，可能会无意中学习到社会上不受欢迎的模式。在这项工作中，我们提出了一个总体框架，分解文本中的性别偏见沿几个语用和语义方面：从性别的人被谈论的偏见，从性别的人被说话的偏见，从性别的扬声器的偏见。使用这个细粒度的框架，我们自动注释八个大规模的数据集与性别信息。此外，我们还收集了一个新颖的、众包的话语级性别重写评估基准。区分多个维度的性别偏见是很重要的，因为它使我们能够训练更细粒度的性别偏见分类器。我们证明了我们的分类器对于各种重要的应用都是有价值的，例如控制生成模型中的性别偏见，检测任意文本中的性别偏见，并在性别方面揭示攻击性语言。
2020-05-01 cs.CL
Grammatical gender associations outweigh topical gender bias in crosslinguistic word embeddings
Babbel（巴巴贝尔（语言学习公司））
最近的研究表明，语义的向量空间模型可以反映人类文化中不受欢迎的偏见。我们对跨语言词嵌入的研究表明，主题性别偏见与语法性别联想的影响相互作用，并且在程度上被语法性别联想的影响所超越，并且两者都可以通过语料库词形化来减弱。这一发现对诸如机器翻译等下游应用具有启示意义。
2020-05-18 cs.CL
Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation
National Institute of Technology, Hamirpur（哈米尔普尔国家理工学院）
针对现有NMT性别偏见评估多依赖英语或性别中立句的局限，本研究以印地语为源语言构建OTSC-Hindi、WinoMT-Hindi性别特指数据集，验证了用含语法性别线索的句子评估偏见的合理性，强调评估数据集设计需考虑语言特性。
2023-11-07 cs.CL
Measuring Gender Bias in Job Title Matching for Grammatical Gender Languages
Avature Machine Learning（阿瓦图尔机器学习）
本研究提出基于RBO的性别控制排名比较指标，构建四种语法性别语言的职位匹配测试集，评估多语言模型并揭示其普遍存在的性别偏见。
2025-09-17 cs.CL
Gender Bias in Coreference Resolution
Johns Hopkins University（约翰斯·霍普金斯大学）
本文对共指消解系统中的性别偏见进行了实证研究。我们首先介绍一种新的，Winograd模式风格的最小对句子，不同的代词性别。有了这些“Winogender图式”，我们评估和确认系统的性别偏见在三个公开的共指消解系统，并将这种偏见与现实世界和文本的性别统计。
2018-04-25 cs.CL
GKnow: Measuring the Entanglement of Gender Bias and Factual Gender
Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文提出GKnow基准，用于评估语言模型在不同性别预测类型中的性别知识和偏见，发现性别偏见与事实性性别在电路和神经元层面高度纠缠，表明神经元剪除不可靠。
2026-05-12 cs.CL
Evaluating Gender Bias in Machine Translation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了第一个挑战集和评估协议的分析性别偏见的机器翻译（MT）。我们的方法使用了两个最近的共指消解数据集，这些数据集由英语句子组成，这些句子将参与者塑造成非刻板的性别角色（例如，“医生请护士在手术中帮助她”）。我们设计了一种基于词法分析的八种具有语法性别的目标语言的自动性别偏见评估方法（例如，“医生”一词的女性变音）。我们的分析表明，四个流行的工业机器翻译系统和两个最新的国家的最先进的学术机器翻译模型显着倾向于性别偏见的翻译错误的所有测试的目标语言。我们的数据和代码是公开的。
2019-06-03 cs.CL
Mitigating Gender Bias in Natural Language Processing: Literature Review
UC Santa Barbara（加州大学圣巴巴拉分校）；UC Los Angeles（加州大学洛杉矶分校）
随着自然语言处理（NLP）和机器学习（ML）工具的普及，认识到它们在塑造社会偏见和刻板印象方面的作用变得越来越重要。虽然NLP模型在建模各种应用程序方面取得了成功，但它们传播甚至可能放大文本语料库中的性别偏见。虽然对人工智能中的偏见的研究并不新鲜，但减轻NLP中性别偏见的方法相对较新。在本文中，我们回顾了当代研究识别和减轻NLP中的性别偏见。我们讨论了基于四种形式的表征偏见的性别偏见和分析方法识别性别偏见。此外，我们讨论了现有的性别去偏见方法的优点和缺点。最后，我们讨论了未来的研究，以识别和减轻NLP中的性别偏见。
2019-06-21 cs.CL
Exploring Gender Bias Beyond Occupational Titles
University of Tartu, Institute of Computer Science（塔尔图大学计算机科学学院）
本研究提出GenderLexicon数据集与评估框架，通过动作动词、宾语名词等上下文元素量化性别偏见并提升可解释性，证实职业刻板印象之外存在性别偏见。
2025-07-12 cs.CL
Examining Gender Bias in Languages with Grammatical Gender
University of California Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究表明，词嵌入表现出从训练语料库继承的性别偏见。然而，迄今为止，大多数研究都集中在量化和减轻这种偏见只在英语。这些分析不能直接扩展到语言，表现出形态的性别协议，如西班牙语和法语。在本文中，我们提出了新的衡量标准，这些语言的词嵌入中的性别偏见，并进一步证明了双语嵌入，这些语言与英语对齐的性别偏见的证据。最后，我们扩展了现有的方法，以减轻性别偏见的词嵌入下单语和双语设置。在改进的词嵌入联想测试、词相似度、词翻译和词对翻译任务上的实验表明，该方法在保持嵌入效用的同时，有效地减少了性别偏见。
2019-09-09 cs.CL
Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
本研究提出基准 AmbGIMT 和基于情感态度得分（EAS）的新评估流程，利用歧义态度词评估二元性别之外的机器翻译性别偏见，发现非二元语境翻译质量较差且偏见明显，提示中加入约束上下文可大幅减少但无法消除偏见。
2024-07-23 cs.CL
Queens are Powerful too: Mitigating Gender Bias in Dialogue Generation
Facebook AI Research（Facebook人工智能研究院）；Laboratoire Lorrain d’Informatique et Applications (LORIA)（洛林计算机科学及其应用实验室）
模型通常很容易学习训练数据中存在的偏差，并且它们的预测直接反映了这种偏差。我们分析了对话数据中的性别偏见，并研究了这种偏见如何在随后的生成聊天对话模型中被放大。我们在六个现有的对话数据集中测量性别偏见，并专注于最有偏见的一个，基于多玩家文本的奇幻冒险数据集LIGHT，作为我们偏见缓解技术的测试平台。LIGHT数据集在性别方面高度不平衡，主要包含男性角色，可能是因为它完全由众包工作者收集，反映了幻想或中世纪环境中存在的常见偏见。我们考虑三种技术来减轻性别偏见：反事实数据增强，有针对性的数据汇集，和偏差控制的培训。我们表明，我们提出的技术通过平衡生成的对话话语的性别来减轻LIGHT中的性别偏见，并且组合起来特别有效。我们使用各种评估方法来量化性能-例如性别词的数量，对话安全分类器和人类研究-所有这些都表明我们的模型产生较少的性别，但同样吸引人的闲聊反应。
2020-04-16 cs.CL
Reducing Gender Bias in Word-Level Language Models with a Gender-Equalizing Loss Function
New York University（纽约大学）
神经语言模型倾向于学习自然语言数据集，从而导致有偏见的文本生成。在这项研究中，我们提出了一个去偏置的方法的基础上的损失函数修改。我们引入了一个新的术语的损失函数，试图在输出中的男性和女性的话的概率相等。使用一系列的偏见评估指标，我们提供的经验证据表明，我们的方法成功地减轻性别偏见的语言模型，而不增加困惑。与现有的去偏置策略、数据增强和词嵌入去偏置方法相比，该方法在几个方面表现更好，特别是在减少职业词中的性别偏见方面。最后，我们介绍了数据增强和我们的方法的组合，并表明它在所有偏差评估指标上都优于现有策略。
2019-06-03 cs.CL
On Measuring Gender Bias in Translation of Gender-neutral Pronouns
Seoul National University（首尔大学）；INMC
关于社会偏见的伦理学最近在自然语言处理中提出了引人注目的问题。特别是对于与性别相关的主题，在诸如图像描述、内容推荐和自动化就业的领域中，对减少模型偏差的系统的需求已经增长。然而，机器翻译系统中的性别偏见的检测和评估尚未得到彻底的研究，因为任务是跨语言的，具有挑战性的定义。在本文中，我们提出了一个计划，使一个测试集，评估性别偏见的机器翻译系统，与韩国，一种语言的性别中性代词。三个词/短语集主要是构建，每个包含积极/消极的表达或职业;所有的术语都是性别独立的或至少没有严重偏向一侧。然后，根据代词的正式性和句子的礼貌性构建了附加的句子列表。在生成的句子集的大小为4,236，我们评估传统的机器翻译系统中的性别偏见，利用所提出的措施，这是在这里被称为翻译性别偏见指数（TGBI）。语料库和评价代码可在线查阅。
2019-05-28 cs.CL
Extending Challenge Sets to Uncover Gender Bias in Machine Translation: Impact of Stereotypical Verbs and Adjectives
人类的性别偏见反映在语言和文本的产生中。由于最先进的机器翻译（MT）系统是在大型文本语料库（主要由人类生成）上训练的，因此在MT中也可以发现性别偏见。例如，当职业从英语这样的语言（主要使用性别中性词）翻译成德语这样的语言（主要使用女性和男性职业版本）时，必须由机器翻译系统做出决定。最近的研究表明，机器翻译系统偏向于刻板的职业翻译。2019年，第一个也是迄今为止唯一一个明确旨在衡量MT系统中性别偏见程度的挑战集已经发布。在这一套中，性别偏见的衡量完全基于职业的翻译。在本文中，我们提出了这个挑战集的扩展，称为WiBeMT，带有性别偏见的形容词，并添加了带有性别偏见的动词的句子。最终的挑战集由超过70，000个句子组成，并已被三个商业机器翻译系统翻译：DeepL翻译，微软翻译和谷歌翻译。结果表明，所有三个MT系统的性别偏见。这种性别偏见在很大程度上受形容词的影响，在较小程度上受动词的影响。
2021-07-24 cs.CL
Gender Bias Hidden Behind Chinese Word Embeddings: The Case of Chinese Adjectives
Uppsala University（乌普萨拉大学）
词嵌入中的性别偏见近年来逐渐成为一个活跃的研究领域。这一领域的大多数研究都是以英语为目标语言的测量和去偏置方法。本文从汉语形容词这一独特的视角考察静态词嵌入中的性别偏见。通过使用不同的模型训练单词表示，评估形容词向量背后的性别偏见。通过比较产生的结果和人类评分的数据集，我们展示了性别偏见编码的词嵌入区别于人们的态度。
2021-06-01 cs.CL
Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation
Texas A&M University（德克萨斯A&M大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出无需预定义性别短语和刻板印象的条件文本生成机制，通过三类输入和显隐性指标评估LLM性别偏见，发现模型增大未必提升公平性且所有被测模型均存在显性或隐性偏见。
2023-11-01 cs.CL
Theories of "Gender" in NLP Bias Research
Umeå University（于默奥大学）；Uppsala University（乌普萨拉大学）
人们对自然语言处理（NLP）技术包含和延续社会偏见的担忧日益增加，导致了一个丰富且快速增长的研究领域。性别偏见是正在分析的中心偏见之一，但迄今为止，还没有全面分析“性别”在该领域的理论化。我们调查了近200篇关于NLP中性别偏见的文章，以发现该领域如何明确地（例如通过术语的定义）和隐含地（例如通过性别如何在实践中运作）将性别概念化。为了更好地了解新兴的思想轨迹，我们将这些文章按时间分为两个部分。我们发现，大多数的文章并没有使他们的性别理论明确，即使他们明确定义了“偏见”。几乎没有人使用交叉或包含非二元性别的性别模型;许多人将性别特征，社会性别和语言性别混为一谈，无视跨性别，非二元和双性人的存在和经验。在承认性别是一个复杂现实的声明中，这两个时间段之间的声明有所增加，但是，很少有文章能够将这种承认付诸实践。除了分析这些发现，我们提供了具体的建议，以促进跨学科的工作，并纳入性别研究的理论和方法。我们希望这将在NLP中产生更具包容性的性别偏见研究。
2022-05-05 cs.CL
Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation
National Institute of Technology, Hamirpur（国家理工学院（哈姆普尔））；Anu（阿努）
针对现有评测多用英语源句或性别中立句的问题，本文构建两套印地语性别特定句集，自动评估HI-EN NMT系统能否依据语法性别线索识别性别。
2023-11-11 cs.CL
A Multilingual Perspective on Probing Gender Bias
University of Copenhagen（哥本哈根大学）
本论文从多语言视角研究性别偏见在语言及语言技术中的表达，采用跨学科方法结合自然语言处理与政治学、历史学，以探测并理解社会偏见。
2024-03-15 cs.CL
Are All Spanish Doctors Male? Evaluating Gender Bias in German Machine Translation
Technische Universität Berlin（柏林工业大学）
本研究提出WinoMTDE德语性别偏见测试集，评估五个MT系统及LLM，发现多数模型存在偏见，LLM表现更优。
2025-02-28 cs.CL
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究零样本多语言神经机器翻译中的性别偏见，发现语言无关表示可减轻男性偏见，且桥接语言性别屈折程度越高，枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Examining Covert Gender Bias: A Case Study in Turkish and English Machine Translation Models
University of Pittsburgh（匹兹堡大学）
随着机器翻译（MT）变得越来越强大、可访问和广泛，偏见永久化的可能性也随着其进步而增长。虽然公开的偏见指标已在机器翻译中进行了研究，我们认为，隐蔽的偏见暴露了一个问题，是进一步根深蒂固。通过使用性别中立的语言土耳其语和性别化的语言英语，我们研究了MT模型中显性和隐性性别偏见的情况。具体来说，我们介绍了一种方法来调查不对称的性别标记。我们还评估了偏见的归属人格和研究职业和人格的刻板印象，通过公开的偏见指标MT模型。我们的工作探索了MT模型中更深层次的偏见，并证明了MT模型开发中对特定语言的跨学科方法的持续需求。
2021-08-23 cs.CL
