Measuring Gender Bias in Word Embeddings of Gendered Languages Requires Disentangling Grammatical Gender Signals
George Washington University（乔治华盛顿大学）；University of Washington（华盛顿大学）
当衡量一种语言的词嵌入所捕获的语义性别信息时，语言的语法性别是否会产生干扰？一些在性别语言嵌入中的异常性别偏见测量表明了这种可能性。我们证明，词嵌入学习语法性别的语言，这可能会扭曲社会性别偏见的测量名词和它的语法性别之间的关联。因此，词嵌入后处理方法被引入到量化，解开，和评估语法性别信号。该评估是在印欧语系的日耳曼语、罗曼语和斯拉夫语分支的五种性别语言上进行的。我们的方法降低了语法性别信号的强度，这是衡量的效果大小（科恩的d），由一个显着的平均值d = 1.3为法语，德语和意大利语，和d = 0.56为波兰语和西班牙语。一旦语法性别被解开，超过90%的10，000无生命名词和他们的语法性别之间的关联减弱，跨语言的偏见结果从词嵌入协会测试（WEAT）变得更加符合国家级的内隐偏见测量。结果进一步表明，从词嵌入中解开语法性别信号可能会导致语义机器学习任务的改进。
2022-06-03 cs.AI cs.CL cs.CY
Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings
Boston University（波士顿大学）；Microsoft Research New England（微软研究院新英格兰分院）
机器学习的盲目应用有放大数据中存在的偏差的风险。词嵌入是一种将文本数据表示为向量的流行框架，已用于许多机器学习和自然语言处理任务。我们发现，即使是在谷歌新闻文章上训练的词嵌入也会表现出令人不安的女性/男性性别刻板印象。这引起了人们的担忧，因为正如我们所描述的，它们的广泛使用往往会放大这些偏见。从几何学上讲，性别偏见首先被证明是由词嵌入中的方向捕获的。第二，性别中性词被证明是线性可分离的性别定义词的词嵌入。使用这些属性，我们提供了一种方法来修改嵌入，以消除性别刻板印象，如接待员和女性之间的关联，同时保持所需的关联，如女王和女性之间的话。我们定义的指标来量化嵌入中的直接和间接性别偏见，并开发算法来“消除”嵌入。使用人群工作者评估以及标准基准，我们经验证明，我们的算法显着减少性别偏见的嵌入，同时保留其有用的属性，如聚类相关的概念和解决类比任务的能力。由此产生的嵌入可以在不放大性别偏见的应用中使用。
2016-07-21 cs.AI cs.CL cs.LG
Gender-Neutral Machine Translation Strategies in Practice
Digital Technologies Research Centre National Research Council Canada (NRC-CNRC)（加拿大国家研究委员会数字技术研究中心）
本研究评估21个机器翻译系统在三个翻译方向对性别歧义的处理，发现多数缺乏性别中立翻译，仅少数系统根据目标语言采用特定策略实现性别中立。
2025-06-18 cs.CL
Grammatical gender associations outweigh topical gender bias in crosslinguistic word embeddings
Babbel（巴巴贝尔（语言学习公司））
最近的研究表明，语义的向量空间模型可以反映人类文化中不受欢迎的偏见。我们对跨语言词嵌入的研究表明，主题性别偏见与语法性别联想的影响相互作用，并且在程度上被语法性别联想的影响所超越，并且两者都可以通过语料库词形化来减弱。这一发现对诸如机器翻译等下游应用具有启示意义。
2020-05-18 cs.CL
The effects of gender bias in word embeddings on depression prediction
Utrecht University（乌得勒支大学）
词嵌入作为一种最先进的语义特征向量表示方法被广泛应用于各种自然语言处理问题中。尽管他们在不同的任务和领域的成功，他们可能会表现出不希望的偏见，刻板的类别，由于统计和社会偏见，存在于数据集，他们是trainedon.In这项研究中，我们分析了性别偏见，在四个不同的预训练词嵌入专门为抑郁症类别的精神障碍域。我们使用上下文和非上下文嵌入，这些嵌入是在独立于领域以及临床领域特定的数据上训练的。我们观察到，嵌入对不同性别群体的抑郁症进行偏见，这取决于嵌入的类型。此外，我们证明，这些不希望的相关性被转移到下游任务抑郁症表型识别。我们发现，数据增强通过简单地交换性别词减轻了偏见显着的下游任务。
2022-12-15 cs.CL cs.LG
Gender Bias Hidden Behind Chinese Word Embeddings: The Case of Chinese Adjectives
Uppsala University（乌普萨拉大学）
词嵌入中的性别偏见近年来逐渐成为一个活跃的研究领域。这一领域的大多数研究都是以英语为目标语言的测量和去偏置方法。本文从汉语形容词这一独特的视角考察静态词嵌入中的性别偏见。通过使用不同的模型训练单词表示，评估形容词向量背后的性别偏见。通过比较产生的结果和人类评分的数据集，我们展示了性别偏见编码的词嵌入区别于人们的态度。
2021-06-01 cs.CL
Are Gender-Neutral Queries Really Gender-Neutral? Mitigating Gender Bias in Image Search
University of California, Santa Cruz（加州大学圣克鲁兹分校）
互联网搜索影响人们对世界的认知，因此减少搜索结果中的偏见并学习公平模型对于社会公益至关重要。我们研究了图像搜索中的一种独特的性别偏见：对于性别中立的自然语言查询，搜索图像往往是性别不平衡的。我们诊断了两种典型的图像搜索模型，一种是在域内数据集上训练的专用模型，另一种是在互联网上的海量图像和文本数据上预先训练的广义表示模型。这两种模式都存在严重的性别偏见。因此，我们引入了两种新的去偏置方法：处理中的公平采样方法，以解决训练模型的性别不平衡问题，和后处理的特征裁剪方法的基础上互信息去偏置预训练模型的多模态表示。在MS-COCO和Flickr 30 K基准上的大量实验表明，我们的方法显着减少了图像搜索模型中的性别偏见。
2021-09-12 cs.CL cs.CV
Identifying and Mitigating Gender Bias in Hyperbolic Word Embeddings
Delhi Technological University（德里技术大学）；Indraprastha Institute of Information Technology Delhi（德里英迪拉普拉斯信息技术研究所）
欧氏词嵌入模型，如GloVe和Word2Vec，已被证明反映了类似人类的性别偏见。在本文中，我们将性别偏见的研究扩展到最近流行的双曲词嵌入。我们提出了gyrocosine偏差，一种新的措施，用于量化性别偏见双曲字表示，并观察到一个显着的存在性别偏见。为了解决这个问题，我们提出了庞加莱性别去偏置（PGD），一种新的去偏置程序双曲词表示。在一组评价测试上的实验表明，PGD在增加最小语义偏移量的同时，有效地减少了偏见。
2021-09-28 cs.AI cs.CL
Using Word Embeddings to Examine Gender Bias in Dutch Newspapers, 1950-1990
DHLab KNAW Humanities Cluster（荷兰皇家艺术与科学学院人文集群数字实验室）
当代关于公共和社交媒体中的过滤泡沫和两极分化的辩论提出了一个问题，即过去的新闻媒体在多大程度上表现出偏见。本文专门探讨偏见有关的性别在1950年和1990年之间的六个荷兰全国性报纸。我们通过比较在具有不同意识形态背景的报纸上训练的词嵌入模型的局部变化来衡量与性别相关的偏见。我们展示了性别偏见的明显差异，以及随着时间的推移报纸内部和之间的变化。在性和休闲等主题方面，我们看到偏向女性的倾向，而一般来说，偏向男性的倾向，尽管女性就业人数和女权主义运动不断增加。尽管荷兰社会在意识形态上变得不那么分层（去支柱化），但我们发现宗教和社会民主派与自由派报纸之间的性别偏见越来越大。在方法论上，本文阐述了如何利用词嵌入来考察历史语言变化。未来的工作将研究如何微调深度上下文嵌入模型，如ELMO，可能用于具有更多上下文信息的类似任务。
2019-07-21 cs.CL cs.CY cs.LG
How Conservative are Language Models? Adapting to the Introduction of Gender-Neutral Pronouns
University of Copenhagen（哥本哈根大学）
性别中性代词最近在许多语言中被引入，以a）包括非二进制的人和b）作为通用单数。心理语言学的最新研究结果表明，性别中性代词（瑞典语）与人类处理困难无关。我们发现，这与自动化处理形成鲜明对比。我们发现，丹麦语，英语和瑞典语中的中性代词与更高的困惑，更分散的注意力模式，和更差的下游性能。我们认为，这种保守性的语言模型可能会限制广泛采用的性别中性代词，因此必须加以解决。
2022-05-03 cs.CL
Examining Gender Bias in Languages with Grammatical Gender
University of California Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究表明，词嵌入表现出从训练语料库继承的性别偏见。然而，迄今为止，大多数研究都集中在量化和减轻这种偏见只在英语。这些分析不能直接扩展到语言，表现出形态的性别协议，如西班牙语和法语。在本文中，我们提出了新的衡量标准，这些语言的词嵌入中的性别偏见，并进一步证明了双语嵌入，这些语言与英语对齐的性别偏见的证据。最后，我们扩展了现有的方法，以减轻性别偏见的词嵌入下单语和双语设置。在改进的词嵌入联想测试、词相似度、词翻译和词对翻译任务上的实验表明，该方法在保持嵌入效用的同时，有效地减少了性别偏见。
2019-09-09 cs.CL
Quantifying and Reducing Stereotypes in Word Embeddings
Boston University（波士顿大学）；Microsoft Research New England（微软新英格兰研究院）
优化机器学习算法以模拟训练数据的统计特性。如果输入数据反映了更广泛社会的刻板印象和偏见，那么学习算法的输出也会捕捉到这些刻板印象。在本文中，我们开始在{ \em词嵌入}，一个流行的框架来表示文本数据的性别刻板印象的研究。随着它们的使用变得越来越普遍，应用程序可能会无意中放大不必要的刻板印象。我们在多个数据集上显示，嵌入包含显著的性别刻板印象，特别是在职业方面。我们创建了一个新的性别类比任务，并将其与众包相结合，以系统地量化给定嵌入中的性别偏见。我们开发了一种有效的算法，减少性别刻板印象，只使用少数训练样本，同时保留有用的几何属性的嵌入。我们在几个指标上评估了我们的算法。虽然我们专注于男性/女性的刻板印象，我们的框架可能适用于其他类型的嵌入偏见。
2016-06-20 cs.CL cs.LG stat.ML
Reducing Gender Bias in Word-Level Language Models with a Gender-Equalizing Loss Function
New York University（纽约大学）
神经语言模型倾向于学习自然语言数据集，从而导致有偏见的文本生成。在这项研究中，我们提出了一个去偏置的方法的基础上的损失函数修改。我们引入了一个新的术语的损失函数，试图在输出中的男性和女性的话的概率相等。使用一系列的偏见评估指标，我们提供的经验证据表明，我们的方法成功地减轻性别偏见的语言模型，而不增加困惑。与现有的去偏置策略、数据增强和词嵌入去偏置方法相比，该方法在几个方面表现更好，特别是在减少职业词中的性别偏见方面。最后，我们介绍了数据增强和我们的方法的组合，并表明它在所有偏差评估指标上都优于现有策略。
2019-06-03 cs.CL
Gender Bias in Word Embeddings: A Comprehensive Analysis of Frequency, Syntax, and Semantics
University of Washington（华盛顿大学）；Information School（信息学院）；Birla Institute of Technology and Science（比尔拉科学技术学院）；Harvard University（哈佛大学）
语言语料库中的统计数据将众所周知的社会偏见编码到词嵌入中。在这里，我们专注于性别，以全面分析在互联网语料库上训练的广泛使用的静态英语词嵌入中基于群体的偏见（GloVe 2014，fastText 2017）。使用单类别词嵌入关联测试，我们证明了性别偏见的普遍存在，也显示出差异：（1）与男性和女性相关的词的频率;（b）性别相关词的词性标签;（c）性别相关词的语义类别;（d）性别相关词的效价，唤醒和优势。首先，在词频方面：我们发现，在词汇表中最常见的1,000个单词中，77%与男性的联系比女性更多，这为英语世界的日常语言中男性默认提供了直接证据。第二，转向词性：与男性相关的词最多的通常是动词（例如，fight，overpower），而与女性相关的最多的词通常是形容词和副词（例如，情感上的，情感上的）。嵌入中的性别偏见也渗透到词性中。第三，对于语义类别：自下而上，对与每个性别相关的前1,000个词进行聚类分析。与男性相关的概念包括大型科技、工程、宗教、体育和暴力的角色和领域;相比之下，与女性相关的概念则不太关注角色，包括女性特有的诽谤和性内容，以及外观和厨房术语。第四，从一个约20，000字的词汇，使用人类的评级的字的效价，唤醒，和优势，我们发现，男性相关的词更高的唤醒和优势，而女性相关的词更高的效价。
2022-06-07 cs.AI cs.CL cs.CY
Beyond Binary Gender Labels: Revealing Gender Biases in LLMs through Gender-Neutral Name Predictions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan - Ann Arbor（密歇根大学安娜堡分校）；Technical University of Munich（慕尼黑工业大学）
本文通过在性别预测中加入“neutral（中性）”类别评估多种LLM，发现其对男女名字识别较准但对中性及非英语名字表现较差，且出生年份无助于提升整体准确率。
2024-07-07 cs.CL
NeuTral Rewriter: A Rule-Based and Neural Approach to Automatic Rewriting into Gender-Neutral Alternatives
Tilburg University（蒂尔堡大学）
近年来，越来越需要性别中立和包容性的语言。在NLP领域，有各种单语言和双语用例，其中性别包容性语言是适当的，如果不是首选，由于模糊或不确定性的性别方面的参考。在这项工作中，我们提出了一个基于规则的和神经的方法，以性别中立的重写英语以及手动策划的合成数据（WinoBias+）和自然数据（OpenSubtitles和Reddit）基准。详细的手动和自动评估强调了我们的Neutral Rewriter如何在基于规则的方法生成的数据上进行训练，在合成，域内和域外测试集上获得低于0.18%的单词出错率（WER）。
2021-09-13 cs.AI cs.CL
The Cinderella Complex: Word Embeddings Reveal Gender Stereotypes in Movies and Books
School of Journalism and Communication, Nanjing University（南京大学新闻传播学院）；School of Systems Science, Beijing Normal University（北京师范大学系统科学学院）；School of Computing and Information, University of Pittsburgh（匹兹堡大学计算与信息学院）
我们对数千部电影和书籍的分析揭示了这些文化产品如何将刻板的性别角色编织成道德故事，并通过讲故事使性别不平等永久化。运用词嵌入技术，我们揭示了故事中女性角色对男性角色的建构性情感依赖。
2019-10-15 cs.CL
Robustness and Reliability of Gender Bias Assessment in Word Embeddings: The Role of Base Pairs
Department of Computer Science（计算机科学系）；University of Sheffield（谢菲尔德大学）
它已被证明，词嵌入可以表现出性别偏见，并提出了各种方法来量化这一点。然而，这些方法在多大程度上捕捉了从数据中继承的社会陈规定型观念，这一点一直存在争议。偏见是一个复杂的概念，有多种方法来定义它。以前的工作是利用性别词对来衡量偏见和提取偏见的类比。我们表明，依赖这些性别对有很强的局限性：基于它们的偏见措施是不健全的，不能识别常见类型的现实世界的偏见，而类比利用它们是不合适的偏见指标。特别是，众所周知的类比“男人是计算机程序员，女人是家庭主妇”是由于词汇相似性，而不是社会偏见。这对测量嵌入偏差的工作和消除嵌入偏差的相关工作具有重要影响。
2020-10-27 cs.AI cs.CL cs.LG
Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them
Department of Computer Science, Bar-Ilan University（巴伊兰大学计算机科学系）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
词嵌入在NLP中广泛用于各种任务。结果表明，从文本语料库中提取的词嵌入反映了社会中的性别偏见。这一现象在不同的词嵌入模型中普遍存在，引起了严重的关注。最近的几项工作解决了这个问题，并提出了显着减少词嵌入中的性别偏见的方法，展示了令人信服的结果。然而，我们认为这种去除是肤浅的。虽然根据所提供的偏见定义，偏见确实大大减少，但实际效果主要是隐藏偏见，而不是消除它。性别偏见信息仍然反映在去偏见嵌入中的“性别中立”词之间的距离中，并且可以从它们中恢复。我们提出了一系列的实验来支持这一说法，两个去偏置方法。我们的结论是，现有的偏见消除技术是不够的，不应该被信任提供性别中立的建模。
2019-09-24 cs.CL
[RE] Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
Thapar University（塔帕尔大学）
尽管在自然语言处理（NLP）任务中广泛使用，但词嵌入因继承了训练语料库的非故意性别偏见而受到批评。程序员与男人的关系更密切，家庭主妇与女人的关系更密切。这种性别偏见也被证明在下游任务中传播。
2021-04-14 cs.AI cs.CL
How does Grammatical Gender Affect Noun Representations in Gender-Marking Languages?
Bar-Ilan University（巴伊兰大学）；University of Copenhagen（哥本哈根大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
许多自然语言也将语法性别赋予语言中的无生命名词。在这些语言中，与有性别标记的名词相关的词会发生屈折变化以与名词的性别一致。我们发现，这会影响无生命名词的词表征，导致具有相同性别的名词比具有不同性别的名词更接近彼此。虽然“嵌入去偏”方法无法消除这种影响，但我们证明，在训练词嵌入时，仔细应用中和单词上下文中语法性别信号的方法可以有效地消除这种影响。无论是在单语还是跨语环境中，修复语法性别偏见都会对所得到的词嵌入的质量产生积极影响。我们注意到，成功地消除性别信号，而可以实现的，是不是微不足道的，一个语言特定的形态分析仪，连同它的谨慎使用，是必不可少的，以取得良好的效果。
2019-10-30 cs.CL
Is there Gender bias and stereotype in Portuguese Word Embeddings?
UFRGS（南里奥格兰德联邦大学）；Instituto de Informática（信息学院）
在这项工作中，我们提出了一个分析与葡萄牙语词嵌入的职业性别偏见的存在。这项工作的目的是研究葡萄牙语中与男女定型职业有关的性别影响。
2018-10-10 cs.AI cs.CL
An exploration of the encoding of grammatical gender in word embeddings
Uppsala University（乌普萨拉大学）
词的向量表示，即词嵌入，开辟了语言学研究的新途径。这些表示可以捕获关于单词的不同类型的信息。名词语法性是根据名词的形式和语义特征对名词进行的一种典型分类。基于词嵌入的语法性研究有助于深入探讨语法性是如何决定的。在这项研究中，我们比较了不同的词嵌入集，根据神经分类器的准确性，确定语法性别的名词。研究发现，在瑞典语、丹麦语和荷兰语的嵌入中，语法性别的编码方式存在重叠。我们的实验结果的上下文嵌入指出，添加更多的上下文信息的嵌入是有害的分类器的性能。我们还观察到，从嵌入的训练语料库中删除诸如冠词之类的形态句法特征会显着降低分类性能，这表明很大一部分信息被编码在名词和冠词之间的关系中。
2020-11-03 cs.CL
Hi Guys or Hi Folks? Benchmarking Gender-Neutral Machine Translation with the GeNTE Corpus
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
针对机器翻译易出现性别刻板假设的问题，本研究构建了面向英意性别中立翻译的双语测试集GeNTE，并提出更适配的无参考评估方法，为包容性翻译技术提供基准支撑。
2023-10-08 cs.CL
Neuron-Level Interventions for Gendered and Gender-Neutral Generation in Language Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
提出神经元级干预方法，通过识别与女性、男性和性别中立相关的特定神经元，实现对语言模型生成文本的性别控制，并发现性别神经元主要集中在前几层。
2026-05-29 cs.CL
Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
本研究提出基准 AmbGIMT 和基于情感态度得分（EAS）的新评估流程，利用歧义态度词评估二元性别之外的机器翻译性别偏见，发现非二元语境翻译质量较差且偏见明显，提示中加入约束上下文可大幅减少但无法消除偏见。
2024-07-23 cs.CL
Mitigating Gender Bias in Contextual Word Embeddings
本文提出新的掩码语言建模目标函数和评估指标，用于缓解上下文词嵌入中的性别偏见，同时证明静态嵌入偏见主要源于刻板印象名字而非性别化词语本身。
2024-11-18 cs.CL cs.LG
Word embedding and neural network on grammatical gender -- A case study of Swedish
Lab Dynamics of Language UMR 5596（语言动力学实验室 UMR 5596）；University Lyon 2（里昂第二大学）；Uppsala University（乌普萨拉大学）
我们分析了瑞典语中词嵌入所提供的语法性别信息。希望本文能成为连接计算语言学方法和普通语言学方法的桥梁之一。以瑞典语中的名词分类为例，我们首先展示了如何通过词嵌入模型和人工神经网络来捕获语言中关于语法性别的信息。然后，我们将我们的结果与之前的语言学假设的分配和使用的语法性别在瑞典语和分析的错误所造成的计算模型从语言学的角度。
2020-07-28 cs.CL
Assessing the Reliability of Word Embedding Gender Bias Measures
Utrecht University（乌得勒支大学）
人们已经提出了各种措施来量化词嵌入中类似人类的社会偏见。然而，基于这些措施的偏见得分可能会遭受测量误差。衡量质量的一个指标是可靠性，即衡量产生一致结果的程度。本文对词嵌入性别偏差测量的三种类型的信度进行了评估，即重测信度、评分者间一致性和内部一致性。具体来说，我们调查的一致性偏见分数在不同的选择随机种子，评分规则和单词。此外，我们还分析了各种因素对这些测量的信度得分的影响。我们的研究结果通知更好的设计词嵌入性别偏见的措施。此外，我们敦促研究人员对这些措施的应用持更严格的态度。
2021-09-10 cs.CL
Gender Bias in Contextualized Word Embeddings
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Virginia（弗吉尼亚大学）；University of Cambridge（剑桥大学）
在本文中，我们量化，分析和减轻ELMo的语境化词向量中表现出的性别偏见。首先，我们进行了几个内在的分析，发现（1）训练数据ELMo包含显着更多的男性比女性实体，（2）训练ELMo嵌入系统编码性别信息和（3）ELMo不平等地编码性别信息的男性和女性实体。然后，我们表明，一个国家的最先进的共指系统，依赖于ELMo继承其偏见，并表现出显着的偏见WinoBias探测语料库。最后，我们探索了两种方法来减轻这种性别偏见，并表明WinoBias上的偏见可以消除。
2019-04-05 cs.CL
Investigating Gender Bias in BERT
Singapore University of Technology and Design（新加坡科技设计大学）
上下文语言模型（CLM）将NLP基准测试推向了一个新的高度。在文本分类等下游任务中利用CLM提供的词嵌入已经成为一种新的规范。然而，除非得到解决，否则CLM很容易在数据集中学习固有的性别偏见。因此，下游NLP模型的预测可能会因性别词的变化而发生明显变化，例如将“他”替换为“她”，甚至是性别中性词。在本文中，我们将重点分析一个流行的CLM，即，BERT。我们分析了它在五个与情绪和情绪强度预测相关的下游任务中引起的性别偏见。对于每个任务，我们训练一个简单的回归利用BERT的词嵌入。然后，我们使用公平评估语料库评估回归的性别偏见。理想情况下，从具体的设计来看，模型应该从输入中丢弃性别信息特征。然而，结果显示，系统的预测对性别特定的单词和短语的依赖性很大。我们认为，这种偏见可以通过从词嵌入中去除性别特征来减少。因此，对于BERT中的每一层，我们识别主要编码性别信息的方向。由这些方向形成的空间被称为词嵌入语义空间中的性别子空间。我们提出了一种算法，发现细粒度的性别方向，即，每个BERT层有一个主方向。这就避免了在多个维度上实现性别子空间的需要，也避免了其他关键信息的遗漏。实验表明，去除这些方向的嵌入组件在减少下游任务中的BERT引起的偏差方面取得了很大的成功。
2020-09-10 cs.CL
Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis
SIFT
本文通过量化词嵌入中的性别偏见，分析不同文化背景下教育、政治、经济和健康领域的性别差距。
2026-01-23 cs.CL
How to Split: the Effect of Word Segmentation on Gender Bias in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
在认识到性别偏见是影响当前翻译技术的一个主要问题后，研究人员主要试图通过在数据方面开展工作来减轻性别偏见。然而，算法方面是否会加剧不必要的输出仍然是迄今为止调查不足。在这项工作中，我们把自动翻译中的性别偏见的分析，到一个看似中立，但关键的组成部分：分词。分割方法会影响翻译性别的能力吗？某些分割方法是否会惩罚女性语言标记的表现？我们解决这些问题，通过比较现有的5个分割策略的目标端的语音翻译系统。我们对两种语言对（英语-意大利语/法语）的研究结果表明，最先进的子词分割（BPE）是以更高的性别偏见为代价的。鉴于这一发现，我们提出了一种组合方法，该方法保留了BPE的整体翻译质量，同时利用基于字符的分割的更高能力来正确翻译性别。
2021-05-28 cs.CL
Fair Embedding Engine: A Library for Analyzing and Mitigating Gender Bias in Word Embeddings
Delhi Technological University（德里技术大学）
非语境词嵌入模型已经被证明继承了来自训练语料库的类似人类的性别、种族和宗教的刻板偏见。为了解决这个问题，出现了大量研究，旨在减轻这些偏见，同时保持嵌入的语法和语义效用不变。本文介绍了公平嵌入引擎（FEE），用于分析和减轻性别偏见的词嵌入库。FEE结合了各种最先进的技术，用于在标准抽象下量化、可视化和减轻词嵌入中的性别偏见。FEE将帮助从业者快速分析嵌入模型上现有的去偏方法。此外，它将允许通过评估一套标准度量的性能来快速原型化新方法。
2020-10-25 cs.CL cs.CY
Grammatical gender in Swedish is predictable using recurrent neural networks
RISE Research Institutes of Sweden（瑞典RISE研究院）
本文利用循环神经网络基于单词原始字符序列，无需上下文信息，即可高精度预测瑞典语名词的语法性别，揭示了词形与语法性别间的可预测关系。
2023-06-19 cs.CL cs.LG
Measuring Societal Biases from Text Corpora with Smoothed First-Order Co-occurrence
Johannes Kepler University（约翰内斯·开普勒大学）；EPFL（洛桑联邦理工学院）；Idiap Research Institute（IDIAP研究所）；TU Wien（维也纳工业大学）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
文本语料库被广泛用于衡量社会偏见和刻板印象。使用语料库来测量这种偏差的常见方法是通过计算词（如护士）的嵌入向量与感兴趣的概念（如性别）的代表词的向量之间的相似性。在这项研究中，我们表明，根据一个人的目的是量化为偏见，这种常用的方法可以引入不相关的概念到偏见的测量。我们提出了一种替代方法，利用平滑的一阶同现关系的词和代表性的概念词，我们通过重建固有的共现估计词嵌入模型。我们比较这些方法进行了几个实验的情况下，测量职业词的性别偏见，根据英文维基百科语料库。我们的实验表明，测量的性别偏见与美国就业市场的实际性别偏见统计数据的相关性更高-在两个集合和各种词嵌入模型上-使用一阶方法与基于向量相似性的方法相比。一阶方法还表明，在一些特定的职业中，女性比其他方法更严重的偏见。
2021-04-27 cs.CL cs.LG stat.ML
Masculine Defaults via Gendered Discourse in Podcasts and Large Language Models
Texas A&M University（德克萨斯农工大学）
本研究针对男性默认值这一未被充分关注的性别偏见，提出双重框架分析播客中的性别话语词汇及LLMs中的相关偏见，发现男性话语词汇在特定领域更流行且LLM嵌入表示更稳定，导致男性下游任务性能更优。
2025-04-15 cs.AI cs.CL cs.CY
On Measuring Gender Bias in Translation of Gender-neutral Pronouns
Seoul National University（首尔大学）；INMC
关于社会偏见的伦理学最近在自然语言处理中提出了引人注目的问题。特别是对于与性别相关的主题，在诸如图像描述、内容推荐和自动化就业的领域中，对减少模型偏差的系统的需求已经增长。然而，机器翻译系统中的性别偏见的检测和评估尚未得到彻底的研究，因为任务是跨语言的，具有挑战性的定义。在本文中，我们提出了一个计划，使一个测试集，评估性别偏见的机器翻译系统，与韩国，一种语言的性别中性代词。三个词/短语集主要是构建，每个包含积极/消极的表达或职业;所有的术语都是性别独立的或至少没有严重偏向一侧。然后，根据代词的正式性和句子的礼貌性构建了附加的句子列表。在生成的句子集的大小为4,236，我们评估传统的机器翻译系统中的性别偏见，利用所提出的措施，这是在这里被称为翻译性别偏见指数（TGBI）。语料库和评价代码可在线查阅。
2019-05-28 cs.CL
Evaluating Gender Bias in the Translation of Gender-Neutral Languages into English
Microsoft（微软）
针对中性性别语言英译时性别偏见缺乏评估基准的问题，研究团队构建了含四种语言对、带多性别变体的GATE X-E扩展语料库，并基于GPT-3.5 Turbo提出英语性别改写方案且完成评估，相关成果已开源。
2023-12-13 cs.AI cs.CL
GeNRe: A French Gender-Neutral Rewriting System Using Collective Nouns
University of Strasbourg（斯特拉斯堡大学）
本文提出首个使用集合名词的法语性别中立改写系统GeNRe，包含基于规则的系统和微调语言模型，并探索指令模型以提升性能。
2025-05-29 cs.CL
Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving
University of Alberta（阿尔伯塔大学）；University of Essex（埃塞克斯大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
随着自然语言处理（NLP）在日常生活中的广泛应用，NLP模型中继承的社会偏见变得更加严重和成问题。先前的研究表明，在人类生成的语料库上训练的词嵌入具有强烈的性别偏见，可以在下游任务中产生歧视性结果。以前的去偏见方法主要集中在对偏见进行建模，只隐含地考虑语义信息，而完全忽视了偏见和语义成分之间复杂的潜在因果结构。为了解决这些问题，我们提出了一种新的方法，利用因果推理框架，以有效地消除性别偏见。所提出的方法使我们能够构建和分析复杂的因果机制，促进性别信息流，同时保留词嵌入内的甲骨文语义信息。我们的综合实验表明，该方法在性别去偏见任务中取得了最先进的结果。此外，我们的方法在单词相似性评估和各种外部下游NLP任务中具有更好的性能。
2021-12-09 cs.CL cs.CY
They, Them, Theirs: Rewriting with Gender-Neutral English
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Google Research（谷歌研究院）
负责任的技术开发要求应用程序包括它们希望支持的各种用户。其中一个重要的部分是了解许多方式来指代一个人，并能够根据需要在不同的形式之间流畅地转换。我们对单数的they进行了案例研究，这是一种促进英语性别包容的常见方式。我们定义了一个重写任务，创建了一个评估基准，并展示了如何训练一个模型来生成性别中立的英语，单词出错率<1%，没有人类标记的数据。我们讨论的任务的实际应用和道德考虑，为未来的工作提供方向到包容性的自然语言系统。
2021-02-12 cs.CL
Gender bias in (non)-contextual clinical word embeddings for stereotypical medical categories
Utrecht University（乌得勒支大学）
临床词嵌入作为一种最先进的特征向量表示，广泛应用于各种生物自然语言处理问题。虽然他们在单词的语义表示方面非常成功，但由于他们接受培训的数据集-可能带有统计和社会偏见-他们可能会表现出性别刻板印象。本研究分析性别偏见的临床嵌入三个医学类别：精神障碍，性传播疾病和人格特质。在这种程度上，我们分析了两种不同的预训练嵌入，即（情境化）临床BERT和（非情境化）BioWordVec。我们发现，这两种嵌入都偏向于敏感的性别群体，但BioWordVec在所有三个类别中表现出比临床BERT更高的偏差。此外，我们的分析表明，临床嵌入进行了高度的偏见，一些医学术语和疾病，这是与医学文献相冲突。这种缺乏根据的关系可能会对使用临床嵌入的下游应用造成损害。
2022-08-08 cs.CL cs.CY
Gender and Racial Stereotype Detection in Legal Opinion Word Embeddings
Thomson Reuters Labs（汤森路透实验室）
研究表明，一些自然语言处理（NLP）系统编码和复制有害的偏见，对我们的社会产生潜在的不良道德影响。在这篇文章中，我们提出了一种方法来识别性别和种族刻板印象的词嵌入培训的司法意见，从美国判例法。当下游系统用于分类、信息抽取、问答或用于构建法律研究工具的其他机器学习系统时，包含原型信息的嵌入可能会造成伤害。我们首先解释了以前提出的识别这些偏见的方法是如何不适合用于在法律意见文本上训练的词嵌入的。然后，我们提出了一个域适应的方法来识别性别和种族偏见在法律领域。我们使用这些方法进行的分析表明，种族和性别偏见被编码到经过法律意见训练的词嵌入中。这些偏见并没有通过排除历史数据来减轻，并且出现在法律的多个大的主题领域。下游系统，使用法律意见词嵌入和潜在的缓解策略的建议，根据我们的观察的影响进行了讨论。
2022-04-12 cs.AI cs.CL
Gender-Neutral Rewriting in Italian: Models, Approaches, and Trade-offs
University of Trento（特伦托大学）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核子研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（斯德哥尔摩大学）
本研究首次系统评估了大型语言模型在意大利语性别中立改写任务上的表现，提出衡量中立性与语义保真度的二维框架，发现微调模型能以极小规模超越现有最佳模型。
2025-09-16 cs.CL
Equalizing Gender Biases in Neural Machine Translation with Word Embeddings Techniques
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
神经机器翻译极大地推动了该领域的质量。然而，输出翻译仍然存在很大的问题，其中之一就是公平性。神经模型在包含偏见和刻板印象的大型文本语料库上训练。因此，模型继承了这些社会偏见。最近的方法已经显示出在其他自然语言处理工具（例如词嵌入）中减少性别偏见的结果。我们利用在神经机器翻译中使用词嵌入的事实，提出了一种使用这些表示来均衡神经机器翻译中的性别偏见的方法。具体来说，我们提出，实验和分析的集成GloVe嵌入在Transformer翻译架构的两个去偏置技术。我们评估我们提出的系统上的WMT英语-西班牙语基准任务，显示收益高达一个BLEU点。至于性别偏见的评估，我们生成一个测试集的职业，我们表明，我们提出的系统学习，以平衡现有的偏见从基线系统。
2019-06-02 cs.CL
Evaluating Bias and Fairness in Gender-Neutral Pretrained Vision-and-Language Models
University of Copenhagen（哥本哈根大学）
本文以性别偏见为例，量化视觉与语言模型在预训练和微调后的偏见放大，发现两阶段相互独立，并证明在性别中立数据上继续预训练可在VQAv2和检索任务中提升公平性而不显著损害性能。
2023-10-26 cs.CL cs.CV cs.LG
Debiasing Embeddings for Reduced Gender Bias in Text Classification
Google（谷歌）
（Bolukbasi等人，2016）证明了预训练的词嵌入可以从它们所训练的数据中继承性别偏见。我们使用职业分类的案例研究（De-Arteaga et al.，2019年）。我们发现，传统的去偏置嵌入技术实际上可以通过提供一个噪声较小的通道来传达性别信息，从而恶化下游分类器的偏差。然而，通过相对较小的调整，我们展示了如何使用这些相同的技术来同时减少偏差并保持高分类精度。
2019-08-07 cs.CL cs.LG stat.ML
Examining the Presence of Gender Bias in Customer Reviews Using Word Embedding
University of Utah（犹他大学）
人类已经进入了算法时代。每一分钟，算法都会塑造无数的偏好，从推荐产品到潜在的生活伴侣。在市场中，算法被训练来从客户评论中学习消费者偏好，因为用户生成的评论被认为是客户的声音和公司有价值的信息来源。从评论中挖掘的见解在产品推荐、定向广告、促销、细分等多种商业活动中发挥着不可或缺的作用。在这项研究中，我们质疑评论是否可能持有算法学习和传播的刻板性别偏见。利用数百万次观察的数据和词嵌入方法GloVe，我们表明，旨在从人类语言输出中学习的算法也会学习性别偏见。我们还研究了为什么会发生这种偏见：是否偏见是由于对女性的负面偏见或男性的积极偏见。我们研究了性别偏见的影响，在审查的选择，并得出结论，对女性消费者的政策影响，特别是当他们不知道的偏见，和企业的道德影响。
2019-02-01 cs.CL
Identifying and Reducing Gender Bias in Word-Level Language Models
New York University（纽约大学）
许多文本语料库都表现出社会问题的偏见，这些偏见可以在基于这些数据训练的模型中传播或放大。例如，“doctor”与男性代词同时出现的频率高于与女性代词同时出现的频率。在这项研究中，我们（i）提出了一个衡量性别偏见的指标;（ii）衡量文本语料库和从在文本语料库上训练的递归神经网络语言模型生成的文本中的偏见;（iii）提出了语言模型的正则化损失项，该正则化损失项最小化编码器训练的嵌入到编码性别的嵌入子空间上的投影;（iv）最后，评估我们建议的方法在减少性别偏见方面的成效。我们发现这种正则化方法可以有效地将性别偏见减少到分配给损失项的最佳权重，超过该权重，模型会随着困惑度的增加而变得不稳定。我们在三个训练语料库-Penn Treebank，WikiText-2和CNN/Daily Mail-上复制了这个研究，得到了类似的结论。
2019-04-05 cs.CL
The Undesirable Dependence on Frequency of Gender Bias Metrics Based on Word Embeddings
ICC (UBA-CONICET)（ICC（布宜诺斯艾利斯大学-国家科学技术研究委员会））；Maestría en Data Mining (UBA)（数据挖掘硕士项目（布宜诺斯艾利斯大学））；Escuela IDAES (UNSAM)（IDAES学院（圣马丁将军大学））
许多作品使用基于词嵌入的指标来量化文本中的社会偏见和刻板印象。最近的研究发现，词嵌入可以捕捉语义相似性，但可能会受到词频的影响。在这项工作中，我们研究了频率的影响时，测量女性与男性的性别偏见与词嵌入为基础的偏见量化方法。我们发现，Skip-gram与负采样和GloVe倾向于检测男性偏见的高频词，而GloVe倾向于返回女性偏见的低频词。我们发现这些行为仍然存在时，单词随机洗牌。这证明了在未混洗语料库中观察到的基于频率的效果源于度量的属性，而不是来自单词关联。这种效应是虚假的，也是有问题的，因为偏差度量应该完全取决于词的共现，而不是单个词的频率。最后，我们将这些结果与基于逐点互信息的替代度量所获得的结果进行了比较。我们发现，这个指标并没有显示出明显的依赖频率，即使它是稍微偏向男性偏见在所有频率。
2023-01-02 cs.AI cs.CL
Mind the Inclusivity Gap: Multilingual Gender-Neutral Translation Evaluation with mGeNTE
Fondazione Bruno Kessler（布鲁诺·科塞尔基金会）；Instituto de Telecomunicações（电信研究所）；DIT Forlì - University of Bologna（福利大学迪提学院）；Data Science Group - University of Hamburg（汉堡大学数据科学组）；University of Trento（特伦托大学）；LT 3 - Ghent University（根特大学LT 3）
本文引入专家策划的资源mGeNTE，利用指令遵循语言模型对多语言性别中立翻译进行系统性评估，发现模型虽能识别中立需求但难以持续生成中立翻译，并通过可解释性分析揭示了其内部动态。
2025-09-18 cs.CL
Gender Inequality in English Textbooks Around the World: an NLP Approach
该研究运用自然语言处理方法量化了22国英语教科书中的性别不平等，发现男性角色在数量、首次提及顺序和命名实体上均被过度呈现，其中拉丁文化圈不平等程度最低。
2025-06-03 cs.CL stat.AP
Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（Salesforce研究院）
针对预训练语言模型性别偏见缓解中的灾难性遗忘问题，提出冻结预训练模型并学习性别相关提示的新方法GEEP，在提升性别公平性的同时大幅保持了下游任务性能。
2023-06-30 cs.CL cs.CY cs.LG
