Are We Consistently Biased? Multidimensional Analysis of Biases in Distributional Word Vectors
University of Mannheim(曼海姆大学)
词嵌入最近被证明反映了许多明显的社会偏见(例如,性别偏见或种族偏见)。然而,现有的研究范围有限,并且没有调查嵌入模型,文本类型和不同语言等相关维度的偏差的一致性。在这项工作中,我们提出了一个系统的研究编码在分布式词向量空间的偏见:我们分析如何一致的偏见影响是跨语言,语料库和嵌入模型。此外,我们分析了双语嵌入空间中编码的跨语言偏差,表明NLP模型的跨语言迁移中包含的偏差迁移的影响。我们的研究产生了一些意想不到的发现,例如,偏见可以通过不同的嵌入模型来强调或淡化,或者用户生成的内容可能比百科全书文本的偏见更少。我们希望我们的工作能够促进NLP中的偏见研究,并为偏见减少技术的发展提供信息。
2019-04-29 cs.CL
How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs
该研究对比了基于Whisper的上下文偏置方法与语音LLMs在识别ASR中生词的性能,发现前者可大幅降低偏置词错误率,后者在朗读语音上表现好但泛化性差,最终为方法选择提供了权衡依据。
2026-08-07 cs.CL
Grammatical gender associations outweigh topical gender bias in crosslinguistic word embeddings
Babbel(巴巴贝尔(语言学习公司))
最近的研究表明,语义的向量空间模型可以反映人类文化中不受欢迎的偏见。我们对跨语言词嵌入的研究表明,主题性别偏见与语法性别联想的影响相互作用,并且在程度上被语法性别联想的影响所超越,并且两者都可以通过语料库词形化来减弱。这一发现对诸如机器翻译等下游应用具有启示意义。
2020-05-18 cs.CL
Reducing Gender Bias in Word-Level Language Models with a Gender-Equalizing Loss Function
New York University(纽约大学)
神经语言模型倾向于学习自然语言数据集,从而导致有偏见的文本生成。在这项研究中,我们提出了一个去偏置的方法的基础上的损失函数修改。我们引入了一个新的术语的损失函数,试图在输出中的男性和女性的话的概率相等。使用一系列的偏见评估指标,我们提供的经验证据表明,我们的方法成功地减轻性别偏见的语言模型,而不增加困惑。与现有的去偏置策略、数据增强和词嵌入去偏置方法相比,该方法在几个方面表现更好,特别是在减少职业词中的性别偏见方面。最后,我们介绍了数据增强和我们的方法的组合,并表明它在所有偏差评估指标上都优于现有策略。
2019-06-03 cs.CL
Using Adversarial Debiasing to Remove Bias from Word Embeddings
词嵌入已经被证明包含了原始语料库中存在的社会偏见。处理这个问题的现有方法已被证明只能消除表面的偏见。对抗性去偏见的方法被认为是同样肤浅的,但这在以前的作品中没有得到验证。使用其他方法中的浅层去除实验,我显示的结果表明对抗性去偏在去除偏见方面更有效,从而激发了对对抗性去偏效用的进一步研究。
2021-07-22 cs.CL
Effect of dimensionality change on the bias of word embeddings
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
本研究利用英文维基百科语料,考察维度变化对Word2Vec、fastText、ELMo和BERT四种词嵌入方法偏差的影响,发现偏差随维度显著变化且影响方式不统一,选择维度时应考虑这些因素。
2023-12-28 cs.CL
Sense Embeddings are also Biased--Evaluating Social Biases in Static and Contextualised Sense Embeddings
University of Liverpool(利物浦大学);Tokyo Institute of Technology(东京工业大学);Amazon(亚马逊)
意义嵌入学习方法为歧义词的不同意义学习不同的嵌入。一个歧义词的一个意义可能是社会偏见,而它的其他意义保持公正。与许多先前评估预训练词嵌入中的社会偏见的工作相比,意义嵌入中的偏见相对研究不足。我们创建了一个基准数据集,用于评估意义嵌入中的社会偏见,并提出了新的意义特定的偏见评估措施。我们进行了广泛的评估多个静态和语境化的意义嵌入的各种类型的社会偏见,使用所提出的措施。我们的实验结果表明,即使在没有发现偏见的情况下,在词汇层面上,仍然存在令人担忧的社会偏见的水平,这往往是被忽视的词汇层面的偏见评估措施。
2022-03-16 cs.CL
Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference
University of Amsterdam(阿姆斯特丹大学);University of Tehran(德黑兰大学);Tehran Institute for Advanced Studies(德黑兰高等研究院);Khatam University(哈塔姆大学)
它已被证明,NLI模型通常是有偏见的前提和假设之间的词重叠,他们把这个功能作为一个主要线索,预测蕴涵标签。在本文中,我们专注于一个被忽视的方面的重叠偏置NLI模型:反向词重叠偏置。我们的实验结果表明,目前的NLI模型高度偏向于具有低重叠的实例上的非蕴涵标签,并且据报道在现有挑战数据集上成功的现有去偏置方法通常在解决这类偏差方面无效。我们调查的原因出现的重叠偏见和少数的例子在其缓解的作用。对于前者,我们发现词重叠偏差并不源于预训练,而对于后者,我们观察到,与公认的假设相反,消除少数的例子并不影响去偏置方法关于重叠偏差的普遍性。
2022-11-07 cs.CL
Towards Detection of Subjective Bias using Contextualized Word Embeddings
NSIT Delhi(德里内塔吉·苏巴斯理工学院);IIIT Hyderabad(海得拉巴印度信息技术学院)
主观偏见检测对于宣传检测、内容推荐、情感分析和偏见中和等应用至关重要。这种偏见是通过煽动性的词语和短语在自然语言中引入的,对事实产生怀疑,并预先假定真相。在这项工作中,我们使用基于BERT的模型在维基中立语料库(WNC)上进行全面的实验来检测主观偏见。数据集由$360k$标记的实例组成,这些实例来自维基百科编辑,删除了各种偏倚实例。我们进一步提出了基于BERT的合奏,优于国家的最先进的方法,如$BERT_{large}$的利润率为$5.6$ F1分数。
2020-02-16 cs.CL
AraWEAT: Multidimensional Analysis of Biases in Arabic Word Embeddings
Data and Web Science Research Group(数据与网络科学研究组);University of Mannheim(曼海姆大学)
最近的研究表明,分布式词向量空间经常编码人类偏见,如性别歧视或种族主义。在这项工作中,我们进行了广泛的分析,在阿拉伯语词嵌入的偏见,通过应用一系列最近推出的偏见测试各种嵌入空间在阿拉伯语中的语料库。我们在几个维度上衡量偏见的存在,即:嵌入模型(Skip-Gram,CBOW和FastText)和向量大小,文本类型(百科文本,新闻与用户生成的内容),方言(埃及阿拉伯语与现代标准阿拉伯语)和时间(对不同时期语料库的历时分析)。我们的分析产生了一些有趣的发现,例如,在阿拉伯语新闻语料库上训练的嵌入中的隐性性别偏见随着时间的推移(2007年至2017年)稳步增加。我们公开提供阿拉伯语偏差规范(AraWEAT)。
2020-11-03 cs.CL
Examining Gender Bias in Languages with Grammatical Gender
University of California Los Angeles(加州大学洛杉矶分校);University of Southern California(南加州大学);University of Pennsylvania(宾夕法尼亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
最近的研究表明,词嵌入表现出从训练语料库继承的性别偏见。然而,迄今为止,大多数研究都集中在量化和减轻这种偏见只在英语。这些分析不能直接扩展到语言,表现出形态的性别协议,如西班牙语和法语。在本文中,我们提出了新的衡量标准,这些语言的词嵌入中的性别偏见,并进一步证明了双语嵌入,这些语言与英语对齐的性别偏见的证据。最后,我们扩展了现有的方法,以减轻性别偏见的词嵌入下单语和双语设置。在改进的词嵌入联想测试、词相似度、词翻译和词对翻译任务上的实验表明,该方法在保持嵌入效用的同时,有效地减少了性别偏见。
2019-09-09 cs.CL
Evaluating Bias In Dutch Word Embeddings
Maastricht University(马斯特里赫特大学)
自然语言处理的最新研究表明,词嵌入可以对训练数据中存在的社会偏见进行编码,这可能会影响现实世界应用中的少数群体。本文探讨了荷兰语嵌入隐含的性别偏见,同时调查是否英语为基础的方法也可以在荷兰语中使用。我们实现了词嵌入关联测试(WEAT),聚类和句子嵌入关联测试(SEAT)的方法来量化荷兰语词嵌入中的性别偏见,然后我们继续减少与硬Debias和发送Debias缓解方法的偏见,最后我们评估的下游任务中的debiased嵌入的性能。结果表明,除其他外,性别偏见是存在于传统的和语境化的荷兰语词嵌入。我们强调如何使用的技术来衡量和减少偏见创建英语可以在荷兰嵌入充分翻译的数据,并考虑到语言的独特性。此外,我们分析了去偏置技术对下游任务的影响,这些任务对传统嵌入的影响可以忽略不计,而在上下文化嵌入中,性能下降了2%。最后,我们将翻译后的荷兰语数据集与传统的嵌入一起发布给公众,以减轻偏见。
2020-11-03 cs.CL
The BIAS Detection Framework: Bias Detection in Word Embeddings and Language Models for European Languages
Applied Machine Intelligence(应用机器智能(机构));Bern University of Applied Sciences(伯尔尼应用科学大学)
本文介绍了BIAS检测框架的整体架构与组件,该框架旨在识别欧洲语言模型和词嵌入中的社会偏见,并特别关注语言和地理的特殊性。
2024-07-26 cs.CL
Unequal Representations: Analyzing Intersectional Biases in Word Embeddings Using Representational Similarity Analysis
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种新的方法来检测人类一样的社会偏见,在词嵌入使用代表性相似性分析。具体来说,我们探讨语境化和非语境化嵌入的证据交叉偏见对黑人妇女。我们发现,这些嵌入代表黑人女性同时比白人女性女性少,黑人比黑人男性少。这一发现与交叉性理论相一致,该理论认为,多重身份类别(如种族或性别)相互叠加,以创造出任何单个类别都不共享的独特歧视模式。
2020-11-24 cs.CL
Gender Bias in Contextualized Word Embeddings
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Los Angeles(加州大学洛杉矶分校);University of Virginia(弗吉尼亚大学);University of Cambridge(剑桥大学)
在本文中,我们量化,分析和减轻ELMo的语境化词向量中表现出的性别偏见。首先,我们进行了几个内在的分析,发现(1)训练数据ELMo包含显着更多的男性比女性实体,(2)训练ELMo嵌入系统编码性别信息和(3)ELMo不平等地编码性别信息的男性和女性实体。然后,我们表明,一个国家的最先进的共指系统,依赖于ELMo继承其偏见,并表现出显着的偏见WinoBias探测语料库。最后,我们探索了两种方法来减轻这种性别偏见,并表明WinoBias上的偏见可以消除。
2019-04-05 cs.CL
Measuring Bias in Contextualized Word Representations
Carnegie Mellon University(卡内基梅隆大学)
诸如BERT的上下文词嵌入在许多NLP任务中已经实现了最先进的性能。由于它们被优化以捕获训练数据的统计特性,因此它们也倾向于拾取和放大数据中存在的社会刻板印象。在这项研究中,我们(1)~提出了一种基于模板的方法来量化BERT中的偏见;(2)~表明这种方法在捕获社会偏见方面比传统的基于余弦的方法获得了更一致的结果;(3)~进行了一项案例研究,评估性别代词解决的下游任务中的性别偏见。虽然我们的案例研究侧重于性别偏见,但所提出的技术可以推广到揭示其他偏见,包括在多类环境中,如种族和宗教偏见。
2019-06-18 cs.CL
In-Depth Look at Word Filling Societal Bias Measures
Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所)
近年来,人们提出了许多衡量语言模型中社会偏见的方法。一种流行的方法是使用一组单词填充提示来评估语言模型的行为。在这项工作中,我们分析了两个这样的措施- StereoSet和CrowS-Pairs的有效性。我们发现,这些措施产生意想不到的和不合逻辑的结果时,适当的控制组样本的构建。基于这一点,我们认为它们存在问题,应重新考虑今后使用它们。我们提出了一个改进的测试协议的前进方向。最后,我们还介绍了一个新的斯洛伐克性别偏见数据集。
2023-02-24 cs.CL
Investigating the Frequency Distortion of Word Embeddings and Its Impact on Bias Metrics
Instituto de Investigación en Ciencias de la Computación, CONICET-UBA(CONICET-布宜诺斯艾利斯大学计算机科学研究所);Universidad de Buenos Aires (UBA)(布宜诺斯艾利斯大学(UBA));Departamento de Computación, FCEyN, UBA(布宜诺斯艾利斯大学理学院计算机系)
本研究系统探究了静态词嵌入中词频与语义相似度的关联,发现Skip-gram等模型对高频词产生更高相似度,且此现象为人工伪影,并证明操纵词频会严重影响甚至逆转基于嵌入的性别偏见指标测量结果。
2023-10-19 cs.CL
Equalizing Gender Biases in Neural Machine Translation with Word Embeddings Techniques
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
神经机器翻译极大地推动了该领域的质量。然而,输出翻译仍然存在很大的问题,其中之一就是公平性。神经模型在包含偏见和刻板印象的大型文本语料库上训练。因此,模型继承了这些社会偏见。最近的方法已经显示出在其他自然语言处理工具(例如词嵌入)中减少性别偏见的结果。我们利用在神经机器翻译中使用词嵌入的事实,提出了一种使用这些表示来均衡神经机器翻译中的性别偏见的方法。具体来说,我们提出,实验和分析的集成GloVe嵌入在Transformer翻译架构的两个去偏置技术。我们评估我们提出的系统上的WMT英语-西班牙语基准任务,显示收益高达一个BLEU点。至于性别偏见的评估,我们生成一个测试集的职业,我们表明,我们提出的系统学习,以平衡现有的偏见从基线系统。
2019-06-02 cs.CL
Examining the Presence of Gender Bias in Customer Reviews Using Word Embedding
University of Utah(犹他大学)
人类已经进入了算法时代。每一分钟,算法都会塑造无数的偏好,从推荐产品到潜在的生活伴侣。在市场中,算法被训练来从客户评论中学习消费者偏好,因为用户生成的评论被认为是客户的声音和公司有价值的信息来源。从评论中挖掘的见解在产品推荐、定向广告、促销、细分等多种商业活动中发挥着不可或缺的作用。在这项研究中,我们质疑评论是否可能持有算法学习和传播的刻板性别偏见。利用数百万次观察的数据和词嵌入方法GloVe,我们表明,旨在从人类语言输出中学习的算法也会学习性别偏见。我们还研究了为什么会发生这种偏见:是否偏见是由于对女性的负面偏见或男性的积极偏见。我们研究了性别偏见的影响,在审查的选择,并得出结论,对女性消费者的政策影响,特别是当他们不知道的偏见,和企业的道德影响。
2019-02-01 cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University(东京都立大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下,人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法,而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同,我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式,并学习的约束,必须满足无偏词嵌入自动从字典定义的话。具体地,我们学习编码器以生成输入词嵌入的去偏版本,使得它(a)保留预训练的词嵌入的语义,(b)根据字典同意词的无偏定义,以及(c)保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明,该方法可以准确地去除预训练词嵌入中编码的不公平偏见,同时保留有用的语义。
2021-01-23 cs.CL
How to Split: the Effect of Word Segmentation on Gender Bias in Speech Translation
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Trento(特伦托大学)
在认识到性别偏见是影响当前翻译技术的一个主要问题后,研究人员主要试图通过在数据方面开展工作来减轻性别偏见。然而,算法方面是否会加剧不必要的输出仍然是迄今为止调查不足。在这项工作中,我们把自动翻译中的性别偏见的分析,到一个看似中立,但关键的组成部分:分词。分割方法会影响翻译性别的能力吗?某些分割方法是否会惩罚女性语言标记的表现?我们解决这些问题,通过比较现有的5个分割策略的目标端的语音翻译系统。我们对两种语言对(英语-意大利语/法语)的研究结果表明,最先进的子词分割(BPE)是以更高的性别偏见为代价的。鉴于这一发现,我们提出了一种组合方法,该方法保留了BPE的整体翻译质量,同时利用基于字符的分割的更高能力来正确翻译性别。
2021-05-28 cs.CL
The SAME score: Improved cosine based bias score for word embeddings
CITEC(认知交互技术中心);Bielefeld University(比勒费尔德大学)
针对现有词嵌入社会偏差衡量方法结论不一致、存在理论缺陷等问题,研究提出新型语义偏差评分SAME,经理论分析与实验验证其优于同类方法,且证实语义偏差与下游任务偏差存在显著关联,可识别下游社会偏差的潜在成因。
2024-09-12 cs.CL
When do Word Embeddings Accurately Reflect Surveys on our Beliefs About People?
University at Buffalo(布法罗大学);Fachhochschule Potsdam(波茨坦应用技术大学)
社会偏见被编码在词嵌入中。这提供了一个独特的机会来研究社会的历史和规模,以及一个独特的危险时,嵌入在下游应用程序中使用。在这里,我们调查的程度,公开的词嵌入准确地反映了通过传统的调查方法测量的某些类型的人的信念。我们发现,平均而言,词嵌入中发现的偏见确实密切反映了17个社会意义维度的调查数据。然而,我们还发现,嵌入中的偏见更能反映某些意义维度(例如性别)的调查数据,而不是其他维度(例如种族),并且我们可以非常自信地认为,基于嵌入的测量只反映了最突出的偏见。
2020-04-25 cs.CL
Evaluating Metrics for Bias in Word Embeddings
Bielefeld University(比勒费尔德大学);Faculty of Technology(工程学院);CITEC(认知交互技术中心)
针对现有基于余弦的词嵌入偏差指标存在检测失效、缺乏理论评估的问题,该研究形式化偏差定义与指标条件,分析现有指标局限,提出新指标SAME并数学验证其合理性。
2024-09-12 cs.CL
Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis
SIFT
本文通过量化词嵌入中的性别偏见,分析不同文化背景下教育、政治、经济和健康领域的性别差距。
2026-01-23 cs.CL
Profiling Bias in LLMs: Stereotype Dimensions in Contextual Word Embeddings
TUM School of Computation, Information and Technology(慕尼黑工业大学计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
该研究针对大语言模型存在偏见的问题,提出基于社会心理学词典的刻板印象维度偏见剖析方法,分析12种大模型上下文嵌入的跨层跨语境性别偏见,可直观揭示和可视化模型偏见。
2025-01-11 cs.CL
DebIE: A Platform for Implicit and Explicit Debiasing of Word Embedding Spaces
University of Mannheim(曼海姆大学);School of Business Informatics and Mathematics(商业信息学与数学学院)
最近的NLP研究表明,分布式词向量空间经常编码刻板的人类偏见,如种族主义和性别歧视。由于单词表示在NLP模型和管道中无处不在,这引发了道德问题,并危及语言技术的公平性。虽然存在大量关于偏见测量和去偏见方法的工作,但到目前为止,还没有一个平台可以统一这些研究工作,并使偏见测量和去偏见的表征空间广泛可用。在这项工作中,我们提出了DebIE,第一个集成平台(1)测量和(2)减轻偏见的词嵌入。给定(i)嵌入空间(用户可以在预定义的空间之间选择或上传自己的空间)和(ii)偏差规范(用户可以在现有的偏差规范之间选择或创建自己的偏差规范),DebIE可以(1)计算隐式和显式偏差的几个度量,并通过执行两个(可相互组合的)去偏差模型来修改嵌入空间。DebIE的功能可以通过四种不同的接口访问:(a)Web应用程序,(b)桌面应用程序,(c)REST风格的API,以及(d)作为命令行应用程序。DebIE的网址是:debie.informatik. uni-mannheim.de。
2021-03-11 cs.CL
No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media
Leibniz University Hannover(汉诺威莱布尼茨大学);Universität Hamburg(汉堡大学)
新闻文章塑造并反映了整个政治领域的公众舆论。因此,分析它们的社会偏见可以提供有价值的见解,例如社会和媒体中普遍存在的刻板印象,这些刻板印象通常被在相应数据上训练的NLP模型所采用。最近的工作依赖于词嵌入偏差的措施,如WEAT。然而,嵌入的几个表示问题可能会损害测量的准确性,包括低资源设置和令牌频率差异。在这项工作中,我们研究了什么样的嵌入算法最适合准确地测量已知存在于美国在线新闻文章中的社会偏见类型。为了涵盖美国政治偏见的整个范围,我们收集了50万篇文章,并回顾了心理学文献中关于预期社会偏见的内容。然后,我们使用WEAT以及嵌入算法来量化社会偏见,这些算法可以解释上述问题。我们比较了用新闻文章的算法训练的模型如何代表预期的社会偏见。我们的研究结果表明,量化偏见的标准方法与心理学知识并不一致。虽然所提出的算法减少~差距,他们仍然不完全匹配的文献。
2022-11-07 cs.CL
Semantic Properties of cosine based bias scores for word embeddings
Bielefeld University(比勒费尔德大学)
针对现有词嵌入偏差得分缺乏对比研究的问题,本文基于偏差几何定义提出量化偏差的得分要求,形式化分析基于余弦的偏差得分,并用实验验证其局限性的实际影响。
2024-09-12 cs.CL
Mitigating Word Bias in Zero-shot Prompt-based Classifiers
ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学)
本文针对零样本基于提示的分类器中因词偏置导致的性能差异问题,提出一种无监督地重新加权类别期望边际概率以实现均匀先验的方法,并建立类别先验与语言模型词先验的理论联系,实现零资源阈值设置,在多项NLP任务上取得显著且一致的性能提升。
2023-09-10 cs.CL
Ask-Before-Detection: Identifying and Mitigating Conformity Bias in LLM-Powered Error Detector for Math Word Problem Solutions
Michigan State University(密歇根州立大学);Squirrel Ai Learning(松鼠AI智适应教育);Carleton College(卡尔顿学院)
本文揭示了基于LLM的数学应用题错误检测器中忽略多种有效解法的从众偏差,提出Ask-Before-Detect框架生成自适应参考解答以缓解偏差,在GSM8K数据集上验证了其有效性。
2024-12-22 cs.CL
Considerations for the Interpretation of Bias Measures of Word Embeddings
Workday(Workday公司)
词嵌入空间是用于捕获语料库中术语之间的潜在语义关系的强大工具,并且已经在构建最先进的自然语言处理算法中变得广泛流行。然而,研究表明,存在于文本语料库中的社会偏见可能会被纳入从他们那里学到的词嵌入空间。因此,存在一种伦理上的担忧,即语料库及其派生的嵌入空间中包含的类似人类的偏见可能会传播,甚至在下游应用中使用有偏见的嵌入空间时被放大。为了量化这些偏差,以便更好地理解和研究它们,已经提出了几个偏差度量。我们探讨了这些措施的统计特性,在他们引用的应用程序以及他们假设的效用的背景下。我们发现,这些指标的简单解释,如建议有警告。我们发现Bolukbasi et al. 2016提出的偏差度量对嵌入超参数选择高度敏感,并且在许多情况下,由于某些超参数的选择而导致的方差大于由于语料库选择而导致的度量方差,而在少数情况下,语料库的偏差排名随超参数选择而变化。根据这些观察,可能的情况是,偏差估计不应该被认为直接测量底层语料库的属性,而是所讨论的特定嵌入空间的属性,特别是在用于生成它们的超参数选择的上下文中。因此,用不同超参数生成的空间的偏差度量应该仅与嵌入学习算法特定配置的明确考虑进行比较。
2019-06-19 cs.CL
Sexism in the Judiciary
我们分析了670万份判例法文件,以确定我们的司法系统中存在性别偏见。我们发现,目前的偏见检测方法在自然语言处理是不够的,以确定性别偏见在我们的案例法数据库,并提出了一种替代方法。我们发现,现有算法的不一致的结果是先前研究的偏见定义本身的后果。偏置检测算法依赖于字组来表示偏置(例如,"工资"、"工作"和"老板"代表就业,作为文本中对妇女有潜在偏见的主题)。然而,建立这些单词组的方法有几个缺点,主要是单词列表是基于研究人员自己的直觉。我们提出了两种新的方法来自动创建单词列表来表示偏见。我们发现,我们的方法优于目前的NLP偏见检测方法。我们的研究提高了NLP技术检测偏见的能力,并突出了有影响力的判例法中存在的性别偏见。为了测试我们的NLP偏见检测方法的性能,我们回归我们的偏见的结果,在判例法对美国人口普查数据的妇女参与劳动力在过去的100年。
2021-06-29 cs.CL
Investigating Gender Bias in BERT
Singapore University of Technology and Design(新加坡科技设计大学)
上下文语言模型(CLM)将NLP基准测试推向了一个新的高度。在文本分类等下游任务中利用CLM提供的词嵌入已经成为一种新的规范。然而,除非得到解决,否则CLM很容易在数据集中学习固有的性别偏见。因此,下游NLP模型的预测可能会因性别词的变化而发生明显变化,例如将“他”替换为“她”,甚至是性别中性词。在本文中,我们将重点分析一个流行的CLM,即,BERT。我们分析了它在五个与情绪和情绪强度预测相关的下游任务中引起的性别偏见。对于每个任务,我们训练一个简单的回归利用BERT的词嵌入。然后,我们使用公平评估语料库评估回归的性别偏见。理想情况下,从具体的设计来看,模型应该从输入中丢弃性别信息特征。然而,结果显示,系统的预测对性别特定的单词和短语的依赖性很大。我们认为,这种偏见可以通过从词嵌入中去除性别特征来减少。因此,对于BERT中的每一层,我们识别主要编码性别信息的方向。由这些方向形成的空间被称为词嵌入语义空间中的性别子空间。我们提出了一种算法,发现细粒度的性别方向,即,每个BERT层有一个主方向。这就避免了在多个维度上实现性别子空间的需要,也避免了其他关键信息的遗漏。实验表明,去除这些方向的嵌入组件在减少下游任务中的BERT引起的偏差方面取得了很大的成功。
2020-09-10 cs.CL
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong(香港城市大学)
词嵌入已经成为自然语言处理的关键,因为它提高了各种任务的经验表现。然而,最近的研究发现,性别偏见是纳入神经词嵌入,下游任务,依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法,这些方法主要集中在减少与性别方向相关的性别偏见,并未能减少词嵌入关系中呈现的性别偏见。在本文中,我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系,利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
Identifying and Reducing Gender Bias in Word-Level Language Models
New York University(纽约大学)
许多文本语料库都表现出社会问题的偏见,这些偏见可以在基于这些数据训练的模型中传播或放大。例如,“doctor”与男性代词同时出现的频率高于与女性代词同时出现的频率。在这项研究中,我们(i)提出了一个衡量性别偏见的指标;(ii)衡量文本语料库和从在文本语料库上训练的递归神经网络语言模型生成的文本中的偏见;(iii)提出了语言模型的正则化损失项,该正则化损失项最小化编码器训练的嵌入到编码性别的嵌入子空间上的投影;(iv)最后,评估我们建议的方法在减少性别偏见方面的成效。我们发现这种正则化方法可以有效地将性别偏见减少到分配给损失项的最佳权重,超过该权重,模型会随着困惑度的增加而变得不稳定。我们在三个训练语料库-Penn Treebank,WikiText-2和CNN/Daily Mail-上复制了这个研究,得到了类似的结论。
2019-04-05 cs.CL
Identification of Biased Terms in News Articles by Comparison of Outlet-specific Word Embeddings
University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学)
倾斜的新闻报道,也被称为媒体偏见,可以严重影响新闻消费者对新闻的解读和反应。为了自动识别有偏见的语言,我们提出了一个探索性的方法,比较相关的词的上下文。我们训练了两个词嵌入模型,一个是左翼的文本,另一个是右翼的新闻媒体。我们的假设是,一个词的表示在两个词嵌入空间是更相似的非偏见的话比偏见的话。其基本思想是,不同新闻媒体中有偏见的词语的语境比无偏见的词语的语境变化更大,因为对一个词有偏见的看法取决于其语境。虽然我们没有发现统计意义接受的假设,结果表明该方法的有效性。例如,在两个词嵌入空间的线性映射之后,具有最大距离的31%的词潜在地引起偏差。为了改善结果,我们发现,数据集需要显着更大,我们得出进一步的方法作为未来的研究方向。据我们所知,本文提出了第一次深入研究的背景下,偏见的话衡量的词嵌入。
2021-12-14 cs.CL cs.IR
A General Framework for Implicit and Explicit Debiasing of Distributional Word Vector Spaces
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
最近的研究表明,分布词向量编码了许多人类偏见,最明显的是性别和种族偏见,因此提出了减弱这种偏见的模型。然而,现有的模型和研究(1)在规定不足和相互不同的偏倚定义上操作,(2)针对特定偏倚(例如,性别偏见)和(3)的评价不一致和不严格。在这项工作中,我们介绍了一个通用的框架去偏置词嵌入。我们通过辨别两种类型的偏见规范:明确的和隐含的偏见的定义操作。然后,我们提出了三个去偏置模型,操作显式或隐式偏置规范,可以组成更强大的去偏置。最后,我们设计了一个成熟的评估框架,在其中我们耦合现有的偏见指标与新提出的。三种嵌入方法的实验结果表明,所提出的去偏置模型是鲁棒的和广泛适用的:它们通常完全消除隐式和显式的偏见,而不会降低任何输入分布空间中编码的语义信息。此外,我们成功地转移去偏置模型,通过跨语言的嵌入空间,并删除或减弱偏见的语言,缺乏现成的偏见规范的分布词向量空间。
2020-01-03 cs.AI cs.CL
Identifying and Mitigating Gender Bias in Hyperbolic Word Embeddings
Delhi Technological University(德里技术大学);Indraprastha Institute of Information Technology Delhi(德里英迪拉普拉斯信息技术研究所)
欧氏词嵌入模型,如GloVe和Word2Vec,已被证明反映了类似人类的性别偏见。在本文中,我们将性别偏见的研究扩展到最近流行的双曲词嵌入。我们提出了gyrocosine偏差,一种新的措施,用于量化性别偏见双曲字表示,并观察到一个显着的存在性别偏见。为了解决这个问题,我们提出了庞加莱性别去偏置(PGD),一种新的去偏置程序双曲词表示。在一组评价测试上的实验表明,PGD在增加最小语义偏移量的同时,有效地减少了偏见。
2021-09-28 cs.AI cs.CL
Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
性别偏见严重影响着自然语言处理应用。词嵌入已被明确证明既保持又放大了当前数据源中存在的性别偏见。最近,上下文化的词嵌入通过计算依赖于它们出现在其中的句子的词向量表示来增强先前的词嵌入技术。在本文中,我们研究的影响,这种概念的变化,在词嵌入计算与性别偏见。我们的分析包括不同的措施,以前在文献中应用到标准的词嵌入。我们的研究结果表明,语境化的词嵌入是更少的偏见比标准的,即使后者是去偏见。
2019-04-18 cs.CL cs.LG
Debiasing Sentence Embedders through Contrastive Word Pairs
CITEC, University of Bielefeld(比勒费尔德大学CITEC(认知交互技术中心))
针对现有去偏方法直接从词嵌入转移而忽略句子嵌入非线性特性的问题,本文提出通过对比词对去除句子嵌入中线性和非线性偏见信息的方法,且不影响下游任务性能。
2024-03-27 cs.CL
Marked Attribute Bias in Natural Language Inference
University of Guelph(圭尔夫大学);Vector Institute(向量研究所)
报告和提供NLP应用程序中有害偏差的测试集对于建立对当前问题的强大理解至关重要。我们提出了一个新的观察性别偏见在下游的NLP应用程序:显着的属性偏见在自然语言推理。下游应用程序中的偏差可能源于训练数据、词嵌入,或者被使用中的模型放大。然而,关注有偏见的词嵌入可能是最有影响力的第一步,因为它们具有普遍性。在这里,我们试图了解如何的内在属性的词嵌入有助于这种观察到的显着属性效应,以及目前的后处理方法是否成功地解决了偏见。目前的去偏置景观的调查揭示了两个开放的问题:没有一个当前的去偏置嵌入减轻显着的属性错误,没有一个内在的偏见措施是预测的显着的属性效果。通过注意到一种新的类型的内在偏见措施有意义的相关性与标记属性效应,我们提出了一个新的静态词嵌入的后处理去偏置方案。所提出的方法应用到现有的嵌入实现新的最佳结果的标记属性偏差测试集。请访问https://github.com/hillary-dawkins/MAB。
2021-09-28 cs.CL
Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
本研究提出基准 AmbGIMT 和基于情感态度得分(EAS)的新评估流程,利用歧义态度词评估二元性别之外的机器翻译性别偏见,发现非二元语境翻译质量较差且偏见明显,提示中加入约束上下文可大幅减少但无法消除偏见。
2024-07-23 cs.CL
When Words Speak Louder than Images: Towards Understanding Language Bias in Vision-Language Models
University of Waterloo(滑铁卢大学);Johns Hopkins University(约翰霍普金斯大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Nanyang Technological University(南洋理工大学);Indiana University(印第安纳大学)
本研究提出一个四阶段诊断框架,通过分析语言先验与跨模态覆盖度的演变,系统追踪并揭示视觉-语言模型中语言偏差的传播机制与成因。
2026-09-29 cs.CL
The Undesirable Dependence on Frequency of Gender Bias Metrics Based on Word Embeddings
ICC (UBA-CONICET)(ICC(布宜诺斯艾利斯大学-国家科学技术研究委员会));Maestría en Data Mining (UBA)(数据挖掘硕士项目(布宜诺斯艾利斯大学));Escuela IDAES (UNSAM)(IDAES学院(圣马丁将军大学))
许多作品使用基于词嵌入的指标来量化文本中的社会偏见和刻板印象。最近的研究发现,词嵌入可以捕捉语义相似性,但可能会受到词频的影响。在这项工作中,我们研究了频率的影响时,测量女性与男性的性别偏见与词嵌入为基础的偏见量化方法。我们发现,Skip-gram与负采样和GloVe倾向于检测男性偏见的高频词,而GloVe倾向于返回女性偏见的低频词。我们发现这些行为仍然存在时,单词随机洗牌。这证明了在未混洗语料库中观察到的基于频率的效果源于度量的属性,而不是来自单词关联。这种效应是虚假的,也是有问题的,因为偏差度量应该完全取决于词的共现,而不是单个词的频率。最后,我们将这些结果与基于逐点互信息的替代度量所获得的结果进行了比较。我们发现,这个指标并没有显示出明显的依赖频率,即使它是稍微偏向男性偏见在所有频率。
2023-01-02 cs.AI cs.CL
On the Interpretability and Significance of Bias Metrics in Texts: a PMI-based Approach
Instituto de Investigación en Ciencias de la Computación, CONICET-UBA(CONICET-布宜诺斯艾利斯大学计算机科学研究所);Universidad de Buenos Aires(布宜诺斯艾利斯大学);CONICET(阿根廷国家科学与技术研究理事会);Universidad Nacional de San Martín(圣马丁国立大学);Harvard University(哈佛大学)
本文提出一种基于 PMI 的文本偏见量化度量,可由条件概率和比值比解释并支持置信区间与显著性检验,且在大型语料库性别差距捕捉上与词嵌入度量效果相近。
2023-07-18 cs.CL
Evaluating Gender Bias in Large Language Models via Chain-of-Thought Prompting
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tokyo Institute of Technology(东京工业大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
本研究针对不可扩展任务中CoT提示对大语言模型性别偏见的影响展开探究,构建了兼具算术与符号推理特征的词汇计数基准,发现CoT提示可减轻大语言模型的无意识社会偏见,促进公平预测。
2024-01-28 cs.CL
Reducing Gender Bias in Abusive Language Detection
Centre for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Hong Kong University of Science and Technology(香港科技大学)
由于训练数据集的不平衡,滥用语言检测模型往往会偏向于特定人群的身份词。例如,“你是个好女人”在现有数据集上训练时被认为是“性别歧视”。这种模型偏差是模型在实际应用中足够稳健的障碍。在这项工作中,我们测量了使用不同辱骂性语言数据集训练的模型的性别偏见,同时分析了不同预训练的词嵌入和模型架构的影响。我们还试验了三种偏见缓解方法:(1)去偏见的词嵌入,(2)性别交换数据增强,(3)更大的语料库微调。这些方法可以有效地减少90-98%的性别偏差,并可以扩展到纠正其他场景中的模型偏差。
2018-08-22 cs.CL
Unveiling Gender Bias in Large Language Models: Using Teacher's Evaluation in Higher Education As an Example
本研究以GPT-4生成的六学科高等教育教师评价为对象,通过多维度分析框架揭示LLM文本中存在符合社会刻板印象的性别语言关联模式,验证了其生成内容会反映现有社会偏见。
2024-09-15 cs.CL
Nurse is Closer to Woman than Surgeon? Mitigating Gender-Biased Proximities in Word Embeddings
Delhi Technological University(德里理工大学);IIIT-Delhi(德里印度理工学院)
词嵌入是词的语义和句法表示的标准模型。不幸的是,这些模型已被证明表现出不受欢迎的词的协会,导致性别,种族和宗教偏见。现有的消除词嵌入偏见的后处理方法无法消除隐藏在词向量空间排列中的性别偏见。在本文中,我们提出了RAN-Debias,一种新的性别去偏置方法,它不仅消除了词向量中存在的偏见,而且改变了其相邻向量的空间分布,实现了无偏见的设置,同时保持最小的语义偏移。我们还提出了一个新的偏见评估指标-基于性别的非法接近估计(GIPE),它衡量的程度,不适当的接近的字向量的存在基于性别的偏好。基于一套评估指标的实验表明,RAN-Debias在减少邻近偏差(GIPE)方面明显优于最先进的方法,至少减少42.02%。它还减少了直接偏见,增加了最小的语义干扰,并在下游应用程序任务(共指消解)中实现了最佳性能。
2020-06-02 cs.CL cs.LG
Impact of Gender Debiased Word Embeddings in Language Modeling
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
性别、种族和社会偏见最近被发现是自然语言处理应用中不公平的明显例子。实现公平的关键途径是理解、分析和解释我们的数据和算法。最近的研究表明,在训练中使用的人工生成的数据是产生偏见的一个明显因素。此外,目前的算法也被证明会放大数据的偏差。为了进一步解决这些问题,在本文中,我们研究了一个最先进的递归神经语言模型在使用预训练的标准和去偏词嵌入对数据进行训练时的行为,这些数据不足以代表女性。结果表明,与使用任务内训练的嵌入相比,当使用预训练的嵌入在不平衡数据上训练时,语言模型继承更高的偏差。此外,结果表明,在相同的数据,语言模型继承较低的偏见时,使用去偏预训练嵌入,相比使用标准的预训练嵌入。
2021-05-05 cs.CL
[RE] Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
Thapar University(塔帕尔大学)
尽管在自然语言处理(NLP)任务中广泛使用,但词嵌入因继承了训练语料库的非故意性别偏见而受到批评。程序员与男人的关系更密切,家庭主妇与女人的关系更密切。这种性别偏见也被证明在下游任务中传播。
2021-04-14 cs.AI cs.CL
Gender Bias in Neural Natural Language Processing
Carnegie Mellon University(卡内基梅隆大学)
我们研究神经自然语言处理(NLP)系统是否反映了训练数据中的历史偏差。我们定义了一个通用的基准来量化各种神经NLP任务中的性别偏见。我们使用最先进的神经共指消解和在基准数据集上训练的基于RNN的语言模型进行的实证评估发现,模型如何看待职业存在显著的性别偏见。然后,我们减轻偏见与CDA:一个通用的方法,语料库增强通过因果干预,打破性别和性别中性词之间的关联。我们的经验表明,CDA有效地减少性别偏见,同时保持准确性。我们还探讨了空间的缓解策略与CDA,一个事先的方法,词嵌入去偏置(WED),和他们的组合。我们表明,CDA优于WED,大大,所以当词嵌入的训练。对于预训练的嵌入,这两种方法可以有效地组合。我们还发现,随着对原始数据集进行梯度下降训练,性别偏见随着损失的减少而增加,这表明优化鼓励偏见; CDA减轻了这种行为。
2019-05-30 cs.CL