Speciesism in Natural Language Processing Research
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究生院);Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院)
本文通过调查与实验揭示NLP研究者、数据和模型中普遍存在物种歧视,并提出减少此类偏见的讨论。
2024-10-18 cs.AI cs.CL
Is there really a Citation Age Bias in NLP?
NTT DATA Deutschland SE(NTT DATA德国公司);University of Mannheim(曼海姆大学)
本研究通过分析Arxiv上约30万篇论文发现,NLP等AI子领域的“引用遗忘”趋势是学科快速发展的自然产物,而非NLP社区特有的引用年代偏见。
2024-01-07 cs.AI cs.CL cs.DL
Disembodied Machine Learning: On the Illusion of Objectivity in NLP
University of Sheffield(谢菲尔德大学);Humboldt University, Berlin(柏林洪堡大学);Hero I/S;University of Copenhagen(哥本哈根大学)
机器学习寻求在提供的数据集中识别和编码知识体。然而,数据编码的主观内容,这决定了模型训练的可能结果。因为这种主观性使社会的一部分边缘化,它被称为(社会)“偏见”,并试图消除。在本文中,我们将ML社区中的这种偏见话语置于开发过程中的主观选择的背景下。通过对数据和模型开发中的选择如何构建主观性或模型中所代表的偏见的考虑,我们认为解决和减轻偏见几乎是不可能的。这是因为数据和ML模型都是在开发管道的每一步都有意义的对象,从数据选择到注释,再到模型训练和分析。因此,我们发现普遍存在的偏见话语限制了其解决社会边缘化问题的能力。我们建议认真对待这一点,并接受去偏置方法只能纠正一小部分偏置。
2021-01-28 cs.AI cs.CL cs.CY
Perturbation Augmentation for Fairer NLP
Facebook AI Research(脸书人工智能研究院);Hugging Face(抱抱脸)
在NLP研究中,不必要的、往往是有害的社会偏见变得越来越突出,影响了模型和数据集。在这项工作中,我们要问的是,对人口统计学扰动数据的训练是否会导致更公平的语言模型。我们收集了大量的人类注释文本扰动数据集,并训练了一个神经扰动模型,我们显示它优于启发式替代方案。我们发现,(i)在人口统计学扰动语料库上预训练的语言模型(LM)通常更公平,(ii)在扰动GLUE数据集上微调的LM在下游任务上表现出更少的人口统计学偏见,(iii)公平性的改善不会以牺牲下游任务的性能为代价。最后,我们讨论了如何最好地评估(不)公平的大语言模型的突出问题。我们希望这种对神经人口扰动的探索将有助于推动更公平的NLP。
2022-10-12 cs.AI cs.CL
Model Bias in NLP -- Application to Hate Speech Classification using transfer learning techniques
ETH Zürich(苏黎世联邦理工学院)
在本文中,一个基于BERT的神经网络模型应用于JIGSAW数据集,以创建一个模型,识别仇恨和有毒的评论(严格分离的攻击性语言)在在线社交平台(英语),在这种情况下Twitter。另外三个神经网络架构和一个GPT-2模型也应用于所提供的数据集,以比较这些不同的模型。然后将训练好的BERT模型应用于两个不同的数据集,以评估其泛化能力,即另一个Twitter数据集和HASOC 2019数据集,其中包括Twitter和Facebook评论;我们专注于英语HASOC 2019数据。此外,可以表明,通过经由重新训练部分或所有层应用不同的迁移学习场景,在这两个数据集上微调经训练的BERT模型,与简单地应用在JIGSAW数据集上预训练的模型相比,预测分数提高。通过我们的结果,我们获得了从64%到90%左右的精确度,同时仍然达到了至少低于60%的可接受的召回值,证明了BERT适用于社交平台中的真实用例。
2021-10-11 cs.AI cs.CL
BEADs: Bias Evaluation Across Domains
Vector Institute(向量研究所);Royal Bank of Canada(皇家银行);University of Toronto(多伦多大学)
BEADs数据集通过跨领域偏差评估,提供广泛NLP任务的偏差检测与模型评估方案,揭示现有模型在人口群体上的系统性偏差问题。
2026-02-19 cs.AI cs.CL
What Do NLP Researchers Believe? Results of the NLP Community Metasurvey
Paul G. Allen School for Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Center for Data Science, New York University(纽约大学数据科学中心);Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Department of Linguistics, New York University(纽约大学语言学系);Department of Computer Science, Johns Hopkins University(约翰斯·霍普金斯大学计算机科学系)
我们介绍了NLP社区元调查的结果。该调查于2022年5月至6月进行,就有争议的问题征求意见,包括该领域的行业影响力,对AGI的担忧以及道德。我们的研究结果为几个争议提供了具体的数字:例如,受访者在关于人工通用智能的重要性,语言模型是否理解语言,以及语言结构和归纳偏见对解决NLP问题的必要性的问题上几乎正好分为两半。此外,调查还提出了元问题,要求受访者预测调查答复的分布情况。这不仅使我们能够深入了解NLP研究人员所持有的信念,而且还可以发现社区预测与现实不符的错误社会学信念。我们发现,在许多问题上都存在这种不匹配。在其他结果中,社区大大高估了自己对基准的有用性和扩展解决现实问题的潜力的信念,同时低估了自己对语言结构,归纳偏见和跨学科科学的重要性的信念。
2022-08-26 cs.AI cs.CL
PBa-LLM: Privacy- and Bias-aware NLP using Named-Entity Recognition (NER)
Biometrics and Data Pattern Analytics Lab(生物识别与数据模式分析实验室)
针对LLM的隐私与偏见问题,提出基于NER匿名化和性别偏见减少的PBa-LLM框架,在简历评分场景中验证了性能保持与隐私保护效果。
2025-07-09 cs.AI cs.CL cs.CR
Tokenization and Representation Biases in Multilingual Models on Dialectal NLP Tasks
SUPSI, IDSIA(SUPSI和IDSIA)
本研究通过分词一致性和信息一致性度量多语言模型的表示偏差,发现前者预测句法任务性能,后者预测语义任务性能,并揭示模型语言支持声明掩盖了文字层不匹配。
2025-09-24 cs.AI cs.CL
Does My Rebuttal Matter? Insights from a Major NLP Conference
Technische Universität Darmstadt(达姆施塔特工业大学);University of Tokyo(东京大学)
同行评审是科学过程的核心要素,特别是在以会议为中心的领域,如ML和NLP。然而,只有很少的研究评估其属性的经验。为了填补这一空白,我们提出了一个语料库,其中包含ACL-2018的超过4k条评论和1.2k条作者回复。我们定量和定性地评估语料库。这包括对审稿人提出的论文弱点和作者答复的质量进行试点研究。然后,我们专注于反驳阶段的作用,并提出了一个新的任务来预测反驳后(即,最后)从最初的评论和作者的反应得分。虽然作者的反应确实有边际(和统计上显着)的影响,特别是边缘论文的最终分数,我们的研究结果表明,一个评论家的最终分数在很大程度上取决于她的初始分数和距离其他评论家的初始分数。在这种情况下,我们讨论的一致性偏见固有的同行评审,偏见,在以前的研究中,在很大程度上被忽视了。我们希望我们的分析将有助于更好地评估反驳阶段在NLP会议中的有用性。
2019-03-28 cs.AI cs.CL
Mitigating Gender Bias in Machine Translation through Adversarial Learning
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
机器翻译和其他NLP系统通常包含关于敏感属性的重大偏见,例如性别或种族,这会恶化系统性能并使有害的刻板印象永久化。最近的初步研究表明,对抗性学习可以用作模型不可知的偏见缓解方法的一部分,不需要修改数据。然而,将这种策略应用于机器翻译和其他现代NLP领域需要(1)在微调预训练的大语言模型的背景下重新构建训练目标,以及(2)为性别或其他受保护变量制定措施,这些变量必须从数据本身推导出来。我们提出了一个对抗性学习框架,解决这些挑战,以减轻性别偏见seq 2seq机器翻译。我们的框架改善了男性与女性实体句子翻译质量的差异,对于英语-德语翻译为86%,对于英语-法语翻译为91%,对翻译质量的影响最小。结果表明,对抗性学习是一种很有前途的技术,可以减轻机器翻译中的性别偏见。
2022-03-20 cs.AI cs.CL
A Systematic Survey of Natural Language Processing for the Greek Language
Athens University of Economics and Business(雅典经济与商业大学);Athena Research Center(雅典娜研究中心);Stockholm University(斯德哥尔摩大学)
本研究提出一个可推广的系统性单语NLP综述框架,应用于希腊语(2012-2023),通过结构化搜索、任务与资源分类法分析现状与资源空白,并提供公开更新的常青资源,展示了对低资源语言的适用性。
2025-06-18 cs.AI cs.CL
Cross-Lingual Stability and Bias in Instruction-Tuned Language Models for Humanitarian NLP
University of North Texas(北卡罗来纳大学达顿分校);Davidson College(戴维森学院)
本研究首次系统比较商业与开源权重LLM在七种语言的人权侵犯检测中的表现,提出四种跨语言可靠性指标,发现指令对齐而非模型规模决定跨语言稳定性,为资源受限组织提供部署指导。
2025-10-26 cs.AI cs.CL
Survey of Social Bias in Vision-Language Models
The Hong Kong University of Science and Technology(香港科技大学);Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心)
本文综述 NLP、CV 与视觉-语言预训练模型中的社会偏见研究,比较其异同并为单模态与多模态场景下的偏见识别、缓解及公平 AI 开发提供指导。
2023-09-24 cs.AI cs.CL
On Guaranteed Optimal Robust Explanations for NLP Models
University of Oxford(牛津大学);University of Warmia and Mazury in Olsztyn(奥尔什丁瓦尔米亚-马祖里大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
我们建立在基于溯因的解释机器学习和开发的方法计算本地解释的神经网络模型在自然语言处理(NLP)。我们的解释包括一个子集的输入文本的话,满足两个关键特征:最优w.r.t.用户定义的成本函数,例如解释的长度和鲁棒性,因为它们确保了对于遗漏单词的嵌入空间中的任何有界扰动的预测不变性。我们提出了两种求解算法,分别基于隐式碰集和最大泛子集,介绍了一些算法的改进,以加快收敛的硬实例。我们展示了我们的方法如何在嵌入式空间中配置不同的扰动集,并通过对有偏项执行包含/排除约束来检测预测中的偏差,以及增强现有的基于几何的NLP解释框架,如修正器。我们评估我们的框架上三个广泛使用的情感分析任务和文本多达100字从SST,Twitter和IMDB数据集,证明了衍生的解释的有效性。
2021-05-14 cs.AI cs.CL
Understanding COVID-19 News Coverage using Medical NLP
John Snow Labs inc.(约翰·斯诺实验室公司)
COVID-19疫情为全球性大流行病,受到全球媒体关注。在这项研究中,我们分析了CNN和卫报-世界上最有影响力的两个媒体组织的新闻出版物。该数据集包括36,000多篇文章,使用Spark NLP for Healthcare库中的临床和生物医学自然语言处理(NLP)模型进行分析,这使得对医学概念的分析比以前更深入。该分析涵盖了关键实体和短语,观察到的偏见,以及通过将挖掘的医疗症状,程序,药物和指导与常见的人口统计和职业群体相关联来改变新闻报道。另一项分析是关于药物和疫苗制造商的提取的药物不良事件,当主要新闻媒体报道时,会对疫苗犹豫产生影响。
2022-03-19 cs.AI cs.CL
Leveraging the Inductive Bias of Large Language Models for Abstract Textual Reasoning
Brigham Young University(杨百翰大学)
大型自然语言模型(如GPT-3或T5)在一系列一般NLP任务中表现出令人印象深刻的能力。在这里,我们表明,嵌入在这样的模型中的知识提供了一个有用的归纳偏见,不仅在传统的NLP任务,而且在训练符号推理引擎的非传统任务。我们观察到,这些引擎学习速度很快,并以反映人类直觉的自然方式进行概括。例如,训练这样一个系统来建模块堆叠可能会自然地推广到堆叠其他类型的对象,因为在现实世界中的结构,已经部分地被描述它的语言所捕获。我们研究了几个抽象的文本推理任务,如对象操作和导航,并展示了多种类型的泛化到新的场景和组成它们的符号。我们还展示了令人惊讶的实用程序的\textit{compositional learning},其中一个学习者致力于掌握一个复杂的任务获得的优势,通过训练相关的简单的任务,而不是直接跳到复杂的任务。
2021-10-05 cs.AI cs.CL
CALM : A Multi-task Benchmark for Comprehensive Assessment of Language Model Bias
Pennsylvania State University(宾夕法尼亚州立大学);HuggingFace
CALM 基准通过整合十六个数据集和 224 个高多样性模板,稳健测量语言模型在性别和种族上的社会人口统计学偏差,并在 20 个 LLM 上验证了其鲁棒性。
2024-08-08 cs.AI cs.CL cs.LG
The Dangers of Underclaiming: Reasons for Caution When Reporting How NLP Systems Fail
New York University(纽约大学)
NLP的研究人员经常以贬低该领域成功的方式来框架和讨论研究结果,通常是为了回应该领域的广泛炒作。虽然这是善意的,但这产生了许多关于我们最好的技术局限性的误导或错误的说法。这是一个问题,而且可能比看起来更严重:它损害了我们的信誉,使我们更难减轻当今的危害,比如那些涉及内容审核或简历筛选的偏见系统。它还限制了我们为更遥远的未来进步的潜在巨大影响做准备的能力。本文敦促研究者对这些说法要小心,并提出了一些研究方向和沟通策略,使其更容易避免或反驳。
2022-03-10 cs.AI cs.CL
NLPGuard: A Framework for Mitigating the Use of Protected Attributes by NLP Classifiers
Politecnico di Torino(都灵理工大学);Nokia Bell Labs(诺基亚贝尔实验室);University College London(伦敦大学学院)
针对NLP分类器依赖受保护属性的问题,提出NLPGuard框架,通过修改训练数据集在不损失准确性的前提下将依赖性降低高达79%。
2024-07-01 cs.AI cs.CL cs.HC
Exploiting Primacy Effect To Improve Large Language Models
University of Bologna(博洛尼亚大学)
本研究发现微调会放大大语言模型的首因偏差,据此提出无需知晓正确答案、按选项与查询的语义相似度重排选项的方法,显著提升了多项选择题问答性能,为偏差感知模型设计提供参考。
2025-07-18 cs.AI cs.CL
Censorship of Online Encyclopedias: Implications for NLP Models
University of California, San Diego(加州大学圣迭戈分校)
虽然人工智能为世界各地人们使用的许多工具提供了支柱,但最近的工作引起了人们的关注,即为人工智能提供动力的算法并非没有政治,刻板印象和偏见。虽然这一领域的大多数工作都集中在人工智能加剧现有不平等和歧视的方式上,但很少有工作研究政府如何积极塑造训练数据。我们描述了审查如何影响维基百科语料库的发展,这些语料库经常用于NLP算法的预训练输入。我们发现,在百度百科(一个在线中文百科全书)上训练的词嵌入,与经常被屏蔽但未经审查的中文维基百科相比,在形容词和一系列关于民主、自由、集体行动、平等、人民和历史事件的概念之间有着非常不同的关联。我们通过研究这些差异在下游人工智能应用中的使用来研究它们的影响。我们的论文展示了政府的压制、审查和自我审查如何影响训练数据和从中提取的应用程序。
2021-01-22 cs.AI cs.CL cs.CY
The Divergence Hypothesis: Unmasking Lexical Interference and Label Bias in Mental Health NLP
Doha Institute for Graduate Studies(多哈高等研究院)
该研究提出TSS诊断框架与DoD统计量,揭示心理健康NLP分类器的词汇干扰与标签偏差,可标记特定标签源的捷径学习,为相关模型审计提供支撑。
2026-08-24 cs.AI cs.CL
Incorporating Worker Perspectives into MTurk Annotation Practices for NLP
UC Berkeley(加州大学伯克利分校)
本研究通过文献综述和工人调查,揭示MTurk工人偏好与NLP研究者认知的差异,并提出改进标注实践以尊重工人权利和提升数据质量的建议。
2023-11-16 cs.AI cs.CL
Fairness Certification for Natural Language Processing and Large Language Models
Leipzig University(莱比锡大学);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig(可扩展数据分析与人工智能中心(ScaDS.AI)德累斯顿/莱比锡)
本文针对自然语言处理和大型语言模型中的公平性问题,采用定性研究方法,通过文献回顾和专家访谈,系统提出了六项可细分为18个子类别的公平性标准,为公平性认证流程的操作化和测试奠定了基础。
2024-01-03 cs.AI cs.CL cs.CY
Maintaining Journalistic Integrity in the Digital Age: A Comprehensive NLP Framework for Evaluating Online News Content
The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研究与发展研究所);University of Belgrade(贝尔格莱德大学);Universitas Negeri Padang(巴东国立大学)
本文提出了一个综合NLP框架,结合专门训练的语言模型与十项新闻标准,用于评估在线新闻文章的质量和可信度,同时探讨了其在检测细微偏见等方面的局限性。
2024-01-07 cs.AI cs.CL
Nationality Bias in Text Generation
College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
很少有人关注分析语言模型中的国籍偏见,特别是当国籍被高度用作提高社会NLP模型性能的一个因素时。本文探讨了文本生成模型,GPT-2,强调预先存在的社会偏见,基于国家的恶魔。我们使用GPT-2生成不同国籍的故事,并使用敏感性分析来探索互联网用户数量和国家经济状况如何影响故事的情感。为了减少偏见通过大语言模型(LLM)的传播,我们探索了对抗性触发的去偏见方法。我们的研究结果表明,GPT-2对互联网用户较少的国家表现出明显的偏见,而对抗性触发有效地减少了这种偏见。
2023-02-14 cs.AI cs.CL
A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions
Carnegie Mellon University(卡内基梅隆大学);BIT Sindri(辛德里理工学院)
本文全面综述了大型语言模型中偏见的类型、来源、影响与缓解策略,并批判性评估现有技术,提出未来研究方向以增强模型公平性。
2024-09-24 cs.AI cs.CL cs.CY
Thesis Distillation: Investigating The Impact of Bias in NLP Models on Hate Speech Detection
Fraunhofer Research Institute (FOKUS)(弗劳恩霍夫研究所(FOKUS))
本文从可解释性、冒犯性刻板印象偏见和公平性三个视角研究自然语言处理模型偏见对仇恨言论检测的影响,并强调引入社会科学以突破当前偏见测量与缓解的局限。
2023-12-05 cs.CL
Towards a Holistic Approach: Understanding Sociodemographic Biases in NLP Models using an Interdisciplinary Lens
Pennsylvania State University(宾夕法尼亚州立大学)
针对当前NLP偏差研究存在的关注维度窄、分析范围局限、技术导向等问题,本文提出应采用跨学科方法,从三个维度展开对NLP中社会人口统计学偏差的研究。
2023-08-24 cs.CL
Toward Understanding Bias Correlations for Mitigation in NLP
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Arizona State University(亚利桑那州立大学)
自然语言处理(NLP)模型被发现对不同社会身份的群体(如性别和种族)具有歧视性。由于这些不受欢迎的偏见的负面影响,研究人员以前所未有的努力做出回应,并提出了有希望的偏见缓解方法。尽管有相当大的实际重要性,目前的算法公平性文献缺乏深入的了解不同形式的偏见之间的关系。社会偏见本质上是复杂的。社会心理学的许多研究确定了“广义偏见”,即,不同群体的普遍贬值情绪。例如,贬低少数民族的人也可能贬低妇女和同性恋。因此,这项工作的目的是提供第一个系统的研究,了解偏见的相关性缓解。特别是,我们研究了两个常见的NLP任务-毒性检测和词嵌入-在三个社会身份,即,种族性别和宗教我们的研究结果表明,偏见是相关的,目前的情况下,独立的去偏见的方法占主导地位,在目前的文献可能是不够的。我们进一步研究联合减轻相关的偏见是否比独立和个人去偏更可取。最后,我们揭示了固有的问题,消除偏置精度权衡偏见缓解。这项研究有助于激励未来的研究联合偏见缓解,占相关的偏见。
2022-05-24 cs.AI cs.CL
On the Origins of Bias in NLP through the Lens of the Jim Code
University of The West of Scotland(西苏格兰大学);Heriot-Watt University(赫瑞瓦特大学)
本文从社会科学视角追溯了 NLP 模型中偏见的起源,指出其根植于过去 500 年的种族主义、性别歧视等社会问题,并呼吁通过纳入社会科学与科学家来解决偏见,为 NLP 研究社区提供了可操作的建议。
2023-05-16 cs.CL
Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the Research Manifold
Google Research(谷歌研究院);University of Cambridge(剑桥大学);University of Copenhagen(哥本哈根大学)
原型NLP实验在标记的英语数据上训练标准架构,并优化准确性,而不考虑其他维度,如公平性,可解释性或计算效率。我们通过对最近NLP研究论文的手动分类表明,情况确实如此,并将其称为平方实验设置。我们观察到,NLP研究往往超越了平方一的设置,例如,不仅关注准确性,而且关注公平性或可解释性,但通常只沿着单一维度。例如,大多数针对多语言的工作只考虑准确性;大多数关于公平性或可解释性的工作只考虑英语;等等。我们通过对最近的NLP研究论文和ACL Test-of-Time奖获得者的手动分类来展示这一点。大多数研究的这种一维性意味着我们只探索了NLP研究搜索空间的一小部分。我们提供了历史和最近的例子,说明平方一偏差如何导致研究人员得出错误的结论或做出不明智的选择,指出研究流形上有前途但尚未探索的方向,并提出切实可行的建议,以实现更多的多维研究。我们将注释的结果开源,以便在https://github.com/google-research/url-nlp上进行进一步分析。
2022-06-20 cs.CL cs.LG
On Bias and Fairness in NLP: Investigating the Impact of Bias and Debiasing in Language Models on the Fairness of Toxicity Detection
Fraunhofer Research institute(弗劳恩霍夫研究所);Weizenbaum Research institute(魏茨曼研究所);Durham University(杜伦大学)
本研究调查了NLP模型中表示偏见、选择偏见和过度放大偏见对毒性检测任务公平性的影响,发现过度放大偏见影响最大,并通过在平衡数据集上微调模型有效提升了公平性,最后提出了确保公平性的指导原则。
2024-04-26 cs.CL
How to Write a Bias Statement: Recommendations for Submissions to the Workshop on Gender Bias in NLP
IT University of Copenhagen(哥本哈根信息技术大学);Uppsala University(乌普萨拉大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Google AI Language(谷歌人工智能语言部门);Canva;Microsoft Research(微软研究院)
在NLP中的性别偏见研讨会(GeBNLP)上,我们希望鼓励作者明确考虑偏见及其社会影响的更广泛方面。因此,对于2020年版的研讨会,我们要求所有作者在他们的工作中包括一个明确的偏见声明,以澄清他们的工作如何与使用NLP系统的社会背景相关。讲习班的方案委员会包括一些具有人文和社会科学背景的审查人员,此外还有从事大部分审查工作的自然语言处理专家。每一篇论文都被分配了一名评审员,他们被要求在评审中特别注意所提供的偏倚声明。这一举措受到了向研讨会提交论文的作者的好评,其中一些人说他们从偏倚评审员那里得到了有用的建议和文献提示。因此,我们计划在今后的讲习班中保留审查进程的这一特点。
2021-04-07 cs.CL
Mitigating Gender Bias in Natural Language Processing: Literature Review
UC Santa Barbara(加州大学圣巴巴拉分校);UC Los Angeles(加州大学洛杉矶分校)
随着自然语言处理(NLP)和机器学习(ML)工具的普及,认识到它们在塑造社会偏见和刻板印象方面的作用变得越来越重要。虽然NLP模型在建模各种应用程序方面取得了成功,但它们传播甚至可能放大文本语料库中的性别偏见。虽然对人工智能中的偏见的研究并不新鲜,但减轻NLP中性别偏见的方法相对较新。在本文中,我们回顾了当代研究识别和减轻NLP中的性别偏见。我们讨论了基于四种形式的表征偏见的性别偏见和分析方法识别性别偏见。此外,我们讨论了现有的性别去偏见方法的优点和缺点。最后,我们讨论了未来的研究,以识别和减轻NLP中的性别偏见。
2019-06-21 cs.CL
Language (Technology) is Power: A Critical Survey of "Bias" in NLP
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);Cornell University(康奈尔大学);University of Maryland(马里兰大学)
我们调查了146篇分析NLP系统中“偏见”的论文,发现他们的动机往往是模糊的,不一致的,缺乏规范性推理,尽管分析“偏见”是一个固有的规范过程。我们进一步发现,这些论文提出的用于测量或减轻“偏见”的定量技术与他们的动机不匹配,并且没有与NLP之外的相关文献相结合。基于这些发现,我们通过提出三项建议来描述前进道路的开始,这些建议应该指导分析NLP系统中的“偏见”的工作。这些建议基于对语言和社会等级之间关系的更大认识,鼓励研究人员和实践者阐明他们对“偏见”的概念-即,什么样的系统行为是有害的,以什么方式,对谁,为什么,以及这些陈述背后的规范性推理-并围绕受NLP系统影响的社区成员的生活经验开展工作,同时询问和重新想象技术人员与这些社区之间的权力关系。
2020-05-29 cs.CL cs.CY
Situated Data, Situated Systems: A Methodology to Engage with Power Relations in Natural Language Processing Research
University of Edinburgh(爱丁堡大学)
我们提出了一个偏见意识的方法,从事权力关系的自然语言处理(NLP)的研究。NLP研究很少涉及社会背景下的偏见,限制了其减轻偏见的能力。虽然研究人员推荐了行动,技术方法和文档实践,但没有方法可以将对偏见的批判性反思与技术NLP方法相结合。在本文中,经过广泛的和跨学科的文献综述,我们贡献了一个偏见意识的方法NLP研究。我们还提供了有偏见的文本的定义,有偏见的NLP系统的影响的讨论,并展示了我们是如何执行偏见意识的方法在研究档案元数据描述的案例研究。
2020-11-11 cs.CL
Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias
University of Calicut(卡利卡特大学);Queen’s University Belfast(贝尔法斯特女王大学)
深度学习带来的自然语言处理(NLP)的显着进步,特别是最近出现的大型预训练神经语言模型,随着几项研究开始讨论和报告NLP应用中的潜在偏见,受到了人们的关注。NLP中的偏见被发现起源于人类编码到文本数据中的潜在历史偏见,这些偏见被NLP算法永久化甚至放大。我们提出了一个调查,以了解大型预训练语言模型中的偏见,分析它们在这些模型中出现的阶段,以及量化和减轻这些偏见的各种方法。考虑到基于文本情感计算的下游任务在诸如商业、医疗保健、教育等现实世界系统中的广泛适用性,我们特别强调在影响(情绪)的背景下调查偏见,即,情感偏差,在大型预训练语言模型中。我们提出了各种偏见评估语料库,有助于帮助未来的研究和讨论的挑战,在预训练语言模型的偏见研究的总结。我们相信,我们尝试全面了解预训练的语言模型中的偏见,特别是对情感偏见的探索,将对对这个不断发展的领域感兴趣的研究人员非常有益。
2022-04-21 cs.AI cs.CL
Quantifying Social Biases in NLP: A Generalization and Empirical Comparison of Extrinsic Fairness Metrics
University of Cambridge(剑桥大学);Amazon AI(亚马逊人工智能)
测量偏差是更好地理解和解决NLP/ML模型中不公平性的关键。这通常是通过公平性指标来实现的,这些指标量化了模型在一系列人口统计学群体中的行为差异。在这项工作中,我们更多地阐明了NLP中使用的公平性度量之间的差异和相似之处。首先,我们统一了广泛的现有指标下的三个广义公平性指标,揭示它们之间的联系。接下来,我们对现有指标进行了广泛的实证比较,并证明了所观察到的偏差测量差异可以通过我们的广义指标的参数选择差异来系统地解释。
2021-06-28 cs.CL
Blind Spots and Biases: Exploring the Role of Annotator Cognitive Biases in NLP
Pennsylvania State University(宾夕法尼亚州立大学);Information Sciences and Technology(信息科学与技术学院)
本文系统回顾了自然语言处理中标注者认知偏差的研究方法,探讨人类参与对AI偏差的双重影响,为理解标注属性如何导致偏差提供基础。
2024-04-29 cs.CL cs.HC
Addressing Both Statistical and Causal Gender Fairness in NLP Models
University of Virginia(弗吉尼亚大学)
本文评估了NLP模型中针对性别偏见的统计与因果去偏方法,发现单一方法仅在目标指标上有效,而结合两类技术可同时降低统计和因果公平性指标上的偏见。
2024-03-30 cs.CL cs.CY cs.LG
On Measures of Biases and Harms in NLP
University of California, Los Angeles(加州大学洛杉矶分校);University of Southern California(南加州大学);Microsoft Research(微软研究院)
最近的研究表明,自然语言处理(NLP)技术传播了与性别、种族和国籍等属性相关的人口统计群体的社会偏见。为了制定干预措施并减轻这些偏见和相关危害,能够检测和衡量这些偏见至关重要。虽然现有的工作提出了各种任务的偏见评估和缓解方法,但仍然需要有凝聚力地了解他们测量的偏见和具体危害,以及不同的措施如何相互比较。为了解决这一差距,这项工作提出了一个实用的危害框架和一系列问题,从业者可以回答,以指导偏见措施的发展。作为对我们的框架和文档问题的验证,我们还提出了几个案例研究,说明NLP中现有的偏见措施--陈述中的偏见的内在措施和下游应用程序的偏见的外在措施--如何与不同的危害保持一致,以及我们提出的文档问题如何促进对偏见措施的更全面的理解。
2022-10-13 cs.CL cs.CY
Examining risks of racial biases in NLP tools for child protective services
Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research NYC(微软纽约研究院);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Washington(华盛顿大学)
本文考察儿童保护服务场景中部署NLP工具可能加剧种族偏见的风险,发现命名实体识别和共指消解模型存在算法不公平,而风险预测未见明显偏见加剧,揭示了此前未被记录的现实信息抽取系统中的种族偏见隐患。
2023-05-30 cs.CL
Theories of "Gender" in NLP Bias Research
Umeå University(于默奥大学);Uppsala University(乌普萨拉大学)
人们对自然语言处理(NLP)技术包含和延续社会偏见的担忧日益增加,导致了一个丰富且快速增长的研究领域。性别偏见是正在分析的中心偏见之一,但迄今为止,还没有全面分析“性别”在该领域的理论化。我们调查了近200篇关于NLP中性别偏见的文章,以发现该领域如何明确地(例如通过术语的定义)和隐含地(例如通过性别如何在实践中运作)将性别概念化。为了更好地了解新兴的思想轨迹,我们将这些文章按时间分为两个部分。我们发现,大多数的文章并没有使他们的性别理论明确,即使他们明确定义了“偏见”。几乎没有人使用交叉或包含非二元性别的性别模型;许多人将性别特征,社会性别和语言性别混为一谈,无视跨性别,非二元和双性人的存在和经验。在承认性别是一个复杂现实的声明中,这两个时间段之间的声明有所增加,但是,很少有文章能够将这种承认付诸实践。除了分析这些发现,我们提供了具体的建议,以促进跨学科的工作,并纳入性别研究的理论和方法。我们希望这将在NLP中产生更具包容性的性别偏见研究。
2022-05-05 cs.CL
Can Embedding Similarity Predict Cross-Lingual Transfer? A Systematic Study on African Languages
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);North-West University(北开普敦大学)
本文通过系统评估五种嵌入相似性度量,发现余弦间隙和检索度量能有效预测跨语言迁移成功,同时揭示了模型特定分析的重要性。
2026-01-06 cs.CL cs.LG
Analyzing Bias in Swiss Federal Supreme Court Judgments Using Facebook's Holistic Bias Dataset: Implications for Language Model Training
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);Leibniz Institute for Educational Media | Georg Eckert Institute(莱布尼茨教育媒体研究所(格奥尔格·埃克特研究所))
本研究借助 Holistic Bias 社会偏见描述符与注意力可视化分析 SJP-Dataset,揭示法律判决预测数据中的偏见及其对模型行为的影响。
2025-01-06 cs.AI cs.CL
Bipol: A Novel Multi-Axes Bias Evaluation Metric with Explainability for NLP
Luleå University of Technology(吕勒奥理工大学)
本文提出具有可解释性的多轴偏见评估指标 bipol,结合语料库级模型分类与句子级敏感词频两步评估,并公开近 200 万标注样本的偏见检测训练数据集及代码。
2023-09-16 cs.CL
Are Non-English Papers Reviewed Fairly? Language-of-Study Bias in NLP Peer Reviews
Koç University(科奇大学);KUIS AI Lab(KUIS人工智能实验室);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);UCLouvain(鲁汶大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
本文研究了NLP同行评审中的语言研究偏差,通过系统分析发现非英语论文面临更高的偏差率,且负面偏差占主导。
2026-09-03 cs.CL
Challenges in Applying Explainability Methods to Improve the Fairness of NLP Models
National Research Council Canada(加拿大国家研究委员会)
可解释人工智能(XAI)方法的动机通常包括检测、量化和减轻偏差,以及有助于使机器学习模型更公平。然而,XAI方法如何帮助消除偏见往往是未知的。在本文中,我们简要回顾了NLP研究中可解释性和公平性的趋势,确定了可解释性方法用于检测和减轻偏差的当前实践,并调查了阻止XAI方法更广泛地用于解决公平性问题的障碍。
2022-06-08 cs.CL
Fair Enough: Standardizing Evaluation and Model Selection for Fairness Research in NLP
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
现代NLP系统表现出一系列的偏差,越来越多的关于模型去偏的文献试图纠正这些偏差。然而,目前的进展是阻碍了偏见的多种定义,量化手段,往往是模糊的关系去偏算法和偏置的理论措施。本文旨在澄清现状,并制定一个有意义的进展,在公平学习的过程中,有两个关键的贡献:(1)明确目前的各种方法之间的相互关系,以及它们与公平理论的关系;(2)解决模型选择的实际问题,这涉及公平性和准确性之间的权衡,并导致公平性研究的系统性问题。综合这些建议,我们提出了一些建议,以帮助塑造未来的工作。
2023-02-11 cs.CL cs.CY cs.LG
Sexism in the Judiciary
我们分析了670万份判例法文件,以确定我们的司法系统中存在性别偏见。我们发现,目前的偏见检测方法在自然语言处理是不够的,以确定性别偏见在我们的案例法数据库,并提出了一种替代方法。我们发现,现有算法的不一致的结果是先前研究的偏见定义本身的后果。偏置检测算法依赖于字组来表示偏置(例如,"工资"、"工作"和"老板"代表就业,作为文本中对妇女有潜在偏见的主题)。然而,建立这些单词组的方法有几个缺点,主要是单词列表是基于研究人员自己的直觉。我们提出了两种新的方法来自动创建单词列表来表示偏见。我们发现,我们的方法优于目前的NLP偏见检测方法。我们的研究提高了NLP技术检测偏见的能力,并突出了有影响力的判例法中存在的性别偏见。为了测试我们的NLP偏见检测方法的性能,我们回归我们的偏见的结果,在判例法对美国人口普查数据的妇女参与劳动力在过去的100年。
2021-06-29 cs.CL
Responsible AI in NLP: GUS-Net Span-Level Bias Detection Dataset and Benchmark for Generalizations, Unfairness, and Stereotypes
针对句子级偏见检测掩盖具体词汇和类型的问题,提出GUS-Net框架,包含3,739个片段、超69,000词元级标注的GUS数据集和多标签词元级检测器,采用多智能体流水线辅助人工标注,基准测试表明编码器模型在细粒度片段识别上优于解码器LLM,支持可解释的偏见审计与缓解。
2025-09-15 cs.AI cs.CL
NLPositionality: Characterizing Design Biases of Datasets and Models
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所)
本文提出NLPositionality框架,通过大规模跨人群标注量化数据集标签与模型预测的立场性,揭示其偏向西方、白人、高学历和年轻群体,并推动更包容的NLP设计。
2023-06-02 cs.CL cs.CY cs.HC