Argument from Old Man's View: Assessing Social Bias in Argumentation
Paderborn University（帕德博恩大学）
语言中的社会偏见-对性别，种族，年龄和其他社会群体-对许多NLP应用程序造成了道德影响的问题。最近的研究表明，在相应数据上训练的机器学习模型不仅可以采用，甚至可以放大偏差。然而，到目前为止，很少有人注意到在计算论证的偏见。本文研究了大型英语辩论网站中存在的社会偏见。特别是，我们训练词嵌入模型的门户特定的语料库和系统地评估他们的偏见使用WEAT，现有的度量标准来衡量偏见词嵌入。在一个词的共现分析，我们然后调查偏见的原因。结果表明，所有测试的辩论语料库包含不平衡和偏见的数据，大多有利于男性与欧美人的名字。我们的经验见解有助于理解偏见的争论性数据源。
2020-11-24 cs.CL cs.CY
White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出LABE基准评估LLM在文本生成中的语言能动性社会偏见，并发现其性别与交叉偏见严重且提示缓解不稳定，进而提出MSR策略通过能动性分类器选择性改写文本以更有效可靠地缓解偏见。
2025-05-30 cs.AI cs.CL cs.CY
SocialStigmaQA: A Benchmark to Uncover Stigma Amplification in Generative Language Models
IBM Research（IBM研究院）
该论文提出SocialStigmaQA基准，含约10K提示，测试生成式语言模型的社会偏见放大，发现偏见输出占45%-59%，并揭示模板设计影响偏见倾向及思维链中的问题模式。
2023-12-27 cs.AI cs.CL cs.CY
Social Bias Benchmark for Generation: A Comparison of Generation and QA-Based Evaluations
KAIST（韩国科学技术院）
针对现有偏见评估方法难以衡量大语言模型长文本生成偏见的问题，研究提出适配BBQ的生成式偏见基准BBG，通过故事续写评估偏见，构建英韩双语版本并测试10个大模型，发现其与选择题式BBQ评估结果不一致。
2025-06-12 cs.AI cs.CL
Mind vs. Mouth: On Measuring Re-judge Inconsistency of Social Bias in Large Language Models
Tianjin University（天津大学）；China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司）
该研究聚焦大语言模型的外显与内隐社会偏见，提出两阶段方法发现“重判不一致性”现象，经ChatGPT和GPT-4实验验证其稳定性，为借助心理学理论探究大模型认知机制提供新视角。
2023-08-24 cs.AI cs.CL
The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Allen Institute for AI（艾伦人工智能研究所）
本研究通过对比社会偏见与非社会偏见，模拟数据集构建中的无害修改，发现浅层修改显著影响Winogender和BiasNLI基准上的偏见分数，呼吁更稳健的社会偏见度量。
2023-06-16 cs.CL cs.CY cs.LG
Social Biases in Automatic Evaluation Metrics for NLG
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
许多研究表明，自然语言处理中的词嵌入、语言模型和特定下游任务的模型容易产生社会偏见，尤其是性别偏见。最近这些技术已逐渐应用于文本生成的自动评估指标。本文提出了一种基于词嵌入关联测试（WEAT）和句子嵌入关联测试（SEAT）的评价方法来量化评价指标中的社会偏见，并发现社会偏见也广泛存在于一些基于模型的自动评价指标中。此外，我们构建了性别交换的元评估数据集，以探讨性别偏见在图像标题和文本摘要任务中的潜在影响。研究结果表明，在性别中立的情况下，基于模型的评价指标可能偏向于男性假设，并且在性别交换后，评价指标与人类判断的相关性会发生显著变化。
2022-10-17 cs.AI cs.CL
On Measuring Social Biases in Sentence Encoders
Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
词嵌入关联测试表明，GloVe和word2vec词嵌入表现出基于性别、种族和其他社会结构的类似人类的内隐偏见（Caliskan等人，2017年）的报告。与此同时，学习可重用文本表示的研究已经开始探索高级文本，一些句子编码器看到了热情的采用。因此，我们扩展了词嵌入关联测试来测量句子编码器中的偏差。然后，我们测试了几个句子编码器，包括最先进的方法，如ELMo和BERT，在以前的工作中研究的社会偏见和两个重要的偏见，很难或不可能在单词水平上测试。我们观察到混合的结果，包括可疑的敏感性模式，这表明测试的假设可能并不普遍。最后，我们提出了未来工作的方向，衡量句子编码器的偏见。
2019-03-25 cs.CL cs.CY
Sense Embeddings are also Biased--Evaluating Social Biases in Static and Contextualised Sense Embeddings
University of Liverpool（利物浦大学）；Tokyo Institute of Technology（东京工业大学）；Amazon（亚马逊）
意义嵌入学习方法为歧义词的不同意义学习不同的嵌入。一个歧义词的一个意义可能是社会偏见，而它的其他意义保持公正。与许多先前评估预训练词嵌入中的社会偏见的工作相比，意义嵌入中的偏见相对研究不足。我们创建了一个基准数据集，用于评估意义嵌入中的社会偏见，并提出了新的意义特定的偏见评估措施。我们进行了广泛的评估多个静态和语境化的意义嵌入的各种类型的社会偏见，使用所提出的措施。我们的实验结果表明，即使在没有发现偏见的情况下，在词汇层面上，仍然存在令人担忧的社会偏见的水平，这往往是被忽视的词汇层面的偏见评估措施。
2022-03-16 cs.CL
Survey of Social Bias in Vision-Language Models
The Hong Kong University of Science and Technology（香港科技大学）；Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）
本文综述 NLP、CV 与视觉-语言预训练模型中的社会偏见研究，比较其异同并为单模态与多模态场景下的偏见识别、缓解及公平 AI 开发提供指导。
2023-09-24 cs.AI cs.CL
Investigating Thinking Behaviours of Reasoning-Based Language Models for Social Bias Mitigation
本文研究了基于推理的语言模型在缓解社会偏见中的思维机制，发现两种导致偏见累积的失败模式，并提出轻量级提示方法减少偏见同时保持准确性。
2026-05-12 cs.AI cs.CL
Generative Language Models Exhibit Social Identity Biases
University of Cambridge（剑桥大学）；New York University（纽约大学）
本文评估56个大型语言模型，发现其普遍存在与人类相似的内群体偏好和外群体敌意，并指出数据整理与指令微调可缓解该偏见。
2024-06-17 cs.CL cs.CY
Generative AI and Digital Ecosystem Resilience: A Proactive Lifecycle-Based Survey
Google LLC（谷歌有限公司）
本文采用基于生命周期的C5交互模型，综合机器学习与社会科学方法，系统综述了针对生成式AI驱动的对抗性合成内容的主动检测技术，包括协调不真实行为分析、流行病学建模和霍克斯过程等，旨在构建更具韧性的信息生态系统。
2026-05-28 cs.AI cs.CL cs.CR
Evaluating Short-Term Temporal Fluctuations of Social Biases in Social Media Data and Masked Language Models
Cardiff University（卡迪夫大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊公司）
针对社交媒体数据训练的掩码语言模型的社会偏见是否随时间放大的问题，研究者基于时间序列语料快照预训练模型开展实证分析，发现多数社会偏见随时间相对稳定，且训练语料中存在持续的群体偏好差异。
2024-06-19 cs.CL
Intersectional Bias in Japanese Large Language Models from a Contextualized Perspective
The University of Tokyo（东京大学）；Riken（理化学研究所）；Rikkyo University（立命馆大学）；Softbank corp.（软银公司）
本文构建日语问答基准 inter-JBBQ，用于评估 LLM 的交叉社会偏见，并通过 GPT-4o 与 Swallow 揭示相同属性组合下偏见输出仍受语境影响。
2025-07-27 cs.AI cs.CL
Mitigating Social Desirability Bias in Random Silicon Sampling
Eindhoven University of Technology（埃因霍温理工大学）
本研究通过提示工程方法减轻LLM中的社会可取性偏差，提升硅样本与人类数据的一致性。
2026-10-06 cs.CL cs.CY
Social Bias Frames: Reasoning about Social and Power Implications of Language
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Stanford University（斯坦福大学）
警告：本文包含可能令人反感或不安的内容。语言有能力强化刻板印象，并将社会偏见投射到他人身上。挑战的核心在于，人们对他人的判断很少是由明示的内容决定的，而是由隐含的含义决定的。例如，如果有一句话是“我们不应该降低标准来雇佣更多的女性”，大多数听众会推断出说话者的隐含意思--“女性（候选人）不太合格。”“迄今为止，大多数语义形式主义都没有捕捉到人们在语言中表达社会偏见和权力差异的语用含义。我们介绍社会偏见框架，一个新的概念形式主义，旨在模拟实用框架中，人们对他人的社会偏见和刻板印象。此外，我们引入了社会偏见推理语料库，以支持大规模的建模和评估与150 k结构化注释的社交媒体帖子，涵盖超过34 k的影响约一千人口群体。然后，我们建立基线方法，学习从非结构化文本中恢复社会偏见框架。我们发现，虽然最先进的神经模型在对给定陈述是否投射不必要的社会偏见（80%F1）进行高层次分类时是有效的，但它们在社会偏见框架方面无法有效地给出更详细的解释。我们的研究激励未来的工作，结合结构化语用推理与常识推理的社会影响。
2020-04-23 cs.CL
JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language Models
The University of Tokyo（东京大学）；Riken（理化学研究所）；Hokkaido University（北海道大学）
本研究构建了日语偏见基准数据集JBBQ以分析日语大语言模型的社会偏见，发现大参数量开源日语LLM准确率提升但偏见得分上升，偏见警示提示与思维链提示可降低偏见影响，日语上下文证据提取仍有改进空间。
2025-06-13 cs.CL
Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases
NVIDIA（英伟达）；California Institute of Technology（加州理工学院）
检测文本中的社会偏见是具有挑战性的，因为细微差别，主观性，以及难以获得高质量的大规模标记数据集，特别是考虑到社会偏见和社会的演变性质。为了解决这些挑战，我们提出了一种基于Few-Shot的方法来提示预训练的语言模型（LM）。我们从一个小的支持库中选择了一些类平衡的样本，这些样本最接近嵌入空间中要标记的查询。然后，我们为LM提供指令，该指令由标记样本的子集、要分类的查询文本、偏差的定义组成，并提示LM做出决定。我们证明了在Few-Shot上下文中使用的大型LM可以检测不同类型的细粒度偏差，其精度与微调模型相似，有时甚至更高。我们观察到，与较小的模型相比，最大的530B参数模型在检测社会偏见方面明显更有效（与其他模型相比，AUC指标至少提高了13%）。当标记的储存库减少到$100$样品时，它也保持高AUC（下降小于2%）。因此，大型的预训练语言模型使得构建新的偏见检测器变得更容易和更快。
2022-04-15 cs.AI cs.CL
Breaking Bias, Building Bridges: Evaluation and Mitigation of Social Biases in LLMs via Contact Hypothesis
George Mason University（乔治梅森大学）；University of Washington（华盛顿大学）
本文基于社会心理学接触假说构建108,000条提示，评估三款LLM在13个维度的社会偏见，并提出SCD指令微调方法，使LLaMA 2偏见最高降低40%。
2024-07-02 cs.CL
Social Biases in NLP Models as Barriers for Persons with Disabilities
Google（谷歌）
建立公平和包容的NLP技术需要考虑社会态度是否以及如何在ML模型中表示。特别是，模型中编码的表示往往会无意中使训练数据中不受欢迎的社会偏见永久化。在本文中，我们提出的证据，这种不良的偏见提到残疾在两个不同的英语语言模型：毒性预测和情感分析。接下来，我们证明了神经嵌入是大多数NLP管道中关键的第一步，同样包含对残疾提及的不良偏见。最后，我们强调了主题偏见的话语残疾，这可能有助于观察到的模型偏见;例如，枪支暴力，无家可归，吸毒成瘾是过度的文本中讨论精神疾病。
2020-05-02 cs.AI cs.CL cs.LG
Can Instruction Fine-Tuned Language Models Identify Social Bias through Prompting?
Vector Institute for AI（向量人工智能研究院）；McGill University（麦吉尔大学）
该研究评估指令微调语言模型通过零样本提示识别社会偏见的能力，发现Alpaca 7B表现最优（准确率56.7%），扩大模型规模与数据多样性可提升性能，是其偏见缓解框架的首个组成部分。
2023-07-19 cs.AI cs.CL cs.CY
Leveraging Prototypical Representations for Mitigating Social Bias without Demographic Information
Technion – Israel Institute of Technology（以色列理工学院）
本文提出 DAFair，通过预定义原型人口统计文本和微调正则化项，在不使用显式人口统计标签的情况下缓解语言模型表示中的社会偏见，并在多任务、多模型实验中优于既有无标注及有限标注去偏见方法。
2024-04-05 cs.CL cs.CY cs.LG
BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation
Fudan University（复旦大学）
自动评价指标是生成式系统开发的关键。近年来，基于预训练的语言模型（PLM）的指标，如BERTScore，已普遍采用在各种生成任务。然而，它已被证明，PLM编码的一系列刻板的社会偏见，导致关注的公平性PLM作为指标。为此，这项工作提出了第一个系统的研究社会偏见在基于PLM的指标。我们证明，流行的基于PLM的指标表现出显着更高的社会偏见比传统的指标6个敏感属性，即种族，性别，宗教，外貌，年龄和社会经济地位。深入分析表明，选择度量的范例（匹配、回归或生成）比选择PLM对公平性的影响更大。此外，我们开发了注入PLM层的去偏置适配器，减轻了基于PLM的指标中的偏差，同时保留了评估文本生成的高性能。
2022-10-14 cs.AI cs.CL
Inference-Time Reasoning Selectively Reduces Implicit Social Bias in Large Language Models
Cognitive Science Program Department of Psychological & Brain Sciences Indiana University Bloomington（心理与脑科学系认知科学计划印第安纳大学布卢明顿）
该研究通过推理增强减少大语言模型中的隐性社会偏见，揭示推理对公平性评估的影响。
2026-02-04 cs.CL cs.CY
Uncovering and Quantifying Social Biases in Code Generation
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research（微软研究院）；Peking University（北京大学）；IBM Research（IBM研究院）
本研究提出构建代码提示的新范式以揭示预训练代码生成模型中的社会偏见，并开发了数据集和三个指标量化偏见严重程度，实验证实Codex等模型存在严重偏见，为选择低偏见模型提供了见解。
2023-05-24 cs.CL
Detecting Unintended Social Bias in Toxic Language Datasets
Indian Institute of Technology Bombay（印度理工学院孟买分校）
随着网络仇恨言论的兴起，仇恨言论、攻击性文本的自动检测作为一项自然语言处理任务越来越受欢迎。然而，很少有研究从这些有毒的语言数据集中检测出无意的社会偏见。本文介绍了一个新的数据集ToxicBias策展从现有的Kaggle比赛的数据集命名为“拼图意外偏见毒性分类”。我们的目标是检测社会偏见，其类别和目标群体。该数据集包含注释了五个不同偏倚类别的实例，即，性别、种族/民族、宗教、政治和LGBTQ。我们使用我们策划的数据集训练基于transformer的模型，并报告偏差识别、目标生成和偏差影响的基线性能。模型偏差及其缓解也进行了详细讨论。我们的研究激励了从有毒语言数据集中系统地提取社会偏见数据。在这项工作中用于实验的所有代码和数据集都是公开的
2022-10-21 cs.CL
Debiasing isn't enough! -- On the Effectiveness of Debiasing MLMs and their Social Biases in Downstream Tasks
Tokyo Institute of Technology（东京工业大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
本文研究了掩蔽语言模型的任务不可知的内在社会偏见评价指标和任务特定的外在社会偏见评价指标之间的关系，发现这两类评价指标之间只存在弱相关性。此外，我们发现，MLMs使用不同的方法去偏仍然重新学习社会偏见在微调下游任务。我们确定了两个训练实例中的社会偏见以及它们分配的标签，作为内在和外在偏见评估测量之间存在差异的原因。总的来说，我们的研究结果突出了现有的传销偏见评估措施的局限性，并提出了使用这些措施在下游应用程序中部署传销的关注。
2022-10-06 cs.CL
SODAPOP: Open-Ended Discovery of Social Biases in Social Commonsense Reasoning Models
University of Maryland, College Park（马里兰大学帕克分校）
在NLP模型中检测社会偏见的诊断测试的一个常见局限性是，它们只能检测测试设计者预先指定的刻板印象关联。由于枚举所有可能存在问题的关联是不可行的，因此这些测试可能无法检测到模型中存在但未被设计者预先指定的偏差。针对这一局限性，我们提出了SODAPOP（从关于人的答案中发现社会偏见）的社会常识问答。我们的管道从Social IQa数据集生成修改的实例（Sap et al.，2019）通过（1）替换与不同人口统计组相关联的名称，以及（2）从掩蔽的语言模型生成许多干扰项答案。通过使用社会常识模型来对生成的干扰因素进行评分，我们能够揭示该模型在人口统计学群体和一组开放词之间的刻板印象。我们还测试SODAPOP去偏置模型，并显示多个国家的最先进的去偏置算法的局限性。
2023-02-15 cs.CL
Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion
King Saud University（沙特国王大学）；College of Computer and Information Sciences（计算机与信息科学学院）
该研究聚焦隐性语言对大语言模型偏见放大的影响，通过下游任务与压力测试发现模型对显性对立意见存在偏见，且未对齐模型回复欠谨慎，提出需加入不确定性标记提升模型在社会微妙话题上的可靠性。
2024-08-16 cs.CL cs.CY
CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models
New York University（纽约大学）
预训练的语言模型，特别是掩蔽的语言模型（MLM）在许多NLP任务中取得了成功。然而，有充分的证据表明，他们使用的文化偏见，无疑是存在于语料库中，他们接受培训，含蓄地造成伤害与偏见的陈述。为了衡量语言模型对美国受保护人口群体的某些形式的社会偏见，我们引入了众包刻板印象对基准（CrowS-Pairs）。CrowS-Pairs有1508个例子，涵盖了九种类型的偏见，如种族，宗教和年龄。在CrowS-Pairs中，模型由两个句子表示：一个是更多的刻板印象，另一个是更少的刻板印象。这些数据侧重于对历史上处于不利地位的群体的陈规定型观念，并将其与弱势群体进行对比。我们发现，我们评估的所有三种广泛使用的多层膜都非常青睐表达CrowS-Pairs中每个类别刻板印象的句子。随着构建偏差较小的模型的工作取得进展，该数据集可以用作评估进展的基准。
2020-09-30 cs.AI cs.CL
Evaluating Social Bias in RAG Systems: When External Context Helps and Reasoning Hurts
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本研究评估RAG系统中的社会偏见，发现外部上下文可减少偏见，但链式思维提示反而增加偏见，凸显了需要偏见意识推理框架的重要性。
2026-02-10 cs.AI cs.CL
Social Debiasing for Fair Multi-modal LLMs
National University of Singapore（新加坡国立大学）；University of Warwick（华威大学）；Ant Group（蚂蚁集团）；Shandong University（山东大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对多模态大语言模型（MLLMs）的社会偏见问题，本文构建含18种平衡社会概念的综合反事实数据集（CMSC），提出结合偏见感知采样与损失重缩放的反刻板印象去偏（CSD）策略，在不降低通用性能的前提下有效减少偏见。
2025-08-20 cs.AI cs.CL
Social Bias Evaluation for Large Language Models Requires Prompt Variations
Tokyo Institute of Technology（东京工业大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；National Institute of Informatics（情报信息学研究所）
本文研究大语言模型社会偏见评估对提示变体的敏感性，发现提示变化会导致模型排名波动并揭示性能与偏见之间的权衡，建议使用多样化提示进行评估。
2024-07-03 cs.CL
Does Reasoning Introduce Bias? A Study of Social Bias Evaluation and Mitigation in LLM Reasoning
Santa Clara University（圣克拉拉大学）；Rochester Institute of Technology（罗切斯特理工学院）；Docomo Innovations（Docomo创新）
本文首次系统评估LLM推理链中的社会偏见，揭示有偏推理与错误预测的关联，并提出轻量级缓解方法ADBP，在多数情况下优于基线并提升模型准确性。
2025-09-20 cs.AI cs.CL
Measuring Social Bias in Knowledge Graph Embeddings
Amazon Alexa（亚马逊Alexa）
最近的研究表明，词嵌入编码了社会偏见，对下游任务产生了有害影响。然而，到目前为止，在图嵌入领域还没有类似的工作。我们提出了第一个研究知识图谱嵌入的社会偏见，并提出了一个新的度量适合测量这种偏见。我们在Wikidata和Freebase上进行了实验，结果表明，与词嵌入一样，与职业相关的有害社会偏见被编码在性别、宗教、种族和国籍的嵌入中。例如，图嵌入编码的信息，男性更有可能是银行家，女性更有可能是家庭主妇。随着图嵌入越来越多地被使用，我们建议理解这种偏见的存在并采取措施减轻其影响是很重要的。
2020-05-07 cs.CL
Trustworthy Social Bias Measurement
Stanford University（斯坦福大学）
本研究基于测量建模理论，明确社会偏见定义，提出通用偏见测量框架DivDist，实例化5种测量方法，并通过8项严格测试验证其可信度，克服了先前方法的缺陷。
2022-12-20 cs.CL
Measuring Social Biases in Grounded Vision and Language Embeddings
Massachusetts Institute of Technology（麻省理工学院）
本研究将社会偏见测量从语言嵌入推广到具身视觉与语言嵌入，提出Grounded-WEAT、Grounded-SEAT等推广指标，构建了含10228张图像的首个具身偏见数据集，发现具身嵌入偏见程度不低于非具身嵌入，强调测量与缓解偏见对构建公平社会的重要性。
2023-08-21 cs.AI cs.CL
Identifying High-Confidence Social Biases in LLMs for Trustworthy Conversational Tutoring Agents
University of Hawaii at Manoa（夏威夷大学马诺亚分校）
本研究通过生成对话数据集，评估大型语言模型在辅导场景中检测社会偏见的能力，发现模型在对话上下文中比基准测试更难检测偏见，且对错误判断过度自信，影响推理和反馈。
2026-06-01 cs.AI cs.CL
Social Bias in Chinese Large Language Models under Social Media Expressions
Nanjing Normal University（南京师范大学）
该研究针对中文大语言模型，构建含73组配对样本的探测集，评估社交媒体表达下的社会偏见，发现表达形式影响偏见评估，反讽低分不代表偏见缓解，提供了中文社交媒体场景的偏见测量方法。
2026-10-14 cs.CL
No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media
Leibniz University Hannover（汉诺威莱布尼茨大学）；Universität Hamburg（汉堡大学）
新闻文章塑造并反映了整个政治领域的公众舆论。因此，分析它们的社会偏见可以提供有价值的见解，例如社会和媒体中普遍存在的刻板印象，这些刻板印象通常被在相应数据上训练的NLP模型所采用。最近的工作依赖于词嵌入偏差的措施，如WEAT。然而，嵌入的几个表示问题可能会损害测量的准确性，包括低资源设置和令牌频率差异。在这项工作中，我们研究了什么样的嵌入算法最适合准确地测量已知存在于美国在线新闻文章中的社会偏见类型。为了涵盖美国政治偏见的整个范围，我们收集了50万篇文章，并回顾了心理学文献中关于预期社会偏见的内容。然后，我们使用WEAT以及嵌入算法来量化社会偏见，这些算法可以解释上述问题。我们比较了用新闻文章的算法训练的模型如何代表预期的社会偏见。我们的研究结果表明，量化偏见的标准方法与心理学知识并不一致。虽然所提出的算法减少~差距，他们仍然不完全匹配的文献。
2022-11-07 cs.CL
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University（耶鲁大学）
机器学习中的社会偏见已经引起了人们的极大关注，工作范围从在众多应用程序中展示偏见，为不同的上下文策划公平的定义，到开发算法来减轻偏见。在自然语言处理中，性别偏见已经被证明存在于上下文无关的词嵌入中。最近，上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文，也可以用于编码整个句子。在本文中，我们分析了在何种程度上的最先进的模型上下文单词表示，如BERT和GPT-2，编码偏见与性别，种族和交叉身份。为此，我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应，但避免了混淆效应，低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据，发现不同的证据嵌入关联测试中的偏见，特别是显示，种族偏见是强烈编码的上下文单词模型，并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外，在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见，这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
Identifying and Mitigating Social Bias Knowledge in Language Models
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Angelalign Technology Inc.（时代天使科技有限公司）；A*STAR Centre for Frontier AI Research（新加坡科研局前沿人工智能研究中心）；ZJU-Angelalign R&D Center for Intelligence Healthcare（浙江大学时代天使智能医疗研发中心）
本文提出细粒度去偏方法FAST，通过识别并校准存储社会偏见的关键层，在缓解偏见的同时保持知识保留与预测能力，并建立基准BiaScope验证其有效性。
2025-02-27 cs.AI cs.CL
An Empirical Survey of Model Merging Algorithms for Social Bias Mitigation
Mitsubishi Electric Corporation（三菱电机公司）；Otaru University of Commerce（大岛商业大学）
本文实证分析了七种模型合并算法在缓解社会偏见中的效果，发现SLERP在平衡偏见减少与性能方面表现最佳。
2025-12-02 cs.AI cs.CL
Understanding the Effect of Model Compression on Social Bias in Large Language Models
Carnegie Mellon University（卡内基梅隆大学）；Universidade NOVA de Lisboa（新里斯本大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
该研究针对模型压缩与大语言模型社会偏见的相互作用开展受控实验，发现量化有正则化效应，在约20%原预训练时长时达到偏见与性能的最佳权衡，填补了两类方法交互研究的空白。
2023-12-12 cs.CL
Evaluating the Effect of Retrieval Augmentation on Social Biases
University of Liverpool（利兹大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
本文研究了检索增强生成在三种语言中对社会偏见的影响，发现文档集合中的偏见在生成响应中被放大，强调了RAG在实际应用中需谨慎评估社会偏见。
2026-01-23 cs.CL
DyMT-ESB: Dynamic Multi-Turn Evaluation of Social Bias in User-LLM Interactions
Institute of Science Tokyo（东京科学大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Third Intelligence；The University of Liverpool（利物浦大学）
本文提出DyMT-ESB协议，通过响应条件生成后续查询和可变轮数，评估LLM多轮交互中的社会偏见动态，发现后期出现、非单调及重新出现的偏见模式，强调轮级动态分析的重要性。
2026-09-17 cs.CL
Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Technologies Ltd.（华为技术有限公司）
在大规模语料库上训练的神经模型极大地促进了开放域对话系统的研究，然而，这样的语料库经常引入各种安全问题（例如，攻击性语言、偏见和有害行为），这些都严重阻碍了对话系统在实践中的部署。在所有这些不安全的问题中，解决社会偏见更为复杂，因为它对边缘化人口的负面影响通常是含蓄地表达出来的，因此需要进行规范性推理和严格的分析。在本文中，我们专注于我们的调查社会偏见检测对话安全问题。我们首先提出了一个新的拨号偏见框架，用于分析会话中的社会偏见语用，它考虑更全面的偏见相关的分析，而不是简单的二分法注释。基于所提出的框架，我们进一步介绍了CDail-Bias数据集，据我们所知，这是第一个注释良好的中文社会偏见对话数据集。此外，我们建立了几个对话偏见检测基准在不同的标签粒度和输入类型（话语级和上下文级）。我们表明，提出的深入分析，连同这些基准在我们的拨号偏置框架是必要的和必不可少的偏见检测任务，并有利于在实践中建立安全的对话系统。
2022-10-28 cs.CL
Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality
New York University（纽约大学）
本文提出基于预测质量的代理函数，在迭代掩码实验中测量掩码语言模型的社会偏见，发现所提方法比现有基准评估更准确、更敏感，尤其能更好估计重新训练后引入的偏见。
2025-02-05 cs.CL
VIGNETTE: Socially Grounded Bias Evaluation for Vision-Language Models
George Mason University（乔治·马歇尔大学）；University of Washington（华盛顿大学）
本文提出VIGNETTE基准，通过多方向问题回答框架评估视觉语言模型的偏见，揭示模型在身份识别中的刻板印象和歧视性模式。
2026-04-28 cs.CL
BiasAlert: A Plug-and-play Tool for Social Bias Detection in LLMs
Zhejiang University（浙江大学）
BiasAlert是一种即插即用工具，结合外部知识与推理能力，在开放文本生成中可靠检测LLM社会偏见，性能优于GPT4-as-A-Judge，并支持偏见评估与缓解。
2024-07-20 cs.CL
Do LLMs Align Human Values Regarding Social Biases? Judging and Explaining Social Biases with LLMs
Kyoto University（京都大学）
本研究探讨LLM在社交偏见上与人类价值观的对齐，通过对12个模型和4个数据集的分析发现，大模型参数规模不必然降低错位率，同家族模型判断一致性更高，且微调后的小模型生成的解释更具可读性但同意率较低。
2025-09-17 cs.CL
Towards Socially Responsible AI: Cognitive Bias-Aware Multi-Objective Learning
IBM Research Dublin（IBM 研究院都柏林分院）
人类社会有着长期的认知偏见，导致社会偏见和大规模不公正。大量历史数据中普遍存在的认知偏见可能会构成威胁，表现为不道德和看似不人道的预测，作为在这些数据上训练的人工智能系统的输出。为了缓解这个问题，我们提出了一个偏见意识的多目标学习框架，给定一组身份属性（例如性别，种族等）。以及预测输出的可能类别的敏感类别的子集，学习减少预测它们的某些组合的频率，例如预测诸如“大多数黑人使用辱骂性语言”或“恐惧是女性的美德”之类的刻板印象。我们在具有平衡类先验的情感预测任务上进行的实验表明，一组基线偏差不可知模型表现出与性别有关的认知偏差，例如女性倾向于害怕，而男性更倾向于愤怒。相比之下，我们提出的偏见意识的多目标学习方法，以减少这种偏见的预测情绪。
2020-07-28 cs.CL cs.CY cs.LG
An Analysis of Social Biases Present in BERT Variants Across Multiple Languages
Mila（米拉研究所）；McGill University（麦吉尔大学）
虽然大型预训练语言模型在许多NLP任务中取得了巨大的成功，但已经表明它们反映了来自预训练语料库的人类偏见。当这些模型应用于现实世界时，这种偏差可能会导致不良结果。在本文中，我们调查的偏见存在于单语BERT模型在不同的语言（英语，希腊语和波斯语）。虽然最近的研究主要集中在与性别有关的偏见，我们分析宗教和种族偏见，以及提出了一个基于模板的方法来衡量任何类型的偏见，基于句子伪似然，可以处理形态复杂的语言与基于性别的形容词变格。我们通过这种方法分析了每个单语模型，并可视化了不同偏见维度的文化相似性和差异。最终，我们得出结论，目前的方法探测偏见是高度依赖于语言，需要文化的见解，关于偏见的独特方式，在每种语言和文化（例如，通过编码语言，提喻，和其他类似的语言概念）。我们还假设，非英语BERT模型中较高的社会偏见与用户生成的内容相关。
2022-11-25 cs.CL cs.CY cs.LG
