The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations
University of Southern California Information Sciences Institute（南加州大学信息科学研究所）；Aptima, Inc.（Aptima公司）
本研究提出了一种通过职位推荐分析和比较大型语言模型中人口统计学偏差的方法，揭示了ChatGPT和LLaMA在性别和国籍等方面的明显偏差，强调了测量下游应用中LLMs偏差的重要性。
2024-01-09 cs.AI cs.CL cs.CY
Assessing GPT's Bias Towards Stigmatized Social Groups: An Intersectional Case Study on Nationality Prejudice and Psychophobia
University of Washington（华盛顿大学）
本研究通过结构化提示评估GPT-3.5/4/4o对美国和朝鲜国籍及心理障碍者的偏见，发现朝鲜人面临更大负面偏见，凸显LLM需增强对交叉性身份的理解。
2025-05-15 cs.CL
AdvSumm: Adversarial Training for Bias Mitigation in Text Summarization
Columbia University（哥伦比亚大学）
本文提出领域无关的对抗训练框架AdvSumm，通过在序列到序列模型嵌入层施加梯度引导扰动来缓解文本摘要中的姓名-国籍偏差和政治框架偏差，并在不损害摘要质量的前提下优于标准transformers和回译等数据增强方法。
2025-09-20 cs.CL
Obscured but Not Erased: Evaluating Nationality Bias in LLMs via Name-Based Bias Benchmarks
NatWest AI Research（国民西敏寺银行人工智能研究院）；University College London（伦敦大学学院）
本文提出源自BBQ的基于姓名的国籍偏见基准，评估多家主流LLM，发现小模型在模糊语境中偏见更强、准确率更低且更易保留错误。
2025-07-22 cs.CL
When Bias Pretends to Be Truth: How Spurious Correlations Undermine Hallucination Detection in LLMs
Institute for Interdisciplinary Information Sciences（交叉信息学院）
本文揭示了由训练数据中虚假相关性导致的幻觉问题，指出现有检测方法在面对此类幻觉时失效，并强调需新方法应对由此引发的幻觉。
2026-09-14 cs.AI cs.CL cs.LG
Investigating Intersectional Bias in Large Language Models using Confidence Disparities in Coreference Resolution
Apple（苹果公司）
本研究扩展单轴公平性评估，通过构建WinoIdentity基准和提出共指置信度差异指标，评估LLMs在交叉身份下的偏见，发现模型在反刻板印象环境中对双重劣势身份置信度差异高达40%，且表明其高性能源于记忆而非推理。
2025-08-09 cs.AI cs.CL
CatRAG: Functor-Guided Structural Debiasing with Retrieval Augmentation for Fair LLMs
Florida International University（佛罗里达国际大学）；University of South Florida（佛罗里达州立大学）
CatRAG 通过整合 functor 与检索增强生成，实现结构去偏，提升公平性。在三个开源 LLM 上，其准确率提升达 40%，偏见分数降至接近零。
2026-03-23 cs.AI cs.CL
FAIRGAMER: Evaluating Social Biases in LLM-Based Video Game NPCs
School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Johns Hopkins University（约翰霍普金斯大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
FAIRGAMER通过评估三种交互模式中的社会偏见，揭示了基于LLM的视频游戏NPC在决策上的偏见问题，并指出更大模型可能加剧这些偏见。
2026-01-21 cs.AI
Order-Planning Neural Text Generation From Structured Data
University of Waterloo（滑铁卢大学）
从结构化数据生成文本（例如，表）对于诸如问答和对话系统的各种自然语言处理任务是重要的。在最近的研究中，研究人员使用神经语言模型和编码器-解码器框架来生成表到文本。然而，这些基于神经网络的方法在文本生成期间不对内容的顺序进行建模。当一个人根据给定的表格写摘要时，他或她可能会在措辞之前考虑内容顺序。例如，在传记中，一个人的国籍通常在传记中的职业之前提到。在本文中，我们提出了一个订单规划文本生成模型，捕捉不同领域之间的关系，并利用这种关系，使生成的文本更加流畅和光滑。我们在WikiBio数据集上进行了实验，并在BLEU，ROUGE和NIST分数方面实现了比以前方法更高的性能。
2017-09-01 cs.AI cs.CL cs.IR
SynthBio: A Case Study in Human-AI Collaborative Curation of Text Datasets
Google Research（谷歌研究院）；University of Pennsylvania（宾夕法尼亚大学）
NLP研究人员需要更多、更高质量的文本数据集。人工标记的数据集收集起来很昂贵，而通过WikiBio等网络自动检索收集的数据集是嘈杂的，可能包含不希望的偏见。此外，来自网络的数据通常包含在用于预训练模型的数据集中，导致训练集和测试集的无意交叉污染。在这项工作中，我们介绍了一种新的方法，有效的数据集策展：我们使用一个大语言模型提供种子代人类评分，从而改变数据集创作从一个写作任务的编辑任务。我们使用我们的方法来策划SynthBio -维基生物的一个新的评估集-由结构化的属性列表描述虚构的个人，映射到自然语言传记。我们表明，我们的虚构传记数据集比WikiBio噪音更小，在性别和国籍方面也更平衡。
2022-01-12 cs.AI cs.CL cs.LG
Encoding Inequity: Examining Demographic Bias in LLM-Driven Robot Caregiving
Graduate Center, City University of New York（纽约城市大学研究生中心）
本文研究LLM驱动的机器人照护中的人口统计学偏见，发现模型对残障、年龄和LGBTQ+群体存在简化描述、负面情感及刻板印象聚类，强调伦理包容的HRI设计必要性。
2025-02-24 cs.AI cs.CY cs.HC
Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders
Universidad Autónoma de Occidente（西自治大学）
研究Qwen2.5 - 7B - Instruct处理提示时是否表征哥伦比亚相关信息，用自然语言自动编码器转化残差流激活，通过含30个提示的数据集进行研究，将激活可解释性与西班牙语变体偏差评估相联系。
2026-07-27 cs.AI cs.CL
Nationality encoding in language model hidden states: Probing culturally differentiated representations in persona-conditioned academic text
Language Centre, School of Language, Literature, Music and Visual Culture, University of Aberdeen（语言中心，语言文学音乐与视觉文化学院，阿伯丁大学）；School of Natural and Computing Sciences, University of Aberdeen（自然与计算科学学院，阿伯丁大学）；School of Language, Literature, Music and Visual Culture, University of Aberdeen（语言文学音乐与视觉文化学院，阿伯丁大学）
研究测试Gemma-3-4b-it在生成英文学术文本时是否在隐藏状态中编码文化差异的国籍信息，通过分析隐藏状态激活并发现国籍编码在不同层中呈现非单调轨迹。
2026-04-14 cs.CL
Language-Agnostic Bias Detection in Language Models with Bias Probing
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Data Analytics and Computational Social Science, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校数据分析与计算社会科学系）；Marmara University（马尔马拉大学）；Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；Harvard Kennedy School（哈佛大学肯尼迪学院）
提出名为 LABDet 的语言无关偏见探测技术，通过在冻结的预训练语言模型上训练非国籍情感检测分类器来揭示社会偏见，发现六种语言中存在与历史政治背景一致的国籍偏见模式，并验证了其稳健性与预训练数据的相关性。
2023-11-20 cs.CL
Digital Gatekeepers: Exploring Large Language Model's Role in Immigration Decisions
Maastricht University（马斯特里赫特大学）；University of Antwerp（安特卫普大学）
本研究探讨大语言模型在移民决策中的潜力，发现其决策虽与人类策略一致并强调程序公平，但仍存在国籍偏见与对特权群体的偏好，揭示了LLM在自动化移民决策中的潜力与局限。
2025-06-15 cs.AI cs.CL
Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models
University of South Florida（南佛罗里达大学）；Rajshahi University of Engineering and Technology（拉杰沙希工程技术大学）
该研究聚焦LLM中较少被关注的年龄、容貌等维度的隐蔽偏见，构建模板生成的双向句子补全数据集，在4款前沿LLM上测试偏见关联，为通用偏见评估提供可扩展基准。
2024-06-20 cs.CL
A Study of Nationality Bias in Names and Perplexity using Off-the-Shelf Affect-related Tweet Classifiers
Universidad de Chile（智利大学）；CENIA
本文通过反事实扰动方法量化推文分类器中的国籍偏见，发现国家名称可显著影响情感与仇恨言论预测，并揭示该偏见与预训练语言模型训练数据相关。
2024-11-23 cs.CL
ABLEIST: Intersectional Disability Bias in LLM-Generated Hiring Scenarios
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
本研究审计了六个LLM在2820个招聘场景中对残疾、性别、种姓等交叉身份的偏见，提出ABLEIST评估指标，发现模型对残疾候选人存在显著伤害且现有安全工具未能检测，强调需进行交叉性安全评估。
2026-10-12 cs.AI cs.CL cs.CY
VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model
Key Laboratory of AI Safety of CAS, Institute of Computing Technology (ICT)（中国科学院人工智能安全重点实验室，计算技术研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Peking University（北京大学）
本文提出VLBiasBench，通过覆盖九种社会偏见类别和两个交叉偏见类别的大规模数据集，评估大视觉-语言模型的偏见问题，基于15种开源和两种闭源模型进行广泛评估，揭示模型中的偏见特征。
2026-04-05 cs.AI cs.CV
Automatically Neutralizing Subjective Bias in Text
Stanford University（斯坦福大学）；Kyoto University（京都大学）；Georgia Institute of Technology（佐治亚理工学院）
像新闻、百科全书和一些社交媒体这样的文本都力求客观。然而，以不适当的主观性为形式的偏见--通过框架、预设真理和怀疑来引入态度--仍然无处不在。这种偏见侵蚀了我们的集体信任，助长了社会冲突。为了解决这个问题，我们引入了一个新的测试平台自然语言生成：自动将不适当的主观文本带入一个中立的观点（“中和”有偏见的文本）。我们还提供了第一个有偏见的语言平行语料库。该语料库包含180，000个句子对，来源于维基百科的编辑，从有偏见的句子中删除了各种框架，预设和态度。最后，我们为任务提出了两个强编码器-解码器基线。一个简单而不透明的CONCURRENT系统使用一个BERT编码器来识别主观词，作为生成过程的一部分。一个可解释和可控制的模块化算法将这些步骤分开，使用（1）基于BERT的分类器来识别有问题的单词，以及（2）一个新的连接嵌入，通过它分类器可以编辑编码器的隐藏状态。跨四个领域（百科全书、新闻标题、书籍和政治演讲）的大规模人类评估表明，这些算法是自动识别和减少偏见的第一步。
2019-12-12 cs.AI cs.CL
Language Models Predict Empathy Gaps Between Social In-groups and Out-groups
University of Maryland（马里兰大学）
本研究探讨了LLMs在情绪强度预测任务中是否表现出对外群体的共情差距，发现LLMs对内群体成员赋予的情绪强度更高，该模式在种族、国籍和宗教三类群体中均成立，并以Llama-3.1-8B为对象进行了深入分析。
2025-03-02 cs.AI cs.CL
Nationality and Region Prediction from Names: A Comparative Study of Neural Models and Large Language Models
本研究比较神经模型与大语言模型在国籍预测中的表现，发现LLMs在所有粒度级别均优于神经模型，且在低频国籍上表现下降，错误类型差异显著。
2026-01-19 cs.CL
Developing A Framework to Support Human Evaluation of Bias in Generated Free Response Text
Adobe
本文提出一个以人类洞察为核心的半自动化偏见评估框架，通过操作性定义和超越多项选择的分类方法，解决自由文本回复中LLM偏见评估的部署有效性与成本难题。
2025-05-05 cs.AI cs.CL
BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation
Fudan University（复旦大学）
自动评价指标是生成式系统开发的关键。近年来，基于预训练的语言模型（PLM）的指标，如BERTScore，已普遍采用在各种生成任务。然而，它已被证明，PLM编码的一系列刻板的社会偏见，导致关注的公平性PLM作为指标。为此，这项工作提出了第一个系统的研究社会偏见在基于PLM的指标。我们证明，流行的基于PLM的指标表现出显着更高的社会偏见比传统的指标6个敏感属性，即种族，性别，宗教，外貌，年龄和社会经济地位。深入分析表明，选择度量的范例（匹配、回归或生成）比选择PLM对公平性的影响更大。此外，我们开发了注入PLM层的去偏置适配器，减轻了基于PLM的指标中的偏差，同时保留了评估文本生成的高性能。
2022-10-14 cs.AI cs.CL
Identifying Bias in Machine-generated Text Detection
Pindrop
研究发现机器生成文本检测系统存在性别、种族、ELL状态和经济状况等方面的偏见，部分模型对弱势群体存在误判，且人工标注未发现显著偏见。
2025-12-10 cs.AI cs.CL
From Anger to Joy: How Nationality Personas Shape Emotion Attribution in Large Language Models
University of South Florida（佛罗里达州立大学）；North South University（北南大学）；Bellini College of AI, Cybersecurity and Computing（人工智能、网络安全与计算学院）
本研究探究大型语言模型（LLMs）在被赋予特定国籍角色时是否表现出情感刻板印象，结合霍夫斯泰德跨文化框架的四个维度分析，发现其情感归因存在显著国籍差异且与人类反应错位，揭示了LLM中的简化偏见刻板印象。
2025-11-10 cs.CL
Textual Data Bias Detection and Mitigation -- An Extensible Pipeline with Experimental Evaluation
organization= Fraunhofer Institute for Intelligent Analysis；organization= Trustworthiness Theory, Technology \& Engineering Lab, Huawei Technologies Co., Ltd , country= China；organization= Lamarr Institute for Machine Learning；organization= B-IT Emeritus Research Group AI Foundations, University of Bonn , country= Germany
本文提出了一种可扩展的数据偏见检测与缓解流程，通过四个组件减少文本数据中的表示偏见和刻板印象，并通过实验评估展示其对模型偏见减少的影响。
2025-12-12 cs.AI cs.CL
NBIAS: A Natural Language Processing Framework for Bias Identification in Text
Vector Institute for Artificial Intelligence（向量人工智能研究所）；Mayo Clinic（梅奥诊所）；Environmental Resources Management（环境资源管理公司）；Toronto Metropolitan University（多伦多都会大学）
NBIAS是一个四层架构的自然语言处理框架，利用基于Transformer的标记分类模型识别文本中的偏见词汇，在多个领域数据集上较基线准确率提升1%至8%，促进数据公平使用。
2023-08-29 cs.AI cs.CL
BiasGym: A Simple and Generalizable Framework for Analyzing and Removing Biases through Injection
University of Copenhagen（哥本哈根大学）
BiasGym通过安全注入和分析偏见，提供了一种简单且通用的方法来减少大语言模型中的偏见和刻板印象。
2026-09-02 cs.AI cs.CL cs.LG
BiMa: Towards Biases Mitigation for Text-Video Retrieval via Scene Element Guidance
FPT Software AI Center（FPT软件AI中心）；Aalborg University（奥尔堡大学）；Pioneer Centre for AI（先锋人工智能中心）；University of Liverpool（利物浦大学）；AICV Lab, University of Arkansas（AICV实验室，阿肯色大学）
BiMa框架通过生成场景元素增强视频嵌入并解耦文本特征中的内容与偏差成分，在五个主要文本-视频检索基准上有效缓解视觉-语言偏差，提升检索性能。
2025-07-07 cs.AI cs.CL cs.CV
Exploring Changes in Nation Perception with Nationality-Assigned Personas in LLMs
University of South Florida（南佛罗里达大学）
本研究通过向四个 LLM 分配 193 个国籍人设，探讨了 LLM 对不同国家的评估（认知）变化，发现 LLM 普遍偏爱西欧国家，并揭示了 LLM 在采用国家人设时体现的偏见与刻板印象，强调了确保公平输出的必要性。
2024-10-16 cs.CL cs.LG
Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated
The Harker School（哈克尔学校）；University of California, Santa Barbara（加州大学圣芭芭拉分校）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过三项实验发现，人类评分者即使无法区分AI与人类生成文本，仍显著偏好标注为“人类生成”的内容，揭示了对AI的偏见及其对协作的影响。
2025-08-06 cs.AI cs.CL cs.HC
Exploiting Biased Models to De-bias Text: A Gender-Fair Rewriting Model
University of Zurich（苏黎世大学）；Textshuttle（Textshuttle公司）；ETH Zurich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）
针对自然语言生成模型的性别偏见问题，提出利用机器翻译模型通过往返翻译从性别公平文本生成偏见文本作为训练数据，无需手工规则即可训练德语性别公平改写模型，并验证了其有效性。
2023-05-18 cs.CL
Investigating Label Bias in Beam Search for Open-ended Text Generation
Yuanfudao AI Lab（猿辅导AI实验室）
束搜索是一种有效的解码算法，在许多序列到序列（seq2seq）文本生成任务中得到广泛应用。然而，在开放式文本生成中，束搜索经常被发现产生重复和通用的文本，基于采样的解码算法，如top-k采样和核采样是更优选的。标准seq2seq模型由于其局部归一化概率公式而遭受标签偏差。本文提供了一系列的经验证据，标签偏见是一个主要的原因，这种退化行为的束搜索。通过结合局部归一化最大似然估计和全局归一化序列级训练，可以在几乎不牺牲困惑度的情况下降低标签偏差。为了定量测量标签偏差，我们测试了模型区分地面实况文本和一组上下文无关干扰项的能力。我们在大规模响应生成数据集上进行实验。结果表明，束搜索可以产生更多样化和有意义的文本与我们的方法，在自动和人类的评价指标。我们的分析还提出了几个未来的工作方向对开放式文本生成的巨大挑战。
2020-05-22 cs.CL
''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT Generated English Text
Microsoft Research India（微软研究院印度分院）；University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了首个带有性别偏见规范性评分的GPT生成英文文本数据集，采用Best–Worst Scaling进行人工比较标注，系统分析偏见主题变化，发现身份攻击与性别偏见最相关，并评估了现有自动模型在该数据集上的表现。
2023-10-26 cs.CL
Inherent Biases in Reference based Evaluation for Grammatical Error Correction and Text Simplification
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
众所周知，普遍使用太少的参考文献来评估文本到文本的生成会使对其质量的估计产生偏差（{ \it低覆盖率偏差}或LCB）。本文表明，克服LCB在语法错误纠正（GEC）的评估不能达到重新缩放或通过增加参考文献的数量在任何可行的范围内，与以前的建议。这是由于句子的有效更正的长尾分布。具体来说，我们表明，LCB激励GEC系统，以避免纠正，即使他们可以产生一个有效的纠正。因此，现有系统通过对输入进行很少但有针对性的改变，获得与人类相比相当或更好的性能。对文本简化的类似影响进一步支持了我们的主张。
2019-09-18 cs.CL
Sports and Women's Sports: Gender Bias in Text Generation with Olympic Data
Middlebury College（明德学院）
本文利用奥运会平行男女项目数据，提出三个指标衡量语言模型中的性别偏见，发现当提示性别不明确时模型持续偏向男子项目，揭示了体育语境下大型语言模型的系统性性别偏见。
2025-02-06 cs.CL
Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation
Texas A&M University（德克萨斯A&M大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出无需预定义性别短语和刻板印象的条件文本生成机制，通过三类输入和显隐性指标评估LLM性别偏见，发现模型增大未必提升公平性且所有被测模型均存在显性或隐性偏见。
2023-11-01 cs.CL
Tone Biased MMR Text Summarization
BITS-Pilani, K. K. Birla Goa Campus（博拉理工学院（BITS-Pilani）K. K. 比拉拉果阿校区）
文本摘要是一个有趣的领域，研究人员开发新的技术，提供人类一样的摘要，大量的信息。摘要技术往往侧重于提供内容的准确表示，而内容的基调往往被忽略。内容的基调为读者如何感知内容设置了基线。因此，能够生成具有适合读者的语气的摘要是重要的。在我们的工作中，我们实现了基于最大边缘相关性[MMR]的多文档文本摘要，并提出了一个朴素的模型，通过设置一个偏见，以特定的一组单词和限制其他单词的摘要输出来改变摘要的语气。这种偏向于特定的一组单词的倾向会产生一个摘要，其语气与特定单词的语气相同。
2018-02-27 cs.CL cs.IR
Measuring Social Bias in Knowledge Graph Embeddings
Amazon Alexa（亚马逊Alexa）
最近的研究表明，词嵌入编码了社会偏见，对下游任务产生了有害影响。然而，到目前为止，在图嵌入领域还没有类似的工作。我们提出了第一个研究知识图谱嵌入的社会偏见，并提出了一个新的度量适合测量这种偏见。我们在Wikidata和Freebase上进行了实验，结果表明，与词嵌入一样，与职业相关的有害社会偏见被编码在性别、宗教、种族和国籍的嵌入中。例如，图嵌入编码的信息，男性更有可能是银行家，女性更有可能是家庭主妇。随着图嵌入越来越多地被使用，我们建议理解这种偏见的存在并采取措施减轻其影响是很重要的。
2020-05-07 cs.CL
UnQovering Stereotyping Biases via Underspecified Questions
University of Utah（犹他大学）；Allen Institute for AI（艾伦人工智能研究所）
虽然语言嵌入已被证明具有刻板印象偏见，但这些偏见如何影响下游问答（QA）模型仍有待探索。我们提出了UNQOVER，一个通用的框架，通过未指定的问题来探测和量化偏见。我们发现，一个天真的使用模型得分可能会导致不正确的偏见估计，由于两种形式的推理错误：位置依赖和问题的独立性。我们设计了一个形式主义，隔离上述错误。作为案例研究，我们使用这个指标来分析四个重要类别的刻板印象：性别，国籍，种族和宗教。我们探索了在两个QA数据集上训练的五个基于transformer的QA模型，以及它们的底层语言模型。我们的广泛研究表明，（1）所有这些模型，无论是否进行微调，在这些类别中都有明显的刻板印象偏见;（2）较大的模型通常具有较高的偏见;（3）微调对偏见的影响随着数据集和模型大小的变化而变化。
2020-10-10 cs.CL
REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning
ADAPT Centre, Trinity College Dublin（都柏林圣三一学院ADAPT中心）；CRIL CNRS, Univ Artois（阿尔图瓦大学CRIL法国国家科学研究中心）；INRIA/IRISA Rennes（雷恩INRIA/IRISA研究所）；U. Lorraine, CNRS, LORIA（洛林大学法国国家科学研究中心LORIA研究所）；U. Lisboa, INESC-I（里斯本大学INESC-I研究所）
针对语言模型存在的多类刻板印象偏差问题，提出无需微调、标注少、成本低的REFINE-LM强化学习去偏方法，可在保留模型性能的同时有效降低多类偏差。
2024-08-18 cs.AI cs.CL
Bias Beyond English: Evaluating Social Bias and Debiasing Methods in a Low-Resource Setting
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本研究针对低资源语言场景，利用高资源语言语料库评估五种语言的社会偏见并实验去偏见方法，证明高资源语言的去偏见方法可有效迁移至低资源语言。
2025-07-14 cs.CL
Counterfactual Multi-Token Fairness in Text Classification
IBM Research AI（IBM研究院人工智能部门）
反事实标记生成仅限于在通常是简短的单句的文本中扰动单个标记。这些标记通常与许多敏感属性之一相关联。在生成有限反事实的情况下，实现机器学习分类模型对任何敏感属性的不变性质的目标得到了限制，并且反事实公平性的公式得到了缩小。在本文中，我们通过解决根本问题并打开更大的理解领域来克服这些局限性。我们已经策划了一个敏感令牌资源及其相应的扰动令牌，甚至将支持扩展到传统使用的敏感属性（如年龄，性别，种族，国籍，残疾和宗教）之外。反事实生成的概念已经扩展到对所有形式的文本和文档有效的多令牌支持。我们将通过扰动多个敏感标记来生成反事实的方法定义为反事实多标记生成。该方法已被概念化，以展示单令牌方法的显着性能改进，并在多个基准数据集上进行了验证。反事实生成中的校正在实现改进的反事实多标记公平性中传播。
2022-02-09 cs.AI cs.CL
Analyzing Bias in False Refusal Behavior of Large Language Models for Hate Speech Detoxification
TU Dresden（德累斯顿理工大学）
研究分析了大型语言模型在仇恨言论净化中的虚假拒绝偏见，并提出通过中英互译策略减少此类拒绝行为。
2026-01-13 cs.CL
Characterizing Selective Refusal Bias in Large Language Models
Rutgers University（罗格斯大学）
本文研究了LLM安全护栏中的选择性拒绝偏见，通过分析不同人口群体的拒绝率、响应类型及拒绝长度，揭示了性别、性取向、国籍和宗教属性上的偏见，并通过间接攻击实验强调需提升护栏的公平性与稳健性。
2025-10-31 cs.CL cs.CY
MultiModal Bias: Introducing a Framework for Stereotypical Bias Assessment beyond Gender and Race in Vision Language Models
Rutgers University（罗格斯大学）；HPI / University of Potsdam（哈索·普拉特纳研究所/波茨坦大学）
自我监督训练的最新突破导致了一类新的预训练视觉语言模型。虽然对多模态模型中的偏见进行了调查，但它们大多集中在性别和种族偏见上，对其他相关群体的关注要少得多，例如宗教、国籍、性取向或残疾方面的少数群体。这主要是由于缺乏针对这些群体的适当基准。我们试图通过提供一个名为MMBias的视觉和文本偏见基准来解决这一差距，该基准由大约3，800个图像和短语组成，覆盖14个人群亚组。我们利用这个数据集来评估几个突出的自监督多模态模型的偏差，包括CLIP，ALBEF和ViLT。我们的研究结果表明，这些模型表现出有意义的偏见，有利于某些群体。最后，我们介绍了一种专门为这种大型预训练模型设计的去偏方法，该方法可以作为后处理步骤来减轻偏差，同时保持模型的剩余准确性。
2023-03-16 cs.CL cs.CV cs.LG
Religious Bias Landscape in Language and Text-to-Image Models: Analysis, Detection, and Debiasing Strategies
Islamic University of Technology（伊斯兰技术大学）；The University of Manchester（曼彻斯特大学）
本文系统分析语言模型和文本到图像模型中的宗教偏见，通过约400个自然提示发现显著刻板印象及跨领域偏见，并评估纠正性提示的去偏效果，呼吁开发更公平的模型。
2025-01-14 cs.CL
On Measures of Biases and Harms in NLP
University of California, Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
最近的研究表明，自然语言处理（NLP）技术传播了与性别、种族和国籍等属性相关的人口统计群体的社会偏见。为了制定干预措施并减轻这些偏见和相关危害，能够检测和衡量这些偏见至关重要。虽然现有的工作提出了各种任务的偏见评估和缓解方法，但仍然需要有凝聚力地了解他们测量的偏见和具体危害，以及不同的措施如何相互比较。为了解决这一差距，这项工作提出了一个实用的危害框架和一系列问题，从业者可以回答，以指导偏见措施的发展。作为对我们的框架和文档问题的验证，我们还提出了几个案例研究，说明NLP中现有的偏见措施--陈述中的偏见的内在措施和下游应用程序的偏见的外在措施--如何与不同的危害保持一致，以及我们提出的文档问题如何促进对偏见措施的更全面的理解。
2022-10-13 cs.CL cs.CY
Comparing Biases and the Impact of Multilingual Training across Multiple Languages
University of California, Santa Barbara（加州大学圣巴巴拉分校）；AWS AI Labs（AWS人工智能实验室）
本文比较了五种语言在情感分析任务中的偏见表现，发现多语言微调比预训练更易放大受保护群体间的预测差异，且各语言文化均偏爱主导群体。
2023-05-18 cs.CL
RuBia: A Russian Language Bias Detection Dataset
Toloka AI（托洛卡人工智能公司）
本文提出了专门针对俄语设计的偏见检测数据集RuBia，涵盖4个领域和19个子领域，包含近2,000个句子对，并通过对最先进LLM的诊断性评估揭示了其社会偏见倾向。
2024-03-26 cs.CL
What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations
Comcast Applied AI（康卡斯特应用人工智能部门）；University of Waterloo（滑铁卢大学）
本文提出逻辑Bradley-Terry探针，从LLM隐藏向量中探测词对偏好偏差，发现模型即使拒绝回答也隐式存在国籍、政治、宗教和性别等社会人口统计学偏差，且指令微调未必能消除这些偏差。
2023-11-30 cs.CL
Biased or Flawed? Mitigating Stereotypes in Generative Language Models by Addressing Task-Specific Flaws
Virginia Tech（弗吉尼亚理工大学）
本文提出通过指令微调解决理解缺陷，在不使用显式去偏技术的情况下，将生成模型在国籍、年龄等维度上的刻板印象输出减少超过60%，并强调区分偏见与任务缺陷的重要性。
2024-12-16 cs.CL cs.LG
Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition
Washington University in St. Louis（圣路易斯华盛顿大学）
过去的研究已经确定了歧视性的自动语音识别（ASR）性能作为一个功能的种族群体和国籍的发言者。在本文中，我们扩大了讨论超出偏见作为一个功能的扬声器的个人民族血统，寻找偏见作为一个功能的地缘政治方向，他们的原籍国。我们使用来自Speech Accent Archive的大型全球语音数据集审核了一些最受欢迎的英语ASR服务，其中包括出生在171个不同国家的2，700多名英语使用者。我们发现，即使在控制多个语言协变量，ASR服务性能有一个统计上显着的关系，扬声器的出生国与美国的地缘政治力量的政治取向。这适用于所有测试的ASR服务。我们在历史上使用语言来维持全球和政治权力的背景下讨论这种偏见。
2023-02-09 cs.CL cs.CY
