Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation
Tsinghua University(清华大学)
本文提出自对比训练方法,通过惩罚模型不成熟检查点对重复的错误预测,有效缓解开放式生成中的文本重复问题,同时保持生成流畅性。
2023-07-04 cs.CL
Purdah and Patriarchy: Evaluating and Mitigating South Asian Biases in Open-Ended Multilingual LLM Generations
George Mason University(乔治·马歇尔大学)
本研究针对南亚多语种LLM评估中文化交叉偏见被忽略的问题,构建涵盖多维度的文化偏见词典,分析10种南亚语言生成内容中的父权制相关偏见,并验证两种自我去偏见策略的效果,拓展了文化偏见研究的视角与范围。
2026-05-06 cs.CL
Challenges in Measuring Bias via Open-Ended Language Generation
Boston University(波士顿大学)
研究人员已经设计了许多方法来量化预先训练的语言模型中的社会偏见。由于一些语言模型能够在给定一组文本提示的情况下生成连贯的补全,因此已经提出了几个提示数据集来测量社会群体之间的偏见--将语言生成作为识别偏见的一种方式。在这篇意见书中,我们分析了提示集,指标,自动工具和抽样策略的具体选择如何影响偏倚结果。我们发现,通过文本完成测量偏见的做法是容易产生矛盾的结果,在不同的实验设置。我们还提供了建议,报告偏见在开放式语言生成的偏见表现出一个给定的语言模型更完整的前景。在www.example.com下发布了重现结果的代码。
2022-05-23 cs.CL cs.CY
BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation
Amazon Alexa AI-NU(亚马逊Alexa人工智能-西北大学合作团队);UC Santa Barbara(加州大学圣巴巴拉分校);UCLA(加州大学洛杉矶分校)
深度学习技术的最新进展使机器能够在提示一系列单词作为上下文时生成有凝聚力的开放式文本。虽然这些模型现在为许多下游应用程序提供了支持,从对话机器人到自动讲故事,但它们已被证明可以生成表现出社会偏见的文本。为了系统地研究开放式语言生成中的社会偏见并对其进行基准测试,我们引入了开放式语言生成数据集(BOLD)中的偏见,这是一个大型数据集,由23,679个英语文本生成提示组成,用于在五个领域进行偏见基准测试:职业,性别,种族,宗教和政治意识形态。我们还提出了毒性,心理语言学规范和文本性别极性的新的自动化指标,从多个角度衡量开放式文本生成中的社会偏见。对三种流行的语言模型生成的文本的检查表明,这些模型中的大多数在所有领域都表现出比人类编写的维基百科文本更大的社会偏见。通过这些结果,我们强调了对开放式语言生成中的偏见进行基准测试的必要性,并警告下游任务中的语言生成模型的用户要认识到这些嵌入式偏见。
2021-01-27 cs.AI cs.CL cs.LG
Assessing Bias in Metric Models for LLM Open-Ended Generation Bias Benchmarks
Holistic AI(霍利斯提克人工智能公司);Stanford University(斯坦福大学);University College London(伦敦大学学院)
本研究通过两项实验(反事实与SHAP)评估开放式生成偏见基准中度量模型的偏见,发现对人口统计描述符处理不平等,需更稳健的度量模型。
2024-10-14 cs.AI cs.CL
A Disability Lens towards Biases in GPT-3 Generated Open-Ended Languages
Rochester Institute of Technology(罗切斯特理工学院);The University of Utah(犹他大学)
语言模型(LM)在全球许多基于语言的应用程序空间中变得流行。尽管这些LM正在改善我们与数字产品的日常互动,但人们仍然担心这些模型生成的开放式语言或文本是否会对特定人群产生偏见,从而危及某些产品的可用性。有必要确定这些模型是否具有偏见,以提高这些模型的公平性。这一差距激励了我们正在进行的工作,我们通过残疾镜头测量了GPT-3生成文本中的两个方面的偏见。
2022-06-23 cs.AI cs.CL cs.LG
VIBE: Voice-Induced open-ended Bias Evaluation for Large Audio-Language Models via Real-World Speech
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan(台湾大学通信工程研究所);NVIDIA, Taiwan(台湾NVIDIA);Artificial Intelligence Center of Research Excellence, National Taiwan University, Taiwan(台湾大学人工智能卓越研究中心)
VIBE通过真实世界语音的开放式任务评估大型音频-语言模型的生成偏见,揭示了性别线索比口音线索更易引发分布偏移,表明当前模型复现了社会刻板印象。
2026-07-07 cs.CL cs.SD eess.AS
Investigating Sports Commentator Bias within a Large Corpus of American Football Broadcasts
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Ursinus College(乌尔辛纳斯学院)
体育广播公司通过主观分析和轶事建立球队和球员的叙述,将戏剧性注入到逐场比赛的评论中。先前基于小数据集和人工编码的研究表明,这种戏剧性表现在体育广播中的评论员偏见。为了研究这一现象,我们收集了FOOTBALL,其中包含了六十年来美国足球比赛的1,455个广播成绩单,这些成绩单自动注释了250K球员提及并与种族元数据相关联。我们确定了主要的混杂因素,研究人员检查种族偏见的足球,并进行了计算分析,支持从以前的社会科学研究的结论。
2019-10-19 cs.CL
Thesis Distillation: Investigating The Impact of Bias in NLP Models on Hate Speech Detection
Fraunhofer Research Institute (FOKUS)(弗劳恩霍夫研究所(FOKUS))
本文从可解释性、冒犯性刻板印象偏见和公平性三个视角研究自然语言处理模型偏见对仇恨言论检测的影响,并强调引入社会科学以突破当前偏见测量与缓解的局限。
2023-12-05 cs.CL
Investigating Cross-Linguistic Gender Bias in Hindi-English Across Domains
LJMU(利物浦约翰摩尔斯大学)
衡量、评估和减少性别偏见已经成为最前沿的问题,每隔几个月就会发布更新和改进的语言嵌入。但是,这种偏见会因领域而异吗?我们在各种嵌入模型中看到了大量研究这些偏见的工作,但在消除印度语偏见方面所做的工作有限。我们的目标是衡量和研究这种偏见在印地语,这是一个高阶语言(性别)与英语,低阶语言。为了实现这一目标,我们研究了跨域的变化,以量化域嵌入是否允许我们深入了解这对印地语-英语模型的性别偏见。我们将在四个不同的语料库中生成嵌入,并通过实施不同的指标来比较结果,例如使用预训练的最先进的Indic-English翻译模型,该模型在许多NLP任务中的表现优于现有模型。
2021-11-22 cs.CL
VoiceBBQ: Investigating Effect of Content and Acoustics in Social Bias of Spoken Language Model
Chung-Ang University(中央大学)
本文提出VoiceBBQ,一个将BBQ基准扩展至语音的测试平台,用于分离并评估口语语言模型中内容与声学来源的社会偏见,并发现不同架构在两类偏见上的显著差异。
2025-09-25 cs.CL
Investigating Gender Bias in Turkish Language Models
German Research Center for Artificial Intelligence (DFKI) Berlin, Germany(德国人工智能研究中心(DFKI)柏林)
本研究针对土耳其语这类语法无性别语言的性别偏见研究空白,拓展现有偏见评估框架,设计适配土耳其语境的测试,还评估了族群偏见,分析偏见与模型特征的关联并公开数据集。
2024-04-17 cs.CL
Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection
College of Intelligence and Computing, Tianjin University(智能与计算学院,天津大学);AI Lab, China Mobile Communication Group Tianjin Co., Ltd.(中国移动通信集团天津有限公司人工智能实验室)
本文通过自反思框架系统比较LLMs的显式与隐式社会偏见,发现二者存在显著不一致,且对齐技术对隐式偏见效果有限。
2025-06-03 cs.CL
On Bias and Fairness in NLP: Investigating the Impact of Bias and Debiasing in Language Models on the Fairness of Toxicity Detection
Fraunhofer Research institute(弗劳恩霍夫研究所);Weizenbaum Research institute(魏茨曼研究所);Durham University(杜伦大学)
本研究调查了NLP模型中表示偏见、选择偏见和过度放大偏见对毒性检测任务公平性的影响,发现过度放大偏见影响最大,并通过在平衡数据集上微调模型有效提升了公平性,最后提出了确保公平性的指导原则。
2024-04-26 cs.CL
Investigating representations of verb bias in neural language models
University of Tokyo(东京大学);Princeton University(普林斯顿大学)
语言通常提供一种以上的语法结构来表达某些类型的消息。众所周知,说话者对结构的选择取决于多种因素,包括主要动词的选择--一种被称为\emph{verb bias}的现象。在这里,我们介绍DAIS,一个大型的基准数据集包含50 K人类判断5 K不同的句子对英语与格交替。该数据集包括200个独特的动词,并系统地改变了参数的定义和长度。我们使用这个数据集,以及现有的自然发生的数据语料库,来评估最近的神经语言模型捕捉人类偏好的能力。结果表明,较大的模型比较小的模型表现更好,即使在可比的参数和训练设置下,Transformer架构(例如GPT-2)也往往优于递归架构(例如LSTM)。对内部特征表征的进一步分析表明,Transformers可以更好地将特定的词汇信息与语法结构结合起来。
2020-10-15 cs.CL
QuantiBias: Benchmarking Quantization-Induced Bias in LLMs
University of Southern California(南加州大学)
研究大语言模型量化中的偏差问题,提出QuantiBias基准测试,通过结合多种控制和对比有无推理的构建来评估偏差,发现量化器按无偏差预防信号的数据分配精度,推理对部分偏差有减半效果,强调需重新评估量化模型的开放式偏差。
2026-07-24 cs.CL cs.CY cs.HC
Investigating Bias in Multilingual Language Models: Cross-Lingual Transfer of Debiasing Techniques
KU Leuven(鲁汶大学);IESEG School of Management(IESEG管理学院);University of Applied Sciences Darmstadt(达姆施塔特应用科学大学);University of Southampton(南安普顿大学)
本研究探究多语言模型中去偏技术的跨语言迁移,利用mBERT验证其在英法德荷四种语言上的可行性,发现SentenceDebias效果最佳,平均降低偏见13%,且无性能损失,为多语言偏见缓解提供指导。
2023-10-16 cs.CL
Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models
University of South Florida(南佛罗里达大学);Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学)
该研究聚焦LLM中较少被关注的年龄、容貌等维度的隐蔽偏见,构建模板生成的双向句子补全数据集,在4款前沿LLM上测试偏见关联,为通用偏见评估提供可扩展基准。
2024-06-20 cs.CL
Investigating Social Bias Changes in Quantized Language Models
UC Berkeley(伯克利大学);Centre for Computational Medicine at The Hospital for Sick Children(儿童医院计算医学中心);UCSF(旧金山大学);Meta Superintelligence Labs(Meta超智能实验室)
研究发现量化过程导致大语言模型中社会偏见的翻转,且不确定性与量化强度影响偏见变化,需进行后续评估以确保可靠性。
2026-09-01 cs.CL
StereoTales: A Multilingual Framework for Open-Ended Stereotype Discovery in LLMs
Giskard AI;École Normale Supérieure, INSERM, Paris(巴黎高等师范学院、INSERM、巴黎)
本文提出StereoTales,一个多语言数据集和评估流程,用于系统研究开放性LLM生成中的社会偏见。研究发现所有模型在开放生成中都会产生有害刻板印象,提示语言显著影响刻板印象表现,且人类和LLM对有害性的判断基本一致。
2026-05-12 cs.AI cs.CL cs.CY
Investigating Language and Retrieval Bias in Multilingual Previously Fact-Checked Claim Detection
Brno University of Technology(布拉格技术大学);Kempelen Institute of Intelligent Technologies(智能技术研究所);University of Copenhagen(哥本哈根大学)
本文面向 PFCD 任务,基于 AMC-16K 评估六个开源多语言 LLM 在20种语言中的表现,并分析多语言嵌入检索的频率偏差,揭示语言与检索不公平现象及改进方向。
2025-09-29 cs.CL
Investigating the Frequency Distortion of Word Embeddings and Its Impact on Bias Metrics
Instituto de Investigación en Ciencias de la Computación, CONICET-UBA(CONICET-布宜诺斯艾利斯大学计算机科学研究所);Universidad de Buenos Aires (UBA)(布宜诺斯艾利斯大学(UBA));Departamento de Computación, FCEyN, UBA(布宜诺斯艾利斯大学理学院计算机系)
本研究系统探究了静态词嵌入中词频与语义相似度的关联,发现Skip-gram等模型对高频词产生更高相似度,且此现象为人工伪影,并证明操纵词频会严重影响甚至逆转基于嵌入的性别偏见指标测量结果。
2023-10-19 cs.CL
Investigating Gender Bias in BERT
Singapore University of Technology and Design(新加坡科技设计大学)
上下文语言模型(CLM)将NLP基准测试推向了一个新的高度。在文本分类等下游任务中利用CLM提供的词嵌入已经成为一种新的规范。然而,除非得到解决,否则CLM很容易在数据集中学习固有的性别偏见。因此,下游NLP模型的预测可能会因性别词的变化而发生明显变化,例如将“他”替换为“她”,甚至是性别中性词。在本文中,我们将重点分析一个流行的CLM,即,BERT。我们分析了它在五个与情绪和情绪强度预测相关的下游任务中引起的性别偏见。对于每个任务,我们训练一个简单的回归利用BERT的词嵌入。然后,我们使用公平评估语料库评估回归的性别偏见。理想情况下,从具体的设计来看,模型应该从输入中丢弃性别信息特征。然而,结果显示,系统的预测对性别特定的单词和短语的依赖性很大。我们认为,这种偏见可以通过从词嵌入中去除性别特征来减少。因此,对于BERT中的每一层,我们识别主要编码性别信息的方向。由这些方向形成的空间被称为词嵌入语义空间中的性别子空间。我们提出了一种算法,发现细粒度的性别方向,即,每个BERT层有一个主方向。这就避免了在多个维度上实现性别子空间的需要,也避免了其他关键信息的遗漏。实验表明,去除这些方向的嵌入组件在减少下游任务中的BERT引起的偏差方面取得了很大的成功。
2020-09-10 cs.CL
Scaling Down Semantic Leakage: Investigating Associative Bias in Smaller Language Models
University of Tübingen(蒂宾根大学)
本研究针对小语言模型的语义泄漏问题,基于Qwen2.5系列模型与新建的颜色类提示数据集开展评估,发现小模型整体语义泄漏更少但趋势非线性,相关资源已公开。
2025-01-11 cs.CL
Don't Discard All the Biased Instances: Investigating a Core Assumption in Dataset Bias Mitigation Techniques
University of Qom(库姆大学);Tehran Institute for Advanced Studies(德黑兰高等研究院);Khatam University(哈塔姆大学)
用于减轻数据集偏差的现有技术通常利用偏差模型来识别偏差实例。然后在主模型的训练过程中减少这些有偏差的实例的作用,以增强其对分布外数据的鲁棒性。这些技术的一个共同的核心假设是,主模型处理有偏的实例类似于有偏的模型,因为它将诉诸于偏见,只要可用。在本文中,我们表明,这一假设并不成立。我们对该领域的两个著名数据集MNLI和FEVER进行了严格的调查,以及两种有偏见的实例检测方法,部分输入和有限容量模型。我们的实验表明,在大约三分之一到一半的情况下,有偏模型无法预测主模型的行为,这一点突出表现在他们做出决策所依据的输入的显著不同部分。基于人工验证,我们还表明,这一估计是高度符合人类的解释。我们的研究结果表明,降低权重的偏差检测方法,这是一个广泛实践的过程中检测到的实例,是一个不必要的浪费训练数据。我们发布我们的代码,以促进可重复性和未来的研究。
2021-09-01 cs.CL cs.LG
Investigating Spatial Attention Bias in Vision-Language Models
Birla Institute of Technology and Science, Pilani, India(比拉理工学院和科学研究院,帕利尼,印度)
本文研究了视觉-语言模型在处理水平拼接图像时存在的系统性空间注意力偏差,发现模型倾向于优先描述左位置内容,且该偏差在不同架构和语言训练下均存在。
2025-12-20 cs.CL cs.CV
A Continuum of Generation Tasks for Investigating Length Bias and Degenerate Repetition
University of Notre Dame(圣母大学)
语言模型存在各种退化行为。不同的任务之间存在差异:机器翻译(MT)表现出长度偏差,而像故事生成这样的任务则表现出过度重复。最近的研究将这种差异归因于任务约束,但这种说法的证据总是涉及许多混杂变量。为了直接研究这个问题,我们引入了一个新的实验框架,使我们能够顺利地改变任务的约束,从MT在一端完全开放的一代在其他方面,同时保持所有其他方面固定。我们发现:(1)重复随着受约束程度的降低而平稳下降,这解释了不同任务之间重复的差异;(2)长度偏差也令人惊讶地随着受约束程度的降低而降低,这表明长度偏差的差异有其他原因;(3)总体而言,这些问题影响的是模式,而不是整个分布;(4)差异不能归因于分布的熵的变化,因为改变熵的另一种方法,标签平滑,不产生相同的效果。
2022-10-19 cs.AI cs.CL
Investigating Implicit Bias in Large Language Models: A Large-Scale Study of Over 50 LLMs
Enkrypt AI
本研究基于LLM IAT偏见和决策偏见框架,对50多个LLM进行大规模评估,发现模型增大或更新并不自动减少隐性偏见,甚至可能放大偏见,凸显了标准化偏见评估与缓解策略的必要性。
2024-10-13 cs.AI cs.CL
Investigating Conversational Search Behavior For Domain Exploration
Technical University of Munich(慕尼黑工业大学);University of Twente(特温特大学)
对话式搜索作为一种新的信息检索模式,标志着从传统的搜索系统向具有智能搜索代理的交互式对话的转变。这种变化特别影响探索性的信息搜索环境,其中会话搜索系统可以引导发现不熟悉的领域。在这些场景中,用户发现由于不充分的背景知识,通常难以表达他们的信息目标。对话界面可以通过引出信息需求和缩小搜索空间来提供帮助。然而,由于信息寻求行为的复杂性,用于检索信息的会话界面的设计仍然是一个巨大的挑战。虽然以前的工作已经采用用户研究经验地面的系统设计,大多数现有的研究仅限于定义明确的搜索任务或已知的领域,因此,探索性的性质。因此,我们进行了一项实验室研究,以调查开放式搜索行为导航通过未知的信息景观。该研究由26名参与者组成,他们的搜索仅限于文本聊天界面。基于收集到的对话记录,我们应用统计分析和过程挖掘技术,揭示了五个不同领域的一般信息寻求模式。我们不仅确定了核心对话行为和它们之间的相互关系,使用户能够发现领域知识,但也得到会话搜索系统的设计建议。
2023-02-27 cs.CL
Investigating Bias Representations in Llama 2 Chat via Activation Steering
UC Berkeley(加州大学伯克利分校);SPAR
本研究以Llama 2 7B Chat为对象,用激活转向技术探测缓解社会偏见,发现其经RLHF后仍有性别偏见,且RLHF会提升不同偏见表征的相似性,同时为LLM红队测试策略提供了参考。
2024-02-01 cs.AI cs.CL
Investigating Thinking Behaviours of Reasoning-Based Language Models for Social Bias Mitigation
本文研究了基于推理的语言模型在缓解社会偏见中的思维机制,发现两种导致偏见累积的失败模式,并提出轻量级提示方法减少偏见同时保持准确性。
2026-05-12 cs.AI cs.CL
Capturing Failures of Large Language Models via Human Cognitive Biases
UC Berkeley(加州大学伯克利分校)
大语言模型生成复杂的、开放式的输出:它们不是输出类标签,而是编写摘要、生成对话或生成工作代码。为了评估这些开放式发电系统的可靠性,我们的目标是确定定性类别的错误行为,而不是确定个别错误。为了假设和测试这种定性错误,我们从人类认知偏差中汲取灵感-偏离理性判断的系统模式。具体来说,我们使用认知偏差作为动机,(i)为模型可能存在的问题生成假设,(ii)开发引发这些问题的实验。使用代码生成作为案例研究,我们发现OpenAI的Codex基于输入提示的框架可以预测错误,调整输出到锚点,并偏向于模仿频繁训练样本的输出。然后,我们使用我们的框架来引发高影响力的错误,例如错误地删除文件。我们的研究结果表明,认知科学的实验方法可以帮助描述机器学习系统的行为。
2022-11-24 cs.AI cs.CL cs.LG
To Lie or Not to Lie? Investigating The Biased Spread of Global Lies by LLMs
Fatima Fellowship(法蒂玛奖学金);Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
研究LLMs在多语言多地区传播虚假信息的行为,揭示低资源语言和低HDI国家中谎言传播的系统性差异,提出GlobalLies数据集以支持减少全球虚假信息传播的策略。
2026-04-08 cs.CL
Who Gets the Mic? Investigating Gender Bias in the Speaker Assignment of a Speech-LLM
Department of Linguistics(语言学系);Department of Speech, Music, and Hearing(语音、音乐与听觉系)
本研究通过分析语音大语言模型Bark的说话人分配来探究性别偏见,构建职业和性别色彩词语两个数据集,发现Bark虽无系统性偏见但具有性别意识和一定倾向。
2025-08-19 cs.AI cs.CL
Hearing the Order: Investigating Position Bias in Large Audio-Language Models
National Taiwan University(台湾大学)
本文首次系统研究了大型音频-语言模型中位置偏差问题,通过实验发现答案选项顺序影响模型性能,提出基于排列的策略可缓解偏差。
2026-09-01 cs.CL cs.SD
Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
在过去的几年里,大型预训练的语言模型表现出了卓越的性能。然而,这些模型有时会从数据集中学习表面特征,并且无法推广到与训练场景不同的分布。已经提出了几种方法来减少模型对这些偏差特征的依赖,这可以提高模型在分布外设置中的鲁棒性。然而,现有的方法通常使用一个固定的低容量模型来处理各种偏差特征,忽略了这些特征的可学习性。在本文中,我们分析了一组现有的偏差特征,并证明了没有一个模型最适合所有情况。我们进一步表明,通过选择一个适当的偏差模型,我们可以得到一个更好的鲁棒性结果比基线与更复杂的模型设计。
2022-10-28 cs.AI cs.CL
Investigating Assistant Bias in LLM User Simulators Using a Role Vector
KAIST(韩国科学技术院);University of Michigan(密歇根大学);Seoul National University(首尔大学);ETH Zürich(苏黎世联邦理工学院);SkillBench
该研究针对LLM用户模拟器的助手偏差,通过对比对话的用户与助手视角提取用户角色向量,证实偏差结构可识别且用户行为可定向分析,为优化模拟器提供了表征层面依据。
2026-10-06 cs.CL cs.HC
Investigating the Capabilities and Limitations of Machine Learning for Identifying Bias in English Language Data with Information and Heritage Professionals
University of Edinburgh(爱丁堡大学);Inria Bordeaux(波尔多信息与自动化研究院)
本文重新构建 ML 偏见问题,通过创建模型识别英语数据中的偏见而非消除它,并与信息与遗产专业人员合作评估,揭示了 ML 识别偏见的局限性,提出扩展 ML 公平性方法的混合研究路径。
2025-04-01 cs.AI cs.CL cs.CY
Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction
Wuhan University(武汉大学);Beihang University(北京航空航天大学);The University of Sydney(悉尼大学);Nanyang Technological University(南洋理工大学)
本文调查了预训练语言模型在事实知识抽取中的提示偏置问题,并提出一种基于表示的推理时去偏方法,通过估计并移除内部偏置表示,有效纠正过拟合性能并提升提示检索能力达10%。
2024-03-26 cs.AI cs.CL cs.IR
Whose Journey Matters? Investigating Identity Biases in Large Language Models (LLMs) for Travel Planning Assistance
Indiana University Bloomington(印第安纳大学伯明顿分校);Washington State University(华盛顿州立大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
本文基于社会认同与社会技术系统理论,用公平性探测分析三款开源LLM的旅行推荐,发现其存在种族、性别刻板印象偏见,且少数群体推荐更易出现幻觉。
2025-10-18 cs.AI cs.CL cs.CY
Investigating Gender Bias in LLM-Generated Stories via Psychological Stereotypes
Johannes Kepler University (JKU)(约翰内斯·开普勒大学);Linz Institute of Technology (LIT)(林茨技术研究所);University of Innsbruck(因斯布鲁克大学)
本研究通过心理刻板印象在叙事生成中探究大语言模型的性别偏见,提出StereoBias-Stories数据集,发现属性条件化可缓解偏见,组合属性加剧或缓解偏见,且模型偏见与心理真实情况一致。
2025-08-05 cs.AI cs.CL
BiasConnect: Investigating Bias Interactions in Text-to-Image Models
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);University of British Columbia(不列颠哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学);Emory University(埃默里大学);University of Pennsylvania(宾夕法尼亚大学);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
本文提出 BiasConnect,利用反事实框架和成对因果图量化文本到图像模型中多维度偏见的相互影响,并支持缓解轴选择、模型比较与交叉偏见分析。
2025-03-12 cs.CL cs.CV cs.LG
Semantically-Aware Rewards for Open-Ended R1 Training in Free-Form Generation
University of Maryland, College Park(马里兰大学 College Park分校)
针对开放式长文本生成评估难题,提出PrefBERT评分模型,在GRPO中提供语义奖励,优于传统指标,训练出的模型更符合人类偏好。
2025-06-18 cs.CL cs.LG
Persuasiveness and Bias in LLM: Investigating the Impact of Persuasiveness and Reinforcement of Bias in Language Models
Department of Mathematics and Computer Science(数学与计算机科学系);Data and Artificial Intelligence Research Group(数据与人工智能研究组)
本文通过说服者-怀疑者框架量化LLM的说服力及其对种族、性别、宗教偏见的强化效应,揭示其塑造叙事与传播错误信息的双重能力,并据此提出防护栏与政策建议。
2025-08-13 cs.AI cs.CL
Investigating Bias In Automatic Toxic Comment Detection: An Empirical Study
Georgia Institute of Technology(佐治亚理工学院)
随着在线平台的激增,用户通过评论和反应在这些平台上的参与度激增。很大一部分这样的文字评论是辱骂,粗鲁和冒犯观众。有了机器学习系统来检查这些进入平台的评论,训练数据中存在的偏见被传递到分类器中,导致对一组阶级、宗教和性别的歧视。在这项工作中,我们评估不同的分类器和功能,以估计这些分类器的偏差以及它们在毒性分类的下游任务上的性能。结果表明,自动有毒评论检测模型的性能改善与减轻这些模型中的偏差呈正相关。在我们的工作中,具有注意力机制的LSTM被证明是比CNN模型更好的建模策略。进一步的分析表明,在毒性评论检测的训练模型上,快速文本嵌入比手套嵌入略好。更深入的分析揭示了这样的发现,即这种自动模型特别偏向于特定的身份群体,即使该模型具有较高的AUC分数。最后,为了减轻毒性检测模型中的偏倚,使用毒性子类型的辅助任务训练的多任务设置被证明是有用的,导致AUC评分增加高达0.26%(6%相对)。
2021-08-14 cs.AI cs.CL cs.LG
Invisible Influences: Investigating Implicit Intersectional Biases through Persona Engineering in Large Language Models
Shiv Nadar University Chennai(钦奈希夫纳达尔大学);Plaksha University(普拉克沙大学)
本文通过角色工程研究大型语言模型中的隐性交叉偏见,提出BADx指标,揭示角色上下文对偏见动态影响的机制,评估五种LLM在不同角色框架下的表现。
2026-03-16 cs.AI cs.CL
Born With a Silver Spoon? Investigating Socioeconomic Bias in Large Language Models
University of Texas at Austin(得克萨斯大学奥斯汀分校);Meta AI;Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式AI)
本文研究了大型语言模型中的社会经济偏见,提出了包含3000个样本的新数据集SilverSpoon,发现大多数模型无论在何种情况下都无法对弱势群体产生同理心。
2024-12-19 cs.AI cs.CL cs.CY
An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation
Amazon Alexa AI(亚马逊Alexa人工智能部门);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Information Sciences Institute, University of Southern California(南加利福尼亚大学信息科学研究所)
一些先前的工作已经表明,语言模型(LM)可以生成包含有害的社会偏见和刻板印象的文本。虽然解码算法在确定LM生成的文本的属性中起着核心作用,但它们对生成的公平性的影响尚未研究。本文系统地分析了解码算法对LM公平性的影响,并分析了公平性、分集和质量之间的权衡。在开放式语言生成中,我们使用$p$、$k$和温度解码算法的实验表明,随着解码算法的超参数的变化,人口统计组之间的公平性显著变化。值得注意的是,输出更多样化文本的解码算法也会输出更多具有负面情绪和关注的文本。我们提出了几个调查结果,并提供了公平性评估和解码算法的公平性以及质量和多样性的优化解码细节的标准化报告的建议。
2022-10-07 cs.AI cs.CL cs.LG
ExpertGenQA: Open-ended QA generation in Specialized Domains
University of California Riverside(加州大学河滨分校)
本文提出ExpertGenQA协议,结合少样本学习与结构化主题及风格分类生成专业领域QA对,在保持高主题覆盖率的同时提升效率,并显著改善下游检索模型的top-1准确率。
2025-03-04 cs.CL cs.IR
Gender Bias in Explainability: Investigating Performance Disparity in Post-hoc Methods
Technical University of Munich(慕尼黑技术大学);School of Computation, Information and Technology(计算、信息与技术学院);Department of Computer Science(计算机科学系);Technische Universität Berlin(柏林技术大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文发现广泛使用的事后特征归因方法在三项任务和五个语言模型上表现出显著的性别差异,即使使用无偏见数据集训练依然存在,强调了在可解释性方法中解决解释公平性的重要性。
2025-05-02 cs.AI cs.CL cs.LG
Investigating Intersectional Bias in Large Language Models using Confidence Disparities in Coreference Resolution
Apple(苹果公司)
本研究扩展单轴公平性评估,通过构建WinoIdentity基准和提出共指置信度差异指标,评估LLMs在交叉身份下的偏见,发现模型在反刻板印象环境中对双重劣势身份置信度差异高达40%,且表明其高性能源于记忆而非推理。
2025-08-09 cs.AI cs.CL
Are Emily and Greg Still More Employable than Lakisha and Jamal? Investigating Algorithmic Hiring Bias in the Era of ChatGPT
New York University(纽约大学);University of New South Wales Sydney(悉尼新南威尔士大学);University of Calgary(卡尔加里大学)
本研究复现经典招聘偏见实验,评估GPT-3.5、Bard等前沿大语言模型在简历匹配、简历摘要任务中的多维度偏见,发现其种族和性别维度表现稳健,怀孕状态、政治派别维度存在差异,并通过对比输入解码揭示偏见来源。
2023-10-08 cs.AI cs.CL cs.LG
A "Perspectival" Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, YouTube, and Wikipedia
Harvard University(哈佛大学)
该研究揭示Google、Wikipedia、YouTube及ChatGPT存在语言偏差现象,即不同语言搜索同一复杂话题会返回差异化的文化主导观点,形成无形文化壁垒,同时分析了该偏差的证据与社会影响。
2024-03-08 cs.AI cs.CL cs.CY
Investigating Bias: A Multilingual Pipeline for Generating, Solving, and Evaluating Math Problems with LLMs
HTW Berlin University of Applied Sciences(柏林应用科学大学)
本文提出多语言流水线生成、解决和评估数学问题,发现英语解决方案质量优于阿拉伯语,揭示语言偏差问题。
2025-12-03 cs.AI cs.CL cs.LG