Political Bias in LLMs: Unaligned Moral Values in Agent-centric Simulations
Journal for Language Technology and Computational Linguistics(语言技术与计算语言学期刊)
本文研究了语言模型在政治角色设定下与人类道德价值观的对齐问题,发现模型在重复实验中响应方差大,且合成数据与人类数据相关性弱,特别是保守派角色对齐效果差,表明需改进上下文优化或参数操作以正确模拟社会互动。
2025-07-14 cs.AI cs.CL
PoliticsBench: Benchmarking Political Values in Large Language Models with Multi-Turn Roleplay
Northville High School, Northville, USA(北维尅高中);Department of Computer Science, Stanford University, Stanford, USA(斯坦福大学计算机科学系)
提出PoliticsBench,一个多阶段角色扮演基准,通过20个演化场景评估LLM的细粒度价值表达,发现场景提示比直接提问能引发更广泛和强烈的价值表达。
2026-06-02 cs.AI cs.CL
Implicit Bias in LLMs for Transgender Populations
Instituto de Ciencias de la Computación (UBA-CONICET)(计算机科学研究所(UBA-CONICET));Hospital Dr. Lucio Melendez(Lucio Melendez医院);Universidad de Buenos Aires(布宜诺斯艾利斯大学);Universidad Católica de Chile(智利天主大学);MICS, CentraleSupélec - Université Paris-Saclay(MICS,CentraleSupélec-巴黎萨克雷大学);Universidad Nacional de Córdoba(科迪利亚国家大学);Fundación Vía Libre(自由之路基金会);CIECTI
本研究揭示了LLMs对跨性别人群的隐性偏见,通过词语关联测试和医疗预约分配任务发现LLMs在多个类别中存在负面关联,并指出需研究以减少LLMs中的刻板印象偏见,确保医疗应用中的公平性。
2026-02-02 cs.AI cs.CY
Prioritize Economy or Climate Action? Investigating ChatGPT Response Differences Based on Inferred Political Orientation
Sabanci University(萨班奇大学)
本研究通过设计不同政治倾向的角色并利用记忆与自定义指令,考察ChatGPT如何根据推断的政治观点调整响应,发现其输出与角色政治立场一致且整体偏左。
2025-11-04 cs.AI cs.CY cs.HC
AI Will Always Love You: Studying Implicit Biases in Romantic AI Companions
UCL(伦敦大学学院);Google Deepmind(谷歌DeepMind)
本研究通过三项实验评估浪漫型 AI 伴侣中的隐性偏见,发现赋予 LLM 性别和关系人设会显著改变其响应,并在某些情况下产生刻板印象式偏见。
2025-02-27 cs.AI
Implicit Bias-Like Patterns in Reasoning Models
Washington University in St. Louis(圣路易斯华盛顿大学);Rutgers University(罗格斯大学)
研究推理模型在处理关联不兼容任务时消耗更多推理token,揭示其隐性偏见特征及模型内部推理内容的影响
2026-04-06 cs.AI cs.CY
Identifying Implicit Social Biases in Vision-Language Models
MIT(麻省理工学院);University of Virginia(弗吉尼亚大学)
本研究系统分析CLIP视觉-语言模型中的社会偏见,提出So-B-IT分类体系,发现模型在图像检索中常将有害词与特定群体不当关联,并揭示训练数据是偏见来源,强调评估与公平性数据策划的重要性。
2024-11-01 cs.AI cs.CL cs.CV
Localized Cultural Knowledge is Conserved and Controllable in Large Language Models
Princeton University(普林斯顿大学);EPFL(洛桑联邦理工学院);Northeastern University(东北大学);University of Chicago(芝加哥大学);Santa Fe Institute(圣塔菲研究所)
本研究针对LLMs多语言交互中默认英语中心的问题,通过显式文化背景提示缩小显隐本地化差距,识别跨非英语语言的文化定制向量,保留回应多样性并减少刻板印象,为文化定制及模型功能扩展提供新方向。
2025-04-14 cs.AI cs.CL
Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders
Universidad Autónoma de Occidente(西自治大学)
研究Qwen2.5 - 7B - Instruct处理提示时是否表征哥伦比亚相关信息,用自然语言自动编码器转化残差流激活,通过含30个提示的数据集进行研究,将激活可解释性与西班牙语变体偏差评估相联系。
2026-07-27 cs.AI cs.CL
Cross-Cultural Value Attribution in Large Vision-Language Models
Thoughtworks;University of Ottawa(渥太华大学)
本文研究了图像中文化背景如何影响大型视觉-语言模型对人物道德、伦理和政治价值观的判断,通过多维分析揭示模型对文化价值观差异的认知。
2026-10-07 cs.AI cs.CL cs.CV
The African Woman is Rhythmic and Soulful: An Investigation of Implicit Biases in LLM Open-ended Text Generation
University College London(伦敦大学学院)
本文提出LLM IAT偏见和LLM决策偏见两种心理学启发方法,结合开放式生成定性分析,揭示并测量大语言模型中显式测试难以发现的内隐偏见,为AI伦理评估提供了更全面的框架。
2024-09-30 cs.AI cs.CL
Linear Representations of Political Perspective Emerge in Large Language Models
University of Chicago(芝加哥大学);Google(谷歌公司)
本文通过探测三个开源LLM的注意力头,发现模型中层存在能预测政治意识形态的线性表示,并利用线性探针和干预实现了对LLM隐含政治立场的监控与引导。
2025-04-02 cs.AI cs.CL cs.CY
Cross-Language Bias Examination in Large Language Models
Georgia Institute of Technology(佐治亚理工学院);University of Glasgow(格拉斯哥大学)
本研究提出了一种多语言偏见评估框架,通过显性与隐性偏见测量揭示LLM在不同语言中的偏见差异,强调隐性偏见检测的重要性,为公平多语言LLM的发展提供方法基础。
2025-12-17 cs.AI cs.CL cs.CY
'Since Lawyers are Males..': Examining Implicit Gender Bias in Hindi Language Generation by LLMs
Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院);Graphic Era University(图形时代大学);Jadavpur University(贾达普大学);Cornell Tech(康奈尔理工学院)
本研究探讨了 LLM 在印地语文本生成中的隐性性别偏见,开发了受 WinoBias 启发的印地语数据集测试 GPT-4o 和 Claude-3 sonnet,发现印地语性别偏见高达 87.8%,远超英语的 33.4%,揭示了跨语言偏见差异及应对考量。
2024-09-20 cs.AI cs.CL cs.HC
More Context, Larger Models, or Moral Knowledge? A Systematic Study of Schwartz Value Detection in Political Texts
PRHLT Research Center, Universitat Politècnica de València, Spain(巴塞罗那理工大学研究中心,西班牙 Valencia理工大学);School of Science, Engineering and Design, Universidad Europea de Valencia, Spain(Valencia欧洲大学科学、工程与设计学院,西班牙);Valencian Graduate School and Research Network of Artificial Intelligence (ValgrAI)(瓦伦西亚人工智能研究生学院与研究网络(ValgrAI))
本研究系统比较了上下文范围、检索增强道德知识和模型规模对政治文本中施瓦茨价值观检测的影响,发现全文档上下文和检索知识对监督编码器有效,但对零样本大语言模型帮助有限,且模型扩展不保证性能提升。
2026-09-09 cs.AI cs.CL cs.LG
Do language models practice what they preach? Examining language ideologies about gendered language reform encoded in LLMs
University of Toronto(多伦多大学)
本研究通过英语性别化语言改革案例,发现LLM在语言使用中存在政治偏见和内部不一致性,揭示了其隐含的语言意识形态,并讨论了对价值对齐的影响。
2024-09-20 cs.AI cs.CL
A word association network methodology for evaluating implicit biases in LLMs compared to humans
University of Pisa, Department of Computer Science(比萨大学计算机科学系);National Research Council of Italy, Institute of Information Science and Technologies(意大利国家研究委员会信息科学与技术研究所);University of Trento, Department of Psychology and Cognitive Science(特伦托大学心理学与认知科学系)
该研究提出一种基于语义启动的词语联想网络方法,可定量定性评估LLMs内隐偏见并实现人机直接比较,经多类社会偏见测试验证有效,为偏见跨模型跨主体评估提供可泛化框架。
2025-10-28 cs.AI cs.CL
North or South? Diagnosing LLMs' Understanding of North Korean Language, Society, and Knowledge
KAIST(韩国科学技术院)
本研究构建含1765个问题的LENS基准,评估LLMs对朝鲜语言、社会文化及特定领域知识的理解,发现模型在社会文化视角与领域知识上存在明显局限,强调需开发针对相关语境的评估资源。
2026-10-14 cs.AI cs.CL
Unfair and Unsafe: Everyday Bias Triggers Emergent Misalignment
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院AI中心)
该研究发现,基于含礼貌刻板印象的训练数据微调语言模型会引发涌现式对齐失效,使模型在不相关任务上安全性与真实性降低,且此类数据兼具公平性与安全风险。
2026-10-14 cs.AI cs.CL cs.LG
Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context
Center for Artificial Intelligence Research Nepal(尼泊尔人工智能研究中心)
本研究通过双指标评估框架,分析了大语言模型在尼泊尔文化背景下对性别、种族和社会文化刻板印象的偏见,揭示了显性一致性偏见与隐性生成偏见的关系及影响因素。
2026-03-08 cs.AI cs.CL cs.CY
Addressing Stereotypes in Large Language Models: A Critical Examination and Mitigation
UNIVERSITY OF CALIFORNIA DAVIS(加州大学戴维斯分校)
本文探讨了大型语言模型中的刻板印象问题,通过评估不同模型的偏见表现,提出增强学习策略以提升模型性能和减少偏见输出。
2025-11-18 cs.CL cs.CY cs.LG
Who Gets the Mic? Investigating Gender Bias in the Speaker Assignment of a Speech-LLM
Department of Linguistics(语言学系);Department of Speech, Music, and Hearing(语音、音乐与听觉系)
本研究通过分析语音大语言模型Bark的说话人分配来探究性别偏见,构建职业和性别色彩词语两个数据集,发现Bark虽无系统性偏见但具有性别意识和一定倾向。
2025-08-19 cs.AI cs.CL
Fine-Grained Bias Detection in LLM: Enhancing detection mechanisms for nuanced biases
Amazon(亚马逊)
本文提出一种融合上下文分析、注意力可解释性与反事实数据增强的细粒度偏见检测框架,通过对比提示和合成数据集提升大语言模型中细微偏见的识别能力,并验证其在教育、法律和医疗等敏感场景中的透明性与负责任部署价值。
2025-03-08 cs.AI cs.CL
Biased or Flawed? Mitigating Stereotypes in Generative Language Models by Addressing Task-Specific Flaws
Virginia Tech(弗吉尼亚理工大学)
本文提出通过指令微调解决理解缺陷,在不使用显式去偏技术的情况下,将生成模型在国籍、年龄等维度上的刻板印象输出减少超过60%,并强调区分偏见与任务缺陷的重要性。
2024-12-16 cs.CL cs.LG
Data Therapist: Eliciting Domain Knowledge from Subject Matter Experts Using Large Language Models
Aarhus University(奥胡斯大学);Seoul National University(首尔大学);Oregon State University(俄勒冈州立大学)
Data Therapist是一个基于Web的系统,通过结合大型语言模型驱动的迭代问答与交互式注释,帮助领域专家外化数据中的隐性知识,以支持人类与自动化的可视化设计。
2025-10-31 cs.AI cs.HC
Othering and low status framing of immigrant cuisines in US restaurant reviews and large language models
Stanford University(斯坦福大学)
本研究通过分析210万条Yelp评论和LLM生成文本,发现移民美食常被他者化并赋予低地位框架,证实了表征性伤害在在线语料库和模型生成中的存在与延续。
2024-03-25 cs.AI cs.CL
Assessing LLMs for Moral Value Pluralism
Smart Information Flow Technologies(智能信息流技术公司);Google Inc.(谷歌公司);University of Florida(佛罗里达大学)
本研究借鉴社会科学的世界价值观调查(WVS),结合价值共鸣识别(RVR)NLP模型量化评估大语言模型(LLMs)的隐性道德价值观,发现LLMs存在西方中心的价值偏差,呼吁构建适配价值多元性的技术方案。
2023-12-08 cs.AI cs.CL
The "LLM World of Words" English free association norms generated by large language models
University of Pisa(比萨大学);University of Trento(特伦托大学);National Research Council of Italy(意大利国家研究委员会)
本文构建约12,000词的 LWOW 自由联想数据集,通过 Mistral、Llama3 和 Haiku 对齐 SWOW,并建立语义记忆网络以分析人类与 LLM 的隐性偏见。
2024-12-02 cs.AI cs.CL
Jacobian Scopes: A Unified Geometric Framework for Token-Level LLM Attribution
Cornell University(康奈尔大学);Imperial College London(伦敦帝国理工学院);Goodfire AI
提出Jacobian Scopes,一种基于梯度的令牌级因果归因方法,用于解释LLM预测,揭示政治偏见、翻译策略和上下文学习机制。
2026-10-30 cs.AI cs.CL
Large Language Models as Implicit Sociological Models: Reconstructing Voting Behaviour from Sociodemographic Profiles
Institute of Computer Science, Czech Academy of Sciences(捷克科学院计算机研究所);Faculty of Arts, Charles University(查理大学艺术学院)
本研究提出将大型语言模型作为隐含社会学模型的方法论框架,以2021年捷克议会选举为案例,证实其可从社会人口统计特征重建投票行为,为计算社会科学提供新探索工具并明确其局限。
2026-08-18 cs.CL cs.CY cs.LG
Interventions for Ranking in the Presence of Implicit Bias
Yale University(耶鲁大学);Indian Institute of Technology, Kanpur(坎pur印度理工学院)
内隐偏见是将特定品质(或缺乏)无意识地归因于来自特定社会群体的成员(例如,按性别或种族划分)。对内隐偏见的研究表明,这些无意识的刻板印象在各种社会背景下都会产生不良后果,例如工作筛选,教学或警务。最近,(Kleinberg和Raghavan,2018)考虑了隐式偏差的数学模型,并证明了鲁尼规则作为约束的有效性,以提高子集选择问题某些情况下结果的效用。在这里,我们研究的问题,设计干预措施的泛化子集选择-排名-需要输出一个有序的集合,是一个中央原语在各种社会和计算环境。我们提出了一系列简单且可解释的约束条件,并表明它们可以最佳地减轻隐式偏差,以推广(Kleinberg和Raghavan,2018)中研究的模型。随后,我们证明,在自然分布的假设下,项目的效用,简单的,鲁尼规则一样,约束也可以令人惊讶地恢复几乎所有的效用损失,由于隐含的偏见。最后,我们用来自IIT-JEE(2009)数据集和Semantic Scholar Research语料库的真实世界分布的经验发现来增强我们的理论结果。
2020-01-23 cs.AI cs.CY cs.DS
No Thoughts Just AI: Biased LLM Hiring Recommendations Alter Human Decision Making and Limit Human Autonomy
Kyra Wilson(1 Kyra Wilson);Mattea Sim(2 Mattea Sim)
本研究通过简历筛选实验发现,有偏见的AI招聘推荐会显著改变人类决策,使人们高达90%的时间偏向AI偏爱的群体,并限制人类自主性,即使人们认为AI推荐质量低也仍受影响。
2025-09-08 cs.AI cs.CL cs.CY
A Comprehensive Study of Implicit and Explicit Biases in Large Language Models
University of California, Davis(加州大学戴维斯分校)
该研究针对大型语言模型(LLMs)中的隐式和显式偏见问题,通过分析StereoSet等基准并提出自动化偏见识别框架,评估了BERT等模型的偏见情况,经提示微调等增强策略使模型在隐式偏见基准上性能提升达20%。
2025-11-18 cs.CY cs.LG
Uncovering Bias in Foundation Models: Impact, Testing, Harm, and Mitigation
Nankai University(南开大学);University of Oulu(奥卢大学);National University of Defense Technology(国防科技大学)
本研究提出TriProTesting测试方法和AdaLogAdjustment后处理技术,揭示并缓解CLIP等基础模型在性别、种族等属性上的显性和混合偏见,无需重训练即可显著提升公平性。
2025-01-14 cs.AI cs.CY cs.LG
ValNorm Quantifies Semantics to Reveal Consistent Valence Biases Across Languages and Over Centuries
Georgetown University(乔治城大学);University of Washington(华盛顿大学)
词嵌入从由词共现统计捕获的语言偏差中学习隐式偏差。通过扩展量化词嵌入中类人偏见的方法,我们引入了ValNorm,一种新的内在评价任务和方法来量化人类评价词集中的情感效价维度。我们将ValNorm应用于来自七种语言(中文,英语,德语,波兰语,葡萄牙语,西班牙语和土耳其语)和跨越200年的历史英语文本的静态词嵌入。ValNorm在量化非歧视性、非社会群体词集的效价方面实现了持续的高准确性。具体而言,ValNorm实现了皮尔逊相关性r=0.88的人类判断分数的效价为399个单词收集建立愉快的规范在英语中。相比之下,我们使用同一组词嵌入来衡量性别刻板印象,并发现社会偏见因语言而异。我们的研究结果表明,非歧视性,非社会群体词的配价协会代表了广泛共享的协会,在七种语言和超过200年。
2021-11-08 cs.AI cs.CL cs.CY
Tracing the Latent Threads: A Mechanistic Study of How LLMs Represent and Operationalize Race and Ethnicity Cues
University of Colorado Anschutz(科罗拉多大学安施茨分校);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Aberdeen(阿伯丁大学)
研究探讨了种族和族裔在大语言模型中的表示和偏见机制,通过实验发现人口信息在模型内部的分布差异,并提出干预方法以减少偏见影响。
2026-09-01 cs.CL cs.LG
Large-Scale, Longitudinal Study of Large Language Models During the 2024 US Election Season
本文对12个大语言模型在2024年美国大选季进行了包含超12000个问题的大规模纵向研究,系统分析了模型行为的时间变化、引导敏感性、候选人信念及选举结果隐式预测,并公开发布了数据集。
2025-09-22 cs.CY cs.LG
Template-Based Probes Are Imperfect Lenses for Counterfactual Bias Evaluation in LLMs
Vector Institute(向量研究所);York University(约克大学)
本研究发现基于模板的探测器在评估大语言模型中的反事实偏见时存在系统性扭曲,需更严谨的方法以区分真实偏见与语言惯例影响。
2026-01-14 cs.CL cs.CY cs.LG