Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Skyfall AI(天空fall人工智能公司);McGill University(麦吉尔大学)
该研究提出语义老虎机框架,发现LLM的探索-利用受语义先验偏置,语义标签对齐奖励可提升性能,负奖励比同等正奖励触发更多探索,为LLM智能体决策可靠性提供了新见解。
2026-08-18 cs.AI cs.CL
JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language Models
The University of Tokyo(东京大学);Riken(理化学研究所);Hokkaido University(北海道大学)
本研究构建了日语偏见基准数据集JBBQ以分析日语大语言模型的社会偏见,发现大参数量开源日语LLM准确率提升但偏见得分上升,偏见警示提示与思维链提示可降低偏见影响,日语上下文证据提取仍有改进空间。
2025-06-13 cs.CL
Breaking Bias, Building Bridges: Evaluation and Mitigation of Social Biases in LLMs via Contact Hypothesis
George Mason University(乔治梅森大学);University of Washington(华盛顿大学)
本文基于社会心理学接触假说构建108,000条提示,评估三款LLM在13个维度的社会偏见,并提出SCD指令微调方法,使LLaMA 2偏见最高降低40%。
2024-07-02 cs.CL
Evaluating Implicit Biases in LLM Reasoning through Logic Grid Puzzles
Rutgers University(罗格斯大学);Johns Hopkins University(约翰霍普金斯大学)
提出PRIME框架,利用逻辑网格谜题系统探测LLM在复杂推理中受社会刻板印象的影响,发现模型在解与刻板印象一致时推理更准确。
2026-07-02 cs.AI cs.CL cs.CY
Identifying High-Confidence Social Biases in LLMs for Trustworthy Conversational Tutoring Agents
University of Hawaii at Manoa(夏威夷大学马诺亚分校)
本研究通过生成对话数据集,评估大型语言模型在辅导场景中检测社会偏见的能力,发现模型在对话上下文中比基准测试更难检测偏见,且对错误判断过度自信,影响推理和反馈。
2026-06-01 cs.AI cs.CL
Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases
NVIDIA(英伟达);California Institute of Technology(加州理工学院)
检测文本中的社会偏见是具有挑战性的,因为细微差别,主观性,以及难以获得高质量的大规模标记数据集,特别是考虑到社会偏见和社会的演变性质。为了解决这些挑战,我们提出了一种基于Few-Shot的方法来提示预训练的语言模型(LM)。我们从一个小的支持库中选择了一些类平衡的样本,这些样本最接近嵌入空间中要标记的查询。然后,我们为LM提供指令,该指令由标记样本的子集、要分类的查询文本、偏差的定义组成,并提示LM做出决定。我们证明了在Few-Shot上下文中使用的大型LM可以检测不同类型的细粒度偏差,其精度与微调模型相似,有时甚至更高。我们观察到,与较小的模型相比,最大的530B参数模型在检测社会偏见方面明显更有效(与其他模型相比,AUC指标至少提高了13%)。当标记的储存库减少到$100$样品时,它也保持高AUC(下降小于2%)。因此,大型的预训练语言模型使得构建新的偏见检测器变得更容易和更快。
2022-04-15 cs.AI cs.CL
Social Debiasing for Fair Multi-modal LLMs
National University of Singapore(新加坡国立大学);University of Warwick(华威大学);Ant Group(蚂蚁集团);Shandong University(山东大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对多模态大语言模型(MLLMs)的社会偏见问题,本文构建含18种平衡社会概念的综合反事实数据集(CMSC),提出结合偏见感知采样与损失重缩放的反刻板印象去偏(CSD)策略,在不降低通用性能的前提下有效减少偏见。
2025-08-20 cs.AI cs.CL
Identifying Implicit Social Biases in Vision-Language Models
MIT(麻省理工学院);University of Virginia(弗吉尼亚大学)
本研究系统分析CLIP视觉-语言模型中的社会偏见,提出So-B-IT分类体系,发现模型在图像检索中常将有害词与特定群体不当关联,并揭示训练数据是偏见来源,强调评估与公平性数据策划的重要性。
2024-11-01 cs.AI cs.CL cs.CV
SocialCounterfactuals: Probing and Mitigating Intersectional Social Biases in Vision-Language Models with Counterfactual Examples
Intel Labs(英特尔实验室)
本文提出 SocialCounterfactuals,利用受控 Stable Diffusion 生成并筛选 171k 反事实图文对,用于探测和缓解 VLM 中性别、种族及身体特征的交叉社会偏见。
2024-04-09 cs.AI cs.CV
Do LLMs Align Human Values Regarding Social Biases? Judging and Explaining Social Biases with LLMs
Kyoto University(京都大学)
本研究探讨LLM在社交偏见上与人类价值观的对齐,通过对12个模型和4个数据集的分析发现,大模型参数规模不必然降低错位率,同家族模型判断一致性更高,且微调后的小模型生成的解释更具可读性但同意率较低。
2025-09-17 cs.CL
HESEIA: A community-based dataset for evaluating social biases in large language models, co-designed in real school settings in Latin America
First Author Affiliation(第一作者机构);Second Author Affiliation(第二作者机构)
本文提出HESEIA数据集,由拉丁美洲学校师生共同设计,包含46,499个句子,用于评估大型语言模型中的交叉社会偏见,发现其包含更多现有LLM未识别的刻板印象。
2025-05-30 cs.CL cs.CY
IndRegBias: A Dataset for Studying Indian Regional Biases in English and Code-Mixed Social Media Comments
Department of Data Science and Engineering, Indian Institute of Science Education and Research(数据科学与工程系,印度科学教育与研究学院);Oracle Industries AI, Oracle Corporation(Oracle人工智能部,Oracle公司)
本文提出IndRegBias数据集,用于研究印度地区偏见,通过多级标注策略评估LLM和ILM在检测地区偏见及严重性方面的性能。
2026-01-13 cs.CL cs.CY cs.SI
Uncovering and Categorizing Social Biases in Text-to-SQL
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
针对 Text-to-SQL 模型在中立数据集上训练可能掩盖社会偏见的问题,本文构建测试基准并分类结构化数据中的偏见,揭示准确率相近模型的偏见率差异。
2023-06-07 cs.CL
"Not in My Backyard": LLMs Uncover Online and Offline Social Biases Against Homelessness
University of Notre Dame(诺丁汉大学);United Nations University Institute in Macau(联合国大学澳门研究所)
本文通过大规模数据集和LLM训练揭示了针对无家可归者的在线和线下社会偏见,展示了数据量对模型性能的重要性。
2026-08-03 cs.AI cs.CL cs.CY
BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models
California Institute of Technology(加州理工学院);NVIDIA(英伟达)
本文提出 BiasTestGPT,利用 ChatGPT 按任意社会群体与属性组合可控生成多样化测试句,并以开源框架接入 PLM,从而更有效地检测包括交叉性偏见在内的社会偏见。
2023-12-06 cs.CL cs.CY
Empathetic Cascading Networks: A Multi-Stage Prompting Technique for Reducing Social Biases in Large Language Models
ECN通过多阶段提示技术减少大型语言模型的社会偏见,提升对话AI的共情与包容性。
2026-02-19 cs.AI cs.CL
Evaluation of Social Biases in Recent Large Pre-Trained Models
本文评估了 ELECTRA、DeBERTa 和 DistilBERT 三个近期预训练模型在 StereoSet 和 CrowS-Pairs 基准上的社会偏见,发现它们虽仍存在偏见,但相比 BERT 总体有所减少。
2023-04-13 cs.CL cs.CY cs.LG
An Analysis of Social Biases Present in BERT Variants Across Multiple Languages
Mila(米拉研究所);McGill University(麦吉尔大学)
虽然大型预训练语言模型在许多NLP任务中取得了巨大的成功,但已经表明它们反映了来自预训练语料库的人类偏见。当这些模型应用于现实世界时,这种偏差可能会导致不良结果。在本文中,我们调查的偏见存在于单语BERT模型在不同的语言(英语,希腊语和波斯语)。虽然最近的研究主要集中在与性别有关的偏见,我们分析宗教和种族偏见,以及提出了一个基于模板的方法来衡量任何类型的偏见,基于句子伪似然,可以处理形态复杂的语言与基于性别的形容词变格。我们通过这种方法分析了每个单语模型,并可视化了不同偏见维度的文化相似性和差异。最终,我们得出结论,目前的方法探测偏见是高度依赖于语言,需要文化的见解,关于偏见的独特方式,在每种语言和文化(例如,通过编码语言,提喻,和其他类似的语言概念)。我们还假设,非英语BERT模型中较高的社会偏见与用户生成的内容相关。
2022-11-25 cs.CL cs.CY cs.LG
FAIRGAMER: Evaluating Social Biases in LLM-Based Video Game NPCs
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Johns Hopkins University(约翰霍普金斯大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院)
FAIRGAMER通过评估三种交互模式中的社会偏见,揭示了基于LLM的视频游戏NPC在决策上的偏见问题,并指出更大模型可能加剧这些偏见。
2026-01-21 cs.AI
On Measuring Social Biases in Prompt-Based Multi-Task Learning
Boston University(波士顿大学);Harvard University(哈佛大学);Koç University(科奇大学)
大语言模型在混合的NLP任务上训练,这些任务使用提示转换为文本到文本格式,可以概括为新的语言形式并处理新的任务。提示工程中的大量工作试图了解输入表单和提示在实现卓越性能方面的效果。我们考虑一种替代措施,并询问输入编码的方式是否会影响输出中促进的社会偏见。在本文中,我们研究了T0,一个大规模的多任务文本到文本的语言模型训练使用基于学习。我们考虑两种不同形式的语义等价输入:问题-答案格式和前提-假设格式。我们使用现有的偏见基准为前烧烤和创建第一个偏见基准在自然语言推理BBNLI与手写的假设,同时也将每个基准转换成其他形式。两个基准测试的结果表明,给定基本相同输入的两种不同配方,T0在训练期间看到的问答形式中的行为明显比与其训练样本不同的前提假设形式更有偏见。代码和数据在https://github.com/feyzaakyurek/bbnli下发布。
2022-05-23 cs.CL cs.CY
BanStereoSet: A Dataset to Measure Stereotypical Social Biases in LLMs for Bangla
University of South Florida(佛罗里达州立大学);North South University(北南大学)
本研究提出BanStereoSet数据集,通过本地化现有数据集构建包含1,194个句子、覆盖9类偏见的孟加拉语资源,用于评估多语言LLMs中的刻板社会偏见,分析显示模型存在显著偏见,强调了文化适应数据集的重要性。
2025-05-29 cs.CL
Intent-Aware Self-Correction for Mitigating Social Biases in Large Language Models
Institute of Science Tokyo(东京科学大学);MBZUAI(Mohamed bin Zayed 人工智能大学);AIST(独立行政法人产业技术综合研究所);NII(独立行政法人情报通信研究机构)
本文提出意图感知的自校正方法,通过在指令、响应和反馈三部分澄清去偏意图,并结合思维链与多方面反馈,显著提升大语言模型减少社会偏见的稳健性与一致性。
2025-03-08 cs.AI cs.CL
Prompt Tuning Pushes Farther, Contrastive Learning Pulls Closer: A Two-Stage Approach to Mitigate Social Biases
Jilin University(吉林大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出CCPA二阶段去偏方法,通过连续提示增强推远群体表示距离,再用对比学习拉近增强样本对距离,以提升预训练语言模型的社会偏见缓解效果并保持语言建模能力。
2023-07-04 cs.AI cs.CL
Probing Intersectional Biases in Vision-Language Models with Counterfactual Examples
Intel Labs(英特尔实验室)
本文提出用带交叉注意力控制的Stable Diffusion生成仅改变种族、性别等交叉社会属性的反事实图文对,并据此评估揭示先进VLM中的交叉偏见。
2023-10-04 cs.AI cs.CV
A Detailed Study on LLM Biases Concerning Corporate Social Responsibility and Green Supply Chains
Research Center Trustworthy Data Science and Security, University Alliance Ruhr(可信数据科学与安全研究所以及鲁尔大学联盟);Department of Computer Science, University of Duisburg-Essen(杜伊斯堡- Essen大学计算机科学系);Department of Computer Science, Technical University Dortmund(图恩大学计算机科学系);Chair of Mathematical Statistics and Applications in Industry, Technical University Dortmund(工业数学统计与应用教授职位,图恩大学)
本研究系统分析了不同LLMs在可持续商业与供应链实践调查中的偏见,发现模型间存在显著系统性差异,且组织文化提示词会大幅改变模型回复,为可持续性背景下的LLM辅助决策提供了重要启示。
2025-11-03 cs.AI cs.CY
Quantifying Social Biases Using Templates is Unreliable
UC Irvine(加州大学欧文分校)
最近,人们越来越多地致力于了解大语言模型(LLM)如何传播和放大社会偏见。一些作品利用模板进行公平性评估,这使得研究人员能够在没有受保护属性标签的测试集的情况下量化社会偏见。虽然模板评估可以是一种方便和有用的诊断工具,以了解模型的缺陷,它往往使用一个简单的和有限的模板集。在本文中,我们研究是否偏置测量是敏感的基准用于模板的选择。具体来说,我们调查的不稳定性的偏差测量手动修改模板提出在以前的作品中的语义保留的方式和测量偏差在这些修改。我们发现,偏见值和由此产生的结论有很大的不同,在四个任务的模板修改,范围从81%的减少(NLI)到162%的增加(MLM)(特定任务)的偏见测量。我们的研究结果表明,在LLM中量化公平性,在目前的实践中,可以是脆弱的,需要更加小心和谨慎。
2022-10-09 cs.CL cs.LG
BiasCause: Evaluate Socially Biased Causal Reasoning of Large Language Models
Google(谷歌);The Ohio State University(俄亥俄州立大学)
本文提出BiasCause框架,评估LLMs在回答社会偏见问题时的因果推理,揭示其偏见产生机制及去偏策略。
2026-03-10 cs.CL
Large Language Models Show Human-like Social Desirability Biases in Survey Responses
Stanford University(斯坦福大学);Receptiviti(瑞瑟普蒂蒂公司);New York University(纽约大学);University of Pennsylvania(宾夕法尼亚大学)
本研究通过大五人格问卷实验发现GPT-4、Claude 3、Llama 3等LLMs在感知被评估时会表现出类似人类的社会期望偏差,且较新模型偏差更大,提示需谨慎用心理测量测试画像LLMs或将其作为人类参与者替代品。
2024-11-21 cs.AI cs.CL cs.CY
Survey of Social Bias in Vision-Language Models
The Hong Kong University of Science and Technology(香港科技大学);Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心)
本文综述 NLP、CV 与视觉-语言预训练模型中的社会偏见研究,比较其异同并为单模态与多模态场景下的偏见识别、缓解及公平 AI 开发提供指导。
2023-09-24 cs.AI cs.CL
IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context
IIT Bombay(印度理工学院孟买分校);Google(谷歌);Adobe Research(奥多比研究院)
本文构建英语—印地语双语基准 IndiBias,覆盖印度多类社会与交叉性偏见,并据此评估十个语言模型,发现其在多数交叉群体中偏见更明显。
2024-04-03 cs.CL
Mitigating LLM biases toward spurious social contexts using direct preference optimization
Stanford University(斯坦福大学)
本文研究了LLM对虚假社会情境的鲁棒性,提出Debiasing-DPO方法,通过自监督训练和监督微调减少偏见并提升预测准确性。
2026-08-27 cs.AI cs.CL
The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models
Chinese University of Hong Kong(香港中文大学);Peking University(北京大学);National University of Singapore(新加坡国立大学);Microsoft Research(微软研究院);IBM Research(IBM研究院)
本文提出 Social Bias Neurons 概念,利用 IG² 定位 PLM 中导致社会偏见的神经元,并通过 BNS 抑制这些神经元,以低成本在保持语言建模能力的同时提升公平性。
2024-06-14 cs.CL
From Perils to Possibilities: Understanding how Human (and AI) Biases affect Online Fora
University of Pisa(比萨大学);CNR-ISTI(意大利国家研究委员会信息科学与技术研究所)
本综述通过在线辩论、在线支持和人机交互三个视角,探讨了社交媒体中社交互动、用户生成内容与偏见的动态,揭示了社交媒体在隔离与共情、人类与非人类偏见等方面的风险与可能性双重性。
2024-03-21 cs.AI cs.HC cs.SI
Evaluating LLMs for Demographic-Targeted Social Bias Detection: A Comprehensive Benchmark Study
本文通过评估LLM在检测定向社会偏见的能力,探讨了多标签任务和多种技术的系统性评估,揭示了规模化检测的潜力与不足。
2026-04-09 cs.CL cs.CY cs.LG
Social Bias Evaluation for Large Language Models Requires Prompt Variations
Tokyo Institute of Technology(东京工业大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);National Institute of Informatics(情报信息学研究所)
本文研究大语言模型社会偏见评估对提示变体的敏感性,发现提示变化会导致模型排名波动并揭示性能与偏见之间的权衡,建议使用多样化提示进行评估。
2024-07-03 cs.CL
Understanding the Effect of Model Compression on Social Bias in Large Language Models
Carnegie Mellon University(卡内基梅隆大学);Universidade NOVA de Lisboa(新里斯本大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
该研究针对模型压缩与大语言模型社会偏见的相互作用开展受控实验,发现量化有正则化效应,在约20%原预训练时长时达到偏见与性能的最佳权衡,填补了两类方法交互研究的空白。
2023-12-12 cs.CL
Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models
National Taiwan University(台湾大学)
本研究针对语音大语言模型的社会偏见问题,推出专用评估数据集Spoken Stereoset,通过测试模型对不同人口群体语音的回应识别偏见,发现多数模型偏见极低但部分仍有轻微刻板或反刻板倾向。
2024-08-14 cs.CL eess.AS
Towards Socially and Morally Aware RL agent: Reward Design With LLM
本研究针对RL智能体目标设定不完整导致违背社会道德规范的问题,提出利用LLM对道德与社会规范的理解作为安全探索增强RL方法的直接奖励信号,并验证了其有效性。
2024-05-30 cs.AI
Persona Setting Pitfall: Persistent Outgroup Biases in Large Language Models Arising from Social Identity Adoption
KAIST(韩国科学技术院);Gyeongsang National University(庆尚国立大学);MPI-SP(马克斯·普朗克软件系统研究所)
研究基于社会认同理论考察LLM在提示身份设定下产生的外群体偏见,证明其与内群体偏好同样强烈,并通过视角采纳缓解政治与性别偏见。
2024-09-05 cs.CL
KoSBi: A Dataset for Mitigating Social Bias Risks Towards Safer Large Language Model Application
NAVER AI Lab(NAVER人工智能实验室);NAVER Cloud(NAVER云);Seoul National University(首尔国立大学);University of Richmond(里士满大学)
针对韩国语言文化背景下大语言模型社会偏见资源不足的问题,本文构建了覆盖72个人口群体的34k对韩语社会偏见数据集KoSBi,并验证基于过滤的调节可使HyperCLOVA和GPT-3的偏见平均降低16.47个百分点。
2023-05-30 cs.CL
Social Bias in Large Language Models For Bangla: An Empirical Study on Gender and Religious Bias
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学)
针对孟加拉语大语言模型偏见研究匮乏的问题,该研究考察其性别与宗教两类社会偏见,构建偏见测量基准数据集,测试两种探测技术,为该领域首项同类研究,资源公开可用。
2024-12-13 cs.CL
What's Not Said Still Hurts: A Description-Based Evaluation Framework for Measuring Social Bias in LLMs
George Mason University(乔治·马歇尔大学)
针对LLM表面规避偏见但隐蔽语境偏见仍存的问题,提出基于描述的偏见基准(DBB),在语义层面评估现实场景中隐藏的社会偏见,发现6个先进模型在术语层面减少偏见但细微语境下仍强化偏见。
2025-09-16 cs.CL
Bias Mitigation or Cultural Commonsense? Evaluating LLMs with a Japanese Dataset
The University of Tokyo(东京大学);Riken(理化学研究所);University of Liverpool(利物浦大学)
本文提出日语基准SOBACO,统一评估LLM的社会偏见与文化常识,发现去偏见方法会显著损害文化常识表现,强调需在公平性与实用性间权衡。
2025-09-29 cs.CL
Probing Social Identity Bias in Chinese LLMs with Gendered Pronouns and Social Groups
Department of Electronics, Information and Bioengineering, Politecnico di Milano(电子、信息与生物工程系,米兰理工大学);University of Science and Technology of China(中国科学技术大学)
通过设计考虑中文语言特性的提示,评估十种代表性中文大语言模型在240个社会群体上的内群体与外群体框架下的情感和毒性偏见,发现系统性不对称且指令调优减少情感偏见但毒性差距更持久,女性标记代词与更高毒性相关。
2026-05-26 cs.CL
SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance
Virginia Tech(弗吉尼亚理工大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校);Dartmouth College(达特茅斯学院)
SAGE通过代数稀疏化和双曲结构引导,统一缓解长程推理中的探索与复合偏差,在12个基准上超越基线,并在Andrews-Curtis问题上实现8倍改进。
2026-11-04 cs.AI
Interpreting Social Bias in LVLMs via Information Flow Analysis and Multi-Round Dialogue Evaluation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Shandong University(山东大学);Institute of Deep Perception Technology, JITRI(深度感知技术研究所)
本文提出结合信息流分析与多轮对话评估的解释框架,揭示了LVLMs中社会偏见源于不平衡的内部信息利用,并提供了跨模态解释。
2025-05-27 cs.AI
Evaluating Second-Order Bias of LLMs Through Epistemic Entitlement
University of Toronto(多伦多大学);Vector Institute(向量研究所);EuroSafeAI;Max Planck Institute for Intelligent Systems, Tübingen, Germany(马克斯·普朗克智能系统研究所(德国图宾根))
提出基于认知权利理论的逻辑推理任务,评估LLM在判断偏见内容时表现出的二阶偏见,发现模型判断存在系统性偏差且能规避安全护栏。
2026-09-02 cs.CL
Draw an Ugly Person An Exploration of Generative AIs Perceptions of Ugliness
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究通过四个生成式AI模型生成624张图像,调查了AI对丑陋的理解与偏见,发现其不成比例地将丑陋与年长白人男性联系,且在避免刻板印象时产生悖论性偏见,凸显了构建包容性AI训练范式的紧迫性。
2025-07-16 cs.AI cs.HC
On Measuring Social Biases in Sentence Encoders
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
词嵌入关联测试表明,GloVe和word2vec词嵌入表现出基于性别、种族和其他社会结构的类似人类的内隐偏见(Caliskan等人,2017年)的报告。与此同时,学习可重用文本表示的研究已经开始探索高级文本,一些句子编码器看到了热情的采用。因此,我们扩展了词嵌入关联测试来测量句子编码器中的偏差。然后,我们测试了几个句子编码器,包括最先进的方法,如ELMo和BERT,在以前的工作中研究的社会偏见和两个重要的偏见,很难或不可能在单词水平上测试。我们观察到混合的结果,包括可疑的敏感性模式,这表明测试的假设可能并不普遍。最后,我们提出了未来工作的方向,衡量句子编码器的偏见。
2019-03-25 cs.CL cs.CY
The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所)
本研究通过对比社会偏见与非社会偏见,模拟数据集构建中的无害修改,发现浅层修改显著影响Winogender和BiasNLI基准上的偏见分数,呼吁更稳健的社会偏见度量。
2023-06-16 cs.CL cs.CY cs.LG
The Lifecycle of "Facts": A Survey of Social Bias in Knowledge Graphs
Universität Hamburg(汉堡大学);Hamburger Informatik Technologie-Center e.V. (HITeC)(汉堡信息技术中心协会)
本文综述了知识图谱生命周期各阶段中社会偏见的来源、传播与呈现方式,分析现有测量和缓解方法的局限,并提出未来研究方向。
2022-10-07 cs.AI cs.CL cs.CY
Evaluating Biased Attitude Associations of Language Models in an Intersectional Context
George Washington University(乔治华盛顿大学);University of Washington(华盛顿大学)
本文提出基于概念投影的效价子空间方法,在交叉性语境中量化英语语言模型对12类社会群体的偏见态度关联,发现模型对性别认同、社会阶层和性取向偏见最强,且性能越好的模型偏见越明显。
2023-07-07 cs.AI cs.CL cs.CY
ValNorm Quantifies Semantics to Reveal Consistent Valence Biases Across Languages and Over Centuries
Georgetown University(乔治城大学);University of Washington(华盛顿大学)
词嵌入从由词共现统计捕获的语言偏差中学习隐式偏差。通过扩展量化词嵌入中类人偏见的方法,我们引入了ValNorm,一种新的内在评价任务和方法来量化人类评价词集中的情感效价维度。我们将ValNorm应用于来自七种语言(中文,英语,德语,波兰语,葡萄牙语,西班牙语和土耳其语)和跨越200年的历史英语文本的静态词嵌入。ValNorm在量化非歧视性、非社会群体词集的效价方面实现了持续的高准确性。具体而言,ValNorm实现了皮尔逊相关性r=0.88的人类判断分数的效价为399个单词收集建立愉快的规范在英语中。相比之下,我们使用同一组词嵌入来衡量性别刻板印象,并发现社会偏见因语言而异。我们的研究结果表明,非歧视性,非社会群体词的配价协会代表了广泛共享的协会,在七种语言和超过200年。
2021-11-08 cs.AI cs.CL cs.CY
A Biased Review of Biases in Twitter Studies on Political Collective Action
近年来,研究人员被社交媒体平台(尤其是Twitter)吸引,将其作为对社会现象进行实证分析的沃土。社交媒体为研究人员提供了追踪互动和话语的数据,这些数据曾经在离线世界中没有记录。研究人员试图利用这些数据来解释社交媒体特有的社会现象,并适用于更广泛的社会世界。本文对基于Twitter的政治人群行为研究进行了简要回顾。这些文献提供了对Twitter上特定社会现象的洞察力,但往往未能使用标准化的方法,允许超越个人研究的解释。此外,这些文献未能将方法和结果建立在社会或政治理论的基础上,将实证研究与解释它所需的理论相分离。相反,论文主要关注社交媒体分析的方法创新,但这些方法往往无法充分证明这些方法的有效性。这篇小评论考虑了少数选定的论文;我们分析了他们(通常缺乏)的理论方法,回顾了他们的方法论创新,并就他们的结果与政治学家和社会学家的相关性提出了建议。
2016-05-16 cs.CY cs.SI physics.data-an