Open-DeBias: Toward Mitigating Open-Set Bias in Language Models
Mehta Family School of DS & AI, Indian Institute of Technology Roorkee(梅hta家庭数据科学与人工智能学院,印度理工学院罗里克分校);Computer Science and Engineering, Indian Institute of Technology Bombay(计算机科学与工程,印度理工学院孟买分校)
针对语言模型开放集偏见难以覆盖新型偏见的问题,本文提出 OpenBiasBench 基准与参数高效的 Open-DeBias 方法,在 BBQ、韩语 BBQ 及多项偏见评测中验证其泛化与去偏见效果。
2025-09-28 cs.CL
Modular and On-demand Bias Mitigation with Attribute-Removal Subnetworks
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Linz Institute of Technology(林茨技术研究所)
针对预训练语言模型去偏难以按需切换的问题,本文提出基于稀疏 diff pruning 的可插拔去偏子网络,在保持任务性能的同时支持按受保护属性选择性缓解偏见。
2023-06-04 cs.CL cs.CY cs.LG
An Empirical Survey of the Effectiveness of Debiasing Techniques for Pre-trained Language Models
Mila(米拉研究所);McGill University(麦吉尔大学);Facebook(脸书)
最近的研究表明,预先训练的语言模型可以从大量的文本中捕捉到社会偏见,这引起了人们对开发减轻这种偏见的技术的关注。在这项工作中,我们进行了实证调查最近提出的偏见缓解技术:反事实数据增强(CDA),辍学,迭代零空间投影,自我Debias,和SentenceDebias。我们使用三个内在偏差基准来量化每种技术的有效性,同时还测量这些技术对模型语言建模能力的影响,以及其对下游NLU任务的性能。我们通过实验发现:(1)Self-Debias是最强的去偏置技术,在所有偏置基准上都获得了提高的分数;(2)当前的去偏置技术在减轻非性别偏置时表现不太一致;(3)通过使用去偏置策略对StereoSet和CrowS-Pairs等偏置基准的改进通常伴随着语言建模能力的下降,这使得很难确定偏置减轻是否有效。
2022-04-03 cs.CL cs.LG
Cross-Lingual Transfer of Debiasing and Detoxification in Multilingual LLMs: An Extensive Investigation
Institute for Logic, Language and Computation, University of Amsterdam(逻辑、语言与计算研究所,阿姆斯特丹大学);Center for Language and Cognition, University of Groningen(语言与认知中心,格罗宁根大学)
本研究探讨多语言LLM中通过英语微调实现去偏与去毒的跨语言迁移效果,发现DPO能有效降毒且迁移程度可预测,但会牺牲非英语生成能力,凸显了开发语言特定缓解方法的必要性。
2025-06-02 cs.CL
Breaking Bias, Building Bridges: Evaluation and Mitigation of Social Biases in LLMs via Contact Hypothesis
George Mason University(乔治梅森大学);University of Washington(华盛顿大学)
本文基于社会心理学接触假说构建108,000条提示,评估三款LLM在13个维度的社会偏见,并提出SCD指令微调方法,使LLaMA 2偏见最高降低40%。
2024-07-02 cs.CL
Towards Resource Efficient and Interpretable Bias Mitigation in Large Language Models
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种通过小型专家模型高效缓解大型语言模型偏见的方法,通过解码时添加去偏信号,减少性别、种族和宗教偏见,同时保持语言模型性能。
2026-03-05 cs.CL
Towards Transfer Unlearning: Empirical Evidence of Cross-Domain Bias Mitigation
The University of Tokyo(东京大学);The University of Edinburgh(爱丁堡大学);RIKEN AIP(理化学研究所人工智能项目)
本文提出一种基于掩码语言建模的遗忘技术,通过对仇恨言论执行梯度上升来选择性遗忘有害内容,有效缓解LLMs偏见并保持语言能力,且揭示了跨领域迁移遗忘的潜力。
2024-07-24 cs.CL cs.LG
Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes
Stanford University(斯坦福大学);Adobe Research(奥多比研究院)
本研究提出零样本自去偏技术,利用大型语言模型自身能力,通过解释和重新提示两种方法,在不修改模型的情况下显著减少九个社会群体的刻板印象偏见。
2024-02-03 cs.AI cs.CL cs.CY
Projective Methods for Mitigating Gender Bias in Pre-trained Language Models
National Research Council Canada(加拿大国家研究委员会);University of Guelph(圭尔夫大学)
本研究探讨投影去偏方法在BERT内部表示中的应用,发现其能有效缓解内在及下游性别偏差,但两者相关性不强,提示不应仅依赖内在偏差测试集评估去偏效果。
2024-03-27 cs.CL
Self-Adaptive Cognitive Debiasing for Large Language Models in Decision-Making
Shandong University(山东大学);University of Amsterdam(阿姆斯特丹大学);University of Birmingham(伯明翰大学);Leiden University(莱顿大学)
针对LLMs在决策中存在的认知偏差问题,提出自适应认知去偏方法SACD,通过偏差判定、分析和去偏三个步骤迭代优化提示,在金融、医疗和法律任务中有效降低了单偏差与多偏差场景下的平均偏差分数。
2025-11-02 cs.CL
Co$^2$PT: Mitigating Bias in Pre-trained Language Models through Counterfactual Contrastive Prompt Tuning
Texas A&M University(德州农工大学);George Mason University(乔治梅森大学)
针对预训练语言模型在下游应用中放大社会偏见的问题,提出了一种名为Co$^2$PT的高效去偏方法,通过在下游任务中进行反事实对比提示微调来缓解偏见,实验证明其有效且能适应现有上游去偏模型。
2023-10-19 cs.CL
Textual Data Bias Detection and Mitigation -- An Extensible Pipeline with Experimental Evaluation
organization= Fraunhofer Institute for Intelligent Analysis;organization= Trustworthiness Theory, Technology \& Engineering Lab, Huawei Technologies Co., Ltd , country= China;organization= Lamarr Institute for Machine Learning;organization= B-IT Emeritus Research Group AI Foundations, University of Bonn , country= Germany
本文提出了一种可扩展的数据偏见检测与缓解流程,通过四个组件减少文本数据中的表示偏见和刻板印象,并通过实验评估展示其对模型偏见减少的影响。
2025-12-12 cs.AI cs.CL
MPF: Aligning and Debiasing Language Models post Deployment via Multi Perspective Fusion
University College London(伦敦大学学院);Center for long-term AI(长期人工智能中心)
本文提出多视角融合框架 MPF,通过将基线分布分解为可解释视角成分并加权采样响应,在部署后以无需微调的方式对齐和缓解 LLM 偏见,实验验证了其在 KL 散度、校准误差和泛化性上的优势。
2025-07-03 cs.AI cs.CL
An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models
University of Oxford(牛津大学);Vienna University of Technology(维也纳工业大学)
本文实证评估 prefix tuning、prompt tuning 与 adapter tuning 结合 CDA 的去偏效果,发现其在性别偏见上有效且更省资源,但对种族和宗教偏见作用有限。
2023-06-06 cs.CL
Identifying and Mitigating Social Bias Knowledge in Language Models
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Angelalign Technology Inc.(时代天使科技有限公司);A*STAR Centre for Frontier AI Research(新加坡科研局前沿人工智能研究中心);ZJU-Angelalign R&D Center for Intelligence Healthcare(浙江大学时代天使智能医疗研发中心)
本文提出细粒度去偏方法FAST,通过识别并校准存储社会偏见的关键层,在缓解偏见的同时保持知识保留与预测能力,并建立基准BiaScope验证其有效性。
2025-02-27 cs.AI cs.CL
Disclosure and Mitigation of Gender Bias in LLMs
Texas A&M University(得克萨斯农工大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出基于条件生成的间接探测框架,揭示LLMs中无显式性别提及时的显式与隐式偏见,并通过超参数调整、指令引导和去偏调整三种方法有效缓解偏见。
2024-02-17 cs.CL
Collective Bias Mitigation via Model Routing and Collaboration
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology(哈尔滨工业大学)
针对单一模型自我去偏不足的问题,提出集体偏见缓解框架,通过细粒度行为学习与多模型知识共享及路由协作,显著降低偏见得分,实现更公平的LLM响应。
2026-10-05 cs.CL
BiasFreeBench: a Benchmark for Mitigating Bias in Large Language Model Responses
UC San Diego(加州大学圣地亚哥分校);Columbia University(哥伦比亚大学);Zhejiang University(浙江大学);Stanford University(斯坦福大学)
BiasFreeBench通过统一测试平台评估八种主流偏见缓解方法,提供响应层面的偏见自由分数,旨在提升大型语言模型的公平性和安全性。
2026-02-15 cs.AI cs.CL cs.CY
Assistant-Guided Mitigation of Teacher Preference Bias in LLM-as-a-Judge
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Meta AI
本文针对LLM-as-a-Judge中代理评判模型学习教师模型偏好偏差的问题,提出引入无偏助手模型的三阶段去偏框架AGDe-Judge,在六个评估基准上验证了其有效降低偏差并保持性能的能力。
2025-09-18 cs.CL
A Multi-LLM Debiasing Framework
Stanford University(斯坦福大学);Adobe Research(奥多比研究院)
针对LLMs持续存在偏见的问题,提出一种多LLM去偏框架,通过集中式与去中心化两种方法让模型通信以减少偏见,在多个社会群体上显著优于基线方法。
2024-09-20 cs.AI cs.CL cs.CY
Conceptor-Aided Debiasing of Large Language Models
University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
本文提出基于conceptors软投影的两种LLM去偏方法:后处理NOT投影和CI-BERT架构,在保持GLUE性能的同时实现SoTA去偏效果,并强调精心构建偏见子空间的重要性。
2023-10-30 cs.AI cs.CL
[RE] Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
Thapar University(塔帕尔大学)
尽管在自然语言处理(NLP)任务中广泛使用,但词嵌入因继承了训练语料库的非故意性别偏见而受到批评。程序员与男人的关系更密切,家庭主妇与女人的关系更密切。这种性别偏见也被证明在下游任务中传播。
2021-04-14 cs.AI cs.CL
Neutralizing the Narrative: AI-Powered Debiasing of Online News Articles
New York University Abu Dhabi(纽约大学阿布扎比分校)
本研究提出一个AI驱动的框架,利用GPT-4o Mini等LLMs,通过两阶段方法(偏见检测和迭代去偏)处理超过30,000篇新闻文章,揭示媒体偏见变化,促进新闻公平性。
2025-04-04 cs.CL cs.CY
KLAAD: Refining Attention Mechanisms to Reduce Societal Bias in Generative Language Models
Dept. of Data Science, Seoul National University(数据科学系,首尔国立大学);Dept. of Computer Science and Engineering, Seoul National University(计算机科学与工程系,首尔国立大学)
针对大型语言模型的社会偏见问题,提出 KLAAD 注意力对齐去偏框架,通过复合损失在不修改权重的情况下对齐注意力分布,并在 BBQ 与 BOLD 上验证其去偏效果。
2025-07-26 cs.CL
Debiasing LLMs by Masking Unfairness-Driving Attention Heads
本文提出轻量级去偏见框架DiffHeads,通过差异激活分析识别并选择性屏蔽LLM中驱动不公平性的注意力头,在不损害模型效用的前提下显著降低偏见。
2025-11-02 cs.AI cs.CL
No Free Lunch in Language Model Bias Mitigation? Targeted Bias Reduction Can Exacerbate Unmitigated LLM Biases
University of Southern California(南加州大学)
本文研究了语言模型偏见缓解的跨类别影响,发现针对性缓解可能加剧其他方面的偏见,强调了多维评估的重要性。
2025-11-23 cs.AI cs.CL cs.CY
Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
University of Virginia(弗吉尼亚大学);Salesforce Research(赛富时研究院)
源自人类生成语料库的词嵌入继承了强烈的性别偏见,这可以通过下游模型进一步放大。一些常用的去偏方法,包括开创性的硬去偏算法,应用后处理过程,将预先训练的词嵌入投影到与推断的性别子空间正交的子空间中。我们发现,语义不可知的语料库,如词频捕获的词嵌入负面影响这些算法的性能。我们提出了一个简单但有效的技术,双硬Debias,净化词嵌入对这样的语料库的错误之前,推断和删除性别子空间。三个偏见缓解基准的实验表明,我们的方法保留了预训练的词嵌入的分布语义,同时减少性别偏见,以显着更大的程度比以前的方法。
2020-05-03 cs.CL cs.LG
A Representation-Level Assessment of Bias Mitigation in Foundation Models
IBM Research(IBM研究院);School of Computer Science, University College Dublin(都柏林大学计算机科学学院)
本文通过对比基线与偏见缓解模型,分析了性别与职业术语在嵌入空间中的变化,发现偏见缓解减少了性别-职业差异,提出了WinoDec数据集用于评估解码器模型。
2026-03-17 cs.CL cs.LG
Intent-Aware Self-Correction for Mitigating Social Biases in Large Language Models
Institute of Science Tokyo(东京科学大学);MBZUAI(Mohamed bin Zayed 人工智能大学);AIST(独立行政法人产业技术综合研究所);NII(独立行政法人情报通信研究机构)
本文提出意图感知的自校正方法,通过在指令、响应和反馈三部分澄清去偏意图,并结合思维链与多方面反馈,显著提升大语言模型减少社会偏见的稳健性与一致性。
2025-03-08 cs.AI cs.CL
Simulating a Bias Mitigation Scenario in Large Language Models
Department of Computer Science, Bowling Green State University(计算机科学系,布恩维尔州立大学);School of Computing, University of Nebraska–Lincoln(计算学院,内布拉斯加-林肯大学);Department of Civil, Environmental, and Ocean Engineering, Stevens Institute of Technology(土木、环境与海洋工程系,史蒂文斯理工学院);Department of Computer Science, University of South Carolina(计算机科学系,南卡罗来纳大学);Artificial Intelligence Institute, University of South Carolina(人工智能研究院,南卡罗来纳大学)
本文综述大语言模型中的偏见来源与类型,并构建模拟框架实证评估数据整理、训练去偏和事后校准等缓解策略的效果。
2025-09-17 cs.AI cs.CL
Shifting Perspectives: Steering Vectors for Robust Bias Mitigation in LLMs
School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院);AMPLYFI
本文提出通过引导向量修改模型激活以缓解LLM中的偏见,通过8个社会偏见轴(如年龄、性别、种族)在BBQ数据集子集上计算引导向量,并在四个数据集上比较其与三种其他偏见缓解方法的效果,展示其在减少偏见方面的有效性。
2026-03-28 cs.AI cs.CL cs.LG
A Multi-Agent Probabilistic Inference Framework Inspired by Kairanban-Style CoT System with IdoBata Conversation for Debiasing
Graduate School of Data Science(数据科学研究生院);Faculty of Business(商业学院);Kansai University(关西大学);Research Promotion Center(研究促进中心);Shiga University(守山大学)
受日本传统沟通实践启发,提出集成多个LLM的多智能体推理框架KCS+IBC,通过顺序共享预测、中期非正式对话与概率情感预测,在保持准确率的同时缓解偏差、提升可解释性并平衡预测的聚合与多样性。
2025-06-12 cs.CL cs.LG stat.ML
CoCoA: Context-Conditional Cultural Alignment for Large Language Models
Sungkyunkwan University(成均馆大学);Georgia Institute of Technology(佐治亚理工学院);University of Southern California(南加利福尼亚大学)
CoCoA是面向大语言模型的上下文条件文化对齐框架,通过双上下文训练等方法,可降低实体文化偏见评分且对通用性能影响小,为缓解LLMs实体文化偏见提供新方向。
2026-09-01 cs.CL
FairPy: A Toolkit for Evaluation of Prediction Biases and their Mitigation in Large Language Models
Purdue University(普渡大学)
针对BERT、GPT-2等大型预训练语言模型(LLMs)存在的token预测偏差问题,本文综述相关量化、识别与缓解技术,并提出模块化可扩展工具包Fairpy,支持现有去偏算法实现,助力模型偏差评估。
2025-04-15 cs.AI cs.CL cs.LG
Interpreting Bias in Large Language Models: A Feature-Based Approach
Singapore University of Technology and Design(新加坡科技设计大学)
该研究提出基于特征的大语言模型偏见分析方法,验证了偏见相关特征演化假设,区分了MLP与注意力头的偏见传播作用并实现针对性去偏,深化了对偏见机制的理解。
2024-06-18 cs.CL
Position: LLMs Must Use Functor-Based and RAG-Driven Bias Mitigation for Fairness
Knight Foundation School of Computing and Information Sciences(骑士基金会计算与信息科学学院);Florida International University(佛罗里达国际大学);College of Engineering(工程学院);University of South Florida(佛罗里达州立大学)
本文提出通过范畴论转换和RAG结合的方法,解决LLMs中的偏见问题,以实现公平性。
2026-03-07 cs.AI cs.CL
Do Students Debias Like Teachers? On the Distillability of Bias Mitigation Methods
University of Massachussetts Lowell(马萨诸塞大学洛厄尔分校);University of Virginia(弗吉尼亚大学)
知识蒸馏(KD)是模型压缩和模型间知识传递的有效方法。然而,它对模型的鲁棒性的影响,对虚假的相关性,降低性能的分布外的数据仍然有待探讨。本研究探讨了知识蒸馏对教师模型到学生模型在自然语言推理(NLI)和图像分类任务上的“消除偏见”能力的可转移性的影响。通过大量的实验,我们说明了几个关键的发现:(i)总体上,模型的去偏能力在KD后被破坏;(ii)训练去偏模型并不能从注入教师知识中受益;(iii)尽管模型的整体鲁棒性在蒸馏后可能保持稳定,但不同类型的偏差可能会发生显着变化;以及(iv)我们确定了导致KD后不同行为的内部注意模式和回路。鉴于上述发现,我们提出了三个有效的解决方案,以提高去偏方法的可扩展性:开发高质量的数据进行增强,实现迭代知识蒸馏,并初始化学生模型与教师模型获得的权重。据我们所知,这是第一次在规模上研究KD的去偏作用及其肾内机制。我们的研究结果提供了对KD如何工作以及如何设计更好的去偏方法的理解。
2025-10-30 cs.AI cs.CL cs.CV
Improving Bias Mitigation through Bias Experts in Natural Language Understanding
Korea University(高丽大学)
针对无偏差标签去偏中辅助模型多类训练目标削弱偏差缓解的问题,本文提出由 One-vs-Rest 二分类器构成的 bias experts,提升偏差识别并在多个挑战数据集上达到最优。
2023-12-06 cs.CL
BiasGym: A Simple and Generalizable Framework for Analyzing and Removing Biases through Injection
University of Copenhagen(哥本哈根大学)
BiasGym通过安全注入和分析偏见,提供了一种简单且通用的方法来减少大语言模型中的偏见和刻板印象。
2026-09-02 cs.AI cs.CL cs.LG
Debiasing Large Language Models toward Social Factors in Online Behavior Analytics through Prompt Knowledge Tuning
George Mason University(乔治梅森大学)
本文研究了在社交情境中通过引入用户目标推断 dispositional 因果性和消息上下文推断 situational 因果性对 LLM 性能的影响,提出了一种通过增强指令提示来减少社会归因偏见的方法,提升零样本分类任务的性能。
2026-03-28 cs.AI cs.CL
Mitigating LLM biases toward spurious social contexts using direct preference optimization
Stanford University(斯坦福大学)
本文研究了LLM对虚假社会情境的鲁棒性,提出Debiasing-DPO方法,通过自监督训练和监督微调减少偏见并提升预测准确性。
2026-08-27 cs.AI cs.CL
Toward Understanding Bias Correlations for Mitigation in NLP
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Arizona State University(亚利桑那州立大学)
自然语言处理(NLP)模型被发现对不同社会身份的群体(如性别和种族)具有歧视性。由于这些不受欢迎的偏见的负面影响,研究人员以前所未有的努力做出回应,并提出了有希望的偏见缓解方法。尽管有相当大的实际重要性,目前的算法公平性文献缺乏深入的了解不同形式的偏见之间的关系。社会偏见本质上是复杂的。社会心理学的许多研究确定了“广义偏见”,即,不同群体的普遍贬值情绪。例如,贬低少数民族的人也可能贬低妇女和同性恋。因此,这项工作的目的是提供第一个系统的研究,了解偏见的相关性缓解。特别是,我们研究了两个常见的NLP任务-毒性检测和词嵌入-在三个社会身份,即,种族性别和宗教我们的研究结果表明,偏见是相关的,目前的情况下,独立的去偏见的方法占主导地位,在目前的文献可能是不够的。我们进一步研究联合减轻相关的偏见是否比独立和个人去偏更可取。最后,我们揭示了固有的问题,消除偏置精度权衡偏见缓解。这项研究有助于激励未来的研究联合偏见缓解,占相关的偏见。
2022-05-24 cs.AI cs.CL
Prompt Engineering Techniques for Mitigating Cultural Bias Against Arabs and Muslims in Large Language Models: A Systematic Review
本系统综述遵循PRISMA与Kitchenham方法,分析8项2021-2024年的实证研究,梳理5类缓解大模型针对阿拉伯人和穆斯林文化偏见的提示工程方法,验证其效果差异并指出未来研究方向。
2025-07-30 cs.AI cs.CL cs.CY
Cognitive Bias in Decision-Making with LLMs
University of California, San Diego(加利福尼亚大学圣迭戈分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对大语言模型存在类人认知偏差、影响决策公平可解释的问题,研究提出BiasBuster框架,构建含13465条提示的数据集评估偏差,提出自助式去偏差方法,可有效缓解多类模型的认知偏差且无需手动构造示例。
2024-10-03 cs.AI cs.CL
Gender Encoding Patterns in Pretrained Language Model Representations
Khatam University(哈塔姆大学);Cardiff University(卡迪夫大学)
本文通过信息论方法系统分析多种编码器架构中性别偏见的编码模式,发现去偏技术常效果有限且可能加剧内部表示中的偏见,为改进偏见缓解策略提供指导。
2025-03-09 cs.AI cs.CL
VERB: Visualizing and Interpreting Bias Mitigation Techniques for Word Representations
University of Utah(犹他大学);University of California, Los Angeles(加州大学洛杉矶分校);VISA research(VISA研究院)
词向量嵌入已被证明包含并放大了从中提取的数据中的偏差。因此,已经提出了许多技术来识别、减轻和减弱单词表示中的这些偏差。在本文中,我们利用交互式可视化来增加一系列最先进的去偏置技术的可解释性和可访问性。为了帮助这一点,我们提出了嵌入表示的可视化去偏置系统(“VERB”),一个开源的基于Web的可视化工具,帮助用户获得技术的理解和视觉直觉的内部工作的去偏置技术,重点是他们的几何属性。特别是,VERB提供了易于遵循的用例,以探索这些去偏置技术对高维词向量几何形状的影响。为了帮助理解各种去偏置技术如何改变底层几何,VERB将每种技术分解为可解释的原始变换序列,并使用降维和交互式视觉探索来突出它们对词向量的影响。VERB旨在针对在词嵌入之上设计决策系统的自然语言处理(NLP)从业者,以及在NLP中研究机器学习系统的公平性和道德的研究人员。它还可以作为教育的视觉媒介,帮助NLP新手理解和减轻词嵌入中的偏见。
2021-04-06 cs.CL cs.HC
ID-XCB: Data-independent Debiasing for Fair and Accurate Transformer-based Cyberbullying Detection
Queen Mary University of London(伦敦玛丽女王大学)
针对脏话代理收集策略导致的虚假关联偏差,本文提出首个数据无关去偏技术ID-XCB,结合对抗训练、偏差约束与去偏微调,在保持检测性能的同时有效缓解偏差并优于现有方法。
2024-02-27 cs.CL
Impact of Co-occurrence on Factual Knowledge of Large Language Models
KAIST(韩国科学技术院)
本文研究大型语言模型因过度依赖预训练语料共现统计而产生事实错误的问题,提出通过去偏数据集微调缓解共现偏差,但该方法对未见过的稀有事实效果有限。
2023-10-12 cs.AI cs.CL cs.LG
CHBias: Bias Evaluation and Mitigation of Chinese Conversational Language Models
Eindhoven University of Technology(埃因霍温理工大学);University of Liverpool(利物浦大学);University of Technology Sydney(悉尼科技大学)
本文提出中文偏见评估与缓解数据集CHBias,涵盖年龄歧视和外貌偏见等较少关注的类别,评估CDial-GPT和EVA2.0模型并应用去偏见方法,证明该方法能有效降低偏见且保持对话能力。
2023-05-18 cs.CL
Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis
ETH Zürich(苏黎世联邦理工学院);ZHAW CAI(苏黎世应用科技大学计算人工智能研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
本研究从因果公平性视角出发,提出基于提示的属性提取方法结合活动依存网络(ADNs),分析LLM政治偏见的成因,发现政治辩论论点质量评分中的差别对待与混杂、中介属性及模型错位有关,为人-AI对齐和偏见缓解提供参考。
2024-05-12 cs.AI cs.CL cs.CY
Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models
本文提出Context-CDA方法,通过增强上下文和过滤低质量反事实,有效缓解语言模型中的性别偏见,同时保持语言建模能力。
2026-02-10 cs.AI cs.CL
A Robust Bias Mitigation Procedure Based on the Stereotype Content Model
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
刻板印象内容模型(SCM)指出,我们倾向于将少数群体视为冷漠,无能或两者兼而有之。在本文中,我们适应现有的工作来证明,刻板印象的内容模型举行的上下文词嵌入,然后使用这些结果来评估微调的过程中,旨在推动语言模型远离刻板印象的少数群体。我们发现,SCM条款能够更好地捕捉偏见比人口统计不可知论的条款有关的愉快。此外,我们能够通过一个简单的微调过程来减少模型中存在的定型,这需要最少的人力和计算机资源,而不会损害下游性能。我们提出这项工作作为一个原型的去偏置程序,旨在消除需要先验知识的具体偏见的模型。
2022-10-26 cs.CL
Enhancing the QA Model through a Multi-domain Debiasing Framework
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出多领域去偏框架,通过知识蒸馏和领域扩展技术,有效缓解问答模型中的偏见问题,提升其在对抗性环境下的性能和可靠性。
2026-01-01 cs.AI cs.CL
FairImagen: Post-Processing for Bias Mitigation in Text-to-Image Models
The Chinese University of Hong Kong(香港中文大学);University of Oxford(牛津大学);University of Cambridge(剑桥大学);Trinity College Dublin(都柏林大学三一学院)
FairImagen提出一种基于提示嵌入的事后去偏框架,利用公平主成分分析和噪声注入,在无需重训练的情况下同时缓解性别、种族等多属性偏见,显著提升公平性且仅适度牺牲图像质量。
2025-10-24 cs.CL cs.CV cs.LG