Collapsed Language Models Promote Fairness
Beijing Jiaotong University（北京交通大学）；Simon Fraser University（西蒙菲莎大学）
本文通过评估公平性相关词汇上的神经坍缩现象，发现去偏语言模型在词元表示和词嵌入间存在坍缩对齐，并据此提出一种原理性微调方法，能在保持标准任务性能的同时广泛提升去偏方法的公平性。
2025-01-29 cs.CL cs.CY
Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning
Virginia Tech（弗吉尼亚理工大学）
本文研究推理能力与模型公平性的关系，提出 ReGiFT 方法，通过将先进模型的推理轨迹注入弱推理模型，在不使用公平性特定监督的情况下有效降低刻板印象偏见并超越先进推理模型。
2025-06-05 cs.AI cs.CL cs.LG
Improving Fairness of Large Language Models in Multi-document Summarization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Pennsylvania State University（宾夕法尼亚州立大学）
针对多文档摘要现有公平性方法多聚焦摘要层面的问题，提出兼顾摘要与语料层面公平性的FairPO偏好调优方法，通过扰动文档集生成偏好对、动态调整偏好对权重分别优化两层公平性，在保持摘要质量的同时优于强基线。
2025-06-12 cs.CL
Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications
Harvard University（哈佛大学）；UiT The Arctic University of Norway（挪威北极大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文通过实验考察LLM在表格分类中的信息利用与社会偏见，发现其偏见源于预训练语料且公平性差距大于传统ML，而翻转上下文示例标签可显著缓解偏见。
2024-04-02 cs.CL cs.LG
Metamorphic Testing for Fairness Evaluation in Large Language Models: Identifying Intersectional Bias in LLaMA and GPT
East Carolina University（东卡罗来纳大学）；University of North Florida（北佛罗里达大学）
本文提出一种基于蜕变测试的方法，通过定义面向公平性的蜕变关系，系统性地检测LLaMA和GPT模型中的交叉偏见，尤其在语气与情感方面，为公平性敏感应用中的偏见检测与缓解提供了结构化方案。
2025-04-04 cs.AI cs.CL
Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach
University of Pennsylvania（宾夕法尼亚大学）；Tencent AI Lab（腾讯人工智能实验室）；Columbia University（哥伦比亚大学）；AWS AI Labs（亚马逊云服务人工智能实验室）
双盲同行评议机制已成为包括计算机科学在内的多个学科学术研究的框架，但一些研究质疑同行评议的质量，并对该过程中潜在的偏见表示担忧。本文借助大语言模型对同行评议中的公平性差异进行了深入细致的研究。我们从2017年至今，通过聚合来自OpenReview、Google Scholar、arXiv和CSRanking的数据，并使用语言模型提取高级特征，为国际学习表征会议（ICLR）收集、组装和维护一个全面的关系数据库。我们假设和研究的公平差异的多重保护属性的利益，包括作者性别，地理，作者和机构的声望。我们观察到差异的水平不同，文本特征在减少预测建模中的偏差方面至关重要。我们从我们的分析中提炼出几个见解，在大型LM的帮助下研究同行评审过程。我们的数据库还提供了研究新的自然语言处理（NLP）方法的途径，这些方法有助于理解同行评审机制。我们研究了一个具体的例子，对自动机器审查系统，并提供基线模型的审查生成和评分任务，使数据库可以作为一个基准。
2022-11-07 cs.CL cs.CY cs.LG
On the Independence of Association Bias and Empirical Fairness in Language Models
University of Copenhagen（哥本哈根大学）
本文区分语言模型的关联偏差与经验公平性，通过思想实验、跨主流模型的指标分析及文献综述，证明二者彼此独立且不存在相关性。
2023-04-20 cs.CL cs.HC
Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks
University of Oxford（牛津大学）；Microsoft Research（微软研究院）；The Alan Turing Institute（艾伦·图灵研究所）；Allen Institute for AI（人工智能研究所）；University of Washington（华盛顿大学）；Microsoft Corporation（微软公司）；University of York（约克大学）
本文构建含1200余对标准化英语与AAVE查询的ReDial基准，系统评估主流LLM在多类推理任务中的方言表现，揭示其对AAVE的显著脆弱性与不公平。
2025-06-09 cs.CL cs.LG
A Group Fairness Lens for Large Language Models
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出从群体公平性角度评估大语言模型的偏见，引入 GFAIR 数据集和 GF-THINK 方法，以缓解模型中的偏见问题。
2025-12-03 cs.CL
Gender Inclusivity Fairness Index (GIFI): A Multilevel Framework for Evaluating Gender Diversity in Large Language Models
Boston University（波士顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Stony Brook University（石溪大学）
提出性别包容性公平指数（GIFI），多层次评估LLMs对二元及非二元性别的包容性，并在22个模型中揭示显著差异，为性别公平提供基准。
2025-06-18 cs.CL
Fairness in Large Language Models: A Taxonomic Survey
Florida International University（佛罗里达国际大学）
本综述全面回顾了大型语言模型（LLMs）公平性研究的最新进展，系统分析了偏见来源、公平性概念分类、评估指标与算法，并总结了相关工具包、数据集及未来研究挑战。
2024-12-19 cs.AI cs.CL
CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models
University of Virginia（弗吉尼亚大学）；Arizona State University（亚利桑那州立大学）；Florida State University（佛罗里达州立大学）
针对现有大语言模型偏见评估数据集类型单一、指标不统一难以横向比较的问题，研究团队提出覆盖多维度的组合式评估基准CEB，实验证实偏见程度随维度变化，为偏见缓解方法开发提供指导。
2025-02-22 cs.CL cs.LG
Towards Large Language Models that Benefit for All: Benchmarking Group Fairness in Reward Models
University of Virginia（弗吉尼亚大学）；Columbia University（哥伦比亚大学）
本文针对现有LLM公平性研究要求相同提示问题且仅评估最终输出的局限，利用arXiv专家文本对奖励模型进行群体公平性基准评测，发现所有被评估奖励模型均存在显著群体不公平性，且高性能奖励模型往往群体公平性更好。
2025-03-10 cs.AI cs.CL cs.CY
Unveiling Performance Challenges of Large Language Models in Low-Resource Healthcare: A Demographic Fairness Perspective
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
该研究从人口统计公平性视角，评估了多种主流框架下的前沿大语言模型在低资源医疗任务中的表现，发现其存在性能挑战与公平性问题，且相关优化手段效果有限，凸显了该领域专项研究的紧迫性。
2024-12-07 cs.AI cs.CL
LIDAO: Towards Limited Interventions for Debiasing (Large) Language Models
Purdue University（普渡大学）；The Chinese University of Hong Kong（香港中文大学）
针对LLMs去偏中公平性与流畅性的权衡问题，本文从信息论角度提出LIDAO框架，以可证明的更好流畅性实现去偏，并在对抗场景下增强鲁棒性。
2024-06-01 cs.CL cs.LG
Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（Salesforce研究院）
针对预训练语言模型性别偏见缓解中的灾难性遗忘问题，提出冻结预训练模型并学习性别相关提示的新方法GEEP，在提升性别公平性的同时大幅保持了下游任务性能。
2023-06-30 cs.CL cs.CY cs.LG
FLEX: A Benchmark for Evaluating Robustness of Fairness in Large Language Models
Korea University（高丽大学）
针对现有基准忽视LLM在对抗性指令下产生偏见响应的问题，提出FLEX基准，通过整合放大偏见的提示评估公平性鲁棒性，实验表明传统评估低估了模型风险。
2025-03-25 cs.AI cs.CL
A Survey on Fairness in Large Language Models
Jilin University（吉林大学）；New Jersey Institute of Technology（新泽西理工学院）
本文综述了大语言模型中的公平性研究，按模型规模与训练范式分类梳理了偏见评估指标与去偏方法，并探讨了当前挑战与未来方向。
2024-02-21 cs.AI cs.CL
LangFair: A Python Package for Assessing Bias and Fairness in Large Language Model Use Cases
CVS Health Corporation（CVS健康公司）
本文介绍了开源Python包LangFair，旨在为LLM从业者提供评估特定用例中偏见与公平性风险的工具，支持生成评估数据集、计算适用指标，并提供决策框架指导指标选择。
2025-01-06 cs.AI cs.CL cs.CY
Less Is More? Examining Fairness in Pruned Large Language Models for Summarising Opinions
RMIT University（皇家墨尔本理工大学）
本文探讨剪枝对LLM观点摘要公平性的影响，发现剪枝方法比校准集影响更大，并提出HGLA剪枝方法以更好地维持或提升公平性，其生成的输出在人类评估中比现有方法更公平。
2025-09-14 cs.CL
Do Large Language Models Rank Fairly? An Empirical Study on the Fairness of LLMs as Rankers
Santa Clara University（圣克拉拉大学）；DOCOMO Innovations, Inc.（docomo创新公司）；Rochester Institute of Technology（罗切斯特理工学院）
本研究实证评估LLM排序器的公平性，利用TREC公平排序数据集分析性别和地理位置等受保护属性，从用户和内容角度揭示偏见，提供公平性基准。
2024-06-25 cs.CL cs.IR
BiasGuard: A Reasoning-enhanced Bias Detection Tool For Large Language Models
Zhejiang University（浙江大学）；Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence（浙江省医学影像人工智能重点实验室）
针对LLM偏见检测中意图理解不足和公平判断标准缺失的问题，本文提出BiasGuard，通过公平性规范显式推理与强化学习两阶段优化提升检测性能，并在五个数据集上验证其准确率优势。
2025-06-10 cs.CL
Exploring Accuracy-Fairness Trade-off in Large Language Models
Southern University of Science and Technology（南方科技大学）；Lingnan University（岭南大学）
本文提出将LLM训练重构为多目标学习任务，并利用多目标进化学习（MOEL）框架同时优化准确性与公平性，获得帕累托最优模型集，为解决LLM中准确性与公平性权衡问题提供了新途径。
2024-11-21 cs.AI cs.CL cs.CY
LLMs on Trial: Evaluating Judicial Fairness for Large Language Models
Tsinghua University, China（清华大学）；University of Waterloo, Canada（滑铁卢大学）；Yale Law School, USA（耶鲁法学院）；Shanghai Jiao Tong University, China（上海交通大学）；University of Bologna, Italy（博洛尼亚大学）
本研究基于司法公正理论构建评估框架，创建包含 177,100 个案件事实的 JudiFair 数据集，通过三个指标对 16 个 LLM 进行实验，发现普遍存在司法不公，并推出公开工具包以支持后续研究。
2025-08-02 cs.CL
Your Large Language Model is Secretly a Fairness Proponent and You Should Prompt it Like One
Nanyang Technological University（南洋理工大学）；Sea AI Lab（Sea AI实验室）；Xi’an Jiaotong University（西安交通大学）；Centre for Frontier AI Research (CFAR), A*STAR（新加坡科技研究局前沿人工智能研究中心）
针对LLMs在观点表达中偏向多数群体而忽视少数群体的问题，提出FairThinking流水线，通过自动生成特定角色提示LLMs以表达多样观点，并在多个模型上验证了其优越性能。
2024-02-19 cs.AI cs.CL
Efficient Fairness Testing in Large Language Models: Prioritizing Metamorphic Relations for Bias Detection
Computer Science Department East Carolina University（东卡罗来纳大学计算机科学系）；Computer Science Department University of North Florida（北佛罗里达大学计算机科学系）
本文提出基于句子多样性的蜕变关系优先排序方法，以提升大型语言模型公平性测试效率，实验表明其显著提高故障检测率并降低计算成本。
2025-05-09 cs.AI cs.CL cs.SE
Fairness-Aware Structured Pruning in Transformers
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montreal（蒙特利尔理工学院）；IBM Research（IBM研究院）
针对大型语言模型剪枝忽视公平性的问题，提出一种无需微调的注意力头剪枝方法，在保持性能的同时显著降低性别偏见。
2023-12-24 cs.CL cs.CY cs.LG
Preserving Fairness and Safety in Quantized LLMs Through Critical Weight Protection
Faculty of Computer Science, Universitas Indonesia（印度尼西亚大学计算机科学学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文研究了静态和动态量化对公平性和安全性的影響，提出关键权重保护技术以减少偏见和安全风险，保持模型效率与可信度。
2026-06-27 cs.CL
Let's Unlearn Stereotypes Before Decision-Making: Assessing the Impact of Intrinsic Bias Mitigation on Downstream Fairness in LLMs
本研究提出公平感知概念忘却（FACU）方法，在保留预测性能的同时缓解LLM内在偏差，可提升下游公平性，结合反事实数据增强效果更佳，为LLM公平性优化提供了新路径。
2026-08-10 cs.CL cs.CY cs.LG
Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
针对大语言模型推荐（RecLLM）可能存在的偏见，提出公平性基准 FaiRLLM，包含精心设计的指标和涵盖8个敏感属性的数据集，评估发现 ChatGPT 在推荐中仍存在不公平现象。
2026-06-15 cs.CL cs.CY cs.IR
AXOLOTL: Fairness through Assisted Self-Debiasing of Large Language Model Outputs
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Toronto（多伦多大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出 AXOLOTL 后处理框架，通过公共 API 以零样本式三步流程引导 LLM 自主识别并消除输出偏见，在降低计算成本的同时保持模型性能。
2024-03-01 cs.AI cs.CL cs.CY
EnDive: A Cross-Dialect Benchmark for Fairness and Performance in Large Language Models
Algoverse AI Research（Algoverse人工智能研究院）
EnDive 构建跨方言基准，将标准美式英语数据翻译为五种代表性不足的方言以评估大语言模型，揭示模型在方言输入上的显著性能差距，推动方言感知 NLP 与公平语言技术发展。
2025-02-25 cs.CL
Data and AI governance: Promoting equity, ethics, and fairness in large language models
Independent Researcher（独立研究者）
本文提出数据与AI治理框架，基于BEATS评估套件，覆盖LLM全生命周期，以系统量化偏见、确保公平伦理，提升生成式AI安全性与责任感。
2025-08-05 cs.AI cs.CL
FairLangProc: A Python package for fairness in NLP
Universidad Carlos III de Madrid（卡洛斯三世大学）；uc3m-Santander Big Data Institute（卡洛斯三世大学-桑坦德大数据研究所）
针对大型语言模型在决策场景中的公平性问题，本文提出FairLangProc，一个兼容Hugging Face的Python包，集中实现NLP公平性算法，以促进偏见缓解技术的普及。
2025-08-05 cs.CL stat.ML
Testing and Evaluation of Large Language Models: Correctness, Non-Toxicity, and Fairness
The Chinese University of Hong Kong（香港中文大学）
本论文从软件测试与自然语言处理视角，通过FactChecker、LogicAsker、BiasAsker、XCulturalBench等框架及红队测试方法，系统评估并提升LLMs在正确性、无毒性和公平性方面的可靠性。
2024-08-31 cs.AI cs.CL cs.SE
A Trip Towards Fairness: Bias and De-Biasing in Large Language Models
Idiap Research Institute（伊迪亚普研究所）；University of Rome Tor Vergata（罗马第二大学）；Sapienza University of Rome（罗马第一大学（萨皮恩扎大学））
本文调查了三个廉价构建的超大型语言模型家族的偏见，发现偏见与困惑度而非参数数量相关，并验证了LoRA去偏见方法的有效性，最高可降低4.12点刻板印象得分。
2023-08-29 cs.CL
Multilinguality in LLM-Designed Reward Functions for Restless Bandits: Effects on Task Performance and Fairness
Centre for Responsible AI, Indian Institute of Technology Madras（印度马德拉斯理工学院负责任人工智能中心）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；Google Deepmind（谷歌DeepMind）
本研究探讨了在Restless Bandits中，使用非英语提示LLM设计奖励函数对任务性能和公平性的影响，发现英文提示性能更优，低资源语言和复杂提示易导致不公平。
2025-01-20 cs.AI cs.CL cs.LG
Large Language Models are Perplexed by some Political Parties
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、信息研究所）
通过困惑度评估，发现大型语言模型对极右翼和民族主义政党文本的困惑度高于社会民主党，且该偏差源于预训练阶段，指令微调影响甚微。
2026-06-04 cs.CL
Distributive Fairness in Large Language Models: Evaluating Alignment with Human Values
Penn State University（宾夕法尼亚州立大学）
本文研究了大语言模型在分配公平性方面的表现，发现其与人类价值观存在偏差，并探讨了提升对齐性的策略。
2025-11-22 cs.AI cs.CL cs.GT
Outraged AI: Large language models prioritise emotion over cost in fairness enforcement
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
该研究通过利他第三方惩罚实验发现大语言模型会受情绪引导做出道德决策，且情绪优先级高于成本，推理模型比基础模型更接近人类行为，为LLM情绪引导决策提供了首个因果证据。
2025-10-17 cs.AI cs.CL
Why Don't Prompt-Based Fairness Metrics Correlate?
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montreal（蒙特利尔理工学院）；IBM Research（IBM研究院）
本文揭示了基于提示的公平性指标之间相关性低的问题，分析其六个原因，并提出 CAIRO 方法通过提示增强与选择显著提升指标间相关性。
2024-06-09 cs.AI cs.CL cs.CY
BiasFilter: An Inference-Time Debiasing Framework for Large Language Models
First Author Affiliation（第一作者单位）；Second Author Affiliation（第二作者单位）
本文提出BiasFilter，一种与模型无关的推理时去偏框架，通过实时过滤生成输出并利用公平性奖励信号丢弃低奖励片段，有效缓解大型语言模型中的社会偏见并保持生成质量。
2025-05-28 cs.CL
Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models
Constructor University（Constructor大学）；CAIRO, THWS, Würzburg（CAIRO、THWS、弗赖堡）；University of Kassel（卡塞尔大学）
该研究对比大语言模型的偏见度量方式，发现预提示人格的MMLU测试偏见差异微弱，打分任务和薪资建议任务偏见更显著，提示LLM个性化发展下的偏见风险。
2025-09-01 cs.CL
Generalizing Fairness to Generative Language Models via Reformulation of Non-discrimination Criteria
Technical University of Denmark（丹麦技术大学）
本文将分类任务中的独立性、分离性和充分性三个非歧视准则重构为生成式人工智能版本，通过聚焦职业性别刻板印象的提示设计，揭示并量化了对话式语言模型中存在的职业性别偏见。
2024-09-02 cs.AI cs.CL cs.HC
Large Language Model Bias Mitigation from the Perspective of Knowledge Editing
Zhejiang University（浙江大学）；Angelalign Technology Inc.（时代天使科技有限公司）
本文从知识编辑视角提出新基准 BiasKE 和细粒度去偏方法 FAST，通过校准个体偏见知识实现可编辑公平性，在保持知识能力的同时显著超越现有去偏基线。
2024-06-29 cs.AI cs.CL
Bias Neutralization Framework: Measuring Fairness in Large Language Models with Bias Intelligence Quotient (BiQ)
本文提出综合偏见过中和框架（CBNF），结合LLMBI与BLIND方法创建新指标偏见智商（BiQ），，以在无需人口标注下检测和缓解LLMs种族偏见，并验证了Latimer AI的偏见缓解效果。
2024-04-28 cs.AI cs.CL
Bias and Fairness in Large Language Models: A Survey
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）；Pattern Data（帕特恩数据公司）；Intel Labs（英特尔实验室）
该综述整合规范了大语言模型的偏见与公平性概念，提出偏见评估指标、数据集及缓解技术三类分类体系，梳理现有研究并指出未来挑战，为防范LLM偏见传播提供指引。
2024-07-12 cs.AI cs.CL cs.CY
Bridging the Fairness Gap: Enhancing Pre-trained Models with LLM-Generated Sentences
University of Electronic Science and Technology of China（电子科技大学）
本文提出Fair-Gender方法，利用大语言模型生成属性平衡的句子，并通过因果分析筛选对齐句子以增强预训练语言模型，在保持语言表达能力的同时显著降低性别偏见。
2025-01-12 cs.AI cs.CL
Fairness and Bias in Multimodal AI: A Survey
LTU（吕勒奥理工大学）；QualityMinds GmbH；Utrecht University（乌得勒支大学）；University of Göttingen（哥廷根大学）
该综述针对大型多模态模型公平性研究不足的问题，系统梳理数据集、模型、偏见挑战与预处理等缓解方法，并通过检索对比揭示研究差距。
2024-09-07 cs.CL
Explanation Fairness in Large Language Models: An Empirical Analysis of Disparities in How LLMs Justify Decisions Across Demographic Groups
Independent Researcher（独立研究者）
本文提出解释公平性分类法，分析大语言模型在不同群体中解释决策的差异，发现模型选择与差异幅度密切相关，提出两种提示方法减少解释差异。
2026-05-09 cs.AI cs.CL
Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification
Indian Institute of Technology Delhi（印度德里理工学院）；Delhi Technological University（德里理工大学）；Indian Institute of Science Education and Research Kolkata（印度加尔各答科学教育与研究学院）
本文提出将不同抽象层级的公平性规则结合RAG示例选择融入LLM上下文学习，用于公平感知分类；实验表明GPT-4在准确率与公平性上均优于其他模型。
2026-10-30 cs.CL
fairBERTs: Erasing Sensitive Information Through Semantic and Fairness-aware Perturbations
Alibaba Group（阿里巴巴集团）
针对预训练语言模型存在刻板偏见的公平性问题，提出fairBERTs框架，借助生成对抗网络的语义与公平感知扰动擦除敏感信息，在保持效用的同时缓解不公平，且对抗组件可迁移提升其他类BERT模型的公平性。
2024-07-11 cs.AI cs.CL
Do Large GPT Models Discover Moral Dimensions in Language Representations? A Topological Study Of Sentence Embeddings
本文通过拓扑学方法分析 GPT-3.5 句子嵌入，发现其表征空间可分解为公平与不公平两个子流形，证明语言模型在训练中形成了道德维度。
2023-09-17 cs.AI cs.CL cs.CY
Bias and Fairness in Chatbots: An Overview
University of Southern California（南加州大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
本文综述聊天机器人系统中的偏见与公平性问题，梳理其发展历史、类别、偏见来源、潜在危害及公平设计考量，并指出未来研究方向。
2023-12-10 cs.AI cs.CL cs.CY
