Fair outputs, Biased Internals: Causal Potency and Asymmetry of Latent Bias in LLMs for High-Stakes Decisions
Bank of England(英格兰银行)
研究发现,尽管指令微调的语言模型在高风险决策中表现公平,但其内部表示仍保留并放大了种族相关的偏见,且这种偏见在不同群体中不对称,需通过双层测试框架进行治理。
2026-05-12 cs.AI cs.CY cs.LG
FairPIVARA: Reducing and Assessing Biases in CLIP-Based Multimodal Models
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Universidade Federal de Goiás (UFG)(戈亚斯联邦大学);University of Sheffield(谢菲尔德大学)
针对CLIP类视觉语言模型因训练数据失衡、跨语言微调引入偏差的问题,提出FairPIVARA方法通过移除特征嵌入受影响维度降偏,最高可减98%偏差并均衡词分布,同时评估了四类歧视行为。
2024-10-05 cs.AI cs.CV
Metamorphic Testing for Fairness Evaluation in Large Language Models: Identifying Intersectional Bias in LLaMA and GPT
East Carolina University(东卡罗来纳大学);University of North Florida(北佛罗里达大学)
本文提出一种基于蜕变测试的方法,通过定义面向公平性的蜕变关系,系统性地检测LLaMA和GPT模型中的交叉偏见,尤其在语气与情感方面,为公平性敏感应用中的偏见检测与缓解提供了结构化方案。
2025-04-04 cs.AI cs.CL
FLEX: A Benchmark for Evaluating Robustness of Fairness in Large Language Models
Korea University(高丽大学)
针对现有基准忽视LLM在对抗性指令下产生偏见响应的问题,提出FLEX基准,通过整合放大偏见的提示评估公平性鲁棒性,实验表明传统评估低估了模型风险。
2025-03-25 cs.AI cs.CL
A Survey on Bias and Fairness in Natural Language Processing
Stanford University(斯坦福大学)
随着NLP模型与人们的日常生活越来越紧密地结合在一起,研究这些系统的使用所产生的社会影响变得非常重要。虽然这些模型能够理解语言,并在困难的下游任务上提高了准确性,但有证据表明,这些模型放大了性别、种族和文化陈规定型观念,并在许多情况下导致恶性循环。在这项调查中,我们分析了偏见的起源,公平的定义,以及NLP的不同子领域如何减轻偏见。最后,我们将讨论未来的研究如何消除NLP算法中的有害偏见。
2022-03-06 cs.AI cs.CL
Where Should I Study? Biased Language Models Decide! Evaluating Fairness in LMs for Academic Recommendations
Centre for Responsible AI (CeRAI), Wadhwani School of Data Science and AI (WSAI)(负责任人工智能中心(CeRAI)、Wadhwani数据科学与人工智能学校(WSAI));Indian Institute of Technology Madras(印度理工学院马德拉斯学院)
本文实证考察LLaMA-3.1-8B等3个开源LLM在学术推荐中的地理、人口和经济偏见,提出多维评估框架,发现其存在系统性偏差,强调需解决偏见以保障高等教育公平获取。
2025-11-12 cs.AI cs.CL
Addressing Bias in LLMs: Strategies and Application to Fair AI-based Recruitment
本研究针对大语言模型存在的人口统计偏见问题,以AI招聘为案例,提出隐私增强框架剔除学习流程中的性别信息,实验验证其可有效防止系统复现数据偏见。
2025-06-13 cs.AI cs.CL
Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective
Amazon(亚马逊)
提出FiSCo统计框架,在声明层面通过蕴含检查与假设检验检测大语言模型长文本响应中的群体级细微语义偏见,并在合成及人工数据集上验证其有效性。
2025-10-10 cs.AI cs.CL cs.CY
Ensuring Equitable Financial Decisions: Leveraging Counterfactual Fairness and Deep Learning for Bias
Nihilent Technologies Ltd.(Nihilent科技有限公司)
本文针对机器学习模型在贷款审批等关键决策中的性别偏见问题,提出结合反事实公平与数据增强的偏见缓解技术,并在偏斜金融数据集上验证了其能有效实现更公平的决策结果。
2024-08-27 cs.AI cs.LG
FairFinGAN: Fairness-aware Synthetic Financial Data Generation
University of Koblenz(科伦兹大学);Hanoi University of Science and Technology(河内科学技术大学);Banking Academy of Vietnam(越南银行学院);University of Sheffield(谢菲尔德大学)
FairFinGAN通过引入公平性约束生成公平且实用的合成金融数据,有效减少偏见并提升数据实用性。
2026-03-05 cs.LG
Hidden Technical Debts for Fair Machine Learning in Financial Services
FICO AI Research(FICO人工智能研究院)
机器学习(ML)的最新进展已经证明了在短时间内构建复杂预测系统的强大解决方案的潜力。然而,在金融科技(Fintech)等高度监管的行业,人们对ML系统歧视特定受保护群体或个人的风险表示担忧。为了解决这些问题,研究人员引入了各种数学公平性指标和偏见缓解算法。本文讨论了在Fintech的生产环境中构建公平ML系统的隐藏技术债务和挑战。我们探讨了ML系统开发和部署生存周期中需要注意公平性的各个阶段。为了识别在为金融科技构建公平的机器学习系统时存在的隐藏技术债务,我们专注于关键的管道阶段,包括数据准备,模型开发,系统监控和生产集成。我们的分析表明,在Fintech中为生产就绪的ML系统实施公平性需要在ML系统生存周期的不同阶段做出具体的工程承诺。我们还提出了几个初始起点,以减轻在生产中部署公平ML系统的这些技术债务。
2021-03-22 cs.AI cs.LG stat.ML
Emergent Bias and Fairness in Multi-Agent Decision Systems
Featurespace Innovation Lab(Featurespace创新实验室)
研究多智能体决策系统中的公平性问题,揭示其在金融领域中的偏见风险,并主张以整体视角评估而非分解分析。
2025-12-18 cs.AI cs.LG
Incorporating Cognitive Biases into Reinforcement Learning for Financial Decision-Making
BITC.edu.cn(北京工业大学计算机学院)
本研究将认知偏差融入强化学习框架,旨在实现更接近人类的交易行为并提升风险调整后的收益。
2026-01-13 cs.LG econ.EM
How Far Can Fairness Constraints Help Recover From Biased Data?
IIIT Delhi(德里印度信息技术学院);Microsoft Research India(微软研究院印度分部)
本文提出一种通用方法,将公平分类的恢复结果扩展至不同公平性约束、数据偏差模型、数据分布与假设类,证明在偏差参数满足简单条件时,可从有偏数据中恢复最优且公平的分类器。
2024-06-01 cs.AI cs.LG
Identifying biases in legal data: An algorithmic fairness perspective
University of Michigan(密歇根大学);Princeton University(普林斯顿大学);Claudius Legal Intelligence(克劳迪乌斯法律智能公司)
解决法律案件数据中的代表偏见和量刑差异的必要性早已得到承认。在这里,我们从算法公平性的角度研究了识别和测量大规模法律案件数据中的偏差的问题。我们的方法利用两个回归模型:一个基线,代表了一个“典型”的判断,由数据和“公平”的判断,适用于三个公平的概念之一。比较“典型”法官和“公正”法官的决定可以量化人口群体之间的偏见,正如我们在库克县(伊利诺伊州)的犯罪数据的四个案例研究中所证明的那样。
2021-09-21 cs.AI cs.CY cs.LG
Fairness Assessment for Artificial Intelligence in Financial Industry
ATB Financial(ATB金融)
人工智能(AI)是金融业发展和变革的重要驱动力。然而,随着人工智能技术和应用的快速发展,无意的偏见,不充分的模型验证,不成熟的应急计划和其他被低估的威胁可能会使公司面临运营和声誉风险。在本文中,我们通过定量的视角关注公平性评估,这是人工智能治理的关键组成部分之一。统计方法进行审查不平衡的数据处理和偏见缓解。这些方法和公平性评价指标,然后应用到信用卡违约支付的例子。
2019-12-16 cs.LG stat.AP stat.ML
A pipeline for enabling path-specific causal fairness in observational health data
Department of Biomedical Informatics(生物医学信息学系);Columbia University(哥伦比亚大学);Big Data Institute(大数据研究所);University of Oxford(牛津大学)
本文提出了一种通用管道,用于训练能够解决直接和间接医疗偏见的因果公平机器学习模型。
2026-01-17 cs.AI cs.LG
Towards Multi-Objective Statistically Fair Federated Learning
Amazon Alexa AI(亚马逊 Alexa 人工智能)
联邦学习(FL)是由于数据所有权和隐私问题而出现的,以防止数据在训练过程中包括的多方之间共享。虽然问题,如隐私,已经获得了显着的关注,在这一领域,并没有太多的注意力已经得到满足统计公平措施在FL设置。考虑到这一目标,我们进行了研究,以表明FL是能够满足不同的公平性指标,在不同的数据制度,包括不同类型的客户端。更具体地说,不合作或敌对的客户端可能会由于其训练数据集中存在的偏见而注入有偏见或有毒的模型,从而污染全局FL模型。这些偏差可能是不平衡的训练集(Zhang和Zhou 2019)、历史偏差(Mehrabi et al. 2021 a)或来自针对公平性的数据投毒攻击的中毒数据点(Mehrabi et al. 2021 b; Solans,Biggio和Castillo 2020)的结果。因此,我们提出了一个新的FL框架,能够满足多个目标,包括各种统计公平性指标。通过实验,我们通过与不同基线的比较,展示了该方法的有效性,它在满足不同目标的集体和个人的能力,以及它在识别不合作或敌对客户和降低其影响的能力
2022-01-24 cs.AI cs.LG
FAIRLABEL: Correcting Bias in Labels
Amazon(亚马逊)
本文提出FAIRLABEL算法,通过检测并纠正标签中的历史与社会偏差,在保持预测准确率的同时显著降低群体间差异性影响,并在多个基准数据集上验证了其有效性。
2023-11-01 cs.AI cs.LG
FARE: Deep Reinforcement Learning For Fair Exposure Constrained Uncertainty Aware Financial Content Personalization
FARE提出将SOV约束排序建模为深度强化学习,并引入CTR预测不确定性到策略设计,通过模块化执行层实现公平曝光,减少偏差同时最小化参与度损失。
2026-09-29 cs.AI cs.IR cs.LG
Learning Fair Node Representations with Graph Counterfactual Fairness
University of Virginia(弗吉尼亚大学);City University of Hong Kong(香港城市大学);Microsoft(微软)
公平机器学习旨在减轻模型预测对某些亚群的偏见,这些亚群涉及种族和性别等敏感属性。在众多现有的公平性概念中,反事实公平性通过比较每个个体从原始数据和反事实的预测,从因果的角度衡量模型的公平性。在反事实中,这个人的敏感属性值被修改了。近年来,一些研究将反事实公平性扩展到图数据,但大多数研究都忽略了以下可能导致偏差的事实:1)每个节点的邻居的敏感属性可能会因果地影响预测w.r.t.该节点; 2)敏感属性可能会对其他特征和图结构产生因果影响。为了解决这些问题,在本文中,我们提出了一个新的公平概念-图反事实公平,它考虑了上述事实导致的偏见。为了学习图反事实公平性的节点表示,我们提出了一种新的框架,基于反事实数据增强。在这个框架中,我们生成对应于每个节点及其邻居的敏感属性上的扰动的反事实。然后,我们通过最小化从原始图中学习的表示与每个节点的反事实之间的差异来执行公平性。在合成图和真实世界图上的实验表明,我们的框架在图反事实公平性方面优于最先进的基线,并且还实现了相当的预测性能。
2022-01-10 cs.AI cs.LG
Equalizing Financial Impact in Supervised Learning
在计算机科学中出现的“公平分类”概念通常围绕着在受保护的群体之间均衡某些统计数据。这种方法被批评为忽视社会问题,包括错误如何不成比例地伤害某些群体。我们对Hardt,Price和Srebro [NIPS,2016]中的一个公平标准进行了修改,这使得在提供贷款等财务决策的情况下解决这个问题迈出了一小步。我们把这个新概念称为“均衡的财务影响”。"
2018-06-24 cs.LG stat.ML
Integrating Inductive Biases in Transformers via Distillation for Financial Time Series Forecasting
National Chengchi University(中华大学)
提出TIPS框架,通过知识蒸馏将因果性、局部性和周期性等归纳偏置整合到统一Transformer中,在四个主要股票市场实现年化收益、夏普比率和卡尔玛比率分别提升55%、9%和16%,且推理计算量仅为38%。
2026-05-27 cs.LG
Mitigating topology biases in Graph Diffusion via Counterfactual Intervention
Purdue University(帕克大学);The Pennsylvania State University(宾夕法尼亚州立大学)
FairGDiff通过反事实干预缓解图扩散中的拓扑偏见,平衡公平性与实用性,优于现有方法。
2026-03-02 cs.AI cs.LG cs.SI
Fair Meta-Learning For Few-Shot Classification
The University of Texas at Dallas(得克萨斯大学达拉斯分校)
人工智能如今在我们的生活中扮演着越来越重要的角色,因为曾经由人类做出的决定现在被委托给自动化系统。然而,基于有偏见的数据训练的机器学习算法往往会做出不公平的预测。因此,开发相对于数据的受保护属性公平的分类算法成为一个重要的问题。出于对共享和Few-Shot机器学习工具(如模型不可知元学习框架)的公平性影响的关注,我们提出了一种新的公平快速自适应Few-Shot元学习方法,该方法通过确保控制受保护变量与从特征向量到决策边界的有符号距离之间的决策边界协方差,有效地减轻了元训练期间的偏差。通过对三种最先进的元学习算法的两个真实图像基准进行广泛的实验,我们从经验上证明了我们提出的方法有效地减轻了模型输出的偏差,并在训练样本数量有限的情况下将准确性和公平性推广到看不见的任务。
2020-09-23 cs.AI cs.LG
Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学);TU Berlin(柏林工业大学)
随着人们对自然语言处理资源(如BERT)中有偏模式的认识不断提高,许多度量标准开始量化“偏”和“公平”。但是,比较不同指标的结果和用这些指标评估的作品仍然很困难,如果不是完全不可能的话。我们调查了现有的文献公平性指标的预训练语言模型和实验评估兼容性,包括在语言模型的偏见,在他们的下游任务。我们采用传统的文献调查和相关分析相结合的方法,并进行了实证评估。我们发现,许多指标是不兼容的,高度依赖于(i)模板,(ii)属性和目标种子和(iii)嵌入的选择。这些结果表明,公平性或偏见评估仍然具有挑战性的上下文语言模型,如果不是至少高度主观。为了改善未来的比较和公平性评估,我们建议避免基于嵌入的度量,并专注于下游任务中的公平性评估。
2021-12-14 cs.CL cs.CY cs.LG
On the Inductive Biases of Demographic Parity-based Fair Learning Algorithms
The Chinese University of Hong Kong(香港中文大学)
本研究揭示基于人口均等(DP)的公平学习算法在敏感属性分布不均的不平衡训练集上会产生偏向多数类的归纳偏置,提出SA-DRO方法提升对敏感属性边缘分布的鲁棒性,实验验证了理论结论与方法的去偏效果。
2024-06-20 cs.AI cs.IT cs.LG
FairLens: Auditing Black-box Clinical Decision Support Systems
Scuola Normale Superiore(比萨高等师范学院);ISI Foundation(ISI基金会);University of Pisa(比萨大学)
算法决策的普遍应用引起了人们对部署在医疗保健等关键环境中的人工智能系统中意外偏见风险的担忧。检测和缓解有偏见的模型是一项非常微妙的任务,应该小心处理,并让领域专家参与其中。在本文中,我们介绍了FairLens,这是一种发现和解释偏见的方法。我们展示了如何使用我们的工具来审计一个虚构的商业黑盒模型作为临床决策支持系统。在这种情况下,医疗机构专家可以使用FairLens对自己的历史数据进行分析,以发现模型的偏差,然后将其纳入临床决策流程。FairLens首先根据年龄、种族、性别和保险等属性对可用的患者数据进行分层;然后评估模型对这些患者亚组的性能,以确定需要专家评估的患者。最后,基于最新的XAI(可解释的人工智能)技术,FairLens解释了患者临床病史中的哪些因素导致了所选亚组中的模型误差。因此,FairLens允许专家调查是否信任该模型,并关注可能构成潜在公平问题的特定群体偏见。
2020-11-08 cs.AI cs.CY cs.LG
When Are Learning Biases Equivalent? A Unifying Framework for Fairness, Robustness, and Distribution Shift
针对机器学习中公平性、鲁棒性等失效模式被单独研究的问题,提出统一理论框架,通过信息论度量将偏差形式化为条件独立性违反,证明多种偏差的等价条件,实证验证等价性并支持去偏方法跨域迁移。
2025-11-09 cs.AI cs.LG stat.ML
Does Fair Ranking Improve Minority Outcomes? Understanding the Interplay of Human and Algorithmic Biases in Online Hiring
Harvard University(哈佛大学)
排名算法被广泛应用于各种在线招聘平台,包括LinkedIn,TaskRabbit和Fiverr。先前的研究已经表明,这些平台所采用的排名算法容易出现各种不期望的偏差,从而导致公平排名算法的提出(例如,这增加了代表性不足的候选人的曝光率。然而,几乎没有研究探讨公平排名算法是否实际上改善了现实世界的结果(例如,招聘决定)。此外,对于其他因素(例如,工作环境、雇主的固有偏见)可能会影响公平排名在实践中的效力。在这项工作中,我们分析了在线招聘平台中性别偏见的各种来源,包括工作环境和雇主的固有偏见,并确定这些因素如何与排名算法相互作用,以影响招聘决策。据我们所知,这项工作首次尝试研究在线招聘背景下上述因素之间的相互作用。我们进行了一个大规模的用户研究模拟在线招聘场景的数据从任务兔子,一个流行的在线自由职业者网站。我们的研究结果表明,虽然公平的排名算法一般提高代表性不足的少数民族的选择率,其有效性在很大程度上依赖于工作环境和候选人的个人资料。
2021-04-08 cs.HC cs.LG
FairSample: Training Fair and Accurate Graph Convolutional Neural Networks Efficiently
Simon Fraser University(西蒙弗雷泽大学);LinkedIn Corporation(领英公司)
针对图卷积神经网络易受图中社会偏见影响的问题,提出FairSample框架,通过图结构修正、强化学习可学习采样及公平正则化,高效实现公平且准确的GCN训练。
2024-01-26 cs.AI cs.CY cs.LG
Structural Gender Bias in Credit Scoring: Proxy Leakage
Indian Institute of Space Science and Technology (IIST)(印度空间科学与技术研究所);Vikram Sarabhai Space Centre (VSSC)(维克ram萨巴伊空间中心)
本研究揭示信用评分中性别偏见的结构性问题,通过SHAP分析发现非敏感特征可作为性别代理,提出需转向因果意识建模以应对隐性偏见。
2026-01-26 cs.LG
Auditing Predictive Models for Intersectional Biases
Machine Learning for Good Laboratory(向善机器学习实验室);New York University(纽约大学);Harvard Business School(哈佛商学院)
针对交叉性偏见风险,提出条件偏见扫描(CBS)审计框架,能识别分类模型中受保护类别与非受保护类别间偏见最显著的子群体,并在COMPAS工具上验证了其高检测能力。
2023-06-22 cs.LG
Social Bias Meets Data Bias: The Impacts of Labeling and Measurement Errors on Fairness Criteria
The Ohio State University(俄亥俄州立大学)
该研究探究标注与测量两类数据偏差下多种人口统计学公平性准则的鲁棒性,通过理论分析与三个真实数据集实验验证不同准则的抗偏差异,为有偏数据场景下公平性准则的选择与设计提供指导。
2023-05-02 cs.CY cs.LG
Understanding Biases in ChatGPT-based Recommender Systems: Provider Fairness, Temporal Stability, and Recency
Polytechnic University of Bari(巴里理工大学)
本文通过大量实验研究ChatGPT推荐系统中的提供者公平性等偏差,发现准确性导向提示优于多样化提示,将公平性嵌入系统角色更有效,且零样本学习在公平性和覆盖率上总体优于上下文学习。
2024-07-04 cs.IR cs.LG
Defining and Evaluating Fair Natural Language Generation
Harvard University(哈佛大学)
我们的工作集中在句子完成的自然语言生成(NLG)任务中出现的偏见。在本文中,我们介绍了NLG的公平性框架,其次是两个国家的最先进的语言模型的性别偏见的评估。我们的分析提供了一个理论公式的偏见,在NLG和现有的语言生成模式嵌入性别偏见的实证证据。
2020-07-28 cs.CL cs.LG
Faking Fairness via Stealthily Biased Sampling
University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所人工智能研究中心);Osaka University(大阪大学)
对决策者的审计公正性提出了更高的要求。为了回应这一社会需求,一些公平审计工具已经开发出来。本研究的重点是提高对恶意决策者的风险的认识,他们通过滥用审计工具来伪造公平,从而欺骗社会群体。问题是,决策者的这种欺诈行为是否可以被发现,以便社会能够避免虚假公平的风险。在这项研究中,我们对这个问题的回答是否定的。我们特别关注这样一种情况:决策者发布基准数据集作为他/她的公平性证据,并试图欺骗使用计算公平性度量的审计工具的人。为了评估欺诈行为的可检测性,我们明确地构建了一个算法,即隐形偏置采样,它可以通过子采样故意构建一个邪恶的基准数据集。我们发现,欺诈的秘密为基础的抽样确实是很难发现的理论和经验。
2019-11-29 cs.CR cs.LG stat.ML
Reinforcement-Guided Hyper-Heuristic Hyperparameter Optimization for Fair and Explainable Spiking Neural Network-Based Financial Fraud Detection
organization= Department of Computer Science \& Engineering, Khulna University of Engineering \& Technology (KUET) , city= Khulna , postcode= 9203 , country= Bangladesh;organization= Thomas Lord Department of Computer Science, Viterbi School of Engineering, University of Southern California , city= Los Angeles , state= CA , postcode= 90089 , country= USA;organization= Department of Computer Science, American International University-Bangladesh (AIUB) , city= Dhaka , postcode= 1229 , country= Bangladesh
本文提出结合脉冲编码网络与强化学习引导超启发式优化器的框架,用于实现公平且可解释的脉冲神经网络金融欺诈检测,通过在Bank Account Fraud数据集上验证,模型在5%的假阳性率下达到90.8%的召回率。
2026-03-23 cs.LG
AMA-LSTM: Pioneering Robust and Fair Financial Audio Analysis for Stock Volatility Prediction
Virginia Tech(弗吉尼亚理工大学);Texas A&M University - Corpus Christi(德州农工大学科珀斯克里斯蒂分校);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出AMA-LSTM模型,通过对抗训练生成扰动以模拟股市随机性和性别偏见,从而提升多模态股票波动率预测模型的稳健性与公平性,并在真实金融音频数据集上超越了现有最先进方法。
2024-07-03 cs.CL cs.LG eess.AS
Fair lending needs explainable models for responsible recommendation
Capital One(第一资本金融公司)
金融服务业在信贷决策中的合规性和道德考虑方面面临着独特的可解释性和公平性挑战。这些挑战使模型机器学习和人工智能方法在业务决策过程中的使用复杂化。
2018-09-12 cs.AI cs.CY cs.LG
Fairness in AI and Its Long-Term Implications on Society
University of Edinburgh(爱丁堡大学);Samsung AI Center(三星人工智能中心);University of Oxford(牛津大学)
该研究分析AI公平性缺失会形成偏见反馈循环、加剧社会风险甚至引发社会动荡,梳理现有提升策略的现实局限,探索兼顾AI效益与社会稳定的发展路径。
2023-07-19 cs.AI cs.CL cs.CV
FairEGM: Fair Link Prediction and Recommendation via Emulated Graph Modification
Ohio State University(俄亥俄州立大学)
随着机器学习在各个领域的应用越来越广泛,研究人员和机器学习工程师必须考虑数据中可能由模型永久化的固有偏见。最近,许多研究表明,如果输入图有偏差,则这种偏差也会被吸收到图神经网络(GNN)模型中,这可能会对服务不足和代表性不足的社区不利。在这项工作中,我们的目标是通过联合优化两个不同的损失函数来减轻GNN学习到的偏差:一个用于链接预测的任务,另一个用于人口统计平价的任务。我们进一步实现了三种不同的技术启发图修改方法:全局公平优化(GFO),约束公平优化(CFO)和公平边缘加权(FEW)模型。这些技术模拟了GNN中改变底层图形结构的效果,并提供了比更集成的神经网络方法更高程度的可解释性。我们提出的模型模拟了对输入图的微观或宏观编辑,同时训练GNN并学习在链接推荐的背景下准确和公平的节点嵌入。我们证明了我们的方法在四个真实世界的数据集的有效性,并表明,我们可以提高推荐公平性的几个因素在可以忽略不计的成本链接预测准确性。
2022-10-20 cs.LG
FairFS: Addressing Deep Feature Selection Biases for Recommender System
University of Science and Technology of China(中国科学技术大学);Huawei Noah's Ark Lab(华为诺亚实验室)
FairFS通过正则化和聚合方法解决推荐系统中深度特征选择的层、基线和近似偏差问题,提升特征选择的准确性和效率。
2026-02-23 cs.IR cs.LG
AIM-Fair: Advancing Algorithmic Fairness via Selectively Fine-Tuning Biased Models with Contextual Synthetic Data
Queen Mary University of London(伦敦玛丽女王大学)
AIM-Fair提出利用上下文感知LLM引导扩散模型生成无偏合成数据,并通过选择性微调仅更新对偏差敏感的参数,从而在无人口统计标签条件下同时提升模型公平性与效用。
2025-03-07 cs.CV cs.LG
FairPair: A Robust Evaluation of Biases in Language Models through Paired Perturbations
Meta;Cornell Tech(康奈尔科技学院);Microsoft(微软公司)
本研究提出FairPair评估框架,通过基于同一群体的反事实成对续写及采样变异性衡量,鲁棒评估语言模型日常使用中的偏见,验证发现模型存在对女性相关话题的偏好偏差。
2024-04-09 cs.CL cs.CY cs.LG
Don't Throw it Away! The Utility of Unlabeled Data in Fair Decision Making
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Saarland University(萨尔大学);MPI for Software Systems(马克斯·普朗克软件系统研究所);ETH Zürich(苏黎世联邦理工学院)
在实践中,决策算法通常是在表现出各种偏见的数据上训练的。决策者通常旨在根据一些假设或预期是无偏见的地面实况目标做出决策,即,平均分布在社会显著群体中。在许多实际环境中,地面实况不能直接观察到,相反,我们必须依赖地面实况的有偏见的代理测量,即,有偏见的标签。此外,数据通常被选择性地标记,即,甚至仅对于接收到肯定判决的数据的一小部分观察到有偏标签。为了克服标签和选择偏差,最近的工作提出了学习随机,通过i)在每个时间步在线训练新策略和ii)强制公平性作为对性能的约束来探索决策策略。然而,现有的方法只使用标记的数据,忽略了大量的未标记的数据,从而遭受高不稳定性和变化的学习决策政策在不同的时间。在本文中,我们提出了一种新的方法的基础上变分自动编码器的实际公平决策。我们的方法学习一个无偏的数据表示,利用标记和未标记的数据,并使用表示学习在线过程中的策略。使用合成数据,我们实证验证,我们的方法收敛到最佳(公平)的政策,根据地面真理与低方差。在现实世界的实验中,我们进一步表明,我们的训练方法不仅提供了一个更稳定的学习过程,而且产生的政策比以前的方法具有更高的公平性和实用性。
2022-07-04 cs.AI cs.HC cs.LG
Structural Bias Beyond Homophily: A Study of Fairness in Link Prediction
LTCI, Télécom Paris, Institut Polytechnique de Paris, Palaiseau, France(LTCI, Télécom 巴黎, 巴黎理工学院, 帕莱萨乌, 法国)
本研究通过形式化拓扑偏差度量并引入可控结构属性的合成图生成方法,实证了图拓扑与链接预测公平性之间的强相关性,并揭示了现有公平感知方法对同质性之外的结构偏差仍然敏感。
2026-05-29 cs.LG cs.SI
Towards Reducing Biases in Combining Multiple Experts Online
MIT(麻省理工学院);Univ. Rey Juan Carlos(胡安卡洛斯国王大学)
在许多现实生活中,包括工作和贷款申请,看门人必须对一个人是否适合某个特定的机会做出合理和公平的实时决定。在本文中,我们的目标是在一个在线随机决策过程中实现近似的群体公平性,我们考虑的公平性度量是均衡的赔率。我们的工作遵循经典的从专家学习方案,假设一组有限的分类器(人类专家,规则,选项等),不能修改。我们为每个标签类别以及敏感组运行算法的单独实例,其中选择每个实例的概率针对公平性和遗憾性进行了优化。我们的理论结果表明,近似相等的赔率可以实现,而不会牺牲太多的遗憾。我们还证明了该算法的性能通常使用的公平性社区的真实数据集。
2021-05-24 cs.LG stat.ML
Optimising Equal Opportunity Fairness in Model Training
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
现实世界的数据集通常编码刻板印象和社会偏见。这种偏见可以被训练过的模型隐含地捕捉到,从而导致有偏见的预测,并加剧现有的社会偏见。现有的去偏见方法,如对抗性训练和从表示中删除受保护的信息,已被证明可以减少偏见。然而,公平标准和培训目标之间的脱节使得很难从理论上对不同技术的有效性进行推理。在这项工作中,我们提出了两个新的训练目标,直接优化广泛使用的标准{ \it平等的机会},并表明它们是有效的,在减少偏见,同时保持高性能的两个分类任务。
2022-05-05 cs.CL cs.LG
Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心(hessian.AI));German Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));LAION;Huggingface(Hugging Face)
针对文本到图像生成模型因海量网络数据而继承并强化社会偏见的问题,本文提出 Fair Diffusion,在模型部署后按人类指令任意调节群体比例,无需过滤数据或额外训练。
2023-07-17 cs.AI cs.CV cs.CY
A Fairness-aware Hybrid Recommender System
UC Santa Cruz(加州大学圣克鲁兹分校)
推荐系统被广泛应用于影响人们生活的各个领域。这引起了人们对这种制度可能加剧的偏见和歧视的关切。推荐系统中存在两种主要的固有偏差:观察偏差和不平衡数据引起的偏差。观察偏差的存在是由于反馈回路导致模型学习仅预测与先前相似的建议。当数据中存在系统性的社会、历史或其他环境偏见时,就会出现数据不平衡。在本文中,我们提出了一个混合公平意识推荐系统解决这两个偏见。我们的模型通过整合多个用户-用户和项目-项目相似性度量,内容和人口统计信息,同时解决推荐偏见,提供高效和准确的推荐。我们实现我们的模型使用一个强大的和表达概率程序设计语言称为概率软逻辑。我们在一个流行的电影推荐数据集上对我们的方法进行了实验评估,结果表明,与最先进的公平推荐系统相比,我们提出的模型可以提供更准确,更公平的推荐。
2018-09-13 cs.IR cs.LG stat.ML
The Fragility of Fairness: Causal Sensitivity Analysis for Fair Machine Learning
University of Oxford(牛津大学);Harvard University(哈佛大学);University of Cincinnati(辛辛那提大学);Carnegie Mellon University(卡内基梅隆大学)
针对现实数据偏差导致公平性评估失效的问题,提出基于因果敏感性分析的通用框架,在14个数据集上验证了公平性评估对微小偏差的脆弱性,为衡量指标信息量提供必要工具。
2024-10-15 cs.CY cs.LG
A Primer on Causal and Statistical Dataset Biases for Fair and Robust Image Analysis
Imperial College London(伦敦帝国学院)
本入门指南聚焦图像分析中机器学习方法因数据集偏差失效的问题,介绍了致失效的因果与统计结构,提出两个被忽视的新问题,指出现有公平表示学习方法的不足并给出潜在研究方向。
2025-09-04 cs.CY cs.LG stat.ML
Multimodal Approaches to Fair Image Classification: An Ethical Perspective
University of Washington(华盛顿大学)
本论文从伦理视角探讨多模态方法在公平图像分类中的应用,旨在通过结合视觉数据与文本等模态来减轻偏见,提升公平性与准确性,并倡导负责任的AI实践。
2024-12-11 cs.AI cs.CV cs.CY