FairVis: Visual Analytics for Discovering Intersectional Bias in Machine Learning
Georgia Institute of Technology（佐治亚理工学院）
机器学习的能力和可访问性不断增长，导致其应用于许多现实世界的领域和关于人的数据。尽管算法系统可能带来好处，但模型可以在其输出中反映、注入或加剧隐性和显性的社会偏见，从而使某些人口亚群处于不利地位。发现机器学习模型引入了哪些偏见是一个巨大的挑战，因为公平性的定义很多，而且有大量可能受到影响的子群体。我们提出了FairVis，一个混合主动视觉分析系统，集成了一种新的子组发现技术，供用户审计机器学习模型的公平性。通过FairVis，用户可以应用领域知识来生成和调查已知的子组，并探索建议的和类似的子组。FairVis的协调视图使用户能够探索子组性能的高级概述，并随后深入到特定子组的详细调查。我们展示了FairVis如何帮助发现用于预测收入和累犯的两个真实数据集的偏差。作为一个致力于发现机器学习偏见的可视化分析系统，FairVis展示了交互式可视化如何帮助数据科学家和公众理解和创建更公平的算法系统。
2019-09-01 cs.LG stat.ML
Evaluating Fairness Metrics in the Presence of Dataset Bias
Civis Analytics（西维斯分析公司）
数据驱动的算法在各个行业的决策中发挥着重要作用。这些算法越来越多地被用于做出对人们的社会和经济福祉有重大影响的决策，例如在判刑，贷款审批和警务方面。随着这种制度的扩散，人们越来越担心它们可能产生的歧视性影响。特别是，在有偏见的数据上训练的机器学习系统有可能学习并延续这些偏见。因此，从业者面临的一个核心挑战是确定他们的模型是否显示出歧视性偏见。在这里，我们提出了一个案例研究中，我们框架的偏差检测问题作为一个因果推理问题与观测数据。我们列举了两个主要原因的偏见，抽样偏见和标签偏见，我们调查的能力，六种不同的公平性指标，以检测每种偏见类型。基于这些调查，我们提出了一套最佳实践准则，以选择最有可能检测到偏见的公平性度量。此外，我们的目标是确定某些公平性指标可能无法检测到偏见的条件，而是给从业者一个错误的信念，即他们的偏见模型正在做出公平的决定。
2018-09-24 cs.LG stat.ML
MMM-fair: An Interactive Toolkit for Exploring and Operationalizing Multi-Fairness Trade-offs
University of the Bundeswehr（德国联邦国防军大学）；Free University Berlin（柏林自由大学）
本文介绍mmm-fair，一个开源交互式工具包，通过提升集成方法实现多目标优化，联合最小化分类错误与公平性违规，支持无代码界面、LLM解释和帕累托探索，以探索和操作多公平性权衡。
2025-09-09 cs.CY cs.LG
Identifying biases in legal data: An algorithmic fairness perspective
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）；Claudius Legal Intelligence（克劳迪乌斯法律智能公司）
解决法律案件数据中的代表偏见和量刑差异的必要性早已得到承认。在这里，我们从算法公平性的角度研究了识别和测量大规模法律案件数据中的偏差的问题。我们的方法利用两个回归模型：一个基线，代表了一个“典型”的判断，由数据和“公平”的判断，适用于三个公平的概念之一。比较“典型”法官和“公正”法官的决定可以量化人口群体之间的偏见，正如我们在库克县（伊利诺伊州）的犯罪数据的四个案例研究中所证明的那样。
2021-09-21 cs.AI cs.CY cs.LG
Removing biased data to improve fairness and accuracy
University of Washington（华盛顿大学）
机器学习系统通常使用从历史决策中收集的数据进行训练。如果过去的决策是有偏见的，那么从历史数据中学习的自动化系统也会有偏见。我们提出了一种黑盒方法来识别和删除有偏见的训练数据。在这种去偏数据（原始训练数据的子集）上训练的机器学习模型具有较低的个体区分度，通常为0%。这些模型也比在完整历史数据上训练的模型具有更高的准确性和更低的统计差异。我们使用6个真实世界的数据集在实验中评估了我们的方法。我们的方法在个体识别和准确性方面优于以前的七种方法。
2021-02-05 cs.AI cs.CY cs.LG
Referee-Meta-Learning for Fast Adaptation of Locational Fairness
University of Maryland（马里兰大学）；University of Pittsburgh（匹兹堡大学）；University of Iowa（爱荷华大学）
针对机器学习中的位置偏差问题，本文提出位置元裁判 Meta-Ref，通过动态调整不同地点样本的学习率，在少样本元学习微调阶段提升跨区域公平性，并在保持预测质量的同时改善位置公平。
2024-02-20 cs.CY cs.LG
De-biased Representation Learning for Fairness with Unreliable Labels
Data Science Institute（数据科学研究所）；University of Technology Sydney（悉尼科技大学）；Tsinghua University（清华大学）
在保持所有任务相关信息的同时消除偏差对于公平表示学习方法来说是具有挑战性的，因为它们会产生随机或退化的表示。标签，当敏感属性与标签相关时。现有的工作建议注入的标签信息的学习过程中，以克服这些问题。然而，观察到的标签是干净的这一假设并不总是得到满足。事实上，标签偏见被认为是导致歧视的主要来源。换句话说，公平预处理方法在学习过程或评估阶段忽略了标签中编码的区分。这种矛盾给学习表征的公平性打上了一个问号。为了规避这个问题，我们探讨了以下问题：\emph{Can we learn fair representations predictable to latent ideal fair labels given only access to unreliable labels?}在这项工作中，我们提出了一个\textbf{D}电子- \textbf{B}基于\textbf{R} epresentation学习\textbf{F}空气（DBRF）框架，解开的敏感信息从非敏感属性，同时保持学习表示偏向理想的公平标签，而不是观察到的可预测的。我们通过信息论的概念，如互信息和信息瓶颈，制定了去偏学习框架。其核心理念是，DBRF主张在敏感信息有利于不可靠标签预测的情况下，不使用不可靠标签进行监管。在合成数据和真实数据上的实验结果表明，DBRF有效地学习了理想标签的去偏表示。
2022-08-01 cs.AI cs.CY cs.LG
How Robust is your Fair Model? Exploring the Robustness of Diverse Fairness Strategies
RMIT University（皇家墨尔本理工大学）；University of Michigan（密歇根大学）；ETH Zurich（苏黎世联邦理工学院）；UNSW Sydney（新南威尔士大学悉尼分校）；ARC Centre of Excellence for Automated Decision-Making and Society（自动化决策与社会卓越研究中心）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；Department of Mathematics, University of Michigan（密歇根大学数学系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；School of Computer Science and Engineering, UNSW Sydney（新南威尔士大学悉尼分校计算机科学与工程学院）
本文提出了一种名为鲁棒性比率的新标准，通过在五个基准数据集上评估三种公平策略和四种公平定义，首次定量分析了公平优化策略对噪声的鲁棒性，为不同数据集选择合适的公平策略提供了指导。
2024-05-31 cs.CY cs.LG
Fair Infinitesimal Jackknife: Mitigating the Influence of Biased Training Data Points Without Refitting
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）
在重要的决策应用中，减少机器学习模型中不必要的偏见，这些偏见会使种族和性别等敏感属性所界定的群体成员处于系统性劣势，这是争取公平的一个关键干预措施。在本文中，我们提出了一种算法，提高了公平性的预先训练的分类器，通过简单地丢弃精心挑选的训练数据点。我们选择实例的基础上，他们的影响的公平性度量的兴趣，计算使用无穷小折刀为基础的方法。训练点的下降原则上是这样做的，但实际上并不需要对模型进行重新拟合。至关重要的是，我们发现这样的干预并没有实质性地降低模型的预测性能，而是大大提高了公平性度量。通过仔细的实验，我们评估了所提出的方法在不同任务上的有效性，并发现它一贯改善现有的替代品。
2022-12-13 cs.CY cs.LG stat.ML
Exploring User Opinions of Fairness in Recommender Systems
University of Colorado（科罗拉多大学）
随着这些系统在社会中变得越来越普遍，人工智能的算法公平性变得越来越重要。人工智能的一个领域，推荐系统，由于在优化用户的准确性和提供商的公平性之间进行权衡，因此对公平性提出了独特的挑战。但是，在建议的背景下，什么是公平的-特别是在有多个利益攸关方的情况下？在这个问题的初步探索，我们问用户他们的想法，公平对待的建议可能是，为什么。我们分析了什么可能导致用户对公平性的意见之间的差异或变化，最终帮助设计更公平，更透明的推荐算法。
2020-04-17 cs.HC cs.IR cs.LG
What is Fair? Exploring Pareto-Efficiency for Fairness Constrained Classifiers
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google AI（谷歌人工智能）
学习模型放大现有社会偏见的潜力已得到广泛认可。公平感知分类器约束，它适用于在敏感属性（如种族和性别）上定义的子组之间的性能的平等度量，试图纠正不公平，但可能会产生不均匀的性能下降偏斜的数据集。在某些领域，不平衡的性能下降可能会产生另一种形式的无意偏见。本着构建公平意识算法作为社会当务之急的精神，我们探索了一种替代方案：帕累托有效公平（PEF）。从理论上讲，我们证明了PEF确定的帕累托曲线上的分组性能最接近的公平超平面，最大限度地提高多个子群的准确性的操作点。从经验上讲，我们证明，PEF优于实现帕累托水平的准确性相比，严格的公平性约束，在几个UCI数据集的所有子组。
2019-10-30 cs.LG stat.ML
Connecting Fairness in Machine Learning with Public Health Equity
University of Toronto（多伦多大学）
本文总结了机器学习公平性文献并提出一个框架，用于在公共卫生ML流程各阶段识别和缓解数据与模型偏差，以促进公平公正的健康结果。
2023-04-08 cs.AI cs.CY cs.LG
Migrate Demographic Group For Fair GNNs
School of Computer Science and Engineering（计算机科学与工程学院）；Sun Yat-sen University（中山大学）；School of Software Engineering（软件工程学院）
针对图神经网络中因固定敏感属性导致训练偏见的问题，提出FairMigration框架，通过两阶段训练动态迁移人口统计群体并结合对抗学习，有效平衡了模型性能与公平性。
2024-03-23 cs.CY cs.LG
A Human-In-The-Loop Approach for Improving Fairness in Predictive Business Process Monitoring
Friedrich-Alexander-University Erlangen-Nuremberg, Germany（埃森纳赫-纽伦堡弗里德里希-亚历山大大学）；University of Bayreuth, Bayreuth, Germany（拜罗伊特大学）
针对预测性业务流程监控模型因敏感属性导致的有偏预测问题，提出一种人在环的模型无关方法，通过修改从原模型提炼的决策树区分公平与不公平决策，在有偏数据下实现公平性与准确性的良好权衡。
2025-08-24 cs.CY cs.LG
Fairness Through Causal Awareness: Learning Latent-Variable Models for Biased Data
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们如何从有偏见的数据中学习？历史数据集通常反映了历史偏见;敏感或受保护的属性可能会影响观察到的治疗和结果。负责从这些数据集准确预测结果的分类算法往往会复制这些偏差。我们提倡一种因果建模方法来从有偏见的数据中学习，探索公平分类和干预之间的关系。我们提出了一个因果模型，其中敏感属性混淆治疗和结果。基于之前在深度学习和生成建模方面的工作，我们描述了如何仅从观察数据中学习这个因果模型的参数，即使存在未观察到的混杂因素。我们的实验表明，公平意识的因果模型提供了更好的估计之间的因果关系的敏感属性，治疗和结果。我们进一步提出的证据表明，估计这些因果效应可以帮助学习更准确和公平的政策，当与历史上有偏见的数据集。
2018-12-03 cs.LG stat.ML
Downstream Fairness Caveats with Synthetic Healthcare Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文评估综合生成的医疗数据的偏见，并调查公平缓解技术效用公平的影响。隐私法限制对电子病历（EMR）等健康数据的访问，以保护患者隐私。尽管这些法律是必要的，但它们阻碍了研究的可重复性。合成数据是一种可行的解决方案，可以在没有隐私风险的情况下访问类似于真实医疗数据的数据。医疗保健数据集可能存在偏见，某些受保护的群体可能会比其他群体经历更糟糕的结果。由于真实数据存在偏差，综合生成的健康数据的公平性受到质疑。在本文中，我们评估了在两个医疗数据集上生成的性别和种族偏见模型的公平性。我们使用名为HealthGAN的生成对抗网络生成数据集的合成版本，并比较真实和合成模型的平衡准确性和公平性得分。我们发现，合成数据具有不同的公平性相比，真实数据和公平缓解技术的表现不同，突出表明，合成数据是没有偏见的。
2022-03-09 cs.LG
FairLens: Auditing Black-box Clinical Decision Support Systems
Scuola Normale Superiore（比萨高等师范学院）；ISI Foundation（ISI基金会）；University of Pisa（比萨大学）
算法决策的普遍应用引起了人们对部署在医疗保健等关键环境中的人工智能系统中意外偏见风险的担忧。检测和缓解有偏见的模型是一项非常微妙的任务，应该小心处理，并让领域专家参与其中。在本文中，我们介绍了FairLens，这是一种发现和解释偏见的方法。我们展示了如何使用我们的工具来审计一个虚构的商业黑盒模型作为临床决策支持系统。在这种情况下，医疗机构专家可以使用FairLens对自己的历史数据进行分析，以发现模型的偏差，然后将其纳入临床决策流程。FairLens首先根据年龄、种族、性别和保险等属性对可用的患者数据进行分层;然后评估模型对这些患者亚组的性能，以确定需要专家评估的患者。最后，基于最新的XAI（可解释的人工智能）技术，FairLens解释了患者临床病史中的哪些因素导致了所选亚组中的模型误差。因此，FairLens允许专家调查是否信任该模型，并关注可能构成潜在公平问题的特定群体偏见。
2020-11-08 cs.AI cs.CY cs.LG
A Primer on Causal and Statistical Dataset Biases for Fair and Robust Image Analysis
Imperial College London（伦敦帝国学院）
本入门指南聚焦图像分析中机器学习方法因数据集偏差失效的问题，介绍了致失效的因果与统计结构，提出两个被忽视的新问题，指出现有公平表示学习方法的不足并给出潜在研究方向。
2025-09-04 cs.CY cs.LG stat.ML
Exploring Fusion Techniques in Multimodal AI-Based Recruitment: Insights from FairCVdb
Research Institute CODE, University of the Bundeswehr Munich（慕尼黑联邦国防军大学CODE研究院）；Institute of Computer Science, Free University Berlin（柏林自由大学计算机科学研究所）
本研究基于FairCVdb数据集调查多模态AI招聘中的融合技术，发现早期融合比晚期融合MAE更低，在存在偏见时仍能实现更准确公平的评估。
2024-06-17 cs.CL cs.CV cs.CY
Does Fair Ranking Improve Minority Outcomes? Understanding the Interplay of Human and Algorithmic Biases in Online Hiring
Harvard University（哈佛大学）
排名算法被广泛应用于各种在线招聘平台，包括LinkedIn，TaskRabbit和Fiverr。先前的研究已经表明，这些平台所采用的排名算法容易出现各种不期望的偏差，从而导致公平排名算法的提出（例如，这增加了代表性不足的候选人的曝光率。然而，几乎没有研究探讨公平排名算法是否实际上改善了现实世界的结果（例如，招聘决定）。此外，对于其他因素（例如，工作环境、雇主的固有偏见）可能会影响公平排名在实践中的效力。在这项工作中，我们分析了在线招聘平台中性别偏见的各种来源，包括工作环境和雇主的固有偏见，并确定这些因素如何与排名算法相互作用，以影响招聘决策。据我们所知，这项工作首次尝试研究在线招聘背景下上述因素之间的相互作用。我们进行了一个大规模的用户研究模拟在线招聘场景的数据从任务兔子，一个流行的在线自由职业者网站。我们的研究结果表明，虽然公平的排名算法一般提高代表性不足的少数民族的选择率，其有效性在很大程度上依赖于工作环境和候选人的个人资料。
2021-04-08 cs.HC cs.LG
Exploring Biases and Prejudice of Facial Synthesis via Semantic Latent Space
Australian National University（澳大利亚国立大学）
深度学习（DL）模型被广泛用于提供更方便、更智能的生活。然而，有偏见的算法会对我们产生负面影响。例如，有偏见的算法针对的群体会感到不公平对待，甚至害怕这些偏见的负面后果。这项工作针对有偏见的生成模型的行为，识别偏见的原因并消除它们。我们可以（如预期的那样）得出结论，有偏见的数据导致了面部额化模型的有偏见的预测。在训练数据中改变男性和女性面部的比例可以对测试数据上的行为产生实质性影响：我们发现，看似显而易见的50：50比例的选择并不是该数据集减少女性面部偏见行为的最佳选择，与我们的最高无偏见率84%相比，该数据集的无偏见率为71%。生成失败和生成错误的性别面孔是这些模型的两种行为。此外，只有人脸正面化模型中的某些层容易受到有偏见的数据集的影响。在人脸正面化模型中优化生成器的跳跃连接可以使模型更少有偏见。我们的结论是，如果没有无限大小的数据集，很可能不可能消除所有的训练偏差，我们的实验表明，偏差可以减少和量化。我们认为，完美无偏预测器的下一个最佳选择是将剩余的已知偏差降至最低。
2021-08-23 cs.CV cs.CY cs.LG
Fair and Unbiased Algorithmic Decision Making: Current State and Future Challenges
JRC（欧盟联合研究中心）
机器学习算法现在经常用于对人类生活产生重大影响的敏感环境中，例如信贷或刑事司法。这是由这样一种想法驱动的，即“客观”机器的决定完全基于事实，不受人类认知偏见、歧视倾向或情绪的影响。然而，有压倒性的证据表明，当算法基于包含有偏见的人类决策的数据时，它们可以继承甚至延续人类决策中的偏见。这导致了对公平意识机器学习的呼吁。然而，公平性是一个复杂的概念，这也反映在试图正式公平算法决策。公平性的统计形式化导致了一长串标准，这些标准在不同的情况下都是有缺陷的（甚至是有害的）。此外，这些标准中固有的权衡使得不可能将它们统一在一个总的框架中。因此，算法中的公平性约束必须特定于算法所应用的域。未来，算法决策系统的研究应该意识到数据和开发者的偏见，并关注透明度，以促进定期的公平审计。
2019-01-15 cs.CY cs.LG stat.ML
FairSample: Training Fair and Accurate Graph Convolutional Neural Networks Efficiently
Simon Fraser University（西蒙弗雷泽大学）；LinkedIn Corporation（领英公司）
针对图卷积神经网络易受图中社会偏见影响的问题，提出FairSample框架，通过图结构修正、强化学习可学习采样及公平正则化，高效实现公平且准确的GCN训练。
2024-01-26 cs.AI cs.CY cs.LG
Recovering from Biased Data: Can Fairness Constraints Improve Accuracy?
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
针对有偏训练数据导致分类器准确率下降的问题，本文证明结合Equal Opportunity等公平性约束的经验风险最小化（ERM）能恢复Bayes最优分类器，为以准确率为首要目标的公平性干预提供了理论依据。
2024-08-22 cs.AI cs.LG stat.ML
A Tutorial On Intersectionality in Fair Rankings
Politecnico di Milano（米兰理工大学）
该研究针对算法偏见与不公平排序问题，指出多数公平感知排序方法忽视属性交叉性的局限，通过案例介绍交叉性纳入公平排序的方法，强调交叉性对实现公平的必要性。
2025-02-07 cs.CY cs.IR cs.LG
How Far Can Fairness Constraints Help Recover From Biased Data?
IIIT Delhi（德里印度信息技术学院）；Microsoft Research India（微软研究院印度分部）
本文提出一种通用方法，将公平分类的恢复结果扩展至不同公平性约束、数据偏差模型、数据分布与假设类，证明在偏差参数满足简单条件时，可从有偏数据中恢复最优且公平的分类器。
2024-06-01 cs.AI cs.LG
Does enforcing fairness mitigate biases caused by subpopulation shift?
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
许多算法偏差的例子是由亚群变化引起的。例如，ML模型在训练数据中代表性不足的人口统计组上的表现往往更差。在本文中，我们研究是否在训练过程中执行算法的公平性提高了性能的训练模型中的\emph{target domain}。一方面，我们设想的情况下，强制执行公平性并不能提高目标域的性能。事实上，它甚至可能损害性能。另一方面，我们推导出必要和充分条件下，强制执行算法的公平性导致贝叶斯模型在目标域。我们还说明了我们的理论结果在模拟和实际数据的实际影响。
2021-10-26 cs.LG stat.ML
Promoting Fairness in GNNs: A Characterization of Stability
Huazhong University of Science and Technology（华中科技大学）；Dartmouth College（达特茅斯学院）
本文针对非欧几里得图数据偏差导致的 GNN 公平性问题，提出并分析面向输入偏差的 Lipschitz 界，结合实验与训练动力学证明其可约束输出扰动并改善准确性—公平性权衡。
2023-12-12 cs.AI cs.CY cs.LG
Defining and Evaluating Fair Natural Language Generation
Harvard University（哈佛大学）
我们的工作集中在句子完成的自然语言生成（NLG）任务中出现的偏见。在本文中，我们介绍了NLG的公平性框架，其次是两个国家的最先进的语言模型的性别偏见的评估。我们的分析提供了一个理论公式的偏见，在NLG和现有的语言生成模式嵌入性别偏见的实证证据。
2020-07-28 cs.CL cs.LG
Policy-Gradient Training of Fair and Unbiased Ranking Functions
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
虽然隐式反馈（例如，点击、停留时间等）是学习排序的一个丰富而有吸引力的数据来源，但它可能会产生不公平的排名政策，无论是外部的还是内部的原因。外生原因通常表现为训练数据中的偏差，然后反映在学习的排名策略中，并经常导致富人越来越富的动态。此外，即使在纠正了这些偏差之后，学习算法设计的内在原因仍然可能导致排名策略不能以公平的方式在项目之间分配曝光。为了解决外源性和内源性的不公平性，我们提出了第一个学习排名的方法，同时解决介绍偏见和择优公平的曝光。具体来说，我们定义了一类摊销公平的曝光限制，可以选择基于应用程序的需求，我们展示了如何执行这些公平的标准，尽管隐式反馈数据中的选择偏差。关键的结果是一个有效的和灵活的政策梯度算法，称为FULTR，这是第一个使使用反事实估计效用估计和公平性约束。除了框架的理论依据，我们的经验表明，该算法可以学习准确和公平的排名政策，从偏见和嘈杂的反馈。
2021-05-09 cs.CY cs.IR cs.LG
On the Inductive Biases of Demographic Parity-based Fair Learning Algorithms
The Chinese University of Hong Kong（香港中文大学）
本研究揭示基于人口均等（DP）的公平学习算法在敏感属性分布不均的不平衡训练集上会产生偏向多数类的归纳偏置，提出SA-DRO方法提升对敏感属性边缘分布的鲁棒性，实验验证了理论结论与方法的去偏效果。
2024-06-20 cs.AI cs.IT cs.LG
Fairness in Machine Learning meets with Equity in Healthcare
Vector Institute for Artificial Intelligence（向量人工智能研究所）；Toronto Metropolitan University（多伦多都会大学）
针对医疗机器学习可能延续并放大数据偏见的问题，提出基于软件工程原则的 AI 框架以识别和缓解偏见，并通过案例研究验证其促进健康公平的潜力。
2023-08-14 cs.LG
Mitigating topology biases in Graph Diffusion via Counterfactual Intervention
Purdue University（帕克大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
FairGDiff通过反事实干预缓解图扩散中的拓扑偏见，平衡公平性与实用性，优于现有方法。
2026-03-02 cs.AI cs.LG cs.SI
Exploring How Fair Model Representations Relate to Fair Recommendations
Norwegian University of Science and Technology（挪威科学与技术大学）
本文探讨了公平模型表示与公平推荐之间的关系，提出两种新方法衡量推荐中公平性，并通过实验表明优化公平表示能提升推荐公平性，但表示层面评估不适用于模型比较。
2026-03-25 cs.AI cs.IR cs.LG
FairEGM: Fair Link Prediction and Recommendation via Emulated Graph Modification
Ohio State University（俄亥俄州立大学）
随着机器学习在各个领域的应用越来越广泛，研究人员和机器学习工程师必须考虑数据中可能由模型永久化的固有偏见。最近，许多研究表明，如果输入图有偏差，则这种偏差也会被吸收到图神经网络（GNN）模型中，这可能会对服务不足和代表性不足的社区不利。在这项工作中，我们的目标是通过联合优化两个不同的损失函数来减轻GNN学习到的偏差：一个用于链接预测的任务，另一个用于人口统计平价的任务。我们进一步实现了三种不同的技术启发图修改方法：全局公平优化（GFO），约束公平优化（CFO）和公平边缘加权（FEW）模型。这些技术模拟了GNN中改变底层图形结构的效果，并提供了比更集成的神经网络方法更高程度的可解释性。我们提出的模型模拟了对输入图的微观或宏观编辑，同时训练GNN并学习在链接推荐的背景下准确和公平的节点嵌入。我们证明了我们的方法在四个真实世界的数据集的有效性，并表明，我们可以提高推荐公平性的几个因素在可以忽略不计的成本链接预测准确性。
2022-10-20 cs.LG
FairFS: Addressing Deep Feature Selection Biases for Recommender System
University of Science and Technology of China（中国科学技术大学）；Huawei Noah's Ark Lab（华为诺亚实验室）
FairFS通过正则化和聚合方法解决推荐系统中深度特征选择的层、基线和近似偏差问题，提升特征选择的准确性和效率。
2026-02-23 cs.IR cs.LG
Exploring Fairness in Educational Data Mining in the Context of the Right to be Forgotten
Iowa State University（爱荷华州立大学）
本文针对教育数据挖掘中被遗忘权背景下，提出选择性遗忘攻击以破坏模型公平性且保持预测精度，并设计优化框架生成恶意遗忘请求，通过多数据集实验验证有效性。
2024-05-29 cs.LG
Exploring the impact of fairness-aware criteria in AutoML
University of Coimbra, CISUC/LASI – Centre for Informatics and Systems of the University of Coimbra（科英布拉大学，CISUC/LASI – 科英布拉大学信息与系统中心）
本文研究了在AutoML框架中直接整合公平性对构建完整ML流水线的影响，通过引入互补公平性指标提升了公平性，尽管预测性能略有下降，但公平性显著提高，且数据使用减少。
2026-04-11 cs.AI cs.LG
AIM-Fair: Advancing Algorithmic Fairness via Selectively Fine-Tuning Biased Models with Contextual Synthetic Data
Queen Mary University of London（伦敦玛丽女王大学）
AIM-Fair提出利用上下文感知LLM引导扩散模型生成无偏合成数据，并通过选择性微调仅更新对偏差敏感的参数，从而在无人口统计标签条件下同时提升模型公平性与效用。
2025-03-07 cs.CV cs.LG
Unveiling Fairness Biases in Deep Learning-Based Brain MRI Reconstruction
The University of Edinburgh（爱丁堡大学）；Indiana University School of Medicine（印第安纳大学医学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文首次分析基于U-Net的脑部MRI重建模型公平性，发现性别与年龄亚组间存在显著性能偏差，且数据不平衡和训练歧视并非主要来源。
2023-09-25 cs.CV cs.LG eess.IV
When Fairness Meets Privacy: Exploring Privacy Threats in Fair Binary Classifiers via Membership Inference Attacks
University of Technology Sydney（悉尼科技大学）；City University of Macau（澳门城市大学）；Data61 CSIRO
针对公平性增强二分类模型对基于分数的成员推理攻击存在抵抗力的现象，提出利用原始模型与公平性增强模型预测差异及预测差距作为攻击线索的高效攻击方法FD-MIA，并验证了其有效性。
2024-08-27 cs.AI cs.CR cs.LG
Optimising Equal Opportunity Fairness in Model Training
The University of Melbourne（墨尔本大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
现实世界的数据集通常编码刻板印象和社会偏见。这种偏见可以被训练过的模型隐含地捕捉到，从而导致有偏见的预测，并加剧现有的社会偏见。现有的去偏见方法，如对抗性训练和从表示中删除受保护的信息，已被证明可以减少偏见。然而，公平标准和培训目标之间的脱节使得很难从理论上对不同技术的有效性进行推理。在这项工作中，我们提出了两个新的训练目标，直接优化广泛使用的标准{ \it平等的机会}，并表明它们是有效的，在减少偏见，同时保持高性能的两个分类任务。
2022-05-05 cs.CL cs.LG
How Biased are Your Features?: Computing Fairness Influence Functions with Global Sensitivity Analysis
National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文提出公平性影响函数（FIF），通过全局敏感性分析和方差分解量化数据集中单一及交叉特征对分类器偏见的影响，并实例化FairXplainer算法进行估计，实验证明其能更好地近似偏见并检测公平性干预的效果。
2023-07-03 cs.AI cs.LG
A pipeline for enabling path-specific causal fairness in observational health data
Department of Biomedical Informatics（生物医学信息学系）；Columbia University（哥伦比亚大学）；Big Data Institute（大数据研究所）；University of Oxford（牛津大学）
本文提出了一种通用管道，用于训练能够解决直接和间接医疗偏见的因果公平机器学习模型。
2026-01-17 cs.AI cs.LG
A Fairness-aware Hybrid Recommender System
UC Santa Cruz（加州大学圣克鲁兹分校）
推荐系统被广泛应用于影响人们生活的各个领域。这引起了人们对这种制度可能加剧的偏见和歧视的关切。推荐系统中存在两种主要的固有偏差：观察偏差和不平衡数据引起的偏差。观察偏差的存在是由于反馈回路导致模型学习仅预测与先前相似的建议。当数据中存在系统性的社会、历史或其他环境偏见时，就会出现数据不平衡。在本文中，我们提出了一个混合公平意识推荐系统解决这两个偏见。我们的模型通过整合多个用户-用户和项目-项目相似性度量，内容和人口统计信息，同时解决推荐偏见，提供高效和准确的推荐。我们实现我们的模型使用一个强大的和表达概率程序设计语言称为概率软逻辑。我们在一个流行的电影推荐数据集上对我们的方法进行了实验评估，结果表明，与最先进的公平推荐系统相比，我们提出的模型可以提供更准确，更公平的推荐。
2018-09-13 cs.IR cs.LG stat.ML
Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心（hessian.AI））；German Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；LAION；Huggingface（Hugging Face）
针对文本到图像生成模型因海量网络数据而继承并强化社会偏见的问题，本文提出 Fair Diffusion，在模型部署后按人类指令任意调节群体比例，无需过滤数据或额外训练。
2023-07-17 cs.AI cs.CV cs.CY
Towards Multi-Objective Statistically Fair Federated Learning
Amazon Alexa AI（亚马逊 Alexa 人工智能）
联邦学习（FL）是由于数据所有权和隐私问题而出现的，以防止数据在训练过程中包括的多方之间共享。虽然问题，如隐私，已经获得了显着的关注，在这一领域，并没有太多的注意力已经得到满足统计公平措施在FL设置。考虑到这一目标，我们进行了研究，以表明FL是能够满足不同的公平性指标，在不同的数据制度，包括不同类型的客户端。更具体地说，不合作或敌对的客户端可能会由于其训练数据集中存在的偏见而注入有偏见或有毒的模型，从而污染全局FL模型。这些偏差可能是不平衡的训练集（Zhang和Zhou 2019）、历史偏差（Mehrabi et al. 2021 a）或来自针对公平性的数据投毒攻击的中毒数据点（Mehrabi et al. 2021 b; Solans，Biggio和Castillo 2020）的结果。因此，我们提出了一个新的FL框架，能够满足多个目标，包括各种统计公平性指标。通过实验，我们通过与不同基线的比较，展示了该方法的有效性，它在满足不同目标的集体和个人的能力，以及它在识别不合作或敌对客户和降低其影响的能力
2022-01-24 cs.AI cs.LG
What Hides behind Unfairness? Exploring Dynamics Fairness in Reinforcement Learning
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
本文通过因果视角探究强化学习中长期不公平性的来源，提出动态公平性概念以区分环境动态导致的不平等，并推导识别公式进行定量评估，实验证明其能有效解释、检测和减少不平等。
2024-04-28 cs.AI cs.CY cs.LG
On the Identification of Fair Auditors to Evaluate Recommender Systems based on a Novel Non-Comparative Fairness Notion
Missouri University of Science and Technology（密苏里科技大学）
决策支持系统是指在司法、房地产和银行等领域为人们的决策提供支持的信息系统。最近，人们发现这些支助系统在许多实际部署中具有歧视性。为了评估和减轻这些偏见，算法公平性文献已经使用比较正义的概念进行了培育，这主要依赖于比较社会中的两个或多个个体或群体，这些系统得到了支持。然而，这种公平的概念是不是很有用的，在确定公平的审计师谁聘请评估决策支持系统内的潜在偏见。作为解决方案，我们引入了一个范式转变的算法公平性通过提出一个新的公平性概念的基础上的原则，非比较正义。假设审计师根据决策支持系统的某些（可能未知的）期望属性进行公平性评估，则建议的公平性概念将系统的结果与审计师的期望结果进行比较。我们表明，建议的公平性概念也提供了保证，在比较公平的概念，证明任何系统可以被认为是公平的，从比较公平的角度来看（如个人公平性和统计平价），如果它是非相对公平的审计师谁被认为是公平的，就相同的公平性概念。我们还表明，反之亦然的情况下，个人公平。一个简短的讨论也提出了关于我们的公平概念可以用来识别公平和可靠的审计师，以及我们如何可以使用它们来量化决策支持系统中的偏见。
2020-09-09 cs.AI cs.CY cs.HC
Multimodal Approaches to Fair Image Classification: An Ethical Perspective
University of Washington（华盛顿大学）
本论文从伦理视角探讨多模态方法在公平图像分类中的应用，旨在通过结合视觉数据与文本等模态来减轻偏见，提升公平性与准确性，并倡导负责任的AI实践。
2024-12-11 cs.AI cs.CV cs.CY
Learning Fair Node Representations with Graph Counterfactual Fairness
University of Virginia（弗吉尼亚大学）；City University of Hong Kong（香港城市大学）；Microsoft（微软）
公平机器学习旨在减轻模型预测对某些亚群的偏见，这些亚群涉及种族和性别等敏感属性。在众多现有的公平性概念中，反事实公平性通过比较每个个体从原始数据和反事实的预测，从因果的角度衡量模型的公平性。在反事实中，这个人的敏感属性值被修改了。近年来，一些研究将反事实公平性扩展到图数据，但大多数研究都忽略了以下可能导致偏差的事实：1）每个节点的邻居的敏感属性可能会因果地影响预测w.r.t.该节点; 2）敏感属性可能会对其他特征和图结构产生因果影响。为了解决这些问题，在本文中，我们提出了一个新的公平概念-图反事实公平，它考虑了上述事实导致的偏见。为了学习图反事实公平性的节点表示，我们提出了一种新的框架，基于反事实数据增强。在这个框架中，我们生成对应于每个节点及其邻居的敏感属性上的扰动的反事实。然后，我们通过最小化从原始图中学习的表示与每个节点的反事实之间的差异来执行公平性。在合成图和真实世界图上的实验表明，我们的框架在图反事实公平性方面优于最先进的基线，并且还实现了相当的预测性能。
2022-01-10 cs.AI cs.LG
Evaluating Blocking Biases in Entity Matching
The University of Western Ontario（西安大略大学）
本研究提出一个评估实体匹配中 Blocking 技术偏差的框架，通过扩展传统指标纳入公平性，实验分析多种 Blocking 方法的有效性与公平性，强调在 Blocking 阶段考虑公平性对确保数据集成任务公平结果的重要性。
2024-09-24 cs.DB cs.LG
Fair Adversarial Networks
illumr Ltd.（illumr有限公司）
人类判断的影响在分析行业使用的数据集中无处不在，但众所周知，人类是次优决策者，容易出现各种偏见。分析有偏差的数据集，然后导致分析结果有偏差。受保护特征（例如种族）的偏见特别令人感兴趣，因为它不仅可能使分析过程的输出次优，而且也是非法的。通过限制分析结果的公平性来对抗偏见是有问题的，因为A）公平性缺乏普遍接受的定义，而同时一些定义是相互排斥的，B）使用优化约束确保公平性与大多数分析管道不兼容。这两个问题都可以通过从数据中消除偏差并返回更改后的数据集的方法来解决。这种方法的目的不仅是删除实际的偏见变量（例如种族），而且还改变了所有的代理变量（例如邮政编码），因此偏见变量无法从其余数据中检测到。使用这种方法的优点是，公平性的定义是数据中缺乏可检测的偏差（与分析的输出相反），这是普遍的，因此解决了问题（A）。此外，当数据被改变以消除偏差时，问题（B）消失，因为分析管道可以保持不变。这种方法已经被一些技术解决方案所采用。然而，它们中没有一个在去除多变量、非线性和非二进制偏差的能力方面似乎是令人满意的。因此，在本文中，我提出了公平对抗网络的概念，作为一种易于实现的消除数据偏见的通用方法。本文证明了公平对抗网络实现了这一目标。
2020-02-23 cs.LG stat.ML
Fair Meta-Learning For Few-Shot Classification
The University of Texas at Dallas（得克萨斯大学达拉斯分校）
人工智能如今在我们的生活中扮演着越来越重要的角色，因为曾经由人类做出的决定现在被委托给自动化系统。然而，基于有偏见的数据训练的机器学习算法往往会做出不公平的预测。因此，开发相对于数据的受保护属性公平的分类算法成为一个重要的问题。出于对共享和Few-Shot机器学习工具（如模型不可知元学习框架）的公平性影响的关注，我们提出了一种新的公平快速自适应Few-Shot元学习方法，该方法通过确保控制受保护变量与从特征向量到决策边界的有符号距离之间的决策边界协方差，有效地减轻了元训练期间的偏差。通过对三种最先进的元学习算法的两个真实图像基准进行广泛的实验，我们从经验上证明了我们提出的方法有效地减轻了模型输出的偏差，并在训练样本数量有限的情况下将准确性和公平性推广到看不见的任务。
2020-09-23 cs.AI cs.LG
