Gender Bias in Depression Detection Using Audio Features
University of Surrey（萨里大学）
抑郁症是一个大规模的心理健康问题，也是机器学习研究人员在抑郁症检测方面具有挑战性的领域。数据集，如痛苦分析访谈语料库-绿野仙踪（DAIC-WOZ）已经创建，以帮助在这一领域的研究。然而，除了准确检测抑郁症所固有的挑战之外，数据集中的偏差可能会导致分类性能的偏差。在本文中，我们研究了DAIC-WOZ数据集中的性别偏见。我们发现，DAIC-WOZ中的性别偏见可能导致对性能的过度报告。通过与公平机器学习不同的概念，例如数据重新分布，以及使用原始音频特征，我们可以减轻偏见的有害影响。
2021-08-18 cs.LG cs.SD eess.AS
Bias and Fairness in Self-Supervised Acoustic Representations for Cognitive Impairment Detection
Zentrum für Künstliche Intelligenz (KIZ), Technische Hochschule Nürnberg（人工智能中心（KIZ），图林根技术大学纽伦堡分校）；Pattern Recognition Lab, Friedrich-Alexander Universität Erlangen-Nürnberg（模式识别实验室，弗赖堡-艾尔兰根-纽伦堡大学）；GITA Lab, University of Antioquia（GITA实验室，安蒂奎亚大学）
本研究分析了自监督声学表示中认知障碍检测的偏差问题，发现女性和年轻参与者表现较差，强调了在临床语音应用中需考虑公平性和亚组差异。
2026-03-03 cs.LG eess.AS
Robust Fairness-aware Learning Under Sample Selection Bias
University of Arkansas（阿肯色大学）
许多机器学习算法的基本假设是训练数据和测试数据来自相同的分布。然而，由于训练数据和测试数据之间的样本选择偏差，这一假设在现实世界中经常被违反。以往的研究工作主要集中在对有偏差的训练数据进行重新加权以匹配测试数据，然后在重新加权的训练数据上建立分类模型。然而，如何实现公平的分类模型是不够的探索。在本文中，我们提出了一个框架下的样本选择偏差的鲁棒性和公平的学习。我们的框架采用重加权估计方法的偏差校正和极小极大鲁棒估计方法实现预测精度的鲁棒性。此外，在极大极小优化过程中，在最坏情况下实现了公平性，保证了模型在测试数据上的公平性。我们进一步开发了两种算法来处理样本选择偏差时，测试数据是可用的和不可用的。我们在两个真实世界的数据集上进行了实验，实验结果证明了它在效用和公平性度量方面的有效性。
2021-05-24 cs.CY cs.LG
Social Bias Meets Data Bias: The Impacts of Labeling and Measurement Errors on Fairness Criteria
The Ohio State University（俄亥俄州立大学）
该研究探究标注与测量两类数据偏差下多种人口统计学公平性准则的鲁棒性，通过理论分析与三个真实数据集实验验证不同准则的抗偏差异，为有偏数据场景下公平性准则的选择与设计提供指导。
2023-05-02 cs.CY cs.LG
Integrating Psychometrics and Computing Perspectives on Bias and Fairness in Affective Computing: A Case Study of Automated Video Interviews
University of Colorado Boulder（科罗拉多大学博尔德分校）；Purdue University（普渡大学）
本文整合心理测量学与计算机视角，拓展人际沟通框架识别情感计算中的偏见来源，讨论公平性衡量方法及美国法律语境影响，并以视频面试多模态数据的人格与可雇佣性推断为案例展开验证，呼吁研究者与从业者重视公平性建设。
2023-05-04 cs.CY cs.LG
Fairness and Explainability: Bridging the Gap Towards Fair Model Explanations
Vanderbilt University（范德堡大学）
虽然机器学习模型在现实世界的应用中取得了前所未有的成功，但它们可能会对特定的人口群体做出有偏见/不公平的决定，从而导致歧视性的结果。虽然研究工作一直致力于测量和减轻偏见，他们主要是从结果导向的角度来研究偏见，而忽略了编码在决策过程中的偏见。这导致他们无法捕获面向程序的偏倚，因此限制了完全去偏倚方法的能力。幸运的是，随着可解释的机器学习的快速发展，现在可以通过对预测的解释来深入了解该过程。在这项工作中，我们提出了一个新的视角，面向程序的公平性的基础上的解释，弥合公平性和可解释性之间的差距。我们通过基于比率和基于价值的解释公平性测量不同群体之间的解释质量差距来识别基于程序的偏见。新的指标进一步促使我们设计一个优化目标，以减轻基于程序的偏差，我们观察到它也将减轻预测的偏差。基于我们设计的优化目标，我们提出了一个综合公平算法（CFA），它同时满足多个目标-提高传统的公平性，满足解释公平性，并保持效用性能。对真实世界数据集的广泛实验证明了我们提出的CFA的有效性，并强调了从可解释性角度考虑公平性的重要性。我们的代码可在https://github.com/YuyingZhao/FairExplanations-CFA上公开获取。
2022-12-07 cs.CY cs.LG
A Confidence-Based Approach for Balancing Fairness and Accuracy
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们在算法公平性的背景下研究了三种经典的机器学习算法：自适应提升，支持向量机和逻辑回归。我们的目标是保持这些学习算法的高准确性，同时减少他们歧视个人的程度，因为他们在一个受保护的群体的成员。我们的第一个贡献是一种方法，通过改变受保护组的决策边界来实现公平。该方法是基于提高的理论的边缘。我们的方法在准确性和低歧视性方面表现优于或优于公平性文献中以前的算法，同时允许快速和透明地量化偏差和误差之间的权衡。我们的第二个贡献解决了大多数算法公平性文献中研究的偏差误差权衡的缺点。我们证明，即使是无可救药的天真的修改有偏见的算法，这不能合理地说是公平的，仍然可以实现低偏差和高精度。为了帮助区分这些天真的算法和更明智的算法，我们提出了一个新的公平性措施，称为弹性随机偏差（RRB）。我们证明，RRB区分我们的天真和明智的公平算法。RRB与偏差和准确性一起提供了算法公平性的更完整的画面。
2016-01-21 cs.CY cs.LG
FALE: Fairness-Aware ALE Plots for Auditing Bias in Subgroups
Athena Research Center（雅典娜研究中心）；Université Libre de Bruxelles（布鲁塞尔自由大学）
本文提出FALE（公平性感知累积局部效应）图方法，通过扩展ALE图来识别和可视化子群中的潜在偏见，作为检测子群公平性问题的初级工具。
2024-04-29 cs.CY cs.LG
Bias-Tolerant Fair Classification
Data Science Institute（数据科学研究所）；University of Technology Sydney（悉尼科技大学）；Tsinghua University（清华大学）
标签偏差和选择偏差被认为是阻碍机器学习结果公平性的两个原因。当标签决策受到敏感特征的干扰时，会出现标签偏差，而当数据采样过程中存在主观偏差时，会出现选择偏差。更糟糕的是，在这些数据上训练的模型可能会继承甚至加剧歧视。大多数算法公平性方法执行具有预定义公平性约束的经验风险最小化，其倾向于权衡公平性的准确性。然而，这种方法将实现所需的公平水平，牺牲受偏见影响的个人的利益（获得积极的结果）。因此，我们提出了一个Bias-TolerantFAirRegularizedLoss（B-FARL），它试图使用受标签偏差和选择偏差影响的数据来重新获得好处。B-FARL将有偏见的数据作为输入，调用一个模型，该模型近似于用公平但潜在的数据训练的模型，从而在不需要约束的情况下防止歧视。此外，我们通过分解B-FARL来显示有效组件，并利用元学习框架进行B-FARL优化。在真实世界数据集上的实验结果表明，我们的方法在提高真实但潜在标签方向的公平性方面是经验有效的。
2021-07-07 cs.CY cs.LG
Adapting Static Fairness to Sequential Decision-Making: Bias Mitigation Strategies towards Equal Long-term Benefit Rate
University of Maryland, College Park（马里兰大学帕克分校）；University of Southern California（南加州大学）
针对机器学习序贯决策中的长期公平性问题，提出平等长期收益率（ELBERT）概念及偏差缓解方法ELBERT-PO，通过将长期公平性纳入MDP并简化策略梯度，在保持高实用性的同时显著降低偏差。
2024-05-28 cs.CY cs.LG
Bias Mitigation Post-processing for Individual and Group Fairness
IBM Research（IBM研究院）；IBM Watson AI Platform（IBM沃森人工智能平台）
鉴于以前的后处理方法，以增加有偏见的分类器的预测的公平性只解决组公平性，我们提出了一种方法，以增加个人和组公平性。我们的新框架包括一个单独的偏见检测器，用于在偏见缓解算法中优先考虑数据样本，旨在提高不同影响的组公平性度量。我们在信用、就业和刑事司法等应用中的几个真实数据集上，在分类准确性、个人公平性和群体公平性的结合方面表现出了优于以往工作的性能。
2018-12-14 cs.CY cs.LG stat.ML
Mitigating Group Bias in Federated Learning: Beyond Local Fairness
University of Minnesota（明尼苏达大学）；Cisco Systems Inc.（思科系统公司）
本研究探讨了联邦学习中局部公平训练的理论基础，证明全局模型公平性可由本地客户端汇总统计量获得，并提出一种直接最小化带惩罚经验损失的全局公平训练算法，在保持高准确率的同时显著提升了公平性。
2023-05-17 cs.CY cs.LG
A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）
由于减少ML预测中的不公平性越来越重要，Fair-ML研究人员提出了一套广泛的算法“公平性增强”补救措施。然而，大多数现有的算法是不可知的观察到的不公平的来源。因此，文献目前缺乏指导框架来指定每种算法干预可能减轻不公平的根本原因的条件。为了缩小这一差距，我们仔细研究了潜在的偏见（例如，在训练数据或设计选择中）引起观测不公平。我们提出的概念思想和第一个实现的偏见注入沙箱工具，调查各种偏见的公平后果，并评估算法补救措施的有效性，在特定类型的偏见的存在。我们称这个过程为算法干预的偏差（压力）测试。与现有的工具包不同，我们提供了一个受控的环境，可以在ML管道中反事实地注入偏见。这种程式化的设置提供了超越观察数据和无偏见基准测试公平干预的独特能力。特别是，我们可以测试一个给定的补救措施是否可以减轻注入的偏见，通过比较的预测结果后，在有偏见的设置与真正的标签在无偏见的制度，也就是说，在任何偏见注入。我们通过对合成数据的概念验证案例研究来说明我们的工具包的实用性。我们的实证分析展示了通过我们的模拟可以获得的见解类型。
2022-12-13 cs.CY cs.LG
Simultaneous Improvement of ML Model Fairness and Performance by Identifying Bias in Data
AI Garage Mastercard（万事达卡AI Garage）
建立在包含归因于各种潜在因素的歧视性实例的数据集上的机器学习模型会导致有偏见和不公平的结果。这是一个有充分根据和直观的事实，现有的偏见缓解策略往往牺牲准确性，以确保公平。但是，当人工智能引擎的预测用于反映收入或运营效率（如信用风险建模）的决策时，如果准确性能够以某种方式合理地保持，那么企业就希望这样做。在人工智能中保持准确性和公平性的这种相互冲突的要求激发了我们的研究。在本文中，我们提出了一种新的方法，在现实的范例中同时提高ML模型的公平性和准确性。我们工作的本质是一种数据预处理技术，它可以检测出在训练之前应该从数据集中删除的特定类型的偏差的实例，并且我们进一步证明了这种实例的删除不会对模型的准确性产生不利影响。特别是，我们声称，在问题设置中，实例存在相似的功能，但不同的标签所造成的变化，在受保护的属性，一个固有的偏见得到诱导的数据集，这可以通过我们的新方案识别和减轻。我们对两个开源数据集的实验评估表明，所提出的方法可以减轻偏差，提高而不是降低准确性，同时为最终用户提供一定的控制。
2022-10-24 cs.CY cs.LG
Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；TU Berlin（柏林工业大学）
随着人们对自然语言处理资源（如BERT）中有偏模式的认识不断提高，许多度量标准开始量化“偏”和“公平”。但是，比较不同指标的结果和用这些指标评估的作品仍然很困难，如果不是完全不可能的话。我们调查了现有的文献公平性指标的预训练语言模型和实验评估兼容性，包括在语言模型的偏见，在他们的下游任务。我们采用传统的文献调查和相关分析相结合的方法，并进行了实证评估。我们发现，许多指标是不兼容的，高度依赖于（i）模板，（ii）属性和目标种子和（iii）嵌入的选择。这些结果表明，公平性或偏见评估仍然具有挑战性的上下文语言模型，如果不是至少高度主观。为了改善未来的比较和公平性评估，我们建议避免基于嵌入的度量，并专注于下游任务中的公平性评估。
2021-12-14 cs.CL cs.CY cs.LG
When Can Memorization Improve Fairness?
University of Copenhagen（哥本哈根大学）
该研究探讨多类分类中记忆部分人群对加性公平指标的影响，推导偏差显式表达式，刻画可消偏的记忆数据集特征，并给出完全消偏所需记忆集概率质量的上下界。
2024-12-12 cs.CY cs.LG
Procedural Fairness and Its Relationship with Distributive Fairness in Machine Learning
Southern University of Science and Technology（南方科技大学）；Lingnan University（岭南大学）
针对机器学习领域程序公平性研究不足的问题，本文提出训练阶段实现程序公平的新方法，验证其有效性，并探究程序公平与分配公平的关联及两类公平指标优化的差异。
2025-01-12 cs.CY cs.LG
BeFair: Addressing Fairness in the Banking Sector
Intesa Sanpaolo（联合圣保罗银行）；Fujitsu Laboratories of Europe（富士通欧洲研究院）
缓解算法偏见一直是数据科学界和机器学习（ML）专家面临的最困难的难题之一。几年来，在ML的公平性领域出现了巨大的努力。尽管在识别偏见和设计公平算法方面取得了进展，但将它们转化为行业仍然是一个重大挑战。在本文中，我们介绍了银行业行业开放式创新项目的初步成果：我们提出了ML公平性的总体路线图，并实施了一个名为BeFair的工具包，该工具包有助于识别和减轻偏见。结果表明，在没有明确约束的情况下训练模型可能会导致预测偏差加剧。
2021-02-04 cs.CY cs.LG
FairBranch: Mitigating Bias Transfer in Fair Multi-task Learning
Free University of Berlin（柏林自由大学）；Information Technologies Institute, CERTH（CERTH信息技术研究所）；Bundeswehr University, Munich（慕尼黑联邦国防军大学）
针对多任务学习中的负迁移和偏见迁移问题，提出FairBranch方法，通过参数相似性分支分组相关任务并校正公平性梯度冲突，在准确率和公平性上均优于现有方法。
2024-09-24 cs.CY cs.LG
Aequitas: A Bias and Fairness Audit Toolkit
Center for Data Science and Public Policy（数据科学与公共政策中心）；University of Chicago（芝加哥大学）
最近的工作引起了人们对当今使用的人工智能系统中存在意外偏见的风险的担忧，这些偏见可能会基于种族，性别或宗教等可能的特征对个人产生不公平的影响。虽然近年来已经提出了许多偏见指标和公平性定义，但对于应该使用哪个指标/定义没有达成共识，并且很少有可用资源来操作它们。因此，尽管最近意识到，在开发和部署人工智能系统时对偏见和公平性进行审计还不是一种标准做法。我们提出了Aequitas，一个开源的偏见和公平性审计工具包，它是机器学习工作流程的一个直观且易于使用的补充，使用户能够无缝地测试模型的几个偏见和公平性指标，与多个人口子组。Aequitas为数据科学家、机器学习研究人员和政策制定者开发和部署算法决策系统提供了明智和公平的决策。
2019-04-29 cs.AI cs.CY cs.LG
BiasGuard: Guardrailing Fairness in Machine Learning Production Systems
Ben Gurion University（本·古里安大学）
本文提出BiasGuard，利用CTGAN驱动的测试时增强在不重训模型的情况下修正已部署ML系统输出，实验显示公平性提升31%且准确率仅降0.09%。
2025-01-07 cs.AI cs.CY cs.LG
Improving Fairness of AI Systems with Lossless De-biasing
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Purdue University（普渡大学）
在当今社会，人工智能系统越来越多地用于做出关键决策，如信用评分和患者分流。然而，人工智能系统带来的巨大便利伴随着对代表性不足群体的偏见的普遍存在。减轻人工智能系统中的偏见以提高整体公平性已成为一项重要挑战。现有关于减轻人工智能系统偏见的研究集中在消除数据中嵌入的敏感人口统计信息。考虑到公平性概念化的时间和上下文复杂性，人口统计信息的有损处理可能会导致准确性和公平性之间不必要的权衡，特别是当人口统计属性和类别标签相关时。在本文中，我们提出了一个信息无损去偏置技术，针对弱势群体的数据稀缺。与现有的工作不同，我们从理论上和经验上证明，对代表性不足的群体进行过采样不仅可以减轻AI系统中的算法偏见，这些系统始终预测某个群体的有利结果，而且可以通过减轻数据中的类别不平衡来提高整体准确性，从而导致对大多数类别的偏见。我们证明了我们的技术在真实数据集上使用各种公平性指标的有效性。
2021-05-10 cs.AI cs.CY cs.LG
Certifying the Fairness of KNN in the Presence of Dataset Bias
University of Southern California（南加州大学）
针对训练数据存在受保护少数群体系统性错标导致的历史偏差问题，提出首个基于三种公平性定义变体、采用抽象解释降低计算成本的KNN公平性认证方法，经六个常用数据集验证可有效为大量测试输入提供公平性认证。
2023-07-17 cs.CY cs.LG cs.SE
Let's Unlearn Stereotypes Before Decision-Making: Assessing the Impact of Intrinsic Bias Mitigation on Downstream Fairness in LLMs
本研究提出公平感知概念忘却（FACU）方法，在保留预测性能的同时缓解LLM内在偏差，可提升下游公平性，结合反事实数据增强效果更佳，为LLM公平性优化提供了新路径。
2026-08-10 cs.CL cs.CY cs.LG
Evaluating Fairness in Transaction Fraud Models: Fairness Metrics, Bias Audits, and Challenges
University of Cambridge（剑桥大学）
本文首次利用公开合成数据集审计交易欺诈模型的算法偏见，揭示类别不平衡、服务质量与欺诈防护指标中的偏见及移除敏感属性失效等问题。
2024-09-06 cs.LG
ReDepress: A Cognitive Framework for Detecting Depression Relapse from Social Media
Indian Institute of Technology Bombay（印度理工学院班加罗尔）
本文提出首个经临床验证的抑郁症复发检测数据集ReDepress及认知框架，融合注意偏向、解释偏向、记忆偏向和反刍等认知标记，使基于Transformer的时序模型F1达到0.86，验证了认知理论在早期复发检测中的有效性。
2025-09-22 cs.AI cs.CL cs.LG
Fairpriori: Improving Biased Subgroup Discovery for Deep Neural Network Fairness
The University of Sydney（悉尼大学）；CSIRO（联邦科学与工业研究组织）
本文提出 Fairpriori，利用频繁项集生成快速计算多类公平性指标并发现有偏子群，在易用性、解释性、适用范围和效率上优于现有方法。
2024-06-25 cs.CY cs.LG cs.SE
Addressing Both Statistical and Causal Gender Fairness in NLP Models
University of Virginia（弗吉尼亚大学）
本文评估了NLP模型中针对性别偏见的统计与因果去偏方法，发现单一方法仅在目标指标上有效，而结合两类技术可同时降低统计和因果公平性指标上的偏见。
2024-03-30 cs.CL cs.CY cs.LG
Social Norm Bias: Residual Harms of Fairness-Aware Algorithms
California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
许多现代机器学习算法通过在与性别或种族等敏感属性相关的粗略定义的群体中实施公平约束来减轻偏见。然而，这些算法很少考虑组内异质性和偏见，可能会不成比例地影响一个组的一些成员。在这项工作中，我们的特点社会规范偏差（SNoB），一个微妙的，但后果类型的算法歧视，可能会表现出的机器学习模型，即使这些系统实现组公平的目标。我们通过职业分类中的性别偏见来研究这个问题。我们通过测量算法的预测如何与推断的性别规范一致性相关联来量化SNoB。当预测一个人是否属于男性主导的职业时，这个框架表明，“公平”分类器仍然倾向于以符合推断的男性规范的方式撰写的传记。我们比较了算法公平性方法之间的SNoB，并表明它通常是一个残余偏差，后处理方法根本不能减轻这种类型的偏差。
2022-08-10 cs.AI cs.CY cs.LG
FAIR_XAI: Improving Multimodal Foundation Model Fairness via Explainability for Wellbeing Assessment
Department of Computer Science & Technology, University of Cambridge（计算机科学与技术系，剑桥大学）；Harvard University（哈佛大学）
本文研究了多模态基础模型在幸福感评估中的公平性问题，通过可解释性干预框架改善诊断可靠性与公平性，发现不同模型在不同数据集上表现差异显著，且存在性别和种族偏见。
2026-07-20 cs.AI cs.LG
Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks
Texas State University（得克萨斯州立大学）；Illinois Institute of Technology（伊利诺伊理工学院）
算法偏见越来越受到研究界和整个社会的关注。人工智能中的偏见比传统形式的歧视更加抽象和不直观，并且更难以检测和减轻。在目前的文献中存在一个明显的差距，在多类分类器的性能评估的相对偏差。在这项工作中，我们提出了两个简单而有效的度量，组合误差方差（CEV）和对称距离误差（EFT），以定量评估两个模型之间的类偏差。通过评估这些新指标的性能，并通过展示其实际应用，我们表明，它们可以用来衡量公平性以及偏见。这些演示表明，我们的指标可以解决测量多类分类中的偏差的特定需求。
2021-10-08 cs.AI cs.CY cs.LG
End-To-End Bias Mitigation: Removing Gender Bias in Deep Learning
Wake Forest University（维克森林大学）
机器学习模型已经被部署在社会的许多不同方面，通常是在影响社会福利的情况下。虽然这些模型为大问题提供了简化的解决方案，但它们可能包含偏见，并基于受保护的属性（如性别）不公平地对待群体或个人。在本文中，我们介绍了机器学习性别偏见在实践中的几个例子，其次是公平的形式化。我们通过详细介绍有影响力的预处理、处理中和后处理偏差缓解算法来提供公平性研究的调查。然后，我们提出了一个端到端的偏见缓解框架，它采用了融合的前，中，后处理方法，以利用每个单独的技术的优势。我们在深度神经网络上测试了这种方法以及我们回顾的标准技术，以分析深度学习环境中的偏差缓解。我们发现，我们的端到端的偏见缓解框架优于基准方面的几个公平性指标，这表明其承诺作为一种方法，提高公平性。随着社会越来越依赖人工智能来帮助决策，解决深度学习模型中存在的性别偏见势在必行。为了向读者提供评估机器学习模型的公平性并减轻其中存在的偏见的工具，我们讨论了多个用于AI公平性的开源软件包。
2021-06-21 cs.AI cs.CY cs.LG
Identifying biases in legal data: An algorithmic fairness perspective
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）；Claudius Legal Intelligence（克劳迪乌斯法律智能公司）
解决法律案件数据中的代表偏见和量刑差异的必要性早已得到承认。在这里，我们从算法公平性的角度研究了识别和测量大规模法律案件数据中的偏差的问题。我们的方法利用两个回归模型：一个基线，代表了一个“典型”的判断，由数据和“公平”的判断，适用于三个公平的概念之一。比较“典型”法官和“公正”法官的决定可以量化人口群体之间的偏见，正如我们在库克县（伊利诺伊州）的犯罪数据的四个案例研究中所证明的那样。
2021-09-21 cs.AI cs.CY cs.LG
Removing biased data to improve fairness and accuracy
University of Washington（华盛顿大学）
机器学习系统通常使用从历史决策中收集的数据进行训练。如果过去的决策是有偏见的，那么从历史数据中学习的自动化系统也会有偏见。我们提出了一种黑盒方法来识别和删除有偏见的训练数据。在这种去偏数据（原始训练数据的子集）上训练的机器学习模型具有较低的个体区分度，通常为0%。这些模型也比在完整历史数据上训练的模型具有更高的准确性和更低的统计差异。我们使用6个真实世界的数据集在实验中评估了我们的方法。我们的方法在个体识别和准确性方面优于以前的七种方法。
2021-02-05 cs.AI cs.CY cs.LG
A Seven-Layer Model for Standardising AI Fairness Assessment
Telecommunication Engineering Centre（电信工程中心）；Ministry of Communications（通信部）；Adobe Inc.（奥多比公司）
问题陈述：人工智能公平性规则和基准的标准化是具有挑战性的，因为人工智能公平性和其他道德要求取决于多种因素，如上下文，用例，人工智能系统的类型等。在本文中，我们阐述了人工智能系统在其生命周期的每个阶段都容易产生偏见，从开始到使用，所有阶段都需要适当注意减轻人工智能偏见。我们需要一种标准化的方法来处理每个阶段的AI公平性。差距分析：虽然人工智能公平性是一个热门的研究课题，但人工智能公平性的整体策略通常缺失。大多数研究人员只关注人工智能模型构建的几个方面。同行评审显示过度关注数据集、公平性指标和算法偏见中的偏差。在这个过程中，影响AI公平性的其他方面被忽略了。建议的解决办法是：我们提出了一个全面的方法，在一个新的七层模型的形式，灵感来自开放系统互连（OSI）模型，以简化AI公平处理。尽管在各个方面存在差异，但大多数人工智能系统都有类似的建模阶段。该模型将AI系统生命周期分为七个抽象层，每个抽象层对应于一个定义良好的AI模型构建或使用阶段。我们还为每一层提供了检查表，并对每一层的潜在偏差来源及其缓解方法进行了审议。这项工作将促进人工智能公平规则和基准参数的分层标准化。
2022-12-21 cs.AI cs.CY cs.LG
RobustFair: Adversarial Evaluation through Fairness Confusion Directed Gradient Search
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）
本文提出RobustFair方法，借助公平性混淆矩阵引导梯度搜索生成对抗样本，可同时检测DNN鲁棒性与个体公平性的交织缺陷，还能通过针对性数据增强提升模型可信度，经基准测试验证了其有效性。
2023-10-08 cs.AI cs.CY cs.LG
One-vs.-One Mitigation of Intersectional Bias: A General Method to Extend Fairness-Aware Binary Classification
Fujitsu Laboratories Ltd.（富士通实验室）
本文提出一对一缓解方法，通过比较敏感属性各子群体对，在二分类中显著降低交叉偏见，优于传统方法，适用于多敏感属性场景。
2025-03-25 cs.AI cs.CY cs.LG
Downstream Fairness Caveats with Synthetic Healthcare Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文评估综合生成的医疗数据的偏见，并调查公平缓解技术效用公平的影响。隐私法限制对电子病历（EMR）等健康数据的访问，以保护患者隐私。尽管这些法律是必要的，但它们阻碍了研究的可重复性。合成数据是一种可行的解决方案，可以在没有隐私风险的情况下访问类似于真实医疗数据的数据。医疗保健数据集可能存在偏见，某些受保护的群体可能会比其他群体经历更糟糕的结果。由于真实数据存在偏差，综合生成的健康数据的公平性受到质疑。在本文中，我们评估了在两个医疗数据集上生成的性别和种族偏见模型的公平性。我们使用名为HealthGAN的生成对抗网络生成数据集的合成版本，并比较真实和合成模型的平衡准确性和公平性得分。我们发现，合成数据具有不同的公平性相比，真实数据和公平缓解技术的表现不同，突出表明，合成数据是没有偏见的。
2022-03-09 cs.LG
What is Left After Distillation? How Knowledge Transfer Impacts Fairness and Bias
University of Calgary（卡尔加里大学）
研究知识蒸馏对深度神经网络公平性与偏见的影响，发现提高蒸馏温度能显著改善蒸馏学生模型的整体和个体公平性，甚至在高温下超越教师模型，强调在敏感领域使用蒸馏模型需谨慎。
2025-04-02 cs.CY cs.LG stat.ML
Fairness Through Domain Awareness: Mitigating Popularity Bias For Music Discovery
MILA（蒙特利尔学习算法研究所）；Google（谷歌）
本研究针对音乐推荐系统中的流行度偏差问题，提出基于领域感知个体公平性的BOOST方法，在冷启动场景下的播放列表与用户级推荐任务中，性能及小众内容推荐效果均优于现有公平基准。
2023-08-28 cs.CY cs.IR cs.LG
Data Bias Mitigation under Coverage Constraints & The Price of Fairness
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）；Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切里顿计算机科学学院）
针对多敏感属性交叉群体的偏差问题，提出在覆盖约束下扩展偏差缓解框架，通过整数线性规划优化缓解策略，权衡偏差近似误差与数据效率，并刻画公平的代价。
2026-06-19 cs.CY cs.DB cs.LG
Biased Models Have Biased Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们通过为机器学习模型生成的基于属性的解释来研究机器学习（FairML）中的公平性。我们的假设是：有偏的模型有偏的解释。为了建立这一点，我们首先翻译现有的群体公平的统计概念，并根据模型给出的解释来定义这些概念。然后，我们提出了一种新的方法来检测（不）公平的任何黑盒模型。我们进一步研究后处理技术的公平性和原因如何解释可以用来使偏见缓解技术更个别公平。我们还介绍了一种新的后处理缓解技术，提高个人公平性的追索权，同时保持组级的公平性。
2020-12-20 cs.AI cs.LG
Fair Regression under Sample Selection Bias
University of Arkansas（阿肯色大学）；University of Illinois（伊利诺伊大学）
近年来，公平回归的研究主要集中在发展新的公平概念和近似方法，因为目标变量甚至敏感属性在回归设置中是连续的。然而，所有以前的公平回归研究假设训练数据和测试数据是从相同的分布。由于训练数据和测试数据之间的样本选择偏差，这一假设在现实世界中经常被违反。在本文中，我们开发了一个框架下的样本选择偏差的公平回归时，从训练数据的一组样本的因变量值丢失作为另一个隐藏的过程的结果。我们的框架采用了经典的Heckman模型的偏差校正和拉格朗日对偶，以实现公平的回归的基础上，各种公平的概念。Heckman模型描述了样本选择过程，并使用称为逆米尔斯比（IMR）的衍生变量来校正样本选择偏差。我们使用公平不等式和等式约束来描述各种公平概念，并应用拉格朗日对偶理论将原问题转化为对偶凸优化问题。对于两个流行的公平性概念，平均差和均方误差差，我们推导出明确的公式，无需迭代优化，和皮尔逊相关，我们推导出它的条件，实现强对偶。我们在三个真实世界的数据集上进行了实验，实验结果证明了该方法在效用和公平性指标方面的有效性。
2021-10-08 cs.AI cs.CY cs.LG
FairPlay: A Collaborative Approach to Mitigate Bias in Datasets for Improved AI Fairness
Department of Computer Science, Stony Brook University（计算机科学系，石英布鲁克大学）
针对AI决策中公平性标准冲突的问题，提出协作式去偏见工具FairPlay，通过战略互动协商达成共识，用户研究显示约五轮即可达成一致，有效提升AI公平性。
2025-04-22 cs.CY cs.HC cs.LG
Bias, Fairness, and Accountability with AI and ML Algorithms
Wells Fargo（富国银行）
AI和ML算法的出现带来了机遇和挑战。在本文中，我们概述了使用ML算法时出现的偏见和公平性问题。我们描述了数据偏差的类型和来源，并讨论了算法不公平的性质。其次是公平性指标在文献中的审查，讨论其局限性，并在模型的生命周期中的去偏置（或缓解）技术的描述。
2021-05-13 cs.LG stat.ML
FairAIED: Navigating Fairness, Bias, and Ethics in Educational AI Applications
Florida International University（佛罗里达国际大学）；TERRA Environmental Research Institute（TERRA环境研究研究所）
本综述系统回顾了教育AI中的算法公平性，提出了一个以教育为中心的框架，整合偏见来源、公平性定义、缓解策略、评估资源和伦理考量，以弥合技术公平研究与教育应用的差距。
2025-11-02 cs.LG
Bayesian Modeling of Intersectional Fairness: The Variance of Bias
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
交叉性是一个框架，它分析了权力和压迫的连锁系统如何沿着重叠的维度影响个人，包括种族，性别，性取向，阶级和残疾。因此，交叉性理论意味着重要的是，在人工智能系统中的公平性受到保护的多维保护属性。然而，由于数据稀疏性，在多维环境中公平性的测量在统计上变得具有挑战性，数据稀疏性在维度的数量和每个维度的值中迅速增加。我们提出了一个贝叶斯概率建模方法的可靠性，数据效率的估计公平性与多维保护属性，我们适用于两个现有的交叉公平性指标。人口普查数据和COMPAS刑事司法累犯数据集的实验结果表明，我们的方法的实用性，并表明贝叶斯方法是有价值的建模和测量的公平性在一个交叉的背景下。
2019-09-10 cs.AI cs.CY cs.LG
Assessing Classifier Fairness with Collider Bias
University of South Australia（南澳大学）；Simon Fraser University（西蒙菲莎大学）
随着机器学习技术在日常决策过程中的应用越来越广泛，人们开始关注算法决策的公平性。本文研究了公平性评估中产生虚假关联的碰撞者偏差问题，并给出了避免碰撞者偏差的公平性评估定理。我们认为一个真实世界的应用程序的审计培训分类的审计机构。我们提出了一个公正的评估算法，利用发达国家的定理，以减少碰撞偏见的评估。实验和仿真结果表明，该算法在评估中显著降低了碰撞者偏差，在审计训练分类器方面具有良好的应用前景。
2022-01-28 cs.AI cs.LG
Structural Bias Beyond Homophily: A Study of Fairness in Link Prediction
LTCI, Télécom Paris, Institut Polytechnique de Paris, Palaiseau, France（LTCI， Télécom 巴黎， 巴黎理工学院， 帕莱萨乌， 法国）
本研究通过形式化拓扑偏差度量并引入可控结构属性的合成图生成方法，实证了图拓扑与链接预测公平性之间的强相关性，并揭示了现有公平感知方法对同质性之外的结构偏差仍然敏感。
2026-05-29 cs.LG cs.SI
Software Fairness Dilemma: Is Bias Mitigation a Zero-Sum Game?
Nanyang Technological University（南洋理工大学）；Peking University（北京大学）；King's College London（伦敦大学国王学院）；Fudan University（复旦大学）
本研究评估八种表格数据偏见缓解方法，发现其呈零和效应，并提出仅对弱势群体应用最先进方法，可无零和代价提升公平性。
2025-08-05 cs.LG
Increasing Fairness in Predictions Using Bias Parity Score Based Loss Function Regularization
越来越多地使用基于机器学习的决策支持系统强调了对所有利益相关者的准确和公平的预测的需要。在这项工作中，我们提出了一种新的方法来增加神经网络模型的公平性在训练过程中。我们引入了一系列增强公平性的正则化组件，我们将其与传统的基于二进制交叉熵的准确性损失结合使用。这些损失函数基于偏差奇偶性分数（BPS），该分数有助于用单个数字量化模型中的偏差。在目前的工作中，我们调查的行为和影响，这些正则化组件的偏见。我们将它们部署在累犯预测任务以及基于人口普查的成人收入数据集的背景下。结果表明，通过合理选择公平性损失函数，即使在不平衡数据集上，也可以在不降低精度的情况下降低训练模型的偏差。
2021-11-05 cs.AI cs.LG
Evaluating Fairness Metrics in the Presence of Dataset Bias
Civis Analytics（西维斯分析公司）
数据驱动的算法在各个行业的决策中发挥着重要作用。这些算法越来越多地被用于做出对人们的社会和经济福祉有重大影响的决策，例如在判刑，贷款审批和警务方面。随着这种制度的扩散，人们越来越担心它们可能产生的歧视性影响。特别是，在有偏见的数据上训练的机器学习系统有可能学习并延续这些偏见。因此，从业者面临的一个核心挑战是确定他们的模型是否显示出歧视性偏见。在这里，我们提出了一个案例研究中，我们框架的偏差检测问题作为一个因果推理问题与观测数据。我们列举了两个主要原因的偏见，抽样偏见和标签偏见，我们调查的能力，六种不同的公平性指标，以检测每种偏见类型。基于这些调查，我们提出了一套最佳实践准则，以选择最有可能检测到偏见的公平性度量。此外，我们的目标是确定某些公平性指标可能无法检测到偏见的条件，而是给从业者一个错误的信念，即他们的偏见模型正在做出公平的决定。
2018-09-24 cs.LG stat.ML
Model-agnostic bias mitigation methods with regressor distribution control for Wasserstein-based fairness metrics
Discover Financial Services（发现金融服务公司）
这篇文章是我们早期工作Miroshnikov et al.（2021）关于公平性可解释性的姊妹篇，其中介绍了偏见解释。在目前的工作中，我们提出了一个偏见缓解方法的基础上，建设后处理模型，更公平的回归分布的Wasserstein为基础的公平性指标。通过识别对偏差贡献最大的预测因子列表，我们通过减轻源自这些预测因子的偏差来降低问题的维度。后处理方法包括通过平衡正偏差和负偏差解释来重塑预测分布，并允许回归偏差降低。我们设计了一个算法，使用贝叶斯优化构造的偏差性能的有效前沿的家庭后处理模型，从其中选择一个最佳的模型。我们的新方法在低维空间中进行优化，避免了昂贵的模型再训练。
2021-11-19 cs.LG math.PR
Ensuring Equitable Financial Decisions: Leveraging Counterfactual Fairness and Deep Learning for Bias
Nihilent Technologies Ltd.（Nihilent科技有限公司）
本文针对机器学习模型在贷款审批等关键决策中的性别偏见问题，提出结合反事实公平与数据增强的偏见缓解技术，并在偏斜金融数据集上验证了其能有效实现更公平的决策结果。
2024-08-27 cs.AI cs.LG
