Rethinking Fair Representation Learning for Performance-Sensitive Tasks
Imperial College London(帝国理工学院);Microsoft Research Health Futures(微软研究院健康未来部)
本文通过因果推理揭示公平表示学习在分布偏移和性能敏感场景下的根本局限,质疑现有评估实践,并主张以细粒度偏差分析推动该领域发展。
2025-02-07 cs.CY cs.LG stat.ML
Adversarial Learned Fair Representations using Dampening and Stacking
Just Eat Takeaway.com
随着我们日常生活中越来越多的决策变得自动化,需要机器学习算法来做出公平的决策。在公平表示学习中,我们的任务是找到一个合适的数据表示,其中敏感变量被删失。最近的工作旨在通过对抗学习来学习公平表示。本文建立在这项工作的基础上,引入了一种新的算法,该算法使用阻尼和堆叠来学习对抗性的公平表示。结果表明,我们的算法改进了早期的工作,在审查和重建。
2022-03-16 cs.AI cs.CY cs.LG
Learning Smooth and Fair Representations
George Mason University(乔治梅森大学)
拥有数据的组织因歧视性地使用数据侵害受保护的人口群体而面临越来越多的法律责任,这种责任延伸到涉及第三方访问和使用数据的合同交易。这是有问题的,因为原始数据所有者无法事先预测下游用户未来的所有使用。本文探讨了上游的能力,先发制人地删除功能和敏感属性之间的相关性映射功能到一个公平的表示空间。我们的主要结果表明,公平性的代表分布的人口统计奇偶性可以从一个有限的样本,当且仅当卡方互信息之间的功能和表示是有限的。经验上,我们发现,平滑的表示分布提供了公平证书的泛化保证,这改善了现有的公平表示学习方法。此外,与公平表示学习中最先进的方法相比,我们没有观察到平滑表示分布会降低下游任务的准确性。
2020-06-15 cs.LG stat.ML
FairMixRep : Self-supervised Robust Representation Learning for Heterogeneous Data with Fairness constraints
Walmart Labs(沃尔玛实验室);Gartner(高德纳);University of Arkansas(阿肯色大学)
由于其复杂的特征流形,在具有数值和分类类型的混合变量的异构空间中的表示学习具有有趣的挑战。此外,无监督设置中的特征学习,没有类别标签和合适的学习损失函数,增加了问题的复杂性。此外,学习的表示和后续预测不应反映对某些敏感群体或属性的歧视行为。拟议的特征映射应保留数据中存在的最大变化,并且需要对敏感变量保持公平。我们建议,在我们的工作的第一阶段,一个有效的编码器-解码器框架来捕获混合域的信息。我们的工作的第二阶段的重点是去偏的混合空间表示,通过添加相关的公平性约束。这确保了在保持公平性的投影之前和之后的表示之间的最小信息损失。学习的最终表示的信息内容和公平性方面已经通过几个指标进行了验证,其中它显示出出色的性能。我们的工作(FairMixRep)从无监督的角度解决了混合空间公平表示学习的问题,并学习了及时,独特和新颖的研究贡献的通用表示。
2020-10-14 cs.AI cs.LG stat.ML
Fair Sufficient Representation Learning
The Hong Kong Polytechnic University(香港理工大学)
本文提出FSRL方法,通过目标函数的凸组合在表征层面平衡充分性与公平性,利用距离协方差实现并证明其收敛性,在医疗与文本数据集上实现了公平性与准确性的更优权衡。
2025-03-29 cs.LG stat.ML
MMD-B-Fair: Learning Fair Representations with Statistical Testing
University of British Columbia(不列颠哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
提出 MMD-B-Fair,利用核两样本检验与分块检验的渐近性质学习公平表示,在隐藏敏感属性的同时保留目标信息,并在多数据集及下游迁移任务中验证有效。
2023-04-25 cs.LG stat.ML
Learning Certified Individually Fair Representations
ETH Zurich(苏黎世联邦理工学院)
公平表示学习提供了一种有效的方式来实施公平性约束,而不损害下游用户的效用。一个理想的家庭这样的公平约束,每个要求类似的待遇相似的个人,被称为个人公平。在这项工作中,我们介绍了第一种方法,使数据消费者获得证书的个人公平的现有和新的数据点。其关键思想是将相似的个体映射到接近的潜在表示,并利用这种潜在的接近来证明个体的公平性。也就是说,我们的方法使数据生产者能够学习和证明一个表示,其中对于一个数据点,所有相似的个人都在$\ell_\infty$ -距离最多$ε$,从而允许数据消费者通过证明其分类器的$ε$ -鲁棒性来证明个人的公平性。我们对五个真实世界的数据集和几个公平性约束的实验评估证明了我们的方法的表达性和可扩展性。
2020-11-28 cs.AI cs.LG stat.ML
Disentangled Representation with Causal Constraints for Counterfactual Fairness
University of South Australia(南澳大学);Simon Fraser University(西蒙弗雷泽大学)
针对公平表示学习忽视隐变量因果关系的问题,提出CF-VAE学习符合领域知识的结构化表示,理论保证反事实公平,并在实验中同时提升公平性与预测准确性。
2023-12-16 cs.AI cs.CY cs.LG
Sustaining Fairness via Incremental Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
机器学习系统通常被部署用于做出关键决策,如信贷、招聘等。在做出决策时,此类系统通常在其中间表示中编码用户的人口统计信息(如性别、年龄)。这可能导致决策偏向于特定的人口统计数据。以前的工作集中在消除中间代表,以确保公平的决定。然而,这些方法不能保持公平的任务或人口分布的变化。为了确保在野外的公平性,系统在以增量方式访问新数据时适应这种变化是很重要的。在这项工作中,我们建议通过在增量学习环境中引入学习公平表示的问题来解决这个问题。为此,我们提出了公平意识增量表示学习(FaIRL),一个表示学习系统,可以保持公平,同时增量学习新的任务。FaIRL能够通过控制学习表示的率失真函数来实现公平性并学习新任务。我们的实证评估表明,FaIRL能够做出公平的决策,同时在目标任务上实现高性能,优于几个基线。
2023-01-23 cs.CY cs.LG
Fair CCA for Fair Representation Learning: An ADNI Study
University of Pennsylvania(宾夕法尼亚大学)
针对现有公平CCA方法忽略下游分类任务公平性的问题,提出一种新型公平CCA方法,在保证准确率和相关分析性能的同时提升分类公平性,已在合成数据和ADNI真实数据上验证有效。
2025-10-01 cs.AI cs.CY cs.LG
README: REpresentation learning by fairness-Aware Disentangling MEthod
Yonsei University(延世大学)
公平表示学习的目的是编码关于受保护属性(如性别或年龄)的不变表示。在本文中,我们设计了公平意识的解纠缠变分自编码器(FD-VAE)的公平表示学习。该网络将潜在空间分解为三个子空间,每个子空间包含独立的信息:1)目标属性信息,2)受保护属性信息,3)互属性信息。在表示学习之后,通过排除具有受保护的属性信息的子空间,该解纠缠表示被用于更公平的下游分类。我们通过在CelebA和UTK Face数据集上的大量实验证明了我们模型的有效性。我们的方法优于以前的国家的最先进的方法,在平等的机会和均衡的赔率大幅度。
2020-07-07 cs.CV cs.LG stat.ML
On the Power of Randomization in Fair Classification and Representation
Northeastern University(东北大学);Microsoft Research(微软研究院)
本文研究随机化在公平分类与公平表示中的作用,细化了最优公平分类器的刻画,证明随机化分类器可超越确定性分类器,还构建了具有可证明最优准确率的多类公平表示,无准确率损失。
2024-10-07 cs.LG
Learning Fair and Transferable Representations
Amazon Web Services(亚马逊网络服务);Istituto Italiano di Tecnologia(意大利理工学院);University College London(伦敦大学学院)
开发不歧视群体中的子群体的学习方法是算法公平性的核心目标。达到这一目标的一种方法是修改数据表示以满足某些公平性约束。在这项工作中,我们根据人口均等来衡量公平性。这要求可能的模型决策的概率独立于敏感信息。我们认为,在多任务学习环境中,实施人口均等的目标可以得到很大的促进。我们利用任务的相似性,鼓励通过低秩矩阵分解的任务之间的共享公平表示。我们推导出学习界限,建立学习表示转移以及新的任务,无论是在预测性能和公平性指标。我们在三个真实世界的数据集上进行了实验,结果表明,所提出的方法明显优于最先进的方法。
2020-01-31 cs.LG stat.ML
The Complexity of Finding Local Optima in Contrastive Learning
University of California, Irvine(加州大学 Irvine 分校);University of California, Santa Cruz(加州大学 Santa Cruz 分校);Archimedes AI
本文证明在离散和连续对比学习问题中寻找局部最优解分别是PLS困难与CLS困难的,并指出局部搜索算法在最坏情况下可能需要指数时间,即使嵌入维度为1。
2025-09-21 cs.CC cs.LG math.OC
Adversarial Stacked Auto-Encoders for Fair Representation Learning
Innopolis University(Innopolis 大学)
以唯一的准确性作为最终目标来训练机器学习模型可能会促进数据中嵌入的偏见和歧视行为。一种解决方案是学习满足特定公平性度量的潜在表示。采用不同类型的学习方法将数据映射到公平的表示空间。主要目的是学习数据的潜在表示,在公平性度量上得分很高,同时保持下游任务的可用性。在本文中,我们提出了一个新的公平的表示学习方法,利用不同层次的数据表示收紧学习表示的公平性界限。我们的研究结果表明,堆叠不同的自动编码器,并在不同的潜在空间执行公平性的结果在公平性的改善相比,其他现有的方法。
2021-07-27 cs.AI cs.LG
DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision
KAIST(韩国科学技术院);Microsoft Research Asia(微软亚洲研究院);GIST(光州科学技术院);Tsinghua University(清华大学);IBS(基础科学研究院)
算法公平性已经成为一个重要的机器学习问题,特别是对于任务关键型Web应用程序。这项工作提出了一个名为DualFair的自我监督模型,可以从学习的表示中消除性别和种族等敏感属性的偏见。与针对单一类型公平性的现有模型不同,我们的模型联合优化了两个公平性标准-群体公平性和反事实公平性-因此在群体和个人层面上都做出了更公平的预测。我们的模型使用对比损失来生成每个受保护组无法区分的嵌入,同时迫使反事实对的嵌入相似。然后使用自知识蒸馏方法来保持下游任务的表示质量。对多个数据集的广泛分析证实了该模型的有效性,并进一步显示了联合解决两个公平标准的协同作用,表明该模型在公平智能Web应用程序的潜在价值。
2023-03-15 cs.AI cs.CY cs.LG
Flexibly Fair Representation Learning by Disentanglement
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Tübingen(蒂宾根大学);Google Research(谷歌研究院)
我们考虑的问题,学习表示,实现组和子组的公平性方面的多个敏感属性。从解开表示学习文献的灵感,我们提出了一种算法,用于学习数据集的紧凑表示,这是有用的重建和预测,但也是\emph{flexibly fair},这意味着他们可以很容易地在测试时修改,以实现子组人口统计奇偶性方面的多个敏感属性及其连接。我们的经验表明,由此产生的编码器-这不需要敏感的属性进行推理-使适应一个单一的表示,以各种公平的分类任务与新的目标标签和子群定义。
2019-06-06 cs.AI cs.LG stat.ML
Learning Fair Representation via Distributional Contrastive Disentanglement
University of Seoul(首尔大学);Korea University(高丽大学);POSTECH(浦项科技大学)
学习公平表示对于实现公平或消除敏感信息的偏见至关重要。大多数现有的作品依赖于对抗性表示学习来向表示注入一些不变性。然而,对抗性学习方法的训练相对不稳定,这可能会损害公平性和预测性之间的平衡。我们提出了一种新的方法,通过分布式对比变分自编码器(FarconVAE)学习FAIR表示,它导致潜在空间被解开成敏感和非敏感部分。我们首先构造具有不同敏感属性但具有相同标签的观测对。然后,FarconVAE强制每个非敏感潜伏期更接近,而敏感潜伏期彼此远离,并且通过对比它们的分布远离非敏感潜伏期。通过理论分析,提出了一种基于高斯核和Student-t核的分布式对比学习的对比损失模型。此外,我们采用了一种新的交换重构损失,以进一步促进解纠缠。FarconVAE在公平性、预训练模型去偏和领域泛化任务方面表现出优异的性能,这些任务来自各种模态,包括表格、图像和文本。
2022-06-17 cs.AI cs.CY cs.LG
Latent Space Smoothing for Individually Fair Representations
ETH Zurich(苏黎世联邦理工学院);DeepMind(深度思维)
公平表示学习将用户数据转换为一种表示,该表示确保公平性和实用性,而与下游应用无关。然而,学习单独的公平表示,即,在诸如计算机视觉的高维环境中,保证相似的个体被相似地对待仍然是具有挑战性的。在这项工作中,我们介绍LASSI,第一个表示学习方法来证明个人的公平性的高维数据。我们的关键见解是利用生成建模的最新进展来捕获生成潜在空间中的相似个体集。这使我们能够通过使用对抗训练来最小化他们的表示之间的距离,来学习单独的公平表示,将相似的个体映射到一起。最后,我们采用随机平滑来可证明地将相似的个体映射到一起,从而确保下游应用程序的本地鲁棒性验证导致端到端的公平性认证。我们对具有挑战性的真实世界图像数据的实验评估表明,我们的方法将认证的个人公平性提高了90%,而不会显着影响任务效用。
2022-07-26 cs.AI cs.CV cs.LG
Fair Interpretable Representation Learning with Correction Vectors
Johannes Gutenberg-Universität Mainz(约翰内斯·古腾堡美因茨大学);Università di Torino(都灵大学)
神经网络体系结构已被广泛用于公平表示学习设置,其中的目标是学习一个新的表示为一个给定的向量,这是独立的敏感信息。在文献中已经提出了各种表示去偏置技术。然而,由于神经网络本质上是不透明的,这些方法很难理解,这限制了它们的实用性。我们提出了一个新的框架,公平的表示学习,是围绕学习的“校正向量”,这具有相同的维数作为给定的数据向量。校正向量可以通过架构约束显式地计算,或者通过基于归一化流训练可逆模型来隐式地计算。我们的实验表明,以这种方式约束的几个公平的表示学习模型不会表现出损失的排名或分类性能。此外,我们证明了国家的最先进的结果可以实现的可逆模型。最后,我们讨论的法律地位,我们的方法,在最近的立法在欧盟。
2022-02-07 cs.CY cs.LG
FairDRL-ST: Disentangled Representation Learning for Fair Spatio-Temporal Mobility Prediction
RMIT University(皇家墨尔本理工大学);University of New South Wales(新南威尔士大学)
本文提出基于解耦表示学习的FairDRL-ST框架,通过无监督对抗学习分离敏感属性,在最小性能损失下解决时空出行需求预测的公平性问题。
2025-08-11 cs.LG stat.ML
Fair Representation Learning for Continuous Sensitive Attributes using Expectation of Integral Probability Metrics
Department of Applied Mathematics, University of Twente(应用数学系,特文特大学);Department of Statistics, Seoul National University(统计系,首尔国立大学)
针对连续敏感属性难以适用现有公平表示学习方法的问题,提出EIPM公平度量及可有限样本估计的FREM算法,并实验证明其优于基线。
2025-05-09 cs.LG stat.ML
Fair Interpretable Learning via Correction Vectors
Johannes Gutenberg-Universität Mainz(美因茨约翰内斯·古腾堡大学)
神经网络体系结构已被广泛用于公平表示学习设置,其中的目标是学习一个新的表示为一个给定的向量,这是独立的敏感信息。在文献中已经提出了各种“表示去偏置”技术。然而,由于神经网络本质上是不透明的,这些方法很难理解,这限制了它们的实用性。我们提出了一个新的框架,公平的表示学习,这是围绕学习的“校正向量”,它具有相同的维数作为给定的数据向量。然后将校正简单地总结为原始特征,因此可以将其分析为对每个特征的显式惩罚或奖励。我们的实验表明,一个公平的表示学习问题,以这种方式约束不会影响性能。
2022-01-17 cs.LG stat.ML
De-biased Representation Learning for Fairness with Unreliable Labels
Data Science Institute(数据科学研究所);University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学)
在保持所有任务相关信息的同时消除偏差对于公平表示学习方法来说是具有挑战性的,因为它们会产生随机或退化的表示。标签,当敏感属性与标签相关时。现有的工作建议注入的标签信息的学习过程中,以克服这些问题。然而,观察到的标签是干净的这一假设并不总是得到满足。事实上,标签偏见被认为是导致歧视的主要来源。换句话说,公平预处理方法在学习过程或评估阶段忽略了标签中编码的区分。这种矛盾给学习表征的公平性打上了一个问号。为了规避这个问题,我们探讨了以下问题:\emph{Can we learn fair representations predictable to latent ideal fair labels given only access to unreliable labels?}在这项工作中,我们提出了一个\textbf{D}电子- \textbf{B}基于\textbf{R} epresentation学习\textbf{F}空气(DBRF)框架,解开的敏感信息从非敏感属性,同时保持学习表示偏向理想的公平标签,而不是观察到的可预测的。我们通过信息论的概念,如互信息和信息瓶颈,制定了去偏学习框架。其核心理念是,DBRF主张在敏感信息有利于不可靠标签预测的情况下,不使用不可靠标签进行监管。在合成数据和真实数据上的实验结果表明,DBRF有效地学习了理想标签的去偏表示。
2022-08-01 cs.AI cs.CY cs.LG
Semi-FairVAE: Semi-supervised Fair Representation Learning with Adversarial Variational Autoencoder
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
对抗学习是公平表示学习中广泛使用的一种技术,用于消除数据表示中敏感属性的偏差。它通常需要将敏感属性标签作为预测目标。然而,在许多场景下,许多样本的敏感属性标签可能是未知的,并且很难基于具有观察到的属性标签的稀缺数据训练一个强的分类器,这可能导致产生不公平的表示。本文提出了一种基于对抗性变分自编码器的半监督公平表示学习方法,该方法可以减少对抗性公平模型对带有标签敏感属性的数据的依赖。更具体地说,我们使用一个偏见感知模型,通过准确地预测敏感属性从输入数据捕捉敏感属性的固有偏见信息,我们使用一个无偏见的模型,学习去偏见的公平表示,通过使用对抗学习,以消除偏见信息。由两个模型学习的隐藏表示被正则化为正交的。此外,两个模型预测的软标签被进一步集成到一个半监督的变分自编码器中,以重建输入数据,我们应用了一个额外的熵正则化,以鼓励从无偏模型推断的属性标签是高熵的。通过这种方式,如果输入数据被很好地重构,则偏差感知模型可以更好地捕获属性信息,而无偏差模型对敏感属性的区分性较低。在两个不同任务的数据集上进行的大量实验验证了该方法在有限数据和敏感属性标签的情况下可以实现良好的表示学习公平性。
2022-04-01 cs.LG
Fair Representation Learning through Implicit Path Alignment
Université Laval(拉瓦尔大学);University of Western Ontario(西安大略大学);Mila(米拉人工智能研究所)
我们考虑一个公平的表示学习的角度来看,最佳的预测,在数据表示的顶部,确保相对于不同的子组是不变的。具体来说,我们将这种直觉表述为双层优化,其中表示在外循环中学习,不变最优组预测在内环中更新。此外,所提出的双层目标证明,以满足充分性规则,这是可取的,在各种实际情况下,但不常见的公平学习研究。此外,为了避免双层目标内循环微分的高计算量和内存开销,本文提出了一种隐式路径对齐算法,该算法只依赖于内部优化和隐式微分的解,而不依赖于精确的优化路径,并进一步分析了隐式方法的误差差距,在分类和回归两种环境下对所提出的方法进行了实验验证.实验结果表明,在预测性能和公平性测量一致更好的权衡。
2022-05-26 cs.LG stat.ML
Is Fairness Only Metric Deep? Evaluating and Addressing Subgroup Gaps in Deep Metric Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Tübingen(蒂宾根大学);Massachusetts Institute of Technology(麻省理工学院)
深度度量学习(DML)通过强调表示的相似性结构,使学习具有更少的监督。在zero-shot检索等环境中,人们已经做了很多工作来提高DML的泛化能力,但对其公平性的影响知之甚少。在本文中,我们首先评估了在不平衡数据上训练的最先进的DML方法,并展示了这些表示在用于下游任务时对少数子群性能的负面影响。在这项工作中,我们首先定义公平性在DML通过分析的表示空间的三个属性-类间对齐,类内对齐,和均匀性-并提出findDML,公平性在非平衡的DML基准来表征表示公平性。利用findDML,我们发现在DML表示的偏见传播到常见的下游分类任务。令人惊讶的是,即使在下游任务中的训练数据被重新平衡时,这种偏差也会传播。为了解决这个问题,我们提出了部分属性去相关(PARADE),从敏感属性的特征表示去相关,并减少子组之间的性能差距,在嵌入空间和下游指标。
2022-03-23 cs.AI cs.CY cs.LG
Achieving Fair PCA Using Joint Eigenvalue Decomposition
IIIT Hyderabad(印度国际信息技术研究所(海得拉巴))
本文提出将联合特征值分解(JEVD)与主成分分析(PCA)结合,以实现公平降维,在保留数据结构的同时促进群体间公平,并在多个数据集上优于现有基线方法。
2025-02-24 cs.LG stat.ML
Fairness-Aware Node Representation Learning
University of California, Irvine(加州大学欧文分校)
节点表示学习已经证明了它在图的各种应用中的有效性。特别是,对比学习的最新发展已经导致了一些任务的无监督节点表示学习的有希望的结果。尽管图对比学习取得了成功,随之而来的兴趣也在不断增长,但公平性在该领域的探索还很不够。为此,本研究通过自适应特征掩蔽和边缘删除,解决了图对比学习中的公平性问题,并采用公平性感知图增强设计。在这项研究中,不同的公平性概念的图,作为建议的图增强的指导方针。此外,理论分析提供了定量证明所提出的特征掩蔽方法可以减少本征偏差。真实社交网络上的实验结果表明,所提出的增强可以提高公平性的统计奇偶性和平等的机会,同时提供可比的分类精度,以国家的最先进的对比方法节点分类。
2021-06-09 cs.LG
Fair Patient Model: Mitigating Bias in the Patient Representation Learned from the Electronic Health Records
University of Pittsburgh(匹兹堡大学);Intelligent Systems Program(智能系统计划);School of Computing and Information(计算与信息学院);Department of Medicine(医学院);Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Health Information Management(健康信息管理系);Department of Biomedical Informatics(生物医学信息学系);Clinical and Translational Science Institute(临床与转化科学研究所)
本文提出 Fair Patient Model(FPM),通过加权损失函数从 EHR 中学习公平患者表示,在 MIMIC-III 的四项预测任务中改善公平性并保持可比准确率。
2023-06-05 cs.AI cs.CY cs.LG
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia(弗吉尼亚大学);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而,学习的表示可能会导致下游任务的性能差异,例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战,在这项工作中,我们研究了通过对比学习学习满足公平性概念的公平表示,即文本分类的均衡化几率。具体来说,我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系,然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验,以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外,我们还表明,所提出的方法是稳定的,在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
On Fairness of Medical Image Classification with Multiple Sensitive Attributes via Learning Orthogonal Representations
The University of British Columbia(不列颠哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学)
减轻机器学习模型的歧视在医学图像分析中得到了越来越多的关注。然而,罕见的作品集中在多个敏感的人口统计数据的患者的公平治疗,这是一个关键的,但现实世界的临床应用具有挑战性的问题。在本文中,我们提出了一种新的方法,公平的表示学习方面的多敏感属性。我们追求目标和多敏感表示之间的独立性,实现正交的表示空间。具体地说,我们通过将目标信息保持在低秩敏感空间的补空间上来增强列空间的正交性。此外,在行空间中,我们鼓励目标和敏感表示之间的特征维度是正交的。在CheXpert数据集上进行了大量实验,证明了该方法的有效性。据我们所知,这是第一个工作,以减轻不公平的多个敏感属性在医学成像领域。
2023-03-08 cs.CV cs.CY cs.LG
Fair Representation Learning with Controllable High Confidence Guarantees via Adversarial Inference
Rutgers University(罗格斯大学);Sony AI(索尼人工智能);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);University College Dublin(都柏林大学);University of Massachusetts(马萨诸塞大学)
本文提出FRG框架,通过对抗推理为表示学习提供可控高置信度的公平性保证,确保下游预测中群体差异不超过用户定义阈值,并在三个数据集上优于六种基线方法。
2025-10-23 cs.LG
Fair Representation Learning using Interpolation Enabled Disentanglement
Virginia Tech(弗吉尼亚理工大学);Amazon(亚马逊公司)
随着人们对机器学习社区解决现实问题的兴趣越来越大,通过关注公平性和审计这些黑箱模型所做的预测来揭示其决策背后隐藏的推理变得至关重要。在本文中,我们提出了一种新的方法来解决两个关键问题:(a)我们可以同时学习公平的解纠缠表示,同时确保学习的表示对下游任务的效用,以及(b)我们可以提供理论见解,当提出的方法将是公平和准确的。为了解决前者,我们提出了方法FRIED,公平表示学习使用插值使能解纠缠。在我们的架构中,通过施加基于批评的对抗框架,我们强制潜在空间中的插值点更加真实。这有助于有效地捕获数据流形,并增强了下游预测任务的学习表示的实用性。我们解决后一个问题,开发一个理论的公平性和准确性的权衡使用分类器为基础的条件互信息估计。我们证明了FRIED对不同模式的数据集-表格,文本和图像数据集的有效性。我们观察到,与现有基线相比,FRIED学习的表示总体上更公平,并且对于下游预测任务也更准确。此外,我们在现实世界的医疗索赔数据集上评估了FRIED,在那里我们进行了专家辅助模型审计研究,为阿片类药物成瘾模式提供了有用的见解。
2021-10-13 cs.LG
FARE: Provably Fair Representation Learning with Practical Certificates
ETH Zurich(苏黎世联邦理工学院)
针对公平表征学习缺乏可落地公平保证的问题,提出 FARE,通过受限编码器与有限样本高置信上界程序,为任意下游分类器提供紧且实用的公平性证书。
2023-06-08 cs.AI cs.CY cs.LG
FairProp: Fair Node Representation Learning via Differentiable Propagation Layers
KU Leuven(鲁汶大学)
本文提出FairProp,通过向APPNP的凸平滑问题加入群体均值约束和组内协方差正则化,并将投影梯度下降展开为可微分传播层,实现节点分类、链接预测和回归的公平表示学习,提供首个相关界限并线性收敛。
2026-10-06 cs.LG cs.SI
Efficient Fairness-Performance Pareto Front Computation
Technion - Israel Institute of Technology(技术离子-以色列理工学院);NVIDIA(英伟达)
本文提出一种无需训练复杂表示模型即可高效计算公平性-性能最优帕累托前沿的方法,利用结构性质简化为离散问题,并通过凹凸规划求解,可作为表示学习算法的基准。
2025-10-24 cs.LG stat.ML
Fair Node Representation Learning via Adaptive Data Augmentation
University of California, Irvine(加利福尼亚大学尔湾分校)
节点表示学习已经证明了它在图的各种应用中的有效性,这导致了对该领域越来越多的关注。然而,公平性在很大程度上是外地一个探索不足的领域,这可能导致在随后的任务中产生偏向代表性不足群体的结果。为此,这项工作从理论上解释了通过图神经网络(GNNs)获得的节点表示中的偏差来源。我们的分析表明,节点的功能和图形结构导致偏见在所获得的表示。在分析的基础上,开发了节点特征和图结构上的公平性感知数据增强框架,以减少固有偏差。我们的分析和提出的方案可以很容易地用于提高各种基于GNN的学习机制的公平性。在图对比学习的背景下,在真实网络上进行了大量的节点分类和链接预测实验。与多个基准的比较表明,拟议的增强战略可以提高公平性的统计平价和平等机会,同时提供可比的效用,以国家的最先进的对比方法。
2022-01-21 cs.AI cs.LG
Privacy for Fairness: Information Obfuscation for Fair Representation Learning with Local Differential Privacy
HKUST(香港科技大学);ShanghaiTech University(上海科技大学);Data61, CSIRO(Data61 联邦科学与工业研究组织数据61分部)
本文提出基于信息瓶颈和局部差分隐私的信息混淆理论框架,通过变分表示编码方法在保护隐私的同时实现公平表示学习,并经实验验证其有效性。
2024-02-16 cs.CR cs.IT cs.LG
FairContrast: Enhancing Fairness through Contrastive learning and Customized Augmenting Methods on Tabular Data
Department of Industrial Engineering University of Central Florida(工业工程系,中央佛罗里达大学);Department of Computer Science University of Central Florida(计算机科学系,中央佛罗里达大学)
针对表格数据对比学习表征公平性不足的问题,提出FairContrast框架,通过策略性选正样本对结合有监督与自监督对比学习,在低准确率损失下有效去偏,且公平表征可适配多种下游任务。
2025-10-02 cs.LG
Learning Fair Graph Representations with Multi-view Information Bottleneck
Guilin University of Electronic Technology(桂林电子科技大学);Hainan University(海南大学);Guangxi University(广西大学);University of South Australia(澳大利亚南昆士兰大学)
针对图神经网络易放大数据偏差、现有公平性方法忽略属性与结构差异影响的问题,提出多视图信息瓶颈框架FairMIB,通过多视图分解、对比学习、条件信息瓶颈目标及IPW邻接校正,实现效用与公平性指标的SOTA表现。
2025-10-29 cs.AI cs.LG
Causal Manifold Fairness: Enforcing Geometric Invariance in Representation Learning
Machine Learning Lab IIIT-Hyderabad(IIIT-海得拉巴第二工业大学机器学习实验室)
本文提出因果流形公平性框架,通过强制潜在空间几何不变性,解决敏感属性对数据流形几何的因果扭曲问题,实现公平性与效用的平衡。
2026-01-06 cs.AI cs.CY cs.LG
Debiasing Diffusion Model: Enhancing Fairness through Latent Representation Learning in Stable Diffusion Model
National Cheng Kung University(成功大学)
针对扩散图像生成模型继承数据集偏见且传统去偏依赖预定义敏感属性的问题,提出 DDM,利用指示器学习平衡潜在表示以增强公平性。
2025-03-16 cs.CV cs.CY cs.LG
Deep Clustering based Fair Outlier Detection
Brandeis University(布兰迪斯大学);Michtom School of Computer Science(米奇托姆计算机科学学院)
在本文中,我们专注于无监督离群点检测的公平性问题。传统的算法,没有一个具体的设计,算法公平性,可以隐含编码和传播数据中的统计偏差,并引起社会的关注。为了纠正这种不公平并提供一组公平的潜在离群点候选者,我们提出了基于深度聚类的公平离群点检测(DCFOD),它学习一个好的表示以实现效用最大化,同时强制可学习的表示在敏感属性上保持子群不变。考虑到聚类和离群点检测之间的耦合和互惠性质,我们利用深度聚类来发现内在的聚类结构和结构外实例。同时,对抗性训练擦除实例的敏感模式以进行公平性自适应。从技术上讲,我们提出了一种实例级加权表示学习策略来增强联合深度聚类和离群点检测,其中动态权重模块重新强调了可能的内点的贡献,同时减轻了离群点的负面影响。通过对8个数据集和17个离群点检测算法的实验表明,我们的DCFOD方法在离群点检测有效性和两种类型的公平性概念上都取得了优异的性能。
2021-06-09 cs.CY cs.LG
Kernel-based Equalized Odds: A Quantification of Accuracy-Fairness Trade-off in Fair Representation Learning
H. Milton Stewart School of Industrial and Systems Engineering(H. Milton Stewart工业与系统工程学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出基于核的均衡几率准则 $EO_k$,在公平表示学习中统一量化独立性、分离性和校准性,并在有偏与无偏条件下刻画准确率与公平性的权衡,同时给出经验统计量及其集中不等式保证。
2025-08-20 cs.LG stat.ML
CAFIN: Centrality Aware Fairness inducing IN-processing for Unsupervised Representation Learning on Graphs
IIIT, Hyderabad(印度理工学院海得拉巴分校);Adobe Research, Bangalore, India(奥多比研究院班加罗尔分部)
针对图无监督表示学习中因连通性模式导致的节点间性能差异问题,提出中心性感知公平性诱导框架 CAFIN,利用图结构信息调整现有框架生成的表示,在节点分类和链接预测任务中显著减少性能差异且公平性成本极低。
2024-04-20 cs.AI cs.CY cs.LG
Fairness by Learning Orthogonal Disentangled Representations
Technical University of Munich(慕尼黑工业大学);Carl Zeiss Meditec AG(卡尔蔡司医疗股份有限公司);Johns Hopkins University(约翰斯·霍普金斯大学);ETH Zurich(苏黎世联邦理工学院)
学习有区别的强有力的表示是机器学习系统的关键步骤。在特定任务上表现良好的同时引入对任意讨厌或敏感属性的不变性是表示学习中的一个重要问题。这主要通过从学习的表示中清除敏感信息来实现。在本文中,我们提出了一种新的去纠缠不变表示问题的方法。我们解开有意义的和敏感的表示,强制执行正交约束作为独立性的代理。通过熵最大化,我们显式地强制有意义的表示对敏感信息是不可知的。所提出的方法进行了评估五个公开可用的数据集和比较的最先进的方法学习的公平性和不变性实现的最先进的性能在三个数据集和可比的性能在其余的。此外,我们进行了烧蚀研究,以评估每个组件的效果。
2020-07-04 cs.CV cs.LG
Fairness in TabNet Model by Disentangled Representation for the Prediction of Hospital No-Show
Qatar Computing Research Institute(卡塔尔计算研究所);University of Gabes(加贝斯大学);Sidra Medicine(西德拉医院)
病人不出现是卫生中心的主要负担,导致收入损失,增加等待时间和健康结果恶化。开发机器学习(ML)模型来预测不出现的情况可能有助于解决这个重要问题。为了确保获得医疗服务的机会平等,考虑使用公平的ML模型进行未出现预测至关重要。在这项工作中,我们感兴趣的是开发基于表格数据的深度学习模型,用于在确保公平性的同时进行未出现预测。我们的基线模型TabNet使用了细心的特征变换,并在表格数据上显示出了有希望的结果。我们提出了基于表示学习的Fair-TabNet,它将预测性与敏感性成分分离开来。该模型被训练为联合最小化未显示和敏感变量的损失函数,同时确保敏感和预测表示正交。在实验分析中,我们使用了2019年收集的210,000个预约的医院数据集。我们的初步结果表明,建议公平TabNet提高了预测,公平性和收敛速度TabNet的预约未出现预测的任务。与最先进的表格数据模型的比较显示出有希望的结果,并可以通过更好地调整超参数来进一步改进。
2021-03-06 cs.LG
The Price of Fair PCA: One Extra Dimension
Georgia Tech(佐治亚理工学院)
我们调查是否PCA的标准降维技术无意中产生不同的保真度为两个不同的人群的数据表示。我们在几个真实世界的数据集上显示,PCA在人口A上的重建误差高于B(例如,女性与男性或受教育程度较低与较高的个体)。即使数据集具有来自A和B的相似数量的样本,也可能发生这种情况。这激发了我们对降维技术的研究,这些降维技术对A和B保持相似的保真度。我们定义了公平PCA的概念,并给出了一个多项式时间算法,找到一个低维表示的数据,这是接近最佳的相对于此措施。最后,我们在现实世界的数据集上表明,我们的算法可以有效地生成一个公平的低维表示的数据。
2018-10-31 cs.LG stat.ML
An Attention-based Framework for Fair Contrastive Learning
FPT Software(FPT软件公司);AI Center(人工智能中心);National University of Singapore(新加坡国立大学)
本文提出一种基于注意力机制的公平对比学习方法,通过建模偏差交互并聚焦去偏样本,在不降低下游准确率的前提下显著提升表示的去偏效果。
2024-11-22 cs.LG
A Variational Approach to Privacy and Fairness
KTH Royal Institute of Technology(瑞典皇家理工学院)
在这篇文章中,我们提出了一种新的变分方法来学习私人和/或公平的表示。这种方法是基于我们提出的隐私和公平性优化问题的新提法的拉格朗日。在这个公式中,我们的目标是生成数据的表示,保持规定级别的相关信息,这些信息不被私人或敏感数据共享,同时最大限度地减少他们保留的剩余信息。所提出的方法(i)表现出隐私和公平问题的相似性,(ii)允许我们通过拉格朗日乘子参数来控制效用和隐私或公平之间的权衡,以及(iii)可以舒适地并入到常见的表示学习算法中,例如VAE,$β$ -VAE,VIB或非线性IB。
2021-09-06 cs.IT cs.LG math.IT
10 Years of Fair Representations: Challenges and Opportunities
Institute for Particle Physics and Astrophysics, ETH Zurich(苏黎世联邦理工学院粒子物理与天体物理研究所)
本文回顾公平表征学习十年发展,结合深度学习理论与大规模 AutoML 对抗实验,揭示确定性未量化 FRL 方法在移除敏感信息方面存在严重缺陷。
2024-07-04 cs.LG
Fair Representation: Guaranteeing Approximate Multiple Group Fairness for Unknown Tasks
National University of Singapore(新加坡国立大学)
受数据用于不同预测任务的场景的启发,我们研究了公平表示是否可以用于保证未知任务的公平性和同时用于多个公平概念。我们认为七组公平的概念,涵盖独立,分离和校准的概念。在公平不可能结果的背景下,我们探讨近似公平。我们证明,虽然公平表示可能无法保证所有预测任务的公平性,但它确实保证了一个重要的任务子集的公平性-表示是有区别的任务。具体而言,所有七个组公平性概念是线性控制的公平性和歧视性的表示。当不同的公平概念之间存在不相容时,公平和歧视性的表示达到了近似满足所有概念的最佳点。出于我们的理论研究结果,我们建议学习公平和歧视性的表示使用借口损失自我监督学习,和最大平均离散作为一个公平的正则化。在表格,图像和人脸数据集上的实验表明,使用学习的表示,我们在学习表示时不知道的下游预测确实对七个组公平性概念变得更公平,并且根据我们的理论结果计算的公平性保证都是有效的。
2022-02-20 cs.CV cs.CY cs.LG
FairMILE: Towards an Efficient Framework for Fair Graph Representation Learning
The Ohio State University(俄亥俄州立大学);Samsung Research America(三星美国研究院)
针对图表示学习模型存在偏见且现有去偏方法计算成本高的问题,提出高效的多级框架 FairMILE,可与任意无监督嵌入方法结合,在显著降低运行时间的同时实现公平性与效用的更优权衡。
2023-10-18 cs.CY cs.LG