Provably efficient neural network representation for image classification
California Institute of Technology(加州理工学院)
用于图像分类的现有技术方法基于神经网络。从数学上讲,对图像进行分类的任务相当于找到将图像映射到与之相关联的标签的函数。为了严格地建立神经网络方法的成功,我们应该首先证明函数具有有效的神经网络表示,然后设计可证明有效的训练算法来找到这样的表示。在这里,我们实现了第一个目标的基础上,对图像中的模式的一组假设。这些假设的有效性在许多图像分类问题中是非常直观的,包括但不限于识别手写数字。
2017-11-13 cs.LG
Malign Overfitting: Interpolation Can Provably Preclude Invariance
Johns Hopkins University(约翰斯·霍普金斯大学);Weizmann Institute of Science(魏茨曼科学研究所);Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
本文从理论上证明在过参数化下任何插值学习规则都无法满足不变性,并提出可证明不变的非插值分类算法,在模拟数据与Waterbirds数据集上验证了理论。
2024-07-03 cs.LG stat.ML
Fair Machine Unlearning: Data Removal while Mitigating Disparities
Harvard University(哈佛大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对现有机器遗忘方法忽略公平性的问题,本文提出了首个能从公平目标中高效遗忘数据的公平机器遗忘方法,并从理论和真实数据集实验上证明了其能有效遗忘数据并维持公平性。
2024-02-16 cs.AI cs.LG
FairProp: Fair Node Representation Learning via Differentiable Propagation Layers
KU Leuven(鲁汶大学)
本文提出FairProp,通过向APPNP的凸平滑问题加入群体均值约束和组内协方差正则化,并将投影梯度下降展开为可微分传播层,实现节点分类、链接预测和回归的公平表示学习,提供首个相关界限并线性收敛。
2026-10-06 cs.LG cs.SI
FairNorm: Fair and Fast Graph Neural Network Training
University of California, Irvine(加州大学欧文分校)
图神经网络(GNN)已被证明可以实现许多基于图的学习任务的最新技术,这导致它们在各个领域的就业率上升。然而,已经表明GNN可能会继承甚至放大训练数据中的偏差,这会导致对某些敏感群体的不公平结果。与此同时,GNN的训练带来了额外的挑战,例如收敛缓慢和可能的不稳定性。面对这些限制,这项工作提出了FairNorm,这是一个统一的规范化框架,可以减少基于GNN的学习中的偏差,同时提供可证明的更快收敛。具体来说,FairNorm在不同的敏感组上使用具有可学习参数的公平感知归一化算子,以减少GNN中的偏差。FairNorm的设计是建立在分析的基础上的,这些分析阐明了基于图的学习中的偏见来源。在真实网络上进行的节点分类实验表明,与公平感知基线相比,该方案在统计奇偶性和机会均等方面提高了公平性。此外,它是经验表明,所提出的框架导致更快的收敛相比,天真的基线,没有归一化。
2022-05-20 cs.LG
CertiFair: A Framework for Certified Global Fairness of Neural Networks
University of California, Irvine(加州大学欧文分校)
研究了一个神经网络模型是否满足全局个体公平性的问题。个体公平性是指在决策模型中,对于某项任务,相似的个体应该得到相似的对待。在这项工作中,我们有两个主要目标。第一个是构造一个验证器,该验证器检查分类任务中给定NN的公平性是否成立,或者如果违反了公平性,则提供一个反例,即,如果所有相似的个体被相同地分类,则该模型是公平的,而如果一对相似的个体被不同地分类,则该模型是不公平的。为此,我们构建了一个合理而完整的验证器,该验证器使用基于距离的相似性度量来验证ReLU NN分类器的全局个体公平性。本文的第二个目标是提供一种方法来训练可证明公平的NN分类器从不公平(偏见)的数据。我们提出了一个公平损失,可以在训练过程中使用,以执行类似的个人公平的结果。然后,我们提供了可证明的界限上的公平性产生的NN。我们在公开的常用公平数据集上进行了实验,结果表明,全局个体公平性可以提高96%,而测试准确率不会显着下降。
2022-05-20 cs.LG
InfoNCE Loss Provably Learns Cluster-Preserving Representations
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Research India(谷歌印度研究院)
对比学习的目标是学习一种表示,通过保持具有相似内容的样本,例如狗的“dogness”,在由表示生成的空间中彼此靠近,来保留潜在的集群。解决这个无监督学习问题的一个常见而成功的方法是最小化与训练样本相关的InfoNCE损失,其中每个样本与它们的增强(正样本,如旋转,裁剪)和一批负样本(不相关的样本)相关联。据我们所知,如果通过最小化InfoNCE损失来学习的表示保留了底层数据集群,这是没有答案的,因为它只会促进学习忠实于增强的表示,即,图像及其增强具有相同的表示。我们的主要结果是表明,在集群内的增强集可能不重叠,但相对于学习函数类的复杂性,InfoNCE用有限数量的负样本学习的表示也与数据中的集群一致。
2023-02-15 cs.LG
Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP
Princeton University(普林斯顿大学);Oregon State University(俄勒冈州立大学);Yale University(耶鲁大学)
本文针对低秩POMDP提出结合最大似然估计与乐观原则的表示学习算法,实现可证明的高效样本复杂度,并推广至γ-可观测POMDP。
2023-06-21 cs.LG
Fair Federated Learning via Bounded Group Loss
CMU(卡内基梅隆大学)
跨保护组的公平预测是许多联邦学习应用程序的重要约束。然而,以前的工作研究组公平联邦学习缺乏正式的收敛或公平性保证。在这项工作中,我们提出了一个可证明公平的联邦学习的一般框架。特别是,我们探索和扩展的概念有限的组损失作为一个理论基础的方法组公平。使用这种设置,我们提出了一个可扩展的联邦优化方法,优化了一些组公平性约束下的经验风险。我们提供的方法的收敛性保证以及公平性保证所得到的解决方案。从经验上讲,我们在公平ML和联邦学习的共同基准上评估了我们的方法,表明它可以提供比基线方法更公平,更准确的预测。
2022-10-13 cs.CY cs.LG
MAML and ANIL Provably Learn Representations
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学)
本文从理论上证明 MAML、ANIL 及其一阶近似能在多任务线性表征学习中以指数速率恢复真实共享表征,并解释最后一层适配利用任务多样性是关键机制。
2023-06-04 cs.LG
Federating for Learning Group Fair Models
University College London(伦敦大学学院);Duke University(杜克大学)
联邦学习是一种越来越流行的范例,它使大量实体能够协作学习更好的模型。在这项工作中,我们研究极小极大组公平的范例,不同的参与实体可能只能访问一个子集的人口群体在训练阶段。我们正式分析了这个公平性目标与现有的联邦学习公平性标准的不同之处,这些标准在参与者而不是人口统计学群体中施加了类似的性能。我们提供了一个优化算法- FedMinMax -解决所提出的问题,证明享有集中式学习算法的性能保证。我们通过实验比较了所提出的方法与其他方法在各种联邦学习设置的组公平性。
2021-10-07 cs.CY cs.LG
On the Power of Randomization in Fair Classification and Representation
Northeastern University(东北大学);Microsoft Research(微软研究院)
本文研究随机化在公平分类与公平表示中的作用,细化了最优公平分类器的刻画,证明随机化分类器可超越确定性分类器,还构建了具有可证明最优准确率的多类公平表示,无准确率损失。
2024-10-07 cs.LG
Correct-By-Construction: Certified Individual Fairness through Neural Network Training
Singapore Management University(新加坡国立管理学院)
本文提出一个构造即正确的个体公平性训练框架,通过可证明公平的初始化和基于随机化响应机制的公平保持训练算法,在无需训练期神经网络验证的情况下,形式化保证并高效地训练出既公平又准确的模型。
2025-08-21 cs.LG
Conditional Contrastive Learning for Improving Fairness in Self-Supervised Learning
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
对比自监督学习(SSL)学习嵌入空间,该嵌入空间将相似的数据对映射得更近,而将不相似的数据对映射得更远。尽管它取得了成功,但有一个问题被忽视了:使用对比SSL学习的表示的公平性。如果不采取缓解措施,对比SSL技术可能会包含性别或种族等敏感信息,并对下游任务造成潜在的不公平预测。在本文中,我们提出了一个条件对比学习(CCL)的方法来提高对比SSL方法的公平性。我们的方法从敏感属性的条件分布中采样阳性和阴性对,或者从经验上讲,从同一性别或同一种族中采样阳性和阴性对。我们表明,我们的方法可证明最大化的条件互信息之间的学习表示的积极对,并减少敏感属性的影响,将其作为条件变量。在七个公平性和视觉数据集上,我们实证证明,与无监督基线相比,所提出的方法实现了最先进的下游性能,并显着提高了对比SSL模型在多个公平性指标上的公平性。
2022-06-28 cs.LG
SMiLE: Provably Enforcing Global Relational Properties in Neural Networks
本文扩展SMiLE框架以支持神经网络上的全局关系性质强制执行,在单调性、全局鲁棒性和个体公平性任务上验证其通用性、可扩展性与完整保证能力。
2025-11-10 cs.AI cs.LG math.OC
Fair Hierarchical Clustering
Google(谷歌);University of Maryland(马里兰大学);Carnegie Mellon University(卡内基梅隆大学)
随着机器学习变得越来越普遍,研究人员开始认识到确保机器学习系统公平的必要性。最近,有兴趣定义一个公平的概念,减轻在传统的聚类过度表示。在本文中,我们将这一概念扩展到层次聚类,其目标是递归地划分数据以优化特定目标。对于各种自然的目标,我们得到简单,有效的算法,找到一个可证明良好的公平分层聚类。经验上,我们表明,我们的算法可以找到一个公平的层次聚类,只有一个可以忽略不计的损失的目标。
2020-06-19 cs.DS cs.LG stat.ML
Towards a Unified Framework for Fair and Stable Graph Representation Learning
Harvard University(哈佛大学)
随着图神经网络(GNN)输出的表示越来越多地用于现实世界的应用,确保这些表示是公平和稳定的变得非常重要。在这项工作中,我们建立了反事实公平性和稳定性之间的关键联系,并利用它提出了一个新的框架,NIFTY(uNIfying Fairness and stabilITY),它可以与任何GNN一起使用,以学习公平和稳定的表示。我们引入了一个新的目标函数,同时考虑了公平性和稳定性,并使用Lipschitz常数开发了一个逐层权重归一化,以增强GNN中的神经消息传递。在这样做的过程中,我们在目标函数和GNN架构中都加强了公平性和稳定性。此外,我们从理论上表明,我们的逐层权重归一化促进了所得到的表示中的反事实公平性和稳定性。我们介绍了三个新的图形数据集,包括刑事司法和金融贷款领域的高风险决策。对上述数据集的广泛实验证明了我们框架的有效性。
2021-06-16 cs.LG
Semi-FairVAE: Semi-supervised Fair Representation Learning with Adversarial Variational Autoencoder
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
对抗学习是公平表示学习中广泛使用的一种技术,用于消除数据表示中敏感属性的偏差。它通常需要将敏感属性标签作为预测目标。然而,在许多场景下,许多样本的敏感属性标签可能是未知的,并且很难基于具有观察到的属性标签的稀缺数据训练一个强的分类器,这可能导致产生不公平的表示。本文提出了一种基于对抗性变分自编码器的半监督公平表示学习方法,该方法可以减少对抗性公平模型对带有标签敏感属性的数据的依赖。更具体地说,我们使用一个偏见感知模型,通过准确地预测敏感属性从输入数据捕捉敏感属性的固有偏见信息,我们使用一个无偏见的模型,学习去偏见的公平表示,通过使用对抗学习,以消除偏见信息。由两个模型学习的隐藏表示被正则化为正交的。此外,两个模型预测的软标签被进一步集成到一个半监督的变分自编码器中,以重建输入数据,我们应用了一个额外的熵正则化,以鼓励从无偏模型推断的属性标签是高熵的。通过这种方式,如果输入数据被很好地重构,则偏差感知模型可以更好地捕获属性信息,而无偏差模型对敏感属性的区分性较低。在两个不同任务的数据集上进行的大量实验验证了该方法在有限数据和敏感属性标签的情况下可以实现良好的表示学习公平性。
2022-04-01 cs.LG
Fair and efficient contribution valuation for vertical federated learning
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙 Fraser大学);Huawei Technologies Canada(华为技术加拿大)
本文针对纵向联邦学习中数据源贡献难以公平评估的问题,提出基于Shapley值的VerFedSV指标,在保证公平性的同时实现高效计算,并适配同步与异步算法,实验验证了其公平性、高效性、适应性和有效性。
2025-08-21 cs.LG
Fix Representation (Optimally) Before Fairness: Finite-Sample Shrinkage Population Correction and the True Price of Fairness Under Subpopulation Shift
Department of Biostatistics, Vanderbilt University Medical Center, Nashville, TN 37232, USA(生物统计学系,范德比尔特大学医学中心);Department of Informatics, King's College London, WC2R 2LS London, UK(信息学系,国王学院伦敦)
本文提出在公平性之前通过有限样本收缩校正优化表示,以揭示真实公平性代价,通过实验验证该方法有效消除虚假权衡。
2026-02-05 cs.LG
Fairness-Aware Node Representation Learning
University of California, Irvine(加州大学欧文分校)
节点表示学习已经证明了它在图的各种应用中的有效性。特别是,对比学习的最新发展已经导致了一些任务的无监督节点表示学习的有希望的结果。尽管图对比学习取得了成功,随之而来的兴趣也在不断增长,但公平性在该领域的探索还很不够。为此,本研究通过自适应特征掩蔽和边缘删除,解决了图对比学习中的公平性问题,并采用公平性感知图增强设计。在这项研究中,不同的公平性概念的图,作为建议的图增强的指导方针。此外,理论分析提供了定量证明所提出的特征掩蔽方法可以减少本征偏差。真实社交网络上的实验结果表明,所提出的增强可以提高公平性的统计奇偶性和平等的机会,同时提供可比的分类精度,以国家的最先进的对比方法节点分类。
2021-06-09 cs.LG
Fair Representation Learning with Controllable High Confidence Guarantees via Adversarial Inference
Rutgers University(罗格斯大学);Sony AI(索尼人工智能);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);University College Dublin(都柏林大学);University of Massachusetts(马萨诸塞大学)
本文提出FRG框架,通过对抗推理为表示学习提供可控高置信度的公平性保证,确保下游预测中群体差异不超过用户定义阈值,并在三个数据集上优于六种基线方法。
2025-10-23 cs.LG
Fair Representation Learning using Interpolation Enabled Disentanglement
Virginia Tech(弗吉尼亚理工大学);Amazon(亚马逊公司)
随着人们对机器学习社区解决现实问题的兴趣越来越大,通过关注公平性和审计这些黑箱模型所做的预测来揭示其决策背后隐藏的推理变得至关重要。在本文中,我们提出了一种新的方法来解决两个关键问题:(a)我们可以同时学习公平的解纠缠表示,同时确保学习的表示对下游任务的效用,以及(b)我们可以提供理论见解,当提出的方法将是公平和准确的。为了解决前者,我们提出了方法FRIED,公平表示学习使用插值使能解纠缠。在我们的架构中,通过施加基于批评的对抗框架,我们强制潜在空间中的插值点更加真实。这有助于有效地捕获数据流形,并增强了下游预测任务的学习表示的实用性。我们解决后一个问题,开发一个理论的公平性和准确性的权衡使用分类器为基础的条件互信息估计。我们证明了FRIED对不同模式的数据集-表格,文本和图像数据集的有效性。我们观察到,与现有基线相比,FRIED学习的表示总体上更公平,并且对于下游预测任务也更准确。此外,我们在现实世界的医疗索赔数据集上评估了FRIED,在那里我们进行了专家辅助模型审计研究,为阿片类药物成瘾模式提供了有用的见解。
2021-10-13 cs.LG
Towards Poisoning Fair Representations
Purdue University(普渡大学);Tencent AI Lab(腾讯AI实验室);Georgia Institute of Technology(佐治亚理工学院)
针对深度公平表示学习缺乏安全评估的问题,提出首个数据投毒框架,通过精心构造样本和双层优化近似诱导不公平表示,并给出投毒样本量理论分析。
2024-03-04 cs.LG
Provably Training Overparameterized Neural Network Classifiers with Non-convex Constraints
The University of Chicago(芝加哥大学);Northwestern University(西北大学);The University of Chicago Booth School of Business(芝加哥大学布斯商学院)
在非凸约束下训练分类器由于其算法公平性和类不平衡分类等广泛的应用,在机器学习领域得到了越来越多的关注。然而,最近的几项工作解决非凸约束只集中在简单的模型,如逻辑斯谛回归或支持向量机。神经网络是当今最流行的分类模型之一,但它缺乏理论保证。在这项工作中,我们证明了过参数化神经网络可以通过项目随机梯度下降实现非凸约束优化问题的近最优和近可行解。我们的关键成分是在overparameterization制度,这可能是独立的在线学习应用程序的兴趣,神经网络的在线学习的无悔分析。
2022-10-27 cs.LG math.OC stat.ML
Ensuring Fairness Beyond the Training Data
Columbia University(哥伦比亚大学);Department of Computer Science and Data Science Institute(计算机科学与数据科学研究所)
我们开始研究公平的分类器,是强大的扰动的训练分布。尽管最近的进展,公平性的文献在很大程度上忽略了公平和强大的分类器的设计。在这项工作中,我们开发的分类器是公平的,不仅相对于训练分布,但也为一类分布的加权扰动的训练样本。我们制定了一个最小最大的目标函数,其目标是最小化分布鲁棒训练损失,并在同一时间,找到一个分类器,这是公平的一类分布。我们首先减少这个问题,找到一个公平的分类器,是强大的类的分布。基于在线学习算法,我们开发了一个迭代算法,可证明收敛到这样一个公平和鲁棒的解决方案。在标准机器学习公平数据集上的实验表明,与最先进的公平分类器相比,我们的分类器保留了公平性保证和测试精度,适用于测试集上的大类扰动。此外,我们的实验表明,有一个内在的公平性之间的权衡鲁棒性和准确性的分类。
2020-11-04 cs.LG stat.ML
FairContrast: Enhancing Fairness through Contrastive learning and Customized Augmenting Methods on Tabular Data
Department of Industrial Engineering University of Central Florida(工业工程系,中央佛罗里达大学);Department of Computer Science University of Central Florida(计算机科学系,中央佛罗里达大学)
针对表格数据对比学习表征公平性不足的问题,提出FairContrast框架,通过策略性选正样本对结合有监督与自监督对比学习,在低准确率损失下有效去偏,且公平表征可适配多种下游任务。
2025-10-02 cs.LG
Fair Best Arm Identification with Fixed Confidence
Ericsson AB(爱立信公司);Ericsson Research(爱立信研究院)
本文研究公平性约束下的最佳臂识别问题,提出 F-BAI 框架并给出样本复杂度下界,进而设计可证明匹配该下界且满足公平约束的 F-TaS 算法,实验验证了其高效性。
2024-08-30 cs.AI cs.LG
Arbitrariness Lies Beyond the Fairness-Accuracy Frontier
JPMorgan Chase Bank, N.A.(摩根大通银行);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
本研究发现仅优化群体公平性与准确率的公平性干预会加剧预测多样性,掩盖模型任意性,为此提出适用于各类公平性干预的集成算法,以提升预测一致性。
2023-06-15 cs.CY cs.IT cs.LG
Provably Learning Object-Centric Representations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学)
本文分析了无监督学习以对象为中心表示的条件,提出组合性与不可约性假设,证明可逆组合推理模型可识别对象表示,并在合成数据上验证了理论对现有模型的预测力。
2023-05-23 cs.CV cs.LG
CoRe-Fed: Bridging Collaborative and Representation Fairness via Federated Embedding Distillation
CoRe-Fed通过联邦嵌入蒸馏实现协同与表示公平性,通过嵌入级正则化和公平性感知聚合策略提升模型性能和公平性。
2026-01-31 cs.LG
Latent Space Smoothing for Individually Fair Representations
ETH Zurich(苏黎世联邦理工学院);DeepMind(深度思维)
公平表示学习将用户数据转换为一种表示,该表示确保公平性和实用性,而与下游应用无关。然而,学习单独的公平表示,即,在诸如计算机视觉的高维环境中,保证相似的个体被相似地对待仍然是具有挑战性的。在这项工作中,我们介绍LASSI,第一个表示学习方法来证明个人的公平性的高维数据。我们的关键见解是利用生成建模的最新进展来捕获生成潜在空间中的相似个体集。这使我们能够通过使用对抗训练来最小化他们的表示之间的距离,来学习单独的公平表示,将相似的个体映射到一起。最后,我们采用随机平滑来可证明地将相似的个体映射到一起,从而确保下游应用程序的本地鲁棒性验证导致端到端的公平性认证。我们对具有挑战性的真实世界图像数据的实验评估表明,我们的方法将认证的个人公平性提高了90%,而不会显着影响任务效用。
2022-07-26 cs.AI cs.CV cs.LG
Fairness in TabNet Model by Disentangled Representation for the Prediction of Hospital No-Show
Qatar Computing Research Institute(卡塔尔计算研究所);University of Gabes(加贝斯大学);Sidra Medicine(西德拉医院)
病人不出现是卫生中心的主要负担,导致收入损失,增加等待时间和健康结果恶化。开发机器学习(ML)模型来预测不出现的情况可能有助于解决这个重要问题。为了确保获得医疗服务的机会平等,考虑使用公平的ML模型进行未出现预测至关重要。在这项工作中,我们感兴趣的是开发基于表格数据的深度学习模型,用于在确保公平性的同时进行未出现预测。我们的基线模型TabNet使用了细心的特征变换,并在表格数据上显示出了有希望的结果。我们提出了基于表示学习的Fair-TabNet,它将预测性与敏感性成分分离开来。该模型被训练为联合最小化未显示和敏感变量的损失函数,同时确保敏感和预测表示正交。在实验分析中,我们使用了2019年收集的210,000个预约的医院数据集。我们的初步结果表明,建议公平TabNet提高了预测,公平性和收敛速度TabNet的预约未出现预测的任务。与最先进的表格数据模型的比较显示出有希望的结果,并可以通过更好地调整超参数来进一步改进。
2021-03-06 cs.LG
Continual Fine-Tuning with Provably Accurate and Parameter-Free Task Retrieval
Washington State University(华盛顿州立大学);Princeton University(普林斯顿大学)
本文提出一种无参数任务检索的持续微调方法,结合输入和参数适应的优势,通过自适应模块组合策略和基于聚类的检索机制,提升任务检索和预测性能。
2026-01-28 cs.LG
Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference
Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
针对高维时间序列的概率推断难题,提出将对比学习变体应用于时间序列,证明其学到的表示遵循高斯-马尔可夫链,推断可转化为低维矩阵求逆,特殊情形下等价于表示插值,并通过46维内的数值模拟验证了理论。
2025-05-21 cs.LG stat.ML
FairNN- Conjoint Learning of Fair Representations for Fair Decisions
Leibniz University of Hanover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心);University of Twente(特文特大学)
在本文中,我们提出了FairNN一个神经网络,执行联合特征表示和分类的公平意识的学习。我们的方法优化了多目标损失函数,其中(a)通过抑制受保护的属性来学习公平表示(b)通过最小化重建损失来保持信息内容,以及(c)通过最小化分类误差并尊重均衡的基于奇数的公平性正则化来以公平的方式解决分类任务。我们在各种数据集上的实验表明,这种联合方法优于表示学习或监督学习中对不公平性的单独处理。此外,我们的正则化器可以自适应地加权,以平衡损失函数的不同分量,从而为联合公平表示学习和决策提供了一个非常通用的框架。
2020-04-11 cs.LG stat.ML
Addressing Fairness in Classification with a Model-Agnostic Multi-Objective Algorithm
Helmholtz AI(亥姆霍兹AI);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Swisscom(瑞士电信)
分类公平性的目标是学习一个分类器,该分类器不会基于敏感属性(如种族和性别)来歧视个人群体。设计公平算法的一种方法是使用公平概念的松弛作为正则化项或在约束优化问题中。我们观察到双曲正切函数可以近似指示函数。我们利用这个属性来定义一个可微的放松,近似公平的概念证明比现有的放松。此外,我们提出了一个模型无关的多目标架构,可以同时优化多个公平的概念和多个敏感属性,并支持所有基于统计奇偶校验的公平概念。我们使用我们的放松与多目标架构来学习公平分类器。在公共数据集上的实验表明,相对于无约束模型,我们的方法比当前的去偏置算法具有更低的精度损失。
2021-06-08 cs.AI cs.IR cs.LG
SoFaiR: Single Shot Fair Representation Learning
George Mason University(乔治梅森大学)
为了避免对数据的歧视性使用,组织可以学习将它们映射到一个表示中,过滤掉与敏感属性相关的信息。然而,所有现有的方法在公平表示学习产生一个公平信息的权衡。为了达到公平信息平面上的不同点,必须训练不同的模型。在本文中,我们首先证明,公平信息权衡率失真权衡充分的特点。然后,我们使用这个关键结果,并提出SoFaiR,一个Single Shot公平的表示学习方法,用一个训练模型生成公平信息平面上的许多点。除了节省计算,我们的单次方法是,就我们所知的范围内,第一个公平的表示学习方法,解释了什么信息是受影响的公平性/失真属性的变化表示。从经验上讲,我们发现在三个数据集上,SoFaiR实现了与其多镜头对应物类似的公平信息权衡。
2022-04-26 cs.CY cs.LG
Adversarial Stacked Auto-Encoders for Fair Representation Learning
Innopolis University(Innopolis 大学)
以唯一的准确性作为最终目标来训练机器学习模型可能会促进数据中嵌入的偏见和歧视行为。一种解决方案是学习满足特定公平性度量的潜在表示。采用不同类型的学习方法将数据映射到公平的表示空间。主要目的是学习数据的潜在表示,在公平性度量上得分很高,同时保持下游任务的可用性。在本文中,我们提出了一个新的公平的表示学习方法,利用不同层次的数据表示收紧学习表示的公平性界限。我们的研究结果表明,堆叠不同的自动编码器,并在不同的潜在空间执行公平性的结果在公平性的改善相比,其他现有的方法。
2021-07-27 cs.AI cs.LG
Learning Adversarially Fair and Transferable Representations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在本文中,我们提倡表示学习作为减轻下游不公平预测结果的关键。出于一个场景的动机,学习的表示被第三方使用未知的目标,我们提出并探索对抗性表示学习作为一种自然的方法,确保这些方公平行事。我们将群体公平性(人口统计学上的平等、均等化的几率和平等的机会)与不同的对抗性目标联系起来。通过最坏情况下的理论保证和实验验证,我们表明,这个目标的选择是至关重要的公平预测。此外,我们提出了第一个深入的公平迁移学习的实验演示,并实证表明,我们学到的表示承认公平的预测新的任务,同时保持效用,公平表示学习的一个基本目标。
2018-10-22 cs.LG stat.ML
FairMILE: Towards an Efficient Framework for Fair Graph Representation Learning
The Ohio State University(俄亥俄州立大学);Samsung Research America(三星美国研究院)
针对图表示学习模型存在偏见且现有去偏方法计算成本高的问题,提出高效的多级框架 FairMILE,可与任意无监督嵌入方法结合,在显著降低运行时间的同时实现公平性与效用的更优权衡。
2023-10-18 cs.CY cs.LG
Learning Interpretable Fair Representations
针对现有公平表示可解释性不足、限制数据效用的问题,提出在表示学习中引入可解释先验知识的通用框架,在ColorMNIST和Dsprite数据集上验证了其在可解释性、准确率和公平性上的优势。
2024-06-24 cs.CY cs.LG
Provably Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning
Tencent AI Lab(腾讯AI实验室);Megvii Research Shanghai(上海旷视研究院);Tsinghua University(清华大学);Peking University(北京大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
离线强化学习(OMRL)的元学习是一个未充分研究的问题,通过在许多现实世界的应用中启用RL算法,具有巨大的潜在影响。一个流行的解决方案,这个问题是推断任务身份的增强状态使用基于上下文的编码器,有效的学习强大的任务表示仍然是一个开放的挑战。在这项工作中,我们可证明的SOTA OMRL算法之一,FOCAL,通过将任务内的注意力机制和任务间的对比学习目标,鲁棒任务表示学习对稀疏奖励和分布偏移。理论分析和实验证明了我们的端到端和无模型框架的优越性能和鲁棒性相比,以前的算法在多个元RL基准。
2021-10-15 cs.AI cs.LG
Deep Fair Learning: Task-Aware Fair Representations via Joint Distance-Covariance Regularization
University of Alberta(阿尔伯塔大学)
本文提出深度公平学习框架,将非线性充分降维与深度学习结合,通过微调中的新惩罚项实现敏感属性与表示的条件独立,在多种敏感属性类型和数据结构上显著优于现有方法。
2026-10-06 cs.LG stat.ML
Fair Representation: Guaranteeing Approximate Multiple Group Fairness for Unknown Tasks
National University of Singapore(新加坡国立大学)
受数据用于不同预测任务的场景的启发,我们研究了公平表示是否可以用于保证未知任务的公平性和同时用于多个公平概念。我们认为七组公平的概念,涵盖独立,分离和校准的概念。在公平不可能结果的背景下,我们探讨近似公平。我们证明,虽然公平表示可能无法保证所有预测任务的公平性,但它确实保证了一个重要的任务子集的公平性-表示是有区别的任务。具体而言,所有七个组公平性概念是线性控制的公平性和歧视性的表示。当不同的公平概念之间存在不相容时,公平和歧视性的表示达到了近似满足所有概念的最佳点。出于我们的理论研究结果,我们建议学习公平和歧视性的表示使用借口损失自我监督学习,和最大平均离散作为一个公平的正则化。在表格,图像和人脸数据集上的实验表明,使用学习的表示,我们在学习表示时不知道的下游预测确实对七个组公平性概念变得更公平,并且根据我们的理论结果计算的公平性保证都是有效的。
2022-02-20 cs.CV cs.CY cs.LG
Learning Smooth and Fair Representations
George Mason University(乔治梅森大学)
拥有数据的组织因歧视性地使用数据侵害受保护的人口群体而面临越来越多的法律责任,这种责任延伸到涉及第三方访问和使用数据的合同交易。这是有问题的,因为原始数据所有者无法事先预测下游用户未来的所有使用。本文探讨了上游的能力,先发制人地删除功能和敏感属性之间的相关性映射功能到一个公平的表示空间。我们的主要结果表明,公平性的代表分布的人口统计奇偶性可以从一个有限的样本,当且仅当卡方互信息之间的功能和表示是有限的。经验上,我们发现,平滑的表示分布提供了公平证书的泛化保证,这改善了现有的公平表示学习方法。此外,与公平表示学习中最先进的方法相比,我们没有观察到平滑表示分布会降低下游任务的准确性。
2020-06-15 cs.LG stat.ML
Pairwise Supervision Can Provably Elicit a Decision Boundary
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);UCL(伦敦大学学院);Preferred Networks, Inc.(Preferred Networks公司)
相似性学习是通过预测一对模式之间的关系来获得有用表征的一般性问题。这个问题涉及到各种重要的预处理任务,如度量学习,核学习和对比学习。建立在表示的分类器,预计在下游分类表现良好,然而,很少有理论已经在文献中给出了到目前为止,从而相似性和分类之间的关系仍然难以捉摸。因此,我们解决了一个基本的问题:相似性信息可以证明导致模型在下游分类中表现良好吗?在本文中,我们揭示了产品型配方的相似性学习是密切相关的二进制分类的目标。我们进一步表明,这两个不同的问题是明确连接的超额风险约束。因此,我们的研究结果阐明,相似性学习是能够解决二进制分类直接引出一个决策边界。
2022-03-01 cs.LG stat.ML
First-order ANIL provably learns representations despite overparametrization
EPFL(洛桑联邦理工学院);INRIA(法国国家信息与自动化研究所);Université Paris Saclay(巴黎萨克雷大学)
本工作证明,在任务数无限极限下,使用线性双层网络的一阶 ANIL 即便在过参数化下也能成功学习线性共享表示,并取得渐近低秩解,从而在单次梯度步后对新任务实现良好适应。
2024-07-23 cs.LG stat.ML
Impossibility results for fair representations
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
随着人们对机器学习中公平性的认识不断提高,以及对数据表示在数据处理任务中的核心作用的认识,人们对公平数据表示的概念产生了明显的兴趣。这种表示的目标是在表示下的数据上训练的模型(例如,分类器)将保证遵守某些公平性约束。当它们可以固定用于在各种不同任务上训练模型时,以及当它们用作原始数据(表示设计者已知的)和使用表示下的数据来学习预测模型并做出决策的潜在恶意代理之间的数据过滤时,这样的表示是有用的。最近的一长串研究论文努力为实现这些目标提供工具。然而,我们证明这基本上是徒劳的努力。粗略地说,我们证明,没有表示可以保证公平的分类器为不同的任务训练使用它,即使是实现标签独立的人口公平的基本目标失败,一旦边际数据分布偏移。更精确的公平性概念,如赔率平等,不能通过不考虑任务特定标签规则的表示来保证,该规则将评估这种公平性(即使边际数据分布已知为先验)。此外,除了琐碎的情况下,没有表示可以保证任何两个不同的任务的赔率平等公平,同时允许两者的准确标签预测。虽然我们的一些结论是直观的,我们制定(和证明)清晰的声明,这种不可能性,往往对比的印象传达了许多最近的作品公平代表。
2021-07-07 cs.LG stat.ML
On Disentangled and Locally Fair Representations
Tel Aviv University(特拉维夫大学)
我们研究的问题进行分类的方式是公平的敏感群体,如种族和性别。这一问题是通过分解和当地公平的陈述来解决的。我们学习了一个局部公平的表示,这样,在学习的表示下,每个样本的邻域在敏感属性方面是平衡的。例如,当决定雇用一个人时,我们确保$K$中最相似的被雇用人员在种族上是平衡的。至关重要的是,我们确保相似的个体是基于与其种族无关的属性被发现的。为此,我们将嵌入空间分解为两个表示。其中第一个与敏感属性相关,而第二个不相关。我们只对第二个不相关的表示应用我们的局部公平性目标。通过一组实验,我们证明了必要性的解纠缠和本地公平获得公平和准确的表示。我们评估我们的方法在现实世界中的设置,如预测收入和重新监禁率,并证明我们的方法的优势。
2022-05-05 cs.AI cs.LG
Fair Sufficient Representation Learning
The Hong Kong Polytechnic University(香港理工大学)
本文提出FSRL方法,通过目标函数的凸组合在表征层面平衡充分性与公平性,利用距离协方差实现并证明其收敛性,在医疗与文本数据集上实现了公平性与准确性的更优权衡。
2025-03-29 cs.LG stat.ML
MMD-B-Fair: Learning Fair Representations with Statistical Testing
University of British Columbia(不列颠哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
提出 MMD-B-Fair,利用核两样本检验与分块检验的渐近性质学习公平表示,在隐藏敏感属性的同时保留目标信息,并在多数据集及下游迁移任务中验证有效。
2023-04-25 cs.LG stat.ML
Provably Efficient Representation Selection in Low-rank Markov Decision Processes: From Online to Offline RL
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究实验室)
研究低秩MDPs中的表示选择问题,提出ReLEX算法用于在线和离线RL,ReLEX-UCB在覆盖条件下实现严格更优的常数遗憾,ReLEX-LCB首次在离线RL表示学习中实现常数样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Sustaining Fairness via Incremental Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
机器学习系统通常被部署用于做出关键决策,如信贷、招聘等。在做出决策时,此类系统通常在其中间表示中编码用户的人口统计信息(如性别、年龄)。这可能导致决策偏向于特定的人口统计数据。以前的工作集中在消除中间代表,以确保公平的决定。然而,这些方法不能保持公平的任务或人口分布的变化。为了确保在野外的公平性,系统在以增量方式访问新数据时适应这种变化是很重要的。在这项工作中,我们建议通过在增量学习环境中引入学习公平表示的问题来解决这个问题。为此,我们提出了公平意识增量表示学习(FaIRL),一个表示学习系统,可以保持公平,同时增量学习新的任务。FaIRL能够通过控制学习表示的率失真函数来实现公平性并学习新任务。我们的实证评估表明,FaIRL能够做出公平的决策,同时在目标任务上实现高性能,优于几个基线。
2023-01-23 cs.CY cs.LG