ProportionNet: Balancing Fairness and Revenue for Auction Design with Deep Learning
University of Maryland(马里兰大学);Hofstra University(霍夫斯特拉大学);University of Maryland and John Dickerson(马里兰大学和John Dickerson)
具有强激励保证的收入最大化拍卖的设计是经济理论的核心问题。计算拍卖使在线广告,采购,频谱分配和无数的金融市场成为可能。在这个领域的分析进展是出了名的困难;自从Myerson在1981年的工作描述了单一物品最优拍卖,在限制设置之外的进展有限。Dütting等人最近的一篇论文通过将深度学习技术应用于近似最优拍卖来规避分析困难。与此同时,Ilvento等人和其他研究小组的新研究也在拍卖设计的背景下发展了公平的概念。受这些进展的启发,在本文中,我们使用深度学习扩展了近似拍卖的技术,以解决公平性问题,同时保持高收入和强激励保证。
2020-10-13 cs.GT cs.LG
A Confidence-Based Approach for Balancing Fairness and Accuracy
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
我们在算法公平性的背景下研究了三种经典的机器学习算法:自适应提升,支持向量机和逻辑回归。我们的目标是保持这些学习算法的高准确性,同时减少他们歧视个人的程度,因为他们在一个受保护的群体的成员。我们的第一个贡献是一种方法,通过改变受保护组的决策边界来实现公平。该方法是基于提高的理论的边缘。我们的方法在准确性和低歧视性方面表现优于或优于公平性文献中以前的算法,同时允许快速和透明地量化偏差和误差之间的权衡。我们的第二个贡献解决了大多数算法公平性文献中研究的偏差误差权衡的缺点。我们证明,即使是无可救药的天真的修改有偏见的算法,这不能合理地说是公平的,仍然可以实现低偏差和高精度。为了帮助区分这些天真的算法和更明智的算法,我们提出了一个新的公平性措施,称为弹性随机偏差(RRB)。我们证明,RRB区分我们的天真和明智的公平算法。RRB与偏差和准确性一起提供了算法公平性的更完整的画面。
2016-01-21 cs.CY cs.LG
Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility
Tsinghua University(清华大学);Weill Cornell Medicine(威尔康奈尔医学院)
二分排序,其目的是学习一个评分函数,排名积极的个人高于消极的标记数据,被广泛采用在各种应用中,需要样本优先级。最近,人们越来越关注学习的评分函数是否会导致由敏感属性定义的不同保护组之间的系统差异。虽然公平性和性能之间可能存在权衡,但在本文中,我们提出了一个与模型无关的后处理框架,用于在二分排名场景中平衡它们。具体来说,我们通过直接调整各组样本的相对排序来最大化效用和公平性的加权和。通过制定这个问题的最佳翘曲路径在不同的保护组的识别,我们提出了一个非参数的方法来搜索这样的最佳路径,通过一个动态规划过程。我们的方法是兼容的各种分类模型,并适用于各种排名公平性指标。一套基准数据集和两个真实世界的病人电子健康记录库的综合实验表明,我们的方法可以实现算法的效用和排名的公平性之间的很大的平衡。此外,我们实验验证了我们的方法的鲁棒性,当面对较少的训练样本和训练和测试之间的排名分数分布的差异。
2021-06-07 cs.LG stat.ML
Tuning Fairness by Balancing Target Labels
University of Sussex(萨塞克斯大学);University of Exeter(埃克塞特大学)
机器学习模型中的公平性问题最近吸引了很多关注,因为确保它将确保公众对机器学习系统部署的持续信心。我们专注于减轻有偏见的机器学习系统所造成的伤害,该系统为某些群体提供比其他群体更好的输出(例如贷款,工作面试)。我们表明,在输出中的偏差可以自然地控制概率模型,通过引入一个潜在的目标输出。这个公式有几个优点:第一,它是一个统一的框架,几个群体公平的概念,如人口均等和机会均等;第二,它被表达为一个边缘化,而不是一个受约束的问题;第三,它允许编码我们的知识应该是什么样的无偏输出。实际上,第二个允许我们避免不稳定的约束优化程序,并重用现成的工具箱。后者转化为通过直接改变公平目标速率来控制公平水平的能力。相比之下,现有的方法依赖于中间,可以说是不直观的,控制参数,如协方差阈值。
2021-02-23 cs.LG stat.ML
Balancing Fairness and Performance in Healthcare AI: A Gradient Reconciliation Approach
College of Computing & Informatics, Drexel University(计算与信息学院,德雷塞尔大学)
针对医疗AI公平性缺失问题,提出梯度调和框架FairGrad,通过正交投影平衡性能与多属性公平,在SUD和脓毒症任务上显著提升公平指标且保持准确率。
2025-04-19 cs.CY cs.LG
Optimal Transport Learning: Balancing Value Optimization and Fairness in Individualized Treatment Rules
Department of Applied Mathematics, The Hong Kong Polytechnic University(应用数学系,香港理工大学);Department of Biostatistics, City University of Hong Kong(生物统计学系,香港城市大学);Department of Mathematics and Statistics, Xi’an Jiaotong University(数学与统计学系,西安交通大学)
针对个体化治疗规则受敏感属性影响导致不公平的问题,提出基于最优传输理论的改进型权衡ITR方法,通过平滑约束调参平衡价值与公平,建立价值损失上界,经模拟和真实数据集验证有效。
2025-07-31 cs.LG stat.ML
Balancing Performance and Fairness in Explainable AI for Anomaly Detection in Distributed Power Plants Monitoring
African Institute for Mathematical Sciences (AIMS)(非洲数学科学研究所);Rhodes University(罗德斯大学);National Institute for Theoretical and Computational Sciences (NITheCS)(国家理论与计算科学研究所);Ludwig Maximilian University of Munich(慕尼黑路易斯·马克西米利安大学);University of Ferrara(费拉拉大学)
本文提出结合集成方法和先进重采样技术的监督机器学习框架,通过SHAP和DIR提升可解释性和公平性,实验表明LightGBM在性能和公平性上表现优异,为工业电力管理提供更公平的AI解决方案。
2026-03-19 cs.LG
Multi-Agent Reinforcement Learning for Dynamic Pricing: Balancing Profitability,Stability and Fairness
本文通过模拟市场环境评估了多智能体强化学习方法在动态定价中的表现,发现MAPPO在盈利、稳定性和公平性方面表现更优。
2026-02-28 cs.AI cs.LG
Balancing the Scales: Enhancing Fairness in Facial Expression Recognition with Latent Alignment
Birla Institute of Technology and Science, Pilani(比拉理工科学与 Pilani 学院)
针对真实FER数据集因人工标注和群体表征不均导致的人口统计偏见与类别不平衡问题,本文提出基于隐空间的表征学习方法,以提升面部表情识别模型的公平性和整体准确率。
2024-10-25 cs.CV cs.LG
Fairness With Minimal Harm: A Pareto-Optimal Approach For Healthcare
Duke University(杜克大学)
机器学习中常见的公平性定义侧重于平衡差异和效用的概念。在这项工作中,我们研究的公平性的背景下,子人群之间的风险差距。我们对学习模型感兴趣,这些模型可以最大限度地减少敏感群体之间的性能差异,而不会造成不必要的伤害。这与医疗保健等高风险领域有关,在这些领域,不伤害是一项核心原则。我们正式使用帕累托边界这一目标,并提供分析,根据最近的作品在公平性,以避免方案完美的公平可能是不可行的,而不做不必要的伤害。我们提出了一种训练神经网络的方法,通过动态重新平衡子组风险来实现我们的目标。我们认为,即使在需要成本公平的领域,找到一个非不必要的伤害公平模型是最佳的初始步骤。我们在预测ICU患者死亡率的真实案例研究中证明了这种方法,并从皮肤镜图像中对皮肤病变进行分类。
2019-11-16 cs.LG stat.ML
FairPOT: Balancing AUC Performance and Fairness with Proportional Optimal Transport
本文提出与模型无关的后处理框架FairPOT,利用最优传输选择性地转换劣势群体中可控比例的风险分数,有效平衡了高风险领域中AUC性能与公平性,并在全局和部分AUC场景下优于现有方法。
2025-08-12 cs.AI cs.CY cs.LG
PUFFLE: Balancing Privacy, Utility, and Fairness in Federated Learning
University of Pisa(比萨大学);Telefónica Research(西班牙电信研究院)
本文提出PUFFLE方法,首次在联邦学习中同时平衡效用、隐私与公平性,在保持严格隐私保证下将不公平性降低达75%,最坏情况效用仅降17%。
2024-07-21 cs.AI cs.CR cs.CY
Balancing Utility and Fairness in Submodular Maximization (Technical Report)
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);CENTAI Institute(CENTAI研究所);Eurecat(Eurecat技术中心)
针对子模最大化中效用与公平性难以兼顾的问题,提出双准则子模最大化(BSM)问题,并设计两种实例相关近似算法,在最大覆盖、影响力最大化和设施选址中验证了有效性。
2023-06-19 cs.DS cs.LG
RESFL: An Uncertainty-Aware Framework for Responsible Federated Learning by Balancing Privacy, Fairness and Utility
Virginia Tech(弗吉尼亚理工大学);U.S. Army Research Laboratory(美国陆军研究实验室)
RESFL框架通过结合对抗性隐私解耦和不确定性引导的公平性感知聚合,提升联邦学习中隐私与公平性的平衡,实验表明其在自动驾驶场景中提升了检测性能并降低了对抗攻击成功率。
2026-04-21 cs.CV cs.DC cs.ET
FedPF: Accurate Target Privacy Preserving Federated Learning Balancing Fairness and Utility
The School of Computer Science, Shanghai Jiao Tong University, Shanghai, China(上海交通大学计算机科学学院,上海,中国);The Shanghai Key Laboratory of Integrated Administration Technologies for Information Security, Shanghai, China(上海信息安全集成管理技术重点实验室,上海,中国);The School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳)科学与工程学院,中国)
FedPF通过将多目标优化转化为零和博弈,平衡公平性与隐私保护,实验证明在严格隐私约束下仍能保持最低歧视水平和高效用,同时揭示了隐私和公平性需通过精心权衡而非单独优化。
2026-04-29 cs.AI cs.LG
Normalise for Fairness: A Simple Normalisation Technique for Fairness in Regression Machine Learning Problems
University of Augsburg(奥格斯堡大学);Technical University of Munich (TUM)(慕尼黑工业大学);SYNCPILOT GmbH(SYNCPILOT有限公司);Imperial College London(伦敦帝国学院)
本文提出一种基于归一化的简单公平性方法FaiReg及其混合变体FaiRegH,用于回归任务,有效减少标签偏差导致的不公平,且不显著损害预测性能,并在First Impressions数据集上验证了其优越性。
2024-08-20 cs.CY cs.LG
Balancing Fairness and Accuracy in Data-Restricted Binary Classification
University of Maryland(马里兰大学);J.P. Morgan AI Research(摩根大通人工智能研究院)
本文提出一个框架,通过构建分布离散近似分析最优贝叶斯分类器行为,在四种数据受限场景下量化二分类任务中不同公平性定义与准确性的权衡关系,经三个数据集验证有效。
2024-03-12 cs.AI cs.CY cs.LG
Balancing Profit and Fairness in Risk-Based Pricing Markets
Dalhousie University(达尔豪斯大学);McGill University(麦吉尔大学)
本文提出一种基于强化学习的可解释公平性税收方案,通过 MarketSim 模拟器和公司级局部人口统计差距约束,在健康保险与消费信贷市场中同时提升需求公平性和社会福利,实现利润与公平的双赢均衡。
2025-06-04 cs.AI cs.LG econ.GN
Weighted Sampled Split Learning (WSSL): Balancing Privacy, Robustness, and Fairness in Distributed Learning Environments
Saginaw Valley State University(萨吉诺谷州立大学);University of Nebraska at Kearney(内布拉斯加大学科尔尼分校)
本文提出加权采样分割学习(WSSL)框架,通过按客户端贡献进行加权采样,在分布式学习中兼顾隐私、鲁棒性与公平性,并在两个数据集上取得优于集中式方法的准确率。
2023-10-27 cs.AI cs.DC cs.LG
Can Less be More? When Increasing-to-Balancing Label Noise Rates Considered Beneficial
University of California, Santa Cruz(加州大学圣克鲁兹分校)
在本文中,我们回答了插入标签噪声(信息量较少的标签)何时可以返回更准确和公平的模型。我们主要受到三个观察结果的启发:1)与降低标签噪声率相比,增加噪声率更容易实现; 2)增加某类实例的标签噪声以平衡噪声率(增加到平衡)导致更容易的学习问题; 3)增加到平衡提高了对标签偏见的公平性保证。在本文中,我们首先量化的权衡引入增加一定组的实例的标签噪声率w.r.t.标签信息量的损失和学习难度的降低。我们分析表明,当这样的增加是有益的,无论是提高泛化能力或公平性保证。然后,我们提出了一种方法来插入标签噪声正确的学习任务与嘈杂的标签,无论是没有或有公平性约束。我们面临的主要技术挑战是由于我们不知道哪些数据实例受到更高噪声的影响,并且我们没有地面真值标签来验证任何可能的假设。我们提出了一种检测方法,该方法可以在不使用地面真实标签的情况下通知我们哪组标签可能会遭受更高的噪声。我们正式建立所提出的解决方案的有效性,并证明了它与广泛的实验。
2021-11-08 cs.LG stat.ML
Towards Accuracy-Fairness Paradox: Adversarial Example-based Data Augmentation for Visual Debiasing
Beijing Jiaotong University(北京交通大学);Peng Cheng Laboratory(鹏城实验室)
机器学习公平性关注的是在处理目标任务时对某些受保护或敏感人群的偏见。本文研究了图像分类任务背景下的去偏问题。我们对面部属性识别的数据分析表明:(1)来自不平衡的训练数据分布的模型偏差的属性和(2)对抗性示例在平衡数据分布方面的潜力。因此,我们有动机采用对抗性的例子来增加训练数据的视觉去偏。具体来说,为了确保对抗性泛化以及跨任务可移植性,我们建议将目标任务分类器训练,偏见任务分类器训练和对抗性示例生成的操作耦合起来。生成的对抗性示例通过在线平衡偏差变量的分布来补充目标任务训练数据集。仿真和真实世界的去偏实验结果表明,该解决方案的有效性,同时提高模型的准确性和公平性。初步实验进一步表明,基于对抗攻击的伪样本生成作为替代解决方案,以弥补训练数据不足的潜力。
2020-08-13 cs.CV cs.LG
Toward a better trade-off between performance and fairness with kernel-based distribution matching
Google(谷歌)
由于最近的文献已经证明了分类器如何经常对某些子群体产生意外的偏见,因此将机器学习模型部署给用户需要仔细考虑社会后果。我们应该如何在现实世界的系统中解决这个问题?我们应该如何平衡核心绩效和公平性指标?在本文中,我们引入了一个MinDiff框架,用于对不同的公平性指标进行正则化分类,并分析了一种基于内核的统计依赖性测试技术。我们对学术数据集进行了深入的研究,以比较不同正则化方法实现的帕累托边界,并将我们基于核的方法应用于两个展示现实世界改进的大型工业系统。
2019-10-25 cs.LG stat.ML
FairEnergy: Contribution-Based Fairness meets Energy Efficiency in Federated Learning
FairEnergy通过整合贡献评分优化设备选择、带宽分配和压缩级别,实现联邦学习中的公平性与能效的平衡,实验表明其在非IID数据上能提升精度并显著降低能耗。
2025-11-19 cs.LG
Balancing the Scales: Reinforcement Learning for Fair Classification
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Utrecht University(乌得勒支大学)
针对分类任务的公平性问题,本文提出利用强化学习,通过缩放奖励函数并适配三种RL算法至上下文多臂老虎机框架,来缓解不平衡分类中的偏差。
2024-07-15 cs.CL cs.CY cs.LG
An Operational Perspective to Fairness Interventions: Where and How to Intervene
LinkedIn(领英);Columbia University(哥伦比亚大学)
随着基于人工智能的决策系统的激增,它们的成功运作需要平衡多个必要条件:预测性能、群体间的差异、保护敏感的群体属性(例如,#21453;,以及工程成本。我们提出了一个整体的框架,评估和情境化的公平性干预措施,就上述desiderata。实际考虑的两个关键点是\emph{where}(预处理、中处理、后处理)和\emph{how}(以何种方式使用敏感组数据)。我们展示了我们的框架与预测奇偶校验的案例研究。在其中,我们首先提出了一种新的方法,通过分布鲁棒优化实现预测奇偶校验公平性,而无需在推理时使用组数据。然后,我们在两种主要模型类型(XGBoost与神经网络)、十个数据集和二十多种独特方法的近400种变化的基准研究中展示了这些方法的有效性。从我们的实证研究中获得的方法论见解为ML工作流的实际设计提供了信息,其中公平性是一个核心问题。我们发现,如果不使用组数据,预测奇偶校验很难实现,尽管在模型训练(而不是推理)期间需要组数据,但我们开发的分布鲁棒方法提供了显着的帕累托改进。此外,一个普通的XGBoost模型通常会在公平性干预的情况下对神经网络进行帕累托支配,这突出了模型归纳偏差的重要性。
2023-03-23 cs.LG
Wasserstein projection distance for fairness testing of regression models
Department of Computer Science, University of British Columbia(计算机科学系,不列颠哥伦比亚大学);Department of Pathology and Laboratory Medicine, University of British Columbia(病理学与实验室医学系,不列颠哥伦比亚大学);Department of Statistics, University of British Columbia(统计学系,不列颠哥伦比亚大学);BC Cancer Research, Part of Provincial Health Care Authority(BC癌症研究,省卫生保健机构的一部分);Department of Mathematics, University of British Columbia(数学系,不列颠哥伦比亚大学)
本文提出基于Wasserstein距离的回归模型公平性测试框架,通过假设检验和数据扰动方法提升公平性,实验显示其在检测性别差异和污染区域影响方面具有显著效果。
2026-02-09 cs.LG
Rethinking Fair Graph Neural Networks from Re-balancing
The Chinese University of Hong Kong(香港中文大学);University of Virginia(弗吉尼亚大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对图神经网络中的公平性问题,提出基于再平衡的FairGB方法,通过反事实节点混合和贡献对齐损失实现群体平衡,在效用和公平性上达到最先进水平。
2024-07-16 cs.AI cs.CY cs.LG
Fairness Warnings and Fair-MAML: Learning Fairly with Minimal Data
University of California, Irvine(加州大学欧文分校);Haverford College(哈弗福德学院)
出于对共享和传输公平机器学习工具的公平性影响的关注,我们提出了两种算法:公平性验证和公平MAML。第一种是模型不可知的算法,它提供了可解释的边界条件,当一个经过良好训练的模型在给定域中的类似但略有不同的任务上可能表现不佳时。第二个是一个公平的元学习方法来训练模型,可以快速微调到特定的任务,从只有少数样本实例,同时平衡公平性和准确性。我们使用相关基线通过实验证明了每个模型的个体效用,并提供了我们对K-shot公平性知识的第一个实验,即在只有K个数据点的新任务上训练公平模型。然后,我们说明了这两种算法作为一种组合方法的有用性,用于从新任务的几个数据点训练模型,同时使用公平性检验作为可解释的边界条件,在这种条件下,新训练的模型可能不公平。
2019-12-05 cs.LG stat.ML
Mind the Gaps: Auditing and Reducing Group Inequity in Large-Scale Mobility Prediction
本文审计了大规模移动性预测模型中基于人口统计的群体性能差异,提出了FGIS采样策略和SAKM聚类方法生成代理种族标签,在保持准确率的同时将群体间预测差异减少高达40%。
2025-10-30 cs.AI cs.LG
Domain Adaptation meets Individual Fairness. And they get along
University of Michigan(密歇根大学);University of Konstanz(康斯坦茨大学);IBM Research(IBM研究院);Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
许多算法偏差的例子是由分布偏移引起的。例如,机器学习(ML)模型在训练数据中代表性不足的人口统计群体上的表现往往更差。在本文中,我们利用算法公平性和分布偏移之间的这种联系来表明算法公平性干预可以帮助ML模型克服分布偏移,并且域自适应方法(用于克服分布偏移)可以减轻算法偏差。特别是,我们证明了(i)强制执行适当的个体公平性(IF)概念可以在协变量移位假设下提高ML模型的分布外准确性,以及(ii)有可能调整表示对齐方法进行域适应以强制个体公平性。前者是意料之外的,因为在制定综合框架干预措施时没有考虑到分配的变化。后者也是出乎意料的,因为代表对齐不是一个共同的方法,在个人公平文献。
2022-10-15 cs.AI cs.CY cs.LG
Model-agnostic bias mitigation methods with regressor distribution control for Wasserstein-based fairness metrics
Discover Financial Services(发现金融服务公司)
这篇文章是我们早期工作Miroshnikov et al.(2021)关于公平性可解释性的姊妹篇,其中介绍了偏见解释。在目前的工作中,我们提出了一个偏见缓解方法的基础上,建设后处理模型,更公平的回归分布的Wasserstein为基础的公平性指标。通过识别对偏差贡献最大的预测因子列表,我们通过减轻源自这些预测因子的偏差来降低问题的维度。后处理方法包括通过平衡正偏差和负偏差解释来重塑预测分布,并允许回归偏差降低。我们设计了一个算法,使用贝叶斯优化构造的偏差性能的有效前沿的家庭后处理模型,从其中选择一个最佳的模型。我们的新方法在低维空间中进行优化,避免了昂贵的模型再训练。
2021-11-19 cs.LG math.PR
Continuous Fair SMOTE -- Fairness-Aware Stream Learning from Imbalanced Data
Machine Learning Group Bielefeld University(比勒菲尔德大学机器学习组)
针对流式学习中类别不平衡与算法偏见并存的问题,提出公平感知预处理方法CFSMOTE,通过过采样时的情境测试与群体平衡同时解决两类问题,在保持性能的同时显著提升了多项群体公平指标。
2025-05-19 cs.AI cs.LG
Toward a Fairness-Aware Scoring System for Algorithmic Decision-Making
Xi’an Jiaotong-Liverpool University(西交利物浦大学);Xi’an Jiaotong University(西安交通大学);University of Oklahoma(俄克拉荷马大学);University of Washington(华盛顿大学)
评分系统作为一种预测模型,在可解释性和透明度方面具有显著优势,并有助于快速决策。因此,评分系统已广泛用于各种行业,如医疗保健和刑事司法。然而,这些模型中的公平性问题长期以来一直受到批评,大数据和机器学习算法在评分系统构建中的使用加剧了这种担忧。在本文中,我们提出了一个通用的框架来创建公平意识,数据驱动的评分系统。首先,我们开发了一个社会福利函数,它包含了效率和群体公平。然后,我们将社会福利最大化问题转化为机器学习中的风险最小化问题,并借助混合整数规划方法推导出一个公平性感知的评分系统。最后,几个理论界的推导提供参数选择建议。我们提出的框架提供了一个合适的解决方案,以解决群体公平性的问题,在发展的评分系统。它使决策者能够设置和定制他们想要的公平性要求以及其他特定于应用的约束。我们测试所提出的算法与几个经验数据集。实验证据支持建议的评分系统在实现利益相关者的最佳福利和平衡的可解释性,公平性和效率的需求的有效性。
2022-11-22 cs.LG stat.ME
A Causal Lens for Learning Long-term Fair Policies
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);University of Arkansas(阿肯色大学)
针对现有公平感知学习多关注静态即时偏差的问题,本文在强化学习框架下用因果视角分解长期公平指标,分析其与收益公平的关联,并提出平衡多种公平概念的有效方法。
2025-06-12 cs.AI cs.LG
Improving the Fairness of Chest X-ray Classifiers
Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学);University of Tübingen(蒂宾根大学);University of Adelaide(阿德莱德大学);Stanford University(斯坦福大学)
在医学成像领域,深度学习模型已经达到或超过了人类水平的性能,特别是在使用胸部X射线进行疾病诊断方面。然而,先前的工作已经发现,这样的分类器可以表现出偏见的形式在受保护的群体之间的预测性能的差距。在本文中,我们的问题是否努力实现零差异的预测性能(即组公平性)是适当的公平性定义在临床环境中,在最小最大的公平性,重点是最大限度地提高最坏情况下的组的性能。我们基准测试了九种方法在这两种定义中提高分类器公平性的性能。我们发现,与以前的工作一致的非临床数据,努力实现更好的最坏的组性能的方法不优于简单的数据平衡。我们还发现,实现组公平的方法是通过恶化所有组的性能。根据这些结果,我们讨论了公平性定义在临床环境中的效用,主张尽可能在基础数据生成过程中调查偏倚诱导机制。
2022-03-23 cs.CV cs.CY cs.LG
Balancing Competing Objectives with Noisy Data: Score-Based Classifiers for Welfare-Aware Machine Learning
UC Berkeley(加州大学伯克利分校);Brown University(布朗大学)
虽然现实世界的决策涉及许多相互竞争的目标,但算法决策通常使用单个目标函数进行评估。在本文中,我们研究的算法政策,明确权衡私人目标(如利润)和公共目标(如社会福利)。我们分析了一个自然类的政策,跟踪经验帕累托边界的基础上学习的分数,并专注于如何在嘈杂或数据有限的制度,这样的决定。我们的理论结果在这一类的最优策略的特点,约束的帕累托误差,由于分数的不准确性,并显示最优策略和公平约束的利润最大化政策的丰富的类之间的等价性。然后,我们在两个不同的背景下-在线内容推荐和可持续鲍鱼渔业-提出实证结果,以强调我们的方法的适用性,以广泛的实际决策。总之,这些结果揭示了使用机器学习进行影响社会福利的决策时的内在权衡。
2020-07-16 cs.LG stat.ML
Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making
Columbia University(哥伦比亚大学)
本文从因果视角研究预测与决策中的偏差放大,提出边际补余概念,将预测器差异分解为真实结果与优化过程的影响,并引入业务必要性概念及评估算法以加强监管。
2024-05-24 cs.AI cs.LG stat.ML
Achieving Long-term Fairness in Submodular Maximization through Randomization
Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院);University of North Texas(北德克萨斯大学)
研究在满足群体公平性约束下单调次模函数最大化问题,提出通过随机化计算可行集分布以实现长期公平的近似算法。
2023-04-10 cs.AI cs.DS cs.LG
Empirical Analysis of Privacy-Fairness-Accuracy Trade-offs in Federated Learning: A Step Towards Responsible AI
本文首次对联邦学习中的隐私-公平性-效用权衡进行大规模实证研究,系统比较了DP、HE、SMC与公平性优化器在多数据集上的表现,揭示了隐私与公平机制的意外相互作用,并提出了设计鲁棒FL系统的实用指南。
2025-08-09 cs.CR cs.DC cs.ET
Towards Multi-Objective Statistically Fair Federated Learning
Amazon Alexa AI(亚马逊 Alexa 人工智能)
联邦学习(FL)是由于数据所有权和隐私问题而出现的,以防止数据在训练过程中包括的多方之间共享。虽然问题,如隐私,已经获得了显着的关注,在这一领域,并没有太多的注意力已经得到满足统计公平措施在FL设置。考虑到这一目标,我们进行了研究,以表明FL是能够满足不同的公平性指标,在不同的数据制度,包括不同类型的客户端。更具体地说,不合作或敌对的客户端可能会由于其训练数据集中存在的偏见而注入有偏见或有毒的模型,从而污染全局FL模型。这些偏差可能是不平衡的训练集(Zhang和Zhou 2019)、历史偏差(Mehrabi et al. 2021 a)或来自针对公平性的数据投毒攻击的中毒数据点(Mehrabi et al. 2021 b; Solans,Biggio和Castillo 2020)的结果。因此,我们提出了一个新的FL框架,能够满足多个目标,包括各种统计公平性指标。通过实验,我们通过与不同基线的比较,展示了该方法的有效性,它在满足不同目标的集体和个人的能力,以及它在识别不合作或敌对客户和降低其影响的能力
2022-01-24 cs.AI cs.LG
Fairness and Privacy in Federated Learning and Their Implications in Healthcare
University of Virginia(弗吉尼亚大学)
本文综述医疗场景下公平联邦学习的生命周期,提出更新的公平性分类,并分析隐私保护、非iid数据、通信开销与客户端异构性带来的实现挑战。
2023-08-15 cs.CR cs.LG
Fair Differentially Private Federated Learning Framework
Department of Computing Science, Umeå University(于默奥大学计算机科学系)
本文提出“公平差分隐私联邦学习框架”,通过裁剪有偏模型更新并引入高斯机制实现差分隐私,解决联邦学习中无需验证数据生成公平全局模型及全局私有差分模型的挑战。
2023-05-23 cs.CY cs.LG
Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
我们提出了模态间隙,一个有趣的几何现象的表示空间的多模态模型。具体来说,我们表明,不同的数据形式(如图像和文本)嵌入在手臂的长度在他们的共享表示在多模态模型,如CLIP。我们的系统分析表明,这种差距是由模型初始化和对比学习优化相结合造成的。在模型初始化中,我们从经验和理论上证明了普通深度神经网络的表示仅限于窄锥。因此,在具有两个编码器的多模态模型中,当模型被初始化时,两个模态的表示被清楚地分开。在优化过程中,对比学习使不同模态保持一定的距离,该距离受损失函数中的温度参数的影响。我们的实验进一步证明,改变模态间隙距离在提高模型的下游zero-shot分类性能和公平性方面具有显著影响。我们的代码和数据可在https://modalitygap.readthedocs.io/上获得
2022-10-19 cs.AI cs.CL cs.CV
Integrating Social Determinants of Health into Knowledge Graphs: Evaluating Prediction Bias and Fairness in Healthcare
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Temple University(天普大学)
本文基于 MIMIC-III 与 PrimeKG 构建富含 SDoH 的知识图谱,利用 heterogeneous-GCN 检测药物—疾病链接预测偏差,并通过边重加权后处理提升公平性。
2024-11-29 cs.AI cs.CY cs.LG