Domain Adaptation meets Individual Fairness. And they get along
University of Michigan（密歇根大学）；University of Konstanz（康斯坦茨大学）；IBM Research（IBM研究院）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
许多算法偏差的例子是由分布偏移引起的。例如，机器学习（ML）模型在训练数据中代表性不足的人口统计群体上的表现往往更差。在本文中，我们利用算法公平性和分布偏移之间的这种联系来表明算法公平性干预可以帮助ML模型克服分布偏移，并且域自适应方法（用于克服分布偏移）可以减轻算法偏差。特别是，我们证明了（i）强制执行适当的个体公平性（IF）概念可以在协变量移位假设下提高ML模型的分布外准确性，以及（ii）有可能调整表示对齐方法进行域适应以强制个体公平性。前者是意料之外的，因为在制定综合框架干预措施时没有考虑到分配的变化。后者也是出乎意料的，因为代表对齐不是一个共同的方法，在个人公平文献。
2022-10-15 cs.AI cs.CY cs.LG
Matching Code and Law: Achieving Algorithmic Fairness with Optimal Transport
越来越多的算法歧视被视为一个社会和法律问题。作为响应，在文献中已经开发了用于在机器学习中实现算法公平性的许多标准。本文提出了连续公平算法（CFA $θ$），使不同的公平性定义之间的连续插值。更具体地说，我们对现有文献做出了三个主要贡献。首先，我们的方法允许决策者在个人和群体公平的具体概念之间不断变化。因此，该算法使决策者能够在算法过程中编码的歧视程度上采用中间的“世界观”，为文献中迄今为止提出的“我们都是平等的”（WAE）和“你所看到的就是你所得到的”（WYSIWYG）的极端情况添加细微差别。其次，我们使用最优运输理论，特别是重心的概念，最大限度地提高决策者的效用下选择的公平约束。第三，该算法能够处理交叉性的情况，即，根据若干标准对某些群体进行多方面歧视。我们讨论了三个主要的例子（信贷申请;大学录取;保险合同），并绘制出我们的方法的法律和政策含义。个人和群体公平之间的权衡的明确形式化允许这种后处理方法被定制为不同的情境上下文，其中一个或另一个公平标准可能优先。最后，我们对我们的模型进行了实验评估。
2019-09-24 cs.CY stat.ML
Rethinking Algorithmic Fairness for Human-AI Collaboration
Wharton AI & Analytics Initiative, Wharton School, University of Pennsylvania（沃顿商学院人工智能与分析倡议，沃顿商学院，宾夕法尼亚大学）；Department of Operations, Information, and Decisions, Wharton School, University of Pennsylvania（运营、信息与决策系，沃顿商学院，宾夕法尼亚大学）；Department of Computer and Information Science, University of Pennsylvania（计算机与信息科学系，宾夕法尼亚大学）
本文研究了人机协作中的算法公平性，提出了对人类遵从模式具有鲁棒性的遵从鲁棒公平算法推荐概念及优化策略，并证明传统公平约束可能不适用于改善协作公平性与准确性。
2025-06-29 cs.LG stat.ML
Poisoning Attacks on Algorithmic Fairness
Universitat Pomepu Fabra（庞培法布拉大学）；Università degli Studi di Cagliari（卡利亚里大学）
对抗性机器学习的研究已经表明，即使将一小部分中毒点注入训练数据，机器学习模型的性能也会受到严重影响。虽然这种中毒攻击对模型准确性的影响已被广泛研究，但其对其他模型性能指标的潜在影响仍有待评估。在这项工作中，我们引入了一个优化框架中毒攻击对算法公平性，并开发了一个基于梯度的中毒攻击，旨在引入不同群体之间的分类差异的数据。我们的经验表明，我们的攻击是有效的，不仅在白盒设置，其中攻击者可以完全访问目标模型，但也在一个更具挑战性的黑盒情况下，其中的攻击是针对替代模型进行优化，然后转移到目标模型。我们相信，我们的研究结果为定义一组全新的针对不同场景中算法公平性的对抗攻击铺平了道路，并且调查此类漏洞将有助于在未来设计更强大的算法和对策。
2020-06-26 cs.CR cs.CY cs.LG
Causal Feature Selection for Algorithmic Fairness
University of Chicago（芝加哥大学）；IBM Research AI（IBM研究院人工智能部门）
在高风险的社会决策中使用机器学习（ML）鼓励在整个ML生命周期中考虑公平性。虽然数据集成是生成高质量训练数据的主要步骤之一，但大多数公平性文献都忽略了这一阶段。在这项工作中，我们在数据管理的集成组件中考虑公平性，旨在确定在不向数据集添加任何偏差的情况下提高预测的特征。我们在因果干预公平范式下工作。在不需要先验的基础结构因果模型的情况下，我们提出了一种方法来确定一个子集合的功能，通过执行不同的功能子集之间的条件独立性测试，确保数据集的公平性。我们使用组测试来提高方法的复杂性。我们从理论上证明了所提出的算法的正确性，以确定功能，确保干预的公平性，并表明，次线性条件独立性测试是足够的，以确定这些变量。在真实世界的数据集上进行了详细的经验评估，以证明我们的技术的有效性和效率。
2022-03-31 cs.CY cs.DB cs.LG
The Impact of Differential Feature Under-reporting on Algorithmic Fairness
Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
本文针对公共部门算法中因数据来源差异导致的特征漏报问题，提出可解析模型并设计专门缓解方法，证明其能有效抑制不公平性扩大。
2024-05-03 cs.CY cs.LG stat.ML
Toward Unifying Group Fairness Evaluation from a Sparsity Perspective
University of Minnesota（明尼苏达大学）；University of Kentucky（肯塔基大学）
本文针对机器学习中算法公平性标准泛化性不足的问题，提出了一种基于稀疏性的统一评估框架，并通过多数据集与偏见缓解方法实验验证了其有效性与广泛适用性。
2025-11-01 cs.AI cs.CY cs.LG
Algorithmic Fairness with Feedback
本文研究算法公平中统计概念与个体福利概念的脱节，证明无嫉妒、无偏见分别与错误率平衡、预测均等在特定条件下等价，并探讨其与公平不可能性定理的关系。
2023-12-05 econ.TH stat.AP stat.ML
Fairness in Deep Learning: A Computational Perspective
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）；Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯农工大学工业与系统工程系）
深度学习越来越多地用于影响个人生活的高风险决策应用程序。然而，深度学习模型可能会表现出对受保护群体的算法歧视行为，可能会对个人和社会造成负面影响。因此，深度学习中的公平性最近引起了极大的关注。我们提供了一个综述，涵盖了最近的进展，以解决算法公平性问题的深度学习从计算的角度来看。具体来说，我们表明，可解释性可以作为一个有用的成分，诊断导致算法歧视的原因。我们还讨论了根据深度学习生命周期的三个阶段分类的公平性缓解方法，旨在推进深度学习的公平性领域，构建真正公平可靠的深度学习系统。
2020-03-19 cs.AI cs.CY cs.LG
On the Fairness of Causal Algorithmic Recourse
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Saarland University（萨尔大学）；The Alan Turing Institute（艾伦·图灵研究所）
算法公平性通常从预测的角度来研究。相反，在这里，我们调查的公平性的角度，追索权行动建议个人补救不利的分类。我们提出了两个新的公平标准，在组和个人层面上，这-不像以前的工作均衡的平均组明智的距离从决策边界-明确占功能之间的因果关系，从而捕捉下游的影响，在物理世界中进行追索行动。我们探讨了我们的标准如何与其他人，如反事实的公平，并表明，公平的追索权是补充公平的预测。我们从理论上和经验上研究如何通过改变分类器来执行公平的因果追索权，并在Adult数据集上进行案例研究。最后，我们讨论了我们的标准所揭示的数据生成过程中的公平违规行为是否可以通过社会干预而不是对分类器的限制来更好地解决。
2022-03-06 cs.AI cs.LG stat.ML
FAT Forensics: A Python Toolbox for Algorithmic Fairness, Accountability and Transparency
University of Bristol（布里斯托尔大学）；RMIT University（皇家墨尔本理工大学）
今天，由机器学习算法驱动的人工智能系统可以对我们的日常生活做出重要的、有时具有法律约束力的决定。然而，在许多情况下，这些系统及其行动既没有受到管制，也没有得到认证。为了帮助应对这些算法可能造成的潜在危害，我们开发了一个开源工具箱，可以分析机器学习过程中选定的公平性，问责制和透明度方面：数据（及其特征），模型和预测，允许自动客观地向相关利益相关者报告。在本文中，我们描述了这个Python包的设计，范围，使用和影响，它是在3-Clause BSD开源许可证下发布的。
2022-08-25 cs.AI cs.CY cs.LG
Does enforcing fairness mitigate biases caused by subpopulation shift?
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
许多算法偏差的例子是由亚群变化引起的。例如，ML模型在训练数据中代表性不足的人口统计组上的表现往往更差。在本文中，我们研究是否在训练过程中执行算法的公平性提高了性能的训练模型中的\emph{target domain}。一方面，我们设想的情况下，强制执行公平性并不能提高目标域的性能。事实上，它甚至可能损害性能。另一方面，我们推导出必要和充分条件下，强制执行算法的公平性导致贝叶斯模型在目标域。我们还说明了我们的理论结果在模拟和实际数据的实际影响。
2021-10-26 cs.LG stat.ML
A Moral Framework for Understanding of Fair ML through Economic Models of Equality of Opportunity
ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）；MPI-SWS（马克斯·普朗克软件系统研究所）
我们将最近提出的算法公平性的概念映射到机会均等（EOP）的经济模型--一个广泛研究的政治哲学中的公平理想。我们正式表明，通过我们的概念映射，许多现有的算法公平性的定义，如预测值奇偶性和平等的赔率，可以被解释为EOP的特殊情况。在这方面，我们的工作作为一个统一的道德框架，理解现有的算法公平性的概念。最重要的是，这个框架使我们能够明确地阐明每一个公平概念背后的道德假设，并以新的眼光解释最近的公平不可能性结果。最后但并非最不重要的启发运气平等主义模型的EOP，我们提出了一个新的家庭的措施算法公平性。我们说明了我们的建议经验，并表明，采用算法（不）公平的措施时，其基本的道德假设不满意，可能会对弱势群体的福利产生毁灭性的后果。
2018-11-27 cs.LG econ.TH stat.ML
Peer-induced Fairness: A Causal Approach for Algorithmic Fairness Auditing
提出融合反事实公平与同伴比较的“peer-induced fairness”审计框架，可区分算法歧视与主体内在局限，并在中小企业融资场景中发现41.51%的微型企业遭受歧视。
2024-09-05 cs.CY q-fin.CP q-fin.ST
Statistical and Structural Approaches to Algorithmic Fairness
Graz University of Technology（格拉茨技术大学）；Institute of Human-Centred Computing（人本计算研究所）
针对现代机器学习系统嵌入结构性不平等的问题，本文批判了当前公平性范式依赖确定性点估计和忽视个体结构背景的两大局限，并提出统计与结构相结合的方法。
2026-06-26 cs.AI cs.LG stat.ML
A Possibility in Algorithmic Fairness: Can Calibration and Equal Error Rates Be Reconciled?
MIT（麻省理工学院）
决策者越来越依赖算法风险评分来确定是否可以获得二元治疗，包括保释、贷款和医疗干预。在这些设置中，我们调和两个公平性标准，以前被证明是在冲突：校准和出错率平等。特别是，我们推导出必要和充分的条件存在的校准分数，产生分类实现相等的出错率在任何给定的组盲阈值。然后，我们提出了一种算法，搜索最准确的分数校准和最小的出错率差距。应用于COMPAS刑事风险评估工具，我们表明，我们的方法可以消除误差的差异，同时保持校准。在一个单独的应用程序，以信贷，我们比较我们的程序省略的敏感功能，并表明，它提高了利润和概率，信誉良好的个人获得贷款。
2021-06-07 cs.LG stat.ML
Connecting Algorithmic Fairness to Quality Dimensions in Machine Learning in Official Statistics and Survey Production
LMU Munich（慕尼黑大学）
研究将算法公平性引入国家统计局机器学习应用的质量框架，通过扩展QF4SA框架建立质量维度与公平性的映射，并结合实证说明其方法论贡献。
2024-02-14 cs.LG stat.ME stat.ML
Algorithmic Fairness Verification with Graphical Models
National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
近年来，机器学习（ML）算法已被部署在安全关键和高风险决策中，其中算法的公平性至关重要。ML中的公平性集中在检测ML分类器引起的对某些人口统计群体的偏见，并提出算法解决方案来减轻不同公平性定义的偏见。为此，已经提出了几种公平性验证器，它们计算ML分类器预测中的偏差-基本上超出了有限数据集-给定输入特征的概率分布。在验证线性分类器的上下文中，现有的公平性验证器由于特征之间的相关性的不精确建模而受到准确性的限制，并且由于分类器作为SSAT/SMT公式的限制性公式化或通过采样而受到可扩展性的限制。在本文中，我们提出了一个有效的公平性验证，称为FVGM，编码的相关性特征之间的贝叶斯网络。与现有的验证器相比，FVGM提出了一种基于随机子集和的线性分类器验证方法。在实验中，我们表明，FVGM导致更多样化的公平性增强算法，公平性攻击和组/因果公平性指标比国家的最先进的公平性验证家庭的准确和可扩展的评估。我们还表明，FVGM有利于公平性影响函数的计算作为一个垫脚石，以检测由子集的功能引起的偏见的来源。
2022-06-01 cs.AI cs.CY cs.LG
The Pursuit of Algorithmic Fairness: On "Correcting" Algorithmic Unfairness in a Child Welfare Reunification Success Classifier
Oregon Department of Human Services (ODHS)（俄勒冈州人类服务部（ODHS））；Office of Reporting, Research, Analytics, and Implementation (ORRAI)（报告、研究、分析和实施办公室（ORRAI））
公共部门预测分析工具的算法公平性越来越成为一个需要严格探索的话题。例如，虽然与刑事累犯和入学有关的文书引起了很大的关注，但儿童福利管辖区的预测文书却受到相当少的关注。部分原因是，这类工具相对较少，而且通过算法公平性的角度进行审查的工具更少。在这项工作中，我们试图解决这两个差距。为此，提出了一种新的分类算法，用于预测俄勒冈州儿童福利的团聚成功，包括所有相关的细节与建设这样一个工具。这一工具的目的是尽量增加稳定团聚的人数，并查明可能需要额外资源和审查的不稳定团聚情况。此外，由于所得到的工具的算法公平性，如果不改变，无疑是缺乏的，用于减轻这种不公平的使用程序，以及每个困难和不可避免的选择背后的理由。这个过程，虽然类似于其他后处理组特定的阈值方法，是新颖的，在其使用的惩罚优化器和上下文必要的子采样。这些新颖的方法组成部分产生了丰富的和翔实的经验理解的权衡公平性和准确性之间的连续性。由于所开发的程序可推广到各种组级别的算法公平性定义，以及任意数量的受保护属性级别和风险阈值，该方法广泛适用于儿童福利内外。
2020-10-22 cs.LG stat.CO
Cohort Shapley value for algorithmic fairness
Hitachi, Ltd.（日立有限公司）；Stanford University（斯坦福大学）
队列Shapley值是基于博弈论的变量重要性的无模型方法，不使用任何未观察到的和潜在不可能的特征组合。我们使用它来评估算法公平性，使用著名的COMPAS累犯数据作为我们的例子。这种方法允许人们识别数据集中的每个个体，他们受到受保护属性（如种族）价值的不利或有利影响的程度。该方法可以这样做，即使种族不是原始的预测因子之一，即使它没有访问专有的算法，作出了预测。博弈论的基础使我们能够定义数据集的总变量重要性，使其与每个主题的定义保持一致。我们可以研究公平性文献中多个感兴趣的量的变量重要性，包括假阳性预测。
2021-05-15 cs.AI cs.LG econ.EM
FAIRM: Learning invariant representations for algorithmic fairness and domain generalization with minimax optimality
Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Department of Statistics, Rutgers University（罗格斯大学统计系）
本文提出基于训练环境的不变学习方法 FAIRM，在多样性条件下兼顾算法公平性与领域泛化，并在线性模型中给出有限样本保证和极小极大最优性，实验表明其优于现有方法。
2024-04-02 cs.LG stat.ME stat.ML
Robustness Implies Fairness in Causal Algorithmic Recourse
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
民事追索权旨在披露黑箱决策过程的内部运作，在决策有重大后果的情况下，通过提供建议，使受益人能够实现更有利的结果。为确保有效补救，建议的干预措施不仅必须成本低，而且必须有力和公平。这一目标是通过向相似的个人提供相似的解释来实现的。本研究探讨了因果算法追索中的个体公平性和对抗鲁棒性的概念，并解决了实现这两个目标的挑战。为了解决这些挑战，我们提出了一个新的框架来定义对抗性强的追索权。新的设置将受保护的特征视为伪度量，并证明了个体公平性是对抗鲁棒性的特殊情况。最后，我们引入了公平的鲁棒追索权问题，以实现理想的属性，并展示了它如何可以满足理论和经验。
2023-02-11 cs.LG
A Rank Graduation metric for Algorithmic fairness
University of Tipaza（蒂帕扎大学）；University of Pavia（帕维亚大学）
本文提出基于秩的公平性评估框架，结合RGF、AURGF、置换检验和特征移除，在模拟和HMDA数据上验证，发现树模型兼顾准确性与公平性，且不公平源于数据固有群体差异。
2026-10-01 cs.LG stat.AP stat.ML
FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness
New York University（纽约大学）
本文提出 FairlyUncertain 公理化基准，系统评估公平性中的不确定性估计，发现二分类中简单方法更一致且校准良好、弃权（不执行）无法缓解群体结果不平衡，而回归中纳入校准不确定性可无需显式干预即改善公平性。
2024-10-02 cs.LG stat.ML
Algorithmic decision making and the cost of fairness
算法现在经常被用来决定等待审判的被告是否太危险而不能被释放回社区。在某些情况下，黑人被告比白人被告更有可能被错误地归类为高风险。为了减轻这种差异，最近已经提出了几种技术来实现算法公平性。在这里，我们重新制定算法公平性的约束优化：目标是最大限度地提高公共安全，同时满足正式的公平约束，旨在减少种族差异。我们发现，对于过去的几个公平的定义，最佳算法，结果需要拘留被告以上的种族特定的风险阈值。我们进一步表明，最佳的无约束算法需要应用一个单一的，统一的阈值，所有被告。因此，无约束算法最大限度地提高了公共安全，同时也满足了对平等的一个重要理解：所有个人都必须遵守同一标准，而不分种族。由于最佳约束算法和无约束算法通常不同，因此在改善公共安全和满足流行的算法公平性概念之间存在矛盾。通过研究佛罗里达州布劳沃德县的数据，我们发现，这种权衡在实践中可能很大。我们专注于审前释放决策的算法，但我们讨论的原则适用于其他领域，也适用于执行结构化决策规则的人类决策者。
2017-06-10 cs.CY stat.AP
Towards Algorithmic Fairness in Space-Time: Filling in Black Holes
AT&T Chief Data Office（AT&T首席数据办公室）；Trustworthy ML Initiative（可信机器学习倡议）
新技术和地理空间数据的可用性引起了人们对社会中存在的时空偏差的关注。举例来说：COVID-19疫情凸显了宽带服务可用性的差异及其在数字鸿沟中的作用;美国的环境正义运动提高了人们对历史性红线做法对少数群体健康影响的认识;研究发现，收集和共享开源地理空间数据的质量和覆盖范围各不相同。尽管有大量关于机器学习（ML）公平性的文献，但很少有算法策略被提出来减轻这种偏见。在本文中，我们通过科学文献和媒体中呈现的用例镜头，强调了量化和解决时空偏差的独特挑战。我们设想了一个需要开发或调整的ML策略路线图，以量化和克服这些挑战-包括迁移学习，主动学习和强化学习技术。此外，我们还讨论了ML在为决策者提供空间公平性相关问题的指导方面的潜在作用。
2022-11-08 cs.CY cs.LG stat.AP
The Fairness-Accuracy Pareto Front
University of Melbourne（墨尔本大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
算法公平性旨在识别和纠正机器学习算法中的偏差来源。令人困惑的是，确保公平往往是以牺牲准确性为代价的。在这项工作中，我们提供了正式的工具，协调算法公平性的基本紧张局势。具体地说，我们将多目标优化中的Pareto最优性概念引入到神经网络分类器中，寻求公平准确的Pareto前沿。我们证明，许多现有的算法公平性方法执行所谓的线性标量化方案，在恢复帕累托最优解有严重的局限性。相反，我们应用切比雪夫标量化方案，这是理论上证明优越的，并没有更多的计算负担，在恢复帕累托最优解相比，线性计划。
2021-11-18 cs.LG stat.ML
Binary Choice under Asymmetric Loss in a Data-Rich Environment: Theory and an Application to Algorithmic Fairness
研究数据丰富环境下非对称损失的二元选择问题，提出通过对逻辑回归或先进机器学习技术进行基于损失的重新加权来实现有效决策，并应用于审前拘留的算法公平性。
2025-11-04 econ.EM math.ST stat.AP
Algorithmic Fairness and Statistical Discrimination
数学公平性是一个新的跨学科研究领域，专注于如何衡量一个过程或算法是否可能无意中产生不公平的结果，以及是否或如何减轻这些过程的潜在不公平。统计歧视描述了一组信息问题，可以引起理性的（即，贝叶斯）决策，导致不公平的结果，即使在没有歧视的意图。在这篇文章中，我们提供了这两个相关文献的概述，并得出它们之间的联系。这一比较既说明了合理性与公平性之间的冲突，也说明了包容性的重要性（例如，“理性预期”和“自我实现的预言”）在定义和追求公平。采取一致行动，我们认为，这两个传统建议考虑新的公平概念，明确说明如何的算法打算测量的个人特征可能会改变响应算法的价值。
2022-08-17 econ.TH stat.AP
Assessing Algorithmic Fairness with Unobserved Protected Class Using Data Combination
Cornell University（康奈尔大学）
算法决策对人们生活的影响越来越大，迫使我们仔细审查其公平性，特别是表面上色盲算法对不同群体的不同影响。例子包括信贷决策、招聘、广告、刑事司法、个性化医疗和有针对性的政策制定，在某些情况下，存在公平的立法或监管框架，并定义了特定的保护类别。在本文中，我们研究了在实践中评估不同影响的一个基本挑战：受保护的类成员资格往往没有在数据中观察到。这在贷款和医疗保健领域尤其严重。我们考虑使用一个辅助数据集，如美国人口普查，构建模型，预测保护类代理变量，如姓氏和地理位置。我们表明，即使有这样的数据，各种常见的差距措施一般是无法识别的，流行的代理为基础的方法记录的偏见提供了一个新的视角。我们提供了与数据（以及可能的任何假设）一致的所有可能的真实差异的最紧密可能集合的精确表征。我们还提供了基于优化的算法，用于计算和可视化这些集和统计工具，以评估采样的不确定性。这些措施共同促成了对差距的可靠和有力的评估-这是一个重要工具，因为差距评估可产生深远的政策影响。我们在两个案例研究中用真实数据证明了这一点：抵押贷款和个性化药物给药。
2020-06-16 cs.LG math.OC stat.ML
Principal Fairness for Human and Algorithmic Decision-Making
Harvard University（哈佛大学）；Institute for Quantitative Social Science（定量社会科学研究所）；University of Massachusetts（马萨诸塞大学）
利用因果推理文献中的主要分层概念，我们引入了一个新的公平性概念，称为主要公平性，用于人类和算法决策。关键的想法是，人们不应该歧视那些同样受到决定影响的个人。与现有的公平性统计定义不同，主要公平性明确说明了个人可能受到决策影响的事实。此外，我们解释了如何从现有的cabetity为基础的公平标准的主要公平不同。例如，与反事实公平标准相反，主要公平考虑的是有关决定的影响，而不是受保护的利益属性的影响。我们简要地讨论了如何处理经验评估和策略学习问题下提出的主要公平标准。
2022-03-24 cs.CY cs.LG stat.ML
Fairness With Minimal Harm: A Pareto-Optimal Approach For Healthcare
Duke University（杜克大学）
机器学习中常见的公平性定义侧重于平衡差异和效用的概念。在这项工作中，我们研究的公平性的背景下，子人群之间的风险差距。我们对学习模型感兴趣，这些模型可以最大限度地减少敏感群体之间的性能差异，而不会造成不必要的伤害。这与医疗保健等高风险领域有关，在这些领域，不伤害是一项核心原则。我们正式使用帕累托边界这一目标，并提供分析，根据最近的作品在公平性，以避免方案完美的公平可能是不可行的，而不做不必要的伤害。我们提出了一种训练神经网络的方法，通过动态重新平衡子组风险来实现我们的目标。我们认为，即使在需要成本公平的领域，找到一个非不必要的伤害公平模型是最佳的初始步骤。我们在预测ICU患者死亡率的真实案例研究中证明了这种方法，并从皮肤镜图像中对皮肤病变进行分类。
2019-11-16 cs.LG stat.ML
Algorithmic Decision Making with Conditional Fairness
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Squirrel AI Learning（松鼠AI智适应教育）
公平性问题是决策系统中的一个重要问题。已经提出了各种公平性概念来衡量算法不公平的程度。在实践中，经常存在一组我们称之为公平变量的变量，它们是决策前的协变量，如用户的选择。在评估决策支持算法的公平性时，公平变量的影响无关紧要。因此，我们定义条件公平性作为一个更健全的公平性度量的公平性变量的条件。鉴于不同的先验知识的公平变量，我们证明了传统的公平符号，如人口统计学平价和均衡的赔率，是我们的条件公平符号的特殊情况。此外，我们提出了一个可导出的条件公平正则化器（DCFR），它可以集成到任何决策模型，跟踪算法决策的精度和公平性之间的权衡。具体来说，在我们的DCFR中提出了一种基于对抗表示的条件独立损失来衡量不公平的程度。通过在三个真实数据集上的大量实验，我们证明了我们的条件公平性符号和DCFR的优点。
2021-07-18 cs.LG stat.ML
Fair and Unbiased Algorithmic Decision Making: Current State and Future Challenges
JRC（欧盟联合研究中心）
机器学习算法现在经常用于对人类生活产生重大影响的敏感环境中，例如信贷或刑事司法。这是由这样一种想法驱动的，即“客观”机器的决定完全基于事实，不受人类认知偏见、歧视倾向或情绪的影响。然而，有压倒性的证据表明，当算法基于包含有偏见的人类决策的数据时，它们可以继承甚至延续人类决策中的偏见。这导致了对公平意识机器学习的呼吁。然而，公平性是一个复杂的概念，这也反映在试图正式公平算法决策。公平性的统计形式化导致了一长串标准，这些标准在不同的情况下都是有缺陷的（甚至是有害的）。此外，这些标准中固有的权衡使得不可能将它们统一在一个总的框架中。因此，算法中的公平性约束必须特定于算法所应用的域。未来，算法决策系统的研究应该意识到数据和开发者的偏见，并关注透明度，以促进定期的公平审计。
2019-01-15 cs.CY cs.LG stat.ML
An Algorithmic Framework for Fairness Elicitation
University Of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑的设置中，正确的公平概念是不是简单的数学定义（如平等的出错率组），但可能更复杂和微妙的，因此需要从个人或集体利益相关者的启发。我们引入了一个框架，在这个框架中，成对的个人可以被确定为需要（近似）平等的待遇下的学习模型，或需要有序的治疗，如“申请人爱丽丝应该至少有可能获得贷款申请人鲍勃”。我们提供了一个可证明收敛和预言机有效的算法，学习最准确的模型受到公平性的约束，并证明泛化的准确性和公平性的界限。该算法还可以结合传统的统计公平性的概念，从而“纠正”或修改后者由前者引发的约束。我们报告的行为研究的初步结果，我们的框架，使用人类主体的公平约束引起的COMPAS刑事累犯数据集。
2020-10-14 cs.LG stat.ML
On Fairness, Diversity and Randomness in Algorithmic Decision Making
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所 (MPI-SWS)）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Leverhulme Centre for the Future of Intelligence（李弗休姆未来智能中心）
考虑一个二元决策过程，其中单个机器学习分类器取代了大量人类。我们提出的问题，在决策过程中造成的多样性损失。我们研究了在公平感知学习的背景下使用随机分类器集合而不是单个分类器的潜在好处，并展示了各种有吸引力的特性：（i）对于若干不同的公平性度量，公平分类器的集合被保证是公平的，（ii）不公平分类器的集合仍然可以实现公平的结果，以及（iii）分类器的集合可以实现比单个分类器更好的准确性-公平性权衡。最后，我们引入了分布公平性的概念，以进一步表征随机分类器集成的潜在好处。
2017-06-30 cs.LG stat.ML
MCRAGE: Synthetic Healthcare Data for Fairness
Emory University（埃默里大学）；Rice University（莱斯大学）
针对医疗数据敏感属性不平衡导致模型对少数群体不公平的问题，提出MCRAGE方法，利用CDDPM生成高质量少数类合成EHR数据来增强数据集，有效降低下游模型偏见并提供了理论证明。
2024-03-20 cs.LG stat.ML
When mitigating bias is unfair: multiplicity and arbitrariness in algorithmic group fairness
AXA（安盛集团）
本文提出FRAME框架，从五个维度评估公平机器学习中不同偏见缓解方法对个体预测的影响，揭示即使公平与准确率相近的方法在行为上差异显著，凸显去偏过程的任意性及现有公平标准的局限。
2024-05-22 cs.LG stat.ML
Robust Mixture Models for Algorithmic Fairness Under Latent Heterogeneity
Duke-NUS Medical School（杜克-奈西医学院）；Peking University（北京大学）；Duke University（杜克大学）
ROME框架通过混合模型学习潜在子群体结构，结合期望最大化和混合专家方法优化最差群体性能，在保持整体准确性的同时提升公平性。
2026-09-21 cs.LG stat.ML
Kernel Dependence Regularizers and Gaussian Processes with Applications to Algorithmic Fairness
University of Oxford（牛津大学）；Universitat de València（瓦伦西亚大学）
目前机器学习在工业、社会和经济活动中的采用引起了人们对自动化决策的公平、公正和道德的担忧。预测模型通常是使用有偏差的数据集开发的，因此在决策和建议中保留甚至加剧了偏见。删除敏感协变量（如性别或种族）不足以解决此问题，因为偏倚可能因其他相关协变量而保留。我们提出了一种正则化方法来解决这个问题，该方法权衡了学习模型的预测准确性（相对于有偏见的标签），以获得统计奇偶性方面的公平性，即决策与敏感协变量的独立性。特别是，我们考虑再生核希尔伯特空间的正则化经验风险最小化的一般框架，并施加一个额外的正则化的预测变量和敏感的协变量之间的依赖性，使用基于核的依赖性的措施，即希尔伯特-施密特独立准则（HSIC）及其规范化版本。这种方法导致平方损失情况下的封闭形式的解决方案，即岭回归。此外，我们表明，依赖正则化修改相应的高斯过程（GP）前有一个解释。因此，可以导出具有鼓励对敏感变量公平的先验的GP模型，允许有原则的超参数选择和在公平约束下研究协变量的相对相关性。在合成的例子和收入和犯罪预测的实际问题的实验结果说明了这种方法，以提高自动化决策的公平性的潜力。
2019-11-11 cs.LG stat.ML
Fairness in Credit Scoring: Assessment, Implementation and Profit Implications
Humboldt University of Berlin（柏林洪堡大学）
算法决策的兴起催生了对公平机器学习（ML）的大量研究。金融机构使用ML来构建风险记分卡，以支持一系列与信贷相关的决策。然而，关于信用评分中公平ML的文献很少。本文有三个贡献。首先，我们重新审视统计公平标准，并检查其是否足以进行信用评分。其次，我们将算法选项分类，以便在ML模型开发管道中纳入公平目标。最后，我们实证比较不同的公平处理器在利润为导向的信用评分的背景下，使用真实世界的数据。实证结果证实了公平措施的评价，确定合适的选项，以实施公平的信用评分，并澄清在贷款决策的利润公平权衡。我们发现，多个公平性标准可以近似地同时满足，并建议分离作为衡量记分卡公平性的适当标准。我们还发现，公平的处理器可以在利润和公平性之间实现良好的平衡，并表明算法歧视可以以相对较低的成本降低到合理的水平。与论文对应的代码可以在GitHub上找到。
2022-06-17 cs.LG q-fin.RM stat.ML
iFair: Learning Individually Fair Data Representations for Algorithmic Decision Making
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
在越来越多的应用程序中，人们通常基于机器学习进行评分和排名，以进行算法决策。关于如何将公平纳入这些任务的研究，首先是追求群体公平的范式：给予特别受保护的群体足够的成功率。相比之下，个人公平的替代范式受到的关注相对较少，本文提出了这一较少探索的方向。本文介绍了一种方法，概率映射到一个低等级的表示，调和个人的公平性和效用的分类器和排名在下游应用程序的用户记录。我们的个人公平概念要求在所有任务相关属性（如工作资格）方面相似的用户，并且忽略所有潜在的歧视属性（如性别），应该有相似的结果。我们通过将其应用于各种真实数据集上的分类和学习排名任务来展示我们方法的多功能性。我们的实验表明，在此设置的最佳先前的工作有很大的改进。
2019-02-06 cs.IR cs.LG stat.ML
Improving Fairness in Criminal Justice Algorithmic Risk Assessments Using Conformal Prediction Sets
风险评估算法因潜在的不公平而受到正确的批评，并且有一个活跃的家庭手工业试图进行修复。在本文中，我们采用了一个框架，从共形预测集，以消除不公平的风险算法本身和协变量用于预测。从30万名罪犯在他们的传讯样本中，我们构建了一个混淆表及其衍生的公平性措施，有效地释放黑人和白人罪犯之间的任何有意义的差异。我们还为个别罪犯提供公平的预测，并提供有效的概率保证，即预测的结果是真实的结果。我们认为我们的工作是一个概念的示范，适用于各种刑事司法决定。所提供的程序可以在管理人员使用通常的刑事司法数据集的司法管辖区例行实施。必要的过程可以在脚本软件R中找到。然而，利益相关者是否会接受我们的方法作为实现风险评估公平性的一种手段还不得而知。虽然我们提供了帕累托改进，但也有一些法律问题需要解决。
2021-05-21 stat.AP stat.ML
