Fairness in the Eyes of the Data: Certifying Machine-Learning Models
Tel-Aviv University（特拉维夫大学）；The Hebrew University of Jerusalem（希伯来大学）；Bar-Ilan University（巴伊兰大学）；Aarhus University（奥胡斯大学）；IISc Bangalore（印度科学学院班加罗尔分院）
我们提出了一个框架，允许验证的公平程度的模型的基础上的互动和隐私保护测试。该框架验证任何经过训练的模型，无论其训练过程和架构如何。因此，它允许我们根据经验评估多个公平性定义的任何深度学习模型。我们处理两种情况，其中测试数据是私人的，只有测试人员或公开提前知道，甚至模型创建者。我们调查所提出的方法的合理性，使用理论分析和目前的统计保证的互动测试。最后，我们提供了一种加密技术来自动化公平性测试和认证推理，只有黑盒访问手头的模型，同时隐藏参与者的敏感数据。
2021-06-25 cs.AI cs.CR cs.LG
Analyzing the Effect of Sampling in GNNs on Individual Fairness
Universite de Montreal（蒙特利尔大学）；MILA（MILA蒙特利尔学习算法研究所）；Google（谷歌）；HEC（高等商学院）
基于图神经网络（GNN）的推荐方法已经在推荐系统领域占据了主导地位。这些系统的收益是显著的，显示了通过网络结构解释数据的优势。然而，尽管在推荐任务中使用图结构有明显的好处，但这种表示形式也带来了新的挑战，这加剧了减轻算法偏见的复杂性。当GNN被集成到下游任务中时，例如推荐，偏差缓解可能变得更加困难。此外，将现有的公平促进方法应用于大型真实世界数据集的棘手性对缓解尝试造成了更严重的限制。我们的工作旨在填补这一空白，采取现有的方法来促进图上的个人公平性，并将其扩展到支持小批量或基于子样本的GNN训练，从而为将该方法应用于下游推荐任务奠定基础。我们评估了两种流行的GNN方法：图卷积网络（GCN），它在整个图上训练，和GraphSAGE，它使用概率随机游走来创建子图进行小批量训练，并评估子采样对个体公平性的影响。我们实现了一个单独的公平性概念称为\textit{REDRESS}，提出了董等人，其使用等级优化来学习各个公平节点或项目嵌入。我们在两个真实世界的数据集上实证表明，GraphSAGE不仅能够实现可比的准确性，而且与GCN模型相比，还能够提高公平性。这些发现对个人公平促进，GNN和下游形式的推荐系统产生了相应的影响，表明小批量训练通过允许局部细微差别来指导表示学习中的公平促进过程，从而促进了个人公平促进。
2022-09-09 cs.AI cs.CY cs.LG
FairQuant: Certifying and Quantifying Fairness of Deep Neural Networks
University of Southern California（南加州大学）；Purdue University（普渡大学）
本文提出FairQuant方法，通过对DNN符号区间分析应用抽象与迭代细化，克服可扩展性限制，将传统定性公平认证提升为定量认证，准确率更高且速度快数个数量级。
2024-10-11 cs.LG cs.SE
Perfectly Parallel Fairness Certification of Neural Networks
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；MPI-SWS（马克斯·普朗克软件系统研究所）；ConsenSys Diligence（ConsenSys安全审计团队）
最近，人们越来越担心，目前辅助甚至自动化决策的机器学习模型会复制，并在最坏的情况下加强训练数据的偏差。因此，开发工具和技术来证明这些模型的公平性或描述其有偏见的行为至关重要。在本文中，我们提出了一个完全并行的静态分析证明因果公平的前馈神经网络用于分类的表格数据。当认证成功时，我们的方法提供了明确的保证，否则，它描述和量化的偏见行为。我们设计的分析是合理的，在实践中也是准确的，并且在可扩展性和精度方面是可配置的，从而实现按需付费认证。我们在一个开源工具中实现了我们的方法，并在使用流行数据集训练的模型上证明了其有效性。
2020-04-21 cs.CY cs.LG cs.LO
Solving Probabilistic Verification Problems of Neural Networks using Branch and Bound
Department of Computer and Information Science, University of Konstanz, Konstanz, Baden-Würtemberg, Germany（计算机与信息科学系，康斯坦茨大学，康斯坦茨，巴登-符腾堡，德国）
提出基于界限传播和分支定界的算法解决神经网络概率验证问题，显著缩短求解时间并保证可靠性与完备性。
2025-07-10 cs.AI cs.LG
Planning to Fairly Allocate: Probabilistic Fairness in the Restless Bandit Setting
University of Maryland（马里兰大学）
针对不安分多臂老虎机资源分配中现有Whittle指数方法缺乏公平性保障的问题，提出概率公平策略ProbFair，在满足预算约束、最大化总期望奖励的同时保证臂被拉动概率有严格正下界，真实与合成实验均验证其兼顾效用与公平保障。
2023-07-19 cs.AI cs.CY cs.LG
PROVEN: Certifying Robustness of Neural Networks with a Probabilistic Approach
MIT（麻省理工学院）；IBM Research（IBM研究）；Skoltech（斯科尔科沃科学技术研究院）
随着深度神经网络为众多机器学习任务提供最先进的机器学习模型，量化这些模型的鲁棒性已成为重要的研究领域。然而，大多数研究文献仅仅关注\textit{worst-case}设置，其中神经网络的输入被约束在$\ell_p$球内的噪声扰动;并且已经提出了几种算法来基于这种最坏情况分析计算经认证的最小对抗失真的下限。在本文中，我们解决了这些限制，并扩展到一个\textit{probabilistic}设置的加性噪声可以遵循一个给定的分布特征的方法。我们提出了一个新的概率框架，证明可以用统计保证概率地验证神经网络--即，PROVEN证明了在给定输入的任何受约束的$\ell_p$范数扰动下，分类器的前1预测不能改变的概率。重要的是，我们证明了基于当前最先进的神经网络鲁棒性验证框架可以获得封闭形式的概率证书。因此，PROVEN提供的概率证书很自然，并且在从现有方法（如Fast-Lin，CROWN和CNN-Cert）中获得最坏情况下的认证下限时几乎没有开销。在小型和大型MNIST和CIFAR神经网络模型上的实验表明，与CROWN提供的最坏情况鲁棒性证书相比，我们的概率方法可以在鲁棒性认证中实现高达约$75\%$的改进，至少具有$99.99\%$置信度。
2019-01-07 cs.CR cs.LG stat.ML
Group Fairness by Probabilistic Modeling with Latent Fair Decisions
University of California, Los Angeles（加州大学洛杉矶分校）
机器学习系统越来越多地用于做出有影响力的决策，例如贷款申请和刑事司法风险评估，因此，确保这些系统的公平性至关重要。这通常具有挑战性，因为数据中的标签是有偏见的。本文研究了通过显式建模一个代表隐藏的无偏标签的潜在变量来从有偏数据中学习公平的概率分布。特别是，我们的目标是通过在学习模型中强制执行某些独立性来实现人口均等。我们还表明，只有当用于提供这些保证的分布确实捕获了真实世界的数据时，组公平性保证才有意义。为了密切的数据分布模型，我们采用概率电路，一个富有表现力和易处理的概率模型，并提出了一个算法来学习他们从不完整的数据。我们在一个合成数据集上评估了我们的方法，在这个数据集上观察到的标签确实来自公平标签，但有额外的偏见，并证明了公平标签被成功检索。此外，我们在现实世界的数据集上表明，我们的方法不仅是一个比现有的数据生成方法更好的模型，而且还达到了有竞争力的准确性。
2020-12-17 cs.AI cs.LG stat.ML
Sequential Conditional Transport on Probabilistic Graphs for Interpretable Counterfactual Fairness
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Aix Marseille Univ, CNRS, AMSE（艾克斯-马赛大学、国家科学研究中心、AMSE）；CNRS - Université de Montréal（国家科学研究中心-蒙特利尔大学）
本文结合因果图适配与最优传输，将Knothe重排和三角传输扩展至概率图模型，提出序列传输方法以探讨个体层面的反事实公平性，并通过数值实验验证其应用。
2025-04-28 cs.LG stat.ME
Estimating and Implementing Conventional Fairness Metrics With Probabilistic Protected Features
Stanford University（斯坦福大学）；Barnard College（巴纳德学院）；Massachusetts Institute of Technology（麻省理工学院）；University of Chicago（芝加哥大学）
针对受保护属性难以获取的问题，提出利用概率估计的受保护属性计算公平性指标紧边界、训练低违规模型的方法，在投票数据上验证了其边界更紧、公平性-准确率权衡更优的效果。
2023-10-02 cs.CY cs.LG stat.ML
A Statistical Test for Probabilistic Fairness
EPFL（洛桑联邦理工学院）；Stanford University（斯坦福大学）
算法现在通常用于做出影响人类生活的重大决策。例子包括大学入学，医疗干预或执法。虽然算法使我们能够利用隐藏在大量数据中的所有信息，但它们可能会无意中放大现有数据集中的现有偏见。这种担忧引发了人们对公平机器学习的兴趣，该学习旨在量化和减轻算法歧视。事实上，机器学习模型应该在大规模部署之前进行密集测试，以检测算法偏差。在本文中，我们使用最优传输理论的思想，提出了一个统计假设检验检测不公平的分类。利用特征空间的几何形状，测试统计量量化测试样本上支持的经验分布到使预训练分类器公平的分布流形的距离。我们开发了一个严格的假设检验机制，用于评估任何预先训练的逻辑分类器的概率公平性，我们在理论上和经验上都表明，所提出的测试是渐进正确的。此外，所提出的框架提供了可解释性，通过识别数据的最有利的扰动，使给定的分类器变得公平。
2020-12-09 cs.CY cs.LG stat.ML
Fairness Measures for Regression via Probabilistic Classification
Gradient Institute（梯度研究所）
算法公平性涉及将公平或合理待遇等概念表达为机器学习算法可以优化的可量化度量。迄今为止，文献中的大多数工作都集中在分类问题上，其中预测是分类的，例如接受或拒绝贷款申请。这部分是因为分类公平性措施很容易通过比较结果率来计算，从而导致确保合格男子与合格妇女的比例相同等行为。但在计算上，这些措施很难推广到定价或分配支付等问题的连续回归设置。困难来自于估计条件密度（例如系统将过度充电一定量的概率密度）。对于回归设置，我们通过观察它们作为受保护属性的不同条件概率的比率分解，引入独立性，分离性和充分性标准的易于处理的近似。我们引入并训练机器学习分类器，与预测器不同，作为从数据中估计这些概率的机制。这自然会导致模型不可知的，易于处理的近似的标准，我们探索实验。
2020-03-05 cs.CY cs.LG stat.ML
Counterfactual Fairness Is Not Demographic Parity, and Other Observations
University College London（伦敦大学学院）
本文驳斥了反事实公平等同于人口统计均等的观点，并澄清了关于反事实公平的常见误解。
2024-02-05 cs.CY cs.LG stat.ML
Probabilistic Permutation Graph Search: Black-Box Optimization for Fairness in Ranking
University of Amsterdam（阿姆斯特丹大学）
根据不同的基本假设和观点，有几种衡量排名公平性的标准。使用REINFORCE算法的PL优化可用于优化排列上的黑盒目标函数。特别是，它可以用于优化公平措施。然而，尽管PL优化对于具有中等数量的重复会话的查询有效，但是对于具有少量重复会话的查询仍有改进的空间。在本文中，我们提出了一种新的方式来表示置换分布，置换图的概念的基础上。类似于PL，我们的分布表示，称为PPG，可用于公平性的黑盒优化。与使用逐点对数作为分布参数的PL不同，在PPG中，成对反转概率与参考排列一起构建分布。因此，参考排列可以被设置为关于目标函数的最佳采样排列，使得PPG适合于确定性和随机性排序两者。我们的实验表明，PPG，而相当于PL的较大的会话重复（即，随机排序），改进了PL以优化具有一个会话的查询的公平性度量（即，确定性排名）。此外，当准确的效用估计可用时，例如，在表格模型中，与来自学习排序模型的较低质量效用估计相比，PPG在公平性优化中的性能显著提高，导致与PL的大的性能差距。最后，成对概率使得可以施加成对约束，例如"项目$d_1$的排名应该总是高于项目$d_2$"。“这样的约束可以用来同时优化公平性度量和控制另一个目标，如排名性能。
2022-04-28 cs.IR cs.LG
The KL-Divergence between a Graph Model and its Fair I-Projection as a Fairness Regularizer
Ghent University（根特大学）
图上的学习和推理越来越多地借助于概率模型来完成，例如指数随机图模型、图嵌入模型和图神经网络。然而，当图表对人与人之间的关系进行建模时，它们将不可避免地反映出偏见、偏见和其他形式的不公平和不平等。因此，一个重要的挑战是设计准确的图建模方法，同时根据问题所需的特定公平性概念来保证公平性。然而，过去关于这个主题的工作仍然很少，仅限于消除特定的图建模方法，并且通常旨在以间接的方式确保公平性。我们提出了一个通用的方法适用于大多数概率图建模方法。具体来说，我们首先定义的类的公平图模型对应于一组选定的公平标准。考虑到这一点，我们提出了一个公平正则化定义为KL之间的发散图模型和它的I-投影到一组公平的模型。我们证明，使用这种公平性正则化与现有的图建模方法相结合，有效地权衡公平性与准确性，而最先进的模型只能使这种权衡的公平性标准，他们是专门设计的。
2021-06-27 cs.LG
Fairness Risks for Group-conditionally Missing Demographics
Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学芝加哥分校计算机科学系）；Amazon（亚马逊）
针对敏感特征因群体依赖性而缺失导致公平性模型受限的问题，提出在变分自编码器中联合学习群体条件缺失概率并结合概率插补增强公平性风险，在图像与表格数据上实现了准确性与公平性的更好平衡。
2025-04-30 cs.CY cs.LG
HyperFair: A Soft Approach to Integrating Fairness Criteria
University of California, Santa Cruz（加州大学圣克鲁兹分校）
推荐系统正在越来越多的领域中使用，这些领域可能会产生重大的社会和个人影响。因此，考虑公平性是设计和评估此类系统的关键步骤。在本文中，我们介绍了HyperFair，一个通用的框架，用于执行软公平约束的混合推荐系统。HyperFair模型将公平性度量的变化集成为联合推理目标函数的正则化。我们使用概率软逻辑实现我们的方法，并表明它是特别适合这项任务，因为它是表达和结构约束可以添加到系统中的一个简洁和可解释的方式。我们提出了两种方法来采用我们介绍的方法：第一，作为概率软逻辑推荐系统模板的扩展;第二，作为一个公平的改装技术，可以用来提高从黑盒模型预测的公平性。我们通过实施多个HyperFair混合推荐器并将其与最先进的公平推荐器进行比较，以经验验证我们的方法。我们还进行了实验，显示了我们的方法对黑盒模型改造任务的有效性，以及执行的公平性和预测性能之间的权衡。
2020-09-05 cs.IR cs.LG stat.ML
Bayesian fairness
University of Oslo（奥斯陆大学）；Chalmers University（查尔姆斯理工大学）；UC Santa Cruz（加州大学圣克鲁兹分校）；Harvard University（哈佛大学）
我们考虑的问题，如何决策可以是公平的，当世界的基本概率模型是不确定的。我们认为，最近的机器学习中的公平性的概念需要明确地纳入参数的不确定性，因此，我们引入了{ \em贝叶斯公平性}的概念作为一个合适的候选人公平的决策规则。使用平衡，Kleinberg et al（2016）引入的公平性定义，我们展示了贝叶斯观点如何导致即使在高度不确定性下也能表现良好，公平的决策规则。
2018-11-04 cs.LG stat.ML
When fairness metrics fail: A utility-based perspective on $\varepsilon$-fairness
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Freiburg（弗莱堡大学）
本文提出基于效用的公平性评估框架，证明概率性公平指标可能掩盖极端不公平，并通过大学录取和信用风险案例展示需同时考虑决策概率与后果。
2026-09-18 cs.LG econ.TH q-fin.MF
A Fairness-aware Hybrid Recommender System
UC Santa Cruz（加州大学圣克鲁兹分校）
推荐系统被广泛应用于影响人们生活的各个领域。这引起了人们对这种制度可能加剧的偏见和歧视的关切。推荐系统中存在两种主要的固有偏差：观察偏差和不平衡数据引起的偏差。观察偏差的存在是由于反馈回路导致模型学习仅预测与先前相似的建议。当数据中存在系统性的社会、历史或其他环境偏见时，就会出现数据不平衡。在本文中，我们提出了一个混合公平意识推荐系统解决这两个偏见。我们的模型通过整合多个用户-用户和项目-项目相似性度量，内容和人口统计信息，同时解决推荐偏见，提供高效和准确的推荐。我们实现我们的模型使用一个强大的和表达概率程序设计语言称为概率软逻辑。我们在一个流行的电影推荐数据集上对我们的方法进行了实验评估，结果表明，与最先进的公平推荐系统相比，我们提出的模型可以提供更准确，更公平的推荐。
2018-09-13 cs.IR cs.LG stat.ML
(Un)certainty of (Un)fairness: Preference-Based Selection of Certainly Fair Decision-Makers
Heinrich Heine University（海因里希·海涅大学）
本文提出用贝叶斯统计量化公平性差异的不确定性，基于偏好和效用函数选择最确定公平的决策者，以增强歧视评估。
2024-09-19 cs.AI cs.LG
Probabilistic Circuits with Constraints via Convex Optimization
University of Technology of Compiègne（贡比涅技术大学）
提出一种通过凸优化将概率命题逻辑约束整合到概率电路（PC）中的方法，无需重训模型即可输出满足约束的新PC，在数据稀缺时提升性能并保障机器学习公平性。
2024-03-19 cs.AI cs.LG
Verification of ML Systems via Reparameterization
Oracle Labs（甲骨文实验室）；Boston College（波士顿学院）；University of Pittsburgh（匹兹堡大学）；IMDEA Software Institute（IMDEA软件研究所）
随着机器学习越来越多地用于基本系统，减少或消除严重错误的发生率非常重要。越来越多的研究已经开发出机器学习算法，这些算法具有关于性能、鲁棒性或公平性的正式保证。然而，这些算法的分析通常是复杂的，并且在实践中实现这样的系统引入了错误的空间。证明助手可以用于通过构造排除此类错误的机器检查的正确性证明来正式验证机器学习系统。然而，在证明助手内部关于概率性声明的推理仍然具有挑战性。我们展示了如何一个概率程序可以自动表示在一个定理证明使用的概念\emph{reparameterization}，以及如何一些繁琐的证明可测性可以自动生成的概率程序。为了证明这种方法足够广泛，可以处理不同类型的机器学习系统，我们验证了统计学习理论的经典结果（决策树桩的PAC可学习性），并证明贝叶斯假设检验中使用的零模型满足称为人口统计学平价的公平性标准。
2020-07-14 cs.AI cs.LG stat.ML
Fair Disaster Containment via Graph-Cut Problems
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）；University of Virginia（弗吉尼亚大学）
图割问题是组合优化中的一个基本问题，也是理论和实践中的一个重要研究对象。此外，\emph{fairness}在计算机设计和机器学习中的研究最近受到了极大的关注，提出了许多不同的概念，并针对各种背景进行了分析。在本文中，我们开始研究公平的图切割问题，给他们的第一个公平的定义，随后，我们证明了适当的算法技术，产生一个严格的理论分析。具体而言，我们将两种不同的公平性概念，即\emph{demographic}和\emph{probabilistic individual}公平性，在一个特定的削减问题，模型灾难遏制的情况。我们的结果包括各种近似算法与可证明的理论保证。
2022-02-16 cs.DS cs.LG
Inherent Trade-Offs in the Fair Determination of Risk Scores
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
最近在公共领域中关于算法分类的讨论涉及到了关于概率分类对不同群体公平意味着什么的相互竞争的概念之间的紧张关系。我们正式的三个公平的条件，在这些辩论的核心，我们证明，除了在高度约束的特殊情况下，没有方法，可以同时满足这三个条件。此外，即使满足所有三个条件近似要求的数据躺在一个近似版本的约束的特殊情况下确定我们的定理。这些结果表明，公平的关键概念是相互不相容的一些方式，因此提供了一个框架，思考它们之间的权衡。
2016-11-17 cs.CY cs.LG stat.ML
