Partial Fairness Awareness: Belief-Guided Strategic Mechanism for Strategic Agents
National University of Defense Technology, Changsha, China(国防科技大学);Peking University, Beijing, China(北京大学);Shanghai University of Finance and Economics, Shanghai, China(上海财经大学);ZGC Laboratory, Beijing, China(ZGC实验室);Faculty of Computing, Harbin Institute of Technology, Harbin, China(哈尔滨工业大学计算机学院)
针对策略分类中的公平暴露困境,提出部分公平意识(PFA)问题,通过发布公平约束候选集并隐藏真实约束,结合信念引导机制实现代理与系统公平约束的对齐,实验表明PFA在降低群体公平差距、提高合格个体接受率和结果稳定性方面优于完全公开或私有的公平机制。
2026-05-30 cs.LG
FairPlay: A Collaborative Approach to Mitigate Bias in Datasets for Improved AI Fairness
Department of Computer Science, Stony Brook University(计算机科学系,石英布鲁克大学)
针对AI决策中公平性标准冲突的问题,提出协作式去偏见工具FairPlay,通过战略互动协商达成共识,用户研究显示约五轮即可达成一致,有效提升AI公平性。
2025-04-22 cs.CY cs.HC cs.LG
Strategic Demonstration Selection for Improved Fairness in LLM In-Context Learning
University of Bristol(布里斯托尔大学);New Jersey Institute of Technology(新泽西理工学院)
本研究探究上下文学习提示中示范样本对大语言模型公平性的影响,提出结合聚类与进化策略的样本筛选方法,在保障预测准确率的同时有效提升模型公平性。
2024-08-19 cs.CL cs.CY cs.LG
Minimax Group Fairness in Strategic Classification
Carnegie Mellon University (CMU)(卡内基梅隆大学);Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田理工学院)
本文研究策略分类中兼顾准确率与极小极大群体公平性的分类器学习问题,将问题形式化为公平感知Stackelberg博弈,并针对可分离与不可分离代价函数分别提出高效算法,在真实数据上验证了算法有效性。
2024-10-03 cs.LG
Fairness-aware Contextual Dynamic Pricing with Strategic Buyers
本文研究了带有公平性约束的上下文动态定价问题,考虑了买家在群体身份私密且不可观测时的战略行为,提出了一种同时实现价格公平并遏制战略行为的动态定价策略,理论分析表明该策略在T时间范围内具有O(√T + H(T))的 regret 上界,并通过实验验证了其有效性。
2026-03-14 cs.GT cs.LG stat.ML
Testing Individual Fairness in Graph Neural Networks
Jheronimus Academy of Data Science, Tilburg University(杰罗尼姆斯数据科学学院,蒂尔堡大学)
该博士项目针对图神经网络中的个体公平性缺失问题,通过文献综述构建分类体系,并开发测试框架以评估和确保公平性,最终在基于图的大型语言模型上进行工业案例验证。
2025-04-25 cs.AI cs.LG
Fair Recourse for All: Ensuring Individual and Group Fairness in Counterfactual Explanations
University of Applied Sciences and Arts of Southern Switzerland(瑞士南方应用科学与艺术大学);Università della Svizzera italiana(瑞士意大利大学)
本文提出了一种基于强化学习的方法,生成同时满足个体和群体公平性的反事实解释,以提升XAI的公平性和透明度。
2026-01-28 cs.AI cs.LG
Maxmin-Fair Ranking: Individual Fairness under Group-Fairness Constraints
ISI Foundation(ISI基金会);Eurecat(Eurecat技术中心)
我们研究了一个新的问题,旨在尽量减少个人的不公平性时,强制执行组公平性约束排名的公平性。我们的建议是植根于分布最大最小公平理论,它使用随机化,以最大限度地提高预期的满意度最差的个人。我们设计了一个精确的多项式时间算法,找到最大最小公平分布的一般搜索问题(包括,但不限于,排名),并表明我们的算法可以产生的排名,同时满足给定的组公平性约束,确保最大可能的价值被带到个人。
2021-06-17 cs.AI cs.DS cs.LG
Addressing Strategic Manipulation Disparities in Fair Classification
Yale University(耶鲁大学)
本文针对公平分类中少数群体策略性操纵成本更高的问题,提出约束优化框架以降低其操纵成本,并通过理论分析和多数据集实验验证了方法的有效性。
2023-09-15 cs.CY cs.LG stat.ML
On the Correlation between Individual Fairness and Predictive Accuracy in Probabilistic Models
IDSIA USI-SUPSI(IDSIA USI-SUPSI 研究所);SUPSI(瑞士南部应用科学与艺术大学)
通过分析后验推断对私有特征扰动的鲁棒性,研究生成式概率分类器的个体公平性,证实鲁棒性与预测准确性正相关,为缓解公平性与准确性的权衡提供新方向。
2025-09-16 cs.AI cs.LG
Impacts of Individual Fairness on Group Fairness from the Perspective of Generalized Entropy
KAIST(韩国科学技术院);POSTECH(浦项工科大学);Sungkyunkwan University(成均馆大学)
本文通过广义熵约束的经验风险最小化算法研究个体公平对群体公平的影响,证明其PAC可学习性,并实验发现加强个体公平并不总能提升群体公平。
2025-11-09 cs.LG
Metric-Free Individual Fairness with Cooperative Contextual Bandits
George Mason University(乔治梅森大学)
数据采掘算法越来越多地用于日常生活中各行各业的自动决策。不幸的是,正如几项研究所报告的那样,这些算法注入了来自数据和环境的偏见,导致不公平和不公平的解决方案。为了减轻机器学习中的偏差,已经提出了公平性的不同形式化,其可以被分类为群体公平性和个体公平性。群体公平性要求不同的群体应该得到类似的对待,这可能对群体中的某些人不公平。另一方面,个体公平要求相似的个体受到相似的对待。然而,个人的公平性仍然研究不足,由于其依赖于特定问题的相似性度量。我们提出了一个无度量的个人公平性和合作上下文土匪(CCB)算法。CCB算法利用公平性作为奖励并试图最大化它。将公平性视为奖励的优点是公平性标准不需要是可微的。该算法在多个真实世界的基准数据集上进行了测试。结果表明,该算法在减轻偏见,实现个人和群体的公平性的有效性。
2020-11-13 cs.LG
Individual Fairness Through Reweighting and Tuning
Stanford Center for Biomedical Ethics, Stanford University(斯坦福大学生物医学伦理中心);Artificial Intelligence and Machine Learning, GSK(葛兰素史克人工智能与机器学习部门);Department of Biomedical Data Science, Stanford University(斯坦福大学生物医学数据科学系);Department of Bioengineering, Stanford University(斯坦福大学生物工程系);Department of Genetics, Stanford University(斯坦福大学遗传学系);Department of Medicine, Stanford University(斯坦福大学医学系)
本文针对 GLR 个体公平性方法依赖训练时目标数据的问题,提出在训练与目标数据上独立定义 GLR,并用 NFG 衡量公平增益;实验表明其性能与原方法相当,且 PC 可能误导公平性评估。
2024-05-07 cs.AI cs.LG
Learning Certified Individually Fair Representations
ETH Zurich(苏黎世联邦理工学院)
公平表示学习提供了一种有效的方式来实施公平性约束,而不损害下游用户的效用。一个理想的家庭这样的公平约束,每个要求类似的待遇相似的个人,被称为个人公平。在这项工作中,我们介绍了第一种方法,使数据消费者获得证书的个人公平的现有和新的数据点。其关键思想是将相似的个体映射到接近的潜在表示,并利用这种潜在的接近来证明个体的公平性。也就是说,我们的方法使数据生产者能够学习和证明一个表示,其中对于一个数据点,所有相似的个人都在$\ell_\infty$ -距离最多$ε$,从而允许数据消费者通过证明其分类器的$ε$ -鲁棒性来证明个人的公平性。我们对五个真实世界的数据集和几个公平性约束的实验评估证明了我们的方法的表达性和可扩展性。
2020-11-28 cs.AI cs.LG stat.ML
Fairify: Fairness Verification of Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Iowa State University(爱荷华州立大学)
机器学习(ML)软件的公平性在最近已经成为一个主要的关注点。虽然最近的测试和提高公平性的研究已经证明了对现实世界的软件的影响,在实践中提供公平性保证仍然缺乏。ML模型的认证具有挑战性,因为模型的决策过程非常复杂。在本文中,我们提出了Fairify,一个基于SMT的方法来验证个体的公平性在神经网络(NN)模型。个人公平确保任何两个相似的个人得到类似的待遇,而不管他们受保护的属性如何,例如,种族性别年龄由于神经网络的全局校验和计算节点的非线性,使得这种公平性难以保证。我们提出了合理的方法,使个人公平性验证易于开发人员。其关键思想是,当考虑输入域的一小部分时,NN中的许多神经元总是保持不活动。因此,Fairify利用白盒访问生产中的模型,然后应用基于形式分析的修剪。我们的方法采用输入分区,然后修剪每个分区的NN提供公平性认证或反例。我们利用神经元的区间算术和激活启发式来执行必要的修剪。我们在从四个不同来源收集的25个真实世界的神经网络上评估了Fairify,并证明了其有效性,可扩展性和性能超过基线和密切相关的工作。Fairify也可以根据NN的域和大小进行配置。我们的新配方的问题可以回答有针对性的验证查询与放松和反例,这具有实际意义。
2022-12-14 cs.AI cs.LG
Analyzing the Effect of Sampling in GNNs on Individual Fairness
Universite de Montreal(蒙特利尔大学);MILA(MILA蒙特利尔学习算法研究所);Google(谷歌);HEC(高等商学院)
基于图神经网络(GNN)的推荐方法已经在推荐系统领域占据了主导地位。这些系统的收益是显著的,显示了通过网络结构解释数据的优势。然而,尽管在推荐任务中使用图结构有明显的好处,但这种表示形式也带来了新的挑战,这加剧了减轻算法偏见的复杂性。当GNN被集成到下游任务中时,例如推荐,偏差缓解可能变得更加困难。此外,将现有的公平促进方法应用于大型真实世界数据集的棘手性对缓解尝试造成了更严重的限制。我们的工作旨在填补这一空白,采取现有的方法来促进图上的个人公平性,并将其扩展到支持小批量或基于子样本的GNN训练,从而为将该方法应用于下游推荐任务奠定基础。我们评估了两种流行的GNN方法:图卷积网络(GCN),它在整个图上训练,和GraphSAGE,它使用概率随机游走来创建子图进行小批量训练,并评估子采样对个体公平性的影响。我们实现了一个单独的公平性概念称为\textit{REDRESS},提出了董等人,其使用等级优化来学习各个公平节点或项目嵌入。我们在两个真实世界的数据集上实证表明,GraphSAGE不仅能够实现可比的准确性,而且与GCN模型相比,还能够提高公平性。这些发现对个人公平促进,GNN和下游形式的推荐系统产生了相应的影响,表明小批量训练通过允许局部细微差别来指导表示学习中的公平促进过程,从而促进了个人公平促进。
2022-09-09 cs.AI cs.CY cs.LG
Correct-By-Construction: Certified Individual Fairness through Neural Network Training
Singapore Management University(新加坡国立管理学院)
本文提出一个构造即正确的个体公平性训练框架,通过可证明公平的初始化和基于随机化响应机制的公平保持训练算法,在无需训练期神经网络验证的情况下,形式化保证并高效地训练出既公平又准确的模型。
2025-08-21 cs.LG
Unfairness Despite Awareness: Group-Fair Classification with Strategic Agents
Washington University in Saint Louis(圣路易斯华盛顿大学);George Mason University(乔治梅森大学);University of California Santa Cruz(加州大学圣克鲁兹分校)
在影响人们的金融、社会和政治福祉的领域中使用算法决策系统,已经产生了对这些决策系统在某种公认的公平概念下是"公平的"的需求。这一需求反过来又激发了大量的工作集中在公平的学习算法,然后使用它们来代替传统的同行的发展。对这种公平算法的大多数分析都是从这样一个假设出发的,即受算法决策影响的人被表示为不可变的特征向量。然而,战略代理人可能拥有的能力和动机来操纵这个观察到的特征向量,以获得更有利的结果。我们探讨的影响,战略代理人的行为可能会对公平的分类,并得出条件下,这种行为导致公平的分类变得不公平,比他们的传统同行在公平的公平性,公平的分类考虑到相同的措施。这些条件是有关的公平分类补救不公平的原始未经处理的数据的方式:公平的分类,补救不公平的选择性比他们的传统同行是那些变得不公平比他们的同行时,代理商的战略。我们进一步证明,公平的分类器的选择性增加,因此损失的公平性,出现时执行公平的学习域中的组是过度代表的区域附近(和有益的一面)的传统分类器的决策边界。最后,我们使用几个数据集和学习方法进行实验观察,这种公平性逆转是常见的,并且我们对公平性逆转条件的理论描述在大多数情况下确实成立。
2021-12-06 cs.CY cs.GT cs.LG
Accurate Fairness: Improving Individual Fairness without Trading Accuracy
State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所计算机科学国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
准确性和个体公平性对于可信的机器学习都是至关重要的,但这两个方面往往是相互不兼容的,因此增强一个方面可能会不可避免地牺牲另一个方面,从而产生真偏差或假公平的副作用。我们在本文中提出了一个新的公平标准,准确的公平性,个人的公平性与准确性。非正式地说,它要求个人和个人的类似对应方的待遇符合统一的目标,即,个人的基本事实我们证明,准确的公平性也意味着典型的组公平标准在一个联盟的类似的子种群。然后,我们提出了一个暹罗公平处理方法,以最大限度地减少准确性和公平性损失的机器学习模型下准确的公平性约束。据我们所知,这是第一次采用暹罗方法来缓解偏差。我们还提出了公平混淆矩阵为基础的指标,公平精度,公平召回,公平F1得分,量化准确性和个人公平之间的权衡。与流行的公平数据集的比较案例研究表明,我们的暹罗公平方法可以实现平均1.02%-8.78%的个人公平性正确率提高8.38%~ 13.69%,真实公平率提高10.09%~ 20.57%,公平F1分提高5.43%~ 10.01%,最先进的偏差缓解技术。这表明我们的暹罗公平方法确实可以在没有交易准确性的情况下提高个人公平性。最后,应用精确公平标准和Siamese公平方法来减轻真实携程数据集可能的服务歧视,平均公平地服务于比基线模型多112.33%的客户(具体地说,以精确公平的方式多81.29%的客户)。
2022-11-30 cs.CY cs.LG
Biased Models Have Biased Explanations
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们通过为机器学习模型生成的基于属性的解释来研究机器学习(FairML)中的公平性。我们的假设是:有偏的模型有偏的解释。为了建立这一点,我们首先翻译现有的群体公平的统计概念,并根据模型给出的解释来定义这些概念。然后,我们提出了一种新的方法来检测(不)公平的任何黑盒模型。我们进一步研究后处理技术的公平性和原因如何解释可以用来使偏见缓解技术更个别公平。我们还介绍了一种新的后处理缓解技术,提高个人公平性的追索权,同时保持组级的公平性。
2020-12-20 cs.AI cs.LG
CertiFair: A Framework for Certified Global Fairness of Neural Networks
University of California, Irvine(加州大学欧文分校)
研究了一个神经网络模型是否满足全局个体公平性的问题。个体公平性是指在决策模型中,对于某项任务,相似的个体应该得到相似的对待。在这项工作中,我们有两个主要目标。第一个是构造一个验证器,该验证器检查分类任务中给定NN的公平性是否成立,或者如果违反了公平性,则提供一个反例,即,如果所有相似的个体被相同地分类,则该模型是公平的,而如果一对相似的个体被不同地分类,则该模型是不公平的。为此,我们构建了一个合理而完整的验证器,该验证器使用基于距离的相似性度量来验证ReLU NN分类器的全局个体公平性。本文的第二个目标是提供一种方法来训练可证明公平的NN分类器从不公平(偏见)的数据。我们提出了一个公平损失,可以在训练过程中使用,以执行类似的个人公平的结果。然后,我们提供了可证明的界限上的公平性产生的NN。我们在公开的常用公平数据集上进行了实验,结果表明,全局个体公平性可以提高96%,而测试准确率不会显着下降。
2022-05-20 cs.LG
Measuring Individual User Fairness with User Similarity and Effectiveness Disparity
University of Copenhagen(哥本哈根大学);LUT University(拉普兰塔大学)
本文提出PUF,一种新的推荐系统个体用户公平性度量方法,同时考虑用户相似性和有效性差异。
2026-01-23 cs.AI cs.CY cs.IR
FairExpand: Individual Fairness on Graphs with Partial Similarity Information
University of Rochester(罗切斯特大学);SJTU Paris Elite Institute of Technology(上海交通大学巴黎精英技术研究院)
FairExpand 通过在部分相似性信息下促进个体公平性,提供了一种灵活的框架,有效扩展到整个图并提升公平性与性能。
2025-12-20 cs.LG
Fair Play for Individuals, Foul Play for Groups? Auditing Anonymization's Impact on ML Fairness
Inria Centre at the University Grenoble Alpes, France(法国格勒诺布尔阿尔卑斯大学Inria研究中心);Open Universiteit(开放大学)
该研究系统审计了匿名化技术对机器学习公平性的影响,发现匿名化会使群体公平性指标下降高达四倍,但能通过增加输入同质性改善个体公平性,为隐私、公平与效用间的权衡提供了实用指南。
2025-10-31 cs.AI cs.CR cs.LG
Domain Adaptation meets Individual Fairness. And they get along
University of Michigan(密歇根大学);University of Konstanz(康斯坦茨大学);IBM Research(IBM研究院);Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
许多算法偏差的例子是由分布偏移引起的。例如,机器学习(ML)模型在训练数据中代表性不足的人口统计群体上的表现往往更差。在本文中,我们利用算法公平性和分布偏移之间的这种联系来表明算法公平性干预可以帮助ML模型克服分布偏移,并且域自适应方法(用于克服分布偏移)可以减轻算法偏差。特别是,我们证明了(i)强制执行适当的个体公平性(IF)概念可以在协变量移位假设下提高ML模型的分布外准确性,以及(ii)有可能调整表示对齐方法进行域适应以强制个体公平性。前者是意料之外的,因为在制定综合框架干预措施时没有考虑到分配的变化。后者也是出乎意料的,因为代表对齐不是一个共同的方法,在个人公平文献。
2022-10-15 cs.AI cs.CY cs.LG
A Notion of Individual Fairness for Clustering
University of Washington(华盛顿大学);Rutgers University(罗格斯大学);Google(谷歌)
在公平机器学习中,特别是在公平分类中,一个常见的区别是群体公平性和个体公平性。在聚类的背景下,群体公平性近年来得到了广泛的研究,然而,聚类的个体公平性几乎没有被探索。在本文中,我们提出了一个自然的概念,个人的公平聚类。我们的概念要求每个数据点,平均而言,比任何其他集群中的点更接近自己集群中的点。我们研究了几个问题,我们提出的个人公平的概念。在消极的一面,我们表明,决定一个给定的数据集是否允许这样一个单独的公平聚类一般是NP-难的。在积极的一面,对于一个数据集躺在真正的线的特殊情况下,我们提出了一个有效的动态规划方法来找到一个单独的公平聚类。对于一般的数据集,我们调查的目的是尽量减少个人违反公平的数量,并比较它们的标准聚类方法对真实的数据集。
2020-06-08 cs.LG stat.ML
Bridging the Fairness Divide: Achieving Group and Individual Fairness in Graph Neural Networks
University of Georgia(佐治亚大学);University of Virginia(弗吉尼亚大学)
本文提出新框架FairGI,通过个体相似性矩阵实现组内个体公平,并利用对抗学习解决群体公平问题,在图神经网络中同时实现了群体公平与组内个体公平,且保持了相当的预测准确率。
2024-04-26 cs.CY cs.LG cs.SI
Multi-Agent Reinforcement Learning for Dynamic Pricing in Supply Chains: Benchmarking Strategic Agent Behaviours under Realistically Simulated Market Conditions
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息研究所);Department of Computer Science and Technology, SUNY Empire State University(SUNY帝国州大学计算机科学与技术系);KPMG N.V(KPMG荷兰公司)
本研究在真实电商数据驱动的模拟环境中对比MADDPG、MADQN和QMIX三种多智能体强化学习算法与静态规则基线的动态定价表现,发现MARL能产生规则方法无法捕捉的涌现策略性行为,其中MADDPG在竞争性与公平性之间取得最佳平衡。
2025-07-03 cs.LG econ.EM
Prediction Sensitivity: Continual Audit of Counterfactual Fairness in Deployed Classifiers
University of Vermont(佛蒙特大学)
随着基于人工智能的系统越来越多地影响我们生活的许多领域,审计这些系统的公平性是一个越来越高的风险问题。传统的群体公平性度量可能会错过对个人的歧视,并且在部署后难以应用。反事实公平描述了一种个性化的公平概念,但在部署后评估更具挑战性。我们提出了预测灵敏度,部署分类器的反事实公平性的持续审计方法。预测灵敏度有助于回答这个问题:如果这个人属于不同的人口统计学群体,那么这个预测会有所不同吗?对于部署的模型所做的每一个预测。预测灵敏度可以利用受保护状态和其他特征之间的相关性,并且在预测时不需要受保护状态信息。我们的实证结果表明,预测灵敏度是有效的检测违反反事实公平。
2022-02-09 cs.AI cs.CY cs.LG
Joint Multisided Exposure Fairness for Recommendation
McGill University(麦吉尔大学);Microsoft(微软);City University of Hong Kong(香港城市大学);Google(谷歌)
在推荐系统的背景下,曝光公平性的先前研究主要集中在个人或群体的项目暴露给系统的个人用户的差异。单个项目或项目组如何系统地暴露于用户组或甚至所有用户的问题受到的关注相对较少。然而,这种信息披露方面的系统性差异可能导致明显的社会危害,例如剥夺历史上被边缘化群体的经济机会(分配性危害)或放大性别和种族化的陈规定型观念(代表性危害)。此前,Diaz等人开发了预期曝光度量--它结合了先前为信息检索开发的现有用户浏览模型--以研究内容曝光对个人用户的公平性。我们扩展了他们提出的框架,正式形成了一个家庭的曝光公平性指标,模型的问题,共同从消费者和生产者的角度来看。具体来说,我们考虑这两种类型的利益相关者的群体属性,以识别和减轻超越个人用户和项目的公平性问题,以更系统的偏见推荐。此外,我们研究和讨论了本文提出的不同曝光公平性维度之间的关系,以及演示如何随机排名策略可以优化到所述公平性目标。
2022-04-29 cs.AI cs.IR cs.LG
Bias Mitigation Post-processing for Individual and Group Fairness
IBM Research(IBM研究院);IBM Watson AI Platform(IBM沃森人工智能平台)
鉴于以前的后处理方法,以增加有偏见的分类器的预测的公平性只解决组公平性,我们提出了一种方法,以增加个人和组公平性。我们的新框架包括一个单独的偏见检测器,用于在偏见缓解算法中优先考虑数据样本,旨在提高不同影响的组公平性度量。我们在信用、就业和刑事司法等应用中的几个真实数据集上,在分类准确性、个人公平性和群体公平性的结合方面表现出了优于以往工作的性能。
2018-12-14 cs.CY cs.LG stat.ML
Avoiding Resentment Via Monotonic Fairness
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过明确使用受保护的属性(如种族或性别)来实现人口平衡的分类器通常在政治或文化上存在争议,因为它们缺乏个体公平性,即具有相似资格的个人将获得不同的结果。个体和群体公平决策标准可能产生反直觉的结果,例如,由于类似候选人中的人口统计不平衡,最佳约束边界可能会拒绝直观上更好的候选人。这两种方法都可以被视为引入了个人怨恨,其中一些人如果属于不同的人口阶层并具有相同的资格,或者如果他们留在同一个阶层但客观上具有更差的资格(例如较低的考试成绩),则会得到更好的结果。我们表明,这两种形式的怨恨可以避免使用单调约束的机器学习模型,以创建单独的公平,人口平衡的分类。
2019-09-03 cs.AI cs.LG stat.ML
Operationalizing Individual Fairness with Pairwise Fair Representations
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
我们重新审视Dwork等人提出的个人公平性的概念。在操作他们的方法的一个核心挑战是在引发人类规范的相似性度量的困难。在本文中,我们提出了一个可操作的个人公平性,不依赖于人类的距离度量规范。相反,我们提出了新的方法来引出和利用同样值得的个人的边信息,以对抗社会群体之间的从属关系。我们将这些知识建模为公平图,并学习数据的统一成对公平表示(PFR),该表示捕获个体之间的数据驱动相似性和公平图中的成对边信息。我们从各种来源得出公平性判断,包括对累犯预测(COMPAS)和暴力邻里预测(Crime & Communities)两个真实世界数据集的人类判断。我们的实验表明,PFR模型的个人公平操作是切实可行的。
2019-12-02 cs.LG stat.ML
Assessing Multilingual Fairness in Pre-trained Multimodal Representations
University of California, Santa Cruz(加州大学圣克鲁兹分校)
最近预训练的多模态模型,如CLIP,在连接图像和自然语言方面表现出了卓越的能力。英语的文本表征可以被期望地转移到多语言,并支持不同语言的下游多模态任务。然而,多语言公平原则很少被仔细审查:多语言多模态模型是否平等对待语言?他们的表现是否偏向于特定的语言?为了回答这些问题,我们将语言视为公平性的接受者,并为预训练的多模态模型引入了两个新的公平性概念,多语言个体公平性和多语言群体公平性。多语言个体公平性要求不同语言中表达相似语义的文本片段与图像的连接相似,而多语言群体公平性要求跨语言的预测性能均衡。我们描述了预先训练的多语言视觉和语言表示在多大程度上对不同语言都是公平的。然而,大量的实验表明,多语言表示并不能满足群体公平性:(1)存在严重的多语言准确性差异问题;(2)错误表现出跨语言的偏见,影响图像中的人群,包括种族,性别和年龄。
2022-03-16 cs.AI cs.CL cs.LG
Distributional Individual Fairness in Clustering
IIIT Delhi(德里英迪拉·甘地信息技术学院);UC Santa Cruz(加州大学圣克鲁兹分校)
在本文中,我们开始研究公平聚类,确保相似的个体之间的分布相似性。为了提高机器学习中的公平性,最近的论文研究了聚类算法中的公平性,并集中在统计奇偶性/组公平性的范式上。这些努力试图尽量减少对人口中某些受保护群体的偏见。然而,据我们所知,Dwork等人(ITCS 2012)在分类背景下引入的个体公平性的替代观点迄今尚未被考虑用于聚类。与Dwork等人类似,我们采用了个体公平的概念,该概念规定,对于聚类问题,相似的个体应该被类似地对待。我们使用的概念,$f$ -分歧作为统计相似性的措施,显着推广Dwork等人使用的。我们引入了一个框架,用于分配个人,嵌入在度量空间,概率分布在一个有限数量的聚类中心。其目标是确保(a)低成本的预期聚类和(b)在给定的公平空间中彼此接近的个体被映射到统计上相似的分布。我们提供了一个聚类算法与$p$规范的目标($k$中心,$k$ -手段是特殊情况)和个人的公平性约束,可证明的近似保证。我们扩展了这个框架,包括保护组内的群体公平和个人公平。最后,我们观察个人公平意味着群体公平的条件。我们提出了广泛的实验证据,证明我们的方法的有效性。
2020-06-22 cs.DS cs.LG stat.ML
SenSeI: Sensitive Set Invariance for Enforcing Individual Fairness
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);University of Michigan(密歇根大学)
在本文中,我们将公平的机器学习视为不变的机器学习。我们首先制定了一个版本的个人公平性,强制某些敏感集的不变性。然后,我们设计了一个基于传输的正则化,强制执行这个版本的个人公平性,并开发了一个算法,以有效地最小化正则化。我们的理论结果保证了所提出的方法可以训练可证明公平的ML模型。最后,在实验研究中,我们证明了改进的公平性指标相比,最近的几个公平的训练程序的三个ML任务,容易受到算法偏见。
2021-04-01 cs.LG stat.ML
Rethinking Individual Fairness in Deepfake Detection
Clarkstown High School South(Clarkstown 高中南分校);Purdue University(普渡大学);Carmel High School(Carmel 高中)
本研究针对深度伪造检测中个体公平性缺失的问题,发现原有个体公平原则在该场景下不成立,提出可集成到现有检测器的可推广框架,实验证明其在保持检测性能的同时显著提升个体公平性,优于现有最优方法。
2025-07-30 cs.CY cs.LG
Metric-Free Individual Fairness in Online Learning
The Hebrew University(希伯来大学);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究了一个受个体公平约束的在线学习问题,该问题要求相似的个体得到相似的对待。与以前的工作对个人的公平性,我们不假设个人之间的相似性度量是已知的,也不假设这种措施采取一定的参数形式。相反,我们利用审计师的存在来检测违反公平性的行为,而不阐明量化措施。在每一轮中,审核员检查学习者的决定,并试图识别出被学习者不公平对待的两个人。我们提供了一个通用的减少框架,减少我们的模型中的在线分类标准的在线分类,这使我们能够利用现有的在线学习算法,以实现次线性的遗憾和违反公平的数量。令人惊讶的是,在数据独立于分布的随机设置中,我们也能够建立PAC风格的公平性和准确性泛化保证(Rothblum和Yona [2018]),尽管只能获得非常有限形式的公平性反馈。我们的公平性推广界定性地匹配Rothblum和Yona [2018]的一致收敛界,同时也提供了有意义的准确性推广保证。我们的研究结果解决了Gillen等人的一个悬而未决的问题。[2018]通过表明,即使不假设底层相似性度量的强参数形式,在未知的个人公平性约束下的在线学习也是可能的。
2022-04-23 cs.LG stat.ML
Metric Learning for Individual Fairness
Harvard University(哈佛大学)
最近有很多关于如何在分类中衡量或执行公平的讨论。个人公平[Dwork,Hardt,Pitassi,Reingold,Zemel,2012]要求相似的个人受到类似的待遇,这是一个非常有吸引力的定义,因为它为个人的待遇提供了强有力的保证。不幸的是,对特定于任务的相似性度量的需要阻止了其在实践中的使用。在这项工作中,我们提出了一个解决方案的问题,近似度量个人公平的基础上人类的判断。我们的模型假设我们可以访问一个人类公平仲裁者,他可以回答一组有限的关于特定任务中个体相似性的查询,没有明确的偏见,并拥有足够的领域知识来评估相似性。我们的贡献包括定义度量近似相关的个人公平,建设近似从有限数量的现实查询的仲裁员的样本的个人,和学习过程,以构建假设的度量近似推广到看不见的样本下的某些假设的距离阈值函数的可学习性。
2020-04-02 cs.CY cs.LG stat.ML
GFairHint: Improving Individual Fairness for Graph Neural Networks via Fairness Hint
University of Maryland(马里兰大学);College of Information Studies, University of Maryland(马里兰大学信息研究学院)
针对现有图神经网络个体公平性方法无法同时兼顾性能平衡、多相似性适配、模型通用性和计算效率的问题,提出GFairHint方法,通过辅助链接预测任务生成公平性提示,在多数据集多模型上实现公平性最优且效用相当、成本更低。
2025-01-13 cs.CY cs.LG cs.SI
Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness
IBM Research(IBM研究院);Massachusetts Institute of Technology(麻省理工学院)
减轻算法偏见是机器学习模型开发和部署中的一项关键任务。虽然有几个工具包可以帮助机器学习从业者解决公平性问题,但人们对从业者用来评估模型公平性的策略以及影响其评估的因素知之甚少,特别是在文本分类的背景下。评价模型公平性的两种常用方法是群体公平性和个体公平性。我们与机器学习从业者(n=24)进行了一项研究,以了解用于评估模型的策略。向从业者提出的问题(群体与个人公平性)影响他们认为公平的模型。与会者重点关注与低估/高估相关的风险以及与身份令牌操作相关的模型敏感性。我们发现公平性评估策略涉及个人经验或用户如何形成身份令牌组来测试模型的公平性。我们提供了交互式工具的建议,用于评估文本分类的公平性。
2023-03-01 cs.CY cs.HC cs.LG
Towards Cohesion-Fairness Harmony: Contrastive Regularization in Individual Fair Graph Clustering
L3S Research Centre, Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心);University of Kurdistan(库尔德斯坦大学);RI CODE, University of the Bundeswehr Munich(慕尼黑联邦国防军大学RI CODE)
针对传统公平图聚类牺牲簇内聚性且缺乏可解释性的问题,提出带对比公平正则化的个体公平非负矩阵三因子分解模型 iFairNMTF,实现平衡且内聚的聚类,兼顾准确性与公平性的可定制权衡,并在实验中验证了其灵活性和优越性能。
2024-02-16 cs.AI cs.IT cs.LG
Individual Fairness in Hierarchical Clustering
Indian Institute of Technology, Gandhinagar(印度理工学院甘地纳格尔分校)
针对层次聚类扭曲局部相似性影响单个数据点的问题,将个体公平性要求限制在k近邻范围,刻画可行性所需松弛量并通过实验验证相关理论结果。
2026-08-27 cs.LG
The Social Cost of Strategic Classification
University of California, Berkeley(加州大学伯克利分校)
后果性决策通常激励个人采取战略性行为,根据决策规则的具体情况调整他们的行为。因此,长期的工作一直试图通过设计更保守的决策边界来抵消战略行为,以增加对战略协变量偏移影响的鲁棒性。我们表明,这些努力有利于机构决策者在被分类的个人的代价。引入社会负担的概念,我们证明了任何制度效用的增加必然导致相应的社会负担的增加。此外,我们表明,战略分类的负外部性可以不成比例地伤害人口中的弱势群体。我们的研究结果强调,战略稳健性必须权衡考虑社会福利和公平。
2018-11-22 cs.LG stat.ML
Latent Space Smoothing for Individually Fair Representations
ETH Zurich(苏黎世联邦理工学院);DeepMind(深度思维)
公平表示学习将用户数据转换为一种表示,该表示确保公平性和实用性,而与下游应用无关。然而,学习单独的公平表示,即,在诸如计算机视觉的高维环境中,保证相似的个体被相似地对待仍然是具有挑战性的。在这项工作中,我们介绍LASSI,第一个表示学习方法来证明个人的公平性的高维数据。我们的关键见解是利用生成建模的最新进展来捕获生成潜在空间中的相似个体集。这使我们能够通过使用对抗训练来最小化他们的表示之间的距离,来学习单独的公平表示,将相似的个体映射到一起。最后,我们采用随机平滑来可证明地将相似的个体映射到一起,从而确保下游应用程序的本地鲁棒性验证导致端到端的公平性认证。我们对具有挑战性的真实世界图像数据的实验评估表明,我们的方法将认证的个人公平性提高了90%,而不会显着影响任务效用。
2022-07-26 cs.AI cs.CV cs.LG
Perturbation Effects on Robustness and Individual Fairness
University of New South Wales(新南威尔士大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Key Laboratory of System Software, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所系统软件重点实验室);Fudan University(复旦大学);Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州先进研究所);The University of Sydney(悉尼大学)
提出鲁棒个体公平性(RIF)概念,并开发黑盒对抗框架RIFair,通过解耦扰动策略暴露模型在语义保持扰动下同时存在的鲁棒性和公平性缺陷。
2026-07-01 cs.AI cs.CY cs.LG
DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision
KAIST(韩国科学技术院);Microsoft Research Asia(微软亚洲研究院);GIST(光州科学技术院);Tsinghua University(清华大学);IBS(基础科学研究院)
算法公平性已经成为一个重要的机器学习问题,特别是对于任务关键型Web应用程序。这项工作提出了一个名为DualFair的自我监督模型,可以从学习的表示中消除性别和种族等敏感属性的偏见。与针对单一类型公平性的现有模型不同,我们的模型联合优化了两个公平性标准-群体公平性和反事实公平性-因此在群体和个人层面上都做出了更公平的预测。我们的模型使用对比损失来生成每个受保护组无法区分的嵌入,同时迫使反事实对的嵌入相似。然后使用自知识蒸馏方法来保持下游任务的表示质量。对多个数据集的广泛分析证实了该模型的有效性,并进一步显示了联合解决两个公平标准的协同作用,表明该模型在公平智能Web应用程序的潜在价值。
2023-03-15 cs.AI cs.CY cs.LG
Post-processing for Individual Fairness
University of Konstanz(康斯坦茨大学);University of Michigan(密歇根大学);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
算法公平性中的后处理是一种通用的方法,用于纠正已经在生产中使用的ML系统中的偏差。后处理的主要吸引力在于它避免了昂贵的再培训。在这项工作中,我们提出了一般的后处理算法的个人公平性(IF)。我们考虑一种设置,其中学习者只能访问原始模型的预测和个体之间的相似性图,指导所需的公平性约束。我们将IF后处理问题转换为对应于图拉普拉斯正则化的图平滑问题,该图拉普拉斯正则化保留了所需的“类似地对待类似个体”的解释。我们的理论结果表明,新的目标函数的连接到一个本地放松的原始个人公平。从经验上讲,我们的后处理算法可以纠正大规模NLP模型(如BERT)中的个体偏差,同时保持准确性。
2021-10-26 cs.LG stat.ML
Individual Fairness Revisited: Transferring Techniques from Adversarial Robustness
Carnegie Mellon University(卡内基梅隆大学)
我们将个体公平性的定义颠倒过来--不是确定给定预定度量的模型的公平性,而是找到满足个体公平性的给定模型的度量。这可以促进关于模型公平性的讨论,解决可能难以先验地指定合适度量的问题。我们的贡献是双重的:首先,我们引入了最小度量的定义,并根据最小度量刻画了模型的行为。其次,对于更复杂的模型,我们应用对抗鲁棒性的随机平滑机制,使它们在给定的加权$L^p$度量下单独公平。我们的实验表明,适应线性模型的最小度量更复杂的神经网络可以导致有意义的和可解释的公平性保证在很小的成本效用。
2020-10-13 cs.LG stat.ML
iFlipper: Label Flipping for Individual Fairness
Georgia Institute of Technology(佐治亚理工学院);KAIST(韩国科学技术院)
随着机器学习变得普遍,减轻训练数据中存在的任何不公平变得至关重要。在公平的各种概念中,本文重点讨论了众所周知的个人公平,即相似的个人应该得到相似的对待。虽然在训练模型(处理中)时可以提高个体公平性,但我们认为在模型训练(预处理)之前修复数据是一个更根本的解决方案。特别是,我们表明,标签翻转是一种有效的预处理技术,提高个人的公平性。我们的系统iFlipper解决了最小翻转标签的优化问题,给出了对个人公平违规的限制,当训练数据中的两个类似的例子有不同的标签时,就会发生违规。我们首先证明了这个问题是NP-困难的。然后,我们提出了一个近似的线性规划算法,并提供理论保证如何接近其结果是最优解的标签翻转的数量。我们还提出了技术,使线性规划的解决方案更优化,而不超过违规限制。在真实数据集上的实验表明,iFlipper在看不见的测试集上的个体公平性和准确性方面明显优于其他预处理基线。此外,iFlipper还可以与处理中技术相结合,以获得更好的效果。
2022-09-15 cs.CY cs.LG
Feature-based Individual Fairness in k-Clustering
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);University of California, Santa Barbara(加州大学圣巴巴拉分校);MPI-SWS(马克斯·普朗克软件系统研究所);Rice University(莱斯大学)
确保机器学习算法的公平性是一项具有挑战性的重要任务。我们考虑的问题,聚类一组点,同时满足公平性约束。虽然已经有几个尝试,以捕捉组公平性的$k$聚类问题,公平性在个人层面上是相对较少的探讨。我们引入了一个新的概念,个人的公平性在$k$ -聚类的基础上不一定用于聚类的功能。我们表明,这个问题是NP-困难的,不承认一个常数因子近似。因此,我们设计了一个随机算法,保证近似在最小化的聚类距离的目标和个人的公平性自然的限制下的距离度量和公平性约束。最后,我们对六个竞争基线的实验结果验证了我们的算法产生的聚类比最公平的基线平均公平12.5%,同时在聚类目标方面的成本也比最佳基线平均低34.5%。
2023-02-03 cs.CY cs.DS cs.LG
Concolic Testing on Individual Fairness of Neural Network Models
National ChengChi University(国立中正大学)
本文提出PyFair框架,通过锥形测试工具PyCT生成公平性特定路径约束,系统探索DNN行为,采用双网络架构实现全面公平性评估并保证部分网络类型的完整性。
2026-05-01 cs.LG cs.SE
Individual Fairness Guarantees for Neural Networks
University of Oxford(牛津大学);TU Delft(代尔夫特理工大学)
研究前馈神经网络的个体公平性的证明问题。特别是,我们与$ε$ - $δ$ -IF配方,其中,给定NN和从数据中学习的相似性度量,要求任何一对$ε$ -相似个体之间的输出差异由最大决策公差$δ\geq 0$限制。使用一系列度量,包括Mahalanobis距离,我们提出了一种方法,使用分段线性函数来过度近似由此产生的优化问题,以降低和上限NN的非线性全局输入空间。我们将此计算编码为混合线性规划问题的解决方案,并证明它可用于计算广泛用于公平性基准测试的四个数据集上的IF保证。我们展示了如何通过修改NN损失来鼓励模型在训练时的公平性,并根据经验证实我们的方法产生的NN比最先进的方法更公平。
2022-05-11 cs.LG
On the (In)Compatibility between Group Fairness and Individual Fairness
University of California Davis(加州大学戴维斯分校);Center of Data Science and Artificial Intelligence Research(数据科学与人工智能研究中心)
本文研究最优统计均等与个体公平的兼容性条件,在冲突时通过 Pareto 前沿刻画二者最优权衡,并给出后处理模型的个体公平保证,为实践者提供兼顾统计均等 Pareto 最优性与个体公平约束的方法。
2024-01-13 cs.CY cs.LG math.ST