Equity of Attention: Amortizing Individual Fairness in Rankings
人物和物品的排名是从就业网站到共享经济平台的选择、匹配和推荐系统的核心。由于排名位置会影响排名主题获得的关注量,排名中的偏见可能会导致机会和资源的不公平分配,例如工作或收入。本文提出了新的措施和机制,量化和减轻不公平的偏见固有的所有排名,即位置偏见,这导致不成比例地少关注低排名的科目。我们的方法在两个重要方面不同于最近的公平排名方法。首先,现有的作品测量不公平的主题组的水平,而我们的措施捕捉不公平的个人科目的水平,并因此submenu组的不公平。其次,由于没有一个单一的排名可以实现个人的注意力公平,我们提出了一种新的机制,实现摊销的公平性,在一系列的排名中积累的注意力是成比例的积累相关性。我们制定的挑战,实现摊销的个人公平性的约束排名质量作为一个在线优化问题,并表明它可以作为一个整数线性规划来解决。我们的实验评估表明,不公平的注意力分布在排名可以是实质性的,并表明我们的方法可以提高个人的公平性,同时保持高排名质量。
2018-05-04 cs.CY cs.IR
Muffin: A Framework Toward Multi-Dimension AI Fairness by Uniting Off-the-Shelf Models
George Mason University(乔治梅森大学);University of Notre Dame(圣母大学);University of Pittsburgh(匹兹堡大学)
针对AI多维度公平性优化中单一属性优化会导致其他属性公平性崩溃的问题,提出Muffin框架,通过整合现成模型同时提升多属性公平性,在皮肤病数据集上实现双属性公平性与准确率同步提升。
2023-08-26 cs.CY cs.LG
On the Long-term Impact of Algorithmic Decision Policies: Effort Unfairness and Feature Segregation through Social Learning
ETH Zürich(苏黎世联邦理工学院);MPI-SWS(马克斯·普朗克软件系统研究所)
大多数现有的算法公平性概念都是一次性的:它们确保了决策时某种形式的分配平等,但没有考虑到今天的算法决策对某些群体的长期福利和繁荣的不利影响。我们对算法公平性采取更广泛的视角。我们提出了一种基于努力的公平性衡量标准,并提出了一个数据驱动的框架,用于表征算法政策对重塑底层人口的长期影响。受\emph{social learning}的心理学文献和机会均等的经济学文献的启发,我们提出了一个个体如何对决策算法做出反应的微观模型。我们采用现有的隔离措施,从社会学和经济学量化所产生的宏观规模的人口水平的变化。重要的是,我们观察到,不同的模型可能会改变资格的群体条件分布在不同的方向。我们的研究结果提出了一些关于决策模型公平性的形式化的重要问题。
2019-06-27 cs.AI cs.CY
Counterfactual Fair Opportunity: Measuring Decision Model Fairness with Counterfactual Reasoning
Polytechnic University of Bari(巴里理工大学);University of Bari(巴里大学)
越来越多的人工智能和机器学习模型的应用带来了不公平行为的潜在风险,根据最近的法规,已经引起了研究界的关注。一些研究人员专注于寻求新的公平定义或开发方法来识别有偏见的预测。然而,没有人试图利用反事实空间来达到这一目的。在这个方向上,在这项工作中提出的方法,旨在揭示不公平的模型行为,使用反事实推理的情况下,在无意识设置的公平。定义了机会平等的反事实版本--反事实公平机会,并引入了两种新的度量方法来分析反事实样本中的敏感信息。在三个不同数据集上的实验结果显示了我们的方法和指标的有效性,揭示了经典机器学习和去偏置模型的不公平行为。
2023-02-16 cs.AI cs.CY cs.LG
Addressing Polarization and Unfairness in Performative Prediction
针对表现型预测框架中表现稳定解易引发极化、性能差异且现有公平干预失效的问题,提出可同时保证稳定性与公平性的新型公平机制,并通过理论与实验验证其有效性。
2025-11-16 cs.AI cs.CY cs.LG
Unfair Utilities and First Steps Towards Improving Them
University of Copenhagen(哥本哈根大学);ETH Zurich(苏黎世联邦理工学院)
本文提出将公平性作为效用函数的属性而非策略约束,定义信息价值公平性并修改效用函数以消除推断受保护属性的动机,在思想实验和COMPAS数据上验证其与直觉公平判断的一致性。
2026-09-15 cs.CY cs.LG stat.ML
Algorithmic Unfairness through the Lens of EU Non-Discrimination Law: Or Why the Law is not a Decision Tree
Eindhoven University of Technology(埃因霍温理工大学);Sciences Po Law School(巴黎政治学院法学院);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);University of Copenhagen(哥本哈根大学)
本文通过欧盟非歧视法视角分析算法不公的典型案例,揭示法律推理与算法公平性指标在规范假设上的差异及其局限,并为AI从业者和监管者提供启示。
2023-05-24 cs.AI cs.CY cs.LG
Learning Antidote Data to Individual Unfairness
Brandeis University(布兰迪斯大学);Cornell University(康奈尔大学)
针对DRO方法因忽略特征相关性导致流形外优化的问题,提出学习符合数据分布的解毒数据作为预处理方法,在最小或零效用损失下有效缓解个体不公平性。
2023-05-24 cs.CY cs.LG
Failing on Bias Mitigation: A Case Study on the Challenges of Fairness in Government Data
Hongbo Bo(1. 香港大学);Debbie Watson(2. 英国皇家统计学会)
本文通过布里斯托尔市议会犯罪率预测数据,探讨政府数据中公平性问题的持续存在,发现偏见缓解方法失效源于数据本身的固有属性而非模型缺陷。
2026-03-17 cs.AI cs.CY
A statistical approach to detect sensitive features in a group fairness setting
School of Applied Sciences (FCA)(应用科学学院(FCA));University of Campinas (UNICAMP)(坎皮纳斯大学(UNICAMP));Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用实验室)
本文提出一种基于希尔伯特-施密特独立性准则的预处理方法,自动识别群体公平设置中的敏感特征,无需训练模型,实证表明文献中的敏感特征未必导致不公平结果。
2023-05-11 cs.CY cs.LG
A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
由于减少ML预测中的不公平性越来越重要,Fair-ML研究人员提出了一套广泛的算法“公平性增强”补救措施。然而,大多数现有的算法是不可知的观察到的不公平的来源。因此,文献目前缺乏指导框架来指定每种算法干预可能减轻不公平的根本原因的条件。为了缩小这一差距,我们仔细研究了潜在的偏见(例如,在训练数据或设计选择中)引起观测不公平。我们提出的概念思想和第一个实现的偏见注入沙箱工具,调查各种偏见的公平后果,并评估算法补救措施的有效性,在特定类型的偏见的存在。我们称这个过程为算法干预的偏差(压力)测试。与现有的工具包不同,我们提供了一个受控的环境,可以在ML管道中反事实地注入偏见。这种程式化的设置提供了超越观察数据和无偏见基准测试公平干预的独特能力。特别是,我们可以测试一个给定的补救措施是否可以减轻注入的偏见,通过比较的预测结果后,在有偏见的设置与真正的标签在无偏见的制度,也就是说,在任何偏见注入。我们通过对合成数据的概念验证案例研究来说明我们的工具包的实用性。我们的实证分析展示了通过我们的模拟可以获得的见解类型。
2022-12-13 cs.CY cs.LG
Understanding Unfairness in Fraud Detection through Model and Data Bias Interactions
Feedzai(Feedzai公司);Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究所)
近年来,机器学习算法在众多高风险决策应用中变得无处不在。机器学习算法从数据中学习模式的无与伦比的能力也使它们能够将偏见嵌入其中。一个有偏见的模型可以做出不成比例地伤害社会中某些群体的决定-例如,限制他们获得金融服务。对这一问题的认识已经引起了公平ML领域的兴起,该领域专注于研究、测量和减轻算法预测中关于一组受保护组(例如,种族或性别)。然而,算法不公平的根本原因仍然难以捉摸,研究人员在归咎于ML算法或它们训练的数据之间存在分歧。在这项工作中,我们认为算法不公平源于模型之间的相互作用和数据中的偏见,而不是来自其中任何一个的孤立贡献。为此,我们提出了一种分类来表征数据偏差,并研究了一组关于公平盲ML算法在不同数据偏差设置下表现出的公平-准确性权衡的假设。在我们真实的开户欺诈用例中,我们发现每个设置都需要特定的权衡,影响期望值和方差的公平性-后者通常被忽视。此外,我们还展示了算法在准确性和公平性方面的不同比较,这取决于影响数据的偏见。最后,我们注意到,在特定的数据偏差条件下,简单的预处理干预可以成功地平衡组的出错率,而同样的技术在更复杂的设置失败。
2022-07-13 cs.CY cs.LG q-fin.ST
Assessing Predictive Models for Fairness Based on Activity-Space Patterns
University of Padua(帕多瓦大学)
针对预测模型的空间公平性,提出将公平性概念从单一地理位置扩展到移动模式,并采用空间扫描统计方法检测基于移动模式的不公平性。
2026-09-11 cs.CY cs.LG
Fairness Incentives in Response to Unfair Dynamic Pricing
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院);Université de Montréal(蒙特利尔大学);Dalhousie University(达尔豪斯大学);McGill University(麦吉尔大学)
本文针对企业动态定价引发的需求公平问题,设计了一个包含动态社会规划器的模拟经济体,利用多臂老虎机、上下文老虎机和强化学习生成税收与补贴政策以激励公平定价,并引入FairReplayBuffer改善RL采样,显著提升了社会福利。
2024-04-22 cs.CY cs.LG
Fair Clustering: A Causal Perspective
ETH Zürich(苏黎世联邦理工学院);Columbia University(哥伦比亚大学)
针对现有公平聚类方法未考虑因果机制、优化非因果公平性可能引发直接歧视的问题,提出结合因果公平性指标的聚类方法,支持指定需最小化的指标,并在含不公平偏差的数据集上验证了有效性。
2023-12-14 cs.CY cs.LG stat.ML
Fairness-Aware Data Valuation for Supervised Learning
Feedzai(Feedzai公司);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所)
数据估值是一个ML领域,研究训练实例对给定预测任务的价值。虽然数据偏差是下游模型不公平的主要来源之一,但以前的数据评估工作并没有考虑训练实例如何影响ML模型的性能和公平性。因此,我们提出了公平感知数据评估(FADO),这是一个数据评估框架,可用于将公平性问题纳入一系列ML相关任务(例如,数据预处理、探索性数据分析、主动学习)。我们提出了一个基于熵的数据评估指标,适合于解决我们的双管齐下的目标,最大限度地提高性能和公平性,这是更有效的计算比现有的指标。然后,我们将展示如何FADO可以应用为基础的不公平缓解预处理技术。我们的方法取得了令人鼓舞的结果-与基线相比,公平性提高了40个百分点,性能损失不到1个百分点-并以数据为中心的方式促进公平性,其中对数据质量的更深入理解占据了中心地位。
2023-03-29 cs.CY cs.LG
Minority Collective Action for User-Side Fairness
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);ETH Zurich(苏黎世联邦理工学院)
针对现有企业端偏见缓解技术存在效用成本、需组织支持的问题,提出基于算法集体行动框架的三种模型无关重标注方法,验证发现少数群体子群体即可大幅降不公平性且对预测误差影响小。
2026-10-06 cs.CY cs.LG
Cherry on the Cake: Fairness is NOT an Optimization Problem
University of Antwerp(安特卫普大学)
研究指出公平 AI 中的 cherry-picking 行为并非仅源于恶意,而是优化过程的必然结果,通过引入 fair cake-cutting 工具证明其与监督多标签分类的联系,为公平性和分类提供新视角。
2024-12-19 cs.CY cs.GT cs.LG
A Distributionally Robust Optimisation Approach to Fair Credit Scoring
Soton.ac.uk(索顿大学)
研究如何将分布鲁棒优化(DRO)方法用于信用评分,通过实验评估其公平性、分类能力及稳健性。发现DRO方法显著提升公平性且预测性能损失小,表明其可改善信用评分公平性,同时指出常用公平性指标在信用评分设置中有局限。
2026-07-09 cs.CY cs.LG
A Human-In-The-Loop Approach for Improving Fairness in Predictive Business Process Monitoring
Friedrich-Alexander-University Erlangen-Nuremberg, Germany(埃森纳赫-纽伦堡弗里德里希-亚历山大大学);University of Bayreuth, Bayreuth, Germany(拜罗伊特大学)
针对预测性业务流程监控模型因敏感属性导致的有偏预测问题,提出一种人在环的模型无关方法,通过修改从原模型提炼的决策树区分公平与不公平决策,在有偏数据下实现公平性与准确性的良好权衡。
2025-08-24 cs.CY cs.LG
A Framework for Fairer Machine Learning in Organizations
John Chambers College of Business and Economics, West Virginia University(西弗吉尼亚大学约翰·钱伯斯商学院);Carroll School of Management, Boston College(波士顿学院卡罗尔管理学院);Massachusetts Institute of Technology(麻省理工学院)
随着组织越来越多地采用机器学习工具,不公平的风险比比皆是,特别是当招聘、住房、贷款和入学等具有社会经济重要性的人类决策过程自动化时。我们揭示了不公平的机器学习的来源,审查了公平性标准,并提供了一个框架,如果实施,将使组织能够避免实施不公平的机器学习模型,但也避免了常见的情况下,随着算法学习更多的数据,它可能会变得不公平随着时间的推移。组织实施机器学习的行为伦理问题在文献中没有得到彻底解决,因为许多必要的概念分散在三个文献中:伦理,机器学习和管理。此外,机器学习中的公平标准之间的权衡尚未针对组织解决。我们通过引入一个组织框架来选择和实施组织中的公平算法来推进研究。
2020-09-10 cs.CY cs.LG
FairRoad: Achieving Fairness for Recommender Systems with Optimized Antidote Data
The Ohio State University(俄亥俄州立大学);Amazon(亚马逊)
如今,推荐系统在塑造我们的数字环境和社交互动体验方面发挥着越来越重要的作用。然而,随着推荐系统在我们的社会中变得无处不在,近年来也见证了显着的公平性问题的推荐系统。具体来说,研究表明,推荐系统可能会继承甚至放大历史数据的偏见,从而提供不公平的推荐。为了解决推荐系统中的公平性风险,迄今为止,大多数以前的方法都集中在修改现有的训练数据样本或部署的推荐算法,但不幸的是,成功的程度有限。在本文中,我们提出了一种新的方法,称为公平推荐与优化解毒剂数据(FairRoad),其目的是提高推荐系统的公平性能,通过构建一个小的,精心制作的解毒剂数据集。为此,我们制定了我们的解毒剂数据生成任务作为一个数学优化问题,最大限度地减少了目标推荐系统的不公平性,同时不破坏部署的推荐算法。大量的实验表明,我们提出的解毒剂数据生成算法显着提高推荐系统的公平性与少量的解毒剂数据。
2022-12-13 cs.CR cs.CY cs.IR
Fair Inference for Discrete Latent Variable Models
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
现在人们已经很好地理解了,机器学习模型,在没有适当照顾的情况下对数据进行训练,往往会对某些人群表现出不公平和歧视性的行为。传统的算法公平性研究主要集中在监督学习任务,特别是分类。虽然无监督学习的公平性受到了一些关注,但文献主要关注连续嵌入的公平表示学习。在本文中,我们相反地专注于使用离散潜变量的概率图模型的无监督学习。我们开发了一个公平的随机变分推理技术的离散潜变量,这是通过包括一个公平的惩罚的变分分布,旨在尊重原则的交叉性,从法律,社会科学和人文文学的公平性的关键镜头,然后优化变分参数在此处罚。我们首先展示了我们的方法在基准数据集上使用朴素贝叶斯和高斯混合模型来提高聚类的公平性和公正性方面的实用性。为了证明我们的方法的一般性及其对现实世界的影响潜力,我们开发了一个特殊用途的图形模型,用于刑事司法风险评估,并使用我们的公平方法来防止编码不公平的社会偏见的推论。
2022-09-15 cs.CY cs.LG
Using Synthetic Data to Mitigate Unfairness and Preserve Privacy in Collaborative Machine Learning
Lehigh University(利哈伊大学)
提出两阶段合成数据策略,通过双层优化和差分隐私生成合成数据,实现协作机器学习中的公平预测、隐私保护和单次通信降本。
2025-01-23 cs.CY cs.LG math.OC