Ensuring User-side Fairness in Dynamic Recommender Systems
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Rochester(罗切斯特大学);Amazon.com, Inc.(亚马逊公司)
本文首次研究动态推荐系统中的用户侧公平性,提出端到端微调框架FADE,通过带重启的增量微调和改进的可微指标DH,有效减少用户群体性能差异且几乎不损失整体推荐性能。
2025-05-28 cs.CY cs.IR cs.LG
Public support for misinformation interventions depends on perceived fairness, effectiveness, and intrusiveness
该研究以1010名美国社交媒体用户为对象,发现公众对错误信息干预措施的支持度主要取决于感知公平性、有效性和侵入性,支持用户自主权与透明度的干预更受欢迎,且存在民主党人、女性支持度更高的人口统计学差异。
2026-08-13 cs.CY
Online certification of preference-based fairness for personalized recommender systems
Meta AI
推荐系统正面临审查,因为它们对我们所能获得的机会的影响越来越大。目前对公平性的审计仅限于敏感群体级别的粗粒度奇偶性评估。我们建议审计无嫉妒性,这是一个与个人偏好相一致的更细粒度的标准:每个用户都应该喜欢他们的推荐。由于审计嫉妒需要估计用户的偏好超出他们现有的建议,我们投审计作为一个新的纯探索多武装土匪的问题。我们提出了一个样本效率的算法,理论上保证它不会恶化用户体验。我们还研究了在现实世界的推荐数据集上实现的权衡。
2023-03-06 cs.AI cs.CY cs.LG
FACTER: Fairness-Aware Conformal Thresholding and Prompt Engineering for Enabling Fair LLM-Based Recommender Systems
University of Southern California(南加州大学)
本文提出公平性感知框架 FACTER,通过共形预测、自适应语义方差阈值和对抗性提示生成,在不重训大语言模型的情况下将推荐系统公平性违规最高降低95.5%,同时保持推荐准确性。
2025-02-05 cs.AI cs.CY cs.IR
Disclosure and Evaluation as Fairness Interventions for General-Purpose AI
Stanford University(斯坦福大学);Cornell Tech(康奈尔科技)
针对通用AI公平性缺乏情境的问题,提出通过系统提供者与部署者的信息披露和评估流程来分配责任,以促进情境化干预。
2025-10-06 cs.CY
Fairness in Recommendation Ranking through Pairwise Comparisons
Google(谷歌)
推荐系统是工业中机器学习最普遍的应用之一,许多服务使用它们来将用户与产品或信息相匹配。因此,重要的是要问:什么是可能的公平风险,我们如何量化它们,以及我们应该如何解决它们?在本文中,我们提供了一套新的度量标准,用于评估算法公平性的关注推荐系统。特别是,我们如何衡量公平性的基础上成对比较随机实验提供了一个易于处理的方法来推理公平性的排名推荐系统。在此指标的基础上,我们提供了一个新的正则化器,以鼓励在模型训练期间改进此指标,从而提高最终排名的公平性。我们将这种成对正则化应用于一个大规模的生产推荐系统,并表明我们能够显着提高系统的成对公平性。
2019-03-02 cs.AI cs.CY cs.IR
Cascaded Debiasing: Studying the Cumulative Effect of Multiple Fairness-Enhancing Interventions
Stony Brook University(石溪大学);Los Altos High School(洛斯阿尔托斯高中)
理解在机器学习(ML)管道的不同阶段的多种公平性增强干预的累积效应是公平性文献的一个关键和未充分探索的方面。这些知识对于数据科学家/ML从业者在设计公平的ML管道方面可能很有价值。本文采取了探索这一领域的第一步,进行了广泛的实证研究,包括60种干预措施的组合,9个公平性指标,2个效用指标(准确性和F1得分)在4个基准数据集。我们对实验数据进行定量分析,以衡量多种干预措施对公平性、效用和人群的影响。我们发现,应用多种干预措施的结果更好的公平性和较低的效用比个人干预的总和。然而,增加更多的干预并不总是导致更好的公平或更差的效用。实现高绩效(F1分数)以及高公平性的可能性随着干预措施的数量增加而增加。不利的一面是,我们发现,促进公平的干预措施会对不同的人口群体产生负面影响,特别是特权群体。这项研究强调了需要新的公平性指标,除了群体之间的差异外,还需要考虑对不同人群的影响。最后,我们提供了一系列干预组合,这些组合在不同的公平性和效用指标上表现最佳,以帮助设计公平的ML管道。
2022-08-22 cs.AI cs.CY cs.LG
A Personalized Framework for Consumer and Producer Group Fairness Optimization in Recommender Systems
University College London(伦敦大学学院);University of Southern California(南加州大学);Polytechnic University of Bari(巴里理工大学)
针对推荐系统现有公平性研究忽略双边市场特性的问题,提出可整合供需双方群体公平约束的重排序框架CP-FairRank,经多数据集和主流模型验证,可在基本不降低推荐质量的同时提升双边公平性。
2024-02-01 cs.AI cs.CY cs.IR
In-processing User Constrained Dominant Sets for User-Oriented Fairness in Recommender Systems
Zhejiang University(浙江大学);OPPO Research Institute(OPPO研究院)
提出In-UCDS框架,通过约束支配集聚类和公平性损失处理,解决推荐系统用户导向公平性问题,并在三个数据集上验证其优于现有方法。
2023-09-04 cs.CY cs.IR cs.LG
Synthetic Attribute Data for Evaluating Consumer-side Fairness
在评估推荐系统的公平性时,可能需要使用人口统计属性,这些属性对个人敏感,通常被排除在公共数据集之外。此外,这些属性是固定的,因此不可能使用相同的数据对不同的分布进行实验。在本文中,我们描述了频率链接属性生成(FLAG)算法,并显示其适用性分配合成人口统计属性的推荐数据集。
2018-09-12 cs.CY
Fairness Theatre: Evaluating Post-Hoc Fairness Interventions in Vendor-Controlled Early Warning Systems
University of Toronto(多伦多大学);Georgia Institute of Technology(佐治亚理工学院)
本研究评估供应商控制早期预警系统中的事后公平性干预,发现干预仅重新分配而非减少差异,并可能加剧边缘群体负担,提出“公平性剧场”概念。
2026-10-01 cs.CY cs.HC cs.LG
On the Identification of Fair Auditors to Evaluate Recommender Systems based on a Novel Non-Comparative Fairness Notion
Missouri University of Science and Technology(密苏里科技大学)
决策支持系统是指在司法、房地产和银行等领域为人们的决策提供支持的信息系统。最近,人们发现这些支助系统在许多实际部署中具有歧视性。为了评估和减轻这些偏见,算法公平性文献已经使用比较正义的概念进行了培育,这主要依赖于比较社会中的两个或多个个体或群体,这些系统得到了支持。然而,这种公平的概念是不是很有用的,在确定公平的审计师谁聘请评估决策支持系统内的潜在偏见。作为解决方案,我们引入了一个范式转变的算法公平性通过提出一个新的公平性概念的基础上的原则,非比较正义。假设审计师根据决策支持系统的某些(可能未知的)期望属性进行公平性评估,则建议的公平性概念将系统的结果与审计师的期望结果进行比较。我们表明,建议的公平性概念也提供了保证,在比较公平的概念,证明任何系统可以被认为是公平的,从比较公平的角度来看(如个人公平性和统计平价),如果它是非相对公平的审计师谁被认为是公平的,就相同的公平性概念。我们还表明,反之亦然的情况下,个人公平。一个简短的讨论也提出了关于我们的公平概念可以用来识别公平和可靠的审计师,以及我们如何可以使用它们来量化决策支持系统中的偏见。
2020-09-09 cs.AI cs.CY cs.HC
A comparative study of fairness-enhancing interventions in machine learning
Haverford College(哈弗福德学院);University of Arizona(亚利桑那大学);University of Utah(犹他大学)
计算机越来越多地用于做出对人们生活有重大影响的决定。通常,这些预测会不成比例地影响不同的人口亚群。因此,公平性的问题最近受到了很大的关注,一些公平性增强的分类器和预测器已经出现在文献中。本文试图研究以下问题:这些不同的技术如何从根本上相互比较,以及是什么原因造成的差异?具体而言,我们力求提请注意这种加强公平的干预措施中许多未得到充分重视的方面。具体地说,我们提出了一个开放的基准测试,我们已经开发,让我们比较了一些不同的算法下的各种公平性措施,以及大量的现有数据集的结果。我们发现,虽然不同的算法往往更喜欢特定的配方的公平性,许多这些措施强烈相互关联。此外,我们发现公平性保持算法往往对数据集组成的波动敏感(在我们的基准测试中通过不同的训练测试分割进行模拟),这表明公平性干预可能比以前认为的更脆弱。
2018-02-13 cs.CY cs.LG stat.ML
Structural Interventions and the Dynamics of Inequality
针对算法公平性技术干预的局限性,本文构建决策模型,以抵押贷款为例展示了结构性不平等如何被看似无偏见的机制延续,并指出技术方案须结合外部情境化干预以推动社会变革。
2024-06-03 cs.CY
The Neutrality Fallacy: When Algorithmic Fairness Interventions are (Not) Positive Action
Eindhoven University of Technology(埃因霍温理工大学);Sciences Po Law School(巴黎政治学院法学院);Université Paris-Saclay(巴黎萨克雷大学);University of Copenhagen(哥本哈根大学);IEA-Paris(巴黎经济合作协会)
本文指出算法公平干预常被误判为积极行动,实为防歧视,并建议从消极“不伤害”转向积极“不造成伤害”的框架。
2024-04-18 cs.AI cs.CY
Unintended Consequences of Recommender System Interventions: Evidence from a Field Experiment
Olin Business School, Washington University in St. Louis(华盛顿大学圣路易斯分校奥林商学院)
通过短视频平台现场实验发现,睡眠提醒干预反而增加深夜使用14.75%和总使用2.18%,原因在于干预揭示了高潜在需求,触发推荐策略更新,形成持久性系统级影响。
2026-06-06 cs.CY econ.GN q-fin.EC
Multisided Fairness for Recommendation
最近关于机器学习的工作已经开始考虑公平性问题。在本文中,我们将公平性的概念扩展到推荐。特别是,我们表明,在某些推荐的情况下,公平性可能是一个多方面的概念,其中需要考虑多个人的公平结果。基于这些考虑,我们提出了一个公平意识推荐系统的分类,并建议可能的公平意识推荐架构。
2017-07-08 cs.CY cs.IR
FairPrep: Promoting Data to a First-Class Citizen in Studies on Fairness-Enhancing Interventions
New York University(纽约大学)
将道德和法律合规纳入机器辅助决策的重要性得到了广泛认可。此外,最近的几项工作认为,如果我们不考虑模型训练和部署上游的生命周期阶段,就会错过提高数据质量和代表性、控制偏差以及允许人类监督和影响计算过程的关键机会。然而,迄今为止,为希望开发和部署负责任的机器学习方法的数据科学家提供系统级支持的工作很少。我们的目标是填补这一空白,目前FairPrep,公平性增强干预措施的设计和评估框架。FairPrep基于以开发人员为中心的设计,帮助数据科学家遵循软件工程和机器学习的最佳实践。作为我们的贡献的一部分,我们确定现有的实证研究中的不足之处,分析公平性增强的干预措施。然后,我们将展示如何使用FairPrep来衡量声音最佳实践的影响,例如超参数调整和功能缩放。特别是,我们的研究结果表明,在以前的研究中观察到的公平性增强干预措施的结果的高度可变性往往是缺乏超参数调整的伪像。此外,我们还表明,数据清理方法的选择可能会影响增强公平性干预措施的有效性。
2019-11-28 cs.CY cs.DB cs.LG
Designing Recommender Systems to Depolarize
两极分化涉及民主的侵蚀和暴力的发展,这使得大型算法内容选择系统(推荐系统)的两极分化特性成为和平与安全的一个问题。虽然算法驱动的社交媒体似乎不是国家一级两极分化的主要驱动力,但它可能是两极分化社会的一个有用的干预点。本文探讨了算法去极化干预的冲突转化的目标:不抑制或消除冲突,但走向更建设性的冲突。在三个阶段考虑了媒体干预:哪些内容可用(审核),如何选择和个性化内容(排名),以及内容呈现和控制(用户界面)。网络冲突的实证研究表明,作为“过滤泡沫”的解毒剂提出的曝光多样性干预可以得到改善,甚至可以在某些条件下恶化两极分化。在内容选择中结合使用文明指标可能更有效。然而,基于多样性的干预措施尚未经过大规模测试,在真实平台的多样性和动态背景下可能无法发挥作用。相反,干预平台偏振动态将可能需要持续监测偏振度量,例如广泛使用的“感觉温度计”。“这些指标可用于评估产品功能,并可能设计为算法目标。可能进一步证明有必要在推荐算法的目标函数中包括极化度量,以防止优化过程产生冲突作为副作用。
2021-07-11 cs.CY cs.IR cs.SI
Identifying Best Fair Intervention
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
研究了在给定的因果模型中,具有公平性约束的最佳臂识别问题。我们的目标是在一个给定的节点上找到一个软干预,以最大限度地提高结果,同时满足公平性约束,通过反事实估计,只有部分知识的因果模型。这个问题的动机是确保在线市场的公平性。我们提供理论保证的错误概率和经验检验我们的算法的有效性与两阶段的基线。
2021-11-08 cs.CY cs.LG stat.ML
Adapting Fairness Interventions to Missing Values
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文研究缺失值对算法公平性的影响,提出可扩展的自适应算法,与现有公平性干预结合,保留缺失模式信息,实验证明其公平性和准确率优于插补后分类。
2023-11-10 cs.CY cs.IT cs.LG
Fairness Interventions in Classification: A Study on AI Explainability
Travail & Institut Jean-Nicod (CNRS, ENS-PSL, EHESS)(巴黎研究所与Jean-Nicod研究所);Linedata(Linedata公司);Institut Jean-Nicod (CNRS, ENS-PSL, EHESS)(巴黎研究所与Jean-Nicod研究所);IRL Crossing
本文研究了公平干预中纠正方法的可解释性,通过FairDream工具包展示如何通过透明机制提高对弱势群体的模型误差权重,并揭示数据环境中的保守偏见。
2026-07-28 cs.AI cs.CY cs.LG
Fairness Sample Complexity and the Case for Human Intervention
New York University(纽约大学);Google Research(谷歌研究院)
为了构建包含公平性和问责制标准的机器学习系统,我们探索了显式子组样本复杂性界限。这项工作的动机是观察到,分类器预测的真实世界的数据集往往表现出截然不同的指标,如准确性,细分时,由特定的敏感变量子组。造成这些差异的原因多种多样,不仅限于缓解变量、机构偏见、基本人口分布以及抽样偏见的影响。在现有的众多公平性定义中,我们认为,原则性的ML实践至少应该确保分类预测能够反映底层的子群体分布。然而,随着敏感变量数量的增加,在这些变量的交叉点上相遇的种群可能根本不存在,或者可能不够大,无法提供准确的分类样本。在这些可能性越来越大的情况下,我们提出了人为干预的理由,并应用了情境和个人对公平的定义。本文基于可能近似度量公平学习理论,给出了度量公平学习的子群样本复杂度下界。我们证明,对于一个分类器,以接近公平的定义,在特定的敏感变量,足够的子组人口样本需要存在和模型的维数必须与子组人口分布。在这种情况下,这是不可行的,我们提出了一种方法,使用个人的公平性定义实现对齐。我们在这个镜头下看两个常用的UCI数据集,并建议人为干预特定亚组的数据汇集,以实现近似的个人公平性的线性假设。
2019-10-24 cs.CY cs.LG stat.ML
Aleatoric and Epistemic Discrimination: Fundamental Limits of Fairness Interventions
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Harvard College(哈佛学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Harvard University(哈佛大学)
本文提出区分数据分布固有的偶然歧视与建模决策导致的认知歧视,并利用统计实验比较给出公平性性能极限,以基准评估现有公平干预。
2024-04-15 cs.CY cs.IT cs.LG
Fairness Through Domain Awareness: Mitigating Popularity Bias For Music Discovery
MILA(蒙特利尔学习算法研究所);Google(谷歌)
本研究针对音乐推荐系统中的流行度偏差问题,提出基于领域感知个体公平性的BOOST方法,在冷启动场景下的播放列表与用户级推荐任务中,性能及小众内容推荐效果均优于现有公平基准。
2023-08-28 cs.CY cs.IR cs.LG
Arbitrariness Lies Beyond the Fairness-Accuracy Frontier
JPMorgan Chase Bank, N.A.(摩根大通银行);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
本研究发现仅优化群体公平性与准确率的公平性干预会加剧预测多样性,掩盖模型任意性,为此提出适用于各类公平性干预的集成算法,以提升预测一致性。
2023-06-15 cs.CY cs.IT cs.LG
New Fairness Metrics for Recommendation that Embrace Differences
Department of Computer Science Blacksburg Virginia 24060;Department of Computer Science
我们研究了协同过滤推荐系统的公平性,该系统对历史数据中存在的歧视很敏感。有偏见的数据会导致协同过滤方法对少数用户群体做出不公平的预测。我们确定现有的公平性指标的不足,并提出了四个新的指标,解决不同形式的不公平。这些公平性度量可以通过向学习目标添加公平性项来优化。在合成数据和真实数据上的实验表明,我们的新指标可以更好地衡量公平性比基线,公平性目标有效地帮助减少不公平。
2017-12-13 cs.AI cs.CY
Measuring Commonality in Recommendation of Cultural Content: Recommender Systems to Enhance Cultural Citizenship
推荐系统已成为文化内容策划的主要手段,显著影响个人文化体验的性质。虽然大多数关于推荐系统的研究都是针对个性化用户体验进行优化,但这种模式并没有捕捉到推荐系统在总体上、在用户群体中影响文化体验的方式。尽管现有的新颖性、多样性和公平性研究探讨了系统如何与文化内容的更广泛的社会作用相关联,但它们并没有充分地将文化作为核心概念和挑战。在这项工作中,我们引入共性作为一个新的措施,反映了在何种程度上推荐熟悉特定类别的文化内容的用户群体。我们提出的共性度量响应一组参数开发通过跨学科的对话研究人员在计算机科学和社会科学和人文科学。参考的原则,支持非营利,公共服务媒体系统在民主社会中,我们确定的地址和内容多样性的普遍性,在加强文化公民的服务,特别是相关的目标,推荐系统提供文化内容。以电影推荐中的多样性为案例研究,在增强多元文化体验,我们实证比较系统的性能使用共性和现有的效用,多样性和公平性指标。我们的研究结果表明,共性捕获系统行为的属性补充现有的指标,并建议需要替代的,非个性化的干预措施,在推荐系统面向加强跨人群的用户的文化公民身份。通过这种方式,共性有助于越来越多的学术机构为数字媒体和ML系统开发“公共利益”理论。
2022-08-02 cs.CY cs.IR
Facets of Fairness in Search and Recommendation
最近的几项工作突出了搜索和推荐系统如何沿着不同的维度表现出偏见。抵制这种偏见并在搜索中引入一定程度的公平性,不仅对于创造一个考虑相关性和多样性的更平衡的环境至关重要,而且对于为内容消费者和内容生产者提供一个更可持续的前进方向也至关重要。这篇简短的论文探讨了最近的一些作品,以定义相关性,多样性和相关概念。然后,它着重于解释在各种推荐设置中新兴的公平性概念。在这样做的时候,本文提出了比较,并强调各种措施之间的合同,在我们的概念和评估框架的差距。
2020-07-16 cs.CY cs.IR
What Makes a Fairness Gap Actionable? Statistical Actionability for Responsible AI Deployment
Central Michigan University(中密歇根大学)
该研究提出统计可操作性框架,整合多维度公平性证据生成部署建议,在模拟中降低决策成本,可区分相似公平差距审计,为负责任AI部署提供决策层支持。
2026-08-19 cs.CY stat.ME
Towards Soft Fairness in Restless Multi-Armed Bandits
Singapore Management University(新加坡管理大学)
不安多武装匪徒(RMAB)是一个框架,用于分配不确定性下的有限资源。这是一个非常有用的模式,可用于监测受益人和及时采取干预措施,以确保公共卫生环境中的最大效益(例如,确保病人在结核病环境中服药,确保孕妇收听有关良好怀孕做法的自动电话)。由于资源有限,某些社区或地区通常缺乏可产生后续影响的干预措施。为了避免饥饿在执行的干预措施在个人/地区/社区,我们首先提供了一个软公平约束,然后提供了一种方法来执行软公平约束的RMAB。软公平性约束要求,如果选择后一个手臂的长期累积回报更高,则算法在概率上永远不会偏向于一个手臂。我们的方法采用了基于softmax的值迭代方法在RMAB设置设计选择算法,管理,以满足建议的公平性约束。我们的方法,称为SoftFair,也提供了理论上的性能保证,是渐近最优的。最后,我们证明了我们的方法模拟基准的效用,并表明软公平约束可以处理没有显着牺牲的价值。
2022-07-27 cs.AI cs.CY cs.LG
The Long Arc of Fairness: Formalisations and Ethical Discourse
Technical University of Denmark(丹麦技术大学);Technische Universität Berlin(柏林工业大学)
近年来,算法决策(ADM)的形式化和建模公平性的想法已经发展到了一个复杂的专业化点。然而,关于公平的技术(形式化)和伦理话语之间的关系并不总是明确和富有成效的。我们从另一个角度出发,回顾了现有的公平性指标,并讨论了一些常见的问题。例如,程序和分配的公平性往往是形式化的,并静态地讨论,忽视了现状的结构性先决条件和特定干预措施的下游影响。然后,我们引入动态公平建模,一个更全面的方法,重新调整正式的公平指标与伦理话语的参数。动态公平模型包括(1)道德目标,(2)量化决策程序和结果的正式指标,以及(3)中期或长期下游影响。通过将公平相关过程的这些要素置于情境中,动态公平建模阐明了以前潜在的道德方面,从而提供了一个有用的工具来导航不同公平干预之间的权衡。为了说明该框架,我们讨论了一个示例应用程序-目前欧洲努力增加公司董事会中的女性人数,例如通过配额解决方案-并提出适合我们框架的早期技术工作。
2022-03-08 cs.CY cs.LG
Optimizing generalized Gini indices for fairness in rankings
Meta AI Research(元人工智能研究院);LAMSADE, Université Paris Dauphine-PSL(巴黎多芬大学-PSL LAMSADE实验室)
人们越来越感兴趣的是设计推荐系统,旨在公平对待项目生产者或他们最不满意的用户。受经济学中不平等度量领域的启发,本文探讨了使用广义基尼福利函数(GGF)作为一种手段来指定推荐系统应该优化的规范标准。GGF根据个人在人口中的地位来衡量个人的权重,给予境况更差的个人更大的权重,以促进平等。根据这些权重,GGF最小化项目暴露的基尼指数,以促进项目之间的平等,或专注于最不满意的用户的特定分位数的性能。用于排名的GGF具有挑战性,因为它们是不可微的。我们解决这个挑战,利用工具,从非光滑优化和投影算子中使用的微分排序。我们使用真实数据集进行了实验,其中包含多达15k个用户和项目,这表明我们的方法在各种推荐任务和公平性标准上获得了比基线更好的权衡。
2023-03-28 cs.AI cs.CY cs.IR
A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
由于减少ML预测中的不公平性越来越重要,Fair-ML研究人员提出了一套广泛的算法“公平性增强”补救措施。然而,大多数现有的算法是不可知的观察到的不公平的来源。因此,文献目前缺乏指导框架来指定每种算法干预可能减轻不公平的根本原因的条件。为了缩小这一差距,我们仔细研究了潜在的偏见(例如,在训练数据或设计选择中)引起观测不公平。我们提出的概念思想和第一个实现的偏见注入沙箱工具,调查各种偏见的公平后果,并评估算法补救措施的有效性,在特定类型的偏见的存在。我们称这个过程为算法干预的偏差(压力)测试。与现有的工具包不同,我们提供了一个受控的环境,可以在ML管道中反事实地注入偏见。这种程式化的设置提供了超越观察数据和无偏见基准测试公平干预的独特能力。特别是,我们可以测试一个给定的补救措施是否可以减轻注入的偏见,通过比较的预测结果后,在有偏见的设置与真正的标签在无偏见的制度,也就是说,在任何偏见注入。我们通过对合成数据的概念验证案例研究来说明我们的工具包的实用性。我们的实证分析展示了通过我们的模拟可以获得的见解类型。
2022-12-13 cs.CY cs.LG
A New Paradigm for Counterfactual Reasoning in Fairness and Recourse
New York University(纽约大学);London School of Economics(伦敦政治经济学院)
本文针对AI公平性中干预式反事实难以处理种族等受保护属性的问题,提出保持属性不变、改变初始条件的回溯式反事实范式。
2024-01-25 cs.AI cs.CY stat.ML
Analyzing the Effect of Sampling in GNNs on Individual Fairness
Universite de Montreal(蒙特利尔大学);MILA(MILA蒙特利尔学习算法研究所);Google(谷歌);HEC(高等商学院)
基于图神经网络(GNN)的推荐方法已经在推荐系统领域占据了主导地位。这些系统的收益是显著的,显示了通过网络结构解释数据的优势。然而,尽管在推荐任务中使用图结构有明显的好处,但这种表示形式也带来了新的挑战,这加剧了减轻算法偏见的复杂性。当GNN被集成到下游任务中时,例如推荐,偏差缓解可能变得更加困难。此外,将现有的公平促进方法应用于大型真实世界数据集的棘手性对缓解尝试造成了更严重的限制。我们的工作旨在填补这一空白,采取现有的方法来促进图上的个人公平性,并将其扩展到支持小批量或基于子样本的GNN训练,从而为将该方法应用于下游推荐任务奠定基础。我们评估了两种流行的GNN方法:图卷积网络(GCN),它在整个图上训练,和GraphSAGE,它使用概率随机游走来创建子图进行小批量训练,并评估子采样对个体公平性的影响。我们实现了一个单独的公平性概念称为\textit{REDRESS},提出了董等人,其使用等级优化来学习各个公平节点或项目嵌入。我们在两个真实世界的数据集上实证表明,GraphSAGE不仅能够实现可比的准确性,而且与GCN模型相比,还能够提高公平性。这些发现对个人公平促进,GNN和下游形式的推荐系统产生了相应的影响,表明小批量训练通过允许局部细微差别来指导表示学习中的公平促进过程,从而促进了个人公平促进。
2022-09-09 cs.AI cs.CY cs.LG
Causal Modeling for Fairness in Dynamical Systems
University of Toronto(多伦多大学);Vector Institute(矢量研究所)
在许多应用领域-例如贷款、教育和在线零售商-当机器学习系统与动态变化的环境交互时,公平和公正问题就会出现,从而对个人和人口群体产生即时和长期影响。我们讨论因果有向无环图(DAG)作为一个统一的框架,最近的文献公平性,在这样的动态系统。我们表明,这种提法提供了几个新的调查方向的建模,因果关系的假设可以表达和操纵。我们强调在动态公平设置中计算干预量的重要性,并展示了因果假设如何使模拟(当环境动态已知时)和离线政策估计(当动态未知时)在组和个人层面上对短期和长期结果进行干预。
2020-07-06 cs.AI cs.CY cs.LG
Social Choice for Heterogeneous Fairness in Recommendation
Comenius University Bratislava(布拉迪斯拉发夸美纽斯大学);Tulane University(杜兰大学)
针对推荐系统现有公平性方法受限于单目标固定定义、难适配多元利益相关者需求的问题,本研究从计算社会选择视角出发,采用多智能体框架,验证了不同社会选择机制可在多数据集上成功整合多种异质性公平定义。
2024-10-06 cs.CY cs.IR cs.LG
Domain Adaptation meets Individual Fairness. And they get along
University of Michigan(密歇根大学);University of Konstanz(康斯坦茨大学);IBM Research(IBM研究院);Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
许多算法偏差的例子是由分布偏移引起的。例如,机器学习(ML)模型在训练数据中代表性不足的人口统计群体上的表现往往更差。在本文中,我们利用算法公平性和分布偏移之间的这种联系来表明算法公平性干预可以帮助ML模型克服分布偏移,并且域自适应方法(用于克服分布偏移)可以减轻算法偏差。特别是,我们证明了(i)强制执行适当的个体公平性(IF)概念可以在协变量移位假设下提高ML模型的分布外准确性,以及(ii)有可能调整表示对齐方法进行域适应以强制个体公平性。前者是意料之外的,因为在制定综合框架干预措施时没有考虑到分配的变化。后者也是出乎意料的,因为代表对齐不是一个共同的方法,在个人公平文献。
2022-10-15 cs.AI cs.CY cs.LG