Fairness and Transparency in Recommendation: The Users' Perspective
University of Colorado Boulder(科罗拉多大学博尔德分校)
虽然推荐系统是由个性化定义的,但最近的工作表明了额外的,超越准确性目标的重要性,例如公平性。由于用户通常希望他们的推荐是纯粹个性化的,这些新的算法目标必须在公平意识推荐系统中透明地传达。虽然解释在推荐系统研究中有很长的历史,但很少有工作试图解释使用公平目标的系统。尽管人工智能其他分支以前的工作已经探索了使用解释作为提高公平性的工具,但这项工作并没有集中在推荐上。在这里,我们认为公平意识推荐系统和技术,以提高其透明度的用户的观点。我们描述了一个探索性的访谈研究,调查用户的公平感,推荐系统,公平意识的目标的结果。我们提出了三个功能-通知我们的参与者的需求-可以提高用户的理解和信任的公平意识的推荐系统。
2021-03-16 cs.AI cs.HC cs.IR
TFROM: A Two-sided Fairness-Aware Recommendation Model for Both Customers and Providers
Shanghai Jiao Tong University(上海交通大学);University of Technology Sydney(悉尼科技大学);Ctrip.com International Ltd(携程国际有限公司)
目前,大多数关于推荐系统公平性的研究都是从消费者的角度或者从产品(或服务)提供商的角度进行的。但是,这种做法忽略了一个事实,即当一方的公平得到保证时,另一方的公平和权利很可能会减少。在本文中,我们考虑推荐场景的角度来看,双方(客户和供应商)。从供应商的角度考虑推荐系统中供应商曝光的公平性。对于客户,我们考虑由于引入公平性措施而导致的推荐结果质量降低的公平性。从理论上分析了推荐质量、用户公平性和提供商公平性之间的关系,并设计了一个面向用户和提供商的双边公平性感知推荐模型(TFROM)。具体来说,我们设计了两个版本的TFROM离线和在线推荐。在三个真实数据集上验证了该模型的有效性。实验结果表明,TFROM提供了更好的双边公平性,同时仍然保持了更高水平的个性化比基线算法。
2021-04-19 cs.AI
Fairness Attacks on Recommender Systems
Department of Information Systems and Operations Management, College of Business, The University of Texas at Arlington(信息系统与运营管理系,商学院,德克萨斯大学阿灵顿分校);Department of Management Information Systems, Eller College of Management, the University of Arizona(管理信息系,埃勒管理学院,亚利桑那大学)
提出一种基于结构感知强化学习的公平性攻击方法,通过图编码和循环神经网络生成虚假交互,联合学习物品选择和性别选择策略,以加剧推荐系统的不公平性。
2026-06-27 cs.AI cs.IR
DeepFair: Deep Learning for Improving Fairness in Recommender Systems
Universidad Politécnica de Madrid(马德里理工大学)
推荐系统中缺乏偏见管理导致少数群体收到不公平的推荐。此外,公平与精确之间的权衡使得很难获得同时符合这两项标准的建议。在这里,我们提出了一种基于深度学习的协同过滤算法,该算法在不知道用户的人口统计信息的情况下,提供了公平性和准确性之间的最佳平衡的推荐。实验结果表明,它是可能的,使公平的建议,而不会失去一个显着比例的准确性。
2020-06-09 cs.AI cs.LG stat.ML
Consumer-side Fairness in Recommender Systems: A Systematic Survey of Methods and Evaluation
Norwegian University of Science and Technology(挪威科技大学)
本文系统综述了推荐系统中消费者侧公平性的研究,提出基于高层次公平性解释的新型分类法,对现有方法和评估指标进行分类,并展望未来研究方向。
2023-05-16 cs.AI cs.CY cs.IR
Looking for Fairness in Recommender Systems
Department of Computer Science(计算机科学系)
本文探讨了推荐系统中用户、创作者和社会视角的公平性问题,针对“过滤气泡”副作用,提出通过定义多样性性能指标并纳入评估框架来微调系统,以平衡个性化推荐与促进多元文化和观点的社会目标。
2025-07-16 cs.AI cs.IR
Fairness in Recommender Systems: Research Landscape and Future Directions
Polytechnic University of Bari(巴里理工大学);University of Klagenfurt(克拉根福大学);University Autonomous of Madrid(马德里自治大学)
本文综述了推荐系统公平性的基本概念、研究现状(基于160多篇文献),指出当前研究存在抽象操作化、忽视规范性主张等空白,并呼吁跨学科研究以更全面地解决公平推荐问题。
2023-05-09 cs.AI cs.IR
Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems
Cornell University(康奈尔大学);Loyola University Maryland(洛约拉大学马里兰州)
研究探讨了大型科技公司如何在推荐系统中处理公平性,识别了技术团队与法律、数据团队在公平性工作中的挑战,并提出可行的实践建议。
2026-02-27 cs.AI cs.CY cs.HC
Simpson's Paradox in Recommender Fairness: Reconciling differences between per-user and aggregated evaluations
近年来,有一系列关于排名和推荐系统中公平性概念的研究,特别是关于如何评估推荐系统是否在相关项目组之间平等分配曝光(也称为提供者公平性)。虽然这项研究奠定了一个重要的基础,但它产生了不同的方法,这取决于相关项目是按用户/按查询进行比较还是跨用户进行聚合。尽管这两个概念都是既定的和直观的,但我们发现这两个概念可以导致相反的结论,这是辛普森悖论的一种形式。我们调和这些概念,并表明,紧张局势是由于项目相关的用户分布的差异,并打破了用户的建议的重要因素。基于这种新的理解,从业者可能会对这两个概念感兴趣,但由于相关性和用户满意度的部分可观察性,可能会面临每用户度量的挑战,这在现实世界中是典型的。我们描述了一种基于分布匹配的技术来估计它在这样的情况下。我们在模拟和真实世界的推荐数据上证明了这种方法的有效性和实用性。
2022-10-14 cs.AI cs.IR cs.LG
Pareto Pairwise Ranking for Fairness Enhancement of Recommender Systems
学习排序自2010年左右引入以来,是一种有效的推荐方式。著名的算法,如贝叶斯个性化排名和协作少即是多过滤,在学术界和工业界都留下了深刻的影响。然而,大多数学习排序方法专注于提高技术准确性指标,如AUC,MRR和NDCG。推荐系统的其他评价指标,如公平性,直到最近几年才在很大程度上被忽视。本文提出了一种新的学习排序算法Pareto Pairwise Ranking。我们的灵感来自贝叶斯个性化排名和幂律分布的想法。我们表明,我们的算法是有竞争力的技术精度指标评估时,与其他算法。更重要的是,在我们的实验部分中,我们证明了Pareto Pairwise Ranking是最公平的算法,与其他9个当代算法相比。
2022-12-06 cs.AI cs.IR cs.LG
Personalized Counterfactual Fairness in Recommendation
Rutgers University(罗格斯大学)
随着越来越多的用户使用推荐系统进行信息搜索和决策,推荐系统对人类和社会产生了越来越重要的影响。因此,解决推荐中潜在的不公平问题至关重要。就像用户对物品有个性化偏好一样,用户对公平性的诉求在很多场景下也是个性化的。因此,为用户提供个性化的公平推荐,以满足其个性化的公平需求是非常重要的。此外,以往的公平推荐工作主要集中在基于关联的公平性。然而,重要的是要从关联公平的概念,因果公平的概念,更恰当地评估公平的推荐系统。基于上述考虑,本文重点研究了在推荐系统中实现个性化的反事实公平性。为此,我们引入了一个框架,通过生成功能独立的用户嵌入推荐,通过对手学习实现反事实公平的建议。该框架允许推荐系统实现个性化的公平性,同时也涵盖非个性化的情况下,用户。在两个真实数据集上使用浅层和深层推荐算法进行的实验表明,该方法可以为用户生成更公平的推荐,并具有理想的推荐性能。
2021-11-05 cs.AI cs.IR cs.LG
Online certification of preference-based fairness for personalized recommender systems
Meta AI
推荐系统正面临审查,因为它们对我们所能获得的机会的影响越来越大。目前对公平性的审计仅限于敏感群体级别的粗粒度奇偶性评估。我们建议审计无嫉妒性,这是一个与个人偏好相一致的更细粒度的标准:每个用户都应该喜欢他们的推荐。由于审计嫉妒需要估计用户的偏好超出他们现有的建议,我们投审计作为一个新的纯探索多武装土匪的问题。我们提出了一个样本效率的算法,理论上保证它不会恶化用户体验。我们还研究了在现实世界的推荐数据集上实现的权衡。
2023-03-06 cs.AI cs.CY cs.LG
FACTER: Fairness-Aware Conformal Thresholding and Prompt Engineering for Enabling Fair LLM-Based Recommender Systems
University of Southern California(南加州大学)
本文提出公平性感知框架 FACTER,通过共形预测、自适应语义方差阈值和对抗性提示生成,在不重训大语言模型的情况下将推荐系统公平性违规最高降低95.5%,同时保持推荐准确性。
2025-02-05 cs.AI cs.CY cs.IR
A Graph-based Approach for Mitigating Multi-sided Exposure Bias in Recommender Systems
Eindhoven University of Technology(埃因霍温理工大学);Northwestern University(西北大学);DePaul University(德保罗大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
公平性是推荐系统中一个重要的系统级目标,是最近广泛研究的主题。公平性的一种具体形式是供应商暴露公平性,其目标是确保在向用户提供的建议中公平地覆盖所有供应商的项目。这在多利益相关者推荐场景中尤其重要,在这些场景中,不仅为最终用户优化效用,而且为其他利益相关者(例如希望公平表示其物品的物品销售商或生产商)优化效用也很重要。这种类型的供应商公平性有时是通过尝试增加聚合多样性来实现的,以减轻受欢迎的偏见,并提高推荐中长尾项目的覆盖率。在本文中,我们介绍了FairMatch,一个通用的基于图的算法,作为推荐生成后的后处理方法,以提高项目和供应商的曝光公平性。该算法迭代地将具有低可见性的高质量项目或来自具有低曝光度的供应商的项目添加到用户的最终推荐列表。在两个数据集上进行的一组全面的实验以及与最先进基线的比较表明,FairMatch在显着提高曝光公平性和总体多样性的同时,保持了可接受的建议相关性水平。
2021-07-07 cs.AI cs.IR
A Personalized Framework for Consumer and Producer Group Fairness Optimization in Recommender Systems
University College London(伦敦大学学院);University of Southern California(南加州大学);Polytechnic University of Bari(巴里理工大学)
针对推荐系统现有公平性研究忽略双边市场特性的问题,提出可整合供需双方群体公平约束的重排序框架CP-FairRank,经多数据集和主流模型验证,可在基本不降低推荐质量的同时提升双边公平性。
2024-02-01 cs.AI cs.CY cs.IR
Modeling User Exploration Saturation: When Recommender Systems Should Stop Pushing Novelty
University of Massachusetts Boston(马萨诸塞大学波士顿分校);Kansas State University(堪萨斯州立大学)
研究探讨了用户依赖的探索饱和现象,分析了增加探索对不同推荐模型用户的影响,发现公平性驱动的探索存在边际效益递减,需调整推荐系统以平衡公平与用户体验。
2026-04-02 cs.AI cs.IR cs.LG
Fairness in Recommendation: Foundations, Methods and Applications
Rutgers University(罗格斯大学)
该综述系统梳理了推荐系统中公平性研究的基础、定义分类、典型技术、数据集及未来挑战,旨在为新研究者提供全面参考并推动该领域发展。
2023-07-27 cs.AI cs.IR cs.LG
On the Identification of Fair Auditors to Evaluate Recommender Systems based on a Novel Non-Comparative Fairness Notion
Missouri University of Science and Technology(密苏里科技大学)
决策支持系统是指在司法、房地产和银行等领域为人们的决策提供支持的信息系统。最近,人们发现这些支助系统在许多实际部署中具有歧视性。为了评估和减轻这些偏见,算法公平性文献已经使用比较正义的概念进行了培育,这主要依赖于比较社会中的两个或多个个体或群体,这些系统得到了支持。然而,这种公平的概念是不是很有用的,在确定公平的审计师谁聘请评估决策支持系统内的潜在偏见。作为解决方案,我们引入了一个范式转变的算法公平性通过提出一个新的公平性概念的基础上的原则,非比较正义。假设审计师根据决策支持系统的某些(可能未知的)期望属性进行公平性评估,则建议的公平性概念将系统的结果与审计师的期望结果进行比较。我们表明,建议的公平性概念也提供了保证,在比较公平的概念,证明任何系统可以被认为是公平的,从比较公平的角度来看(如个人公平性和统计平价),如果它是非相对公平的审计师谁被认为是公平的,就相同的公平性概念。我们还表明,反之亦然的情况下,个人公平。一个简短的讨论也提出了关于我们的公平概念可以用来识别公平和可靠的审计师,以及我们如何可以使用它们来量化决策支持系统中的偏见。
2020-09-09 cs.AI cs.CY cs.HC
A Reproducibility Study of Product-side Fairness in Bundle Recommendation
Delft University of Technology(代尔夫特理工大学);University of Amsterdam(阿姆斯特丹大学)
本文通过三个数据集和四种先进捆绑推荐方法复现研究产品侧公平性,发现捆绑与商品层面曝光模式差异显著,且用户行为会显著影响公平性,为构建更公平的捆绑推荐系统提供依据。
2025-07-18 cs.AI cs.IR
"And the Winner Is...": Dynamic Lotteries for Multi-group Fairness-Aware Recommendation
University of Colorado, Boulder(科罗拉多大学博尔德分校);Tulane University(杜兰大学);DePaul University(德保罗大学);IBM Watson Research Center(IBM沃森研究中心)
随着推荐系统的设计和部署越来越多的社会后果的应用程序,它已成为重要的是要考虑这些系统的公平性。关于推荐的公平性已经有了相当多的研究。然而,我们认为,以前的文献一直是基于简单的,统一的,往往是一维的公平假设的概念,不承认现实世界的复杂性,公平意识的应用程序。在本文中,我们明确表示的设计决策,进入多个定义和交叉保护组的准确性和公平性之间的权衡,支持多个公平性指标。该框架还允许推荐器调整其性能的基础上,已交付的建议,在一个时间范围内的历史视图,动态重新平衡公平性的关注。在这个框架内,我们制定了基于彩票的公平性问题之间的选择机制,并证明了他们的性能在两个推荐域。
2020-09-05 cs.AI cs.IR cs.LG
Towards Fair Recommendation in Two-Sided Platforms
Harvard University(哈佛大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);L3S Research Center(L3S研究中心);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Indian Institute of Technology Delhi(印度理工学院德里分校)
今天的许多在线平台(如亚马逊,Netflix,Spotify,LinkedIn和AirBnB)可以被认为是商品和服务的生产者和消费者的双边市场。传统上,这些平台中的推荐服务专注于根据个人客户的个性化偏好定制结果,从而最大限度地提高客户满意度。然而,我们的调查加强了这样一个事实,即这些服务的这种以客户为中心的设计可能会导致生产者的风险分配不公平,这可能会对他们的福祉产生不利影响。另一方面,纯粹以生产者为中心的设计可能对客户不公平。随着越来越多的人依靠这些平台谋生,确保对生产者和消费者的公平至关重要。在这项工作中,通过映射一个公平的个性化推荐问题的公平分配不可分割的商品的问题的约束版本,我们建议为双方提供公平的保证。形式上,我们提出的{ \em FairRec}算法保证了生产商的最大-最小曝光份额($α$ -MMS),以及客户的无嫉妒最多一项(EF 1)公平性。在多个真实世界数据集上的广泛评估显示了{ \em FairRec}在确保双侧公平性的同时在总体推荐质量上产生边际损失的有效性。最后,我们提出了一个修改的FairRec(命名为FairRecPlus),在额外的计算时间的成本,提高了客户的推荐性能,同时保持相同的公平性保证。
2021-12-26 cs.AI cs.IR cs.LG
PBiLoss: Popularity-Aware Regularization to Improve Fairness in Graph-Based Recommender Systems
Department of Computer Engineering(计算机工程系);Amirkabir University of Technology (Tehran Polytechnic)(阿美里克大学(德黑兰理工大学))
本文提出PBiLoss,一种基于正则化的损失函数,通过惩罚模型对流行项的倾向来提升基于图的推荐系统的公平性,实验表明其能有效减少推荐的流行度和多样性指标,同时保持准确性。
2026-04-29 cs.AI cs.IR cs.NE
VideolandGPT: A User Study on a Conversational Recommender System
RTL Nederland B.V.(RTL荷兰公司);Maastricht University(马斯特里赫特大学)
本文提出基于ChatGPT的VideolandGPT对话式推荐系统,通过用户偏好和个性化候选选择提升推荐效果,用户研究表明个性化版本在准确性和满意度上更优,但两者在公平性上存在不一致问题。
2023-09-07 cs.AI cs.IR
User-oriented Fairness in Recommendation
Rutgers University(罗格斯大学)
作为一个高度数据驱动的应用,推荐系统可能会受到数据偏差的影响,导致对不同数据组的结果不公平,这可能是影响系统性能的一个原因。因此,识别和解决推荐场景中的不公平问题非常重要。在本文中,我们从用户的角度来解决推荐系统中的不公平问题。我们根据用户的活跃程度将其分为弱势群体和弱势群体,并进行实验,以表明目前的推荐系统将表现出不公平的两组用户之间。具体而言,在数据中只占很小比例的弱势用户(活跃)比弱势用户(不活跃)享有更高的推荐质量。这种偏见也会影响整体性能,因为弱势用户占大多数。为了解决这个问题,我们提供了一个重新排名的方法,以减轻这种不公平的问题,通过增加约束的评估指标。我们在几个真实世界的数据集上进行了各种推荐算法的实验表明,我们的方法不仅可以提高用户在推荐系统中的群体公平性,但也取得了更好的整体推荐性能。
2021-04-21 cs.AI cs.HC cs.IR
OKRA: an Explainable, Heterogeneous, Multi-Stakeholder Job Recommender System
Maastricht University(马斯特里赫特大学)
本文提出基于图神经网络的可解释多利益相关方职位推荐系统OKRA,在准确率、可解释性与公平性之间取得平衡,并在两个数据集上显著优于六个基线模型。
2025-03-17 cs.AI cs.HC cs.IR
New Fairness Metrics for Recommendation that Embrace Differences
Department of Computer Science Blacksburg Virginia 24060;Department of Computer Science
我们研究了协同过滤推荐系统的公平性,该系统对历史数据中存在的歧视很敏感。有偏见的数据会导致协同过滤方法对少数用户群体做出不公平的预测。我们确定现有的公平性指标的不足,并提出了四个新的指标,解决不同形式的不公平。这些公平性度量可以通过向学习目标添加公平性项来优化。在合成数据和真实数据上的实验表明,我们的新指标可以更好地衡量公平性比基线,公平性目标有效地帮助减少不公平。
2017-12-13 cs.AI cs.CY
Beyond Parity: Fairness Objectives for Collaborative Filtering
Virginia Tech(弗吉尼亚理工大学)
我们研究了协同过滤推荐系统的公平性,该系统对历史数据中存在的歧视很敏感。有偏见的数据可能导致协作过滤方法对少数群体的用户做出不公平的预测。我们确定现有的公平性指标的不足,并提出了四个新的指标,解决不同形式的不公平。这些公平性度量可以通过向学习目标添加公平性项来优化。在合成数据和真实数据上的实验表明,我们的新指标可以更好地衡量公平性比基线,公平性目标有效地帮助减少不公平。
2017-11-30 cs.AI cs.IR cs.LG
A General Framework for Fairness in Multistakeholder Recommendations
Boston University(波士顿大学);Zillow Group(Zillow集团)
当代推荐系统充当多边平台上的中介,从卖家向买家提供高效用的推荐。这样的系统试图平衡多个利益相关者的目标,包括卖家,买家和平台本身。在为买家提供最大化效用的推荐的同时,同时代表平台上的所有卖家的困难导致了许多有趣的研究问题。传统上,它们被公式化为整数线性规划,其以\emph{offline}方式一起计算所有买家的推荐,通过结合覆盖约束,使得各个卖家在所有推荐项目上按比例地表示。这种方法可能会导致不可预见的偏见,其中某些买家始终收到低效用的建议,以满足全球卖方覆盖范围的限制。为了弥补这种情况,我们提出了一个通用的配方,结合卖方覆盖目标,同时在一个实时个性化推荐系统的个人买家的目标。此外,我们利用高度可扩展的子模块优化算法,为每个买家提供可证明的理论质量界限的建议。此外,我们使用来自在线房地产市场的数据实证评估我们的方法的有效性。
2020-09-04 cs.AI cs.IR
Optimizing generalized Gini indices for fairness in rankings
Meta AI Research(元人工智能研究院);LAMSADE, Université Paris Dauphine-PSL(巴黎多芬大学-PSL LAMSADE实验室)
人们越来越感兴趣的是设计推荐系统,旨在公平对待项目生产者或他们最不满意的用户。受经济学中不平等度量领域的启发,本文探讨了使用广义基尼福利函数(GGF)作为一种手段来指定推荐系统应该优化的规范标准。GGF根据个人在人口中的地位来衡量个人的权重,给予境况更差的个人更大的权重,以促进平等。根据这些权重,GGF最小化项目暴露的基尼指数,以促进项目之间的平等,或专注于最不满意的用户的特定分位数的性能。用于排名的GGF具有挑战性,因为它们是不可微的。我们解决这个挑战,利用工具,从非光滑优化和投影算子中使用的微分排序。我们使用真实数据集进行了实验,其中包含多达15k个用户和项目,这表明我们的方法在各种推荐任务和公平性标准上获得了比基线更好的权衡。
2023-03-28 cs.AI cs.CY cs.IR
Recent Developments in Recommender Systems: A Survey
本文综述了推荐系统的最新进展,涵盖主要分类、基于知识的方法、鲁棒性与公平性问题及评价指标,并展望了未来研究方向。
2023-06-22 cs.AI cs.IR cs.LG
Explainable Multi-Stakeholder Job Recommender Systems
Maastricht University(马斯特里赫特大学)
本文总结了面向求职者、招聘人员和公司的可解释多利益相关方职位推荐系统研究,并提出了未来研究方向。
2024-10-01 cs.AI cs.HC
The Unfairness of Active Users and Popularity Bias in Point-of-Interest Recommendation
University College London(伦敦大学学院);Polytechnic University of Bari(巴里理工大学);University of Guilan(吉兰大学);University of Southern California(南加州大学)
兴趣点(POI)推荐系统为用户提供个性化推荐,帮助企业吸引潜在客户。尽管它们取得了成功,但最近的研究表明,高度数据驱动的建议可能会受到数据偏见的影响,导致对不同利益相关者(主要是消费者(用户)和提供者(物品))的不公平结果。现有的推荐系统中与公平性相关的研究大多将用户公平性和项目公平性问题分开处理,而忽略了推荐系统是在双边市场中工作的。本文研究了(i)活跃用户的不公平性,(ii)热门项目的不公平性,(iii)推荐的准确性(个性化)之间的相互作用,作为我们的研究三角形的三个角度。我们将用户分为弱势和弱势级别,以根据他们的活动水平来衡量用户公平性。对于项目公平性,我们将项目分为短头、中尾和长尾组,并研究这些项目组在用户的top-k推荐列表中的曝光度。对通常用于POI推荐的八种不同推荐模型(例如,在两个公开可用的POI推荐数据集Gowalla和Yelp上的上下文(CF)表明,大多数表现良好的模型严重遭受流行偏见的不公平性(提供商不公平性)。此外,我们的研究表明,大多数推荐模型不能同时满足消费者和生产者的公平性,这表明这些变量之间的权衡可能是由于数据中的自然偏差。我们选择POI建议作为我们的测试场景;然而,这些见解应该可以在其他领域进行简单的扩展。
2022-04-08 cs.AI cs.IR
A Survey on LLM-based News Recommender Systems
IEEE(电气和电子工程师协会)
本综述系统梳理基于大语言模型的新闻推荐系统,涵盖判别式与生成式方法,从新闻、用户和预测三个维度建模,并分析挑战与未来方向。
2025-02-21 cs.AI cs.IR
A Framework for Fairness in Two-Sided Marketplaces
LinkedIn Corporation(领英公司)
互联网行业中许多有趣的问题都可以归结为一个双边市场问题。示例包括搜索应用程序和推荐系统,显示人员,工作,电影,产品,餐馆等。在构建此类系统时,维护公平性至关重要,并且可能产生深刻的社会和经济影响(应用程序包括工作推荐,招聘人员搜索候选人等)。在本文中,我们提出了一个定义,并开发了一个端到端的框架,以实现公平性,同时建立这样的机器学习系统的规模。我们扩展了以前的工作,开发一个优化框架,可以解决公平性约束的来源和目的地双方的市场,以及动态方面的问题。该框架具有足够的灵活性,可以适应不同的公平定义,并可以在非常大规模的环境中实施。我们进行模拟,以显示我们的方法的有效性。
2020-06-23 cs.AI cs.LG stat.ML
Fairness via AI: Bias Reduction in Medical Information
University of Connecticut(康涅狄格大学);AuCoDe;Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Meedan;University of Washington School of Medicine(华盛顿大学医学院);Michigan State University College of Human Medicine(密歇根州立大学人类医学院)
人工智能研究中的大多数公平性都集中在揭露人工智能系统中的偏见。从更广泛的公平角度来看,人工智能可以服务于一个更大的愿望:从源头上根除社会不平等。具体来说,我们专注于健康信息的不平等,并旨在使用AI减少该领域的偏见。搜索引擎和社交媒体的人工智能算法(其中许多基于推荐系统)对在线医疗和健康信息的质量产生了巨大的影响。因此,将偏见检测和减少嵌入到这些在线提供医疗和健康内容的推荐系统中,可能会对患者的结果和健康产生巨大的积极影响。在这份立场文件中,我们提供了以下贡献:(1)我们提出了一个通过人工智能实现公平的新框架,灵感来自医学教育,社会学和反种族主义的见解;(2)我们定义了一个新术语,bisinformation,它与错误信息有关,但又与之不同,并鼓励研究人员研究它;(3)我们建议使用人工智能来研究,检测和减轻有偏见的,有害的和/或虚假的健康信息,这些信息对社会中的少数群体造成了不成比例的伤害;(4)我们提出了几个支柱,并提出了几个悬而未决的问题,以便在这个新的空间中进行调查。虽然这项工作的第(3)部分特别关注健康领域,但基本的计算机科学进步和通过人工智能减少偏见和公平的研究工作所产生的贡献在社会的各个领域都有广泛的影响。
2021-09-06 cs.AI cs.CY cs.IR
Evaluating Online Bandit Exploration In Large-Scale Recommender System
Meta AI
针对Bandit学习算法在A/B测试中因探索特性导致评估不公平的问题,将UCB应用于大规模短视频推荐系统,提出一种生产级测试框架及新指标,实现公平评估。
2023-07-30 cs.AI cs.IR cs.LG
Stairway to Fairness: Connecting Group and Individual Fairness
University of Copenhagen(哥本哈根大学);LUT University(卢蒂大学);RMIT University(皇家墨尔本理工大学)
本文通过统一比较群体与个体公平的评估指标,揭示推荐系统中群体高公平可能伴随个体严重不公平。
2025-08-29 cs.AI cs.CL cs.CY
Interactive Counterfactual Exploration of Algorithmic Harms in Recommender Systems
University of Pittsburgh(匹兹堡大学);Quest Diagnostics(奎斯特诊断公司)
针对推荐系统存在算法偏差引发不公平体验的问题,本研究开发了结合可视化、反事实解释与交互模块的探索工具,经用户访谈验证可提升算法透明度,助力理解偏差并推动更公平的推荐。
2024-09-10 cs.AI cs.HC cs.IR
Opportunistic Multi-aspect Fairness through Personalized Re-ranking
University of Colorado, Boulder(科罗拉多大学博尔德分校);DePaul University(德保罗大学);The Chinese University of Hong Kong(香港中文大学)
随着推荐系统变得越来越普遍,并进入了就业和住房等具有更大社会影响的领域,研究人员已经开始寻求确保此类系统产生的结果公平的方法。这项工作主要集中在开发推荐方法,其中公平性指标与推荐准确性一起被联合优化。然而,以前的工作在很大程度上忽略了个人偏好如何限制算法产生公平建议的能力。此外,除了少数例外,研究人员只考虑了相对于单一敏感特征或属性(如种族或性别)衡量公平性的场景。在本文中,我们提出了一个重新排名的方法,公平意识的建议,学习个人偏好在多个公平性的维度,并使用它们来提高提供商的公平性的推荐结果。具体来说,我们表明,我们的机会主义和度量不可知的方法实现了更好的权衡准确性和公平性比以前的重新排名的方法,并在多个公平性方面。
2020-05-21 cs.AI cs.IR cs.LG
Fairness for niche users and providers: algorithmic choice and profile portability
Department of Information Science, University of Colorado, Boulder(信息科学系,科罗拉多大学,伯尔德);Department of Computer Science, University of Colorado, Boulder(计算机科学系,科罗拉多大学,伯尔德)
本文通过模拟研究推荐生态中算法与平台解耦后的算法选择,并考察用户个人资料可移植性政策如何影响小众消费者与提供者的公平性。
2025-08-28 cs.AI cs.HC cs.IR
Post-Training Fairness Control: A Single-Train Framework for Dynamic Fairness in Recommendation
Hong Kong Baptist University(香港 Baptist 大学)
Cofair提出一个单一训练框架,通过共享表示层和公平性条件适配器模块,在推荐系统中实现动态公平性控制,无需重新训练即可适应不同公平性需求。
2026-01-28 cs.AI cs.CY cs.IR
A Comprehensive Survey on Trustworthy Recommender Systems
The Hong Kong Polytechnic University(香港理工大学);City University of Hong Kong(香港城市大学);Michigan State University(密歇根州立大学);The Hong Kong University of Science and Technology(香港科技大学)
作为最成功的人工智能应用之一,推荐系统旨在帮助人们以有效和高效的方式做出适当的决策,通过在我们生活的许多方面提供个性化的建议,特别是针对各种以人为本的在线服务,如电子商务平台和社交媒体网站。在过去的几十年里,推荐系统的快速发展为人类创造了巨大的经济价值,节省了时间和精力,促进了社会公益。然而,最近的研究发现,数据驱动的推荐系统可能会对用户和社会构成严重威胁,例如在社交媒体网站上传播假新闻以操纵舆论,在工作匹配服务中放大对代表性不足的群体或个人的不公平,或者从推荐结果中推断隐私信息。因此,系统的可信度越来越受到各方面的关注,以减轻推荐系统带来的负面影响,从而提高公众对推荐系统技术的信任度。在这项调查中,我们提供了一个全面的概述值得信赖的推荐系统(TRec),特别关注六个最重要的方面;即,安全性和鲁棒性,非歧视性和公平性,可解释性,隐私,环境福祉以及问责制和可审计性。对于每个方面,我们总结了最近的相关技术,并讨论了潜在的研究方向,以帮助实现值得信赖的推荐系统在未来。
2022-09-21 cs.AI cs.CR cs.IR
Fair on the Surface? Benchmarking Hidden-Output Fairness Gaps in LLM Recommenders
University of Georgia(佐治亚大学);University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学);Michigan State University(密歇根州立大学)
该研究提出首个联合评估LLM推荐器可观测输出与隐藏表示公平性的基准FairGap,发现二者存在根本张力,现有框架无法诊断。
2026-08-11 cs.AI
A Normative Framework for Benchmarking Consumer Fairness in Large Language Model Recommender System
Polytechnic University of Bari(巴里理工大学);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核子研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
针对大语言模型推荐系统中传统公平性评估方法不足的问题,本文提出消费者公平性基准测试规范性框架,经MovieLens数据集实验验证该类系统存在年龄相关推荐偏差,为偏差审计与缓解提供了正式方法支撑。
2024-09-11 cs.AI cs.IR
Fairness in Recommendation Ranking through Pairwise Comparisons
Google(谷歌)
推荐系统是工业中机器学习最普遍的应用之一,许多服务使用它们来将用户与产品或信息相匹配。因此,重要的是要问:什么是可能的公平风险,我们如何量化它们,以及我们应该如何解决它们?在本文中,我们提供了一套新的度量标准,用于评估算法公平性的关注推荐系统。特别是,我们如何衡量公平性的基础上成对比较随机实验提供了一个易于处理的方法来推理公平性的排名推荐系统。在此指标的基础上,我们提供了一个新的正则化器,以鼓励在模型训练期间改进此指标,从而提高最终排名的公平性。我们将这种成对正则化应用于一个大规模的生产推荐系统,并表明我们能够显着提高系统的成对公平性。
2019-03-02 cs.AI cs.CY cs.IR
Recommendation Fairness: From Static to Dynamic
Birkbeck, University of London(伦敦大学伯贝克学院);ByteDance AI Lab(字节跳动人工智能实验室);University College London(伦敦大学学院)
由于需要捕捉用户不断变化的兴趣并优化他们的长期体验,越来越多的推荐系统开始将推荐建模为马尔可夫决策过程,并采用强化学习来解决这个问题。推荐系统公平性的研究不也应该从静态的评价和一次性的干预走向动态的监控和不间断的控制吗?在本文中,我们描绘了最近的发展,在推荐系统,然后讨论如何公平可以融入强化学习技术的推荐。此外,我们认为,为了在推荐公平性方面取得进一步的进展,我们可能要考虑多代理(博弈论)优化,多目标(帕累托)优化和基于模拟的优化,在随机博弈的一般框架。
2021-11-01 cs.AI cs.IR cs.LG
Compositional Fairness Constraints for Graph Embeddings
McGill University(麦吉尔大学);Mila;Facebook AI Research(Facebook人工智能研究院)
学习高质量的节点嵌入是机器学习模型的关键构建块,这些模型对图数据进行操作,例如社交网络和推荐系统。然而,现有的图嵌入技术无法应对公平性约束,例如,确保所学习的表示不与某些属性(诸如年龄或性别)相关。在这里,我们引入了一个对抗框架来对图嵌入实施公平性约束。我们的方法是组合-这意味着它可以灵活地适应不同的组合的公平性约束在推理过程中。例如,在社交推荐的背景下,我们的框架将允许一个用户请求他们的推荐对他们的年龄和性别都是不变的,同时也允许另一个用户请求对他们的年龄的不变性。在标准知识图谱和推荐系统基准上的实验突出了我们提出的框架的实用性。
2019-07-16 cs.AI cs.LG stat.ML
UP5: Unbiased Foundation Model for Fairness-aware Recommendation
Rutgers University(罗格斯大学)
本文提出反事实公平提示(CFP)方法,构建无偏基础模型(UFO),以缓解LLM推荐中的用户侧不公平,实验证明其在MovieLens-1M和Insurance数据集上兼顾公平与性能。
2024-05-29 cs.AI cs.CL cs.IR
PerFairX: Is There a Balance Between Fairness and Personality in Large Language Model Recommendations?
本研究提出PerFairX框架,量化LLM推荐中个性与公平性的权衡,发现个性提示提升心理对齐但加剧公平差异,为平衡两者提供基准。
2025-08-20 cs.AI cs.CY cs.IR