Counterfactual Risk Minimization with IPS-Weighted BPR and Self-Normalized Evaluation in Recommender Systems
Carnegie Mellon University(卡内基梅隆大学);Boston University(波士顿大学);Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎- Rocquencourt 国家信息与自动化研究所);Rajiv Gandhi University(拉贾·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒研究实验室)
针对推荐系统隐式反馈的曝光偏差问题,提出结合IPS加权BPR目标与倾向正则化项的反事实风险最小化流程,搭配自归一化IPS评估,在降低方差的同时提升了无偏场景下的泛化性能。
2025-08-30 cs.LG
Causality-aware Graph Aggregation Weight Estimator for Popularity Debiasing in Top-K Recommendation
City University of Hong Kong(香港城市大学);Dalian University of Technology(大连理工大学)
本文提出CAGED方法,通过理性建模图聚合过程缓解Top-K推荐中的流行度偏差,采用编码器-解码器架构优化交互可能性的证据下界,并设计动量更新策略提升早期训练效果。
2025-10-06 cs.IR cs.LG
DeBayes: a Bayesian Method for Debiasing Network Embeddings
Ghent University(根特大学)
随着机器学习算法越来越多地用于高影响力的自动化决策,道德和越来越多的法律标准要求它们公平对待所有人,不基于年龄,性别,种族或其他敏感特征进行歧视。近年来,在确保标准机器学习设置的公平性和减少偏见方面取得了很大进展。然而,对于网络嵌入,在从社会网络分析到推荐系统的脆弱领域中的应用,当前的选项在数量和性能上都仍然有限。因此,我们提出了DeBayes:一个概念上优雅的贝叶斯方法,能够通过使用有偏的先验知识来学习去偏嵌入。我们的实验表明,这些表示,然后可以用来执行链接预测,这是显着更公平的流行指标,如人口均等和均等的机会。
2021-04-30 cs.LG stat.ML
Exploring Popularity Bias in Session-based Recommendation
Alipay AntGroup(支付宝蚂蚁集团)
本研究将推荐系统流行度偏差的倾向分析拓展至基于会话的推荐场景,调整倾向计算方法,经多领域多模型实验发现倾向特性具有数据集特异性,利用分层效应可提升模型效果。
2023-12-13 cs.AI cs.IR cs.LG
PinEqualizer: Full Funnel Content Exploration and Debiasing System at Pinterest
PinEqualizer: Full Funnel Content Exploration and Debiasing System at Pinterest(PinEqualizer:全流程内容探索与去偏系统)
针对行业规模搜索和推荐系统的内容冷启动问题,提出 PinEqualizer 系统,跨越多阶段漏斗,减少偏差,通过可扩展框架评估。在 Pinterest 部署后,显著改善了新鲜内容探索、用户参与度和内容生态健康。
2026-07-27 cs.IR cs.LG
C-Learner: Constrained Learning for Causal Inference
Columbia University(哥伦比亚大学);University College London(伦敦大学学院);UC Berkeley(加州大学伯克利分校)
提出约束学习框架C-Learner,通过一阶误差为零的约束求解最佳插入式估计器,结合灵活模型类,在有限重叠场景下实现稳定且具备理想渐近性质的去偏因果推断。
2026-09-21 cs.LG stat.ML
Session-based Recommender Systems: User Interest as a Stochastic Process in the Latent Space
Wroclaw Centre for Networking and Supercomputing(弗罗茨瓦夫网络与超级计算中心)
本文针对基于会话的推荐系统的数据不确定性、流行度偏差和曝光偏差问题,提出将用户兴趣视为潜在空间中的随机过程并给出模型无关实现,通过物品嵌入去偏、会话兴趣建模和假目标引入等策略,在多个数据集上验证了其缓解偏差的效果。
2025-04-14 cs.AI cs.IR cs.LG
Unbiased Learning for the Causal Effect of Recommendation
Fuji Xerox(富士施乐)
增加用户的积极互动,如购买或点击,是推荐系统的一个重要目标。推荐通常旨在选择用户将与之交互的项目。如果购买了推荐的商品,预计销售额会增加。然而,即使没有推荐,这些物品也可以购买。因此,我们希望推荐那些因推荐而导致购买的商品。这可以被公式化为因果效应的排序问题。尽管它的重要性,这个问题还没有得到很好的探讨,在相关的研究。这是具有挑战性的,因为因果效应的基础事实是不可观察的,并且估计因果效应容易受到当前部署的随机变量产生的偏差的影响。本文提出了一个无偏的学习框架的因果关系的建议。基于逆倾向评分技术,所提出的框架首先构造无偏估计的排名指标。然后,它进行经验风险最小化的估计与倾向封顶,减少了有限的训练样本下的方差。基于该框架,我们开发了一个无偏学习方法的因果效应扩展的排名度量。我们从理论上分析了所提出的方法的无偏性和经验证明,所提出的方法优于其他有偏学习方法在各种设置。
2020-09-23 cs.IR cs.LG stat.ML
On Missing Labels, Long-tails and Propensities in Extreme Multi-label Classification
Aalto University(阿尔托大学);Poznan University of Technology(波兹南理工大学);Yahoo! Research(雅虎研究院)
Jain等人在2016年引入的倾向模型已成为极端多标签分类(XMLC)中处理缺失和长尾标签的标准方法。在本文中,我们批判性地修改这种方法表明,尽管其理论的合理性,它在当代XMLC作品的应用是值得商榷的。我们详尽地讨论了基于倾向的方法的缺陷,并提出了几个食谱,其中一些涉及到搜索引擎和推荐系统中使用的解决方案,我们认为构成有前途的替代品,遵循XMLC。
2022-07-26 cs.IR cs.LG
Adversarial Counterfactual Learning and Evaluation for Recommender System
Walmart Labs(沃尔玛实验室)
推荐系统的反馈数据往往受到什么是暴露给用户,然而,大多数学习和评价方法不占潜在的曝光机制。我们首先在理论上表明,应用监督学习来检测用户的偏好可能最终与曝光信息的情况下不一致的结果。来自因果推理的反事实倾向加权方法可以解释暴露机制;然而,反馈数据的部分观察性质可能导致可识别性问题。我们提出了一个原则性的解决方案,通过引入极大极小经验风险公式。我们表明,放松的对偶问题可以转换为两个推荐模型之间的对抗性游戏,其中候选模型的对手表征了潜在的曝光机制。我们提供了学习范围,并进行了广泛的模拟研究,以说明和证明所提出的方法在广泛的推荐设置,从而阐明了所提出的方法的各种好处的见解。
2020-11-08 cs.IR cs.LG stat.ML
Large-scale Causal Approaches to Debiasing Post-click Conversion Rate Estimation with Multi-task Learning
University of California, Los Angeles(加州大学洛杉矶分校);Alibaba Group(阿里巴巴集团);Columbia University(哥伦比亚大学)
点击后转化率(CVR)估计是电子商务推荐系统中的一项关键任务。这个任务在工业环境下被认为是相当具有挑战性的,有两个主要问题:1)由用户自我选择引起的选择偏差,以及2)由于罕见的点击事件引起的数据稀疏。成功的转换通常具有以下顺序事件:“曝光->点击->转换”。传统的CVR估计器是在点击空间中训练的,但推理是在整个曝光空间中完成的。他们没有考虑到缺失数据的原因,并将其视为随机缺失。因此,他们的估计很可能与实际价值大不相同。此外,数据稀疏性问题也会阻碍许多工业CVR估计,通常有大的参数空间。在本文中,我们提出了两个原则性的,高效的和高度有效的CVR估计工业CVR估计,即多IPW和多DR。所提出的模型接近CVR估计从因果关系的角度来看,并占的原因,失踪不是随机的。此外,我们的方法是基于多任务学习框架和减轻数据稀疏性问题。工业级数据集上的大量实验表明,我们的方法优于最先进的CVR模型。
2020-04-04 cs.IR cs.LG
Towards Resolving Propensity Contradiction in Offline Recommender Learning
Cornell University(康奈尔大学);CyberAgent, Inc.(CyberAgent公司)
本文研究了存在选择偏差的离线推荐学习问题。目前有希望的偏差解决方案是逆倾向得分(IPS)估计。然而,现有基于倾向的方法的性能可能会受到倾向估计偏差的显着影响。事实上,大多数以前的基于IPS的方法需要一定量的完全随机缺失(MCAR)数据来准确估计倾向。这导致了一个严重的自相矛盾; IPS在没有MCAR数据的情况下是无效的,即使它最初的目标是从丢失的非随机反馈中学习决策者。为了解决这个倾向矛盾,我们推导出一个倾向独立的泛化误差界,并提出了一种新的算法,通过对抗学习来最小化理论界。我们的理论和算法不需要一个倾向估计过程,从而导致一个表现良好的评级预测没有真正的倾向信息。大量的实验表明,所提出的方法是优于一系列现有的方法在评级预测和排名指标在实际设置中没有MCAR数据。
2022-04-21 cs.IR cs.LG stat.ML
CASP: Support-Aware Offline Policy Selection for Two-Stage Recommender Systems
Texas A\&M University(德克萨斯大学)
CASP通过结合双重鲁棒价值估计和支持负担惩罚,解决两阶段推荐系统中策略选择的可靠性问题,确保在价值估计和支撑可信度冲突时选择低负担策略。
2026-04-24 cs.IR cs.LG stat.ML
Graph Exploration Matters: Improving both individual-level and system-level diversity in WeChat Feed Recommender
Tencent(腾讯)
针对微信 Feed 推荐中个体级与系统级多样性割裂的问题,提出融合检索图信息的多样性重排序与实时个性化偏好建模,并在微信看一看上线验证。
2023-05-29 cs.LG
Cross Pairwise Ranking for Unbiased Item Recommendation
University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
大多数推荐系统在观察到的交互数据上优化模型,这受到先前曝光机制的影响,并表现出许多偏差,如流行度偏差。损失函数,如最常用的逐点二进制交叉熵和成对贝叶斯个性化排名,是不是设计来考虑观察数据中的偏差。因此,在损失上优化的模型将继承数据偏差,甚至更糟,放大偏差。例如,一些受欢迎的项目占用了越来越多的曝光机会,严重损害了利基项目的推荐质量-被称为臭名昭著的马修效应。在这项工作中,我们开发了一种新的学习范式,称为交叉配对排名(CPR),实现无偏见的建议,而不知道曝光机制。与反向倾向评分(IPS)不同,我们改变了样本的损失项-我们创新地对多个观察到的相互作用进行一次采样,并将损失作为其预测的组合。我们从理论上证明了这种方法抵消了用户/项目倾向对学习的影响,消除了由暴露机制引起的数据偏差的影响。与IPS相似,我们提出的CPR确保了每个训练实例的无偏学习,而无需设置倾向分数。实验结果表明,CPR优于国家的最先进的去偏的解决方案,在模型的泛化和训练效率。这些代码可在www.example.com上获得。
2022-04-26 cs.IR cs.LG
Balancing Unobserved Confounding with a Few Unbiased Ratings in Debiased Recommendations
Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学);University of California, San Diego(加州大学圣地亚哥分校);Beijing Technology and Business University(北京工商大学)
本文提出一种模型无关的平衡方法,通过交替校正模型参数并自适应学习有偏样本平衡系数,以利用少量无偏评分对抗未观测混杂和模型设定错误,提升去偏推荐性能。
2023-04-17 cs.IR cs.LG
Debiasing Neighbor Aggregation for Graph Neural Network in Recommender Systems
图神经网络(GNNs)通过基于用户和项目的历史交互来表示用户和项目,在推荐系统中取得了显着的成功。然而,很少有人关注GNN的暴露偏见的脆弱性:用户暴露于有限数量的项目,使系统只学习用户偏好的偏见,导致次优的推荐质量。虽然已知逆倾向加权可以识别和减轻暴露偏差,但它通常对模型输出的最终目标起作用,而GNN在邻居聚合期间也可能有偏差。在本文中,我们提出了一种简单但有效的方法,GNNs的邻居聚合通过逆倾向(Navip)。具体来说,给定一个用户-项目二分图,我们首先推导出图中每个用户-项目交互的倾向得分。然后,将具有拉普拉斯归一化的倾向分数的倒数应用于从暴露偏差中去除邻居聚合的偏差。我们通过对两个公共和Amazon Alexa数据集的广泛实验来验证我们方法的有效性,其中性能提高了14.2%。
2022-08-18 cs.IR
Addressing Correlated Latent Exogenous Variables in Debiased Recommender Systems
Dalhousie University(达尔豪斯大学);Beijing University of Chemical Technology(北京化工大学);University of Michigan(密歇根大学)
针对推荐系统去偏方法默认外生变量独立的局限,本文提出基于似然最大化的统一学习算法,在温和正态性假设下建模相关潜在外生变量并用Monte Carlo估计似然,实验验证其有效性。
2025-06-09 cs.IR cs.LG
Debiasing Sequential Recommendation with Time-aware Inverse Propensity Scoring
University of Technology Sydney(悉尼大学);Curtin University(Curtin大学);Education University of Hong Kong(香港教育大学)
本文提出时间感知逆倾向评分(TIPS)方法,通过捕捉用户行为的序列依赖性和时间动态,有效解决序贯推荐中的选择偏差和曝光偏差问题,提升推荐性能。
2026-03-05 cs.AI cs.IR
TDR-CL: Targeted Doubly Robust Collaborative Learning for Debiased Recommendations
Peking University(北京大学);University of California, San Diego(加州大学圣地亚哥分校);Beijing Technology and Business University(北京工商大学)
偏见是推荐系统中普遍存在的一个问题,它与用户的偏好纠缠在一起,对无偏学习提出了很大的挑战。对于去偏置任务,双鲁棒(DR)方法及其变体表现出优越的性能,由于双鲁棒性,即DR是无偏的,当估算误差或学习倾向是准确的。然而,我们的理论分析表明,DR通常有很大的方差。同时,由于不准确的估算误差和学习倾向,DR会出现意想不到的大偏差和泛化能力差,这在实践中是经常发生的。在本文中,我们提出了一个原则性的方法,可以有效地减少偏见和方差同时为现有的DR方法时,错误的插补模型是错误的。此外,我们还提出了一种新的半参数协作学习方法,将估算误差分解为参数和非参数部分,并协同更新它们,从而获得更准确的预测。理论分析和实验结果都表明了该方法相对于现有去偏方法的优越性。
2023-03-02 cs.IR cs.LG stat.ML
Doubly Calibrated Estimator for Recommendation on Data Missing Not At Random
Pohang University of Science and Technology(浦项科技大学)
针对推荐数据非随机缺失导致的选择偏差,本文提出同时校准插补与倾向模型的 Doubly Calibrated Estimator,并通过三层联合学习提升去偏推荐性能。
2024-02-26 cs.IR cs.LG
On regression with estimated covariates and conditional effects given the propensity score
Rutgers, The State University of New Jersey(新泽西州立罗格斯大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学)
该研究针对协变量需先估计的非参数回归问题,提出两种去偏方法并验证其收敛优势,应用于1997年全国青年纵向调查数据,发现低大学入学概率者完成大学后失业减少更显著。
2026-07-31 stat.ME
RADio -- Rank-Aware Divergence Metrics to Measure Normative Diversity in News Recommendations
University of Amsterdam(阿姆斯特丹大学);RTL Nederland B.V.(RTL荷兰有限公司)
在传统的推荐系统文献中,多样性通常被视为相似性的对立面,通常被定义为所识别的主题、类别或词模型之间的距离。然而,这并不能表达社会科学对多样性的解释,多样性解释了新闻机构的规范和价值观,我们在这里称之为规范多样性。我们介绍RADio,一个多功能的指标框架,以评估建议,根据这些规范的目标。RADio引入了秩感知的Jensen Shannon(JS)发散。这种组合说明了(i)用户观察列表中更下方的项目的倾向降低,以及(ii)与点估计相反的完全分布偏移。我们评估RADio的能力,以反映五个规范的概念,在微软新闻数据集和六个(神经)推荐算法的新闻推荐,我们的元数据丰富管道的帮助下。我们发现,RADio提供了有见地的估计,可以潜在地用于通知新闻推荐系统的设计。
2022-10-13 cs.IR cs.LG
Offline Recommender System Evaluation under Unobserved Confounding
ShareChat;Amazon Music(亚马逊音乐)
本工作揭示了推荐系统离线策略估计中未观测混淆因素导致的统计偏差问题,证明该偏差不可识别且现有诊断无法检测,并通过合成数据实证展示了朴素倾向估计的严重偏差,呼吁学界关注并探索缓解方案。
2023-09-08 cs.IR cs.LG stat.ML
Collaborative Reflection-Augmented Autoencoder Network for Recommender Systems
South China University of Technology(华南理工大学);University of Hong Kong(香港大学);Australian National University(澳大利亚国立大学)
随着深度学习技术已经扩展到现实世界的推荐任务,已经开发了许多基于深度神经网络的协同过滤(CF)模型,以基于各种神经架构(例如多层感知器、自动编码器和图神经网络)将用户-项目交互投影到潜在特征空间中。然而,大多数现有的协同过滤系统没有很好地设计来处理丢失的数据。特别是,为了在训练阶段注入负信号,这些解决方案在很大程度上依赖于从未观察到的用户-项目交互的负采样,并简单地将其视为负实例,这带来了推荐性能的下降。为了解决这些问题,我们开发了一个协作反射增强自动编码器网络(CRANet),它能够从观察到的和未观察到的用户-项目交互中探索可转移的知识。CRANet的网络架构是由一个反射受体网络和一个信息融合自动编码器模块组成的综合结构,它赋予了我们的推荐框架对交互和非交互项目的隐式用户成对偏好进行编码的能力。此外,基于参数正则化的捆绑权重方案被设计用于执行两阶段CRANet模型的鲁棒联合训练。最后,我们实验验证CRANet上的四个不同的基准数据集对应的两个推荐任务,去偏置的用户项目交互的负面信号,提高了性能相比,各种国家的最先进的推荐技术。我们的源代码可以在https://github.com/akaxlh/CRANet上找到。
2022-01-10 cs.AI cs.IR cs.LG
Causal Disentanglement with Network Information for Debiased Recommendations
Arizona State University(亚利桑那州立大学);City University of Hong Kong(香港城市大学)
推荐系统的目标是通过学习用户和项目的表示来向用户推荐新的项目。在实践中,这些表示是高度纠缠的,因为它们包括关于多个因素的信息,包括用户的兴趣,项目属性以及诸如用户一致性和项目流行度之类的混淆因素。考虑这些纠缠的表示来推断用户偏好可能导致有偏见的推荐(例如,当推荐器模型推荐流行项目时,即使它们不符合用户的兴趣)。最近的研究建议从因果关系的角度来建立推荐系统的模型。暴露和评级分别类似于因果推理框架中的治疗和结局。这种情况下的关键挑战是解释隐藏的混杂因素。这些混杂因素未被观察到,因此很难对其进行测量。另一方面,由于这些混杂因素会影响曝光率和评级,因此在生成无偏见推荐时必须考虑到它们。为了更好地近似隐藏的混杂因素,我们建议利用网络信息(即,用户-社交和用户-项目网络),其被示出影响用户如何发现项目并与项目交互。除了用户一致性,混淆的方面,如项目的流行程度存在于网络信息中也被捕获在我们的方法的帮助下,\textit{causal disentanglement}解开学习表示成独立的因素,负责(a)建模项目的暴露给用户,(b)预测的评级,和(c)控制隐藏的混杂因素。在真实数据集上的实验验证了该模型在去偏推荐系统中的有效性。
2022-04-14 cs.IR cs.LG stat.ML
Debiasing Sequential Recommenders through Distributionally Robust Optimization over System Exposure
本文针对序列推荐中的系统曝光偏差,提出基于曝光分布构建DRO不确定性集合并加入高曝光物品惩罚,同时用去偏SNIPS评估器在有偏离线测试集上验证效果。
2023-12-12 cs.IR
Interaction-Data-guided Conditional Instrumental Variables for Debiasing Recommender Systems
Key Lab of Education Blockchain and Intelligent Technology, Ministry of Education, Guangxi Normal University(教育区块链与智能技术重点实验室,教育部,广西师范大学);Guangxi Key Lab of Multi-Source Information Mining and Security, Guangxi Normal University(广西多源信息挖掘与安全重点实验室,广西师范大学);School of Computer Science and Technology, Hainan University(海南大学计算机科学与技术学院);UniSA STEM, University of South Australia(南澳大利亚大学UniSA STEM)
针对推荐系统中潜变量导致的混杂偏差问题,本文提出IDCIV-RS方法,通过交互数据自动生成有效条件工具变量及其条件集,利用VAE学习表示并结合最小二乘法推导因果表示,有效缓解偏差并提升推荐准确性。
2025-08-25 cs.AI cs.IR
Towards Fair Large Language Model-based Recommender Systems without Costly Retraining
University of Technology Sydney(悉尼科技大学);Tongji University(同济大学);CSIRO Data61(CSIRO数据61)
FUDLR提出一种无需昂贵重训练的高效去偏方法,通过两阶段机器无学习提升LLM推荐系统的公平性,同时保持推荐准确性。
2026-02-01 cs.IR
Mitigating Propensity Bias of Large Language Models for Recommender Systems
China University of Mining and Technology(中国矿业大学);University of South Australia(南澳大学);Guangxi Normal University(广西师范大学)
针对大语言模型辅助信息中的倾向性偏差和维度坍缩问题,提出反事实大语言模型推荐框架 CLLMR,通过频谱辅助信息编码器和反事实推断缓解偏差,实验证明其能持续提升多种推荐模型的性能。
2025-04-11 cs.AI cs.IR
Debiasing Graph Transfer Learning via Item Semantic Clustering for Cross-Domain Recommendations
基于深度学习的推荐系统在缺乏训练交互数据时可能导致过拟合。这种过度拟合显著降低了推荐性能。为了解决这个数据稀疏性问题,跨域推荐系统(CDRS)利用来自辅助源域的数据来促进稀疏目标域上的推荐。大多数现有的CDR依赖于重叠的用户或项目来连接域和传递知识。然而,匹配用户是一项艰巨的任务,当数据来自不同公司时可能会涉及隐私问题,导致上述CDR的应用有限。一些研究通过转移学习到的用户交互模式来开发不需要重叠用户和项目的CDRS。然而,他们忽略了域之间的用户交互模式的偏见,因此遭受一个较低的性能相比,单域推荐系统。在本文中,基于上述研究结果,我们提出了一种新的CDRS,即语义聚类增强的去偏图神经推荐系统(SCDGN),不需要重叠的用户和项目,并可以处理域的偏见。更准确地说,SCDGN语义聚类项目从两个领域,并构建一个跨域的二分图生成的项目集群和用户。然后,通过这个跨域用户聚类图将知识从源传递到目标。此外,我们设计了一个去偏图卷积层SCDGN提取无偏结构知识的跨域用户聚类图。我们在三个公共数据集和一对专有数据集上的实验结果验证了SCDGN在跨域推荐方面优于最先进模型的有效性。
2022-11-07 cs.IR
BPL: Bias-adaptive Preference Distillation Learning for Recommender System
Department of Computer Science and Engineering, Korea University(计算机科学与工程系,韩国大学);Microsoft Research Asia(微软亚洲研究院);Department of Aritifial Intelligence, Yonsei University(人工智能系,延世大学);Department of Computer Science and Engineering, POSTECH(计算机科学与工程系,POSTECH);William & Mary(威廉与玛丽学院)
针对推荐去偏方法难以兼顾事实与反事实测试的问题,本文提出BPL框架,利用有偏模型师生蒸馏和可靠性过滤自蒸馏逐步挖掘偏好,在两类测试中均提升性能。
2025-10-17 cs.AI cs.IR cs.LG
PUID: A Personalized Deconfounding Framework for Recommender Systems under Hidden Confounding
Guangdong University of Technology(广东工业大学);Chinese Academy of Sciences(中国科学院);Peking University(北京大学)
本文提出了一种新的框架,通过估计用户-项目层面的敏感度界限,缓解了全局敏感度界限中固有的同质性假设,从而在存在隐藏混杂因素的情况下实现更鲁棒和准确的个性化推荐。
2026-09-09 cs.LG
Popularity Debiasing from Exposure to Interaction in Collaborative Filtering
针对推荐系统流行度偏差问题,提出IPL标准及带正则化项的去偏框架,实现去偏与性能双赢,并在四个数据集上验证。
2023-05-09 cs.IR cs.SI
Uncertainty Calibration for Counterfactual Propensity Estimation in Recommendation
School of Computer and Information, Hefei University of Technology(合肥工业大学计算机与信息学院);University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出通过预期校准误差(ECE)校准倾向性分数,以提升反事实转化率预测的准确性与可靠性。
2025-04-17 cs.AI cs.IR
Pre-trained Recommender Systems: A Causal Debiasing Perspective
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);AWS AI Labs(AWS AI 实验室);Washington State University(华盛顿州立大学)
本文提出通用推荐器PreRec,通过因果去偏的分层贝叶斯深度学习模型解决跨领域数据偏差问题,显著提升零样本与少样本推荐性能。
2024-01-08 cs.AI cs.IR
DADF: A Distribution-Aware Debiasing Framework for Watch-Time Regression in Recommender Systems
Kuaishou Technology(快手科技)
本文提出DADF框架,用于解决推荐系统中观看时长回归任务中因分布偏移导致的残差误差问题,通过第二阶段乘法残差修正和三种互补设计提升预测准确性与排名质量。
2026-08-03 cs.IR
Recommendations as Treatments: Debiasing Learning and Evaluation
Cornell University(康奈尔大学)
大多数用于评估和训练推荐系统的数据都会受到选择偏差的影响,无论是通过用户的自我选择还是通过推荐系统本身的行为。在本文中,我们提供了一个原则性的方法来处理选择偏差,适应模型和估计技术的因果推理。该方法导致无偏的性能估计,尽管有偏的数据,并提供了一个矩阵分解方法,大大提高了预测性能的真实世界的数据。我们从理论上和经验上表征的方法的鲁棒性,发现它是非常实用和可扩展的。
2016-05-27 cs.AI cs.IR cs.LG
Breaking Determinism: Stochastic Modeling for Reliable Off-Policy Evaluation in Ad Auctions
NAVER Corporation(NAVER公司);NAVER Search US, University of Minnesota(NAVER搜索美国分校,明尼苏达大学)
本文提出了一种用于确定性拍卖环境的非策略评估框架,通过重新利用投标景观模型近似倾向分数,实现了高效且可靠的反事实评估,显著提升了CTR预测的准确性。
2025-12-03 cs.LG stat.ML
ICPE: An Item Cluster-Wise Pareto-Efficient Framework for Recommendation Debiasing
针对推荐系统头部物品偏差问题,提出模型无关的物品簇级帕累托高效框架ICPE,通过因果推理、二分聚类与反事实推理平衡不同流行度物品的学习,有效消除偏差并提升推荐性能。
2025-03-01 cs.IR
Bias and Debias in Recommender System: A Survey and Future Directions
近年来,关于推荐系统的研究论文迅速增长,但大多数论文都集中在发明机器学习模型以更好地适应用户行为数据。然而,用户行为数据是观察性的,而不是实验性的。这使得数据中广泛存在各种偏差,包括但不限于选择偏差、位置偏差、曝光偏差和流行偏差。盲目地拟合数据而不考虑固有的偏差将导致许多严重的问题,例如,离线评价和在线评价之间的差异,伤害用户对推荐服务的满意度和信任度等。为了将大量的研究模型转化为实际的改进,迫切需要探索偏见的影响,并在必要时进行去偏见。在回顾考虑RS中偏倚的论文时,我们发现,令我们惊讶的是,这些研究相当分散,缺乏系统的组织。“偏见”一词在文献中被广泛使用,但其定义通常是模糊的,甚至在不同的论文中不一致。这促使我们对RS偏差的现有工作进行系统的调查。在本文中,我们首先总结了七种类型的偏见在推荐,以及他们的定义和特点。然后,我们提供了一个分类的位置和组织现有的工作推荐去偏置。最后,我们确定了一些开放的挑战,并设想了一些未来的方向,希望能激发更多的研究工作,这一重要的,但调查较少的主题。本调查中审查的去偏倚方法总结见\url{https://github.com/jiawei-chen/RecDebiasing}。
2021-12-29 cs.IR
Hierarchical Reinforcement Learning for Modeling User Novelty-Seeking Intent in Recommender Systems
New York University(纽约大学);Google Research(谷歌研究院)
本文提出基于分层强化学习的推荐方法,同时建模用户静态内在求新偏好与会话级动态倾向,并在奖励中引入多样性和新颖性度量,从而在多个公开数据集上优于现有基线。
2023-06-02 cs.IR cs.LG
It Is Different When Items Are Older: Debiasing Recommendations When Selection Bias and User Preferences Are Dynamic
用户与推荐系统(RS)的交互受到用户选择偏差的影响,例如,用户更可能对受欢迎的项目(流行性偏差)或他们期望预先享受的项目(积极性偏差)进行评级。存在用于减轻用户评级中的选择偏差对RS的评估和优化的影响的方法。然而,这些方法将选择偏差视为静态的,尽管项目的受欢迎程度可能随时间而急剧变化,并且用户偏好也可能随时间而变化。我们专注于一个项目的年龄及其对选择偏差和用户偏好的影响。我们的实验分析表明,用户在MovieLens数据集上的评级行为可以通过考虑项目年龄对偏见和偏好的影响的方法更好地捕获。我们从理论上表明,在一个动态的情况下,选择偏差和用户的偏好是动态的,现有的去偏置方法不再是无偏的。为了解决这一限制,我们引入DebiAsing在dyNamiC scEnaRio(DANCER),一种新的去偏置方法,扩展了逆倾向评分去偏置方法,以考虑动态选择偏差和用户偏好。我们的实验结果表明,DANCER提高评级预测性能相比,去偏置的方法,错误地认为,选择偏差是静态的,在一个动态的情况下。据我们所知,DANCER是第一个去偏置方法,该方法考虑了RS中的动态选择偏差和用户偏好。
2021-11-24 cs.IR
Connecting User and Item Perspectives in Popularity Debiasing for Collaborative Recommendation
推荐系统从历史用户的反馈中学习,这些反馈通常在项目之间不均匀分布。因此,这些系统可能最终会逐渐建议流行项目而不是利基项目,即使后者对用户来说是感兴趣的。这可能妨碍推荐列表的几个核心质量(例如,新颖性、覆盖面、多样性),影响基础平台本身未来的成功。在本文中,我们正式提出了两个新的指标,量化多少推荐系统平等对待项目沿流行的尾巴。第一个是鼓励所有项目被推荐的概率相等,而第二个是鼓励所有项目的真阳性率相等。我们的特点是建议的代表性算法的建议,通过建议的指标,我们表明,项目被推荐的概率和项目的真阳性率是有偏见的项目流行度。为了促进一个更平等的待遇项目沿流行的尾巴,我们提出了一个在处理的方法,旨在最大限度地减少用户项目的相关性和项目流行之间的偏见。大量的实验表明,在准确性损失很小的情况下,我们的流行缓解方法导致了超准确性推荐质量的重要收益。
2020-10-04 cs.IR
Disentangled Variational Auto-encoder Enhanced by Counterfactual Data for Debiasing Recommendation
提出解耦去偏变分自编码器框架(DB-VAE)解决推荐系统多偏差耦合问题,并利用反事实数据增强缓解稀疏数据监督信号缺乏,实验证明其有效性。
2023-06-28 cs.IR
Three Methods for Training on Bandit Feedback
在推荐系统日志上训练机器学习模型有三种截然不同的方法。第一种方法是为用户的每个可能的推荐建立奖励预测模型,在评分时,通过计算个性化推荐的argmax来找到最佳推荐。该方法遵循条件性原则和似然性原则等原则。第二种方法在模型与现实不符或不符合时很有用。在这种情况下,我们可以利用我们知道历史推荐分布的事实(集中在以前确定的好动作上,并进行了一些探索)来调整拟合中的误差,使其均匀分布在所有动作上。最后,反向倾向分数可以用于产生决策规则预期性能的估计。后两种方法违反了条件性和似然性原则,但在某些情况下表现良好。在本文中,我们回顾了文献围绕这个基本的,但往往被忽视的选择,并做了一些实验,使用的模拟Gym环境。
2019-09-17 cs.IR stat.ML
Be Aware of the Neighborhood Effect: Modeling Selection Bias under Interference
Peking University(北京大学);University of Science and Technology of China(中国科学技术大学);Beijing Technology and Business University(北京工商大学)
本文从因果推断视角将推荐系统中的邻域效应形式化为干扰问题,提出处理表示、理想损失及两个估计器,在同时存在选择偏差和邻域效应时实现无偏学习,并通过半合成与真实实验验证其有效性。
2024-04-30 cs.IR cs.LG stat.ML
Bounding System-Induced Biases in Recommender Systems with A Randomized Dataset
使用随机数据集的去偏推荐在减轻系统引起的偏差方面显示出非常有希望的结果。然而,它仍然缺乏更多的理论见解或一个理想的优化目标函数相比,其他更好的研究路线没有随机数据集。为了弥补这一差距,我们从一个新的角度研究去偏置问题,并提出直接最小化理想目标函数的上界,这有利于更好地解决系统引起的偏差。首先,我们制定了一个新的理想优化目标函数与随机数据集。其次,根据所采用的损失函数可能满足的先验约束,我们导出了目标函数的两个不同的上界,即,一个泛化误差与三角不等式和一个泛化误差与可分性的界限。第三,我们表明大多数现有的相关方法都可以被视为对这两个上界的不充分优化。第四,我们提出了一种新的方法,称为去偏近似上限与随机数据集(DUB),实现了更充分的优化这些上限。最后,我们在公共数据集和真实产品数据集上进行了大量的实验,以验证我们的DUB的有效性。
2023-03-21 cs.IR
Going Beyond Popularity and Positivity Bias: Correcting for Multifactorial Bias in Recommender Systems
针对推荐系统中现有去偏差方法仅考虑单因素的问题,本研究提出一种受物品和评分值共同影响的多因素选择偏差纠正方法,并采用平滑和交替梯度下降技术降低估计方差,在真实与合成数据集上证明了其比单因素方法更有效且鲁棒。
2024-04-29 cs.IR
Automatic Debiased Learning from Positive, Unlabeled, and Exposure Data
CyberAgent, Inc.(赛博艾坚特公司)
我们解决的问题,从积极的和未标记的数据(PU分类)的选择偏置的积极数据的二进制分类。在观察过程中,(i)样品暴露于用户,(ii)用户然后返回暴露样品的标签,以及(iii)然而,我们只能观察阳性样品。因此,我们观察到的阳性标记是暴露和标记的组合,这为观察到的阳性样本产生了选择偏倚问题。这种情况代表了许多实际应用的概念框架,例如推荐系统,我们称之为“从积极的,未标记的和曝光数据中学习”(PUE分类)。为了解决这个问题,我们首先假设访问带有暴露标签的数据。然后,我们提出了一种方法来识别使用强可扩展性假设的功能,并开发了一个“自动去偏PUE”(ADPUE)的学习方法。该算法直接消除选择偏差,而不需要中间估计,如倾向得分,这是其他学习方法所必需的。通过实验,我们证明了我们的方法优于传统的PU学习方法在各种半合成数据集。
2023-03-08 cs.LG stat.ML
Enhanced Doubly Robust Learning for Debiasing Post-click Conversion Rate Estimation
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Baidu Inc.(百度公司);International Center of Future Science, Jilin University(吉林大学未来科学国际中心);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
点击后转化作为一种反映用户偏好的强信号,对构建推荐系统具有重要意义。然而,由于选择偏差,准确估计点击后转化率(CVR)是具有挑战性的,即,所观察到的点击事件通常发生在用户的优选项目上。目前,大多数现有的方法利用反事实学习来消除推荐系统的偏见。其中,双稳健(DR)估计通过将基于误差插补(EIB)的估计和逆倾向得分(IPS)估计以双稳健的方式相结合而获得了有竞争力的性能。然而,不准确的误差插补可能会导致其更高的方差比IPS估计。更糟糕的是,现有方法通常使用简单的模型不可知方法来估计填补误差,这不足以近似动态变化的模型相关目标(即,预测模型的梯度方向)。为了解决这些问题,我们首先推导出DR估计量的偏差和方差。在此基础上,提出了一种更稳健的双稳健估计(MRDR),以进一步降低其方差,同时保持其双重稳健性。此外,我们提出了一种新的双重学习方法的MRDR估计,它可以将误差填补到一般的CVR估计。此外,我们的经验验证,所提出的学习计划,可以进一步消除的高方差问题的插补学习。为了评估其有效性,进行了广泛的实验上的半合成数据集和两个真实世界的数据集。结果表明,所提出的方法比国家的最先进的方法的优越性。该代码可在https://github.com/guosyjlu/MRDR-DL上获得。
2022-01-09 cs.IR cs.LG
Direct Profit Estimation Using Uplift Modeling under Clustered Network Interference
针对推荐系统提升建模未考虑网络干扰导致策略次优的问题,提出将AddIPW估计器作为可微目标结合响应变换技术直接优化利润的方法,实验证明其性能优于无干扰方法,助力更盈利的激励个性化。
2025-09-01 cs.LG
Contrastive Counterfactual Learning for Causality-aware Interpretable Recommender Systems
针对观测反馈中的曝光偏差与混杂因素难题,提出结合逆倾向得分、正样本扩展及三种正采样策略的对比反事实学习方法 CCL,并在两个真实数据集上验证其优于现有方法。
2023-08-17 cs.IR
Dually Enhanced Propensity Score Estimation in Sequential Recommendation
顺序推荐系统训练他们的模型基于大量的隐式用户反馈数据,并且当用户系统地对某些项目暴露不足/过度时可能会受到偏见。基于逆倾向分数(IPS)的无偏学习,估计观察到给定的历史信息的用户-项目对的概率,已被提出来解决这个问题。在这些方法中,倾向分数估计通常限于项目的视图,即,将反馈数据视为与用户交互的项目序列。然而,反馈数据也可以从用户的角度来处理,作为与项目交互的用户的序列。此外,这两个视图可以共同增强倾向分数估计。受此启发,我们提出了从用户和项目的角度来估计倾向分数的方法,称为双重增强倾向分数估计(DEPS)。具体而言,给定目标用户-项目对以及相应的项目和用户交互序列,DEPS首先构造时间感知因果图来表示用户-项目观察概率。根据该图,基于同一组用户反馈数据,分别从项目和用户的角度估计两个互补的倾向分数。最后,设计了两个Transformers进行最终的偏好预测。理论分析表明,DEPS的无偏性和方差。在三个公开数据集和一个工业数据集上的实验结果表明,DEPS可以显着优于最先进的基线。
2023-03-15 cs.IR