General Debiasing for Graph-based Collaborative Filtering via Adversarial Graph Dropout
针对图协同过滤中邻域聚合放大交互图偏差的问题，本文提出对抗图丢弃框架AdvDrop，通过对抗学习将邻域拆分为缓解偏差和感知偏差两个视图，并保持表示不变性，在多个数据集上实现无偏表示和性能提升。
2024-02-21 cs.IR
It Is Different When Items Are Older: Debiasing Recommendations When Selection Bias and User Preferences Are Dynamic
用户与推荐系统（RS）的交互受到用户选择偏差的影响，例如，用户更可能对受欢迎的项目（流行性偏差）或他们期望预先享受的项目（积极性偏差）进行评级。存在用于减轻用户评级中的选择偏差对RS的评估和优化的影响的方法。然而，这些方法将选择偏差视为静态的，尽管项目的受欢迎程度可能随时间而急剧变化，并且用户偏好也可能随时间而变化。我们专注于一个项目的年龄及其对选择偏差和用户偏好的影响。我们的实验分析表明，用户在MovieLens数据集上的评级行为可以通过考虑项目年龄对偏见和偏好的影响的方法更好地捕获。我们从理论上表明，在一个动态的情况下，选择偏差和用户的偏好是动态的，现有的去偏置方法不再是无偏的。为了解决这一限制，我们引入DebiAsing在dyNamiC scEnaRio（DANCER），一种新的去偏置方法，扩展了逆倾向评分去偏置方法，以考虑动态选择偏差和用户偏好。我们的实验结果表明，DANCER提高评级预测性能相比，去偏置的方法，错误地认为，选择偏差是静态的，在一个动态的情况下。据我们所知，DANCER是第一个去偏置方法，该方法考虑了RS中的动态选择偏差和用户偏好。
2021-11-24 cs.IR
Balancing Unobserved Confounding with a Few Unbiased Ratings in Debiased Recommendations
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, San Diego（加州大学圣地亚哥分校）；Beijing Technology and Business University（北京工商大学）
本文提出一种模型无关的平衡方法，通过交替校正模型参数并自适应学习有偏样本平衡系数，以利用少量无偏评分对抗未观测混杂和模型设定错误，提升去偏推荐性能。
2023-04-17 cs.IR cs.LG
Unbiased Learning to Rank with Unbiased Propensity Estimation
学习排序与偏见的点击数据是一个众所周知的挑战。已经探索了各种方法来对用于学习排序的点击数据进行去偏置，例如点击模型、结果交织以及最近的基于逆倾向加权的无偏学习排序框架。尽管存在差异，但大多数现有研究将点击偏差的估计（即\textit{propensity model}）与排名算法的学习分开。为了估计点击倾向，他们要么进行在线结果随机化，这可能会对用户体验产生负面影响，要么进行离线参数估计，这对点击数据有特殊要求，并针对与系统排名性能不直接相关的目标（例如点击可能性）进行优化。在这项工作中，我们通过统一倾向模型和排名模型的学习来解决这些问题。我们发现，从点击数据估计倾向模型的问题是一个无偏的学习排序的对偶问题。基于这一观察，我们提出了一个双重学习算法（DLA），共同学习一个无偏的排名和\textit{unbiased propensity model}。DLA是一个自动无偏学习排名框架，因为它直接从有偏点击数据中学习无偏排名模型，而无需任何预处理。该方法能够适应偏差分布的变化，适用于在线学习。我们对合成数据和真实数据的实证实验表明，使用DLA训练的模型显著优于基于结果随机化的无偏学习排名算法和使用点击模型提取的相关信号训练的模型。
2018-04-23 cs.IR
Popularity Debiasing from Exposure to Interaction in Collaborative Filtering
针对推荐系统流行度偏差问题，提出IPL标准及带正则化项的去偏框架，实现去偏与性能双赢，并在四个数据集上验证。
2023-05-09 cs.IR cs.SI
Policy-Aware Unbiased Learning to Rank for Top-k Rankings
反事实学习排序（LTR）方法使用包含交互偏差的记录的用户交互来优化排序系统。现有的方法是公正的，如果用户与所有相关的项目在每个排名。目前没有现有的反事实无偏LTR方法用于top-k排名。我们介绍了一种新的政策意识的反事实估计LTR指标，可以考虑随机日志记录政策的影响。我们证明了政策意识估计是无偏的，如果每个相关的项目有一个非零的概率出现在前k排名。我们的实验结果表明，我们的估计器的性能不受k的大小的影响：对于任何k，策略感知估计器达到相同的检索性能，而从前k反馈学习时，从反馈的完整排名。最后，我们介绍了传统LTR方法的新扩展，以执行反事实LTR和优化top-k度量。总之，我们的贡献引入了第一个策略感知的无偏LTR方法，该方法从top-k反馈中学习并优化top-k指标。因此，反事实LTR现在适用于搜索和推荐中非常流行的前k排名设置。
2021-04-09 cs.IR
Incorporating Bias-aware Margins into Contrastive Loss for Collaborative Filtering
协同过滤（CF）模型容易受到流行度偏差的影响，使推荐偏离用户的实际偏好。然而，目前大多数去偏置策略都倾向于在头部和尾部性能之间进行权衡，从而不可避免地降低了整体推荐准确性。为了减少流行性偏差对CF模型的负面影响，我们将偏差感知利润率纳入对比损失，并提出了一个简单而有效的BC损失，其中利润率定量地调整每个用户-项目交互的偏差程度。我们研究了BC损失的几何解释，然后进一步可视化并从理论上证明了它通过鼓励相似用户/项目的紧凑性和扩大不相似用户/项目的分散性来同时学习更好的头部和尾部表示。在八个基准数据集上，我们使用BC损失来优化两个高性能的CF模型。在各种评估设置上（即，不平衡/平衡、时间分裂、完全观察无偏、尾/头测试评估），BC损失以显著的改进优于现有技术的去偏和非去偏方法。考虑到BC损失的理论保证和经验成功，我们主张不仅将其作为一种去偏置策略，而且还将其作为推荐模型中的标准损失。
2023-02-18 cs.IR
THUIR at WSDM Cup 2023 Task 1: Unbiased Learning to Rank
本文介绍 THUIR 参加 WSDM Cup 2023 无偏排序学习任务的方案，通过融合传统 IR 模型、Transformer 交叉编码器及排序特征，最终获得第二名。
2023-04-25 cs.IR
Causality-aware Graph Aggregation Weight Estimator for Popularity Debiasing in Top-K Recommendation
City University of Hong Kong（香港城市大学）；Dalian University of Technology（大连理工大学）
本文提出CAGED方法，通过理性建模图聚合过程缓解Top-K推荐中的流行度偏差，采用编码器-解码器架构优化交互可能性的证据下界，并设计动量更新策略提升早期训练效果。
2025-10-06 cs.IR cs.LG
Unbiased Top-k Learning to Rank with Causal Likelihood Decomposition
本文针对 top-k 搜索排序中位置偏差与样本选择偏差共存的问题，提出统一的因果似然分解 CLD，并扩展到成对神经排序，实验证明其更有效且鲁棒。
2024-06-13 cs.IR
Model-based Unbiased Learning to Rank
无偏学习排序（ULTR）学习对具有有偏用户反馈数据的文档进行排序，这是信息检索中众所周知的挑战。无偏学习排序中的现有方法通常依赖于点击建模或逆倾向加权（IPW）。不幸的是，搜索引擎面临着严重的长尾查询分布，无论是点击建模还是IPW都不能很好地处理。点击建模遭受数据稀疏问题，因为相同的查询-文档对在尾查询上出现有限的次数; IPW遭受高方差问题，因为它对小的倾向得分值高度敏感。因此，迫切需要一个通用的去偏置框架，可以在尾查询下工作得很好。为了解决这个问题，我们提出了一个基于模型的无偏学习排名框架。具体来说，我们开发了一个通用的上下文感知的用户模拟器生成伪点击未观察到的排名列表训练排名，解决了数据稀疏性问题。此外，考虑到伪点击和实际点击之间的差异，我们采取的观察排名列表作为治疗变量，并进一步将逆倾向加权与伪标签的双重鲁棒的方式。推导的偏差和方差表明，所提出的基于模型的方法是更强大的比现有的方法。最后，在包括模拟数据集和真实点击日志在内的基准数据集上进行的大量实验表明，所提出的基于模型的方法在各种场景下的性能始终优于最先进的方法。该代码可在https://github.com/rowedenny/MULTR上获得。
2023-02-07 cs.IR
Reinforcement Online Learning to Rank with Unbiased Reward Shaping
在线学习排名（OLTR）旨在直接从用户交互（如点击）中获得的隐式反馈中学习排名器。然而，点击是一个有偏见的信号：具体来说，排名靠前的文档可能比排名靠后的文档吸引更多的点击（位置偏见）。在本文中，我们提出了一种新的学习算法OLTR，使用强化学习优化排名：强化在线学习排名（ROLTR）。在ROLTR中，基于分配给点击和未点击文档的奖励来估计排名器的梯度。为了消除奖励信号中包含的用户位置偏差，我们引入了无偏的奖励塑造函数，该函数利用点击和未点击文档的逆倾向评分。事实上，我们的方法也可以建模未点击的文档提供了进一步的优势，因为需要更少的用户交互来有效地训练排名器，从而提高效率。对标准OLTR数据集的实证评估表明，ROLTR实现了最先进的性能，并提供了显着优于其他OLTR方法的用户体验。为了促进我们实验的可重复性，我们在www.example.com上提供所有实验代码。
2022-01-05 cs.IR
Debiasing Recommendation with Personal Popularity
本文提出个人流行度（PP）概念，通过相似兴趣用户为每个用户识别不同热门物品，并设计PPAC反事实框架以缓解全局流行度偏差，提升个性化推荐准确性。
2024-02-21 cs.IR
Unbiased Learning to Rank: Counterfactual and Online Approaches
本教程涵盖并对比了无偏学习排序（LTR）中的两种主要方法：反事实LTR和在线LTR。长期以来，人们对来自用户交互的LTR很感兴趣，然而，这种形式的隐式反馈是非常有偏见的。近年来，无偏的LTR方法已经被引入，以消除搜索中由用户行为引起的不同类型的偏见的影响。例如，一个很好的解决类型的偏见是位置偏见：文档显示的排名严重影响它接收的交互。反事实LTR方法通过从历史交互中学习来处理这种类型的偏差，同时纠正明确建模的偏差的影响。在线LTR不使用明确的用户模型，相反，它通过交互式过程学习，其中向用户显示随机结果。通过随机化，可以从学习过程中消除不同类型的偏差的影响。虽然这两种方法导致无偏的LTR，他们的方法有很大的不同，此外，他们的理论保证，实证结果，在学习过程中对用户体验的影响，和适用性。因此，对于从业者来说，两者之间的选择是非常重要的。通过提供这两种方法的概述和对比，我们的目标是提供一个基本的指南，以公正的LTR，以帮助理解和选择方法。
2019-07-16 cs.IR
Differentiable Unbiased Online Learning to Rank
在线学习排序（OLTR）方法基于用户交互来优化排名器。最先进的OLTR方法是专门为线性模型构建的。他们的方法不能很好地扩展到非线性模型，如神经网络。我们引入了一种全新的OLTR方法，在每次交互后构建一个加权可微的成对损失：成对可微梯度下降（PDGD）。PDGD打破了传统的方法，依赖于交织或多重离开和广泛的采样模型来估计梯度。相反，它的梯度是基于从用户点击中推断文档对之间的偏好，可以优化任何可区分的模型。证明了PDGD的梯度是无偏的。用户文档对首选项。我们在最大的公开可用的学习排序（LTR）数据集上的实验表明，在所有水平的交互噪声下，都有相当大的显著改善。PDGD在学习速度和最终收敛性方面都优于现有的OLTR方法。此外，与以前的OLTR方法不同，PDGD还允许有效地优化非线性模型。我们的研究结果表明，使用神经网络导致更好的性能比线性模型的收敛。总之，PDGD是一种高效且无偏见的OLTR方法，它提供了比以前更好的用户体验。
2018-09-22 cs.IR
Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers
University of Louisville（路易斯维尔大学）；Amazon（亚马逊）；Meta
双向Transformer架构是最先进的顺序推荐模型，它使用基于完形填空任务的双向表示能力，也称为“完形填空”。屏蔽语言建模。后者旨在预测序列中随机掩蔽的项目。因为他们假设真正的互动项目是最相关的，暴露偏差的结果，其中具有低暴露倾向的非互动项目被认为是不相关的。最常见的方法，以减轻在建议的暴露偏差一直是逆倾向评分（IPS），其中包括降低权重的相互作用的预测在损失函数的比例，他们的暴露倾向，产生一个理论上无偏的学习。在这项工作中，我们认为，并证明IPS不扩展到顺序推荐，因为它没有考虑到问题的时间性质。然后，我们提出了一种新的倾向评分机制，理论上可以消除顺序推荐中完形填空任务的偏见。最后，我们实证证明了我们提出的方法的去偏置能力和它的鲁棒性的曝光偏差的严重程度。
2023-01-22 cs.IR cs.LG
InfoRank: Unbiased Learning-to-Rank via Conditional Mutual Information Minimization
针对隐式反馈中的位置与流行度偏差，本文提出 InfoRank，通过条件互信息正则化促使相关性估计与观测估计条件独立，并在三个推荐和搜索数据集上验证其更精确、无偏。
2024-01-23 cs.IR
Reaching the End of Unbiasedness: Uncovering Implicit Limitations of Click-Based Learning to Rank
基于点击的学习排序（LTR）解决了项目点击频率与其实际相关性之间的不匹配问题。以前的工作的方法一直是假设一个模型的点击行为，并随后介绍了一种方法，无偏估计的偏好下，假设的模型。这种方法的成功是显而易见的，因为已经为越来越多的行为模型和偏差类型找到了无偏方法。这项工作的目的是揭示隐含的限制，高层次的流行方法在反事实LTR领域。因此，与明确假设的局限性相反，我们的目标是认识到该领域目前还没有意识到的局限性。我们通过反转现有的方法来做到这一点：我们从通用术语中捕获现有的方法开始，随后，从这些通用描述中，我们推导出这些方法可以无偏的点击行为。我们的反向方法揭示了反事实LTR方法确实存在隐含的局限性：我们发现反事实估计只能产生基于仿射变换的无偏点击行为方法。此外，我们还认识到以前未讨论的限制点击建模和成对的方法，点击为基础的LTR。我们的研究结果表明，这是不可能的现有方法提供无偏性保证所有合理的点击行为模型。
2022-06-24 cs.IR
Unconfounded Propensity Estimation for Unbiased Ranking
本文从因果视角揭示现有无偏学习排序算法存在倾向性高估问题，提出基于后门调整的学习目标及日志策略感知倾向性模型，实现无混杂倾向性估计并提升排序性能。
2023-07-08 cs.IR
Addressing Personalized Bias for Unbiased Learning to Rank
针对用户搜索与浏览差异导致的个性化偏差，本文提出用户感知逆倾向得分估计器，并从理论与实验上证明其无偏性、低方差及有效性。
2025-08-28 cs.IR
Unbiased Learning to Rank: Online or Offline?
University of Utah（犹他大学）；University of Virginia（弗吉尼亚大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
如何通过有偏用户反馈的学习排序获得无偏的排序模型是信息检索的一个重要研究课题。现有的无偏学习排序（ULTR）研究主要分为两大类--基于日志数据的无偏学习算法研究，即\textit{offline}无偏学习，以及基于实时用户交互的无偏参数估计研究。即\textit{online}学习排序。虽然它们对\textit{unbiasness}的定义不同，但这两种类型的ULTR算法有着相同的目标--找到最佳模型，根据文档的内在相关性或实用性对文档进行排名。然而，大多数关于离线和在线无偏学习排序的研究都是平行进行的，没有详细比较它们的背景理论和实证表现。在本文中，我们正式的任务无偏学习排序，并表明，现有的算法离线无偏学习和在线学习排序只是同一枚硬币的两面。我们评估了六种最先进的ULTR算法，发现它们中的大多数都可以在离线设置和在线环境中使用，有或没有微小的修改。此外，我们分析了不同的离线和在线学习范式将如何影响理论基础和实证有效性的合成和真实的搜索数据的每一个算法。我们的研究结果可以提供重要的见解和指导，在实践中选择和部署ULTR算法。
2020-12-02 cs.IR cs.LG
When Inverse Propensity Scoring does not Work: Affine Corrections for Unbiased Learning to Rank
除了已经得到充分研究的位置偏见之外，信任偏见是用户与排名互动中普遍存在的另一种偏见：用户更有可能错误地点击w.r.t.他们对排名高的项目的偏好，因为他们信任排名系统。虽然以前的工作已经观察到用户的这种行为，我们证明，现有的反事实学习排序（CLTR）方法不消除这种偏见，包括专门设计的方法，以减轻这种类型的偏见。此外，我们证明了逆倾向评分（IPS）原则上是无法正确的信任偏见下，非平凡的情况。我们的主要贡献是一个新的估计的基础上仿射校正：它都重新加权点击和惩罚项目显示在排名与高信任偏见。我们的估计量是第一个被证明可以消除信任偏差和位置偏差影响的估计量。此外，我们表明，我们的估计是现有的CLTR框架的推广：如果没有信任偏见是存在的，它减少到原来的IPS估计。我们的半合成实验表明，通过消除信任偏见的影响，除了位置偏见，CLTR可以近似的最佳排名系统，甚至比以前可能的。
2020-09-09 cs.IR
Disentangled Variational Auto-encoder Enhanced by Counterfactual Data for Debiasing Recommendation
提出解耦去偏变分自编码器框架（DB-VAE）解决推荐系统多偏差耦合问题，并利用反事实数据增强缓解稀疏数据监督信号缺乏，实验证明其有效性。
2023-06-28 cs.IR
A Deep Recurrent Survival Model for Unbiased Ranking
位置偏差是信息检索中处理隐含但有偏差的用户反馈数据时的一个关键问题。无偏排名方法通常依赖于因果关系模型，并通过反向倾向加权来消除用户反馈的偏见。虽然实用，但这些方法仍然存在两个主要问题。首先，当推断用户点击时，上下文信息（例如已检查的文档）的影响通常被忽略。第二，只考虑了位置偏差，而忽略了用户浏览行为导致的其他问题。在本文中，我们提出了一个端到端的深度递归生存排名（DRSR），一个统一的框架，以联合建模用户的各种行为，（i）考虑排名列表中丰富的上下文信息;（ii）解决用户行为背后的隐藏问题，即，挖掘无点击查询（non-click queries）中的观察模式，对不能真实反映用户浏览意图的跟踪日志（untrusted observation）进行建模。具体来说，我们采用了一个递归神经网络来建模的上下文信息，并估计在每个位置的用户反馈的条件可能性。然后，我们将生存分析技术与概率链规则数学恢复一个用户的各种行为的无偏联合概率。DRSR可以很容易地与逐点和逐对学习目标相结合。在两个大规模工业数据集上进行的大量实验表明，与现有技术相比，我们的模型具有显着的性能增益。
2020-05-24 cs.IR
KuaiRand: An Unbiased Sequential Recommendation Dataset with Randomly Exposed Videos
部署在实际应用中的推荐系统可能具有固有的暴露偏差，这导致有偏见的日志数据困扰研究人员。解决这个棘手问题的一个基本方法是收集用户对随机暴露项目的交互，即，随机丢失的数据一些作品已经要求某些用户对随机推荐的物品进行评级或选择，例如，Yahoo！，Coat和OpenBandit。然而，这些数据集要么太小，要么缺乏关键信息，如唯一的用户ID或用户/项目的特征。在这项工作中，我们提出了KuaiRand，这是一个无偏的顺序推荐数据集，包含了从视频共享移动应用程序Kuaishou收集的数百万个随机暴露视频的干预交互。与现有数据集不同，KuaiRand记录了12种用户反馈信号（例如，点击，喜欢，查看时间）在两周内插入推荐源的随机曝光的视频。为了便于模型学习，我们进一步收集用户和项目的丰富特征以及用户的行为历史。通过发布这个数据集，我们首次实现了对高级去偏大规模推荐场景的研究。此外，凭借其独特的功能，KuaiRand可以支持各种其他研究方向，如交互式推荐，长序列行为建模和多任务学习。数据集及其新闻将在https://kuairand.com上提供。
2022-08-23 cs.IR
Document Similarity Enhanced IPS Estimation for Unbiased Learning to Rank
针对学习排序中的位置偏差，提出IPSsim估计器，利用文档相似性改进IPS加权，在多个数据集上显著提升无偏排序性能。
2025-07-10 cs.IR
Unidentified and Confounded? Understanding Two-Tower Models for Unbiased Learning to Rank (Extended Abstract)
本文针对生产系统点击数据训练双塔模型导致性能下降的问题，理论分析其可识别性条件与日志策略混淆效应，并提出样本加权缓解方法。
2025-08-29 cs.IR
Unbiased Offline Evaluation for Learning to Rank with Business Rules
本文研究业务规则后处理破坏排序展示倾向假设的问题，提出基于 Birkhoff-von-Neumann 分解的鲁棒校正方法，显著提升 LTR 离策略离线估计的准确性。
2023-11-03 cs.IR
Unbiased Learning to Rank with Query-Level Click Propensity Estimation: Beyond Pointwise Observation and Relevance
针对用户检视多个相关结果却少点击导致的相关性饱和偏差，本文提出查询级点击倾向性模型与 DualIPW 机制，结合位置级 IPW 实现无偏排序学习，并在 Baidu-ULTR 上验证其优于现有基线。
2025-02-18 cs.IR
TDR-CL: Targeted Doubly Robust Collaborative Learning for Debiased Recommendations
Peking University（北京大学）；University of California, San Diego（加州大学圣地亚哥分校）；Beijing Technology and Business University（北京工商大学）
偏见是推荐系统中普遍存在的一个问题，它与用户的偏好纠缠在一起，对无偏学习提出了很大的挑战。对于去偏置任务，双鲁棒（DR）方法及其变体表现出优越的性能，由于双鲁棒性，即DR是无偏的，当估算误差或学习倾向是准确的。然而，我们的理论分析表明，DR通常有很大的方差。同时，由于不准确的估算误差和学习倾向，DR会出现意想不到的大偏差和泛化能力差，这在实践中是经常发生的。在本文中，我们提出了一个原则性的方法，可以有效地减少偏见和方差同时为现有的DR方法时，错误的插补模型是错误的。此外，我们还提出了一种新的半参数协作学习方法，将估算误差分解为参数和非参数部分，并协同更新它们，从而获得更准确的预测。理论分析和实验结果都表明了该方法相对于现有去偏方法的优越性。
2023-03-02 cs.IR cs.LG stat.ML
Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank
University of Utah（犹他大学）
利用有偏点击数据优化学习排序系统已成为信息检索中的一种流行方法。由于点击数据往往是噪声和偏见，已经提出了各种方法来构建无偏学习排序（ULTR）算法的学习无偏排名模型。其中，自动无偏学习排序（AutoULTR）算法联合学习用户偏差模型（即，具有无偏排序器的倾向模型）由于其在实践中的优越性能和低部署成本而受到很多关注。尽管它们在理论和算法设计上存在差异，但现有的ULTR研究通常使用单变量排序函数对每个文档或结果进行独立评分。另一方面，上下文感知学习排名模型的最新进展表明，多变量评分函数，一起读取多个文档，并共同预测他们的排名分数，比单变量排名功能更强大的排名任务与人类注释的相关性标签。然而，这种优越的性能是否会在有噪声数据的ULTR中保持，大多是未知的。在本文中，我们调查现有的多变量评分函数和AutoULTR算法在理论上，并证明置换不变性是一个关键因素，决定是否上下文感知的学习排名模型可以应用到现有的AutoULTR框架。我们在两个大规模基准数据集上进行的合成点击实验表明，具有置换不变多变量评分函数的AutoULTR模型显著优于具有单变量评分函数和置换变量多变量评分函数的模型。
2020-08-20 cs.IR cs.LG
Doubly-Robust Estimation for Correcting Position-Bias in Click Feedback for Unbiased Learning to Rank
Radboud University（拉德堡德大学）
排名上的点击受到位置偏见的影响：通常排名较低的项目不太可能被用户检查-从而点击-尽管他们对项目的实际偏好。无偏的基于点击的学习排名（LTR）的流行方法是基于反事实的逆倾向评分（IPS）估计。与一般的强化学习相比，反事实双鲁棒（DR）估计尚未应用于基于点击的LTR在以前的文献。在本文中，我们介绍了一种新的DR估计，这是第一个DR方法专门设计的位置偏差。位置偏差的困难在于，在点击数据中无法直接观察到治疗-用户检查。作为解决方案，我们的估计器使用每个秩的预期处理，而不是现有DR估计器使用的实际处理。我们的新DR估计器比现有的IPS方法具有更强大的无偏性条件，此外，提供了巨大的方差降低：我们的实验结果表明，它需要几个数量级的数据点收敛到最佳性能。对于无偏LTR领域，我们的DR估计有助于提高最先进的性能和最强大的理论保证所有已知的LTR估计。
2022-10-30 cs.IR cs.LG
ULTRA: An Unbiased Learning To Rank Algorithm Toolbox
University of Utah（犹他大学）
学习排序系统已经成为我们日常生活的一个重要方面。然而，用于训练许多学习排序模型的隐式用户反馈通常是有噪声的并且遭受用户偏差（即，位置偏差）。因此，获得一个无偏的模型，使用有偏反馈已成为一个重要的研究领域IR。现有的无偏学习排序（ULTR）的研究可以概括为两个家庭的算法，达到无偏与记录数据，离线学习，和算法，实现无偏估计无偏参数与实时用户交互，即在线学习。虽然这两个家族都有许多算法，但缺乏一种统一的方法来比较和基准测试它们。因此，对于研究人员来说，为他们的问题选择正确的技术，或者对于新进入该领域的人来说，学习和理解现有的算法可能是一个挑战。为了解决这个问题，我们引入了ULTRA，这是一个灵活的，可扩展的，易于配置的ULTR工具箱。它的主要功能包括支持多个ULTR算法和可配置的超参数，各种内置的点击模型，可单独用于模拟点击，不同的排名模型架构和评估指标，以及简单的学习排序管道创建。本文讨论了ULTR的总体框架，简要描述了ULTRA中的算法，详细介绍了工具箱的结构和流水线。我们对ultra支持的所有算法进行了实验，结果表明工具箱的性能是合理的。我们的工具箱是一个重要的资源，研究人员可以使用不同的配置对ULTR算法进行实验，并使用支持的功能测试他们自己的算法。
2021-08-11 cs.IR cs.LG
Unbiased Learning to Rank with Biased Continuous Feedback
Tencent（腾讯）
这是一个众所周知的挑战，学习一个公正的排名与偏见的反馈。无偏学习排名（LTR）算法，这是验证模型的相对相关性准确的基础上嘈杂的反馈，是有吸引力的候选人，并已被应用于许多应用程序与单一的分类标签，如用户点击信号。然而，现有的无偏LTR方法不能正确地处理连续反馈，这是必不可少的许多工业应用，如内容推荐系统。为了提供个性化的高质量推荐结果，推荐系统需要对分类和连续的有偏反馈（如点击和停留时间）进行建模。因此，我们设计了一种新的无偏LTR算法来解决这些挑战，该算法创新性地以成对的方式对位置偏差进行建模，并引入成对的信任偏差来明确地分离位置偏差，信任偏差和用户相关性，并且可以用于连续和分类反馈。在公共基准数据集和腾讯新闻大规模推荐系统的内部实时流量上的实验结果表明，该方法在连续标签上具有较好的效果，在分类标签上也具有较好的性能。
2023-03-08 cs.IR cs.LG
Taking the Counterfactual Online: Efficient and Unbiased Online Evaluation for Ranking
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（阿霍德·德尔海兹）
反事实评估可以根据历史交互数据估计排名系统之间的点击率（CTR）差异，同时减轻位置偏差和项目选择偏差的影响。我们引入了新的日志策略优化算法（LogOpt），它优化了日志数据的策略，使反事实估计具有最小的方差。由于最小化方差导致更快的收敛，LogOpt提高了反事实估计的数据效率。LogOpt将反事实方法（与日志策略无关）转变为在线方法，由算法决定显示什么样的排名。我们证明，作为一种在线评估方法，LogOpt是无偏的w.r.t.位置和项目选择偏差，不像现有的交织方法。此外，我们通过模拟数千个排名之间的比较来进行大规模实验。我们的研究结果表明，虽然交织方法会产生系统误差，但LogOpt与交织方法一样有效，而不会有偏差。
2020-07-28 cs.IR cs.LG
Unbiased Learning to Rank Meets Reality: Lessons from Baidu's Large-Scale Search Dataset
University of Amsterdam（阿姆斯特丹大学）；Naver Labs Europe（Naver欧洲实验室）
本研究基于百度Baidu-ULTR数据集验证无偏学习排序技术的真实效果，发现其虽能稳定提升点击预测，但难以持续改善排序性能，且性能结论高度依赖基准的评估指标。
2024-05-15 cs.AI cs.IR
Unbiased Pairwise Learning to Rank in Recommender Systems
Tencent（腾讯）
如今，推荐系统已经影响到人们生活的方方面面。为了提供个性化的高质量推荐结果，常规系统通常训练逐点排序器以预测目标的绝对值并利用明显的浅塔来估计和减轻位置偏差的影响。然而，对于这样的训练范例，优化目标与排名度量有很大不同，排名度量重视排名靠前的项目的相对顺序，而不是每个项目的预测精度。此外，由于现有系统倾向于在较高位置推荐更相关的项目，因此基于浅塔的方法难以将用户反馈精确地归因于位置或相关性的影响。因此，如果我们设法解决上述问题，我们将有一个令人兴奋的机会来提高性能。无偏的学习排序算法，这是验证模型的相对相关性准确的基础上嘈杂的反馈，是有吸引力的候选人，并已被应用在许多应用程序与单一的分类标签，如用户点击信号。然而，现有的无偏LTR方法不能正确地处理包含分类标签和连续标签的多个反馈。因此，我们设计了一种新的无偏LTR算法来解决这些挑战，该算法创新性地以成对的方式对位置偏差进行建模，并引入成对的信任偏差来明确地分离位置偏差，信任偏差和用户相关性。在公共基准数据集和内部实时流量上的实验结果表明，该方法对分类标签和连续标签都有较好的效果。
2021-11-30 cs.AI cs.IR
Whole Page Unbiased Learning to Rank
Michigan State University（密歇根州立大学）；Wuhan University（武汉大学）；Carnegie Mellon University（卡内基梅隆大学）；Baidu Inc.（百度公司）；Wilfrid Laurier University（威尔弗里德劳里埃大学）
本文提出整页无偏排序学习问题 WP-ULTR，并用基于因果发现的 BAL 算法同时建模并缓解搜索结果页多种呈现特征导致的点击偏差。
2024-06-13 cs.AI cs.IR
Federated Unbiased Learning to Rank
Apple Inc.（苹果公司）
无偏学习排序（ULTR）研究基于有偏用户交互的排序函数的学习问题。在这个框架中，ULTR算法必须依赖于由中央服务器收集、存储和聚合的大量用户数据。在本文中，我们考虑了一个设备上的搜索设置，用户在本地设备上搜索他们的个人语料库，目标是从有偏见的用户交互中学习排名函数。由于隐私限制，用户的查询、个人文档、结果列表和原始交互数据不会离开他们的设备，并且ULTR必须通过联邦学习（FL）进行。直接在用户设备上应用现有的ULTR算法可能会由于有限的本地交互量而受到训练数据不足的影响。为了解决这个问题，我们提出了FedIPS算法，该算法在中央服务器的协调下从设备上的用户交互中学习，并使用点击倾向来消除用户交互中的位置偏差。我们在Yahoo和Istella数据集上对FedIPS的评估表明，FedIPS在一系列位置偏差上是稳健的。
2021-05-11 cs.IR cs.LG
Contextual Dual Learning Algorithm with Listwise Distillation for Unbiased Learning to Rank
ICT, CAS（中国科学院信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有无偏排序学习方法在真实点击数据上性能不明的问题，提出带列表式蒸馏的上下文对偶学习算法CDLA-LD，同时解决位置与上下文偏置，在百度搜索日志子集数据集上验证了有效性。
2024-08-19 cs.AI cs.IR
Fairness in Image Search: A Study of Occupational Stereotyping in Image Retrieval and its Debiasing
University of Washington（华盛顿大学）；Information School（信息学院）
该研究聚焦图像搜索中的职业性别刻板印象偏差，通过多种性别识别API评估偏差程度，提出兼顾相关性与性别公平性的重排序算法，实验验证其公平性更优且相关性具竞争力。
2023-08-22 cs.CL cs.CV cs.IR
An approach towards debiasing user ratings
随着电子商务的重要性日益增加，出现了许多网站，用户可以表达他们对产品的意见，如电影，书籍，歌曲等，这样的互动可以建模为二分图，从用户到产品的有向边的权重表示用户赋予产品的评级。这些图用于推荐系统和发现最可靠（可信）的产品。对于这些应用程序，重要的是要捕捉用户在对产品进行评级时的偏见。用户有固有的偏见-许多用户总是给予高评价，而许多其他人总是评价很低。在阅读产品评论时，有必要了解评论者的偏见。在为对象分配排名时，补偿这种偏差同样重要。在本文中，我们提出了一种算法来捕捉用户的偏见，然后制服它来计算产品应得的真实评级。实验表明，我们的系统在捕捉用户的偏见，然后计算产品的真实评级的效率和有效性。
2016-03-14 cs.IR cs.SI
Unbiased Learning-to-Rank with Biased Feedback
Cornell University（康奈尔大学）
隐式反馈（例如，点击、停留时间等）是人机交互系统中丰富的数据源。虽然隐式反馈具有许多优点（例如，收集成本低、以用户为中心、及时），但其固有的偏见是其有效使用的主要障碍。例如，搜索排名中的位置偏差强烈影响结果接收的点击量，因此在学习排序（LTR）方法中直接使用点击数据作为训练信号会产生次优结果。为了克服这个偏差问题，我们提出了一个反事实推理框架，提供了理论基础，无偏LTR通过经验风险最小化，尽管有偏见的数据。使用这个框架，我们推导出一个倾向加权排名SVM的歧视性学习隐式反馈，点击模型的倾向估计的作用。与使用点击模型来消除数据偏见的大多数传统方法相比，这允许即使在查询不重复的设置中也能训练排名函数。除了理论支持之外，我们还从经验上证明了所提出的学习方法在处理偏差方面非常有效，它对噪声和倾向模型的错误设定具有鲁棒性，并且它可以有效地扩展。我们还证明了我们的方法在实际操作中的搜索引擎，它大大提高了检索性能的适用性。
2016-08-16 cs.IR cs.LG
Scalar is Not Enough: Vectorization-based Unbiased Learning to Rank
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）
无偏学习排序（ULTR）的目的是训练一个公正的排名模型，从偏见的用户点击日志。目前的ULTR方法大多基于检验假设（EH），即点击概率可以分解为两个标量函数，一个与排序特征相关，另一个与偏置因子相关。不幸的是，在实践中，特征、偏置因子和点击之间的相互作用是复杂的，并且通常不能以这种独立的方式分解。用EH拟合点击数据会导致模型误设定，带来近似误差。在本文中，我们提出了一个基于向量的EH和制定点击概率为两个向量函数的点积。该解决方案是完整的，因为它的通用性，在拟合任意点击功能。在此基础上，我们提出了一种新的模型Vectorization自适应学习的相关嵌入和排序的文档投影到一个基向量。大量的实验表明，我们的方法显着优于国家的最先进的ULTR方法对复杂的真实点击以及简单的模拟点击。
2022-06-12 cs.AI cs.IR cs.LG
Handling Position Bias for Unbiased Learning to Rank in Hotels Search
TripAdvisor, Inc.（猫途鹰公司）；st Avenue（第一大道400号）；Needham, MA 02494（马萨诸塞州尼德姆市02494）
如今，搜索排名和推荐系统依赖于大量数据来训练机器学习模型，例如学习排名（LTR）模型，以对给定查询的结果进行排名，并且隐式用户反馈（例如，点击数据）由于其丰富和低成本而已经成为数据汇集的主要来源，特别是对于主要的互联网公司。然而，这种数据汇集方法的缺点是数据可能是高度偏差的，并且最显著的偏差之一是位置偏差，其中用户偏向于点击排名较高的结果。在这项工作中，我们将研究在Tripadvisor Hotels搜索的在线测试环境中正确处理位置偏差的边际重要性。我们提出了一个经验有效的方法来处理的位置偏差，充分利用用户的动作数据。我们利用这样一个事实，即当用户点击一个结果，他几乎肯定会观察到所有的结果上面，点击结果下面的结果的倾向将估计一个简单但有效的位置偏差模型。在线A/B测试结果表明，该方法导致了一个改进的搜索排名模型。
2020-02-28 cs.IR cs.LG
Recent Advances in the Foundations and Applications of Unbiased Learning to Rank
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
本教程介绍无偏排序学习（ULTR）核心概念，梳理其基础研究最新进展与实际应用成果，涵盖偏差类型、估计技术、应用案例、排序公平性及未来方向，为相关研究者与从业者提供参考。
2023-05-04 cs.IR cs.LG
Unidentified and Confounded? Understanding Two-Tower Models for Unbiased Learning to Rank
University of Amsterdam（阿姆斯特丹大学）
本文研究了双塔模型在无偏排序学习中性能下降的两种解释（混淆效应与可识别性问题），分析了理论条件并提出样本加权技术以缓解日志记录策略带来的偏差。
2025-06-25 cs.IR cs.LG
Position Bias Estimation for Unbiased Learning-to-Rank in eCommerce Search
eBay Inc.（易趣公司）
无偏的学习排序框架最近被提出作为一种通用的方法，以系统地消除偏见，如位置偏见，从学习排序模型。该方法采取两个步骤-估计点击倾向和使用它们来训练无偏模型。在文献中提出的估计倾向的最常见的方法涉及在现场搜索引擎的干预程度。最近提出的另一种方法使用期望最大化（EM）算法来估计倾向，通过使用排名功能估计相关性。在这项工作中，我们提出了一种新的方法来直接估计倾向，不使用任何干预现场搜索或依赖于建模相关性。相反，我们利用了这样一个事实，即同一个查询-文档对可能会随着时间的推移自然地改变排名。这通常发生在电子商务搜索中，因为项目的受欢迎程度随着时间的推移而变化，存在时间相关的排名功能，或者在索引中添加或删除项目（出售项目或列出新项目）。然而，我们的方法是通用的，可以应用于任何搜索引擎的排名相同的文件可能会自然地改变随着时间的推移，为相同的查询。我们推导出一个简单的似然函数，它只依赖于倾向，通过最大化似然，我们能够得到倾向的估计。我们将此方法应用于eBay搜索数据，以估计Web和移动搜索的点击倾向，并将其与使用EM方法的估计值进行比较。我们还使用模拟数据来表明该方法对“真实”模拟倾向给出了可靠的估计。最后，我们使用估计的倾向训练eBay搜索的无偏学习排序模型，并表明它优于两个基线-一个没有位置偏差校正，一个使用EM方法进行位置偏差校正。
2019-10-22 cs.AI cs.IR cs.LG
Identifiability Matters: Revealing the Hidden Recoverable Condition in Unbiased Learning to Rank
Zhejiang University（浙江大学）；Salesforce Research Asia（Salesforce 亚洲研究院）；National University of Singapore（新加坡国立大学）；State Street Technology (Zhejiang) Ltd（道富科技（浙江）有限公司）
本研究揭示无偏学习排序中相关性可恢复的条件，提出节点干预与合并方法修复可识别性图连通性，提升排序性能。
2024-05-24 cs.AI cs.IR cs.LG
Reducing Popularity Influence by Addressing Position Bias
Zalando SE（扎兰多公司）
该研究针对推荐系统的位置偏差问题，提出从降低流行度倾斜的视角开展位置去偏差，可均匀分配曝光互动、提升商品集合利用率，且不损害用户参与度与营收，长期利好生态各方。
2024-12-11 cs.IR cs.LG
Towards Disentangling Relevance and Bias in Unbiased Learning to Rank
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
针对无偏学习排序双塔架构中偏差塔经真实相关性与相关性塔混淆的问题，提出三种解耦方法，并在公共与大规模工业数据集上验证有效。
2023-06-04 cs.AI cs.IR
