Generalization bounds for mixing processes via delayed online-to-PAC conversions
Universitat Pompeu Fabra（庞培法布拉大学）
本文将平稳混合过程下的泛化问题归约为延迟反馈在线学习，证明有界 regret 蕴含低泛化误差，并揭示延迟与数据依赖间的权衡及近最优速率。
2025-02-19 cs.LG
Stochastic Bandit Models for Delayed Conversions
Université Paris-Saclay（巴黎萨克雷大学）；Telecom ParisTech（巴黎高等电信学院）；LIMSI, CNRS（法国国家科学研究中心计算机科学与人机交互实验室）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Criteo Research（Criteo研究院）
在线广告和产品推荐是多臂强盗方法的重要应用领域。在这些领域中，立即可用的奖励通常只是兴趣的实际结果的代理，我们称之为转换。例如，在网络广告中，点击可以在广告显示后的几秒钟内观察到，但相应的销售（如果有的话）将需要几个小时，如果不是几天的话。本文在Chapelle（2014）提出的框架内提出并研究了一个新的随机多臂强盗模型-基于网络广告领域的实证研究-其中每个行为都可能触发未来的奖励，然后会发生随机延迟。我们假设与每个动作相关联的转换的概率是未知的，而转换延迟的分布是已知的，区分（理想化）的情况下，转换事件可以观察到无论他们的延迟和更现实的设置中，后期转换审查。我们提供了性能下限，以及两个简单而有效的算法的基础上UCB和KLUCB框架。后一种算法，这是最好的转换率低时，是基于泊松化参数，在其他设置中，需要不同的成功概率的伯努利观测的聚合独立的兴趣。
2017-07-12 cs.LG
A Feedback Shift Correction in Predicting Conversion Rates under Delayed Feedback
Cyberagent, Inc.（赛博艾金特公司）
在显示广告中，预测转化率，即用户在广告商的网站上采取预定义动作（诸如购买商品）的概率，是估计显示广告的价值的基础。然而，在点击和其结果转换之间存在相对较长的时间延迟。由于延迟反馈，训练周期中的一些肯定实例被标记为否定，因为当收集训练数据时，一些转换尚未发生。结果，条件标签分布在训练数据和生产环境之间不同。这种情况被称为反馈移位。我们解决这个问题，通过使用一个重要的权重方法通常用于协变量偏移校正。我们证明了它的一致性的反馈移位。离线和在线实验结果表明，我们提出的方法优于现有的方法。
2020-02-06 cs.LG stat.ML
Dual Learning Algorithm for Delayed Conversions
Tokyo Institute of Technology（东京工业大学）；CyberAgent, Inc.（赛博艾坚特公司）
在显示广告中，预测转化率（CVR）（意味着用户在广告商的网站上采取预定义动作的概率）是用于估计向用户显示广告的价值的基本任务。由于延迟反馈，CVR预测存在两个主要挑战。首先，在训练数据中没有正确观察到一些正标签，因为一些转换在点击后不会立即发生。其次，延迟机制在实例之间并不一致，这意味着一些正反馈比其他反馈更频繁地被观察到。人们普遍认为，这些问题导致严重的偏差，在CVR预测。为了克服这些挑战，我们提出了两个无偏估计量：一个用于CVR预测，另一个用于偏倚估计。随后，我们提出了一种双重学习算法，其中CVR预测器和偏差估计器仅使用可观察的转换以交替方式进行训练。该算法是第一个以理论上复杂的方式解决这两个主要挑战的算法。使用合成数据集的实证评估证明了所提出的方法的实用价值。
2020-05-19 cs.LG stat.ML
Freshness or Accuracy, Why Not Both? Addressing Delayed Feedback via Dynamic Graph Neural Networks
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
针对转化率预测中的延迟反馈导致数据新鲜度与标签准确性难以兼顾的问题，提出包含动态图构建与 HLGCN 的 DGDFEM 方法，并在三个工业数据集上验证其优势。
2023-08-15 cs.AI cs.LG
A Nonparametric Delayed Feedback Model for Conversion Rate Prediction
Chiba Institute of Technology（千叶工业大学）；CyberAgent, Inc.（CyberAgent公司）
预测显示广告中的转化率（CVR）（例如，预测购买物品的用户的比例（即，转换）在其相应的广告被点击之后）在测量向用户显示的广告的效果和理解用户的兴趣时是重要的。通常存在时间延迟（即，所谓的{ \it延迟反馈}）。由于延迟的反馈，在观察周期之后转换的样本可以被视为负的。为了克服这个缺点，已经提出了假设时间延迟遵循指数分布的CVR预测。然而，在实践中，不能保证延迟是从指数分布产生的，并且表示延迟的最佳分布取决于数据。在本文中，我们提出了一个非参数延迟反馈模型CVR预测，表示的时间延迟的分布，而不假设一个参数分布，如指数或威布尔分布。因为时间延迟的分布是根据广告的内容和用户的特征来建模的，所以可以潜在地表示分布的各种形状。在实验中，我们表明，该模型可以捕获的时间延迟的分布在一个合成的数据集，即使当分布是复杂的。此外，在一个真实的数据集上，我们证明了该模型在转换率预测方面优于现有的假设时间延迟为指数分布的方法。
2018-02-01 cs.LG stat.AP stat.ML
Multi-Head Online Learning for Delayed Feedback Modeling
Airbnb（爱彼迎）；Bytedance Inc.（字节跳动公司）
在在线广告中，预测转化的概率和价值是非常重要的（例如，购买）。它不仅通过展示相关广告来影响用户体验，而且还影响广告主的ROI和市场的收入。与通常在展示后几分钟内发生的点击不同，转换预计会在很长一段时间内发生（例如，网上购物30天）。这带来了一个挑战，因为真正的标签只有在长时间延迟后才可用。要么使用不准确的标签（部分转换），要么在陈旧的数据上训练模型（例如，30天前）。这个问题在在线学习中更为突出，在线学习侧重于最新数据的现场表现。在本文中，提出了一种新的解决方案，以解决这一挑战，使用多头建模。与传统方法不同，它直接将转换量化为多个窗口，例如第1天，第2天，第3-7天和第8-30天。子模型专门针对每个窗口内的转换进行训练。标签新鲜度在早期模型中得到最大限度的保留（例如，第1天和第2天），而在具有较长延迟的模型中准确地利用后期转换（例如，第8-30天）。在在线学习实验中，对于转化率（CVR）和每次点击价值（VPC）预测，它的性能大大超过了已知方法。最后，作为延迟反馈建模的一般方法，它可以与任何先进的ML技术相结合，以进一步提高性能。
2022-05-24 cs.AI cs.LG
Delayed Feedback Modeling with Influence Functions
针对在线广告中延迟反馈导致CVR预测偏差的问题，提出IF-DFM方法，利用影响函数估计转化对参数的影响以实现无需全量重训的高效更新，在准确性与适应性上优于现有方法。
2025-08-14 cs.AI cs.IR cs.LG
Asymptotically Unbiased Estimation for Delayed Feedback Modeling via Label Correction
Alibaba Group（阿里巴巴集团）
缓解延迟反馈问题对于在线广告中的转化率（CVR）预测至关重要。先前的延迟反馈建模方法使用观察窗口来平衡等待准确标签和消耗新鲜反馈之间的权衡。此外，为了估计新观察到的但具有假阴性的有偏分布的CVR，重要性采样被广泛用于减小分布偏差。虽然有效，但我们认为，以前的方法在重要性加权过程中错误地将假阴性样本视为真阴性样本，并且没有充分利用观察到的阳性样本，从而导致次优性能。在这项工作中，我们提出了一种新的方法，延迟反馈建模与无偏估计，（DEFUSE），其目的是分别校正的重要性权重的即时积极，假阴性，真正的阴性，和延迟的积极样本在更细的粒度。具体来说，我们提出了一个两步优化方法，首先推断假阴性之间观察到的负面应用重要性采样的概率。为了充分利用来自观察到的分布的地面实况即时阳性，我们进一步开发了一个双分布建模框架，以联合建模无偏即时阳性和有偏延迟转换。在公开数据集和工业数据集上的实验结果验证了DEFUSE的优越性。代码可在https://github.com/ychen216/DEFUSE.git上获得。
2022-02-15 cs.LG
Incrementality Bidding via Reinforcement Learning under Mixed and Delayed Rewards
Google Research（谷歌研究院）；University of Virginia（弗吉尼亚大学）；University of Chicago（芝加哥大学）
增量，用于衡量向潜在客户（例如互联网平台中的用户）展示广告的因果效应，是在线广告平台中广告商的核心目标。本文研究了广告主如何在事先知道增量参数的情况下，通过在线方式\emph{without}学习优化投标序列的问题。我们将这个问题的离线版本表示为一个特殊结构的情节马尔可夫决策过程（MDP），然后，对于其在线学习对应物，提出了一种新的强化学习（RL）算法，最多遗憾$\widetilde{O}(H^2\sqrt{T})$，它取决于回合数$H$和情节数$T$，但不取决于动作数（即，可能的出价）。我们的学习问题与标准RL问题之间的根本区别在于，来自转换增量的已实现奖励反馈是\emph{mixed}和\emph{delayed}。为了解决这个困难，我们提出并分析了一种新的成对矩匹配算法来学习转换增量，我们认为这是独立的利益。
2023-01-14 cs.GT cs.LG
Sales Channel Optimization via Simulations Based on Observational Data with Delayed Rewards: A Case Study at LinkedIn
UCLA（加州大学洛杉矶分校）；Gopuff（Gopuff公司）；LinkedIn Corporation（领英公司）
从随机实验中获得的数据训练模型是做出正确决策的理想选择。然而，随机实验往往耗时、昂贵、风险大、不可行或不道德，决策者在训练模型时别无选择，只能依赖在历史政策下收集的观测数据。这不仅引发了关于哪些决策策略在实践中表现最佳的问题，而且还引发了关于不同数据汇集协议对基于数据训练的各种策略的性能的影响的问题，或者关于问题特征（例如，观察结果中的动作或奖励特定延迟）的变化的策略性能的鲁棒性的问题。我们的目标是回答这样的问题优化销售渠道分配在LinkedIn的问题，其中销售帐户（线索）需要分配到三个渠道之一，目标是在一段时间内最大限度地提高成功转化的数量。一个关键的问题特征是在观察分配结果时存在随机延迟，其分布既依赖于通道又依赖于结果。我们建立了一个离散时间模拟，可以处理我们的问题特征，并使用它来评估：a）基于历史规则的策略; b）监督机器学习策略（XGBoost）;和c）多臂强盗（MAB）策略，在不同的场景下，涉及：i）用于训练的数据汇集（观察与随机）; ii）铅转换场景; iii）延迟分布。我们的模拟结果表明，LinUCB，一个简单的MAB政策，始终优于其他政策，实现了18-47%的电梯相对于基于规则的政策
2022-09-16 cs.LG
Modeling Cascaded Delay Feedback for Online Net Conversion Rate Prediction: Benchmark, Insights and Solutions
Xiamen University Xiamen China；Taobao \& Tmall Group of Alibaba Beijing China；Xiamen University；Taobao \& Tmall Group of Alibaba
本文提出TESLA框架，通过级联建模CVR和退款率，解决NetCVR预测中的延迟反馈问题，实现性能提升。
2026-01-29 cs.LG
Adaptive Experimentation with Delayed Binary Feedback
使用需要显著延迟才能实现的目标进行实验（例如转换，添加到购物车事件等）很有挑战性虽然经典的“分裂样本测试”仍然适用于延迟反馈，实验将需要更长的时间才能完成，这也意味着花费更多的资源，由于其固定的分配时间表性能较差的策略。或者，“多臂强盗”等自适应方法能够有效降低实验成本。但这些方法通常不能直接处理延迟的目标。本文提出了一种自适应实验解决方案，通过估计真正的潜在目标之前，他们实现和动态分配变量的基础上的估计延迟二进制反馈目标。实验表明，该方法是更有效的延迟反馈相比，其他各种方法，并在不同的设置是鲁棒的。此外，我们描述了一个实验产品，该算法提供动力。该产品目前部署在JD.com的在线实验平台上，这是一家大型电子商务公司和数字广告发布商。
2022-02-02 cs.IR cs.LG
DUET -- Dual User Embedding Transformers for Offsite Conversion Prediction
Meta
针对点击信号丰富但转化信号稀疏、延迟的问题，提出DUET框架，通过为点击和转化流分别预训练专用变换器编码器，生成互补嵌入，在服务延迟约束下提升站外转化率预测精度。
2026-06-08 cs.LG
Delayed Feedback Modeling for Post-Click Gross Merchandise Volume Prediction: Benchmark, Insights and Approaches
School of Informatics, Xiamen University Xiamen China；Taobao \& Tmall Group of Alibaba Beijing China；School of Informatics, Xiamen University；Taobao \& Tmall Group of Alibaba
本文提出READER模型，通过在线流式训练和动态校准回归目标，提升GMV预测性能，揭示复购样本与单次购买样本标签分布差异，推动延迟反馈建模研究。
2026-01-28 cs.LG
When Offline Evaluation Misleads: A Diagnostic Protocol for Reward and Policy Selection in Delayed-Feedback Contextual Bandits
Thumbtack, Inc.（Thumbtack公司）
针对延迟反馈情境多臂老虎机的奖励与策略选择，提出有序诊断协议，验证其有效性并揭示奖励排序易误导、个性化溢价易高估的结论。
2026-08-13 cs.LG
Hardware-Friendly Delayed-Feedback Reservoir for Multivariate Time-Series Classification
Kyoto University（京都大学）
针对储层计算在硬件实现中因特征转换矩阵求逆导致的电路大、功耗高问题，提出点积基储层表示（DPRR）及硬件友好的延迟反馈储层（DFR），全数字实现且在12个任务中准确性高、电路小。
2025-04-16 cs.AR cs.LG
TWICE: Two-Clock, Two-Window Learning for Long-Horizon Conversion Prediction in Online Advertising
Kuaishou Technology（快手科技）
研究在线广告中延迟反馈下的长期转化预测问题，提出TWICE框架，将长期点击后转化率分解，利用双时钟提供互补监督训练模型，实验证明该方法有效，提升了快手广告系统的相关指标。
2026-07-29 cs.IR cs.LG
Learning Classifiers under Delayed Feedback with a Time Window Assumption
CyberAgent, Inc.（赛博艾坚特公司）
我们考虑在延迟反馈下训练二元分类器（\emph{DF learning}）。例如，在在线广告的转化预测中，我们最初收到的是点击广告但没有购买商品的负样本;随后，其中一些样本购买了商品，然后变为正样本。在DF学习的环境中，我们随着时间的推移观察样本，然后在某个时候学习分类器。我们最初接收阴性样本;随后，其中一些样本变为阳性。这个问题在各种现实世界的应用中是可以想象的，例如在线广告，其中用户动作在第一次点击之后很久才发生。由于延迟反馈，正样本和负样本的朴素分类返回有偏差的分类器。一种解决方案是使用已经观察超过特定时间窗口的样本，假设这些样本被正确标记。然而，现有的研究报告说，简单地使用基于时间窗口假设的所有样本的子集并不能很好地执行，并且使用所有样本以及时间窗口假设可以提高经验性能。我们扩展了这些现有的研究，并提出了一种方法与无偏和凸的经验风险，是从所有的样本下的时间窗口假设。为了证明所提出的方法的合理性，我们提供了一个合成的和开放的数据集，这是真正的流量日志数据集在线广告的实验结果。
2022-06-10 cs.LG econ.EM stat.ML
Real Time Bid Optimization with Smooth Budget Delivery in Online Advertising
Turn Inc（Turn公司）
如今，每天都有数十亿的展示广告展示通过实时的竞价（RTB）交易所主办的公开拍卖进行购买。广告商必须在毫秒内做出决定，为每个选定的RTB广告请求提交出价。受预算限制，目标是购买一组广告展示，以达到尽可能多的目标用户。广告主特定的期望动作（转换）包括购买产品、填写表格、注册电子邮件等。此外，广告主通常更喜欢随着时间的推移平稳地花费他们的预算，以便在一天中接触到更广泛的受众，并产生可持续的影响。然而，由于转换很少发生，并且发生反馈通常延迟，因此同时实现预算和性能目标非常具有挑战性。在本文中，我们提出了一种在线方法，以顺利交付预算，同时优化转换性能。我们的算法试图选择高质量的印象，并调整投标价格的基础上，在一个自适应的方式，通过分配预算最佳跨时间的先验性能分布。我们从真实的广告活动的实验结果表明，我们所提出的方法的有效性。
2013-05-14 cs.GT cs.LG
Delay Complexity Dimension: Learning with Delayed and Censored Labels
Independent Researcher
该研究针对带随机延迟和观测窗口W外删失标签的二元分类器PAC学习，提出延迟复杂度维度（DCD），结合VC维与标签信息率，给出样本复杂度下界，经理论推导与实验验证，中等窗口延迟标签可优于即时标签。
2026-10-15 cs.IT cs.LG math.IT
