User Response Prediction in Online Advertising
Florida Atlantic University（佛罗里达大西洋大学）
在线广告作为一个巨大的市场，在搜索引擎、第三方网站、社交媒体和移动应用程序等各种平台上获得了极大的关注。在线活动的繁荣是在线营销中的一个挑战，通常通过不同的指标来评估用户的反应，例如广告（ad）创意的点击，产品的订阅，物品的购买或通过在线调查的明确用户反馈。近年来，使用计算方法（包括机器学习方法）进行用户响应预测的研究数量显著增加。然而，现有的文献主要集中在算法驱动的设计，以解决特定的挑战，并没有全面的审查存在回答许多重要的问题。参与在线数字广告生态系统的各方是什么？什么类型的数据可用于用户响应预测？如何以可靠和/或透明的方式预测用户响应？在这项调查中，我们提供了一个全面的审查用户反应预测在线广告和相关的推荐应用程序。我们的基本目标是提供对在线广告平台、利益相关者、数据可用性和用户响应预测的典型方式的全面了解。我们提出了一个分类法来对最先进的用户响应预测方法进行分类，主要关注不同在线平台中使用的机器学习方法的当前进展。此外，我们还回顾了用户响应预测，基准数据集和开源代码在该领域的应用。
2021-02-23 cs.LG cs.SI
A Unified Framework for Campaign Performance Forecasting in Online Display Advertising
Alibaba Group（阿里巴巴集团）
广告主通常在规划在线展示广告活动时可以灵活选择目标受众、地理区域和投标价格等标准，但他们缺乏有关活动绩效的预测信息，无法提前优化投放策略，导致浪费人力和预算进行反馈调整。在本文中，我们的目标是预测任何特定标准的新活动的关键性能指标。可解释和准确的结果可以使广告客户管理和优化他们的活动标准。这项任务面临着若干挑战。首先，平台通常在广告主策划广告活动时为他们提供各种标准，由于出价类型之间存在很大差异，因此很难统一评估活动效果。此外，复杂的策略应用在投标系统中带来了很大的波动运动性能，使估计精度是一个非常困难的问题。为了解决上述挑战，我们提出了一种新的运动性能预测框架，它首先再现运动性能的历史日志下的各种投标类型与统一的重放算法，其中基本的拍卖过程，如匹配和排名重放，确保预测结果的可解释性。然后，我们创新性地引入了一种多任务学习方法来校正重放中难以重现的报价策略所带来的估计偏差。该方法捕捉相关预测指标之间的混合校准模式，将估计结果映射到真实结果，显著提高了准确性和效率。在Taobao.com数据集上的实验结果表明，该框架的性能大大优于其他基线，在线A/B测试验证了其在现实世界中的有效性。
2022-02-24 cs.LG
Optimizing Online Advertising with Multi-Armed Bandits: Mitigating the Cold Start Problem under Auction Dynamics
Avito；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文针对在线广告冷启动问题，提出一种适用于按点击付费拍卖系统的类UCB多臂老虎机算法，在给出预算遗憾理论上界的同时，通过受控探索与利用兼顾平台长期盈利和短期利润。
2025-02-03 cs.LG
DEAR: Deep Reinforcement Learning for Online Advertising Impression in Recommender Systems
Michigan State University（密歇根州立大学）；Bytedance（字节跳动）
随着最近强化学习（RL）的流行，在推荐平台（例如，电子商务和新闻馈送站点）。然而，大多数基于RL的广告算法专注于优化广告的收入，而忽略了广告对推荐项目（产品、文章和视频）的用户体验的可能负面影响。开发推荐中的最佳广告算法面临着巨大的挑战，因为插入广告不当或过于频繁可能会降低用户体验，而插入较少的广告将减少广告收入。因此，在本文中，我们提出了一种新的广告策略的rec/ads权衡。具体来说，我们开发了一个基于RL的框架，可以不断更新其广告策略，并从长远来看最大化回报。给定一个推荐列表，我们设计了一个新的Deep Q网络架构，可以联合确定三个内部相关的任务，即，(i)是否在推荐列表中插入广告，以及如果是，（ii）最佳广告和（iii）插入的最佳位置。基于真实数据的实验结果验证了该框架的有效性。
2021-05-05 cs.IR cs.LG
Deep reinforcement learning for search, recommendation, and online advertising: a survey
Michigan State University（密歇根州立大学）
搜索、推荐和在线广告是网络上最重要的三种信息提供机制。这些信息搜索技术通过在适当的时间和地点向用户推荐个性化的对象（信息或服务）来满足用户的信息需求，在缓解信息过载问题方面起着至关重要的作用。随着深度强化学习（DRL）的发展，人们对基于DRL的信息搜索技术的研究兴趣越来越大。这些基于DRL的技术具有两个关键优点-（1）它们能够根据用户的实时反馈持续更新信息搜索策略，以及（2）它们可以最大化来自用户的预期累积长期奖励，其中奖励根据信息搜索应用具有不同的定义，例如点击率、收入、用户满意度和参与度。本文从方法论到应用，概述了搜索、推荐和在线广告的深度强化学习，回顾了代表性算法，并讨论了一些有吸引力的研究方向。
2020-01-17 cs.IR cs.LG
Recommendation System-based Upper Confidence Bound for Online Advertising
University Paris-Saclay（巴黎-萨克雷大学）；UVSQ（凡尔赛大学）；Criteo（科睿拓）；Tampere University（坦佩雷大学）
本文提出了一种利用推荐系统（RS）来增强UCB算法置信上限的方法UCB-RS。该方法用于处理非平稳、大状态空间的多臂强盗问题。该方法针对在线广告中的产品推荐问题。通过对OpenAI Gym的强化学习环境OpenAI Gym进行广泛的测试，该方法优于广泛的强化学习方案，如$ε$ -贪婪，上置信度（UCB 1）和指数权重探索和利用（EXP 3）。
2019-09-09 cs.IR cs.LG stat.ML
Online Evaluation of Audiences for Targeted Advertising via Bandit Experiments
Stanford University（斯坦福大学）
实施数字广告活动的公司在确定广告创意与目标受众之间的正确匹配方面面临着一个复杂的问题。解决这个问题的典型方法是利用非实验性的方法，或者使用“分裂测试”策略，这些策略没有明确解决目标受众可能相互重叠所引起的复杂性。本文提出了一种自适应算法，通过在线实验来解决这个问题。该算法被设置为一个上下文强盗和解决重叠的问题，通过划分的目标受众到不相交的，不重叠的子群体。它在不相交空间中学习最佳创意展示策略，同时并行评估哪个创意在可能重叠的目标受众空间中具有最佳匹配。实验结果表明，该方法是更有效的相比，天真的“分裂测试”或非自适应的“A/B/n”测试的方法。我们还描述了一个测试产品，我们建立了使用该算法。该产品目前部署在JD.com的广告平台上，这是一家电子商务公司，也是中国的数字广告发布商。
2019-09-04 cs.LG stat.ML
COPR: Consistency-Oriented Pre-Ranking for Online Advertising
Alibaba Group（阿里巴巴集团）
针对在线广告级联架构中预排序与排序模型结果不一致的问题，提出一致性导向预排序框架COPR，通过分块采样、排序对齐模块及ΔNDCG加权机制优化ECPM排序一致性，在淘宝广告系统实现CTR和RPM显著提升。
2023-10-09 cs.IR cs.LG
Scalable Audience Reach Estimation in Real-time Online Advertising
Turn Inc（Turn公司）
近年来，在线广告已被引入作为最有效的广告方法之一。然而，广告商关心他们的在线广告活动的效率，并且因此想要将他们的广告印象限制到某些网站和/或某些受众群体。这些限制称为目标标准，限制了更好性能的可达性。可达性和性能之间的这种权衡说明了对可以快速预测/估计（具有良好准确性）这种权衡的预测系统的需要。设计这样一个系统是具有挑战性的，因为（a）需要处理大量的数据，以及（b）需要快速和准确的估计。在本文中，我们提出了一个分布式容错系统，可以快速生成这样的估计具有良好的精度。其主要思想是在多台机器的内存中保留一个小的代表性样本，并将预测问题制定为对样本的查询。关键的挑战是在过去的数据中找到最好的分层，执行多变量分层抽样，同时确保模糊回退以覆盖少数群体。我们的研究结果表明，一个显着的改善，目前广泛使用的行业中的均匀和简单的分层抽样策略。
2013-05-14 cs.DB cs.LG
Reach Measurement, Optimization and Frequency Capping In Targeted Online Advertising Under k-Anonymity
LinkedIn Corporation（领英公司）
本文研究 $k$-匿名隐私约束下定向在线广告的触达测量与优化，提出概率折扣方法改造传统频次封顶，并通过实验量化隐私与广告效果的权衡。
2025-01-08 cs.AI cs.GT cs.LG
Comparison Lift: Bandit-based Experimentation System for Online Advertising
Stanford University（斯坦福大学）
Comparison Lift是一个实验即服务（EaaS）应用程序，用于测试JD.com的在线广告受众和创意。与许多其他主要关注固定样本A/B测试的EaaS工具不同，Comparison Lift部署了一个基于Bandit的自定义实验算法。基于土匪的办法有两方面的好处。首先，它使测试中引入的随机化与广告商的测试目标保持一致。其次，通过使实验设计适应测试期间获得的信息，它大大降低了广告商的实验成本。自2019年5月推出以来，Comparison Lift已被用于1,500多项实验。我们估计，该产品的使用帮助参与广告活动的点击率平均提高了46%。我们估计，与固定样本A/B设计相比，产品中的自适应设计在测试期间平均多产生了27%的点击。两者都表明广告商从产品中获得了显着的价值和成本节约。
2020-09-16 cs.LG stat.ML
Deep Ensemble Shape Calibration: Multi-Field Post-hoc Calibration in Online Advertising
Shopee Discovery Ads（Shopee 发现广告部门）
针对电商广告多场校准中数据利用率低、校准器训练难的问题，提出DESC方法，通过分解校准任务、引入基校准函数与分配器提升校准效果，在线实验实现CVR与GMV显著提升。
2024-05-21 cs.LG
Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning
Alibaba Group（阿里巴巴集团）
现代在线广告系统不可避免地依赖于个性化方法，例如点击率（CTR）预测。CTR预测的最新进展享受了深度学习丰富的表示能力，并在大规模工业应用中取得了巨大成功。然而，这些方法可能缺乏探索。另一条线的先前工作解决了与上下文强盗方法的探索-利用权衡问题，这是最近较少研究的行业，由于在扩展其灵活性与深度模型的困难。在本文中，我们提出了一种新的深度不确定性感知学习（DUAL）方法来学习基于高斯过程的CTR模型，该方法可以提供预测性不确定性估计，同时保持深度神经网络的灵活性。DUAL可以很容易地在现有模型上实现，并以最小的额外计算开销部署在实时系统中。通过将DUAL的预测不确定性估计能力与著名的强盗算法相结合，我们进一步提出了基于DUAL的广告排名策略，以提高广告系统中的长期效用，例如社会福利。在几个公共数据集上的实验结果证明了我们的方法的有效性。值得注意的是，在阿里巴巴展示广告平台中部署的在线A/B测试显示，社会福利改善了8.2%，收入增加了8.0%。
2021-06-15 cs.IR cs.LG
Causal Inference on Stopped Random Walks in Online Advertising
Jia Yuan Yu（尤家元）
本研究通过停止随机游走模型和预算分割设计，构建在线广告中长期处理效应的置信区间。
2026-02-05 cs.LG stat.ME stat.ML
Targeted Advertising on Social Networks Using Online Variational Tensor Regression
本文提出首个基于张量的上下文老虎机框架TensorUCB，用于在线定向广告，通过在线变分算法处理多模式张量，显著提升影响力最大化任务性能。
2025-01-25 cs.LG cs.SI
EdgeNet : Encoder-decoder generative Network for Auction Design in E-commerce Online Advertising
Alibaba Group（阿里巴巴集团）；NWPU（西北工业大学）
EdgeNet提出一种编码器-解码器生成网络，打破GSP范式，利用Transformer编码器和自回归解码器提升数据效率与拍卖经济性，改善用户体验和平台收入。
2023-05-09 cs.AI cs.IR cs.LG
Time-Aware Prospective Modeling of Users for Online Display Advertising
Yahoo Research（雅虎研究院）
前瞻性展示广告对大型广告平台提出了巨大的挑战，因为用户的最强预测信号没有资格在转化预测系统中使用。为此，努力从各种数据源收集关于每个用户的尽可能多的信息，并设计能够捕获较弱信号的强大模型，最终获得良好质量的转化预测概率估计。在这项研究中，我们提出了一种新颖的时间感知方法来对用户活动的异构序列进行建模并捕获用户转换意图的隐式信号。在两个真实世界的数据集上，我们证明了我们的方法优于其他先前提出的方法，同时提供了信号对转换概率的影响的可解释性。
2019-11-12 cs.IR cs.LG stat.ML
Multi-task Offline Reinforcement Learning for Online Advertising in Recommender Systems
Taobao \& Tmall Group of Alibaba City University of Hong Kong Hangzhou China；Southern University of Science；Technology, City University of Hong Kong Hong Kong China；City University of Hong Kong Hong Kong China；University of Queensland Brisbane Australia；Taobao \& Tmall Group of Alibaba Beijing China；Taobao \& Tmall Group of Alibaba City University of Hong Kong；Technology, City University of Hong Kong；City University of Hong Kong；University of Queensland；Taobao \& Tmall Group of Alibaba
针对在线广告中离线强化学习面临的过估计、分布偏移和预算约束问题，提出多任务离线RL模型MTORL，结合因果状态编码与多任务学习，实现渠道推荐和预算分配，实验证明其优越性。
2025-07-09 cs.IR cs.LG
Dynamic Hierarchical Empirical Bayes: A Predictive Model Applied to Online Advertising
Adobe（奥多比公司）
预测关键词性能，如印象数、点击率（CTR）、转化率（CVR）、每次点击收入（RPC）和每次点击成本（CPC），对于在线广告行业的赞助搜索至关重要。一个有趣的现象是，尽管总体数据很大，但在单个单元级别上数据非常稀疏。为了克服稀疏性并利用数据结构中的分层信息，我们提出了一种动态分层经验贝叶斯（DHEB）模型，该模型通过数据驱动的过程动态确定层次结构，并提供基于收缩的估计。我们的方法还配备了一个有效的经验方法，通过层次结构推导出的推论。我们在模拟和真实世界的数据集，并比较几个竞争模型所提出的方法。结果表明，在所有的比较中，无论是准确性和效率的建议方法。最后，我们设计了一个两阶段的系统，以服务于实时预测。
2018-09-06 cs.LG stat.ML
Predicting Different Types of Conversions with Multi-Task Learning in Online Advertising
Yahoo Research（雅虎研究院）；Yahoo Inc.（雅虎公司）；UC Berkeley（加州大学伯克利分校）；Indeed（确实公司）
转化预测在在线广告中起着重要的作用，因为每次操作成本（CPA）已经成为行业中的主要活动绩效目标之一。与点击预测不同，转化在本质上有不同的类型，每种类型都可能与不同的决定性因素相关联。在本文中，我们将转换预测制定为多任务学习问题，以便可以一起学习不同类型转换的预测模型。这些模型共享特征表示，但具有其特定参数，从而提供跨所有任务的信息共享的好处。然后，我们提出了多任务场加权因子分解机（MT-FwFM）来联合解决这些任务。实验结果表明，与两种最先进的模型相比，MT-FwFM在两种转换类型上的AUC提高了0.74%和0.84%，并且在所有转换类型上的加权AUC也提高了0.50%。
2020-03-08 cs.LG stat.ML
Modelling customer online behaviours with neural networks: applications to conversion prediction and advertising retargeting
GMF Assurances, Groupe Covéa（GMF保险公司，科维亚集团）
在本文中，我们将神经网络应用到数字营销世界中，以更好地定位潜在客户。为此，我们使用专用神经网络架构对客户在线行为进行建模。从用户在搜索引擎中搜索关键字开始到着陆页和不同的后续页面，直到用户离开网站，我们用递归神经网络（RNN）和卷积神经网络（CNN）对整个访问过程进行建模，该网络可以考虑用户搜索关键字和不同访问页面名称的语义。在此模型下，我们使用蒙特卡罗模拟来估计每个潜在客户在未来访问中的转化率。我们相信我们的概念和本文中初步的有希望的结果能够使用大量可用的客户在线行为数据进行高级数字营销分析。
2018-04-20 cs.LG stat.ML
An Analysis of Selection Bias Issue for Online Advertising
Yahoo Japan Corporation（雅虎日本公司）
在在线广告中，一组潜在的广告可以通过某个拍卖系统进行排名，其中通常前1个广告将被选择并显示在广告空间处。在本文中，我们展示了一个选择偏差的问题，是目前在拍卖系统。我们分析了选择偏差破坏了拍卖的真实性，这意味着拍卖中的买家（广告商）不能最大化他们的利润。虽然选择偏差在统计学领域是众所周知的，并且有很多关于它的研究，但我们的主要贡献是将选择偏差的理论分析与拍卖机制结合起来。在我们的实验中，使用在线A/B测试，我们评估的选择偏差的拍卖系统的排名分数是预测的CTR（点击率）的广告。实验表明，通过使用学习所有广告数据的多任务学习，选择偏差大大减少。
2022-06-07 cs.GT cs.IR cs.LG
Vertical Semi-Federated Learning for Efficient Online Advertising
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出垂直半联邦学习方法，通过联合特权学习框架解决传统垂直联邦学习在适用范围和实时服务中的局限，提升在线广告系统的效率和效果。
2026-01-23 cs.IR cs.LG
Online Causal Inference for Advertising in Real-Time Bidding Auctions
Cornell Johnson（康奈尔大学约翰逊商学院）；Berkeley EECS（加州大学伯克利分校电气工程与计算机科学系）；Stanford GSB（斯坦福大学商学院）；UCSD Rady（加州大学圣迭戈分校雷迪管理学院）；Yale SOM（耶鲁大学管理学院）；Insper（因斯佩尔商学院）；Chicago Booth（芝加哥大学布斯商学院）；Temple Fox（天普大学福克斯商学院）
本文针对实时竞价拍卖中的广告效果评估问题，提出基于最优出价识别的因果推断方法，并设计自适应汤普森采样算法在最小化实验成本的同时恢复广告效果，理论和实验均验证了其优越性。
2024-02-26 cs.GT cs.LG econ.EM
Cross Device Matching for Online Advertising with Neural Feature Ensembles : First Place Solution at CIKM Cup 2016
Nanyang Technological University（南洋理工大学）
我们描述了CIKM Cup 2016挑战赛的第一名获胜方法。在本文中，我们提供了一种方法来合理地识别相同的用户在多个设备上的浏览日志的基础上。我们的方法将候选人排序问题视为成对分类，并利用无监督的神经特征集成方法来学习用户的潜在特征。结合传统的手工制作的功能，每个用户对功能被送入一个监督分类器，以执行成对分类。最后，我们提出了监督和无监督推理技术。
2017-02-19 cs.IR cs.LG stat.ML
Posterior Probability Matters: Doubly-Adaptive Calibration for Neural Predictions in Online Advertising
Alibaba Group（阿里巴巴集团）
针对在线广告中预测概率校准问题，提出双重自适应校准方法AdaCalib，利用后验统计指导等温函数族学习并设计字段自适应机制，显著提升校准性能并已在线部署。
2024-05-25 cs.IR cs.LG
A Multi-Agent Reinforcement Learning Method for Impression Allocation in Online Display Advertising
Alibaba Group（阿里巴巴集团）
在在线展示广告中，保证合同和实时竞价（RTB）是出版商销售展示的两种主要方式。尽管RTB越来越受欢迎，但仍有一半的在线展示广告收入来自担保合同。因此，通过保证合同和RTB同时销售展示是出版商最大化其收益的直接选择。然而，得出分配印象的最佳策略并不是一项简单的任务，特别是当现实世界中的应用环境不稳定时。在本文中，我们制定的印象分配问题作为一个拍卖问题，每个合同可以提交虚拟投标的个人印象。有了这个公式，我们通过求解合同的最优投标函数来获得最优印象分配策略。由于合同的出价是由出版商决定的，我们提出了一个多智能体强化学习（MARL）的方法来获得合作政策的出版商，以最大限度地提高其产量在一个不稳定的环境。该方法还解决了MARL中常见的输入维爆炸、奖励信用分配和非平稳环境等问题。在大规模真实数据集上的实验验证了该方法的有效性。
2018-09-10 cs.AI cs.GT cs.LG
Interpretable Deep Learning for Forecasting Online Advertising Costs: Insights from the Competitive Bidding Landscape
Kühne Logistics University（库恩物流大学）；Nova School of Business and Economics（Nova商学院）；Universidade NOVA de Lisboa（里斯本新大学）；University of Hamburg（汉堡大学）
本研究采用多种时间序列方法（含TFT）预测在线广告每日平均CPC，通过引入基于竞争对手CPC聚类的多变量协变量显著提升精度，并在市场剧变中保持稳健，为预算分配提供战略洞察。
2024-08-21 cs.AI cs.LG cs.SI
A Profit-Maximizing Strategy for Advertising on the e-Commerce Platforms
South China University of Technology（华南理工大学）；Guangdong University of Foreign Studies（广东外语外贸大学）；ShenZhen TingZhu Health Management Co.,Ltd.（深圳市汀竹健康管理有限公司）
针对电商广告中无效点击导致成本过高的问题，提出将定向特征选择建模为MCKP的利润最大化策略，并基于天猫真实数据验证其在预算约束下的有效性。
2023-08-21 cs.IR cs.LG math.OC
Predicting clicks in online display advertising with latent features and side-information
Adform Aps（Adform公司）
我们回顾了一种基于Menon等人的工作的点击率预测方法。[11]，该方法将协同过滤和矩阵分解与边信息模型相结合，并将输出融合到[0，1]中的适当概率。此外，我们还提供了其他地方没有的建模和实验部分的细节。我们在点击率预测设置中连续几天的几个测试数据集上严格测试性能，以反映真实世界管道的方式。我们的研究结果证实，性能可以提高使用潜在的功能，虽然在措施的差异很小，但显着。
2014-11-28 cs.LG stat.AP stat.ML
Follow the Prophet: Accurate Online Conversion Rate Prediction in the Face of Delayed Feedback
University of Chinese Academy of Sciences（中国科学院大学）；Tencent（腾讯）
延迟反馈问题是在线广告中的迫切挑战之一，这是由从几分钟到几天不等的高度多样化的反馈延迟引起的。对于不同类型的广告和不同的用户，在这些不相同的延迟下，很难设计出合适的在线学习系统。在本文中，我们提出了解决延迟反馈问题的在线广告“跟随先知”（FTP简称）。关键的见解是，如果所有记录的样本的反馈都是即时的，我们可以得到一个没有延迟反馈的模型，即“先知”。虽然先知不能在在线学习，我们表明，我们可以预测先知的预测聚合政策的一组多任务的预测，其中每个任务捕捉不同时期的反馈模式。我们提出了策略的目标和优化方法，并使用日志数据来模拟预测器。在三个真实世界的广告数据集上进行的大量实验表明，我们的方法优于以前的最先进的基线。
2021-08-13 cs.LG
Improving Real-Time Bidding in Online Advertising Using Markov Decision Processes and Machine Learning Techniques
Birla Institute of Technology and Science（贝拉理工科学技术学院）
本文提出一种结合深度学习和强化学习的实时竞价方法，利用深度神经网络预测拍卖细节与价格，强化学习确定最优出价，在iPinYou数据集上验证了其成本效益和精度优势。
2023-05-05 cs.IR cs.LG
Real Time Bid Optimization with Smooth Budget Delivery in Online Advertising
Turn Inc（Turn公司）
如今，每天都有数十亿的展示广告展示通过实时的竞价（RTB）交易所主办的公开拍卖进行购买。广告商必须在毫秒内做出决定，为每个选定的RTB广告请求提交出价。受预算限制，目标是购买一组广告展示，以达到尽可能多的目标用户。广告主特定的期望动作（转换）包括购买产品、填写表格、注册电子邮件等。此外，广告主通常更喜欢随着时间的推移平稳地花费他们的预算，以便在一天中接触到更广泛的受众，并产生可持续的影响。然而，由于转换很少发生，并且发生反馈通常延迟，因此同时实现预算和性能目标非常具有挑战性。在本文中，我们提出了一种在线方法，以顺利交付预算，同时优化转换性能。我们的算法试图选择高质量的印象，并调整投标价格的基础上，在一个自适应的方式，通过分配预算最佳跨时间的先验性能分布。我们从真实的广告活动的实验结果表明，我们所提出的方法的有效性。
2013-05-14 cs.GT cs.LG
TWICE: Two-Clock, Two-Window Learning for Long-Horizon Conversion Prediction in Online Advertising
Kuaishou Technology（快手科技）
研究在线广告中延迟反馈下的长期转化预测问题，提出TWICE框架，将长期点击后转化率分解，利用双时钟提供互补监督训练模型，实验证明该方法有效，提升了快手广告系统的相关指标。
2026-07-29 cs.IR cs.LG
HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising
Kuaishou Technology（快手科技）
针对在线广告投标系统问题，提出 HOBA 分层强化学习框架，在三个时间尺度解耦相关环节，通过实验验证其优于现有基线，大规模在线部署实现目标成本提升 3.6%，证明该范式有效。
2026-07-29 cs.AI cs.LG
Click-Through Rate Prediction in Online Advertising: A Literature Review
Huazhong University of Science and Technology（华中科技大学）
预测用户点击特定广告的概率一直是在线广告中的一个普遍问题，在过去的几十年里吸引了许多研究关注。近年来，随着行业需求的不断增长，越来越多的新的学习模型被用于广告点击率预测。虽然现有的研究提供了必要的细节算法设计，以解决各种具体问题，在广告点击率预测，方法的演变和建模框架之间的连接被排除在外。然而，据我们所知，很少有关于这一主题的全面调查。我们对最新的CTR预测研究进行了系统的文献综述，特别关注建模框架。具体而言，我们给出了一个分类的国家的最先进的CTR预测模型在现存的文献中，基本建模框架及其扩展，优点和缺点，并进行CTR预测的性能评估。此外，我们总结了CTR预测模型的复杂性和特征交互的顺序，以及在各种数据集上的性能比较。此外，我们确定了当前的研究趋势，主要挑战和潜在的未来方向值得进一步探索。这篇综述有望为希望从事这一领域的IS和营销学者提供基础知识和有效的切入点。
2022-02-22 cs.AI cs.IR cs.LG
Bidding-Aware Retrieval for Multi-Stage Consistency in Online Advertising
Taobao \& Tmall Group of Alibaba Beijing China；Taobao \& Tmall Group of Alibaba
针对在线广告系统检索与排序阶段的竞价不一致问题，提出BAR框架，经阿里平台验证可提升收入4.32%、正向广告展示量22.2%
2026-08-25 cs.IR cs.LG
Arbitrary Distribution Modeling with Censorship in Real-Time Bidding Advertising
FreeWheel；Northwestern University（西北大学）
库存定价的目的是为在线广告机会提供合适的价格，这对于需求方平台（DSP）在实时的【形】竞价（RTB）中赢得广告拍卖至关重要。在规划阶段，广告主需要概率模型的预测来做出投标决策。但是，以往的研究大多对中标价格的分布形式进行了强有力的假设，这降低了它们的准确性，削弱了它们进行概括的能力。虽然最近的一些工作试图直接拟合分布，但其复杂的结构缺乏在线推理的效率。在本文中，我们设计了一个新的损失函数，邻域似然损失（NLL），与一个建议的框架，任意分布模型（ADM）合作，预测获胜的价格分布下审查，没有预先假设。我们在两个真实世界的实验数据集和一个大规模的非模拟生产数据集上进行了实验。实验表明，ADM在算法和业务指标上都优于基线。通过回放生产环境的历史数据，该方法在我们的系统中显示出良好的良率。在没有任何预先假设的具体分销形式的情况下，ADM在有效性和效率方面表现出显着的优势，证明了其在建模复杂价格格局方面的强大能力。
2021-10-26 cs.LG
Online Joint Bid/Daily Budget Optimization of Internet Advertising Campaigns
Politecnico di Milano（米兰理工大学）
按点击付费广告包括各种形式（\emph{e.g.}、搜索、上下文、社交），全球每年的总投资超过2000亿美元。广告主每天都有预算分配几个，甚至数千个活动，主要是区分广告，目标或渠道。此外，发布商选择要显示的广告以及如何使用拍卖机制来分配它们，在拍卖机制中，广告商每天为每个活动设置与他们愿意支付的每次点击的最大金额和每日预算的一部分相对应的出价。在本文中，我们研究的问题，自动化的在线联合投标/每日预算优化付费点击广告活动在多个渠道。我们制定我们的问题作为一个组合半强盗问题，这需要解决一个特殊的情况下，多选择背包问题的每一天。此外，对于每个广告系列，我们通过高斯过程捕获点击次数对出价和每日预算的依赖性，因此需要对这些函数的规律性进行温和的假设。我们设计了四个算法，并表明他们遭受的遗憾，这是一个上限的高概率为O（sqrt{T}），其中T是学习过程的时间范围。我们实验评估我们的算法与合成设置从雅虎的真实数据生成，我们提出了在现实世界的应用程序中采用我们的算法的结果，每天平均花费1,000欧元超过一年。
2020-03-03 cs.LG stat.ML
Applications of Online Nonnegative Matrix Factorization to Image and Time-Series Data
University of California Los Angeles（加州大学洛杉矶分校）
在线非负矩阵分解（ONMF）是一种在线环境中的矩阵分解技术，其中数据以流式方式获取，并且每次更新矩阵因子。这使得因子分析能够与新数据样本的到达同时进行。在这篇文章中，我们演示了如何使用在线非负矩阵分解算法从相关数据集的集合中学习联合字典原子。我们提出了一种基于ONMF算法的时间序列数据集的时态字典学习方案。我们在历史温度数据、视频帧和彩色图像的应用环境中展示了我们的字典学习技术。
2020-11-10 cs.LG
Stochastic Bandits for Multi-platform Budget Optimization in Online Advertising
Facebook Core Data Science（Facebook核心数据科学部门）；Sapienza University of Rome（罗马大学）；Facebook AI Applied Research（Facebook人工智能应用研究部门）
我们研究的问题，一个在线广告系统，希望以最佳的方式花费广告客户的给定预算的活动在多个平台上，不知道的价值为显示广告的用户在这些平台上。我们模拟这个具有挑战性的实际应用作为一个背包问题的随机土匪在$T$轮的投标与一组不同的投标$m$ -元组，其中$m$是平台的数量的一组武器。我们修改了Badanidiyuru \emph{et al.,}中提出的算法，将其扩展到多平台的情况下，获得离散和连续出价空间的算法。也就是说，对于离散投标空间，我们给出了一个带遗憾的算法$O\left(OPT \sqrt {\frac{mn}{B} }+ \sqrt{mn OPT}\right)$，其中$OPT$是已知分布的最优算法的性能。对于连续的出价空间，我们的算法的遗憾是$\tilde{O}\left(m^{1/3} \cdot \min\left\{ B^{2/3}, (m T)^{2/3} \right\} \right)$。当限制到这种特殊情况时，这个界限在$OPT \ll T$体系中比Sankararaman和Slivkins更好，就像手头的特定应用中的情况一样。其次，我们显示了一个$ Ω\left (\sqrt {m OPT} \right)$的离散情况下的下限和一个$Ω\left( m^{1/3} B^{2/3}\right)$的连续设置的下限，几乎匹配的上限。最后，我们使用了一个来自一家拥有…
2021-03-25 cs.GT cs.LG
Truncation-Free Matching System for Display Advertising at Alibaba
Alibaba Group（阿里巴巴集团）
匹配模块在显示广告系统中起着至关重要的作用。在没有用户查询的情况下，系统如何将用户流量和广告进行适当的匹配是一个挑战。系统将一组具有共同属性（如相同性别或相似购物兴趣）的用户打包成一个人群。在这里，术语人群可以被看作是对用户的标记。然后，广告商为不同的人群出价，并将广告投放给这些目标用户。大多数工业显示广告系统中的匹配模块遵循两阶段范例。当接收到用户请求时，匹配系统（i）找到用户所属的人群;（ii）检索针对这些人群的所有广告。然而，在阿里巴巴的展示广告等应用中，由于人群和广告量非常大，匹配的两个阶段都必须在有限的延迟下截断长尾部分以进行在线服务。也就是说，并不是所有的广告都有机会参与线上匹配。这导致广告性能和平台收入的次优结果。本文研究了截断问题，提出了一种无截断匹配系统（TFMS）。其基本思想是将匹配计算与在线流水线解耦。与用户访问时执行两阶段匹配不同，TFMS利用近线无截断匹配来预先计算和存储每个用户的最有价值广告。然后在线管道只需要获取预存储的广告作为匹配结果。这样，我们就可以跳出在线系统的延迟和计算成本的限制，并利用灵活的计算资源来完成用户-广告匹配。自2019年起，TFMS已部署在我们的生产系统中，（i）为之前遇到截断的广告客户带来超过50%的展示改善，（ii）每英里收入增加9. 4%，这对业务来说是足够重要的。
2021-02-18 cs.IR cs.LG
Multi-Channel Sequential Behavior Networks for User Modeling in Online Advertising
Microsoft Bing Ads（微软必应广告）
多个内容提供方通过在其页面的有机内容中放置广告来依赖原生广告获得收入。我们将此设置称为“无查询”，以区别于用户提交搜索查询并返回相关广告的搜索广告。了解用户意图至关重要，因为相关广告可以改善用户体验，并增加为广告商提供有价值点击的可能性。本文提出了多通道顺序行为网络（MC-SBN），这是一种深度学习方法，用于将用户和广告嵌入到可以评估相关性的语义空间中。我们提出的用户编码器架构总结用户活动从多个输入通道-如以前的搜索查询，访问过的页面，或点击广告-到一个用户向量。它使用多个RNN来编码来自不同通道的事件会话序列，然后应用注意力机制来创建用户表示。我们的方法的一个关键属性是，用户向量可以保持和更新增量，这使得它可以部署为大规模的服务。我们在真实世界的数据集上进行了广泛的实验。实验结果表明，MC-SBN可以提高相关广告的排名，并在无查询原生广告设置中提高点击预测和转化预测的性能。
2020-12-27 cs.IR cs.LG
Conversion rate prediction in online advertising: modeling techniques, performance evaluation and future directions
Huazhong University of Science and Technology（华中科技大学）；Zhengzhou University（郑州大学）
本文综述了在线广告中CVR预测的建模技术、性能评估及未来方向，探讨了不同技术的联系与挑战。
2025-12-01 cs.AI cs.IR cs.LG
Mid-flight Forecasting for CPA Lines in Online Advertising
Verizon Media（威瑞森传媒）
对于Verizon MediaDemand Side Platform（DSP），广告活动性能预测不仅向优化服务器提供关键信息，使系统能够在高性能模式下运行，而且还为广告商提供可操作的见解。本文研究了在考虑竞价机制的情况下，飞行中间的CPA线路的预测问题。所提出的方法生成各种关键性能指标和优化信号之间的关系。它还可以用来估计广告活动性能指标对优化信号调整的敏感度，这对广告活动管理系统的设计是重要的。广告主支出与有效每次行动成本（eCPA）之间的关系也被表征，这可以作为广告主调整飞行路线的指导。文中还讨论了实现中的几个实际问题，如数据集的下采样。最后，预测结果与实际交付进行了验证，并显示出良好的精度。
2021-07-15 cs.LG stat.ML
Improving conversion rate prediction via self-supervised pre-training in online advertising
Yahoo Research（雅虎研究院）
针对在线广告点击归因转化数据稀疏且不能用非点击归因数据训练以保障模型校准的问题，提出用在全量转化数据上预训练的自编码器做特征提取增强FM模型，在离线和在线A/B测试中均有提升，已部署于Yahoo原生广告系统。
2024-01-25 cs.IR cs.LG stat.ML
An Adaptable Budget Planner for Enhancing Budget-Constrained Auto-Bidding in Online Advertising
School of Computer Science, Peking University（北京大学计算机学院）；Center on Frontiers of Computing Studies, Peking University（北京大学计算科学前沿中心）；Alibaba Group（阿里巴巴集团）
本文提出少样本可适配预算规划器ABPlanner，通过分层竞价框架和上下文强化学习驱动的序贯决策，在不同广告主间快速调整预算分配，从而提升预算约束下自动竞价的累积价值。
2025-01-26 cs.GT cs.LG
MCNet: Monotonic Calibration Networks for Expressive Uncertainty Calibration in Online Advertising
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The HK PolyU（香港理工大学）；Tsinghua University（清华大学）
提出单调校准网络MCNet，通过单调校准函数、保序正则化器和字段平衡正则化器，在在线广告中实现表达性更强、上下文感知且性能均衡的不确定性校准。
2025-03-01 cs.AI cs.LG stat.ML
Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising
Tianjin University（天津大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
二部b匹配是算法设计的基础，在经济市场、劳动力市场等领域有着广泛的应用。这些实际问题通常具有两个显著的特点：大规模和动态性，这就要求匹配算法定期重复执行。然而，现有的精确和近似算法通常失败，在这样的设置，由于需要无法忍受的运行时间或太多的计算资源。为了解决这个问题，我们提出了\texttt{NeuSearcher}，它利用从以前的实例中学到的知识来解决新的问题实例。具体地说，我们设计了一个多通道图神经网络来预测匹配边权值的阈值，通过该方法可以显著减少搜索区域。我们进一步提出了一个并行的启发式搜索算法，迭代地提高解决方案的质量，直到收敛。在开放数据集和工业数据集上的实验表明，与现有的近似方法相比，\texttt{NeuSearcher}在获得完全相同的匹配结果的同时，速度可以提高2 ~ 3倍。
2020-05-12 cs.DC cs.LG
DARA: Few-shot Budget Allocation in Online Advertising via In-Context Decision Making with RL-Finetuned LLMs
Peking University（北京大学）；School of Computer Science（计算机科学学院）；Alibaba Group（阿里巴巴集团）；Theta Labs, Inc.（Theta Labs公司）
DARA通过结合LLMs的上下文学习与细粒度优化，实现在线广告中的少样本预算分配，提升广告商价值。
2026-01-21 cs.AI cs.LG
Optimal Delivery with Budget Constraint in E-Commerce Advertising
Alibaba Group（阿里巴巴集团）
电子商业平台中的在线广告为卖家提供了一个机会，以实现具有不同目标的潜在受众。将广告分配到页面的广告服务系统（如显示和搜索广告系统）应满足目标，例如品牌广告商的大量受众，基于性能的广告商的点击或转换，同时尝试最大化平台的整体收入。在本文中，我们提出了一种基于线性规划受约束的方法，以优化收入，同时提高不同的性能目标。通过在阿里巴巴电子商业平台上实现一个离线仿真系统，并在考虑系统性能、排名和定价模式的情况下运行在线请求的拍卖，验证了我们的算法。我们还将我们的算法与相关工作进行了比较，结果表明，我们的算法可以有效地提高活动的性能和平台的收入。
2019-10-08 cs.AI cs.LG stat.ML
Implicit Look-alike Modelling in Display Ads: Transfer Collaborative Filtering to CTR Estimation
University College London（伦敦大学学院）；MediaGamma Limited（MediaGamma有限公司）
用户行为定位在在线广告中至关重要。与赞助搜索关键字定位和上下文广告页面内容定位相比，用户行为定位通过跟踪用户的在线行为来建立用户的兴趣档案，然后根据每个用户的兴趣提供相关的广告，这导致更高的定位准确性，从而更好地改善广告效果。当前的用户分析方法包括构建关键字和主题标签或将用户映射到层次分类法。然而，据我们所知，有没有以前的工作，明确调查用户在线访问的相似性，并将这种相似性到他们的广告响应预测。在这项工作中，我们提出了一个通用的框架，学习用户简档的基础上，他们的在线浏览行为，并将学习到的知识，他们的广告响应的预测。在技术上，我们提出了一个基于概率潜在因素图模型的迁移学习模型，其中用户的广告响应配置文件是从他们的在线浏览配置文件生成的。基于真实世界数据的大规模实验表明，我们的解决方案在一些强基线上有显着的改善。
2016-01-11 cs.IR cs.LG
RecoGym: A Reinforcement Learning Environment for the problem of Product Recommendation in Online Advertising
Criteo AI Labs（科韬人工智能实验室）；Universitat Pompeu Fabra（庞培法布拉大学）；Telefonica Research（西班牙电信研究院）
推荐系统在许多环境中变得无处不在，并采取多种形式，从电子商务商店中的产品推荐，到搜索引擎中的查询建议，再到社交网络中的朋友推荐。目前的研究方向主要是基于从历史数据的监督学习，似乎显示出收益递减，许多从业者报告了监督学习的离线指标的改进与新提出的模型的在线性能之间的差异。一个可能的原因是，我们使用了错误的范式：当着眼于收集历史性能数据的长期周期时，创建推荐模型的新版本，A/B测试然后推出。我们看到，强化学习（RL）设置有很多共同点，其中智能体观察环境并对其采取行动，以便将其状态改变为更好的状态（具有更高奖励的状态）。为此，我们介绍了RIGYM，RL环境的建议，这是由用户的电子商务模式和用户响应的发布商网站上的建议模型定义的。我们相信，这是推荐系统研究领域向前迈出的重要一步，可以开辟推荐系统和强化学习社区之间的合作途径，并使离线和在线性能指标更好地保持一致。
2018-09-14 cs.IR cs.LG
Communication-Efficient TeraByte-Scale Model Training Framework for Online Advertising
Cognitive Computing Lab, Baidu Research（百度研究院认知计算实验室）；Baidu Search Ads (Phoenix Nest), Baidu Inc.（百度公司搜索广告（凤巢））
点击率（CTR）预测是在线广告行业的重要组成部分。为了产生个性化CTR预测，行业级CTR预测模型通常采用高维（例如，100或1000亿个特征）稀疏向量（其从查询关键字、用户画像等编码）作为输入。因此，该模型需要TB尺度参数来嵌入高维输入。提出了一种分层分布式GPU参数服务器，利用CPU主存储器和SSD作为辅存，使内存有限的GPU能够训练大规模网络。我们确定了现有GPU训练框架中针对大规模广告模型的两个主要挑战，并提出了一系列优化来解决这些挑战：（a）GPU，CPU，SSD在训练期间快速相互通信。GPU和CPU之间的连接由于硬件拓扑而不均匀。数据通信路由应根据硬件拓扑结构进行优化;（b）不同计算节点中的GPU频繁通信以同步参数。我们需要优化通信，使分布式系统可以成为可扩展的。在本文中，我们提出了一个硬件感知的训练工作流程，耦合到算法设计的硬件拓扑结构。为了减少计算节点之间的大量通信，针对流行的Adam优化算法，提出了一种$k$ -步模型合并算法，并给出了该算法在非凸优化中的收敛速度.据我们所知，这是$k$步长自适应优化方法在工业级CTR模型训练中的首次应用。对真实数据的数值结果证实，优化的系统设计大大减少了大规模模型的训练时间，基本上没有损失准确性。
2022-01-05 cs.IR cs.LG
