Toward a benchmark for CTR prediction in online advertising: datasets, evaluation protocols and perspectives
Huazhong University of Science and Technology（华中科技大学）
本文提出Bench-CTR平台，通过比较不同模型在公开和合成数据集上的表现，评估CTR预测模型的性能及发展趋势。
2025-12-01 cs.AI cs.IR cs.LG
Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning
Alibaba Group（阿里巴巴集团）
现代在线广告系统不可避免地依赖于个性化方法，例如点击率（CTR）预测。CTR预测的最新进展享受了深度学习丰富的表示能力，并在大规模工业应用中取得了巨大成功。然而，这些方法可能缺乏探索。另一条线的先前工作解决了与上下文强盗方法的探索-利用权衡问题，这是最近较少研究的行业，由于在扩展其灵活性与深度模型的困难。在本文中，我们提出了一种新的深度不确定性感知学习（DUAL）方法来学习基于高斯过程的CTR模型，该方法可以提供预测性不确定性估计，同时保持深度神经网络的灵活性。DUAL可以很容易地在现有模型上实现，并以最小的额外计算开销部署在实时系统中。通过将DUAL的预测不确定性估计能力与著名的强盗算法相结合，我们进一步提出了基于DUAL的广告排名策略，以提高广告系统中的长期效用，例如社会福利。在几个公共数据集上的实验结果证明了我们的方法的有效性。值得注意的是，在阿里巴巴展示广告平台中部署的在线A/B测试显示，社会福利改善了8.2%，收入增加了8.0%。
2021-06-15 cs.IR cs.LG
Modeling Adaptive Fine-grained Task Relatedness for Joint CTR-CVR Estimation
在现代广告和推荐系统中，多任务学习（MTL）范式已被广泛用于联合预测不同的用户反馈（例如，点击和购买）。然而，现有的MTL方法要么是刚性的，以适应不同的场景，或仅捕获粗粒度的任务相关性，从而难以有效地跨任务传递知识。为了解决这些问题，在本文中，我们提出了一种自适应细粒度任务相关性建模方法，AdaFTR，联合CTR-CVR估计。该方法基于参数共享的MTL体系结构，提出了一种基于对比学习的自适应任务间表示对齐方法，给定一个实例，将同一实例的任务间表示视为正，而将另一个随机实例的任务间表示视为负.此外，我们显式地将细粒度任务相关性建模为实例级别的对比度强度（即InfoNCE损失中的温度系数）。为此，我们建立了一个相关性预测网络，以便它可以预测一个实例的任务间表示的对比强度。通过这种方式，我们可以以细粒度的方式（即实例级别）自适应地设置对比学习的温度，以便更好地捕获任务相关性。通过对公共电子商务数据集的离线评估和在阿里巴巴真实广告系统中的在线测试，证明了我们方法的有效性。
2023-02-05 cs.IR
Implicit Look-alike Modelling in Display Ads: Transfer Collaborative Filtering to CTR Estimation
University College London（伦敦大学学院）；MediaGamma Limited（MediaGamma有限公司）
用户行为定位在在线广告中至关重要。与赞助搜索关键字定位和上下文广告页面内容定位相比，用户行为定位通过跟踪用户的在线行为来建立用户的兴趣档案，然后根据每个用户的兴趣提供相关的广告，这导致更高的定位准确性，从而更好地改善广告效果。当前的用户分析方法包括构建关键字和主题标签或将用户映射到层次分类法。然而，据我们所知，有没有以前的工作，明确调查用户在线访问的相似性，并将这种相似性到他们的广告响应预测。在这项工作中，我们提出了一个通用的框架，学习用户简档的基础上，他们的在线浏览行为，并将学习到的知识，他们的广告响应的预测。在技术上，我们提出了一个基于概率潜在因素图模型的迁移学习模型，其中用户的广告响应配置文件是从他们的在线浏览配置文件生成的。基于真实世界数据的大规模实验表明，我们的解决方案在一些强基线上有显着的改善。
2016-01-11 cs.IR cs.LG
Efficient Transfer Learning Framework for Cross-Domain Click-Through Rate Prediction
针对广告数据稀疏和模型每日更新导致的灾难性遗忘问题，提出三层异步框架E-CDCTR，通过TPM和CPM预训练将自然内容知识迁移至广告CTR模型，有效提升预测性能。
2024-08-29 cs.IR
STEC: See-Through Transformer-based Encoder for CTR Prediction
针对CTR预测中特征交互建模的局限，提出融合多交互学习策略、引入跨阶残差连接的STEC模型，在四个真实数据集上性能超越现有SOTA方法。
2024-05-21 cs.IR
Enhancing CTR Prediction with De-correlated Expert Networks
针对 CTR 预测中 MoE 专家去相关策略的有效性不明确问题，提出 D-MoE 框架引入跨专家去相关损失，并定义跨专家相关性指标，发现多种去相关策略可兼容叠加以提升性能，在腾讯广告平台实现 1.19% 的 GMV 提升。
2025-09-15 cs.IR
Deep Session Interest Network for Click-Through Rate Prediction
点击率（CTR）预测在许多工业应用中起着重要的作用，例如在线广告和推荐系统。如何从用户的行为序列中捕捉用户动态变化的兴趣，一直是CTR预测中的一个研究课题。然而，大多数现有的研究忽略了序列的内在结构：序列是由会话组成的，其中会话是由它们的发生时间分开的用户行为。我们观察到，用户行为是高度同质的，在每个会话，和异构的跨会话。基于这一观察，我们提出了一种新的CTR模型命名为深度会话兴趣网络（DSIN），利用用户的多个历史会话在他们的行为序列。我们首先使用带有偏见编码的自我注意力机制来提取用户在每个会话中的兴趣。然后，我们应用Bi-LSTM来建模用户的兴趣如何在会话之间演变和交互。最后，我们采用本地激活单元，自适应地学习各种会话兴趣对目标项目的影响。在广告和生产推荐数据集上进行了实验，DSIN在这两个数据集上的性能都优于其他最先进的模型。
2019-05-16 cs.IR
Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction
点击率（CTR）预测对于推荐系统和在线广告等工业应用至关重要。在实际应用中，通过从丰富的历史行为数据中挖掘用户兴趣，CTR建模在这些应用中起着重要的作用。在深度学习发展的推动下，针对用户兴趣建模的深度CTR模型被提出，其体系结构设计巧妙，模型性能较离线指标有了显著提升，但面对海量流量需求，如何将这些复杂模型部署到在线服务系统中进行实时推理，还需要付出很大努力。当涉及到长序列用户行为数据时，事情变得更加困难，因为系统延迟和存储成本随着用户行为序列的长度近似线性地增加。本文直面长序列用户行为建模的挑战，介绍了我们的实践，并结合机器学习算法和在线服务系统的协同设计，实现了点击率预测任务。从理论上讲，UIC和MIMN的协同设计方案使我们能够处理无限长度的序列行为数据的用户兴趣建模。模型性能和系统效率的比较证明了所提出的解决方案的有效性。据我们所知，这是第一个能够处理长度扩展到数千的长序列用户行为数据的工业解决方案之一。目前已经部署在阿里巴巴的展示广告系统中。
2019-05-24 cs.IR
Visual Encoding and Debiasing for CTR Prediction
在视觉搜索广告系统中，提取富有表现力的视觉特征对于准确预测点击率至关重要。当前的商业系统使用现成的视觉编码器来促进快速在线服务。然而，所提取的视觉特征是粗粒度的和/或有偏见的。在本文中，我们提出了一个视觉编码框架的CTR预测，以克服这些问题。该框架基于对比学习，在视觉特征空间中拉近正对并推开负对。为了获得细粒度的视觉特征，我们提出了对比学习监督点击通过数据微调的视觉编码器。为了减少样本选择偏差，首先我们通过利用无偏的自我监督和点击监督信号来离线训练视觉编码器。其次，我们在在线CTR预测器中加入了一个去偏网络，通过对比高印象项目和低印象项目来调整视觉特征。十亿级数据集上的离线实验和在线实验表明，该框架可以做出准确和无偏的预测。
2022-05-09 cs.IR
On the Factory Floor: ML Engineering for Industrial-Scale Ads Recommendation Models
Google Inc.（谷歌公司）
对于工业规模的广告系统，广告点击率（CTR）的预测是一个中心问题。广告点击构成了用户参与的重要类别，并且通常被用作广告对用户有用性的主要信号。此外，在按点击收费的广告系统中，广告客户按点击收费，点击率预期直接进入价值估计。因此，CTR模型开发是大多数互联网广告公司的重大投资。针对此类问题的工程设计需要许多适用于在线学习的机器学习（ML）技术，这些技术远远超出了传统的准确性改进，特别是在效率、可重复性、校准、信用归属方面。我们提出了一个案例研究部署在谷歌的搜索广告CTR模型的实用技术。本文提供了一个行业案例研究，突出了当前ML研究的重要领域，并说明了如何评估有影响力的新ML方法并使其在大规模工业环境中发挥作用。
2022-09-12 cs.IR cs.LG
Communication-Efficient TeraByte-Scale Model Training Framework for Online Advertising
Cognitive Computing Lab, Baidu Research（百度研究院认知计算实验室）；Baidu Search Ads (Phoenix Nest), Baidu Inc.（百度公司搜索广告（凤巢））
点击率（CTR）预测是在线广告行业的重要组成部分。为了产生个性化CTR预测，行业级CTR预测模型通常采用高维（例如，100或1000亿个特征）稀疏向量（其从查询关键字、用户画像等编码）作为输入。因此，该模型需要TB尺度参数来嵌入高维输入。提出了一种分层分布式GPU参数服务器，利用CPU主存储器和SSD作为辅存，使内存有限的GPU能够训练大规模网络。我们确定了现有GPU训练框架中针对大规模广告模型的两个主要挑战，并提出了一系列优化来解决这些挑战：（a）GPU，CPU，SSD在训练期间快速相互通信。GPU和CPU之间的连接由于硬件拓扑而不均匀。数据通信路由应根据硬件拓扑结构进行优化;（b）不同计算节点中的GPU频繁通信以同步参数。我们需要优化通信，使分布式系统可以成为可扩展的。在本文中，我们提出了一个硬件感知的训练工作流程，耦合到算法设计的硬件拓扑结构。为了减少计算节点之间的大量通信，针对流行的Adam优化算法，提出了一种$k$ -步模型合并算法，并给出了该算法在非凸优化中的收敛速度.据我们所知，这是$k$步长自适应优化方法在工业级CTR模型训练中的首次应用。对真实数据的数值结果证实，优化的系统设计大大减少了大规模模型的训练时间，基本上没有损失准确性。
2022-01-05 cs.IR cs.LG
TFNet: Multi-Semantic Feature Interaction for CTR Prediction
点击率（CTR）预测在计算广告和推荐系统中起着核心作用。在该领域中存在几种方法，例如逻辑回归（LR），因子分解机（FM）和基于深度学习的方法，如Wide&Deep，神经因子分解机（NFM）和DeepFM。然而，这样的方法通常使用每对特征的向量积，这忽略了特征交互的不同语义空间。在本文中，我们提出了一种新的基于张量的特征交互网络（TFNet）模型，该模型引入了一个操作张量，通过多个语义空间中的多切片矩阵来阐述特征交互。大量的离线和在线实验表明：TFNet：1）在典型的Criteo和Avazu数据集上的性能优于竞争性比较方法; 2）在中国最大的应用推荐系统腾讯MyApp的在线A/B测试中，收入和点击率都有很大的提高。
2020-06-29 cs.IR
FINT: Field-aware INTeraction Neural Network For CTR Prediction
iQIYI Inc.（爱奇艺公司）；National Key Lab of Parallel and Distributed Processing（并行与分布处理国家重点实验室）；National University of Defense Technology（国防科技大学）
点击率预测作为网络广告营销的重要组成部分，受到了业界和学术界的广泛关注。近年来，深度学习已成为CTR的主流方法选择。尽管已经做出了可持续的努力，但现有的方法仍然带来了一些挑战。一方面，特征之间的高阶相互作用未被充分探索。另一方面，高阶场的相互作用可能会忽略来自低阶场的语义信息。在本文中，我们提出了一种新的预测方法，命名为FINT，采用现场感知的交互层，捕获高阶特征的相互作用，同时保留低阶字段信息。为了实证研究FINT的有效性和鲁棒性，我们在三个现实的数据库上进行了广泛的实验：KDD 2012，Criteo和Avazu。所得结果表明，FINT可以显着提高性能相比，现有的方法，而不增加所需的计算量。此外，通过A/B测试，该方法为一家大型在线视频应用程序的广告收入带来了2.72%的增长。为了更好地促进CTR领域的研究，我们在https://github.com/zhishan01/FINT上发布了我们的代码以及参考实现。
2022-07-11 cs.CV cs.IR
Causality-based CTR Prediction using Graph Neural Networks
Huazhong University of Science and Technology（华中科技大学）；Beijing Jiaotong University（北京交通大学）
点击率预测作为网络广告中的一个普遍问题，引起了学术界和产业界的广泛关注。最近的研究已经报道在图神经网络（GNNs）框架中建立CTR预测模型。然而，大多数基于GNNs的模型在一个完整的图中处理特征交互，而忽略了特征之间的因果关系，这导致分布外数据的性能大幅下降。本文致力于在GNNs框架（Cause-GNN）中开发一个基于流量的CTR预测模型，该模型集成了在线广告背景下的特征图、用户图和广告图的表示。在该模型中，基于门控图神经网络（GGNNs）中领域特征间的因果发现，设计了一种结构化表示学习方法（GraphFwFM）来获取特征图的高阶表示，并采用GraphSAGE来获取用户和广告的图表示.在三个公共数据集上进行的实验证明了Cajet-GNN在AUC和Logloss方面的优越性以及GraphFwFM在捕获因果特征图高阶表示方面的有效性。
2023-01-30 cs.AI cs.IR cs.LG
Temporal Importance Factor for Loss Functions for CTR Prediction
针对CTR预测中数据分布随时间偏移的问题，提出一种模型无关的时间重要性因子，通过加大对最近样本的惩罚来增强损失函数对最新趋势的捕捉能力，并在公开和公司数据集上验证其优于基线损失函数。
2023-11-28 cs.IR
Long-History User Transformers for Real-Time Ad Ranking
Yandex；Yandex, Applied AI Institute（Yandex 应用人工智能研究所）
研究如何解决在线广告中长交互历史与快速服务约束的冲突，采用离线变换器异步编码历史并缓存，运行时模型结合缓存与最新事件，经预训练和微调，提升了广告排名指标和收入，且不增加延迟。
2026-07-17 cs.IR
Decision-Making Context Interaction Network for Click-Through Rate Prediction
Meituan（美团）
点击率（CTR）预测在推荐和在线广告系统中至关重要。现有的方法通常对用户行为进行建模，而忽略了影响用户做出点击决策的信息上下文，例如，点击页面和预先排名的候选人，告知有关用户兴趣的推断，导致次优性能。在本文中，我们提出了一个决策上下文交互网络（DCIN），它部署了一个精心设计的上下文交互单元（CIU）来学习决策上下文，从而有利于CTR预测。此外，不同的决策上下文源之间的关系进行了探索，提出了自适应兴趣聚合单元（AIAU），以进一步提高CTR预测。在公共数据集和工业数据集上的实验中，DCIN显著优于最先进的方法。值得注意的是，该模型在线A/B测试获得了CTR+2. 9%/CPM+2. 1%/GMV+1. 5%的提升，并服务于美团外卖广告系统的主要流量。
2023-01-29 cs.IR cs.LG
Regularized Adversarial Sampling and Deep Time-aware Attention for Click-Through Rate Prediction
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Hong Kong Polytechnic University（香港理工大学）
提高点击率（CTR）预测的性能仍然是在线广告系统的核心任务之一。随着深度学习的兴起，具有深度网络的CTR预测模型显著增强了模型的能力。在深度CTR模型中，利用用户的历史数据对于学习用户的行为和兴趣至关重要。针对现有CTR预测方法在嵌入用户历史点击记录时忽略了时间信号的重要性，提出了一种时间感知的注意力模型，该模型明确地使用绝对时间信号来表示用户的周期性行为，使用相对时间信号来表示项目之间的时间关系。此外，我们提出了一种正则化的对抗抽样策略的负采样，缓解了CTR数据的分类不平衡，并可以利用观察到的负CTR样本提供的强指导。对抗性采样策略显著提高了训练效率，并且可以与时间感知注意力模型无缝协同训练。实验进行了真实世界的CTR数据集，从站内和站外的广告场所。
2019-11-03 cs.IR cs.LG stat.ML
The Effects of Data Split Strategies on the Offline Experiments for CTR Prediction
本文研究了CTR预测中离线评估的数据划分策略问题，通过在Criteo数据集上对比随机划分和时间划分，揭示了离线性能与在线表现差异的原因。
2024-06-26 cs.IR
CETN: Contrast-enhanced Through Network for CTR Prediction
提出CETN模型，通过对比学习增强和穿透连接解决并行CTR模型中监督信号缺乏的问题，确保特征交互信息的多样性与同质性，在四个数据集上AUC和Logloss指标优于二十个基线模型。
2024-02-16 cs.IR
Deep Position-wise Interaction Network for CTR Prediction
点击率（CTR）预测在在线广告和推荐系统中起着重要的作用。在实践中，CTR模型的训练取决于点击数据，该点击数据本质上偏向于较高位置，因为较高位置本质上具有较高CTR。现有的方法，如固定位置推理的实际位置训练和无位置推理的逆倾向加权训练，在一定程度上缓解了偏差问题。然而，在训练和推理之间对位置信息的不同处理将不可避免地导致不一致和次优的在线性能。同时，这些方法的基本假设，即，点击概率是检查概率和相关概率的乘积，过于简化，不足以模拟位置与其他信息之间的丰富交互。在本文中，我们提出了一个深度位置明智的互动网络（DPIN），有效地结合所有候选项目和位置估计CTR在每个位置，实现离线和在线之间的一致性，以及建模的深度非线性之间的互动位置，用户，上下文和项目的限制下，服务性能。根据我们对CTR预测中位置偏差的新处理，我们提出了一种新的评价指标PAUC（position-wise AUC），适用于测量给定位置的排名质量。通过在真实世界数据集上的大量实验，我们经验性地证明了我们的方法在解决位置偏差问题上是有效的和高效的。我们还在生产中部署了我们的方法，并在严格的A/B测试中观察到了高度优化的基线在统计上的显著改善。
2021-06-17 cs.IR
Dual Graph enhanced Embedding Neural Network for CTR Prediction
点击率预测是在线广告和推荐系统中的一个重要环节，其目的是估计用户点击某个项目的概率。基于特征交互建模和基于用户兴趣挖掘的CTR预测方法是两种最流行的CTR预测技术，经过多年的研究，取得了很大的进展。然而，（1）严重依赖于不同特征的同现的基于特征交互的方法可能遭受特征稀疏性问题（即，许多特征出现很少）;（2）基于用户兴趣挖掘的方法需要丰富的用户行为来获得用户的多样兴趣，容易遇到行为稀疏问题（即，许多用户具有非常短的行为序列）。为了解决这些问题，我们提出了一个新的模块名为对偶图增强嵌入，它是兼容各种CTR预测模型，以缓解这两个问题。我们进一步提出了一个对偶图增强嵌入神经网络（DG-ENN）的CTR预测。Dual Graph enhanced Embedding利用图表示的优势，采用两种精心设计的学习策略（分而治之，启发式学习的有组织学习）来改进嵌入。我们在三个真实世界的工业数据集上进行了全面的实验。实验结果表明，我们提出的DG-ENN显着优于国家的最先进的CTR预测模型。此外，当应用于最先进的CTR预测模型时，双图增强嵌入总是获得更好的性能。进一步的案例研究表明，我们提出的对偶图增强嵌入可以缓解特征稀疏性和行为稀疏性问题。我们的框架将在不久的将来基于MindSpore开源。
2021-06-08 cs.IR
Rec4Ad: A Free Lunch to Mitigate Sample Selection Bias for Ads CTR Prediction in Taobao
Alibaba Group（阿里巴巴集团）
本文提出 Rec4Ad，利用共享用户决策逻辑的推荐样本及对齐、去相关表示学习，在无需均匀数据的情况下缓解广告 CTR 模型的样本选择偏差，并在淘宝取得 CTR 与 RPM 显著提升。
2023-06-06 cs.IR cs.LG
Understanding the Ranking Loss for Recommendation with Sparse User Feedback
针对稀疏正反馈下CTR预测中BCE导致负样本梯度消失的问题，本文揭示辅助排序损失通过增大负样本梯度改善优化，并经理论、公开实验及腾讯在线系统验证有效。
2024-07-05 cs.IR
Pairwise Ranking Loss for Multi-Task Learning in Recommender Systems
针对多任务学习中未发生转化的CTR任务噪声更高的问题，提出成对排序损失（PWiseR）利用转化曝光标签指导模型，在多个公开及工业数据集上AUC指标优于BCE损失。
2024-06-05 cs.IR
An Ensemble-based Approach to Click-Through Rate Prediction for Promoted Listings at Etsy
Etsy是一个全球性的市场，世界各地的人们可以在这里制造、购买和销售独特的商品。Etsy的卖家可以通过类似于传统赞助搜索广告的广告活动来推广他们的产品列表。点击率（CTR）预测是在线搜索广告系统的组成部分，其中它被用作拍卖的输入，拍卖确定针对每个查询向特定用户推荐的列表的最终排名。在本文中，我们提供了一个整体的视图Etsy的推广上市的CTR预测系统，并提出了一个集成学习方法，这是基于历史或行为信号的旧上市以及基于内容的功能，为新上市。我们利用最先进的深度学习技术从文本和图像中获取表示，并采用多模态学习来组合这些不同的信号。我们将该系统与Etsy的大规模真实世界数据集上的非平凡基线进行了比较，证明了该模型的有效性以及离线实验与在线性能之间的强相关性。本文也是第一次在电子商务背景下对此类产品进行技术综述。
2017-11-21 cs.IR
Deep Learning for Click-Through Rate Estimation
Shanghai Jiao Tong University（上海交通大学）
点击率（CTR）估计是各种个性化在线服务的核心功能模块，包括在线广告，推荐系统和网络搜索等。从2015年开始，深度学习的成功开始有利于CTR估计性能，现在深度CTR模型已经广泛应用于许多行业平台。在本调查中，我们全面回顾了用于CTR估计任务的深度学习模型。首先，我们回顾了从浅层到深层CTR模型的转移，并解释了为什么深入是一个必要的发展趋势。其次，我们专注于深度CTR模型的显式特征交互学习模块。然后，作为具有丰富用户历史的大型平台的重要视角，讨论了深度行为模型。此外，最近出现的自动化方法的深度CTR架构设计。最后，对本研究进行了总结，并对该领域的发展前景进行了展望.
2021-04-21 cs.IR cs.LG
MMBAttn: Max-Mean and Bit-wise Attention for CTR Prediction
针对CTR预测中传统池化操作易损失信息、影响特征重要性判定的问题，提出结合最大-均值池化与逐位注意力的MMBAttn方法，经三个公开数据集验证可显著提升基础模型性能，达到SOTA水平。
2023-08-25 cs.IR
GenCI: Generative Modeling of User Interest Shift via Cohort-based Intent Learning for CTR Prediction
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；WeChat, Tencent（腾讯微信）
GenCI通过生成用户兴趣群体建模动态兴趣转移，提升CTR预测的准确性与鲁棒性。
2026-01-26 cs.IR
FinalMLP: An Enhanced Two-Stream MLP Model for CTR Prediction
本文发现简单组合两个MLP的双流模型即可取得优异CTR预测性能，进而提出FinalMLP，通过特征门控和交互聚合层增强双流MLP，在多个基准和在线A/B测试中超越复杂双流CTR模型。
2023-11-30 cs.IR
DLF: Enhancing Explicit-Implicit Interaction via Dynamic Low-Order-Aware Fusion for CTR Prediction
针对CTR预测中显式与隐式交互融合的局限，提出DLF框架，含RLI和NAF模块，动态平衡低阶与高阶交互，提升表达力，实验达到最先进性能。
2025-05-25 cs.IR
Feature Interaction Fusion Self-Distillation Network For CTR Prediction
针对CTR预测中并行结构信息共享不足、知识蒸馏效率低及数据噪声问题，提出FSDNet框架，通过跨层连接显隐式特征交互并利用最深融合层自蒸馏指导浅层训练，有效提升了模型的预测性能与泛化能力。
2024-11-13 cs.IR
Continual Learning for CTR Prediction: A Hybrid Approach
Meituan（美团）
点击率（CTR）预测是每次点击成本（CPC）广告系统中的核心任务，并且已经被机器学习从业者广泛研究。虽然许多现有的方法已经成功地部署在实践中，他们中的大多数是建立在i.i.d.。（独立且同分布）假设，忽略了用于训练和推断的点击数据是通过时间收集的并且本质上是非平稳和漂移的。这种不匹配将不可避免地导致次优性能。为了解决这个问题，我们制定CTR预测作为一个持续学习的任务，并提出COLF，混合持续学习框架CTR预测，它有一个基于内存的模块化架构，旨在适应，学习和预测时，不断面对非平稳漂移点击数据流。结合明确控制记忆和目标数据之间差异的记忆人口方法，COLF能够从其历史经验中获得积极的知识，并改进CTR预测。通过对中国某大型购物应用的点击日志数据进行实证分析，证明了该方法的优越性。此外，我们已经在线部署了我们的方法，并观察到显著的CTR和收入改善，这进一步证明了我们方法的有效性。
2022-01-18 cs.IR cs.LG
A Universal Framework for Compressing Embeddings in CTR Prediction
针对CTR预测中嵌入表过大导致的高内存消耗与高延迟问题，提出模型无关的MEC嵌入压缩框架，经两阶段优化实现50倍以上内存缩减且不损失推荐性能。
2025-02-21 cs.IR
A Non-sequential Approach to Deep User Interest Model for CTR Prediction
点击率预测在许多工业应用中起着重要的作用，近年来，利用注意力机制从历史行为中捕捉用户兴趣的深度兴趣模型受到了广泛关注。然而，目前大多数模型都是基于序列模型的，这些模型将行为序列截短固定长度，从而难以处理很长的行为序列。另一个大问题是，相同长度的序列在时间上可能完全不同，具有完全不同的含义。在本文中，我们提出了一个非顺序的方法来解决上述问题。具体来说，我们首先以稀疏键向量格式表示行为数据，其中向量包含丰富的行为信息，如时间，计数和类别。接下来，我们增强了深度兴趣网络，通过一个新的注意力网络来考虑这些丰富的信息。稀疏表示使得处理大规模的长行为序列成为可能。最后，我们引入了一个多维划分框架来挖掘行为交互。该框架可以将数据划分到定制设计的时间桶中，以捕获在不同时间桶中聚合的信息之间的交互。同样，它也可以将数据划分为不同的类别，并捕获它们之间的交互。实验在两个公共数据集上进行：一个是广告数据集，另一个是生产推荐数据集。我们的模型在这两个数据集上都优于其他最先进的模型。
2021-05-21 cs.IR
ELEC: Efficient Large Language Model-Empowered Click-Through Rate Prediction
ELEC提出一种高效的大语言模型赋能点击率预测框架，通过伪孪生网络结合LLM语义与协同信号，并利用知识蒸馏实现高效推理，在真实数据集上验证了有效性和高效性。
2025-09-09 cs.IR
PCDF: A Parallel-Computing Distributed Framework for Sponsored Search Advertising Serving
本文提出并行计算分布式框架PCDF，将赞助搜索广告排序拆分为并行预模块、排序中模块和结合自然搜索结果的重排序后模块，以降低推理延迟并支持端到端在线训练。
2023-08-08 cs.IR
MTBRN: Multiplex Target-Behavior Relation Enhanced Network for Click-Through Rate Prediction
点击率（CTR）预测是许多工业系统，如显示广告和推荐系统的关键任务。近年来，用户行为序列建模在CTR领域得到了广泛的关注，并取得了很大的进展。现有的工作主要是在考虑用户行为与目标项之间的关系时，利用基于嵌入产品的注意力机制。然而，这种方法缺乏具体的语义，忽略了驱动用户点击目标项的根本原因。在本文中，我们提出了一个新的框架命名为多重目标行为关系增强网络（MTBRN），利用用户行为和目标项目之间的多重关系，以提高点击率预测。多重关系包含了有意义的语义，可以从不同的角度理解用户的兴趣。为了探索和建模多重关系，我们建议合并各种图（例如，知识图谱和项目-项目相似度图）来构建用户行为与目标项目之间的多个关系路径。然后应用Bi-LSTM对路径提取器层中的每个路径进行编码。设计了一个路径融合网络和一个路径激活网络来自适应地聚集并最终学习所有路径的表示以进行CTR预测。大量的离线和在线实验清楚地验证了我们的框架的有效性。
2020-08-26 cs.IR
FedUD: Exploiting Unaligned Data for Cross-Platform Federated Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
本文提出FedUD框架，通过知识蒸馏和表示转移网络，利用跨平台未对齐数据增强联邦学习中的点击率预测，解决了传统纵向联邦学习仅依赖对齐数据的局限。
2024-07-26 cs.IR cs.LG
Dual-Stream MLP is All You Need for CTR Prediction
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；ByteDance（字节跳动）；Meituan（美团）
提出双流MLP（DS-MLP）框架，通过知识蒸馏将显式特征交互学习能力整合到主MLP网络，同时并行MLP捕获隐式特征交互，并设计两种对齐策略优化双流架构，在三个基准上取得最先进性能。
2026-06-03 cs.IR
Representation Learning-Assisted Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。大多数现有的方法主要建模的特征CTR关系，并遭受数据稀疏性问题。在本文中，我们提出了DeepMCP，它对其他类型的关系进行建模，以学习更多信息和统计可靠的特征表示，从而提高CTR预测的性能。具体来说，DeepMCP包含三个部分：匹配子网、关联子网和预测子网。这些模型分别对用户-广告、广告-广告和功能-CTR关系进行建模。当这些特征在目标标签的监督下联合优化时，学习的特征表示具有良好的预测能力和良好的表示能力。在两个大规模数据集上的实验表明，DeepMCP在CTR预测方面优于几种最先进的模型。
2019-07-19 cs.IR cs.LG stat.ML
UniCon: A Unified Context-Centric Modeling Paradigm for CTR Prediction
Meituan（美团）；SJTU（上海交通大学）；BUAA（北京航空航天大学）
针对现有CTR预测模型将历史与请求视为异质信号的缺陷，提出以统一上下文为中心的UniCon架构，在美团搜索广告任务中显著提升了离线AUC及在线RPM、CTR、营收指标。
2026-09-07 cs.IR
Towards Unifying Feature Interaction Models for Click-Through Rate Prediction
本文提出统一特征交互模型的通用框架IPA，通过交互函数、层池化和层聚合器三个组件系统化归类现有CTR模型，并基于最优组件组合提出新模型PFL，在腾讯广告平台在线A/B测试中取得显著GMV提升。
2024-11-19 cs.IR
MOON Embedding: Multimodal Representation Learning for E-commerce Search Advertising
Alibaba Group（阿里巴巴集团）；Taobao（淘宝）
本文提出面向电商搜索广告的多模态表示学习框架MOON，经五次迭代已全量部署于淘宝搜广系统，CTR提升20%，还定义兑换率、研究多模态缩放定律，为相关领域提供实践经验。
2025-11-18 cs.AI cs.CV cs.IR
FLEN: Leveraging Field for Scalable CTR Prediction
Meitu Inc（美图公司）；Tencent Inc.（腾讯公司）；Xiamen University（厦门大学）；Shenzhen University（深圳大学）
点击率（CTR）预测已经成为许多工业应用（如推荐系统和在线广告）不可或缺的组成部分。CTR预测系统通常基于多场分类特征，即，每个特征都是分类的，并且属于一个且仅属于一个字段。特征连接的建模对于CTR预测的准确性至关重要。然而，它需要大量的参数来显式地对所有特征合取进行建模，这对于现实世界的生产系统来说是不可扩展的。在本文中，我们描述了一种新的场杠杆嵌入网络（FLEN），已部署在商业推荐系统在美图和服务的主要流量。FLEN设计了一种现场双向交互池技术。通过适当地利用场信息，逐场双向交互池化利用少量模型参数和对于工业应用可接受的时间复杂度来捕获场间和场内特征合取。我们表明，各种国家的最先进的CTR模型，可以表示在这种技术下。此外，我们开发了Dicefactor：一种辍学技术，以防止独立的潜在功能的共同适应。大量的实验，包括离线评估和在线A/B测试的实际生产系统，证明了FLEN对国家的最先进的有效性和效率。值得注意的是，与最新版本（即NFM）相比，FLEN在CTR上获得了5.19%的改进，内存使用量和计算时间为1/6。
2020-09-28 cs.IR cs.LG
Click-aware Structure Transfer with Sample Weight Assignment for Post-Click Conversion Rate Estimation
针对CVR预测中因共享CTR特征导致的知识诅咒问题，提出CSTWA模型，通过点击感知结构迁移、表示层校准与偏向CVR的样本权重分配，有效平衡辅助信息引入与CVR信息保护，显著提升预测性能。
2023-09-15 cs.IR
Always Strengthen Your Strengths: A Drift-Aware Incremental Learning Framework for CTR Prediction
本文提出一种基于集成学习的漂移感知增量学习框架，通过显式漂移检测强化适配集成并冻结不匹配集成，有效缓解CTR预测中的灾难性遗忘问题，并在离线实验和A/B测试中优于所有基线。
2023-04-17 cs.IR cs.LG
Towards Deeper, Lighter and Interpretable Cross Network for CTR Prediction
针对CTR预测中高阶交互性能衰减、可解释性不足及嵌入参数冗余问题，提出GDCN与FDO，通过门控筛选交互并按字段压缩维度，在五个数据集上验证了性能与可解释性。
2023-11-08 cs.IR
HIEN: Hierarchical Intention Embedding Network for Click-Through Rate Prediction
点击率预测是在线广告和推荐系统中的一个重要环节，其目的是估计用户点击某一特定项目的概率。特征交互建模和用户兴趣建模方法是点击率预测中的两个热点领域，近年来得到了广泛的研究。然而，这些方法仍然受到两个限制。首先，传统方法将项目属性视为ID特征，而忽略了属性间的结构信息和关系依赖。第二，当从用户-项目交互中挖掘用户兴趣时，现有模型忽略了用户意图和项目意图的不同属性，缺乏可解释性。基于这一观察，在本文中，我们提出了一种新的方法层次意图嵌入网络（HIEN），它认为在构造的属性图的基础上自底向上树聚合的属性的依赖关系。HIEN还捕获不同项目属性的用户意图以及基于我们提出的分层注意力机制的项目意图。在公共数据集和生产数据集上的大量实验表明，该模型的性能明显优于最先进的方法。此外，HIEN可以作为输入模块应用于最先进的CTR预测方法，为这些可能已经在实际系统中广泛使用的现有模型带来进一步的性能提升。
2022-06-01 cs.IR
Modeling Long-term User Behaviors with Diffusion-driven Multi-interest Network for CTR Prediction
本文提出DiffuMIN模型，通过面向目标的多兴趣提取、扩散生成增强兴趣和对比学习，解决两阶段CTR预测模型丢失多样化兴趣的问题，并在离线与在线实验中取得显著提升。
2025-09-19 cs.IR
One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction
Alibaba Group（阿里巴巴集团）
传统的工业推荐器通常接受单个业务领域的培训，然后为该领域服务。然而，在大型商业平台中，通常情况下，广告商需要对多个业务领域进行点击率（CTR）预测。不同的域具有重叠的用户组和项目。因此，存在着共同点。由于特定的用户组具有差异性，用户行为在不同的业务领域可能会发生变化，因此也存在差异。这些区别导致了特定于域的数据分布，使得单个共享模型很难在所有域上都很好地工作。为了学习一个有效和高效的CTR模型，同时处理多个域，我们提出了星型拓扑自适应推荐（STAR）。具体地说，STAR具有星型拓扑结构，它由共享中心参数和特定于域的参数组成。共享参数被应用于学习所有域的共性，并且特定于域的参数捕获域区别以进行更精细的预测。给定来自不同业务域的请求，STAR可以根据域特征调整其参数。生产数据的实验结果验证了STAR模型的优越性。自二零二零年起，STAR已部署于阿里巴巴的展示广告系统，平均CTR提升8. 0%，RPM（每千人收益）提升6. 0%。
2021-11-02 cs.IR cs.LG
An Analysis of Selection Bias Issue for Online Advertising
Yahoo Japan Corporation（雅虎日本公司）
在在线广告中，一组潜在的广告可以通过某个拍卖系统进行排名，其中通常前1个广告将被选择并显示在广告空间处。在本文中，我们展示了一个选择偏差的问题，是目前在拍卖系统。我们分析了选择偏差破坏了拍卖的真实性，这意味着拍卖中的买家（广告商）不能最大化他们的利润。虽然选择偏差在统计学领域是众所周知的，并且有很多关于它的研究，但我们的主要贡献是将选择偏差的理论分析与拍卖机制结合起来。在我们的实验中，使用在线A/B测试，我们评估的选择偏差的拍卖系统的排名分数是预测的CTR（点击率）的广告。实验表明，通过使用学习所有广告数据的多任务学习，选择偏差大大减少。
2022-06-07 cs.GT cs.IR cs.LG
Time-aligned Exposure-enhanced Model for Click-Through Rate Prediction
针对多反馈序列时间不对齐及缺乏细粒度交互的问题，本文提出TEM4CTR框架，通过表示投影机制实现时间对齐并利用辅助反馈增强点击行为建模。
2023-08-19 cs.IR
