Click-aware purchase prediction with push at the top
从购买记录中获取用户偏好以执行购买预测是具有挑战性的，因为没有明确地观察到负面反馈，并且因为将所有未购买的物品同等地视为负面反馈是不现实的。因此，在这项研究中，我们提出了一个框架，利用用户过去的点击记录来弥补购买记录中缺失的用户-项目交互，即，非购买物品。我们首先制定各种模型的假设，每一个假设不同的顺序购买，点击，但不购买，和非点击项目的用户偏好，研究利用点击记录的有用性。我们使用贝叶斯个性化排名模型实现模型假设，该模型最大化了二分排名的曲线下面积。然而，我们认为，使用点击记录的二分排名需要一个精心设计的模型，因为相对不可靠的点击记录相比，购买记录。因此，我们最终提出了一种新的学习排名方法，称为P3 Stop，用于执行购买预测。建议的模型是定制的相对不可靠的点击记录，特别是专注于排名靠前的项目的准确性是强大的。在两个真实的电子商务数据集上的实验结果表明，P3 STop的性能大大优于最先进的隐式反馈推荐方法，特别是对排名靠前的项目。
2020-05-29 cs.IR
Sequential Click Prediction for Sponsored Search with Recurrent Neural Networks
Fudan University（复旦大学）；Nankai University（南开大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
点击预测是赞助搜索的基本问题之一。大多数现有的研究利用机器学习方法来独立地预测广告观看的每个事件的广告点击。然而，在现实世界的赞助搜索系统中观察到，用户的行为对广告产生很高的依赖性，用户的行为如何随着过去的时间，特别是在什么查询，她提交了，什么广告，她点击或忽略，以及她花了多长时间点击广告的着陆页，等等。受这些观察的启发，我们引入了一个新的框架，基于循环神经网络（RNN）。与传统的方法相比，该框架通过RNN的递归结构，直接将用户顺序行为的依赖性建模到点击预测过程中。商业搜索引擎的点击日志的大规模评估表明，我们的方法可以显着提高点击预测精度相比，序列无关的方法。
2014-07-28 cs.IR cs.LG cs.NE
Time-aligned Exposure-enhanced Model for Click-Through Rate Prediction
针对多反馈序列时间不对齐及缺乏细粒度交互的问题，本文提出TEM4CTR框架，通过表示投影机制实现时间对齐并利用辅助反馈增强点击行为建模。
2023-08-19 cs.IR
Regularized Adversarial Sampling and Deep Time-aware Attention for Click-Through Rate Prediction
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Hong Kong Polytechnic University（香港理工大学）
提高点击率（CTR）预测的性能仍然是在线广告系统的核心任务之一。随着深度学习的兴起，具有深度网络的CTR预测模型显著增强了模型的能力。在深度CTR模型中，利用用户的历史数据对于学习用户的行为和兴趣至关重要。针对现有CTR预测方法在嵌入用户历史点击记录时忽略了时间信号的重要性，提出了一种时间感知的注意力模型，该模型明确地使用绝对时间信号来表示用户的周期性行为，使用相对时间信号来表示项目之间的时间关系。此外，我们提出了一种正则化的对抗抽样策略的负采样，缓解了CTR数据的分类不平衡，并可以利用观察到的负CTR样本提供的强指导。对抗性采样策略显著提高了训练效率，并且可以与时间感知注意力模型无缝协同训练。实验进行了真实世界的CTR数据集，从站内和站外的广告场所。
2019-11-03 cs.IR cs.LG stat.ML
Disentangled Self-Attentive Neural Networks for Click-Through Rate Prediction
点击率（CTR）预测是许多在线应用程序的一项重要任务，其目的是预测用户是否会点击某个项目的概率。由于点击率预测的数据稀疏性和高维性，有效预测的关键是对高阶特征交互进行建模。做到这一点的一种有效方法是使用自关注神经网络执行特征嵌入的内积。为了更好地模拟复杂的特征交互，在本文中，我们提出了一种新的去纠缠自适应网络（DESTINE）框架的CTR预测，明确地将计算一元特征的重要性从成对的相互作用。具体来说，一元项模拟了一个特征对所有其他特征的一般重要性，而成对交互项有助于学习每个特征对的纯影响。我们使用两个真实世界的基准数据集进行了广泛的实验。结果表明，DESTINE不仅保持了计算效率，而且在最先进的基线上实现了一致的改进。
2021-08-17 cs.IR
Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。大量的研究都是单独考虑每一个广告，但忽略了它与其他可能影响点击率的广告的关系。在本文中，我们研究了各种类型的辅助广告，以提高目标广告的点击率预测。特别是，我们从两个角度探索辅助广告：一个是从空间域，我们认为在同一页面上的目标广告上方显示的上下文广告;另一个是从时间域，我们认为历史上点击和未点击的广告的用户。直觉是，一起显示的广告可能会相互影响，点击的广告反映了用户的偏好，而未点击的广告可能会在一定程度上表明用户不喜欢什么。为了有效地利用这些辅助数据，我们提出了深度时空神经网络（DSTNs）的CTR预测。我们的模型能够学习每种类型的辅助数据和目标广告之间的相互作用，强调更重要的隐藏信息，并在一个统一的框架中融合异构数据。在一个公共数据集和两个工业数据集上的离线实验表明，DSTNs优于几种最先进的CTR预测方法。我们已在中国第二大搜索引擎神马搜索中部署了性能最好的搜索引擎。A/B测试结果表明，在线CTR也显着提高相比，我们的最后一个服务模型。
2019-07-19 cs.IR cs.LG stat.ML
A Probabilistic Model for the Cold-Start Problem in Rating Prediction using Click Data
矩阵分解是协同过滤中最有效的方法之一，它根据用户对项目的评分来找到用户和项目的潜在向量表示。然而，基于矩阵分解的算法遭受冷启动问题：它无法找到先前评级不可用的项目的潜在向量。本文利用可以大量收集的点击数据来解决冷启动问题。我们提出了一个概率项目嵌入模型，从点击数据中学习项目表示，以及一个名为EMB-MF的模型，该模型将其与概率矩阵分解相连接，用于评级预测。在三个真实数据集上的实验表明，该模型不仅在推荐没有先前评级的项目时是有效的，而且优于竞争方法，特别是当数据非常稀疏时。
2018-05-14 cs.IR
Decision-Making Context Interaction Network for Click-Through Rate Prediction
Meituan（美团）
点击率（CTR）预测在推荐和在线广告系统中至关重要。现有的方法通常对用户行为进行建模，而忽略了影响用户做出点击决策的信息上下文，例如，点击页面和预先排名的候选人，告知有关用户兴趣的推断，导致次优性能。在本文中，我们提出了一个决策上下文交互网络（DCIN），它部署了一个精心设计的上下文交互单元（CIU）来学习决策上下文，从而有利于CTR预测。此外，不同的决策上下文源之间的关系进行了探索，提出了自适应兴趣聚合单元（AIAU），以进一步提高CTR预测。在公共数据集和工业数据集上的实验中，DCIN显著优于最先进的方法。值得注意的是，该模型在线A/B测试获得了CTR+2. 9%/CPM+2. 1%/GMV+1. 5%的提升，并服务于美团外卖广告系统的主要流量。
2023-01-29 cs.IR cs.LG
Boosting the Rating Prediction with Click Data and Textual Contents
SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（日本国立信息学研究所）
矩阵分解（MF）是最有效的收视率预测方法之一。MF通过分解用户-项目评级矩阵来学习用户和项目表示。此外，文本内容集成到传统的MF，以解决冷启动问题。然而，文本内容并没有反映项目的所有方面。在本文中，我们提出了一个模型，利用隐藏在项目共同点击中的信息（即，经常被用户一起点击的项目）转换为学习项目表示。我们开发了TCMF（Textual Co Matrix Factorization），它从用户-项目矩阵、文本内容和从点击数据构建的项目共同点击矩阵中共同学习用户和项目表示。项目共同点击信息捕获未通过文本内容捕获的项目之间的关系。在两个真实数据集MovieTweetings和Bookcrossing上的实验表明，我们的方法在评级预测方面优于竞争方法。此外，我们表明，该模型可以学习有效的项目表示，通过比较与国家的最先进的方法在分类任务，使用项目表示作为输入向量。
2021-05-12 cs.IR cs.LG
Deep Interest Evolution Network for Click-Through Rate Prediction
Alibaba Inc（阿里巴巴集团）
点击率预测是广告系统的核心任务之一，其目标是估计用户点击的概率。对于点击率预测模型，需要捕捉用户行为数据背后潜在的用户兴趣。此外，考虑到外部环境和内部认知的变化，用户兴趣随时间动态演化。兴趣建模的点击率预测方法有多种，但大多数都是直接将行为的表现形式看作兴趣，缺乏对具体行为背后潜在兴趣的专门建模。此外，很少有研究考虑到利益的变化趋势。在本文中，我们提出了一种新的模型，命名为深度兴趣进化网络~（DIEN），点击率预测。具体来说，我们设计了兴趣提取器层，从历史行为序列中捕获时间兴趣。在这一层，我们引入了一个辅助损失来监督每一步的利息提取。由于用户兴趣的多样性，特别是在电子商务系统中，我们提出的兴趣进化层捕捉的兴趣演变过程，是相对于目标项目。在利益演化层，注意机制被新颖地嵌入到序列结构中，在利益演化过程中强化了相对利益的作用。在公共和工业数据集上的实验中，DIEN的性能明显优于最先进的解决方案。值得注意的是，DIEN已经部署在淘宝的展示广告系统中，并获得了20.7%的CTR提升。
2018-11-16 cs.IR cs.LG stat.ML
Feature Interaction based Neural Network for Click-Through Rate Prediction
点击率预测是广告计算和推荐系统中最重要和最具挑战性的问题之一。为了使用这些数据构建机器学习系统，正确地对特征之间的交互进行建模是很重要的。然而，目前的许多工作中，计算功能的相互作用，在一个简单的方式，如内积和元素的产品。本文旨在充分利用特征之间的信息，提高深度神经网络在CTR预测任务中的性能。本文提出了一种基于特征交互的神经网络（FINN），它能够通过三维关系张量来建模特征交互。FINN提供了底层特征交互的表示和神经网络在建模高阶特征交互时的非线性。与经典基线相比，我们评估了我们的模型在CTR预测任务上的表现，并表明我们的深度FINN模型优于其他最先进的深度模型，如PNN和DeepFM。评估结果表明，特征交互包含更好的CTR预测的重要信息。这也表明我们的模型可以有效地学习特征交互，并在现实世界的数据集上取得更好的性能。
2020-06-07 cs.IR cs.LG stat.ML
Deep Multi-Representation Model for Click-Through Rate Prediction
Information Systems and Machine Learning Lab（信息系统与机器学习实验室）
点击率预测（CTR）是推荐系统中的一项重要任务，近年来受到了广泛的关注。最近研究的主要目的强调通过使用各种组件（如深度神经网络（DNN），CrossNets或Transformer块）挖掘低和高特征交互来获得有意义和强大的表示。在这项工作中，我们提出了深度多表示模型（DeepMR），该模型联合训练两个强大的特征表示学习组件的混合，即DNN和多头自关注。此外，DeepMR将新的零初始化残差（ReZero）连接集成到DNN和多头自注意组件，以学习更好的输入表示。在三个真实数据集上的实验表明，该模型在预测点击率方面明显优于所有最先进的模型。
2022-10-25 cs.AI cs.IR cs.LG
Feature Representation Learning for Click-through Rate Prediction: A Review and New Perspectives
表示学习是机器学习中的一个重要课题。在点击率预测中，大多数特征都表示为嵌入向量，并与模型中的其他参数同时学习。随着CTR模型的发展，特征表示学习成为近年来工业界和学术界研究的热点。本研究旨在从更广阔的视角总结表示学习的特点，为今后的研究做好铺垫。为了实现这样一个目标，我们首先提出了一个分类的特征表示学习以下两个主要问题的研究方法：（i）哪些功能表示和（ii）如何表示这些功能。然后，我们对这两个问题的每种方法进行了详细的描述。最后，审查结论与讨论这一领域的未来发展方向。
2023-02-04 cs.IR
HIEN: Hierarchical Intention Embedding Network for Click-Through Rate Prediction
点击率预测是在线广告和推荐系统中的一个重要环节，其目的是估计用户点击某一特定项目的概率。特征交互建模和用户兴趣建模方法是点击率预测中的两个热点领域，近年来得到了广泛的研究。然而，这些方法仍然受到两个限制。首先，传统方法将项目属性视为ID特征，而忽略了属性间的结构信息和关系依赖。第二，当从用户-项目交互中挖掘用户兴趣时，现有模型忽略了用户意图和项目意图的不同属性，缺乏可解释性。基于这一观察，在本文中，我们提出了一种新的方法层次意图嵌入网络（HIEN），它认为在构造的属性图的基础上自底向上树聚合的属性的依赖关系。HIEN还捕获不同项目属性的用户意图以及基于我们提出的分层注意力机制的项目意图。在公共数据集和生产数据集上的大量实验表明，该模型的性能明显优于最先进的方法。此外，HIEN可以作为输入模块应用于最先进的CTR预测方法，为这些可能已经在实际系统中广泛使用的现有模型带来进一步的性能提升。
2022-06-01 cs.IR
Adversarial Filtering Modeling on Long-term User Behavior Sequences for Click-Through Rate Prediction
丰富的用户行为信息对于获取和理解用户兴趣点进率（CTR）预测具有重要意义。为了提高丰富性，收集长期行为成为学术界和工业界的典型方法，但代价是增加在线存储和延迟。最近，研究人员提出了几种方法来缩短长期行为序列，然后建模用户的兴趣。这些方法有效地降低了在线成本，但不能很好地处理长期用户行为中的噪声信息，这可能会显着降低CTR预测的性能。为了获得更好的成本/性能权衡，我们提出了一种新的对抗性过滤模型（ADFM）来建模长期用户行为。ADFM使用分层聚合表示来压缩原始行为序列，然后通过对抗过滤机制学习去除无用的行为信息。所选择的用户行为被馈送到兴趣提取模块用于CTR预测。在公共数据集和工业数据集上的实验结果表明，我们的方法在最先进的模型上取得了显着的改进。
2022-04-26 cs.IR
MTBRN: Multiplex Target-Behavior Relation Enhanced Network for Click-Through Rate Prediction
点击率（CTR）预测是许多工业系统，如显示广告和推荐系统的关键任务。近年来，用户行为序列建模在CTR领域得到了广泛的关注，并取得了很大的进展。现有的工作主要是在考虑用户行为与目标项之间的关系时，利用基于嵌入产品的注意力机制。然而，这种方法缺乏具体的语义，忽略了驱动用户点击目标项的根本原因。在本文中，我们提出了一个新的框架命名为多重目标行为关系增强网络（MTBRN），利用用户行为和目标项目之间的多重关系，以提高点击率预测。多重关系包含了有意义的语义，可以从不同的角度理解用户的兴趣。为了探索和建模多重关系，我们建议合并各种图（例如，知识图谱和项目-项目相似度图）来构建用户行为与目标项目之间的多个关系路径。然后应用Bi-LSTM对路径提取器层中的每个路径进行编码。设计了一个路径融合网络和一个路径激活网络来自适应地聚集并最终学习所有路径的表示以进行CTR预测。大量的离线和在线实验清楚地验证了我们的框架的有效性。
2020-08-26 cs.IR
AMinerGNN: Heterogeneous Graph Neural Network for Paper Click-through Rate Prediction with Fusion Query
基于用户生成关键词的论文推荐是指推荐既符合用户兴趣又与输入关键词相关的论文。这是一个包含两个查询的推荐任务，用户ID和关键字。然而，现有的方法集中在根据一个查询，也就是推荐。用户ID，不适用于解决此问题。提出了一种基于异构图神经网络的点击率预测模型AMinerGNN，用于推荐具有两个查询的论文。具体来说，AMinerGNN通过图表示学习构建一个异构图，将用户、论文和关键词投影到同一个嵌入空间。为了处理两个查询，一个新的查询关注融合层的设计，动态地认识到他们的重要性，然后融合他们作为一个查询，建立一个统一的，端到端的推荐系统。在我们提出的数据集和在线A/B测试上的实验结果证明了AMinerGNN的优越性。
2022-08-15 cs.IR
Iterative Boosting Deep Neural Networks for Predicting Click-Through Rate
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
点击率（CTR）反映了特定项目的点击量与其总浏览量的比率。它对网站的广告收入有重大影响。学习复杂的模型来理解和预测用户行为对于最大化推荐系统中的CTR至关重要。最近的工作提出了新的方法，用各种能够从原始数据中捕获复杂模式的深度学习（DL）分类器取代昂贵且耗时的特征工程过程;这些方法在CTR预测任务上显示出显着的改进。虽然DL技术可以学习复杂的用户行为模式，但它依赖于大量的数据，并且在数据量有限时表现不佳。我们提出了XDBoost，一种新的DL方法，用于捕获复杂的模式，只需要有限的原始数据。XDBoost是一个迭代的三阶段神经网络模型，受到传统机器学习提升机制的影响。XDBoost的组件按顺序运行，类似于boosting;但是，与传统的boosting不同，XDBoost不会将其组件生成的预测相加。相反，它利用这些预测作为新的人工特征，并通过使用这些特征重新训练模型来增强CTR预测。为了说明XDBoost在两个数据集上的有效性而进行的综合实验证明了其在CTR预测方面优于现有最先进（SOTA）模型的能力。
2020-07-26 cs.IR cs.LG stat.ML
Deep Context Interest Network for Click-Through Rate Prediction
Meituan（美团）
本文提出深度上下文兴趣网络DCIN，通过聚合展示上下文、融合点击与上下文特征并匹配目标兴趣，提升CTR预测性能，已在在线广告系统部署并带来1.5%的CTR和RPM提升。
2023-08-11 cs.AI cs.IR
DGenCTR: Towards a Universal Generative Paradigm for Click-Through Rate Prediction via Discrete Diffusion
针对点击率预测中传统判别式模型受限于标签稀缺及序列生成范式不适用的问题，本文提出两阶段离散扩散生成式CTR框架DGenCTR，通过生成式预训练与CTR微调提升性能，并经离线与在线实验验证有效。
2025-08-27 cs.IR
Field-Embedded Factorization Machines for Click-through rate prediction
Adobe（奥多比）
点击率（CTR）预测模型在许多在线应用中是常见的，例如数字广告和推荐系统。场感知因子分解机（FFM）和场加权因子分解机（FwFM）是CTR预测的浅层模型中最先进的。最近，也提出了许多基于深度学习的模型。在更深层次的模型中，DeepFM，xDeepFM，AutoInt+和FiBiNet是最先进的模型。更深层次的模型将学习显式特征交互的核心架构组件与深度神经网络（DNN）组件相结合。我们提出了一种新的浅场嵌入式分解机（FEFM）和它的深场嵌入式分解机（DeepFEFM）。FEFM学习每个字段对的对称矩阵嵌入以及每个特征的通常的单向量嵌入。FEFM的模型复杂度明显低于FFM，与FwFM的复杂度大致相同。FEFM还具有关于重要场和场相互作用的深刻的数学性质。DeepFEFM将FEFM组件学习的FEFM交互向量与DNN相结合，从而能够学习更高阶的交互。我们在两个大型公开的真实世界数据集上对各种超参数进行了全面的实验。当比较测试AUC和log loss时，结果表明FEFM和DeepFEFM在CTR预测任务中优于现有的最先进的浅层和深层模型。我们已经在DeepCTR库（https：//github.com/shenweichen/DeepCTR）中提供了FEFM和DeepFEFM的代码。
2021-06-14 cs.IR cs.LG stat.ML
An Ensemble-based Approach to Click-Through Rate Prediction for Promoted Listings at Etsy
Etsy是一个全球性的市场，世界各地的人们可以在这里制造、购买和销售独特的商品。Etsy的卖家可以通过类似于传统赞助搜索广告的广告活动来推广他们的产品列表。点击率（CTR）预测是在线搜索广告系统的组成部分，其中它被用作拍卖的输入，拍卖确定针对每个查询向特定用户推荐的列表的最终排名。在本文中，我们提供了一个整体的视图Etsy的推广上市的CTR预测系统，并提出了一个集成学习方法，这是基于历史或行为信号的旧上市以及基于内容的功能，为新上市。我们利用最先进的深度学习技术从文本和图像中获取表示，并采用多模态学习来组合这些不同的信号。我们将该系统与Etsy的大规模真实世界数据集上的非平凡基线进行了比较，证明了该模型的有效性以及离线实验与在线性能之间的强相关性。本文也是第一次在电子商务背景下对此类产品进行技术综述。
2017-11-21 cs.IR
Infer As You Train: A Symmetric Paradigm of Masked Generative for Click-Through Rate Prediction
针对现有CTR预测生成模型训练与推理阶段范式不对称、无法充分发挥生成能力的问题，提出对称掩码生成框架SGCTR，在两阶段对称应用生成能力，有效提升了CTR预测准确率。
2025-11-18 cs.IR
ESMC: Entire Space Multi-Task Model for Post-Click Conversion Rate via Parameter Constraint
The Chinese University of Hongkong, Shenzhen（香港中文大学（深圳））；Alibaba Group（阿里巴巴集团）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Xi’an Jiaotong University（西安交通大学）
针对点击后转化率估计中条件概率链式法则失效引发的概率空间混淆问题，提出基于参数约束的全空间多任务模型ESMC及两种变体，分别处理决策路径，实验证明其优于现有模型。
2023-07-29 cs.AI cs.IR
Modeling Users' Contextualized Page-wise Feedback for Click-Through Rate Prediction in E-commerce Search
Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
在个性化搜索和推荐中，对用户的历史反馈进行建模是进行点击率预测的关键。现有的方法通常只对用户的正反馈信息（如点击序列）进行建模，而忽略了反馈的上下文信息。在本文中，我们提出了一个新的视角上下文感知用户的行为建模，包括整个页面明智的暴露产品和相应的反馈作为上下文页面明智的反馈序列。可以捕获页面内上下文信息和页面间兴趣演变，以了解更具体的用户偏好。我们设计了一个新的神经排序模型RACP（即，上下文化页面序列上的循环注意力），其利用页面上下文感知注意力来对页面内上下文进行建模。一个循环的注意力过程被用来模拟跨页面的兴趣收敛的演变，在前一页的兴趣去噪。在公共数据集和真实工业数据集上的实验验证了模型的有效性。
2022-03-29 cs.AI cs.IR
AdaSparse: Learning Adaptively Sparse Structures for Multi-Domain Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是推荐和广告系统中的一项基本技术。最近的研究已经证明，学习一个统一的模型来服务于多个领域是有效的，以提高整体性能。然而，在有限的训练数据下提高跨领域的泛化能力仍然具有挑战性，并且由于其计算复杂性，难以部署现有的解决方案。在本文中，我们提出了一个简单而有效的框架AdaSparse多域CTR预测，自适应学习每个域的稀疏结构，实现更好的泛化跨域的计算成本较低。在AdaSparse中，我们引入了领域感知的神经元级加权因子来衡量神经元的重要性，对于每个领域，我们的模型可以修剪冗余神经元以提高泛化能力。我们进一步添加灵活的稀疏正则化来控制学习结构的稀疏率。离线和在线实验表明，AdaSparse显著优于以前的多域CTR模型。
2022-07-01 cs.IR cs.LG
Modeling Orders of User Behaviors via Differentiable Sorting: A Multi-task Framework to Predicting User Post-click Conversion
针对点击后转化预测中的选择偏差与数据稀疏问题，提出利用可微排序建模点击和点击后标签顺序的多任务框架，并在公开及工业数据集上验证其优于强基线。
2023-07-18 cs.IR
Entire-Space Variational Information Exploitation for Post-Click Conversion Rate Prediction
University of Electronic Science and Technology of China（电子科技大学）
针对点击后转化率预估中的样本选择偏差与数据稀疏问题，提出全空间变分信息利用框架EVI，通过无偏伪标签生成与变分信息蒸馏迁移未点击样本信息，在6个大规模数据集上平均优于SOTA基线2.25%。
2024-12-17 cs.IR cs.LG
Deep Session Interest Network for Click-Through Rate Prediction
点击率（CTR）预测在许多工业应用中起着重要的作用，例如在线广告和推荐系统。如何从用户的行为序列中捕捉用户动态变化的兴趣，一直是CTR预测中的一个研究课题。然而，大多数现有的研究忽略了序列的内在结构：序列是由会话组成的，其中会话是由它们的发生时间分开的用户行为。我们观察到，用户行为是高度同质的，在每个会话，和异构的跨会话。基于这一观察，我们提出了一种新的CTR模型命名为深度会话兴趣网络（DSIN），利用用户的多个历史会话在他们的行为序列。我们首先使用带有偏见编码的自我注意力机制来提取用户在每个会话中的兴趣。然后，我们应用Bi-LSTM来建模用户的兴趣如何在会话之间演变和交互。最后，我们采用本地激活单元，自适应地学习各种会话兴趣对目标项目的影响。在广告和生产推荐数据集上进行了实验，DSIN在这两个数据集上的性能都优于其他最先进的模型。
2019-05-16 cs.IR
AT4CTR: Auxiliary Match Tasks for Enhancing Click-Through Rate Prediction
针对工业推荐系统中负样本下采样加剧的CTR预测数据稀疏问题，提出AT4CTR方法，通过两个基于InfoNCE损失的辅助匹配任务增强用户-物品相关性建模，加快收敛并提升精度，已在工业广告系统落地并获显著收益。
2023-12-18 cs.IR
Click-Through Rate Prediction with the User Memory Network
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。像深度神经网络（DNN）这样的模型很简单，但没有状态。他们独立地考虑每个目标广告，无法直接提取用户历史广告印象和点击中包含的有用信息。相比之下，像递归神经网络（RNN）这样的模型是有状态的，但很复杂。它们对用户顺序行为之间的时间依赖性进行建模，可以实现比DNN更好的预测性能。然而，RNN的离线训练和在线预测过程都更加复杂和耗时。在本文中，我们提出了内存增强DNN（MA-DNN）的实际CTR预测服务。特别是，我们为每个用户创建两个外部记忆向量，记住用户可能喜欢和不喜欢的高级抽象。所提出的MA-DNN实现了DNN和RNN之间的良好折衷。它与DNN一样简单，但与RNN一样具有一定的挖掘用户历史行为中包含的有用信息的能力。离线和在线实验都证明了MA-DNN在实际CTR预测服务中的有效性。实际上，内存组件也可以扩展到其他模型（例如，Wide&Deep模式）。
2019-07-20 cs.IR cs.LG
Click-through Rate Prediction with Auto-Quantized Contrastive Learning
Shanghai Jiao Tong University（上海交通大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong Baptist University（香港浸会大学）
点击率（CTR）预测成为无处不在的Web推荐应用中不可或缺的。然而，当前的方法在用户交互极其稀疏的冷启动场景下挣扎。我们认为这个问题是一个自动识别的用户行为是否足够丰富，以捕捉预测的兴趣，并提出了一个自动量化的对比学习（AQCL）损失正则化模型。与以往的方法不同，AQCL同时利用实例-实例和实例-聚类的相似性来增强潜在表示的鲁棒性，并自动减少由于量化而导致的主动用户的信息损失。所提出的框架对不同的模型架构是不可知的，并且可以以端到端的方式进行训练。广泛的结果表明，它一贯改善目前的国家的最先进的CTR模型。
2021-09-27 cs.AI cs.IR cs.LG
Improving conversion rate prediction via self-supervised pre-training in online advertising
Yahoo Research（雅虎研究院）
针对在线广告点击归因转化数据稀疏且不能用非点击归因数据训练以保障模型校准的问题，提出用在全量转化数据上预训练的自编码器做特征提取增强FM模型，在离线和在线A/B测试中均有提升，已部署于Yahoo原生广告系统。
2024-01-25 cs.IR cs.LG stat.ML
XCrossNet: Feature Structure-Oriented Learning for Click-Through Rate Prediction
University of Science and Technology of China（中国科学技术大学）；Rutgers University（罗格斯大学）；Peking University（北京大学）；Tencent Inc（腾讯公司）
点击率预测是当前商业推荐系统的核心任务。特征交叉作为CTR预测的研究主线，为提高预测性能提供了一条很有前途的途径。尽管各种模型能够在没有手动特征工程的情况下学习特征交互，但它们很少尝试单独学习不同特征结构的表示。特别是，他们主要集中在交叉稀疏特征的建模，但忽略了具体表示交叉密集特征。出于这一动机，我们提出了一种新的极端交叉网络，简称XCrossNet，其目的是以显式的方式学习密集和稀疏特征的相互作用。XCrossNet作为一种面向特征结构的模型，不仅具有显式的可解释性，而且具有时间效率高、易于实现的特点，从而实现了更具表现力的表示和更精确的CTR预测。在Criteo Kaggle数据集上的实验研究表明，XCrossNet在有效性和效率方面都比最先进的模型有显着提高。
2021-04-22 cs.AI cs.IR
Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction
Texas A&M University（德州农工大学）；Facebook Inc.（Facebook公司）
点击率（CTR）预测是推荐系统中最重要的机器学习任务之一，为数十亿消费者提供个性化体验。神经网络结构搜索（NAS）作为一个新兴的领域，在发现功能强大的神经网络结构方面表现出了强大的能力，这促使我们探索其在CTR预测方面的潜力。由于1）多样的非结构化特征交互，2）异构的特征空间，以及3）高数据量和固有的数据随机性，有效地构造、搜索和比较推荐模型的不同架构是具有挑战性的。为了解决这些挑战，我们提出了一个自动交互架构发现框架的CTR预测命名AutoCTR。通过将简单但有代表性的交互模块化为虚拟构建块并将其连接到直接非循环图空间中，AutoCTR在架构级别进行进化架构探索，并使用低保真度模型实现加速。实证分析证明了AutoCTR在不同数据集上的有效性，与人工构建的架构相比。所发现的体系结构也享有不同的数据集之间的通用性和可移植性。
2020-06-29 cs.IR cs.LG
Adversarial Multimodal Representation Learning for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
为了更好地提高用户体验和企业效益，点击率预测一直是电子商务中最重要的任务之一。虽然已经提出了广泛的CTR预测模型，学习良好的表示项目的多模态功能仍然很少研究，考虑到一个项目在电子商务中通常包含多个异构模态。以往的研究要么是将多个模态特征串联起来，相当于给每个模态赋予一个固定的重要性权重;要么是通过注意力机制等技术学习不同模态对不同项目的动态权重。然而，问题是，通常存在跨多个模态的公共冗余信息。通过使用冗余信息计算的不同模态的动态权重可能不能正确地反映每个模态的不同重要性。为了解决这个问题，我们探讨的互补性和冗余的模态考虑模态特定的和模态不变的功能不同。我们提出了一种新的多模态对抗表示网络（MARN）的CTR预测任务。多模态注意力网络首先根据每个项目的模态特定特征计算多个模态的权重。然后，多模态对抗网络学习模态不变表示，其中引入了双鉴别器策略。最后，我们实现了多模态项表示结合模态特定和模态不变的表示。我们在公共数据集和工业数据集上进行了广泛的实验，所提出的方法始终实现了对最先进方法的显着改进。此外，该方法已部署在一个业务的电子商务系统和在线A/B测试进一步证明了有效性。
2020-03-07 cs.IR cs.LG stat.ML
FE-TCM: Filter-Enhanced Transformer Click Model for Web Search
North Minzu University（北方民族大学）；Chinese Academy of Agricultural Sciences（中国农业科学院）
构建点击模型，从用户与搜索引擎的交互中提取隐含的相关反馈信息，对提高搜索结果的排名具有重要意义。利用神经网络对用户的点击行为进行建模已经成为构建点击模型的有效方法之一。本文以Transformer作为特征提取的骨干网络，创新性地增加了过滤层，提出了一种新的过滤增强的Transformer点击模型（FE-TCM）。首先，为了减少噪声对用户行为数据的影响，我们使用可学习滤波器来过滤日志噪声。其次，根据检验假设，分别对吸引力估计器和检验预测器进行建模，输出吸引力分数和检验概率。一种新的Transformer模型被用来学习不同特征之间的更深层次的表示。最后，我们应用组合函数将吸引力分数和检查概率整合到点击预测中。从我们的实验上两个真实世界的会话数据集，它被证明FE-TCM优于现有的点击模型的点击预测。
2023-01-31 cs.IR cs.LG
Continual Learning for CTR Prediction: A Hybrid Approach
Meituan（美团）
点击率（CTR）预测是每次点击成本（CPC）广告系统中的核心任务，并且已经被机器学习从业者广泛研究。虽然许多现有的方法已经成功地部署在实践中，他们中的大多数是建立在i.i.d.。（独立且同分布）假设，忽略了用于训练和推断的点击数据是通过时间收集的并且本质上是非平稳和漂移的。这种不匹配将不可避免地导致次优性能。为了解决这个问题，我们制定CTR预测作为一个持续学习的任务，并提出COLF，混合持续学习框架CTR预测，它有一个基于内存的模块化架构，旨在适应，学习和预测时，不断面对非平稳漂移点击数据流。结合明确控制记忆和目标数据之间差异的记忆人口方法，COLF能够从其历史经验中获得积极的知识，并改进CTR预测。通过对中国某大型购物应用的点击日志数据进行实证分析，证明了该方法的优越性。此外，我们已经在线部署了我们的方法，并观察到显著的CTR和收入改善，这进一步证明了我们方法的有效性。
2022-01-18 cs.IR cs.LG
Quadratic Interest Network for Multimodal Click-Through Rate Prediction
提出二次兴趣网络（QIN），利用自适应稀疏目标注意力和二次神经网络捕捉多模态高阶交互，在WWW 2025多模态CTR预测挑战赛中获得第二名，AUC达0.9798。
2025-04-25 cs.IR
KAST: Knowledge Aware Adaptive Session Multi-Topic Network for Click-Through Rate Prediction
捕捉用户兴趣的演变趋势对于推荐系统和广告系统都很重要，并且用户行为序列已经成功地用于点击率（CTR）预测问题。然而，如果基于项目级行为来学习用户兴趣，则性能可能受到以下两个问题的影响。首先，由于用户行为可能是多样的，一些偶然的离群值可能被包括在行为序列中。其次，用户行为之间的时间间隔跨度是随机和不规则的，对于这一点，从NLP中采用的基于RNN的模块不是完全自适应的。为了解决这两个问题，我们提出了知识感知的自适应会话多主题网络（KAST）。该算法能够自适应地将用户会话从整个用户行为序列中分割出来，并在同一会话中保持相似的意图。此外，为了提高会话分割和表示的质量，引入了知识感知模块，使得可以以端到端的方式从用户-项目交互中提取结构信息，并且将基于这些信息的边际损失合并到主要损失中。通过在公共基准上的大量实验，我们证明了KAST可以实现比最先进的CTR预测方法更优越的性能，并对关键模块和超参数进行了评估。
2022-10-07 cs.IR
Field-wise Embedding Size Search via Structural Hard Auxiliary Mask Pruning for Click-Through Rate Prediction
特征嵌入是训练基于深度学习的点击率预测模型时最重要的步骤之一，该模型将高维稀疏特征映射到密集嵌入向量。经典的人工嵌入大小选择方法在内存使用和模型容量之间的权衡方面被证明是“次优”的。神经结构搜索（NAS）中的趋势方法已经证明了它们搜索嵌入大小的效率。然而，大多数现有的基于NAS的工作遭受昂贵的计算成本，搜索空间的维数灾难，以及连续搜索空间和离散候选空间之间的差异。其他以非结构化方式修剪嵌入的工作未能显式地降低计算成本。在本文中，为了解决这些限制，我们提出了一种新的策略，通过硬辅助掩码结构修剪超网来搜索最佳混合维嵌入方案。我们的方法旨在使用简单而有效的基于梯度的方法直接在离散空间中搜索候选模型。此外，我们在嵌入表上引入正交正则性，以减少嵌入列内的相关性，提高表示能力。大量的实验表明，它可以有效地去除冗余嵌入维数没有很大的性能损失。
2022-08-17 cs.IR
Cross Domain LifeLong Sequential Modeling for Online Click-Through Rate Prediction
针对跨域终身序列建模研究不足的问题，提出含LAP与CRP模块的终身交叉网络LCN，用于提升目标域点击率预测效果，实验证明其在精度和线上性能上均优于现有方法。
2024-05-17 cs.IR
MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。现有的工作主要解决单域CTR预测问题和模型方面，如功能交互，用户行为历史和上下文信息。然而，广告通常与自然内容一起显示，这为跨域CTR预测提供了机会。在本文中，我们解决这个问题，并利用辅助数据从源域，以提高CTR预测性能的目标域。我们的研究基于UC今日头条（与UC浏览器App集成的新闻推送服务，每日服务数亿用户），其中源域是新闻，目标域是广告。为了有效地利用新闻数据来预测广告的点击率，我们提出了混合兴趣网络（MiNet），它联合建模三种类型的用户兴趣：1）跨域的长期兴趣，2）源域的短期兴趣和3）目标域的短期兴趣。MiNet包含两个层次的注意力，其中项目级注意力可以自适应地从点击的新闻/广告中提取有用信息，兴趣级注意力可以自适应地融合不同的兴趣表示。离线实验表明，MiNet优于几种最先进的CTR预测方法。我们已经在UC头条部署了MiNet，A/B测试结果显示在线CTR也有了大幅提升。MiNet现在是UC头条的主要广告流量。
2020-08-07 cs.IR cs.LG
Click Through Rate Prediction for Contextual Advertisment Using Linear Regression
N.E.D University of Engineering & Technology（N.E.D 工程技术大学）
这项研究提出了一种创新的和独特的方式来解决广告预测问题，这是被认为是一个学习问题，在过去的几年里。在线广告是一个价值数十亿美元的行业，每年都在快速增长。本研究的目的是利用线性回归来提高上下文广告的点击率。为了解决这个问题，本文提出了一种新的技术来预测CTR，这将增加系统的整体收入，通过提供更适合于观众的广告与特征提取的帮助下，并显示基于上下文的广告发布商。其主要步骤包括数据汇集、特征提取、点击率预测和广告投放。从动态使用的技术获得的统计结果表明，通过使用优化的特征选择拟合LR技术的接近完美的数据的有效结果。
2017-01-30 cs.AI cs.IR cs.LG
Spatiotemporal-Enhanced Network for Click-Through Rate Prediction in Location-based Services
在基于位置的服务（LBS）中，用户行为自然对时空信息具有很强的依赖性，即，在不同的地理位置和不同的时间，用户的点击行为会发生很大的变化。对用户点击行为和大规模稀疏属性进行适当的时空增强建模是构建LBS模型的关键。虽然现有的方法已被证明是有效的，他们很难适用于外卖场景，由于时空信息建模不足。在本文中，我们解决这一挑战，寻求明确的时间和位置的相互作用，并提出了时空增强网络，即StEN模型。特别是，StEN应用时空轮廓激活模块，通过属性特征来捕获共同的时空偏好。进一步应用时空偏好激活模型对行为所体现的个性化时空偏好进行了详细的建模。此外，采用时空感知的目标注意力机制，在不同的位置和时间产生不同的目标注意力参数，从而提高了模型的个性化时空感知能力。在三个大规模工业数据集上进行了综合实验，实验结果表明了本文方法的先进性能。此外，我们还发布了外卖行业的行业数据集，以弥补该社区公共数据集的不足。
2022-09-20 cs.IR
User Behavior Retrieval for Click-Through Rate Prediction
点击率（CTR）预测在现代在线个性化服务中起着关键作用。在实际应用中，有必要通过对用户的连续行为建模来捕捉用户的兴趣漂移，从而建立准确的点击率预测模型。然而，随着用户在平台上积累越来越多的行为数据，序列模型利用每个用户的整个行为历史变得不平凡。首先，直接输入长的行为序列将使在线推理时间和系统负载变得不可行。第二，在如此长的历史中有很多噪声使顺序模型学习失败。当前的工业解决方案主要截断序列，并且仅将最近的行为馈送到预测模型，这导致诸如周期性或长期依赖性的序列模式没有嵌入最近的几个行为中，而是嵌入很久以前的历史中的问题。为了解决这些问题，在本文中，我们认为它从数据的角度，而不仅仅是设计更复杂的模型，并提出了用户行为检索CTR预测（UBR4CTR）框架。在UBR4CTR中，最相关和最合适的用户行为将首先使用可学习的搜索方法从整个用户历史序列中检索。然后，这些检索到的行为被输入到一个深度模型中，以进行最终预测，而不是简单地使用最近的行为。将UBR4CTR应用于工业模型管道具有很高的可行性和较低的成本。三个真实世界的大规模数据集上的实验证明了我们提出的框架和模型的优越性和有效性。
2020-05-28 cs.IR
LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Alibaba Group（阿里巴巴集团）
LoopCTR通过递归重用共享模型层实现训练时计算扩展，解耦计算与参数增长，采用超连接残差和专家混合架构，在多循环中编码多循环优势，实现训练多循环、推理零循环策略，实验显示优于基线。
2026-04-21 cs.IR
Native Multimodal Representation Learning for Click-Through Rate Prediction in E-Commerce Scenarios
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）；University of Science and Technology of China（中国科学技术大学）
针对现有多模态CTR预测模型两阶段范式的缺陷，本文提出Mine-Then-Train方法，通过挖掘CTR数据的高质量样本微调多模态编码器，提升了模型性能。
2026-09-15 cs.IR
AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）
在推荐系统中，特征交互的学习对于点击率（CTR）预测至关重要。在大多数现有的深度学习模型中，特征交互要么是手动设计的，要么是简单枚举的。然而，枚举所有的特征交互会带来大量的内存和计算成本。更糟糕的是，无用的交互可能会引入噪音并使训练过程复杂化。在这项工作中，我们提出了一个两阶段的算法，称为自动功能交互选择（AutoFIS）。AutoFIS可以自动识别因子分解模型的重要特征交互作用，计算成本相当于训练目标模型收敛。在\emph{search stage}中，而不是在一个离散的候选特征交互集搜索，我们放松的选择是连续的，通过引入架构参数。通过在架构参数上实现正则化优化器，模型可以在模型的训练过程中自动识别和删除冗余特征交互。在\emph{re-train stage}中，我们保持架构参数作为一个注意单元，以进一步提高性能。在三个大规模数据集（两个公共基准，一个私人）上的离线实验表明，AutoFIS可以显着改善各种基于FM的模型。AutoFIS已部署到华为应用商店推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别提高了DeepFM模型20.3%和20.1%。
2020-07-03 cs.IR cs.LG stat.ML
GRAB: An LLM-Inspired Sequence-First Click-Through Rate Prediction Modeling Paradigm
Baidu Inc.（百度公司）
GRAB通过引入因果动作感知多通道注意力机制，实现了在点击通过率预测上的性能提升，并在实际部署中实现了更高的收入和CTR。
2026-02-03 cs.AI cs.IR
From Collapse to Stability: A Knowledge-Driven Ensemble Framework for Scaling Up Click-Through Rate Prediction Models
本文针对点击率预测模型扩展时集成网络性能下降的问题，提出结合知识蒸馏与深度相互学习的知识驱动集成框架（KDEF），以提升模型遵循缩放定律的能力并降低子网络间差异。
2025-06-20 cs.IR
An Epistemic Position-Based Click Model: From Interactions to Epistemic Distributions of Relevance and Bias
University of Amsterdam（阿姆斯特丹大学）；Radboud University Nijmegen（拉德堡德大学）
研究用户与排名交互中点击概率建模问题，提出基于证据深度学习的方法，输出贝塔分布捕捉认知不确定性，经实验验证该方法有效，是将贝叶斯不确定性纳入点击建模的重要进展。
2026-07-22 cs.IR
Beyond Clicks: Modeling Multi-Relational Item Graph for Session-Based Target Behavior Prediction
基于会话的目标行为预测旨在预测要与特定行为类型（例如，点击）。尽管现有的基于会话的行为预测方法利用强大的表示学习方法来在低维空间中编码项目的顺序相关性，但它们受到一些限制。首先，它们只关注利用同一类型的用户行为进行预测，而忽略了将其他行为数据作为辅助信息的潜力。当目标行为稀疏但重要时（例如，购买或分享物品）。其次，项目到项目的关系被单独和局部地建模在一个行为序列中，并且它们缺乏更有效地全局编码这些关系的原则性方法。为了克服这些局限性，我们提出了一种新的多关系图神经网络模型用于基于会话的目标行为预测，简称MGNN-SPred。具体来说，我们建立了一个多关系项目图（MRIG）的基础上，所有的行为序列从所有的会话，涉及目标和辅助行为类型。基于MRIG，MGNN-SPred学习全局项目到项目关系，并进一步获得用户偏好w.r.t.当前目标和辅助行为序列。最后，MGNN-SPred利用门控机制来自适应地融合用户表示，以预测与目标行为交互的下一个项目。在两个真实数据集上的大量实验通过与最先进的基于会话的预测方法进行比较，证明了MGNN-SPred的优越性，验证了利用辅助行为和学习MRIG的项目到项目关系的好处。
2021-04-08 cs.IR
Diffusion-based Multi-modal Synergy Interest Network for Click-through Rate Prediction
Peking University（北京大学）；Wuhan University（武汉大学）；Shanghai University of International Business（上海国际商务大学）；Microsoft（微软）
针对多模态CTR预测中模态共性与特性难分离、协同交互建模不足的问题，提出Diff-MSIN框架，通过MFE、SRC、FDAF及知识解耦增强表示与自适应融合，在Rec-Tmall和三个Amazon数据集上较基线至少提升1.67%。
2025-08-29 cs.AI cs.IR
