ChorusCVR: Chorus Supervision for Entire Space Post-Click Conversion Rate Modeling
针对CVR估计中训练与推理样本空间不一致的问题，提出ChorusCVR模型，通过合唱监督区分模糊负样本与事实负样本，实现全空间无偏CVR学习，提升模型鲁棒性。
2025-02-14 cs.IR cs.SI
Boosting the Rating Prediction with Click Data and Textual Contents
SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（日本国立信息学研究所）
矩阵分解（MF）是最有效的收视率预测方法之一。MF通过分解用户-项目评级矩阵来学习用户和项目表示。此外，文本内容集成到传统的MF，以解决冷启动问题。然而，文本内容并没有反映项目的所有方面。在本文中，我们提出了一个模型，利用隐藏在项目共同点击中的信息（即，经常被用户一起点击的项目）转换为学习项目表示。我们开发了TCMF（Textual Co Matrix Factorization），它从用户-项目矩阵、文本内容和从点击数据构建的项目共同点击矩阵中共同学习用户和项目表示。项目共同点击信息捕获未通过文本内容捕获的项目之间的关系。在两个真实数据集MovieTweetings和Bookcrossing上的实验表明，我们的方法在评级预测方面优于竞争方法。此外，我们表明，该模型可以学习有效的项目表示，通过比较与国家的最先进的方法在分类任务，使用项目表示作为输入向量。
2021-05-12 cs.IR cs.LG
A Novel Method to Calculate Click Through Rate for Sponsored Search
赞助搜索采用广义第二价格（GSP）拍卖机制，它的工作原理是每次点击付费的概念，这是最常用的搜索页面中的插槽分配。与GSP相关的两个主要方面是投标金额和点击率（CTR）。当前使用的CTR学习算法在点击或印象或时间的固定窗口下基于（#clicks_i/ #impressions_i）的基本原理工作。点击率很容易出现欺诈性点击，导致点击率突增。目前的算法无法找到解决方案来阻止这一点，尽管使用机器学习算法可以检测到正在生成欺诈性点击。在我们的论文中，我们使用了相对排名的概念，它基于（#clicks_i /#clicks_t）的基本原则。在该算法中，分子和分母都是链接的。由于#clicks_t高于先前的算法并且链接到#clicks_i，所以在正常情况下发生的点击的小变化在结果中具有非常小的变化，但是在欺诈性点击的情况下，点击的数量迅速增加或减少，这将与正常点击相加以增加分母，从而降低CTR。
2014-03-25 cs.IR
Click-through Rate Prediction with Auto-Quantized Contrastive Learning
Shanghai Jiao Tong University（上海交通大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong Baptist University（香港浸会大学）
点击率（CTR）预测成为无处不在的Web推荐应用中不可或缺的。然而，当前的方法在用户交互极其稀疏的冷启动场景下挣扎。我们认为这个问题是一个自动识别的用户行为是否足够丰富，以捕捉预测的兴趣，并提出了一个自动量化的对比学习（AQCL）损失正则化模型。与以往的方法不同，AQCL同时利用实例-实例和实例-聚类的相似性来增强潜在表示的鲁棒性，并自动减少由于量化而导致的主动用户的信息损失。所提出的框架对不同的模型架构是不可知的，并且可以以端到端的方式进行训练。广泛的结果表明，它一贯改善目前的国家的最先进的CTR模型。
2021-09-27 cs.AI cs.IR cs.LG
Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction
Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Jinan University（暨南大学）
点击率预测是推荐系统中的一项重要任务，其目的是估计用户点击给定项目的概率。最近，已经提出了许多深度模型来从原始特征学习低阶和高阶特征交互。然而，由于有用的交互总是稀疏的，DNN很难在大量参数下有效地学习它们。在真实场景中，人工特征能够提高深度模型的性能（如Wide &深度学习），但特征工程成本高昂，需要领域知识，在不同场景下不切实际。因此，有必要对特征空间进行自动扩充。在本文中，我们提出了一种新的特征生成的卷积神经网络（FGCNN）模型的两个组成部分：特征生成和深度分类器。特征生成利用CNN的优势来生成局部模式，并将它们重组以生成新特征。深度分类器采用IPNN的结构，从增强的特征空间中学习交互。在三个大规模数据集上的实验结果表明，FGCNN的性能明显优于九种最先进的模型。此外，当应用一些最先进的模型作为深度分类器时，总是能获得更好的性能，这表明我们的FGCNN模型具有很好的兼容性。这项工作为CTR预测探索了一个新的方向：通过自动识别重要特征来降低DNN的学习难度是非常有用的。
2019-04-09 cs.IR cs.LG
Click Through Rate Prediction for Contextual Advertisment Using Linear Regression
N.E.D University of Engineering & Technology（N.E.D 工程技术大学）
这项研究提出了一种创新的和独特的方式来解决广告预测问题，这是被认为是一个学习问题，在过去的几年里。在线广告是一个价值数十亿美元的行业，每年都在快速增长。本研究的目的是利用线性回归来提高上下文广告的点击率。为了解决这个问题，本文提出了一种新的技术来预测CTR，这将增加系统的整体收入，通过提供更适合于观众的广告与特征提取的帮助下，并显示基于上下文的广告发布商。其主要步骤包括数据汇集、特征提取、点击率预测和广告投放。从动态使用的技术获得的统计结果表明，通过使用优化的特征选择拟合LR技术的接近完美的数据的有效结果。
2017-01-30 cs.AI cs.IR cs.LG
Decision-Making Context Interaction Network for Click-Through Rate Prediction
Meituan（美团）
点击率（CTR）预测在推荐和在线广告系统中至关重要。现有的方法通常对用户行为进行建模，而忽略了影响用户做出点击决策的信息上下文，例如，点击页面和预先排名的候选人，告知有关用户兴趣的推断，导致次优性能。在本文中，我们提出了一个决策上下文交互网络（DCIN），它部署了一个精心设计的上下文交互单元（CIU）来学习决策上下文，从而有利于CTR预测。此外，不同的决策上下文源之间的关系进行了探索，提出了自适应兴趣聚合单元（AIAU），以进一步提高CTR预测。在公共数据集和工业数据集上的实验中，DCIN显著优于最先进的方法。值得注意的是，该模型在线A/B测试获得了CTR+2. 9%/CPM+2. 1%/GMV+1. 5%的提升，并服务于美团外卖广告系统的主要流量。
2023-01-29 cs.IR cs.LG
Deep Context Interest Network for Click-Through Rate Prediction
Meituan（美团）
本文提出深度上下文兴趣网络DCIN，通过聚合展示上下文、融合点击与上下文特征并匹配目标兴趣，提升CTR预测性能，已在在线广告系统部署并带来1.5%的CTR和RPM提升。
2023-08-11 cs.AI cs.IR
Entire-Space Variational Information Exploitation for Post-Click Conversion Rate Prediction
University of Electronic Science and Technology of China（电子科技大学）
针对点击后转化率预估中的样本选择偏差与数据稀疏问题，提出全空间变分信息利用框架EVI，通过无偏伪标签生成与变分信息蒸馏迁移未点击样本信息，在6个大规模数据集上平均优于SOTA基线2.25%。
2024-12-17 cs.IR cs.LG
Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
深度学习技术在工业推荐系统中得到了广泛的应用。然而，推荐系统中模型的过拟合问题却很少受到关注，相反，它被认为是深度神经网络的一个关键问题。在点击率（CTR）预测的背景下，我们观察到一个有趣的单历元过拟合问题：模型性能在第二历元开始时表现出显着的下降。这种现象在CTR模型的实际应用中已经被广泛地观察到。因此，最佳性能通常通过仅用一个epoch进行训练来实现。为了了解单次现象背后的潜在因素，我们对从阿里巴巴展示广告系统收集的生产数据集进行了广泛的实验。结果表明，模型结构、收敛速度快的优化算法以及特征稀疏性与单历元现象密切相关。我们还提供了一个可能的假设来解释这种现象，并进行了一系列的概念验证实验。我们希望这项工作可以为未来的研究提供启发，以训练更多的时代，以获得更好的表现。
2022-09-04 cs.AI cs.IR cs.LG
A Click-Through Rate Prediction Method Based on Cross-Importance of Multi-Order Features
Beijing Technology and Business University（北京工商大学）；Chinese Academy of Sciences（中国科学院）；Institute of Geographic Sciences and Natural Resources Research（地理科学与资源研究所）；State Key Laboratory of Resources and Environmental Information System（资源与环境信息系统国家重点实验室）
针对现有CTR模型对特征交叉重要性关注不足、可解释性差等问题，提出融合SKNet的FiiNet模型，显式构建多阶特征交叉并细粒度学习其重要性，在真实数据集上提升了推荐效果与可解释性。
2024-05-14 cs.AI cs.IR cs.LG
ESCM$^2$: Entire Space Counterfactual Multi-Task Model for Post-Click Conversion Rate Estimation
Ant Group（蚂蚁集团）
准确估计点击后转化率是构建推荐系统的关键，而推荐系统长期以来面临着样本选择偏差和数据稀疏性问题。全空间多任务模型（ESMM）家族中的方法利用用户操作的顺序模式，即$impression\rightarrow click \rightarrow conversion$来解决数据稀疏问题。然而，他们仍然无法确保CVR估计的无偏性。在本文中，我们从理论上证明了ESMM存在以下两个问题：（1）固有估计偏差（IEB），其中ESMM的估计CVR固有地高于地面真相;（2）CTCVR估计的潜在独立优先级（PIP），其中存在ESMM忽略从点击到转换的因果关系的风险。为此，我们设计了一个原则性的方法命名为整个空间反事实多任务建模（ESCM $^2$），它采用了反事实风险最小化作为ESMM中的正则化器，以同时解决IEB和PIP问题。在离线数据集和在线环境下的大量实验表明，我们提出的ESCM $^2$可以在很大程度上减轻固有的IEB和PIP问题，并实现比基线模型更好的性能。
2022-05-23 cs.AI cs.IR
ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction
Shanghai Jiao Tong University（上海交通大学）
ClickPrompt提出一种模型无关框架，通过CTR模型生成交互感知软提示，结合预训练语言模型，同时建模协同与语义知识，提升CTR预测性能并解决推理效率问题。
2024-06-26 cs.AI cs.IR
Modeling Users' Contextualized Page-wise Feedback for Click-Through Rate Prediction in E-commerce Search
Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
在个性化搜索和推荐中，对用户的历史反馈进行建模是进行点击率预测的关键。现有的方法通常只对用户的正反馈信息（如点击序列）进行建模，而忽略了反馈的上下文信息。在本文中，我们提出了一个新的视角上下文感知用户的行为建模，包括整个页面明智的暴露产品和相应的反馈作为上下文页面明智的反馈序列。可以捕获页面内上下文信息和页面间兴趣演变，以了解更具体的用户偏好。我们设计了一个新的神经排序模型RACP（即，上下文化页面序列上的循环注意力），其利用页面上下文感知注意力来对页面内上下文进行建模。一个循环的注意力过程被用来模拟跨页面的兴趣收敛的演变，在前一页的兴趣去噪。在公共数据集和真实工业数据集上的实验验证了模型的有效性。
2022-03-29 cs.AI cs.IR
ESMC: Entire Space Multi-Task Model for Post-Click Conversion Rate via Parameter Constraint
The Chinese University of Hongkong, Shenzhen（香港中文大学（深圳））；Alibaba Group（阿里巴巴集团）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Xi’an Jiaotong University（西安交通大学）
针对点击后转化率估计中条件概率链式法则失效引发的概率空间混淆问题，提出基于参数约束的全空间多任务模型ESMC及两种变体，分别处理决策路径，实验证明其优于现有模型。
2023-07-29 cs.AI cs.IR
Large-scale Causal Approaches to Debiasing Post-click Conversion Rate Estimation with Multi-task Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Alibaba Group（阿里巴巴集团）；Columbia University（哥伦比亚大学）
点击后转化率（CVR）估计是电子商务推荐系统中的一项关键任务。这个任务在工业环境下被认为是相当具有挑战性的，有两个主要问题：1）由用户自我选择引起的选择偏差，以及2）由于罕见的点击事件引起的数据稀疏。成功的转换通常具有以下顺序事件：“曝光->点击->转换”。传统的CVR估计器是在点击空间中训练的，但推理是在整个曝光空间中完成的。他们没有考虑到缺失数据的原因，并将其视为随机缺失。因此，他们的估计很可能与实际价值大不相同。此外，数据稀疏性问题也会阻碍许多工业CVR估计，通常有大的参数空间。在本文中，我们提出了两个原则性的，高效的和高度有效的CVR估计工业CVR估计，即多IPW和多DR。所提出的模型接近CVR估计从因果关系的角度来看，并占的原因，失踪不是随机的。此外，我们的方法是基于多任务学习框架和减轻数据稀疏性问题。工业级数据集上的大量实验表明，我们的方法优于最先进的CVR模型。
2020-04-04 cs.IR cs.LG
Predict Click-Through Rates with Deep Interest Network Model in E-commerce Advertising
Columbia University（哥伦比亚大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
该研究将 Deep Interest Network（DIN）用于淘宝电商广告点击率预测，通过本地化激活用户行为实现定制化广告定向，提升多样动态数据处理能力、广告系统效率与收入。
2024-06-04 cs.IR cs.LG
Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate
Alibaba Inc.（阿里巴巴公司）
准确估计点击后转化率（CVR）对于推荐和广告等行业应用中的排名系统至关重要。传统的CVR建模应用流行的深度学习方法并实现最先进的性能。然而，它在实践中遇到了一些特定于任务的问题，使得CVR建模具有挑战性。例如，传统的CVR模型使用点击印象的样本进行训练，同时用于使用所有印象的样本对整个空间进行推断。这就造成了样本选择偏差的问题。此外，存在一个极端的数据稀疏性问题，使模型拟合相当困难。本文从一个全新的角度对CVR进行建模，充分利用了用户行为的序列模式，印象->点击->转化。所提出的全空间多任务模型（ESMM）可以通过i）直接在整个空间上对CVR建模，ii）采用特征表示迁移学习策略来同时消除这两个问题。在淘宝网推荐系统的数据集上的实验表明，ESMM的性能明显优于竞争对手的方法。我们还发布了该数据集的采样版本，以支持未来的研究。据我们所知，这是第一个包含CVR建模中点击和转换标签顺序依赖样本的公共数据集。
2018-04-24 cs.IR cs.LG stat.ML
Soft Retargeting Network for Click Through Rate Prediction
近年来，用户兴趣模型的研究在点击率（CTR）预测中得到了广泛的关注。这些模型旨在从不同的角度捕捉用户兴趣，包括用户兴趣演化、会话兴趣、多重兴趣等。用户重定向兴趣。用户重定向兴趣定义为用户对与历史点击项目相同或相似的目标项目的点击兴趣。我们提出了一种新的软重定向网络（SRN）来模拟这种特定的兴趣。具体来说，我们首先计算目标项目和每个历史项目之间的相似度与图嵌入的帮助。然后，我们学习聚合的相似性权重来衡量用户的点击兴趣的程度的目标项目。此外，我们模型的用户重定向兴趣的演变。在公共数据集和工业数据集上的实验结果表明，我们的模型比最先进的模型取得了显着的改进。
2022-06-04 cs.IR
Deeply Supervised Semantic Model for Click-Through Rate Prediction in Sponsored Search
在赞助搜索中，关键是匹配与查询相关的广告，并准确预测其被点击的可能性。商业搜索引擎通常使用机器学习模型来进行查询-广告相关性匹配和点击率（CTR）预测。然而，匹配模型基于查询和广告之间的相似性，忽略了检索到的广告可能不会吸引点击的事实，而点击模型依赖于点击历史，对于新的查询和广告的使用有限。我们提出了一个深度监督的架构，联合学习查询和广告的语义嵌入以及相应的CTR。我们还提出了一种新的队列负采样技术，用于学习隐式负信号。我们使用来自主要商业网络搜索引擎的10亿个查询-广告对来训练所提出的架构。该架构将表现最佳的基线深度神经架构提高了CTR预测的AUC的2%，以及查询-广告匹配的NDCG的统计学显著性的0.5%。
2018-03-28 cs.IR
Online Meta-Learning for Model Update Aggregation in Federated Learning for Click-Through Rate Prediction
Huawei London Research Centre（华为伦敦研究中心）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
在点击率（CTR）预测的联邦学习（FL）中，出于隐私保护的考虑，不共享用户的数据。学习是通过在客户端设备上进行本地训练并仅将模型更改传达给服务器来执行的。有两个主要挑战：（i）客户端的异质性，使得使用加权平均来聚合来自客户端的模型更新的FL算法具有缓慢的进展和不令人满意的学习结果;以及（ii）由于每个实验所需的大量计算时间和资源，难以用试错法来调整服务器学习率。为了解决这些挑战，我们提出了一个简单的在线元学习方法来学习聚合模型更新的策略，该策略根据客户端的属性自适应地权衡客户端的重要性，并调整更新的步长。我们对公共数据集进行了广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都显着优于最先进的方法。
2022-08-30 cs.AI cs.CR cs.IR
Click-Through Rate Prediction Using Graph Neural Networks and Online Learning
Stanford University（斯坦福大学）；Google LLC（谷歌有限责任公司）
推荐系统在过去已经被许多文献广泛研究，并且在在线广告、购物行业/电子商务、搜索引擎中的查询建议以及社交网络中的朋友推荐中无处不在。此外，餐厅/音乐/产品/电影/新闻/应用程序推荐只是推荐系统的几个应用程序。CTR预测准确性的一个小百分比的改进已经被提到为广告行业增加数百万美元的收入。点击率预测是推荐系统的一个特殊版本，其目标是预测用户是否会点击推荐项目。基于内容的推荐方法考虑用户行为的过去历史，即推荐的产品和用户对它们的反应。因此，在正确的时间将正确的项目推荐给正确的用户的个性化模型是构建这样一个模型的关键。另一方面，所谓的协同过滤方法结合了与特定用户非常相似的用户的点击历史，从而通过利用在连接的用户网络中分享他们的品味的用户的更广泛的知识来帮助推荐器为该特定用户提出更自信的预测。在这个项目中，我们有兴趣建立一个CTR预测器使用图神经网络补充的在线学习算法，模拟这种动态的相互作用。通过将问题框定为二进制分类任务，我们使用由10，000个数据点组成的Criteo公共数据集的子采样版本，在测试AUC为0.7417的离线模型（GNN，深度因子分解机）和测试AUC为0.7585的在线学习模型上评估了该系统。
2021-05-09 cs.AI cs.IR cs.LG
Expanding Click and Buy rates: Exploration of evaluation metrics that measure the impact of personalized recommendation engines on e-commerce platforms
为了确定最适合电子商业业务的推荐模型，应该对购物网站进行实时评估，以实时测量个性化的影响。本文的目的是介绍和证明两个新的指标-点击率NoRepeat和点击购买率-这源于标准的指标，点击率（CTR）和购买率（BTR），分别。前一种变体解决了原始CTR中高估点击量的问题，而后者则说明了之前点击过的产品的购买情况，以验证度量中包含的购买是客户交互的结果。对多个数据集进行两个均值独立性的显著性检验，在每个新度量和其各自的父度量之间，以确定变体的新颖性和必要性。皮尔逊相关系数的计算，以评估线性关系的强度，并得出结论的可预测性因素之间的上述因素，以调查客户点击和购买之间的未知连接。此外，其他指标，如点击每客户，每客户的买家，每客户的点击等介绍，帮助解释客户行为的指标在电子商业网站的参考。
2019-01-20 cs.IR
AdaSparse: Learning Adaptively Sparse Structures for Multi-Domain Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是推荐和广告系统中的一项基本技术。最近的研究已经证明，学习一个统一的模型来服务于多个领域是有效的，以提高整体性能。然而，在有限的训练数据下提高跨领域的泛化能力仍然具有挑战性，并且由于其计算复杂性，难以部署现有的解决方案。在本文中，我们提出了一个简单而有效的框架AdaSparse多域CTR预测，自适应学习每个域的稀疏结构，实现更好的泛化跨域的计算成本较低。在AdaSparse中，我们引入了领域感知的神经元级加权因子来衡量神经元的重要性，对于每个领域，我们的模型可以修剪冗余神经元以提高泛化能力。我们进一步添加灵活的稀疏正则化来控制学习结构的稀疏率。离线和在线实验表明，AdaSparse显著优于以前的多域CTR模型。
2022-07-01 cs.IR cs.LG
Click-aware Structure Transfer with Sample Weight Assignment for Post-Click Conversion Rate Estimation
针对CVR预测中因共享CTR特征导致的知识诅咒问题，提出CSTWA模型，通过点击感知结构迁移、表示层校准与偏向CVR的样本权重分配，有效平衡辅助信息引入与CVR信息保护，显著提升预测性能。
2023-09-15 cs.IR
Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction
Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）
推荐系统作为现代电子商务的重要组成部分，由点击率（CTR）和转化率（CVR）预测两个基本模块组成。虽然CVR对购买量有直接影响，但由于样本选择偏差（SSB）和数据稀疏性（DS）问题，其预测是众所周知的挑战。虽然现有的方法，通常建立在用户顺序行为路径"印象$\to$点击$\to$购买“，是有效的处理SSB问题，他们仍然难以解决DS问题，由于罕见的购买训练样本。观察到用户总是采取几个购买相关的行动后，点击，我们提出了一个新的想法后点击行为分解。具体地，在点击和购买之间并行地插入不相交的购买相关确定性动作（DAction）和其他动作（OAction），形成新颖的用户顺序行为图"印象$\to$点击$\to$ D（O）动作$\to$购买“。在此图上定义模型能够利用整个空间上的所有印象样本和来自D（O）Action的额外丰富的监督信号，这将有效地解决SSB和DS问题。为此，我们设计了一个新的深度推荐模型命名为精心设计的整个空间监督多任务模型（$ESM^{2}$）。根据图上定义的条件概率规则，采用多任务学习并行预测分解的子目标，并将其依次组合，形成最终的CVR。在离线和在线环境下进行的大量实验表明，$ESM^{2}$优于最先进的模型。将发布源代码和数据集。
2020-06-10 cs.IR cs.LG stat.ML
Deep Learning for Click-Through Rate Estimation
Shanghai Jiao Tong University（上海交通大学）
点击率（CTR）估计是各种个性化在线服务的核心功能模块，包括在线广告，推荐系统和网络搜索等。从2015年开始，深度学习的成功开始有利于CTR估计性能，现在深度CTR模型已经广泛应用于许多行业平台。在本调查中，我们全面回顾了用于CTR估计任务的深度学习模型。首先，我们回顾了从浅层到深层CTR模型的转移，并解释了为什么深入是一个必要的发展趋势。其次，我们专注于深度CTR模型的显式特征交互学习模块。然后，作为具有丰富用户历史的大型平台的重要视角，讨论了深度行为模型。此外，最近出现的自动化方法的深度CTR架构设计。最后，对本研究进行了总结，并对该领域的发展前景进行了展望.
2021-04-21 cs.IR cs.LG
A Probabilistic Model for the Cold-Start Problem in Rating Prediction using Click Data
矩阵分解是协同过滤中最有效的方法之一，它根据用户对项目的评分来找到用户和项目的潜在向量表示。然而，基于矩阵分解的算法遭受冷启动问题：它无法找到先前评级不可用的项目的潜在向量。本文利用可以大量收集的点击数据来解决冷启动问题。我们提出了一个概率项目嵌入模型，从点击数据中学习项目表示，以及一个名为EMB-MF的模型，该模型将其与概率矩阵分解相连接，用于评级预测。在三个真实数据集上的实验表明，该模型不仅在推荐没有先前评级的项目时是有效的，而且优于竞争方法，特别是当数据非常稀疏时。
2018-05-14 cs.IR
InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对CTR预测中异构信息交互不足与信息聚合损失问题，提出InterFormer模块，采用交错式双向交互与独立桥接架构，在公开及工业数据集上取得最优性能。
2025-09-11 cs.AI cs.IR cs.LG
Representation Learning-Assisted Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。大多数现有的方法主要建模的特征CTR关系，并遭受数据稀疏性问题。在本文中，我们提出了DeepMCP，它对其他类型的关系进行建模，以学习更多信息和统计可靠的特征表示，从而提高CTR预测的性能。具体来说，DeepMCP包含三个部分：匹配子网、关联子网和预测子网。这些模型分别对用户-广告、广告-广告和功能-CTR关系进行建模。当这些特征在目标标签的监督下联合优化时，学习的特征表示具有良好的预测能力和良好的表示能力。在两个大规模数据集上的实验表明，DeepMCP在CTR预测方面优于几种最先进的模型。
2019-07-19 cs.IR cs.LG stat.ML
Generalized Delayed Feedback Model with Post-Click Information in Recommender Systems
Nanjing University（南京大学）
预测转化率（例如，用户将购买项目的概率）是基于机器学习的推荐系统中的基本问题。然而，准确的转换标签显示后，很长一段时间的延迟，这损害了推荐系统的及时性。以前的文献集中在利用早期转换，以减轻这种延迟反馈问题。在本文中，我们表明，点击后的用户行为也提供信息的转化率预测，并可用于提高时效性。我们提出了一个广义延迟反馈模型（GDFM），统一后点击行为和早期转换为随机后点击信息，它可以用来训练GDFM在流的方式有效。基于GDFM，我们进一步建立了一个新的观点，延迟反馈引入的性能差距可以归因于时间差距和采样差距。受我们分析的启发，我们建议结合时间距离和样本复杂度来衡量点击后信息的质量。训练目标被相应地重新加权，以突出信息和及时的信号。我们在公共数据集上验证了我们的分析，实验性能证实了我们的方法的有效性。
2022-11-24 cs.AI cs.IR
Beyond Rankings: Exploring the Impact of SERP Features on Organic Click-through Rates
Nova School of Business and Economics（诺瓦商业与经济学院）；Universität Hamburg（汉堡大学）
本文基于覆盖40多个美国电商域名、67,000个关键词及2,400万次浏览的大规模Google SERP数据集，评估24种SERP功能对自然CTR的调节作用，并通过消融实验验证其增量预测能力。
2023-05-31 cs.IR cs.LG cs.SI
GRAB: An LLM-Inspired Sequence-First Click-Through Rate Prediction Modeling Paradigm
Baidu Inc.（百度公司）
GRAB通过引入因果动作感知多通道注意力机制，实现了在点击通过率预测上的性能提升，并在实际部署中实现了更高的收入和CTR。
2026-02-03 cs.AI cs.IR
XCrossNet: Feature Structure-Oriented Learning for Click-Through Rate Prediction
University of Science and Technology of China（中国科学技术大学）；Rutgers University（罗格斯大学）；Peking University（北京大学）；Tencent Inc（腾讯公司）
点击率预测是当前商业推荐系统的核心任务。特征交叉作为CTR预测的研究主线，为提高预测性能提供了一条很有前途的途径。尽管各种模型能够在没有手动特征工程的情况下学习特征交互，但它们很少尝试单独学习不同特征结构的表示。特别是，他们主要集中在交叉稀疏特征的建模，但忽略了具体表示交叉密集特征。出于这一动机，我们提出了一种新的极端交叉网络，简称XCrossNet，其目的是以显式的方式学习密集和稀疏特征的相互作用。XCrossNet作为一种面向特征结构的模型，不仅具有显式的可解释性，而且具有时间效率高、易于实现的特点，从而实现了更具表现力的表示和更精确的CTR预测。在Criteo Kaggle数据集上的实验研究表明，XCrossNet在有效性和效率方面都比最先进的模型有显着提高。
2021-04-22 cs.AI cs.IR
Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction
Texas A&M University（德州农工大学）；Facebook Inc.（Facebook公司）
点击率（CTR）预测是推荐系统中最重要的机器学习任务之一，为数十亿消费者提供个性化体验。神经网络结构搜索（NAS）作为一个新兴的领域，在发现功能强大的神经网络结构方面表现出了强大的能力，这促使我们探索其在CTR预测方面的潜力。由于1）多样的非结构化特征交互，2）异构的特征空间，以及3）高数据量和固有的数据随机性，有效地构造、搜索和比较推荐模型的不同架构是具有挑战性的。为了解决这些挑战，我们提出了一个自动交互架构发现框架的CTR预测命名AutoCTR。通过将简单但有代表性的交互模块化为虚拟构建块并将其连接到直接非循环图空间中，AutoCTR在架构级别进行进化架构探索，并使用低保真度模型实现加速。实证分析证明了AutoCTR在不同数据集上的有效性，与人工构建的架构相比。所发现的体系结构也享有不同的数据集之间的通用性和可移植性。
2020-06-29 cs.IR cs.LG
GACE: Learning Graph-Based Cross-Page Ads Embedding For Click-Through Rate Prediction
AntGroup（蚂蚁集团）
本文提出GACE方法，通过构建融合语义和页面属性的图模型并结合变分自编码预训练，为跨页面广告生成嵌入表示，有效解决多页面数据联合使用和新广告冷启动问题，在公开及真实数据集上显著提升CTR。
2024-01-15 cs.AI cs.IR cs.LG
Click-Through Rate Prediction in Online Advertising: A Literature Review
Huazhong University of Science and Technology（华中科技大学）
预测用户点击特定广告的概率一直是在线广告中的一个普遍问题，在过去的几十年里吸引了许多研究关注。近年来，随着行业需求的不断增长，越来越多的新的学习模型被用于广告点击率预测。虽然现有的研究提供了必要的细节算法设计，以解决各种具体问题，在广告点击率预测，方法的演变和建模框架之间的连接被排除在外。然而，据我们所知，很少有关于这一主题的全面调查。我们对最新的CTR预测研究进行了系统的文献综述，特别关注建模框架。具体而言，我们给出了一个分类的国家的最先进的CTR预测模型在现存的文献中，基本建模框架及其扩展，优点和缺点，并进行CTR预测的性能评估。此外，我们总结了CTR预测模型的复杂性和特征交互的顺序，以及在各种数据集上的性能比较。此外，我们确定了当前的研究趋势，主要挑战和潜在的未来方向值得进一步探索。这篇综述有望为希望从事这一领域的IS和营销学者提供基础知识和有效的切入点。
2022-02-22 cs.AI cs.IR cs.LG
MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出模型无关预训练框架MAP，通过特征破坏与恢复（含MFP和RFD两种算法）解决CTR预测中自监督学习问题，在Avazu和Criteo数据集上取得SOTA性能。
2023-08-03 cs.AI cs.IR cs.LG
Neighbour Interaction based Click-Through Rate Prediction via Graph-masked Transformer
The University of Manchester（曼彻斯特大学）；National Centre for Text Mining（国家文本挖掘中心）；Tencent AI Lab（腾讯人工智能实验室）；Tencent（腾讯）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
点击率（CTR）预测，其目的是估计用户将点击一个项目的概率，是在线广告的一个重要组成部分。现有的方法主要试图从用户的历史行为中挖掘用户兴趣，其中包含用户直接交互的项目。虽然这些方法已经取得了很大的进步，但它们往往受到推荐系统的直接暴露和不活跃的交互的限制，从而无法挖掘所有潜在的用户兴趣。为了解决这些问题，我们提出了基于邻居交互的CTR预测（NI-CTR），它认为这是一个异构信息网络（HIN）设置下的任务。简而言之，基于邻居交互的CTR预测涉及HIN中目标用户-项目对的局部邻居以预测它们的链接。为了指导局部邻域的表示学习，我们进一步从显式和隐式两个角度考虑了局部邻域节点之间的不同类型的交互，并提出了一种新的图掩码Transformer（GMT）算法，有效地结合了这些类型的交互，为目标用户-项目对生成具有高度代表性的嵌入.此外，为了提高模型对邻居采样的鲁棒性，我们在邻域嵌入上实施了一致性正则化损失。我们在两个真实世界的数据集上进行了大量的实验，实验结果表明，我们提出的方法明显优于最先进的CTR模型。同时，全面的消融研究验证了我们的模型的每个组成部分的有效性。此外，我们已经在拥有数十亿用户的微信公众号平台上部署了这个框架。在线A/B测试表明，与所有在线基线相比，平均CTR提高了21.9。
2022-07-22 cs.AI cs.IR cs.LG
Time-aligned Exposure-enhanced Model for Click-Through Rate Prediction
针对多反馈序列时间不对齐及缺乏细粒度交互的问题，本文提出TEM4CTR框架，通过表示投影机制实现时间对齐并利用辅助反馈增强点击行为建模。
2023-08-19 cs.IR
Regularized Adversarial Sampling and Deep Time-aware Attention for Click-Through Rate Prediction
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Hong Kong Polytechnic University（香港理工大学）
提高点击率（CTR）预测的性能仍然是在线广告系统的核心任务之一。随着深度学习的兴起，具有深度网络的CTR预测模型显著增强了模型的能力。在深度CTR模型中，利用用户的历史数据对于学习用户的行为和兴趣至关重要。针对现有CTR预测方法在嵌入用户历史点击记录时忽略了时间信号的重要性，提出了一种时间感知的注意力模型，该模型明确地使用绝对时间信号来表示用户的周期性行为，使用相对时间信号来表示项目之间的时间关系。此外，我们提出了一种正则化的对抗抽样策略的负采样，缓解了CTR数据的分类不平衡，并可以利用观察到的负CTR样本提供的强指导。对抗性采样策略显著提高了训练效率，并且可以与时间感知注意力模型无缝协同训练。实验进行了真实世界的CTR数据集，从站内和站外的广告场所。
2019-11-03 cs.IR cs.LG stat.ML
FAN: Fatigue-Aware Network for Click-Through Rate Prediction in E-commerce Recommendation
Alibaba Group（阿里巴巴集团）
本文提出 FAN 模型，通过 Fourier Transformation 处理未点击时间序列获取疲劳频谱，并结合类别调制、gating network 和辅助任务学习疲劳表示，显著提升了电商推荐中的 CTR 预测效果。
2023-04-10 cs.HC cs.IR cs.LG
End-to-End User Behavior Retrieval in Click-Through RatePrediction Model
Alibaba Group（阿里巴巴集团）
点击率预测是推荐系统的核心任务之一。它预测每个用户-项目对的个性化点击概率。近年来，研究人员发现，考虑用户行为序列，特别是长期用户行为序列，可以大大提高CTR模型的性能。某电子商务网站的报告显示，23%的用户在过去5个月内的点击量超过1000次。虽然有大量的工作集中在建模连续的用户行为，很少有工作可以处理长期的用户行为序列，由于严格的推理时间限制，在现实世界的系统。提出了两阶段方法来推动极限以获得更好的性能。在第一阶段，设计了一个辅助任务，用于从长期用户行为序列中检索前$k$相似项。在第二阶段，经典注意力机制在候选项目和第一阶段中选择的$k$项目之间进行。然而，在检索阶段和主要的CTR任务之间存在信息差。这种目标偏离会大大降低长期用户序列的性能增益。本文受Reformer的启发，提出了一种局部敏感哈希（LSH）方法ETA（End-to-end Target Attention），该方法可以大大降低训练和推理的代价，使长时间用户行为序列的端到端训练成为可能。离线和在线实验都证实了我们模型的有效性。我们将ETA部署到一个大规模的真实世界的电子商务系统中，并实现了额外的3.1%的GMV（总销售价值）相比，两个阶段的长用户序列CTR模型。
2021-08-10 cs.AI cs.IR
Disentangled Self-Attentive Neural Networks for Click-Through Rate Prediction
点击率（CTR）预测是许多在线应用程序的一项重要任务，其目的是预测用户是否会点击某个项目的概率。由于点击率预测的数据稀疏性和高维性，有效预测的关键是对高阶特征交互进行建模。做到这一点的一种有效方法是使用自关注神经网络执行特征嵌入的内积。为了更好地模拟复杂的特征交互，在本文中，我们提出了一种新的去纠缠自适应网络（DESTINE）框架的CTR预测，明确地将计算一元特征的重要性从成对的相互作用。具体来说，一元项模拟了一个特征对所有其他特征的一般重要性，而成对交互项有助于学习每个特征对的纯影响。我们使用两个真实世界的基准数据集进行了广泛的实验。结果表明，DESTINE不仅保持了计算效率，而且在最先进的基线上实现了一致的改进。
2021-08-17 cs.IR
Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。大量的研究都是单独考虑每一个广告，但忽略了它与其他可能影响点击率的广告的关系。在本文中，我们研究了各种类型的辅助广告，以提高目标广告的点击率预测。特别是，我们从两个角度探索辅助广告：一个是从空间域，我们认为在同一页面上的目标广告上方显示的上下文广告;另一个是从时间域，我们认为历史上点击和未点击的广告的用户。直觉是，一起显示的广告可能会相互影响，点击的广告反映了用户的偏好，而未点击的广告可能会在一定程度上表明用户不喜欢什么。为了有效地利用这些辅助数据，我们提出了深度时空神经网络（DSTNs）的CTR预测。我们的模型能够学习每种类型的辅助数据和目标广告之间的相互作用，强调更重要的隐藏信息，并在一个统一的框架中融合异构数据。在一个公共数据集和两个工业数据集上的离线实验表明，DSTNs优于几种最先进的CTR预测方法。我们已在中国第二大搜索引擎神马搜索中部署了性能最好的搜索引擎。A/B测试结果表明，在线CTR也显着提高相比，我们的最后一个服务模型。
2019-07-19 cs.IR cs.LG stat.ML
Clicks Versus Conversion: Choosing a Recommender's Training Objective in E-Commerce
Digitec Galaxus AG
本文通过在线A/B测试对比了电子商务中优化CTR与转化率（ACR/OSR）对业务目标的影响，发现优化OSR能带来比CTR高五倍以上的GMV提升且不牺牲新商品发现。
2025-08-14 cs.IR cs.LG
GIFT: Graph-guIded Feature Transfer for Cold-Start Video Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
短视频在过去几年中在淘宝等电子商务平台上快速增长。为了保证内容的新鲜度，平台每天都需要发布大量的新视频，这使得传统的点击率（CTR）预测方法受到项目冷启动问题的困扰。在本文中，我们提出了GIFT，一个有效的图形引导的特征转移系统，充分利用丰富的信息预热视频，以补偿冷启动的。具体来说，我们建立了一个异构的图形，包含物理和语义的联系，以指导功能转移过程中，从热身视频冷启动视频。物理链接表示明确的关系，而语义链接测量两个视频的多模态表示的接近度。我们精心设计了特征传递函数，以了解不同类型的传递特征（例如，ID表示和历史统计）。我们在一个大的真实数据集上进行了大量的实验，结果表明，我们的GIFT系统显著优于SOTA方法，并在淘宝App的主页上带来了6.82%的点击率提升。
2022-09-13 cs.IR cs.LG
Diffusion-based Multi-modal Synergy Interest Network for Click-through Rate Prediction
Peking University（北京大学）；Wuhan University（武汉大学）；Shanghai University of International Business（上海国际商务大学）；Microsoft（微软）
针对多模态CTR预测中模态共性与特性难分离、协同交互建模不足的问题，提出Diff-MSIN框架，通过MFE、SRC、FDAF及知识解耦增强表示与自适应融合，在Rec-Tmall和三个Amazon数据集上较基线至少提升1.67%。
2025-08-29 cs.AI cs.IR
MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。现有的工作主要解决单域CTR预测问题和模型方面，如功能交互，用户行为历史和上下文信息。然而，广告通常与自然内容一起显示，这为跨域CTR预测提供了机会。在本文中，我们解决这个问题，并利用辅助数据从源域，以提高CTR预测性能的目标域。我们的研究基于UC今日头条（与UC浏览器App集成的新闻推送服务，每日服务数亿用户），其中源域是新闻，目标域是广告。为了有效地利用新闻数据来预测广告的点击率，我们提出了混合兴趣网络（MiNet），它联合建模三种类型的用户兴趣：1）跨域的长期兴趣，2）源域的短期兴趣和3）目标域的短期兴趣。MiNet包含两个层次的注意力，其中项目级注意力可以自适应地从点击的新闻/广告中提取有用信息，兴趣级注意力可以自适应地融合不同的兴趣表示。离线实验表明，MiNet优于几种最先进的CTR预测方法。我们已经在UC头条部署了MiNet，A/B测试结果显示在线CTR也有了大幅提升。MiNet现在是UC头条的主要广告流量。
2020-08-07 cs.IR cs.LG
Iterative Boosting Deep Neural Networks for Predicting Click-Through Rate
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
点击率（CTR）反映了特定项目的点击量与其总浏览量的比率。它对网站的广告收入有重大影响。学习复杂的模型来理解和预测用户行为对于最大化推荐系统中的CTR至关重要。最近的工作提出了新的方法，用各种能够从原始数据中捕获复杂模式的深度学习（DL）分类器取代昂贵且耗时的特征工程过程;这些方法在CTR预测任务上显示出显着的改进。虽然DL技术可以学习复杂的用户行为模式，但它依赖于大量的数据，并且在数据量有限时表现不佳。我们提出了XDBoost，一种新的DL方法，用于捕获复杂的模式，只需要有限的原始数据。XDBoost是一个迭代的三阶段神经网络模型，受到传统机器学习提升机制的影响。XDBoost的组件按顺序运行，类似于boosting;但是，与传统的boosting不同，XDBoost不会将其组件生成的预测相加。相反，它利用这些预测作为新的人工特征，并通过使用这些特征重新训练模型来增强CTR预测。为了说明XDBoost在两个数据集上的有效性而进行的综合实验证明了其在CTR预测方面优于现有最先进（SOTA）模型的能力。
2020-07-26 cs.IR cs.LG stat.ML
C-3PO: Click-sequence-aware DeeP Neural Network (DNN)-based Pop-uPs RecOmmendation
随着移动和可穿戴设备的出现，推送通知成为连接和维护与App用户关系的有力工具，但在错误的时间发送不合适或过多的消息可能会导致App被用户删除。为了保持广告的留存率和投放率，我们采用深度神经网络（DNN）开发了一个基于协同过滤的混合用户行为分析的弹出推荐系统"Click sequence-aware deeP神经网络（DNN）-based Pop-uPs recommendation（C-3PO）"。我们进一步验证了该系统与实际数据收集的产品安全大师，清洁大师和CM浏览器，支持豹移动公司。（猎豹移动台湾机构）。通过这种方式，我们可以准确地了解用户对推送通知/弹出窗口的点击偏好和频率，有效地减少用户的麻烦，同时提高推送通知/弹出窗口的点击率。
2018-12-20 cs.CY cs.HC cs.IR
Feature Representation Learning for Click-through Rate Prediction: A Review and New Perspectives
表示学习是机器学习中的一个重要课题。在点击率预测中，大多数特征都表示为嵌入向量，并与模型中的其他参数同时学习。随着CTR模型的发展，特征表示学习成为近年来工业界和学术界研究的热点。本研究旨在从更广阔的视角总结表示学习的特点，为今后的研究做好铺垫。为了实现这样一个目标，我们首先提出了一个分类的特征表示学习以下两个主要问题的研究方法：（i）哪些功能表示和（ii）如何表示这些功能。然后，我们对这两个问题的每种方法进行了详细的描述。最后，审查结论与讨论这一领域的未来发展方向。
2023-02-04 cs.IR
Enhanced Doubly Robust Learning for Debiasing Post-click Conversion Rate Estimation
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Baidu Inc.（百度公司）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）
点击后转化作为一种反映用户偏好的强信号，对构建推荐系统具有重要意义。然而，由于选择偏差，准确估计点击后转化率（CVR）是具有挑战性的，即，所观察到的点击事件通常发生在用户的优选项目上。目前，大多数现有的方法利用反事实学习来消除推荐系统的偏见。其中，双稳健（DR）估计通过将基于误差插补（EIB）的估计和逆倾向得分（IPS）估计以双稳健的方式相结合而获得了有竞争力的性能。然而，不准确的误差插补可能会导致其更高的方差比IPS估计。更糟糕的是，现有方法通常使用简单的模型不可知方法来估计填补误差，这不足以近似动态变化的模型相关目标（即，预测模型的梯度方向）。为了解决这些问题，我们首先推导出DR估计量的偏差和方差。在此基础上，提出了一种更稳健的双稳健估计（MRDR），以进一步降低其方差，同时保持其双重稳健性。此外，我们提出了一种新的双重学习方法的MRDR估计，它可以将误差填补到一般的CVR估计。此外，我们的经验验证，所提出的学习计划，可以进一步消除的高方差问题的插补学习。为了评估其有效性，进行了广泛的实验上的半合成数据集和两个真实世界的数据集。结果表明，所提出的方法比国家的最先进的方法的优越性。该代码可在https://github.com/guosyjlu/MRDR-DL上获得。
2022-01-09 cs.IR cs.LG
Mutual Learning for Finetuning Click-Through Rate Prediction Models
AI Enablement（AI赋能团队）；Huawei Türkiye R&D Center（华为土耳其研发中心）
针对CTR预测模型架构与性能差异小、知识蒸馏收益低的问题，提出对等模型互学习的微调方法，在Criteo、Avazu数据集上实现最高0.66%的相对性能提升。
2024-06-17 cs.IR cs.LG
