DebiasedRec: Bias-aware User Modeling and Click Prediction for Personalized News Recommendation
新闻推荐是个性化新闻访问的关键。现有的新闻推荐方法通常根据用户的历史新闻点击量来推断用户的个人兴趣，并通过预测未来的新闻点击量来训练新闻推荐模型。这些方法背后的一个核心假设是，新闻点击行为可以表明用户的兴趣。然而，在实际场景中，除了用户兴趣与新闻内容之间的相关性之外，新闻点击行为还可能受到其他因素的影响，例如在线平台中新闻呈现的偏差。例如，位置较高、尺寸较大的新闻通常更容易被点击。点击新闻的偏向性会给用户兴趣建模和模型训练带来噪声，影响新闻推荐模型的性能。本文提出了一种具有偏见意识的个性化新闻推荐方法DebiasRec，该方法可以处理偏见信息，从而更准确地进行用户兴趣推断和模型训练。我们的方法的核心包括一个偏见表示模块，一个偏见意识的用户建模模块，和一个偏见意识的点击预测模块。偏见表征模块用于对不同类型的新闻偏见及其相互作用进行建模，以捕捉它们对点击行为的联合影响。偏见感知的用户建模模块旨在通过使用用户的偏见信息来校准兴趣模型，从而从点击的新闻文章中推断用户的去偏见兴趣。偏置感知点击预测模块用于根据偏置点击行为来训练去偏置新闻推荐模型，其中点击分数被分解为指示用户对新闻内容的兴趣的偏好分数和从其不同偏置特征推断的新闻偏置分数。在两个真实数据集上的实验表明，该方法能有效地提高新闻推荐的性能。
2021-04-15 cs.IR
Expanding Click and Buy rates: Exploration of evaluation metrics that measure the impact of personalized recommendation engines on e-commerce platforms
为了确定最适合电子商业业务的推荐模型，应该对购物网站进行实时评估，以实时测量个性化的影响。本文的目的是介绍和证明两个新的指标-点击率NoRepeat和点击购买率-这源于标准的指标，点击率（CTR）和购买率（BTR），分别。前一种变体解决了原始CTR中高估点击量的问题，而后者则说明了之前点击过的产品的购买情况，以验证度量中包含的购买是客户交互的结果。对多个数据集进行两个均值独立性的显著性检验，在每个新度量和其各自的父度量之间，以确定变体的新颖性和必要性。皮尔逊相关系数的计算，以评估线性关系的强度，并得出结论的可预测性因素之间的上述因素，以调查客户点击和购买之间的未知连接。此外，其他指标，如点击每客户，每客户的买家，每客户的点击等介绍，帮助解释客户行为的指标在电子商业网站的参考。
2019-01-20 cs.IR
Disentangled Self-Attentive Neural Networks for Click-Through Rate Prediction
点击率（CTR）预测是许多在线应用程序的一项重要任务，其目的是预测用户是否会点击某个项目的概率。由于点击率预测的数据稀疏性和高维性，有效预测的关键是对高阶特征交互进行建模。做到这一点的一种有效方法是使用自关注神经网络执行特征嵌入的内积。为了更好地模拟复杂的特征交互，在本文中，我们提出了一种新的去纠缠自适应网络（DESTINE）框架的CTR预测，明确地将计算一元特征的重要性从成对的相互作用。具体来说，一元项模拟了一个特征对所有其他特征的一般重要性，而成对交互项有助于学习每个特征对的纯影响。我们使用两个真实世界的基准数据集进行了广泛的实验。结果表明，DESTINE不仅保持了计算效率，而且在最先进的基线上实现了一致的改进。
2021-08-17 cs.IR
Feature Representation Learning for Click-through Rate Prediction: A Review and New Perspectives
表示学习是机器学习中的一个重要课题。在点击率预测中，大多数特征都表示为嵌入向量，并与模型中的其他参数同时学习。随着CTR模型的发展，特征表示学习成为近年来工业界和学术界研究的热点。本研究旨在从更广阔的视角总结表示学习的特点，为今后的研究做好铺垫。为了实现这样一个目标，我们首先提出了一个分类的特征表示学习以下两个主要问题的研究方法：（i）哪些功能表示和（ii）如何表示这些功能。然后，我们对这两个问题的每种方法进行了详细的描述。最后，审查结论与讨论这一领域的未来发展方向。
2023-02-04 cs.IR
Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction
Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Jinan University（暨南大学）
点击率预测是推荐系统中的一项重要任务，其目的是估计用户点击给定项目的概率。最近，已经提出了许多深度模型来从原始特征学习低阶和高阶特征交互。然而，由于有用的交互总是稀疏的，DNN很难在大量参数下有效地学习它们。在真实场景中，人工特征能够提高深度模型的性能（如Wide &深度学习），但特征工程成本高昂，需要领域知识，在不同场景下不切实际。因此，有必要对特征空间进行自动扩充。在本文中，我们提出了一种新的特征生成的卷积神经网络（FGCNN）模型的两个组成部分：特征生成和深度分类器。特征生成利用CNN的优势来生成局部模式，并将它们重组以生成新特征。深度分类器采用IPNN的结构，从增强的特征空间中学习交互。在三个大规模数据集上的实验结果表明，FGCNN的性能明显优于九种最先进的模型。此外，当应用一些最先进的模型作为深度分类器时，总是能获得更好的性能，这表明我们的FGCNN模型具有很好的兼容性。这项工作为CTR预测探索了一个新的方向：通过自动识别重要特征来降低DNN的学习难度是非常有用的。
2019-04-09 cs.IR cs.LG
Quadratic Interest Network for Multimodal Click-Through Rate Prediction
提出二次兴趣网络（QIN），利用自适应稀疏目标注意力和二次神经网络捕捉多模态高阶交互，在WWW 2025多模态CTR预测挑战赛中获得第二名，AUC达0.9798。
2025-04-25 cs.IR
Clickbait detection using word embeddings
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
点击诱饵是一个贬义词，描述的是旨在产生在线广告收入的网络内容，特别是以牺牲质量或准确性为代价，依靠耸人听闻的标题或引人注目的缩略图来吸引点击率，并鼓励在在线社交网络上转发材料。我们使用分布式的单词表示的话在标题中的功能，以确定在网络新闻媒体的点击诱饵。我们使用线性回归来训练一个机器学习模型，以预测给定推文的cickbait得分。我们的方法实现了64.98%的F1分数和0.0791的MSE。与其他方法相比，我们的方法是简单的，快速的训练，不需要广泛的特征工程，但适度有效。
2017-10-08 cs.CL cs.IR
HIEN: Hierarchical Intention Embedding Network for Click-Through Rate Prediction
点击率预测是在线广告和推荐系统中的一个重要环节，其目的是估计用户点击某一特定项目的概率。特征交互建模和用户兴趣建模方法是点击率预测中的两个热点领域，近年来得到了广泛的研究。然而，这些方法仍然受到两个限制。首先，传统方法将项目属性视为ID特征，而忽略了属性间的结构信息和关系依赖。第二，当从用户-项目交互中挖掘用户兴趣时，现有模型忽略了用户意图和项目意图的不同属性，缺乏可解释性。基于这一观察，在本文中，我们提出了一种新的方法层次意图嵌入网络（HIEN），它认为在构造的属性图的基础上自底向上树聚合的属性的依赖关系。HIEN还捕获不同项目属性的用户意图以及基于我们提出的分层注意力机制的项目意图。在公共数据集和生产数据集上的大量实验表明，该模型的性能明显优于最先进的方法。此外，HIEN可以作为输入模块应用于最先进的CTR预测方法，为这些可能已经在实际系统中广泛使用的现有模型带来进一步的性能提升。
2022-06-01 cs.IR
Field-wise Embedding Size Search via Structural Hard Auxiliary Mask Pruning for Click-Through Rate Prediction
特征嵌入是训练基于深度学习的点击率预测模型时最重要的步骤之一，该模型将高维稀疏特征映射到密集嵌入向量。经典的人工嵌入大小选择方法在内存使用和模型容量之间的权衡方面被证明是“次优”的。神经结构搜索（NAS）中的趋势方法已经证明了它们搜索嵌入大小的效率。然而，大多数现有的基于NAS的工作遭受昂贵的计算成本，搜索空间的维数灾难，以及连续搜索空间和离散候选空间之间的差异。其他以非结构化方式修剪嵌入的工作未能显式地降低计算成本。在本文中，为了解决这些限制，我们提出了一种新的策略，通过硬辅助掩码结构修剪超网来搜索最佳混合维嵌入方案。我们的方法旨在使用简单而有效的基于梯度的方法直接在离散空间中搜索候选模型。此外，我们在嵌入表上引入正交正则性，以减少嵌入列内的相关性，提高表示能力。大量的实验表明，它可以有效地去除冗余嵌入维数没有很大的性能损失。
2022-08-17 cs.IR
Feature-Enhanced Network with Hybrid Debiasing Strategies for Unbiased Learning to Rank
无偏学习排序（ULTR）旨在消除用户点击中存在的各种偏见，如位置偏见、信任偏见、呈现偏见，学习一个有效的排序器。在本文中，我们介绍了我们在WSDM Cup 2023中的“无偏见学习排序“任务的获胜方法。我们发现，提供的数据存在严重的偏差，因此直接使用带有点击信息的前10个结果训练的神经模型并不令人满意。因此，我们为结果的多个字段提取多个基于统计学的特征，调整点击标签，添加真阴性，并在模型训练期间重新加权样本。由于通过现有的ULTR方法学习的倾向性并没有随着时间的推移而减少。位置，我们还根据点击率校准倾向，并以两种不同的方式对训练的模型进行集成。我们的方法获得了第三名，DCG@10得分为9.80，比第二名差1.1%，比第四名高25.3%。
2023-02-15 cs.IR
Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank
University of Utah（犹他大学）
利用有偏点击数据优化学习排序系统已成为信息检索中的一种流行方法。由于点击数据往往是噪声和偏见，已经提出了各种方法来构建无偏学习排序（ULTR）算法的学习无偏排名模型。其中，自动无偏学习排序（AutoULTR）算法联合学习用户偏差模型（即，具有无偏排序器的倾向模型）由于其在实践中的优越性能和低部署成本而受到很多关注。尽管它们在理论和算法设计上存在差异，但现有的ULTR研究通常使用单变量排序函数对每个文档或结果进行独立评分。另一方面，上下文感知学习排名模型的最新进展表明，多变量评分函数，一起读取多个文档，并共同预测他们的排名分数，比单变量排名功能更强大的排名任务与人类注释的相关性标签。然而，这种优越的性能是否会在有噪声数据的ULTR中保持，大多是未知的。在本文中，我们调查现有的多变量评分函数和AutoULTR算法在理论上，并证明置换不变性是一个关键因素，决定是否上下文感知的学习排名模型可以应用到现有的AutoULTR框架。我们在两个大规模基准数据集上进行的合成点击实验表明，具有置换不变多变量评分函数的AutoULTR模型显著优于具有单变量评分函数和置换变量多变量评分函数的模型。
2020-08-20 cs.IR cs.LG
AT4CTR: Auxiliary Match Tasks for Enhancing Click-Through Rate Prediction
针对工业推荐系统中负样本下采样加剧的CTR预测数据稀疏问题，提出AT4CTR方法，通过两个基于InfoNCE损失的辅助匹配任务增强用户-物品相关性建模，加快收敛并提升精度，已在工业广告系统落地并获显著收益。
2023-12-18 cs.IR
Native Multimodal Representation Learning for Click-Through Rate Prediction in E-Commerce Scenarios
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）；University of Science and Technology of China（中国科学技术大学）
针对现有多模态CTR预测模型两阶段范式的缺陷，本文提出Mine-Then-Train方法，通过挖掘CTR数据的高质量样本微调多模态编码器，提升了模型性能。
2026-09-15 cs.IR
Scalar is Not Enough: Vectorization-based Unbiased Learning to Rank
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）
无偏学习排序（ULTR）的目的是训练一个公正的排名模型，从偏见的用户点击日志。目前的ULTR方法大多基于检验假设（EH），即点击概率可以分解为两个标量函数，一个与排序特征相关，另一个与偏置因子相关。不幸的是，在实践中，特征、偏置因子和点击之间的相互作用是复杂的，并且通常不能以这种独立的方式分解。用EH拟合点击数据会导致模型误设定，带来近似误差。在本文中，我们提出了一个基于向量的EH和制定点击概率为两个向量函数的点积。该解决方案是完整的，因为它的通用性，在拟合任意点击功能。在此基础上，我们提出了一种新的模型Vectorization自适应学习的相关嵌入和排序的文档投影到一个基向量。大量的实验表明，我们的方法显着优于国家的最先进的ULTR方法对复杂的真实点击以及简单的模拟点击。
2022-06-12 cs.AI cs.IR cs.LG
On Predicting Post-Click Conversion Rate via Counterfactual Inference
Naver Corp.（纳维尔公司）；Seoul National University（首尔国立大学）
针对点击样本稀疏导致的CVR预测偏差问题，提出基于因果反事实推理的ESCIM模型，通过为未点击样本生成反事实转化标签扩充训练数据，在公开数据集和真实场景A/B测试中均取得更优效果。
2025-10-06 cs.AI cs.IR cs.LG
Beyond Clicks: Modeling Multi-Relational Item Graph for Session-Based Target Behavior Prediction
基于会话的目标行为预测旨在预测要与特定行为类型（例如，点击）。尽管现有的基于会话的行为预测方法利用强大的表示学习方法来在低维空间中编码项目的顺序相关性，但它们受到一些限制。首先，它们只关注利用同一类型的用户行为进行预测，而忽略了将其他行为数据作为辅助信息的潜力。当目标行为稀疏但重要时（例如，购买或分享物品）。其次，项目到项目的关系被单独和局部地建模在一个行为序列中，并且它们缺乏更有效地全局编码这些关系的原则性方法。为了克服这些局限性，我们提出了一种新的多关系图神经网络模型用于基于会话的目标行为预测，简称MGNN-SPred。具体来说，我们建立了一个多关系项目图（MRIG）的基础上，所有的行为序列从所有的会话，涉及目标和辅助行为类型。基于MRIG，MGNN-SPred学习全局项目到项目关系，并进一步获得用户偏好w.r.t.当前目标和辅助行为序列。最后，MGNN-SPred利用门控机制来自适应地融合用户表示，以预测与目标行为交互的下一个项目。在两个真实数据集上的大量实验通过与最先进的基于会话的预测方法进行比较，证明了MGNN-SPred的优越性，验证了利用辅助行为和学习MRIG的项目到项目关系的好处。
2021-04-08 cs.IR
An Analysis Of Entire Space Multi-Task Models For Post-Click Conversion Prediction
Twitter（推特）
工业推荐系统的任务经常是为多个通常密切相关的用户动作近似概率。例如，预测用户是否会点击广告以及他们是否会购买广告产品。这些任务之间的概念相似性促进了多任务学习的使用：这是一类旨在从相关任务中带来积极归纳转移的算法。在这里，我们经验评估多任务学习方法与神经网络的在线广告任务。具体而言，我们考虑使用相关点击事件（CTR）作为辅助任务，近似计算大规模广告平台上移动应用广告的点击后转化事件（安装）（CVR）的概率。我们使用消融的方法来系统地研究最近的方法，结合多任务学习和“整个空间建模”，训练CVR的所有记录的例子，而不是学习的条件可能性转换点击。基于这些结果，我们表明，几种不同的方法导致类似的水平的正向转移从数据丰富的CTR任务的CVR任务，并提供一些见解如何多任务的设计选择解决影响CVR任务的两个主要问题：数据稀疏性和数据偏差。我们的研究结果增加了越来越多的证据表明，标准的多任务学习是一种明智的方法来模拟现实世界中的大规模应用程序中的相关事件，并建议特定的多任务方法可以通过在现有系统中的易用性来指导。
2021-08-18 cs.IR cs.LG
UFIN: Universal Feature Interaction Network for Multi-Domain Click-Through Rate Prediction
针对多领域CTR预测中ID特征难以迁移的问题，提出UFIN方法，利用基于LLM的编码器-解码器网络、MoE自适应模型和多领域知识蒸馏框架学习可迁移的通用特征交互，在八个数据集上验证了其有效性。
2023-11-27 cs.IR
XCrossNet: Feature Structure-Oriented Learning for Click-Through Rate Prediction
University of Science and Technology of China（中国科学技术大学）；Rutgers University（罗格斯大学）；Peking University（北京大学）；Tencent Inc（腾讯公司）
点击率预测是当前商业推荐系统的核心任务。特征交叉作为CTR预测的研究主线，为提高预测性能提供了一条很有前途的途径。尽管各种模型能够在没有手动特征工程的情况下学习特征交互，但它们很少尝试单独学习不同特征结构的表示。特别是，他们主要集中在交叉稀疏特征的建模，但忽略了具体表示交叉密集特征。出于这一动机，我们提出了一种新的极端交叉网络，简称XCrossNet，其目的是以显式的方式学习密集和稀疏特征的相互作用。XCrossNet作为一种面向特征结构的模型，不仅具有显式的可解释性，而且具有时间效率高、易于实现的特点，从而实现了更具表现力的表示和更精确的CTR预测。在Criteo Kaggle数据集上的实验研究表明，XCrossNet在有效性和效率方面都比最先进的模型有显着提高。
2021-04-22 cs.AI cs.IR
Continual Transfer Learning for Cross-Domain Click-Through Rate Prediction at Taobao
作为世界上最大的电子商务平台之一，淘宝的推荐系统（RS）服务于数亿客户的购物需求。点击率预测是RS的核心组成部分。淘宝网点击率预测的一个最大特点是存在多个推荐领域，不同领域的规模差异很大。因此，进行跨域CTR预测以将知识从大域转移到小域以缓解数据稀疏性问题是至关重要的。然而，现有的跨域CTR预测方法是针对静态知识转移提出的，忽略了现实世界RS中的所有域都是不断随时间演变的。有鉴于此，我们提出了一个必要的，但新颖的任务命名为连续迁移学习（CTL），它转移知识从一个随时间变化的源域到一个随时间变化的目标域。在这项工作中，我们提出了一个简单而有效的CTL模型称为CTNet，以解决在淘宝上的连续跨域CTR预测的问题，CTNet可以有效地训练。特别是，CTNet认为行业中的一个重要特征是模型已经经过了很长时间的持续良好训练。因此，CTNet旨在充分利用源域和目标域中所有经过良好训练的模型参数，以避免丢失历史上获得的知识，并且只需要增量目标域数据进行训练以保证效率。大量的离线实验和淘宝网的在线A/B测试证明了CTNet的效率和有效性。CTNet现已部署在淘宝网的推荐系统中，为数亿活跃用户的主要流量提供服务。
2023-02-20 cs.IR
ELEC: Efficient Large Language Model-Empowered Click-Through Rate Prediction
ELEC提出一种高效的大语言模型赋能点击率预测框架，通过伪孪生网络结合LLM语义与协同信号，并利用知识蒸馏实现高效推理，在真实数据集上验证了有效性和高效性。
2025-09-09 cs.IR
Dynamic Sequential Graph Learning for Click-Through Rate Prediction
Damo Academy, Alibaba Group（阿里巴巴集团达摩院）
点击率预测在推荐系统等领域有着重要的应用。现有的方法主要从用户的历史行为中提取用户兴趣。然而，行为序列只包含用户直接交互的项目，这是有限的系统的曝光，因此，他们往往不够丰富，以反映所有的潜在利益。在本文中，我们提出了一种新的方法，命名为动态顺序图学习（DSGL），以提高用户或项目的表示，利用协同信息从本地子图与用户或项目。具体来说，我们设计了动态顺序图（DSG），即，一个轻量级的自我子图，具有从历史交互中导出的时间戳。在每个评分时刻，我们分别为目标用户和候选项构建DSG。基于DSG，我们以自底向上的方式迭代地执行图卷积操作，以获得目标用户和候选项的最终表示。至于图卷积，我们设计了一个时间感知的顺序编码层，利用交互时间信息以及时间依赖性来学习进化的用户和项目动态。此外，我们提出了一个目标偏好双注意层，由一个偏好感知的注意模块和一个目标感知的注意模块，自动搜索部分的行为是相关的目标，并减轻噪音不可靠的邻居。真实世界CTR预测基准测试的结果证明了DSGL带来的改进。
2021-09-26 cs.IR cs.LG
Context-Aware Lifelong Sequential Modeling for Online Click-Through Rate Prediction
本文提出上下文感知兴趣网络CAIN，利用TCN生成上下文感知表示，并通过多范围兴趣聚合器和个性化提取器生成模块提升在线点击率预测精度，在公开及工业数据集上均优于现有方法。
2025-04-11 cs.IR
Learning from User Interactions with Rankings: A Unification of the Field
排名系统构成了在线搜索引擎和推荐服务的基础。它们处理大量的项目，例如网页或电子商务产品，并向用户呈现一个小的有序选择。排名系统的目标是帮助用户以最少的努力找到他们正在寻找的项目。因此，它们产生的排名应该将最相关或最受欢迎的项目放在排名的顶部。学习排序是机器学习中的一个领域，其涵盖了优化排序系统的方法。这个目标传统的监督学习排序方法利用专家判断进行评价和学习，然而，在许多情况下，这样的判断是不可能或不可行的。作为解决方案，已经引入了替代地基于用户点击来执行学习排序的方法。点击的困难在于，它们不仅受到用户偏好的影响，还受到显示的排名的影响。因此，这些方法必须防止被用户偏好之外的其他因素所偏置。本论文主要研究基于用户点击的学习排序方法，旨在统一不同的排序方法。作为一个整体，本文的第二部分提出了一个框架，弥合了在线，反事实和监督学习排序领域之间的许多差距。它采用了以前被认为是独立的方法，并将它们统一为一种方法，用于广泛适用和有效的学习排序。
2020-12-09 cs.IR
Leaf-FM: A Learnable Feature Generation Factorization Machine for Click-Through Rate Prediction
Sina Weibo Corp（新浪微博公司）
点击率（CTR）预测在个性化广告和推荐系统中起着重要的作用。尽管近年来已经提出了许多模型，如FM，FFM和DeepFM，但在许多应用中，特征工程仍然是提高模型性能的一种非常重要的方法，因为使用原始特征很少会导致最佳结果。例如，通常通过添加新特征将连续特征转换为幂形式，以允许其容易地形成特征的非线性函数。然而，这种特征工程在很大程度上依赖于人们的经验，它是既耗时又耗力。另一方面，简洁的CTR模型具有快速的在线服务速度和良好的模型性能是许多现实生活中的应用的关键。在本文中，我们提出了基于FM的LeafFM模型，通过自动学习变换函数，从原始特征嵌入中生成新的特征。根据原始特征和生成特征的不同组合策略，设计了三种具体的Leaf-FM模型。在三个真实数据集上进行了大量的实验，结果表明Leaf-FM模型的性能大大优于标准FM。与FFM相比，Leaf-FM可以用更少的参数获得更好的性能。在Avazu和恶意软件数据集中，添加版本Leaf-FM实现了与一些基于深度学习的模型（如DNN和AutoInt）相当的性能。作为一种改进的FM模型，Leaf-FM在在线服务阶段具有与FM相同的计算复杂度，具有更好的性能和更高的计算效率，适用于许多工业应用。
2021-07-26 cs.AI cs.IR
Feature Interaction based Neural Network for Click-Through Rate Prediction
点击率预测是广告计算和推荐系统中最重要和最具挑战性的问题之一。为了使用这些数据构建机器学习系统，正确地对特征之间的交互进行建模是很重要的。然而，目前的许多工作中，计算功能的相互作用，在一个简单的方式，如内积和元素的产品。本文旨在充分利用特征之间的信息，提高深度神经网络在CTR预测任务中的性能。本文提出了一种基于特征交互的神经网络（FINN），它能够通过三维关系张量来建模特征交互。FINN提供了底层特征交互的表示和神经网络在建模高阶特征交互时的非线性。与经典基线相比，我们评估了我们的模型在CTR预测任务上的表现，并表明我们的深度FINN模型优于其他最先进的深度模型，如PNN和DeepFM。评估结果表明，特征交互包含更好的CTR预测的重要信息。这也表明我们的模型可以有效地学习特征交互，并在现实世界的数据集上取得更好的性能。
2020-06-07 cs.IR cs.LG stat.ML
Graph Based Long-Term And Short-Term Interest Model for Click-Through Rate Prediction
Meituan（美团）
针对点击率预测中长短期行为建模的信息丢失与噪声问题，提出基于图的长短期兴趣模型GLSM，融合多兴趣图与多场景序列，离线达SOTA，线上CTR提升4.9%、GMV提升4.3%。
2023-06-05 cs.IR cs.LG
ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction
Shanghai Jiao Tong University（上海交通大学）
ClickPrompt提出一种模型无关框架，通过CTR模型生成交互感知软提示，结合预训练语言模型，同时建模协同与语义知识，提升CTR预测性能并解决推理效率问题。
2024-06-26 cs.AI cs.IR
Multi-Scale User Behavior Network for Entire Space Multi-Task Learning
对用户的多种行为进行建模是现代电子商务的重要组成部分，其广泛采用的应用是联合优化点击率（CTR）和转化率（CVR）预测。大多数现有方法忽略了用户行为的两个关键特征的影响：对于每个项目列表，（i）上下文依赖性是指用户对任何项目的行为不仅仅由项目本身决定，而且还受到用户先前行为的影响（例如，点击，购买）在其他项目在相同的序列;（ii）多个时间尺度意味着用户很可能经常点击，但定期购买。为此，我们开发了一个新的多尺度用户行为网络命名为分层rE当前排名的整个空间（HEROES），它结合了上下文信息来估计用户的多个行为在多尺度的方式。具体地说，我们引入了一个分层的框架，其中较低的层模型的用户的参与行为，而上层估计用户的满意度行为。所提出的架构可以自动学习一个合适的时间尺度为每一层捕捉动态用户的行为模式。除了该体系结构，我们还引入了霍克斯过程，形成一个新的循环单元，它不仅可以编码项目的上下文的功能，但也制定了激励或劝阻用户以前的行为。我们进一步表明，HEROES可以扩展到建立无偏的排名系统，通过与生存分析技术相结合。在三个大规模工业数据集上进行的实验表明，与现有方法相比，该模型具有优越性。
2022-08-16 cs.IR
Self-Balancing Gradient Allocation for Heterogeneity-Aware Feature Generation in Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
针对生成式CTR方法中重建目标忽略特征场异构性导致难场欠拟合的问题，提出HeteGenCTR，通过可学习的场难度参数联合训练去噪网络，实现自平衡损失和难度引导注意力机制，在五个基准和在线A/B测试中取得显著提升。
2026-05-24 cs.IR cs.LG
CAN: Feature Co-Action for Click-Through Rate Prediction
特征交互是机器学习中的一个重要问题，也是点击率（CTR）预测的关键。近年来，深度神经网络（DNN）能够从原始稀疏特征中自动学习隐含的非线性相互作用，因此在工业CTR预测任务中得到了广泛应用。然而，在DNN中学习的隐式特征交互不能完全保留原始和经验特征交互的完整表示能力（例如，产品）而没有损失。例如，学习特征A和特征B <A，B>的组合作为新特征的显式卡耐基乘积表示的简单尝试可以优于先前的隐式特征交互模型，包括基于因子分解机（FM）的模型及其变型。在本文中，我们提出了一个共同行动网络（CAN）来近似显式的两两特征相互作用，而不引入太多的额外参数。更具体地说，给定特征A及其相关联的特征B，它们的特征交互通过学习两组参数来建模：1）特征A的嵌入，以及2）用于表示特征B的多层感知器（MLP）。通过将特征A的嵌入通过特征B的MLP网络，可以获得近似的特征交互。我们将这种成对特征交互称为特征协同作用，并且这种协同作用网络单元可以提供非常强大的能力来拟合复杂的特征交互。在公共数据集和工业数据集上的实验结果表明，CAN的性能优于最先进的CTR模型和Carnival乘积方法。此外，CAN已经在阿里巴巴的展示广告系统中部署，CTR提高了12%，RPM提高了8%，这对业务来说是一个很大的提升。
2021-12-07 cs.IR stat.ML
AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks
Peking University（北京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；HEC Montreal（蒙特利尔高等商学院）
点击率（CTR）预测的目的是预测用户点击广告或项目的概率，其对于诸如在线广告和推荐系统的许多在线应用至关重要。该问题非常具有挑战性，因为（1）输入特征（例如，用户ID、用户年龄、项目ID、项目类别）通常是稀疏的和高维的，以及（2）有效的预测依赖于高阶组合特征（\textit{a.k.a.}交叉特征），其对于领域专家手工制作是非常耗时的并且不可能被枚举。因此，人们一直在努力寻找稀疏和高维原始特征的低维表示及其有意义的组合。在本文中，我们提出了一个有效的和高效的方法称为\emph{AutoInt}自动学习输入功能的高阶功能的相互作用。我们提出的算法是非常普遍的，它可以适用于数值和分类输入功能。具体来说，我们将数值和分类特征映射到同一个低维空间。然后，提出了一种带剩余连接的多头自关注神经网络，在低维空间中显式地对特征交互进行建模。利用多头自关注神经网络的不同层，可以对输入特征的不同顺序的特征组合进行建模。整个模型可以以端到端的方式有效地拟合大规模原始数据。在四个真实世界数据集上的实验结果表明，我们提出的方法不仅优于现有的最先进的预测方法，而且还提供了良好的可解释性。代码可在：\url{https://github.com/DeepGraphLearning/RecommenderSystems} .
2019-08-23 cs.AI cs.IR cs.LG
From Feature Interaction to Feature Generation: A Generative Paradigm of CTR Prediction Models
本文提出监督特征生成框架，通过生成范式改进CTR预测模型，有效缓解嵌入崩溃和信息冗余问题，提升模型性能。
2025-12-16 cs.IR
RAT: Retrieval-Augmented Transformer for Click-Through Rate Prediction
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Research Center of Artificial Intelligence, Peng Cheng Laboratory（鹏城实验室人工智能研究中心）
本文提出检索增强Transformer（RAT），通过检索相似样本构建增强输入，并利用级联注意力同时建模样本内与跨样本特征交互，在保持效率的同时提升CTR预测性能，尤其在长尾场景中表现优越。
2024-04-05 cs.AI cs.IR cs.LG
Improved Adaboost Algorithm for Web Advertisement Click Prediction Based on Long Short-Term Memory Networks
Georgia Institute of Technology（佐治亚理工学院）；Northeastern University（东北大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Tokyo（东京大学）
针对网页广告点击预测问题，提出基于LSTM的改进Adaboost算法，准确率达92%，多指标优于传统模型，泛化能力强，可应用于实际场景。
2024-08-08 cs.AI cs.IR cs.LG
Improving conversion rate prediction via self-supervised pre-training in online advertising
Yahoo Research（雅虎研究院）
针对在线广告点击归因转化数据稀疏且不能用非点击归因数据训练以保障模型校准的问题，提出用在全量转化数据上预训练的自编码器做特征提取增强FM模型，在离线和在线A/B测试中均有提升，已部署于Yahoo原生广告系统。
2024-01-25 cs.IR cs.LG stat.ML
Neighbour Interaction based Click-Through Rate Prediction via Graph-masked Transformer
The University of Manchester（曼彻斯特大学）；National Centre for Text Mining（国家文本挖掘中心）；Tencent AI Lab（腾讯人工智能实验室）；Tencent（腾讯）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
点击率（CTR）预测，其目的是估计用户将点击一个项目的概率，是在线广告的一个重要组成部分。现有的方法主要试图从用户的历史行为中挖掘用户兴趣，其中包含用户直接交互的项目。虽然这些方法已经取得了很大的进步，但它们往往受到推荐系统的直接暴露和不活跃的交互的限制，从而无法挖掘所有潜在的用户兴趣。为了解决这些问题，我们提出了基于邻居交互的CTR预测（NI-CTR），它认为这是一个异构信息网络（HIN）设置下的任务。简而言之，基于邻居交互的CTR预测涉及HIN中目标用户-项目对的局部邻居以预测它们的链接。为了指导局部邻域的表示学习，我们进一步从显式和隐式两个角度考虑了局部邻域节点之间的不同类型的交互，并提出了一种新的图掩码Transformer（GMT）算法，有效地结合了这些类型的交互，为目标用户-项目对生成具有高度代表性的嵌入.此外，为了提高模型对邻居采样的鲁棒性，我们在邻域嵌入上实施了一致性正则化损失。我们在两个真实世界的数据集上进行了大量的实验，实验结果表明，我们提出的方法明显优于最先进的CTR模型。同时，全面的消融研究验证了我们的模型的每个组成部分的有效性。此外，我们已经在拥有数十亿用户的微信公众号平台上部署了这个框架。在线A/B测试表明，与所有在线基线相比，平均CTR提高了21.9。
2022-07-22 cs.AI cs.IR cs.LG
NCS4CVR: Neuron-Connection Sharing for Multi-Task Learning in Video Conversion Rate Prediction
Tencent Inc（腾讯公司）
点击率（CTR）和点击后转化率（CVR）预测是诸如推荐系统、广告和搜索引擎的工业排名系统中的两个基本模块。由于CVR涉及的样本比CTR少得多（称为CVR数据稀疏问题），大多数现有的工作试图利用CTR和CVR多任务学习来提高CVR性能。然而，典型的粗粒度子网络/层共享方法可能会引入冲突并导致性能下降，因为不是一个层中的每个神经元或神经元连接都应该在CVR和CTR任务之间共享。这是因为用户在深度消费和点击行为之间可能具有不同的细粒度内容特征偏好，分别由CVR和CTR表示。为了解决这种共享和冲突问题，我们提出了一种新的多任务CVR建模方案，神经元连接级共享命名为NCS 4CVR，它可以自动和灵活地学习哪些神经元权重共享或不共享，而无需人工经验。与以往的层级共享方法相比，这是首次提出神经元连接级的细粒度CTR&CVR共享方法，是共享级的研究范式转变。离线和在线实验表明，我们的方法优于单任务模型和层次共享模型。我们提出的方法现已成功部署在一个行业视频推荐系统服务的主要交通。
2023-02-16 cs.CV cs.IR cs.LG
Deep Learning over Multi-field Categorical Data: A Case Study on User Response Prediction
University College London（伦敦大学学院）；RayCloud Inc.（瑞云公司）
预测用户响应，如点击率和转化率，在许多Web应用程序中至关重要，包括Web搜索，个性化推荐和在线广告。与通常在图像和音频领域中发现的连续原始特征不同，网络空间中的输入特征通常是多领域的，并且大多是离散的和分类的，而它们之间的依赖关系很少。主要的用户响应预测模型必须将其自身限制为线性模型，或者需要手动构建高阶组合特征。前者失去了探索特征交互的能力，而后者导致在大的特征空间中的繁重计算。为了解决这个问题，我们提出了两个新的模型，使用深度神经网络（DNN）自动学习有效的模式，从分类特征的相互作用，并预测用户的广告点击。为了让我们的DNN有效地工作，我们建议利用三种特征转换方法，即，因子分解机（FM）、受限玻尔兹曼机（RBM）和去噪自动编码器（DAE）。本文介绍了我们的模型的结构和有效的训练算法。使用真实世界数据的大规模实验表明，我们的方法比主要的最先进的模型工作得更好。
2016-01-11 cs.IR cs.LG
Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
点击率（CTR）预测的目标是预测用户点击某个项目的概率，在推荐系统中已经变得越来越重要。近年来，一些深度学习模型能够从用户行为中自动提取用户兴趣，并取得了巨大的成功。在这些工作中，注意力机制被用来选择历史行为中的用户感兴趣的项目，提高CTR预测器的性能。通常，这些注意模块可以通过使用梯度下降与基本预测器联合训练。本文将用户兴趣建模看作是一个特征选择问题，我们称之为用户兴趣选择。针对这样的问题，我们提出了一种新的方法框架下的包装器方法，这是命名为元包装器。更具体地说，我们使用一个可微模块作为我们的包装算子，然后将其学习问题转换为连续的双层优化。此外，我们使用元学习算法来解决优化，并从理论上证明其收敛性。同时，我们也提供了理论分析表明，我们提出的方法1）效率的包装为基础的特征选择，2）实现了更好的抗过拟合。最后，在三个公共数据集上的实验表明，该方法在提高CTR预测性能方面具有优越性。
2022-06-28 cs.AI cs.IR
