ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction
Shanghai Jiao Tong University（上海交通大学）
ClickPrompt提出一种模型无关框架，通过CTR模型生成交互感知软提示，结合预训练语言模型，同时建模协同与语义知识，提升CTR预测性能并解决推理效率问题。
2024-06-26 cs.AI cs.IR
CL4CTR: A Contrastive Learning Framework for CTR Prediction
Fudan University（复旦大学）；Microsoft Research Asia（微软亚洲研究院）
许多点击率（CTR）预测工作集中于设计高级架构来对复杂的特征交互进行建模，但忽略了特征表示学习的重要性，例如，对每个特征采用普通嵌入层，这导致次优特征表示，从而导致较差的CTR预测性能。例如，在许多CTR任务中占大多数特征的低频特征在标准监督学习设置中较少被考虑，导致次优特征表示。在本文中，我们引入自监督学习直接产生高质量的特征表示，并提出了一个模型无关的对比学习CTR（CL4CTR）框架，由三个自监督学习信号，以规范的特征表示学习：对比损失，特征对齐，和字段均匀性。对比模块首先通过数据增强构造正特征对，然后通过对比损失最小化每个正特征对的表示之间的距离。特征对齐约束迫使来自相同场的特征的表示靠近，并且场均匀性约束迫使来自不同场的特征的表示远离。大量的实验验证了CL4CTR在四个数据集上实现了最佳性能，并具有良好的有效性和与各种代表性基线的兼容性。
2022-12-01 cs.AI cs.IR
Balancing Efficiency and Effectiveness: An LLM-Infused Approach for Optimized CTR Prediction
Institute for Clarity in Documentation（文献清晰研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康分局）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文提出了一种名为 MSD 的 LLM 融合 CTR 预测框架，通过利用 LLM 提取并蒸馏深层语义信息到更小模型中，实现了端到端的高效训练与推理，并在美团搜索广告系统中显著提升了 CTR 和 CPM 指标。
2025-03-04 cs.AI cs.LG
Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
点击率（CTR）预测的目标是预测用户点击某个项目的概率，在推荐系统中已经变得越来越重要。近年来，一些深度学习模型能够从用户行为中自动提取用户兴趣，并取得了巨大的成功。在这些工作中，注意力机制被用来选择历史行为中的用户感兴趣的项目，提高CTR预测器的性能。通常，这些注意模块可以通过使用梯度下降与基本预测器联合训练。本文将用户兴趣建模看作是一个特征选择问题，我们称之为用户兴趣选择。针对这样的问题，我们提出了一种新的方法框架下的包装器方法，这是命名为元包装器。更具体地说，我们使用一个可微模块作为我们的包装算子，然后将其学习问题转换为连续的双层优化。此外，我们使用元学习算法来解决优化，并从理论上证明其收敛性。同时，我们也提供了理论分析表明，我们提出的方法1）效率的包装为基础的特征选择，2）实现了更好的抗过拟合。最后，在三个公共数据集上的实验表明，该方法在提高CTR预测性能方面具有优越性。
2022-06-28 cs.AI cs.IR
RESUS: Warm-Up Cold Users via Meta-Learning Residual User Preferences in CTR Prediction
Shanghai Jiao Tong University（上海交通大学）；WeChat, Tencent（腾讯微信）
冷用户的点击率预测是推荐系统中一个具有挑战性的任务。最近的研究已经求助于元学习来解决冷用户的挑战，其或者执行Few-Shot用户表示学习或者采用基于优化的元学习。然而，现有的方法存在信息丢失或优化效率低下的问题，并且无法明确地对全局用户偏好知识进行建模，而全局用户偏好知识对于补充稀疏且不足的冷用户偏好信息至关重要。在本文中，我们提出了一种新的和有效的方法命名为RESUS，它是从学习个人用户的剩余偏好学习的集体用户贡献的全局偏好知识。具体来说，我们采用了一个共享的预测器来推断基础用户偏好，从不同用户的交互中获取全局偏好知识。同时，我们开发了两个有效的算法的基础上最近的邻居和岭回归预测，通过快速学习，从一些用户特定的交互来推断剩余的用户偏好。在三个公共数据集上的大量实验表明，与各种最先进的方法相比，我们的RESUS方法在提高冷用户的CTR预测准确性方面是高效和有效的。
2022-10-28 cs.AI cs.IR
Field Matters: A Lightweight LLM-enhanced Method for CTR Prediction
Zhejiang University（浙江大学）；OPPO Research Institute（OPPO研究院）
LLaCTR通过领域级增强范式，提出一种轻量级LLM增强CTR预测方法，提升CTR预测的有效性和效率。
2026-01-28 cs.AI cs.IR
CTRQNets & LQNets: Continuous Time Recurrent and Liquid Quantum Neural Networks
Danbury Math Academy（丹bury数学学院）
针对传统量子神经网络静态结构限制动态智能的问题，提出液态量子神经网络LQNet与连续时间循环量子神经网络CTRQNet，在CIFAR 10二分类任务上准确率提升高达40%，为量子机器学习黑盒提供新启示。
2025-08-13 cs.AI cs.LG cs.NE
PRECTR: A Synergistic Framework for Integrating Personalized Search Relevance Matching and CTR Prediction
Alibaba Group（阿里巴巴集团）；Xi’an Jiaotong University（西安交通大学）
提出PRECTR框架，通过条件概率融合机制统一搜索相关性匹配与CTR预测，引入两阶段训练和语义一致性正则化，并利用用户相关性偏好定制激励，实验证明其有效性。
2025-03-26 cs.AI cs.IR
LARR: Large Language Model Aided Real-time Scene Recommendation with Semantic Understanding
Meituan（美团）
针对传统推荐系统缺乏实时场景语义理解及LLM处理长文本效率低的问题，提出LARR框架，通过注入领域知识并利用聚合编码器整合LLM输出，高效提升基于LLM的CTR建模与推荐性能。
2024-08-21 cs.AI cs.IR
Toward a benchmark for CTR prediction in online advertising: datasets, evaluation protocols and perspectives
Huazhong University of Science and Technology（华中科技大学）
本文提出Bench-CTR平台，通过比较不同模型在公开和合成数据集上的表现，评估CTR预测模型的性能及发展趋势。
2025-12-01 cs.AI cs.IR cs.LG
Semantic In-Domain Product Identification for Search Queries
Adobe Inc.（奥多比公司）
针对搜索查询中的产品识别问题，提出利用用户行为数据训练产品分类器的新颖语义方法，使CTR相对提升超25%，null rate降超50%，app cards展示量翻倍，有效提升了产品可见度。
2024-05-29 cs.AI cs.CL cs.IR
Rethinking Position Bias Modeling with Knowledge Distillation for CTR Prediction
Tsinghua University（清华大学）
点击率（CTR）预测在现实世界的在线广告系统中具有重要意义。CTR预测任务的一个挑战是从用户点击的项目中捕捉用户的真实兴趣，这固有地受到项目的呈现位置的影响，即，更靠前的位置倾向于获得更高的CTR值。一个流行的线现有的作品集中在明确估计位置偏差的结果随机化，这是昂贵的和低效的，或通过逆倾向加权（IPW），这在很大程度上依赖于质量的倾向估计。另一种常见的解决方案是在离线训练期间将位置建模为特征，并在服务时简单地采用固定值或dropout技巧。然而，训练-推理不一致可能导致次优性能。此外，诸如位置值的点击后信息是信息性的，而在CTR预测中较少利用。本文提出了一个简单而有效的知识蒸馏框架来减轻位置偏差的影响，并利用位置信息来提高CTR预测。我们在真实世界的生产数据集和在线A/B测试上展示了我们所提出的方法的性能，与竞争基线模型相比取得了显着的改进。所提出的方法已部署在现实世界中的在线广告系统，服务于世界上最大的电子商务平台之一的主要流量。
2022-04-01 cs.AI cs.IR cs.LG
APG: Adaptive Parameter Generation Network for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
针对传统深度CTR模型静态参数表征能力不足的问题，提出通用的自适应参数生成网络APG，可动态生成参数提升模型性能，兼具高效性，已在工业场景落地取得收益。
2023-12-12 cs.AI cs.IR cs.LG
DAIAN: Deep Adaptive Intent-Aware Network for CTR Prediction in Trigger-Induced Recommendation
Xianyu of Alibaba（阿里巴巴阿里鱼）
DAIAN通过动态适应用户意图偏好，解决触发诱导推荐中意图短视问题，提升CTR预测效果。
2026-02-15 cs.AI cs.IR
Differentiable NAS Framework and Application to Ads CTR Prediction
University of California at Berkeley（加州大学伯克利分校）；Facebook, Inc.（Facebook公司）
神经架构搜索（NAS）方法旨在自动找到由给定目标函数测量的最佳深度神经网络（DNN）架构，通常是任务准确性和推理效率的某种组合。对于许多领域，如计算机视觉和自然语言处理，这是一个关键的，但仍然耗时的过程。新的NAS方法最近在提高该过程的效率方面取得了进展。我们实现了一个可扩展的模块化框架，用于可区分的神经结构搜索（DNAS），以帮助解决这个问题。我们概述了代码库的主要组件以及它们如何交互，以及实现扩展的部分（包括示例），以帮助用户在不同类别的深度学习模型中采用我们的框架。为了评估我们的方法和实现的能力，我们将DNAS应用于广告点击率（CTR）预测问题，这可以说是当今超大规模企业中价值最高、研究最多的人工智能问题。我们开发并定制了新的搜索空间，以用于CTR预测的深度学习推荐模型（DLRM）骨干，并报告了Criteo Kaggle CTR预测数据集的最新结果。
2021-10-25 cs.AI cs.IR cs.LG
An Embedding Learning Framework for Numerical Features in CTR Prediction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）
点击率（CTR）预测对于工业推荐系统至关重要，其中大多数深度CTR模型遵循嵌入\特征交互范式。然而，大多数方法都集中在设计网络结构，以更好地捕捉特征的相互作用，而特征嵌入，特别是数值特征，一直被忽视。现有的基于离线专家知识的特征工程方法由于容量小或难以离散化，难以获取有用的知识。在本文中，我们提出了一种新的CTR预测（AutoDis）中数值特征的嵌入学习框架，具有高模型容量，端到端训练和独特的表示属性。AutoDis由三个核心组件组成：元嵌入，自动离散化和聚合。具体来说，我们提出了元嵌入每个数值领域学习全局知识的角度来看，一个可管理的参数数量。然后，可微分自动离散化执行软离散化，并捕获数值特征和元嵌入之间的相关性。最后，通过聚合函数学习独特和信息嵌入。在两个公共数据集和一个工业数据集上进行了综合实验，以验证AutoDis的有效性。此外，AutoDis已被部署到主流广告平台上，在线A/B测试显示，在CTR和eCPM方面，AutoDis分别比基础模型提高了2.1%和2.7%。此外，我们框架的代码在MindSpore（https：//gitee.com/mindspore/mindspore/tree/master/model_zoo/research/model/autodis）中公开。
2021-05-22 cs.AI cs.IR cs.LG
Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction
University of Technology Sydney（悉尼技术大学）；Rutgers University（罗格斯大学）
KarSein通过自适应高阶特征交互建模方法，提升CTR预测的准确性和效率，同时保持参数紧凑与解释性。
2025-12-04 cs.AI cs.IR cs.LG
MemoNet: Memorizing All Cross Features' Representations Efficiently via Multi-Hash Codebook Network for CTR Prediction
Sina Weibo（新浪微博）
提出MemoNet模型，将多哈希码本网络（HCNet）作为记忆机制融入CTR排序模型，高效学习并记忆交叉特征表示，在三个公开数据集和在线测试中超越现有方法，并展现码本规模扩展的性能增益规律。
2023-09-04 cs.AI cs.IR cs.LG
Looking at CTR Prediction Again: Is Attention All You Need?
BOSS Zhipin（BOSS直聘）
点击率（CTR）预测是网络搜索、推荐系统和在线广告显示中的关键问题。学习良好的功能交互对于反映用户对项目的偏好至关重要。基于深度学习的点击率预测模型已经提出了很多，但研究者通常只关注是否达到最先进的性能，而忽略了整个框架是否合理。在这项工作中，我们使用经济学中的离散选择模型来重新定义CTR预测问题，并提出了一个通用的神经网络框架建立在自我注意力机制。据发现，大多数现有的CTR预测模型与我们提出的一般框架。我们还研究了我们提出的框架的表达能力和模型的复杂性，以及一些现有模型的潜在扩展。最后，我们通过在公共数据集上的一些实验结果来证明和验证我们的见解。
2021-05-12 cs.AI cs.IR
Improving Conversational Recommendation System by Pretraining on Billions Scale of Knowledge Graph
Alibaba Group（阿里巴巴集团）；University of Macau（澳门大学）；Zhejiang University（浙江大学）
电子商务平台中的会话推荐系统（CRS）旨在通过多个会话交互向用户推荐物品。点击率（CTR）预测模型通常用于对候选项进行排名。然而，大多数CRS都受到数据稀缺和稀疏的问题。为了解决这个问题，我们提出了一种新的知识增强深度交叉网络（K-DCN），这是一种两步（预训练和微调）CTR预测模型来推荐项目。首先根据用户、项目和会话信息构建十亿级会话知识图谱（CKG），然后引入知识图谱嵌入方法和图卷积网络分别对CKG进行语义和结构信息编码，使CTR预测模型能够感知用户的当前状态以及会话与项目之间的关系，本文基于预先训练好的CKG，引入用户状态和对话交互表示，提出K-DCN，通过深度交叉网络融合用户状态表示、对话交互表示和其他常规特征表示，实验结果表明，该方法的推荐效果明显优于基线，并在Alime中得到了实际应用。
2021-04-30 cs.AI cs.IR
Click-Through Rate Prediction in Online Advertising: A Literature Review
Huazhong University of Science and Technology（华中科技大学）
预测用户点击特定广告的概率一直是在线广告中的一个普遍问题，在过去的几十年里吸引了许多研究关注。近年来，随着行业需求的不断增长，越来越多的新的学习模型被用于广告点击率预测。虽然现有的研究提供了必要的细节算法设计，以解决各种具体问题，在广告点击率预测，方法的演变和建模框架之间的连接被排除在外。然而，据我们所知，很少有关于这一主题的全面调查。我们对最新的CTR预测研究进行了系统的文献综述，特别关注建模框架。具体而言，我们给出了一个分类的国家的最先进的CTR预测模型在现存的文献中，基本建模框架及其扩展，优点和缺点，并进行CTR预测的性能评估。此外，我们总结了CTR预测模型的复杂性和特征交互的顺序，以及在各种数据集上的性能比较。此外，我们确定了当前的研究趋势，主要挑战和潜在的未来方向值得进一步探索。这篇综述有望为希望从事这一领域的IS和营销学者提供基础知识和有效的切入点。
2022-02-22 cs.AI cs.IR cs.LG
A General Framework for Debiasing in CTR Prediction
Alibaba Group（阿里巴巴集团）
大多数现有的点击率（CTR）预测方法都依赖于一个过于简化的假设，即，点击概率是观察概率和相关性概率的乘积。然而，由于这两个概率之间存在复杂的相互作用，这些方法不能应用于其他场景，例如查询自动完成（QAC）和路由推荐。我们提出了一个通用的去偏置框架，无需简化变量之间的关系，可以处理CTR预测中的所有场景。仿真实验表明：在最简单的情况下，我们的方法保持了类似的AUC与国家的最先进的方法;在其他情况下，我们的方法实现了相当大的改进，与现有的方法相比。同时，在在线实验中，该框架也获得了显着的改善一致。
2021-12-06 cs.AI cs.IR
Dynamic Parameterized Network for CTR Prediction
学习有效地捕捉特征关系是现代推荐系统中点击率预测的关键。大多数现有的CTR预测方法要么通过繁琐的手动设计的低阶交互，要么通过不灵活和低效的高阶交互来建模这种关系，这两者都需要额外的DNN模块进行隐式交互建模。在本文中，我们提出了一种新的插件操作，动态参数化操作（DPO），学习显式和隐式交互实例明智的。我们表明，将DPO引入DNN模块和Attention模块可以分别有利于CTR预测中的两个主要任务，即增强基于特征的建模的自适应性和改进具有实例局部性的用户行为建模。我们的动态参数化网络在公共数据集和真实世界生产数据集上的离线实验以及在线A/B测试中显着优于最先进的方法。此外，所提出的动态参数化网络已部署在世界上最大的电子商务公司之一的排名系统中，为数亿活跃用户的主要流量提供服务。
2021-11-09 cs.AI cs.IR
Breaking the Length Barrier: LLM-Enhanced CTR Prediction in Long Textual User Behaviors
Ant Group（蚂蚁集团）；Westlake University（西湖大学）
针对 LLM 处理长用户行为序列效率低的问题，本文提出 BAHE 分层编码架构，将行为编码与交互解耦并离线缓存原子行为嵌入，在保持 CTR 预测性能的同时将训练时间和内存降低五倍，并已在工业系统中实现千万级数据日更。
2024-03-28 cs.AI cs.IR
Explainable CTR Prediction via LLM Reasoning
Huawei Cloud BU（华为云业务部）；Institute of Finance Technology, UCL（伦敦大学学院金融科技学院）
提出 ExpCTR 框架，将基于 LLM 的解释生成直接融入 CTR 预测，并通过 LC/IC 奖励对齐、LoRA 与三阶段迭代训练，在三个真实数据集上同时提升准确性与可解释性。
2024-12-03 cs.AI cs.IR
Improving Native Ads CTR Prediction by Large Scale Event Embedding and Recurrent Networks
Microsoft Corporation（微软公司）
本文提出一种大规模事件嵌入方案，结合孪生网络与弱监督编码用户浏览事件，并利用带注意力层的循环神经网络建模用户历史，显著提升原生广告CTR预测性能。
2023-10-17 cs.AI cs.LG stat.ML
CTR-LoRA: Curvature-Aware and Trust-Region Guided Low-Rank Adaptation for Large Language Models
Cornell University（康奈尔大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Oak Ridge National Laboratory（橡树岭国家实验室）；Yale University（耶鲁大学）；University of California, Irvine（加州大学欧文分校）；Tulane University（路易斯安那大学塔兰帕伊斯分校）
本文提出 CTR-LoRA，利用曲率置信域、二阶边际效用秩分配和稳定性感知优化，提升大语言模型 PEFT 的准确率、稳定性、内存效率与吞吐量。
2025-10-11 cs.AI cs.LG
FiBiNet++: Reducing Model Size by Low Rank Feature Interaction Layer for CTR Prediction
Sina Weibo（新浪微博）；Brandeis University（布兰迪斯大学）
针对FiBiNet模型规模大难以广泛应用的问题，本文提出FiBiNet++模型，通过引入面向特征交互的低秩层重构结构，在将非嵌入参数量压缩12-16倍的同时，相较前沿CTR方法实现了性能提升。
2023-08-21 cs.AI cs.IR
Mitigating Early Training Collapse in CTR Models
Huawei Türkiye R&D Center（华为土耳其研发中心）
研究针对点击率预测模型早期训练崩溃问题，通过大规模工业数据集分析，发现降低学习率效果不佳，而控制特征稀疏性如去除高度稀疏特征、聚合罕见特征值可稳定训练，提升离线和在线性能。
2026-07-14 cs.AI cs.LG
AdnFM: An Attentive DenseNet based Factorization Machine for CTR Prediction
Tencent（腾讯）；Tencent Lightspeed & Quantum Studios（腾讯光子与量子工作室）
在本文中，我们考虑点击率（CTR）预测问题。因式分解机及其变体考虑成对特征交互，但由于高时间复杂度，通常我们不会使用FM进行高阶特征交互。鉴于深度神经网络（DNN）在许多领域的成功，研究人员提出了几种基于DNN的模型来学习高阶特征交互。多层感知器（MLP）已被广泛用于学习从特征嵌入到最终逻辑的可靠映射。在本文中，我们的目标是探索更多关于这些高阶特征的相互作用。然而，高阶特征交互值得更多的关注和进一步的发展。受密集连接卷积网络（DenseNet）在计算机视觉中取得的巨大成就的启发，提出了一种新的基于DenseNet的因子分解机（AdnFM）模型。AdnFM通过将前馈神经网络的所有隐藏层作为隐式高阶特征来提取更全面的深度特征，然后通过注意力机制来选择主导特征。此外，使用DNN的隐式方式的高阶交互比显式方式更具成本效益，例如FM。在两个真实数据集上的大量实验表明，该模型可以有效地提高CTR预测的性能。
2021-11-28 cs.AI cs.IR cs.SI
