End-to-End User Behavior Retrieval in Click-Through RatePrediction Model
Alibaba Group（阿里巴巴集团）
点击率预测是推荐系统的核心任务之一。它预测每个用户-项目对的个性化点击概率。近年来，研究人员发现，考虑用户行为序列，特别是长期用户行为序列，可以大大提高CTR模型的性能。某电子商务网站的报告显示，23%的用户在过去5个月内的点击量超过1000次。虽然有大量的工作集中在建模连续的用户行为，很少有工作可以处理长期的用户行为序列，由于严格的推理时间限制，在现实世界的系统。提出了两阶段方法来推动极限以获得更好的性能。在第一阶段，设计了一个辅助任务，用于从长期用户行为序列中检索前$k$相似项。在第二阶段，经典注意力机制在候选项目和第一阶段中选择的$k$项目之间进行。然而，在检索阶段和主要的CTR任务之间存在信息差。这种目标偏离会大大降低长期用户序列的性能增益。本文受Reformer的启发，提出了一种局部敏感哈希（LSH）方法ETA（End-to-end Target Attention），该方法可以大大降低训练和推理的代价，使长时间用户行为序列的端到端训练成为可能。离线和在线实验都证实了我们模型的有效性。我们将ETA部署到一个大规模的真实世界的电子商务系统中，并实现了额外的3.1%的GMV（总销售价值）相比，两个阶段的长用户序列CTR模型。
2021-08-10 cs.AI cs.IR
Why Don't You Click: Neural Correlates of Non-Click Behaviors in Web Search
网络搜索在很大程度上依赖于点击行为，作为性能改进和评估的重要反馈信号。传统上，点击通常被视为相关性或有用性的正隐反馈信号，而非点击（尤其是检查后的非点击）则被视为无关性或无用性的信号。然而，在许多情况下，用户不点击任何搜索结果，但仍然通过搜索引擎结果页面（SERP）上显示的结果内容来满足他们的信息需求。这就提出了在“零点击”搜索场景中测量结果有用性和建模用户满意度的问题。以前的工作已经解决了这个问题，通过（1）检测用户满意度放弃SERP与上下文信息和（2）考虑结果级点击的必要性与外部评估员的注释。然而，很少有作品调查了非点击行为背后的原因，并估计非点击结果的有用性。这个研究问题的一个挑战是如何收集非点击结果的有价值的反馈。利用神经成像技术，我们设计了一个基于实验室的用户研究，并揭示了大脑信号的差异，同时检查了具有不同有用性水平的非点击搜索结果。在显著脑区和脑电频谱上的发现也表明，有用性判断过程可能涉及相似的认知功能，即相关感知和满意解码。受这些发现的启发，我们进行了监督学习任务，用大脑信号和常规信息（即，内容和背景因素）。结果表明，在“零点击”搜索场景下，利用脑电信号来提高有用性估计性能和增强人机交互是可行的。
2021-09-22 cs.IR cs.IT math.IT
DGenCTR: Towards a Universal Generative Paradigm for Click-Through Rate Prediction via Discrete Diffusion
针对点击率预测中传统判别式模型受限于标签稀缺及序列生成范式不适用的问题，本文提出两阶段离散扩散生成式CTR框架DGenCTR，通过生成式预训练与CTR微调提升性能，并经离线与在线实验验证有效。
2025-08-27 cs.IR
ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding
Sina Weibo Corp（新浪微博公司）
点击率（CTR）估计是个性化广告和推荐系统中的一项基本任务，有效地捕捉复杂的高阶特征对排名模型至关重要，受自然语言处理领域ELMO和BERT的成功启发，他们根据词出现的上下文句子信息动态地细化词嵌入，我们认为，在CTR估计任务中，根据输入实例中包含的上下文信息，逐层动态地细化每个特征的嵌入也很重要。通过这种方式，我们可以有效地捕获每个功能的有用功能交互。在本文中，我们提出了一种新的CTR框架命名为ContextNet隐式模型高阶功能的相互作用，根据输入上下文动态细化每个功能的嵌入。具体来说，ContextNet由两个关键组件组成：上下文嵌入模块和ContextNet块。上下文嵌入模块从输入实例中聚合每个特征的上下文信息，ContextNet模块逐层维护每个特征的嵌入，并通过将上下文高阶交互信息合并到特征嵌入中来动态细化其表示。为了使框架更具体，我们还在该框架下通过在ContextNet块中引入线性上下文嵌入网络和两个非线性映射子网络，提出了两个模型（ContextNet-PFFN和ContextNet-SFFN）。我们在四个真实世界的数据集上进行了广泛的实验，实验结果表明，我们提出的ContextNet-PFFN和ContextNet-SFFN模型的性能明显优于DeepFM和xDeepFM等最先进的模型。
2021-07-26 cs.AI cs.IR
Why Do We Click: Visual Impression-aware News Recommendation
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；National university of Singapore（新加坡国立大学）
由于信息过载，人们对新闻推荐研究的兴趣日益高涨。为了准确地捕捉用户的兴趣，我们提出了多模态的功能，除了在现有的作品中广泛使用的新闻标题，新闻推荐。另外，现有的研究在设计多模态建模模块时很少关注点击决策过程。在这项工作中，灵感的事实，用户使他们的点击决定主要是基于他们在浏览新闻时所感知的视觉印象，我们建议捕捉这样的视觉印象信息与视觉语义建模的新闻推荐。具体而言，我们设计了局部印象建模模块，在理解新闻标题语义的同时，兼顾印象中的分解细节，从而更接近用户阅读新闻的过程。此外，我们从全局的角度来考察印象，并将结构信息，如不同领域的安排和不同单词在印象中的空间位置，纳入多模态建模。为了适应视觉印象感知新闻推荐的研究，我们通过添加快照印象图像来扩展文本主导的新闻推荐数据集MIND，并将其发布以滋养该研究领域。与最先进的新闻推荐器的广泛比较以及深入分析证明了所提出的方法的有效性以及为基于内容的推荐器建模视觉印象的良好能力。
2021-09-26 cs.AI cs.IR cs.MM
AT4CTR: Auxiliary Match Tasks for Enhancing Click-Through Rate Prediction
针对工业推荐系统中负样本下采样加剧的CTR预测数据稀疏问题，提出AT4CTR方法，通过两个基于InfoNCE损失的辅助匹配任务增强用户-物品相关性建模，加快收敛并提升精度，已在工业广告系统落地并获显著收益。
2023-12-18 cs.IR
Ads that Talk Back: Implications and Perceptions of Injecting Personalized Advertising into LLM Chatbots
University of Michigan（密歇根大学）；Indiana University Bloomington（印第安纳大学布卢明顿分校）
本研究通过实验证明，将个性化广告注入LLM响应仅轻微影响性能，且用户难以察觉甚至偏好隐藏广告，并开发了广告数据集与开源模型Phi-4-Ads。
2025-10-04 cs.AI cs.HC
AdaEnsemble: Learning Adaptively Sparse Structured Ensemble Network for Click-Through Rate Prediction
Credit Karma
在推荐系统和广告排名中，学习特征交互对于大规模CTR预测的成功至关重要。研究人员和实践者广泛提出了各种神经网络架构，用于搜索和建模特征交互。然而，我们观察到不同的数据集有利于不同的神经网络架构和特征交互类型，这表明不同的特征交互学习方法可能有自己独特的优势。受此观察的启发，我们提出AdaEntrance：一个稀疏门控混合专家（SparseMoE）架构，可以利用异构特征交互专家的优势，并自适应地学习路由到每个示例的稀疏专家组合，使我们能够构建不同类型和顺序的特征交互的动态层次结构。为了进一步提高预测精度和推理效率，我们采用了动态提前退出机制进行特征交互深度选择。AdaEntrance可以自适应地选择特征交互深度，并找到相应的SparseMoE堆叠层以退出并计算预测。因此，我们提出的架构继承了SparseMoE层内稀疏门控专家的指数组合的优势，并进一步动态选择最佳特征交互深度，而无需执行更深的层。我们实现了建议的AdaEntrance，并评估其在真实世界的数据集上的性能。大量的实验结果证明了AdaEntrance的效率和有效性超过国家的最先进的模型。
2023-01-06 cs.AI cs.IR cs.LG
Beyond Syntax: Action Semantics Learning for App Agents
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
本文提出动作语义学习框架ASL，通过捕捉地面真实动作的语义来提升应用代理的准确性和泛化能力，克服了传统语法学习在分布外鲁棒性上的不足。
2026-04-06 cs.AI
DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction
Tsinghua University（清华大学）；Tencent（腾讯）
本文提出DELTA模型，利用截断意识注意力动态学习嵌入，通过课程学习选择关键特征并显式优化嵌入，在五个CTR数据集上达到最先进性能。
2023-09-05 cs.IR cs.LG
Star+: A New Multi-Domain Model for CTR Prediction
针对多域CTR预测中现有方法难捕捉域分布与域间关系的问题，提出Star+模型，通过多种融合策略平衡共享与域专属信息，结合不同归一化技术，在工业和公开数据集上实现准确率与效率的显著提升，为多域推荐提供鲁棒自适应方案。
2024-06-24 cs.IR
AdnFM: An Attentive DenseNet based Factorization Machine for CTR Prediction
Tencent（腾讯）；Tencent Lightspeed & Quantum Studios（腾讯光子与量子工作室）
在本文中，我们考虑点击率（CTR）预测问题。因式分解机及其变体考虑成对特征交互，但由于高时间复杂度，通常我们不会使用FM进行高阶特征交互。鉴于深度神经网络（DNN）在许多领域的成功，研究人员提出了几种基于DNN的模型来学习高阶特征交互。多层感知器（MLP）已被广泛用于学习从特征嵌入到最终逻辑的可靠映射。在本文中，我们的目标是探索更多关于这些高阶特征的相互作用。然而，高阶特征交互值得更多的关注和进一步的发展。受密集连接卷积网络（DenseNet）在计算机视觉中取得的巨大成就的启发，提出了一种新的基于DenseNet的因子分解机（AdnFM）模型。AdnFM通过将前馈神经网络的所有隐藏层作为隐式高阶特征来提取更全面的深度特征，然后通过注意力机制来选择主导特征。此外，使用DNN的隐式方式的高阶交互比显式方式更具成本效益，例如FM。在两个真实数据集上的大量实验表明，该模型可以有效地提高CTR预测的性能。
2021-11-28 cs.AI cs.IR cs.SI
STAR: Structured Tokenization and Target-Aware Interest Representation for PCVR Prediction
Tsinghua University（清华大学）；Peking University（北京大学）
针对KDD Cup 2026腾讯UniRec挑战赛，提出STAR框架，结合结构化分词与目标感知兴趣表示，经实验验证其各组件对PCVR预测的AUC有显著提升。
2026-08-19 cs.IR
TBIN: Modeling Long Textual Behavior Data for CTR Prediction
Meituan（美团）
针对文本行为建模中的长序列截断与兴趣压缩问题，本文提出TBIN，利用局部敏感哈希和移位分块自注意力动态激活用户多样兴趣，并在食品推荐平台的离线与在线实验中验证其CTR预测效果。
2023-08-09 cs.CL cs.IR cs.LG
Dual Graph enhanced Embedding Neural Network for CTR Prediction
点击率预测是在线广告和推荐系统中的一个重要环节，其目的是估计用户点击某个项目的概率。基于特征交互建模和基于用户兴趣挖掘的CTR预测方法是两种最流行的CTR预测技术，经过多年的研究，取得了很大的进展。然而，（1）严重依赖于不同特征的同现的基于特征交互的方法可能遭受特征稀疏性问题（即，许多特征出现很少）;（2）基于用户兴趣挖掘的方法需要丰富的用户行为来获得用户的多样兴趣，容易遇到行为稀疏问题（即，许多用户具有非常短的行为序列）。为了解决这些问题，我们提出了一个新的模块名为对偶图增强嵌入，它是兼容各种CTR预测模型，以缓解这两个问题。我们进一步提出了一个对偶图增强嵌入神经网络（DG-ENN）的CTR预测。Dual Graph enhanced Embedding利用图表示的优势，采用两种精心设计的学习策略（分而治之，启发式学习的有组织学习）来改进嵌入。我们在三个真实世界的工业数据集上进行了全面的实验。实验结果表明，我们提出的DG-ENN显着优于国家的最先进的CTR预测模型。此外，当应用于最先进的CTR预测模型时，双图增强嵌入总是获得更好的性能。进一步的案例研究表明，我们提出的对偶图增强嵌入可以缓解特征稀疏性和行为稀疏性问题。我们的框架将在不久的将来基于MindSpore开源。
2021-06-08 cs.IR
PaletteID: Prototype-Composed Semantic Identifiers for Multimodal CTR Prediction
Huazhong University of Science and Technology（华中科技大学）；Central China Normal University（华中师范大学）
提出PaletteID模型，以SQ-DPP构建原型调色板聚合语义相关原型，在两个公开数据集上提升CTR预测性能，对长尾物品增益更显著且标识符分配更鲁棒、语义更可解释。
2026-08-03 cs.IR cs.LG
Modeling Long-term User Behaviors with Diffusion-driven Multi-interest Network for CTR Prediction
本文提出DiffuMIN模型，通过面向目标的多兴趣提取、扩散生成增强兴趣和对比学习，解决两阶段CTR预测模型丢失多样化兴趣的问题，并在离线与在线实验中取得显著提升。
2025-09-19 cs.IR
Modeling Relevance Ranking under the Pre-training and Fine-tuning Paradigm
School of Information, Renmin University of China（中国人民大学信息学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，预训练的语言模型，如BERT已被应用于信息检索的文档排序，其首先在未标记的大型语料库上预训练通用语言模型，然后在专家标记的相关性数据集上进行特定于排名的微调。理想情况下，IR系统将从用户-系统二元论（用户的观点和系统的观点）来建模相关性。用户视图基于“真实用户”的活动来判断相关性，而系统视图关注来自系统侧的相关性信号，例如，受用户-系统相关性观点和预训练语言模型成功的启发，本文提出了一种新的排名框架Pre-Rank，该框架在预训练和微调范式下同时考虑了用户和系统的观点。具体来说，为了对用户的相关性视图进行建模，Pre-Rank基于大规模用户活动数据（如点击日志）对初始查询文档表示进行预训练。为了对系统的相关性视图进行建模，Pre-Rank进一步根据专家标记的相关性数据对模型进行微调。更重要的是，预先训练的表示与手工制作的学习排名功能一起在广泛而深入的网络架构下进行了微调。通过这种方式，Pre-Rank可以通过结合来自真实搜索用户和IR专家的相关知识和信号来对相关性进行建模。为了验证Pre-Rank的有效性，我们分别使用BERT和SetRank作为底层排名模型，展示了两种实现。基于三个公开的基准测试的实验结果表明，在这两种实现中，Pre-Rank可以分别优于底层的排名模型，并达到了最先进的性能。
2021-08-12 cs.CL cs.IR
