Rethinking Position Bias Modeling with Knowledge Distillation for CTR Prediction
Tsinghua University（清华大学）
点击率（CTR）预测在现实世界的在线广告系统中具有重要意义。CTR预测任务的一个挑战是从用户点击的项目中捕捉用户的真实兴趣，这固有地受到项目的呈现位置的影响，即，更靠前的位置倾向于获得更高的CTR值。一个流行的线现有的作品集中在明确估计位置偏差的结果随机化，这是昂贵的和低效的，或通过逆倾向加权（IPW），这在很大程度上依赖于质量的倾向估计。另一种常见的解决方案是在离线训练期间将位置建模为特征，并在服务时简单地采用固定值或dropout技巧。然而，训练-推理不一致可能导致次优性能。此外，诸如位置值的点击后信息是信息性的，而在CTR预测中较少利用。本文提出了一个简单而有效的知识蒸馏框架来减轻位置偏差的影响，并利用位置信息来提高CTR预测。我们在真实世界的生产数据集和在线A/B测试上展示了我们所提出的方法的性能，与竞争基线模型相比取得了显着的改进。所提出的方法已部署在现实世界中的在线广告系统，服务于世界上最大的电子商务平台之一的主要流量。
2022-04-01 cs.AI cs.IR cs.LG
Deep Interest Evolution Network for Click-Through Rate Prediction
Alibaba Inc（阿里巴巴集团）
点击率预测是广告系统的核心任务之一，其目标是估计用户点击的概率。对于点击率预测模型，需要捕捉用户行为数据背后潜在的用户兴趣。此外，考虑到外部环境和内部认知的变化，用户兴趣随时间动态演化。兴趣建模的点击率预测方法有多种，但大多数都是直接将行为的表现形式看作兴趣，缺乏对具体行为背后潜在兴趣的专门建模。此外，很少有研究考虑到利益的变化趋势。在本文中，我们提出了一种新的模型，命名为深度兴趣进化网络~（DIEN），点击率预测。具体来说，我们设计了兴趣提取器层，从历史行为序列中捕获时间兴趣。在这一层，我们引入了一个辅助损失来监督每一步的利息提取。由于用户兴趣的多样性，特别是在电子商务系统中，我们提出的兴趣进化层捕捉的兴趣演变过程，是相对于目标项目。在利益演化层，注意机制被新颖地嵌入到序列结构中，在利益演化过程中强化了相对利益的作用。在公共和工业数据集上的实验中，DIEN的性能明显优于最先进的解决方案。值得注意的是，DIEN已经部署在淘宝的展示广告系统中，并获得了20.7%的CTR提升。
2018-11-16 cs.IR cs.LG stat.ML
GenCI: Generative Modeling of User Interest Shift via Cohort-based Intent Learning for CTR Prediction
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；WeChat, Tencent（腾讯微信）
GenCI通过生成用户兴趣群体建模动态兴趣转移，提升CTR预测的准确性与鲁棒性。
2026-01-26 cs.IR
DADIN: Domain Adversarial Deep Interest Network for Cross Domain Recommender Systems
Central South University（中南大学）；Shanghai University of Engineering Science（上海工程技术大学）；The University of Melbourne（墨尔本大学）；Yongriver Institute of Technology（甬江理工学院）；Eastern Institute for Advanced Study（东方高等研究院）
提出DADIN模型，通过领域无关层和对抗训练实现跨域联合分布对齐，在Huawei和Amazon数据集上取得SOTA的CTR预测效果。
2023-05-20 cs.AI cs.IR cs.LG
Reformulating CTR Prediction: Learning Invariant Feature Interactions for Recommendation
针对传统ERM范式下CTR预测学习的特征交互泛化性差的问题，提出解耦不变学习DIL及高效版本LightDIL，通过解耦特征嵌入捕获环境不变与特定相关性，实验验证了其学习稳定特征交互的有效性。
2023-04-26 cs.IR
TBIN: Modeling Long Textual Behavior Data for CTR Prediction
Meituan（美团）
针对文本行为建模中的长序列截断与兴趣压缩问题，本文提出TBIN，利用局部敏感哈希和移位分块自注意力动态激活用户多样兴趣，并在食品推荐平台的离线与在线实验中验证其CTR预测效果。
2023-08-09 cs.CL cs.IR cs.LG
Neighbour Interaction based Click-Through Rate Prediction via Graph-masked Transformer
The University of Manchester（曼彻斯特大学）；National Centre for Text Mining（国家文本挖掘中心）；Tencent AI Lab（腾讯人工智能实验室）；Tencent（腾讯）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
点击率（CTR）预测，其目的是估计用户将点击一个项目的概率，是在线广告的一个重要组成部分。现有的方法主要试图从用户的历史行为中挖掘用户兴趣，其中包含用户直接交互的项目。虽然这些方法已经取得了很大的进步，但它们往往受到推荐系统的直接暴露和不活跃的交互的限制，从而无法挖掘所有潜在的用户兴趣。为了解决这些问题，我们提出了基于邻居交互的CTR预测（NI-CTR），它认为这是一个异构信息网络（HIN）设置下的任务。简而言之，基于邻居交互的CTR预测涉及HIN中目标用户-项目对的局部邻居以预测它们的链接。为了指导局部邻域的表示学习，我们进一步从显式和隐式两个角度考虑了局部邻域节点之间的不同类型的交互，并提出了一种新的图掩码Transformer（GMT）算法，有效地结合了这些类型的交互，为目标用户-项目对生成具有高度代表性的嵌入.此外，为了提高模型对邻居采样的鲁棒性，我们在邻域嵌入上实施了一致性正则化损失。我们在两个真实世界的数据集上进行了大量的实验，实验结果表明，我们提出的方法明显优于最先进的CTR模型。同时，全面的消融研究验证了我们的模型的每个组成部分的有效性。此外，我们已经在拥有数十亿用户的微信公众号平台上部署了这个框架。在线A/B测试表明，与所有在线基线相比，平均CTR提高了21.9。
2022-07-22 cs.AI cs.IR cs.LG
Modeling Long-term User Behaviors with Diffusion-driven Multi-interest Network for CTR Prediction
本文提出DiffuMIN模型，通过面向目标的多兴趣提取、扩散生成增强兴趣和对比学习，解决两阶段CTR预测模型丢失多样化兴趣的问题，并在离线与在线实验中取得显著提升。
2025-09-19 cs.IR
FedCTR: Federated Native Ad CTR Prediction with Multi-Platform User Behavior Data
原生广告是一种流行的在线广告类型，其形式与网站上显示的原生内容相似。原生广告CTR预测对于提升用户体验和平台收益非常有用。然而，由于缺乏明确的用户意图，这是具有挑战性的，并且用户在具有原生广告的平台上的行为可能不足以推断他们对广告的兴趣。幸运的是，用户行为存在于许多在线平台上，它们可以为用户兴趣挖掘提供补充信息。因此，利用多平台用户行为对于原生广告CTR预测是有用的。然而，由于用户隐私问题和GDPR等数据保护法规，用户行为具有高度隐私敏感性，不同平台上的行为数据无法直接聚合。现有的点击率预测方法通常需要集中存储用户行为数据进行用户建模，无法直接应用于多平台用户行为的点击率预测任务。在本文中，我们提出了一个联合的原生广告CTR预测方法FedCTR，它可以学习用户的兴趣表示，从他们的行为在多个平台上的隐私保护的方式。在每个平台上，本地用户模型用于从该平台上的本地用户行为中学习用户嵌入。将来自不同平台的本地用户嵌入上传到服务器进行聚合，并将聚合的用户嵌入发送到广告平台进行CTR预测。此外，为了更好的隐私保护，我们分别将LDP和DP技术应用于本地和聚合用户嵌入。此外，我们提出了一个用于使用分布式模型和用户行为进行模型训练的联邦框架。在真实数据集上的大量实验表明，FedCTR可以有效地利用多平台用户行为，以隐私保护的方式进行原生广告CTR预测。
2020-07-23 cs.IR
Dual Graph enhanced Embedding Neural Network for CTR Prediction
点击率预测是在线广告和推荐系统中的一个重要环节，其目的是估计用户点击某个项目的概率。基于特征交互建模和基于用户兴趣挖掘的CTR预测方法是两种最流行的CTR预测技术，经过多年的研究，取得了很大的进展。然而，（1）严重依赖于不同特征的同现的基于特征交互的方法可能遭受特征稀疏性问题（即，许多特征出现很少）;（2）基于用户兴趣挖掘的方法需要丰富的用户行为来获得用户的多样兴趣，容易遇到行为稀疏问题（即，许多用户具有非常短的行为序列）。为了解决这些问题，我们提出了一个新的模块名为对偶图增强嵌入，它是兼容各种CTR预测模型，以缓解这两个问题。我们进一步提出了一个对偶图增强嵌入神经网络（DG-ENN）的CTR预测。Dual Graph enhanced Embedding利用图表示的优势，采用两种精心设计的学习策略（分而治之，启发式学习的有组织学习）来改进嵌入。我们在三个真实世界的工业数据集上进行了全面的实验。实验结果表明，我们提出的DG-ENN显着优于国家的最先进的CTR预测模型。此外，当应用于最先进的CTR预测模型时，双图增强嵌入总是获得更好的性能。进一步的案例研究表明，我们提出的对偶图增强嵌入可以缓解特征稀疏性和行为稀疏性问题。我们的框架将在不久的将来基于MindSpore开源。
2021-06-08 cs.IR
Deep Group Interest Modeling of Full Lifelong User Behaviors for CTR Prediction
University of Science and Technology of China（中国科学技术大学）；Meituan（美团）；University of Electronic Science and Technology of China（电子科技大学）
针对点击率预测中两阶段行为兴趣建模存在信息损失、仅用点击行为不全面的问题，提出DGIN网络，通过分组全量行为、引入双属性结合Transformer建模全生命周期兴趣，兼顾效率与预测精度。
2024-10-29 cs.AI cs.IR
Decision-Making Context Interaction Network for Click-Through Rate Prediction
Meituan（美团）
点击率（CTR）预测在推荐和在线广告系统中至关重要。现有的方法通常对用户行为进行建模，而忽略了影响用户做出点击决策的信息上下文，例如，点击页面和预先排名的候选人，告知有关用户兴趣的推断，导致次优性能。在本文中，我们提出了一个决策上下文交互网络（DCIN），它部署了一个精心设计的上下文交互单元（CIU）来学习决策上下文，从而有利于CTR预测。此外，不同的决策上下文源之间的关系进行了探索，提出了自适应兴趣聚合单元（AIAU），以进一步提高CTR预测。在公共数据集和工业数据集上的实验中，DCIN显著优于最先进的方法。值得注意的是，该模型在线A/B测试获得了CTR+2. 9%/CPM+2. 1%/GMV+1. 5%的提升，并服务于美团外卖广告系统的主要流量。
2023-01-29 cs.IR cs.LG
A Non-sequential Approach to Deep User Interest Model for CTR Prediction
点击率预测在许多工业应用中起着重要的作用，近年来，利用注意力机制从历史行为中捕捉用户兴趣的深度兴趣模型受到了广泛关注。然而，目前大多数模型都是基于序列模型的，这些模型将行为序列截短固定长度，从而难以处理很长的行为序列。另一个大问题是，相同长度的序列在时间上可能完全不同，具有完全不同的含义。在本文中，我们提出了一个非顺序的方法来解决上述问题。具体来说，我们首先以稀疏键向量格式表示行为数据，其中向量包含丰富的行为信息，如时间，计数和类别。接下来，我们增强了深度兴趣网络，通过一个新的注意力网络来考虑这些丰富的信息。稀疏表示使得处理大规模的长行为序列成为可能。最后，我们引入了一个多维划分框架来挖掘行为交互。该框架可以将数据划分到定制设计的时间桶中，以捕获在不同时间桶中聚合的信息之间的交互。同样，它也可以将数据划分为不同的类别，并捕获它们之间的交互。实验在两个公共数据集上进行：一个是广告数据集，另一个是生产推荐数据集。我们的模型在这两个数据集上都优于其他最先进的模型。
2021-05-21 cs.IR
HoMer: Addressing Heterogeneities by Modeling Sequential and Set-wise Contexts for CTR Prediction
Meituan Shanghai, China（美团上海，中国）
针对CTR预测中的特征、上下文和架构三类异质性，提出HoMer统一Transformer模型，通过特征对齐、集合式预测和编码器-解码器架构，在AUC提升0.0099并节省27%GPU资源。
2025-10-23 cs.AI cs.IR
CSPM: A Contrastive Spatiotemporal Preference Model for CTR Prediction in On-Demand Food Delivery Services
Alibaba Group（阿里巴巴集团）
本文提出CSPM，通过CSRL、StPE和StIF建模搜索状态下的时空偏好与特征，在工业数据集上达到最优，并在饿了么上线使CTR提升0.88%。
2023-08-10 cs.IR cs.LG
Time Matters: A Novel Real-Time Long- and Short-term User Interest Model for Click-Through Rate Prediction
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
本文针对CTR预测中用户兴趣随时间变化的问题，提出基于周期性模式和时间点模式的时间感知长短期兴趣建模方法，并在公开及工业数据集上验证其优于现有方法。
2025-11-09 cs.IR cs.LG
Multi-granularity Interest Retrieval and Refinement Network for Long-Term User Behavior Modeling in CTR Prediction
针对长期用户行为建模中检索查询单一及子序列关系信息被忽视的问题，提出MIRRN，通过多时间尺度查询、多头傅里叶transformer和目标注意力提升CTR预测，并在线上取得收益。
2025-02-17 cs.IR
Sampling Is All You Need on Modeling Long-Term User Behaviors for CTR Prediction
Meituan Inc.（美团公司）
丰富的用户行为数据已被证明对点击率（CTR）预测应用程序具有重要价值，特别是在工业推荐，搜索或广告系统中。然而，由于在线服务时间的严格要求，现实世界的系统要充分利用长期的用户行为是不平凡的。以往的研究大多采用基于检索的策略，即先检索少量的用户行为，以供后续的注意。然而，基于检索的方法是次优的，会造成或多或少的信息损失，并且难以平衡检索算法的有效性和效率。在本文中，我们提出了SDIM（基于采样的深度兴趣建模），这是一种简单而有效的基于采样的端到端方法，用于对长期用户行为进行建模。从多个散列函数中采样，生成候选项和用户行为序列中每个项的散列签名，通过直接收集与具有相同散列签名的候选项相关联的行为项来获取用户兴趣。我们从理论上和实验上表明，该方法在建模长期用户行为时与标准的基于注意力的模型表现相当，同时速度要快很多倍。并介绍了SDIM在本系统中的部署。具体来说，我们通过设计一个名为BSE（行为序列编码）的单独模块，将最耗时的行为序列哈希从CTR模型中解耦出来。BSE对于CTR服务器是无延迟的，使我们能够对极长的用户行为进行建模。离线和在线实验都证明了SDIM的有效性。SDIM现已在美团APP搜索系统上线部署。
2022-08-08 cs.AI cs.IR
Implicit Look-alike Modelling in Display Ads: Transfer Collaborative Filtering to CTR Estimation
University College London（伦敦大学学院）；MediaGamma Limited（MediaGamma有限公司）
用户行为定位在在线广告中至关重要。与赞助搜索关键字定位和上下文广告页面内容定位相比，用户行为定位通过跟踪用户的在线行为来建立用户的兴趣档案，然后根据每个用户的兴趣提供相关的广告，这导致更高的定位准确性，从而更好地改善广告效果。当前的用户分析方法包括构建关键字和主题标签或将用户映射到层次分类法。然而，据我们所知，有没有以前的工作，明确调查用户在线访问的相似性，并将这种相似性到他们的广告响应预测。在这项工作中，我们提出了一个通用的框架，学习用户简档的基础上，他们的在线浏览行为，并将学习到的知识，他们的广告响应的预测。在技术上，我们提出了一个基于概率潜在因素图模型的迁移学习模型，其中用户的广告响应配置文件是从他们的在线浏览配置文件生成的。基于真实世界数据的大规模实验表明，我们的解决方案在一些强基线上有显着的改善。
2016-01-11 cs.IR cs.LG
Incorporating Group Prior into Variational Inference for Tail-User Behavior Modeling in CTR Prediction
Kuaishou Technology（快手科技）
针对CTR预测中尾部用户行为稀疏导致兴趣建模困难的问题，提出GPSVI方法，通过引入群体偏好作为变分推断先验并结合保体积流，在保持头部用户效果的同时持续提升尾部用户表现。
2024-10-19 cs.AI cs.IR
Deep Evolutional Instant Interest Network for CTR Prediction in Trigger-Induced Recommendation
Alibaba Group（阿里巴巴集团）；SIGS, Tsinghua University（清华大学深圳国际研究生院）
针对触发式推荐中用户即时兴趣随滚动动态变化及触发物品交互建模不足的问题，提出DEI2N，融合时间行为信息、兴趣演化层与交互层，并在离线、工业数据和在线A/B测试中验证其CTR预测优势。
2024-08-04 cs.IR cs.LG
TWIN: TWo-stage Interest Network for Lifelong User Behavior Modeling in CTR Prediction at Kuaishou
针对CTR预测中GSU与ESU相关性指标不一致导致性能下降的问题，提出两阶段兴趣网络TWIN，通过行为特征拆分和缓存策略将一致性注意力机制扩展到长序列行为建模，显著提升了预测准确率。
2023-06-27 cs.IR
CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning
Alibaba Group（阿里巴巴集团）
本文主要研究广告文本的自动生成，目标是使生成的文本能够捕捉用户的兴趣，从而获得更高的点击率。我们提出了CREATER，一个点击率驱动的广告文本生成方法，基于高质量的用户评论生成广告文本。为了融入CTR目标，我们的模型使用对比学习从在线A/B测试数据中学习，这鼓励模型生成获得更高CTR的广告文本。为了缓解低资源问题，我们设计了一个自定义的自监督目标，减少了预训练和微调之间的差距。在工业数据集上的实验表明，CREATER显著优于当前的方法。它已被部署在一个领先的广告平台上，并带来了核心在线指标的提升。
2022-05-18 cs.CL cs.IR
MISS: Multi-Interest Self-Supervised Learning Framework for Click-Through Rate Prediction
点击率预测是现代推荐系统的关键。从早期的因子分解机器到近年来基于深度学习的模型，现有的CTR方法专注于捕获有用的特征交互或挖掘重要的行为模式。尽管有效，但我们认为这些方法存在标签稀疏的风险（即，用户-项目交互相对于特征空间是高度稀疏的），标签噪声（即，所收集的用户-项目交互通常是有噪声的），以及领域知识的未充分使用（即，样本之间的成对相关性）。为了解决这些具有挑战性的问题，我们提出了一种新的多兴趣自监督学习（MISS）框架，该框架增强了与兴趣级别的自监督信号的特征嵌入。在两个新的基于CNN的多兴趣提取器的帮助下，自我监督信号被发现，并充分考虑了不同的兴趣表示（逐点和联合），兴趣依赖性（短程和长程）和兴趣相关性（项目间和项目内）。在此基础上，将对比学习损失进一步应用于兴趣表示的增强视图，有效地提高了特征表示学习。此外，我们提出的MISS框架可以用作现有CTR预测模型的插件组件，并进一步提高其性能。在三个大规模数据集上的大量实验表明，MISS在AUC上显著优于最先进的模型，高达13.55%，并且与代表性的深度CTR模型具有良好的兼容性。
2022-01-28 cs.IR
PRECTR: A Synergistic Framework for Integrating Personalized Search Relevance Matching and CTR Prediction
Alibaba Group（阿里巴巴集团）；Xi’an Jiaotong University（西安交通大学）
提出PRECTR框架，通过条件概率融合机制统一搜索相关性匹配与CTR预测，引入两阶段训练和语义一致性正则化，并利用用户相关性偏好定制激励，实验证明其有效性。
2025-03-26 cs.AI cs.IR
Regularized Adversarial Sampling and Deep Time-aware Attention for Click-Through Rate Prediction
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Hong Kong Polytechnic University（香港理工大学）
提高点击率（CTR）预测的性能仍然是在线广告系统的核心任务之一。随着深度学习的兴起，具有深度网络的CTR预测模型显著增强了模型的能力。在深度CTR模型中，利用用户的历史数据对于学习用户的行为和兴趣至关重要。针对现有CTR预测方法在嵌入用户历史点击记录时忽略了时间信号的重要性，提出了一种时间感知的注意力模型，该模型明确地使用绝对时间信号来表示用户的周期性行为，使用相对时间信号来表示项目之间的时间关系。此外，我们提出了一种正则化的对抗抽样策略的负采样，缓解了CTR数据的分类不平衡，并可以利用观察到的负CTR样本提供的强指导。对抗性采样策略显著提高了训练效率，并且可以与时间感知注意力模型无缝协同训练。实验进行了真实世界的CTR数据集，从站内和站外的广告场所。
2019-11-03 cs.IR cs.LG stat.ML
TWIN V2: Scaling Ultra-Long User Behavior Sequence Modeling for Enhanced CTR Prediction at Kuaishou
Renmin University of China（中国人民大学）；Kuaishou Technology Co., Ltd.（快手科技有限公司）
针对超长期用户行为序列（最高达10^6）难以完整建模的问题，提出TWIN-V2模型，通过层次聚类压缩序列、聚类感知目标注意力提取兴趣，提升CTR预测效果，已在快手大规模部署。
2024-08-16 cs.AI cs.IR
Deep Context Interest Network for Click-Through Rate Prediction
Meituan（美团）
本文提出深度上下文兴趣网络DCIN，通过聚合展示上下文、融合点击与上下文特征并匹配目标兴趣，提升CTR预测性能，已在在线广告系统部署并带来1.5%的CTR和RPM提升。
2023-08-11 cs.AI cs.IR
Deep Session Interest Network for Click-Through Rate Prediction
点击率（CTR）预测在许多工业应用中起着重要的作用，例如在线广告和推荐系统。如何从用户的行为序列中捕捉用户动态变化的兴趣，一直是CTR预测中的一个研究课题。然而，大多数现有的研究忽略了序列的内在结构：序列是由会话组成的，其中会话是由它们的发生时间分开的用户行为。我们观察到，用户行为是高度同质的，在每个会话，和异构的跨会话。基于这一观察，我们提出了一种新的CTR模型命名为深度会话兴趣网络（DSIN），利用用户的多个历史会话在他们的行为序列。我们首先使用带有偏见编码的自我注意力机制来提取用户在每个会话中的兴趣。然后，我们应用Bi-LSTM来建模用户的兴趣如何在会话之间演变和交互。最后，我们采用本地激活单元，自适应地学习各种会话兴趣对目标项目的影响。在广告和生产推荐数据集上进行了实验，DSIN在这两个数据集上的性能都优于其他最先进的模型。
2019-05-16 cs.IR
Generative Long-term User Interest Modeling for Click-Through Rate Prediction
MeiTuan Beijing China（美团北京中国）
本文提出GenLI模型，通过生成兴趣模块、行为检索模块和兴趣融合模块，提升CTR预测的准确性和效率，解决传统方法中长期兴趣建模不完整和效率低的问题。
2026-05-15 cs.AI cs.IR
Gating-adapted Wavelet Multiresolution Analysis for Exposure Sequence Modeling in CTR prediction
曝光序列正在被积极地研究用于点击率（CTR）预测中的用户兴趣建模。然而，现有的曝光序列建模方法带来了巨大的计算负担，忽略了噪声问题，导致延迟过大，在线建模器的性能有限。在本文中，我们提出了解决高延迟和噪声的问题，通过门控自适应小波多分辨率分析（伽马），它可以有效地去除噪声的极长的曝光序列和自适应捕捉隐含的多维用户兴趣与线性计算复杂性。这是第一次尝试将非参数多分辨率分析技术集成到深度神经网络中，以对用户曝光序列进行建模。在大规模基准数据集和实际生产数据集上的大量实验证实了Gama在曝光序列建模中的有效性，特别是在冷启动场景中。得益于其低延迟和高效率，Gama已经部署在我们真正的大规模工业推荐系统中，成功服务了数亿用户。
2022-04-29 cs.IR
Group-Aware Interest Disentangled Dual-Training for Personalized Recommendation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce AI Research（赛富时人工智能研究院）；Walmart Global Tech（沃尔玛全球技术）
本文提出IGRec模型，通过自门控解耦用户兴趣、Gumbel-Softmax聚合生成群体表示，并采用双训练评分预测，利用群体信息缓解数据稀疏和冷启动问题，在三个数据集上验证了有效性。
2023-11-16 cs.IR cs.LG
Disentangled Graph Collaborative Filtering
National University of Singapore（新加坡国立大学）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）
从交互数据中学习用户和项目的信息表示对协同过滤（CF）至关重要。目前的嵌入函数利用用户-项目关系来丰富表示，从单个用户-项目实例发展到整体交互图。然而，它们在很大程度上以统一的方式对关系进行建模，而忽略了用户采用物品的意图的多样性，这些意图可能是为了打发时间，为了兴趣，或者为家人等其他人购物。这种对用户兴趣建模的统一方法很容易导致次优表示，无法对不同的关系进行建模并在表示中理清用户意图。在这项工作中，我们特别关注用户意图的更细粒度上的用户-项目关系。因此，我们设计了一个新的模型，解开图协同过滤（DGCF），解开这些因素，并产生解开表示。具体来说，通过对每个用户-项目交互的意图分布进行建模，我们迭代地细化意图感知交互图和表示。同时，我们鼓励不同意图的独立性。这导致了分离的表示，有效地提取了与每个意图相关的信息。我们在三个基准数据集上进行了广泛的实验，DGCF在NGCF，DisenGCN和MacridVAE等几个最先进的模型上取得了显着的改进。进一步的分析提供了深入了解DGCF的优势，用户的意图和可解释性的表示。我们的代码可在https://github.com/xiangwang1223/disentangled_graph_collaborative_filtering上找到。
2020-07-03 cs.IR cs.LG
Cascading Relevance-driven Recommendation Network for CTR Prediction in Trigger-Introduced Recommendation
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）
针对触发式推荐中点击率预测的需求，提出CRRN模型，通过触发-目标交互层、级联兴趣融合模块和类别辅助成对损失优化，在工业与公开数据集及在线A/B测试中均优于现有方法。
2026-08-25 cs.IR
Enhancing CTR Prediction through Sequential Recommendation Pre-training: Introducing the SRP4CTR Framework
提出SRP4CTR框架，通过序列推荐预训练与交叉注意力模块及查询变换器技术，在低成本下将预训练知识迁移至CTR预估物品，有效提升点击率预测性能。
2024-07-29 cs.IR
The Effects of Data Split Strategies on the Offline Experiments for CTR Prediction
本文研究了CTR预测中离线评估的数据划分策略问题，通过在Criteo数据集上对比随机划分和时间划分，揭示了离线性能与在线表现差异的原因。
2024-06-26 cs.IR
Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction
University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）
在点击率（CTR）预测场景中，最近的文献中，用户的顺序行为被很好地利用来捕获用户的兴趣。然而，尽管被广泛研究，这些顺序方法仍然受到三个限制。首先，现有的方法大多利用对用户行为的关注，这并不总是适合CTR预测，因为用户经常点击与任何历史行为无关的新产品。第二，在真实场景中，存在大量用户在很长时间之前有操作，但最近变得相对不活跃。因此，很难通过早期行为精确地捕捉用户的当前偏好。第三，用户的历史行为在不同的特征子空间的多种表示在很大程度上被忽略。为了解决这些问题，我们提出了一个多交互式注意力网络（MIAN），以全面提取各种细粒度特征之间的潜在关系（例如，用户档案中的性别、年龄和职业）。具体来说，MIAN包含一个多交互层（MIL），它集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定信息以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个特征的不同影响。最后，在三个数据集上的离线实验结果，以及在一个大规模推荐系统中的在线A/B测试，验证了该方法的有效性。
2021-11-03 cs.AI cs.IR
Treatment Effect Estimation for User Interest Exploration on Recommender Systems
针对推荐系统用户隐藏兴趣发掘不足的问题，提出基于Uplift模型的UpliftRec框架，将top-N推荐转化为因果干预优化问题，结合逆倾向加权与动态规划实现探索与准确率的双重提升。
2024-05-14 cs.IR
Quadratic Interest Network for Multimodal Click-Through Rate Prediction
提出二次兴趣网络（QIN），利用自适应稀疏目标注意力和二次神经网络捕捉多模态高阶交互，在WWW 2025多模态CTR预测挑战赛中获得第二名，AUC达0.9798。
2025-04-25 cs.IR
PRECTR-V2:Unified Relevance-CTR Framework with Cross-User Preference Mining, Exposure Bias Correction, and LLM-Distilled Encoder Optimization
Alibaba Group（阿里巴巴集团）
PRECTR-V2通过跨用户偏好挖掘、曝光偏差校正和LLM蒸馏编码器优化，解决搜索系统中相关性匹配与CTR预测的一致性问题。
2026-02-24 cs.AI cs.IR
Adversarial Filtering Modeling on Long-term User Behavior Sequences for Click-Through Rate Prediction
丰富的用户行为信息对于获取和理解用户兴趣点进率（CTR）预测具有重要意义。为了提高丰富性，收集长期行为成为学术界和工业界的典型方法，但代价是增加在线存储和延迟。最近，研究人员提出了几种方法来缩短长期行为序列，然后建模用户的兴趣。这些方法有效地降低了在线成本，但不能很好地处理长期用户行为中的噪声信息，这可能会显着降低CTR预测的性能。为了获得更好的成本/性能权衡，我们提出了一种新的对抗性过滤模型（ADFM）来建模长期用户行为。ADFM使用分层聚合表示来压缩原始行为序列，然后通过对抗过滤机制学习去除无用的行为信息。所选择的用户行为被馈送到兴趣提取模块用于CTR预测。在公共数据集和工业数据集上的实验结果表明，我们的方法在最先进的模型上取得了显着的改进。
2022-04-26 cs.IR
Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction
点击率（CTR）预测对于推荐系统和在线广告等工业应用至关重要。在实际应用中，通过从丰富的历史行为数据中挖掘用户兴趣，CTR建模在这些应用中起着重要的作用。在深度学习发展的推动下，针对用户兴趣建模的深度CTR模型被提出，其体系结构设计巧妙，模型性能较离线指标有了显著提升，但面对海量流量需求，如何将这些复杂模型部署到在线服务系统中进行实时推理，还需要付出很大努力。当涉及到长序列用户行为数据时，事情变得更加困难，因为系统延迟和存储成本随着用户行为序列的长度近似线性地增加。本文直面长序列用户行为建模的挑战，介绍了我们的实践，并结合机器学习算法和在线服务系统的协同设计，实现了点击率预测任务。从理论上讲，UIC和MIMN的协同设计方案使我们能够处理无限长度的序列行为数据的用户兴趣建模。模型性能和系统效率的比较证明了所提出的解决方案的有效性。据我们所知，这是第一个能够处理长度扩展到数千的长序列用户行为数据的工业解决方案之一。目前已经部署在阿里巴巴的展示广告系统中。
2019-05-24 cs.IR
Enhancing CTR Prediction in Recommendation Domain with Search Query Representation
McGill University（麦吉尔大学）
针对推荐领域现有方法未充分利用搜索域用户偏好、忽略跨域意图偏移的问题，提出融合搜索查询嵌入、对比学习与扩散模型的CTR预测框架，实验效果优于当前最优模型。
2024-10-28 cs.AI cs.IR cs.LG
DeRes: Decoupling Residual Stability and Adaptivity for Scalable CTR Prediction
提出DeRes模型，通过双路径残差（恒等路径和块注意力路径）解耦稳定性与自适应性，并引入逐点AttnRes（SiLU替代Softmax）实现并行多兴趣遗忘，在工业数据集上以少量额外FLOPs提升AUC，且计算-AUC缩放律更陡峭，实现等效AUC下约2倍计算节省。
2026-06-06 cs.IR
Click-through Rate Prediction with Auto-Quantized Contrastive Learning
Shanghai Jiao Tong University（上海交通大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong Baptist University（香港浸会大学）
点击率（CTR）预测成为无处不在的Web推荐应用中不可或缺的。然而，当前的方法在用户交互极其稀疏的冷启动场景下挣扎。我们认为这个问题是一个自动识别的用户行为是否足够丰富，以捕捉预测的兴趣，并提出了一个自动量化的对比学习（AQCL）损失正则化模型。与以往的方法不同，AQCL同时利用实例-实例和实例-聚类的相似性来增强潜在表示的鲁棒性，并自动减少由于量化而导致的主动用户的信息损失。所提出的框架对不同的模型架构是不可知的，并且可以以端到端的方式进行训练。广泛的结果表明，它一贯改善目前的国家的最先进的CTR模型。
2021-09-27 cs.AI cs.IR cs.LG
Similar Users-Augmented Interest Network
University of Science and Technology of China（中国科学技术大学）
本文提出SUIN方法，通过整合相似用户行为增强目标用户序列，提升CTR预测性能。
2026-04-26 cs.IR
Unleashing the Potential of Sparse Attention on Long-term Behaviors for CTR Prediction
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Meituan（美团）
SparseCTR通过稀疏注意力机制高效建模用户长期行为，提升CTR预测性能并展现扩展定律。
2026-01-25 cs.IR
Disentangled Causal Embedding With Contrastive Learning For Recommender System
推荐系统通常依赖于观察到的用户交互数据来构建个性化推荐模型，假设观察到的数据反映了用户的兴趣。然而，用户与项目交互也可能是由于一致性，需要遵循流行的项目。以往的研究大多忽略了用户的一致性，将用户的兴趣与之纠缠在一起，这可能导致推荐系统不能提供令人满意的结果。因此，从因果关系的角度来看，解开这些相互作用的原因是一个至关重要的问题。它还有助于OOD问题，其中训练和测试数据不在分布范围内。然而，这是相当具有挑战性的，因为我们缺乏区分兴趣和一致性的信号。纯原因的数据稀疏性和项目的长尾问题阻碍了解纠缠因果嵌入。在本文中，我们提出了DCCL，一个框架，采用对比学习解开这两个原因，分别为兴趣和一致性的样本扩增。DCCL是模型无关的，可以很容易地部署在任何工业在线系统中。在两个真实世界的数据集上进行了广泛的实验，DCCL在各种OOD环境中的各种骨干模型上的性能优于最先进的基线。我们还展示了性能的改进，通过在线A/B测试快手，一个十亿用户规模的短视频推荐系统。
2023-02-08 cs.IR
Moment&Cross: Next-Generation Real-Time Cross-Domain CTR Prediction for Live-Streaming Recommendation at Kuaishou
本文提出Moment&Cross方案，针对快手直播推荐中实时内容变化导致负向观看以及短视频与直播数据严重不平衡的问题，研究如何把握推荐时机并利用短视频行为提升直播CTR预测效果。
2024-08-11 cs.IR
FedUD: Exploiting Unaligned Data for Cross-Platform Federated Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
本文提出FedUD框架，通过知识蒸馏和表示转移网络，利用跨平台未对齐数据增强联邦学习中的点击率预测，解决了传统纵向联邦学习仅依赖对齐数据的局限。
2024-07-26 cs.IR cs.LG
LREA: Low-Rank Efficient Attention on Modeling Long-Term User Behaviors for CTR Prediction
本文提出低秩高效注意力机制LREA，通过低秩矩阵分解和专用损失函数在保证信息完整性的同时优化计算效率，用于CTR预测中的用户长期行为建模，实验证明其性能优于现有方法。
2025-05-08 cs.IR
Hierarchically Fusing Long and Short-Term User Interests for Click-Through Rate Prediction in Product Search
Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）
本文提出分层兴趣融合网络（HIFN），通过短期兴趣提取器、长期兴趣提取器、自适应融合模块和自监督解耦模块，有效解决商品搜索点击率预测中用户长短期兴趣的提取、融合与解耦问题，在离线与在线实验中均优于现有方法。
2023-04-04 cs.IR cs.LG
DAIAN: Deep Adaptive Intent-Aware Network for CTR Prediction in Trigger-Induced Recommendation
Xianyu of Alibaba（阿里巴巴阿里鱼）
DAIAN通过动态适应用户意图偏好，解决触发诱导推荐中意图短视问题，提升CTR预测效果。
2026-02-15 cs.AI cs.IR
A Universal Framework for Compressing Embeddings in CTR Prediction
针对CTR预测中嵌入表过大导致的高内存消耗与高延迟问题，提出模型无关的MEC嵌入压缩框架，经两阶段优化实现50倍以上内存缩减且不损失推荐性能。
2025-02-21 cs.IR
