Light-weight End-to-End Graph Interest Network for CTR Prediction in E-commerce Search
本文提出轻量级端到端图兴趣网络EGIN，通过查询-物品异构图、轻量级图采样和多兴趣网络联合建模查询与物品的相关性和序列信息，以较低训练成本提升电商搜索CTR预测效果。
2024-07-04 cs.IR cs.LG
Exploring Scaling Laws of CTR Model for Online Performance Improvement
本文受大语言模型缩放定律启发，提出SUAN高等级CTR模型并通过在线蒸馏得到轻量级LightSUAN，在保持推理时间不变的同时显著提升在线CTR和CPM。
2025-09-19 cs.IR
1$^{st}$ Place Solution of WWW 2025 EReL@MIR Workshop Multimodal CTR Prediction Challenge
本文提出结合序列建模与特征交互学习，并简单追加冻结多模态嵌入的方法，在WWW 2025多模态CTR预测挑战赛任务2中以0.9839 AUC获得第一名。
2025-05-06 cs.IR
Modeling Long-term User Behaviors with Diffusion-driven Multi-interest Network for CTR Prediction
本文提出DiffuMIN模型，通过面向目标的多兴趣提取、扩散生成增强兴趣和对比学习，解决两阶段CTR预测模型丢失多样化兴趣的问题，并在离线与在线实验中取得显著提升。
2025-09-19 cs.IR
FedCTR: Federated Native Ad CTR Prediction with Multi-Platform User Behavior Data
原生广告是一种流行的在线广告类型，其形式与网站上显示的原生内容相似。原生广告CTR预测对于提升用户体验和平台收益非常有用。然而，由于缺乏明确的用户意图，这是具有挑战性的，并且用户在具有原生广告的平台上的行为可能不足以推断他们对广告的兴趣。幸运的是，用户行为存在于许多在线平台上，它们可以为用户兴趣挖掘提供补充信息。因此，利用多平台用户行为对于原生广告CTR预测是有用的。然而，由于用户隐私问题和GDPR等数据保护法规，用户行为具有高度隐私敏感性，不同平台上的行为数据无法直接聚合。现有的点击率预测方法通常需要集中存储用户行为数据进行用户建模，无法直接应用于多平台用户行为的点击率预测任务。在本文中，我们提出了一个联合的原生广告CTR预测方法FedCTR，它可以学习用户的兴趣表示，从他们的行为在多个平台上的隐私保护的方式。在每个平台上，本地用户模型用于从该平台上的本地用户行为中学习用户嵌入。将来自不同平台的本地用户嵌入上传到服务器进行聚合，并将聚合的用户嵌入发送到广告平台进行CTR预测。此外，为了更好的隐私保护，我们分别将LDP和DP技术应用于本地和聚合用户嵌入。此外，我们提出了一个用于使用分布式模型和用户行为进行模型训练的联邦框架。在真实数据集上的大量实验表明，FedCTR可以有效地利用多平台用户行为，以隐私保护的方式进行原生广告CTR预测。
2020-07-23 cs.IR
Dual Graph enhanced Embedding Neural Network for CTR Prediction
点击率预测是在线广告和推荐系统中的一个重要环节，其目的是估计用户点击某个项目的概率。基于特征交互建模和基于用户兴趣挖掘的CTR预测方法是两种最流行的CTR预测技术，经过多年的研究，取得了很大的进展。然而，（1）严重依赖于不同特征的同现的基于特征交互的方法可能遭受特征稀疏性问题（即，许多特征出现很少）;（2）基于用户兴趣挖掘的方法需要丰富的用户行为来获得用户的多样兴趣，容易遇到行为稀疏问题（即，许多用户具有非常短的行为序列）。为了解决这些问题，我们提出了一个新的模块名为对偶图增强嵌入，它是兼容各种CTR预测模型，以缓解这两个问题。我们进一步提出了一个对偶图增强嵌入神经网络（DG-ENN）的CTR预测。Dual Graph enhanced Embedding利用图表示的优势，采用两种精心设计的学习策略（分而治之，启发式学习的有组织学习）来改进嵌入。我们在三个真实世界的工业数据集上进行了全面的实验。实验结果表明，我们提出的DG-ENN显着优于国家的最先进的CTR预测模型。此外，当应用于最先进的CTR预测模型时，双图增强嵌入总是获得更好的性能。进一步的案例研究表明，我们提出的对偶图增强嵌入可以缓解特征稀疏性和行为稀疏性问题。我们的框架将在不久的将来基于MindSpore开源。
2021-06-08 cs.IR
UniCon: A Unified Context-Centric Modeling Paradigm for CTR Prediction
Meituan（美团）；SJTU（上海交通大学）；BUAA（北京航空航天大学）
针对现有CTR预测模型将历史与请求视为异质信号的缺陷，提出以统一上下文为中心的UniCon架构，在美团搜索广告任务中显著提升了离线AUC及在线RPM、CTR、营收指标。
2026-09-07 cs.IR
Temporal Importance Factor for Loss Functions for CTR Prediction
针对CTR预测中数据分布随时间偏移的问题，提出一种模型无关的时间重要性因子，通过加大对最近样本的惩罚来增强损失函数对最新趋势的捕捉能力，并在公开和公司数据集上验证其优于基线损失函数。
2023-11-28 cs.IR
Multi-granularity Interest Retrieval and Refinement Network for Long-Term User Behavior Modeling in CTR Prediction
针对长期用户行为建模中检索查询单一及子序列关系信息被忽视的问题，提出MIRRN，通过多时间尺度查询、多头傅里叶transformer和目标注意力提升CTR预测，并在线上取得收益。
2025-02-17 cs.IR
Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction
University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）
在点击率（CTR）预测场景中，最近的文献中，用户的顺序行为被很好地利用来捕获用户的兴趣。然而，尽管被广泛研究，这些顺序方法仍然受到三个限制。首先，现有的方法大多利用对用户行为的关注，这并不总是适合CTR预测，因为用户经常点击与任何历史行为无关的新产品。第二，在真实场景中，存在大量用户在很长时间之前有操作，但最近变得相对不活跃。因此，很难通过早期行为精确地捕捉用户的当前偏好。第三，用户的历史行为在不同的特征子空间的多种表示在很大程度上被忽略。为了解决这些问题，我们提出了一个多交互式注意力网络（MIAN），以全面提取各种细粒度特征之间的潜在关系（例如，用户档案中的性别、年龄和职业）。具体来说，MIAN包含一个多交互层（MIL），它集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定信息以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个特征的不同影响。最后，在三个数据集上的离线实验结果，以及在一个大规模推荐系统中的在线A/B测试，验证了该方法的有效性。
2021-11-03 cs.AI cs.IR
User Behavior Retrieval for Click-Through Rate Prediction
点击率（CTR）预测在现代在线个性化服务中起着关键作用。在实际应用中，有必要通过对用户的连续行为建模来捕捉用户的兴趣漂移，从而建立准确的点击率预测模型。然而，随着用户在平台上积累越来越多的行为数据，序列模型利用每个用户的整个行为历史变得不平凡。首先，直接输入长的行为序列将使在线推理时间和系统负载变得不可行。第二，在如此长的历史中有很多噪声使顺序模型学习失败。当前的工业解决方案主要截断序列，并且仅将最近的行为馈送到预测模型，这导致诸如周期性或长期依赖性的序列模式没有嵌入最近的几个行为中，而是嵌入很久以前的历史中的问题。为了解决这些问题，在本文中，我们认为它从数据的角度，而不仅仅是设计更复杂的模型，并提出了用户行为检索CTR预测（UBR4CTR）框架。在UBR4CTR中，最相关和最合适的用户行为将首先使用可学习的搜索方法从整个用户历史序列中检索。然后，这些检索到的行为被输入到一个深度模型中，以进行最终预测，而不是简单地使用最近的行为。将UBR4CTR应用于工业模型管道具有很高的可行性和较低的成本。三个真实世界的大规模数据集上的实验证明了我们提出的框架和模型的优越性和有效性。
2020-05-28 cs.IR
TWIN: TWo-stage Interest Network for Lifelong User Behavior Modeling in CTR Prediction at Kuaishou
针对CTR预测中GSU与ESU相关性指标不一致导致性能下降的问题，提出两阶段兴趣网络TWIN，通过行为特征拆分和缓存策略将一致性注意力机制扩展到长序列行为建模，显著提升了预测准确率。
2023-06-27 cs.IR
MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。现有的工作主要解决单域CTR预测问题和模型方面，如功能交互，用户行为历史和上下文信息。然而，广告通常与自然内容一起显示，这为跨域CTR预测提供了机会。在本文中，我们解决这个问题，并利用辅助数据从源域，以提高CTR预测性能的目标域。我们的研究基于UC今日头条（与UC浏览器App集成的新闻推送服务，每日服务数亿用户），其中源域是新闻，目标域是广告。为了有效地利用新闻数据来预测广告的点击率，我们提出了混合兴趣网络（MiNet），它联合建模三种类型的用户兴趣：1）跨域的长期兴趣，2）源域的短期兴趣和3）目标域的短期兴趣。MiNet包含两个层次的注意力，其中项目级注意力可以自适应地从点击的新闻/广告中提取有用信息，兴趣级注意力可以自适应地融合不同的兴趣表示。离线实验表明，MiNet优于几种最先进的CTR预测方法。我们已经在UC头条部署了MiNet，A/B测试结果显示在线CTR也有了大幅提升。MiNet现在是UC头条的主要广告流量。
2020-08-07 cs.IR cs.LG
MISS: Multi-Interest Self-Supervised Learning Framework for Click-Through Rate Prediction
点击率预测是现代推荐系统的关键。从早期的因子分解机器到近年来基于深度学习的模型，现有的CTR方法专注于捕获有用的特征交互或挖掘重要的行为模式。尽管有效，但我们认为这些方法存在标签稀疏的风险（即，用户-项目交互相对于特征空间是高度稀疏的），标签噪声（即，所收集的用户-项目交互通常是有噪声的），以及领域知识的未充分使用（即，样本之间的成对相关性）。为了解决这些具有挑战性的问题，我们提出了一种新的多兴趣自监督学习（MISS）框架，该框架增强了与兴趣级别的自监督信号的特征嵌入。在两个新的基于CNN的多兴趣提取器的帮助下，自我监督信号被发现，并充分考虑了不同的兴趣表示（逐点和联合），兴趣依赖性（短程和长程）和兴趣相关性（项目间和项目内）。在此基础上，将对比学习损失进一步应用于兴趣表示的增强视图，有效地提高了特征表示学习。此外，我们提出的MISS框架可以用作现有CTR预测模型的插件组件，并进一步提高其性能。在三个大规模数据集上的大量实验表明，MISS在AUC上显著优于最先进的模型，高达13.55%，并且与代表性的深度CTR模型具有良好的兼容性。
2022-01-28 cs.IR
Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
点击率（CTR）预测的目标是预测用户点击某个项目的概率，在推荐系统中已经变得越来越重要。近年来，一些深度学习模型能够从用户行为中自动提取用户兴趣，并取得了巨大的成功。在这些工作中，注意力机制被用来选择历史行为中的用户感兴趣的项目，提高CTR预测器的性能。通常，这些注意模块可以通过使用梯度下降与基本预测器联合训练。本文将用户兴趣建模看作是一个特征选择问题，我们称之为用户兴趣选择。针对这样的问题，我们提出了一种新的方法框架下的包装器方法，这是命名为元包装器。更具体地说，我们使用一个可微模块作为我们的包装算子，然后将其学习问题转换为连续的双层优化。此外，我们使用元学习算法来解决优化，并从理论上证明其收敛性。同时，我们也提供了理论分析表明，我们提出的方法1）效率的包装为基础的特征选择，2）实现了更好的抗过拟合。最后，在三个公共数据集上的实验表明，该方法在提高CTR预测性能方面具有优越性。
2022-06-28 cs.AI cs.IR
Deep Session Interest Network for Click-Through Rate Prediction
点击率（CTR）预测在许多工业应用中起着重要的作用，例如在线广告和推荐系统。如何从用户的行为序列中捕捉用户动态变化的兴趣，一直是CTR预测中的一个研究课题。然而，大多数现有的研究忽略了序列的内在结构：序列是由会话组成的，其中会话是由它们的发生时间分开的用户行为。我们观察到，用户行为是高度同质的，在每个会话，和异构的跨会话。基于这一观察，我们提出了一种新的CTR模型命名为深度会话兴趣网络（DSIN），利用用户的多个历史会话在他们的行为序列。我们首先使用带有偏见编码的自我注意力机制来提取用户在每个会话中的兴趣。然后，我们应用Bi-LSTM来建模用户的兴趣如何在会话之间演变和交互。最后，我们采用本地激活单元，自适应地学习各种会话兴趣对目标项目的影响。在广告和生产推荐数据集上进行了实验，DSIN在这两个数据集上的性能都优于其他最先进的模型。
2019-05-16 cs.IR
Gating-adapted Wavelet Multiresolution Analysis for Exposure Sequence Modeling in CTR prediction
曝光序列正在被积极地研究用于点击率（CTR）预测中的用户兴趣建模。然而，现有的曝光序列建模方法带来了巨大的计算负担，忽略了噪声问题，导致延迟过大，在线建模器的性能有限。在本文中，我们提出了解决高延迟和噪声的问题，通过门控自适应小波多分辨率分析（伽马），它可以有效地去除噪声的极长的曝光序列和自适应捕捉隐含的多维用户兴趣与线性计算复杂性。这是第一次尝试将非参数多分辨率分析技术集成到深度神经网络中，以对用户曝光序列进行建模。在大规模基准数据集和实际生产数据集上的大量实验证实了Gama在曝光序列建模中的有效性，特别是在冷启动场景中。得益于其低延迟和高效率，Gama已经部署在我们真正的大规模工业推荐系统中，成功服务了数亿用户。
2022-04-29 cs.IR
Cross Domain LifeLong Sequential Modeling for Online Click-Through Rate Prediction
针对跨域终身序列建模研究不足的问题，提出含LAP与CRP模块的终身交叉网络LCN，用于提升目标域点击率预测效果，实验证明其在精度和线上性能上均优于现有方法。
2024-05-17 cs.IR
A Universal Framework for Compressing Embeddings in CTR Prediction
针对CTR预测中嵌入表过大导致的高内存消耗与高延迟问题，提出模型无关的MEC嵌入压缩框架，经两阶段优化实现50倍以上内存缩减且不损失推荐性能。
2025-02-21 cs.IR
HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction
ByteDance（字节跳动）
HyFormer通过统一的混合Transformer架构，重新设计查询令牌并整合查询解码与查询增强机制，提升工业级推荐模型在CTR预测中的表现和扩展性。
2026-01-23 cs.IR
Cascading Relevance-driven Recommendation Network for CTR Prediction in Trigger-Introduced Recommendation
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）
针对触发式推荐中点击率预测的需求，提出CRRN模型，通过触发-目标交互层、级联兴趣融合模块和类别辅助成对损失优化，在工业与公开数据集及在线A/B测试中均优于现有方法。
2026-08-25 cs.IR
Disentangled Interest Network for Out-of-Distribution CTR Prediction
Tsinghua University（清华大学）；Hefei University of Technology（合肥工业大学）
DiseCTR通过解耦用户兴趣，提升分布外点击率预测的准确性和鲁棒性。
2025-11-14 cs.AI cs.IR cs.LG
The Effects of Data Split Strategies on the Offline Experiments for CTR Prediction
本文研究了CTR预测中离线评估的数据划分策略问题，通过在Criteo数据集上对比随机划分和时间划分，揭示了离线性能与在线表现差异的原因。
2024-06-26 cs.IR
Treatment Effect Estimation for User Interest Exploration on Recommender Systems
针对推荐系统用户隐藏兴趣发掘不足的问题，提出基于Uplift模型的UpliftRec框架，将top-N推荐转化为因果干预优化问题，结合逆倾向加权与动态规划实现探索与准确率的双重提升。
2024-05-14 cs.IR
Quadratic Interest Network for Multimodal Click-Through Rate Prediction
提出二次兴趣网络（QIN），利用自适应稀疏目标注意力和二次神经网络捕捉多模态高阶交互，在WWW 2025多模态CTR预测挑战赛中获得第二名，AUC达0.9798。
2025-04-25 cs.IR
Similar Users-Augmented Interest Network
University of Science and Technology of China（中国科学技术大学）
本文提出SUIN方法，通过整合相似用户行为增强目标用户序列，提升CTR预测性能。
2026-04-26 cs.IR
GAP-Net: Calibrating User Intent via Gated Adaptive Progressive Learning for CTR Prediction
Meituan（美团）
GAP-Net通过门控自适应渐进学习校准用户意图，提升CTR预测的鲁棒性与准确性。
2026-01-14 cs.IR
Deep Interest Evolution Network for Click-Through Rate Prediction
Alibaba Inc（阿里巴巴集团）
点击率预测是广告系统的核心任务之一，其目标是估计用户点击的概率。对于点击率预测模型，需要捕捉用户行为数据背后潜在的用户兴趣。此外，考虑到外部环境和内部认知的变化，用户兴趣随时间动态演化。兴趣建模的点击率预测方法有多种，但大多数都是直接将行为的表现形式看作兴趣，缺乏对具体行为背后潜在兴趣的专门建模。此外，很少有研究考虑到利益的变化趋势。在本文中，我们提出了一种新的模型，命名为深度兴趣进化网络~（DIEN），点击率预测。具体来说，我们设计了兴趣提取器层，从历史行为序列中捕获时间兴趣。在这一层，我们引入了一个辅助损失来监督每一步的利息提取。由于用户兴趣的多样性，特别是在电子商务系统中，我们提出的兴趣进化层捕捉的兴趣演变过程，是相对于目标项目。在利益演化层，注意机制被新颖地嵌入到序列结构中，在利益演化过程中强化了相对利益的作用。在公共和工业数据集上的实验中，DIEN的性能明显优于最先进的解决方案。值得注意的是，DIEN已经部署在淘宝的展示广告系统中，并获得了20.7%的CTR提升。
2018-11-16 cs.IR cs.LG stat.ML
Adversarial Filtering Modeling on Long-term User Behavior Sequences for Click-Through Rate Prediction
丰富的用户行为信息对于获取和理解用户兴趣点进率（CTR）预测具有重要意义。为了提高丰富性，收集长期行为成为学术界和工业界的典型方法，但代价是增加在线存储和延迟。最近，研究人员提出了几种方法来缩短长期行为序列，然后建模用户的兴趣。这些方法有效地降低了在线成本，但不能很好地处理长期用户行为中的噪声信息，这可能会显着降低CTR预测的性能。为了获得更好的成本/性能权衡，我们提出了一种新的对抗性过滤模型（ADFM）来建模长期用户行为。ADFM使用分层聚合表示来压缩原始行为序列，然后通过对抗过滤机制学习去除无用的行为信息。所选择的用户行为被馈送到兴趣提取模块用于CTR预测。在公共数据集和工业数据集上的实验结果表明，我们的方法在最先进的模型上取得了显着的改进。
2022-04-26 cs.IR
CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning
Alibaba Group（阿里巴巴集团）
本文主要研究广告文本的自动生成，目标是使生成的文本能够捕捉用户的兴趣，从而获得更高的点击率。我们提出了CREATER，一个点击率驱动的广告文本生成方法，基于高质量的用户评论生成广告文本。为了融入CTR目标，我们的模型使用对比学习从在线A/B测试数据中学习，这鼓励模型生成获得更高CTR的广告文本。为了缓解低资源问题，我们设计了一个自定义的自监督目标，减少了预训练和微调之间的差距。在工业数据集上的实验表明，CREATER显著优于当前的方法。它已被部署在一个领先的广告平台上，并带来了核心在线指标的提升。
2022-05-18 cs.CL cs.IR
Bridging Sequential and Contextual Features with a Dual-View of Fine-grained Core-Behaviors and Global Interest-Distribution
Alibaba Group（阿里巴巴集团）；Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团）
本文提出CDNet，通过细粒度行为与上下文特征的交互和粗粒度兴趣分布建模，解决传统CTR模型在序列与上下文特征交互中的信息丢失与计算效率问题，提升预测准确性。
2026-03-13 cs.IR
DeRes: Decoupling Residual Stability and Adaptivity for Scalable CTR Prediction
提出DeRes模型，通过双路径残差（恒等路径和块注意力路径）解耦稳定性与自适应性，并引入逐点AttnRes（SiLU替代Softmax）实现并行多兴趣遗忘，在工业数据集上以少量额外FLOPs提升AUC，且计算-AUC缩放律更陡峭，实现等效AUC下约2倍计算节省。
2026-06-06 cs.IR
TBIN: Modeling Long Textual Behavior Data for CTR Prediction
Meituan（美团）
针对文本行为建模中的长序列截断与兴趣压缩问题，本文提出TBIN，利用局部敏感哈希和移位分块自注意力动态激活用户多样兴趣，并在食品推荐平台的离线与在线实验中验证其CTR预测效果。
2023-08-09 cs.CL cs.IR cs.LG
Unleashing the Potential of Sparse Attention on Long-term Behaviors for CTR Prediction
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Meituan（美团）
SparseCTR通过稀疏注意力机制高效建模用户长期行为，提升CTR预测性能并展现扩展定律。
2026-01-25 cs.IR
Moment&Cross: Next-Generation Real-Time Cross-Domain CTR Prediction for Live-Streaming Recommendation at Kuaishou
本文提出Moment&Cross方案，针对快手直播推荐中实时内容变化导致负向观看以及短视频与直播数据严重不平衡的问题，研究如何把握推荐时机并利用短视频行为提升直播CTR预测效果。
2024-08-11 cs.IR
LREA: Low-Rank Efficient Attention on Modeling Long-Term User Behaviors for CTR Prediction
本文提出低秩高效注意力机制LREA，通过低秩矩阵分解和专用损失函数在保证信息完整性的同时优化计算效率，用于CTR预测中的用户长期行为建模，实验证明其性能优于现有方法。
2025-05-08 cs.IR
Reformulating CTR Prediction: Learning Invariant Feature Interactions for Recommendation
针对传统ERM范式下CTR预测学习的特征交互泛化性差的问题，提出解耦不变学习DIL及高效版本LightDIL，通过解耦特征嵌入捕获环境不变与特定相关性，实验验证了其学习稳定特征交互的有效性。
2023-04-26 cs.IR
Cross-domain Augmentation Networks for Click-Through Rate Prediction
针对跨域CTR预测中异质输入问题，提出CDAnet，通过翻译网络和增强网络实现知识迁移，在两个公共基准和工业数据集上显著提升CTR性能，并在淘宝线上A/B测试中带来0.11点CTR提升和1.26%GMV增长。
2023-05-09 cs.IR
Deep Group Interest Modeling of Full Lifelong User Behaviors for CTR Prediction
University of Science and Technology of China（中国科学技术大学）；Meituan（美团）；University of Electronic Science and Technology of China（电子科技大学）
针对点击率预测中两阶段行为兴趣建模存在信息损失、仅用点击行为不全面的问题，提出DGIN网络，通过分组全量行为、引入双属性结合Transformer建模全生命周期兴趣，兼顾效率与预测精度。
2024-10-29 cs.AI cs.IR
From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
Alibaba Group（阿里巴巴集团）
针对CTR预测中Transformer模型因结构错位导致收益递减的问题，提出Field-Aware Transformer (FAT)，通过场感知参数重构和基组合超网络实现结构化表达能力，在理论（Rademacher复杂度标度律）和实验（AUC提升+4.38%，线上CTR+2.33%，RPM+0.66%）上均优于现有方法。
2026-05-31 cs.IR cs.LG
Decision-Making Context Interaction Network for Click-Through Rate Prediction
Meituan（美团）
点击率（CTR）预测在推荐和在线广告系统中至关重要。现有的方法通常对用户行为进行建模，而忽略了影响用户做出点击决策的信息上下文，例如，点击页面和预先排名的候选人，告知有关用户兴趣的推断，导致次优性能。在本文中，我们提出了一个决策上下文交互网络（DCIN），它部署了一个精心设计的上下文交互单元（CIU）来学习决策上下文，从而有利于CTR预测。此外，不同的决策上下文源之间的关系进行了探索，提出了自适应兴趣聚合单元（AIAU），以进一步提高CTR预测。在公共数据集和工业数据集上的实验中，DCIN显著优于最先进的方法。值得注意的是，该模型在线A/B测试获得了CTR+2. 9%/CPM+2. 1%/GMV+1. 5%的提升，并服务于美团外卖广告系统的主要流量。
2023-01-29 cs.IR cs.LG
Dual Attentive Sequential Learning for Cross-Domain Click-Through Rate Prediction
New York University（纽约大学）；Alibaba Youku Cognitive and Intelligent Lab（阿里巴巴优酷认知与智能实验室）
跨领域推荐系统是解决冷启动和稀疏性问题的一种有效方法，它可以在多个类别域之间聚合和传递用户偏好。因此，它有很大的潜力，以提高点击率预测性能的在线商务平台，具有许多领域的产品。虽然已经提出了几种跨域顺序推荐模型来利用来自源域的信息来改善目标域中的CTR预测，但是它们没有考虑跨源-目标域对的用户偏好的双向潜在关系。因此，它们不能同时为两个域提供增强的跨域CTR预测。在本文中，我们提出了一种新的方法，跨域顺序推荐的基础上的双重学习机制，同时在两个相关的域之间的信息，以迭代的方式，直到学习过程稳定。特别是，提出的双注意顺序学习（DASL）模型由两个新的组件双嵌入和双注意，共同建立两个阶段的学习过程：我们首先构建双潜在嵌入，同时提取用户在两个领域的偏好，随后通过双注意学习机制，通过匹配提取的潜在嵌入与候选项提供跨域的建议。我们在三个真实世界的数据集上进行了广泛的离线实验，以证明我们提出的模型的优越性，该模型在所有实验设置中显著且一致地优于几个最先进的基线。我们还在一个主要的视频流媒体平台阿里巴巴-优酷进行了在线A/B测试，我们提出的模型在公司最新的生产系统上显着提高了业务性能。
2021-06-05 cs.IR cs.LG
HIEN: Hierarchical Intention Embedding Network for Click-Through Rate Prediction
点击率预测是在线广告和推荐系统中的一个重要环节，其目的是估计用户点击某一特定项目的概率。特征交互建模和用户兴趣建模方法是点击率预测中的两个热点领域，近年来得到了广泛的研究。然而，这些方法仍然受到两个限制。首先，传统方法将项目属性视为ID特征，而忽略了属性间的结构信息和关系依赖。第二，当从用户-项目交互中挖掘用户兴趣时，现有模型忽略了用户意图和项目意图的不同属性，缺乏可解释性。基于这一观察，在本文中，我们提出了一种新的方法层次意图嵌入网络（HIEN），它认为在构造的属性图的基础上自底向上树聚合的属性的依赖关系。HIEN还捕获不同项目属性的用户意图以及基于我们提出的分层注意力机制的项目意图。在公共数据集和生产数据集上的大量实验表明，该模型的性能明显优于最先进的方法。此外，HIEN可以作为输入模块应用于最先进的CTR预测方法，为这些可能已经在实际系统中广泛使用的现有模型带来进一步的性能提升。
2022-06-01 cs.IR
CSPM: A Contrastive Spatiotemporal Preference Model for CTR Prediction in On-Demand Food Delivery Services
Alibaba Group（阿里巴巴集团）
本文提出CSPM，通过CSRL、StPE和StIF建模搜索状态下的时空偏好与特征，在工业数据集上达到最优，并在饿了么上线使CTR提升0.88%。
2023-08-10 cs.IR cs.LG
Time Matters: A Novel Real-Time Long- and Short-term User Interest Model for Click-Through Rate Prediction
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
本文针对CTR预测中用户兴趣随时间变化的问题，提出基于周期性模式和时间点模式的时间感知长短期兴趣建模方法，并在公开及工业数据集上验证其优于现有方法。
2025-11-09 cs.IR cs.LG
Time-aligned Exposure-enhanced Model for Click-Through Rate Prediction
针对多反馈序列时间不对齐及缺乏细粒度交互的问题，本文提出TEM4CTR框架，通过表示投影机制实现时间对齐并利用辅助反馈增强点击行为建模。
2023-08-19 cs.IR
Sampling Is All You Need on Modeling Long-Term User Behaviors for CTR Prediction
Meituan Inc.（美团公司）
丰富的用户行为数据已被证明对点击率（CTR）预测应用程序具有重要价值，特别是在工业推荐，搜索或广告系统中。然而，由于在线服务时间的严格要求，现实世界的系统要充分利用长期的用户行为是不平凡的。以往的研究大多采用基于检索的策略，即先检索少量的用户行为，以供后续的注意。然而，基于检索的方法是次优的，会造成或多或少的信息损失，并且难以平衡检索算法的有效性和效率。在本文中，我们提出了SDIM（基于采样的深度兴趣建模），这是一种简单而有效的基于采样的端到端方法，用于对长期用户行为进行建模。从多个散列函数中采样，生成候选项和用户行为序列中每个项的散列签名，通过直接收集与具有相同散列签名的候选项相关联的行为项来获取用户兴趣。我们从理论上和实验上表明，该方法在建模长期用户行为时与标准的基于注意力的模型表现相当，同时速度要快很多倍。并介绍了SDIM在本系统中的部署。具体来说，我们通过设计一个名为BSE（行为序列编码）的单独模块，将最耗时的行为序列哈希从CTR模型中解耦出来。BSE对于CTR服务器是无延迟的，使我们能够对极长的用户行为进行建模。离线和在线实验都证明了SDIM的有效性。SDIM现已在美团APP搜索系统上线部署。
2022-08-08 cs.AI cs.IR
Implicit Look-alike Modelling in Display Ads: Transfer Collaborative Filtering to CTR Estimation
University College London（伦敦大学学院）；MediaGamma Limited（MediaGamma有限公司）
用户行为定位在在线广告中至关重要。与赞助搜索关键字定位和上下文广告页面内容定位相比，用户行为定位通过跟踪用户的在线行为来建立用户的兴趣档案，然后根据每个用户的兴趣提供相关的广告，这导致更高的定位准确性，从而更好地改善广告效果。当前的用户分析方法包括构建关键字和主题标签或将用户映射到层次分类法。然而，据我们所知，有没有以前的工作，明确调查用户在线访问的相似性，并将这种相似性到他们的广告响应预测。在这项工作中，我们提出了一个通用的框架，学习用户简档的基础上，他们的在线浏览行为，并将学习到的知识，他们的广告响应的预测。在技术上，我们提出了一个基于概率潜在因素图模型的迁移学习模型，其中用户的广告响应配置文件是从他们的在线浏览配置文件生成的。基于真实世界数据的大规模实验表明，我们的解决方案在一些强基线上有显着的改善。
2016-01-11 cs.IR cs.LG
Enhancing Cross-domain Click-Through Rate Prediction via Explicit Feature Augmentation
本文提出跨领域增强网络CDAnet，通过设计的翻译网络和增强网络顺序训练，实现显式跨领域知识传递，有效解决了传统方法依赖超级领域及静态知识的问题，在多个数据集及淘宝在线A/B测试中显著提升了CTR预测性能。
2024-02-18 cs.IR
MTBRN: Multiplex Target-Behavior Relation Enhanced Network for Click-Through Rate Prediction
点击率（CTR）预测是许多工业系统，如显示广告和推荐系统的关键任务。近年来，用户行为序列建模在CTR领域得到了广泛的关注，并取得了很大的进展。现有的工作主要是在考虑用户行为与目标项之间的关系时，利用基于嵌入产品的注意力机制。然而，这种方法缺乏具体的语义，忽略了驱动用户点击目标项的根本原因。在本文中，我们提出了一个新的框架命名为多重目标行为关系增强网络（MTBRN），利用用户行为和目标项目之间的多重关系，以提高点击率预测。多重关系包含了有意义的语义，可以从不同的角度理解用户的兴趣。为了探索和建模多重关系，我们建议合并各种图（例如，知识图谱和项目-项目相似度图）来构建用户行为与目标项目之间的多个关系路径。然后应用Bi-LSTM对路径提取器层中的每个路径进行编码。设计了一个路径融合网络和一个路径激活网络来自适应地聚集并最终学习所有路径的表示以进行CTR预测。大量的离线和在线实验清楚地验证了我们的框架的有效性。
2020-08-26 cs.IR
Incorporating Group Prior into Variational Inference for Tail-User Behavior Modeling in CTR Prediction
Kuaishou Technology（快手科技）
针对CTR预测中尾部用户行为稀疏导致兴趣建模困难的问题，提出GPSVI方法，通过引入群体偏好作为变分推断先验并结合保体积流，在保持头部用户效果的同时持续提升尾部用户表现。
2024-10-19 cs.AI cs.IR
Deep Evolutional Instant Interest Network for CTR Prediction in Trigger-Induced Recommendation
Alibaba Group（阿里巴巴集团）；SIGS, Tsinghua University（清华大学深圳国际研究生院）
针对触发式推荐中用户即时兴趣随滚动动态变化及触发物品交互建模不足的问题，提出DEI2N，融合时间行为信息、兴趣演化层与交互层，并在离线、工业数据和在线A/B测试中验证其CTR预测优势。
2024-08-04 cs.IR cs.LG
Rethinking Position Bias Modeling with Knowledge Distillation for CTR Prediction
Tsinghua University（清华大学）
点击率（CTR）预测在现实世界的在线广告系统中具有重要意义。CTR预测任务的一个挑战是从用户点击的项目中捕捉用户的真实兴趣，这固有地受到项目的呈现位置的影响，即，更靠前的位置倾向于获得更高的CTR值。一个流行的线现有的作品集中在明确估计位置偏差的结果随机化，这是昂贵的和低效的，或通过逆倾向加权（IPW），这在很大程度上依赖于质量的倾向估计。另一种常见的解决方案是在离线训练期间将位置建模为特征，并在服务时简单地采用固定值或dropout技巧。然而，训练-推理不一致可能导致次优性能。此外，诸如位置值的点击后信息是信息性的，而在CTR预测中较少利用。本文提出了一个简单而有效的知识蒸馏框架来减轻位置偏差的影响，并利用位置信息来提高CTR预测。我们在真实世界的生产数据集和在线A/B测试上展示了我们所提出的方法的性能，与竞争基线模型相比取得了显着的改进。所提出的方法已部署在现实世界中的在线广告系统，服务于世界上最大的电子商务平台之一的主要流量。
2022-04-01 cs.AI cs.IR cs.LG
PRECTR: A Synergistic Framework for Integrating Personalized Search Relevance Matching and CTR Prediction
Alibaba Group（阿里巴巴集团）；Xi’an Jiaotong University（西安交通大学）
提出PRECTR框架，通过条件概率融合机制统一搜索相关性匹配与CTR预测，引入两阶段训练和语义一致性正则化，并利用用户相关性偏好定制激励，实验证明其有效性。
2025-03-26 cs.AI cs.IR
