AdaptDHM: Adaptive Distribution Hierarchical Model for Multi-Domain CTR Prediction
Cainiao Network（菜鸟网络）
大型商业平台通常涉及多个业务领域，以实现不同的业务策略，并期望其推荐系统同时提供多个领域的点击率（CTR）预测。现有的多领域模型通过显式地构建特定领域的网络来发现领域之间的关系，但随着领域的增加，计算量和内存会显著增加。为了降低计算复杂性，在工业应用中通常使用特定的业务策略手动地对域进行分组。然而，这种预定义的数据划分方式严重依赖于先验知识，它可能会忽略每个域的底层数据分布，从而限制了模型的表示能力。针对上述问题，我们提出了一种优雅而灵活的多分布建模范式，称为自适应分布层次模型（AdaptDHM），这是一个端到端的优化层次结构，包括聚类过程和分类过程。具体而言，我们设计了一个分布式适配模块与定制的动态路由机制。该路由算法不引入先验知识进行预定义的数据分配，而是自适应地为每个样本提供一个分布系数，以确定它属于哪个簇。每个聚类对应于一个特定的分布，以便模型可以充分捕捉这些不同聚类之间的共性和区别。在公开和大规模阿里巴巴工业数据集上进行的大量实验验证了AdaptDHM的有效性和效率：我们的模型取得了令人印象深刻的预测准确性，并且在训练阶段的时间成本比其他模型减少了50%以上。
2022-11-22 cs.IR cs.LG
Scaled Supervision is an Implicit Lipschitz Regularizer
Dartmouth College（达特茅斯学院）
针对CTR预测中二值标签监督丰富度不足导致的模型过拟合问题，本研究提出拓宽监督带宽的方法，证明其可作为隐式Lipschitz正则化器提升CTR模型泛化性，且无需额外超参数调优。
2025-03-19 cs.IR cs.LG
On-Device Model Fine-Tuning with Label Correction in Recommender Systems
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Dallas（得克萨斯大学达拉斯分校）；Alibaba Group（阿里巴巴集团）
为了满足在线智能服务中低延迟、低成本、隐私性好的实际需求，越来越多的深度学习模型从云端卸载到移动设备上。为了进一步处理跨设备的数据异构性，卸载的模型通常需要在投入实时推理之前使用每个用户的本地样本进行微调。在这项工作中，我们专注于推荐系统中的基本点击率（CTR）预测任务，并研究如何有效地执行设备上的微调。我们首先识别每个单独用户的本地CTR（即，用于微调的局部数据集中的正样本的比率）倾向于偏离全局CTR（即，云上所有用户的混合数据集中的阳性样本的比率，用于训练出初始模型）。我们进一步证明，这样的CTR漂移问题使得设备上的微调，甚至有害的项目排名。因此，我们提出了一种新的标签校正方法，该方法只需要每个用户在设备上微调之前改变本地样本的标签，并且可以很好地将本地先验CTR与全局CTR对齐。三个数据集和五个CTR预测模型的离线评估结果以及手机淘宝的在线A/B测试结果证明了标签校正在设备上微调的必要性，也揭示了基于云的学习在没有微调的情况下的改进。
2022-10-21 cs.AI cs.IR cs.LG
CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU
Bytedance（字节跳动）
点击率（CTR）预测任务是预测用户是否会点击推荐项目。由于每天在线生成的数据量令人难以置信，因此加速CTR预测模型训练对于确保模型最新并降低训练成本至关重要。提高训练速度的一种方法是应用大批量训练。然而，如计算机视觉和自然语言处理任务所示，大批量训练很容易损失准确性。我们的实验表明，以前的缩放规则在CTR预测神经网络的训练失败。为了解决这个问题，我们首先从理论上证明了不同频率的id使得在缩放批量大小时缩放超参数具有挑战性。为了在大批量设置中稳定训练过程，我们开发了自适应列式裁剪（CowClip）。它为嵌入提供了一个简单有效的缩放规则，该规则保持学习率不变并缩放L2损失。我们在两个真实世界的数据集上使用四个CTR预测网络进行了广泛的实验，并成功地将原始批量规模扩展了128倍，而没有准确性损失。特别是，对于Criteo数据集上的CTR预测模型DeepFM训练，我们的优化框架将批量大小从1K扩大到128K，AUC提高超过0.1%，并将单个V100 GPU上的训练时间从12小时减少到10分钟。我们的代码位于https://github.com/bytedance/LargeBatchCTR。
2022-11-30 cs.IR cs.LG
MATT-CTR: Unleashing a Model-Agnostic Test-Time Paradigm for CTR Prediction with Confidence-Guided Inference Paths
Alibaba Group（阿里巴巴集团）
提出一种模型无关的测试时范式MATT，利用特征组合的置信度分数生成多条推理路径并聚合预测，以缓解低置信度特征对CTR预测的影响。
2026-05-26 cs.IR cs.LG
Enhancing CTR Prediction through Sequential Recommendation Pre-training: Introducing the SRP4CTR Framework
提出SRP4CTR框架，通过序列推荐预训练与交叉注意力模块及查询变换器技术，在低成本下将预训练知识迁移至CTR预估物品，有效提升点击率预测性能。
2024-07-29 cs.IR
Continual Learning for CTR Prediction: A Hybrid Approach
Meituan（美团）
点击率（CTR）预测是每次点击成本（CPC）广告系统中的核心任务，并且已经被机器学习从业者广泛研究。虽然许多现有的方法已经成功地部署在实践中，他们中的大多数是建立在i.i.d.。（独立且同分布）假设，忽略了用于训练和推断的点击数据是通过时间收集的并且本质上是非平稳和漂移的。这种不匹配将不可避免地导致次优性能。为了解决这个问题，我们制定CTR预测作为一个持续学习的任务，并提出COLF，混合持续学习框架CTR预测，它有一个基于内存的模块化架构，旨在适应，学习和预测时，不断面对非平稳漂移点击数据流。结合明确控制记忆和目标数据之间差异的记忆人口方法，COLF能够从其历史经验中获得积极的知识，并改进CTR预测。通过对中国某大型购物应用的点击日志数据进行实证分析，证明了该方法的优越性。此外，我们已经在线部署了我们的方法，并观察到显著的CTR和收入改善，这进一步证明了我们方法的有效性。
2022-01-18 cs.IR cs.LG
Ensemble Knowledge Distillation for CTR Prediction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-Sen University（中山大学）
本文提出基于知识蒸馏的CTR预测训练策略，用教师集成、教师门控和蒸馏损失早停训练简化DNN学生模型，在三个工业数据集上验证其优于12个现有模型。
2023-07-05 cs.IR cs.LG
PHN: Parallel heterogeneous network with soft gating for CTR prediction
Central South University（中南大学）
点击率预测任务是推荐系统中的一项基本任务。以往的CTR模型研究大多是基于Wide \Deep结构建立的，并逐渐演变为不同模块的并行结构。然而，并行结构的简单积累会导致更高的结构复杂度和更长的训练时间。基于输出层Sigmoid激活函数，并行结构在训练过程中线性相加激活值容易使样本落入弱梯度区间，产生弱梯度现象，降低训练的有效性。为此，本文提出了并行异构网络模型（PHN），该模型通过三种不同的交互分析方法构建具有并行结构的网络，并采用软选择门（SSG）来表征不同结构的异构数据。最后，在网络中使用带有可训练参数的剩余连接来减轻弱梯度现象的影响。此外，我们在大量的对比实验中证明了PHN的有效性，并可视化了模型在训练过程和结构上的性能。
2022-06-18 cs.IR cs.LG cs.NI
ScaleFreeCTR: MixCache-based Distributed Training System for CTR Models with Huge Embedding Table
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
由于深度学习具有优越的特征表示能力，工业公司在商业系统中部署了各种深度点击率（CTR）模型。为了获得更好的性能，需要在大量的训练数据上对深度CTR模型进行有效的训练，这使得加快训练过程成为一个重要问题。与具有密集训练数据的模型不同，CTR模型的训练数据通常是高维和稀疏的。为了将高维稀疏输入转换为低维密集实值向量，几乎所有的深度CTR模型都采用嵌入层，嵌入层很容易达到数百GB甚至TB。由于单个GPU无法承受所有嵌入参数，因此在执行分布式训练时，仅进行数据并行是不合理的。因此，现有的分布式推荐训练平台采用模型并行。具体来说，它们使用服务器的CPU（主机）内存来维护和更新嵌入参数，并利用GPU工作器进行向前和向后计算。不幸的是，这些平台遭受两个瓶颈：（1）主机和GPU之间的拉/推操作的延迟;（2）CPU服务器中的参数更新和同步。为了解决这些瓶颈，在本文中，我们提出了ScaleFreeCTR：一个基于MixCache的CTR模型分布式训练系统。具体地说，在SFCTR中，我们也将巨大的嵌入表存储在CPU中，但利用GPU而不是CPU来有效地进行嵌入同步。为了减少GPU主机和GPU之间的数据传输延迟，提出了MixCache机制和虚拟稀疏ID操作。进行了全面的实验和消融研究，以证明SFCTR的有效性和效率。
2021-05-11 cs.AI cs.DC cs.IR
FeatureBox: Feature Engineering on GPUs for Massive-Scale Ads Systems
Baidu Research（百度研究院）；Baidu Inc.（百度公司）
深度学习已被广泛部署用于在线广告系统以预测点击率（CTR）。机器学习研究人员和从业者经常重新训练CTR模型，以测试他们新提取的特征。然而，CTR模型训练通常依赖于大量原始输入数据日志。因此，对于工业级CTR模型，特征提取可能占用很大比例的训练时间。在本文中，我们提出了一种新的端到端训练框架，它将特征提取和GPU服务器上的训练进行流水线化，以节省特征提取的中间I/O。我们将计算密集型特征提取运算符重写为GPU运算符，并将内存密集型运算符留在CPU上。我们引入了一个分层的运营商调度算法来调度这些异构运营商。我们提出了一种轻量级的GPU存储管理算法，支持动态GPU内存分配，以最小的开销。我们通过实验评估了MatureBox，并在两个真实的广告应用程序上将其与之前的生产特征提取框架进行了比较。实验结果证实了该方法的有效性。
2022-09-26 cs.IR cs.LG
CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning
Alibaba Group（阿里巴巴集团）
本文主要研究广告文本的自动生成，目标是使生成的文本能够捕捉用户的兴趣，从而获得更高的点击率。我们提出了CREATER，一个点击率驱动的广告文本生成方法，基于高质量的用户评论生成广告文本。为了融入CTR目标，我们的模型使用对比学习从在线A/B测试数据中学习，这鼓励模型生成获得更高CTR的广告文本。为了缓解低资源问题，我们设计了一个自定义的自监督目标，减少了预训练和微调之间的差距。在工业数据集上的实验表明，CREATER显著优于当前的方法。它已被部署在一个领先的广告平台上，并带来了核心在线指标的提升。
2022-05-18 cs.CL cs.IR
Rec4Ad: A Free Lunch to Mitigate Sample Selection Bias for Ads CTR Prediction in Taobao
Alibaba Group（阿里巴巴集团）
本文提出 Rec4Ad，利用共享用户决策逻辑的推荐样本及对齐、去相关表示学习，在无需均匀数据的情况下缓解广告 CTR 模型的样本选择偏差，并在淘宝取得 CTR 与 RPM 显著提升。
2023-06-06 cs.IR cs.LG
Clicks Versus Conversion: Choosing a Recommender's Training Objective in E-Commerce
Digitec Galaxus AG
本文通过在线A/B测试对比了电子商务中优化CTR与转化率（ACR/OSR）对业务目标的影响，发现优化OSR能带来比CTR高五倍以上的GMV提升且不牺牲新商品发现。
2025-08-14 cs.IR cs.LG
Rethinking Position Bias Modeling with Knowledge Distillation for CTR Prediction
Tsinghua University（清华大学）
点击率（CTR）预测在现实世界的在线广告系统中具有重要意义。CTR预测任务的一个挑战是从用户点击的项目中捕捉用户的真实兴趣，这固有地受到项目的呈现位置的影响，即，更靠前的位置倾向于获得更高的CTR值。一个流行的线现有的作品集中在明确估计位置偏差的结果随机化，这是昂贵的和低效的，或通过逆倾向加权（IPW），这在很大程度上依赖于质量的倾向估计。另一种常见的解决方案是在离线训练期间将位置建模为特征，并在服务时简单地采用固定值或dropout技巧。然而，训练-推理不一致可能导致次优性能。此外，诸如位置值的点击后信息是信息性的，而在CTR预测中较少利用。本文提出了一个简单而有效的知识蒸馏框架来减轻位置偏差的影响，并利用位置信息来提高CTR预测。我们在真实世界的生产数据集和在线A/B测试上展示了我们所提出的方法的性能，与竞争基线模型相比取得了显着的改进。所提出的方法已部署在现实世界中的在线广告系统，服务于世界上最大的电子商务平台之一的主要流量。
2022-04-01 cs.AI cs.IR cs.LG
CTRL: Connect Collaborative and Language Model for CTR Prediction
针对传统CTR预测缺语义、PLM类方法效率低且未用协同关系的问题，提出CTRL框架，通过跨模态对齐融合协同与语义信号，性能超SOTA且适配工业高效部署。
2023-12-18 cs.IR
Native Multimodal Representation Learning for Click-Through Rate Prediction in E-Commerce Scenarios
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）；University of Science and Technology of China（中国科学技术大学）
针对现有多模态CTR预测模型两阶段范式的缺陷，本文提出Mine-Then-Train方法，通过挖掘CTR数据的高质量样本微调多模态编码器，提升了模型性能。
2026-09-15 cs.IR
DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction
Tsinghua University（清华大学）；Tencent（腾讯）
本文提出DELTA模型，利用截断意识注意力动态学习嵌入，通过课程学习选择关键特征并显式优化嵌入，在五个CTR数据集上达到最先进性能。
2023-09-05 cs.IR cs.LG
Towards An Efficient LLM Training Paradigm for CTR Prediction
针对LLM用于CTR预测时滑动窗口训练复杂度高的问题，提出DTI并行训练多个目标交互，并解决隐藏状态泄漏与位置偏见过拟合，平均减少92%训练时间且保持性能。
2025-03-15 cs.IR
Deep Position-wise Interaction Network for CTR Prediction
点击率（CTR）预测在在线广告和推荐系统中起着重要的作用。在实践中，CTR模型的训练取决于点击数据，该点击数据本质上偏向于较高位置，因为较高位置本质上具有较高CTR。现有的方法，如固定位置推理的实际位置训练和无位置推理的逆倾向加权训练，在一定程度上缓解了偏差问题。然而，在训练和推理之间对位置信息的不同处理将不可避免地导致不一致和次优的在线性能。同时，这些方法的基本假设，即，点击概率是检查概率和相关概率的乘积，过于简化，不足以模拟位置与其他信息之间的丰富交互。在本文中，我们提出了一个深度位置明智的互动网络（DPIN），有效地结合所有候选项目和位置估计CTR在每个位置，实现离线和在线之间的一致性，以及建模的深度非线性之间的互动位置，用户，上下文和项目的限制下，服务性能。根据我们对CTR预测中位置偏差的新处理，我们提出了一种新的评价指标PAUC（position-wise AUC），适用于测量给定位置的排名质量。通过在真实世界数据集上的大量实验，我们经验性地证明了我们的方法在解决位置偏差问题上是有效的和高效的。我们还在生产中部署了我们的方法，并在严格的A/B测试中观察到了高度优化的基线在统计上的显著改善。
2021-06-17 cs.IR
IDProxy: CTR Prediction with Multimodal LLMs for Cold-Start Recommendation at Xiaohongshu
Xiaohongshu Inc.（小红书公司）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
IDProxy通过多模态大语言模型生成代理嵌入，解决广告和推荐系统中物品冷启动的CTR预测问题，实现与现有嵌入空间的对齐和端到端优化，已在小红书大规模应用。
2026-09-22 cs.IR cs.LG
Regularized Adversarial Sampling and Deep Time-aware Attention for Click-Through Rate Prediction
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Hong Kong Polytechnic University（香港理工大学）
提高点击率（CTR）预测的性能仍然是在线广告系统的核心任务之一。随着深度学习的兴起，具有深度网络的CTR预测模型显著增强了模型的能力。在深度CTR模型中，利用用户的历史数据对于学习用户的行为和兴趣至关重要。针对现有CTR预测方法在嵌入用户历史点击记录时忽略了时间信号的重要性，提出了一种时间感知的注意力模型，该模型明确地使用绝对时间信号来表示用户的周期性行为，使用相对时间信号来表示项目之间的时间关系。此外，我们提出了一种正则化的对抗抽样策略的负采样，缓解了CTR数据的分类不平衡，并可以利用观察到的负CTR样本提供的强指导。对抗性采样策略显著提高了训练效率，并且可以与时间感知注意力模型无缝协同训练。实验进行了真实世界的CTR数据集，从站内和站外的广告场所。
2019-11-03 cs.IR cs.LG stat.ML
Communication-Efficient TeraByte-Scale Model Training Framework for Online Advertising
Cognitive Computing Lab, Baidu Research（百度研究院认知计算实验室）；Baidu Search Ads (Phoenix Nest), Baidu Inc.（百度公司搜索广告（凤巢））
点击率（CTR）预测是在线广告行业的重要组成部分。为了产生个性化CTR预测，行业级CTR预测模型通常采用高维（例如，100或1000亿个特征）稀疏向量（其从查询关键字、用户画像等编码）作为输入。因此，该模型需要TB尺度参数来嵌入高维输入。提出了一种分层分布式GPU参数服务器，利用CPU主存储器和SSD作为辅存，使内存有限的GPU能够训练大规模网络。我们确定了现有GPU训练框架中针对大规模广告模型的两个主要挑战，并提出了一系列优化来解决这些挑战：（a）GPU，CPU，SSD在训练期间快速相互通信。GPU和CPU之间的连接由于硬件拓扑而不均匀。数据通信路由应根据硬件拓扑结构进行优化;（b）不同计算节点中的GPU频繁通信以同步参数。我们需要优化通信，使分布式系统可以成为可扩展的。在本文中，我们提出了一个硬件感知的训练工作流程，耦合到算法设计的硬件拓扑结构。为了减少计算节点之间的大量通信，针对流行的Adam优化算法，提出了一种$k$ -步模型合并算法，并给出了该算法在非凸优化中的收敛速度.据我们所知，这是$k$步长自适应优化方法在工业级CTR模型训练中的首次应用。对真实数据的数值结果证实，优化的系统设计大大减少了大规模模型的训练时间，基本上没有损失准确性。
2022-01-05 cs.IR cs.LG
DADNN: Multi-Scene CTR Prediction via Domain-Aware Deep Neural Network
Business Growth BU, JD（京东商业增长事业部）
点击率预测是广告系统的核心任务。我公司电子商务业务的蓬勃发展，导致越来越多的场景。大部分都是所谓的长尾场景，也就是单个场景的流量有限，但整体流量可观。典型的研究主要集中在服务于一个单一的场景与一个良好的设计模型。然而，这种方法在离线训练和在线服务上都带来了过度的资源消耗。此外，简单地用来自多个场景的数据训练单个模型忽略了它们自身的特征。为了应对这些挑战，我们提出了一种新颖但实用的模型，名为域感知深度神经网络（DADNN），通过服务多个场景，只有一个模型。具体来说，所有场景之间的共享底部块被应用于学习一个共同的表示，而特定领域的头部保持每个场景的特征。此外，知识转移的引入，以提高不同场景之间的知识共享的机会。在本文中，我们研究了两个DADNN的实例，其中共享底层模块分别是多层感知器（MLP）和多门混合专家（MMoE），我们分别将其表示为DADNN-MLP和DADNN-MMoE。在我们公司的实际生产数据集上进行的全面离线实验表明，DADNN在多场景CTR预测方面优于几种最先进的方法。广泛的在线A/B测试表明，与精心设计的DCN模型相比，DADNN-MLP贡献了高达6.7%的CTR和3.0%的CPM（每千人成本）促销。此外，DADNN-MMoE优于DADNN-MLP，CTR和CPM分别相对提高2.2%和2.7%。更重要的是，DADNN使用单一模型用于多个场景，节省了大量的离线训练和在线服…
2020-11-24 cs.AI cs.IR cs.LG
Adaptive Low-Precision Training for Embeddings in Click-Through Rate Prediction
Huazhong University of Science and Technology（华中科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对 CTR 模型嵌入表庞大的问题，提出 LPT 与自适应 ALPT 量化训练方法，通过梯度学习量化步长，在极低比特下保持精度并首次实现无损 8-bit 嵌入训练。
2022-12-12 cs.IR cs.LG
CTR-Guided Generative Query Suggestion in Conversational Search
本文提出GQS框架，通过多源CTR建模、CTR加权DPO偏好对齐和迭代优化，在对话式搜索中生成兼顾相关性与多样性的查询建议，实验证明其在CTR、相关性和多样性上优于基线。
2025-07-05 cs.IR
Streaming CTR Prediction: Rethinking Recommendation Task for Real-World Streaming Data
本文将CTR预测重新定义为面向真实动态数据流的Streaming CTR Prediction任务，构建基准与指标，揭示流式学习困境，并提出参数调优和样本回放方法以提升模型效果。
2023-07-14 cs.IR
Continual Transfer Learning for Cross-Domain Click-Through Rate Prediction at Taobao
作为世界上最大的电子商务平台之一，淘宝的推荐系统（RS）服务于数亿客户的购物需求。点击率预测是RS的核心组成部分。淘宝网点击率预测的一个最大特点是存在多个推荐领域，不同领域的规模差异很大。因此，进行跨域CTR预测以将知识从大域转移到小域以缓解数据稀疏性问题是至关重要的。然而，现有的跨域CTR预测方法是针对静态知识转移提出的，忽略了现实世界RS中的所有域都是不断随时间演变的。有鉴于此，我们提出了一个必要的，但新颖的任务命名为连续迁移学习（CTL），它转移知识从一个随时间变化的源域到一个随时间变化的目标域。在这项工作中，我们提出了一个简单而有效的CTL模型称为CTNet，以解决在淘宝上的连续跨域CTR预测的问题，CTNet可以有效地训练。特别是，CTNet认为行业中的一个重要特征是模型已经经过了很长时间的持续良好训练。因此，CTNet旨在充分利用源域和目标域中所有经过良好训练的模型参数，以避免丢失历史上获得的知识，并且只需要增量目标域数据进行训练以保证效率。大量的离线实验和淘宝网的在线A/B测试证明了CTNet的效率和有效性。CTNet现已部署在淘宝网的推荐系统中，为数亿活跃用户的主要流量提供服务。
2023-02-20 cs.IR
FedUD: Exploiting Unaligned Data for Cross-Platform Federated Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
本文提出FedUD框架，通过知识蒸馏和表示转移网络，利用跨平台未对齐数据增强联邦学习中的点击率预测，解决了传统纵向联邦学习仅依赖对齐数据的局限。
2024-07-26 cs.IR cs.LG
Efficient Transfer Learning Framework for Cross-Domain Click-Through Rate Prediction
针对广告数据稀疏和模型每日更新导致的灾难性遗忘问题，提出三层异步框架E-CDCTR，通过TPM和CPM预训练将自然内容知识迁移至广告CTR模型，有效提升预测性能。
2024-08-29 cs.IR
Self-Balancing Gradient Allocation for Heterogeneity-Aware Feature Generation in Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
针对生成式CTR方法中重建目标忽略特征场异构性导致难场欠拟合的问题，提出HeteGenCTR，通过可学习的场难度参数联合训练去噪网络，实现自平衡损失和难度引导注意力机制，在五个基准和在线A/B测试中取得显著提升。
2026-05-24 cs.IR cs.LG
Multi-Epoch Learning for Deep Click-Through Rate Prediction Models
KuaiShou Technology（快手科技）
针对深度CTR模型单轮次过拟合问题，本文提出多轮次学习框架MEDA，通过每轮重新初始化嵌入层实现数据增强，在多个公开数据集及快手真实场景中显著优于传统单轮次训练。
2023-05-31 cs.IR cs.LG
Discrete Semantic Tokenization for Deep CTR Prediction
本文提出了一种用于CTR预测的离散语义分词方法UIST，通过将密集嵌入向量量化为离散令牌并采用分层混合推理模块，实现了快速训练和推理，同时显著减少内存占用，在新闻推荐任务中展现出约200倍的空间压缩效率。
2024-03-21 cs.IR
FedCTR: Federated Native Ad CTR Prediction with Multi-Platform User Behavior Data
原生广告是一种流行的在线广告类型，其形式与网站上显示的原生内容相似。原生广告CTR预测对于提升用户体验和平台收益非常有用。然而，由于缺乏明确的用户意图，这是具有挑战性的，并且用户在具有原生广告的平台上的行为可能不足以推断他们对广告的兴趣。幸运的是，用户行为存在于许多在线平台上，它们可以为用户兴趣挖掘提供补充信息。因此，利用多平台用户行为对于原生广告CTR预测是有用的。然而，由于用户隐私问题和GDPR等数据保护法规，用户行为具有高度隐私敏感性，不同平台上的行为数据无法直接聚合。现有的点击率预测方法通常需要集中存储用户行为数据进行用户建模，无法直接应用于多平台用户行为的点击率预测任务。在本文中，我们提出了一个联合的原生广告CTR预测方法FedCTR，它可以学习用户的兴趣表示，从他们的行为在多个平台上的隐私保护的方式。在每个平台上，本地用户模型用于从该平台上的本地用户行为中学习用户嵌入。将来自不同平台的本地用户嵌入上传到服务器进行聚合，并将聚合的用户嵌入发送到广告平台进行CTR预测。此外，为了更好的隐私保护，我们分别将LDP和DP技术应用于本地和聚合用户嵌入。此外，我们提出了一个用于使用分布式模型和用户行为进行模型训练的联邦框架。在真实数据集上的大量实验表明，FedCTR可以有效地利用多平台用户行为，以隐私保护的方式进行原生广告CTR预测。
2020-07-23 cs.IR
The Effects of Data Split Strategies on the Offline Experiments for CTR Prediction
本文研究了CTR预测中离线评估的数据划分策略问题，通过在Criteo数据集上对比随机划分和时间划分，揭示了离线性能与在线表现差异的原因。
2024-06-26 cs.IR
Selective Test-Time Compute Scaling for Click-Through Rate Prediction via Uncertainty-Triggered Feature Path Exploration
Alibaba Group（阿里巴巴集团）
针对点击率预测中训练数据稀疏导致的不确定性，提出无需训练、模型无关的UTTSI框架，通过双信号估计器区分认知不确定性和偶然模糊性，对不确定实例进行自适应特征过滤和随机特征路径探索，在保持最坏延迟不变的情况下实现平均约2.8倍基础模型开销，实验和在线A/B测试均取得显著提升。
2026-05-24 cs.AI cs.IR cs.LG
Infer As You Train: A Symmetric Paradigm of Masked Generative for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
针对现有CTR预测生成模型训练与推理阶段范式不对称、无法充分发挥生成能力的问题，提出对称掩码生成框架SGCTR，在两阶段对称应用生成能力，有效提升了CTR预测准确率。
2025-11-18 cs.IR
Disentangled Interest Network for Out-of-Distribution CTR Prediction
Tsinghua University（清华大学）；Hefei University of Technology（合肥工业大学）
DiseCTR通过解耦用户兴趣，提升分布外点击率预测的准确性和鲁棒性。
2025-11-14 cs.AI cs.IR cs.LG
DUET: Dual Model Co-Training for Entire Space CTR Prediction
针对推荐系统预排序阶段双塔模型表达能力不足、样本选择偏差严重的问题，提出集合级预排序框架DUET，通过双模型协同训练缓解偏差，性能优于现有基线，已在快手全量部署。
2025-10-28 cs.IR
NeSHFS: Neighborhood Search with Heuristic-based Feature Selection for Click-Through Rate Prediction
Middle East Technical University（中东技术大学）；Arizona State University（亚利桑那州立大学）
针对CTR预测中特征冗余、计算成本高及现有特征选择算法效果不足的问题，提出启发式算法NeSHFS，可降本提效，经三个公开数据集实验验证了其有效性。
2024-09-13 cs.AI cs.IR
Calibration-compatible Listwise Distillation of Privileged Features for CTR Prediction
针对CTR预测中特权特征蒸馏的逐点损失排序能力不足、常用列表损失损害校准能力的问题，提出校准兼容列表式蒸馏方法，兼顾排序与校准效果，经理论证明与多数据集实验验证有效。
2023-12-14 cs.IR
Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction
Kuaishou Technology（快手科技）；Beijing Institute of Technology（北京理工大学）
针对深度CTR模型第二轮训练开始时的嵌入层过拟合问题，提出MEDA框架，通过多嵌入空间训练MLP实现数据增强，并在公开、商业数据集及在线广告系统中验证其优于单轮训练。
2024-06-27 cs.IR cs.LG stat.ML
Adversarial Alignment and Disentanglement for Cross-Domain CTR Prediction with Domain-Encompassing Features
Petro-CyberWorks Information Technology Co., Ltd.（石化网安信息技术有限公司）
本文提出A²DCDR模型，通过对抗训练和特征解耦提升跨领域CTR预测性能。
2026-01-24 cs.IR
Light distillation for Incremental Graph Convolution Collaborative Filtering
本文提出一种轻量偏好驱动的蒸馏方法，用于增量图卷积协同过滤，直接从历史交互中蒸馏用户偏好，显著减少训练时间（1.5-9.5倍），并在两个数据集上提升Recall@20。
2025-05-26 cs.IR
