Click-Through Rate Prediction with the User Memory Network
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。像深度神经网络（DNN）这样的模型很简单，但没有状态。他们独立地考虑每个目标广告，无法直接提取用户历史广告印象和点击中包含的有用信息。相比之下，像递归神经网络（RNN）这样的模型是有状态的，但很复杂。它们对用户顺序行为之间的时间依赖性进行建模，可以实现比DNN更好的预测性能。然而，RNN的离线训练和在线预测过程都更加复杂和耗时。在本文中，我们提出了内存增强DNN（MA-DNN）的实际CTR预测服务。特别是，我们为每个用户创建两个外部记忆向量，记住用户可能喜欢和不喜欢的高级抽象。所提出的MA-DNN实现了DNN和RNN之间的良好折衷。它与DNN一样简单，但与RNN一样具有一定的挖掘用户历史行为中包含的有用信息的能力。离线和在线实验都证明了MA-DNN在实际CTR预测服务中的有效性。实际上，内存组件也可以扩展到其他模型（例如，Wide&Deep模式）。
2019-07-20 cs.IR cs.LG
Don't Click the Bait: Title Debiasing News Recommendation via Cross-Field Contrastive Learning
针对新闻推荐中的标题党偏差问题，提出融合新闻摘要的TDNR-C2模型，通过多字段知识提取与跨域对比学习实现去偏，在真实数据集上性能优于现有最优方法。
2024-08-16 cs.IR
AIM: Automatic Interaction Machine for Click-Through Rate Prediction
特征嵌入学习和特征交互建模是用于点击率（CTR）预测的深度模型的两个关键组成部分。大多数现有的深度CTR模型存在以下三个问题。首先，功能交互要么是手动设计的，要么只是枚举。其次，所有的功能交互建模具有相同的交互功能。第三，在大多数现有模型中，不同的特征共享相同的嵌入大小，这导致内存效率低下。针对上述三个问题，提出了一种基于特征交互搜索、交互函数搜索和嵌入维搜索的自动交互机（AIM），在统一的框架下自动选择重要的特征交互、合适的交互函数和必要的嵌入维。具体而言，FIS组件自动识别不同顺序的基本功能的相互作用与无用的修剪; IFS组件选择适当的交互功能，为每个单独的功能交互在一个可学习的方式; EDS组件自动搜索适当的嵌入大小为每个功能。在三个大规模数据集上的离线实验验证了AIM的优越性能。在一个主流应用市场的推荐服务中进行的为期三周的在线A/B测试显示，AIM在CTR方面将DeepFM模型提高了4.4%。
2021-12-13 cs.IR
Deep Learning for Click-Through Rate Estimation
Shanghai Jiao Tong University（上海交通大学）
点击率（CTR）估计是各种个性化在线服务的核心功能模块，包括在线广告，推荐系统和网络搜索等。从2015年开始，深度学习的成功开始有利于CTR估计性能，现在深度CTR模型已经广泛应用于许多行业平台。在本调查中，我们全面回顾了用于CTR估计任务的深度学习模型。首先，我们回顾了从浅层到深层CTR模型的转移，并解释了为什么深入是一个必要的发展趋势。其次，我们专注于深度CTR模型的显式特征交互学习模块。然后，作为具有丰富用户历史的大型平台的重要视角，讨论了深度行为模型。此外，最近出现的自动化方法的深度CTR架构设计。最后，对本研究进行了总结，并对该领域的发展前景进行了展望.
2021-04-21 cs.IR cs.LG
Cold-Start based Multi-Scenario Ranking Model for Click-Through Rate Prediction
本文提出CSMN模型，通过UIPN净化用户行为并提取场景特定兴趣，结合URMN记忆读写机制帮助冷启动用户，在多场景CTR预测中优于现有方法。
2023-04-16 cs.IR
User Behavior Retrieval for Click-Through Rate Prediction
点击率（CTR）预测在现代在线个性化服务中起着关键作用。在实际应用中，有必要通过对用户的连续行为建模来捕捉用户的兴趣漂移，从而建立准确的点击率预测模型。然而，随着用户在平台上积累越来越多的行为数据，序列模型利用每个用户的整个行为历史变得不平凡。首先，直接输入长的行为序列将使在线推理时间和系统负载变得不可行。第二，在如此长的历史中有很多噪声使顺序模型学习失败。当前的工业解决方案主要截断序列，并且仅将最近的行为馈送到预测模型，这导致诸如周期性或长期依赖性的序列模式没有嵌入最近的几个行为中，而是嵌入很久以前的历史中的问题。为了解决这些问题，在本文中，我们认为它从数据的角度，而不仅仅是设计更复杂的模型，并提出了用户行为检索CTR预测（UBR4CTR）框架。在UBR4CTR中，最相关和最合适的用户行为将首先使用可学习的搜索方法从整个用户历史序列中检索。然后，这些检索到的行为被输入到一个深度模型中，以进行最终预测，而不是简单地使用最近的行为。将UBR4CTR应用于工业模型管道具有很高的可行性和较低的成本。三个真实世界的大规模数据集上的实验证明了我们提出的框架和模型的优越性和有效性。
2020-05-28 cs.IR
A Contextual-Bandit Approach to Personalized News Article Recommendation
Yahoo! Labs（雅虎实验室）；Princeton University（普林斯顿大学）
个性化Web服务通过利用内容和用户信息来努力使其服务（广告、新闻文章等）适应个体用户。尽管最近取得了一些进展，但这个问题仍然具有挑战性，至少有两个原因。首先，Web服务的特点是动态变化的内容池，使传统的协同过滤方法不适用。其次，大多数具有实际意义的Web服务的规模要求解决方案在学习和计算方面都要快速。在这项工作中，我们建模的个性化推荐的新闻文章作为一个上下文强盗问题，一个原则性的方法，其中一个学习算法依次选择文章，以服务于用户的上下文信息的基础上，用户和文章，同时适应其文章选择策略的基础上，用户点击反馈，以最大限度地提高总用户点击。这项工作的贡献是三方面的。首先，我们提出了一个新的，一般的上下文强盗算法，是计算效率和学习理论的动机。其次，我们认为，任何强盗算法可以可靠地评估离线使用以前记录的随机流量。最后，使用这种离线评估方法，我们成功地将我们的新算法应用到一个雅虎！Front Page Today模块数据集包含超过3300万个事件。结果显示，与标准的上下文无关的强盗算法相比，点击提升了12.5%，当数据变得更加稀缺时，优势变得更大。
2012-03-01 cs.AI cs.IR cs.LG
Visual Encoding and Debiasing for CTR Prediction
在视觉搜索广告系统中，提取富有表现力的视觉特征对于准确预测点击率至关重要。当前的商业系统使用现成的视觉编码器来促进快速在线服务。然而，所提取的视觉特征是粗粒度的和/或有偏见的。在本文中，我们提出了一个视觉编码框架的CTR预测，以克服这些问题。该框架基于对比学习，在视觉特征空间中拉近正对并推开负对。为了获得细粒度的视觉特征，我们提出了对比学习监督点击通过数据微调的视觉编码器。为了减少样本选择偏差，首先我们通过利用无偏的自我监督和点击监督信号来离线训练视觉编码器。其次，我们在在线CTR预测器中加入了一个去偏网络，通过对比高印象项目和低印象项目来调整视觉特征。十亿级数据集上的离线实验和在线实验表明，该框架可以做出准确和无偏的预测。
2022-05-09 cs.IR
Learning from User Interactions with Rankings: A Unification of the Field
排名系统构成了在线搜索引擎和推荐服务的基础。它们处理大量的项目，例如网页或电子商务产品，并向用户呈现一个小的有序选择。排名系统的目标是帮助用户以最少的努力找到他们正在寻找的项目。因此，它们产生的排名应该将最相关或最受欢迎的项目放在排名的顶部。学习排序是机器学习中的一个领域，其涵盖了优化排序系统的方法。这个目标传统的监督学习排序方法利用专家判断进行评价和学习，然而，在许多情况下，这样的判断是不可能或不可行的。作为解决方案，已经引入了替代地基于用户点击来执行学习排序的方法。点击的困难在于，它们不仅受到用户偏好的影响，还受到显示的排名的影响。因此，这些方法必须防止被用户偏好之外的其他因素所偏置。本论文主要研究基于用户点击的学习排序方法，旨在统一不同的排序方法。作为一个整体，本文的第二部分提出了一个框架，弥合了在线，反事实和监督学习排序领域之间的许多差距。它采用了以前被认为是独立的方法，并将它们统一为一种方法，用于广泛适用和有效的学习排序。
2020-12-09 cs.IR
MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。现有的工作主要解决单域CTR预测问题和模型方面，如功能交互，用户行为历史和上下文信息。然而，广告通常与自然内容一起显示，这为跨域CTR预测提供了机会。在本文中，我们解决这个问题，并利用辅助数据从源域，以提高CTR预测性能的目标域。我们的研究基于UC今日头条（与UC浏览器App集成的新闻推送服务，每日服务数亿用户），其中源域是新闻，目标域是广告。为了有效地利用新闻数据来预测广告的点击率，我们提出了混合兴趣网络（MiNet），它联合建模三种类型的用户兴趣：1）跨域的长期兴趣，2）源域的短期兴趣和3）目标域的短期兴趣。MiNet包含两个层次的注意力，其中项目级注意力可以自适应地从点击的新闻/广告中提取有用信息，兴趣级注意力可以自适应地融合不同的兴趣表示。离线实验表明，MiNet优于几种最先进的CTR预测方法。我们已经在UC头条部署了MiNet，A/B测试结果显示在线CTR也有了大幅提升。MiNet现在是UC头条的主要广告流量。
2020-08-07 cs.IR cs.LG
Retrieval-Oriented Knowledge for Click-Through Rate Prediction
National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出即插即用型面向检索的知识框架ROK，通过分解-重构知识库、知识蒸馏和对比学习替代真实检索过程，在三个大规模数据集上超越教师模型并保持高效推理，验证了从非参数化方法蒸馏知识的可行性。
2024-10-03 cs.AI cs.IR
DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction
Meta Platforms, Inc.（元平台公司）
学习特征交互对在线广告服务的模型性能很重要。因此，大量的工作已经致力于设计有效的架构来学习功能交互。然而，我们观察到这些设计的实际性能可能因数据集而异，即使声称捕获的交互顺序相同。这表明不同的设计可能具有不同的优势，并且它们捕获的交互具有不重叠的信息。出于这种观察，我们提出了DHEN -一个深层次的集成架构，可以利用异构的交互模块的优势，并学习不同顺序下的层次结构的交互。为了克服DHEN的深层和多层结构在训练中带来的挑战，我们提出了一种新的协同设计的训练系统，可以进一步提高DHEN的训练效率。DHEN在CTR预测任务的大规模数据集上的实验结果表明，DHEN在预测的归一化熵（NE）上提高了0.27%，训练吞吐量比现有基线提高了1.2倍，证明了其在实践中的有效性。
2022-03-11 cs.AI cs.IR cs.LG
Dynamic Forgetting and Spatio-Temporal Periodic Interest Modeling for Local-Life Service Recommendation
本文针对本地生活服务推荐中长序列稀疏和强时空依赖的挑战，提出时空周期性兴趣建模（STIM），通过遗忘曲线动态掩码、混合专家网络和分层多兴趣网络联合建模，在线A/B测试使GTV提升1.54%，已服务数亿日活用户。
2025-11-03 cs.AI cs.IR
CaST-POI: Candidate-Conditioned Spatiotemporal Modeling for Next POI Recommendation
Fudan University（复旦大学）；Southeast University（东南大学）；University of Malaya（马来亚大学）
本文提出CaST-POI模型，通过候选条件化序列阅读器动态关注用户历史，引入候选相对时间空间偏置，提升POI推荐性能。
2026-09-03 cs.AI cs.IR
AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）
在推荐系统中，特征交互的学习对于点击率（CTR）预测至关重要。在大多数现有的深度学习模型中，特征交互要么是手动设计的，要么是简单枚举的。然而，枚举所有的特征交互会带来大量的内存和计算成本。更糟糕的是，无用的交互可能会引入噪音并使训练过程复杂化。在这项工作中，我们提出了一个两阶段的算法，称为自动功能交互选择（AutoFIS）。AutoFIS可以自动识别因子分解模型的重要特征交互作用，计算成本相当于训练目标模型收敛。在\emph{search stage}中，而不是在一个离散的候选特征交互集搜索，我们放松的选择是连续的，通过引入架构参数。通过在架构参数上实现正则化优化器，模型可以在模型的训练过程中自动识别和删除冗余特征交互。在\emph{re-train stage}中，我们保持架构参数作为一个注意单元，以进一步提高性能。在三个大规模数据集（两个公共基准，一个私人）上的离线实验表明，AutoFIS可以显着改善各种基于FM的模型。AutoFIS已部署到华为应用商店推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别提高了DeepFM模型20.3%和20.1%。
2020-07-03 cs.IR cs.LG stat.ML
Fragment and Integrate Network (FIN): A Novel Spatial-Temporal Modeling Based on Long Sequential Behavior for Online Food Ordering Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
针对现有方法缺乏丰富时空表示和只能处理有限长度行为的问题，提出片段与整合网络（FIN），通过片段网络提取多个子序列并建模，整合网络利用时空交互构建整合序列，在饿了么部署后CTR提升5.7%，RPM提升7.3%。
2023-08-30 cs.IR cs.LG
Efficient Long Sequential User Data Modeling for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
最近的研究点击率（CTR）预测达到了新的水平，通过建模更长的用户行为序列。其中，两阶段方法作为工业应用的最先进（SOTA）解决方案脱颖而出。两阶段方法首先训练检索模型，以预先截断长行为序列，然后使用截断的序列来训练CTR模型。然而，检索模型和CTR模型是分开训练的。因此，CTR模型中检索到的连续性是不准确的，这降低了最终的性能。在本文中，我们提出了一个端到端的范式来建模长行为序列，这是能够实现卓越的性能以及显着的成本效益相比，现有的模型。我们的贡献是三方面的：首先，我们提出了一个基于哈希的高效目标注意力（TA）网络ETA-Net，使端到端的用户行为检索的基础上，低成本的逐位操作。提出的ETA-Net可以降低标准TA的复杂性的数量级的顺序数据建模。其次，我们提出了一个通用的系统架构作为一个可行的解决方案，部署ETA-Net的工业系统。特别是，ETA-Net已经部署在淘宝推荐系统上，与SOTA两阶段方法相比，CTR和GMV分别提高了1.8%和3.1%。第三，我们在离线数据集和在线A/B测试上进行了广泛的实验。实验结果表明，该模型在CTR预测性能和在线成本效率方面均优于现有CTR模型。ETA-Net现在服务于淘宝的主要流量，每天为数亿用户提供数十亿件商品的服务。
2022-09-25 cs.IR cs.LG
NEON: Living Needs Prediction System in Meituan
本文提出了名为NEON的生活需求预测系统，通过特征挖掘、特征融合和多任务预测三个阶段解决时空背景影响和历史记录与实际需求差距的挑战，有效提升美团平台的个性化推荐等下游应用效果。
2023-07-31 cs.IR
Algorithms and System Architecture for Immediate Personalized News Recommendations
个性化在许多服务中扮演着重要的角色，就像新闻一样。许多研究已经检查了新闻个性化算法，但很少考虑实际环境。本文提出了在实际环境中生成即时个性化新闻的算法和系统架构。即时性意味着新闻趋势和用户兴趣的变化会迅速反映在推荐新闻列表中。由于新闻趋势和用户兴趣迅速变化，即时性在新闻个性化应用中至关重要。我们开发算法和系统架构来实现即时性。我们的算法是基于用户集群的协同过滤，并评估新闻文章使用点击率和衰减分数的基础上经过的时间，因为用户的最后一次访问。现有的研究还没有充分讨论系统架构，所以本文的一个主要贡献是，我们展示了一个系统架构，实现我们的算法和配置的例子上实现的Amazon Web Services。我们评估所提出的方法离线和在线。离线实验通过来自商业新闻交付服务的真实世界数据集进行，在线实验通过生产环境上的A/B测试进行。我们证实了我们提出的方法的有效性，我们的系统架构可以在大规模的生产环境中运行。
2019-09-03 cs.IR
Generative Long-term User Interest Modeling for Click-Through Rate Prediction
MeiTuan Beijing China（美团北京中国）
本文提出GenLI模型，通过生成兴趣模块、行为检索模块和兴趣融合模块，提升CTR预测的准确性和效率，解决传统方法中长期兴趣建模不完整和效率低的问题。
2026-05-15 cs.AI cs.IR
MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出模型无关预训练框架MAP，通过特征破坏与恢复（含MFP和RFD两种算法）解决CTR预测中自监督学习问题，在Avazu和Criteo数据集上取得SOTA性能。
2023-08-03 cs.AI cs.IR cs.LG
Turning Noise into Value: Uncovering Service Preferences from Ambiguous Interaction in E-commerce
School of Computer and Information, Anhui Normal University（安徽师范大学计算机与信息学院）；Department of Computer and Network Engineering, Graduate School of Informatics and Engineering, The University of Electro Communications（电气通信大学信息工程学院计算机网络工程系）；School of Mathematics Southeast University（东南大学数学系）；Purple Mountain Laboratories（紫金山实验室）
NoVa通过正负 unlabeled 学习框架，从电子商务中模糊交互中发现高质量服务偏好，缓解数据稀疏性问题。
2025-12-01 cs.IR
Following the Eye-Tracking Evidence: Established Web-Search Assumptions Fail in Carousel Interfaces
University of Amsterdam（阿姆斯特丹大学）
研究发现轮播界面中用户行为模式与传统单列表界面不同，F-pattern仅在垂直浏览中成立，点击率表明考试假设不成立，用户通常忽略轮播标题直接关注内容项。
2026-04-22 cs.HC cs.IR
Enhancing CTR Prediction in Recommendation Domain with Search Query Representation
McGill University（麦吉尔大学）
针对推荐领域现有方法未充分利用搜索域用户偏好、忽略跨域意图偏移的问题，提出融合搜索查询嵌入、对比学习与扩散模型的CTR预测框架，实验效果优于当前最优模型。
2024-10-28 cs.AI cs.IR cs.LG
Controlled Personalization in Legacy Media Online Services: A Case Study in News Recommendation
University of Klagenfurt（克雷格弗尔特大学）；University of Bergen（卑尔根大学）
本文通过A/B测试评估了传统新闻媒体在在线平台上采用受控个性化策略的效果，发现适度的个性化能提高点击率、减少导航努力、增加内容多样性和目录覆盖，并降低流行度偏差，从而在满足用户需求的同时维护编辑价值。
2026-05-22 cs.AI cs.IR
Predicting Session Length in Media Streaming
RISE SICS（瑞典计算机科学研究院）；Pandora Media Inc.（潘多拉媒体公司）
会话长度是确定用户对媒体流服务的满意度的一个非常重要的方面。能够预测会话将持续多长时间对于各种下游任务（例如推荐和广告调度）非常有用。大多数关于用户交互持续时间的相关文献都集中在网站的停留时间上，通常是在搜索结果或显示广告中近似的点击后满意度的背景下。在这项工作中，我们提出了第一个分析的会话长度在移动为重点的在线服务，使用现实世界的数据集，从一个主要的音乐流媒体服务。我们使用生存分析技术表明，用户之间的长度分布的特征可以显着不同，并使用梯度提升树与适当的目标，预测会话的长度，仅使用在其开始时可用的信息。我们对真实世界数据的评估表明，我们提出的技术优于所考虑的基线。
2017-08-01 cs.IR cs.LG
Disentangled Interest Network for Out-of-Distribution CTR Prediction
Tsinghua University（清华大学）；Hefei University of Technology（合肥工业大学）
DiseCTR通过解耦用户兴趣，提升分布外点击率预测的准确性和鲁棒性。
2025-11-14 cs.AI cs.IR cs.LG
Spacetime-GR: A Spacetime-Aware Generative Model for Large Scale Online POI Recommendation
AMAP, Alibaba Group（阿里集团AMAP）
本文提出首个时空感知生成模型Spacetime-GR，通过地理分层POI索引、时空编码模块、多模态嵌入及训练后适配策略，实现大规模在线POI推荐并在准确性与排序质量上超越现有方法。
2025-08-22 cs.AI cs.IR
A Novel Privacy-Preserved Recommender System Framework based on Federated Learning
College of Information Science and Engineering（信息科学与工程学院）；Ningbo University（宁波大学）
推荐系统是目前解决信息过载的有效方法。为了满足用户的下一次点击行为，RS需要收集用户的个人信息和行为，以实现全面而深刻的用户偏好感知。然而，这些集中收集的数据是隐私敏感的，任何泄漏都可能对用户和服务提供商造成严重问题。提出了一种新的隐私保护推荐系统框架（PPRSF），通过应用联邦学习范式，使推荐算法在不集中收集用户隐私数据的情况下进行训练和推理。PPRSF不仅能够降低隐私泄露风险，满足法律法规的要求，而且允许各种推荐算法的应用。
2020-11-11 cs.IR cs.LG
An Incremental Learning framework for Large-scale CTR Prediction
Deeplab（深度实验室）
在这项工作中，我们介绍了一个增量学习框架的点击率（CTR）预测，并证明其有效性Taboola的大规模推荐服务。我们的方法可以通过从以前部署的模型进行热启动并仅对“新鲜”数据进行微调来快速捕获新兴趋势。过去的知识是通过师生范式来保持的，在这种范式中，教师充当了一种蒸馏技术，减轻了灾难性遗忘现象。我们的增量式学习框架能够显著加快培训和部署周期（12倍加速）。我们展示了一致的每千收入（RPM）电梯在多个交通段和显着的CTR增加新推出的项目。
2022-09-01 cs.IR cs.LG
Proceedings of the 4th Workshop on Online Recommender Systems and User Modeling -- ORSUM 2021
现代在线服务以非常快的速度不断生成数据。这种连续的数据流包含内容-例如，帖子、新闻、产品、评论，还有用户反馈，例如，评级、视图、读取、点击-连同上下文数据-用户设备、空间或时间数据、用户任务或活动、天气。考虑到内容、上下文和用户偏好或意图的连续和潜在快速变化，这对于被设计成批量训练的系统和算法来说可能是压倒性的。因此，重要的是调查在线方法能够透明地适应在线服务的内在动态。从数据流中学习的增量模型在推荐系统社区中越来越受到关注，因为它们具有处理动态复杂环境中生成的连续数据流的自然能力。用户建模和个性化可以特别受益于能够增量和在线维护模型的算法。本次研讨会的目的是促进贡献，并汇集了越来越多的研究人员和从业者感兴趣的在线，自适应的方法来用户建模，推荐和个性化，以及他们对多个维度的影响，如评估，再现性，隐私和可解释性。
2022-01-17 cs.AI cs.IR cs.LG
