Modeling Long-Term and Short-Term Interests with Parallel Attentions for Session-based Recommendation
Shanghai Jiao Tong University（上海交通大学）
基于会话的推荐的目的是预测用户的下一个点击项目，这是一个具有挑战性的任务，由于用户行为的固有的不确定性和匿名的隐式反馈信息。强大的基于会话的推荐器通常可以探索用户不断变化的兴趣（即，他/她的长期和短期利益的结合）。注意力机制的最新进展已经导致了用于解决该任务的最先进的方法。然而，存在两个主要缺点。首先，大多数基于注意力的方法只是简单地利用最后一次点击的项目来表示用户的短期兴趣，忽略了时间信息和行为上下文，这可能无法全面地捕获用户的近期偏好。其次，目前的研究通常认为长期和短期利益同样重要，但它们的重要性应该是用户特定的。因此，我们提出了一种新的并行注意力网络模型（PAN）的基于会话的推荐。具体而言，我们提出了一种新的时间感知的注意力机制，学习用户的短期兴趣，同时考虑到上下文信息和时间信号。此外，我们引入了一个门控融合方法，自适应地整合用户的长期和短期的喜好，以产生混合兴趣表示。在三个真实数据集上的实验表明，PAN方法比现有方法有明显的改进。
2020-07-24 cs.IR cs.LG
Hierarchical LoRA MoE for Efficient CTR Model Scaling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI
本文提出分层LoRA MoE框架HiLoMoE，结合垂直与水平扩展优势，利用轻量级rank-1专家和基于前层分数的并行分层路由，在保持参数高效的同时实现整体模型扩展，四项数据集实验表明其AUC平均提升0.20%且FLOPs降低18.5%。
2025-10-12 cs.AI cs.IR cs.LG
Federated Hierarchical Hybrid Networks for Clickbait Detection
Sun Yat-Sen University（中山大学）；Arizona State University（亚利桑那州立大学）
在线媒体采用点击诱饵技术来吸引读者点击文章，以扩大他们的影响力，并随后通过广告货币化增加收入。随着点击诱饵的不良影响引起越来越多的关注，研究人员已经开始探索机器学习技术来自动检测点击诱饵。先前关于点击诱饵检测的工作假设所有的训练数据在训练期间都是本地可用的。然而，在许多现实世界的应用中，训练数据通常由不同方（例如，不同的参与方维护具有不同特征空间的数据），并且由于数据隐私问题，参与方不能彼此共享他们的数据。在没有数据共享的情况下，建立高质量的联邦模型来有效地检测点击诱饵是具有挑战性的。在本文中，我们提出了一个联邦训练框架，这是所谓的联邦层次混合网络，建立点击诱饵检测模型，其中的标题和内容存储由不同的各方，其关系必须利用点击诱饵检测。我们通过比较我们的方法与使用社交媒体数据集的最先进方法，实证证明了我们的方法是有效的。
2019-06-03 cs.CL cs.IR
DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction
Meta Platforms, Inc.（元平台公司）
学习特征交互对在线广告服务的模型性能很重要。因此，大量的工作已经致力于设计有效的架构来学习功能交互。然而，我们观察到这些设计的实际性能可能因数据集而异，即使声称捕获的交互顺序相同。这表明不同的设计可能具有不同的优势，并且它们捕获的交互具有不重叠的信息。出于这种观察，我们提出了DHEN -一个深层次的集成架构，可以利用异构的交互模块的优势，并学习不同顺序下的层次结构的交互。为了克服DHEN的深层和多层结构在训练中带来的挑战，我们提出了一种新的协同设计的训练系统，可以进一步提高DHEN的训练效率。DHEN在CTR预测任务的大规模数据集上的实验结果表明，DHEN在预测的归一化熵（NE）上提高了0.27%，训练吞吐量比现有基线提高了1.2倍，证明了其在实践中的有效性。
2022-03-11 cs.AI cs.IR cs.LG
An accuracy improving method for advertising click through rate prediction based on enhanced xDeepFM model
School of Dig Data（数字数据学院）；Zhuhai College of Science and Technology（珠海科技学院）；School of Computer Science（计算机科学学院）
针对广告点击率预测面临的数据稀疏、类别不平衡及现有模型未充分挖掘多视角特征关联的问题，本文提出基于xDeepFM的改进模型，集成多头注意力机制并以FM替代线性模型，在Criteo数据集上提升了AUC和Logloss指标，提高预测精度。
2024-11-21 cs.LG
HIEN: Hierarchical Intention Embedding Network for Click-Through Rate Prediction
点击率预测是在线广告和推荐系统中的一个重要环节，其目的是估计用户点击某一特定项目的概率。特征交互建模和用户兴趣建模方法是点击率预测中的两个热点领域，近年来得到了广泛的研究。然而，这些方法仍然受到两个限制。首先，传统方法将项目属性视为ID特征，而忽略了属性间的结构信息和关系依赖。第二，当从用户-项目交互中挖掘用户兴趣时，现有模型忽略了用户意图和项目意图的不同属性，缺乏可解释性。基于这一观察，在本文中，我们提出了一种新的方法层次意图嵌入网络（HIEN），它认为在构造的属性图的基础上自底向上树聚合的属性的依赖关系。HIEN还捕获不同项目属性的用户意图以及基于我们提出的分层注意力机制的项目意图。在公共数据集和生产数据集上的大量实验表明，该模型的性能明显优于最先进的方法。此外，HIEN可以作为输入模块应用于最先进的CTR预测方法，为这些可能已经在实际系统中广泛使用的现有模型带来进一步的性能提升。
2022-06-01 cs.IR
Deep Context Interest Network for Click-Through Rate Prediction
Meituan（美团）
本文提出深度上下文兴趣网络DCIN，通过聚合展示上下文、融合点击与上下文特征并匹配目标兴趣，提升CTR预测性能，已在在线广告系统部署并带来1.5%的CTR和RPM提升。
2023-08-11 cs.AI cs.IR
Neural Click Models for Recommender Systems
St. Petersburg University（圣彼得堡大学）；PDMI RAS（俄罗斯科学院精密机械与控制研究所）；Sber AI Lab（Sber AI实验室）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学研究所可信人工智能研究中心）
本文提出多种神经点击模型架构（循环网络、Transformer变体、对抗式和分层架构），在ContentWise和RL4RS数据集上优于基线，可用于推荐系统模拟器中的用户响应建模、评估与预训练。
2024-09-30 cs.IR cs.LG
Soft Retargeting Network for Click Through Rate Prediction
近年来，用户兴趣模型的研究在点击率（CTR）预测中得到了广泛的关注。这些模型旨在从不同的角度捕捉用户兴趣，包括用户兴趣演化、会话兴趣、多重兴趣等。用户重定向兴趣。用户重定向兴趣定义为用户对与历史点击项目相同或相似的目标项目的点击兴趣。我们提出了一种新的软重定向网络（SRN）来模拟这种特定的兴趣。具体来说，我们首先计算目标项目和每个历史项目之间的相似度与图嵌入的帮助。然后，我们学习聚合的相似性权重来衡量用户的点击兴趣的程度的目标项目。此外，我们模型的用户重定向兴趣的演变。在公共数据集和工业数据集上的实验结果表明，我们的模型比最先进的模型取得了显着的改进。
2022-06-04 cs.IR
DebiasedRec: Bias-aware User Modeling and Click Prediction for Personalized News Recommendation
新闻推荐是个性化新闻访问的关键。现有的新闻推荐方法通常根据用户的历史新闻点击量来推断用户的个人兴趣，并通过预测未来的新闻点击量来训练新闻推荐模型。这些方法背后的一个核心假设是，新闻点击行为可以表明用户的兴趣。然而，在实际场景中，除了用户兴趣与新闻内容之间的相关性之外，新闻点击行为还可能受到其他因素的影响，例如在线平台中新闻呈现的偏差。例如，位置较高、尺寸较大的新闻通常更容易被点击。点击新闻的偏向性会给用户兴趣建模和模型训练带来噪声，影响新闻推荐模型的性能。本文提出了一种具有偏见意识的个性化新闻推荐方法DebiasRec，该方法可以处理偏见信息，从而更准确地进行用户兴趣推断和模型训练。我们的方法的核心包括一个偏见表示模块，一个偏见意识的用户建模模块，和一个偏见意识的点击预测模块。偏见表征模块用于对不同类型的新闻偏见及其相互作用进行建模，以捕捉它们对点击行为的联合影响。偏见感知的用户建模模块旨在通过使用用户的偏见信息来校准兴趣模型，从而从点击的新闻文章中推断用户的去偏见兴趣。偏置感知点击预测模块用于根据偏置点击行为来训练去偏置新闻推荐模型，其中点击分数被分解为指示用户对新闻内容的兴趣的偏好分数和从其不同偏置特征推断的新闻偏置分数。在两个真实数据集上的实验表明，该方法能有效地提高新闻推荐的性能。
2021-04-15 cs.IR
Predict Click-Through Rates with Deep Interest Network Model in E-commerce Advertising
Columbia University（哥伦比亚大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
该研究将 Deep Interest Network（DIN）用于淘宝电商广告点击率预测，通过本地化激活用户行为实现定制化广告定向，提升多样动态数据处理能力、广告系统效率与收入。
2024-06-04 cs.IR cs.LG
MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。现有的工作主要解决单域CTR预测问题和模型方面，如功能交互，用户行为历史和上下文信息。然而，广告通常与自然内容一起显示，这为跨域CTR预测提供了机会。在本文中，我们解决这个问题，并利用辅助数据从源域，以提高CTR预测性能的目标域。我们的研究基于UC今日头条（与UC浏览器App集成的新闻推送服务，每日服务数亿用户），其中源域是新闻，目标域是广告。为了有效地利用新闻数据来预测广告的点击率，我们提出了混合兴趣网络（MiNet），它联合建模三种类型的用户兴趣：1）跨域的长期兴趣，2）源域的短期兴趣和3）目标域的短期兴趣。MiNet包含两个层次的注意力，其中项目级注意力可以自适应地从点击的新闻/广告中提取有用信息，兴趣级注意力可以自适应地融合不同的兴趣表示。离线实验表明，MiNet优于几种最先进的CTR预测方法。我们已经在UC头条部署了MiNet，A/B测试结果显示在线CTR也有了大幅提升。MiNet现在是UC头条的主要广告流量。
2020-08-07 cs.IR cs.LG
GLoCIM: Global-view Long Chain Interest Modeling for news recommendation
School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Zhongguancun Laboratory（中关村实验室）
本文提出GLoCIM方法，通过长链选择算法和编码器从全局点击图提取长链兴趣，并与邻居兴趣融合，解决远距离节点链接利用问题，提升新闻推荐性能。
2024-09-24 cs.AI cs.IR
Time Matters: A Novel Real-Time Long- and Short-term User Interest Model for Click-Through Rate Prediction
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
本文针对CTR预测中用户兴趣随时间变化的问题，提出基于周期性模式和时间点模式的时间感知长短期兴趣建模方法，并在公开及工业数据集上验证其优于现有方法。
2025-11-09 cs.IR cs.LG
Modeling Users' Contextualized Page-wise Feedback for Click-Through Rate Prediction in E-commerce Search
Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
在个性化搜索和推荐中，对用户的历史反馈进行建模是进行点击率预测的关键。现有的方法通常只对用户的正反馈信息（如点击序列）进行建模，而忽略了反馈的上下文信息。在本文中，我们提出了一个新的视角上下文感知用户的行为建模，包括整个页面明智的暴露产品和相应的反馈作为上下文页面明智的反馈序列。可以捕获页面内上下文信息和页面间兴趣演变，以了解更具体的用户偏好。我们设计了一个新的神经排序模型RACP（即，上下文化页面序列上的循环注意力），其利用页面上下文感知注意力来对页面内上下文进行建模。一个循环的注意力过程被用来模拟跨页面的兴趣收敛的演变，在前一页的兴趣去噪。在公共数据集和真实工业数据集上的实验验证了模型的有效性。
2022-03-29 cs.AI cs.IR
Neural News Recommendation with Negative Feedback
新闻推荐是在线新闻服务的重要组成部分。精确的用户兴趣建模是个性化新闻推荐的关键。现有的新闻推荐方法通常依赖于用户的隐式反馈，如新闻点击来建模用户的兴趣。然而，新闻点击可能不一定反映用户的兴趣，因为用户可能由于其标题的吸引力而点击新闻，但对其内容感到失望。新闻阅读的停留时间是用户兴趣建模的一个重要线索，因为短的阅读停留时间通常表明低，甚至负面的兴趣。因此，结合从新闻阅读的停留时间推断的负反馈可以提高用户建模的质量。在本文中，我们提出了一个神经新闻推荐方法，可以考虑到隐式的负面用户反馈。我们提出了根据阅读停留时间区分正面和负面新闻点击，并通过Transformer和附加注意力网络的组合分别从正面和负面新闻点击中学习用户表征。此外，我们建议计算一个积极的点击得分和一个消极的点击得分的基础上候选新闻表示和用户表示从积极和消极的新闻点击学习之间的相关性。最终的点击分数是正点击分数和负点击分数的组合。此外，我们提出了一种交互式的新闻建模方法，在新闻建模中考虑标题和正文之间的相关性。在真实数据集上的大量实验验证了该方法可以实现更准确的新闻推荐用户兴趣建模。
2021-01-12 cs.IR
Disentangled Interest Network for Out-of-Distribution CTR Prediction
Tsinghua University（清华大学）；Hefei University of Technology（合肥工业大学）
DiseCTR通过解耦用户兴趣，提升分布外点击率预测的准确性和鲁棒性。
2025-11-14 cs.AI cs.IR cs.LG
Decision-Making Context Interaction Network for Click-Through Rate Prediction
Meituan（美团）
点击率（CTR）预测在推荐和在线广告系统中至关重要。现有的方法通常对用户行为进行建模，而忽略了影响用户做出点击决策的信息上下文，例如，点击页面和预先排名的候选人，告知有关用户兴趣的推断，导致次优性能。在本文中，我们提出了一个决策上下文交互网络（DCIN），它部署了一个精心设计的上下文交互单元（CIU）来学习决策上下文，从而有利于CTR预测。此外，不同的决策上下文源之间的关系进行了探索，提出了自适应兴趣聚合单元（AIAU），以进一步提高CTR预测。在公共数据集和工业数据集上的实验中，DCIN显著优于最先进的方法。值得注意的是，该模型在线A/B测试获得了CTR+2. 9%/CPM+2. 1%/GMV+1. 5%的提升，并服务于美团外卖广告系统的主要流量。
2023-01-29 cs.IR cs.LG
Deep Interest Highlight Network for Click-Through Rate Prediction in Trigger-Induced Recommendation
Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）；Zhejiang University（浙江大学）
在许多经典的电子商务平台中，个性化推荐已经被证明具有巨大的商业价值，可以提高用户满意度，增加平台的收入。在本文中，我们提出了一个新的推荐问题，触发诱导推荐（TIR），其中用户的即时兴趣可以显式地诱导与触发项目和后续相关的目标项目相应的推荐。TIR在电子商务平台上已经变得无处不在和流行。在本文中，我们指出，虽然现有的推荐模型是有效的，在传统的推荐场景中挖掘用户的兴趣基于他们的大量历史行为，他们是困难的，发现用户的即时兴趣在TIR场景中，由于这些场景之间的差异，导致性能较差。为了解决这个问题，我们提出了一种新的推荐方法命名为深度兴趣突出网络（DIHN）的点击率（CTR）预测TIR场景。它由三个主要部分组成：1）用户意图网络（UIN），它响应于用户意图生成一个精确的概率分数来预测用户对触发项的意图; 2）融合嵌入模块（FEM），它根据UIN的预测自适应地融合触发项和目标项嵌入;（3）混合兴趣提取模块（HIEM），该模块根据FEM的结果，有效地从用户的行为中突出用户的即时兴趣。在真实世界的电子商务平台上进行的广泛的离线和在线评估证明了DIHN优于最先进的方法。
2022-02-21 cs.IR cs.LG
Graph Based Long-Term And Short-Term Interest Model for Click-Through Rate Prediction
Meituan（美团）
针对点击率预测中长短期行为建模的信息丢失与噪声问题，提出基于图的长短期兴趣模型GLSM，融合多兴趣图与多场景序列，离线达SOTA，线上CTR提升4.9%、GMV提升4.3%。
2023-06-05 cs.IR cs.LG
Multi-Granularity Click Confidence Learning via Self-Distillation in Recommendation
本文提出CLSD框架，通过全局自蒸馏与用户群局部置信度调整实现多粒度点击置信度学习，在不增加额外数据和结构的情况下提升推荐效果，并已服务超4亿用户。
2023-09-28 cs.IR
Generative Long-term User Interest Modeling for Click-Through Rate Prediction
MeiTuan Beijing China（美团北京中国）
本文提出GenLI模型，通过生成兴趣模块、行为检索模块和兴趣融合模块，提升CTR预测的准确性和效率，解决传统方法中长期兴趣建模不完整和效率低的问题。
2026-05-15 cs.AI cs.IR
Diffusion-based Multi-modal Synergy Interest Network for Click-through Rate Prediction
Peking University（北京大学）；Wuhan University（武汉大学）；Shanghai University of International Business（上海国际商务大学）；Microsoft（微软）
针对多模态CTR预测中模态共性与特性难分离、协同交互建模不足的问题，提出Diff-MSIN框架，通过MFE、SRC、FDAF及知识解耦增强表示与自适应融合，在Rec-Tmall和三个Amazon数据集上较基线至少提升1.67%。
2025-08-29 cs.AI cs.IR
DebiasGAN: Eliminating Position Bias in News Recommendation with Adversarial Learning
新闻推荐对于提高用户的新闻阅读体验具有重要意义。用户的新闻点击行为被广泛用于推断用户的兴趣和预测未来的点击。然而，点击行为受到网页上显示的新闻位置所带来的偏见的严重影响。为了准确地定位用户兴趣，消除位置偏差对推荐模型的影响是很重要的。在本文中，我们提出了一种名为DebiasGAN的新闻推荐方法，可以通过对抗学习有效地消除位置偏差的影响。我们使用一个偏见感知点击模型来捕捉位置偏见对点击行为的影响，我们使用一个偏见不变的点击模型与随机候选新闻位置来估计理想的无偏点击分数。我们将对抗学习技术应用于两个模型学习的隐藏表示，以帮助偏差不变的点击模型捕获用户对新闻的独立于偏差的兴趣。在两个真实数据集上的实验结果表明，DebiasGAN能够有效地消除位置偏差，提高新闻推荐的准确率。
2021-06-11 cs.IR
Deep Session Interest Network for Click-Through Rate Prediction
点击率（CTR）预测在许多工业应用中起着重要的作用，例如在线广告和推荐系统。如何从用户的行为序列中捕捉用户动态变化的兴趣，一直是CTR预测中的一个研究课题。然而，大多数现有的研究忽略了序列的内在结构：序列是由会话组成的，其中会话是由它们的发生时间分开的用户行为。我们观察到，用户行为是高度同质的，在每个会话，和异构的跨会话。基于这一观察，我们提出了一种新的CTR模型命名为深度会话兴趣网络（DSIN），利用用户的多个历史会话在他们的行为序列。我们首先使用带有偏见编码的自我注意力机制来提取用户在每个会话中的兴趣。然后，我们应用Bi-LSTM来建模用户的兴趣如何在会话之间演变和交互。最后，我们采用本地激活单元，自适应地学习各种会话兴趣对目标项目的影响。在广告和生产推荐数据集上进行了实验，DSIN在这两个数据集上的性能都优于其他最先进的模型。
2019-05-16 cs.IR
Click-through Rate Prediction with Auto-Quantized Contrastive Learning
Shanghai Jiao Tong University（上海交通大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong Baptist University（香港浸会大学）
点击率（CTR）预测成为无处不在的Web推荐应用中不可或缺的。然而，当前的方法在用户交互极其稀疏的冷启动场景下挣扎。我们认为这个问题是一个自动识别的用户行为是否足够丰富，以捕捉预测的兴趣，并提出了一个自动量化的对比学习（AQCL）损失正则化模型。与以往的方法不同，AQCL同时利用实例-实例和实例-聚类的相似性来增强潜在表示的鲁棒性，并自动减少由于量化而导致的主动用户的信息损失。所提出的框架对不同的模型架构是不可知的，并且可以以端到端的方式进行训练。广泛的结果表明，它一贯改善目前的国家的最先进的CTR模型。
2021-09-27 cs.AI cs.IR cs.LG
DemiNet: Dependency-Aware Multi-Interest Network with Self-Supervised Graph Learning for Click-Through Rate Prediction
针对点击率预测中的相关问题，提出依赖感知多兴趣网络DemiNet，结合异质注意力、多头注意力与自监督兴趣学习建模细粒度用户兴趣，在真实数据集上优于现有基线，兼具有效性与可解释性。
2024-03-09 cs.IR
Neighbour Interaction based Click-Through Rate Prediction via Graph-masked Transformer
The University of Manchester（曼彻斯特大学）；National Centre for Text Mining（国家文本挖掘中心）；Tencent AI Lab（腾讯人工智能实验室）；Tencent（腾讯）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
点击率（CTR）预测，其目的是估计用户将点击一个项目的概率，是在线广告的一个重要组成部分。现有的方法主要试图从用户的历史行为中挖掘用户兴趣，其中包含用户直接交互的项目。虽然这些方法已经取得了很大的进步，但它们往往受到推荐系统的直接暴露和不活跃的交互的限制，从而无法挖掘所有潜在的用户兴趣。为了解决这些问题，我们提出了基于邻居交互的CTR预测（NI-CTR），它认为这是一个异构信息网络（HIN）设置下的任务。简而言之，基于邻居交互的CTR预测涉及HIN中目标用户-项目对的局部邻居以预测它们的链接。为了指导局部邻域的表示学习，我们进一步从显式和隐式两个角度考虑了局部邻域节点之间的不同类型的交互，并提出了一种新的图掩码Transformer（GMT）算法，有效地结合了这些类型的交互，为目标用户-项目对生成具有高度代表性的嵌入.此外，为了提高模型对邻居采样的鲁棒性，我们在邻域嵌入上实施了一致性正则化损失。我们在两个真实世界的数据集上进行了大量的实验，实验结果表明，我们提出的方法明显优于最先进的CTR模型。同时，全面的消融研究验证了我们的模型的每个组成部分的有效性。此外，我们已经在拥有数十亿用户的微信公众号平台上部署了这个框架。在线A/B测试表明，与所有在线基线相比，平均CTR提高了21.9。
2022-07-22 cs.AI cs.IR cs.LG
Adaptive User Interest Modeling via Conditioned Denoising Diffusion For Click-Through Rate Prediction
针对搜索中用户行为序列受噪声干扰且表示静态的问题，提出上下文扩散净化器（CDP），利用条件去噪扩散生成动态上下文感知的兴趣表示，离线在线实验验证其优于现有方法。
2025-09-24 cs.IR
FeedRec: News Feed Recommendation with Various User Feedbacks
准确的用户兴趣建模对于新闻推荐具有重要意义。现有的大多数新闻推荐方法都依赖于像点击这样的隐式反馈来推断用户兴趣和模型训练。然而，点击行为通常包含大量噪声，并且不能帮助推断复杂的用户兴趣，例如不喜欢。此外，仅基于点击行为训练的提要推荐模型无法优化其他目标，如用户参与度。在本文中，我们提出了一个新闻提要推荐方法，可以利用各种用户反馈，以提高用户兴趣建模和模型训练。我们提出了一个统一的用户建模框架，将各种显式和隐式的用户反馈来推断积极和消极的用户兴趣。此外，我们提出了一个从强到弱的注意力网络，它使用较强反馈的表示来从隐式弱反馈中提取积极和消极的用户兴趣，以进行准确的用户兴趣建模。此外，我们提出了一个多反馈模型训练框架来学习一个具有成就感的提要推荐模型。在真实数据集上的大量实验表明，我们的方法可以有效地提高模型在新闻点击和用户参与方面的性能。
2022-02-04 cs.IR
Decoupled Multimodal Fusion for User Interest Modeling in Click-Through Rate Prediction
Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团）；Renmin University of China（中国人民大学）
本文提出解耦多模态融合方法，通过构建目标感知特征和优化注意力机制，提升用户兴趣建模效果，实验表明在公开和工业数据集上均取得显著提升。
2026-04-16 cs.IR
Adversarial Filtering Modeling on Long-term User Behavior Sequences for Click-Through Rate Prediction
丰富的用户行为信息对于获取和理解用户兴趣点进率（CTR）预测具有重要意义。为了提高丰富性，收集长期行为成为学术界和工业界的典型方法，但代价是增加在线存储和延迟。最近，研究人员提出了几种方法来缩短长期行为序列，然后建模用户的兴趣。这些方法有效地降低了在线成本，但不能很好地处理长期用户行为中的噪声信息，这可能会显着降低CTR预测的性能。为了获得更好的成本/性能权衡，我们提出了一种新的对抗性过滤模型（ADFM）来建模长期用户行为。ADFM使用分层聚合表示来压缩原始行为序列，然后通过对抗过滤机制学习去除无用的行为信息。所选择的用户行为被馈送到兴趣提取模块用于CTR预测。在公共数据集和工业数据集上的实验结果表明，我们的方法在最先进的模型上取得了显着的改进。
2022-04-26 cs.IR
Quadratic Interest Network for Multimodal Click-Through Rate Prediction
提出二次兴趣网络（QIN），利用自适应稀疏目标注意力和二次神经网络捕捉多模态高阶交互，在WWW 2025多模态CTR预测挑战赛中获得第二名，AUC达0.9798。
2025-04-25 cs.IR
Modeling User Viewing Flow Using Large Language Models for Article Recommendation
Northeastern University（东北大学）；Alibaba Group（阿里巴巴集团）
该研究提出名为SINGLE的用户浏览流建模方法，结合LLMs捕捉用户恒定偏好与即时兴趣，应用于文章推荐，在ATA网站的在线A/B测试中较基线模型提升2.4%，可实现更个性化、多样的推荐。
2024-03-07 cs.AI cs.IR
Deep Dynamic Neural Network to trade-off between Accuracy and Diversity in a News Recommender System
Ryerson University（瑞尔森大学）
新闻推荐系统的特点是一些独特的挑战，具体到新闻领域。这些挑战来自于读者对动态生成的新闻项目的快速变化的兴趣，这些新闻项目随时间不断变化。新闻阅读也是由读者的长期和短期利益驱动的。此外，新闻推荐系统需要多样性，不仅要让读者参与阅读过程，还要让他们接触到不同的观点和意见。在本文中，我们提出了一个深度神经网络，它将信息丰富的新闻和读者的兴趣共同学习到一个统一的框架中。我们从新闻的标题、摘要（正文）和分类（类别、子类别）中学习新闻的表征（特征）。我们从读者的点击历史中了解读者的长期兴趣，通过LSTMS从最近的点击中了解读者的短期兴趣，通过注意力机制了解读者的多样化兴趣。我们还对我们的模型应用了不同程度的注意力。我们在两个新闻数据集上进行了广泛的实验，以证明我们的方法的有效性。
2021-03-17 cs.AI cs.IR cs.LG
Personalizing Search Results Using Hierarchical RNN with Query-aware Attention
搜索结果个性化已成为提高搜索引擎质量的有效途径。以往的研究提取了用户过去的点击次数、用户的主题兴趣、查询点击熵等信息来对原始排名进行裁剪。然而，很少有研究考虑到先前的查询和会话的顺序信息。直觉上，发出查询的顺序在推断真实用户兴趣方面很重要。最近的会话应该比旧会话提供更可靠的个人信号。此外，先前的搜索历史和用户行为应该根据它们的相关性来影响当前查询的个性化。为了实现这些直觉，在本文中，我们采用了分层递归神经网络，利用这些序列信息，并自动生成用户简档的历史数据。我们提出了一个查询感知的注意力模型来生成一个动态的用户简档的基础上输入查询。与几种传统的个性化模型相比，在实验中观察到显着的改善，从商业搜索引擎的数据。我们的分析表明，注意力模型能够在精细训练后将更高的权重归因于更相关的过去会话。
2019-08-20 cs.IR
Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
深度学习技术在工业推荐系统中得到了广泛的应用。然而，推荐系统中模型的过拟合问题却很少受到关注，相反，它被认为是深度神经网络的一个关键问题。在点击率（CTR）预测的背景下，我们观察到一个有趣的单历元过拟合问题：模型性能在第二历元开始时表现出显着的下降。这种现象在CTR模型的实际应用中已经被广泛地观察到。因此，最佳性能通常通过仅用一个epoch进行训练来实现。为了了解单次现象背后的潜在因素，我们对从阿里巴巴展示广告系统收集的生产数据集进行了广泛的实验。结果表明，模型结构、收敛速度快的优化算法以及特征稀疏性与单历元现象密切相关。我们还提供了一个可能的假设来解释这种现象，并进行了一系列的概念验证实验。我们希望这项工作可以为未来的研究提供启发，以训练更多的时代，以获得更好的表现。
2022-09-04 cs.AI cs.IR cs.LG
DMGIN: How Multimodal LLMs Enhance Large Recommendation Models for Lifelong User Post-click Behaviors
针对终身点击后行为序列建模及多模态嵌入集成难题，本文提出DMGIN，利用MLLM对行为序列分组并通过组内与组间transformer捕捉兴趣演化，实验和线上A/B测试验证其高效且显著提升CTR与收入。
2025-08-29 cs.IR
Time-aligned Exposure-enhanced Model for Click-Through Rate Prediction
针对多反馈序列时间不对齐及缺乏细粒度交互的问题，本文提出TEM4CTR框架，通过表示投影机制实现时间对齐并利用辅助反馈增强点击行为建模。
2023-08-19 cs.IR
FAN: Fatigue-Aware Network for Click-Through Rate Prediction in E-commerce Recommendation
Alibaba Group（阿里巴巴集团）
本文提出 FAN 模型，通过 Fourier Transformation 处理未点击时间序列获取疲劳频谱，并结合类别调制、gating network 和辅助任务学习疲劳表示，显著提升了电商推荐中的 CTR 预测效果。
2023-04-10 cs.HC cs.IR cs.LG
MISS: Multi-Interest Self-Supervised Learning Framework for Click-Through Rate Prediction
点击率预测是现代推荐系统的关键。从早期的因子分解机器到近年来基于深度学习的模型，现有的CTR方法专注于捕获有用的特征交互或挖掘重要的行为模式。尽管有效，但我们认为这些方法存在标签稀疏的风险（即，用户-项目交互相对于特征空间是高度稀疏的），标签噪声（即，所收集的用户-项目交互通常是有噪声的），以及领域知识的未充分使用（即，样本之间的成对相关性）。为了解决这些具有挑战性的问题，我们提出了一种新的多兴趣自监督学习（MISS）框架，该框架增强了与兴趣级别的自监督信号的特征嵌入。在两个新的基于CNN的多兴趣提取器的帮助下，自我监督信号被发现，并充分考虑了不同的兴趣表示（逐点和联合），兴趣依赖性（短程和长程）和兴趣相关性（项目间和项目内）。在此基础上，将对比学习损失进一步应用于兴趣表示的增强视图，有效地提高了特征表示学习。此外，我们提出的MISS框架可以用作现有CTR预测模型的插件组件，并进一步提高其性能。在三个大规模数据集上的大量实验表明，MISS在AUC上显著优于最先进的模型，高达13.55%，并且与代表性的深度CTR模型具有良好的兼容性。
2022-01-28 cs.IR
Click-Through Rate Prediction Using Graph Neural Networks and Online Learning
Stanford University（斯坦福大学）；Google LLC（谷歌有限责任公司）
推荐系统在过去已经被许多文献广泛研究，并且在在线广告、购物行业/电子商务、搜索引擎中的查询建议以及社交网络中的朋友推荐中无处不在。此外，餐厅/音乐/产品/电影/新闻/应用程序推荐只是推荐系统的几个应用程序。CTR预测准确性的一个小百分比的改进已经被提到为广告行业增加数百万美元的收入。点击率预测是推荐系统的一个特殊版本，其目标是预测用户是否会点击推荐项目。基于内容的推荐方法考虑用户行为的过去历史，即推荐的产品和用户对它们的反应。因此，在正确的时间将正确的项目推荐给正确的用户的个性化模型是构建这样一个模型的关键。另一方面，所谓的协同过滤方法结合了与特定用户非常相似的用户的点击历史，从而通过利用在连接的用户网络中分享他们的品味的用户的更广泛的知识来帮助推荐器为该特定用户提出更自信的预测。在这个项目中，我们有兴趣建立一个CTR预测器使用图神经网络补充的在线学习算法，模拟这种动态的相互作用。通过将问题框定为二进制分类任务，我们使用由10，000个数据点组成的Criteo公共数据集的子采样版本，在测试AUC为0.7417的离线模型（GNN，深度因子分解机）和测试AUC为0.7585的在线学习模型上评估了该系统。
2021-05-09 cs.AI cs.IR cs.LG
InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对CTR预测中异构信息交互不足与信息聚合损失问题，提出InterFormer模块，采用交错式双向交互与独立桥接架构，在公开及工业数据集上取得最优性能。
2025-09-11 cs.AI cs.IR cs.LG
Simrank++: Query rewriting through link analysis of the click graph
我们专注于赞助搜索的查询重写问题。我们基于历史点击图进行重写，该图记录了响应过去用户查询而点击的广告。给定查询q，我们首先考虑Simrank作为识别与q类似的查询的方式，即，查询用户可能对哪些广告感兴趣。我们认为，Simrank未能正确识别我们的应用程序中的查询相似性，我们提出了两个增强版本的Simrank：一个利用点击图边缘的权重，另一个利用``证据。我们通过实验评估我们的新方案，使用实际的点击图和来自雅虎的查询，and using运用a variety品种of metrics指标.我们的结果表明，增强的方法可以产生更多，更好的查询重写。
2007-12-04 cs.DB cs.DL cs.IR
Modeling Orders of User Behaviors via Differentiable Sorting: A Multi-task Framework to Predicting User Post-click Conversion
针对点击后转化预测中的选择偏差与数据稀疏问题，提出利用可微排序建模点击和点击后标签顺序的多任务框架，并在公开及工业数据集上验证其优于强基线。
2023-07-18 cs.IR
Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction
点击率（CTR）预测对于推荐系统和在线广告等工业应用至关重要。在实际应用中，通过从丰富的历史行为数据中挖掘用户兴趣，CTR建模在这些应用中起着重要的作用。在深度学习发展的推动下，针对用户兴趣建模的深度CTR模型被提出，其体系结构设计巧妙，模型性能较离线指标有了显著提升，但面对海量流量需求，如何将这些复杂模型部署到在线服务系统中进行实时推理，还需要付出很大努力。当涉及到长序列用户行为数据时，事情变得更加困难，因为系统延迟和存储成本随着用户行为序列的长度近似线性地增加。本文直面长序列用户行为建模的挑战，介绍了我们的实践，并结合机器学习算法和在线服务系统的协同设计，实现了点击率预测任务。从理论上讲，UIC和MIMN的协同设计方案使我们能够处理无限长度的序列行为数据的用户兴趣建模。模型性能和系统效率的比较证明了所提出的解决方案的有效性。据我们所知，这是第一个能够处理长度扩展到数千的长序列用户行为数据的工业解决方案之一。目前已经部署在阿里巴巴的展示广告系统中。
2019-05-24 cs.IR
Why Do We Click: Visual Impression-aware News Recommendation
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；National university of Singapore（新加坡国立大学）
由于信息过载，人们对新闻推荐研究的兴趣日益高涨。为了准确地捕捉用户的兴趣，我们提出了多模态的功能，除了在现有的作品中广泛使用的新闻标题，新闻推荐。另外，现有的研究在设计多模态建模模块时很少关注点击决策过程。在这项工作中，灵感的事实，用户使他们的点击决定主要是基于他们在浏览新闻时所感知的视觉印象，我们建议捕捉这样的视觉印象信息与视觉语义建模的新闻推荐。具体而言，我们设计了局部印象建模模块，在理解新闻标题语义的同时，兼顾印象中的分解细节，从而更接近用户阅读新闻的过程。此外，我们从全局的角度来考察印象，并将结构信息，如不同领域的安排和不同单词在印象中的空间位置，纳入多模态建模。为了适应视觉印象感知新闻推荐的研究，我们通过添加快照印象图像来扩展文本主导的新闻推荐数据集MIND，并将其发布以滋养该研究领域。与最先进的新闻推荐器的广泛比较以及深入分析证明了所提出的方法的有效性以及为基于内容的推荐器建模视觉印象的良好能力。
2021-09-26 cs.AI cs.IR cs.MM
Analysis of Short Dwell Time in Relation to User Interest in a News Application
停留时间已广泛用于各个领域以评估内容质量和用户参与度。虽然许多研究表明，停留时间长的内容质量好，但停留时间短的内容尚未详细讨论。我们假设停留时间短的内容并不总是低质量的，并不总是具有低用户参与度，而是与用户兴趣相关。本研究的目的在于阐明短停留时间浏览在手机新闻应用中的意义。首先，我们使用来自移动新闻应用的大规模用户行为日志来分析短停留时间与用户兴趣的关系。该分析基于用户点击历史在向量空间上进行，然后将用户和文章映射在同一空间中。停留时间短的用户集中在这个空间中的特定位置;因此，停留时间的长度与他们的兴趣有关。此外，我们还分析了短停留时间浏览的特点，排除这些浏览从他们的点击历史。令人惊讶的是，排除短停留时间点击历史，发现短停留时间点击历史在30.87%的用户集群改变的实例中包括用户兴趣的某些方面。这些发现表明，短停留时间并不总是表明低水平的用户参与度，但也表明用户的兴趣水平。
2020-12-27 cs.DL cs.IR cs.SI
FINN.no Slates Dataset: A new Sequential Dataset Logging Interactions, allViewed Items and Click Responses/No-Click for Recommender Systems Research
University of Oslo（奥斯陆大学）；University of Lancaster（兰卡斯特大学）；Schibsted ASA
我们提出了一种新的推荐系统数据集，记录用户和在线市场之间的顺序交互。用户被顺序地呈现以来自市场的被称为石板的项目的排名列表的形式的推荐和搜索结果两者。该数据集包括在每一轮呈现的石板，用户是否点击了这些项目中的任何一个，以及用户点击了哪个项目。虽然在推荐系统中曝光数据的使用正在增长，据我们所知，没有开放的大规模推荐系统数据集，包括在每次交互时呈现给用户的项目的石板。因此，大多数关于推荐系统的文章都没有利用这种曝光信息。相反，所提出的模型只依赖于用户的点击响应，并假设用户在每一步都接触到项目宇宙中的所有项目，通常称为均匀候选抽样。这是一个不完整的假设，因为它考虑了用户可能没有接触到的项目。这样，项目可能会被错误地视为用户不感兴趣。考虑到实际显示的石板允许模型使用更自然的可能性，基于给定项目暴露集的点击概率，如在强盗和强化学习文献中流行的那样。\cite{Eide2021DynamicSampling}表明，基于均匀候选抽样（以及类似假设）的似然性隐含地假设平台仅向用户显示最相关的项目。这使得推荐系统隐含地加强反馈循环，并偏向于先前向用户展示的项目。
2021-11-05 cs.IR cs.LG stat.ML
Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction
丰富的用户行为数据已被证明对点击率预测任务具有重要价值，特别是在推荐系统和在线广告等工业应用中。业界和学术界都对这一问题给予了很大的关注，并提出了不同的方法来对长序列用户行为数据进行建模。其中，阿里巴巴提出的基于记忆网络的MIMN模型，通过学习算法和服务系统的协同设计，实现了SOTA。MIMN是第一个可以对长度扩展到1000的连续用户行为数据进行建模的工业解决方案。然而，MIMN无法准确地捕捉用户的兴趣给定一个特定的候选项目时，用户行为序列的长度进一步增加，说，由10倍或更多。这一挑战在以前提出的方法中广泛存在。在本文中，我们解决这个问题，设计了一个新的建模范式，我们命名为基于搜索的兴趣模型（SIM）。SIM通过两个级联的搜索单元提取用户兴趣：（i）通用搜索单元从原始的任意长序列行为数据中进行通用搜索，并从候选项中获取查询信息，得到与候选项相关的子用户行为序列;（ii）精确搜索单元对候选项与SBS之间的精确关系进行建模。这种级联搜索范式使SIM能够在可扩展性和准确性方面更好地建模终身顺序行为数据。除了学习算法，我们还介绍了我们的实践经验，如何实现SIM在大型工业系统。自2019年以来，SIM已部署在阿里巴巴的展示广告系统中，带来了7. 1\%的CTR和4. 4\%的RPM提升，这对业务具有重要意义。SIM现在服务于我们真实系统中的主要流量，SIM模型用户行为数据的最大长度达到540…
2020-06-29 cs.IR stat.ML
Context-Aware Lifelong Sequential Modeling for Online Click-Through Rate Prediction
本文提出上下文感知兴趣网络CAIN，利用TCN生成上下文感知表示，并通过多范围兴趣聚合器和个性化提取器生成模块提升在线点击率预测精度，在公开及工业数据集上均优于现有方法。
2025-04-11 cs.IR
FUM: Fine-grained and Fast User Modeling for News Recommendation
用户建模是新闻推荐的重要环节。现有的方法通常首先将用户点击的新闻独立编码成新闻嵌入，然后将其聚合成用户嵌入。然而，这些方法忽略了来自同一用户的不同点击新闻之间的词级交互，其中包含丰富的详细线索来推断用户兴趣。在本文中，我们提出了一个细粒度和快速的用户建模框架（FUM）模型的用户兴趣从细粒度的行为交互的新闻推荐。FUM的核心思想是将被点击的新闻连接成一个长文档，并将用户建模转换为一个文档建模任务，同时具有新闻内部和新闻之间的词级交互。由于普通的Transformer不能有效地处理长文档，我们应用一个高效的Transformer Fastformer来建模细粒度的行为交互。在两个真实数据集上的大量实验验证了FUM能够有效地为新闻推荐建模。
2022-04-10 cs.IR
Deep Multiple Quantization Network on Long Behavior Sequence for Click-Through Rate Prediction
本文提出深度多重量化网络DMQN，通过多码本量化和层次序列传导端到端压缩长行为序列，缓解两阶段检索带来的注意力分布差异，在广告系统中实现CTR提升3.5%、RPM提升2.0%。
2025-08-28 cs.IR
KAST: Knowledge Aware Adaptive Session Multi-Topic Network for Click-Through Rate Prediction
捕捉用户兴趣的演变趋势对于推荐系统和广告系统都很重要，并且用户行为序列已经成功地用于点击率（CTR）预测问题。然而，如果基于项目级行为来学习用户兴趣，则性能可能受到以下两个问题的影响。首先，由于用户行为可能是多样的，一些偶然的离群值可能被包括在行为序列中。其次，用户行为之间的时间间隔跨度是随机和不规则的，对于这一点，从NLP中采用的基于RNN的模块不是完全自适应的。为了解决这两个问题，我们提出了知识感知的自适应会话多主题网络（KAST）。该算法能够自适应地将用户会话从整个用户行为序列中分割出来，并在同一会话中保持相似的意图。此外，为了提高会话分割和表示的质量，引入了知识感知模块，使得可以以端到端的方式从用户-项目交互中提取结构信息，并且将基于这些信息的边际损失合并到主要损失中。通过在公共基准上的大量实验，我们证明了KAST可以实现比最先进的CTR预测方法更优越的性能，并对关键模块和超参数进行了评估。
2022-10-07 cs.IR
