IDProxy: CTR Prediction with Multimodal LLMs for Cold-Start Recommendation at Xiaohongshu
Xiaohongshu Inc.（小红书公司）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
IDProxy通过多模态大语言模型生成代理嵌入，解决广告和推荐系统中物品冷启动的CTR预测问题，实现与现有嵌入空间的对齐和端到端优化，已在小红书大规模应用。
2026-09-22 cs.IR cs.LG
A Universal Framework for Compressing Embeddings in CTR Prediction
针对CTR预测中嵌入表过大导致的高内存消耗与高延迟问题，提出模型无关的MEC嵌入压缩框架，经两阶段优化实现50倍以上内存缩减且不损失推荐性能。
2025-02-21 cs.IR
Reformulating Conversational Recommender Systems as Tri-Phase Offline Policy Learning
针对CRS依赖用户模拟器导致模拟有效而部署失效的问题，本文提出TCRS，融合基于模型的离线学习与可控用户模拟，以降低实时交互依赖并提升推荐鲁棒性、适应性与准确性。
2024-09-07 cs.IR
From Feature Interaction to Feature Generation: A Generative Paradigm of CTR Prediction Models
本文提出监督特征生成框架，通过生成范式改进CTR预测模型，有效缓解嵌入崩溃和信息冗余问题，提升模型性能。
2025-12-16 cs.IR
MLoRA: Multi-Domain Low-Rank Adaptive Network for CTR Prediction
针对多领域CTR预测中数据稀疏、分布差异及现有方法参数量大、训练不足的问题，提出为每个领域引入专用LoRA模块的MLoRA网络，在多数据集和阿里线上A/B测试中均优于现有基线，且可适配多种深度学习模型。
2024-08-14 cs.IR
Clicks can be Cheating: Counterfactual Recommendation for Mitigating Clickbait Issue
推荐服务是信息系统中普遍存在的一项重要服务。为了向用户提供个性化建议，行业参与者采用了机器学习，更具体地说，是基于点击行为数据构建预测模型。这就是所谓的点击率（CTR）预测，它已经成为构建个性化推荐服务的黄金标准。然而，我们认为，点击和用户满意度之间存在显着的差距-这是常见的，用户被“欺骗”点击一个项目的有吸引力的标题/封面的项目。如果用户发现点击的项目的实际内容令人失望，这将严重损害用户对系统的信任。更糟糕的是，在这些有缺陷的数据上优化CTR模型将导致马太效应，使看似有吸引力但实际上质量较低的项目更频繁地被推荐。在本文中，我们制定的推荐模型作为一个因果图，反映了因果关系的因素，在推荐，并解决点击诱饵问题，通过执行反事实推理的因果图。我们想象一个反事实的世界，其中每个项目只有暴露特征（即，用户在做出点击决定之前可以看到的特征）。通过估计用户在反事实世界中的点击可能性，我们能够减少暴露特征的直接影响并消除点击诱饵问题。在真实数据集上的实验表明，该方法显著提高了CTR模型的点击后满意度。
2021-05-22 cs.IR
Expanding Click and Buy rates: Exploration of evaluation metrics that measure the impact of personalized recommendation engines on e-commerce platforms
为了确定最适合电子商业业务的推荐模型，应该对购物网站进行实时评估，以实时测量个性化的影响。本文的目的是介绍和证明两个新的指标-点击率NoRepeat和点击购买率-这源于标准的指标，点击率（CTR）和购买率（BTR），分别。前一种变体解决了原始CTR中高估点击量的问题，而后者则说明了之前点击过的产品的购买情况，以验证度量中包含的购买是客户交互的结果。对多个数据集进行两个均值独立性的显著性检验，在每个新度量和其各自的父度量之间，以确定变体的新颖性和必要性。皮尔逊相关系数的计算，以评估线性关系的强度，并得出结论的可预测性因素之间的上述因素，以调查客户点击和购买之间的未知连接。此外，其他指标，如点击每客户，每客户的买家，每客户的点击等介绍，帮助解释客户行为的指标在电子商业网站的参考。
2019-01-20 cs.IR
Explainable CTR Prediction via LLM Reasoning
Huawei Cloud BU（华为云业务部）；Institute of Finance Technology, UCL（伦敦大学学院金融科技学院）
提出 ExpCTR 框架，将基于 LLM 的解释生成直接融入 CTR 预测，并通过 LC/IC 奖励对齐、LoRA 与三阶段迭代训练，在三个真实数据集上同时提升准确性与可解释性。
2024-12-03 cs.AI cs.IR
Adversarial Alignment and Disentanglement for Cross-Domain CTR Prediction with Domain-Encompassing Features
Petro-CyberWorks Information Technology Co., Ltd.（石化网安信息技术有限公司）
本文提出A²DCDR模型，通过对抗训练和特征解耦提升跨领域CTR预测性能。
2026-01-24 cs.IR
Reformulating Sequential Recommendation: Learning Dynamic User Interest with Content-enriched Language Modeling
University of Science and Technology of China（中国科学技术大学）；The First Affiliated Hospital of University of Science and Technology of China（中国科学技术大学附属第一医院）
针对现有序列推荐方法上下文捕捉能力不足的问题，提出融合预训练语言模型语义理解能力的LANCER框架，结合文本内容与世界知识优化推荐，在多基准数据集上取得优异效果并开源代码。
2024-04-13 cs.CL cs.IR
Native Multimodal Representation Learning for Click-Through Rate Prediction in E-Commerce Scenarios
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）；University of Science and Technology of China（中国科学技术大学）
针对现有多模态CTR预测模型两阶段范式的缺陷，本文提出Mine-Then-Train方法，通过挖掘CTR数据的高质量样本微调多模态编码器，提升了模型性能。
2026-09-15 cs.IR
CTRL: Connect Collaborative and Language Model for CTR Prediction
针对传统CTR预测缺语义、PLM类方法效率低且未用协同关系的问题，提出CTRL框架，通过跨模态对齐融合协同与语义信号，性能超SOTA且适配工业高效部署。
2023-12-18 cs.IR
DAIAN: Deep Adaptive Intent-Aware Network for CTR Prediction in Trigger-Induced Recommendation
Xianyu of Alibaba（阿里巴巴阿里鱼）
DAIAN通过动态适应用户意图偏好，解决触发诱导推荐中意图短视问题，提升CTR预测效果。
2026-02-15 cs.AI cs.IR
Scene-wise Adaptive Network for Dynamic Cold-start Scenes Optimization in CTR Prediction
Huazhong University of Science and Technology（华中科技大学）；School of Software, Beihang University（北京航空航天大学软件学院）；Meituan（美团）；The University of Hong Kong（香港大学）
针对移动电商多场景推荐的动态冷启动难题，提出场景级自适应网络SwAN，通过场景相似度学习等技术优化新场景推荐，已在美团上线并实现CTR及订单量占比的显著提升。
2024-08-18 cs.AI cs.CV cs.IR
Understanding and Counteracting Feature-Level Bias in Click-Through Rate Prediction
针对CTR预测中的特征级偏差，通过组件阻断和理论分析定位线性层为偏差来源，提出移除偏差权重和调整权重的微创去偏策略，在三个真实数据集上验证了有效性。
2024-02-06 cs.IR
Enhancing CTR Prediction in Recommendation Domain with Search Query Representation
McGill University（麦吉尔大学）
针对推荐领域现有方法未充分利用搜索域用户偏好、忽略跨域意图偏移的问题，提出融合搜索查询嵌入、对比学习与扩散模型的CTR预测框架，实验效果优于当前最优模型。
2024-10-28 cs.AI cs.IR cs.LG
Towards An Efficient LLM Training Paradigm for CTR Prediction
针对LLM用于CTR预测时滑动窗口训练复杂度高的问题，提出DTI并行训练多个目标交互，并解决隐藏状态泄漏与位置偏见过拟合，平均减少92%训练时间且保持性能。
2025-03-15 cs.IR
Understanding the Ranking Loss for Recommendation with Sparse User Feedback
针对稀疏正反馈下CTR预测中BCE导致负样本梯度消失的问题，本文揭示辅助排序损失通过增大负样本梯度改善优化，并经理论、公开实验及腾讯在线系统验证有效。
2024-07-05 cs.IR
Rec4Ad: A Free Lunch to Mitigate Sample Selection Bias for Ads CTR Prediction in Taobao
Alibaba Group（阿里巴巴集团）
本文提出 Rec4Ad，利用共享用户决策逻辑的推荐样本及对齐、去相关表示学习，在无需均匀数据的情况下缓解广告 CTR 模型的样本选择偏差，并在淘宝取得 CTR 与 RPM 显著提升。
2023-06-06 cs.IR cs.LG
Discrete Semantic Tokenization for Deep CTR Prediction
本文提出了一种用于CTR预测的离散语义分词方法UIST，通过将密集嵌入向量量化为离散令牌并采用分层混合推理模块，实现了快速训练和推理，同时显著减少内存占用，在新闻推荐任务中展现出约200倍的空间压缩效率。
2024-03-21 cs.IR
HHFT: Hierarchical Heterogeneous Feature Transformer for Recommendation Systems
HHFT通过分层异构特征变换器提升推荐系统CTR预测性能，实现AUC提升0.4%并提高GMV
2025-12-14 cs.IR
Leveraging Large Language Models to Enhance Personalized Recommendations in E-commerce
本研究提出了一种基于LLM的电子商务个性化推荐系统框架，通过对用户评论和产品描述进行深度语义理解并结合上下文数据动态推荐，显著提升了推荐准确率、召回率、点击率及多样性，改善了用户体验并促进销售增长。
2024-10-02 cs.IR
Dual-Stream MLP is All You Need for CTR Prediction
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；ByteDance（字节跳动）；Meituan（美团）
提出双流MLP（DS-MLP）框架，通过知识蒸馏将显式特征交互学习能力整合到主MLP网络，同时并行MLP捕获隐式特征交互，并设计两种对齐策略优化双流架构，在三个基准上取得最先进性能。
2026-06-03 cs.IR
Macro Graph Neural Networks for Online Billion-Scale Recommender Systems
本文提出宏观推荐图 MAG 与 MacGNN，通过聚合行为相似的用户和物品将十亿节点压缩至数百个，在保持高效的同时显著提升十亿级在线推荐的 CTR 预测效果。
2024-05-08 cs.IR
Temporal Importance Factor for Loss Functions for CTR Prediction
针对CTR预测中数据分布随时间偏移的问题，提出一种模型无关的时间重要性因子，通过加大对最近样本的惩罚来增强损失函数对最新趋势的捕捉能力，并在公开和公司数据集上验证其优于基线损失函数。
2023-11-28 cs.IR
FedMM: Federated Collaborative Signal Quantization for Multi-Market CTR Prediction
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与技术学院）；Shenzhen Technology University（深圳技术大学）
FedMM通过离散码本机制实现隐私保护传输，结合分层码本结构捕捉跨市场共享模式和特定市场特征，提升多市场CTR预测精度。
2026-05-12 cs.IR
On the Factory Floor: ML Engineering for Industrial-Scale Ads Recommendation Models
Google Inc.（谷歌公司）
对于工业规模的广告系统，广告点击率（CTR）的预测是一个中心问题。广告点击构成了用户参与的重要类别，并且通常被用作广告对用户有用性的主要信号。此外，在按点击收费的广告系统中，广告客户按点击收费，点击率预期直接进入价值估计。因此，CTR模型开发是大多数互联网广告公司的重大投资。针对此类问题的工程设计需要许多适用于在线学习的机器学习（ML）技术，这些技术远远超出了传统的准确性改进，特别是在效率、可重复性、校准、信用归属方面。我们提出了一个案例研究部署在谷歌的搜索广告CTR模型的实用技术。本文提供了一个行业案例研究，突出了当前ML研究的重要领域，并说明了如何评估有影响力的新ML方法并使其在大规模工业环境中发挥作用。
2022-09-12 cs.IR cs.LG
TransAct V2: Lifelong User Action Sequence Modeling on Pinterest Recommendation
Pinterest
TransAct V2 是 Pinterest Homefeed 的生产模型，通过利用超长用户序列、集成 Next Action Loss 函数以及采用可扩展低延迟部署方案，提升 CTR 预测和用户行为预测能力。
2025-06-02 cs.AI cs.IR
AIE: Auction Information Enhanced Framework for CTR Prediction in Online Advertising
针对现有CTR预测未充分利用拍卖信息且存在拍卖偏差的问题，提出含两个轻量可插拔模块的AIE框架，经多数据集实验和线上A/B测试验证，有效提升eCPM与CTR指标。
2024-08-15 cs.IR
Star+: A New Multi-Domain Model for CTR Prediction
针对多域CTR预测中现有方法难捕捉域分布与域间关系的问题，提出Star+模型，通过多种融合策略平衡共享与域专属信息，结合不同归一化技术，在工业和公开数据集上实现准确率与效率的显著提升，为多域推荐提供鲁棒自适应方案。
2024-06-24 cs.IR
Deep Evolutional Instant Interest Network for CTR Prediction in Trigger-Induced Recommendation
Alibaba Group（阿里巴巴集团）；SIGS, Tsinghua University（清华大学深圳国际研究生院）
针对触发式推荐中用户即时兴趣随滚动动态变化及触发物品交互建模不足的问题，提出DEI2N，融合时间行为信息、兴趣演化层与交互层，并在离线、工业数据和在线A/B测试中验证其CTR预测优势。
2024-08-04 cs.IR cs.LG
Warming Up Cold-Start CTR Prediction by Learning Item-Specific Feature Interactions
针对推荐系统中新物品冷启动CTR预测难题，提出EmerG方法，通过超网络生成物品专属特征图结合定制GNN捕捉任意阶特征交互，辅以元学习策略降低过拟合，在不同数据量场景下均取得最优性能。
2024-07-14 cs.IR
Continual Transfer Learning for Cross-Domain Click-Through Rate Prediction at Taobao
作为世界上最大的电子商务平台之一，淘宝的推荐系统（RS）服务于数亿客户的购物需求。点击率预测是RS的核心组成部分。淘宝网点击率预测的一个最大特点是存在多个推荐领域，不同领域的规模差异很大。因此，进行跨域CTR预测以将知识从大域转移到小域以缓解数据稀疏性问题是至关重要的。然而，现有的跨域CTR预测方法是针对静态知识转移提出的，忽略了现实世界RS中的所有域都是不断随时间演变的。有鉴于此，我们提出了一个必要的，但新颖的任务命名为连续迁移学习（CTL），它转移知识从一个随时间变化的源域到一个随时间变化的目标域。在这项工作中，我们提出了一个简单而有效的CTL模型称为CTNet，以解决在淘宝上的连续跨域CTR预测的问题，CTNet可以有效地训练。特别是，CTNet认为行业中的一个重要特征是模型已经经过了很长时间的持续良好训练。因此，CTNet旨在充分利用源域和目标域中所有经过良好训练的模型参数，以避免丢失历史上获得的知识，并且只需要增量目标域数据进行训练以保证效率。大量的离线实验和淘宝网的在线A/B测试证明了CTNet的效率和有效性。CTNet现已部署在淘宝网的推荐系统中，为数亿活跃用户的主要流量提供服务。
2023-02-20 cs.IR
Looking at CTR Prediction Again: Is Attention All You Need?
BOSS Zhipin（BOSS直聘）
点击率（CTR）预测是网络搜索、推荐系统和在线广告显示中的关键问题。学习良好的功能交互对于反映用户对项目的偏好至关重要。基于深度学习的点击率预测模型已经提出了很多，但研究者通常只关注是否达到最先进的性能，而忽略了整个框架是否合理。在这项工作中，我们使用经济学中的离散选择模型来重新定义CTR预测问题，并提出了一个通用的神经网络框架建立在自我注意力机制。据发现，大多数现有的CTR预测模型与我们提出的一般框架。我们还研究了我们提出的框架的表达能力和模型的复杂性，以及一些现有模型的潜在扩展。最后，我们通过在公共数据集上的一些实验结果来证明和验证我们的见解。
2021-05-12 cs.AI cs.IR
An Incremental Learning framework for Large-scale CTR Prediction
Deeplab（深度实验室）
在这项工作中，我们介绍了一个增量学习框架的点击率（CTR）预测，并证明其有效性Taboola的大规模推荐服务。我们的方法可以通过从以前部署的模型进行热启动并仅对“新鲜”数据进行微调来快速捕获新兴趋势。过去的知识是通过师生范式来保持的，在这种范式中，教师充当了一种蒸馏技术，减轻了灾难性遗忘现象。我们的增量式学习框架能够显著加快培训和部署周期（12倍加速）。我们展示了一致的每千收入（RPM）电梯在多个交通段和显着的CTR增加新推出的项目。
2022-09-01 cs.IR cs.LG
A General Framework for Debiasing in CTR Prediction
Alibaba Group（阿里巴巴集团）
大多数现有的点击率（CTR）预测方法都依赖于一个过于简化的假设，即，点击概率是观察概率和相关性概率的乘积。然而，由于这两个概率之间存在复杂的相互作用，这些方法不能应用于其他场景，例如查询自动完成（QAC）和路由推荐。我们提出了一个通用的去偏置框架，无需简化变量之间的关系，可以处理CTR预测中的所有场景。仿真实验表明：在最简单的情况下，我们的方法保持了类似的AUC与国家的最先进的方法;在其他情况下，我们的方法实现了相当大的改进，与现有的方法相比。同时，在在线实验中，该框架也获得了显着的改善一致。
2021-12-06 cs.AI cs.IR
PRECTR: A Synergistic Framework for Integrating Personalized Search Relevance Matching and CTR Prediction
Alibaba Group（阿里巴巴集团）；Xi’an Jiaotong University（西安交通大学）
提出PRECTR框架，通过条件概率融合机制统一搜索相关性匹配与CTR预测，引入两阶段训练和语义一致性正则化，并利用用户相关性偏好定制激励，实验证明其有效性。
2025-03-26 cs.AI cs.IR
FinalMLP: An Enhanced Two-Stream MLP Model for CTR Prediction
本文发现简单组合两个MLP的双流模型即可取得优异CTR预测性能，进而提出FinalMLP，通过特征门控和交互聚合层增强双流MLP，在多个基准和在线A/B测试中超越复杂双流CTR模型。
2023-11-30 cs.IR
RE-SORT: Removing Spurious Correlation in Multilevel Interaction for CTR Prediction
针对 CTR 预测中多层特征交互受混淆因素影响而产生虚假相关性的问题，提出 RE-SORT，通过 MSR 结构捕捉多层非线性交互，并用 SCE 模块结合 Laplacian 核映射与样本重加权消除虚假相关，在多个公开及生产数据集上实现准确率和速度的 SOTA。
2024-05-10 cs.IR
MMBAttn: Max-Mean and Bit-wise Attention for CTR Prediction
针对CTR预测中传统池化操作易损失信息、影响特征重要性判定的问题，提出结合最大-均值池化与逐位注意力的MMBAttn方法，经三个公开数据集验证可显著提升基础模型性能，达到SOTA水平。
2023-08-25 cs.IR
Disentangled Interest Network for Out-of-Distribution CTR Prediction
Tsinghua University（清华大学）；Hefei University of Technology（合肥工业大学）
DiseCTR通过解耦用户兴趣，提升分布外点击率预测的准确性和鲁棒性。
2025-11-14 cs.AI cs.IR cs.LG
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
Harbin Institute of Technology（哈尔滨工业大学）；Huawei（华为）
学习用户行为背后的复杂特征交互对于最大化推荐系统的CTR至关重要。尽管取得了很大的进展，现有的方法似乎有一个强烈的偏见，对低或高阶的相互作用，或需要专业知识的功能工程。在本文中，我们表明，它是可能的，以获得一个端到端的学习模型，强调低，高阶特征的相互作用。所提出的模型DeepFM在新的神经网络架构中结合了用于推荐的因子分解机器和用于特征学习的深度学习的功能。与Google最新的Wide \& Deep模型相比，DeepFM的“宽”和“深”部分共享输入，除了原始特征之外不需要特征工程。在基准数据和商业数据上进行了全面的实验，以证明DeepFM在现有CTR预测模型上的有效性和效率。
2017-03-13 cs.CL cs.IR
Improving Conversational Recommendation System by Pretraining on Billions Scale of Knowledge Graph
Alibaba Group（阿里巴巴集团）；University of Macau（澳门大学）；Zhejiang University（浙江大学）
电子商务平台中的会话推荐系统（CRS）旨在通过多个会话交互向用户推荐物品。点击率（CTR）预测模型通常用于对候选项进行排名。然而，大多数CRS都受到数据稀缺和稀疏的问题。为了解决这个问题，我们提出了一种新的知识增强深度交叉网络（K-DCN），这是一种两步（预训练和微调）CTR预测模型来推荐项目。首先根据用户、项目和会话信息构建十亿级会话知识图谱（CKG），然后引入知识图谱嵌入方法和图卷积网络分别对CKG进行语义和结构信息编码，使CTR预测模型能够感知用户的当前状态以及会话与项目之间的关系，本文基于预先训练好的CKG，引入用户状态和对话交互表示，提出K-DCN，通过深度交叉网络融合用户状态表示、对话交互表示和其他常规特征表示，实验结果表明，该方法的推荐效果明显优于基线，并在Alime中得到了实际应用。
2021-04-30 cs.AI cs.IR
TBIN: Modeling Long Textual Behavior Data for CTR Prediction
Meituan（美团）
针对文本行为建模中的长序列截断与兴趣压缩问题，本文提出TBIN，利用局部敏感哈希和移位分块自注意力动态激活用户多样兴趣，并在食品推荐平台的离线与在线实验中验证其CTR预测效果。
2023-08-09 cs.CL cs.IR cs.LG
Quadratic Interest Network for Multimodal Click-Through Rate Prediction
提出二次兴趣网络（QIN），利用自适应稀疏目标注意力和二次神经网络捕捉多模态高阶交互，在WWW 2025多模态CTR预测挑战赛中获得第二名，AUC达0.9798。
2025-04-25 cs.IR
Feature Fusion Revisited: Multimodal CTR Prediction for MMCTR Challenge
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文探讨了多模态大语言模型在推荐系统中应用的高延迟问题，提出高效的多模态表示学习方法，荣获MMCTR挑战赛Task 2奖项，并开源了代码与模型权重。
2025-04-26 cs.AI cs.IR
MoE-MLoRA for Multi-Domain CTR Prediction: Efficient Adaptation with Expert Specialization
Department of Software and Information Systems Engineering, Ben-Gurion University of the Negev（软件与信息系统工程系，本·古里安大学）
提出 MoE-MLoRA 混合专家框架，通过独立域专家训练与动态门控加权提升多域 CTR 预测，在八个模型和两个数据集上验证其优势及调参必要性。
2025-06-11 cs.AI cs.IR
Dynamic Parameterized Network for CTR Prediction
学习有效地捕捉特征关系是现代推荐系统中点击率预测的关键。大多数现有的CTR预测方法要么通过繁琐的手动设计的低阶交互，要么通过不灵活和低效的高阶交互来建模这种关系，这两者都需要额外的DNN模块进行隐式交互建模。在本文中，我们提出了一种新的插件操作，动态参数化操作（DPO），学习显式和隐式交互实例明智的。我们表明，将DPO引入DNN模块和Attention模块可以分别有利于CTR预测中的两个主要任务，即增强基于特征的建模的自适应性和改进具有实例局部性的用户行为建模。我们的动态参数化网络在公共数据集和真实世界生产数据集上的离线实验以及在线A/B测试中显着优于最先进的方法。此外，所提出的动态参数化网络已部署在世界上最大的电子商务公司之一的排名系统中，为数亿活跃用户的主要流量提供服务。
2021-11-09 cs.AI cs.IR
Efficient Transfer Learning Framework for Cross-Domain Click-Through Rate Prediction
针对广告数据稀疏和模型每日更新导致的灾难性遗忘问题，提出三层异步框架E-CDCTR，通过TPM和CPM预训练将自然内容知识迁移至广告CTR模型，有效提升预测性能。
2024-08-29 cs.IR
PaletteID: Prototype-Composed Semantic Identifiers for Multimodal CTR Prediction
Huazhong University of Science and Technology（华中科技大学）；Central China Normal University（华中师范大学）
提出PaletteID模型，以SQ-DPP构建原型调色板聚合语义相关原型，在两个公开数据集上提升CTR预测性能，对长尾物品增益更显著且标识符分配更鲁棒、语义更可解释。
2026-08-03 cs.IR cs.LG
Privileged Features Distillation at Taobao Recommendations
Alibaba Group（阿里巴巴集团）
特征在电子商务推荐的预测任务中起着重要的作用。为了保证离线训练和在线服务的一致性，我们通常使用相同的功能。然而，一致性反过来又忽略了一些区别性特征。例如，当估计转化率（CVR）时，即，如果用户点击该项目，则她将购买该项目的概率、像项目详细页面上的停留时间这样的特征是信息性的。然而，CVR预测应该在点击发生之前进行在线排名。因此，我们无法在服务过程中获得这种事后功能。我们将具有区分性但仅在训练期间可用的特征定义为特权特征。受蒸馏技术的启发，在训练和推理之间架起了桥梁，在这项工作中，我们提出了特权特征蒸馏（PFD）。我们训练两个模型，即，与原始模型相同的学生模型和另外利用特权特征的教师模型。从更精确的老师那里提炼出来的知识被转移到学生身上，以提高其准确性。在服务过程中，只提取学生部分，它不依赖于特权特征。我们在淘宝推荐的两个基本预测任务上进行了实验，即，粗粒度排名的点击率（CTR）和细粒度排名的CVR。通过提取CTR服务期间禁止的交互功能和CVR的事后功能，我们在其强大的基线上实现了显着的改进。在在线A/B测试期间，CTR任务中的点击度量提高了+5.0%。在CVR任务中，转换度量提高了+2.3%。此外，通过解决训练PFD的几个问题，我们获得了与基线相当的训练速度，而没有任何蒸馏。
2020-02-26 cs.IR cs.LG
LARR: Large Language Model Aided Real-time Scene Recommendation with Semantic Understanding
Meituan（美团）
针对传统推荐系统缺乏实时场景语义理解及LLM处理长文本效率低的问题，提出LARR框架，通过注入领域知识并利用聚合编码器整合LLM输出，高效提升基于LLM的CTR建模与推荐性能。
2024-08-21 cs.AI cs.IR
RQ-GMM: Residual Quantized Gaussian Mixture Model for Multimodal Semantic Discretization in CTR Prediction
Tencent（腾讯）；Fudan University（复旦大学）；Beijing Jiaotong University（北京交通大学）
RQ-GMM通过残差量化高斯混合模型提升CTR预测中多模态语义离散化效果，实现代码本利用和重建准确性的显著提升。
2026-02-13 cs.AI cs.IR
FLEN: Leveraging Field for Scalable CTR Prediction
Meitu Inc（美图公司）；Tencent Inc.（腾讯公司）；Xiamen University（厦门大学）；Shenzhen University（深圳大学）
点击率（CTR）预测已经成为许多工业应用（如推荐系统和在线广告）不可或缺的组成部分。CTR预测系统通常基于多场分类特征，即，每个特征都是分类的，并且属于一个且仅属于一个字段。特征连接的建模对于CTR预测的准确性至关重要。然而，它需要大量的参数来显式地对所有特征合取进行建模，这对于现实世界的生产系统来说是不可扩展的。在本文中，我们描述了一种新的场杠杆嵌入网络（FLEN），已部署在商业推荐系统在美图和服务的主要流量。FLEN设计了一种现场双向交互池技术。通过适当地利用场信息，逐场双向交互池化利用少量模型参数和对于工业应用可接受的时间复杂度来捕获场间和场内特征合取。我们表明，各种国家的最先进的CTR模型，可以表示在这种技术下。此外，我们开发了Dicefactor：一种辍学技术，以防止独立的潜在功能的共同适应。大量的实验，包括离线评估和在线A/B测试的实际生产系统，证明了FLEN对国家的最先进的有效性和效率。值得注意的是，与最新版本（即NFM）相比，FLEN在CTR上获得了5.19%的改进，内存使用量和计算时间为1/6。
2020-09-28 cs.IR cs.LG
