HiGR: Industrial-Scale Hierarchical Generative Slate Recommendation Framework in Tencent
Platform and Content Group, Tencent(腾讯平台与内容组);Sun Yat-sen University(中山大学)
提出HiGR框架,通过结构化语义ID和层次化解码器解决生成式推荐在工业规模下的规划效率与列表质量对齐问题,离线质量提升超10%,推理加速5倍。
2026-06-12 cs.AI cs.IR
Sequential Recommendation in Online Games with Multiple Sequences, Tasks and User Levels
Xiamen University(厦门大学);Tencent(腾讯)
在线游戏比以往任何时候都增长得更快,提供更好的用户体验的挑战也越来越大。在线游戏推荐系统面临着独特的挑战,因为他们必须满足玩家的不同需求,在不同的用户水平,基于他们的各种行动类型的行动序列。虽然已经存在许多顺序RS,但它们主要是单序列、单任务和单用户级的。本文介绍了一种新的腾讯游戏平台多序列、多任务、多用户等级的顺序推荐模型(简称M $^3$ Rec),该模型能够充分利用网络游戏中的复杂数据。本文利用图神经网络和多任务学习设计了M $^3$ Rec模型,对腾讯游戏异构顺序推荐场景中的复杂信息进行建模。我们在腾讯游戏平台的三款在线游戏上验证了M $^3$ Rec的有效性,包括离线和在线评估。实验结果表明,M $^3$ Rec成功地解决了网络游戏推荐的难题,与最先进的顺序推荐方法相比,它产生了更好的推荐效果.
2021-06-21 cs.AI cs.IR
P$^3$Rec: Distilling Prior--Posterior Preference Reasoning for LLM-based Recommendation
Chongqing University of Technology(重庆理工大学);Peking University(北京大学);Chongqing University(重庆大学)
针对现有方法仅从单一视角蒸馏LLM偏好知识的问题,提出P3Rec框架,联合提取并内化先验与后验偏好推理,利用兴趣熵自适应校准用户表示,在多个公开数据集上验证了有效性。
2026-09-17 cs.IR
Collaboration and Transition: Distilling Item Transitions into Multi-Query Self-Attention for Sequential Recommendation
提出MQSA-TED方法,通过多查询自注意力捕捉协作信号,并利用转换感知嵌入蒸馏学习全局物品转换模式,在四个数据集上验证有效性。
2023-12-25 cs.IR
Ads Recommendation in a Collapsed and Entangled World
Tencent Inc.(腾讯公司)
本文总结了腾讯广告推荐系统在特征嵌入表示、维度塌缩与兴趣纠缠问题上的设计原则、实用解决方案及分析工具,并基于大规模在线平台验证其效果。
2024-07-05 cs.IR cs.LG
Binarized Collaborative Filtering with Distilling Graph Convolutional Networks
基于隐式反馈的前K项推荐效率对于现实世界中的推荐系统至关重要,但由于缺乏负样本和大量候选项,因此具有很大的挑战性。为了解决这些问题,我们首先提出了一种改进的图卷积网络~(GCN)模型,该模型考虑了高阶特征间的相互作用。然后将GCN中的排序信息进行二值化处理,利用二值化表示提高在线推荐的效率。然而,二进制码不仅难以优化,而且在训练过程中容易造成信息丢失。因此,我们提出了一个新的框架,将二元约束优化问题转化为一个等价的连续优化问题与随机惩罚。然后,二进制化的协同过滤模型可以很容易地由许多流行的求解器(如SGD和Adam)进行优化。最后,该算法在三个真实世界的数据集上进行了评估,并显示出对竞争基线的优越性。
2019-06-05 cs.IR
DELRec: Distilling Sequential Pattern to Enhance LLMs-based Sequential Recommendation
Donghua University(东华大学);Macquarie University(麦考瑞大学)
本文提出DELRec框架,通过从传统序列推荐模型中蒸馏行为模式作为软提示,并微调LLMs利用该辅助信息,有效解决了现有LLMs推荐方法中文本信息有限、模型信息利用不充分及复杂度高的问题。
2024-12-18 cs.AI cs.IR
Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学);National University of Singapore(新加坡国立大学)
针对多模态会话推荐(MSBR)语义丰富性不足问题,提出LLM增强框架TPAD,通过并行模型解析项目知识与过渡特征并对齐,蒸馏过渡模式提升推荐效果,实验验证有效性。
2025-04-13 cs.AI cs.IR
Practice on Long Behavior Sequence Modeling in Tencent Advertising
Tencent(腾讯)
针对广告域行为稀疏问题,提出跨域构建长行为序列的两阶段框架,通过分层硬搜索、解耦嵌入软搜索、解耦TIN及目标解耦编码等方法,在腾讯广告平台实现GMV显著提升。
2025-09-10 cs.IR
Conditional Attention Networks for Distilling Knowledge Graphs in Recommendation
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
知识图谱通常被结合到推荐系统中以提高整体性能。由于知识图谱的泛化和规模,大多数知识关系对于目标用户-项目预测没有帮助。为了在推荐系统中利用知识图谱来捕获特定于目标的知识关系,我们需要提取知识图谱以保留有用的信息并提炼知识以捕获用户的偏好。为了解决这些问题,我们提出了知识感知的条件注意网络(KCAN),这是一个端到端的模型,将知识图谱到推荐系统。具体而言,我们使用知识感知的注意力传播方式,以获得节点表示,它捕获的用户-项目网络和知识图谱的全局语义相似性。然后给出一个目标,即,一个用户-项目对,我们自动提取的知识图谱到目标特定的子图的基础上的知识感知的注意。之后,通过对子图应用条件注意力聚合,我们细化知识图谱以获得目标特定的节点表示。因此,我们可以同时获得代表性和个性化,以实现整体性能。在真实数据集上的实验结果证明了我们的框架在最先进的算法上的有效性。
2021-11-03 cs.IR cs.LG
Embedding the Teacher: Distilling vLLM Preferences for Scalable Image Retrieval
University of Cambridge(剑桥大学);Apta
本文提出将强大的视觉-语言模型(vLLM)的偏好排名蒸馏到基于嵌入的检索系统中,以在保持可扩展性的同时提升对抽象或角色驱动属性的文本-图像检索性能,实验证明该方法显著优于现有基线。
2025-10-13 cs.IR cs.LG
Large Language Model Distilling Medication Recommendation Model
Xi'an Jiaotong University(西安交通大学);City University of Hong Kong(香港城市大学);Jarvis Research Center, Tencent YouTu Lab(腾讯优图实验室贾维斯研究中心);Southern University of Science and Technology(南方科技大学);Jilin University(吉林大学)
针对现有药物推荐模型忽略语义及首次就诊患者缺乏历史记录的问题,提出LEADER框架,利用大语言模型生成推荐并结合知识蒸馏技术转移至轻量模型,在MIMIC数据集上验证了有效性与高效性。
2025-01-27 cs.AI cs.IR cs.LG
Deep Latent Emotion Network for Multi-Task Learning
Tencent PCG(腾讯平台与内容事业群)
摘要推荐模型被许多摘要平台广泛采用,以鼓励用户探索他们感兴趣的内容。然而,目前的研究大多只是针对用户的偏好,缺乏深入的研究,以避免不良内容被频繁推荐,这是一个常见的原因,让用户厌恶。为了解决这个问题,我们提出了一个深度潜在情感网络(DLEN)模型提取潜在的概率,用户喜欢的饲料建模多个目标与半监督学习。该方法在训练阶段成功地减少了不同目标之间的冲突,有效地提高了各目标的训练精度。此外,通过将用户情感的这种潜在状态加入到多目标融合中,该模型能够降低推荐不良内容的概率,以提高在线测试阶段的用户保留率和停留时间。DLEN部署在腾讯QQ小世界的真实多任务Feed推荐场景中,数据集包含超过10亿个样本,在离线评估中,DLEN表现出明显优于SOTA MTL模型的性能优势,在生产中的观看次数和用户停留时间分别增加了3.02%和2.63%。DLEN模型在公共数据集上的补充离线实验也在各种场景中重复改进。目前,DLEN模型已成功部署在腾讯Feed推荐系统中。
2021-04-18 cs.AI cs.IR
SLMRec: Distilling Large Language Models into Small for Sequential Recommendation
Rutgers University(新泽西罗格斯大学);Broad Institute of MIT and Harvard(哈佛大学与麻省理工学院Broad研究所);Ant Group(蚂蚁集团);Dian Diagnostics Group Co.(迪安诊断集团);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Technology Sydney(悉尼技术大学)
本文提出SLMRec,通过知识蒸馏将大语言模型压缩为小模型用于序列推荐,仅用13%参数即达最佳性能,训练和推理分别提速6.6倍和8.0倍,并给出理论解释。
2025-04-20 cs.CL cs.IR cs.LG
Generating ordered list of Recommended Items: a Hybrid Recommender System of Microblog
Sun Yat-Sen University(中山大学)
关注者的精准推荐有助于提升用户体验,维护微博和twitter平台的繁荣。本文设计了一个微博混合推荐系统,作为2012年KDD Cup第一轨道任务的解决方案,该任务要求预测用户在腾讯微博上可能关注的用户。本文描述了问题的背景,并给出了包括关键词分析、用户分类、兴趣抽取和项目推荐的算法。实验结果表明,该算法具有较高的性能。最后讨论了可能的改进措施,并提出了进一步的研究方向。
2015-11-27 cs.IR cs.LG cs.SI
SCoTER: Structured Chain-of-Thought Transfer for Enhanced Recommendation
Tencent(腾讯);Chinese Academy of Sciences(中国科学院)
SCoTER通过结构化推理链转移提升推荐系统,解决推理模式发现和结构保持问题,实现推荐效果和成本的双重优化。
2026-02-25 cs.IR
Understanding the Ranking Loss for Recommendation with Sparse User Feedback
针对稀疏正反馈下CTR预测中BCE导致负样本梯度消失的问题,本文揭示辅助排序损失通过增大负样本梯度改善优化,并经理论、公开实验及腾讯在线系统验证有效。
2024-07-05 cs.IR
Alleviating Cold-Start Problems in Recommendation through Pseudo-Labelling over Knowledge Graph
解决冷启动问题对于为新用户和项目提供有意义的推荐结果是必不可少的。在稀疏观测数据下,未观测的用户-项目对也是提取潜在用户信息需求的重要来源。大多数现有的作品利用未观察到的样本提取负信号。然而,这样的优化策略可能会导致偏向已经流行的项目的结果,因为它经常将新项目作为负面实例处理。在这项研究中,我们通过适当利用未观察到的样本来解决新用户/项目的冷启动问题。提出了一种基于图神经网络的知识图谱推荐系统,通过伪标记来增加标记样本.我们的方法积极地采用未观察到的样本作为积极的实例,并将新的项目带入聚光灯下。为了避免穷举标签分配给所有可能的用户和项目对,我们利用KG为每个用户选择可能是积极的项目。我们还利用了改进的负采样策略,从而抑制流行性偏见的加剧。通过实验,我们证明了我们的方法在各种场景中实现了对最先进的KG感知的推荐器的改进;特别是,我们的方法成功地提高了冷启动用户/项目的推荐性能。
2020-11-10 cs.IR
rEDMRec: Distilling Large Language Model Reasoning into an Editable Experience Memory for Recommendation
Faculty of Information Technology, University of Science(胡志明市科学大学信息学院);Vietnam National University(越南国家大学)
rEDMRec将教师LLM推理提炼为四类可编辑体验记忆,轻量级学生LLM通过检索记忆排序,在多数据集和主干模型上优于零样本、少样本、RAG及GraphRAG,记忆优化可提升推荐性能并降低重复率。
2026-08-20 cs.AI cs.CL cs.IR
An Efficient Embedding Based Ad Retrieval with GPU-Powered Feature Interaction
Tencent Inc.(腾讯公司)
本文提出基于GPU的高效特征交互方法,提升广告检索准确性和效率,已在腾讯广告系统中成功部署并取得显著性能提升。
2025-12-26 cs.IR cs.LG
FROG: Effective Friend Recommendation in Online Games via Modality-aware User Preferences
Tencent(腾讯);Shenzhen Institute of Computing Sciences(深圳计算科学研究院)
本文针对在线游戏好友推荐中多模态特征与图结构信息难以有效融合的问题,提出了端到端模型 FROG,通过建模模态感知的用户偏好,在腾讯离线与在线实验中均优于现有方法。
2025-04-26 cs.AI cs.IR cs.SI
Recent Advances in Heterogeneous Relation Learning for Recommendation
University of Hong Kong(香港大学)
推荐系统在许多Web应用中扮演着重要的角色,以满足用户的个性化兴趣和减轻信息过载。在这项调查中,我们回顾了开发的建议框架,重点是异构关系学习,其中包括不同类型的依赖关系之间的用户和项目。该任务的目标是将异构的关系数据映射到潜在的表示空间中,这样可以很好地保留来自用户域和项目域的结构和关系属性。为了解决这个问题,最近的研究进展可以分为三个主要路线:社会推荐,知识图谱增强的推荐系统,和多行为推荐。我们讨论了每一类的学习方法,如矩阵分解,注意力机制和图神经网络,有效地提取异构上下文信息。最后,我们提出了一个探索性的前景,突出几个有前途的方向和机会,在异构关系学习框架的建议。
2021-10-07 cs.IR cs.LG
Towards A Tri-View Diffusion Framework for Recommendation
University of Macau(澳门大学)
本文提出了一种三视扩散框架,通过最大化亥姆霍兹自由能结合能量最大化和熵最小化,提升推荐任务的准确性和效率。
2025-11-25 cs.IR
Offline Retrieval Evaluation Without Evaluation Metrics
传统上,信息检索和推荐的离线评估集中于将排名的质量提炼成标量度量,例如平均精度或归一化折扣累积增益。我们可以使用这个指标来比较多个系统对同一个请求的性能。虽然评估指标提供了一个方便的系统性能的摘要,他们也折叠成一个单一的数字,用户之间的细微差异,并可以携带用户行为和效用的假设不支持跨检索方案。我们提出了召回配对偏好(RPP),直接计算排名列表之间的偏好的基础上,一个无度量的评价方法。RPP模拟每个查询的多个用户子群体,并在这些伪群体中比较系统。我们在多个搜索和推荐任务中的结果表明,RPP大大提高了区分能力,同时与现有指标很好地相关,并且对不完整的数据同样鲁棒。
2022-04-25 cs.IR
EvoReason: Self-Evolving Reasoning Primitive-Guided On-Policy Distillation for Latent Reasoning in Generative Recommendation
Kuaishou Technology(快手科技);Shenzhen University(深圳大学)
针对生成式推荐中潜在推理的原始CoT监督效果不佳问题,提出自演化框架EvoReason,通过推理原语引导的在线策略蒸馏实现显式推理监督与学生潜在推理空间的自适应对齐,提升推理迁移效果。
2026-08-03 cs.IR
ANCHOR: Agentic Noise Creation Framework for Human Simulation and Denoising Recommendation
Xidian University(西安电子科技大学);Shanghai Fairyland Software Co.,Ltd.(上海仙景软件有限公司)
提出ANCHOR框架,通过智能体模拟用户行为生成真实噪声标签,将推荐去噪转化为监督学习问题,实现高效噪声识别。
2026-08-04 cs.IR
Heterogeneous Influence Maximization in User Recommendation
Tencent(腾讯);Shenzhen University(深圳大学)
本文提出HeteroIR和HeteroIM两个模型,结合推荐意愿建模与影响力最大化,在腾讯游戏平台A/B测试中分别提升8.5%和10%。
2025-08-19 cs.AI cs.IR cs.LG
Long-Sequence Recommendation Models Need Decoupled Embeddings
Tsinghua University(清华大学);Tencent Inc(腾讯公司)
针对长序列推荐模型中单一嵌入集导致注意力与表示学习相互干扰的问题,提出解耦注意力与表示嵌入(DARE)模型,通过分离嵌入表提升搜索准确性和AUC,并加速在线服务。
2025-03-26 cs.IR cs.LG
Hierarchical and Contrastive Representation Learning for Knowledge-aware Recommendation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Intel Labs China(英特尔中国实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对知识感知推荐中递归传播导致的邻居指数扩张和过度平滑问题,本文提出HiCON框架,通过分层消息聚合与跨阶对比学习提升节点表示判别性,并在三个数据集上验证了其优越性。
2023-04-15 cs.AI cs.IR
PromptMM: Multi-Modal Knowledge Distillation for Recommendation with Prompt-Tuning
针对多模态推荐系统的过拟合与侧信息干扰问题,提出带提示调优的多模态知识蒸馏框架PromptMM,通过蒸馏压缩、软提示适配与解耦重加权蒸馏提升效果与效率。
2024-03-10 cs.IR
Distillation based Multi-task Learning: A Candidate Generation Model for Improving Reading Duration
在feeds推荐中,第一步是候选生成。大多数的候选生成模型都是基于点击率的估计,没有考虑用户对点击条目的满意度。具有低质量但有吸引力的标题的项目(即,点击诱饵)可以被推荐给用户,这改善了用户体验。解决这个问题的一个方法是在多任务学习(MTL)框架下同时对点击和阅读持续时间进行建模。建模中存在两个挑战。第一个是如何处理负样本的零持续时间,这并不一定表示不喜欢。第二个问题是如何在双塔结构的候选生成模型中进行多任务学习,该模型只能对一个任务进行建模。在本文中,我们提出了一种基于蒸馏的多任务学习(DMTL)方法来解决这两个挑战。我们通过考虑MTL中点击的依赖性来建模持续时间,然后通过蒸馏将从MTL教师模型中学习到的知识转移到学生候选人生成模型中。在腾讯看点推荐系统的流量日志数据集上进行的实验表明,该方法在建模时间上明显优于竞争对手,证明了该候选生成模型的有效性。
2021-02-14 cs.IR
LLM-Enhanced Linear Autoencoders for Recommendation
Sungkyunkwan University(成均馆大学)
提出L3AE,首个将LLM集成到线性自编码器的推荐模型,通过两阶段闭式解优化融合文本语义与协同信号,在三个基准上显著超越现有方法。
2025-08-26 cs.AI cs.CL cs.IR
IA-GCN: Interactive Graph Convolutional Network for Recommendation
Business Growth BU, JD.com(京东商业增长事业部)
本文提出交互式图卷积网络IA-GCN,通过在用户-物品对之间建立双边交互引导,使图卷积聚合过程突出与目标相关的邻域信息,从而提升协同过滤推荐性能,并在三个基准数据集上验证了其有效性和鲁棒性。
2024-05-06 cs.AI cs.IR
Dynamic User Interest Augmentation via Stream Clustering and Memory Networks in Large-Scale Recommender Systems
Tencent Inc.(腾讯公司)
本文提出动态用户兴趣增强方法DUIA,通过基于梯度的层次聚类算法GHCA对相似用户和物品进行动态流聚类,生成增强向量以解决大规模推荐系统中用户兴趣稀疏、长尾物品和冷启动问题,并在腾讯多个工业系统中成功部署。
2025-09-23 cs.IR cs.LG
Temporal Interest Network for User Response Prediction
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
本文提出时序兴趣网络TIN,通过目标感知的时序编码、注意力与表示进行显式四路交互,同时捕获行为与目标之间的语义-时序相关性,在公开数据集和腾讯广告在线A/B测试中均取得显著提升。
2024-07-03 cs.IR cs.LG
ChronicleRec: Pre-training Temporally Anchored Tokens for Lifelong User Modeling
Tencent Inc.(腾讯);University of New South Wales(新南威尔士大学)
ChronicleRec通过预训练时间锚定令牌,将超长用户行为序列压缩为有序摘要,解耦终身建模与在线评分,在工业推荐中提升效果。
2026-09-14 cs.IR
Mixture of Virtual-Kernel Experts for Multi-Objective User Profile Modeling
Tencent Inc.(腾讯公司)
在在线广告和推荐系统等行业应用中,多样化和准确的用户简档可以极大地帮助提高个性化。深度学习被广泛应用于从用户在系统中的历史交互中挖掘对用户的表达性标签,例如,点击,转化动作在广告链中。通常的方法是以某个动作为目标,引入多个独立的Two-Tower模型来预测用户对标签的动作可能性(称为CTR或CVR预测)。预测用户的高吸引力标签代表他们的偏好。然而,单一动作模型不能互补学习,也不能支持对数据稀疏动作的有效培训。此外,由于两个塔之间缺乏信息融合,该模型的学习不足以很好地表示用户对各种标签\textbf{topics}的偏好。本文介绍了一种新的多任务模型称为混合虚拟内核专家(MVKE),学习用户对各种动作和主题的偏好统一。在MVKE中,我们提出了虚拟内核专家的概念,它专注于对用户偏好的一个特定方面进行建模,并且所有这些方面都是协调学习的。此外,MVKE采用基于门的结构,在双塔之间搭建了一座信息融合的桥梁,提高了模型的性能,保持了较高的效率。我们将该模型应用于腾讯广告系统,线上和线下的评估结果表明,该方法较现有方法有了明显的改进,并对实际广告收入带来了明显的提升。
2022-05-31 cs.IR cs.LG
SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model
ByteDance Douyin SAIL Team, CUHK MMLab(字节跳动抖音SAIL团队,CUHK MMLab)
本文提出全模态嵌入基础模型 SAIL-Embedding,通过多阶段训练方案(含内容感知渐进训练与协作感知推荐增强训练)解决多模态嵌入的模态限制与训练不稳定等问题,在多检索任务中达 SOTA,并在抖音推荐场景中显著提升 LT 与 AUC 指标。
2025-11-02 cs.CV cs.IR
Joint Semantic and Structural Representation Learning for Enhancing User Preference Modelling
针对知识图谱推荐忽视连接语义且图谱不完整的问题,本文提出KIRS-CL框架,联合结构信息与预训练语言模型编码的语义表示,并采用对比预热策略,显著提升暖启动与冷启动推荐性能。
2023-04-24 cs.IR
Dual Correction Strategy for Ranking Distillation in Top-N Recommender System
School of Computing, KAIST(韩国科学技术院计算机学院);Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院)
针对现有排序蒸馏方法效率不足、视角单一的问题,提出基于师生预测差异筛选蒸馏知识、同时迁移用户侧与物品侧排序信息的双重校正策略,性能优于SOTA基线。
2024-05-15 cs.IR cs.LG
KuaFu: Compressing Long User Behavior into Understanding at Billion Scale
Tencent Inc.(腾讯公司)
KuaFu是一个统一的行为压缩层,通过双轴投影器将每个行为项压缩为2-4个token,采用保真导向训练,在四个生产任务中达到或超过未压缩模型,提升吞吐量37%-350%,节省190个GPU,并在腾讯平台运行十个月提升GMV 1.37%。
2026-10-21 cs.CL cs.IR cs.LG