Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems
Google LLC(谷歌有限责任公司);Google DeepMind(谷歌DeepMind);University of California, Davis(加州大学戴维斯分校)
本文针对推荐系统中知识蒸馏被忽视的数据分布偏移、教师配置寻优及标签共享等挑战,提出并在Google多个大规模视频推荐系统上评估了稳健的KD系统,在线实验证明其显著提升了学生模型性能并保障了高质量教师标签的持续生成。
2024-08-26 cs.AI cs.IR cs.LG
Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment
Meta Platforms, Inc.(Meta平台公司)
针对推荐系统中跨多界面部署基础模型的挑战,提出基础-专家范式,中央FM生成目标感知嵌入供特定界面专家模型使用,迁移率超现有方法,自2025年在Meta部署后实现线上指标提升。
2026-07-28 cs.AI cs.IR cs.LG
Unbiased Knowledge Distillation for Recommendation
University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学)
知识蒸馏(KD)作为一种有前途的模型压缩方法,已被应用于推荐系统(RS)中以减少推理延迟。传统的解决方案首先从训练数据中训练一个完整的教师模型,然后转移其知识(\ie \textit{soft labels})来监督紧凑的学生模型的学习。然而,我们发现这样一个标准的蒸馏范式会产生严重的偏见问题-流行的项目更强烈的推荐后,蒸馏。这种效应会阻止学生模型做出准确和公平的推荐,从而降低RS的有效性。在这项工作中,我们确定了KD的偏见的起源-它根源于有偏见的软标签从老师,并进一步传播和加强在蒸馏。为了纠正这一点,我们提出了一个新的KD方法与分层蒸馏策略。它首先根据项目的受欢迎程度将其划分为多个组,然后提取每个组中的排名知识来监督学生的学习。我们的方法很简单,教师不可知-它在蒸馏阶段工作,而不影响教师模型的训练。我们进行了广泛的理论和实证研究,以验证我们的建议的有效性。我们在www.example.com上发布代码。
2022-11-27 cs.AI cs.IR
Distillation from Heterogeneous Models for Top-K Recommendation
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Yonsei University(延世大学);Microsoft Research Asia(微软亚洲研究院)
最近的推荐系统已经显示出显着的性能,通过使用一个集成的异构模型。然而,它的成本非常高,因为它需要与模型数量成比例的资源和推理延迟,这仍然是生产的瓶颈。我们的工作旨在通过知识蒸馏(KD)将异构教师的集成知识转换为轻量级的学生模型,以在保持高精度的同时减少巨大的推理成本。通过实证研究发现,异质性教师的知识迁移会严重降低提炼效能。然而,我们表明,一个重要的信号,以减轻困难,可以从教师的培训轨迹。本文提出了一个新的知识分配框架,命名为HetComp,通过转移从教师的轨迹生成的知识的易到难的序列来指导学生模型。为了根据学生的学习状态提供指导,HetComp使用动态知识构建来提供逐步困难的排名知识和自适应知识转移来逐步转移更细粒度的排名信息。我们的综合实验表明,HetComp显着提高蒸馏质量和学生模型的泛化。
2023-03-02 cs.AI cs.IR
The Use of Bandit Algorithms in Intelligent Interactive Recommender Systems
IBM Research AI(IBM研究院人工智能部门)
在当今的商业市场中,许多高科技互联网企业不断探索创新的方法来提供最佳的在线用户体验,以获得竞争优势。指出了开发智能交互式推荐系统的巨大需求,该系统可以通过准确地预测用户的偏好来顺序地向用户推荐最合适的项目,同时不断地接收最新的反馈以改进推荐结果。多臂强盗算法能够提供高效的推荐服务,已被广泛应用于各种在线系统中。然而,很少有现有的强盗模型能够适应现代推荐系统引入的新变化。
2021-07-01 cs.AI cs.IR
Efficient Personalized Reranking with Semi-Autoregressive Generation and Online Knowledge Distillation
University of Science and Technology of China(中国科学技术大学);Huawei(华为);Shanghai Jiao Tong University(上海交通大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出PSAD框架,通过半自动生成与在线知识蒸馏提升个性化重排序的效率和性能。
2026-03-07 cs.AI cs.IR
Meta-Learning for Online Update of Recommender Systems
KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
在线推荐系统应该始终与用户的当前兴趣保持一致,以准确地推荐每个用户喜欢的项目。由于用户的兴趣通常会随着时间的推移而变化,因此更新策略应该是灵活的,以便从不断生成的新用户-项目交互中快速捕获用户的当前兴趣。现有的更新策略集中在每个用户-项目交互的重要性或每个推荐参数的学习率上,但是这种单向的灵活性不足以适应交互和参数之间的变化关系。在本文中,我们提出了MeLON,一个新的基于元学习的在线推荐更新策略,支持双向的灵活性。该算法对每个参数交互对具有自适应的学习率,以引导推荐器快速学习用户的最新兴趣。MeLON的过程是优化后的元学习方法:它学习如何推荐学习生成最佳的学习率为未来的更新。具体而言,MeLON首先基于先前的交互来丰富每个交互的含义,并识别每个参数对交互的作用;然后将这两条信息结合起来,生成自适应学习率。理论分析和三个真实在线推荐数据集的广泛评估验证了MeLON的有效性。
2022-03-19 cs.AI cs.IR
A News Recommender System Considering Temporal Dynamics and Diversity
Ryerson University(瑞尔森大学)
在新闻推荐系统中,读者的偏好会随着时间的推移而改变。有些偏好的变化非常突然(短期偏好),而另一些偏好的变化则需要较长的时间(长期偏好)。虽然现有的新闻推荐系统考虑了读者的完整历史,但它们往往忽略了读者行为的动态性。因此,它们不能满足新闻读者对随时间变化的偏好的需求。此外,最先进的新闻推荐模型通常专注于提供准确的预测,这在传统的推荐场景中可以很好地工作。然而,在新闻推荐系统中,多样性是必不可少的,不仅要保持新闻读者的参与,而且要在民主社会中发挥关键作用。在这篇博士论文中,我们的目标是建立一个新闻推荐系统来解决这两个挑战。我们的系统应该能够:(i)适应读者行为的动态;(ii)在推荐模型的设计中考虑准确性和多样性。我们的新闻推荐系统也可以为未配置文件,匿名和短期的读者,通过利用丰富的新闻项目的边信息,并包括在我们的模型中的隐式反馈。我们用多个评估指标(准确性和多样性指标)来评估我们的模型,以证明我们的方法的有效性。
2021-03-23 cs.AI cs.IR
Cross-Task Knowledge Distillation in Multi-Task Recommendation
Shanghai Jiao Tong University(上海交通大学);Tencent Inc.(腾讯公司)
多任务学习(MTL)已被广泛应用于推荐系统中,其中预测每种类型的用户对项目的反馈(例如,点击、购买)被视为单独的任务,并使用统一的模型进行联合训练。我们的主要观察是,每个任务的预测结果可能包含特定于任务的知识,用户的细粒度的偏好对项目。虽然这些知识可以转移到其他任务中,但在目前的MTL模式下,它被忽视了。相反,本文提出了一个跨任务知识蒸馏框架,试图利用一个任务的预测结果作为监督信号,教另一个任务。然而,以适当的方式集成MTL和KD是不平凡的,由于几个挑战,包括任务冲突,不一致的幅度和同步优化的要求。作为对策,我们1)引入四重损失函数的辅助任务,以捕获跨任务的细粒度排序信息,避免任务冲突,2)设计一个校准的蒸馏方法,以对齐和提取辅助任务的知识,3)提出一种新的纠错机制,使教师和学生模型的同步训练。在真实世界的数据集上进行了全面的实验,以验证我们的框架的有效性。
2022-03-27 cs.AI cs.IR cs.LG
Pre-trained LLMs Meet Sequential Recommenders: Efficient User-Centric Knowledge Distillation
Independent researcher(独立研究者);Sber AI Lab(Sber AI实验室);Innopolis University(Innopolis大学);HSE University(俄罗斯高等经济大学);ITMO University(ITMO大学);AIRI
本文提出一种高效的用户导向知识蒸馏方法,利用预训练大语言模型生成的文本用户资料提升序列推荐系统对用户语义的理解,无需实时调用大语言模型,保持传统序列模型的推理效率。
2026-04-23 cs.AI cs.IR
Bridging the Gap: Self-Optimized Fine-Tuning for LLM-based Recommender Systems
Zhejiang University(浙江大学);OPPO Research Institute(OPPO研究院);South China University of Technology(华南理工大学);Intelligence Indeed(智境科技)
提出自优化微调(SOFT)方法,结合引导与微调策略,通过课程学习弥合LLM与推荐知识差距,显著提升推荐准确性。
2025-05-27 cs.AI cs.IR
Maximizing profit using recommender systems
Brown University(布朗大学)
传统的推荐系统仅仅基于客户过去的购买、产品评级和人口统计数据来进行推荐,而不考虑所推荐项目的盈利能力。在这项工作中,我们研究的问题,供应商如何可以直接将项目的盈利能力纳入其推荐,以最大限度地提高其预期利润,同时仍然提供准确的建议。我们的方法使用任何传统推荐系统的输出,并根据项目的盈利能力进行调整。我们的方法是参数化的,所以供应商可以控制多少的建议,包括利润可以偏离传统的建议。我们研究了我们的方法在两种设置下,并表明,它实现了约22%以上的利润比传统的建议。
2009-08-25 cs.AI cs.CY cs.IR
From Intrinsic to Counterfactual: On the Explainability of Contextualized Recommender Systems
University of Illinois Urbana Champaign(伊利诺伊大学香槟分校);Instacart
随着基于深度学习的嵌入方法的流行,推荐系统已经成为各种信息过滤应用中被证明的和不可或缺的工具。然而,他们中的许多人仍然很难诊断深层模型输入的哪些方面驱动最终的排名决定,因此,他们通常不能被人类利益相关者理解。在本文中,我们研究了推荐和可解释性之间的困境,并表明通过利用上下文特征(例如,用户的项目评论),我们可以设计一系列可解释的推荐系统,而不会牺牲它们的性能。特别是,我们提出了三种类型的可解释的推荐策略模型的透明度逐渐变化:白盒,灰盒和黑盒。每种策略都通过不同的机制来解释其排名决策:注意力权重,对抗性扰动和反事实扰动。我们将这些可解释的模型应用于五个真实世界的数据集的上下文环境下,用户和项目有明确的互动。实证结果表明,我们的模型实现了极具竞争力的排名性能,并在众多的定量指标和定性可视化方面产生了准确有效的解释。
2021-10-28 cs.AI cs.IR
Obliviate: Efficient Unlearning in Recommender Systems
针对推荐系统,提出Obliviate两阶段遗忘框架。第一阶段用低秩遗忘适配器,第二阶段用局部感知校准,能在保持推荐质量的同时高效遗忘交互数据,降低计算成本,为大规模推荐系统提供实用方案。
2026-07-28 cs.AI
Generalized Delayed Feedback Model with Post-Click Information in Recommender Systems
Nanjing University(南京大学)
预测转化率(例如,用户将购买项目的概率)是基于机器学习的推荐系统中的基本问题。然而,准确的转换标签显示后,很长一段时间的延迟,这损害了推荐系统的及时性。以前的文献集中在利用早期转换,以减轻这种延迟反馈问题。在本文中,我们表明,点击后的用户行为也提供信息的转化率预测,并可用于提高时效性。我们提出了一个广义延迟反馈模型(GDFM),统一后点击行为和早期转换为随机后点击信息,它可以用来训练GDFM在流的方式有效。基于GDFM,我们进一步建立了一个新的观点,延迟反馈引入的性能差距可以归因于时间差距和采样差距。受我们分析的启发,我们建议结合时间距离和样本复杂度来衡量点击后信息的质量。训练目标被相应地重新加权,以突出信息和及时的信号。我们在公共数据集上验证了我们的分析,实验性能证实了我们的方法的有效性。
2022-11-24 cs.AI cs.IR
STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Poisson Lab, Huawei(华为Poison实验室)
STARec通过慢思考增强的智能体框架,结合锚定强化训练,实现自主深思推理,在仅用0.4%数据下显著提升推荐性能。
2025-08-26 cs.AI
Privacy Risks of LLM-Empowered Recommender Systems: An Inversion Attack Perspective
Monash University(墨尔本大学)
本文首次系统研究了针对LLM赋能推荐系统的反演攻击,提出Similarity Guided Refinement方法优化vec2text框架,从模型输出logits重构原提示词,实验证明该攻击能高保真恢复用户交互项目及人口属性,揭示了此类系统的严重隐私漏洞。
2025-09-12 cs.AI cs.IR
Counterfactual Reciprocal Recommender Systems for User-to-User Matching
Sony Group Corporation(索尼集团)
针对互惠推荐系统中的曝光偏差,提出反事实互惠推荐系统(CFRR),利用逆倾向得分自归一化目标,显著提升匹配准确性和公平性。
2025-08-03 cs.AI cs.IR
Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
Declic AI Research(Declic人工智能研究院);CESI LINEACT Laboratory(CESI LINEACT实验室);Université Paris-Est(巴黎东部大学);UPEC(巴黎第十二大学)
本文提出一种集成生成式自监督学习(SSL)与残差图Transformer的前沿方法,通过理性感知SSL自动化数据增强、拓扑感知Transformer捕捉全局上下文及自动蒸馏优化信号,在多数据集上持续优于基线方法,增强推荐系统性能。
2025-04-08 cs.AI cs.IR cs.LG
Multi-Resolution Diffusion for Privacy-Sensitive Recommender Systems
San Jose State University(圣何塞州立大学)
针对推荐系统依赖用户数据引发的隐私问题,提出基于分数的扩散推荐模块SDRM,可生成或增强合成数据保护隐私,其性能优于多种基线模型。
2024-06-19 cs.AI cs.CR cs.IR
Impression-Aware Recommender Systems
Politecnico di Milano(米兰理工学院);ContentWise;Amazon(亚马逊);Universidad Autónoma de Madrid(马德里自治大学)
本文提出印象感知推荐系统,通过系统性文献综述统一了使用印象的推荐系统框架,并指出了未来研究方向。
2024-12-17 cs.AI cs.IR cs.LG
STUDY: Socially Aware Temporally Causal Decoder Recommender Systems
Google Research(谷歌研究院)
STUDY提出一种社交感知的时间因果解码器推荐系统,通过单次前向传播联合推理社交群体,高效训练,并在阅读障碍学生书籍推荐中更准确预测参与度。
2023-09-05 cs.AI cs.IR cs.SI
Towards an Integrative Educational Recommender for Lifelong Learners
University College London(伦敦大学学院)
计算机辅助学习最雄心勃勃的用例之一是建立终身学习的推荐系统。大多数推荐算法利用内容和用户之间的相似性,监督为学习者利用合理学习轨迹的必要性。因此,终身学习提出了独特的挑战,需要可扩展和透明的模型,可以同时考虑学习者的知识和内容的新颖性,同时也保留了长期准确的学习者表示。我们试图建立一个新的教育推荐系统,它依赖于一个综合的方法结合学习者参与的多个驱动程序。我们实现这一目标的第一步是TrueLearn,它对学习者的内容新颖性和背景知识进行建模,并在保留人类可解释的学习者模型的同时实现了有希望的性能。
2019-12-03 cs.AI cs.IR cs.LG
Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Model
针对大语言模型推荐器推理延迟高的问题,提出DLLM2Rec蒸馏策略,通过重要性感知排序蒸馏和协同嵌入蒸馏,将LLM推荐知识迁移到轻量序列模型,平均提升47.97%的性能。
2024-08-20 cs.IR
Causal Incremental Graph Convolution for Recommender System Retraining
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Innovation Lab of CETC(中国电子科技集团公司创新实验室)
现实世界的推荐系统需要定期重新训练,以保持新的数据。在这项工作中,我们考虑如何有效地重新训练基于图卷积网络(GCN)的推荐模型,这是最先进的技术,用于协同推荐。为了追求高效率,我们将目标设定为仅使用新数据进行模型更新,同时与完全模型再训练相比不牺牲推荐精度。这是不容易实现的,因为交互数据参与用于模型构造的图结构和用于模型学习的损失函数,而旧的图结构不允许用于模型更新。为此,我们提出了一种\textit{Causal Incremental Graph Convolution}方法,它由两个新的算子组成,分别命名为\textit{Incremental Graph Convolution}(IGC)和\textit{Colliding Effect Distillation}(CED),用于估计全图卷积的输出。特别是,我们设计了简单有效的模块IGC巧妙地结合了旧的表示和增量图,有效地融合了长期和短期的偏好信号。CED旨在避免增量图中不活动节点的过时问题,通过因果推理将新数据与不活动节点连接起来。特别是,CED估计的因果关系的影响,新的数据表示不活跃的节点,通过控制他们的碰撞。在三个真实世界数据集上进行的广泛实验表明,与现有的再训练机制相比,准确率有所提高,速度也有了显着提高。
2022-03-01 cs.AI cs.LG
Bidirectional Distillation for Top-K Recommender System
推荐系统(RS)已经开始采用知识蒸馏,这是一种模型压缩技术,利用从繁琐的模型(教师)传递的知识训练紧凑的模型(学生)。最先进的方法依赖于单向蒸馏,只将知识从教师转移到学生,基本假设是教师总是优于学生。然而,我们证明,学生的表现比老师在一个显着的比例的测试集,特别是RS。基于这一观察,我们提出了双向蒸馏(BD)框架,教师和学生都协同提高彼此。具体而言,每个模型都使用蒸馏损失进行训练,使其遵循其他模型的预测以及其原始损失函数。为了有效的双向蒸馏,我们提出了秩差异感知抽样方案,只提取信息的知识,可以充分增强对方。该方案的目的是有效地应付教师和学生之间的巨大的性能差距。通过双向培训,与单独培训相比,教师和学生都得到了显着改善。我们在真实世界数据集上的广泛实验表明,我们提出的框架始终优于最先进的竞争对手。我们还提供分析,以深入了解BD和消融研究,以验证每个拟议组件的有效性。
2021-06-05 cs.IR
DE-RRD: A Knowledge Distillation Framework for Recommender System
POSTECH(浦项科技大学)
最近的推荐系统已经开始采用知识蒸馏,这是一种模型压缩技术,将知识从繁琐的模型(教师)提取到紧凑的模型(学生),以减少推理延迟,同时保持性能。最先进的方法只专注于使学生模型准确地模仿教师模型的预测。但它们的局限性在于预测结果不能完全反映教师的知识水平。在本文中,我们提出了一种新的知识蒸馏框架的推荐系统,称为DE-RRD,它使学生模型学习的潜在知识编码的教师模型,以及从教师的预测。具体地说,DE-RRD包括两种方法:1)蒸馏专家(DE),直接转移潜在的知识从教师模型。DE利用“专家”和一种新颖的专家选择策略,有效地将大量的教师知识提炼给能力有限的学生。2)放松排名蒸馏(RRD),考虑项目之间的放松排名顺序,转移教师预测中揭示的知识。我们广泛的实验表明,DE-RRD的性能优于最先进的竞争对手,并实现了与教师模型相当甚至更好的性能,具有更快的推理时间。
2020-12-08 cs.IR cs.LG
Enhancing Recommendation with Denoising Auxiliary Task
College of Big Data and information engineering, Guizhou University(贵州大学大数据与信息工程学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of the Chinese Academy of Sciences(中国科学院大学)
针对用户交互序列中的噪声问题,提出自监督辅助任务联合训练ATJT,通过构造人工替换噪声并联合训练实现噪声序列重加权,在三个数据集上验证可提升推荐基础模型性能。
2024-09-25 cs.AI cs.IR cs.LG
Random Graphs for Performance Evaluation of Recommender Systems
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文的目的是介绍一个新的分析框架,致力于衡量推荐系统的性能。标准的方法是通过与准确性相关的统计数据来评估系统的质量。然而,推荐系统部署的环境的特殊性需要非常注意算法的速度和内存要求。不幸的是,它是难以置信的准确评估各种算法的复杂性与正式的工具。这可以归因于这样的事实,即这样的分析通常基于底层数据结构的密集表示的假设。然而,在现实生活中,这些算法在稀疏数据上运行,并使用专用于它们的集合来实现。因此,我们建议用人工数据集来衡量推荐系统的复杂性。我们利用最近开发的二分图生成器来评估如何通过生成的数据集的拓扑属性来确定和多样化最先进的推荐系统的行为。
2010-10-28 cs.AI cs.SI physics.soc-ph
Advancing Recommender Systems by mitigating Shilling attacks
Sardar Patel Institute of Technology(萨达尔·帕特尔技术学院)
本文提出一种新算法来检测推荐系统中的 Shilling profiles,并研究其对推荐结果的影响,以缓解 Shilling 攻击。
2024-04-24 cs.AI cs.CR cs.IR
A Neutrosophic Recommender System for Medical Diagnosis Based on Algebraic Neutrosophic Measures
Quaid-i-azam University(真纳大学);Hanoi University of Natural Resources and Environment(河内自然资源与环境大学);VNU University of Science, Vietnam National University(越南国家大学自然科学大学)
中性集合具有更准确地处理不确定、不完全、不一致、不确定信息的能力。本文提出了一种基于语义集的疾病预测语义推荐系统,包括单准则语义推荐系统(SC-NRS)和多准则语义推荐系统(MC-NRS)。进一步,我们研究了经典推荐系统中的并、补、交、概率和、粗和、粗交、有界差、对称差、最小和最大算子的凸线性和、笛卡尔积、结合性、交换性和分配性等代数运算。在此基础上,我们研究了格、Kleen代数、de Morgan代数、Brouwerian代数、BCK代数、Stone代数和MV代数等代数结构。此外,我们还介绍了几种基于这些代数运算的相似性度量,并研究了它们的一些理论性质。此外,我们完成了一个预测公式,使用所提出的代数相似性度量。我们还提出了一个新的算法的医疗诊断的基础上,个性化推荐系统。最后,为了验证所提出的方法的有效性,我们在心脏,RHC,乳腺癌,糖尿病和DMD数据集上进行了实验。最后,通过与ICSM、DSM、CARE、CFMD等算法以及变体变体67、变体69和变体71的比较,给出了算法的均方误差和计算时间,并以表格和图形的形式分析了算法的效率和精度。最后通过方差分析对8种算法的性能进行了分析。
2016-02-25 cs.AI
Towards Generating Robust, Fair, and Emotion-Aware Explanations for Recommender Systems
University of Washington(华盛顿大学);Rutgers University(罗格斯大学)
随着推荐系统变得越来越复杂,它们往往缺乏公平性和透明度。为推荐提供可靠和公正的解释已经引起了越来越多的关注,因为它可以帮助解决这些问题,提高推荐系统的可信度和信息量。然而,尽管这样的解释是为对具有适当情绪的消息做出更强烈响应的人生成的,但是在生成对推荐的解释时缺乏对情绪的考虑。目前的解释生成模型被发现夸大了某些情绪,而没有准确地捕捉潜在的语气或含义。在本文中,我们提出了一种新的方法的基础上,多头Transformer,称为解释性推荐(解释器),以产生更强大的,公平的,和情感增强的解释,具有解释意识的Transformer。为了衡量生成的解释的语言质量和情感公平性,我们采用自动文本度量和人类感知进行评估。在三个广泛使用的基准数据集上进行的实验表明,在文本质量、可解释性和对情感分布的公平性的考虑方面,CRAMTER始终优于现有的最先进的解释生成模型。将作为支持进一步研究的开放源码工具包发布该工具包的执行情况。
2022-08-17 cs.AI
Continual Collaborative Distillation for Recommender System
提出持续协同蒸馏(CCD)框架,通过教师与学生模型在非平稳数据流中持续协同演化,解决推荐系统在动态环境下的高效部署与适应问题,并在真实数据集上验证其有效性。
2024-06-26 cs.IR
Preference-Consistent Knowledge Distillation for Recommender System
针对推荐系统特征知识蒸馏中存在的偏好不一致问题,提出含两个正则化项及混合策略的PCKD方法,聚焦高偏好物品缓解该问题,经多数据集和骨干模型验证有效并开源代码。
2025-01-13 cs.IR
Topology Distillation for Recommender System
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
推荐系统(RS)采用了知识蒸馏,这是一种模型压缩技术,利用从预先训练的大型教师模型传递的知识来训练紧凑的学生模型。最近的工作表明,从教师的中间层转移知识显着提高学生的推荐质量。然而,它们传递的知识的个人表示逐点,因此有一个限制,即主要信息的RS在于关系的表示空间。本文提出了一种新的拓扑蒸馏方法,通过在教师空间中转移建立在关系上的拓扑结构来指导学生。我们首先观察到,简单地让学生学习整个拓扑结构并不总是有效的,甚至会降低学生的成绩。我们证明,因为学生的能力是非常有限的老师相比,学习整个拓扑结构是令人生畏的学生。为了解决这个问题,我们提出了一种新的方法命名为分层拓扑蒸馏(HTD),分层蒸馏的拓扑结构,以应付大的容量差距。我们在真实世界数据集上的大量实验表明,所提出的方法显着优于最先进的竞争对手。我们还提供了深入的分析,以确定提取RS的拓扑结构的好处。
2021-06-16 cs.IR cs.LG
Ranking Distillation: Learning Compact Ranking Models With High Performance for Recommender System
Simon Fraser University(西蒙弗雷泽大学)
我们提出了一种新的方法来训练排名模型,如推荐系统,这是有效的和高效的。知识蒸馏(KD)被证明是成功的图像识别,以实现有效性和效率。我们提出了一个KD技术学习排序的问题,称为\emph{ranking distillation (RD)}。具体来说,我们训练一个较小的学生模型,以学习从训练数据和较大教师模型的监督中对文档/项进行排名。学生模型实现了与大型教师模型相似的排名性能,但其较小的模型大小使在线推理更有效。RD是灵活的,因为它是正交的排名模型的教师和学生的选择。我们解决的排名问题的RD的挑战。在公共数据集和最先进的推荐模型上的实验表明,RD达到了其设计目的:使用RD学习的学生模型的模型大小不到教师模型的一半,同时实现了与教师模型相似的排名性能,并且比没有RD学习的学生模型要好得多。
2018-09-19 cs.IR cs.LG stat.ML
DIET: Learning to Distill Dataset Continually for Recommender Systems
University of Science and Technology of China(中国科学技术大学);Kuaishou Technology(快手科技)
DIET通过持续蒸馏数据集提升推荐系统模型训练效率,压缩数据至原大小的1-2%,降低模型迭代成本60倍,且在不同架构间保持良好泛化性。
2026-03-26 cs.IR
Dual Correction Strategy for Ranking Distillation in Top-N Recommender System
School of Computing, KAIST(韩国科学技术院计算机学院);Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院)
针对现有排序蒸馏方法效率不足、视角单一的问题,提出基于师生预测差异筛选蒸馏知识、同时迁移用户侧与物品侧排序信息的双重校正策略,性能优于SOTA基线。
2024-05-15 cs.IR cs.LG
Learning Neural Templates for Recommender Dialogue System
Sun Yat-sen University(中山大学);Microsoft Corporation(微软公司)
尽管最近的端到端神经模型在会话推荐系统(CRS)上取得了可喜的进展,但仍然存在两个关键挑战。首先,建议的项目不能总是准确和适当地纳入生成的答复。第二,只有训练语料中提到的项目才有机会在对话中被推荐。为了解决这些挑战,我们引入了一个新的框架,称为NTRD的推荐对话系统,从项目推荐的对话生成。NTRD有两个关键组成部分,即,响应模板生成器和项目选择器。前者采用编码器-解码器模型来生成与目标项目相关联的槽位置的响应模板,而后者使用足够的注意力机制来填充具有适当项目的槽位置。我们的方法结合了经典的槽填充方法(通常是可控的)和现代神经NLG方法(通常更自然和准确)的优势。大量的实验表明,我们的NTRD显着优于以前的国家的最先进的方法。此外,我们的方法具有独特的优势,产生新的项目,没有出现在训练集的对话语料库。代码可在\url{https://github.com/jokieleung/NTRD}上获得。
2021-09-25 cs.AI cs.CL
SelfDR: Self-Distillation from Reasoning for LLM-Based Recommendation
Tsinghua University(清华大学);Quan Cheng Laboratory(量子计算实验室);DCST, Tsinghua University(清华大学计算机科学与技术系);Meituan(美团)
该研究针对基于LLM的推荐中推理轨迹生成成本高的问题,提出SelfDR框架,通过同一LLM的自蒸馏提升推荐效果与效率,在三个公开数据集上验证了其有效性。
2026-09-04 cs.IR
PromptMM: Multi-Modal Knowledge Distillation for Recommendation with Prompt-Tuning
针对多模态推荐系统的过拟合与侧信息干扰问题,提出带提示调优的多模态知识蒸馏框架PromptMM,通过蒸馏压缩、软提示适配与解耦重加权蒸馏提升效果与效率。
2024-03-10 cs.IR
MLPs are Efficient Distilled Generative Recommenders
University of California, San Diego(加州大学圣地亚哥分校);Snap Inc.(Snap公司)
本文提出SID-MLP框架,通过蒸馏简化生成推荐的解码过程,提升推理效率8.74倍,同时支持不同backbone和tokenizer设置。
2026-05-12 cs.IR
Gryphon-v2: One Model in Place of a Cascade - Generate-and-Rank Recommender with Rollout Distillation
Yandex
Gryphon-v2是替代多阶段级联推荐系统的单一模型,采用生成排序架构与Rollout蒸馏技术,在Yandex Music的在线实验中使活跃用户增1.41%且服务延迟相当。
2026-08-07 cs.IR
Think before Recommendation: Autonomous Reasoning-enhanced Recommender
Taobao & Tmall Group of Alibaba, China(阿里巴巴集团淘宝与天猫事业部);National University of Singapore(新加坡国立大学);Institute of Dataspace, Hefei Comprehensive National Science Center(合肥综合国家科学中心数据空间研究院);Shanghai Key Laboratory of Data Science(上海数据科学重点实验室)
本文提出RecZero,一种基于纯强化学习的推荐范式,通过“思考前推荐”提示和GRPO奖励建模训练单个LLM自主推理评分预测,显著优于现有基线方法。
2025-10-27 cs.AI cs.IR
Causal Distillation for Alleviating Performance Heterogeneity in Recommender Systems
针对推荐系统性能长尾分布问题,提出因果多教师蒸馏框架CausalD,利用前门调整处理未观测混淆因素,将多教师集成蒸馏为学生模型以直接推断因果效应,在保持整体性能的同时缓解模型偏差导致的性能异质性。
2024-05-31 cs.IR cs.IT math.IT
On-Device Next-Item Recommendation with Self-Supervised Knowledge Distillation
现代推荐系统以完全基于服务器的方式运行。为了满足数百万用户的需求,需要频繁的模型维护和高速处理并发用户请求,这是以巨大的碳足迹为代价的。与此同时,用户需要上传他们的行为数据,甚至包括直接的环境上下文到服务器,提高了公众对隐私的关注。设备上推荐系统通过成本意识设置和本地推理来规避这两个问题。然而,由于有限的内存和计算资源,设备上的推荐系统面临着两个基本的挑战:(1)如何减少规则模型的大小,以适应边缘设备?(2)如何保持原有的能力?以往的研究大多采用张量分解技术对规则推荐模型进行压缩,压缩比有限,以避免性能急剧下降。在本文中,我们探索超紧凑模型的下一个项目推荐,通过放松张量分解的维度一致性的约束。同时,为了弥补压缩带来的容量损失,提出了一种自监督的知识蒸馏框架,使压缩后的模型(学生)能够提取原始数据中的基本信息,并通过与原模型(教师)的嵌入重组策略改进长尾项目推荐。在两个基准上的大量实验表明,随着模型大小减少30倍,压缩模型几乎没有精度损失,在大多数情况下甚至优于未压缩的模型。
2022-04-23 cs.IR
Multi-Granularity Click Confidence Learning via Self-Distillation in Recommendation
本文提出CLSD框架,通过全局自蒸馏与用户群局部置信度调整实现多粒度点击置信度学习,在不增加额外数据和结构的情况下提升推荐效果,并已服务超4亿用户。
2023-09-28 cs.IR
Selective LLM-Guided Regularization for Enhancing Recommendation Models
SCU(四川大学)
本文提出选择性LLM引导正则化方法,通过离线方式利用LLM的排序能力,提升推荐模型在冷启动和长尾场景中的表现。
2025-12-25 cs.AI cs.IR
RDRec: Rationale Distillation for LLM-based Recommendation
Graduate School of Engineering(工学院);Interdisciplinary Graduate School(交叉研究生院);University of Yamanashi(山梨大学)
针对 LLM 推荐忽视交互理据的问题,提出 RDRec,用大 LM 生成并蒸馏评论中的用户与物品理据,在 top-N 和序列推荐上达到 SOTA。
2025-01-08 cs.CL cs.IR
Structure Aware Incremental Learning with Personalized Imitation Weights for Recommender Systems
针对推荐系统中图神经网络增量训练时统一保留历史信息未考虑用户偏好差异的问题,提出自适应学习个性化模仿权重的训练策略,在多数据集上验证其性能优于现有增量学习技术。
2023-05-02 cs.IR
Teach Me How to Denoise: A Universal Framework for Denoising Multi-modal Recommender Systems via Guided Calibration
提出通用引导同步蒸馏降噪框架GUIDER,通过重校准识别噪声交互、DBPR损失处理隐式反馈及最优传输蒸馏对齐模态与推荐语义,可即插即用提升多模态推荐系统性能。
2025-04-19 cs.IR
Membership Inference Attack against Large Language Model-based Recommendation Systems: A New Distillation-based Paradigm
本文提出一种基于知识蒸馏的新型Membership推理攻击方法,针对大语言模型推荐系统,通过构建参考模型并提取融合特征来提升攻击效果,实验表明其在隐私攻击中具有实用性。
2026-03-19 cs.AI cs.IR
FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);LANL(洛斯阿拉莫斯国家实验室)
非负矩阵分解(NMF)与缺失值完成是一个著名的有效的协同过滤(CF)方法,用于提供个性化的用户推荐。然而,传统的CF依赖于隐私侵犯收集用户的显式和隐式反馈,以建立一个中央推荐模型。单次联邦学习最近出现了一种方法,以减轻隐私问题,同时解决传统的联邦学习的通信瓶颈。在本文中,我们提出了第一个无监督的一次性联邦CF实现,名为FedSPLIT,基于NMF联合因式分解。在我们的解决方案中,客户端首先并行应用本地CF来构建不同的客户端特定的编译器。然后,从每个客户端的隐私保护的本地项目模式和偏见与处理器共享,以执行联合因子分解,以提取全局项目模式。然后,将提取的模式聚合到每个客户端,以通过知识蒸馏构建本地模型。在我们的实验中,我们证明了我们的方法与标准的推荐数据集的可行性。FedSPLIT可以获得与现有技术相似的结果(在某些情况下甚至优于现有技术),但通信数量大幅减少。
2022-05-04 cs.IR cs.LG
EduPal leaves no professor behind: Supporting faculty via a peer-powered recommender system
The American University in Cairo(开罗美国大学)
EduPal通过同伴驱动的推荐系统为教师提供个性化教学支持,解决知识蒸馏问题,并通过众包和反馈提升教育实践质量。
2021-04-20 cs.CY cs.IR