Knowledge Distillation Approaches for Accurate and Efficient Recommender System
Pohang University of Science and Technology(浦项科技大学)
本论文提出多种知识蒸馏方法,包括潜在知识与排序知识迁移,以提升紧凑推荐模型的性能,实现更好的精度-效率权衡。
2024-07-19 cs.AI cs.IR
Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
Declic AI Research(Declic人工智能研究院);CESI LINEACT Laboratory(CESI LINEACT实验室);Université Paris-Est(巴黎东部大学);UPEC(巴黎第十二大学)
本文提出一种集成生成式自监督学习(SSL)与残差图Transformer的前沿方法,通过理性感知SSL自动化数据增强、拓扑感知Transformer捕捉全局上下文及自动蒸馏优化信号,在多数据集上持续优于基线方法,增强推荐系统性能。
2025-04-08 cs.AI cs.IR cs.LG
Pre-trained LLMs Meet Sequential Recommenders: Efficient User-Centric Knowledge Distillation
Independent researcher(独立研究者);Sber AI Lab(Sber AI实验室);Innopolis University(Innopolis大学);HSE University(俄罗斯高等经济大学);ITMO University(ITMO大学);AIRI
本文提出一种高效的用户导向知识蒸馏方法,利用预训练大语言模型生成的文本用户资料提升序列推荐系统对用户语义的理解,无需实时调用大语言模型,保持传统序列模型的推理效率。
2026-04-23 cs.AI cs.IR
Topology Distillation for Recommender System
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
推荐系统(RS)采用了知识蒸馏,这是一种模型压缩技术,利用从预先训练的大型教师模型传递的知识来训练紧凑的学生模型。最近的工作表明,从教师的中间层转移知识显着提高学生的推荐质量。然而,它们传递的知识的个人表示逐点,因此有一个限制,即主要信息的RS在于关系的表示空间。本文提出了一种新的拓扑蒸馏方法,通过在教师空间中转移建立在关系上的拓扑结构来指导学生。我们首先观察到,简单地让学生学习整个拓扑结构并不总是有效的,甚至会降低学生的成绩。我们证明,因为学生的能力是非常有限的老师相比,学习整个拓扑结构是令人生畏的学生。为了解决这个问题,我们提出了一种新的方法命名为分层拓扑蒸馏(HTD),分层蒸馏的拓扑结构,以应付大的容量差距。我们在真实世界数据集上的大量实验表明,所提出的方法显着优于最先进的竞争对手。我们还提供了深入的分析,以确定提取RS的拓扑结构的好处。
2021-06-16 cs.IR cs.LG
SelfDR: Self-Distillation from Reasoning for LLM-Based Recommendation
Tsinghua University(清华大学);Quan Cheng Laboratory(量子计算实验室);DCST, Tsinghua University(清华大学计算机科学与技术系);Meituan(美团)
该研究针对基于LLM的推荐中推理轨迹生成成本高的问题,提出SelfDR框架,通过同一LLM的自蒸馏提升推荐效果与效率,在三个公开数据集上验证了其有效性。
2026-09-04 cs.IR
Ranking Distillation: Learning Compact Ranking Models With High Performance for Recommender System
Simon Fraser University(西蒙弗雷泽大学)
我们提出了一种新的方法来训练排名模型,如推荐系统,这是有效的和高效的。知识蒸馏(KD)被证明是成功的图像识别,以实现有效性和效率。我们提出了一个KD技术学习排序的问题,称为\emph{ranking distillation (RD)}。具体来说,我们训练一个较小的学生模型,以学习从训练数据和较大教师模型的监督中对文档/项进行排名。学生模型实现了与大型教师模型相似的排名性能,但其较小的模型大小使在线推理更有效。RD是灵活的,因为它是正交的排名模型的教师和学生的选择。我们解决的排名问题的RD的挑战。在公共数据集和最先进的推荐模型上的实验表明,RD达到了其设计目的:使用RD学习的学生模型的模型大小不到教师模型的一半,同时实现了与教师模型相似的排名性能,并且比没有RD学习的学生模型要好得多。
2018-09-19 cs.IR cs.LG stat.ML
Rejuvenating Cross-Entropy Loss in Knowledge Distillation for Recommender Systems
East China Normal University(东华大学);Shanghai Innovation Institute(上海创新研究院)
本文提出RCE-KD方法,通过将教师的顶部物品分为两部分并采用采样策略,改进推荐系统知识蒸馏中的交叉熵损失,提升NDCG性能。
2026-03-01 cs.AI cs.IR
Dual Correction Strategy for Ranking Distillation in Top-N Recommender System
School of Computing, KAIST(韩国科学技术院计算机学院);Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院)
针对现有排序蒸馏方法效率不足、视角单一的问题,提出基于师生预测差异筛选蒸馏知识、同时迁移用户侧与物品侧排序信息的双重校正策略,性能优于SOTA基线。
2024-05-15 cs.IR cs.LG
PromptMM: Multi-Modal Knowledge Distillation for Recommendation with Prompt-Tuning
针对多模态推荐系统的过拟合与侧信息干扰问题,提出带提示调优的多模态知识蒸馏框架PromptMM,通过蒸馏压缩、软提示适配与解耦重加权蒸馏提升效果与效率。
2024-03-10 cs.IR
MLPs are Efficient Distilled Generative Recommenders
University of California, San Diego(加州大学圣地亚哥分校);Snap Inc.(Snap公司)
本文提出SID-MLP框架,通过蒸馏简化生成推荐的解码过程,提升推理效率8.74倍,同时支持不同backbone和tokenizer设置。
2026-05-12 cs.IR
Gryphon-v2: One Model in Place of a Cascade - Generate-and-Rank Recommender with Rollout Distillation
Yandex
Gryphon-v2是替代多阶段级联推荐系统的单一模型,采用生成排序架构与Rollout蒸馏技术,在Yandex Music的在线实验中使活跃用户增1.41%且服务延迟相当。
2026-08-07 cs.IR
Bidirectional Knowledge Distillation for Enhancing Sequential Recommendation with Large Language Models
Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
提出LLMD4Rec双向蒸馏框架,通过动态交互知识交换增强序列推荐,无需额外参数且不增推理成本,显著提升推荐准确性。
2025-05-23 cs.AI cs.IR
Enhancing Scalability in Recommender Systems through Lottery Ticket Hypothesis and Knowledge Distillation-based Neural Network Pruning
IIT Madras(印度理工学院马德拉斯分校);Pravartak, IIT Madras(Pravartak,印度理工学院马德拉斯分校)
该研究融合彩票假设与知识蒸馏构建三种神经网络剪枝模型,以解决推荐系统在边缘部署中的可扩展性问题,并在两个真实数据集上实现最高66.67%的GPU计算功耗降低且不损失准确率。
2024-01-19 cs.AI cs.AR cs.IR
On-Device Next-Item Recommendation with Self-Supervised Knowledge Distillation
现代推荐系统以完全基于服务器的方式运行。为了满足数百万用户的需求,需要频繁的模型维护和高速处理并发用户请求,这是以巨大的碳足迹为代价的。与此同时,用户需要上传他们的行为数据,甚至包括直接的环境上下文到服务器,提高了公众对隐私的关注。设备上推荐系统通过成本意识设置和本地推理来规避这两个问题。然而,由于有限的内存和计算资源,设备上的推荐系统面临着两个基本的挑战:(1)如何减少规则模型的大小,以适应边缘设备?(2)如何保持原有的能力?以往的研究大多采用张量分解技术对规则推荐模型进行压缩,压缩比有限,以避免性能急剧下降。在本文中,我们探索超紧凑模型的下一个项目推荐,通过放松张量分解的维度一致性的约束。同时,为了弥补压缩带来的容量损失,提出了一种自监督的知识蒸馏框架,使压缩后的模型(学生)能够提取原始数据中的基本信息,并通过与原模型(教师)的嵌入重组策略改进长尾项目推荐。在两个基准上的大量实验表明,随着模型大小减少30倍,压缩模型几乎没有精度损失,在大多数情况下甚至优于未压缩的模型。
2022-04-23 cs.IR
Structure Aware Incremental Learning with Personalized Imitation Weights for Recommender Systems
针对推荐系统中图神经网络增量训练时统一保留历史信息未考虑用户偏好差异的问题,提出自适应学习个性化模仿权重的训练策略,在多数据集上验证其性能优于现有增量学习技术。
2023-05-02 cs.IR
BPL: Bias-adaptive Preference Distillation Learning for Recommender System
Department of Computer Science and Engineering, Korea University(计算机科学与工程系,韩国大学);Microsoft Research Asia(微软亚洲研究院);Department of Aritifial Intelligence, Yonsei University(人工智能系,延世大学);Department of Computer Science and Engineering, POSTECH(计算机科学与工程系,POSTECH);William & Mary(威廉与玛丽学院)
针对推荐去偏方法难以兼顾事实与反事实测试的问题,本文提出BPL框架,利用有偏模型师生蒸馏和可靠性过滤自蒸馏逐步挖掘偏好,在两类测试中均提升性能。
2025-10-17 cs.AI cs.IR cs.LG
Causal Distillation for Alleviating Performance Heterogeneity in Recommender Systems
针对推荐系统性能长尾分布问题,提出因果多教师蒸馏框架CausalD,利用前门调整处理未观测混淆因素,将多教师集成蒸馏为学生模型以直接推断因果效应,在保持整体性能的同时缓解模型偏差导致的性能异质性。
2024-05-31 cs.IR cs.IT math.IT
SmartGR: Hierarchy and Beam-Aware Knowledge Distillation for Generative Recommendation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
该研究针对生成式推荐模型推理成本高的问题,提出SmartGR框架,通过层级感知SID蒸馏与束搜索感知排序蒸馏,在四个基准数据集上实现性能提升8.6%、平均推理速度提升2.39倍。
2026-08-04 cs.IR
RDRec: Rationale Distillation for LLM-based Recommendation
Graduate School of Engineering(工学院);Interdisciplinary Graduate School(交叉研究生院);University of Yamanashi(山梨大学)
针对 LLM 推荐忽视交互理据的问题,提出 RDRec,用大 LM 生成并蒸馏评论中的用户与物品理据,在 top-N 和序列推荐上达到 SOTA。
2025-01-08 cs.CL cs.IR
Scene-adaptive Knowledge Distillation for Sequential Recommendation via Differentiable Architecture Search
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Westlake University(西湖大学);Tencent Kandian Group(腾讯看点事业部);Huazhong University of Science and Technology(华中科技大学)
顺序推荐系统(SRS)因其对用户动态兴趣和顺序行为模式建模的能力而成为研究热点。为了最大限度地提高模型的表达能力,默认选择是应用更大更深的网络架构,然而,在生成在线推荐时,这通常会带来高网络延迟。当然,我们认为,压缩到中等或轻量级的神经网络的重型推荐模型是非常重要的实际生产系统。为了实现这样一个目标,我们提出了AdaRec,一个知识蒸馏(KD)框架,该框架通过使用可微神经结构搜索(NAS),根据推荐场景自适应地将教师模型的知识压缩到学生模型中。具体来说,我们引入了一个面向目标的蒸馏损失,以指导结构搜索过程中发现的学生网络架构,和成本敏感的损失作为约束的模型大小,从而实现了推荐的有效性和效率之间的一个优越的权衡。此外,在知识蒸馏过程中,我们利用地球移动器距离(EMD)实现多对多的层次映射,使每个中间学生层能够自适应地向其他中间教师层学习。在真实世界推荐数据集上的大量实验表明,与强大的同行相比,我们的模型具有竞争力或更好的准确性,具有显着的推理加速,同时在不同的推荐场景下发现了不同的顺序推荐模型的神经架构。
2022-04-10 cs.AI cs.IR
FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);LANL(洛斯阿拉莫斯国家实验室)
非负矩阵分解(NMF)与缺失值完成是一个著名的有效的协同过滤(CF)方法,用于提供个性化的用户推荐。然而,传统的CF依赖于隐私侵犯收集用户的显式和隐式反馈,以建立一个中央推荐模型。单次联邦学习最近出现了一种方法,以减轻隐私问题,同时解决传统的联邦学习的通信瓶颈。在本文中,我们提出了第一个无监督的一次性联邦CF实现,名为FedSPLIT,基于NMF联合因式分解。在我们的解决方案中,客户端首先并行应用本地CF来构建不同的客户端特定的编译器。然后,从每个客户端的隐私保护的本地项目模式和偏见与处理器共享,以执行联合因子分解,以提取全局项目模式。然后,将提取的模式聚合到每个客户端,以通过知识蒸馏构建本地模型。在我们的实验中,我们证明了我们的方法与标准的推荐数据集的可行性。FedSPLIT可以获得与现有技术相似的结果(在某些情况下甚至优于现有技术),但通信数量大幅减少。
2022-05-04 cs.IR cs.LG
EduPal leaves no professor behind: Supporting faculty via a peer-powered recommender system
The American University in Cairo(开罗美国大学)
EduPal通过同伴驱动的推荐系统为教师提供个性化教学支持,解决知识蒸馏问题,并通过众包和反馈提升教育实践质量。
2021-04-20 cs.CY cs.IR
Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems
Google LLC(谷歌有限责任公司);Google DeepMind(谷歌DeepMind);University of California, Davis(加州大学戴维斯分校)
本文针对推荐系统中知识蒸馏被忽视的数据分布偏移、教师配置寻优及标签共享等挑战,提出并在Google多个大规模视频推荐系统上评估了稳健的KD系统,在线实验证明其显著提升了学生模型性能并保障了高质量教师标签的持续生成。
2024-08-26 cs.AI cs.IR cs.LG
Feature Interaction Fusion Self-Distillation Network For CTR Prediction
针对CTR预测中并行结构信息共享不足、知识蒸馏效率低及数据噪声问题,提出FSDNet框架,通过跨层连接显隐式特征交互并利用最深融合层自蒸馏指导浅层训练,有效提升了模型的预测性能与泛化能力。
2024-11-13 cs.IR
Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment
Meta Platforms, Inc.(Meta平台公司)
针对推荐系统中跨多界面部署基础模型的挑战,提出基础-专家范式,中央FM生成目标感知嵌入供特定界面专家模型使用,迁移率超现有方法,自2025年在Meta部署后实现线上指标提升。
2026-07-28 cs.AI cs.IR cs.LG
Zero-shot Cross-domain Knowledge Distillation: A Case study on YouTube Music
Google LLC(谷歌有限责任公司)
本文研究了无监督跨领域知识蒸馏在低流量场景下的应用,通过从高流量视频推荐平台向音乐推荐应用迁移知识,验证了该方法在提升排序模型性能上的有效性。
2026-03-30 cs.IR
Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation
检索和排名模型是许多应用程序的支柱,如Web搜索,开放域QA,或基于文本的推荐系统。神经排名模型在查询时的延迟在很大程度上取决于其设计者的架构和故意选择,以权衡效率以获得更高的效率。这种对越来越多的高效排名架构的低查询延迟的关注使它们适用于生产部署。在机器学习中,一种越来越常见的方法来缩小更高效模型的有效性差距,即将知识蒸馏从大型教师模型应用到较小的学生模型。我们发现,不同的排名架构往往会产生不同幅度的输出分数。基于这一发现,我们提出了一个跨架构的培训过程与利润集中损失(边际MSE),适应知识蒸馏不同的分数输出分布的不同BERT和非BERT通过排名架构。我们将可教信息作为额外的细粒度标签应用于MSMARCO通道集合的现有训练三元组。我们评估我们的过程中提取知识从国家的最先进的级联BERT模型到四个不同的有效架构(TK,ColBERT,PreTT,和一个BERT CLS点积模型)。我们表明,在我们评估的架构,我们的边际MSE知识蒸馏显着提高重新排名的有效性,而不影响其效率。此外,我们展示了我们的一般蒸馏方法,以改善最近邻索引检索与BERT点积模型,提供有竞争力的结果与专业和更昂贵的训练方法。为了使社区受益,我们将教师评分培训文件发布在一个现成的软件包中。
2021-01-22 cs.IR
Selective LLM-Guided Regularization for Enhancing Recommendation Models
SCU(四川大学)
本文提出选择性LLM引导正则化方法,通过离线方式利用LLM的排序能力,提升推荐模型在冷启动和长尾场景中的表现。
2025-12-25 cs.AI cs.IR
Unbiased Knowledge Distillation for Recommendation
University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学)
知识蒸馏(KD)作为一种有前途的模型压缩方法,已被应用于推荐系统(RS)中以减少推理延迟。传统的解决方案首先从训练数据中训练一个完整的教师模型,然后转移其知识(\ie \textit{soft labels})来监督紧凑的学生模型的学习。然而,我们发现这样一个标准的蒸馏范式会产生严重的偏见问题-流行的项目更强烈的推荐后,蒸馏。这种效应会阻止学生模型做出准确和公平的推荐,从而降低RS的有效性。在这项工作中,我们确定了KD的偏见的起源-它根源于有偏见的软标签从老师,并进一步传播和加强在蒸馏。为了纠正这一点,我们提出了一个新的KD方法与分层蒸馏策略。它首先根据项目的受欢迎程度将其划分为多个组,然后提取每个组中的排名知识来监督学生的学习。我们的方法很简单,教师不可知-它在蒸馏阶段工作,而不影响教师模型的训练。我们进行了广泛的理论和实证研究,以验证我们的建议的有效性。我们在www.example.com上发布代码。
2022-11-27 cs.AI cs.IR
Curriculum-scheduled Knowledge Distillation from Multiple Pre-trained Teachers for Multi-domain Sequential Recommendation
本文提出CKD-MDSR方法,通过课程调度从多个预训练教师模型蒸馏知识并选择性整合到学生模型中,解决了预训练推荐模型在多领域序列推荐中应用成本高的问题,在五个数据集上验证了有效性与高效性。
2024-10-15 cs.IR
Distillation from Heterogeneous Models for Top-K Recommendation
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Yonsei University(延世大学);Microsoft Research Asia(微软亚洲研究院)
最近的推荐系统已经显示出显着的性能,通过使用一个集成的异构模型。然而,它的成本非常高,因为它需要与模型数量成比例的资源和推理延迟,这仍然是生产的瓶颈。我们的工作旨在通过知识蒸馏(KD)将异构教师的集成知识转换为轻量级的学生模型,以在保持高精度的同时减少巨大的推理成本。通过实证研究发现,异质性教师的知识迁移会严重降低提炼效能。然而,我们表明,一个重要的信号,以减轻困难,可以从教师的培训轨迹。本文提出了一个新的知识分配框架,命名为HetComp,通过转移从教师的轨迹生成的知识的易到难的序列来指导学生模型。为了根据学生的学习状态提供指导,HetComp使用动态知识构建来提供逐步困难的排名知识和自适应知识转移来逐步转移更细粒度的排名信息。我们的综合实验表明,HetComp显着提高蒸馏质量和学生模型的泛化。
2023-03-02 cs.AI cs.IR
Ensemble Modeling with Contrastive Knowledge Distillation for Sequential Recommendation
本文提出EMKD框架,通过并行网络集成与对比知识蒸馏(含ICL、CCL和KD)提升序列推荐性能,实验证明其优于现有方法且具有通用性。
2023-05-16 cs.IR
Learning from the Future: Privileged Self-Distillation for Sequential Recommendation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
该研究提出PSD框架,利用训练时可用的未来交互作为特权信息,通过双注意力掩码实现自蒸馏,在不增加推理成本的前提下提升序列推荐性能。
2026-07-30 cs.IR
Collaborative Distillation for Top-N Recommendation
Sungkyunkwan University(成均馆大学);Yonsei University(延世大学)
知识蒸馏(KD)是通过将笨重的教师模型压缩为小的学生模型来减少推理延迟的公知方法。尽管KD在分类任务中取得了成功,但由于正反馈的稀疏性,缺失反馈的模糊性以及与前N个推荐相关的排名问题,将KD应用于推荐模型是具有挑战性的。为了解决这些问题,我们提出了一个新的KD模型的协同过滤方法,即协同蒸馏(CD)。具体而言,(1)我们重新制定了一个损失函数,以处理丢失反馈的模糊性。(2)我们利用概率排名感知采样的前N个建议。(3)为了有效地训练所提出的模型,我们开发了两种培训策略的学生模型,称为教师和学生指导的培训方法,选择最有用的反馈,从教师模型。实验结果表明,该模型在命中率和归一化贴现累积增益方面分别比现有方法高出2.7-33.2%和2.7-29.1%。此外,所提出的模型实现的性能相媲美的教师模型。
2019-11-13 cs.IR cs.LG stat.ML
Internalizing Multi-Agent Reasoning for Accurate and Efficient LLM-based Recommendation
Tencent(腾讯)
本文提出STAR模型,通过轨迹驱动的内部化方法,将多智能体推理能力高效整合到单模型中,实现准确且高效的推荐系统。
2026-02-12 cs.IR
Cross-Task Knowledge Distillation in Multi-Task Recommendation
Shanghai Jiao Tong University(上海交通大学);Tencent Inc.(腾讯公司)
多任务学习(MTL)已被广泛应用于推荐系统中,其中预测每种类型的用户对项目的反馈(例如,点击、购买)被视为单独的任务,并使用统一的模型进行联合训练。我们的主要观察是,每个任务的预测结果可能包含特定于任务的知识,用户的细粒度的偏好对项目。虽然这些知识可以转移到其他任务中,但在目前的MTL模式下,它被忽视了。相反,本文提出了一个跨任务知识蒸馏框架,试图利用一个任务的预测结果作为监督信号,教另一个任务。然而,以适当的方式集成MTL和KD是不平凡的,由于几个挑战,包括任务冲突,不一致的幅度和同步优化的要求。作为对策,我们1)引入四重损失函数的辅助任务,以捕获跨任务的细粒度排序信息,避免任务冲突,2)设计一个校准的蒸馏方法,以对齐和提取辅助任务的知识,3)提出一种新的纠错机制,使教师和学生模型的同步训练。在真实世界的数据集上进行了全面的实验,以验证我们的框架的有效性。
2022-03-27 cs.AI cs.IR cs.LG
GOD: Enhancing Generalization via Deep Grafting for Sequential Recommendation
Pohang University of Science and Technology(浦项科技大学)
本文提出组件级蒸馏框架GOD,通过嫁接教师与学生模型组件提供组件级反馈,仅用学生模型推理,在三个真实数据集上较最优基线最高提升13.92%,解决序列推荐泛化能力弱的问题。
2026-08-26 cs.IR cs.LG
Efficient Personalized Reranking with Semi-Autoregressive Generation and Online Knowledge Distillation
University of Science and Technology of China(中国科学技术大学);Huawei(华为);Shanghai Jiao Tong University(上海交通大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出PSAD框架,通过半自动生成与在线知识蒸馏提升个性化重排序的效率和性能。
2026-03-07 cs.AI cs.IR
Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing University of Posts and Telecommunications(北京邮电大学);Tencent(腾讯)
随着网络规模推荐系统中高维稀疏数据的增长,CTR预测任务中高阶特征交互学习的计算量大大增加,限制了高阶交互模型在实际工业应用中的应用。最近的一些基于知识蒸馏的方法将知识从复杂的教师模型转移到浅层的学生模型,以加速在线模型推理。然而,在知识蒸馏过程中,它们的模型精度下降。平衡肤浅学生模型的效率和有效性是具有挑战性的。为了解决这个问题,我们提出了一个有向无环图分解机(KD-DAGFM)学习高阶功能的相互作用,从现有的复杂的交互模型CTR预测通过知识蒸馏。所提出的轻量级学生模型DAGFM可以从教师网络中学习任意显式特征交互,达到了近似无损的性能,并通过动态规划算法进行了证明。此外,一个改进的通用模型KD-DAGFM+被证明是有效的提取显式和隐式的功能交互从任何复杂的教师模型。在四个真实世界数据集上进行了广泛的实验,其中包括来自微信平台的具有数十亿特征维度的大规模工业数据集。在在线和离线实验中,KD-DAGFM都达到了最好的性能,其FLOP小于最先进的方法的21.5%,显示了DAGFM在处理工业规模数据的CTR预测任务中的优越性。我们的实现代码可以在https://github.com/RUCAIBox/DAGFM上找到。
2022-12-22 cs.IR cs.LG
Constructing a Question-Answering Simulator through the Distillation of LLMs
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文提出LDSim,通过从大语言模型蒸馏领域知识和推理能力来构建问答模拟器,以提高教育推荐系统中对学生回答正确性的预测性能,并在模拟和知识追踪任务上取得优异结果。
2025-09-11 cs.IR cs.LG
Active Large Language Model-based Knowledge Distillation for Session-based Recommendation
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Singapore University of Technology and Design(新加坡科技设计大学);Yonsei University(延世大学)
针对基于会话的推荐中LLM知识蒸馏成本高、部分预测无效的问题,提出主动式LLM知识蒸馏方法,通过主动学习筛选高价值样本,在低成本下实现更优的推荐性能。
2024-12-15 cs.IR cs.LG