Cross-Task Knowledge Distillation in Multi-Task Recommendation
Shanghai Jiao Tong University(上海交通大学);Tencent Inc.(腾讯公司)
多任务学习(MTL)已被广泛应用于推荐系统中,其中预测每种类型的用户对项目的反馈(例如,点击、购买)被视为单独的任务,并使用统一的模型进行联合训练。我们的主要观察是,每个任务的预测结果可能包含特定于任务的知识,用户的细粒度的偏好对项目。虽然这些知识可以转移到其他任务中,但在目前的MTL模式下,它被忽视了。相反,本文提出了一个跨任务知识蒸馏框架,试图利用一个任务的预测结果作为监督信号,教另一个任务。然而,以适当的方式集成MTL和KD是不平凡的,由于几个挑战,包括任务冲突,不一致的幅度和同步优化的要求。作为对策,我们1)引入四重损失函数的辅助任务,以捕获跨任务的细粒度排序信息,避免任务冲突,2)设计一个校准的蒸馏方法,以对齐和提取辅助任务的知识,3)提出一种新的纠错机制,使教师和学生模型的同步训练。在真实世界的数据集上进行了全面的实验,以验证我们的框架的有效性。
2022-03-27 cs.AI cs.IR cs.LG
Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms
Yahoo! Labs(雅虎研究院)
上下文强盗算法已经成为流行的在线推荐系统,如Digg,雅虎!Buzz和一般的新闻推荐。\emph{Offline}评估新算法在这些应用中的有效性对于保护在线用户体验至关重要,但由于其“部分标签”性质,非常具有挑战性。通常的做法是创建一个模拟器,它模拟当前问题的在线环境,然后在这个模拟器上运行一个算法。然而,创建模拟器本身往往是困难的,建模偏差通常是不可避免地引入。在本文中,我们介绍了一个\emph{replay}上下文强盗算法的评估方法。与基于模拟器的方法不同,我们的方法是完全数据驱动的,非常容易适应不同的应用。更重要的是,我们的方法可以提供可证明的无偏评估。我们的实证结果的大规模新闻文章推荐数据集收集从雅虎!前页符合我们的理论结果。此外,我们的离线重放和几个上下文强盗算法的在线桶评估之间的比较表明,我们的离线评估方法的准确性和有效性。
2012-03-01 cs.AI cs.LG cs.RO
Causality Enhancement for Cross-Domain Recommendation
Xiaohongshu Co., Ltd(小红书公司)
针对跨域推荐中因果信息利用不足的问题,提出因果增强框架CE-CDR,通过因果图重构、因果感知数据集构建及无偏部分标签因果损失,生成丰富跨域表示以增强目标域推荐,实验验证其有效性和通用性。
2025-10-16 cs.AI cs.IR
Recommendations as Treatments: Debiasing Learning and Evaluation
Cornell University(康奈尔大学)
大多数用于评估和训练推荐系统的数据都会受到选择偏差的影响,无论是通过用户的自我选择还是通过推荐系统本身的行为。在本文中,我们提供了一个原则性的方法来处理选择偏差,适应模型和估计技术的因果推理。该方法导致无偏的性能估计,尽管有偏的数据,并提供了一个矩阵分解方法,大大提高了预测性能的真实世界的数据。我们从理论上和经验上表征的方法的鲁棒性,发现它是非常实用和可扩展的。
2016-05-27 cs.AI cs.IR cs.LG
Exploring Feature-based Knowledge Distillation for Recommender System: A Frequency Perspective
East China Normal University(华东师范大学)
该研究从频域视角分析推荐系统的基于特征的知识蒸馏,指出均等权重分配会忽视重要知识,提出轻量级知识重加权方法FreqD,实验证明其显著优于现有最优知识蒸馏方法。
2025-01-13 cs.AI cs.IR cs.LG
Unbiased Pairwise Learning to Rank in Recommender Systems
Tencent(腾讯)
如今,推荐系统已经影响到人们生活的方方面面。为了提供个性化的高质量推荐结果,常规系统通常训练逐点排序器以预测目标的绝对值并利用明显的浅塔来估计和减轻位置偏差的影响。然而,对于这样的训练范例,优化目标与排名度量有很大不同,排名度量重视排名靠前的项目的相对顺序,而不是每个项目的预测精度。此外,由于现有系统倾向于在较高位置推荐更相关的项目,因此基于浅塔的方法难以将用户反馈精确地归因于位置或相关性的影响。因此,如果我们设法解决上述问题,我们将有一个令人兴奋的机会来提高性能。无偏的学习排序算法,这是验证模型的相对相关性准确的基础上嘈杂的反馈,是有吸引力的候选人,并已被应用在许多应用程序与单一的分类标签,如用户点击信号。然而,现有的无偏LTR方法不能正确地处理包含分类标签和连续标签的多个反馈。因此,我们设计了一种新的无偏LTR算法来解决这些挑战,该算法创新性地以成对的方式对位置偏差进行建模,并引入成对的信任偏差来明确地分离位置偏差,信任偏差和用户相关性。在公共基准数据集和内部实时流量上的实验结果表明,该方法对分类标签和连续标签都有较好的效果。
2021-11-30 cs.AI cs.IR
Unbiased Collaborative Filtering with Fair Sampling
Fudan University(复旦大学);Microsoft Research Asia(微软亚洲研究院)
针对推荐系统中直接建模交互数据易引入的流行度偏差问题,提出无需估计倾向得分的公平采样(FS)方法,通过平等选择正负实例减轻倾向因素影响,在点式和对式任务中取得最优性能。
2025-04-18 cs.AI cs.IR
REPREC: Representation Driven Parameter-Efficient Recommendation System
The Ohio State University(俄亥俄州立大学);Capital One, AI Foundations(Capital One人工智能基础部)
研究基于大语言模型的序列推荐,提出REPREC轻量级框架,通过轻量级用户表示对齐和MLP注入器映射用户嵌入,在多基准数据集实验中优于LoRA,能保持性能并降低训练时间,平衡推荐质量与计算效率。
2026-08-31 cs.AI cs.IR
Synthetic Data from Cross-Domain Events for Large-Scale Recommendation Systems
Meta
提出SCALR框架,通过源域事件生成目标域的合成用户-物品交互事件,以缓解数据稀疏和噪声反馈问题,并在工业推荐平台的在线A/B测试中取得显著改进。
2026-05-29 cs.AI cs.IR
On Estimating the Training Cost of Conversational Recommendation Systems
KTH Royal Institute of Technology(瑞典皇家理工学院);Hive Streaming AB(Hive Streaming公司);Maastricht University(马斯特里赫特大学);University of Amsterdam(阿姆斯特丹大学)
会话式推荐系统最近获得了很多关注,因为用户可以在多个会话回合中连续地与系统交互。然而,会话式推荐系统是基于复杂的神经结构,因此这种模型的训练成本很高。为了阐明最先进的会话模型的高计算训练时间,我们研究了五种代表性的策略并证明了这个问题。此外,我们讨论了可能的方法来应付高训练成本以下知识蒸馏战略,其中我们详细介绍了关键的挑战,以减少在线推理时间的大量模型参数的会话式推荐系统
2020-11-10 cs.AI cs.LG
Enhancing Scalability in Recommender Systems through Lottery Ticket Hypothesis and Knowledge Distillation-based Neural Network Pruning
IIT Madras(印度理工学院马德拉斯分校);Pravartak, IIT Madras(Pravartak,印度理工学院马德拉斯分校)
该研究融合彩票假设与知识蒸馏构建三种神经网络剪枝模型,以解决推荐系统在边缘部署中的可扩展性问题,并在两个真实数据集上实现最高66.67%的GPU计算功耗降低且不损失准确率。
2024-01-19 cs.AI cs.AR cs.IR
Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems
Google LLC(谷歌有限责任公司);Google DeepMind(谷歌DeepMind);University of California, Davis(加州大学戴维斯分校)
本文针对推荐系统中知识蒸馏被忽视的数据分布偏移、教师配置寻优及标签共享等挑战,提出并在Google多个大规模视频推荐系统上评估了稳健的KD系统,在线实验证明其显著提升了学生模型性能并保障了高质量教师标签的持续生成。
2024-08-26 cs.AI cs.IR cs.LG
Bidirectional Knowledge Distillation for Enhancing Sequential Recommendation with Large Language Models
Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
提出LLMD4Rec双向蒸馏框架,通过动态交互知识交换增强序列推荐,无需额外参数且不增推理成本,显著提升推荐准确性。
2025-05-23 cs.AI cs.IR
Reconsidering Learning Objectives in Unbiased Recommendation with Unobserved Confounders
The Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学)
该研究从分布偏移视角阐释无偏推荐中现有学习目标的生效机制,推导泛化界并提出对抗自训练框架AST,实验验证了其在无偏推荐任务上的有效性。
2023-10-04 cs.IR cs.LG
Distillation-based Scenario-Adaptive Mixture-of-Experts for the Matching Stage of Multi-scenario Recommendation
Northwestern Polytechnical University(西北工业大学);Tsinghua University(清华大学)
本文提出DSMOE,通过场景自适应投影模块和跨架构知识蒸馏框架,提升多场景推荐中匹配阶段的检索质量,尤其在数据稀疏场景中表现突出。
2025-11-28 cs.AI cs.IR
Membership Inference Attack against Large Language Model-based Recommendation Systems: A New Distillation-based Paradigm
本文提出一种基于知识蒸馏的新型Membership推理攻击方法,针对大语言模型推荐系统,通过构建参考模型并提取融合特征来提升攻击效果,实验表明其在隐私攻击中具有实用性。
2026-03-19 cs.AI cs.IR
Contextual Dual Learning Algorithm with Listwise Distillation for Unbiased Learning to Rank
ICT, CAS(中国科学院信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对现有无偏排序学习方法在真实点击数据上性能不明的问题,提出带列表式蒸馏的上下文对偶学习算法CDLA-LD,同时解决位置与上下文偏置,在百度搜索日志子集数据集上验证了有效性。
2024-08-19 cs.AI cs.IR
SCOReD: Student-Aware CoT Optimization for Recommendation Distillation
University of California Riverside(加州大学河滨分校);Meta AI
研究针对推荐蒸馏中原始教师轨迹不适用于任务的问题,提出SCOReD框架,先解析教师轨迹片段并评分,再动态选择编辑操作,使轨迹适应学生输出分布,训练能为学生模型提供清晰信号,提升指标并减少推理长度。
2026-07-13 cs.AI cs.IR
CLLMRec: LLM-powered Cognitive-Aware Concept Recommendation via Semantic Alignment and Prerequisite Knowledge Distillation
Xihua University, Chengdu 610039, China(西华大学)
CLLMRec通过语义对齐和先决知识蒸馏,利用大语言模型实现认知感知的概念推荐,无需依赖结构化知识图谱。
2025-11-26 cs.AI cs.IR
ConAlign: Conditional Alignment Framework for Balancing Biased and Unbiased Recommendation
Kuaishou Technology(快手科技)
针对工业推荐系统偏差问题,提出ConAlign条件去偏方法,通过离散门控条件对齐机制平衡事实准确性和无偏偏好估计,支持实时流适应,经实验验证有效,提升了快手用户长期参与度和兴趣多样性。
2026-07-28 cs.IR
SmartGR: Hierarchy and Beam-Aware Knowledge Distillation for Generative Recommendation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
该研究针对生成式推荐模型推理成本高的问题,提出SmartGR框架,通过层级感知SID蒸馏与束搜索感知排序蒸馏,在四个基准数据集上实现性能提升8.6%、平均推理速度提升2.39倍。
2026-08-04 cs.IR
BAHSD: Bridging the Long-tail Gap via Adaptive Distillation in Black-box Sequential Recommendation
Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China(中国科学院信息工程研究所,北京,中国);School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学网络安全学院,北京,中国);Beijing Institute for General Artificial Intelligence, Beijing, China(北京一般人工智能研究院,北京,中国)
针对黑盒序列推荐中长尾分布导致的信号异质性,提出BAHSD框架,利用多尺度一致性探测机制量化信号可靠性,并设计自适应分层目标(动态温度KL散度、排序一致性和InfoNCE对比学习)来缓解偏好固化并增强噪声鲁棒性,在尾用户上提升80%以上。
2026-06-04 cs.AI cs.IR
FOSTER: First-order Dataset Distillation for Text-based Sequential Recommendation
The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学);Amazon(亚马逊)
针对文本序列推荐系统训练成本高的问题,提出一阶数据集蒸馏方法FOSTER,通过随机物品子集采样、轨迹锚定参数重置和语义共现正则化,实现高效且有效的合成数据集生成。
2026-05-29 cs.IR
Disentangled Counterfactual Reasoning for Unbiased Sequential Recommendation
本文提出DCR方法,通过解耦流行度与兴趣表示并构建结构因果图,结合反事实推理消除序列推荐中的流行度偏差,离线实验和在线A/B测试验证了其显著性能提升。
2023-08-05 cs.IR
False Negative Distillation and Contrastive Learning for Personalized Outfit Recommendation
随着在线时尚产业的快速发展,个性化服装推荐最近成为人们关注的焦点。然而,推荐服装有两个重大挑战需要解决。第一个挑战是,服装推荐通常需要一个复杂而庞大的模型,该模型利用视觉信息,从而产生巨大的内存和时间成本。缓解这个问题的一种自然方法是使用知识蒸馏(KD)技术压缩这样一个繁琐的模型,该技术利用来自预训练教师模型的知识。然而,这是很难应用现有的KD方法在推荐系统(RS)的服装推荐,因为他们需要的所有可能的服装的排名,而服装的数量呈指数增长的数量组成的服装项目。因此,我们提出了一个新的KD框架,用于服装推荐,称为假阴性蒸馏(FND),它利用教师模型的假阴性信息,同时不需要对所有候选人进行排名。第二个挑战是爆炸性的服装候选人数量放大了数据稀疏性问题,通常导致服装表示不佳。为了解决这个问题,对比学习(CL)最近的成功的启发,我们介绍了一个CL框架装备表示学习与两个建议的数据增强方法。在服装推荐数据集上的定量和定性实验证明了所提方法的有效性和可靠性。
2021-10-13 cs.IR
Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models
ByteDance AML(字节跳动AML);ByteDance(字节跳动)
针对大规模推荐模型在工业部署中效率与性能的权衡问题,提出Rec-Distill蒸馏流水线,通过解耦训练、黑盒蒸馏、去偏机制和混合批流流水线,将大教师模型的知识高效迁移至轻量学生模型,在真实场景中蒸馏迁移率超60%。
2026-05-29 cs.IR
UP5: Unbiased Foundation Model for Fairness-aware Recommendation
Rutgers University(罗格斯大学)
本文提出反事实公平提示(CFP)方法,构建无偏基础模型(UFO),以缓解LLM推荐中的用户侧不公平,实验证明其在MovieLens-1M和Insurance数据集上兼顾公平与性能。
2024-05-29 cs.AI cs.CL cs.IR
SelfDR: Self-Distillation from Reasoning for LLM-Based Recommendation
Tsinghua University(清华大学);Quan Cheng Laboratory(量子计算实验室);DCST, Tsinghua University(清华大学计算机科学与技术系);Meituan(美团)
该研究针对基于LLM的推荐中推理轨迹生成成本高的问题,提出SelfDR框架,通过同一LLM的自蒸馏提升推荐效果与效率,在三个公开数据集上验证了其有效性。
2026-09-04 cs.IR
Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation
University of Science and Technology of China(中国科学技术大学)
针对预训练语言模型在实时推荐中推理慢的问题,提出基于知识蒸馏的两阶段序列推荐算法,将预训练知识迁移至轻量级模型,在提升准确率的同时实现及时推荐。
2024-09-23 cs.IR cs.LG
Unbiased Learning for the Causal Effect of Recommendation
Fuji Xerox(富士施乐)
增加用户的积极互动,如购买或点击,是推荐系统的一个重要目标。推荐通常旨在选择用户将与之交互的项目。如果购买了推荐的商品,预计销售额会增加。然而,即使没有推荐,这些物品也可以购买。因此,我们希望推荐那些因推荐而导致购买的商品。这可以被公式化为因果效应的排序问题。尽管它的重要性,这个问题还没有得到很好的探讨,在相关的研究。这是具有挑战性的,因为因果效应的基础事实是不可观察的,并且估计因果效应容易受到当前部署的随机变量产生的偏差的影响。本文提出了一个无偏的学习框架的因果关系的建议。基于逆倾向评分技术,所提出的框架首先构造无偏估计的排名指标。然后,它进行经验风险最小化的估计与倾向封顶,减少了有限的训练样本下的方差。基于该框架,我们开发了一个无偏学习方法的因果效应扩展的排名度量。我们从理论上分析了所提出的方法的无偏性和经验证明,所提出的方法优于其他有偏学习方法在各种设置。
2020-09-23 cs.IR cs.LG stat.ML
Online Distillation-enhanced Multi-modal Transformer for Sequential Recommendation
本文针对多模态序列推荐提出模型无关的在线蒸馏增强多模态Transformer(ODMT)框架,通过ID感知多模态Transformer和在线蒸馏策略促进多源特征交互与相互学习,在流媒体和电商数据集上相比基线模型性能提升约10%。
2023-08-14 cs.IR
KuaiRand: An Unbiased Sequential Recommendation Dataset with Randomly Exposed Videos
部署在实际应用中的推荐系统可能具有固有的暴露偏差,这导致有偏见的日志数据困扰研究人员。解决这个棘手问题的一个基本方法是收集用户对随机暴露项目的交互,即,随机丢失的数据一些作品已经要求某些用户对随机推荐的物品进行评级或选择,例如,Yahoo!,Coat和OpenBandit。然而,这些数据集要么太小,要么缺乏关键信息,如唯一的用户ID或用户/项目的特征。在这项工作中,我们提出了KuaiRand,这是一个无偏的顺序推荐数据集,包含了从视频共享移动应用程序Kuaishou收集的数百万个随机暴露视频的干预交互。与现有数据集不同,KuaiRand记录了12种用户反馈信号(例如,点击,喜欢,查看时间)在两周内插入推荐源的随机曝光的视频。为了便于模型学习,我们进一步收集用户和项目的丰富特征以及用户的行为历史。通过发布这个数据集,我们首次实现了对高级去偏大规模推荐场景的研究。此外,凭借其独特的功能,KuaiRand可以支持各种其他研究方向,如交互式推荐,长序列行为建模和多任务学习。数据集及其新闻将在https://kuairand.com上提供。
2022-08-23 cs.IR
Multi-Granularity Click Confidence Learning via Self-Distillation in Recommendation
本文提出CLSD框架,通过全局自蒸馏与用户群局部置信度调整实现多粒度点击置信度学习,在不增加额外数据和结构的情况下提升推荐效果,并已服务超4亿用户。
2023-09-28 cs.IR
Curriculum-scheduled Knowledge Distillation from Multiple Pre-trained Teachers for Multi-domain Sequential Recommendation
本文提出CKD-MDSR方法,通过课程调度从多个预训练教师模型蒸馏知识并选择性整合到学生模型中,解决了预训练推荐模型在多领域序列推荐中应用成本高的问题,在五个数据集上验证了有效性与高效性。
2024-10-15 cs.IR
Unbiased Cascade Bandits: Mitigating Exposure Bias in Online Learning to Rank Recommendation
曝光偏差是推荐系统中的一个众所周知的问题,其中物品和供应商在推荐结果中的代表性不相等。当偏见随着时间的推移而放大时,这是特别有问题的,因为一些受欢迎的项目在推荐列表中反复过度代表。这种现象可以被看作是一个推荐反馈循环:系统在不同的时间点重复推荐某些项目,用户与这些项目的交互会随着时间的推移放大对这些项目的偏见。这个问题已经被广泛研究的文献中基于模型或基于邻域的推荐算法,但较少的工作已经做了在线推荐模型,如那些基于多臂Bandit算法。在本文中,我们研究了一类著名的土匪算法称为线性级联土匪曝光偏差。我们分析了这些算法处理曝光偏差的能力,并在推荐结果中为项目和供应商提供了公平的代表性。我们的分析表明,这些算法未能公平对待物品和供应商,也没有充分探索每个用户的物品空间。为了减轻这种偏见,我们提出了一个折扣因子,并将其纳入这些算法,控制在每个时间步的项目的曝光。为了证明所提出的折扣因子在减轻曝光偏差方面的有效性,我们使用三种级联强盗算法在两个数据集上进行了实验,我们的实验结果表明,所提出的方法提高了物品和供应商的曝光公平性。
2021-08-07 cs.IR
Contextual Distillation Model for Diversified Recommendation
针对现有多样化推荐方法复杂度高、仅适用于重排序阶段的问题,提出可适配全推荐流水线的上下文蒸馏模型CDM,通过对比上下文编码与知识蒸馏学习MMR策略,经离线与快手在线实验验证其在效率与多样性上的优势。
2024-08-14 cs.IR
Selective LLM-Guided Regularization for Enhancing Recommendation Models
SCU(四川大学)
本文提出选择性LLM引导正则化方法,通过离线方式利用LLM的排序能力,提升推荐模型在冷启动和长尾场景中的表现。
2025-12-25 cs.AI cs.IR
RDRec: Rationale Distillation for LLM-based Recommendation
Graduate School of Engineering(工学院);Interdisciplinary Graduate School(交叉研究生院);University of Yamanashi(山梨大学)
针对 LLM 推荐忽视交互理据的问题,提出 RDRec,用大 LM 生成并蒸馏评论中的用户与物品理据,在 top-N 和序列推荐上达到 SOTA。
2025-01-08 cs.CL cs.IR
Learning from All Sides: Diversified Positive Augmentation via Self-distillation in Recommendation
针对推荐数据稀疏及正样本增强难以兼顾准确性与多样性的问题,提出模型无关的 DivSPA,通过多视角候选检索与自蒸馏重排序获得高质量正样本,并经离线、在线验证且已上线部署。
2023-08-15 cs.IR
Semantic-Guided Feature Distillation for Multimodal Recommendation
本文提出语义引导特征蒸馏方法SGFD,通过教师-学生框架从通用多模态特征中提取推荐所需信息,并在三个数据集上验证其能显著提升多模态推荐模型性能。
2023-08-06 cs.IR cs.MM
D3ER: Supporting Multi-Modal Recommendation via Disentangle and Distillation-based Dynamic Ensemble
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
该研究针对多模态推荐中同质性与异质性判别信息联合学习的缺陷,提出D3ER方法,引入梯度提升并结合知识蒸馏与全局校正正则化,在真实数据集上验证了其优越性。
2026-08-27 cs.IR cs.MM
Leave No One Behind: Online Self-Supervised Self-Distillation for Sequential Recommendation
Ant Group(蚂蚁集团)
针对序列推荐中数据稀疏下行为有限用户的自监督信号挖掘难题,提出$S^4$Rec范式,结合在线聚类、对抗学习和自蒸馏实现行为丰富用户向有限用户的知识迁移,经四数据集验证有效。
2024-04-17 cs.IR cs.LG
DVR: Micro-Video Recommendation Optimizing Watch-Time-Gain under Duration Bias
推荐系统很容易被数据中的偏见所误导。使用有偏数据训练的模型无法捕捉用户的真实兴趣,因此减轻偏置的影响以实现无偏推荐至关重要。在这项工作中,我们专注于微视频推荐中的一个重要偏见,持续时间偏见。具体而言,现有的微视频推荐系统通常将观看时间视为最关键的度量,其测量用户观看视频的时间。由于时长较长的视频往往具有较长的观看时间,因此存在一种时长偏差,使得较长的视频往往比短视频更受推荐。在本文中,我们的经验表明,常用的指标是脆弱的持续时间偏差,使他们不适合评估微视频推荐。为了解决这个问题,我们进一步提出了一个无偏的评估指标,称为WTG(简称观看时间增益)。实验结果表明,WTG可以减轻持续时间偏差,更好地衡量推荐性能。此外,我们设计了一个简单而有效的模型DVR(Debiased Video Recommendation的缩写),可以提供不同时长的微视频的无偏推荐,并通过对抗学习来学习无偏的用户偏好。基于两个真实数据集的大量实验表明,DVR成功地消除了持续时间偏差,并显着提高推荐性能超过30%的相对进步。代码和数据集在https://github.com/tsinghua-fib-lab/WTG-DVR上发布。
2022-08-10 cs.IR cs.MM
Cross Pairwise Ranking for Unbiased Item Recommendation
University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
大多数推荐系统在观察到的交互数据上优化模型,这受到先前曝光机制的影响,并表现出许多偏差,如流行度偏差。损失函数,如最常用的逐点二进制交叉熵和成对贝叶斯个性化排名,是不是设计来考虑观察数据中的偏差。因此,在损失上优化的模型将继承数据偏差,甚至更糟,放大偏差。例如,一些受欢迎的项目占用了越来越多的曝光机会,严重损害了利基项目的推荐质量-被称为臭名昭著的马修效应。在这项工作中,我们开发了一种新的学习范式,称为交叉配对排名(CPR),实现无偏见的建议,而不知道曝光机制。与反向倾向评分(IPS)不同,我们改变了样本的损失项-我们创新地对多个观察到的相互作用进行一次采样,并将损失作为其预测的组合。我们从理论上证明了这种方法抵消了用户/项目倾向对学习的影响,消除了由暴露机制引起的数据偏差的影响。与IPS相似,我们提出的CPR确保了每个训练实例的无偏学习,而无需设置倾向分数。实验结果表明,CPR优于国家的最先进的去偏的解决方案,在模型的泛化和训练效率。这些代码可在www.example.com上获得。
2022-04-26 cs.IR cs.LG
Ensemble Modeling with Contrastive Knowledge Distillation for Sequential Recommendation
本文提出EMKD框架,通过并行网络集成与对比知识蒸馏(含ICL、CCL和KD)提升序列推荐性能,实验证明其优于现有方法且具有通用性。
2023-05-16 cs.IR
Invariant debiasing learning for recommendation via biased imputation
本文针对无监督不变学习在推荐去偏中因丢弃可变信息而导致性能下降的问题,提出轻量级知识蒸馏框架 KDDebias,将可变信息有偏填补到不变偏好中,在三个公开数据集上以不到 50% 参数量超越 SOTA 无监督去偏模型。
2025-02-05 cs.IR
SCoRD: Semantic-Assisted Continual Retriever-Reranker Distillation for LLM-Based Recommendation
Korea University(高丽大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Sungkyunkwan University(成均馆大学)
SCoRD是面向非平稳数据流的LLM推荐两阶段流程的持续知识蒸馏框架,通过语义推理助手实现检索器与重排序器的高效协同适配,在真实数据集上验证了其有效性。
2026-08-21 cs.IR
EvoReason: Self-Evolving Reasoning Primitive-Guided On-Policy Distillation for Latent Reasoning in Generative Recommendation
Kuaishou Technology(快手科技);Shenzhen University(深圳大学)
针对生成式推荐中潜在推理的原始CoT监督效果不佳问题,提出自演化框架EvoReason,通过推理原语引导的在线策略蒸馏实现显式推理监督与学生潜在推理空间的自适应对齐,提升推理迁移效果。
2026-08-03 cs.IR
Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation
Microsoft(微软公司);Emory University(埃默里大学)
本文提出通过推理和蒸馏学习用户兴趣的方法,提升跨领域新闻推荐的性能和可扩展性。
2026-02-16 cs.CL cs.IR
Collaborative Distillation for Top-N Recommendation
Sungkyunkwan University(成均馆大学);Yonsei University(延世大学)
知识蒸馏(KD)是通过将笨重的教师模型压缩为小的学生模型来减少推理延迟的公知方法。尽管KD在分类任务中取得了成功,但由于正反馈的稀疏性,缺失反馈的模糊性以及与前N个推荐相关的排名问题,将KD应用于推荐模型是具有挑战性的。为了解决这些问题,我们提出了一个新的KD模型的协同过滤方法,即协同蒸馏(CD)。具体而言,(1)我们重新制定了一个损失函数,以处理丢失反馈的模糊性。(2)我们利用概率排名感知采样的前N个建议。(3)为了有效地训练所提出的模型,我们开发了两种培训策略的学生模型,称为教师和学生指导的培训方法,选择最有用的反馈,从教师模型。实验结果表明,该模型在命中率和归一化贴现累积增益方面分别比现有方法高出2.7-33.2%和2.7-29.1%。此外,所提出的模型实现的性能相媲美的教师模型。
2019-11-13 cs.IR cs.LG stat.ML
On-Device Next-Item Recommendation with Self-Supervised Knowledge Distillation
现代推荐系统以完全基于服务器的方式运行。为了满足数百万用户的需求,需要频繁的模型维护和高速处理并发用户请求,这是以巨大的碳足迹为代价的。与此同时,用户需要上传他们的行为数据,甚至包括直接的环境上下文到服务器,提高了公众对隐私的关注。设备上推荐系统通过成本意识设置和本地推理来规避这两个问题。然而,由于有限的内存和计算资源,设备上的推荐系统面临着两个基本的挑战:(1)如何减少规则模型的大小,以适应边缘设备?(2)如何保持原有的能力?以往的研究大多采用张量分解技术对规则推荐模型进行压缩,压缩比有限,以避免性能急剧下降。在本文中,我们探索超紧凑模型的下一个项目推荐,通过放松张量分解的维度一致性的约束。同时,为了弥补压缩带来的容量损失,提出了一种自监督的知识蒸馏框架,使压缩后的模型(学生)能够提取原始数据中的基本信息,并通过与原模型(教师)的嵌入重组策略改进长尾项目推荐。在两个基准上的大量实验表明,随着模型大小减少30倍,压缩模型几乎没有精度损失,在大多数情况下甚至优于未压缩的模型。
2022-04-23 cs.IR
Bridging the Topological Divide: Dual-Branch Graph Distillation with Semantic Priors for Robust Cold-Start Recommendation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对图协同过滤在冷启动场景的表示崩溃问题,提出双分支图知识蒸馏框架DualGCN,通过两阶段训练与动态范数重构机制,在三个数据集上实现冷启动推荐性能提升。
2026-10-14 cs.IR cs.LG
Topology-Aware Tokenization for Generative Recommendation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究针对生成式推荐中项目词元化的拓扑失真问题,提出拓扑感知词元化框架TopoTok,通过多级蒸馏方案逐步恢复拓扑,实验表明该方法有效减轻失真,优于现有词元化器,提升了生成式推荐性能。
2026-07-22 cs.IR
FedPDD: A Privacy-preserving Double Distillation Framework for Cross-silo Federated Recommendation
WeBank(微众银行)
针对跨筒仓联邦推荐中重叠用户少、现有方法性能受限且通信成本高、隐私风险大的问题,提出FedPDD双蒸馏框架,结合离线训练与差分隐私,在重叠用户有限时高效传递知识并保障隐私,在两个真实数据集上效果优于现有最优方法。
2024-01-30 cs.CR cs.DC cs.IR