Content-Based Top-N Recommendation using Heterogeneous Relations
National University of Defense Technology(国防科技大学);Massachusetts Institute of Technology(麻省理工学院)
Top-$N$推荐系统已经被广泛研究。然而,用户项活动的稀疏性还没有得到很好的解决。虽然提出了许多混合动力系统来解决冷启动问题,但配置文件信息尚未得到充分利用。此外,用户和项目之间的配置文件的异质性加剧了挑战。在本文中,我们提出了一个基于内容的顶部$N$推荐系统,通过学习的全局术语的权重在配置文件。为了实现这一点,我们引入了PathSim,它可以很好地测量节点的相似性与异构关系(用户和项目之间)。从原始TF-IDF值开始,全局词权重逐渐收敛,并最终反映简档和活动信息。为了便于训练,导数被重新表示为矩阵形式,这可以很容易地被替换。我们进行了大量的实验,这表明所提出的方法的优越性。
2016-06-27 cs.AI cs.IR
A Sequential Embedding Approach for Item Recommendation with Heterogeneous Attributes
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
属性,如元数据和配置文件,携带有用的信息,原则上可以帮助提高推荐系统的准确性。然而,现有的方法很难充分利用属性信息,由于实际的挑战,如异构性和稀疏性。这些方法也未能结合最近在视频和音乐浏览等应用中的项目推荐中显示出有效性的递归神经网络。为了克服这些挑战,并收获序列模型的优点,我们提出了一种新的方法,异构属性递归神经网络(HA-RNN),它结合了异构属性,并捕获序列依赖\textit{both}项目和属性。HA-RNN扩展了递归神经网络,具有1)分层属性组合输入层和2)输出属性嵌入层。我们在两个大规模数据集上进行了广泛的实验。新的方法显示出显着的改进,国家的最先进的模型。我们的消融实验证明了这两个组件的有效性,以解决异构属性的挑战,包括可变长度和属性稀疏。我们进一步研究了为什么序列建模工作良好,进行探索性研究,并显示序列模型是更有效的数据规模增加。
2018-05-28 cs.AI cs.IR stat.ML
Heterogeneous Hypergraph Embedding for Recommendation Systems
Griffith University(格里菲斯大学);Hanoi University of Science and Technology(河内科技大学);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院);The University of Queensland(昆士兰大学)
本文提出知识增强异构超图推荐系统KHGRec,通过协作知识异构超图建模高阶交互,结合跨视图自监督学习与注意力机制,在多个数据集上平均提升5.18%,并验证了噪声鲁棒性和冷启动性能。
2024-07-04 cs.AI cs.IR cs.LG
Bidirectional Knowledge Distillation for Enhancing Sequential Recommendation with Large Language Models
Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
提出LLMD4Rec双向蒸馏框架,通过动态交互知识交换增强序列推荐,无需额外参数且不增推理成本,显著提升推荐准确性。
2025-05-23 cs.AI cs.IR
Distillation-based Scenario-Adaptive Mixture-of-Experts for the Matching Stage of Multi-scenario Recommendation
Northwestern Polytechnical University(西北工业大学);Tsinghua University(清华大学)
本文提出DSMOE,通过场景自适应投影模块和跨架构知识蒸馏框架,提升多场景推荐中匹配阶段的检索质量,尤其在数据稀疏场景中表现突出。
2025-11-28 cs.AI cs.IR
Heterogeneous Knowledge Fusion: A Novel Approach for Personalized Recommendation via LLM
Meituan(美团)
针对异构行为导致的特征稀疏与知识碎片化问题,提出基于 LLM 的异构知识提取、融合与指令微调方法,显著提升个性化推荐性能。
2023-08-18 cs.AI cs.IR
Membership Inference Attack against Large Language Model-based Recommendation Systems: A New Distillation-based Paradigm
本文提出一种基于知识蒸馏的新型Membership推理攻击方法,针对大语言模型推荐系统,通过构建参考模型并提取融合特征来提升攻击效果,实验表明其在隐私攻击中具有实用性。
2026-03-19 cs.AI cs.IR
SCOReD: Student-Aware CoT Optimization for Recommendation Distillation
University of California Riverside(加州大学河滨分校);Meta AI
研究针对推荐蒸馏中原始教师轨迹不适用于任务的问题,提出SCOReD框架,先解析教师轨迹片段并评分,再动态选择编辑操作,使轨迹适应学生输出分布,训练能为学生模型提供清晰信号,提升指标并减少推理长度。
2026-07-13 cs.AI cs.IR
CLLMRec: LLM-powered Cognitive-Aware Concept Recommendation via Semantic Alignment and Prerequisite Knowledge Distillation
Xihua University, Chengdu 610039, China(西华大学)
CLLMRec通过语义对齐和先决知识蒸馏,利用大语言模型实现认知感知的概念推荐,无需依赖结构化知识图谱。
2025-11-26 cs.AI cs.IR
SmartGR: Hierarchy and Beam-Aware Knowledge Distillation for Generative Recommendation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
该研究针对生成式推荐模型推理成本高的问题,提出SmartGR框架,通过层级感知SID蒸馏与束搜索感知排序蒸馏,在四个基准数据集上实现性能提升8.6%、平均推理速度提升2.39倍。
2026-08-04 cs.IR
FOSTER: First-order Dataset Distillation for Text-based Sequential Recommendation
The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学);Amazon(亚马逊)
针对文本序列推荐系统训练成本高的问题,提出一阶数据集蒸馏方法FOSTER,通过随机物品子集采样、轨迹锚定参数重置和语义共现正则化,实现高效且有效的合成数据集生成。
2026-05-29 cs.IR
BAHSD: Bridging the Long-tail Gap via Adaptive Distillation in Black-box Sequential Recommendation
Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China(中国科学院信息工程研究所,北京,中国);School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学网络安全学院,北京,中国);Beijing Institute for General Artificial Intelligence, Beijing, China(北京一般人工智能研究院,北京,中国)
针对黑盒序列推荐中长尾分布导致的信号异质性,提出BAHSD框架,利用多尺度一致性探测机制量化信号可靠性,并设计自适应分层目标(动态温度KL散度、排序一致性和InfoNCE对比学习)来缓解偏好固化并增强噪声鲁棒性,在尾用户上提升80%以上。
2026-06-04 cs.AI cs.IR
False Negative Distillation and Contrastive Learning for Personalized Outfit Recommendation
随着在线时尚产业的快速发展,个性化服装推荐最近成为人们关注的焦点。然而,推荐服装有两个重大挑战需要解决。第一个挑战是,服装推荐通常需要一个复杂而庞大的模型,该模型利用视觉信息,从而产生巨大的内存和时间成本。缓解这个问题的一种自然方法是使用知识蒸馏(KD)技术压缩这样一个繁琐的模型,该技术利用来自预训练教师模型的知识。然而,这是很难应用现有的KD方法在推荐系统(RS)的服装推荐,因为他们需要的所有可能的服装的排名,而服装的数量呈指数增长的数量组成的服装项目。因此,我们提出了一个新的KD框架,用于服装推荐,称为假阴性蒸馏(FND),它利用教师模型的假阴性信息,同时不需要对所有候选人进行排名。第二个挑战是爆炸性的服装候选人数量放大了数据稀疏性问题,通常导致服装表示不佳。为了解决这个问题,对比学习(CL)最近的成功的启发,我们介绍了一个CL框架装备表示学习与两个建议的数据增强方法。在服装推荐数据集上的定量和定性实验证明了所提方法的有效性和可靠性。
2021-10-13 cs.IR
Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models
ByteDance AML(字节跳动AML);ByteDance(字节跳动)
针对大规模推荐模型在工业部署中效率与性能的权衡问题,提出Rec-Distill蒸馏流水线,通过解耦训练、黑盒蒸馏、去偏机制和混合批流流水线,将大教师模型的知识高效迁移至轻量学生模型,在真实场景中蒸馏迁移率超60%。
2026-05-29 cs.IR
Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation
University of Science and Technology of China(中国科学技术大学)
针对预训练语言模型在实时推荐中推理慢的问题,提出基于知识蒸馏的两阶段序列推荐算法,将预训练知识迁移至轻量级模型,在提升准确率的同时实现及时推荐。
2024-09-23 cs.IR cs.LG
SelfDR: Self-Distillation from Reasoning for LLM-Based Recommendation
Tsinghua University(清华大学);Quan Cheng Laboratory(量子计算实验室);DCST, Tsinghua University(清华大学计算机科学与技术系);Meituan(美团)
该研究针对基于LLM的推荐中推理轨迹生成成本高的问题,提出SelfDR框架,通过同一LLM的自蒸馏提升推荐效果与效率,在三个公开数据集上验证了其有效性。
2026-09-04 cs.IR
Heterogeneous Graph Neural Network for Personalized Session-Based Recommendation with User-Session Constraints
推荐系统为用户提供了一个适当限制的最近在线的大量信息。基于会话的推荐是推荐系统的一个子领域,它试图通过解释由项目序列组成的会话来推荐项目。最近,在这些会话中包括用户信息的研究正在取得进展。然而,难以生成包括由用户生成的会话表示的高质量用户表示。在本文中,我们考虑各种关系的图创建会话通过异构注意力网络。约束还强制用户表示考虑会话中呈现的用户偏好。它试图通过在培训过程中的额外优化来提高性能。该模型在各种真实数据集上的性能优于其他方法。
2022-06-26 cs.AI cs.IR
Online Distillation-enhanced Multi-modal Transformer for Sequential Recommendation
本文针对多模态序列推荐提出模型无关的在线蒸馏增强多模态Transformer(ODMT)框架,通过ID感知多模态Transformer和在线蒸馏策略促进多源特征交互与相互学习,在流媒体和电商数据集上相比基线模型性能提升约10%。
2023-08-14 cs.IR
Multi-Aggregator Time-Warping Heterogeneous Graph Neural Network for Personalized Micro-Video Recommendation
Georgia State University(佐治亚州立大学)
针对现有微视频推荐未充分考虑新闻类内容高时效性、用户兴趣动态变化等问题,提出多聚合器时间扭曲异构图神经网络MTHGNN,通过多聚合器挖掘偏好、捕捉时序动态并兼顾时效性,在对比实验中表现优于现有最优方法。
2025-03-21 cs.AI cs.IR
Multi-Granularity Click Confidence Learning via Self-Distillation in Recommendation
本文提出CLSD框架,通过全局自蒸馏与用户群局部置信度调整实现多粒度点击置信度学习,在不增加额外数据和结构的情况下提升推荐效果,并已服务超4亿用户。
2023-09-28 cs.IR
Curriculum-scheduled Knowledge Distillation from Multiple Pre-trained Teachers for Multi-domain Sequential Recommendation
本文提出CKD-MDSR方法,通过课程调度从多个预训练教师模型蒸馏知识并选择性整合到学生模型中,解决了预训练推荐模型在多领域序列推荐中应用成本高的问题,在五个数据集上验证了有效性与高效性。
2024-10-15 cs.IR
Contextual Distillation Model for Diversified Recommendation
针对现有多样化推荐方法复杂度高、仅适用于重排序阶段的问题,提出可适配全推荐流水线的上下文蒸馏模型CDM,通过对比上下文编码与知识蒸馏学习MMR策略,经离线与快手在线实验验证其在效率与多样性上的优势。
2024-08-14 cs.IR
RDRec: Rationale Distillation for LLM-based Recommendation
Graduate School of Engineering(工学院);Interdisciplinary Graduate School(交叉研究生院);University of Yamanashi(山梨大学)
针对 LLM 推荐忽视交互理据的问题,提出 RDRec,用大 LM 生成并蒸馏评论中的用户与物品理据,在 top-N 和序列推荐上达到 SOTA。
2025-01-08 cs.CL cs.IR
BMLP: Behavior-aware MLP for Heterogeneous Sequential Recommendation
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
本文提出行为感知多层感知机BMLP,通过异构兴趣感知和购买意图感知两个模块建模多行为关系,在四个公开数据集上以线性时间复杂度取得优于现有算法的推荐效果。
2024-02-20 cs.AI cs.IR
Learning from All Sides: Diversified Positive Augmentation via Self-distillation in Recommendation
针对推荐数据稀疏及正样本增强难以兼顾准确性与多样性的问题,提出模型无关的 DivSPA,通过多视角候选检索与自蒸馏重排序获得高质量正样本,并经离线、在线验证且已上线部署。
2023-08-15 cs.IR
Semantic-Guided Feature Distillation for Multimodal Recommendation
本文提出语义引导特征蒸馏方法SGFD,通过教师-学生框架从通用多模态特征中提取推荐所需信息,并在三个数据集上验证其能显著提升多模态推荐模型性能。
2023-08-06 cs.IR cs.MM
D3ER: Supporting Multi-Modal Recommendation via Disentangle and Distillation-based Dynamic Ensemble
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
该研究针对多模态推荐中同质性与异质性判别信息联合学习的缺陷,提出D3ER方法,引入梯度提升并结合知识蒸馏与全局校正正则化,在真实数据集上验证了其优越性。
2026-08-27 cs.IR cs.MM
Leave No One Behind: Online Self-Supervised Self-Distillation for Sequential Recommendation
Ant Group(蚂蚁集团)
针对序列推荐中数据稀疏下行为有限用户的自监督信号挖掘难题,提出$S^4$Rec范式,结合在线聚类、对抗学习和自蒸馏实现行为丰富用户向有限用户的知识迁移,经四数据集验证有效。
2024-04-17 cs.IR cs.LG
Selective LLM-Guided Regularization for Enhancing Recommendation Models
SCU(四川大学)
本文提出选择性LLM引导正则化方法,通过离线方式利用LLM的排序能力,提升推荐模型在冷启动和长尾场景中的表现。
2025-12-25 cs.AI cs.IR
SR-HetGNN:Session-based Recommendation with Heterogeneous Graph Neural Network
Beijing University of Posts and Telecommunications(北京邮电大学)
针对现有会话推荐忽略用户画像等信息的问题,提出基于异构图神经网络的SR-HetGNN方法,通过构建异构图、融合长短期偏好学习会话嵌入,在两个真实数据集上性能优于现有最优方法。
2023-10-05 cs.AI cs.IR
Ensemble Modeling with Contrastive Knowledge Distillation for Sequential Recommendation
本文提出EMKD框架,通过并行网络集成与对比知识蒸馏(含ICL、CCL和KD)提升序列推荐性能,实验证明其优于现有方法且具有通用性。
2023-05-16 cs.IR
Collaborative Distillation for Top-N Recommendation
Sungkyunkwan University(成均馆大学);Yonsei University(延世大学)
知识蒸馏(KD)是通过将笨重的教师模型压缩为小的学生模型来减少推理延迟的公知方法。尽管KD在分类任务中取得了成功,但由于正反馈的稀疏性,缺失反馈的模糊性以及与前N个推荐相关的排名问题,将KD应用于推荐模型是具有挑战性的。为了解决这些问题,我们提出了一个新的KD模型的协同过滤方法,即协同蒸馏(CD)。具体而言,(1)我们重新制定了一个损失函数,以处理丢失反馈的模糊性。(2)我们利用概率排名感知采样的前N个建议。(3)为了有效地训练所提出的模型,我们开发了两种培训策略的学生模型,称为教师和学生指导的培训方法,选择最有用的反馈,从教师模型。实验结果表明,该模型在命中率和归一化贴现累积增益方面分别比现有方法高出2.7-33.2%和2.7-29.1%。此外,所提出的模型实现的性能相媲美的教师模型。
2019-11-13 cs.IR cs.LG stat.ML
Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation
Microsoft(微软公司);Emory University(埃默里大学)
本文提出通过推理和蒸馏学习用户兴趣的方法,提升跨领域新闻推荐的性能和可扩展性。
2026-02-16 cs.CL cs.IR
SCoRD: Semantic-Assisted Continual Retriever-Reranker Distillation for LLM-Based Recommendation
Korea University(高丽大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Sungkyunkwan University(成均馆大学)
SCoRD是面向非平稳数据流的LLM推荐两阶段流程的持续知识蒸馏框架,通过语义推理助手实现检索器与重排序器的高效协同适配,在真实数据集上验证了其有效性。
2026-08-21 cs.IR
EvoReason: Self-Evolving Reasoning Primitive-Guided On-Policy Distillation for Latent Reasoning in Generative Recommendation
Kuaishou Technology(快手科技);Shenzhen University(深圳大学)
针对生成式推荐中潜在推理的原始CoT监督效果不佳问题,提出自演化框架EvoReason,通过推理原语引导的在线策略蒸馏实现显式推理监督与学生潜在推理空间的自适应对齐,提升推理迁移效果。
2026-08-03 cs.IR
Heterogeneous Graph Contrastive Learning for Recommendation
图神经网络(GNN)已经成为推荐系统中对图结构数据建模的强大工具。然而,现实生活中的推荐场景通常涉及异构关系(例如,社会感知的用户影响、知识感知的项目依赖性),其包含丰富的信息以增强用户偏好学习。在本文中,我们研究了异构图增强的关系学习推荐的问题。近年来,对比自监督学习在推荐中取得了成功。鉴于此,我们提出了一种异构图对比学习(HGCL),它能够将异构关系语义与对比学习-增强跨不同视图的知识转移的用户-项目交互建模。然而,异构边信息对交互的影响可能因用户和项目而异。为了推进这一想法,我们用Meta网络增强了异构图对比学习,以允许个性化知识Transformer具有自适应对比增强。在三个真实数据集上的实验结果证明了HGCL的优越性。通过消融研究,验证了HGCL方法中的关键组件,有利于提高推荐性能。模型实现的源代码可在链接https://github.com/HKUDS/HGCL上获得。
2023-03-02 cs.IR
Heterogeneous Global Graph Neural Networks for Personalized Session-based Recommendation
Tongji University(同济大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心);Squirrel AI Learning(松鼠AI学习);Middlesex School(米德尔塞克斯中学);Simon Fraser University(西蒙弗雷泽大学)
预测短时间交互会话的下一次交互是基于会话的推荐中具有挑战性的任务。现有的推荐算法大多依赖于项目迁移模式,在对用户偏好建模时忽略了用户历史会话的影响,导致推荐结果非个性化。此外,现有的基于会话的个性化浏览器仅基于当前用户的会话来捕获用户偏好,而忽略了来自其他用户的历史会话的有用的项目转换模式。为了解决这些问题,我们提出了一种新的异构全局图神经网络(HG-GNN),利用项目过渡在所有会话中的微妙的方式,更好地推断用户的偏好,从当前和历史会话。为了有效地利用项目过渡在所有的会话从用户,我们提出了一种新的异构全局图,包含项目过渡的会话,用户项目的相互作用和全球共现项目。此外,为了全面地从会话中捕获用户偏好,我们建议通过两个图增强偏好编码器从全局图中学习两个级别的用户表示。具体而言,我们设计了一种新的异构全局图上的异构图神经网络(HGNN),学习长期的用户偏好和项目表示与丰富的语义。基于HGNN,我们提出了当前偏好编码器和历史偏好编码器,分别从当前和历史会话中捕获不同级别的用户偏好。为了实现个性化推荐,我们综合用户当前偏好和历史兴趣的表示,以生成最终的用户偏好表示。在三个真实数据集上的大量实验结果表明,我们的模型优于其他最先进的方法。
2022-02-27 cs.AI cs.IR
On-Device Next-Item Recommendation with Self-Supervised Knowledge Distillation
现代推荐系统以完全基于服务器的方式运行。为了满足数百万用户的需求,需要频繁的模型维护和高速处理并发用户请求,这是以巨大的碳足迹为代价的。与此同时,用户需要上传他们的行为数据,甚至包括直接的环境上下文到服务器,提高了公众对隐私的关注。设备上推荐系统通过成本意识设置和本地推理来规避这两个问题。然而,由于有限的内存和计算资源,设备上的推荐系统面临着两个基本的挑战:(1)如何减少规则模型的大小,以适应边缘设备?(2)如何保持原有的能力?以往的研究大多采用张量分解技术对规则推荐模型进行压缩,压缩比有限,以避免性能急剧下降。在本文中,我们探索超紧凑模型的下一个项目推荐,通过放松张量分解的维度一致性的约束。同时,为了弥补压缩带来的容量损失,提出了一种自监督的知识蒸馏框架,使压缩后的模型(学生)能够提取原始数据中的基本信息,并通过与原模型(教师)的嵌入重组策略改进长尾项目推荐。在两个基准上的大量实验表明,随着模型大小减少30倍,压缩模型几乎没有精度损失,在大多数情况下甚至优于未压缩的模型。
2022-04-23 cs.IR
Hete-CF: Social-Based Collaborative Filtering Recommendation using Heterogeneous Relations
协同过滤算法在推荐系统中得到了广泛的应用。然而,它们经常遭受数据稀疏和冷启动问题。随着社交媒体的日益普及,这些问题可以通过使用基于社交的推荐来解决。基于社会信息的推荐是一个新兴的研究领域,它利用社会信息来缓解数据稀疏和冷启动问题,并且已经证明基于社会信息的推荐算法可以有效地提高推荐性能。然而,现有的算法很少考虑在一个社交网络中使用多种类型的关系。本文研究了异构社交网络上基于社会的推荐算法,提出了一种基于异构关系的社会协同过滤算法Hete-CF。与现有的方法不同,Hete-CF可以有效地利用异构社会网络中的多种类型的关系。此外,Hete-CF是一种通用方法,并且可以在任意社交网络中使用,包括基于事件的社交网络、基于位置的社交网络以及与社交信息相关联的任何其他类型的异构信息网络。在DBLP(一种典型的异构信息网络)和MeeShop(一种典型的基于事件的社交网络)两个真实数据集上的实验结果表明了该算法的有效性和高效性。
2014-12-24 cs.IR
Graph Learning Augmented Heterogeneous Graph Neural Network for Social Recommendation
基于社会网络的社会化推荐在提高推荐系统性能方面取得了巨大的成功。由于社交网络(用户-用户关系)和用户-项目交互都自然地表示为图结构数据,因此图神经网络(GNN)已被广泛应用于社交推荐。在这项工作中,我们提出了一个端到端的异构全局图学习框架,即图学习增强异构图神经网络(GL-HGNN)的社会推荐。GL-HGNN的目标是学习一个异构的全局图,在一个统一的角度,充分利用用户之间的关系,用户之间的相互作用和项目之间的相似性。为此,我们设计了一个图学习器(GL)的方法来学习和优化用户-用户和项目-项目连接分别。此外,我们采用了异构图神经网络(HGNN)从我们学习的异构全局图捕捉高阶复杂的语义关系。为了提高图学习的计算量,我们进一步提出了基于锚点的图学习器(AGL),以降低计算复杂性。在四个真实数据集上的实验证明了该模型的有效性。
2021-09-24 cs.IR
Bridging the Topological Divide: Dual-Branch Graph Distillation with Semantic Priors for Robust Cold-Start Recommendation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对图协同过滤在冷启动场景的表示崩溃问题,提出双分支图知识蒸馏框架DualGCN,通过两阶段训练与动态范数重构机制,在三个数据集上实现冷启动推荐性能提升。
2026-10-14 cs.IR cs.LG
Topology-Aware Tokenization for Generative Recommendation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究针对生成式推荐中项目词元化的拓扑失真问题,提出拓扑感知词元化框架TopoTok,通过多级蒸馏方案逐步恢复拓扑,实验表明该方法有效减轻失真,优于现有词元化器,提升了生成式推荐性能。
2026-07-22 cs.IR
Curriculum Pre-Training Heterogeneous Subgraph Transformer for Top-$N$ Recommendation
由于数据异构建模的灵活性,异构信息网络(HIN)已经被采用来表征被称为\emph{HIN-based recommendation}的顶级$N$推荐系统中的复杂和异构辅助数据。HIN的特点是复杂的,异构的数据关系,包含各种信息,可能不相关的推荐任务。因此,有效地利用来自HIN的有用信息来提高推荐性能是具有挑战性的。为了解决上述问题,我们提出了一个基于课程预训练的异构子图Transformer(称为\emph{CHEST})与新的\emph{data characterization},\emph{representation model}和\emph{learning algorithm}。具体来说,我们考虑从HIN中提取有用的信息来组成特定于交互的异构子图,包含足够的和相关的上下文信息用于推荐。然后,我们通过一个异构的子图Transformer,在那里我们编码的子图与多槽序列表示的子图中捕获丰富的语义(\eg图结构和路径语义)。此外,我们设计了一个课程预训练策略,提供了一个初级到高级的学习过程,我们顺利地转移基本语义HIN建模用户-项目交互关系。在三个真实世界的数据集上进行的大量实验表明,我们提出的方法优于一些有竞争力的基线,特别是当只有有限的训练数据。
2021-06-12 cs.IR
Price DOES Matter! Modeling Price and Interest Preferences in Session-based Recommendation
Dalian University of Technology(大连理工大学);Wuhan University(武汉大学);Pennsylvania State University(宾夕法尼亚州立大学)
基于会话的推荐旨在根据匿名用户的短行为序列预测其想要购买的物品。现有的基于会话的推荐方法只关注用户的兴趣偏好建模,而忽略了项目的一个关键属性,即,价格.许多市场研究表明,价格因素对用户的购买行为有着显著的影响,用户的购买决策同时受到价格偏好和兴趣偏好的影响。然而,将价格偏好纳入基于会话的推荐是不平凡的。首先,很难处理来自物品的各种特征的异构信息来捕获用户的价格偏好。其次,很难对价格和兴趣偏好之间的复杂关系进行建模,以确定用户的选择。为了解决上述问题,我们提出了一种新的基于会话的推荐方法--协同引导的异构超图网络(CoHHN)。对于第一个挑战,我们设计了一个异构超图来表示异构信息和它们之间的丰富关系。设计了一种双通道聚合机制,用于聚合异构超图中的各种信息。在此基础上,通过注意力层提取用户的价格偏好和兴趣偏好。对于第二个挑战,设计了一个共同引导的学习方案,以建模价格和利率偏好之间的关系,并加强彼此的学习。最后,我们预测用户行为的基础上项目的功能和用户的价格和兴趣偏好。在三个真实数据集上的大量实验证明了所提出的CoHHN的有效性。进一步的分析揭示了价格对基于会话的推荐的重要性。
2022-05-09 cs.AI cs.IR
FedPDD: A Privacy-preserving Double Distillation Framework for Cross-silo Federated Recommendation
WeBank(微众银行)
针对跨筒仓联邦推荐中重叠用户少、现有方法性能受限且通信成本高、隐私风险大的问题,提出FedPDD双蒸馏框架,结合离线训练与差分隐私,在重叠用户有限时高效传递知识并保障隐私,在两个真实数据集上效果优于现有最优方法。
2024-01-30 cs.CR cs.DC cs.IR
Heterogeneous User Modeling for LLM-based Recommendation
针对开放域推荐中跨域异构行为建模难题,本文提出 HUM,通过行为 token 压缩、掩码机制和领域重要性分数提升效果与鲁棒性。
2025-07-27 cs.IR
FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);LANL(洛斯阿拉莫斯国家实验室)
非负矩阵分解(NMF)与缺失值完成是一个著名的有效的协同过滤(CF)方法,用于提供个性化的用户推荐。然而,传统的CF依赖于隐私侵犯收集用户的显式和隐式反馈,以建立一个中央推荐模型。单次联邦学习最近出现了一种方法,以减轻隐私问题,同时解决传统的联邦学习的通信瓶颈。在本文中,我们提出了第一个无监督的一次性联邦CF实现,名为FedSPLIT,基于NMF联合因式分解。在我们的解决方案中,客户端首先并行应用本地CF来构建不同的客户端特定的编译器。然后,从每个客户端的隐私保护的本地项目模式和偏见与处理器共享,以执行联合因子分解,以提取全局项目模式。然后,将提取的模式聚合到每个客户端,以通过知识蒸馏构建本地模型。在我们的实验中,我们证明了我们的方法与标准的推荐数据集的可行性。FedSPLIT可以获得与现有技术相似的结果(在某些情况下甚至优于现有技术),但通信数量大幅减少。
2022-05-04 cs.IR cs.LG
Recent Advances in Heterogeneous Relation Learning for Recommendation
University of Hong Kong(香港大学)
推荐系统在许多Web应用中扮演着重要的角色,以满足用户的个性化兴趣和减轻信息过载。在这项调查中,我们回顾了开发的建议框架,重点是异构关系学习,其中包括不同类型的依赖关系之间的用户和项目。该任务的目标是将异构的关系数据映射到潜在的表示空间中,这样可以很好地保留来自用户域和项目域的结构和关系属性。为了解决这个问题,最近的研究进展可以分为三个主要路线:社会推荐,知识图谱增强的推荐系统,和多行为推荐。我们讨论了每一类的学习方法,如矩阵分解,注意力机制和图神经网络,有效地提取异构上下文信息。最后,我们提出了一个探索性的前景,突出几个有前途的方向和机会,在异构关系学习框架的建议。
2021-10-07 cs.IR cs.LG
Dynamic Feature-Embedding Communication via Codebook Distillation for Federated Recommendation
Fudan University(复旦大学);Microsoft Research Asia(微软亚洲研究院)
RQFedRec通过残差量化和双通道聚合,实现特征索引联邦推荐,有效降低通信开销并提升推荐性能。
2026-09-11 cs.IR
Heterogeneous Graph Masked Contrastive Learning for Robust Recommendation
针对异构图神经网络中元路径图密集且含噪导致节点嵌入受影响的问题,提出 MCL 模型,通过随机掩码策略增强图并采用跨视图对比学习捕获局部与高阶结构,提升了推荐鲁棒性。
2025-05-30 cs.IR
Recommendation Through Mixtures of Heterogeneous Item Relationships
推荐系统已经扩散作为通用的方法来模拟各种各样的消费者交互数据。具体实例利用范围从用户反馈、项目关系、地理位置、社会影响(等)的信号。通常,研究表明,利用特定信号(在精心设计的模型中)可以在特定数据集上提供更高保真的建议。当然,实际情况更加微妙,许多信号的组合可能在发挥作用,或者受到个人用户不同比例的青睐。在这里,我们寻求开发一个框架,能够结合这种异构项目的关系,同时建模(a)什么样的模式的建议是用户可能会受到在特定的时间点;(b)什么是最好的建议,从每一种模式。我们的方法借鉴了混合专家方法和知识图谱嵌入的思想。我们发现,我们的方法自然会产生更准确的建议比替代品,同时也提供直观的“解释”背后的建议,它提供。
2018-08-29 cs.IR
Spatial-Temporal Knowledge Distillation for Takeaway Recommendation
School of Computer Science & Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
本文提出STKDRec模型,通过两阶段训练结合空间-时间知识图谱编码器与空间-时间Transformer,并利用知识蒸馏高效融合图谱与序列知识,显著提升外卖推荐性能。
2025-02-05 cs.IR cs.LG
PromptMM: Multi-Modal Knowledge Distillation for Recommendation with Prompt-Tuning
针对多模态推荐系统的过拟合与侧信息干扰问题,提出带提示调优的多模态知识蒸馏框架PromptMM,通过蒸馏压缩、软提示适配与解耦重加权蒸馏提升效果与效率。
2024-03-10 cs.IR
Privileged Graph Distillation for Cold Start Recommendation
Hefei University of Technology(合肥工业大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心);Anhui University(安徽大学)
推荐系统中的冷启动问题是一个长期存在的挑战,它要求在没有任何历史交互记录的情况下,基于属性向新用户(项目)推荐。在这些推荐系统中,温暖的用户(项目)有特权的互动记录的合作信号相比,冷启动用户(项目),这些协同过滤(CF)信号被证明有竞争力的推荐性能。许多研究者提出学习协作信号嵌入空间和属性嵌入空间之间的相关性来改进冷启动推荐,其中用户和项目分类属性在许多在线平台中是可用的。然而,冷启动建议仍然受到两个嵌入空间建模和简单的空间变换假设的限制。由于用户-项目交互行为和用户(项目)属性自然形成了一个异构的图结构,本文提出了一个特权图蒸馏模型PGD。教师模型是由一个异构的图形结构的温暖的用户和项目的特权CF链接。学生模型由一个没有CF链接的实体-属性图组成。具体来说,教师模型可以通过从构建的异构图中注入复杂的高阶关系来学习每个实体的更好嵌入。学生模型可以从教师嵌入学习具有特权CF嵌入的提取输出。我们提出的模型一般适用于不同的冷启动场景与新用户,新项目,或新用户新项目。最后,在真实世界数据集上的大量实验结果清楚地表明了我们提出的模型对不同类型的冷启动问题的有效性,在三个数据集上,平均$6.6\%, 5.6\%, $和$17.1\%$分别比最先进的基线有所改善。
2021-05-31 cs.IR cs.LG