GenRec: Generative Sequential Recommendation with Large Language Models
University of Michigan(密歇根大学)
将序列推荐视为序列到序列生成任务,提出基于大型语言模型的轻量级生成式模型GenRec,采用掩码物品预测目标学习双向序列模式,在多个公开数据集上取得最先进结果。
2024-08-29 cs.AI cs.CL cs.IR
Efficient Sequential Recommendation for Long Term User Interest Via Personalization
Meta Recommendation Systems (MRS)(Meta 推荐系统)
通过个性化技术压缩用户历史交互,提升顺序推荐的效率和准确性,适用于多种推荐模型。
2026-01-07 cs.AI cs.IR
Sequential LLM Framework for Fashion Recommendation
Washington University in St. Louis(圣路易斯华盛顿大学);Amazon(亚马逊公司);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出一种序列时尚推荐框架,利用预训练LLM结合推荐特定提示、参数高效微调和基于混合的检索技术,显著提升了时尚推荐性能。
2024-10-15 cs.AI cs.CL cs.IR
Sequential Recommendation with Relation-Aware Kernelized Self-Attention
最近的研究表明,顺序推荐是由注意力机制改善。通过这种发展,我们提出了一个自注意力机制的Transformer的概率模型的增强的感知核自注意力(RKSA)。Transformer最初的自注意力是一种确定性测度,没有关系意识。因此,我们引入了一个潜在的空间的自注意力力,和潜在的空间模型的推荐上下文的关系作为一个多变量的偏态正态分布与核化协方差矩阵的同现,项目的特点,和用户信息。该工作通过添加推荐任务细节的概率模型,将Transformer的自注意力和顺序推荐相结合。我们在基准数据集上进行了RKSA实验,与最近的基线模型相比,RKSA显示出显着的改进。此外,RKSA还能够生成一个潜在空间模型来回答推荐的原因。
2019-11-15 cs.IR cs.LG stat.ML
Empowering Denoising Sequential Recommendation with Large Language Model Embeddings
City University of Hong Kong(香港城市大学);Harbin Engineering University(哈尔滨工程大学)
针对序列推荐仅靠协同信息去噪易出现过度去噪(尤其对冷物品)的问题,提出融合协同与语义信息的IADSR两阶段框架,经四个公开数据集验证有效且兼容不同序列推荐系统。
2025-10-05 cs.AI cs.IR
DELRec: Distilling Sequential Pattern to Enhance LLMs-based Sequential Recommendation
Donghua University(东华大学);Macquarie University(麦考瑞大学)
本文提出DELRec框架,通过从传统序列推荐模型中蒸馏行为模式作为软提示,并微调LLMs利用该辅助信息,有效解决了现有LLMs推荐方法中文本信息有限、模型信息利用不充分及复杂度高的问题。
2024-12-18 cs.AI cs.IR
Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers
University of Louisville(路易斯维尔大学);Amazon(亚马逊);Meta
双向Transformer架构是最先进的顺序推荐模型,它使用基于完形填空任务的双向表示能力,也称为“完形填空”。屏蔽语言建模。后者旨在预测序列中随机掩蔽的项目。因为他们假设真正的互动项目是最相关的,暴露偏差的结果,其中具有低暴露倾向的非互动项目被认为是不相关的。最常见的方法,以减轻在建议的暴露偏差一直是逆倾向评分(IPS),其中包括降低权重的相互作用的预测在损失函数的比例,他们的暴露倾向,产生一个理论上无偏的学习。在这项工作中,我们认为,并证明IPS不扩展到顺序推荐,因为它没有考虑到问题的时间性质。然后,我们提出了一种新的倾向评分机制,理论上可以消除顺序推荐中完形填空任务的偏见。最后,我们实证证明了我们提出的方法的去偏置能力和它的鲁棒性的曝光偏差的严重程度。
2023-01-22 cs.IR cs.LG
Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information
Beijing Institute of Technology(北京理工大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出Laser框架,通过前缀和后缀双向插入可训练虚拟令牌实现参数高效的大语言模型序列推荐,并引入M-Former融合多样化用户协同信息,显著提升推荐准确性。
2024-09-03 cs.AI cs.IR
The Whole is Better than the Sum: Using Aggregated Demonstrations in In-Context Learning for Sequential Recommendation
Singapore Management University(新加坡管理大学)
提出LLMSRec-Syn方法,通过聚合多个演示用户增强上下文学习,在序列推荐中超越现有LLM方法,部分情况媲美监督学习。
2024-03-15 cs.AI cs.CL cs.IR
Déjà vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation
University of Virginia(弗吉尼亚大学)
根据用户的历史行为序列预测用户的偏好是现代推荐系统的关键和挑战。现有的顺序推荐算法在建模历史事件对当前预测的影响时,大多关注顺序行为之间的过渡结构,而忽略了时间和上下文信息。在本文中,我们认为,过去的事件对用户的当前行动的影响应该随着时间的推移和不同的上下文。因此,我们提出了一个语境化的时间注意力机制,它学会权衡历史行动的影响,不仅是什么行动,而且行动何时以及如何发生。更具体地说,为了动态地校准来自自注意力机制的相对输入依赖性,我们部署了多个参数化核函数来学习各种时间动态,然后使用上下文信息来确定每个输入遵循这些重新加权核中的哪一个。在对两个大型公共推荐数据集的实证评估中,我们的模型始终优于一组广泛的最先进的顺序推荐方法。
2020-01-29 cs.CL cs.IR cs.LG
Lost in Sequence: Do Large Language Models Understand Sequential Recommendation?
NAVER Corperation(NAVER公司);University of California San Diego(加州大学圣地亚哥分校)
该研究发现现有LLM4Rec模型未充分捕捉序列推荐中的序列信息,提出LLM-SRec方法,通过蒸馏预训练CF-SRec的用户表征增强LLM的序列理解能力,仅训练少量轻量MLP即达SOTA性能。
2025-06-11 cs.AI cs.IR
LLM2Rec: Large Language Models Are Powerful Embedding Models for Sequential Recommendation
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理学院)
提出LLM2Rec,通过两阶段训练框架将大型语言模型的语义理解与协同过滤信号结合,构建结构化物品嵌入模型,显著提升序列推荐在领域内外的性能。
2025-06-16 cs.AI cs.IR
Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation
University of Science and Technology of China(中国科学技术大学)
针对LLM序列推荐缺乏协同过滤信息的问题,提出多模态框架Molar,通过统一多模态物品表示与后对齐协同信号,显著提升序列推荐准确性。
2024-12-30 cs.AI cs.IR
Improving LLM Interpretability and Performance via Guided Embedding Refinement for Sequential Recommendation
University of California, Berkeley(加州大学伯克利分校);Berkeley AI Research Lab (BAIR)(伯克利人工智能研究实验室);Tsinghua University(清华大学)
针对LLM集成到序列推荐系统中的可解释性与透明度问题,提出引导嵌入优化方法,以LLM为辅助工具生成领域语义引导嵌入并优化基础嵌入,实验表明该方法适配多种基础模型,泛化性好,可提升推荐性能(MRR等指标提升10%-50%)并增强可解释性。
2025-04-15 cs.AI cs.IR
Bidirectional Knowledge Distillation for Enhancing Sequential Recommendation with Large Language Models
Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
提出LLMD4Rec双向蒸馏框架,通过动态交互知识交换增强序列推荐,无需额外参数且不增推理成本,显著提升推荐准确性。
2025-05-23 cs.AI cs.IR
LLM4DSR: Leveraging Large Language Model for Denoising Sequential Recommendation
Zhejiang University(浙江大学);OPPO Co Ltd(OPPO公司)
针对序列推荐中的噪声交互问题,本文提出LLM4DSR,通过自监督微调与不确定性估计让LLM识别并校正噪声,且可适配多种推荐模型。
2025-06-07 cs.AI cs.IR
MEANTIME: Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation
Seoul National University(首尔大学);POSTECH(浦项工科大学);Neural Processing Research Center(神经处理研究中心)
近年来,基于自我注意的推荐模型在顺序推荐任务中取得了很好的效果。遵循语言处理的习惯,这些模型中的大多数依赖于简单的位置嵌入来利用用户历史的顺序性质。然而,目前的方法有一些局限性。首先,顺序推荐与语言处理的不同之处在于时间戳信息是可用的。以前的模型没有很好地利用它来提取额外的上下文信息。其次,使用简单的嵌入方案可能导致信息瓶颈,因为相同的嵌入必须代表所有可能的上下文偏见。第三,由于以前的模型在每个注意力头部中使用相同的位置嵌入,它们可以浪费地学习重叠模式。为了解决这些限制,我们提出了MEANTIME(AtteNTION机制与多时间嵌入的混合),它采用多种类型的时间嵌入,旨在从用户的行为序列中捕获各种模式,以及充分利用这种多样性的注意力结构。对真实数据的实验表明,我们提出的方法优于当前最先进的顺序推荐方法,我们提供了一个广泛的消融研究,分析模型如何从不同的位置信息中获益。
2020-08-21 cs.IR cs.LG stat.ML
Transformers with multi-modal features and post-fusion context for e-commerce session-based recommendation
NVIDIA(英伟达)
基于会话的推荐是电子商业服务中的一项重要任务,其中大量用户匿名浏览或可能对不同的会话具有非常不同的兴趣。在本文中,我们介绍了SIGIR 2021电子商业数据挑战研讨会推荐任务的获奖解决方案之一。我们的解决方案受到NLP技术的启发,由两个Transformer架构的集合组成- Transformer-XL和XLNet -使用自回归和自编码方法进行训练。为了利用比赛中提供的大部分丰富数据集,我们描述了如何通过将表格事件与文本和图像向量相结合来准备多模型特征。我们还提出了一个模型预测分析,以更好地了解我们的架构的有效性,基于会话的建议。
2021-07-11 cs.IR cs.LG cs.NE
Fisher-Weighted Merge of Contrastive Learning Models in Sequential Recommendation
Seoul National University(首尔国立大学)
本文首次将Fisher-Merging方法引入序列推荐,通过合并多个对比学习模型参数实现稳健微调,有效缓解数据稀疏问题并提升推荐性能。
2023-07-05 cs.AI cs.IR cs.LG
Bridging User Dynamics: Transforming Sequential Recommendations with Schrödinger Bridge and Diffusion Models
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
针对现有基于扩散模型的序列推荐受高斯先验限制、缺失用户个性化信息的问题,该研究引入薛定谔桥构建SdifRec模型,以用户当前状态为扩散先验,还提出结合用户聚类引导的con-SdifRec,经多基准实验验证了有效性、效率与鲁棒性。
2024-08-30 cs.AI cs.IR cs.LG
TV-Rec: Time-Variant Convolutional Filter for Sequential Recommendation
KAIST(韩国科学技术院)
TV-Rec通过引入时间变换单元卷积滤波器,提升了序列推荐中对复杂用户行为交互模式的捕捉能力,同时减少了计算量并加速了推理过程。
2025-10-29 cs.AI cs.IR cs.LG
Does It Look Sequential? An Analysis of Datasets for Evaluation of Sequential Recommendations
Sber AI Lab(Sber AI实验室);Lomonosov Moscow State University (MSU)(莫斯科罗蒙诺索夫国立大学)
本文通过随机打乱用户交互序列并比较指标,评估了15个常用序列推荐数据集的序列结构强度,发现部分流行数据集的序列结构相当弱。
2024-08-21 cs.AI cs.IR cs.LG
Sequential Recommendation Model for Next Purchase Prediction
Ernst & Young LLP(安永会计师事务所)
本文利用270万笔信用卡交易数据,提出结合自编码器与GRU的序列推荐模型预测用户下次购买,在样本外测试集上MAP@1达47%,并探讨了将其嵌入Nexus实时数字体验架构的应用意义。
2023-06-30 cs.AI cs.IR cs.LG
Multi-intent Aware Contrastive Learning for Sequential Recommendation
Shenzhen University(深圳大学);Shenzhen Technology University(深圳技术大学)
针对现有对比学习序列推荐模型依赖单意图表示、过度简化真实场景的问题,提出多意图感知的对比学习思路,指出融入多意图信息的序列推荐模型能更准确反映真实推荐场景。
2024-09-13 cs.LG
AdaptiveRec: Adaptively Construct Pairs for Contrastive Learning in Sequential Recommendation
Seoul National University(首尔国立大学)
本文提出AdaptiveRec方法,通过自适应构建对比学习样本对,缓解序列推荐中的假阴性问题,提升物品嵌入质量与推荐性能。
2023-07-07 cs.IR cs.LG
Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation
University of Science and Technology of China(中国科学技术大学)
针对预训练语言模型在实时推荐中推理慢的问题,提出基于知识蒸馏的两阶段序列推荐算法,将预训练知识迁移至轻量级模型,在提升准确率的同时实现及时推荐。
2024-09-23 cs.IR cs.LG
End-to-End Graph-Sequential Representation Learning for Accurate Recommendations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI))
本文提出一种端到端多表示学习框架,协同训练序列与图组件,在多个数据集上显著提升推荐性能。
2024-03-15 cs.AI cs.IR cs.LG
Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Pinterest Inc.(拼趣公司)
用户交互中的顺序模式对于表示用户的偏好和捕获项目之间的潜在关系至关重要。最近Transformers在序列建模方面的进步促使社区为序列推荐设计更有效的编码器。大多数现有的顺序方法假设用户是确定性的。然而,项目-项目转换可能会在几个项目方面波动很大,并表现出用户兴趣的随机性。该\textit{stochastic characteristics}提出了在表示序列和项时包含不确定性的可靠需求。此外,对具有不确定性的序列和项目进行建模扩展了用户和项目的交互空间,从而进一步缓解了冷启动问题。在这项工作中,我们提出了一个基于分布的Transformer顺序推荐(DT 4SR),它注入不确定性的顺序建模。我们使用椭圆高斯分布来描述具有不确定性的项目和序列。我们将项目和序列中的不确定性描述为椭圆高斯分布。并采用Wasserstein距离来度量分布之间的相似性。我们设计了两个新的变压器建模的均值和协方差,这保证了正定性的分布。所提出的方法显着优于国家的最先进的方法。在三个基准数据集上的实验也证明了它在缓解冷启动问题方面的有效性。该代码可在https://www.example.com上获得。github.com/DyGRec/DT4SR
2021-06-11 cs.AI cs.IR cs.LG
Attention Mixtures for Time-Aware Sequential Recommendation
Deezer Research(Deezer研究院)
本文提出MOJITO,一种改进的Transformer序列推荐系统,利用基于注意力的时间上下文和物品嵌入表示的高斯混合体进行序列建模,在多个真实数据集上超越现有方法。
2023-07-03 cs.IR cs.LG
Towards More Robust and Accurate Sequential Recommendation with Cascade-guided Adversarial Training
Rutgers University(罗格斯大学);Salesforce Research(赛富时研究院)
针对序列推荐模型因级联效应和过度依赖时间信息而鲁棒性不足的问题,提出利用级联效应生成物品嵌入对抗扰动的级联引导对抗训练方法,在四个公开数据集上验证其能同时提升排序准确性和鲁棒性。
2024-01-16 cs.IR cs.LG
Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding
Simon Fraser University(西蒙弗雷泽大学)
前- $N$顺序推荐将每个用户建模为过去交互的项目序列,旨在预测用户可能在“不久的将来”交互的前- $N$排名项目。交互的顺序意味着序列模式在序列中最近的项目对下一个项目有更大的影响时起着重要的作用。在本文中,我们提出了一个卷积序列嵌入推荐模型(\emph{Caser})作为解决方案,以满足这一要求。其思想是将最近项目的序列嵌入到时间和潜在空间中的“图像”中,并使用卷积滤波器将序列模式作为图像的局部特征进行学习。这种方法提供了一个统一和灵活的网络结构,用于捕获一般偏好和顺序模式。在公共数据集上的实验表明,Caser在各种常见的评估指标上始终优于最先进的顺序推荐方法。
2018-09-19 cs.IR cs.LG
Sequential Modelling with Applications to Music Recommendation, Fact-Checking, and Speed Reading
University of Copenhagen(哥本哈根大学)
顺序建模需要理解顺序数据,这自然发生在广泛的领域中。一个示例是与用户交互、记录用户动作和行为并基于用户先前的交互来向用户推荐潜在感兴趣的项目的系统。在这种情况下,用户交互的顺序通常指示用户接下来感兴趣的是什么。类似地,对于自动推断文本语义的系统来说,捕捉句子中单词的顺序是必不可少的,因为即使是轻微的重新排序也会显著改变其原始含义。本文提出了方法论的贡献和新的调查顺序建模的系统,推荐音乐曲目的听众和系统,处理文本语义,以自动事实检查索赔,或“快速阅读”的文本有效的进一步分类的特定应用领域。(Rest由于arXiv摘要限制而省略的摘要)
2021-09-11 cs.AI cs.CL cs.IR
Learnable Model Augmentation Self-Supervised Learning for Sequential Recommendation
Soochow University(苏州大学);Suzhou Vocational University(苏州市职业大学);Macquarie University(麦考瑞大学);Beihang University(北京航空航天大学);Rutgers University(罗格斯大学);The University of Central Arkansas(中阿肯色大学)
顺序推荐的目标是根据用户行为预测下一个项目。最近,已经提出了自监督学习(SSL)来提高推荐性能。然而,大多数现有的SSL方法使用统一的数据增强方案,这丢失了原始序列的序列相关性。为此,在本文中,我们提出了一个可学习的模型增强自监督学习顺序推荐(LMA 4 Rec)。具体来说,LMA4Rec首先将模型增强作为数据增强的补充方法来生成视图。然后,LMA4Rec使用可学习的Bernoulli dropout来实现模型增强可学习操作。接下来,在对比视图之间使用自监督学习以从原始序列中提取自监督信号。最后,在三个公开数据集上的实验表明,与基线方法相比,LMA4Rec方法有效地提高了顺序推荐性能.
2022-04-21 cs.IR cs.LG
Tensor-based Sequential Learning via Hankel Matrix Representation for Next Item Recommendations
Skolkovo Institute of Science;Artificial Intelligence Research Institute, 105064, Moscow, Russia
最近,自我关注的Transformer模型已经被证明可以非常有效地解决下一个项目的推荐任务。学习到的注意力权重捕捉用户行为中的顺序动态,并且具有很好的泛化能力。由于学习参数空间的特殊结构,我们质疑是否有可能用另一种更轻量级的方法来模仿它。我们开发了一种新的基于张量分解的模型,该模型在学习过程中嵌入了有关序列数据的结构知识。我们演示了如何自我注意网络的某些属性可以复制与我们的方法基于特殊的汉克尔矩阵表示。由此产生的模型有一个浅的线性结构,并与其神经对应物竞争。
2022-12-12 cs.AI cs.IR cs.LG
Deep Learning for Sequential Recommendation: Algorithms, Influential Factors, and Evaluations
Shanghai University of Finance and Economics(上海财经大学);Northeastern University(东北大学)
在顺序推荐领域,基于深度学习(DL)的方法在过去几年中受到了很多关注,并超过了基于马尔可夫链和基于因子分解的传统模型。然而,很少有系统的研究,特别是关于如何设计一个有效的DL模型的顺序推荐。因此,本文针对上述问题,重点研究了基于DL的顺序推荐系统。具体来说,我们说明了顺序推荐的概念,提出了一个现有的算法分类的三种类型的行为序列,总结了影响基于DL的模型的性能的关键因素,并进行相应的评估,以证明这些因素的影响。我们通过系统地概述这一领域的未来方向和挑战来结束这一调查。
2020-10-10 cs.IR cs.LG
Measuring Recency Bias In Sequential Recommendation Systems
Seoul National University(首尔大学)
本研究针对序列推荐系统的近因偏差问题,提出了一种量化该偏差的新型指标,实验证实高近因偏差会损害推荐性能,缓解后可提升所有评估模型的表现,凸显了测量近因偏差的重要性。
2024-09-15 cs.IR cs.LG
Sequential Recommendation with Dual Side Neighbor-based Collaborative Relation Modeling
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
顺序推荐任务的目的是根据用户的历史行为预测用户对未来项目的偏好。用户行为的顺序意味着在行为历史中嵌入了丰富的序列模式,这些模式揭示了用户兴趣的潜在动态。提出了各种顺序推荐方法来建模动态用户行为。然而,大多数模型只考虑了用户自身的行为和动态,而忽略了用户和项目之间的协作关系,即,用户的相似品味或物品的相似属性。由于没有对协作关系进行建模,这些方法缺乏推荐多样性,因此可能具有更差的性能。更糟糕的是,大多数现有的方法只考虑用户端的序列,而忽略了项目端的时间动态。为了解决目前的顺序推荐模型的问题,我们提出了顺序协作推荐(SCoRe),有效地挖掘高阶协作信息,使用跨邻居关系建模,并利用用户端和项目端的历史序列,以更好地捕捉用户和项目的动态。在三个真实世界的大规模数据集上的实验表明,该模型优于强基线。
2019-11-10 cs.IR cs.LG
Counterfactual Evaluation of Slate Recommendations with Sequential Reward Interactions
Netflix;Spotify
音乐流、视频流、新闻推荐和电子商务服务的用户通常以顺序的方式参与内容。因此,提供和评估良好的推荐序列是这些服务的核心问题。先前基于重加权的反事实评估方法要么遭受高方差,要么对奖励做出强独立性假设。我们提出了一个新的反事实估计,允许顺序的相互作用,在一个渐进无偏的方式,在较低的方差的奖励。我们的方法使用图形假设的因果关系的石板重新加权的奖励在日志记录政策的方式,近似的预期总和的奖励下的目标政策。在模拟和现场推荐系统上的大量实验表明,我们的方法优于现有的方法的偏见和数据效率的顺序跟踪推荐问题。
2020-08-24 cs.IR cs.LG stat.ML
Personalized Transformer for Explainable Recommendation
Hong Kong Baptist University(香港浸会大学);Rutgers University(罗格斯大学)
自然语言生成的个性化在诸如可解释的推荐、评论摘要和对话系统等大量任务中起着至关重要的作用。在这些任务中,用户和项目ID是个性化的重要标识符。Transformer被证明具有强大的语言建模能力,然而,它不是个性化的,并且不能利用用户和项目ID,因为ID标记甚至与单词不在相同的语义空间中。针对这一问题,本文提出了一种用于解释性推荐的个性化Transformer(PETER),并在此基础上设计了一个简单有效的学习目标,利用识别码预测目标解释中的单词,从而赋予识别码以语言学意义,实现个性化的Transformer。除了生成解释,PETER还可以提出建议,这使其成为整个解释-解释管道的统一模型。大量的实验表明,我们的小型未经预训练的模型在生成任务上的有效性和效率方面优于微调的BERT,这突出了我们设计的重要性和良好的实用性。
2021-06-05 cs.AI cs.CL cs.IR
Sequential Recommendation with Self-Attentive Multi-Adversarial Network
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
最近,深度学习在顺序推荐任务上取得了重大进展。现有的神经序列预测器通常采用最大似然估计(MLE)训练的生成方式。当涉及到上下文信息(称为因素)时,很难分析每个单独的因素何时以及如何影响最终的推荐性能。为此,我们采取了一个新的视角,将对抗学习引入序列推荐。在本文中,我们提出了一个多因素生成对抗网络(MFGAN)显式建模上下文信息的顺序推荐的效果。具体来说,我们提出的MFGAN有两种模块:一个基于transformer的生成器,以用户行为序列为输入,推荐可能的下一个项目,和多个特定因素的判别器,从不同因素的角度来评估生成的子序列。在参数学习方面,采用经典的策略梯度方法,并利用鉴别器的奖励信号指导生成器的学习。我们的框架是灵活的,将多种因素的信息,并能够跟踪每个因素如何有助于随着时间的推移的建议决策。在三个真实世界的数据集上进行的大量实验表明,我们提出的模型在有效性和可解释性方面优于最先进的方法。
2020-05-21 cs.IR cs.LG
CSRec: Rethinking Sequential Recommendation from A Causal Perspective
University of Maryland, College Park(马里兰大学帕克分校)
本文提出因果序列推荐框架CSRec,通过预测推荐物品接受概率并回溯决策成因,隔离推荐系统等因素影响,且可融入现有方法,实验证明其显著优于基线。
2024-08-23 cs.IR cs.LG
Sequential recommendation with metric models based on frequent sequences
INSA Lyon(里昂国立应用科学学院);CNRS(法国国家科学研究中心);LIRIS UMR5205;Visiativ;Université Lyon1(里昂第一大学)
建模用户偏好(长期历史)和用户动态(短期历史)是建立高效的顺序推荐系统的最重要的。挑战在于成功地结合整个用户的历史和他最近的行动(顺序动态),以提供个性化的建议。现有的方法捕获顺序动态的用户使用固定顺序马尔可夫链(通常是一阶链),而不管用户,这限制了用户的过去的影响,建议和能力,以适应其长度的用户简档。在这篇文章中,我们建议使用频繁序列来识别用户历史中最相关的部分。最突出的项目,然后在一个统一的度量模型中使用,该模型嵌入基于用户偏好和顺序动态的项目。大量的实验表明,我们的方法优于最先进的,特别是在稀疏数据集。我们表明,考虑不同长度的序列,提高了建议,我们还强调,这些序列提供的建议解释。
2020-08-12 cs.IR cs.LG stat.ML
Determinantal Point Process Likelihoods for Sequential Recommendation
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
顺序推荐是学术研究中的热门任务,并且接近现实世界的应用场景,其中目标是基于他/她先前的动作序列来预测用户的下一个动作。在推荐系统的训练过程中,损失函数在指导推荐模型的优化,为用户提供准确的推荐方面起着至关重要的作用。然而,大多数现有的顺序推荐技术的重点是设计算法或神经网络架构,并没有努力定制损失函数,自然适合顺序推荐系统的实际应用场景。基于排序的损失,如交叉熵和贝叶斯个性化排序(BPR)被广泛应用于顺序推荐领域。我们认为,这样的目标函数有两个固有的缺点:i)在这些损失公式中忽略了序列元素之间的依赖关系; ii)而不是平衡准确性(质量)和多样性,只生成准确的结果被过度强调。因此,我们提出了两个新的损失函数的基础上的决定点过程(DPP)的可能性,可以自适应地应用于估计后续项目或项目。DPP分布的项目集捕获时间动作之间的自然依赖关系,DPP内核的质量与多样性分解推动我们超越面向精度的损失函数。在三个真实数据集上使用所提出的损失函数的实验结果表明,在质量和多样性度量方面,与最先进的顺序推荐方法相比,有明显的改进。
2022-04-25 cs.IR cs.LG
S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization
School of Information, Renmin University of China(中国人民大学信息学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(大数据管理与分析方法北京市重点实验室);Meituan-Dianping Group(美团点评集团);Université de Montréal(蒙特利尔大学)
最近,利用深度学习的顺序推荐取得了重大进展。现有的神经顺序推荐模型通常依赖于项目预测损失来学习模型参数或数据表示。然而,用这种损失训练的模型容易遭受数据稀疏问题。由于它过分强调最终的性能,上下文数据和序列数据之间的关联或融合没有被很好地捕获和利用顺序推荐。为了解决这个问题,我们提出了模型S^3-Rec,代表顺序推荐的自监督学习,基于自注意神经结构。我们的方法的主要思想是利用内在的数据相关性来获得自我监督信号,并通过预训练方法来增强数据表示,以改善顺序推荐。对于我们的任务,我们设计了四个辅助的自我监督的目标,学习属性,项目,子序列,序列之间的相关性,利用互信息最大化(MIM)原则。MIM提供了一种统一的方法来表征不同类型数据之间的相关性,这特别适合我们的场景。在六个真实数据集上进行的大量实验表明,我们提出的方法优于现有的最先进的方法,特别是当只有有限的训练数据。此外,我们还将自监督学习方法推广到其他推荐模型中,也提高了它们的性能。
2020-08-18 cs.IR cs.LG
TEA: A Sequential Recommendation Framework via Temporally Evolving Aggregations
Guangdong University of Technology(广东工业大学);Tencent Technology (SZ) Co., Ltd.(腾讯科技(深圳)有限公司);Cornell University(康奈尔大学)
顺序推荐的目的是在给定用户历史行为的特定时间点为用户选择最合适的项目。现有的方法通常基于马尔可夫链等基于转变的方法对用户行为序列进行建模。然而,这些方法也隐含地假设用户是彼此独立的,而没有考虑用户之间的影响。事实上,这种影响在序列推荐中起着重要的作用,因为用户的行为很容易受到其他人的影响。因此,希望聚合用户行为和用户之间的影响,这是在时间上演变的,并涉及到用户和项目的异构图。在本文中,我们将动态用户项异构图,提出了一种新的顺序推荐框架。结果,可以考虑历史行为以及用户之间的影响。为了实现这一点,我们首先形式化的顺序推荐作为一个问题,以估计条件概率给定的时间动态异构图和用户行为序列。之后,我们利用条件随机场聚合的异构图和用户行为的概率估计,并采用伪似然方法来推导出一个易于处理的目标函数。最后,我们提供了所提出的框架的可扩展和灵活的实现。在三个真实数据集上的实验结果不仅证明了该方法的有效性,而且为序列推荐提供了一些有意义的发现。
2022-07-08 cs.IR cs.LG
A Systematic Survey on Federated Sequential Recommendation
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);The Hong Kong Polytechnic University(香港理工大学)
本文系统综述了联邦序列推荐(FedSR),在介绍其背景与挑战的基础上,从两个层面梳理现有技术,并探讨关键挑战与未来方向。
2025-02-19 cs.IR cs.LG
Lightweight Self-Attentive Sequential Recommendation
The University of Queensland(昆士兰大学)
现代深度神经网络(DNN)通过在各种顺序推荐任务上实现最先进的推荐性能,极大地促进了顺序推荐系统的开发。给定交互项的序列,现有的基于DNN的顺序排序器通常将每个项嵌入到唯一向量中以支持用户兴趣的后续计算。然而,由于潜在的大量项目,顺序推荐器的过参数化项目嵌入矩阵已经成为资源受限环境中有效部署的存储器瓶颈,例如,智能手机和其他边缘设备。此外,我们观察到,广泛使用的多头自我注意,虽然是有效的建模项目之间的顺序依赖关系,在很大程度上依赖于冗余的注意力单元,以充分捕捉全球和本地项目的项目转移模式的序列。本文介绍了一种用于顺序推荐的新型轻量级自关注网络(LSAN)。为了积极地压缩原始嵌入矩阵,LSAN利用了组合嵌入的概念,其中每个项嵌入都是通过合并从小得多的嵌入矩阵中导出的一组选定的基本嵌入向量来组成的。同时,考虑到每个项目的内在动态,我们进一步提出了一个时间上下文感知的嵌入组合方案。此外,我们开发了一种创新的双注意力网络,它在保留捕获长期和短期(即,全局和局部)项依赖性。综合实验表明,LSAN显着提高了现有的顺序排序器的准确性和内存效率。
2021-08-25 cs.IR cs.LG
CosRec: 2D Convolutional Neural Networks for Sequential Recommendation
University of California, San Diego(加州大学圣地亚哥分校)
序列模式在构建现代推荐系统中起着重要的作用。为此,几个推荐系统已经建立在马尔可夫链和递归模型(等)之上。尽管这些顺序模型在一系列任务中已经被证明是成功的,但它们仍然难以揭示用户购买历史中嵌套的复杂关系。在本文中,我们认为,成对关系建模直接导致一个有效的表示顺序功能,并捕捉复杂的项目相关性。具体来说,我们提出了一个用于顺序推荐的2D卷积网络(CosRec)。它将一系列项编码为三向张量;使用2D卷积滤波器学习局部特征;并以前馈方式聚合高阶交互。在两个公共数据集上的定量结果表明,我们的方法优于传统方法和最近的基于序列的方法,在各种评估指标上实现了最先进的性能。
2019-08-27 cs.IR cs.LG
Improving Sequential Recommendation Consistency with Self-Supervised Imitation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
大多数顺序推荐模型捕捉用户-项目交互历史中连续项目的特征。虽然有效,但它们的表示表达能力仍然受到稀疏学习信号的阻碍。因此,顺序推荐器容易做出不一致的预测。在本文中,我们提出了一个模型,SSI,以提高自我监督模仿的顺序推荐一致性。准确地说,我们提取的一致性知识,利用三个自我监督的预训练任务,其中时间一致性和人物角色一致性捕捉用户交互动态的时间顺序和人物角色的敏感性,分别。此外,为了提供具有全局视角的模型,通过最大化全局和局部交互序列之间的互信息来引入全局会话一致性。最后,为了综合利用一致性增强知识的所有三个独立方面,我们建立了一个集成的模仿学习框架。一致性知识被有效地内化,并通过模仿传统的预测logit以及一致性增强的项目表示转移到学生模型。此外,灵活的自我监督模仿框架也可以使其他学生学习者受益。四个真实世界的数据集上的实验表明,SSI有效地优于国家的最先进的顺序推荐方法。
2021-06-29 cs.IR cs.LG
Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation
Shanghai Jiao Tong University(上海交通大学);University of Michigan-Shanghai Jiao Tong University Joint Institute(密歇根大学-上海交通大学联合学院);School of Cyber Science and Engineering(网络空间科学与工程学院);School of Software(软件学院)
序贯推荐作为一个新兴的研究课题,由于其重要的现实意义而受到越来越多的关注。基于深度学习和注意力机制的模型在顺序推荐中取得了良好的性能。近年来,基于变分自编码器(VAE)的生成式模型在协同过滤中显示出独特的优势。特别地,序列VAE模型作为VAE的递归版本,可以有效地捕获用户序列中项目之间的时间依赖性并执行序列推荐。然而,基于VAE的模型遭受一个共同的限制,即所获得的近似后验分布的代表性能力是有限的,从而导致生成的样本的质量较低。对于生成序列尤其如此。为了解决上述问题,在这项工作中,我们提出了一种新的方法称为对抗和对比变分自编码器(ACVAE)的顺序推荐。具体来说,我们首先介绍了在对抗变分贝叶斯(AVB)框架下用于序列生成的对抗训练,这使得我们的模型能够生成高质量的潜变量。然后,我们使用对比损失。潜变量将能够通过最小化对比损失来学习更多个性化和显著的特征。此外,在对序列进行编码时,我们采用了递归和卷积结构来捕获序列中的全局和局部关系。最后,我们在四个真实世界的数据集上进行了广泛的实验。实验结果表明,我们提出的ACVAE模型优于其他国家的最先进的方法。
2021-03-19 cs.IR cs.LG
Behavior Sequence Transformer for E-commerce Recommendation in Alibaba
Alibaba Search\&Recommendation Group Beijing\&Hangzhou China;Alibaba Search\&Recommendation Group
基于深度学习的方法已广泛用于工业推荐系统(RS)中。以前的作品采用嵌入和MLP范式:原始特征嵌入到低维向量中,然后将其输入到MLP中进行最终推荐。然而,大多数这些作品只是连接不同的功能,忽略了用户行为的连续性。在本文中,我们提出使用强大的Transformer模型来捕获用户的行为序列的序列信号在阿里巴巴的推荐。实验结果证明了该模型的优越性,并将其部署在淘宝网上,与两个基线相比,在线点击率(CTR)得到了显著提高。
2019-05-15 cs.IR cs.LG
Dynamic Memory based Attention Network for Sequential Recommendation
Texas A&M University(德克萨斯A&M大学);Alibaba Group(阿里巴巴集团);The Hong Kong Polytechnic University(香港理工大学)
顺序推荐在各种在线服务中变得越来越重要。它旨在从用户的历史交互中建模用户的动态偏好,并预测他们的下一个项目。真实系统上积累的用户行为记录可能会很长。这些丰富的数据为跟踪用户的实际兴趣带来了机会。先前的努力主要集中在基于相对较新的行为提出建议。然而,由于早期的交互可能会影响用户当前的选择,因此整体顺序数据可能无法得到有效利用。此外,由于现实世界的系统需要短的响应时间,因此在为每个用户执行推理时扫描整个行为序列变得不可容忍。为了弥补这一不足,我们提出了一种新的长序列推荐模型,称为动态基于记忆的注意力网络(DMAN)。它将整个长行为序列分割成一系列子序列,然后训练模型并维护一组内存块以保存用户的长期兴趣。为了提高记忆保真度,DMAN动态地抽象每个用户的长期兴趣到自己的记忆块,通过最小化的辅助重建损失。基于动态记忆,用户的短期和长期兴趣可以显式地提取和组合的有效联合推荐。四个基准数据集的实证结果表明,我们的模型在捕获长期依赖性方面优于各种最先进的序列模型。
2021-02-18 cs.IR cs.LG
Leveraging Negative Signals with Self-Attention for Sequential Music Recommendation
Georgia Institute of Technology(佐治亚理工学院);TU Wien(维也纳工业大学)
针对序列音乐推荐中短内容场景和会话级负反馈利用不足的问题,提出可嵌入多种深度架构的对比学习损失,用跳过曲目等负信号提升推荐效果。
2024-01-18 cs.IR cs.LG
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
Alibaba Group(阿里巴巴集团)
从用户的历史行为中建模用户的动态和不断变化的偏好是推荐系统的挑战和关键。先前的方法采用顺序神经网络(例如,递归神经网络)将用户的历史交互从左到右编码为隐藏表示,以进行推荐。虽然这些方法取得了令人满意的结果,他们往往假设一个严格的顺序,这并不总是实用的。我们认为,这种从左到右的单向架构限制了历史序列表示的权力。为此,我们介绍了一个双向编码器表示从Transformers顺序推荐(BERT4Rec)。然而,在深度双向模型中,联合条件作用于左上下文和右上下文会使训练变得微不足道,因为每个项目都可以间接地“看到目标项目”。为了解决这个问题,我们使用完形填空任务训练双向模型,通过联合调节其左右上下文来预测序列中的掩蔽项。与预测序列中每个位置的下一个项目相比,完形填空任务可以产生更多的样本来训练更强大的双向模型。在四个基准数据集上的大量实验表明,我们的模型始终优于各种最先进的序列模型。
2019-08-21 cs.IR cs.LG