Deep Learning for Sequential Recommendation: Algorithms, Influential Factors, and Evaluations
Shanghai University of Finance and Economics（上海财经大学）；Northeastern University（东北大学）
在顺序推荐领域，基于深度学习（DL）的方法在过去几年中受到了很多关注，并超过了基于马尔可夫链和基于因子分解的传统模型。然而，很少有系统的研究，特别是关于如何设计一个有效的DL模型的顺序推荐。因此，本文针对上述问题，重点研究了基于DL的顺序推荐系统。具体来说，我们说明了顺序推荐的概念，提出了一个现有的算法分类的三种类型的行为序列，总结了影响基于DL的模型的性能的关键因素，并进行相应的评估，以证明这些因素的影响。我们通过系统地概述这一领域的未来方向和挑战来结束这一调查。
2020-10-10 cs.IR cs.LG
Measuring Recency Bias In Sequential Recommendation Systems
Seoul National University（首尔大学）
本研究针对序列推荐系统的近因偏差问题，提出了一种量化该偏差的新型指标，实验证实高近因偏差会损害推荐性能，缓解后可提升所有评估模型的表现，凸显了测量近因偏差的重要性。
2024-09-15 cs.IR cs.LG
Sequential Recommendation with Dual Side Neighbor-based Collaborative Relation Modeling
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
顺序推荐任务的目的是根据用户的历史行为预测用户对未来项目的偏好。用户行为的顺序意味着在行为历史中嵌入了丰富的序列模式，这些模式揭示了用户兴趣的潜在动态。提出了各种顺序推荐方法来建模动态用户行为。然而，大多数模型只考虑了用户自身的行为和动态，而忽略了用户和项目之间的协作关系，即，用户的相似品味或物品的相似属性。由于没有对协作关系进行建模，这些方法缺乏推荐多样性，因此可能具有更差的性能。更糟糕的是，大多数现有的方法只考虑用户端的序列，而忽略了项目端的时间动态。为了解决目前的顺序推荐模型的问题，我们提出了顺序协作推荐（SCoRe），有效地挖掘高阶协作信息，使用跨邻居关系建模，并利用用户端和项目端的历史序列，以更好地捕捉用户和项目的动态。在三个真实世界的大规模数据集上的实验表明，该模型优于强基线。
2019-11-10 cs.IR cs.LG
Sequential Recommendation with Self-Attentive Multi-Adversarial Network
Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）
最近，深度学习在顺序推荐任务上取得了重大进展。现有的神经序列预测器通常采用最大似然估计（MLE）训练的生成方式。当涉及到上下文信息（称为因素）时，很难分析每个单独的因素何时以及如何影响最终的推荐性能。为此，我们采取了一个新的视角，将对抗学习引入序列推荐。在本文中，我们提出了一个多因素生成对抗网络（MFGAN）显式建模上下文信息的顺序推荐的效果。具体来说，我们提出的MFGAN有两种模块：一个基于transformer的生成器，以用户行为序列为输入，推荐可能的下一个项目，和多个特定因素的判别器，从不同因素的角度来评估生成的子序列。在参数学习方面，采用经典的策略梯度方法，并利用鉴别器的奖励信号指导生成器的学习。我们的框架是灵活的，将多种因素的信息，并能够跟踪每个因素如何有助于随着时间的推移的建议决策。在三个真实世界的数据集上进行的大量实验表明，我们提出的模型在有效性和可解释性方面优于最先进的方法。
2020-05-21 cs.IR cs.LG
CSRec: Rethinking Sequential Recommendation from A Causal Perspective
University of Maryland, College Park（马里兰大学帕克分校）
本文提出因果序列推荐框架CSRec，通过预测推荐物品接受概率并回溯决策成因，隔离推荐系统等因素影响，且可融入现有方法，实验证明其显著优于基线。
2024-08-23 cs.IR cs.LG
Determinantal Point Process Likelihoods for Sequential Recommendation
Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）
顺序推荐是学术研究中的热门任务，并且接近现实世界的应用场景，其中目标是基于他/她先前的动作序列来预测用户的下一个动作。在推荐系统的训练过程中，损失函数在指导推荐模型的优化，为用户提供准确的推荐方面起着至关重要的作用。然而，大多数现有的顺序推荐技术的重点是设计算法或神经网络架构，并没有努力定制损失函数，自然适合顺序推荐系统的实际应用场景。基于排序的损失，如交叉熵和贝叶斯个性化排序（BPR）被广泛应用于顺序推荐领域。我们认为，这样的目标函数有两个固有的缺点：i）在这些损失公式中忽略了序列元素之间的依赖关系; ii）而不是平衡准确性（质量）和多样性，只生成准确的结果被过度强调。因此，我们提出了两个新的损失函数的基础上的决定点过程（DPP）的可能性，可以自适应地应用于估计后续项目或项目。DPP分布的项目集捕获时间动作之间的自然依赖关系，DPP内核的质量与多样性分解推动我们超越面向精度的损失函数。在三个真实数据集上使用所提出的损失函数的实验结果表明，在质量和多样性度量方面，与最先进的顺序推荐方法相比，有明显的改进。
2022-04-25 cs.IR cs.LG
Is News Recommendation a Sequential Recommendation Task?
新闻推荐通常被建模为一个顺序推荐任务，它假设历史点击新闻具有丰富的短期依赖性。然而，在新闻推荐场景中，用户通常对新闻信息的时间多样性有很强的偏好，并且可能不倾向于连续点击类似的新闻，这与电子商务推荐等许多顺序推荐场景有很大不同。在本文中，我们研究新闻推荐是否可以被视为一个标准的顺序推荐问题。通过在两个真实数据集上的大量实验，我们发现将新闻推荐建模为顺序推荐问题是次优的。为了应对这一挑战，我们进一步提出了一个时间多样性感知的新闻推荐方法，可以促进候选新闻是从最近点击的新闻，这可以帮助预测未来的点击更准确。实验表明，我们的方法可以不断提高各种新闻推荐方法。
2021-08-26 cs.IR
S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization
School of Information, Renmin University of China（中国人民大学信息学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；Meituan-Dianping Group（美团点评集团）；Université de Montréal（蒙特利尔大学）
最近，利用深度学习的顺序推荐取得了重大进展。现有的神经顺序推荐模型通常依赖于项目预测损失来学习模型参数或数据表示。然而，用这种损失训练的模型容易遭受数据稀疏问题。由于它过分强调最终的性能，上下文数据和序列数据之间的关联或融合没有被很好地捕获和利用顺序推荐。为了解决这个问题，我们提出了模型S^3-Rec，代表顺序推荐的自监督学习，基于自注意神经结构。我们的方法的主要思想是利用内在的数据相关性来获得自我监督信号，并通过预训练方法来增强数据表示，以改善顺序推荐。对于我们的任务，我们设计了四个辅助的自我监督的目标，学习属性，项目，子序列，序列之间的相关性，利用互信息最大化（MIM）原则。MIM提供了一种统一的方法来表征不同类型数据之间的相关性，这特别适合我们的场景。在六个真实数据集上进行的大量实验表明，我们提出的方法优于现有的最先进的方法，特别是当只有有限的训练数据。此外，我们还将自监督学习方法推广到其他推荐模型中，也提高了它们的性能。
2020-08-18 cs.IR cs.LG
Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers
University of Louisville（路易斯维尔大学）；Amazon（亚马逊）；Meta
双向Transformer架构是最先进的顺序推荐模型，它使用基于完形填空任务的双向表示能力，也称为“完形填空”。屏蔽语言建模。后者旨在预测序列中随机掩蔽的项目。因为他们假设真正的互动项目是最相关的，暴露偏差的结果，其中具有低暴露倾向的非互动项目被认为是不相关的。最常见的方法，以减轻在建议的暴露偏差一直是逆倾向评分（IPS），其中包括降低权重的相互作用的预测在损失函数的比例，他们的暴露倾向，产生一个理论上无偏的学习。在这项工作中，我们认为，并证明IPS不扩展到顺序推荐，因为它没有考虑到问题的时间性质。然后，我们提出了一种新的倾向评分机制，理论上可以消除顺序推荐中完形填空任务的偏见。最后，我们实证证明了我们提出的方法的去偏置能力和它的鲁棒性的曝光偏差的严重程度。
2023-01-22 cs.IR cs.LG
TEA: A Sequential Recommendation Framework via Temporally Evolving Aggregations
Guangdong University of Technology（广东工业大学）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）；Cornell University（康奈尔大学）
顺序推荐的目的是在给定用户历史行为的特定时间点为用户选择最合适的项目。现有的方法通常基于马尔可夫链等基于转变的方法对用户行为序列进行建模。然而，这些方法也隐含地假设用户是彼此独立的，而没有考虑用户之间的影响。事实上，这种影响在序列推荐中起着重要的作用，因为用户的行为很容易受到其他人的影响。因此，希望聚合用户行为和用户之间的影响，这是在时间上演变的，并涉及到用户和项目的异构图。在本文中，我们将动态用户项异构图，提出了一种新的顺序推荐框架。结果，可以考虑历史行为以及用户之间的影响。为了实现这一点，我们首先形式化的顺序推荐作为一个问题，以估计条件概率给定的时间动态异构图和用户行为序列。之后，我们利用条件随机场聚合的异构图和用户行为的概率估计，并采用伪似然方法来推导出一个易于处理的目标函数。最后，我们提供了所提出的框架的可扩展和灵活的实现。在三个真实数据集上的实验结果不仅证明了该方法的有效性，而且为序列推荐提供了一些有意义的发现。
2022-07-08 cs.IR cs.LG
A Systematic Survey on Federated Sequential Recommendation
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；The Hong Kong Polytechnic University（香港理工大学）
本文系统综述了联邦序列推荐（FedSR），在介绍其背景与挑战的基础上，从两个层面梳理现有技术，并探讨关键挑战与未来方向。
2025-02-19 cs.IR cs.LG
Lightweight Self-Attentive Sequential Recommendation
The University of Queensland（昆士兰大学）
现代深度神经网络（DNN）通过在各种顺序推荐任务上实现最先进的推荐性能，极大地促进了顺序推荐系统的开发。给定交互项的序列，现有的基于DNN的顺序排序器通常将每个项嵌入到唯一向量中以支持用户兴趣的后续计算。然而，由于潜在的大量项目，顺序推荐器的过参数化项目嵌入矩阵已经成为资源受限环境中有效部署的存储器瓶颈，例如，智能手机和其他边缘设备。此外，我们观察到，广泛使用的多头自我注意，虽然是有效的建模项目之间的顺序依赖关系，在很大程度上依赖于冗余的注意力单元，以充分捕捉全球和本地项目的项目转移模式的序列。本文介绍了一种用于顺序推荐的新型轻量级自关注网络（LSAN）。为了积极地压缩原始嵌入矩阵，LSAN利用了组合嵌入的概念，其中每个项嵌入都是通过合并从小得多的嵌入矩阵中导出的一组选定的基本嵌入向量来组成的。同时，考虑到每个项目的内在动态，我们进一步提出了一个时间上下文感知的嵌入组合方案。此外，我们开发了一种创新的双注意力网络，它在保留捕获长期和短期（即，全局和局部）项依赖性。综合实验表明，LSAN显着提高了现有的顺序排序器的准确性和内存效率。
2021-08-25 cs.IR cs.LG
CosRec: 2D Convolutional Neural Networks for Sequential Recommendation
University of California, San Diego（加州大学圣地亚哥分校）
序列模式在构建现代推荐系统中起着重要的作用。为此，几个推荐系统已经建立在马尔可夫链和递归模型（等）之上。尽管这些顺序模型在一系列任务中已经被证明是成功的，但它们仍然难以揭示用户购买历史中嵌套的复杂关系。在本文中，我们认为，成对关系建模直接导致一个有效的表示顺序功能，并捕捉复杂的项目相关性。具体来说，我们提出了一个用于顺序推荐的2D卷积网络（CosRec）。它将一系列项编码为三向张量;使用2D卷积滤波器学习局部特征;并以前馈方式聚合高阶交互。在两个公共数据集上的定量结果表明，我们的方法优于传统方法和最近的基于序列的方法，在各种评估指标上实现了最先进的性能。
2019-08-27 cs.IR cs.LG
Improving Sequential Recommendation Consistency with Self-Supervised Imitation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
大多数顺序推荐模型捕捉用户-项目交互历史中连续项目的特征。虽然有效，但它们的表示表达能力仍然受到稀疏学习信号的阻碍。因此，顺序推荐器容易做出不一致的预测。在本文中，我们提出了一个模型，SSI，以提高自我监督模仿的顺序推荐一致性。准确地说，我们提取的一致性知识，利用三个自我监督的预训练任务，其中时间一致性和人物角色一致性捕捉用户交互动态的时间顺序和人物角色的敏感性，分别。此外，为了提供具有全局视角的模型，通过最大化全局和局部交互序列之间的互信息来引入全局会话一致性。最后，为了综合利用一致性增强知识的所有三个独立方面，我们建立了一个集成的模仿学习框架。一致性知识被有效地内化，并通过模仿传统的预测logit以及一致性增强的项目表示转移到学生模型。此外，灵活的自我监督模仿框架也可以使其他学生学习者受益。四个真实世界的数据集上的实验表明，SSI有效地优于国家的最先进的顺序推荐方法。
2021-06-29 cs.IR cs.LG
Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation
Shanghai Jiao Tong University（上海交通大学）；University of Michigan-Shanghai Jiao Tong University Joint Institute（密歇根大学-上海交通大学联合学院）；School of Cyber Science and Engineering（网络空间科学与工程学院）；School of Software（软件学院）
序贯推荐作为一个新兴的研究课题，由于其重要的现实意义而受到越来越多的关注。基于深度学习和注意力机制的模型在顺序推荐中取得了良好的性能。近年来，基于变分自编码器（VAE）的生成式模型在协同过滤中显示出独特的优势。特别地，序列VAE模型作为VAE的递归版本，可以有效地捕获用户序列中项目之间的时间依赖性并执行序列推荐。然而，基于VAE的模型遭受一个共同的限制，即所获得的近似后验分布的代表性能力是有限的，从而导致生成的样本的质量较低。对于生成序列尤其如此。为了解决上述问题，在这项工作中，我们提出了一种新的方法称为对抗和对比变分自编码器（ACVAE）的顺序推荐。具体来说，我们首先介绍了在对抗变分贝叶斯（AVB）框架下用于序列生成的对抗训练，这使得我们的模型能够生成高质量的潜变量。然后，我们使用对比损失。潜变量将能够通过最小化对比损失来学习更多个性化和显著的特征。此外，在对序列进行编码时，我们采用了递归和卷积结构来捕获序列中的全局和局部关系。最后，我们在四个真实世界的数据集上进行了广泛的实验。实验结果表明，我们提出的ACVAE模型优于其他国家的最先进的方法。
2021-03-19 cs.IR cs.LG
Leveraging Negative Signals with Self-Attention for Sequential Music Recommendation
Georgia Institute of Technology（佐治亚理工学院）；TU Wien（维也纳工业大学）
针对序列音乐推荐中短内容场景和会话级负反馈利用不足的问题，提出可嵌入多种深度架构的对比学习损失，用跳过曲目等负信号提升推荐效果。
2024-01-18 cs.IR cs.LG
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
Alibaba Group（阿里巴巴集团）
从用户的历史行为中建模用户的动态和不断变化的偏好是推荐系统的挑战和关键。先前的方法采用顺序神经网络（例如，递归神经网络）将用户的历史交互从左到右编码为隐藏表示，以进行推荐。虽然这些方法取得了令人满意的结果，他们往往假设一个严格的顺序，这并不总是实用的。我们认为，这种从左到右的单向架构限制了历史序列表示的权力。为此，我们介绍了一个双向编码器表示从Transformers顺序推荐（BERT4Rec）。然而，在深度双向模型中，联合条件作用于左上下文和右上下文会使训练变得微不足道，因为每个项目都可以间接地“看到目标项目”。为了解决这个问题，我们使用完形填空任务训练双向模型，通过联合调节其左右上下文来预测序列中的掩蔽项。与预测序列中每个位置的下一个项目相比，完形填空任务可以产生更多的样本来训练更强大的双向模型。在四个基准数据集上的大量实验表明，我们的模型始终优于各种最先进的序列模型。
2019-08-21 cs.IR cs.LG
When and What to Recommend: Joint Modeling of Timing and Content for Active Sequential Recommendation
School of Computing, Macquarie University（麦考瑞大学计算学院）；Oracle Analytics Cloud, Oracle Corporation（Oracle公司分析云）
PASRec通过联合建模时机与内容，主动预测用户交互时间并推荐感兴趣物品，优于现有基线方法。
2025-11-24 cs.IR cs.LG
Autoregressive Generation Strategies for Top-K Sequential Recommendations
Sber AI Lab（Sber AI实验室）；Skoltech, HSE University（斯克里普钦科技大学，俄罗斯联邦经济大学）
本文研究生成式Transformer在Top-K序列推荐中的应用，提出基于温度采样与多序列聚合的RRA和RA策略，在多个数据集上验证其在较长时间范围内优于传统Top-K预测和单序列自回归生成方法。
2024-09-26 cs.IR cs.LG
Producer-Fairness in Sequential Bundle Recommendation
Huawei Noah's Ark Lab（华为诺亚实验室）；Université d'Orléans（奥尔良大学）；Université Grenoble-Alpes（格勒诺布尔阿尔卑斯大学）
针对序列化捆绑推荐场景，本文形式化了生产者公平性问题，并提出精确求解、启发式及自适应方法，在保证推荐质量的同时实现物品组的公平曝光。
2025-06-25 cs.IR cs.LG
ContrastVAE: Contrastive Variational AutoEncoder for Sequential Recommendation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce（赛富时）
顺序推荐是一种利用用户行为序列中丰富信息的推荐方法，在实际推荐系统中得到了广泛的应用。然而，目前的方法存在以下问题：1）用户-项目交互的稀疏性，2）顺序记录的不确定性，3）长尾项目。在本文中，我们建议将对比学习纳入变分自编码器的框架中，以同时应对这些挑战。首先，我们介绍了一种新的训练目标，将传统的单视图ELBO扩展到双视图的情况下，并从理论上建立了VAE和对比学习之间的连接从双视图的角度。然后，我们提出了对比变分自编码器（简称ContrastVAE），一个两分支的VAE模型与对比正则化作为一个实施例的ContrastELBO顺序推荐。我们进一步介绍了两个简单而有效的增强策略，命名为模型增强和变分增强，以创建一个序列的第二个视图，从而使对比学习成为可能。在四个基准数据集上的实验证明了ContrastVAE和所提出的增强方法的有效性。代码可在https://github.com/YuWang-1024/ContrastVAE上获得
2022-12-05 cs.IR cs.LG
Modeling Dynamic User Preference via Dictionary Learning for Sequential Recommendation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Fudan University（复旦大学）
捕捉用户偏好的动态对于更好地预测用户未来的行为至关重要，因为用户偏好通常会随着时间的推移而漂移。许多现有的推荐算法--包括浅层和深层推荐算法--通常独立地对这种动态进行建模，即，用户静态和动态偏好没有在同一潜在空间下建模，这使得很难将它们融合以进行推荐。本文考虑将用户的序列行为嵌入到用户偏好的潜在空间中，即将序列转化为偏好的问题。为此，我们将顺序推荐任务表述为字典学习问题，其学习：1）共享字典矩阵，其每行表示跨用户共享的用户动态偏好的部分信号;以及2）使用与门控递归单元（GRU）集成的深度自回归模型的后验分布估计器，其可以选择字典的相关行来表示以他/她的过去行为为条件的用户的动态偏好。Netflix数据集上的定性研究表明，该方法可以捕获用户偏好随时间的漂移，多个真实世界数据集上的定量研究表明，与最先进的因子分解和神经顺序推荐方法相比，该方法可以实现更高的准确性。该代码可在https://github.com/cchao0116/S2PNM-TKDE2021上获得。
2022-04-02 cs.IR cs.LG
Dual-disentangle Framework for Diversified Sequential Recommendation
针对序列推荐中用户兴趣与意图纠缠导致多样性不足的问题，提出模型无关的双解耦框架DDSRec，通过交互建模和表示学习的解耦来平衡准确性与多样性，实验验证其有效性。
2025-08-05 cs.IR
Fisher-Weighted Merge of Contrastive Learning Models in Sequential Recommendation
Seoul National University（首尔国立大学）
本文首次将Fisher-Merging方法引入序列推荐，通过合并多个对比学习模型参数实现稳健微调，有效缓解数据稀疏问题并提升推荐性能。
2023-07-05 cs.AI cs.IR cs.LG
Cascading: Association Augmented Sequential Recommendation
近年来，基于用户行为的推荐在许多应用场景中显示出良好的效果。一般来说，现实世界中的顺序用户行为通常反映了顺序影响和关联关系的混合。然而，现有的顺序推荐方法主要集中在顺序关系，而忽略了关联关系。在本文中，我们提出了一个统一的方法，结合项目关联和顺序关系的顺序推荐。具体来说，我们编码的项目关联关系的项目共生图和挖掘它通过图嵌入的GCN。同时，我们通过一种广泛使用的基于RNN的顺序推荐方法GRU4Rec来建模顺序关系。这两个部分连接成一个级联式的端到端网络，这保证了项目关联和顺序关系的表示同时学习，使学习过程保持低复杂度。我们在三个广泛使用的真实世界数据集上进行了大量的实验：淘宝，亚马逊即时视频和亚马逊手机及配件。综合结果表明，该方法优于几个国家的最先进的方法。此外，还提供了一个定性的分析，以鼓励更好地了解在顺序推荐的关联关系，并说明性能增益正是从项目关联。
2019-10-17 cs.IR
Counterfactual Evaluation of Slate Recommendations with Sequential Reward Interactions
Netflix；Spotify
音乐流、视频流、新闻推荐和电子商务服务的用户通常以顺序的方式参与内容。因此，提供和评估良好的推荐序列是这些服务的核心问题。先前基于重加权的反事实评估方法要么遭受高方差，要么对奖励做出强独立性假设。我们提出了一个新的反事实估计，允许顺序的相互作用，在一个渐进无偏的方式，在较低的方差的奖励。我们的方法使用图形假设的因果关系的石板重新加权的奖励在日志记录政策的方式，近似的预期总和的奖励下的目标政策。在模拟和现场推荐系统上的大量实验表明，我们的方法优于现有的方法的偏见和数据效率的顺序跟踪推荐问题。
2020-08-24 cs.IR cs.LG stat.ML
Sequential Recommendation with Relation-Aware Kernelized Self-Attention
最近的研究表明，顺序推荐是由注意力机制改善。通过这种发展，我们提出了一个自注意力机制的Transformer的概率模型的增强的感知核自注意力（RKSA）。Transformer最初的自注意力是一种确定性测度，没有关系意识。因此，我们引入了一个潜在的空间的自注意力力，和潜在的空间模型的推荐上下文的关系作为一个多变量的偏态正态分布与核化协方差矩阵的同现，项目的特点，和用户信息。该工作通过添加推荐任务细节的概率模型，将Transformer的自注意力和顺序推荐相结合。我们在基准数据集上进行了RKSA实验，与最近的基线模型相比，RKSA显示出显着的改进。此外，RKSA还能够生成一个潜在空间模型来回答推荐的原因。
2019-11-15 cs.IR cs.LG stat.ML
Sequential recommendation with metric models based on frequent sequences
INSA Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；LIRIS UMR5205；Visiativ；Université Lyon1（里昂第一大学）
建模用户偏好（长期历史）和用户动态（短期历史）是建立高效的顺序推荐系统的最重要的。挑战在于成功地结合整个用户的历史和他最近的行动（顺序动态），以提供个性化的建议。现有的方法捕获顺序动态的用户使用固定顺序马尔可夫链（通常是一阶链），而不管用户，这限制了用户的过去的影响，建议和能力，以适应其长度的用户简档。在这篇文章中，我们建议使用频繁序列来识别用户历史中最相关的部分。最突出的项目，然后在一个统一的度量模型中使用，该模型嵌入基于用户偏好和顺序动态的项目。大量的实验表明，我们的方法优于最先进的，特别是在稀疏数据集。我们表明，考虑不同长度的序列，提高了建议，我们还强调，这些序列提供的建议解释。
2020-08-12 cs.IR cs.LG stat.ML
Improving End-to-End Sequential Recommendations with Intent-aware Diversification
顺序推荐通过对用户的顺序行为进行建模，捕捉用户的动态意图，能够向用户推荐准确的产品。以往的研究主要集中在推荐准确度的优化上，而忽略了推荐多样性，尽管推荐多样性是评价推荐性能的重要指标。大多数现有的方法来提高建议的多样性并不理想地适用于SR，因为它们假设用户意图是静态的，并依赖于后处理的建议列表，以促进多样性。我们同时考虑推荐准确性和多样性的SR提出了一个端到端的神经模型，称为意图感知的多样化顺序推荐（IDSR）。具体来说，我们引入了一个隐式意图挖掘模块（IIM）到SR捕捉不同的用户意图反映在用户的行为序列。然后，我们设计了一个意图感知的多样性促进（IDP）损失来监督IIM模块的学习，并迫使模型在训练过程中考虑推荐多样性。在两个基准数据集上的大量实验表明，IDSR在推荐多样性方面明显优于最先进的方法，同时产生相当或更高的推荐准确性。
2019-08-27 cs.IR
Sequential Recommendation for Cold-start Users with Meta Transitional Learning
顺序排序器面临的一个基本挑战是捕捉用户的顺序模式，以建模用户如何在项目之间传输。然而，在许多实际场景中，有大量的冷启动用户，只有最少的记录交互。其结果是，现有的顺序推荐模型将失去其预测能力，由于在学习顺序模式的用户只有有限的互动的困难。在这项工作中，我们的目标是改善顺序推荐的冷启动用户与一个新的框架名为MetaTL，学习模型的过渡模式的用户通过元学习。具体而言，建议MetaTL：（i）制定顺序推荐冷启动用户作为一个少样本学习问题;（ii）提取动态过渡模式与基于预防的架构用户之间;（iii）采用Meta过渡学习，使快速学习的冷启动用户只有有限的互动，导致准确的推理顺序的互动。
2021-07-13 cs.IR
Attribute-aware Diversification for Sequential Recommendations
用户更喜欢多样化的推荐而不是同质化的推荐。然而，大多数以前的工作顺序推荐不考虑多样性，并争取最大的准确性，导致同质的建议。在本文中，我们考虑到准确性和多样性，提出了一个属性感知的多样化顺序推荐（ADSR）。具体而言，ADSR利用可用的属性信息时，建模用户的顺序行为，同时学习用户的最有可能的项目进行交互，以及他们的属性偏好。然后，ADSR多样化的推荐项目的基础上预测的偏好的某些属性。两个基准数据集上的实验表明，ADSR可以有效地提供多样化的建议，同时保持准确性。
2020-08-03 cs.IR
Context-Aware Sequential Model for Multi-Behaviour Recommendation
针对现有序列推荐多忽略隐式交互、多行为模型难同时捕捉序列模式的问题，提出采用上下文感知多头自注意力与加权二元交叉熵损失的CASM模型，在四个数据集上表现优于当前最优方法。
2023-12-15 cs.IR
Déjà vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation
University of Virginia（弗吉尼亚大学）
根据用户的历史行为序列预测用户的偏好是现代推荐系统的关键和挑战。现有的顺序推荐算法在建模历史事件对当前预测的影响时，大多关注顺序行为之间的过渡结构，而忽略了时间和上下文信息。在本文中，我们认为，过去的事件对用户的当前行动的影响应该随着时间的推移和不同的上下文。因此，我们提出了一个语境化的时间注意力机制，它学会权衡历史行动的影响，不仅是什么行动，而且行动何时以及如何发生。更具体地说，为了动态地校准来自自注意力机制的相对输入依赖性，我们部署了多个参数化核函数来学习各种时间动态，然后使用上下文信息来确定每个输入遵循这些重新加权核中的哪一个。在对两个大型公共推荐数据集的实证评估中，我们的模型始终优于一组广泛的最先进的顺序推荐方法。
2020-01-29 cs.CL cs.IR cs.LG
PAS: A Position-Aware Similarity Measurement for Sequential Recommendation
当具有一定的项目间相似性度量时，常用的基于项目的协同过滤框架就成为一种典型的推荐方法。一方面，我们认识到一个设计良好的相似性度量是提供令人满意的推荐服务的关键。另一方面，推荐系统社区很少研究为顺序推荐设计的相似性度量。因此，在本文中，我们专注于设计一种新的相似性度量称为位置感知相似性（PAS）的顺序推荐。建议PAS是，据我们所知，第一个计数为基础的相似性度量，同时捕获的序列模式，从历史用户行为数据和输入序列内的项目位置信息。我们对四个公共数据集进行了广泛的实证研究，其中我们提出的基于PAS的方法即使与最先进的顺序推荐方法相比也具有竞争力的性能，包括最近的基于相似性的方法和两种基于GNN的方法。
2022-05-19 cs.IR
Sequential Recommendation via Adaptive Robust Attention with Multi-dimensional Embeddings
Salesforce（Salesforce公司）；University of Technology Sydney（悉尼科技大学）
针对序列推荐中用户行为多样及模型鲁棒性问题，提出ADRRec框架，结合多维时间上下文核嵌入、混合注意力与LNI正则化，实验表明其优于现有自注意力架构。
2024-09-08 cs.AI cs.IR cs.LG
Bridging User Dynamics: Transforming Sequential Recommendations with Schrödinger Bridge and Diffusion Models
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对现有基于扩散模型的序列推荐受高斯先验限制、缺失用户个性化信息的问题，该研究引入薛定谔桥构建SdifRec模型，以用户当前状态为扩散先验，还提出结合用户聚类引导的con-SdifRec，经多基准实验验证了有效性、效率与鲁棒性。
2024-08-30 cs.AI cs.IR cs.LG
Disentangled Counterfactual Reasoning for Unbiased Sequential Recommendation
本文提出DCR方法，通过解耦流行度与兴趣表示并构建结构因果图，结合反事实推理消除序列推荐中的流行度偏差，离线实验和在线A/B测试验证了其显著性能提升。
2023-08-05 cs.IR
Item Association Factorization Mixed Markov Chains for Sequential Recommendation
本文提出项目关联分解混合马尔可夫链算法，利用项目关联图融合项目间关联与用户行为序列信息，在四个公开数据集上以少量参数提升推荐排序效果。
2024-11-18 cs.IR
Contrastive Learning with Bidirectional Transformers for Sequential Recommendation
基于transformer的序列编码器的对比学习在序列推荐中取得了优势。它最大化共享相似语义的成对序列扩增之间的协议。然而，现有的顺序推荐对比学习方法主要采用从左到右的单向Transformers作为基本编码器，由于用户行为可能不是严格的从左到右的顺序，因此这种方法对于顺序推荐来说并不理想。为了解决这个问题，我们提出了一个新的框架，名为\textbf{C}对比学习与\textbf{Bi}定向\textbf{T} transformers顺序推荐（\textbf{CBiT}）。具体来说，我们首先应用滑动窗口技术的双向Transformers，这使得用户序列的更细粒度的划分长的用户序列。然后结合完形填空任务模板和丢弃模板生成高质量的正样本并进行多对对比学习，与常规的一对对比学习相比，该方法具有更好的性能和适应性。此外，我们还引入了一种新的动态损失权重调整策略来平衡完形填空任务损失和对比损失。在三个公共基准数据集上的实验结果表明，我们的模型优于最先进的顺序推荐模型。
2022-08-17 cs.IR
TV-Rec: Time-Variant Convolutional Filter for Sequential Recommendation
KAIST（韩国科学技术院）
TV-Rec通过引入时间变换单元卷积滤波器，提升了序列推荐中对复杂用户行为交互模式的捕捉能力，同时减少了计算量并加速了推理过程。
2025-10-29 cs.AI cs.IR cs.LG
KATRec: Knowledge Aware aTtentive Sequential Recommendations
顺序推荐系统基于用户与平台的历史交互来建模用户的动态偏好。尽管最近取得了进展，但在这样的系统中对用户的短期和长期行为进行建模是不平凡和具有挑战性的。为了解决这个问题，我们提出了一个解决方案，增强了一个知识图谱称为KATRec（知识感知的主动顺序建议）。KATRec通过对用户的交互项目序列进行建模，并通过知识图谱注意力网络利用预先存在的辅助信息，来学习用户的短期和长期兴趣。我们的新的知识图谱增强的顺序推荐包含项目的多关系在实体级和用户的动态序列在项目级。KATRec通过考虑高阶连接并在推荐下一个项目时将其纳入用户偏好表示来改进项目表示学习。在三个公共数据集上的实验表明，KATRec的性能优于最先进的推荐模型，并证明了对时间和辅助信息进行建模以实现高质量推荐的重要性。
2021-07-06 cs.IR
FairSR: Fairness-aware Sequential Recommendation through Multi-Task Learning with Preference Graph Embeddings
National Cheng Kung University（国立成功大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
顺序推荐（SR）从用户-项目交互的时间动态中学习，以预测下一个。公平性感知推荐减轻了用户偏好学习中的各种算法偏差。本文旨在将SR和算法公平性结合起来。我们提出了一种新的公平性感知的顺序推荐任务，在其中定义了一个新的度量，交互公平性，以估计如何推荐项目公平地与不同的保护属性组的用户进行交互。我们提出了一个基于多任务学习的深度端到端模型FairSR，它由两部分组成。一种是从给定的用户及其项目序列中学习和提取个性化的序列特征，用于SR。另一种是公平感知偏好图嵌入（FPGE）。FPGE的目标是双重的：将用户和项目的属性及其相关性的知识纳入实体表示，并减轻用户属性在项目上的不公平分布。在三个数据集上进行的大量实验表明，FairSR在推荐性能上优于最先进的SR模型。此外，FairSR推荐的项目也表现出良好的交互公平性。
2022-04-30 cs.IR cs.LG cs.SI
Sparse Autoencoders for Sequential Recommendation Models: Interpretation and Flexible Control
Sber AI Lab（Sber AI实验室）；Sber AI Lab, HSE University（Sber AI实验室，霍普金斯大学）
本文提出利用稀疏自编码器改进序列推荐模型的可解释性与可控性，通过无监督学习提取更清晰的特征表示，提升推荐系统的灵活性和适应性。
2026-02-17 cs.AI cs.IR cs.LG
Integrating Offline Reinforcement Learning with Transformers for Sequential Recommendation
针对序列推荐任务，提出一种基于预训练transformer初始化策略网络的完全离线强化学习框架，实验证明其收敛快速稳定且推荐质量优于监督学习方法。
2023-07-26 cs.IR
Recursive Attentive Methods with Reused Item Representations for Sequential Recommendation
序贯推荐的目的是根据用户的历史交互行为推荐用户感兴趣的下一个项目。最近，自我注意力机制已经被用于顺序推荐，并展示了最先进的性能。然而，在这篇手稿中，我们表明，自我注意力为基础的顺序推荐方法可能会受到本地化赤字问题。因此，在这些方法中，在前几个块上，项目表示可能会迅速偏离其原始表示，从而损害后续块中的学习。为了缓解这个问题，在这篇手稿中，我们开发了一个递归注意的方法与重用的项目表示（RAM）的顺序推荐。我们在六个公共基准数据集上将RAM与五种最先进的基线方法进行了比较。我们的实验结果表明，RAM显着优于基准方法的基准数据集，提高了11.3%。我们的稳定性分析表明，RAM可以实现更深、更宽的模型，从而获得更好的性能。我们的运行时性能比较表明，RAM在基准数据集上也可以更有效。
2022-09-16 cs.IR
Does It Look Sequential? An Analysis of Datasets for Evaluation of Sequential Recommendations
Sber AI Lab（Sber AI实验室）；Lomonosov Moscow State University (MSU)（莫斯科罗蒙诺索夫国立大学）
本文通过随机打乱用户交互序列并比较指标，评估了15个常用序列推荐数据集的序列结构强度，发现部分流行数据集的序列结构相当弱。
2024-08-21 cs.AI cs.IR cs.LG
DivNet: Diversity-Aware Self-Correcting Sequential Recommendation Networks
针对传统方法难以捕捉推荐物品间复杂交互、难以兼顾多样性等整体优化目标的问题，提出感知多样性的自校正序列推荐网络DivNet，可同时捕捉序列物品交互评估效用并实现推荐多样化，离线在线实验均优于基线方法。
2024-11-01 cs.IR
Sequential Recommendation Model for Next Purchase Prediction
Ernst & Young LLP（安永会计师事务所）
本文利用270万笔信用卡交易数据，提出结合自编码器与GRU的序列推荐模型预测用户下次购买，在样本外测试集上MAP@1达47%，并探讨了将其嵌入Nexus实时数字体验架构的应用意义。
2023-06-30 cs.AI cs.IR cs.LG
Parallel Split-Join Networks for Shared-account Cross-domain Sequential Recommendations
顺序推荐是一项任务，其中一个模型和使用顺序信息的用户行为的推荐目的。我们在一个特别具有挑战性的背景下研究顺序推荐，其中多个个人用户共享一个帐户（即，他们具有共享帐户）并且其中用户行为在多个域中可用（即，建议是跨域的）。这两个特点给传统的顺序推荐任务带来了新的挑战。首先，我们需要识别与同一帐户下的不同用户和不同用户角色相关联的行为，以便在正确的时间向正确的用户角色推荐正确的项目。其次，我们需要识别一个领域中可能有助于改进其他领域中的推荐的行为。在这项工作中，我们研究了共享帐户跨域顺序推荐，并提出了并行分裂-加入网络（PSJNet），一个并行建模网络，以解决上述两个挑战。我们提出了PSJNet的两个变体，PSJNet-I和PSJNet-II。PSJNet-I是一个“split-by-join”框架，它将混合表示拆分为特定于角色的表示，并将它们连接起来以同时获得每个时间戳的跨域表示。PSJNet-II是一个“拆分-连接”框架，它首先在每个时间戳拆分特定于角色的表示，然后将所有时间戳和所有角色的表示连接起来以获得跨域表示。我们使用两个数据集来评估PSJNet的有效性。我们的实验结果表明，PSJNet在MRR和召回方面优于最先进的顺序推荐基线。
2021-04-13 cs.IR
Improve Temporal Awareness of LLMs for Sequential Recommendation
本文针对LLMs时间感知不足的问题，提出三种利用历史交互时间信息的提示策略并聚合排序结果，在MovieLens-1M和Amazon Review上显著提升序列推荐的零样本性能。
2024-05-05 cs.IR
Explanation Guided Contrastive Learning for Sequential Recommendation
最近，对比学习已被应用到顺序推荐任务，以解决数据稀疏所造成的用户与少数项目的互动和项目与少数用户采用。然而，现有的基于对比学习的方法不能确保通过对给定锚用户序列的一些随机增强（或序列采样）获得的正（或负）序列保持语义相似（或不同）。当正序列和负序列分别被证明是假阳性和假阴性时，可能导致推荐性能下降。在这项工作中，我们解决了上述问题，提出了解释引导增强（EGA）和解释引导对比学习顺序推荐（EC4SRec）模型框架。EGA背后的核心思想是利用解释方法来确定项目在用户序列中的重要性，并相应地导出正序列和负序列。然后，EC4SRec结合了对EGA操作生成的正序列和负序列的自监督和监督对比学习，以改进序列表示学习，从而获得更准确的推荐结果。在四个真实世界的基准数据集上的大量实验表明，EC4SRec优于最先进的顺序推荐方法和两个最近的基于对比学习的顺序推荐方法，CL4SRec和DuoRec。我们的实验还表明，EC4SRec可以很容易地适应不同的序列编码器骨干（例如，GRU4Rec和Caser），并提高其推荐性能。
2022-09-03 cs.IR
MEANTIME: Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation
Seoul National University（首尔大学）；POSTECH（浦项工科大学）；Neural Processing Research Center（神经处理研究中心）
近年来，基于自我注意的推荐模型在顺序推荐任务中取得了很好的效果。遵循语言处理的习惯，这些模型中的大多数依赖于简单的位置嵌入来利用用户历史的顺序性质。然而，目前的方法有一些局限性。首先，顺序推荐与语言处理的不同之处在于时间戳信息是可用的。以前的模型没有很好地利用它来提取额外的上下文信息。其次，使用简单的嵌入方案可能导致信息瓶颈，因为相同的嵌入必须代表所有可能的上下文偏见。第三，由于以前的模型在每个注意力头部中使用相同的位置嵌入，它们可以浪费地学习重叠模式。为了解决这些限制，我们提出了MEANTIME（AtteNTION机制与多时间嵌入的混合），它采用多种类型的时间嵌入，旨在从用户的行为序列中捕获各种模式，以及充分利用这种多样性的注意力结构。对真实数据的实验表明，我们提出的方法优于当前最先进的顺序推荐方法，我们提供了一个广泛的消融研究，分析模型如何从不同的位置信息中获益。
2020-08-21 cs.IR cs.LG stat.ML
ID-Agnostic User Behavior Pre-training for Sequential Recommendation
近年来，顺序推荐成为一个被广泛研究的课题。现有的研究主要是设计有效的神经网络结构来基于项目ID对用户行为序列进行建模。然而，这种方法高度依赖于用户-项目交互数据，而忽略了用户偏好的相似项目之间的属性或特征级相关性。鉴于这些问题，我们提出IDA-SR，这代表身份不可知的顺序推荐用户行为预训练方法。IDA-SR不是显式地学习项ID的表示，而是直接从富文本信息中学习项表示。为了弥补文本语义和序列用户行为之间的差距，我们使用预训练的语言模型作为文本编码器，并对序列用户行为进行预训练架构。通过这种方式，项目文本可以直接用于顺序推荐，而不依赖于项目ID。大量的实验表明，所提出的方法可以实现可比的结果时，只使用ID不可知的项目表示，并表现得比基线时，与ID信息进行微调时，有很大的利润。
2022-06-06 cs.IR
A Systematic Replicability and Comparative Study of BSARec and SASRec for Sequential Recommendation
本研究基于EasyRec通用框架重新实现SASRec与BSARec两种序列推荐模型，公平对比验证了BSARec的频率增强组件确有性能提升，但幅度低于原报告，凸显实现细节对推荐算法性能对比的重要性。
2025-06-17 cs.IR
