Sequential Recommendation Model for Next Purchase Prediction
Ernst & Young LLP(安永会计师事务所)
本文利用270万笔信用卡交易数据,提出结合自编码器与GRU的序列推荐模型预测用户下次购买,在样本外测试集上MAP@1达47%,并探讨了将其嵌入Nexus实时数字体验架构的应用意义。
2023-06-30 cs.AI cs.IR cs.LG
Multi-intent Aware Contrastive Learning for Sequential Recommendation
Shenzhen University(深圳大学);Shenzhen Technology University(深圳技术大学)
针对现有对比学习序列推荐模型依赖单意图表示、过度简化真实场景的问题,提出多意图感知的对比学习思路,指出融入多意图信息的序列推荐模型能更准确反映真实推荐场景。
2024-09-13 cs.LG
Exploring Applications of State Space Models and Advanced Training Techniques in Sequential Recommendations: A Comparative Study on Efficiency and Performance
Phystech(菲斯特技术)
针对基于Transformer的序列推荐模型内存与推理成本高的问题,本研究探索了SSM提速、基于ORPO的LLM推荐质量提升、自适应批次与步长加速训练三个方向,旨在平衡序列推荐的效率与性能。
2025-10-05 cs.AI cs.IR cs.LG
MOI-Mixer: Improving MLP-Mixer with Multi Order Interactions in Sequential Recommendation
KAIST AI(韩国科学技术院人工智能);Korea University(高丽大学);KAKAO
成功的顺序推荐系统依赖于准确地捕捉用户的短期和长期兴趣。虽然基于transformer的模型在顺序推荐任务中取得了最先进的性能,但它们通常需要二次记忆和序列长度的时间复杂度,使得难以提取用户的长期兴趣。另一方面,基于多层感知器(MLP)的模型,以其线性记忆和时间复杂度而闻名,最近在各种任务中与Transformer相比显示出竞争力。鉴于大量用户的行为历史的可用性,基于MLP的模型的线性记忆和时间复杂度使他们成为一个有前途的替代探索在顺序推荐任务。为此,我们采用了基于MLP的模型在顺序推荐,但始终观察到,基于MLP的方法获得较低的性能比那些Transformer,尽管其计算的好处。从实验中,我们观察到,引入显式高阶相互作用的MLP层减轻了这样的性能差距。作为回应,我们提出了多阶交互(MOI)层,它能够表达输入中的任意交互顺序,同时保持MLP层的内存和时间复杂度。通过将MLP层替换为MOI层,我们的模型能够实现与基于Transformer的模型相当的性能,同时保留基于MLP的模型的计算优势。
2021-08-17 cs.AI cs.IR cs.LG
AdaptiveRec: Adaptively Construct Pairs for Contrastive Learning in Sequential Recommendation
Seoul National University(首尔国立大学)
本文提出AdaptiveRec方法,通过自适应构建对比学习样本对,缓解序列推荐中的假阴性问题,提升物品嵌入质量与推荐性能。
2023-07-07 cs.IR cs.LG
Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of California, Davis(加利福尼亚大学戴维斯分校);Fudan University(复旦大学);Pinterest Inc.(Pinterest公司)
为了模拟用户偏好的演化,我们应该学习基于时间排序的物品购买序列的用户/物品嵌入,这被定义为顺序推荐(SR)问题。现有的方法利用顺序模式来建模项转换。然而,他们中的大多数人忽略了关键的时间协作信号,这是潜在的不断发展的用户-项目交互和共存的顺序模式。因此,我们提出统一的序列模式和时间协同信号,以提高推荐的质量,这是相当具有挑战性的。首先,难以同时编码序列模式和协作信号。其次,它是不平凡的,以表达协同信号的时间效应。因此,我们设计了一个新的框架时间图顺序推荐(TGSRec)在我们定义的连续时间二分图。在TGSRec中提出了一种新的时间协作转换器(TCT)层,该层通过采用一种新的协作注意机制,改进了自注意力机制。TCT层可以同时捕获来自用户和项目的协作信号,并考虑序列模式中的时间动态。我们传播的信息从TCT层的时间图统一的序列模式和时间的合作信号。在5个数据集上的实证结果表明,TGSRec显著优于其他基线,在Recall@10和MRR上平均分别提高了22.5%和22.1%。
2021-08-22 cs.AI cs.IR cs.LG
Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation
University of Science and Technology of China(中国科学技术大学)
针对预训练语言模型在实时推荐中推理慢的问题,提出基于知识蒸馏的两阶段序列推荐算法,将预训练知识迁移至轻量级模型,在提升准确率的同时实现及时推荐。
2024-09-23 cs.IR cs.LG
End-to-End Graph-Sequential Representation Learning for Accurate Recommendations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI))
本文提出一种端到端多表示学习框架,协同训练序列与图组件,在多个数据集上显著提升推荐性能。
2024-03-15 cs.AI cs.IR cs.LG
Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Pinterest Inc.(拼趣公司)
用户交互中的顺序模式对于表示用户的偏好和捕获项目之间的潜在关系至关重要。最近Transformers在序列建模方面的进步促使社区为序列推荐设计更有效的编码器。大多数现有的顺序方法假设用户是确定性的。然而,项目-项目转换可能会在几个项目方面波动很大,并表现出用户兴趣的随机性。该\textit{stochastic characteristics}提出了在表示序列和项时包含不确定性的可靠需求。此外,对具有不确定性的序列和项目进行建模扩展了用户和项目的交互空间,从而进一步缓解了冷启动问题。在这项工作中,我们提出了一个基于分布的Transformer顺序推荐(DT 4SR),它注入不确定性的顺序建模。我们使用椭圆高斯分布来描述具有不确定性的项目和序列。我们将项目和序列中的不确定性描述为椭圆高斯分布。并采用Wasserstein距离来度量分布之间的相似性。我们设计了两个新的变压器建模的均值和协方差,这保证了正定性的分布。所提出的方法显着优于国家的最先进的方法。在三个基准数据集上的实验也证明了它在缓解冷启动问题方面的有效性。该代码可在https://www.example.com上获得。github.com/DyGRec/DT4SR
2021-06-11 cs.AI cs.IR cs.LG
Multi-Item-Query Attention for Stable Sequential Recommendation
Hong Kong University of Science and Technology(香港理工大学)
针对序列推荐中单一最近物品查询易受交互噪声影响的问题,本文提出可即插即用的 MIQ-Attn,通过多物品查询增强稳定性、一致性与准确性。
2025-09-29 cs.AI cs.IR cs.LG
Attention Mixtures for Time-Aware Sequential Recommendation
Deezer Research(Deezer研究院)
本文提出MOJITO,一种改进的Transformer序列推荐系统,利用基于注意力的时间上下文和物品嵌入表示的高斯混合体进行序列建模,在多个真实数据集上超越现有方法。
2023-07-03 cs.IR cs.LG
Towards More Robust and Accurate Sequential Recommendation with Cascade-guided Adversarial Training
Rutgers University(罗格斯大学);Salesforce Research(赛富时研究院)
针对序列推荐模型因级联效应和过度依赖时间信息而鲁棒性不足的问题,提出利用级联效应生成物品嵌入对抗扰动的级联引导对抗训练方法,在四个公开数据集上验证其能同时提升排序准确性和鲁棒性。
2024-01-16 cs.IR cs.LG
Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding
Simon Fraser University(西蒙弗雷泽大学)
前- $N$顺序推荐将每个用户建模为过去交互的项目序列,旨在预测用户可能在“不久的将来”交互的前- $N$排名项目。交互的顺序意味着序列模式在序列中最近的项目对下一个项目有更大的影响时起着重要的作用。在本文中,我们提出了一个卷积序列嵌入推荐模型(\emph{Caser})作为解决方案,以满足这一要求。其思想是将最近项目的序列嵌入到时间和潜在空间中的“图像”中,并使用卷积滤波器将序列模式作为图像的局部特征进行学习。这种方法提供了一个统一和灵活的网络结构,用于捕获一般偏好和顺序模式。在公共数据集上的实验表明,Caser在各种常见的评估指标上始终优于最先进的顺序推荐方法。
2018-09-19 cs.IR cs.LG
GenRec: Generative Sequential Recommendation with Large Language Models
University of Michigan(密歇根大学)
将序列推荐视为序列到序列生成任务,提出基于大型语言模型的轻量级生成式模型GenRec,采用掩码物品预测目标学习双向序列模式,在多个公开数据集上取得最先进结果。
2024-08-29 cs.AI cs.CL cs.IR
Sequential LLM Framework for Fashion Recommendation
Washington University in St. Louis(圣路易斯华盛顿大学);Amazon(亚马逊公司);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出一种序列时尚推荐框架,利用预训练LLM结合推荐特定提示、参数高效微调和基于混合的检索技术,显著提升了时尚推荐性能。
2024-10-15 cs.AI cs.CL cs.IR
Sequential Modelling with Applications to Music Recommendation, Fact-Checking, and Speed Reading
University of Copenhagen(哥本哈根大学)
顺序建模需要理解顺序数据,这自然发生在广泛的领域中。一个示例是与用户交互、记录用户动作和行为并基于用户先前的交互来向用户推荐潜在感兴趣的项目的系统。在这种情况下,用户交互的顺序通常指示用户接下来感兴趣的是什么。类似地,对于自动推断文本语义的系统来说,捕捉句子中单词的顺序是必不可少的,因为即使是轻微的重新排序也会显著改变其原始含义。本文提出了方法论的贡献和新的调查顺序建模的系统,推荐音乐曲目的听众和系统,处理文本语义,以自动事实检查索赔,或“快速阅读”的文本有效的进一步分类的特定应用领域。(Rest由于arXiv摘要限制而省略的摘要)
2021-09-11 cs.AI cs.CL cs.IR
Learnable Model Augmentation Self-Supervised Learning for Sequential Recommendation
Soochow University(苏州大学);Suzhou Vocational University(苏州市职业大学);Macquarie University(麦考瑞大学);Beihang University(北京航空航天大学);Rutgers University(罗格斯大学);The University of Central Arkansas(中阿肯色大学)
顺序推荐的目标是根据用户行为预测下一个项目。最近,已经提出了自监督学习(SSL)来提高推荐性能。然而,大多数现有的SSL方法使用统一的数据增强方案,这丢失了原始序列的序列相关性。为此,在本文中,我们提出了一个可学习的模型增强自监督学习顺序推荐(LMA 4 Rec)。具体来说,LMA4Rec首先将模型增强作为数据增强的补充方法来生成视图。然后,LMA4Rec使用可学习的Bernoulli dropout来实现模型增强可学习操作。接下来,在对比视图之间使用自监督学习以从原始序列中提取自监督信号。最后,在三个公开数据集上的实验表明,与基线方法相比,LMA4Rec方法有效地提高了顺序推荐性能.
2022-04-21 cs.IR cs.LG
Tensor-based Sequential Learning via Hankel Matrix Representation for Next Item Recommendations
Skolkovo Institute of Science;Artificial Intelligence Research Institute, 105064, Moscow, Russia
最近,自我关注的Transformer模型已经被证明可以非常有效地解决下一个项目的推荐任务。学习到的注意力权重捕捉用户行为中的顺序动态,并且具有很好的泛化能力。由于学习参数空间的特殊结构,我们质疑是否有可能用另一种更轻量级的方法来模仿它。我们开发了一种新的基于张量分解的模型,该模型在学习过程中嵌入了有关序列数据的结构知识。我们演示了如何自我注意网络的某些属性可以复制与我们的方法基于特殊的汉克尔矩阵表示。由此产生的模型有一个浅的线性结构,并与其神经对应物竞争。
2022-12-12 cs.AI cs.IR cs.LG
Deep Learning for Sequential Recommendation: Algorithms, Influential Factors, and Evaluations
Shanghai University of Finance and Economics(上海财经大学);Northeastern University(东北大学)
在顺序推荐领域,基于深度学习(DL)的方法在过去几年中受到了很多关注,并超过了基于马尔可夫链和基于因子分解的传统模型。然而,很少有系统的研究,特别是关于如何设计一个有效的DL模型的顺序推荐。因此,本文针对上述问题,重点研究了基于DL的顺序推荐系统。具体来说,我们说明了顺序推荐的概念,提出了一个现有的算法分类的三种类型的行为序列,总结了影响基于DL的模型的性能的关键因素,并进行相应的评估,以证明这些因素的影响。我们通过系统地概述这一领域的未来方向和挑战来结束这一调查。
2020-10-10 cs.IR cs.LG
Measuring Recency Bias In Sequential Recommendation Systems
Seoul National University(首尔大学)
本研究针对序列推荐系统的近因偏差问题,提出了一种量化该偏差的新型指标,实验证实高近因偏差会损害推荐性能,缓解后可提升所有评估模型的表现,凸显了测量近因偏差的重要性。
2024-09-15 cs.IR cs.LG
Sequential Recommendation with Dual Side Neighbor-based Collaborative Relation Modeling
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
顺序推荐任务的目的是根据用户的历史行为预测用户对未来项目的偏好。用户行为的顺序意味着在行为历史中嵌入了丰富的序列模式,这些模式揭示了用户兴趣的潜在动态。提出了各种顺序推荐方法来建模动态用户行为。然而,大多数模型只考虑了用户自身的行为和动态,而忽略了用户和项目之间的协作关系,即,用户的相似品味或物品的相似属性。由于没有对协作关系进行建模,这些方法缺乏推荐多样性,因此可能具有更差的性能。更糟糕的是,大多数现有的方法只考虑用户端的序列,而忽略了项目端的时间动态。为了解决目前的顺序推荐模型的问题,我们提出了顺序协作推荐(SCoRe),有效地挖掘高阶协作信息,使用跨邻居关系建模,并利用用户端和项目端的历史序列,以更好地捕捉用户和项目的动态。在三个真实世界的大规模数据集上的实验表明,该模型优于强基线。
2019-11-10 cs.IR cs.LG
Counterfactual Evaluation of Slate Recommendations with Sequential Reward Interactions
Netflix;Spotify
音乐流、视频流、新闻推荐和电子商务服务的用户通常以顺序的方式参与内容。因此,提供和评估良好的推荐序列是这些服务的核心问题。先前基于重加权的反事实评估方法要么遭受高方差,要么对奖励做出强独立性假设。我们提出了一个新的反事实估计,允许顺序的相互作用,在一个渐进无偏的方式,在较低的方差的奖励。我们的方法使用图形假设的因果关系的石板重新加权的奖励在日志记录政策的方式,近似的预期总和的奖励下的目标政策。在模拟和现场推荐系统上的大量实验表明,我们的方法优于现有的方法的偏见和数据效率的顺序跟踪推荐问题。
2020-08-24 cs.IR cs.LG stat.ML
Sequential Recommendation with Relation-Aware Kernelized Self-Attention
最近的研究表明,顺序推荐是由注意力机制改善。通过这种发展,我们提出了一个自注意力机制的Transformer的概率模型的增强的感知核自注意力(RKSA)。Transformer最初的自注意力是一种确定性测度,没有关系意识。因此,我们引入了一个潜在的空间的自注意力力,和潜在的空间模型的推荐上下文的关系作为一个多变量的偏态正态分布与核化协方差矩阵的同现,项目的特点,和用户信息。该工作通过添加推荐任务细节的概率模型,将Transformer的自注意力和顺序推荐相结合。我们在基准数据集上进行了RKSA实验,与最近的基线模型相比,RKSA显示出显着的改进。此外,RKSA还能够生成一个潜在空间模型来回答推荐的原因。
2019-11-15 cs.IR cs.LG stat.ML
Sequential Recommendation with Self-Attentive Multi-Adversarial Network
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
最近,深度学习在顺序推荐任务上取得了重大进展。现有的神经序列预测器通常采用最大似然估计(MLE)训练的生成方式。当涉及到上下文信息(称为因素)时,很难分析每个单独的因素何时以及如何影响最终的推荐性能。为此,我们采取了一个新的视角,将对抗学习引入序列推荐。在本文中,我们提出了一个多因素生成对抗网络(MFGAN)显式建模上下文信息的顺序推荐的效果。具体来说,我们提出的MFGAN有两种模块:一个基于transformer的生成器,以用户行为序列为输入,推荐可能的下一个项目,和多个特定因素的判别器,从不同因素的角度来评估生成的子序列。在参数学习方面,采用经典的策略梯度方法,并利用鉴别器的奖励信号指导生成器的学习。我们的框架是灵活的,将多种因素的信息,并能够跟踪每个因素如何有助于随着时间的推移的建议决策。在三个真实世界的数据集上进行的大量实验表明,我们提出的模型在有效性和可解释性方面优于最先进的方法。
2020-05-21 cs.IR cs.LG
CSRec: Rethinking Sequential Recommendation from A Causal Perspective
University of Maryland, College Park(马里兰大学帕克分校)
本文提出因果序列推荐框架CSRec,通过预测推荐物品接受概率并回溯决策成因,隔离推荐系统等因素影响,且可融入现有方法,实验证明其显著优于基线。
2024-08-23 cs.IR cs.LG
Sequential recommendation with metric models based on frequent sequences
INSA Lyon(里昂国立应用科学学院);CNRS(法国国家科学研究中心);LIRIS UMR5205;Visiativ;Université Lyon1(里昂第一大学)
建模用户偏好(长期历史)和用户动态(短期历史)是建立高效的顺序推荐系统的最重要的。挑战在于成功地结合整个用户的历史和他最近的行动(顺序动态),以提供个性化的建议。现有的方法捕获顺序动态的用户使用固定顺序马尔可夫链(通常是一阶链),而不管用户,这限制了用户的过去的影响,建议和能力,以适应其长度的用户简档。在这篇文章中,我们建议使用频繁序列来识别用户历史中最相关的部分。最突出的项目,然后在一个统一的度量模型中使用,该模型嵌入基于用户偏好和顺序动态的项目。大量的实验表明,我们的方法优于最先进的,特别是在稀疏数据集。我们表明,考虑不同长度的序列,提高了建议,我们还强调,这些序列提供的建议解释。
2020-08-12 cs.IR cs.LG stat.ML
Determinantal Point Process Likelihoods for Sequential Recommendation
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
顺序推荐是学术研究中的热门任务,并且接近现实世界的应用场景,其中目标是基于他/她先前的动作序列来预测用户的下一个动作。在推荐系统的训练过程中,损失函数在指导推荐模型的优化,为用户提供准确的推荐方面起着至关重要的作用。然而,大多数现有的顺序推荐技术的重点是设计算法或神经网络架构,并没有努力定制损失函数,自然适合顺序推荐系统的实际应用场景。基于排序的损失,如交叉熵和贝叶斯个性化排序(BPR)被广泛应用于顺序推荐领域。我们认为,这样的目标函数有两个固有的缺点:i)在这些损失公式中忽略了序列元素之间的依赖关系; ii)而不是平衡准确性(质量)和多样性,只生成准确的结果被过度强调。因此,我们提出了两个新的损失函数的基础上的决定点过程(DPP)的可能性,可以自适应地应用于估计后续项目或项目。DPP分布的项目集捕获时间动作之间的自然依赖关系,DPP内核的质量与多样性分解推动我们超越面向精度的损失函数。在三个真实数据集上使用所提出的损失函数的实验结果表明,在质量和多样性度量方面,与最先进的顺序推荐方法相比,有明显的改进。
2022-04-25 cs.IR cs.LG
S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization
School of Information, Renmin University of China(中国人民大学信息学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(大数据管理与分析方法北京市重点实验室);Meituan-Dianping Group(美团点评集团);Université de Montréal(蒙特利尔大学)
最近,利用深度学习的顺序推荐取得了重大进展。现有的神经顺序推荐模型通常依赖于项目预测损失来学习模型参数或数据表示。然而,用这种损失训练的模型容易遭受数据稀疏问题。由于它过分强调最终的性能,上下文数据和序列数据之间的关联或融合没有被很好地捕获和利用顺序推荐。为了解决这个问题,我们提出了模型S^3-Rec,代表顺序推荐的自监督学习,基于自注意神经结构。我们的方法的主要思想是利用内在的数据相关性来获得自我监督信号,并通过预训练方法来增强数据表示,以改善顺序推荐。对于我们的任务,我们设计了四个辅助的自我监督的目标,学习属性,项目,子序列,序列之间的相关性,利用互信息最大化(MIM)原则。MIM提供了一种统一的方法来表征不同类型数据之间的相关性,这特别适合我们的场景。在六个真实数据集上进行的大量实验表明,我们提出的方法优于现有的最先进的方法,特别是当只有有限的训练数据。此外,我们还将自监督学习方法推广到其他推荐模型中,也提高了它们的性能。
2020-08-18 cs.IR cs.LG
Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers
University of Louisville(路易斯维尔大学);Amazon(亚马逊);Meta
双向Transformer架构是最先进的顺序推荐模型,它使用基于完形填空任务的双向表示能力,也称为“完形填空”。屏蔽语言建模。后者旨在预测序列中随机掩蔽的项目。因为他们假设真正的互动项目是最相关的,暴露偏差的结果,其中具有低暴露倾向的非互动项目被认为是不相关的。最常见的方法,以减轻在建议的暴露偏差一直是逆倾向评分(IPS),其中包括降低权重的相互作用的预测在损失函数的比例,他们的暴露倾向,产生一个理论上无偏的学习。在这项工作中,我们认为,并证明IPS不扩展到顺序推荐,因为它没有考虑到问题的时间性质。然后,我们提出了一种新的倾向评分机制,理论上可以消除顺序推荐中完形填空任务的偏见。最后,我们实证证明了我们提出的方法的去偏置能力和它的鲁棒性的曝光偏差的严重程度。
2023-01-22 cs.IR cs.LG
TEA: A Sequential Recommendation Framework via Temporally Evolving Aggregations
Guangdong University of Technology(广东工业大学);Tencent Technology (SZ) Co., Ltd.(腾讯科技(深圳)有限公司);Cornell University(康奈尔大学)
顺序推荐的目的是在给定用户历史行为的特定时间点为用户选择最合适的项目。现有的方法通常基于马尔可夫链等基于转变的方法对用户行为序列进行建模。然而,这些方法也隐含地假设用户是彼此独立的,而没有考虑用户之间的影响。事实上,这种影响在序列推荐中起着重要的作用,因为用户的行为很容易受到其他人的影响。因此,希望聚合用户行为和用户之间的影响,这是在时间上演变的,并涉及到用户和项目的异构图。在本文中,我们将动态用户项异构图,提出了一种新的顺序推荐框架。结果,可以考虑历史行为以及用户之间的影响。为了实现这一点,我们首先形式化的顺序推荐作为一个问题,以估计条件概率给定的时间动态异构图和用户行为序列。之后,我们利用条件随机场聚合的异构图和用户行为的概率估计,并采用伪似然方法来推导出一个易于处理的目标函数。最后,我们提供了所提出的框架的可扩展和灵活的实现。在三个真实数据集上的实验结果不仅证明了该方法的有效性,而且为序列推荐提供了一些有意义的发现。
2022-07-08 cs.IR cs.LG
A Systematic Survey on Federated Sequential Recommendation
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);The Hong Kong Polytechnic University(香港理工大学)
本文系统综述了联邦序列推荐(FedSR),在介绍其背景与挑战的基础上,从两个层面梳理现有技术,并探讨关键挑战与未来方向。
2025-02-19 cs.IR cs.LG
Déjà vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation
University of Virginia(弗吉尼亚大学)
根据用户的历史行为序列预测用户的偏好是现代推荐系统的关键和挑战。现有的顺序推荐算法在建模历史事件对当前预测的影响时,大多关注顺序行为之间的过渡结构,而忽略了时间和上下文信息。在本文中,我们认为,过去的事件对用户的当前行动的影响应该随着时间的推移和不同的上下文。因此,我们提出了一个语境化的时间注意力机制,它学会权衡历史行动的影响,不仅是什么行动,而且行动何时以及如何发生。更具体地说,为了动态地校准来自自注意力机制的相对输入依赖性,我们部署了多个参数化核函数来学习各种时间动态,然后使用上下文信息来确定每个输入遵循这些重新加权核中的哪一个。在对两个大型公共推荐数据集的实证评估中,我们的模型始终优于一组广泛的最先进的顺序推荐方法。
2020-01-29 cs.CL cs.IR cs.LG
Lightweight Self-Attentive Sequential Recommendation
The University of Queensland(昆士兰大学)
现代深度神经网络(DNN)通过在各种顺序推荐任务上实现最先进的推荐性能,极大地促进了顺序推荐系统的开发。给定交互项的序列,现有的基于DNN的顺序排序器通常将每个项嵌入到唯一向量中以支持用户兴趣的后续计算。然而,由于潜在的大量项目,顺序推荐器的过参数化项目嵌入矩阵已经成为资源受限环境中有效部署的存储器瓶颈,例如,智能手机和其他边缘设备。此外,我们观察到,广泛使用的多头自我注意,虽然是有效的建模项目之间的顺序依赖关系,在很大程度上依赖于冗余的注意力单元,以充分捕捉全球和本地项目的项目转移模式的序列。本文介绍了一种用于顺序推荐的新型轻量级自关注网络(LSAN)。为了积极地压缩原始嵌入矩阵,LSAN利用了组合嵌入的概念,其中每个项嵌入都是通过合并从小得多的嵌入矩阵中导出的一组选定的基本嵌入向量来组成的。同时,考虑到每个项目的内在动态,我们进一步提出了一个时间上下文感知的嵌入组合方案。此外,我们开发了一种创新的双注意力网络,它在保留捕获长期和短期(即,全局和局部)项依赖性。综合实验表明,LSAN显着提高了现有的顺序排序器的准确性和内存效率。
2021-08-25 cs.IR cs.LG
CosRec: 2D Convolutional Neural Networks for Sequential Recommendation
University of California, San Diego(加州大学圣地亚哥分校)
序列模式在构建现代推荐系统中起着重要的作用。为此,几个推荐系统已经建立在马尔可夫链和递归模型(等)之上。尽管这些顺序模型在一系列任务中已经被证明是成功的,但它们仍然难以揭示用户购买历史中嵌套的复杂关系。在本文中,我们认为,成对关系建模直接导致一个有效的表示顺序功能,并捕捉复杂的项目相关性。具体来说,我们提出了一个用于顺序推荐的2D卷积网络(CosRec)。它将一系列项编码为三向张量;使用2D卷积滤波器学习局部特征;并以前馈方式聚合高阶交互。在两个公共数据集上的定量结果表明,我们的方法优于传统方法和最近的基于序列的方法,在各种评估指标上实现了最先进的性能。
2019-08-27 cs.IR cs.LG
Improving Sequential Recommendation Consistency with Self-Supervised Imitation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
大多数顺序推荐模型捕捉用户-项目交互历史中连续项目的特征。虽然有效,但它们的表示表达能力仍然受到稀疏学习信号的阻碍。因此,顺序推荐器容易做出不一致的预测。在本文中,我们提出了一个模型,SSI,以提高自我监督模仿的顺序推荐一致性。准确地说,我们提取的一致性知识,利用三个自我监督的预训练任务,其中时间一致性和人物角色一致性捕捉用户交互动态的时间顺序和人物角色的敏感性,分别。此外,为了提供具有全局视角的模型,通过最大化全局和局部交互序列之间的互信息来引入全局会话一致性。最后,为了综合利用一致性增强知识的所有三个独立方面,我们建立了一个集成的模仿学习框架。一致性知识被有效地内化,并通过模仿传统的预测logit以及一致性增强的项目表示转移到学生模型。此外,灵活的自我监督模仿框架也可以使其他学生学习者受益。四个真实世界的数据集上的实验表明,SSI有效地优于国家的最先进的顺序推荐方法。
2021-06-29 cs.IR cs.LG
Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation
Shanghai Jiao Tong University(上海交通大学);University of Michigan-Shanghai Jiao Tong University Joint Institute(密歇根大学-上海交通大学联合学院);School of Cyber Science and Engineering(网络空间科学与工程学院);School of Software(软件学院)
序贯推荐作为一个新兴的研究课题,由于其重要的现实意义而受到越来越多的关注。基于深度学习和注意力机制的模型在顺序推荐中取得了良好的性能。近年来,基于变分自编码器(VAE)的生成式模型在协同过滤中显示出独特的优势。特别地,序列VAE模型作为VAE的递归版本,可以有效地捕获用户序列中项目之间的时间依赖性并执行序列推荐。然而,基于VAE的模型遭受一个共同的限制,即所获得的近似后验分布的代表性能力是有限的,从而导致生成的样本的质量较低。对于生成序列尤其如此。为了解决上述问题,在这项工作中,我们提出了一种新的方法称为对抗和对比变分自编码器(ACVAE)的顺序推荐。具体来说,我们首先介绍了在对抗变分贝叶斯(AVB)框架下用于序列生成的对抗训练,这使得我们的模型能够生成高质量的潜变量。然后,我们使用对比损失。潜变量将能够通过最小化对比损失来学习更多个性化和显著的特征。此外,在对序列进行编码时,我们采用了递归和卷积结构来捕获序列中的全局和局部关系。最后,我们在四个真实世界的数据集上进行了广泛的实验。实验结果表明,我们提出的ACVAE模型优于其他国家的最先进的方法。
2021-03-19 cs.IR cs.LG
Dynamic Memory based Attention Network for Sequential Recommendation
Texas A&M University(德克萨斯A&M大学);Alibaba Group(阿里巴巴集团);The Hong Kong Polytechnic University(香港理工大学)
顺序推荐在各种在线服务中变得越来越重要。它旨在从用户的历史交互中建模用户的动态偏好,并预测他们的下一个项目。真实系统上积累的用户行为记录可能会很长。这些丰富的数据为跟踪用户的实际兴趣带来了机会。先前的努力主要集中在基于相对较新的行为提出建议。然而,由于早期的交互可能会影响用户当前的选择,因此整体顺序数据可能无法得到有效利用。此外,由于现实世界的系统需要短的响应时间,因此在为每个用户执行推理时扫描整个行为序列变得不可容忍。为了弥补这一不足,我们提出了一种新的长序列推荐模型,称为动态基于记忆的注意力网络(DMAN)。它将整个长行为序列分割成一系列子序列,然后训练模型并维护一组内存块以保存用户的长期兴趣。为了提高记忆保真度,DMAN动态地抽象每个用户的长期兴趣到自己的记忆块,通过最小化的辅助重建损失。基于动态记忆,用户的短期和长期兴趣可以显式地提取和组合的有效联合推荐。四个基准数据集的实证结果表明,我们的模型在捕获长期依赖性方面优于各种最先进的序列模型。
2021-02-18 cs.IR cs.LG
Leveraging Negative Signals with Self-Attention for Sequential Music Recommendation
Georgia Institute of Technology(佐治亚理工学院);TU Wien(维也纳工业大学)
针对序列音乐推荐中短内容场景和会话级负反馈利用不足的问题,提出可嵌入多种深度架构的对比学习损失,用跳过曲目等负信号提升推荐效果。
2024-01-18 cs.IR cs.LG
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
Alibaba Group(阿里巴巴集团)
从用户的历史行为中建模用户的动态和不断变化的偏好是推荐系统的挑战和关键。先前的方法采用顺序神经网络(例如,递归神经网络)将用户的历史交互从左到右编码为隐藏表示,以进行推荐。虽然这些方法取得了令人满意的结果,他们往往假设一个严格的顺序,这并不总是实用的。我们认为,这种从左到右的单向架构限制了历史序列表示的权力。为此,我们介绍了一个双向编码器表示从Transformers顺序推荐(BERT4Rec)。然而,在深度双向模型中,联合条件作用于左上下文和右上下文会使训练变得微不足道,因为每个项目都可以间接地“看到目标项目”。为了解决这个问题,我们使用完形填空任务训练双向模型,通过联合调节其左右上下文来预测序列中的掩蔽项。与预测序列中每个位置的下一个项目相比,完形填空任务可以产生更多的样本来训练更强大的双向模型。在四个基准数据集上的大量实验表明,我们的模型始终优于各种最先进的序列模型。
2019-08-21 cs.IR cs.LG
When and What to Recommend: Joint Modeling of Timing and Content for Active Sequential Recommendation
School of Computing, Macquarie University(麦考瑞大学计算学院);Oracle Analytics Cloud, Oracle Corporation(Oracle公司分析云)
PASRec通过联合建模时机与内容,主动预测用户交互时间并推荐感兴趣物品,优于现有基线方法。
2025-11-24 cs.IR cs.LG
Autoregressive Generation Strategies for Top-K Sequential Recommendations
Sber AI Lab(Sber AI实验室);Skoltech, HSE University(斯克里普钦科技大学,俄罗斯联邦经济大学)
本文研究生成式Transformer在Top-K序列推荐中的应用,提出基于温度采样与多序列聚合的RRA和RA策略,在多个数据集上验证其在较长时间范围内优于传统Top-K预测和单序列自回归生成方法。
2024-09-26 cs.IR cs.LG
FairSR: Fairness-aware Sequential Recommendation through Multi-Task Learning with Preference Graph Embeddings
National Cheng Kung University(国立成功大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
顺序推荐(SR)从用户-项目交互的时间动态中学习,以预测下一个。公平性感知推荐减轻了用户偏好学习中的各种算法偏差。本文旨在将SR和算法公平性结合起来。我们提出了一种新的公平性感知的顺序推荐任务,在其中定义了一个新的度量,交互公平性,以估计如何推荐项目公平地与不同的保护属性组的用户进行交互。我们提出了一个基于多任务学习的深度端到端模型FairSR,它由两部分组成。一种是从给定的用户及其项目序列中学习和提取个性化的序列特征,用于SR。另一种是公平感知偏好图嵌入(FPGE)。FPGE的目标是双重的:将用户和项目的属性及其相关性的知识纳入实体表示,并减轻用户属性在项目上的不公平分布。在三个数据集上进行的大量实验表明,FairSR在推荐性能上优于最先进的SR模型。此外,FairSR推荐的项目也表现出良好的交互公平性。
2022-04-30 cs.IR cs.LG cs.SI
Producer-Fairness in Sequential Bundle Recommendation
Huawei Noah's Ark Lab(华为诺亚实验室);Université d'Orléans(奥尔良大学);Université Grenoble-Alpes(格勒诺布尔阿尔卑斯大学)
针对序列化捆绑推荐场景,本文形式化了生产者公平性问题,并提出精确求解、启发式及自适应方法,在保证推荐质量的同时实现物品组的公平曝光。
2025-06-25 cs.IR cs.LG
ContrastVAE: Contrastive Variational AutoEncoder for Sequential Recommendation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce(赛富时)
顺序推荐是一种利用用户行为序列中丰富信息的推荐方法,在实际推荐系统中得到了广泛的应用。然而,目前的方法存在以下问题:1)用户-项目交互的稀疏性,2)顺序记录的不确定性,3)长尾项目。在本文中,我们建议将对比学习纳入变分自编码器的框架中,以同时应对这些挑战。首先,我们介绍了一种新的训练目标,将传统的单视图ELBO扩展到双视图的情况下,并从理论上建立了VAE和对比学习之间的连接从双视图的角度。然后,我们提出了对比变分自编码器(简称ContrastVAE),一个两分支的VAE模型与对比正则化作为一个实施例的ContrastELBO顺序推荐。我们进一步介绍了两个简单而有效的增强策略,命名为模型增强和变分增强,以创建一个序列的第二个视图,从而使对比学习成为可能。在四个基准数据集上的实验证明了ContrastVAE和所提出的增强方法的有效性。代码可在https://github.com/YuWang-1024/ContrastVAE上获得
2022-12-05 cs.IR cs.LG
Modeling Dynamic User Preference via Dictionary Learning for Sequential Recommendation
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
捕捉用户偏好的动态对于更好地预测用户未来的行为至关重要,因为用户偏好通常会随着时间的推移而漂移。许多现有的推荐算法--包括浅层和深层推荐算法--通常独立地对这种动态进行建模,即,用户静态和动态偏好没有在同一潜在空间下建模,这使得很难将它们融合以进行推荐。本文考虑将用户的序列行为嵌入到用户偏好的潜在空间中,即将序列转化为偏好的问题。为此,我们将顺序推荐任务表述为字典学习问题,其学习:1)共享字典矩阵,其每行表示跨用户共享的用户动态偏好的部分信号;以及2)使用与门控递归单元(GRU)集成的深度自回归模型的后验分布估计器,其可以选择字典的相关行来表示以他/她的过去行为为条件的用户的动态偏好。Netflix数据集上的定性研究表明,该方法可以捕获用户偏好随时间的漂移,多个真实世界数据集上的定量研究表明,与最先进的因子分解和神经顺序推荐方法相比,该方法可以实现更高的准确性。该代码可在https://github.com/cchao0116/S2PNM-TKDE2021上获得。
2022-04-02 cs.IR cs.LG
MEANTIME: Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation
Seoul National University(首尔大学);POSTECH(浦项工科大学);Neural Processing Research Center(神经处理研究中心)
近年来,基于自我注意的推荐模型在顺序推荐任务中取得了很好的效果。遵循语言处理的习惯,这些模型中的大多数依赖于简单的位置嵌入来利用用户历史的顺序性质。然而,目前的方法有一些局限性。首先,顺序推荐与语言处理的不同之处在于时间戳信息是可用的。以前的模型没有很好地利用它来提取额外的上下文信息。其次,使用简单的嵌入方案可能导致信息瓶颈,因为相同的嵌入必须代表所有可能的上下文偏见。第三,由于以前的模型在每个注意力头部中使用相同的位置嵌入,它们可以浪费地学习重叠模式。为了解决这些限制,我们提出了MEANTIME(AtteNTION机制与多时间嵌入的混合),它采用多种类型的时间嵌入,旨在从用户的行为序列中捕获各种模式,以及充分利用这种多样性的注意力结构。对真实数据的实验表明,我们提出的方法优于当前最先进的顺序推荐方法,我们提供了一个广泛的消融研究,分析模型如何从不同的位置信息中获益。
2020-08-21 cs.IR cs.LG stat.ML
Sequential Scenario-Specific Meta Learner for Online Recommendation
Tsinghua University(清华大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
冷启动问题是实际建议的长期挑战。大多数现有的推荐算法依赖于大量的观察数据,并且对于交互很少的推荐场景是脆弱的。本文使用少样本学习和Meta学习来解决这些问题。我们的方法是基于这样的见解,即从几个例子中获得良好的泛化依赖于通用模型初始化和使该模型适应新出现的任务的有效策略。为了实现这一点,我们将特定场景的学习与模型不可知的顺序元学习相结合,并将它们统一到一个集成的端到端框架中,即特定场景的顺序Meta学习器(或s^2 meta)。通过这样做,我们的元学习器通过聚合来自各种预测任务的上下文信息来生成通用的初始模型,同时通过利用学习知识来有效地适应特定的任务。在各种真实数据集上的大量实验表明,我们提出的模型可以在在线推荐的冷启动问题上取得显着的收益。部署在猜你喜欢的会议,手机淘宝的首页。
2019-06-02 cs.IR cs.LG stat.ML
Can Small Language Models be Good Reasoners for Sequential Recommendation?
Beijing University of Posts and Telecommunications(北京邮电大学);Ant Group(蚂蚁集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beihang University(北京航空航天大学)
本文提出逐步知识蒸馏框架SLIM,利用大模型CoT推理蒸馏小模型,使小模型以低成本获得序列推荐中的逐步推理能力。
2024-03-28 cs.CL cs.IR cs.LG
Recurrent Neural Networks for Long and Short-Term Sequential Recommendation
CAIL;Université de Lille(里尔大学)
推荐系统的目标可以概括为在短期或长期时间范围内对用户偏好进行建模。以往的大量研究通过降维技术应用于历史用户-项目交互来研究长期推荐。最近引入的基于会话的推荐设置强调了建模短期用户偏好的重要性。在这项任务中,循环神经网络(RNN)已被证明在短时间内成功捕捉用户交互的细微差别。在本文中,我们评估了基于RNN的短期和长期推荐任务模型。我们的实验结果表明,RNN能够预测即时和远程用户交互。我们还发现性能最好的配置是具有层归一化和绑定项嵌入的堆叠RNN。
2018-07-23 cs.IR cs.LG stat.ML