Integrating Offline Reinforcement Learning with Transformers for Sequential Recommendation
针对序列推荐任务，提出一种基于预训练transformer初始化策略网络的完全离线强化学习框架，实验证明其收敛快速稳定且推荐质量优于监督学习方法。
2023-07-26 cs.IR
Graph Masked Autoencoder for Sequential Recommendation
University of Hong Kong（香港大学）
本文提出图掩码自编码器增强的序列推荐系统MAERec，通过自适应数据重建范式提取全局物品转移信息进行自监督增强，有效缓解标签稀缺和数据噪声问题，显著优于现有基线模型。
2023-06-01 cs.AI cs.IR
Contrastive Learning with Bidirectional Transformers for Sequential Recommendation
基于transformer的序列编码器的对比学习在序列推荐中取得了优势。它最大化共享相似语义的成对序列扩增之间的协议。然而，现有的顺序推荐对比学习方法主要采用从左到右的单向Transformers作为基本编码器，由于用户行为可能不是严格的从左到右的顺序，因此这种方法对于顺序推荐来说并不理想。为了解决这个问题，我们提出了一个新的框架，名为\textbf{C}对比学习与\textbf{Bi}定向\textbf{T} transformers顺序推荐（\textbf{CBiT}）。具体来说，我们首先应用滑动窗口技术的双向Transformers，这使得用户序列的更细粒度的划分长的用户序列。然后结合完形填空任务模板和丢弃模板生成高质量的正样本并进行多对对比学习，与常规的一对对比学习相比，该方法具有更好的性能和适应性。此外，我们还引入了一种新的动态损失权重调整策略来平衡完形填空任务损失和对比损失。在三个公共基准数据集上的实验结果表明，我们的模型优于最先进的顺序推荐模型。
2022-08-17 cs.IR
From Past To Path: Masked History Learning for Next-Item Prediction in Generative Recommendation
College of Computer Science, Chongqing University（重庆大学计算机学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS部门）；Independent Researcher（独立研究员）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空航天信息研究所）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
本文提出Masked History Learning框架，通过重建掩码的历史项目增强对用户行为的理解，从而提升推荐准确性。
2026-04-23 cs.CL cs.IR
Automated Self-Supervised Learning for Recommendation
图神经网络（GNN）已经成为协同过滤（CF）的最先进范例。为了提高有限标记数据的表示质量，对比学习在推荐领域引起了人们的关注，并使基于图的CF模型受益匪浅。然而，大多数对比方法的成功在很大程度上依赖于手动生成有效的对比视图，用于基于统计学的数据增强。这不能跨不同的数据集和下游推荐任务进行推广，这难以适应数据增强并且对噪声扰动具有鲁棒性。为了填补这一关键的差距，这项工作提出了一个统一的自动协同过滤（AutoCF）自动执行数据增强的建议。具体来说，我们专注于生成自监督学习框架与可学习的增强范式，有利于重要的自监督信号的自动蒸馏。为了增强表示的鉴别能力，我们的掩码图自动编码器被设计为通过重建掩码子图结构来在增强过程中聚合全局信息。在几个公共数据集上进行实验和消融研究，以推荐产品，场地和位置。结果证明AutoCF相对于各种基线方法的优越性。我们在https://github.com/HKUDS/AutoCF上发布模型实现。
2023-03-21 cs.IR
Enhancing Transformers without Self-supervised Learning: A Loss Landscape Perspective in Sequential Recommendation
本文从损失几何视角分析序列推荐中 Transformer 收敛到尖锐局部最小值的问题，提出基于 SAM 的 SAMRec，在无需预训练或强增强的情况下达到与自监督方法相当的准确性和鲁棒性。
2023-08-20 cs.IR
Designing a Sequential Recommendation System for Heterogeneous Interactions Using Transformers
虽然许多生产就绪和鲁棒的算法可用于推荐系统的任务，但这些系统中的许多系统不考虑用户的消费顺序。消费的顺序在许多场景中非常有用和重要。一种这样的场景是教育内容推荐，其中用户通常遵循朝向更高级课程的渐进路径。研究人员已经使用RNN构建了序列推荐系统和其他处理序列的模型。顺序推荐系统试图通过读取用户的历史来预测用户的下一个事件。随着Transformers在自然语言处理中的巨大成功，以及它们使用注意力机制来更好地处理序列，已经有人尝试使用这一系列模型作为新一代顺序推荐系统的基础。在这项工作中，通过将每个用户与项目的交互转换为一系列事件，并基于我们的架构上的Transformers，我们试图使这样一个模型，考虑到不同类型的事件的使用。此外，通过认识到某些事件必须在其他类型的事件发生之前发生，我们试图修改架构以反映这种依赖关系并增强模型的性能。
2022-04-30 cs.IR
MaTrRec: Uniting Mamba and Transformer for Sequential Recommendation
针对Mamba在短序列推荐中效果受限及冷启动问题，提出结合Mamba与Transformer优势的MaTrRec模型，在长短序列上均提升预测能力并改善冷启动，在五个数据集上达到SOTA。
2024-07-27 cs.IR
Position-aware Graph Transformer for Recommendation
提出PGTR框架，通过位置编码将节点位置和结构信息融入图Transformer，结合Transformer的全局建模与GCN的局部特征提取，有效捕获长程协同过滤信号，提升推荐性能并增强对稀疏性和噪声的鲁棒性。
2024-12-25 cs.IR
Curriculum Pre-Training Heterogeneous Subgraph Transformer for Top-$N$ Recommendation
由于数据异构建模的灵活性，异构信息网络（HIN）已经被采用来表征被称为\emph{HIN-based recommendation}的顶级$N$推荐系统中的复杂和异构辅助数据。HIN的特点是复杂的，异构的数据关系，包含各种信息，可能不相关的推荐任务。因此，有效地利用来自HIN的有用信息来提高推荐性能是具有挑战性的。为了解决上述问题，我们提出了一个基于课程预训练的异构子图Transformer（称为\emph{CHEST}）与新的\emph{data characterization}，\emph{representation model}和\emph{learning algorithm}。具体来说，我们考虑从HIN中提取有用的信息来组成特定于交互的异构子图，包含足够的和相关的上下文信息用于推荐。然后，我们通过一个异构的子图Transformer，在那里我们编码的子图与多槽序列表示的子图中捕获丰富的语义（\eg图结构和路径语义）。此外，我们设计了一个课程预训练策略，提供了一个初级到高级的学习过程，我们顺利地转移基本语义HIN建模用户-项目交互关系。在三个真实世界的数据集上进行的大量实验表明，我们提出的方法优于一些有竞争力的基线，特别是当只有有限的训练数据。
2021-06-12 cs.IR
Online Distillation-enhanced Multi-modal Transformer for Sequential Recommendation
本文针对多模态序列推荐提出模型无关的在线蒸馏增强多模态Transformer（ODMT）框架，通过ID感知多模态Transformer和在线蒸馏策略促进多源特征交互与相互学习，在流媒体和电商数据集上相比基线模型性能提升约10%。
2023-08-14 cs.IR
Attention over Self-attention:Intention-aware Re-ranking with Dynamic Transformer Encoders for Recommendation
重新排序模型细化了由先前的全局排序模型生成的项目推荐列表，这已经证明了它们在提高推荐质量方面的有效性。然而，大多数现有的重排序解决方案只学习隐式反馈与共享的预测模型，这令人遗憾地忽略了不同的用户意图下的项目间的关系。在本文中，我们提出了一种新的意图感知重排序模型与动态Transformer编码器（RAISE），旨在执行用户特定的预测，为每个单独的用户的基础上，她的意图。具体来说，我们首先提出挖掘潜在的用户意图从文本评论与意图发现模块（IDM）。通过区分评论信息的重要性与共同注意力网络，潜在的用户意图可以显式地建模为每个用户项目对。然后，我们引入了一个动态的Transformer编码器（DTE），以捕捉用户特定的项目之间的项目候选人无缝地容纳通过IDM学习潜在的用户意图之间的关系。因此，人们不仅可以实现更个性化的推荐，而且还可以通过在现有的推荐引擎上构建RAISE来获得相应的解释。在4个公开数据集上的实验结果表明，本文提出的RAISE算法在Precision@5、MAP@5和NDCG@5下的相对性能分别提高了13.95%、9.60%和13.03%。
2023-03-12 cs.IR
Masked and Swapped Sequence Modeling for Next Novel Basket Recommendation in Grocery Shopping
University of Amsterdam（阿姆斯特丹大学）
提出下一个新篮子推荐任务及双向transformer模型BTBR，通过多种掩码与物品-篮子交换策略直接建模物品相关性，大幅提升仅含新物品篮子的推荐性能。
2023-08-02 cs.IR cs.LG
Style4Rec: Enhancing Transformer-based E-commerce Recommendation Systems with Style and Shopping Cart Information
National Taiwan University（台湾大学）
针对现有基于Transformer的电商序列推荐未有效利用商品风格与购物车数据的问题，提出Style4Rec系统，利用两类信息优化推荐，在合作企业数据集上多项指标显著优于基准，推动了个性化电商推荐发展。
2025-01-16 cs.AI cs.IR
Knowledge-enhanced Session-based Recommendation with Temporal Transformer
最近的研究在基于会话的推荐方面取得了令人印象深刻的进展。然而，信息，如项目知识和点击时间间隔，这可能是潜在的利用，以提高性能，仍然在很大程度上未被利用。在本文中，我们提出了一个框架，称为知识增强的基于会话的建议与时间Transformer（KSTT），将这些信息时，学习项目和会话嵌入。具体地说，知识图谱，它模型的上下文之间的项目在一个会话及其相应的属性，提出了通过图表示学习获得项目嵌入。我们引入时间间隔嵌入来表示需要预测的项目和历史点击之间的时间模式，并使用它来代替原始Transformer（称为时间Transformer）中的位置嵌入。会话中的项目嵌入通过时态Transformer网络进行传递，以获得会话嵌入，并在此基础上进行最终推荐。大量的实验表明，我们的模型在四个基准数据集上的性能优于最先进的基线。
2021-12-16 cs.IR cs.SI
Behavior Sequence Transformer for E-commerce Recommendation in Alibaba
Alibaba Search\&Recommendation Group Beijing\&Hangzhou China；Alibaba Search\&Recommendation Group
基于深度学习的方法已广泛用于工业推荐系统（RS）中。以前的作品采用嵌入和MLP范式：原始特征嵌入到低维向量中，然后将其输入到MLP中进行最终推荐。然而，大多数这些作品只是连接不同的功能，忽略了用户行为的连续性。在本文中，我们提出使用强大的Transformer模型来捕获用户的行为序列的序列信号在阿里巴巴的推荐。实验结果证明了该模型的优越性，并将其部署在淘宝网上，与两个基线相比，在线点击率（CTR）得到了显著提高。
2019-05-15 cs.IR cs.LG
Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers
University of Louisville（路易斯维尔大学）；Amazon（亚马逊）；Meta
双向Transformer架构是最先进的顺序推荐模型，它使用基于完形填空任务的双向表示能力，也称为“完形填空”。屏蔽语言建模。后者旨在预测序列中随机掩蔽的项目。因为他们假设真正的互动项目是最相关的，暴露偏差的结果，其中具有低暴露倾向的非互动项目被认为是不相关的。最常见的方法，以减轻在建议的暴露偏差一直是逆倾向评分（IPS），其中包括降低权重的相互作用的预测在损失函数的比例，他们的暴露倾向，产生一个理论上无偏的学习。在这项工作中，我们认为，并证明IPS不扩展到顺序推荐，因为它没有考虑到问题的时间性质。然后，我们提出了一种新的倾向评分机制，理论上可以消除顺序推荐中完形填空任务的偏见。最后，我们实证证明了我们提出的方法的去偏置能力和它的鲁棒性的曝光偏差的严重程度。
2023-01-22 cs.IR cs.LG
MenuAI: Restaurant Food Recommendation System via a Transformer-based Deep Learning Model
Imperial College London（伦敦帝国理工学院）
食物推荐系统已被证明是一种有效的技术，为饮食选择提供指导，这对患有慢性疾病的患者尤为重要。与其他多媒体推荐（如书籍和电影）不同，食物推荐任务高度依赖于当前的上下文，因为用户的食物偏好可以随着时间的推移而高度动态变化。例如，人们倾向于在一天的早些时候吃更多的卡路里，在晚餐时吃得少一点。然而，仍然有有限的研究工作，试图结合当前的背景和营养知识的食物推荐。因此，本文提出了一种新的餐厅食物推荐系统，根据用户的特殊营养需求推荐食物菜肴。我们提出的系统利用光学字符识别（OCR）技术和基于transformer的深度学习模型，学习排序（LTR）模型，进行食品推荐。给定菜单的单个RGB图像，系统然后能够根据输入的搜索关键字（例如，卡路里、蛋白质水平）。由于Transformer的特性，我们的系统还可以对看不见的菜肴进行排名。在一个自构造的菜单数据集MenuRank上进行了全面的实验来验证我们的方法。实验结果表明，LTR模型在食品推荐方面具有很大的潜力，其推荐准确率在77.2%~ 99.5%之间。
2022-10-15 cs.IR cs.LG
GETNext: Trajectory Flow Map Enhanced Transformer for Next POI Recommendation
The University of Auckland（奥克兰大学）
下一个POI建议旨在根据用户的当前状态和历史信息预测用户的近期未来移动，为用户和服务提供商提供巨大的价值。然而，这个问题显然是复杂的，因为需要综合考虑各种数据趋势。这包括空间位置，时间背景，用户的喜好，等等。大多数现有的研究认为，下一个POI推荐作为一个序列预测问题，而忽略了其他用户的合作信号。相反，我们提出了一个用户不可知的全局轨迹流图和一个新的图形增强的Transformer模型（GETNext），以更好地利用广泛的协作信号，更准确的下一个POI预测，并减轻冷启动问题的同时。GETNext将全局迁移模式、用户的一般偏好、时空上下文和时间感知的类别嵌入到一个Transformer模型中，以预测用户的未来移动。通过这种设计，我们的模型优于最先进的方法，具有很大的利润，也揭示了冷启动的挑战，在时空涉及的推荐问题。
2023-03-03 cs.IR cs.LG
Optimizing Encoder-Only Transformers for Session-Based Recommendation Systems
Polytechnique Montreal（蒙特利尔理工学院）；Air Liquide（液化空气集团）
本文提出用于仅编码器 Transformer 的 Sequential Masked Modeling 方法，结合窗口滑动数据增强与倒数第二 token 掩码策略，在三个数据集上显著提升了单会话下一物品预测性能，优于同等信息量模型并媲美拥有更多历史的方法。
2024-10-15 cs.AI cs.IR
Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
顺序推荐通过按时间顺序对项目序列进行建模来表征不断演化的模式。它的基本目标是捕捉项目转换相关性。Transformer的最新发展启发了社区设计有效的序列编码器，\textit{e.g.,} SASRec和BERT 4 Rec。然而，我们观察到这些基于transformer的模型存在冷启动问题，\textit{i.e.,}对于短序列表现不佳。因此，我们建议增加短序列，同时仍然保留原始的序列相关性。本文提出了一种新的\textbf{A}算法框架，它利用\textbf{P}的先验项~（ASReP）对\textbf{S}序列\textbf{Re}进行推荐。我们首先用反向序列预训练一个Transformer，以预测先前的项目。然后，我们使用这个Transformer在短序列的开头生成虚构的历史项。最后，我们使用这些来自时间顺序的增强序列来微调Transformer以预测下一项。在两个真实数据集上的实验验证了ASReP的有效性。代码可在\url{https://github.com/DyGRec/ASReP}上获得。
2021-05-02 cs.AI cs.IR
Transformers with multi-modal features and post-fusion context for e-commerce session-based recommendation
NVIDIA（英伟达）
基于会话的推荐是电子商业服务中的一项重要任务，其中大量用户匿名浏览或可能对不同的会话具有非常不同的兴趣。在本文中，我们介绍了SIGIR 2021电子商业数据挑战研讨会推荐任务的获奖解决方案之一。我们的解决方案受到NLP技术的启发，由两个Transformer架构的集合组成- Transformer-XL和XLNet -使用自回归和自编码方法进行训练。为了利用比赛中提供的大部分丰富数据集，我们描述了如何通过将表格事件与文本和图像向量相结合来准备多模型特征。我们还提出了一个模型预测分析，以更好地了解我们的架构的有效性，基于会话的建议。
2021-07-11 cs.IR cs.LG cs.NE
Personalized Transformer for Explainable Recommendation
Hong Kong Baptist University（香港浸会大学）；Rutgers University（罗格斯大学）
自然语言生成的个性化在诸如可解释的推荐、评论摘要和对话系统等大量任务中起着至关重要的作用。在这些任务中，用户和项目ID是个性化的重要标识符。Transformer被证明具有强大的语言建模能力，然而，它不是个性化的，并且不能利用用户和项目ID，因为ID标记甚至与单词不在相同的语义空间中。针对这一问题，本文提出了一种用于解释性推荐的个性化Transformer（PETER），并在此基础上设计了一个简单有效的学习目标，利用识别码预测目标解释中的单词，从而赋予识别码以语言学意义，实现个性化的Transformer。除了生成解释，PETER还可以提出建议，这使其成为整个解释-解释管道的统一模型。大量的实验表明，我们的小型未经预训练的模型在生成任务上的有效性和效率方面优于微调的BERT，这突出了我们设计的重要性和良好的实用性。
2021-06-05 cs.AI cs.CL cs.IR
BERTERS: Multimodal Representation Learning for Expert Recommendation System with Transformer
University of Tabriz（大不里士大学）；University of Orleans（奥尔良大学）
专家推荐系统的目标是跟踪一组候选人的专业知识和偏好，识别他们的专业知识模式，并识别专家。在本文中，我们介绍了一个多模态的专家推荐系统（BERTERS）的分类方法。在我们提出的系统中，模态来自文本（候选人发表的文章）和图形（他们的合著者连接）信息。BERTERS使用来自Transformer的双向编码器表示（BERT）将文本转换为矢量。此外，称为ExEm的图表示技术用于从合著者网络中提取候选人的特征。候选的最终表示是这些向量和其他特征的级联。最终，分类器建立在特征的级联上。这种多模态方法既可用于学术界，也可用于社区问答。为了验证BERTERS的有效性，我们分析了它在多标签分类和可视化任务上的性能。
2020-06-30 cs.CL cs.IR cs.LG
