RECE: Reduced Cross-Entropy Loss for Large-Catalogue Sequential Recommenders
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；HSE University（高等经济大学）；Artificial Intelligence Research Institute（人工智能研究院）
针对大规模目录下序列推荐中全交叉熵损失GPU内存占用过高的问题，提出基于类局部敏感哈希近似logits张量的RECE损失，可最高降12倍内存且保持或超越原有性能。
2024-08-14 cs.IR cs.LG
Learning Vector-Quantized Item Representation for Transferable Sequential Recommenders
Renmin University of China（中国人民大学）；UC San Diego（加州大学圣地亚哥分校）
最近，自然语言文本的通用性已经被利用来开发可转移的推荐系统。其基本思想是使用预先训练好的语言模型~（PLM）将项目文本编码成项目表示。尽管具有良好的可移植性，但项目文本和项目表征之间的绑定可能过于紧密，导致潜在的问题，例如过分强调文本特征的作用和夸大域间隙的负面影响。为了解决这个问题，本文提出了VQ-Rec，一种新的方法来学习矢量量化的项目表示可转移的顺序推荐。我们的方法的主要新颖之处在于新的项目表示方案：它首先将项目文本映射到离散索引（称为项目代码）的向量，然后使用这些索引来查找代码嵌入表，以获得项目表示。这种方案可以表示为“文本$\Longrightarrow$代码$\Longrightarrow$表示”。基于这种表示方案，我们进一步提出了一种增强的对比预训练方法，使用半合成和混合域代码表示作为硬否定。此外，我们设计了一个新的跨域微调方法的基础上可微置换为基础的网络。在六个公共基准上进行的大量实验表明了所提出的方法在跨域和跨平台设置中的有效性。代码和预训练模型可在https://github.com/RUCAIBox/VQ-Rec上获得。
2023-02-12 cs.IR cs.LG
Lightweight Self-Attentive Sequential Recommendation
The University of Queensland（昆士兰大学）
现代深度神经网络（DNN）通过在各种顺序推荐任务上实现最先进的推荐性能，极大地促进了顺序推荐系统的开发。给定交互项的序列，现有的基于DNN的顺序排序器通常将每个项嵌入到唯一向量中以支持用户兴趣的后续计算。然而，由于潜在的大量项目，顺序推荐器的过参数化项目嵌入矩阵已经成为资源受限环境中有效部署的存储器瓶颈，例如，智能手机和其他边缘设备。此外，我们观察到，广泛使用的多头自我注意，虽然是有效的建模项目之间的顺序依赖关系，在很大程度上依赖于冗余的注意力单元，以充分捕捉全球和本地项目的项目转移模式的序列。本文介绍了一种用于顺序推荐的新型轻量级自关注网络（LSAN）。为了积极地压缩原始嵌入矩阵，LSAN利用了组合嵌入的概念，其中每个项嵌入都是通过合并从小得多的嵌入矩阵中导出的一组选定的基本嵌入向量来组成的。同时，考虑到每个项目的内在动态，我们进一步提出了一个时间上下文感知的嵌入组合方案。此外，我们开发了一种创新的双注意力网络，它在保留捕获长期和短期（即，全局和局部）项依赖性。综合实验表明，LSAN显着提高了现有的顺序排序器的准确性和内存效率。
2021-08-25 cs.IR cs.LG
On Detecting Data Pollution Attacks On Recommender Systems Using Sequential GANs
WalmartLabs（沃尔玛实验室）
推荐系统是任何电子商务平台的重要组成部分。推荐通常通过聚集大量用户数据来生成。恶意行为者可能被激励通过注入恶意数据点来影响这样的推荐系统的输出，以利用系统获得经济利益。在这项工作中，我们提出了一个半监督的攻击检测算法来识别恶意数据点。我们通过利用一部分被污染的可能性较低的数据集来学习真正数据点的分布来做到这一点。我们提出的方法修改了生成对抗网络架构，以考虑到用户活动的上下文信息。这允许模型区分合法的数据点和注入的数据点。
2020-12-04 cs.LG
Time to Split: Exploring Data Splitting Strategies for Offline Evaluation of Sequential Recommenders
AIRI, Skoltech Moscow Russian Federation（AIRI，斯克里普钦斯基因工学院莫斯科俄罗斯联邦）；Sber AI Lab, Skoltech Moscow Russian Federation（Sber AI Lab，斯克里普钦斯基因工学院莫斯科俄罗斯联邦）；Sber AI Lab Moscow Russian Federation（Sber AI Lab，莫斯科斯克里普钦斯基因工学院俄罗斯联邦）；Sber AI Lab, HSE University Moscow Russian Federation（Sber AI Lab，莫斯科高等经济大学俄罗斯联邦）
本文系统比较了序列推荐中不同数据分割策略对离线评估的影响，发现留一法等常见策略存在时间泄漏等问题，与更现实的评估策略不一致，并提供了代码以提升可重复性。
2025-07-22 cs.IR cs.LG
Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling
Softmax瓶颈首先在语言建模中被确定为对基于Softmax的模型的表达能力的理论限制。作为最广泛使用的输出概率的方法之一，基于Softmax的模型已经得到了广泛的应用，包括基于会话的推荐系统（SBRS）。基于Softmax的模型由最终线性层顶部的Softmax函数组成。瓶颈已被证明是由于在最后的线性层秩不足，由于其与矩阵分解。在本文中，我们展示了SBRS中Softmax瓶颈的更多方面。与通常的看法相反，过拟合确实发生在最后的线性层，而它通常与复杂网络有关。此外，我们发现在会话序列和候选池之间共享项嵌入的常见技术会产生紧耦合，这也会导致瓶颈。我们提出了一个简单而有效的方法，辍学和解耦（D&D），以减轻这些问题。我们的实验表明，我们的方法显着提高了各种基于Softmax的SBRS算法的准确性。当与其他计算昂贵的方法，如MLP和MoS（Softmax的混合）相比，我们的方法与这些方法相当，有时甚至更好，同时保持与基于Softmax的模型相同的时间复杂度。
2021-10-11 cs.IR cs.LG
Does It Look Sequential? An Analysis of Datasets for Evaluation of Sequential Recommendations
Sber AI Lab（Sber AI实验室）；Lomonosov Moscow State University (MSU)（莫斯科罗蒙诺索夫国立大学）
本文通过随机打乱用户交互序列并比较指标，评估了15个常用序列推荐数据集的序列结构强度，发现部分流行数据集的序列结构相当弱。
2024-08-21 cs.AI cs.IR cs.LG
FINN.no Slates Dataset: A new Sequential Dataset Logging Interactions, allViewed Items and Click Responses/No-Click for Recommender Systems Research
University of Oslo（奥斯陆大学）；University of Lancaster（兰卡斯特大学）；Schibsted ASA
我们提出了一种新的推荐系统数据集，记录用户和在线市场之间的顺序交互。用户被顺序地呈现以来自市场的被称为石板的项目的排名列表的形式的推荐和搜索结果两者。该数据集包括在每一轮呈现的石板，用户是否点击了这些项目中的任何一个，以及用户点击了哪个项目。虽然在推荐系统中曝光数据的使用正在增长，据我们所知，没有开放的大规模推荐系统数据集，包括在每次交互时呈现给用户的项目的石板。因此，大多数关于推荐系统的文章都没有利用这种曝光信息。相反，所提出的模型只依赖于用户的点击响应，并假设用户在每一步都接触到项目宇宙中的所有项目，通常称为均匀候选抽样。这是一个不完整的假设，因为它考虑了用户可能没有接触到的项目。这样，项目可能会被错误地视为用户不感兴趣。考虑到实际显示的石板允许模型使用更自然的可能性，基于给定项目暴露集的点击概率，如在强盗和强化学习文献中流行的那样。\cite{Eide2021DynamicSampling}表明，基于均匀候选抽样（以及类似假设）的似然性隐含地假设平台仅向用户显示最相关的项目。这使得推荐系统隐含地加强反馈循环，并偏向于先前向用户展示的项目。
2021-11-05 cs.IR cs.LG stat.ML
CSRec: Rethinking Sequential Recommendation from A Causal Perspective
University of Maryland, College Park（马里兰大学帕克分校）
本文提出因果序列推荐框架CSRec，通过预测推荐物品接受概率并回溯决策成因，隔离推荐系统等因素影响，且可融入现有方法，实验证明其显著优于基线。
2024-08-23 cs.IR cs.LG
Balanced Co-Clustering of Users and Items for Embedding Table Compression in Recommender Systems
Hong Kong Baptist University（香港 Baptist 大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出BACO框架，通过协同信号对用户和物品进行聚类，减少嵌入表参数，提升推荐系统效率，实验显示参数减少75%且召回率下降仅1.85%。
2026-04-20 cs.IR cs.LG
Few-shot Model Extraction Attacks against Sequential Recommender Systems
本文提出了一种针对顺序推荐系统的少样本模型提取框架，通过自回归增强生成策略和双向修复损失促进模型蒸馏，有效构建高功能相似性的代理模型。
2026-03-03 cs.CR cs.IR cs.LG
INTERPOS: Interaction Rhythm Guided Positional Morphing for Mobile App Recommender Systems
Independent Researcher（独立研究者）；University of Kentucky（肯塔基大学）；Louisiana State University（路易斯安那州立大学）；University of Central Florida（中央佛罗里达大学）
针对移动应用推荐中用户交互间隔长、传统位置嵌入未考虑时间节律的问题，提出INTERPOS节律引导位置变形策略，整合入Transformer架构，在7个数据集的NDCG@K和HIT@K指标上超越SOTA模型。
2025-06-14 cs.IR cs.LG
Sequential Learning over Implicit Feedback for Robust Large-Scale Recommender Systems
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）
在本文中，我们提出了一个强大的顺序学习策略，用于训练大规模的推荐系统（RS）的隐式反馈主要是在点击的形式。我们的方法依赖于最小化的成对排名损失块的连续项目构成的一系列非点击的项目，然后点击一个为每个用户。如果对于给定用户，连续块的数量低于或高于在训练集中块的数量分布上估计的某些给定阈值，则丢弃参数更新。这是为了防止对一些目标项目的异常点击次数，主要是由于机器人;或很少的用户交互。这两种情况都会影响RS的决策，并意味着向用户显示的项目分布会发生变化。我们提供了一个理论分析表明，在排名损失是凸的情况下，相对于所提出的算法发现的权重序列的损失和其最小值之间的偏差是有界的。此外，五个大规模的集合上的实验结果表明，所提出的算法的效率相对于国家的最先进的方法，无论是关于不同的排名措施和计算时间。
2019-02-21 cs.IR cs.LG stat.ML
CosRec: 2D Convolutional Neural Networks for Sequential Recommendation
University of California, San Diego（加州大学圣地亚哥分校）
序列模式在构建现代推荐系统中起着重要的作用。为此，几个推荐系统已经建立在马尔可夫链和递归模型（等）之上。尽管这些顺序模型在一系列任务中已经被证明是成功的，但它们仍然难以揭示用户购买历史中嵌套的复杂关系。在本文中，我们认为，成对关系建模直接导致一个有效的表示顺序功能，并捕捉复杂的项目相关性。具体来说，我们提出了一个用于顺序推荐的2D卷积网络（CosRec）。它将一系列项编码为三向张量;使用2D卷积滤波器学习局部特征;并以前馈方式聚合高阶交互。在两个公共数据集上的定量结果表明，我们的方法优于传统方法和最近的基于序列的方法，在各种评估指标上实现了最先进的性能。
2019-08-27 cs.IR cs.LG
Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders
Meta；Yale University（耶鲁大学）
本文提出VISTA框架，通过将传统目标注意力分解为两个阶段，实现对超长用户历史的记忆压缩，从而在保持训练和推理成本不变的情况下，支持数百万项的长期用户历史。
2026-03-26 cs.IR cs.LG
Deep Context-Aware Recommender System Utilizing Sequential Latent Context
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Telekom Innovation Laboratories at BGU（BGU德国电信创新实验室）；Stern School of Business, New York University（纽约大学斯特恩商学院）
上下文感知推荐系统（CARS）通过感知和分析用户上下文来提供个性化服务。将上下文添加到推荐模型是具有挑战性的，因为上下文的添加可能增加模型的维度和稀疏性。最近的研究表明，将上下文信息建模为潜在向量可以解决稀疏性和维度挑战。本文提出了一种新的序列上下文潜在建模方法，通过生成上下文信息序列并将其上下文空间压缩为一个压缩的潜在空间，对上下文信息序列进行训练，构造一个长短期记忆（LSTM）编码解码器网络，并从网络的隐藏层提取序列潜在上下文，以压缩表示序列数据。我们提出了新的上下文感知推荐模型，扩展了神经协同过滤方法，并学习用户，项目和上下文的潜在特征之间的非线性相互作用，考虑到顺序的潜在上下文表示作为推荐过程的一部分。我们使用两个具有不同上下文维度的上下文感知数据集部署了我们的方法。我们的研究结果的实证分析验证了我们提出的顺序潜在的上下文感知模型（SLCM），超越了最先进的CARS模型。
2020-08-06 cs.LG stat.ML
Sim2Rec: A Simulator-based Decision-making Approach to Optimize Real-World Long-term User Engagement in Sequential Recommender Systems
Nanjing University（南京大学）；DiDi AI Labs（滴滴人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）；Lyft（来福车）
针对顺序推荐系统中长期用户参与度优化面临的现实差距问题，提出基于模拟器集合的Sim2Rec方法，通过环境参数提取与上下文感知策略训练，实现策略直接迁移至真实环境，并在合成及滴滴出行真实数据上取得显著性能提升。
2023-05-03 cs.IR cs.LG
A Hybrid Recommender System for Recommending Smartphones to Prospective Customers
Verizon Communications（威瑞森通信）
推荐系统是机器学习系统的一个子类，它采用复杂的信息过滤策略来减少搜索时间并向任何特定用户推荐最相关的项目。混合推荐系统将多种推荐策略以不同的方式结合起来，以发挥它们的互补优势。一些混合推荐系统结合了协同过滤和基于内容的方法来构建更健壮的系统。在本文中，我们提出了一个混合推荐系统，它结合了交替最小二乘（ALS）的协同过滤与深度学习，以提高推荐性能，以及克服与协同过滤方法，特别是有关其冷启动问题的限制。从本质上讲，我们使用ALS（协同过滤）的输出来影响深度神经网络（DNN）的推荐，该网络在大数据处理框架中结合了特征，上下文，结构和顺序信息。我们已经进行了几个实验，在测试所提出的混合架构的有效性，在推荐智能手机给潜在客户，并比较其性能与其他开源路由器。结果表明，该系统的性能优于现有的几个混合推荐系统。
2022-07-19 cs.IR cs.LG
RecSim: A Configurable Simulation Platform for Recommender Systems
Google Research（谷歌研究院）；Department of Computer Science, University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）
我们提出RecSim，一个可配置的平台，创作的推荐系统（RS），自然支持与用户的顺序交互的模拟环境。RecSim允许创建新的环境，反映用户行为和项目结构的特定方面，在一个抽象的水平，非常适合推动当前的强化学习（RL）和RS技术在顺序交互式推荐问题的限制。环境可以很容易地配置，以改变以下假设：用户偏好和项目熟悉度;用户潜在状态及其动态;选择模型和其他用户响应行为。我们概述了RecSim如何为RL和RS研究人员和从业者提供价值，以及它如何作为学术-工业合作的工具。
2019-09-26 cs.HC cs.IR cs.LG
Incremental Learning for Personalized Recommender Systems
LinkedIn Corporation（领英公司）
无处不在的个性化推荐系统的建立是为了实现两个看似冲突的目标，以提供高质量的内容，适合个人用户的口味，并迅速适应不断变化的环境。前者需要一个复杂的机器学习模型，该模型是在大量数据上训练的;后者需要频繁更新模型。我们提出了一种增量学习解决方案，以提供训练效率和模型质量。我们的解决方案是基于序贯贝叶斯更新和二次近似。我们的重点是大规模个性化逻辑回归模型，以及对深度学习模型的扩展。本文填补了理论和实践之间的差距，解决了一些实施时出现的挑战，将增量学习大型个性化推荐系统。详细的离线和在线实验表明，我们的方法可以显着缩短训练时间，同时保持模型的准确性。该解决方案部署在LinkedIn中，并直接适用于工业规模的推荐系统。
2021-08-13 cs.IR cs.LG
RecRec: Recursive Refinement for Sequential Recommendation
Sony Research India（索尼印度研究实验室）
研究从递归推理角度重新审视序列推荐，提出轻量级RecRec模型，通过共享递归模块更新潜在状态，引入证据锚定校正机制。实验表明其在少参数下性能优，消融研究凸显递归潜在推理的有效性。
2026-07-16 cs.IR cs.LG
Influential Recommender System
Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）
传统的推荐系统通常是被动的，因为它们试图使它们的推荐适应用户的历史兴趣。然而，对于诸如电子商务、广告投放和新闻门户之类的商业应用，非常期望能够扩展用户的兴趣，使得他们将接受他们最初不知道或不感兴趣的项目，以增加客户交互。在本文中，我们提出了有影响力的推荐系统（IRS），一个新的推荐模式，旨在积极主动地引导用户喜欢一个给定的目标项目，逐步推荐给用户一系列精心挑选的项目（称为影响路径）。我们提出了有影响力的推荐网络（IRN），这是一个基于转换器的顺序模型来编码项目的顺序依赖性。由于不同的人对外部影响的反应不同，我们引入了个性化印象面具（PIM）来模拟用户对外部影响的接受程度，从而为用户生成最有效的影响路径。为了评估IRN，我们设计了几个性能指标来衡量是否影响路径可以顺利扩大用户的兴趣，包括客观的项目，同时保持用户的满意度的建议。实验结果表明，IRN显著优于基准分类器，并展示了其影响用户兴趣的能力。
2022-11-23 cs.AI cs.IR cs.LG
Determinantal Point Process Likelihoods for Sequential Recommendation
Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）
顺序推荐是学术研究中的热门任务，并且接近现实世界的应用场景，其中目标是基于他/她先前的动作序列来预测用户的下一个动作。在推荐系统的训练过程中，损失函数在指导推荐模型的优化，为用户提供准确的推荐方面起着至关重要的作用。然而，大多数现有的顺序推荐技术的重点是设计算法或神经网络架构，并没有努力定制损失函数，自然适合顺序推荐系统的实际应用场景。基于排序的损失，如交叉熵和贝叶斯个性化排序（BPR）被广泛应用于顺序推荐领域。我们认为，这样的目标函数有两个固有的缺点：i）在这些损失公式中忽略了序列元素之间的依赖关系; ii）而不是平衡准确性（质量）和多样性，只生成准确的结果被过度强调。因此，我们提出了两个新的损失函数的基础上的决定点过程（DPP）的可能性，可以自适应地应用于估计后续项目或项目。DPP分布的项目集捕获时间动作之间的自然依赖关系，DPP内核的质量与多样性分解推动我们超越面向精度的损失函数。在三个真实数据集上使用所提出的损失函数的实验结果表明，在质量和多样性度量方面，与最先进的顺序推荐方法相比，有明显的改进。
2022-04-25 cs.IR cs.LG
Making Recommender Systems Forget: Learning and Unlearning for Erasable Recommendation
Zhejiang University（浙江大学）
隐私法律和法规强制执行数据驱动的系统，例如，推荐系统，删除涉及个人的数据。由于机器学习模型可能会记住训练数据，因此数据擦除也应该忘记模型中的数据谱系，这引起了人们对机器遗忘（MU）问题的兴趣。然而，现有的MU方法不能直接应用于推荐。大多数推荐系统的基本思想是协同过滤，但现有的MU方法忽略了跨用户和项目的协作信息。本文提出了一个通用的可擦除推荐框架LASER，它由Group模块和SeqTrain模块组成。首先，分组模块根据超图学习到的协作嵌入相似度，将用户划分为均衡分组。然后，SeqTrain模块对具有课程学习的所有组顺序地训练模型。理论分析和两个真实数据集上的实验表明，LASER不仅可以实现有效的去学习，而且在模型效用方面优于最先进的去学习框架。
2022-03-22 cs.IR cs.LG
DUALRec: A Hybrid Sequential and Language Model Framework for Context-Aware Movie Recommendation
University of Amsterdam（阿姆斯特丹大学）
本文提出DUALRec框架，结合LSTM的时间建模能力与微调大语言模型的语义推理能力，在MovieLens-1M上实现优于基线的上下文感知电影推荐。
2025-07-18 cs.AI cs.IR cs.LG
DiPS: Differentiable Policy for Sketching in Recommender Systems
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（Adobe 研究院）
在顺序推荐系统应用中，重要的是开发能够捕获用户随时间变化的兴趣的模型，以成功地推荐他们可能与之交互的未来项目。对于历史悠久的用户，基于递归神经网络的典型模型往往会忘记遥远过去的重要项目。最近的研究表明，存储过去项目的小草图可以改善顺序推荐任务。然而，这些作品都依赖于静态素描策略，即，选择要保留在草图中的项目的技巧，这些项目不一定是最佳的，并且不能随着时间的推移而随着更多的训练数据而改进。在本文中，我们提出了一个可区分的素描政策（DiPS），一个框架，学习数据驱动的素描政策，在一个端到端的方式与推荐系统模型，以明确最大限度地提高推荐质量的未来。我们还提出了一个近似估计的梯度优化的草图算法参数，这是计算效率。我们在各种实际设置下验证了DiPS在真实世界数据集上的有效性，并表明它需要最多$50\%$更少的草图项才能达到与现有草图策略相同的预测质量。
2021-12-08 cs.IR cs.LG cs.SI
Sequential/Session-based Recommendations: Challenges, Approaches, Applications and Opportunities
RMIT University（皇家墨尔本理工大学）；Macquarie University（麦考瑞大学）；DeepBlue Academy of Sciences（深兰科学院）；Tongji University（同济大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
近年来，顺序推荐系统（SRS）和基于会话的推荐系统（SBRS）已经成为一种新的RS范例，以捕获用户的短期但动态的偏好，从而实现更及时和准确的推荐。虽然SRS和SBRS已经得到了广泛的研究，但由于描述、设置、假设和应用领域的不同，在这一领域存在许多不一致之处。没有工作提供一个统一的框架和问题说明，以消除SR/SBR领域中普遍存在的各种不一致之处。目前还缺乏对该领域的数据特征、关键挑战、最具代表性和最先进的方法、典型的实际应用和未来重要研究方向进行全面和系统的展示。这项工作旨在填补这些空白，以促进在这个令人兴奋和充满活力的领域的进一步研究。
2022-05-22 cs.AI cs.IR cs.LG
Unleash LLMs Potential for Sequential Recommendation by Coordinating Dual Dynamic Index Mechanism
Central South University（中南大学）；Microsoft（微软公司）；Microsoft Research Asia（微软亚洲研究院）；Griffith University（格里菲斯大学）
本文提出端到端双动态（ED$^2$）推荐器，通过双动态索引机制统一索引生成与序列推荐，并利用用户相关信息，在三个公开数据集上分别提升命中率19.62%和NDCG 21.11%。
2026-09-17 cs.AI cs.CL cs.IR
Beyond Learning from Next Item: Sequential Recommendation via Personalized Interest Sustainability
Pohang University of Science and Technology（浦项科技大学）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
顺序推荐系统通过捕捉用户的兴趣漂移，实现了有效的推荐。现有的顺序模型有两组：以用户为中心的模型和以项目为中心的模型。以用户为中心的模型基于每个用户的顺序消费历史来捕获个性化的兴趣漂移，但是没有明确地考虑用户对物品的兴趣是否持续超过训练时间，即，兴趣可持续性。另一方面，以项目为中心的模型考虑的是用户的一般兴趣在训练时间后是否持续，但它不是个性化的。在这项工作中，我们提出了一个推荐系统，利用这两类模型。我们提出的模型捕捉个性化的兴趣可持续性，表明是否每个用户的项目的兴趣将持续超过训练时间或没有。我们首先制定了一个任务，需要预测哪些项目，每个用户将消费在最近一段时间的训练时间的基础上用户的消费历史。然后，我们提出了简单而有效的计划，以增加用户的稀疏消费历史。大量的实验表明，该模型优于10个基线模型在11个真实世界的数据集。这些代码可在https://github.com/dmhyun/PERIS上获得。
2022-09-14 cs.AI cs.IR cs.LG
Order Matters at Fanatics Recommending Sequentially Ordered Products by LSTM Embedded with Word2Vec
Fanatics Inc.（Fanatics公司）；Airbnb Inc.（爱彼迎公司）；eHealth Inc.（eHealth公司）
电子商务推荐面临的一个独特挑战是，客户通常对比他们已经购买的产品更先进的产品感兴趣，但不是相反。现有的几个推荐系统建模单向序列输出有限数量的类别或连续变量。为了对有序序列进行建模，我们设计了第一个推荐系统，该系统使用Word 2 Vec嵌入购买的项目，并使用无状态LSTM RNN对序列进行建模。这个推荐系统在生产中的点击率超过了它唯一基于Word 2 Vec的前身。它开发于2017年，可能是第一个发布的真实世界应用程序，可以在Spark从节点上对单个机器训练的Keras模型进行分布式预测，每行超过40万列。
2019-11-22 cs.CL cs.IR cs.LG
Freudian and Newtonian Recurrent Cell for Sequential Recommendation
NCSOFT Co.（NCSoft公司）；Yonsei University（延世大学）
顺序推荐系统的目的是根据用户的行为模式向用户推荐有吸引力的项目。主要的顺序推荐模型是基于自然语言处理模型的，例如门控递归单元，其将项目嵌入在某些定义的空间中，并基于项目嵌入来掌握用户的长期和短期偏好。然而，这些方法缺乏对这些模型如何与用户的固有决策过程相关的基本见解。为了提供这种见解，我们提出了一种新的复发细胞，即FaNC，从弗洛伊德和牛顿的观点。FaNC将用户的状态分为有意识和无意识状态，用户的决策过程以弗洛伊德的两个原则为模型：快乐原则和现实原则。为了模拟快乐原则，即，自由浮动的用户的本能，我们把用户的无意识状态和项目嵌入在同一个潜在的空间，并使他们受到牛顿的万有引力定律。此外，为了向用户推荐项目，我们对现实原则进行建模，即，通过门控功能来平衡意识和无意识状态。基于各种基准数据集上的大量实验，本文提供了洞察所提出的模型的特点。FaNC在精神分析和推荐系统的融合中开创了顺序推荐的新方向。
2021-02-11 cs.AI cs.IR cs.LG
An MDP-based Recommender System
Ben-Gurion University（本-古里安大学）；Microsoft Research（微软研究院）
典型的推荐系统采用推荐过程的静态视图，并将其视为预测问题。我们认为，它是更合适的，以查看作为一个顺序的决策问题的问题产生的建议，因此，马尔可夫决策过程（MDP）推荐系统提供了一个更合适的模型。MDP有两个好处：它们考虑到每项建议的长期影响，并考虑到每项建议的预期价值。为了在实践中取得成功，一个基于MDP的推荐系统必须采用一个强大的初始模型，本文的大部分内容都是关于这样一个模型的生成。特别是，我们建议使用一个n-gram预测模型来生成初始MDP。我们的n-gram模型诱导了一个用户行为的马尔可夫链模型，其预测精度高于现有的预测模型。我们详细描述了我们的预测模型，并评估了其在真实数据上的性能。此外，我们展示了如何使用该模型在基于MDP-Recommender系统。
2015-05-16 cs.AI cs.IR cs.LG
Debiasing Learning for Membership Inference Attacks Against Recommender Systems
Shandong University（山东大学）；Alibaba Group（阿里巴巴集团）；Meituan（美团）；University of Amsterdam（阿姆斯特丹大学）
学习推荐系统可能会无意中泄露有关其训练数据的信息，从而导致隐私侵犯。我们调查的隐私威胁所面临的推荐系统，通过镜头的成员推理。在这样的攻击中，对手旨在推断用户的数据是否用于训练目标推荐器。为了实现这一点，以前的工作已经使用了影子推荐器来获得攻击模型的训练数据，然后通过计算用户的历史交互和推荐项目之间的差异向量来预测成员资格。现有技术的方法面临两个挑战性的问题：（1）由于阴影和目标映射器之间的间隙，攻击模型的训练数据是有偏差的，以及（2）映射器中的隐藏状态是不可观测的，导致差异向量的估计不准确。为了解决上述限制，我们提出了一个针对推荐系统的成员推断攻击的去偏学习（DL-MIA）框架，该框架有四个主要组件：（1）差异向量生成器，（2）解纠缠编码器，（3）权重估计器和（4）攻击模型。为了缩小推荐器之间的差距，设计了一种基于变分自动编码器（VAE）的解纠缠编码器来识别推荐器不变特征和特定特征。为了减少估计偏差，我们设计了一个权重估计器，为每个差异向量分配一个真值分数来表示估计精度。我们评估DL-MIA对一般的排序器和顺序排序器在三个真实世界的数据集。实验结果表明，DL-MIA算法能够有效地同时消除训练偏差和估计偏差，达到了最佳的攻击性能。
2022-06-28 cs.CR cs.IR cs.LG
Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism
University of California, Berkeley（加州大学伯克利分校）；Facebook Inc.（脸书公司）
在本文中，我们认为混合并行-一种范式，采用数据并行（DP）和模型并行（MP）-规模的大型推荐模型的分布式训练。我们提出了一种名为动态通信阈值（DCT）的压缩框架，用于通信高效的混合训练。DCT通过一个简单的硬阈值函数过滤网络中要通信的实体，只允许最相关的信息通过。对于通信高效的DP，DCT压缩在模型同步期间发送到参数服务器的参数梯度。阈值每几千次迭代仅更新一次，以减少压缩的计算开销。对于通信高效的MP，DCT结合了一种新的技术来分别压缩在前向和后向传播期间通过网络发送的激活和梯度。这是通过针对数据中的每个训练样本仅识别和更新神经网络的最相关神经元来完成的。我们在公开的自然语言处理和推荐模型和数据集上评估DCT，以及Facebook在生产中使用的推荐系统。DCT在DP和MP期间分别将通信减少至少$100\times$和$20\times$。该算法已部署在生产中，它将最先进的工业推荐模型的端到端训练时间提高了37%，而性能没有任何损失。
2021-05-21 cs.DC cs.LG stat.ML
Latent User Intent Modeling for Sequential Recommenders
Google, Inc.（谷歌公司）
顺序推荐模型是现代工业推荐系统的重要组成部分。这些模型学习基于用户在平台上的交互历史来预测用户可能与之交互的下一个项目。然而，大多数顺序浏览器缺乏对用户意图的更高层次的理解，这通常会驱动用户的在线行为。因此，意图建模对于理解用户和优化长期用户体验至关重要。我们提出了一种概率建模方法，并制定用户的意图作为潜在变量，这是推断的基础上，使用变分自编码器（VAE）的用户行为信号。然后，在给定推断出的用户意图的情况下，相应地调整推荐策略。我们通过离线分析以及在大型工业推荐平台上的现场实验证明了潜在用户意图建模的有效性。
2023-03-27 cs.IR cs.LG
Stochastic Primal-Dual Decoding for Multiobjective Generative Recommender Systems
Spotify（声田公司）
研究多目标生成推荐系统，提出轻量级推理时解码层，通过随机原始对偶近似方案平衡相关性与辅助目标，经实验验证可在多目标权衡上持续改进，提升辅助目标且不影响用户满意度。
2026-07-23 cs.AI cs.LG
Embedding Compression in Recommender Systems: A Survey
本文系统综述了推荐系统中嵌入表的压缩方法，将其划分为低精度、混合维度和权重共享三类，并给出建议与未来展望。
2024-08-05 cs.IR
SRSUPM: Sequential Recommender System Based on User Psychological Motivation
本文提出SRSUPM框架，通过建模用户心理动机变化提升序列推荐性能，通过心理动机变化评估、状态建模和信息分解等方法，有效捕捉用户行为模式，实验表明其在多个基准测试中表现优异。
2026-04-17 cs.IR
XDM: Improving Sequential Deep Matching with Unclicked User Behaviors for Recommender System
基于深度学习的顺序推荐系统近年来引起了学术界和工业界越来越多的关注。大多数工业化的基于嵌入的检索（EBR）系统的推荐共享与顺序查询相似的思想。其中，如何全面捕捉序列用户兴趣是一个根本性的问题。然而，大多数现有的顺序推荐模型作为输入点击或购买的行为序列，从用户项目的交互。这导致不全面的用户表示和次优的模型性能，因为它们忽略了完整的用户行为暴露数据，即，用户印象深刻但未点击的项目。在这项工作中，我们试图采用一种新的学习方法，以探索更好的顺序推荐技术，将这些未点击的项目序列和模型。提出了一种有效的三元组度量学习算法来适当地学习未点击项目的表示。我们的方法可以简单地集成与现有的顺序推荐模型的置信度融合网络，并进一步获得更好的用户表示。基于真实电子商务数据的离线实验结果验证了该方法的有效性，并验证了未点击项目在顺序推荐中的重要性。此外，我们部署我们的新模型（命名为XDM）在淘宝推荐系统的EBR，性能优于部署的前一代SDM。
2022-03-31 cs.IR
Defending Substitution-Based Profile Pollution Attacks on Sequential Recommenders
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
虽然顺序推荐系统在捕获用户动态方面取得了显着的改进，但我们认为顺序推荐系统容易受到基于替换的配置文件污染攻击。为了证明我们的假设，我们提出了一个基于替换的对抗攻击算法，该算法通过选择某些易受攻击的元素并将其替换为对抗项来修改输入序列。在无目标和有针对性的攻击情况下，我们观察到显着的性能恶化，使用建议的配置文件污染算法。受这些观察的启发，我们设计了一种有效的对抗性防御方法，称为Dirichlet邻域采样。具体来说，我们从多跳邻居构造的凸包中抽取项目嵌入，以替换输入序列中的原始项目。在采样过程中，使用狄利克雷分布来近似邻域中的概率分布，使得推荐器学习对抗局部扰动。此外，我们还设计了一种针对顺序推荐系统的对抗性训练方法。特别是，我们用独热编码表示选定的项，并对编码执行梯度上升，以搜索训练中项嵌入的最坏情况线性组合。因此，嵌入函数学习鲁棒的项目表示，并且训练的推荐器能够抵抗测试时的对抗性示例。大量的实验表明了我们的攻击和防御方法的有效性，这些方法在模型架构和数据集上的表现始终优于基线。
2022-07-19 cs.AI cs.CR cs.IR
Learning Robust Sequential Recommenders through Confident Soft Labels
针对序列推荐中独热标签稀疏导致训练有偏的问题，提出含教师-学生模块的CSRec框架，通过三类教师模块生成置信软标签结合独热标签训练，在四个基准数据集上验证了其提升推荐性能的有效性。
2023-11-04 cs.IR
StackRec: Efficient Training of Very Deep Sequential Recommender Models by Iterative Stacking
South China University of Technology（华南理工大学）；Westlake University（西湖大学）；Tencent（腾讯）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
深度学习为顺序推荐（SR）任务带来了巨大的进步。利用先进的网络架构，顺序推荐模型可以堆叠有许多隐藏层，例如，在真实世界的推荐数据集上多达100层。训练这样一个深度网络是困难的，因为它在计算上非常昂贵，需要更长的时间，特别是在有数百亿用户与项目交互的情况下。为了应对这样的挑战，我们提出了StackRec，这是一个简单，但非常有效和高效的训练框架，用于通过迭代层堆叠进行深度SR模型。具体来说，我们首先提供了一个重要的见解，即经过良好训练的深度SR模型中的隐藏层/块具有非常相似的分布。受此启发，我们提出了对预训练层/块的堆叠操作，以将知识从较浅的模型转移到较深的模型，然后我们执行迭代堆叠，以产生更深但更复杂的训练SR模型。我们通过在三个实际场景中使用四个最先进的SR模型实例化StackRec来验证其性能。大量的实验表明，与从头开始训练的SR模型相比，StackRec不仅实现了相当的性能，而且在训练时间上也大大加快了。代码可在https://github.com/wangjiachun0426/StackRec上获得。
2021-05-12 cs.IR cs.LG
Large Language Model Can Interpret Latent Space of Sequential Recommender
本文提出RecInterpreter框架，通过轻量适配器和序列残差提示，使LLaMA等大语言模型能够解读基于ID的序列推荐器的隐空间表示，并实例化生成式推荐器输出的理想物品。
2023-10-31 cs.IR
Black-Box Attacks on Sequential Recommenders via Data-Free Model Extraction
Technical University of Munich（慕尼黑工业大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们研究模型提取是否可以用来“窃取”顺序推荐系统的权重，以及这种攻击对受害者构成的潜在威胁。这种类型的风险在图像和文本分类中引起了关注，但据我们所知，在推荐系统中没有。我们认为，顺序推荐系统受到独特的漏洞，由于特定的自回归制度用于训练他们。与许多现有的推荐攻击者不同，这些攻击者假设用于训练受害者模型的数据集暴露给攻击者，我们考虑无数据设置，其中训练数据不可访问。在此背景下，我们提出了一种基于API的模型提取方法，通过有限预算的合成数据生成和知识蒸馏。我们研究了最先进的顺序推荐模型，并显示了它们在模型提取和下游攻击下的脆弱性。我们分两个阶段进行攻击。(1)模型提取：给定从黑盒推荐器检索的不同类型的合成数据和它们的标签，我们通过蒸馏将黑盒模型提取为白盒模型。(2)下游攻击：我们用白盒推荐器生成的对抗样本攻击黑盒模型。实验结果表明，我们的无数据模型提取和下游攻击的连续的病毒在两个配置文件污染和数据投毒设置的有效性。
2021-09-01 cs.AI cs.CR cs.IR
PTF-FSR: A Parameter Transmission-Free Federated Sequential Recommender System
本文提出无参数传输的联邦序列推荐框架PTF-FSR，通过仅传输隐私保护下的预测结果，同时保护模型与数据隐私，并支持更大规模序列推荐模型。
2024-06-08 cs.IR
Privacy-Preserving Cross-Domain Sequential Recommendation
针对跨域序列推荐中的用户隐私保护需求，提出非侵入式的PriCDSR系统，设计兼顾ID与顺序信息的差分隐私机制，可适配任意基础模型，在三域实验中性能优于单域推荐系统。
2024-01-27 cs.IR
LinRec: Linear Attention Mechanism for Long-term Sequential Recommender Systems
针对传统点积注意力在长期序列推荐中复杂度高的问题，提出具备线性复杂度的L2归一化线性注意力机制LinRec，在保留注意力学习能力的同时显著提升效率，性能达到或超越现有最优模型。
2024-11-03 cs.IR
ClusterSeq: Enhancing Sequential Recommender Systems with Clustering based Meta-Learning
Imperial College London（帝国理工学院）；Sharif University of Technology（谢里夫理工大学）
针对序列推荐中的用户冷启动及次要用户偏好建模难题，提出基于元学习聚类的ClusterSeq模型，利用用户序列动态信息提升预测准确性，在MRR指标上较现有方法提升16-39%。
2023-07-25 cs.AI cs.IR cs.LG
Recommender Transformers with Behavior Pathways
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
序贯推荐要求推荐器从用户行为数据中捕捉用户行为的演化特征，以实现准确的推荐。然而，用户行为序列被视为一个脚本，其中有多个正在进行的线程交织在一起。我们发现，只有一小部分关键的行为可以演变成用户的未来行动。因此，用户的未来行为很难预测。我们将每个用户的连续行为的这种特征总结为行为路径。不同的用户有其独特的行为路径。在现有的序列模型中，Transformers显示出很大的能力，在捕捉全球依赖的特征。然而，这些模型主要使用自我注意力机制在所有先前行为上提供密集分布，使得最终预测被不针对每个用户调整的琐碎行为淹没。在本文中，我们建立了一个新的路径注意力机制的推荐Transformer（RETR）。RETR可以动态地规划为每个用户指定的行为路径，并通过该行为路径谨慎地激活网络，以有效地捕获对推荐有用的演变模式。关键的设计是一个学习的二元路线，以防止行为路径被琐碎的行为所淹没。我们在七个真实世界的数据集上实证验证了RETR的有效性，RETR产生了最先进的性能。
2022-06-13 cs.IR cs.LG
Improving Sequential Recommender Systems with Online and In-store User Behavior
本文面向线上与到店混合行为场景，设计全渠道数据流水线并提出模型无关编码器，以增强序列推荐系统对到店交易的理解和未来线上交互预测能力。
2024-12-03 cs.IR
Data Watermarking for Sequential Recommender Systems
针对序列推荐系统的数据版权保护需求，提出DWRS方法，通过感受野引导在用户交互序列插入连续物品水印，在数据集和用户两种水印场景下，于5类模型、3个基准数据集上验证了其版权保护有效性且不影响模型效用。
2025-05-19 cs.IR
TRec: Sequential Recommender Based On Latent Item Trend Information
推荐系统在在线Web应用中扮演着重要的角色。顺序推荐系统利用用户与项目交互的最新历史信息，进一步对用户的短期偏好进行建模。大多数顺序推荐方法忽略了不断变化的项目流行度的重要性。我们从直觉中提出了这个模型，即用户交互最多的项目可能在过去很受欢迎，但最近可能会过时。为此，本文提出了一种新的顺序推荐方法TRec，TRec从隐式用户交互历史中学习项目趋势信息，并将项目趋势信息整合到下一个项目推荐任务中.然后使用自注意力机制来学习更好的节点表示。我们的模型是通过基于排序的成对优化来训练的。我们在四个基准数据集上用七种基线方法进行了大量的实验，实验结果表明，我们的方法在保持较低运行时间开销的同时，性能优于其他最先进的方法。我们的研究证明了项目趋势信息在推荐系统设计中的重要性，并且我们的方法也具有很高的效率，这使得它在现实世界中是实用的。
2020-09-11 cs.IR
LLM4MEA: Data-free Model Extraction Attacks on Sequential Recommenders via Large Language Models
本文提出LLM4MEA，利用大语言模型作为类人排序器与目标推荐系统交互生成高质量训练数据，显著提升对序列推荐器的模型提取攻击效果，并提出相应防御策略。
2025-07-22 cs.IR
Learning to Learn a Cold-start Sequential Recommender
Beijing Jiaotong University（北京交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
冷启动推荐是当前在线应用中亟待解决的问题。它旨在为那些行为稀少的用户提供尽可能准确的推荐。许多数据驱动的算法，如广泛使用的矩阵分解，由于数据稀疏而表现不佳。本文采用元学习的思想来解决用户的冷启动推荐问题。我们提出了一个基于元学习的冷启动顺序推荐框架称为元CSR，包括三个主要组成部分：扩散代表学习更好的用户/项目嵌入通过信息扩散的交互图;顺序推荐捕获时间依赖的行为序列; Meta学习者提取和传播可转移的知识，以前的用户和学习一个良好的初始化为新用户。MetaCSR具有从常规用户的行为中学习常见模式并优化初始化的能力，使得模型可以在一次或几次梯度更新后快速适应新用户，以实现最佳性能。在三个广泛使用的数据集上的大量定量实验表明，元CSR在处理用户冷启动问题方面具有显著的性能。同时，一系列的定性分析表明，所提出的元CSR具有良好的推广性。
2021-10-18 cs.AI cs.IR cs.LG
