Adaptive Recurrent Neural Network Based on Mixture Layer
Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
虽然循环神经网络（RNN）已经成为一个强大的工具来建模序列数据，它的性能是不够的，当处理序列与多个模式。在本文中，我们通过引入新的混合层和构建自适应RNN来解决这一挑战。混合层增广RNN（M-RNN）将训练序列中的模式划分为多个类，并将主模式作为混合模型中各成分的原型向量存储。通过利用混合层，该方法可以根据编码输入和原型向量之间的相似性自适应地更新状态，从而提高了对多模式序列的同化能力。此外，我们的方法可以通过利用有关数据的先验知识来进一步扩展。在模拟数据集和真实数据集上的实验证明了该方法的有效性。
2019-02-27 cs.AI cs.LG stat.ML
A clustering tool for nucleotide sequences using Laplacian Eigenmaps and Gaussian Mixture Models
我们提出了一个新的程序聚类核苷酸序列的基础上的“拉普拉斯特征映射”和高斯混合模型。然后将该建议应用于一组100个DNA序列，这些DNA序列来自扁形动物和线虫属物种的集合的经尿道编码的NADH脱氢酶3（ND3）基因。所得到的集群，然后示出与使用最大似然法计算的基因系统发育树是一致的。这种比较特别表明，由拉普拉斯特征映射与高斯混合模型相结合的方法产生的聚类与遗传学以及NCBI分类学是一致的。我们还为此过程开发了一个Python包，可以在线获得。
2016-10-26 math.ST q-bio.QM stat.TH
Mixture Hidden Markov Models for Sequence Data: The seqHMM Package in R
序列分析正越来越广泛地应用于社会序列和其他多元分类时间序列数据的分析。然而，描述、可视化和比较大型序列数据通常是复杂的，尤其是当每个受试者有多个平行序列时。隐马尔可夫模型（HHMF）能够检测潜在的潜在结构，并且它们可以用于各种纵向设置中：考虑测量误差，检测不可观测的状态，或者压缩跨几种类型的观测的信息。扩展到混合隐马尔可夫模型（MHALGOT）允许聚类数据到同质子集，有或没有外部协变量。R中的seqHMM包设计用于使用HHMM和MHMM对序列和其他分类时间序列数据进行有效建模，这些数据包含一个或多个主题，具有一个或多个相互依赖的序列。也可以拟合MHMM的其他受限变体，例如，潜在类模型、马尔可夫模型、混合马尔可夫模型、或甚至具有HMM的适当参数化的普通多项式回归模型。在从第一眼看到数据到模型拟合和结果呈现的整个分析过程中，数据和模型的良好图形化呈现非常有用。该软件包提供了绘制并行序列数据的简单选项，并建议将HPLOS可视化为有向图。
2019-01-26 stat.AP stat.CO
Classification of molecular sequence data using Bayesian phylogenetic mixture models
在系统发育推断的应用中，分子序列的位点之间的速率变化是常见的。存在几种方法来解释这一特征，但它们通常不能使研究人员以直接的方式查明在一种或另一种进化速率下进化的位点。重点是贝叶斯系统发育混合模型，增加分配变量，作为工具，网站分类和量化的分类不确定性。该方法不依赖于站点对类的成员关系或甚至类的数量的先验知识。此外，它不需要相关位点在序列比对中彼此相邻，不像一些系统发育隐马尔可夫模型或变点模型。在所提出的方法中，混合物成分的数量和类型的模型选择进行模型估计和站点分类之前，踏脚石采样器（SS）是用来选择竞争的混合物模型。灵长类动物的模拟数据和线粒体DNA的应用实例说明通过“增强”贝叶斯系统发育混合物的网站分类。在这两个例子中，所有的混合物优于常用的模型，现场率变化和模型，不考虑率的异质性。这些例子进一步证明了如何从分析输出中容易地获得站点分类。该方法是直接相关的贝叶斯遗传学的分区的选择，其应用可能会导致发现的结构，否则不承认在分子序列比对。贝叶斯系统发育模型估计的计算方面进行了讨论，包括使用简单的马尔可夫链蒙特卡罗（MCMC）移动，有效地混合没有回火的链。
2013-05-22 q-bio.QM stat.AP
Convergence of de Finetti's mixing measure in latent structure models for observed exchangeable sequences
产品分布的混合是了解数据群体内异质性的强大工具。在这类潜在结构模型中，de Finetti的混合测度对于描述代表异质性的潜在参数的不确定性起着核心作用。本文在观测变量可交换序列数目增加而序列长度固定或可变的情况下，建立了乘积分布有限混合的de Finetti混合测度的后验压缩定理。我们将仔细研究序列数目和序列长度的作用。为了得到具体的收敛速度，有限混合模型的一阶可识别性理论和一族尖锐的逆界的混合产品分布将开发通过调和分析这样的潜在结构模型。该理论适用于构成连续域和离散域$\mathfrak{X}$的乘积分布的混合模型的广泛类的概率核。感兴趣的例子包括概率核在Ho和Nguyen（2016）的意义上仅弱可识别的情况，核本身是分层模型中的混合分布的情况，以及核可能不具有关于抽象域$\mathfrak{X}$（如Dirichlet过程）上的支配测度的密度的情况。
2021-09-23 math.PR math.ST stat.TH
Precision Measurements of the Cluster Red Sequence using an Error Corrected Gaussian Mixture Model
红色序列是星系团的一个重要特征，在星系团的光学探测中起着至关重要的作用。红序星系的斜率和散射的测量受红序星系选择和测量误差的影响。本文提出了一种新的用于红序列星系识别的误差校正高斯混合模型。使用这种技术，我们可以消除测量误差的影响，并提取无偏的信息的内在属性的红色序列。我们使用这种方法来选择在maxBCG目录中的13，823个星系团中的每个红序星系，并测量每个红序星系的脊线位置和散射。这些测量提供了精确的约束的平均红星系人口的变化，在所观察到的框架与红移。我们发现，红序列脊线的散射随着红移而轻度增加，斜率随着红移而减小。我们还观察到，斜率并不强烈依赖于集群丰富度。使用类似的方法，我们表明，这种行为反映在场星系的光谱样本，进一步强调，脊线属性是独立的环境。
2010-10-28 astro-ph.CO astro-ph.GA stat.CO
Temporal Learning and Sequence Modeling for a Job Recommender System
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
我们为RecSys Challenge 2016提出了工作推荐任务的解决方案。我们的工作的主要贡献是结合时序学习与序列建模，捕捉复杂的用户项活动模式，以提高工作推荐。首先，我们提出了一个基于时间的排名模型应用于历史观测和混合矩阵分解随着时间的重新加权的相互作用。其次，我们利用用户项活动中的序列属性，并开发了一个基于RNN的推荐模型。我们的解决方案在100多名参与者的挑战中获得了5个$^{th}$名次。值得注意的是，我们的RNN方法的强大性能显示了在推荐系统中采用序列建模的一个有希望的新方向。
2016-08-11 cs.LG stat.ML
DVE: Dynamic Variational Embeddings with Applications in Recommender Systems
嵌入是一种将高维特征映射到低维空间的有效技术，在链接预测、节点分类和自然语言处理等领域有着广泛的应用。目前的方法主要集中在静态数据，这通常会导致不满意的性能，在应用程序中，涉及随着时间的推移大的变化。如何动态地表征嵌入特征的变化在很大程度上仍然是未探索的。在本文中，我们介绍了一个动态变分嵌入（DVE）方法的序列感知数据的基础上，在递归神经网络的最新进展。DVE可以明确地同时模拟节点的内在性质和时间变化，这对于探索至关重要。我们进一步将DVE应用于序列感知推荐系统，并开发了一个端到端的链接预测神经架构。
2020-08-27 cs.IR cs.LG stat.ML
Information Theoretic Bounds on Optimal Worst-case Error in Binary Mixture Identification
从噪声观测池中识别潜在二进制序列在统计学习和群体遗传学中具有广泛的应用。每个观测到的序列是通过二进对称信道传递一个潜在母序列的结果，这使得这种配置类似于伯努利混合模型的特殊情况。本文的目的是获得一个渐近紧的上界的最大似然混合识别的错误在这样的问题。所得到的结果表明，最优估计的推理精度的基本保证。为此，我们着手寻找最接近的一对离散分布相对于信息测度。我们提供了一种新的技术，以有效的方式下界的信息。我们还表明，一个激烈的相变发生在噪声水平0.25。我们的研究结果表明，识别问题变得更加困难的噪声概率超过这个阈值。
2018-11-27 cs.IT math.IT math.ST
Expressive recommender systems through normalized nonnegative models
Massachusetts Institute of Technology（麻省理工学院）
我们引入归一化非负模型（NNM）的探索性数据分析。NNM是概率论模型的部分凸化。并以项目推荐为例说明了它们的价值。我们表明，NNM为基础的推荐系统满足三个标准，所有推荐系统应该理想地满足：高预测能力，计算的易处理性，和表达的用户和项目。在实践中，表达性的用户和项目表示对于简洁地总结客户池和项目池非常重要。在NNM中，用户表示是表达性的，因为每个用户的偏好可以被视为常规用户的偏好的归一化混合。项目和用户表示的可解释性允许我们安排项目的属性（例如，电影的类型或文档的主题）或用户（例如，人格特质）。
2015-11-15 cs.LG stat.ML
Deep neural network marketplace recommenders in online experiments
Schibsted Media Group（Schibsted 传媒集团）
推荐在市场中被广泛使用，以将用户与与他们的兴趣和需求相关的项目相匹配。为了了解用户意图并根据他们的需求定制推荐，我们使用深度学习来探索市场中可用的各种异构数据。本文重点讨论了衡量推荐性能的挑战，并总结了几种有前途的深度神经网络分类器的在线实验结果-混合项目表示模型，结合了用户参与度和内容的特征，基于序列的模型，以及通过对多个子模型的建议进行重新排名来优化用户参与度的多臂强盗模型。这些机器人目前正在挪威领先的市场FINN.no上运行，每天为超过100万名游客提供服务。
2018-09-06 cs.IR cs.LG stat.ML
Towards Universal Sequence Representation Learning for Recommender Systems
Renmin University of China（中国人民大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Alibaba Group（阿里巴巴集团）
为了开发有效的序列表示器，提出了一系列序列表示学习（SRL）方法来建模历史用户行为。大多数现有的SRL方法依赖于显式的项目ID来开发序列模型，以更好地捕获用户偏好。虽然这些方法在一定程度上是有效的，但由于显式建模项目ID的限制，这些方法很难转移到新的推荐场景。为了解决这个问题，我们提出了一种新的通用序列表示学习方法，命名为UniSRec。所提出的方法利用项目的相关描述文本来学习跨不同推荐场景的可转移表示。为了学习通用项目表示，我们设计了一个轻量级的项目编码架构的参数白化和混合的专家增强适配器。为了学习通用序列表示，我们引入了两个对比的预训练任务，通过采样多域否定。通过预训练的通用序列表示模型，我们的方法可以在归纳或转换设置下以参数有效的方式有效地转移到新的推荐域或平台。在真实数据集上进行的大量实验证明了该方法的有效性。特别是，我们的方法也导致在跨平台设置的性能改善，显示出强大的通用SRL方法的可移植性。代码和预训练模型可在www.example.com上获得。
2022-06-13 cs.AI cs.IR cs.LG
On the Value of Bandit Feedback for Offline Recommender System Evaluation
Criteo AI Lab（Criteo人工智能实验室）
在学术文献中，推荐系统经常被评估下一个项目预测的任务。该过程旨在回答以下问题：“给定到时间t的用户-项目交互的自然序列，我们能否预测用户在时间t+1将与哪个项目交互？".通过所述方法获得的评估结果然后被用作预测哪个系统将在在线设置中表现得更好的代理。然而，在线设置提出了一个微妙的不同问题：“给定用户与项目交互的自然序列，直到时间t，我们能让用户在时间t+1与推荐项目交互吗？".从因果关系的角度来看，系统执行干预，我们希望衡量其效果。下一个项目预测通常被用作一个后备目标，当有关干预措施及其效果的信息（显示的建议以及是否收到点击）不可用时。然而，当这种类型的数据可用时，它可以为可靠地估计在线推荐系统的性能提供很大的价值。通过一系列的模拟实验与健身房环境，我们显示传统的离线评估方案不足。此外，我们展示了如何利用所谓的强盗反馈进行有效的离线评估，更准确地反映在线性能。
2019-07-26 cs.IR cs.LG stat.ML
Data Augmentation Using Many-To-Many RNNs for Session-Aware Recommender Systems
由Booking.com组织的ACM WSDM WebTour 2021挑战赛专注于在旅游领域应用会话感知推荐系统。给定用户旅行中的一系列旅行预订，我们希望推荐用户的下一个目的地。为了处理输出空间的大维度，我们提出了一个多对多的RNN模型，预测用户在每个序列步骤中选择的下一个目的地，而不仅仅是最后一个。我们展示了这是如何在多对一RNN中进行数据增强的计算效率替代方案，其中我们考虑从第一个元素开始的会话的每个子序列。我们的解决方案在最终排行榜中排名第四，准确率为0.5566。
2021-08-22 cs.IR cs.LG
Recommender Systems with Generative Retrieval
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google DeepMind（谷歌DeepMind）；Google（谷歌）
该研究提出基于Semantic ID的生成式检索推荐方法，用Transformer序列模型自回归解码物品语义ID，在多数据集上性能超SOTA，还提升了冷启动物品的检索泛化能力。
2023-11-03 cs.IR cs.LG
SeER: An Explainable Deep Learning MIDI-based Hybrid Song Recommender System
University of Louisville（路易斯维尔大学）
现有的音乐推荐系统主要依赖于基于矩阵分解的协同过滤方法或深度学习架构。深度学习模型通常使用元数据进行基于内容的过滤，或者通过从用户动作的时间序列中学习来预测下一次用户交互。尽管用于歌曲推荐的深度学习取得了进展，但没有人通过学习基于内容的序列模型来利用歌曲的序列性质。除了预测精度的重要性，其他重要方面也很重要，例如可解释性和解决冷启动问题。在这项工作中，我们提出了一个混合深度学习模型，称为“SeER”，使用协同过滤（CF）和深度学习序列模型的歌曲推荐，以提供更准确的个性化推荐，解决项目冷启动问题，并生成一个相关的歌曲推荐的解释。我们的评估实验显示，有前途的结果相比，最先进的基线和混合歌曲推荐系统的排名评价。此外，基于建议的离线验证测试，我们表明，我们的个性化的解释捕获的属性，是根据用户的喜好。
2019-12-19 cs.IR cs.LG cs.SD
On component interactions in two-stage recommender systems
University of Cambridge（剑桥大学）；UC Berkeley（加州大学伯克利分校）；Technical University of Munich（慕尼黑工业大学）；Helmholtz AI, Munich（亥姆霍兹人工智能中心，慕尼黑）
由于其可扩展性，两阶段搜索器被当今许多最大的在线平台使用，包括YouTube，LinkedIn和Pinterest。这些系统通过两个步骤产生推荐：（i）多个提名者，针对低预测延迟进行调整，从整个项目池中预选候选者的一个小子集;（ii）更慢但更准确的排名器进一步缩小提名项目，并为用户服务。尽管它们很受欢迎，但关于两阶段算法的文献相对较少，并且算法通常被视为仅仅是其部分的总和。这种处理的前提是，两阶段的性能是由单独的组成部分的行为解释。事实并非如此：使用合成和真实世界的数据，我们证明，排名和提名者之间的相互作用，大大影响整体性能。受这些发现的启发，我们推导出一个泛化下限，表明独立提名人训练可以导致与均匀随机推荐相当的性能。我们发现，仔细设计的项目池，每个分配给不同的提名人，这些问题。由于手动搜索一个好的池分配是困难的，我们建议学习一个，而不是使用混合的专家为基础的方法。这显著提高了K的查准率和查全率。
2022-01-12 cs.IR cs.LG stat.ML
Sliding Window Training -- Utilizing Historical Recommender Systems Data for Foundation Models
Netflix（网飞公司）
本文提出滑动窗口训练技术，在不增加模型输入维度的前提下将长用户历史序列纳入推荐系统基础模型训练，有效提升了模型对长期用户偏好的学习及预训练物品质量。
2024-08-21 cs.IR cs.LG
Enhancing Recommendation with Denoising Auxiliary Task
College of Big Data and information engineering, Guizhou University（贵州大学大数据与信息工程学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of the Chinese Academy of Sciences（中国科学院大学）
针对用户交互序列中的噪声问题，提出自监督辅助任务联合训练ATJT，通过构造人工替换噪声并联合训练实现噪声序列重加权，在三个数据集上验证可提升推荐基础模型性能。
2024-09-25 cs.AI cs.IR cs.LG
Sequence Adaptation via Reinforcement Learning in Recommender Systems
KTH Royal Institute of Technology（KTH皇家理工学院）；Hive Streaming AB（Hive流媒体公司）；University of Thessaly（色萨利大学）
考虑到用户具有不同的序列模式的事实，最先进的推荐策略的主要缺点是需要固定序列长度的用户-项目交互作为训练模型的输入。这可能会限制推荐的准确性，因为在实践中，用户遵循顺序推荐的不同趋势。因此，基线策略可能会忽略重要的顺序交互，或者向具有冗余交互的模型添加噪声，这取决于用户顺序行为的多样性。为了克服这个问题，在这项研究中，我们提出了SAR模型，它不仅学习的序列模式，但也调整用户项目交互的序列长度在个性化的方式。我们首先设计了一个行动者-评论家框架，其中RL代理试图计算最佳序列长度作为一个动作，给定用户在某个时间步的状态表示。此外，我们优化了一个联合损失函数，以使序列推荐的准确性与评论家网络的预期累积奖励相一致，同时我们以个性化的方式调整了演员网络的序列长度。我们对四个真实世界数据集的实验评估表明，我们提出的模型优于几种基线方法。最后，我们在https://github.com/stefanosantaris/sar上公开了我们的实现。
2021-07-31 cs.AI cs.IR cs.LG
Attention Mixtures for Time-Aware Sequential Recommendation
Deezer Research（Deezer研究院）
本文提出MOJITO，一种改进的Transformer序列推荐系统，利用基于注意力的时间上下文和物品嵌入表示的高斯混合体进行序列建模，在多个真实数据集上超越现有方法。
2023-07-03 cs.IR cs.LG
Sequential Learning over Implicit Feedback for Robust Large-Scale Recommender Systems
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）
在本文中，我们提出了一个强大的顺序学习策略，用于训练大规模的推荐系统（RS）的隐式反馈主要是在点击的形式。我们的方法依赖于最小化的成对排名损失块的连续项目构成的一系列非点击的项目，然后点击一个为每个用户。如果对于给定用户，连续块的数量低于或高于在训练集中块的数量分布上估计的某些给定阈值，则丢弃参数更新。这是为了防止对一些目标项目的异常点击次数，主要是由于机器人;或很少的用户交互。这两种情况都会影响RS的决策，并意味着向用户显示的项目分布会发生变化。我们提供了一个理论分析表明，在排名损失是凸的情况下，相对于所提出的算法发现的权重序列的损失和其最小值之间的偏差是有界的。此外，五个大规模的集合上的实验结果表明，所提出的算法的效率相对于国家的最先进的方法，无论是关于不同的排名措施和计算时间。
2019-02-21 cs.IR cs.LG stat.ML
Time-weighted Attentional Session-Aware Recommender System
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Facebook Inc（脸书公司）
基于会话的递归神经网络（RNN）由于用户在最近会话上的行为的高度自相关性以及RNN捕获序列顺序信息的有效性而在推荐任务中越来越受欢迎。然而，大多数现有的基于会话的RNN推荐系统仍然只关注单个会话中的短期交互，并完全丢弃不同会话中的所有其他长期数据。而传统的协同过滤（CF）方法在挖掘长期依赖性方面有许多先进的研究成果，在深度学习模型中有很大的开发价值。因此，在本文中，我们提出了ASARS，一种新的框架，有效地将CF中的时间动态方法引入到DL中基于会话的RNN系统中，使得时间信息可以通过并行注意力网络作为可扩展的权重。具体来说，我们首先进行了广泛的数据分析，以显示这种时间交互数据在会话内和会话之间的分布和重要性。然后，我们的ASARS框架提出了两个新的模型：（1）会话间的时间动态模型，捕捉长期的用户交互的RNN推荐系统。我们在会话RNN中集成了时间变化，并添加了用户偏好作为模型漂移;（2）一种新的三角形并行注意力网络，通过引入时间信息来增强原始RNN模型。这种三角形并行网络也是专门为实现序列到标量RNN架构中的数据论证而设计的，因此可以非常有效地进行训练。我们在四个不同领域的真实数据集上进行了大量的实验，证明了ASARS在个性化推荐方面的有效性和巨大的改进。
2019-09-12 cs.IR cs.LG stat.ML
Large-Scale Sequential Learning for Recommender and Engineering Systems
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
在这篇论文中，我们的重点是设计一个自动化的算法，提供个性化的排名，通过适应当前的条件。为了证明所提出的方法的经验效率，我们调查他们的应用程序在推荐系统和能源系统领域的决策。对于前者，我们提出了一种新的算法称为SAROS，考虑到这两种反馈的相互作用序列的学习。所提出的方法包括在最大限度地减少成对的排名损失，由一系列的非点击项目，然后点击一个为每个用户组成的块。我们还探讨了长记忆对预测准确性的影响。SAROS表现出高度的竞争力和有前途的结果的基础上的质量指标，它也比随机梯度下降和批量经典方法的损失收敛更快。关于电力系统，我们提出了一种算法，故障线路检测的基础上集中的错误分类接近真实的事件位置的线路。与基于卷积神经网络的电网故障检测方法相比，考虑相邻线路的建议思想显示出统计上显著的结果。
2022-05-13 cs.LG stat.ML
kNN-Embed: Locally Smoothed Embedding Mixtures For Multi-interest Candidate Retrieval
Twitter Cortex（推特 Cortex 部门）
针对单嵌入ANN候选检索多样性不足的问题，提出kNN-Embed方法，将用户表示为多个兴趣簇的平滑混合并按权重查询，从而在三个数据集上显著提升召回率与多样性，并开源Twitter关注图数据集。
2023-08-05 cs.IR cs.LG
Watermarking Recommender Systems
Nanyang Technological University（南洋理工大学）；The University of Queensland（昆士兰大学）
本文针对推荐系统模型窃取威胁，提出自回归分布外水印技术 AOW，通过生成并训练植入水印序列，实现高置信度提取且能抵抗蒸馏和微调。
2024-09-30 cs.CR cs.IR cs.LG
Generative Interest Estimation for Document Recommendations
Hasso Plattner Institute（哈索·普拉特纳研究院）
文档的分布式表示学习已经推动了自然语言处理任务的发展，并且最近被成功地应用于推荐系统领域。在本文中，我们提出了一种新的基于内容的推荐系统的基础上学习表示和用户兴趣的生成模型。我们的方法工作原理如下：首先，我们学习文本文档语料库的表示。然后，我们捕捉用户的兴趣作为一个生成模型的空间中的文档表示。特别是，我们为每个用户的兴趣分布建模为高斯混合模型（GMM）。可以通过从用户的生成模型中采样来直接获得推荐。使用潜在语义分析（LSA）作为比较，我们计算和探索的美味书签数据集，推荐系统的标准基准的文档表示。然后，我们在这两个空间中进行密度估计，并表明学习表示在预测性能方面优于LSA。
2017-11-28 cs.CL cs.IR cs.LG
Action-conditional Sequence Modeling for Recommendation
Criteo Research（Criteo研究院）
在许多在线应用中，用户和web服务之间的交互以顺序的方式组织，例如，浏览电子商务网站的用户。在这种设置中，推荐系统通过显示项目来贯穿用户导航。以前的工作已经解决了这个建议设置通过预测用户将与下一个项目进行交互的任务。特别是，递归神经网络（RNN）已被证明在协同过滤基线上实现了实质性的改进。在本文中，我们认为除了浏览行为的建议部署推荐系统触发的互动。事实上，据报道，在在线服务中，与推荐的交互占总交互的30%。此外，在实践中，推荐系统可以通过推荐特定的项目来极大地影响用户的行为。在本文中，我们通过考虑用户与推荐项目的交互来扩展RNN建模框架。我们提出并评估RNN架构，包括推荐动作模块和状态动作融合模块。使用真实世界的大规模数据集，我们证明了与基线相比，下一个项目预测任务的性能有所提高。
2018-09-07 cs.IR cs.LG stat.ML
Deep Context-Aware Recommender System Utilizing Sequential Latent Context
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Telekom Innovation Laboratories at BGU（BGU德国电信创新实验室）；Stern School of Business, New York University（纽约大学斯特恩商学院）
上下文感知推荐系统（CARS）通过感知和分析用户上下文来提供个性化服务。将上下文添加到推荐模型是具有挑战性的，因为上下文的添加可能增加模型的维度和稀疏性。最近的研究表明，将上下文信息建模为潜在向量可以解决稀疏性和维度挑战。本文提出了一种新的序列上下文潜在建模方法，通过生成上下文信息序列并将其上下文空间压缩为一个压缩的潜在空间，对上下文信息序列进行训练，构造一个长短期记忆（LSTM）编码解码器网络，并从网络的隐藏层提取序列潜在上下文，以压缩表示序列数据。我们提出了新的上下文感知推荐模型，扩展了神经协同过滤方法，并学习用户，项目和上下文的潜在特征之间的非线性相互作用，考虑到顺序的潜在上下文表示作为推荐过程的一部分。我们使用两个具有不同上下文维度的上下文感知数据集部署了我们的方法。我们的研究结果的实证分析验证了我们提出的顺序潜在的上下文感知模型（SLCM），超越了最先进的CARS模型。
2020-08-06 cs.LG stat.ML
Modeling Time-Series and Spatial Data for Recommendations and Other Applications
Indian Institute of Technology Delhi（印度理工学院德里分校）
在这篇论文中描述的研究方向，我们试图解决设计推荐系统，可以理解连续时间事件序列的动态的关键挑战。我们采用的是一种自上而下的方法，即，首先，我们解决的问题，可能会出现由于质量差的CTES数据被送入推荐系统。之后，我们处理设计精确推荐系统的任务。为了提高CTES数据的质量，我们解决了一个根本问题，克服时间序列中的缺失事件。此外，为了提供准确的序列建模框架，我们设计了用于兴趣点推荐的解决方案，即，模型，可以处理用户的空间移动性数据到各种POI签到，并为下一次签到推荐候选位置。最后，我们强调，所提出的模型的能力可以有超越推荐系统的应用程序，我们扩展他们的能力，设计解决方案的大规模CTES检索和人类活动预测。本论文的一个重要部分使用的想法，通过神经标记时间点过程（MTPP）的CTES的底层分布建模。传统的MTPP模型是随机过程，利用固定的公式来捕获连续时间中局部化的离散事件序列的生成机制。相比之下，神经MTPP将点过程文献中的基本思想与现代深度学习架构相结合。深度学习模型作为精确函数逼近器的能力使神经MTPP模型的预测能力显著提高。在这篇论文中，我们利用并提出了几个神经网络为基础的增强目前的MTPP框架的上述现实世界的应用。
2022-12-25 cs.IR cs.LG
Scalable Neural Data Server: A Data Recommender for Transfer Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
在实践者的目标领域中缺乏大规模标记数据可能是在实践中应用机器学习算法的瓶颈。迁移学习是一种利用额外数据来提高下游性能的流行策略，但找到最相关的数据进行迁移可能具有挑战性。神经数据服务器（NDS），一个搜索引擎，建议相关的数据为一个给定的下游任务，以前已经提出来解决这个问题。NDS使用经过数据源培训的混合专家模型来估计每个源和下游任务之间的相似性。因此，每个用户的计算成本随着源的数量而增长。为了解决这些问题，我们提出了可扩展神经数据服务器（SNDS），这是一个大规模的搜索引擎，理论上可以索引数千个数据集，为最终用户提供相关的ML数据。SNDS在初始化期间训练中间数据集上的混合专家模型，并通过数据源和下游任务与中间数据集的接近度来表示数据源和下游任务。因此，当新数据集添加到服务器时，SNDS用户产生的计算成本保持固定。我们在大量的现实任务上验证了SNDS，发现SNDS推荐的数据比基线提高了下游任务的性能。我们还展示了SNDS的可扩展性，通过展示其选择相关数据传输的自然图像设置之外的能力。
2022-06-19 cs.CV cs.LG
Top-N recommendations from expressive recommender systems
Massachusetts Institute of Technology（麻省理工学院）
归一化非负模型为用户分配概率分布，为项目分配随机变量;参见[Stark，2015]。对一个项目进行评级被认为是对分配给该项目的随机变量进行采样，该随机变量是关于分配给对该项目进行评级的用户的分布的。那种模特儿的表现力很强。例如，使用规范化的非负模型，我们可以将用户的偏好理解为可解释的用户原型的混合，并且我们可以以分层的方式排列用户和项目的属性。如果标准化非负模型的预测能力很差，这些特征就没有用了。因此，我们在这里分析了用于前N个推荐的归一化非负模型的性能，并观察到它们的性能与在[Cremonesi et al.，2010年]。我们的结论是，规范化的非负模型不仅提供准确的建议，但他们也提供（免费）的表示是可解释的。我们深化规范化的非负模型的讨论，提供进一步的理论见解。特别是，我们引入总变分距离作为操作相似性度量，我们发现的情况下，规范化的非负模型产生的用户和项目的唯一表示，我们证明了最佳规范化的非负模型的推理是NP-难的，最后，我们讨论了规范化的非负模型和非负矩阵分解之间的关系。
2015-11-20 cs.LG stat.ML
A Survey on User Behavior Modeling in Recommender Systems
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）
用户行为建模（UBM）在用户兴趣学习中起着关键作用，在推荐系统中得到了广泛的应用。用户和项目之间的关键交互模式已经被利用，这在许多推荐任务中带来了引人注目的改进。在本文中，我们试图提供一个彻底的调查这一研究课题。本文首先回顾了UBM的研究背景。然后，我们提供了一个系统的分类现有的UBM的研究工作，可以分为四个不同的方向，包括常规UBM，长序列UBM，多类型UBM，和UBM与边信息。在每一个方向，代表性的模型和他们的优点和缺点进行了全面的讨论。此外，我们详细介绍了UBM方法的工业实践，希望为现有UBM解决方案的应用价值提供见解。最后，对本研究进行了总结，并对该领域的发展前景进行了展望.
2023-02-22 cs.IR cs.LG
Order Matters at Fanatics Recommending Sequentially Ordered Products by LSTM Embedded with Word2Vec
Fanatics Inc.（Fanatics公司）；Airbnb Inc.（爱彼迎公司）；eHealth Inc.（eHealth公司）
电子商务推荐面临的一个独特挑战是，客户通常对比他们已经购买的产品更先进的产品感兴趣，但不是相反。现有的几个推荐系统建模单向序列输出有限数量的类别或连续变量。为了对有序序列进行建模，我们设计了第一个推荐系统，该系统使用Word 2 Vec嵌入购买的项目，并使用无状态LSTM RNN对序列进行建模。这个推荐系统在生产中的点击率超过了它唯一基于Word 2 Vec的前身。它开发于2017年，可能是第一个发布的真实世界应用程序，可以在Spark从节点上对单个机器训练的Keras模型进行分布式预测，每行超过40万列。
2019-11-22 cs.CL cs.IR cs.LG
FELRec: Efficient Handling of Item Cold-Start With Dynamic Representation Learning in Recommender Systems
Zuse Institute Berlin（柏林祖斯研究所）
FELRec通过用无学习权重的动态存储替换嵌入层，以递归细化和单次前向传播高效表示新用户和新物品，在物品冷启动任务中显著优于同类方法并具备零样本泛化能力。
2024-10-01 cs.IR cs.LG
CoVE: Compressed Vocabulary Expansion Makes Better LLM-based Recommender Systems
Rice University（Rice大学）；Swarm & AI, University of Haifa（Swarm与AI，海法大学）；John Hopkins University（约翰霍普金斯大学）
针对LLM推荐系统未充分利用序列信息处理能力的问题，提出压缩词表扩展框架CoVE，通过为物品分配唯一ID利用LLM序列理解能力，并压缩嵌入层以适应大规模工业应用，显著提升了推荐性能。
2025-06-24 cs.IR cs.LG
INTERPOS: Interaction Rhythm Guided Positional Morphing for Mobile App Recommender Systems
Independent Researcher（独立研究者）；University of Kentucky（肯塔基大学）；Louisiana State University（路易斯安那州立大学）；University of Central Florida（中央佛罗里达大学）
针对移动应用推荐中用户交互间隔长、传统位置嵌入未考虑时间节律的问题，提出INTERPOS节律引导位置变形策略，整合入Transformer架构，在7个数据集的NDCG@K和HIT@K指标上超越SOTA模型。
2025-06-14 cs.IR cs.LG
RecXplainer: Amortized Attribute-based Personalized Explanations for Recommender Systems
Amazon（亚马逊）
针对推荐系统缺乏个性化解释的问题，提出RecXplainer方法，基于用户对物品属性的偏好生成细粒度解释，在五个数据集和五种推荐系统上验证，优于五个基线，在十个指标上表现卓越。
2023-08-29 cs.AI cs.CY cs.IR
Learning User Representations with Hypercuboids for Recommender Systems
ETH Zurich（苏黎世联邦理工学院）；Alibaba Group（阿里巴巴集团）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
用户兴趣建模在实际推荐系统中至关重要。在本文中，我们提出了一个新的用户兴趣表示模型的个性化推荐。具体来说，我们模型背后的关键新颖之处在于，它将用户兴趣明确地建模为超长方体，而不是空间中的一个点。在我们的方法中，推荐分数是通过计算用户超立方体和项目之间的组成距离来学习的。这有助于缓解现有协同过滤方法的潜在几何可扩展性，从而实现更大程度的建模能力。此外，我们提出了两个变种的超长方体，以提高能力，在捕捉用户兴趣的diligence。还提出了一种神经架构，以通过捕获活动序列（例如，购买和费率）的用户。我们通过在公共和商业数据集上的广泛实验证明了我们提出的模型的有效性。实证结果表明，我们的方法取得了非常有前途的结果，优于现有的最先进的。
2020-11-11 cs.IR cs.LG
PinRec: Unified Generative Retrieval for Pinterest Recommender Systems
Pinterest
PinRec是一种统一的生成式检索模型，用于Pinterest的所有推荐界面，通过预训练和微调实现单一模型适应不同界面需求，提升搜索保存率4%。
2026-06-18 cs.IR cs.LG
HSTU-BLaIR: Lightweight Contrastive Text Embedding for Generative Recommender
Ming Hsieh Department of Electrical and Computer Engineering（电气与计算机工程系）
提出HSTU-BLaIR混合框架，将轻量级对比文本嵌入模型BLaIR与HSTU生成式推荐器结合，在电商数据集上以更少参数超越OpenAI嵌入增强变体，验证了对比文本嵌入在高效推荐中的有效性。
2025-06-19 cs.IR cs.LG
Recommender Transformers with Behavior Pathways
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
序贯推荐要求推荐器从用户行为数据中捕捉用户行为的演化特征，以实现准确的推荐。然而，用户行为序列被视为一个脚本，其中有多个正在进行的线程交织在一起。我们发现，只有一小部分关键的行为可以演变成用户的未来行动。因此，用户的未来行为很难预测。我们将每个用户的连续行为的这种特征总结为行为路径。不同的用户有其独特的行为路径。在现有的序列模型中，Transformers显示出很大的能力，在捕捉全球依赖的特征。然而，这些模型主要使用自我注意力机制在所有先前行为上提供密集分布，使得最终预测被不针对每个用户调整的琐碎行为淹没。在本文中，我们建立了一个新的路径注意力机制的推荐Transformer（RETR）。RETR可以动态地规划为每个用户指定的行为路径，并通过该行为路径谨慎地激活网络，以有效地捕获对推荐有用的演变模式。关键的设计是一个学习的二元路线，以防止行为路径被琐碎的行为所淹没。我们在七个真实世界的数据集上实证验证了RETR的有效性，RETR产生了最先进的性能。
2022-06-13 cs.IR cs.LG
A Sequence-Aware Recommendation Method Based on Complex Networks
King Saud University（沙特国王大学）
在线商店和服务提供商严重依赖推荐软件来引导用户浏览大量可用产品。因此，推荐系统领域吸引了越来越多的关注，从工业界和学术界一样，但尽管这种共同努力，该领域仍然面临着一些挑战。例如，大多数现有的工作模型的推荐问题作为一个矩阵完成的问题，以预测用户对一个项目的偏好。这种抽象阻止了系统利用来自在线会话中记录的用户操作的有序序列的丰富信息。为了解决这个问题，研究人员最近开发了一种很有前途的新算法，称为序列感知推荐系统，通过利用正在进行的用户会话中的动作序列组成的时间序列来预测用户的下一个动作。提出了一种新的基于隐度量空间模型的复杂网络的序列感知推荐方法，该方法结合节点相似度和流行度生成链接。我们从数据中构建一个网络模型，然后用它来预测用户的后续操作。网络模型提供了一个额外的信息源，可以提高推荐的准确性。所提出的方法实现和实验测试上的一个大的数据集。实验结果表明，该方法的推荐效果优于现有的推荐方法。
2022-09-30 cs.IR cs.LG
Deep Conversational Recommender in Travel
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）
当前往外国旅行时，我们经常迫切需要一个智能会话代理，为我们的各种查询提供即时和信息性的响应。然而，建立这样一个旅行社是不平凡的。首先，旅行自然涉及几个子任务，如酒店预订，餐厅推荐和出租车预订等，这就需要全局主题控制。其次，代理应考虑各种限制，如价格或距离由用户推荐一个合适的地点。在本文中，我们提出了一个深度会话推荐（DCR），并应用于旅游。它使用神经潜在主题组件增强了序列到序列（seq2seq）模型，以更好地指导响应生成并使训练更容易。为了考虑场地推荐的各种约束，我们利用基于图卷积网络（GCN）的方法来捕获不同场地之间的关系以及场地和对话上下文之间的匹配。对于响应生成，我们结合了基于主题的组件与指针网络的想法，这使我们能够有效地将推荐结果。我们进行了广泛的评估多轮任务导向的对话数据集在旅游领域和结果表明，我们的方法实现了优越的性能相比，广泛的基线。
2019-06-25 cs.AI cs.CL cs.IR
Influential Recommender System
Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）
传统的推荐系统通常是被动的，因为它们试图使它们的推荐适应用户的历史兴趣。然而，对于诸如电子商务、广告投放和新闻门户之类的商业应用，非常期望能够扩展用户的兴趣，使得他们将接受他们最初不知道或不感兴趣的项目，以增加客户交互。在本文中，我们提出了有影响力的推荐系统（IRS），一个新的推荐模式，旨在积极主动地引导用户喜欢一个给定的目标项目，逐步推荐给用户一系列精心挑选的项目（称为影响路径）。我们提出了有影响力的推荐网络（IRN），这是一个基于转换器的顺序模型来编码项目的顺序依赖性。由于不同的人对外部影响的反应不同，我们引入了个性化印象面具（PIM）来模拟用户对外部影响的接受程度，从而为用户生成最有效的影响路径。为了评估IRN，我们设计了几个性能指标来衡量是否影响路径可以顺利扩大用户的兴趣，包括客观的项目，同时保持用户的满意度的建议。实验结果表明，IRN显著优于基准分类器，并展示了其影响用户兴趣的能力。
2022-11-23 cs.AI cs.IR cs.LG
Lightweight Self-Attentive Sequential Recommendation
The University of Queensland（昆士兰大学）
现代深度神经网络（DNN）通过在各种顺序推荐任务上实现最先进的推荐性能，极大地促进了顺序推荐系统的开发。给定交互项的序列，现有的基于DNN的顺序排序器通常将每个项嵌入到唯一向量中以支持用户兴趣的后续计算。然而，由于潜在的大量项目，顺序推荐器的过参数化项目嵌入矩阵已经成为资源受限环境中有效部署的存储器瓶颈，例如，智能手机和其他边缘设备。此外，我们观察到，广泛使用的多头自我注意，虽然是有效的建模项目之间的顺序依赖关系，在很大程度上依赖于冗余的注意力单元，以充分捕捉全球和本地项目的项目转移模式的序列。本文介绍了一种用于顺序推荐的新型轻量级自关注网络（LSAN）。为了积极地压缩原始嵌入矩阵，LSAN利用了组合嵌入的概念，其中每个项嵌入都是通过合并从小得多的嵌入矩阵中导出的一组选定的基本嵌入向量来组成的。同时，考虑到每个项目的内在动态，我们进一步提出了一个时间上下文感知的嵌入组合方案。此外，我们开发了一种创新的双注意力网络，它在保留捕获长期和短期（即，全局和局部）项依赖性。综合实验表明，LSAN显着提高了现有的顺序排序器的准确性和内存效率。
2021-08-25 cs.IR cs.LG
Clustering of check-in sequences using the mixture Markov chain process
National Research University Higher School of Economics（国立研究型高等经济学院）
这项工作是专门从地理社会网络的登记序列的聚类。我们使用混合马尔可夫链过程作为时间依赖型数据的数学模型。对于聚类，我们调整了期望最大化（EM）算法。因此，我们获得了现已不复存在的地理社交网络Weeplaces的用户的高度详细的社区（集群）。
2021-06-16 cs.CY cs.LG cs.SI
Improved Algorithms for Stochastic Linear Bandits Using Tail Bounds for Martingale Mixtures
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Southern Denmark（南丹麦大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
本文利用自适应鞅混合尾部界构造更紧的置信序列，提出随机线性老虎机改进算法，并通过凸规划实现高效动作选择，在理论和实验上均获得更优的最坏情况遗憾及超参数调优性能。
2023-09-27 cs.LG stat.ML
Closing the Performance Gap in Generative Recommenders with Collaborative Tokenization and Efficient Modeling
CRITEO AI Lab \& LIGM, École Nationale des Ponts et Chaussées Paris France；CRITEO AI Lab Paris France；CRITEO AI Lab \& LIGM, École Nationale des Ponts et Chaussées；CRITEO AI Lab
本文提出对比式分词方法COSETTE和轻量级生成模型MARIUS，通过引入协同信号与解耦时间线建模，缩小生成式推荐系统与基于ID模型的性能差距。
2025-08-12 cs.IR cs.LG
STAR: A Session-Based Time-Aware Recommender System
University of Tehran（德黑兰大学）
针对现有基于会话的推荐器忽略事件时间细节的问题，提出STAR框架，通过嵌入会话内事件时间间隔优化表示，在两个数据集上的Recall和MRR指标优于基线模型。
2022-11-11 cs.AI cs.IR cs.LG
Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders
Meta；Yale University（耶鲁大学）
本文提出VISTA框架，通过将传统目标注意力分解为两个阶段，实现对超长用户历史的记忆压缩，从而在保持训练和推理成本不变的情况下，支持数百万项的长期用户历史。
2026-03-26 cs.IR cs.LG
Reinforcement Learning with Policy Mixture Model for Temporal Point Processes Clustering
Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
时间点过程是一种描述时间上事件序列的表达工具。在本文中，我们采取了强化学习的观点，即假设所观察到的序列是从潜在的政策的混合物中产生的。其目的是在学习每个策略模型的同时，将具有不同时间模式的序列聚类到底层策略中。该模型的灵活性在于：（1）模型的所有组成部分都是网络，包括用于建模时间点过程强度函数的策略网络; ii）为了处理变长的事件序列，我们通过将观察到的序列分解成状态来求助于逆强化学习（RNN隐藏嵌入历史）和动作（到下一个事件的时间间隔）为了学习奖励函数，从而与在整个序列上使用诸如对数似然或Wasserstein距离的奖励的现有方法相比，实现更好的性能或增加的效率。我们采用期望最大化框架，E步估计每个序列的聚类标签，M步旨在学习相应的策略。大量的实验表明，我们的方法对国家的最先进的功效。
2019-06-28 cs.AI cs.LG stat.ML
ClusterSeq: Enhancing Sequential Recommender Systems with Clustering based Meta-Learning
Imperial College London（帝国理工学院）；Sharif University of Technology（谢里夫理工大学）
针对序列推荐中的用户冷启动及次要用户偏好建模难题，提出基于元学习聚类的ClusterSeq模型，利用用户序列动态信息提升预测准确性，在MRR指标上较现有方法提升16-39%。
2023-07-25 cs.AI cs.IR cs.LG
Learning to Learn a Cold-start Sequential Recommender
Beijing Jiaotong University（北京交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
冷启动推荐是当前在线应用中亟待解决的问题。它旨在为那些行为稀少的用户提供尽可能准确的推荐。许多数据驱动的算法，如广泛使用的矩阵分解，由于数据稀疏而表现不佳。本文采用元学习的思想来解决用户的冷启动推荐问题。我们提出了一个基于元学习的冷启动顺序推荐框架称为元CSR，包括三个主要组成部分：扩散代表学习更好的用户/项目嵌入通过信息扩散的交互图;顺序推荐捕获时间依赖的行为序列; Meta学习者提取和传播可转移的知识，以前的用户和学习一个良好的初始化为新用户。MetaCSR具有从常规用户的行为中学习常见模式并优化初始化的能力，使得模型可以在一次或几次梯度更新后快速适应新用户，以实现最佳性能。在三个广泛使用的数据集上的大量定量实验表明，元CSR在处理用户冷启动问题方面具有显著的性能。同时，一系列的定性分析表明，所提出的元CSR具有良好的推广性。
2021-10-18 cs.AI cs.IR cs.LG
