Improved Recurrent Neural Networks for Session-based Recommendations
Institute of High Performance Computing, A*STAR（高性能计算研究所，新加坡科技研究局）
循环神经网络（RNN）最近被提出用于基于会话的推荐任务。这些模型显示出比传统推荐方法有希望的改进。在这项工作中，我们进一步研究了基于RNN的会话推荐模型。我们提出了两种技术的应用，以提高模型的性能，即，数据增强，和一种方法来考虑在输入数据分布的变化。我们还实证研究了使用广义蒸馏，和一种新的替代模型，直接预测项目嵌入。在RecSys Challenge 2015数据集上的实验表明，在Recall@20和Mean Reciprocal Rank@20指标上，与先前报告的结果相比，分别有12.8%和14.8%的相对改善。
2016-09-16 cs.LG
Recurrent Latent Variable Networks for Session-Based Recommendation
Cyprus University of Technology（塞浦路斯理工大学）
在这项工作中，我们试图改善数据稀疏性的影响，在基于会话的建议。具体来说，我们试图设计一个机器学习机制，能够提取微妙的和复杂的潜在的时间动态观察到的会话数据，以便通知推荐算法。为此，我们改进了利用具有循环连接单元的深度学习技术的系统;我们通过采用贝叶斯统计领域的概念，即变分推理来实现这一点。我们提出的方法包括在治疗网络经常性单位作为随机潜变量与先验分布强加给他们。在此基础上，我们继续推断相应的后验;这些可以用于预测和推荐生成，在某种程度上，占可用的稀疏训练数据的不确定性。为了使我们的方法可以轻松地扩展到大型现实世界的数据集，我们在近似摊销变分推理（AVI）设置下执行推理，从而通过（传统的）神经网络参数化学习后验。我们使用具有挑战性的基准数据集对我们的方法进行了广泛的实验评估，并说明了其优于现有最先进技术的优越性。
2017-06-13 cs.IR cs.LG stat.ML
Efficient user history modeling with amortized inference for deep learning recommendation models
LinkedIn Corporation（领英公司）
针对DLRM中Transformer用户历史建模延迟高的问题，通过将候选物品追加到历史列表末尾的早期融合方式，适配摊销推理算法M-FALCON，在保证效果的同时降低30%推理延迟，已在LinkedIn相关场景部署。
2024-12-09 cs.IR cs.LG
VRConvMF: Visual Recurrent Convolutional Matrix Factorization for Movie Recommendation
China University of Petroleum（中国石油大学）；East China Jiaotong University（华东交通大学）；Federation University Australia（澳大利亚联邦大学）
用户对项目评分数据的稀疏性成为推荐系统面临的挑战之一，严重影响了推荐系统的性能。幸运的是，上下文感知推荐系统可以通过利用一些辅助信息，如用户和项目的信息来缓解稀疏性问题。特别是，项目的视觉信息，如电影海报，可以被认为是对项目描述文档的补充，这有助于获得更多的项目特征。本文针对电影推荐系统，提出了一种基于概率矩阵分解的视觉递归卷积矩阵分解（VRConvMF）推荐方案，该方案利用了从描述性文本和海报中分别提取的文本特征和多层次视觉特征。我们实现了所提出的VRConvMF，并在三个常用的真实世界数据集上进行了广泛的实验，以验证其有效性。实验结果表明，所提出的VRConvMF算法性能优于现有算法.
2022-02-16 cs.CV cs.IR cs.LG
Augmenting Recurrent Neural Networks with High-Order User-Contextual Preference for Session-Based Recommendation
KAIST（韩国科学技术院）
与以前的方法相比，最近采用循环神经网络（RNN）进行会话建模已经产生了大量的性能提升。然而，在上下文感知会话建模方面，现有的基于RNN的模型受到限制，因为它们没有被设计为显式地对丰富的静态用户侧上下文（例如，年龄、性别、地点）。因此，在本文中，我们探索了RNN会话模型的显式用户端上下文建模的实用性。具体来说，我们提出了一个增强的RNN（ARNN）模型，提取高阶用户上下文偏好使用基于产品的神经网络（PNN），以增强任何现有的RNN会话模型。评估结果表明，当用户端上下文丰富时，我们提出的模型的性能大大优于基线RNN会话模型。
2018-05-08 cs.IR cs.LG stat.ML
Freudian and Newtonian Recurrent Cell for Sequential Recommendation
NCSOFT Co.（NCSoft公司）；Yonsei University（延世大学）
顺序推荐系统的目的是根据用户的行为模式向用户推荐有吸引力的项目。主要的顺序推荐模型是基于自然语言处理模型的，例如门控递归单元，其将项目嵌入在某些定义的空间中，并基于项目嵌入来掌握用户的长期和短期偏好。然而，这些方法缺乏对这些模型如何与用户的固有决策过程相关的基本见解。为了提供这种见解，我们提出了一种新的复发细胞，即FaNC，从弗洛伊德和牛顿的观点。FaNC将用户的状态分为有意识和无意识状态，用户的决策过程以弗洛伊德的两个原则为模型：快乐原则和现实原则。为了模拟快乐原则，即，自由浮动的用户的本能，我们把用户的无意识状态和项目嵌入在同一个潜在的空间，并使他们受到牛顿的万有引力定律。此外，为了向用户推荐项目，我们对现实原则进行建模，即，通过门控功能来平衡意识和无意识状态。基于各种基准数据集上的大量实验，本文提供了洞察所提出的模型的特点。FaNC在精神分析和推荐系统的融合中开创了顺序推荐的新方向。
2021-02-11 cs.AI cs.IR cs.LG
Recurrent Neural Networks with Top-k Gains for Session-based Recommendations
Gravity R&D（Gravity研发公司）；Telefonica Research（西班牙电信研究院）
RNN已被证明是序列数据的优秀模型，特别是用户以基于会话的方式生成的数据。RNN的使用在基于会话的推荐中提供了令人印象深刻的性能优势。在这项工作中，我们介绍了新的排名损失函数适合RNN的建议设置。与替代方案相比，这些损失的性能得到了改善，以及本工作中描述的进一步技巧和改进，使得MRR和Recall@20的总体性能比以前基于会话的RNN解决方案提高了35%，比经典的协同过滤方法提高了53%。与基于数据增强的改进不同，我们的方法不会显著增加训练时间。我们进一步证明了RNN在在线A/B测试中相对于基线的性能增益。
2018-08-28 cs.LG
Contextual Hybrid Session-based News Recommendation with Recurrent Neural Networks
National Institute of Standards and Technology（美国国家标准与技术研究院）；Colorado State University（科罗拉多州立大学）；University of Klagenfurt（克拉根福大学）
推荐系统通过向用户提供定制的项目建议来帮助用户处理信息过载。新闻的推荐通常被认为是具有挑战性的，因为文章对于用户的相关性可以取决于各种因素，包括用户的短期阅读兴趣、读者的上下文、或者文章的新近度或流行度。以前的工作表明，循环神经网络的使用是有前途的下一个会话预测任务，但有一定的局限性时，只有记录的项目点击序列作为输入。在这项工作中，我们提出了一个上下文混合，基于深度学习的方法，基于会话的新闻推荐，能够利用各种信息类型。我们在两个公共数据集上评估了我们的方法，使用一个时间评估协议，以现实的方式模拟新闻门户网站的动态。我们的研究结果证实了考虑其他类型的信息，包括文章的流行度和新近度，在所提出的方式，导致显着更高的推荐准确性和目录覆盖率比其他基于会话的算法的好处。额外的实验表明，我们的方法中使用的拟议参数化损失函数也允许我们平衡两个通常相互冲突的质量因素，准确性和新颖性。保留字：人工神经网络，上下文感知推荐系统，混合推荐系统，新闻推荐系统，会话推荐
2019-12-08 cs.IR cs.LG stat.ML
Interacting Attention-gated Recurrent Networks for Recommendation
Delft University of Technology（代尔夫特理工大学）；Nanyang Technological University（南洋理工大学）
捕获用户对项目的偏好的时间动态对于推荐是重要的。现有的方法主要假设用户-项目交互历史中的所有时间步都与推荐同等相关，然而这并不适用于用户-项目交互经常意外发生的现实场景。更重要的是，它们分别学习用户和项目动态，因此无法捕捉它们对用户-项目交互的联合影响。为了更好地模拟用户和项目动态，我们提出了交互式注意力门控递归网络（IARN），它采用注意力模型来衡量每个时间步的相关性。特别是，我们提出了一种新的注意力计划，以学习用户和项目的历史中的交互方式的注意力分数，从而考虑到用户和项目之间的依赖关系的动态塑造用户-项目的交互。通过这样做，IARN可以在预测用户对不同项目的偏好时有选择地记住用户历史的不同时间步骤。因此，我们的模型可以为推荐结果提供有意义的解释，这可以通过辅助功能进一步增强。对真实世界数据集的广泛验证表明，IARN始终优于最先进的方法。
2017-09-07 cs.AI cs.IR cs.LG
Physical Exercise Recommendation and Success Prediction Using Interconnected Recurrent Neural Networks
Florida Institute for Human and Machine Cognition (IHMC)（佛罗里达人类与机器认知研究所）
不健康的行为，例如，缺乏身体活动和不健康的食物选择是发达国家的主要医疗保健成本驱动因素。由智能手机和智能手表提供的普遍的计算、传感和通信技术使得在日常生活中支持个人发展更健康的生活方式成为可能。在本文中，我们提出了一个锻炼推荐系统，也预测个人的成功率。该系统由两个相互连接的循环神经网络（RNN）组成，使用锻炼历史为每个人推荐下一个锻炼活动。然后，系统预测个人成功完成预测活动的概率。这个相互关联的RNN模型的预测准确性是根据之前发表的一个为期四周的移动健康实验的数据进行评估的，并且显示出比之前的计算认知模型的预测有所改善。
2021-01-27 cs.AI cs.CV cs.IR
Hierarchical Context enabled Recurrent Neural Network for Recommendation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究部）
长期的用户历史不可避免地反映了个人兴趣随时间的变化。对用户历史的分析需要鲁棒的序列模型来预测用户兴趣的变化和衰减。用户历史通常由各种RNN结构建模，但推荐系统中的RNN结构仍然存在长期依赖性和兴趣漂移。为了解决这些挑战，我们建议HCRNN与全球，本地和临时利益的三个层次的背景下。这种结构的设计保留了用户的全局长期利益，以反映局部的子序列的利益，并照顾到每个过渡的临时利益。此外，我们提出了一个分层的上下文为基础的门结构，以纳入我们的\textit{interest drift assumption}。当我们提出一个新的RNN结构时，我们用一个互补的\textit{bi-channel attention}结构来支持HCRNN，以利用层次上下文。我们在CiteULike，MovieLens和LastFM的顺序推荐任务上实验了建议的结构，我们的模型在顺序推荐中表现出最好的性能。
2019-04-26 cs.IR cs.LG cs.SI
Compressing History into Memory: Distilling Transformers into Recurrent Transformers
Naver Labs Europe
提出蒸馏方法，将全历史Transformer的压缩策略迁移至循环Transformer，通过瓶颈表示监督学生模型记忆，缩小性能差距并实现线性时间复杂度。
2026-10-02 cs.CV cs.LG
Many-to-one Recurrent Neural Network for Session-based Recommendation
EURECOM（欧洲通信学院）；Amadeus SAS（艾玛迪斯公司）
本文介绍了D2KLab团队对RecSys Challenge 2019的方法，该方法侧重于根据用户会话推荐住宿的任务。当一个人说“酒店的房间很大，员工很友好，效率很高”时，他是什么感觉？它是积极的。类似于一个句子中的单词序列，人们可以确认感觉是什么，分析用户在网站上执行的一系列动作可以预测用户在购物会话结束时将添加到他的购物篮中的物品。我们建议使用一个多对一的循环神经网络，学习的概率，用户将点击一个住宿的基础上，他在浏览会话期间执行的动作序列。更具体地说，我们将基于规则的算法与门控递归单元RNN相结合，以便对显示给用户的住宿列表进行排序。我们在验证集上优化了RNN，调整了超参数，如学习率，批量大小和适应嵌入大小。这种与情感分析任务的类比给出了有希望的结果。然而，它在训练阶段的计算要求很高，需要进一步调整。
2020-08-25 cs.IR cs.LG stat.ML
PARSRec: Explainable Personalized Attention-fused Recurrent Sequential Recommendation Using Session Partial Actions
UC Davis（加州大学戴维斯分校）
新兴的Meta和多元宇宙景观是朝着更普遍地使用已经无处不在的在线市场迈出的又一步。在这样的市场中，推荐系统通过向用户提供感兴趣的项目，从而缩小包括数十万产品的巨大搜索空间而发挥关键作用。推荐系统通常被设计为学习常见的用户行为并依赖它们进行推理。这种方法虽然有效，但却忽视了区分人类的微妙特质。专注于这一观察，我们提出了一个架构，依赖于共同的模式，以及个人的行为，为每个人量身定制的建议。在受控环境下的仿真表明，我们提出的模型学习可解释的个性化用户行为。尼尔森消费者面板数据集上的实证结果表明，所提出的方法实现了高达27.9%的性能提高相比，国家的最先进的。
2022-09-16 cs.AI cs.IR cs.LG
Sequential recommendation with metric models based on frequent sequences
INSA Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；LIRIS UMR5205；Visiativ；Université Lyon1（里昂第一大学）
建模用户偏好（长期历史）和用户动态（短期历史）是建立高效的顺序推荐系统的最重要的。挑战在于成功地结合整个用户的历史和他最近的行动（顺序动态），以提供个性化的建议。现有的方法捕获顺序动态的用户使用固定顺序马尔可夫链（通常是一阶链），而不管用户，这限制了用户的过去的影响，建议和能力，以适应其长度的用户简档。在这篇文章中，我们建议使用频繁序列来识别用户历史中最相关的部分。最突出的项目，然后在一个统一的度量模型中使用，该模型嵌入基于用户偏好和顺序动态的项目。大量的实验表明，我们的方法优于最先进的，特别是在稀疏数据集。我们表明，考虑不同长度的序列，提高了建议，我们还强调，这些序列提供的建议解释。
2020-08-12 cs.IR cs.LG stat.ML
Joint Training Capsule Network for Cold Start Recommendation
Hangzhou Dianzi University（杭州电子科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出了一种新型的神经网络--联合训练胶囊网络（JTCN），用于冷启动推荐任务。我们建议模仿高层次的用户偏好，而不是原始的交互历史的基础上的边信息的新鲜用户。具体而言，一个细心的胶囊层，提出了聚合高层次的用户偏好，从低层次的互动历史，通过一个动态路由协议机制。此外，JTCN以端到端的方式联合训练用于模仿用户偏好的损失和用于推荐的softmax损失。在两个公开数据集上的实验证明了该模型的有效性。在冷启动推荐中，JTCN在Recall@100方面对CiteULike和Amazon的其他最先进的方法分别提高了至少7.07%和16.85%。
2020-05-23 cs.IR cs.LG
Collaborative Filtering with Recurrent Neural Networks
IRIDIA（IRIDIA实验室）；Université Libre de Bruxelles（布鲁塞尔自由大学）
我们表明，协同过滤可以被看作是一个序列预测问题，并给予这种解释，循环神经网络提供了非常有竞争力的方法。特别是，我们研究了如何将长短期记忆（LSTM）应用于协同过滤，以及如何将其与电影推荐的标准最近邻和矩阵分解方法进行比较。我们证明了LSTM在各个方面都具有竞争力，并且在项目覆盖率和短期预测方面大大优于其他方法。
2017-01-03 cs.IR cs.LG
Web Links Prediction And Category-Wise Recommendation Based On Browser History
Rajshahi University of Engineering and Technology（拉杰沙希工程技术大学）
网络浏览器不应该仅仅用于浏览网页，还应该帮助用户找到他们的目标网站，并根据他们的行为推荐类似类型的网站。在本文中，我们提出了两种方法，使Web浏览器更智能的链接预测，它的工作在打字的地址栏和推荐的网站，根据几个类别。我们提出的链接预测系统实际上是频率预测的基础上预测的第一次访问，最后一次访问和URL计数。但推荐系统是最具挑战性的，因为它需要在不访问网页的情况下根据名称对Web URL进行分类。因此，我们使用现有的模型进行URL分类。现有的唯一方法给出了不令人满意的结果和低精度。因此，我们添加了超参数优化与现有的方法，找到现有的URL分类模型的最佳参数，并提供更好的准确性。在本文中，我们提出了一个类别明智的推荐系统，使用频率值和总访问的个人网址类别。
2019-02-21 cs.IR cs.LG stat.ML
Coupled Variational Recurrent Collaborative Filtering
Texas A&M University（德州农工大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
本文研究了流媒体推荐系统中的问题，并探索了新的协同过滤算法来处理流媒体推荐系统中数据的动态性和复杂性。虽然深度神经网络已经证明了推荐任务的有效性，但缺乏在流推荐设置下集成概率模型和深度架构的探索。结合概率模型和深度神经网络的互补优势，可以提高模型的有效性和对推理不确定性的理解。为了弥补这一差距，本文提出了一种基于深度贝叶斯学习思想的耦合变分递归协同过滤（CVRCF）框架来处理流媒体推荐问题。该框架结合了贝叶斯范式下的随机过程和深度因子分解模型，对用户偏好和项目流行度的生成和演变进行建模。为了保证有效的优化和流更新，我们进一步提出了一个顺序变分推理算法的基础上交叉变分递归神经网络结构。在三个基准数据集上的实验结果表明，该框架在时间依赖建模和预测精度方面都优于最先进的方法。学习的潜变量还提供了时间动态演化的可视化解释。
2019-06-11 cs.IR cs.LG stat.ML
Multi-Scale Quasi-RNN for Next Item Recommendation
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；LILY Research Centre, Nanyang Technological University（南洋理工大学LILY研究中心）
如何更好地利用序列信息已被广泛研究的推荐系统的设置。为此，架构归纳偏差，如马尔可夫链，递归模型，卷积网络和许多其他已经证明了合理的成功在这项任务。本文提出了一种新的神经网络结构，多尺度准RNN下一个项目推荐（QR-Rec）任务。我们的模型通过利用多尺度卷积特征作为循环单元的组合门控函数，提供了两全其美的效果。该模型以多尺度方式实现，即，实现各种宽度的卷积滤波器以捕获影响合成编码器的输入序列的不同联合级特征。其关键思想是捕捉不同类型的局部特征之间的循环关系，这在推荐的背景下从未被研究过。通过大量的实验，我们证明了我们的模型在15个成熟的数据集上实现了最先进的性能，在MAP，Recall@10和NDCG@10方面，绝对优于FPMC，Fossil和Caser等强大的竞争对手0.57%-7.16%，相对于1.44%-17.65%。
2019-02-26 cs.IR cs.LG cs.NE
Robust Recurrent Reinforcement Learning under Evolving Hidden Disturbances with Application to Rover Wheel Slip
The School of Aerospace, Transport and Manufacturing（航空航天、运输与制造学院）
本文提出三种新型算法，通过在LSTM网络中整合动作轨迹信息，提升部分可观测马尔可夫决策过程中的强化学习效率与性能。
2026-09-16 cs.LG
Recurrent Poisson Factorization for Temporal Recommendation
Sharif University of Technology（谢里夫理工大学）；Georgia Institute of Technology（佐治亚理工学院）
泊松因子分解是推荐系统的用户和项目的概率模型，其中所谓的隐式消费者数据由因子分解的泊松分布建模。泊松因子分解方法有许多变体，它们在现实世界的推荐任务中表现出最先进的性能。然而，他们中的大多数都没有明确考虑到用户的时间行为和经常性活动，这是必不可少的，以推荐正确的项目，以正确的用户在正确的时间。在本文中，我们介绍了递归泊松分解（RPF）框架，推广了经典的PF方法，利用泊松过程建模的隐式反馈。RPF将时间视为模型的自然组成部分，并提供了丰富的时间敏感因子分解模型家族。为了详细说明，我们实例化的RPF谁是能够处理动态用户偏好和项目规范（DRPF），建模的社会方面的产品采用（SRPF），并捕捉用户和项目之间的消费异质性（HRPF）的几个变种。我们还开发了一个变分算法的近似后验推理，规模庞大的数据集。此外，我们证明了RPF的优越性能超过许多国家的最先进的方法在合成数据集，大规模的真实世界的数据集上的音乐流日志，和用户项目的互动在移动商务平台。
2017-03-04 cs.LG cs.SI stat.ML
Review Based Rating Prediction
Ben-Gurion University（本·古里安大学）
推荐系统是当今电子商务应用中的重要单元，如定向广告、个性化营销和信息检索等。近年来，上下文信息的重要性激发了根据用户的可用上下文信息生成个性化推荐。与传统的主要利用用户评分历史的推荐系统相比，基于评论的推荐系统有望为用户提供更相关的推荐结果。我们介绍了一种基于评论的推荐方法，通过挖掘用户评论来获得上下文信息。所提出的方法涉及通过使用在自然语言处理（NLP）和信息检索学科中开发的方法来分析文本评论以计算给定项目的效用函数而获得的特征。项目效用是一种衡量标准，它显示了根据用户当前上下文，它有多受欢迎。在我们的系统中，上下文推理建模为用户评论历史和项目评论历史之间的相似性。作为一个示例应用，我们使用我们的方法从客户的电影评论中挖掘上下文数据，并使用它来生成基于评论的评级预测。预测的评级可以生成基于项目的建议，并且应该出现在产品页面中的推荐项目列表中。我们的评估表明，与标准预测方法相比，我们的系统可以帮助产生更好的预测评分。
2016-07-28 cs.IR cs.LG
Supervised Reinforcement Learning with Recurrent Neural Network for Dynamic Treatment Recommendation
East China Normal University（华东师范大学）；Georgia Tech（佐治亚理工学院）
基于大规模电子健康记录的动态治疗推荐系统成为成功改善实际临床结果的关键。先前的相关研究推荐使用监督学习（例如，匹配指示医生处方的指示信号）或强化学习（例如，最大化指示来自存活率的累积奖励的评估信号）的治疗。然而，这些研究都没有考虑将监督学习和强化学习的好处结合起来。在本文中，我们提出了监督强化学习与循环神经网络（SRL-RNN），它融合到一个协同学习框架。具体来说，SRL-RNN应用了一个非策略的行动者-批评者框架来处理多种药物、疾病和个体特征之间的复杂关系。通过指标信号和评价信号对框架中的“行动者”进行调整，以确保有效的处方和低死亡率。RNN被进一步用于解决部分观测马尔可夫决策过程（POMDP）问题，这是由于在现实世界中缺乏完全观测的状态。在公开的真实世界数据集上的实验，即，MIMIC-3，说明我们的模型可以降低估计的死亡率，同时提供了有前途的准确性匹配医生的处方。
2018-09-17 cs.LG stat.ML
Correcting the User Feedback-Loop Bias for Recommendation Systems
Tsinghua University（清华大学）；Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）；Weill Cornell Medicine（威尔康奈尔医学院）
选择偏差是普遍存在于训练和评估具有显式反馈的推荐系统的数据中。例如，用户倾向于对他们喜欢的项目进行评级。然而，当对关于特定用户的项目进行评级时，大多数推荐算法倾向于过于依赖他/她的评级（反馈）历史。这在推荐系统中引入了隐式偏差，本文称之为用户反馈循环偏差。我们提出了一个系统的和动态的方法来纠正这种偏见，并获得更多样化和客观的建议，利用时间评级信息。具体来说，我们的方法包括一个深度学习组件，用于学习每个用户的动态评级历史嵌入，以估计用户顺序评级的项目的概率分布。这些估计的动态暴露概率然后被用作倾向分数以训练逆倾向分数（IPS）评级预测器。我们经验验证了存在这样的用户反馈循环偏见在现实世界中的推荐系统，并比较我们的方法与基线模型的性能，无论是没有去偏或与其他方法估计的倾向得分。结果表明了我们的方法的优越性。
2021-09-13 cs.IR cs.LG
Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation
Shanghai Jiao Tong University（上海交通大学）；University of Michigan-Shanghai Jiao Tong University Joint Institute（密歇根大学-上海交通大学联合学院）；School of Cyber Science and Engineering（网络空间科学与工程学院）；School of Software（软件学院）
序贯推荐作为一个新兴的研究课题，由于其重要的现实意义而受到越来越多的关注。基于深度学习和注意力机制的模型在顺序推荐中取得了良好的性能。近年来，基于变分自编码器（VAE）的生成式模型在协同过滤中显示出独特的优势。特别地，序列VAE模型作为VAE的递归版本，可以有效地捕获用户序列中项目之间的时间依赖性并执行序列推荐。然而，基于VAE的模型遭受一个共同的限制，即所获得的近似后验分布的代表性能力是有限的，从而导致生成的样本的质量较低。对于生成序列尤其如此。为了解决上述问题，在这项工作中，我们提出了一种新的方法称为对抗和对比变分自编码器（ACVAE）的顺序推荐。具体来说，我们首先介绍了在对抗变分贝叶斯（AVB）框架下用于序列生成的对抗训练，这使得我们的模型能够生成高质量的潜变量。然后，我们使用对比损失。潜变量将能够通过最小化对比损失来学习更多个性化和显著的特征。此外，在对序列进行编码时，我们采用了递归和卷积结构来捕获序列中的全局和局部关系。最后，我们在四个真实世界的数据集上进行了广泛的实验。实验结果表明，我们提出的ACVAE模型优于其他国家的最先进的方法。
2021-03-19 cs.IR cs.LG
SinkRec: Mitigating Semantic State Sink in Long Sequence Recommendation with Memory-Conditioned Gated Delta Networks
Kuaishou Technology, Beijing, China（快手科技，北京，中国）；Beijing University of Posts and Telecommunications, Beijing, China（北京邮电大学，北京，中国）；Independent Researcher（独立研究员）
针对线性注意力在长序列推荐中因重复行为模式导致的语义状态沉没问题，提出SinkRec混合记忆-循环架构，通过残差向量量化外部化重复模式，并设计TDGD模块净化读写过程，在保持线性时间效率的同时提升推荐效果。
2026-06-03 cs.LG
Pairwise Interactive Graph Attention Network for Context-Aware Recommendation
Nanjing University（南京大学）
上下文感知推荐系统（CARS）考虑了丰富的边信息来提高推荐性能，引起了学术界和工业界越来越多的关注。如何从不同的上下文特征中预测用户偏好是CARS的核心。最近的几个模型关注用户行为，并使用专门设计的结构来从历史行为中提取自适应的用户兴趣。然而，很少有研究考虑项目历史交互，这导致项目特征表示和项目吸引力提取的不足。根据这些观察，我们将用户-项目交互建模为动态交互图（DIG），并提出了一种基于GNN的模型，称为成对交互图注意力网络（PIGAT），以同时捕获动态用户兴趣和项目吸引力。PIGAT引入了注意力机制来考虑每个交互的用户/项目对用户和项目的重要性，该机制捕获用户兴趣、项目吸引力及其对推荐上下文的影响。此外，置信度嵌入应用于交互，以区分在不同时间发生的交互的置信度。然后，更有表现力的用户/项目表示和自适应交互功能，这有利于推荐性能，特别是当涉及长尾项目。我们在三个真实世界的数据集上进行实验，以证明PIGAT的有效性。
2019-11-18 cs.IR cs.LG
Make It Long, Keep It Fast: End-to-End 10K Long User Behavior Sequence Modeling for Billion-Scale Douyin Recommendation
ByteDance Beijing China（字节跳动北京中国）；ByteDance Shanghai China（字节跳动上海中国）；ByteDance San Jose CA USA（字节跳动加州圣何塞 USA）；ByteDance Hangzhou Zhejiang China（字节跳动杭州浙江中国）
本文提出了一种端到端的推荐系统，能够处理长达10000个用户行为序列，通过引入堆叠的目标到历史交叉注意力机制、请求级别批量处理策略以及长度外推训练策略，实现了在大规模Douyin推荐中的高效长序列建模。
2026-05-19 cs.IR cs.LG
M2: Mixed Models with Preferences, Popularities and Transitions for Next-Basket Recommendation
The Ohio State University（俄亥俄州立大学）
下一个购物篮推荐考虑的是将一组物品推荐到用户将作为整体购买的下一个购物篮中的问题。在本文中，我们开发了一种新的混合模型的偏好，流行度和转换（M2）的下一个篮子推荐。该方法模拟了下一个购物篮生成过程中的三个重要因素：1）用户的一般偏好，2）项目的全局流行度和3）项目之间的过渡模式。与现有的基于递归神经网络的方法不同，M2不使用复杂的网络来建模项目之间的转换，也不为用户生成嵌入。相反，它有一个简单的基于编码器-解码器的方法（ed-Trans）来更好地建模项目之间的转换模式。我们在4个公共基准数据集上比较了M2与5种最先进的下一个篮子推荐方法的不同因素组合，以推荐第一个，第二个和第三个下一个篮子。我们的实验结果表明，M2在所有任务中的所有数据集上都显着优于最先进的方法，提高了22.1%。此外，我们的消融研究表明，ed-Trans在推荐性能方面比递归神经网络更有效。我们还对下一个购物篮推荐评估的各种实验协议和评估指标进行了深入的讨论。
2022-01-17 cs.IR cs.LG stat.ML
History-Augmented Collaborative Filtering for Financial Recommendations
Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央高等电力学院）；BNP Paribas Corporate and Institutional Banking（法国巴黎银行企业与机构银行）
在许多企业中，特别是在金融领域，客户的行为可能会随着时间的推移而发生巨大变化。因此，在这样的环境中使用的推荐系统能够适应这些变化是至关重要的。在这项研究中，我们提出了一种新的协同过滤算法，通过用户和项目的最近的互动历史，以提供动态的建议，捕获的时间上下文的用户项目交互。该算法的设计考虑到了金融世界的特定问题，使用了一个自定义的神经网络架构，可以解决用户和项目行为的非平稳性。该算法的性能和属性进行了监测，在一系列的实验上的G10债券报价要求专有数据库从法国巴黎银行公司和机构银行。
2021-02-26 cs.LG q-fin.CP stat.ML
Dynamic Compression in Recurrent Networks
Massachusetts Institute of Technology（麻省理工学院）
该研究提出动态压缩方法，允许循环模型选择性重访过去标记以修正固定状态，在少样本函数复用任务中，其所需循环状态更小、扩展性更优，实现了计算与内存的有效权衡。
2026-08-19 cs.LG
An LSTM-Based Dynamic Customer Model for Fashion Recommendation
Zalando Research（Zalando 研究院）
在线时装销售为个性化推荐提供了一个具有挑战性的用例：商店提供多种尺寸的各种商品。小库存，高回报率，季节性和不断变化的趋势导致所有时间尺度上的持续营业额。顾客往往很少购物，但经常一次购买多件商品。我们报告了欧洲领先的在线时尚平台Zalando的10万频繁购物者的销售数据的回测实验。为了模拟不断变化的客户和商店环境，我们的推荐方法采用了一对神经网络：为了克服冷启动问题，前馈网络在“时尚空间”中生成文章嵌入，作为递归神经网络的输入，递归神经网络根据客户过去的购买顺序为每个客户预测该空间中的风格向量。我们将我们的结果与静态协同过滤方法和流行度排名基线进行比较。
2017-08-24 cs.IR cs.LG
Personal-Agent Mediated Recommendation with Cross-Platform User History
University of California San Diego（加利福尼亚大学圣迭戈分校）；Meta AI
本研究提出个人代理中介推荐范式，通过PAMO优化方法利用跨平台历史平衡平台修正与有害覆盖，在MediateRec基准上验证了有效性。
2026-10-07 cs.AI cs.LG
Hierarchical Conflict Propagation: Sequence Learning in a Recurrent Deep Neural Network
University of Surrey（萨里大学）
递归神经网络（RNN）能够学习编码和利用任意时间尺度上的激活历史。然而，在实践中，已知现有技术的基于梯度下降的训练方法在学习长期依赖性方面存在困难。在这里，我们描述了一种新的训练方法，涉及并发并行克隆网络，每个共享相同的权重，每个训练在不同的刺激阶段，每个保持独立的激活历史。随着激活历史记录的逐渐增加，通过在并行克隆上递归地执行批量更新来进行训练。这允许冲突从短期上下文向长期上下文分层传播，直到它们被解决。我们用一个字符级的深度RNN来说明并行克隆方法和层次冲突传播，该深度RNN的任务是记住Moby Dick（由Herman Melville）的一段。
2016-02-25 cs.LG
Link Stream Graph for Temporal Recommendations
Sorbonne Université（索邦大学）；IRD（法国发展研究院）；Université de Yaoundé I（雅温得第一大学）；CNRS（法国国家科学研究中心）
一些推荐系统的研究是基于显式的评分数据，但在许多现实世界的电子商务平台，评分并不总是可用的，在这些情况下，推荐系统必须处理隐式数据，如用户的购买历史，浏览历史和流媒体历史。在这种情况下，经典的二分用户项图（BIP）被广泛用于计算前N个推荐。然而，这些图有一些局限性，特别是在考虑时间动态方面。这并不好，因为用户的偏好会随着时间的推移而改变。为了克服这一限制，Xiang等人提出了基于会话的时间图（STG），以在基于图的推荐系统中结合长期和短期偏好。但在STG中，时间被划分为片段，因此被认为是不连续的。这种方法丢失了用户动作的真实时间动态的细节。为了解决这一挑战，我们提出了链接流图（LSG），这是一个扩展的链接流表示提出的拉蒂默等人。它允许模型之间的交互用户和项目考虑时间连续。在四个真实世界的隐式时间推荐数据集上进行的实验表明，与最常用的最先进的推荐图BIP和STG相比，LSG在12种情况中的9种情况下是最好的。
2019-03-27 cs.IR cs.LG cs.SI
CASE: Cadence-Aware Set Encoding for Large-Scale Next Basket Repurchase Recommendation
Walmart Global Tech（沃尔玛全球技术）
CASE通过分离物品级节奏学习与跨物品交互，实现显式日历时间建模，提升大规模下篮回购推荐的精度、召回和NDCG。
2026-04-24 cs.IR cs.LG
Statistical Analysis on E-Commerce Reviews, with Sentiment Classification using Bidirectional Recurrent Neural Network (RNN)
了解客户的情绪是至关重要的营销策略今天。它不仅可以让公司了解客户如何看待他们的产品和/或服务，还可以让他们了解如何改进他们的产品和服务。本文试图了解女性服装电子商业的客户评论中不同变量的相关性，并对每个评论进行分类，是否推荐被评论的产品，以及它是否包含积极，消极或中性的情绪。为了实现这些目标，我们对除评论标题和评论文本之外的数据集特征进行了单变量和多变量分析，并实现了一个具有长短期记忆单元（LSTM）的双向循环神经网络（RNN）用于推荐和情感分类。结果表明，推荐是积极情绪得分的有力指标，反之亦然。另一方面，产品评论中的评级是情感得分的模糊指标。我们还发现，双向LSTM能够达到F1分数0.88的推荐分类和0.93的情感分类。
2020-06-16 cs.CL cs.LG stat.ML
Recycling History: Efficient Recommendations from Contextual Dueling Bandits
School of Communication and Computer Science（通信与计算机科学学院）；EPFL（瑞士联邦理工学院）；Department of Computer Science（计算机科学系）；TU Munich（慕尼黑工业大学）；Department of Mathematics（数学系）
针对上下文决斗老虎机推荐系统，提出利用用户消费历史中的物品进行比较的新模型，通过随机探索积累丰富历史，实现$O(\sqrt{T})$遗憾界，模拟验证可显著降低遗憾。
2025-08-26 cs.LG
BLOB : A Probabilistic Model for Recommendation that Combines Organic and Bandit Signals
Criteo AI Lab（Criteo人工智能实验室）；Durham University（杜伦大学）
推荐系统的一个常见任务是从用户浏览历史中的项目中建立用户兴趣的概况，然后从同一目录中向用户推荐项目。用户的行为由两部分组成：他们在没有干预的情况下观看的项目序列（有机部分）和推荐给他们的项目序列及其结果（强盗部分）。在本文中，我们提出了贝叶斯潜在有机强盗模型（BLOB），概率的方法来结合“有机”和“强盗”的信号，以提高推荐质量的估计。由于其给出推荐性能的直接反馈，所以该强盗信号是有价值的，但是信号质量非常不均匀，因为其高度集中于被推荐器系统的过去版本认为是最优的推荐。相比之下，有机信号通常很强，覆盖大多数项目，但并不总是与推荐任务相关。为了利用有机信号来有效地学习贝叶斯模型中的强盗信号，我们确定了三种基本类型的距离，即动作-历史距离、动作-动作距离和历史-历史距离。我们使用变分自动编码器和局部重新参数化技巧实现完整模型的可扩展近似。我们使用广泛的模拟研究表明，我们的方法优于或匹配的价值都是最先进的有机为基础的推荐算法，和土匪为基础的方法（价值和政策为基础的）在有机和土匪丰富的环境。
2020-08-28 cs.LG stat.ML
A general graph-based framework for top-N recommendation using content, temporal and trust information
Université de Yaoundé I（雅温得第一大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；IRD（法国国家发展研究院）
在许多电子商务平台中，向用户推荐合适的商品是至关重要的，这些平台包含用户的浏览、购买和流媒体历史等隐式数据。一种常见的方法是针对给定的N个项目，选择与每个用户最相关的N个项目，这被称为前N个推荐。为此，推荐系统依赖于各种信息，如项目和用户特征，用户对项目的过去兴趣，浏览历史和用户之间的信任。然而，它们通常只使用一两条这样的信息，这限制了它们的性能。在本文中，我们设计并实现了GraFC 2 T2，一个通用的基于图的框架，可以轻松地组合和比较各种边信息的前N推荐。它将基于内容的特征、时间和信任信息编码到一个复杂的图中，并在这个图上使用个性化的PageRank来执行推荐。我们在Epperly和Ciao数据集上进行了实验，并将使用F1分数，命中率和MAP评估指标获得的性能与基于矩阵分解和深度学习的系统进行了比较。这表明，我们的框架是方便这样的探索，并结合不同种类的信息确实提高了一般的建议。
2019-05-06 cs.IR cs.LG stat.ML
Improving Native Ads CTR Prediction by Large Scale Event Embedding and Recurrent Networks
Microsoft Corporation（微软公司）
本文提出一种大规模事件嵌入方案，结合孪生网络与弱监督编码用户浏览事件，并利用带注意力层的循环神经网络建模用户历史，显著提升原生广告CTR预测性能。
2023-10-17 cs.AI cs.LG stat.ML
Dynamic Slate Recommendation with Gated Recurrent Units and Thompson Sampling
University of Oslo（奥斯陆大学）；Lancaster University（兰卡斯特大学）
我们考虑以项目列表（称为slates）的形式向互联网平台的用户推荐相关内容的问题。我们引入了一个变分贝叶斯递归神经网络推荐系统，该系统作用于互联网平台和用户之间交互的时间序列，并可扩展到现实世界的工业情况。该推荐系统在真实用户的在线测试和从挪威基于网络的市场FINN.no收集的离线数据集上进行测试，该数据集公开用于研究。这是第一个公开可用的数据集之一，其中包括所有呈现给用户的slate以及slate中的哪些项目（如果有的话）被点击。这样的数据集允许我们超越通常的假设，即隐含地假设用户在每次交互时都会考虑所有可能的项目。相反，我们使用实际上在石板中的项目来建立我们的可能性，并在理论和实验中评估两种方法的优缺点。我们还介绍了一个层次的项目参数的基础上组成员。项目参数和用户偏好都是概率学习的。此外，我们将我们的模型与强盗策略相结合，以确保学习，并引入“在石板汤普森采样”，利用石板，以最大限度地提高探索的机会。我们的实验表明，探索性的推荐策略执行标准或以上的贪婪同行。即使没有利用探索来更有效地学习，点击率的增加也仅仅是因为推荐的石板的多样性提高了。
2021-04-30 cs.LG stat.ML
Beyond Learning from Next Item: Sequential Recommendation via Personalized Interest Sustainability
Pohang University of Science and Technology（浦项科技大学）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
顺序推荐系统通过捕捉用户的兴趣漂移，实现了有效的推荐。现有的顺序模型有两组：以用户为中心的模型和以项目为中心的模型。以用户为中心的模型基于每个用户的顺序消费历史来捕获个性化的兴趣漂移，但是没有明确地考虑用户对物品的兴趣是否持续超过训练时间，即，兴趣可持续性。另一方面，以项目为中心的模型考虑的是用户的一般兴趣在训练时间后是否持续，但它不是个性化的。在这项工作中，我们提出了一个推荐系统，利用这两类模型。我们提出的模型捕捉个性化的兴趣可持续性，表明是否每个用户的项目的兴趣将持续超过训练时间或没有。我们首先制定了一个任务，需要预测哪些项目，每个用户将消费在最近一段时间的训练时间的基础上用户的消费历史。然后，我们提出了简单而有效的计划，以增加用户的稀疏消费历史。大量的实验表明，该模型优于10个基线模型在11个真实世界的数据集。这些代码可在https://github.com/dmhyun/PERIS上获得。
2022-09-14 cs.AI cs.IR cs.LG
Recurrent networks, hidden states and beliefs in partially observable environments
University of Liège（列日大学）；Institut Polytechnique de Paris（巴黎理工学院）
强化学习的目标是从与动态未知的环境的交互中学习最优策略。许多方法依赖于一个价值函数的近似值来获得接近最优的策略。在部分可观测的环境中，这些函数依赖于观测和过去行为的完整序列，称为历史。在这项工作中，我们经验性地表明，经过训练以近似这种价值函数的递归神经网络在内部过滤了给定历史的当前状态的后验概率分布，称为信念。更确切地说，我们表明，作为一个循环神经网络学习的Q函数，其隐藏状态变得越来越相关的信念的状态变量是相关的最优控制。这种相关性通过它们的互信息来测量。此外，我们表明，预期收益的代理增加的能力，其经常性的架构，以达到高互信息之间的隐藏状态和信念。最后，我们表明，通过学习过程中的隐藏状态和信念的变量是无关的最优控制之间的互信息减少。总之，这项工作表明，在其隐藏状态下，近似部分可观察环境的Q函数的递归神经网络从历史中再现了与采取最佳行动的信念的相关部分相关的足够的统计数据。
2022-08-06 cs.LG stat.ML
ARMED: Adaptive Retrieval-Augmented Medication Recommendation
UX Factory, Inc.（UX工厂公司）
本研究针对现有药物推荐系统固定检索流程的缺陷，提出自适应临床RAG框架ARMED，通过动态扩展检索等机制，在MIMIC-IV数据集上优于静态基线，且无需外部API或特定任务微调。
2026-10-14 cs.AI cs.CL cs.IR
Dual Control Memory Augmented Neural Networks for Treatment Recommendations
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
机器辅助治疗建议有望减少医生的时间和决策错误。我们将任务制定为序列到序列预测模型，该模型将整个时间顺序的病史作为输入，并预测未来临床程序和药物的序列。它是建立在一个有效的治疗计划可能有长期的依赖性，从以前的病史的前提。我们的方法的问题，通过使用记忆增强神经网络，特别是利用最近的可微神经计算机，由一个神经控制器和一个外部存储器模块。但与原始模型不同的是，我们使用双控制器，一个用于编码的历史，其次是另一个解码的治疗序列。在编码阶段，随着新输入的读取，记忆会更新;在这个阶段结束时，记忆不仅保存了病史，还保存了有关当前疾病的信息。在解码阶段，存储器是写保护的。解码控制器生成治疗序列，每次一个治疗选项。由此产生的双控制器写保护的内存增强神经网络证明了MIMIC-III数据集上的两个任务：程序预测和药物处方。结果表明，改进的性能比传统的词袋和序列到序列的方法。
2018-02-11 cs.LG stat.ML
Ask the GRU: Multi-Task Learning for Deep Text Recommendations
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在各种应用领域中，要推荐给用户的内容与文本相关联。这包括研究论文，电影与相关的情节摘要，新闻文章，博客文章，等等。基于潜在因素模型的推荐方法可以自然地扩展到利用文本，通过采用从文本到因素的显式映射。这使得能够推荐新的、看不见的内容，并且可以更好地概括，因为所有项目的因素都是由紧凑参数化模型产生的。以前的工作已经使用主题模型或词嵌入的平均值来进行这种映射。在本文中，我们提出了一种利用深度递归神经网络将文本序列编码为潜在向量的方法，特别是在协同过滤任务上进行端到端训练的门控递归单元（GRU）。对于科学论文推荐的任务，这产生了具有显著更高准确性的模型。在冷启动场景中，我们击败了之前的最先进的技术，所有这些技术都忽略了词序。通过多任务学习进一步提高性能，其中文本编码器网络被训练用于内容推荐和项目元数据预测的组合。这正则化的协同过滤模型，改善了稀疏性的问题，观察到的评级矩阵。
2016-09-09 cs.CL cs.LG stat.ML
Dense Recurrent Neural Networks for Accelerated MRI: History-Cognizant Unrolling of Optimization Algorithms
University of Minnesota（明尼苏达大学）
加速MRI的逆问题通常包含关于正则化重建框架中的前向编码算子的特定领域知识。最近，物理驱动的深度学习（DL）方法被提出来使用神经网络进行数据驱动的正则化。这些方法展开迭代优化算法来解决反问题目标函数，通过神经网络在特定领域的数据一致性和数据驱动的正则化之间交替。然后，整个展开的网络被端到端地训练，以学习网络的参数。由于梯度下降步骤的数据一致性更新的简单性，近端梯度下降（PGD）是展开物理驱动的DL重建方法的常用方法。然而，PGD方法收敛速度慢，需要更多的展开迭代，导致训练中的内存问题和测试中的重建时间较慢。受PGD方法的有效变体的启发，使用以前的迭代的历史，我们提出了一个历史认知展开的优化算法与密集的连接在迭代中，以提高性能。在我们的方法中，梯度下降步骤是在所有先前正则化单元的输出的可训练组合上计算的。我们也将这一思想应用于二次松弛展开变量分裂方法。我们在fastMRI膝关节数据集重建的结果表明，所提出的历史认知方法减少了残余混叠伪影相比，其传统的展开对应，而不需要额外的计算能力或增加重建时间。
2020-07-08 cs.CV cs.LG eess.IV
DeepProbe: Information Directed Sequence Understanding and Chatbot Design via Recurrent Neural Networks
Stanford University（斯坦福大学）；Microsoft（微软）
信息抽取和用户意图识别是现代查询理解和推荐系统的核心问题。在本文中，我们提出了DeepProbe，这是一个通用的信息导向交互框架，它是围绕基于注意力的序列到序列（seq2seq）递归神经网络构建的。DeepProbe可以重新措辞，评估，甚至主动提出问题，利用seq2seq模型的生成能力和可能性估计。DeepProbe基于基于用户输入的派生不确定性（熵）度量做出决策，可能需要多轮交互。三个应用程序，即重写器，相关性评分器和广告推荐聊天机器人，是围绕DeepProbe构建的，前两个作为第三个的基础构建块。我们首先使用DeepProbe中的seq2seq模型将用户查询重写为标准查询形式，并提交给普通推荐系统。其次，我们评估了DeepProbe基于seq2seq模型的相关性评分。最后，我们构建了一个能够进行主动用户交互的聊天机器人原型，它可以提出最大化信息增益的问题，从而实现更有效的用户意图验证过程。我们通过以下方式评估前两个应用程序：1）通过BLEU和AUC与基线进行比较，2）人工判断评估。与当前最先进的系统相比，两者都有显着的改进，证明了它们作为有用工具的价值，同时为正在进行的聊天机器人应用奠定了良好的基础。
2018-03-01 cs.LG stat.ML
A Practical Sparse Approximation for Real Time Recurrent Learning
DeepMind（深度思维）；Google（谷歌）；University College London（伦敦大学学院）
目前用于训练递归神经网络的方法是基于通过时间的反向传播，这需要存储网络状态的完整历史，并且禁止“在线”更新权重（在每个时间步之后）。实时的递归学习（RTRL）消除了对历史存储的需要，并允许在线权重更新，但这样做的代价是状态大小的四次方的计算成本。这使得RTRL训练对于除了最小的网络之外的所有网络都是棘手的，即使是高度稀疏的网络。我们将稀疏n步近似（SnAp）引入RTRL影响矩阵，该矩阵仅保留递归核心的n步内的非零条目。SnAp（n=1）并不比反向传播更昂贵，我们发现它大大优于其他RTRL近似，成本相当，如无偏在线递归优化。对于高度稀疏的网络，n=2的SnAp仍然是易于处理的，并且在在线更新时，在学习速度方面可以超过反向传播。当n很大时，SnAp变得等同于RTRL。
2020-06-12 cs.LG cs.NE stat.ML
Recurrent Autoregressive Networks for Online Multi-Object Tracking
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
在线多目标跟踪的主要挑战是基于其跟踪历史将对象轨迹与每个视频帧中的检测可靠地关联。在这项工作中，我们提出了递归自回归网络（RAN），一个时间生成建模框架来表征多个对象随时间的外观和运动动态。RAN耦合外部存储器和内部存储器。外部存储器明确地存储时间窗口中每个轨迹的先前输入，而内部存储器通过处理外部存储器来学习总结长期跟踪历史并关联检测。我们在MOT 2015和2016数据集上进行了实验，以证明我们的跟踪方法在高度拥挤和遮挡场景中的鲁棒性。我们的方法在两个基准测试中取得了最好的结果。
2018-03-04 cs.AI cs.CV cs.LG
Action-conditional Sequence Modeling for Recommendation
Criteo Research（Criteo研究院）
在许多在线应用中，用户和web服务之间的交互以顺序的方式组织，例如，浏览电子商务网站的用户。在这种设置中，推荐系统通过显示项目来贯穿用户导航。以前的工作已经解决了这个建议设置通过预测用户将与下一个项目进行交互的任务。特别是，递归神经网络（RNN）已被证明在协同过滤基线上实现了实质性的改进。在本文中，我们认为除了浏览行为的建议部署推荐系统触发的互动。事实上，据报道，在在线服务中，与推荐的交互占总交互的30%。此外，在实践中，推荐系统可以通过推荐特定的项目来极大地影响用户的行为。在本文中，我们通过考虑用户与推荐项目的交互来扩展RNN建模框架。我们提出并评估RNN架构，包括推荐动作模块和状态动作融合模块。使用真实世界的大规模数据集，我们证明了与基线相比，下一个项目预测任务的性能有所提高。
2018-09-07 cs.IR cs.LG stat.ML
Accelerating recurrent neural network language model based online speech recognition system
DMC R&D Center, Samsung Electronics（三星电子DMC研发中心）
提出了一种基于循环神经网络的在线语音识别语言模型的加速方法。首先，为了减少LM查询的数量，引入了对过去的隐藏层输出（历史向量）进行有损压缩并进行缓存。接下来，RNNLM计算以CPU-GPU混合方式部署，在更有利的平台上计算模型的每一层。CPU和GPU之间的数据交换所增加的开销通过逐帧优化策略来补偿。LibriSpeech测试集上的性能评估表明，历史向量精度的降低提高了平均识别速度的1.23倍，精度下降最小。另一方面，CPU-GPU混合并行化使基于RNNLM的实时识别速度提高了四倍。
2018-01-30 cs.CL cs.LG
