HSTU-BLaIR: Lightweight Contrastive Text Embedding for Generative Recommender
Ming Hsieh Department of Electrical and Computer Engineering（电气与计算机工程系）
提出HSTU-BLaIR混合框架，将轻量级对比文本嵌入模型BLaIR与HSTU生成式推荐器结合，在电商数据集上以更少参数超越OpenAI嵌入增强变体，验证了对比文本嵌入在高效推荐中的有效性。
2025-06-19 cs.IR cs.LG
Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems
University of Southern California（南加州大学）；Meta；Purdue University（普渡大学）；Tsinghua University（清华大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
本文提出FIITED系统，通过细粒度训练中嵌入维度剪枝自适应调整各嵌入向量维度，结合虚拟哈希物理索引哈希表实现高效剪枝，在保持模型质量的同时大幅减少推荐系统嵌入表内存占用并提升吞吐量。
2024-10-13 cs.IR cs.LG
Interact2Vec -- An efficient neural network-based model for simultaneously learning users and items embeddings in recommender systems
Department of Computer Science, Federal University of São Carlos（计算机科学系，萨o卡洛斯联邦大学）
本文提出仅依赖隐式反馈的神经网络模型 Interact2Vec，通过 NLP 训练策略同时学习用户与物品嵌入，并在 top-$N$ 推荐和嵌入内在评估中验证其效果与效率。
2025-07-24 cs.IR cs.LG
DVE: Dynamic Variational Embeddings with Applications in Recommender Systems
嵌入是一种将高维特征映射到低维空间的有效技术，在链接预测、节点分类和自然语言处理等领域有着广泛的应用。目前的方法主要集中在静态数据，这通常会导致不满意的性能，在应用程序中，涉及随着时间的推移大的变化。如何动态地表征嵌入特征的变化在很大程度上仍然是未探索的。在本文中，我们介绍了一个动态变分嵌入（DVE）方法的序列感知数据的基础上，在递归神经网络的最新进展。DVE可以明确地同时模拟节点的内在性质和时间变化，这对于探索至关重要。我们进一步将DVE应用于序列感知推荐系统，并开发了一个端到端的链接预测神经架构。
2020-08-27 cs.IR cs.LG stat.ML
Differentiable Neural Input Search for Recommender Systems
Shanghai Jiao Tong University（上海交通大学）
潜在因素模型是最先进的推荐系统的驱动力，具有将原始输入特征向量化为密集嵌入的重要见解。不同特征嵌入的维度通常根据经验设置为相同的值，这限制了潜在因素模型的预测性能。现有的工作已经提出了启发式或基于强化学习的方法来搜索混合特征嵌入维度。出于效率考虑，这些方法通常从候选维度的受限集合中选择嵌入维度。然而，这种限制会损害维度选择的灵活性，导致搜索结果的次优性能。在本文中，我们提出了可微神经输入搜索（DNIS），这是一种通过连续松弛和可微优化在更灵活的空间中搜索混合特征嵌入维度的方法。其核心思想是引入一个软选择层来控制每个嵌入维度的重要性，并根据模型的验证性能来优化该层。DNIS是模型不可知的，因此可以无缝地与现有的潜在因素模型结合起来进行推荐。我们在三个公开的真实世界数据集上进行了各种潜在因素模型架构的实验，用于评级预测，点击率（CTR）预测和top-k项目推荐。结果表明，我们的方法实现了最好的预测性能相比，现有的神经输入搜索方法具有更少的嵌入参数和更少的时间成本。
2020-09-10 cs.IR cs.LG
FedGRec: Federated Graph Recommender System with Lazy Update of Latent Embeddings
University of Pittsburgh（匹兹堡大学）
推荐系统在工业中被广泛用于改善用户体验。尽管取得了巨大的成功，但他们最近因收集私人用户数据而受到批评。联邦学习（Federated Learning，FL）是一种在分布式数据上进行学习而无需直接数据共享的新范式。因此，联邦推荐（FedRec）系统被提出来减轻非分布式推荐系统的隐私问题。然而，FedRec系统与非分布式系统相比存在性能差距。主要原因是本地客户端的用户-项目交互图不完整，因此FedRec系统不能很好地利用间接的用户-项目交互。在本文中，我们提出了联邦图推荐系统（FedGRec）来弥补这一差距。我们的FedGRec系统可以有效地利用间接的用户项交互。更确切地说，在我们的系统中，用户和服务器显式地存储用户和项目的潜在嵌入，其中潜在嵌入总结了间接用户-项目交互的不同顺序，并在本地训练期间用作缺失交互图的代理。我们进行了广泛的实证评估，以验证使用潜在嵌入作为缺失的交互图的代理的有效性;实验结果显示，与各种基线相比，我们的系统具有优异的性能。该论文的简短版本见\href{https://federated-learning.org/fl-neurips-2022/}{the FL-NeurIPS'22 workshop}。
2022-10-25 cs.LG
Boost-RS: Boosted Embeddings for Recommender Systems and its Application to Enzyme-Substrate Interaction Prediction
Department of Computer Science, Tufts University（塔夫茨大学计算机科学系）
尽管有实验和管理方面的努力，酶对底物的混杂程度仍然在很大程度上未被探索和记录。推荐系统（RS），这是目前尚未探索的酶-底物相互作用的预测问题，可以用来提供酶的建议，底物，反之亦然。然而，协作过滤（CF）推荐系统的性能取决于用户和项目（在我们的情况下是酶和底物）的嵌入向量的质量。重要的是，增强CF嵌入与异构辅助数据，特别是关系数据（例如，分层、成对或分组）仍然是一个挑战。我们提出了一个创新的通用RS框架，称为Boost-RS，通过辅助数据“提升”嵌入向量来增强RS性能。具体来说，Boost-RS在多个相关的辅助学习任务上进行训练和动态调整Boost-RS利用对比学习任务来利用关系数据。为了显示Boost-RS在酶-底物预测相互作用问题中的有效性，我们将Boost-RS框架应用于几个基线CF模型。我们证明了我们的每个辅助任务都可以增强嵌入向量的学习，并且使用Boost-RS的对比学习优于属性连接和多标签学习。我们还表明，Boost-RS优于基于相似性的模型。消融研究和可视化的学习表示强调了在一些辅助数据上使用对比学习来提高嵌入向量的重要性。
2021-09-28 cs.IR cs.LG q-bio.QM
Balanced Co-Clustering of Users and Items for Embedding Table Compression in Recommender Systems
Hong Kong Baptist University（香港 Baptist 大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出BACO框架，通过协同信号对用户和物品进行聚类，减少嵌入表参数，提升推荐系统效率，实验显示参数减少75%且召回率下降仅1.85%。
2026-04-20 cs.IR cs.LG
A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems
The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）；Shandong University（山东大学）
本研究对轻量级嵌入推荐系统进行全面基准测试，提出基于幅度剪枝的高效压缩方法，并评估其性能、效率和跨任务可迁移性。
2025-01-18 cs.IR cs.LG
Embedding Ranking-Oriented Recommender System Graphs
基于图的推荐系统（GRSs）分析数据的图形表示中的结构信息以做出更好的推荐，特别是当直接用户-项目关系数据稀疏时。面向排名的GRS形成了一个主要类别的推荐系统，主要使用偏好（或排名）数据的图形表示来测量节点的相似性，从这些相似性中，它们可以使用基于邻域的机制来推断推荐列表。在本文中，我们提出了PGRec，一种新的基于图的面向排名的推荐框架。PGRec通过一种名为PrefGraph的新型图结构对用户对项目的偏好进行建模。然后通过改进的嵌入方法利用该图，利用因子分解和深度学习方法，提取代表用户，项目和偏好的向量。然后，将得到的嵌入用于预测用户的未知成对偏好，从该偏好推断出最终的推荐列表。我们已经评估了所提出的方法对最先进的基于模型和基于邻域的推荐方法的性能，我们的实验表明，PGRec优于基线算法高达3.2%的NDCG@10在不同的MovieLens数据集。
2020-07-31 cs.IR cs.LG stat.ML
One4all User Representation for Recommender Systems in E-commerce
NAVER CLOVA；NAVER AI LAB（Naver AI实验室）；NAVER R&D Center（Naver研发中心）
通过大规模预训练的通用表示学习在各种机器学习领域已经显示出有希望的结果。对于电子商业领域，通用目的的目标，即，总之，表示将是广泛的下游任务的有效应用，例如用户简档、目标和推荐任务。在本文中，我们系统地比较了两种学习策略的概括性，通过所提出的模型ShopperBERT进行迁移学习与从头开始学习。ShopperBERT从两年来收集的0.8B用户行为中学习了9个具有7920万参数的借口任务，以产生用户嵌入。因此，使用我们的嵌入方法的MLP在六个任务中有五个任务的表现优于从头开始训练的更复杂的模型。具体来说，预训练的嵌入优于特定于任务的监督特征和强基线，后者学习冷启动问题的辅助数据集。我们还展示了预训练特征的计算效率和嵌入可视化。
2021-05-24 cs.IR cs.LG
Critically Examining the Claimed Value of Convolutions over User-Item Embedding Maps for Recommender Systems
Politecnico di Milano（米兰理工大学）；University of Klagenfurt（克拉根福大学）
近年来，在推荐系统领域的算法研究已经从矩阵分解技术及其潜在因素模型转移到神经方法。然而，考虑到潜在因子模型的强大功能，一些较新的神经方法将其纳入更复杂的网络架构中。最近几位研究人员提出的一个具体想法是考虑潜在因素之间的潜在相关性，即，嵌入，通过在用户-项目交互映射上应用卷积。然而，与这些文章中所声称的相反，这种交互映射不共享图像的属性，其中卷积神经网络（CNN）特别有用。在这项工作中，我们通过分析考虑和实证评估表明，文献中报道的声称的收益不能归因于CNN对嵌入相关性建模的能力，正如原始论文中所争论的那样。此外，额外的性能评估表明，所有最近检查的基于CNN的模型优于现有的非神经机器学习技术或传统的最近邻方法。在更一般的水平上，我们的工作点推荐系统研究的主要方法问题。
2020-08-05 cs.IR cs.LG cs.NE
Graph Convolution Machine for Context-aware Recommender System
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Google Research（谷歌研究院）；Microsoft Research Asia（微软亚洲研究院）
推荐的最新进展表明，通过对用户-项目交互图进行图卷积，可以学习更好的用户和项目表示。然而，这样的发现主要限于协同过滤（CF）的情况下，交互上下文是不可用的。在这项工作中，我们将图卷积的优点扩展到上下文感知推荐系统（CARS，它代表了一种通用类型的模型，可以处理各种边信息）。我们提出了\textit{Graph Convolution Machine}（GCM），一个端到端的框架，包括三个组件：编码器，图卷积（GC）层，和解码器。编码器将用户、项目和上下文投影到嵌入向量中，这些向量被传递到GC层，GC层使用用户-项目图上的上下文感知图卷积来细化用户和项目嵌入。解码器通过考虑用户、项目和上下文嵌入之间的交互来对细化的嵌入进行排序以输出预测分数。我们在来自Yelp和Amazon的三个真实世界数据集上进行了实验，验证了GCM的有效性以及为CARS执行图卷积的好处。我们的实现可从\url{https://github.com/wujcan/GCM}获得。
2021-05-19 cs.IR cs.LG
Lightweight Self-Attentive Sequential Recommendation
The University of Queensland（昆士兰大学）
现代深度神经网络（DNN）通过在各种顺序推荐任务上实现最先进的推荐性能，极大地促进了顺序推荐系统的开发。给定交互项的序列，现有的基于DNN的顺序排序器通常将每个项嵌入到唯一向量中以支持用户兴趣的后续计算。然而，由于潜在的大量项目，顺序推荐器的过参数化项目嵌入矩阵已经成为资源受限环境中有效部署的存储器瓶颈，例如，智能手机和其他边缘设备。此外，我们观察到，广泛使用的多头自我注意，虽然是有效的建模项目之间的顺序依赖关系，在很大程度上依赖于冗余的注意力单元，以充分捕捉全球和本地项目的项目转移模式的序列。本文介绍了一种用于顺序推荐的新型轻量级自关注网络（LSAN）。为了积极地压缩原始嵌入矩阵，LSAN利用了组合嵌入的概念，其中每个项嵌入都是通过合并从小得多的嵌入矩阵中导出的一组选定的基本嵌入向量来组成的。同时，考虑到每个项目的内在动态，我们进一步提出了一个时间上下文感知的嵌入组合方案。此外，我们开发了一种创新的双注意力网络，它在保留捕获长期和短期（即，全局和局部）项依赖性。综合实验表明，LSAN显着提高了现有的顺序排序器的准确性和内存效率。
2021-08-25 cs.IR cs.LG
AdaS&S: a One-Shot Supernet Approach for Automatic Embedding Size Search in Deep Recommender System
Tencent TEG（腾讯TEG）；Tsinghua University（清华大学）
提出一次性超网络框架 AdaS&S，通过解耦训练与搜索、自适应采样及强化学习结合资源竞争惩罚，稳定地搜索混合嵌入尺寸，在提升推荐 AUC 的同时有效减少模型参数。
2024-11-12 cs.IR cs.LG
Deep recommender engine based on efficient product embeddings neural pipeline
预测分析系统目前是人工智能领域，特别是机器学习领域最重要的研究和开发领域之一。预测分析的“圣杯”之一是“完美”推荐系统的研究和开发。在我们的论文中，我们提出了一种先进的管道模型，用于确定产品互补性，相似性和销售预测的多任务目标，使用应用于大数据顺序事务系统的深度神经模型。我们高度并行化的混合模型管道由无监督和有监督模型组成，分别用于生成语义产品嵌入和预测销售。我们的实验和基准测试流程是使用制药行业零售现实生活中的交易大数据流完成的。
2019-07-22 cs.AI cs.CL cs.IR
Generalized Embedding Machines for Recommender Systems
University of Glasgow（格拉斯哥大学）；Tencent AI Lab（腾讯AI实验室）；Northeastern University（东北大学）
本文提出广义嵌入机（GEM），利用图卷积网络在嵌入层面建模高阶特征交互，并与多种因子分解机模型集成，在真实数据集上取得显著提升。
2020-02-16 cs.IR cs.LG stat.ML
The Bandit's Blind Spot: The Critical Role of User State Representation in Recommender Systems
Federal University of São Carlos（圣卡洛斯联邦大学）
本文研究了基于矩阵分解模型的嵌入式状态表示对传统上下文多臂老虎机算法性能的影响，发现状态表示的变化对性能提升效果大于算法本身的变化，强调了嵌入质量与状态构建的重要性。
2026-04-29 cs.IR cs.LG
Multi-modal Embedding Fusion-based Recommender
Synerise S.A.（Synerise股份公司）；Warsaw University of Technology（华沙理工大学）
推荐系统最近在全球范围内流行，主要用于在线交互系统，主要集中在电子商务平台上。我们已经开发了一个基于机器学习的推荐平台，它可以很容易地应用于几乎任何项目和/或动作域。与现有的推荐系统相反，我们的平台支持多种类型的交互数据和多种元数据形式。这是通过各种数据表示的多模态融合来实现的。我们将该平台部署到多个不同类型的电子商务商店，例如食品和饮料，鞋类，时尚用品，电信运营商。在这里，我们介绍我们的系统，它的灵活性和性能。我们还展示了开放数据集上的基准测试结果，这些结果显着优于最先进的现有工作。
2020-05-14 cs.CV cs.IR cs.LG
INTERPOS: Interaction Rhythm Guided Positional Morphing for Mobile App Recommender Systems
Independent Researcher（独立研究者）；University of Kentucky（肯塔基大学）；Louisiana State University（路易斯安那州立大学）；University of Central Florida（中央佛罗里达大学）
针对移动应用推荐中用户交互间隔长、传统位置嵌入未考虑时间节律的问题，提出INTERPOS节律引导位置变形策略，整合入Transformer架构，在7个数据集的NDCG@K和HIT@K指标上超越SOTA模型。
2025-06-14 cs.IR cs.LG
DreamShard: Generalizable Embedding Table Placement for Recommender Systems
Rice University（莱斯大学）；Meta Platforms, Inc.（Meta平台公司）；Texas A&M University（得克萨斯农工大学）
我们研究了分布式推荐系统中的嵌入表放置，其目的是将表划分并放置在多个硬件设备上（例如，GPU）来平衡计算和通信成本。尽管先前的工作已经探索了用于计算图的设备放置的基于学习的方法，但是嵌入表放置仍然是一个具有挑战性的问题，因为1）嵌入表的操作融合，以及2）对具有不同数量的表和/或设备的看不见的放置任务的可推广性要求。为此，我们提出了DreamShard，一种用于嵌入表放置的强化学习（RL）方法。DreamShard通过1）一个成本网络来直接预测融合操作的成本，以及2）一个在估计的马尔可夫决策过程（MDP）上进行有效训练的策略网络，而无需真正的GPU执行，其中状态和奖励通过成本网络进行估计。这两个网络配备了sum和max表示简化，可以直接推广到具有不同数量的表和/或设备的任何看不见的任务，而无需微调。大量的实验表明，DreamShard大大优于现有的人类专家和基于RNN的策略，在大规模合成表和我们的生产表的最强基线上加速高达19%。代码可在https://github.com/daochenzha/dreamshard上获得
2022-10-05 cs.LG
AutoShard: Automated Embedding Table Sharding for Recommender Systems
Rice University（莱斯大学）；Meta Platforms, Inc.（元平台公司）
嵌入学习是深度推荐模型中将分类特征映射到密集向量的重要技术。然而，嵌入表往往需要非常大量的参数，这成为存储和效率的瓶颈。分布式训练解决方案已经被采用来将嵌入表划分到多个设备中。然而，如果不仔细划分，嵌入表很容易导致不平衡。这是分布式系统的一个重大设计挑战，称为嵌入表分片，即，我们应该如何划分嵌入表以平衡设备之间的成本，这是一项重要的任务，因为1）难以有效和精确地测量成本，以及2）已知划分问题是NP难的。在这项工作中，我们介绍了我们在Meta中的新颖实践，即AutoShard，它使用神经成本模型直接预测多表成本，并利用深度强化学习来解决分区问题。在一个开源的大规模合成数据集和Meta的生产数据集上的实验结果证明了AutoShard相对于人工智能的优越性。此外，AutoShard的学习策略可以转移到具有不同数量的表和不同比例的不可见表的分片任务，而无需任何微调。此外，AutoShard可以在几秒钟内高效地对数百个表进行分片。AutoShard的有效性、可移植性和效率使其适合于生产使用。我们的算法已经部署在Meta生产环境中。原型可在https://github.com/daochenzha/autoshard上获得
2022-08-12 cs.AI cs.IR cs.LG
Do Recommender Systems Really Leverage Multimodal Content? A Comprehensive Analysis on Multimodal Representations for Recommendation
Sapienza University of Rome（罗马大学）
本研究通过分析多模态嵌入的语义信息量，提出利用大型视觉-语言模型生成无需融合的语义对齐表示，实验证明其能提升推荐性能并支持可解释性。
2025-08-06 cs.CL cs.IR cs.LG
TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems
Google DeepMind（谷歌DeepMind）
提出TokenMinds系统，通过编码器-解码器架构生成基于语义ID的离散用户令牌和稠密嵌入，实现互补优势，并在YouTube全流量部署验证其工业可行性。
2026-10-28 cs.AI cs.IR cs.LG
Session-based Recommender Systems: User Interest as a Stochastic Process in the Latent Space
Wroclaw Centre for Networking and Supercomputing（弗罗茨瓦夫网络与超级计算中心）
本文针对基于会话的推荐系统的数据不确定性、流行度偏差和曝光偏差问题，提出将用户兴趣视为潜在空间中的随机过程并给出模型无关实现，通过物品嵌入去偏、会话兴趣建模和假目标引入等策略，在多个数据集上验证了其缓解偏差的效果。
2025-04-14 cs.AI cs.IR cs.LG
Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment
Meta Platforms, Inc.（Meta平台公司）
针对推荐系统中跨多界面部署基础模型的挑战，提出基础-专家范式，中央FM生成目标感知嵌入供特定界面专家模型使用，迁移率超现有方法，自2025年在Meta部署后实现线上指标提升。
2026-07-28 cs.AI cs.IR cs.LG
Recommender Systems with Generative Retrieval
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google DeepMind（谷歌DeepMind）；Google（谷歌）
该研究提出基于Semantic ID的生成式检索推荐方法，用Transformer序列模型自回归解码物品语义ID，在多数据集上性能超SOTA，还提升了冷启动物品的检索泛化能力。
2023-11-03 cs.IR cs.LG
Extracting Interaction-Aware Monosemantic Concepts in Recommender Systems
本文提出了一种在推荐系统中提取交互感知的单义概念的方法，通过稀疏自动编码器揭示潜在语义结构，实现对用户和物品嵌入之间相互作用的保持，从而支持可控的个性化。
2025-11-22 cs.AI cs.IR cs.LG
Model-agnostic post-hoc explainability for recommender systems
School of Civil Engineering, Universidad Politécnica de Madrid（马德里理工大学土木工程学院）；School of Engineering, CUNEF University（CUNEF大学工程学院）
本研究针对推荐系统因深度学习降低可解释性的问题，提出并评估了模型无关的删除诊断方法，通过比较缺失特定数据训练的模型性能来量化影响，在NCF和SVD模型及MovieLens等数据集上验证了其通用性。
2025-09-12 cs.IR cs.LG
A Generic Network Compression Framework for Sequential Recommender Systems
University of Science and Technology of China（中国科学技术大学）；Tencent（腾讯）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Zhejiang University（浙江大学）
顺序推荐系统（SRS）已经成为捕捉用户动态兴趣和生成高质量推荐的关键技术。当前最先进的顺序推荐模型通常基于嵌入式结构的深度神经网络，其中一个或多个中间（隐藏）层放置在输入嵌入层和输出softmax层之间。一般来说，这些模型需要大量的参数（例如使用大的嵌入维度或深度网络架构）来获得其最佳性能。尽管有效，但在某些时候，进一步增加模型大小可能更难在资源受限设备中部署模型，导致更长的响应时间和更大的内存占用。为了解决这些问题，我们提出了一个压缩的顺序推荐框架，称为CpRec，其中两个通用的模型收缩技术。具体来说，我们首先提出了一个块式自适应分解近似的输入和softmax矩阵，利用SRS中的项目服从长尾分布的事实。为了减少中间层的参数，我们引入了三个逐层参数共享计划。我们使用深度卷积神经网络实例化CpRec，考虑到推荐准确性和效率，使用膨胀的内核。通过广泛的消融研究，我们证明了所提出的CpRec可以在真实世界的SRS数据集上实现高达4 $\sim$ 8倍的压缩率。同时，CpRec在训练\inference期间更快，并且在大多数情况下优于其未压缩的对应物。
2020-05-26 cs.IR cs.LG
Graph Convolutional Neural Networks for Web-Scale Recommender Systems
Pinterest（品趣志）；Stanford University（斯坦福大学）
最近在用于图结构数据的深度神经网络方面的进展已经导致推荐系统基准测试的最新性能。然而，使这些方法实用且可扩展到具有数十亿项目和数亿用户的网络规模推荐任务仍然是一个挑战。在这里，我们描述了我们在Pinterest开发和部署的大规模深度推荐引擎。我们开发了一种数据高效的图卷积网络（GCN）算法PinSage，它结合了高效的随机游走和图卷积来生成节点的嵌入（即，项），其合并了图结构以及节点特征信息。与现有的GCN方法相比，我们开发了一种基于高效随机游走的新方法来构造卷积，并设计了一种新的训练策略，该策略依赖于越来越难的训练样本来提高模型的鲁棒性和收敛性。我们还开发了一个高效的MapReduce模型推理算法，使用训练模型生成嵌入。我们在Pinterest上部署了PinSage，并在一个图表上的75亿个示例上对其进行了训练，该图表包含30亿个代表引脚和电路板的节点以及180亿条边。根据离线指标、用户研究和A/B测试，PinSage生成的推荐质量高于同类深度学习和基于图表的替代方案。据我们所知，这是迄今为止深度图嵌入的最大应用，为基于图卷积架构的新一代网络规模推荐系统铺平了道路。
2018-06-06 cs.IR cs.LG stat.ML
On the Regularization of Learnable Embeddings for Time Series Forecasting
Università della Svizzera Italiana（瑞士意大利语区大学）；IDSIA（IDSIA研究院）；University of Liverpool（利物浦大学）；Politecnico di Milano（米兰理工大学）
针对多时间序列预测中局部可学习嵌入易成序列标识符、限制模型迁移性的问题，本文首次广泛实证研究正则化方法，发现嵌入扰动类方法可提升架构性能，为理解局部与全局参数相互作用、开发时间序列基础模型提供关键贡献。
2025-02-13 cs.AI cs.LG
Multi-Probe Zero Collision Hash (MPZCH): Mitigating Embedding Collisions and Enhancing Model Freshness in Large-Scale Recommenders
Meta Platforms, Inc.（Meta平台公司）；OpenAI
本文提出MPZCH，一种基于线性探测的新型索引机制，通过合理表大小有效消除嵌入碰撞，保持生产效率，利用辅助张量和CUDA内核实现可配置探测和主动驱逐策略，防止哈希方法中的陈旧嵌入继承，提升物品嵌入新鲜度和质量。
2026-10-07 cs.LG
Making Recommender Systems Forget: Learning and Unlearning for Erasable Recommendation
Zhejiang University（浙江大学）
隐私法律和法规强制执行数据驱动的系统，例如，推荐系统，删除涉及个人的数据。由于机器学习模型可能会记住训练数据，因此数据擦除也应该忘记模型中的数据谱系，这引起了人们对机器遗忘（MU）问题的兴趣。然而，现有的MU方法不能直接应用于推荐。大多数推荐系统的基本思想是协同过滤，但现有的MU方法忽略了跨用户和项目的协作信息。本文提出了一个通用的可擦除推荐框架LASER，它由Group模块和SeqTrain模块组成。首先，分组模块根据超图学习到的协作嵌入相似度，将用户划分为均衡分组。然后，SeqTrain模块对具有课程学习的所有组顺序地训练模型。理论分析和两个真实数据集上的实验表明，LASER不仅可以实现有效的去学习，而且在模型效用方面优于最先进的去学习框架。
2022-03-22 cs.IR cs.LG
End-to-End Personalization: Unifying Recommender Systems with Large Language Models
University of Windsor（温莎大学）
本文提出一种结合图注意力网络与大型语言模型的混合推荐框架，通过LLM增强嵌入和混合损失函数，在MovieLens数据集上提升推荐准确性与可解释性。
2025-08-02 cs.IR cs.LG
Wide & Deep Learning for Recommender Systems
Google Inc.（谷歌公司）
具有非线性特征变换的广义线性模型被广泛应用于具有稀疏输入的大规模回归和分类问题。通过广泛的跨产品特征转换的特征交互的泛化是有效的和可解释的，而泛化需要更多的特征工程工作。通过较少的特征工程，深度神经网络可以通过为稀疏特征学习的低维密集嵌入来更好地泛化到看不见的特征组合。然而，当用户-项目交互稀疏且排名高时，具有嵌入的深度神经网络可能过度泛化并推荐不太相关的项目。在本文中，我们提出了宽和深度学习-联合训练的宽线性模型和深度神经网络-结合推荐系统的记忆和泛化的好处。我们在Google Play上对该系统进行了生产和评估，Google Play是一个商业移动应用程序商店，拥有超过10亿活跃用户和超过100万个应用程序。在线实验结果表明，与仅限宽和仅限深的模型相比，宽深模型显著增加了应用程序的获取。我们还在TensorFlow中开源了我们的实现。
2016-06-24 cs.IR cs.LG stat.ML
Beyond Retrieval: Generating Narratives in Conversational Recommender Systems
Google（谷歌公司）
针对LLM难以整合推荐知识生成适配推荐的自然语言的问题，本文提出对话式推荐叙事生成数据集REGEN及CF-LLM融合基线架构，验证了两类嵌入结合可提升生成效果。
2024-12-10 cs.AI cs.CL cs.IR
Rethinking ANN-based Retrieval: Multifaceted Learnable Index for Large-scale Recommendation System
Meta Platforms, Inc.（Meta平台）
本文提出MFLI，一种通过统一框架学习多维嵌入和索引的实时检索方法，有效提升推荐系统中召回率、冷内容交付和语义相关性。
2026-02-18 cs.AI cs.IR cs.LG
Reviewing Developments of Graph Convolutional Network Techniques for Recommendation Systems
Institute of Advanced Scientific Research（高级科学研究所）；Shivaji University（希瓦吉大学）
本文综述了图神经网络在推荐系统中的应用，涵盖背景、分类、动机及图构建、嵌入传播和计算效率的挑战，并展望未来方向。
2023-11-10 cs.AI cs.IR cs.LG
Gradients as an Action: Towards Communication-Efficient Federated Recommender Systems via Adaptive Action Sharing
East China Normal University（华东师范大学）；Singapore Management University（新加坡国立管理学院）
本文提出通信高效的联邦推荐框架FedRAS，通过自适应动作共享策略将物品嵌入梯度聚类为有限模型更新动作进行通信，最多减少96.88%通信开销且不牺牲推荐性能。
2025-07-08 cs.AI cs.LG
STAR-GCN: Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
我们提出了一种新的STacked and Reconstructed图卷积网络（STAR-GCN）架构来学习节点表示，以提高推荐系统的性能，特别是在冷启动情况下。STAR-GCN采用GCN编码器-解码器堆栈与中间监督相结合，以提高最终预测性能。与图卷积矩阵完成模型中的独热编码节点输入不同，STAR-GCN学习低维用户和项目潜在因子作为输入，以抑制模型的空间复杂度.此外，我们的STAR-GCN可以通过重建掩码输入节点嵌入来为新节点生成节点嵌入，这基本上解决了冷启动问题。此外，我们发现一个标签泄漏问题时，训练基于GCN的模型链接预测任务，并提出了一种训练策略，以避免这个问题。多个评级预测基准的实证结果表明，我们的模型在五分之四的真实世界数据集中实现了最先进的性能，并在冷启动场景中预测评级方面取得了显着改善。代码实现可在https://github.com/jennyzhang0215/STAR-GCN中获得。
2019-05-27 cs.IR cs.LG cs.SI
LEGO: A Lightweight and Efficient Multiple-Attribute Unlearning Framework for Recommender Systems
Zhejiang University（浙江大学）；Hangzhou Dianzi University（杭州电子科技大学）
针对推荐系统中多敏感属性动态遗忘的需求，提出轻量级高效框架LEGO，通过嵌入校准与灵活组合两步实现同时遗忘，并以互信息最小化提供理论保证，实验验证其有效性与效率。
2025-10-23 cs.AI cs.LG
Merlin HugeCTR: GPU-accelerated Recommender System Training and Inference
NVIDIA（英伟达）
在这个演讲中，我们介绍Merlin HugeCTR。Merlin HugeCTR是一个开源的GPU加速集成框架，用于估计点击率。它优化了训练和推理，同时通过模型并行嵌入和数据并行神经网络实现大规模模型训练。特别是，Merlin HugeCTR将高性能GPU嵌入式缓存与分层存储架构相结合，以实现嵌入的低延迟检索，用于在线模型推理任务。在MLPerf v1.0 DLRM模型训练基准测试中，Merlin HugeCTR在单个DGX A100（8x A100）上实现了高达24.6倍的加速，而在4x 4插槽CPU节点（4x 4x 28核）上的PyTorch上。Merlin HugeCTR还可以利用多节点环境进一步加快训练速度。自2021年底起，Merlin HugeCTR还增加了一个分层参数服务器（HPS），并支持通过NVIDIA Triton服务器框架进行部署，以利用GPU的计算能力进行高速推荐模型推理。使用此HPS，Merlin HugeCTR用户可以在CPU基线实现上实现流行推荐模型的5~ 62倍加速（取决于批量大小），并显着降低其端到端推理延迟。
2022-10-17 cs.AI cs.DC cs.IR
PinnerSage: Multi-Modal User Embedding Framework for Recommendations at Pinterest
Pinterest Inc.（Pinterest公司）
潜在用户表示在技术行业中被广泛采用，用于为个性化推荐系统提供动力。大多数先前的工作推断出一个单一的高维嵌入来表示用户，这是一个很好的起点，但在提供用户的兴趣的充分理解不足。在这项工作中，我们介绍PinnerSage，一个端到端的推荐系统，通过多模态嵌入代表每个用户，并利用这种丰富的用户表示提供高质量的个性化推荐。PinnerSage通过层次聚类方法（Ward）将用户的行为聚类为概念上连贯的聚类来实现这一点，并通过代表性引脚（Medoids）总结聚类以提高效率和可解释性。PinnerSage已部署在Pinterest的生产中，我们概述了使其在非常大的规模上无缝运行的几个设计决策。我们进行了几个离线和在线A/B实验，以表明我们的方法显着优于单一的嵌入方法。
2020-07-07 cs.IR cs.LG cs.SI
Using Learnable Physics for Real-Time Exercise Form Recommendations
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
本文提出一种基于可学习物理模拟器的实时运动推荐系统，利用MediaPipe姿态识别和峰值检测计数，通过统计学习诊断动作偏差，在六种练习上验证，可低成本纠正错误并降低受伤风险。
2023-10-11 cs.AI cs.HC cs.LG
Faster Distributed Inference-Only Recommender Systems via Bounded Lag Synchronous Collectives
Huawei Technologies Switzerland AG（华为技术瑞士有限公司）
本文提出一种有界滞后同步集体方法，用于优化分布式仅推理推荐系统的性能，尤其在处理不平衡访问和延迟时提升效率。
2025-12-22 cs.DC cs.LG
LeAP: Learnable Adaptive Permutation for Feature Selection in Heterogeneous and Sparse Recommender Systems
Bilibili Inc.（哔哩哔哩公司）
针对工业推荐系统中特征异构、极度稀疏及排列计算成本高的问题，提出可学习自适应排列模块LeAP，通过将随机排列转化为可学习机制并引入自适应正则化，实现高效特征选择，在四个公开数据集和十亿级工业搜索排序模型中取得最优性能。
2026-06-02 cs.LG
Recommender systems based on graph embedding techniques: A comprehensive review
University of Electronic Science and Technology of China（电子科技大学）
推荐系统作为缓解信息过载问题的关键工具，其目标是通过分析用户与项目之间的关系，从数百万候选项目中预测用户的偏好项目。为了解决推荐系统中的稀疏性和冷启动问题，研究者们采用了在推荐中引入边信息或知识的策略来发现隐藏的（间接的）用户-项目关系，旨在丰富推荐所需的观测信息（或数据）。然而，面对高复杂性和大规模的边信息和知识，该策略的有效实施依赖于推荐模型的可扩展性。直到机器学习流行之后，图嵌入技术才成为一个焦点，它可以有效地利用复杂和大规模的数据。有鉴于此，近年来，为推荐系统配备图嵌入技术得到了广泛的研究，似乎优于直接基于图拓扑分析实现的传统推荐。作为重点，本文从二分图、一般图和知识图谱的嵌入技术入手，回顾了基于图嵌入的推荐方法，并提出了基于图嵌入的推荐方法的一般设计流程。此外，通过仿真比较几种典型的基于图嵌入的推荐模型与最常用的传统推荐模型，发现传统推荐模型在预测隐式用户-项目交互方面的性能优于基于图嵌入的推荐模型，揭示了基于图嵌入的推荐模型在这些任务中的相对弱点。为了促进未来的研究，本文提出了在不同任务中权衡基于图嵌入的推荐和传统推荐的建议，并提出了开放性问题。
2022-03-22 cs.IR cs.LG
Accelerating Recommender Model Training by Dynamically Skipping Stale Embeddings
The University of British Columbia（不列颠哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出 Slipstream 框架，通过运行时动态识别并跳过已饱和的陈旧 embedding 更新，减少 CPU-GPU 带宽与内存开销，在真实数据集上相较多个基线最高实现 2.4 倍训练加速。
2024-03-22 cs.IR cs.LG
FELRec: Efficient Handling of Item Cold-Start With Dynamic Representation Learning in Recommender Systems
Zuse Institute Berlin（柏林祖斯研究所）
FELRec通过用无学习权重的动态存储替换嵌入层，以递归细化和单次前向传播高效表示新用户和新物品，在物品冷启动任务中显著优于同类方法并具备零样本泛化能力。
2024-10-01 cs.IR cs.LG
Presentation of a Recommender System with Ensemble Learning and Graph Embedding: A Case on MovieLens
University of Applied Science and Technology（应用科学与技术大学）；Center of Tehran Municipality ICT org.（德黑兰市政信息通信技术中心）；Queensland University of Technology（昆士兰科技大学）；University of Kurdistan（库尔德斯坦大学）
信息技术已经广泛传播，用户可以获得非常大量的数据，这使得选择符合用户需求的数据变得非常困难。为了解决上述问题，推荐系统应运而生，它可以帮助用户完成决策和选择相关数据的过程。推荐系统预测用户行为，以便能够检测他们的兴趣和需求，并且它通常使用分类技术来实现此目的。采用个别分类可能不够准确，因为并非所有情况都可以检查，这使得该方法不适合具体问题。在本研究中，群组分类和集成学习技术被用来提高推荐系统的预测精度。这里提出的另一个问题涉及用户分析。由于数据量大，用户数量多，推荐系统中的用户需求分析和预测（大多数情况下使用图，表示用户与其所选项目之间的关系）过程复杂而繁琐。为了解决这个问题，图嵌入也被提出，通过生成多个向量来模拟用户的全部或部分行为，在保持高效率的同时，很大程度上解决了用户行为分析的问题。在这项研究中，个人最相似的目标用户进行分类，使用集成学习，模糊规则和决策树，并提出了相关的建议，每个用户的异构知识图谱和嵌入向量。该研究在MovieLens数据集上进行，所获得的结果表明所提出的方法的高效率。
2020-07-15 cs.IR cs.LG stat.ML
Learnable Classifier-Free Guidance Null Embeddings for Enhanced Controllable Speech Synthesis
Cantina Labs（坎蒂纳实验室）
本文提出用可学习的无条件嵌入替代固定空向量进行无分类器引导，提升语音合成的可控性，并在说话人相似度、稳定性和表现力上优于固定方法。
2026-09-23 cs.LG eess.AS
BoostJet: Towards Combining Statistical Aggregates with Neural Embeddings for Recommendations
EPFL（洛桑联邦理工学院）；Yandex
推荐器由于其在许多电子商务应用中的广泛适用性而在近年来变得广泛流行。这些应用程序依赖于广告服务器为各种优惠生成广告或提供内容推荐。然而，生成的推荐的质量取决于用户特征（如人口统计学，时间性），提供特征（如流行度，价格）和用户提供特征（如隐式或显式反馈）。当前最先进的浏览器在生成推荐的同时不同时探索这些不同的特征。在本文中，我们首先介绍了跟踪器的概念，它使我们能够捕捉上述功能，从而通过不同功能（人口统计，时间性，流行度，价格）的统计聚合，将用户的在线行为。我们还展示了如何根据他们的消费序列来捕获报价关系，在我们的Offer2Vec算法中利用神经嵌入来提供报价。然后，我们介绍了BoostJet，一种新的推荐器，它集成了跟踪器以及使用MatrixNet的神经嵌入，这是一种高效的梯度提升决策树的分布式实现，以显着提高推荐质量。我们在Yandex的数据集上对BoostJet进行了深入的评估，收集了数千万在线用户的在线行为，以证明BoostJet在推荐质量和可扩展性方面的实用性。
2017-12-07 cs.IR cs.LG stat.ML
Defending Substitution-Based Profile Pollution Attacks on Sequential Recommenders
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
虽然顺序推荐系统在捕获用户动态方面取得了显着的改进，但我们认为顺序推荐系统容易受到基于替换的配置文件污染攻击。为了证明我们的假设，我们提出了一个基于替换的对抗攻击算法，该算法通过选择某些易受攻击的元素并将其替换为对抗项来修改输入序列。在无目标和有针对性的攻击情况下，我们观察到显着的性能恶化，使用建议的配置文件污染算法。受这些观察的启发，我们设计了一种有效的对抗性防御方法，称为Dirichlet邻域采样。具体来说，我们从多跳邻居构造的凸包中抽取项目嵌入，以替换输入序列中的原始项目。在采样过程中，使用狄利克雷分布来近似邻域中的概率分布，使得推荐器学习对抗局部扰动。此外，我们还设计了一种针对顺序推荐系统的对抗性训练方法。特别是，我们用独热编码表示选定的项，并对编码执行梯度上升，以搜索训练中项嵌入的最坏情况线性组合。因此，嵌入函数学习鲁棒的项目表示，并且训练的推荐器能够抵抗测试时的对抗性示例。大量的实验表明了我们的攻击和防御方法的有效性，这些方法在模型架构和数据集上的表现始终优于基线。
2022-07-19 cs.AI cs.CR cs.IR
