Algorithm Selection for Recommender Systems via Meta-Learning on Algorithm Characteristics
University of Siegen Siegen Germany；University of Siegen \& Recommender-Systems.com Siegen Germany；University of Siegen；University of Siegen \& Recommender-Systems.com
针对推荐系统算法选择难题，提出利用用户元特征和从源代码自动提取的算法特征的逐用户元学习方法，在六个数据集上平均NDCG@10提升8.83%，优于单一最佳算法基线，并缩小了与理论最优选择器的差距。
2025-08-06 cs.IR cs.LG
MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender
Yonsei University（延世大学）；Korea University（韩国大学）
本文提出MVIGER框架，通过统一变分方法整合互补知识，解决不同提示模板和物品索引导致的输出不一致问题，提升推荐性能。
2026-04-26 cs.AI cs.IR
GraphHash: Graph Clustering Enables Parameter Efficiency in Recommender Systems
GraphHash首次利用用户-物品交互图上的模块度二分图聚类来缩减推荐系统嵌入表规模，作为消息传递的高效代理和ID哈希的图基替代方案，在嵌入表缩减超75%时平均召回率提升101.52%。
2025-02-08 cs.IR cs.SI
AutoEmb: Automated Embedding Dimensionality Search in Streaming Recommendations
基于深度学习的推荐系统（DLRS）通常具有嵌入层，其用于减少分类变量（例如，用户/项目标识符）的维度并在低维空间中有意义地转换它们。大多数现有的DLRS根据经验为所有用户/项目嵌入预先定义了固定且统一的维度。从最近的研究中可以明显看出，根据不同用户/项目的受欢迎程度，不同的嵌入大小是非常需要的。然而，由于大量的用户/项目及其流行度的动态性质，在推荐系统中手动选择嵌入大小可能非常具有挑战性。因此，在本文中，我们提出了一个基于AutoML的端到端框架（AutoEmb），它可以根据流行程度以自动和动态的方式启用各种嵌入维度。具体来说，我们首先增强了一个典型的DLRS，允许各种嵌入维度;然后我们提出了一个端到端的可区分框架，可以根据用户/项目的流行程度自动选择不同的嵌入维度;最后我们提出了一个基于AutoML的优化算法在流媒体推荐设置。基于广泛使用的基准数据集的实验结果证明了AutoEmb框架的有效性。
2020-02-28 cs.IR
Binary Code based Hash Embedding for Web-scale Applications
Alibaba Group（阿里巴巴集团）
如今，深度学习模型被广泛应用于网络规模的应用，如推荐系统和在线广告。在这些应用中，分类特征的嵌入学习对于深度学习模型的成功至关重要。在这些模型中，标准方法是为每个分类特征值分配一个唯一的嵌入向量，该向量可以学习和优化。虽然这种方法可以很好地捕捉分类特征的特性，并承诺良好的性能，它会产生巨大的内存成本来存储嵌入表，特别是对于那些Web规模的应用程序。如此巨大的存储器成本大大阻碍了EDRM的有效性和可用性。在本文中，我们提出了一种基于二进制代码的哈希嵌入方法，它允许嵌入表的大小以任意的规模减少，而不会影响太多的性能。实验结果表明，该方法在嵌入表大小比原方法减少1000 $\times$的情况下，仍能达到99%的性能.
2021-08-24 cs.AI cs.IR
Product-based Neural Networks for User Response Prediction over Multi-field Categorical Data
Shanghai Jiao Tong University（上海交通大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Shenzhen Graduate School, Harbin Institute of Technology（哈尔滨工业大学深圳研究生院）；Tencent（腾讯）
用户响应预测是个性化信息检索和过滤场景（如推荐系统和Web搜索）的重要组成部分。用户响应预测中的数据主要是多字段分类格式，并通过独热编码转换为稀疏表示。由于表示和优化中的稀疏性问题，目前的研究主要集中在特征工程和浅层次建模上。最近，深度神经网络以其高容量和端到端训练方案引起了对此类问题的研究关注。在本文中，我们研究了点击预测场景下的用户响应预测。我们首先分析了一个耦合的梯度问题，在潜在的向量为基础的模型，并提出核积学习字段感知功能的相互作用。然后，我们讨论了基于DNN的模型中的不敏感梯度问题，并提出了基于乘积的神经网络（PNN），它采用特征提取器来探索特征的相互作用。将核心产品推广到网中网结构，我们进一步提出了产品网络中网络（PIN），它可以推广以前的模型。在4个工业数据集和1个竞赛数据集上的广泛实验表明，我们的模型在AUC和log损失方面始终优于8个基线。此外，PIN在在线A/B测试中的CTR也有很大的提高（相对于34.67%）。
2018-07-01 cs.IR cs.LG stat.ML
i-Razor: A Differentiable Neural Input Razor for Feature Selection and Dimension Search in DNN-Based Recommender Systems
Tsinghua-Berkeley Shenzhen Institute (TBSI), Tsinghua University（清华大学深圳国际研究生院（清华-伯克利深圳学院））；ByteDance Inc（字节跳动有限公司）
针对DNN推荐系统中特征选择与维度搜索顺序优化导致次优配置的问题，提出可微分神经输入剃刀i-Razor，实现联合优化，并在大规模CTR数据集上验证其有效性与优越性。
2023-11-12 cs.AI cs.IR cs.LG
Agent0: Leveraging LLM Agents to Discover Multi-value Features from Text for Enhanced Recommendations
Teads
本文提出 Agent0，通过多 LLM 智能体协作和 oracle 反馈的提示调优，从非结构化文本中自动发现高价值类别特征，以提升推荐系统的特征工程效率。
2025-07-25 cs.IR cs.LG
Simultaneous Unlearning of Multiple Protected User Attributes From Variational Autoencoder Recommenders Using Adversarial Training
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Linz Institute of Technology（林茨理工学院）
本文提出 AdvXMultVAE，将 VAE 推荐模型与对抗训练结合，用于同时移除连续或类别型受保护用户属性，并在两个数据集上验证其公平性与匿名性提升。
2024-10-28 cs.IR cs.LG
Neural Input Search for Large Scale Recommendation Models
Google（谷歌）
大量离散项目（如产品、网页或视频）的推荐问题在技术行业中普遍存在。深度神经网络正越来越多地用于这些推荐问题。这些模型使用嵌入将离散项表示为连续向量，并且词汇大小和嵌入维度虽然严重影响模型的准确性，但通常以手动方式选择。我们提出了神经输入搜索（NIS），一种学习分类特征的最佳词汇量和嵌入维度的技术。我们的目标是最大限度地提高预测精度，但要限制所有嵌入所使用的总内存。此外，我们认为，传统的单尺寸嵌入（SE），它使用相同的嵌入维数的所有值的功能，遭受从模型容量和训练数据的使用效率低下。我们提出了一种新的嵌入类型，即多尺寸嵌入（ME），它允许嵌入维数不同的功能值。在训练过程中，我们使用强化学习来为每个特征找到最佳词汇量，并为每个特征值找到嵌入维度。在两种常见类型的大规模推荐问题的实验中，即检索和排名问题，NIS自动发现更好的词汇和嵌入大小，从而导致$6.8\%$和$1.8\%$在Recall@1和ROC-AUC上相对于手动优化的相对改进。
2019-07-10 cs.IR cs.LG stat.ML
A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems
The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）；Shandong University（山东大学）
本研究对轻量级嵌入推荐系统进行全面基准测试，提出基于幅度剪枝的高效压缩方法，并评估其性能、效率和跨任务可迁移性。
2025-01-18 cs.IR cs.LG
Multi-LLM Token Filtering and Routing for Sequential Recommendation
School of Big Data & Software Engineering, Chongqing University（重庆大学大数据与软件工程学院）；The University of Queensland（昆士兰大学）；University of Leicester（莱斯特大学）
本文提出MLTFR框架，通过多LLM令牌空间整合提升序列推荐性能，无需文本输入或模型修改，实验显示优于现有方法。
2026-04-20 cs.IR
TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems
Google DeepMind（谷歌DeepMind）
提出TokenMinds系统，通过编码器-解码器架构生成基于语义ID的离散用户令牌和稠密嵌入，实现互补优势，并在YouTube全流量部署验证其工业可行性。
2026-10-28 cs.AI cs.IR cs.LG
AutoShard: Automated Embedding Table Sharding for Recommender Systems
Rice University（莱斯大学）；Meta Platforms, Inc.（元平台公司）
嵌入学习是深度推荐模型中将分类特征映射到密集向量的重要技术。然而，嵌入表往往需要非常大量的参数，这成为存储和效率的瓶颈。分布式训练解决方案已经被采用来将嵌入表划分到多个设备中。然而，如果不仔细划分，嵌入表很容易导致不平衡。这是分布式系统的一个重大设计挑战，称为嵌入表分片，即，我们应该如何划分嵌入表以平衡设备之间的成本，这是一项重要的任务，因为1）难以有效和精确地测量成本，以及2）已知划分问题是NP难的。在这项工作中，我们介绍了我们在Meta中的新颖实践，即AutoShard，它使用神经成本模型直接预测多表成本，并利用深度强化学习来解决分区问题。在一个开源的大规模合成数据集和Meta的生产数据集上的实验结果证明了AutoShard相对于人工智能的优越性。此外，AutoShard的学习策略可以转移到具有不同数量的表和不同比例的不可见表的分片任务，而无需任何微调。此外，AutoShard可以在几秒钟内高效地对数百个表进行分片。AutoShard的有效性、可移植性和效率使其适合于生产使用。我们的算法已经部署在Meta生产环境中。原型可在https://github.com/daochenzha/autoshard上获得
2022-08-12 cs.AI cs.IR cs.LG
Product-based Neural Networks for User Response Prediction
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
预测用户的响应，如点击和转换，是非常重要的，并已发现其在许多Web应用程序，包括推荐系统，Web搜索和在线广告的使用。这些应用程序中的数据大多是分类的，包含多个字段;典型的表示方法是通过one-hot编码将其转换为高维稀疏二进制特征表示。面对数据的极端稀疏性，传统的模式挖掘模型在挖掘数据的浅层模式（即低阶特征组合）方面存在局限性。另一方面，像深度神经网络这样的深度模型由于巨大的特征空间而不能直接应用于高维输入。在本文中，我们提出了一个基于产品的神经网络（PNN）与嵌入层学习的分布式表示的分类数据，产品层捕捉交互模式之间的领域类别，并进一步完全连接层探索高阶特征的相互作用。我们在两个大规模真实世界广告点击数据集上的实验结果表明，PNN在各种指标上始终优于最先进的模型。
2016-11-01 cs.IR cs.LG
AdaS&S: a One-Shot Supernet Approach for Automatic Embedding Size Search in Deep Recommender System
Tencent TEG（腾讯TEG）；Tsinghua University（清华大学）
提出一次性超网络框架 AdaS&S，通过解耦训练与搜索、自适应采样及强化学习结合资源竞争惩罚，稳定地搜索混合嵌入尺寸，在提升推荐 AUC 的同时有效减少模型参数。
2024-11-12 cs.IR cs.LG
Efficient Cold-Start Recommendation via BPE Token-Level Embedding Initialization with LLM
McKelvey School of Engineering（麦凯维工程学院）；Washington University in St. Louis（圣路易斯华盛顿大学）；Vanderbilt University（范德堡大学）；Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）；Columbia University（哥伦比亚大学）
本文提出一种基于 BPE 分词和预训练 LLM 嵌入的高效冷启动推荐策略，通过细粒度词元级语义先验实现无需交互历史的即时推荐，在多语言稀疏环境下展现出更优的泛化性、可解释性与计算性能。
2025-09-16 cs.IR cs.LG
TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds
Tencent Inc.（腾讯公司）
TokenFormer通过引入BFTS注意力机制和NLIR，解决多字段与序列推荐的融合问题，提升模型鲁棒性和表征能力。
2026-04-15 cs.AI cs.IR
GRAM: Generative Recommendation via Semantic-aware Multi-granular Late Fusion
Sungkyunkwan University（全北大学）；Samsung Research（三星研究）
本文提出生成式推荐模型GRAM，通过语义到词法转换编码隐式物品关系，并利用多粒度后期融合高效整合丰富语义，在四个基准数据集上显著优于现有方法。
2025-06-02 cs.AI cs.CL cs.IR
Mixed-Precision Embeddings for Large-Scale Recommendation Models
针对大规模推荐系统中Embedding表的存储开销问题，提出混合精度Embedding压缩方法MPE，通过按频率分组并学习精度概率分布确定最佳精度，在保持预测准确率的同时实现约200倍压缩。
2024-10-17 cs.DB cs.IR
OutRank: Speeding up AutoML-based Model Search for Large Sparse Data sets with Cardinality-aware Feature Ranking
Outbrain inc.（Outbrain公司）
OutRank通过基数感知特征排序加速AutoML模型搜索，在合成和真实数据集上无性能损失或优于基线，并支持探索高达300%更大的特征空间。
2023-09-04 cs.AI cs.IR cs.LG
Sequence-Aware Factorization Machines for Temporal Predictive Analytics
The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）；National Chiao Tung University（国立交通大学）
在像定向广告和推荐系统的各种web应用中，可用的分类特征（例如，产品类型）通常非常重要，但很少。作为一种广泛采用的解决方案，基于因子分解机（FM）的模型能够对特征之间的高阶交互进行建模，以实现有效的稀疏预测分析。随着网络规模数据量的增长呈指数级增长，稀疏预测分析不可避免地涉及动态和顺序特征。然而，现有的FM为基础的模型假设没有时间顺序的数据，并且无法捕捉的动态功能内的顺序依赖关系或模式，阻碍了这些方法的性能和自适应性。因此，在本文中，我们提出了一种新的时序感知因子分解机（SeqFM）的时间预测分析，模型功能的相互作用，充分调查顺序依赖的影响。作为静态特征（例如，用户性别）和动态特征（例如，用户交互项）表达不同的语义，我们创新性地设计了一个多视图自注意方案，分别对静态特征、动态特征以及静态和动态特征之间的相互作用在三个不同视图中的作用进行建模。在SeqFM中，我们进一步将学习到的特征交互表示映射到具有共享残差网络的所需输出。为了展示SeqFM的多功能性和通用性，我们在基于FM的模型的三个流行应用场景中测试了SeqFM，即排名，分类和回归任务。在六个大规模数据集上的大量实验结果证明了SeqFM的优越性和效率。
2019-11-18 cs.IR cs.LG stat.ML
Unified Embedding: Battle-Tested Feature Representations for Web-Scale ML Systems
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出 Feature Multiplexing 框架及 Unified Embedding 方法，让多类别特征共享表示空间，在公开基准和五大 Web 规模系统中实现更优参数—准确率权衡与线上线下指标提升。
2023-11-15 cs.IR cs.LG
