Unlocking Scaling Law in Industrial Recommendation Systems with a Three-step Paradigm based Large User Model
Alibaba Group(阿里巴巴集团)
本文提出一种基于三种步骤范式的大型用户模型,通过解决工业推荐系统中的扩展定律限制,实现了可扩展的推荐性能提升。
2026-01-23 cs.IR
UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems
Kuaishou Technology(快手科技)
本文提出UniMixer架构,统一推荐系统扩展块理论框架,提升扩展效率,优化token混合模式,并设计轻量UniMixing-Lite模块提升性能。
2026-04-02 cs.AI cs.IR
HELIX: Purified and Unified - Rethinking Feature Interaction and Sequence Modeling for Large-Scale Recommendation
Global E-Commerce Recommendation Video Team(全球电商推荐视频团队)
针对大规模推荐中特征交互与序列建模单独扩展受限的问题,提出HELIX统一架构,通过交错序列检索与特征交互并保持单向信息流,实现两轴联合扩展,在TikTok部署后GMV提升约6%。
2026-10-01 cs.IR
OnePiece: The Great Route to Generative Recommendation -- A Case Study from Tencent Algorithm Competition
NJUST(南京理工大学)
本文提出统一编码器-解码器框架,验证生成推荐中ANN和自回归范式的缩放定律,发现两者损失均严格符合幂律缩放规律。
2025-12-08 cs.IR
Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models
ByteDance AML(字节跳动AML);ByteDance(字节跳动)
针对大规模推荐模型在工业部署中效率与性能的权衡问题,提出Rec-Distill蒸馏流水线,通过解耦训练、黑盒蒸馏、去偏机制和混合批流流水线,将大教师模型的知识高效迁移至轻量学生模型,在真实场景中蒸馏迁移率超60%。
2026-05-29 cs.IR
Learning to Warm Up Cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shifting Networks
最近,嵌入技术在推荐系统中取得了令人印象深刻的成功。然而,嵌入技术是数据需求,并遭受冷启动问题。特别是对于只有有限交互的冷启动项目,很难训练出合理的项目ID嵌入,称为冷ID嵌入,这是嵌入技术面临的一个重大挑战。冷项ID嵌入存在两个主要问题:(1)冷ID嵌入与深度模型之间存在差距。(2)冷ID嵌入将受到噪声相互作用的严重影响。然而,大多数现有的方法不考虑这两个问题的冷启动问题,同时。为了解决这些问题,我们采用了两个关键思想:(1)加快冷项ID嵌入的模型拟合(快速自适应)。(2)减轻噪音的影响。沿着这条线,我们提出了Meta Scaling和Shifting网络,分别为每个项目生成缩放和移位函数。缩放函数可以直接将冷项ID嵌入转换到更适合模型的暖特征空间,而移位函数能够从噪声嵌入中产生稳定的嵌入。在这两个元网络的基础上,我们提出了Meta Warm Up Framework(MWUF)来学习如何对冷ID嵌入进行预热。此外,MWUF是一个通用框架,可以应用于各种现有的深度推荐模型。该模型在三个流行的基准上进行评估,包括推荐和广告数据集。评估结果表明其优越的性能和兼容性。
2021-05-11 cs.IR
LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
AI at Meta(Meta人工智能)
LLaTTE通过多阶段架构和语义特征优化,在广告推荐中实现4.3%的转化提升,展示了扩展定律在工业推荐系统中的应用价值。
2026-01-27 cs.AI cs.IR cs.LG
TransRetrieval: Scaling Up Transformer-Based Retrieval for Industrial Recommendation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团)
针对工业推荐检索的特征异质性问题,提出TransRetrieval框架,通过加权平均聚合、目标token压缩等技术实现高效缩放,在数据集和基准测试中取得召回率提升,线上测试也实现收益增长。
2026-08-27 cs.IR
Scaling Generative Recommendations with Context Parallelism on Hierarchical Sequential Transducers
Meta Platforms(Meta平台)
本文为HSTU注意力引入支持锯齿状张量的上下文并行技术,解决生成式推荐中扩展用户历史序列长度时的激活内存瓶颈,使序列长度提升5.3倍,并结合DDP实现1.55倍扩展因子。
2025-08-16 cs.IR cs.LG
MSN: A Memory-based Sparse Activation Scaling Framework for Large-scale Industrial Recommendation
ByteDance Search(字节跳动搜索);ByteDance AML(字节跳动机器学习)
MSN通过基于记忆的稀疏激活缩放框架实现大规模工业推荐中的高效个性化与性能提升。
2026-11-17 cs.IR
FuXi-$α$: Scaling Recommendation Model with Feature Interaction Enhanced Transformer
针对现有序列推荐模型对时间、位置及隐式特征交互建模不足的问题,本文提出FuXi-α模型,通过自适应多通道自注意力和多阶段FFN增强特征交互,离线及华为音乐在线A/B测试均验证了其有效性。
2025-02-05 cs.IR
TransX Technical Report: Scaling Sequence Transduction for Recommendation
LinkedIn(领英)
本研究提出TransX序列转换框架及配套基础设施,通过拆分组件实现规模化,经实验验证其在推荐任务中可提升点击率、转化率,同时大幅降低推理成本并提高吞吐量。
2026-10-16 cs.IR
Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design
Meta Platforms, Inc.(Meta平台公司);OpenAI
针对大规模推荐系统缺乏可预测缩放定律的问题,提出Kunlun架构,通过低层优化(GDPA、HSP、滑动窗口注意力)和高层创新(CompSkip、事件级个性化)提升模型效率,MFU从17%提升至37%,缩放效率翻倍,已在Meta广告模型部署。
2026-06-05 cs.AI cs.IR
Inherit4Rec: Parameter Inheritance for Efficient Scaling of Recommendation Models
Kuaishou Technology(快手科技);Shenzhen Technology University(深圳技术大学);City University of Hong Kong(香港城市大学)
针对工业推荐系统模型扩展中的性能与计算瓶颈,提出参数继承框架Inherit4Rec,支持稠密到稠密增长和稠密到稀疏转换,实验验证其优于现有继承基线。
2026-10-28 cs.IR
UniFormer: Efficient and Unified Model-Centric Scaling for Industrial Recommendation
Kuaishou Technology(快手科技)
提出UniFormer框架,通过分解特征与任务空间、引入语义令牌化及多序列交叉注意力,实现工业推荐系统的统一模型中心缩放,在快手和快手极速版上显著提升用户参与度。
2026-06-26 cs.IR
Scaling up Ranking under Constraints for Live Recommendations by Replacing Optimization with Prediction
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
许多重要的多目标决策问题都可以在约束排序的框架下进行求解,并通过加权二部匹配线性规划来解决。这些优化问题中的一些,例如个性化内容推荐,可能需要实时的解决,因此必须遵守严格的时间要求,以防止消费者感知到延迟。经典的线性规划对于这样的设置计算效率太低。我们提出了一种新的方法来扩大排名的约束条件下,取代加权二分匹配优化与预测问题的算法部署阶段。我们的经验表明,建议的近似解决方案的排名问题,导致所需的计算资源大幅减少,而没有太多的牺牲,在约束合规性和实现的效用,使我们能够解决更大的约束排名问题实时,在所需的50毫秒内,比以前报道的。
2022-02-14 cs.IR cs.LG
Exploring Test-time Scaling via Prediction Merging on Large-Scale Recommendation
MBZUAI \& McGill University \& \ - Quebec AI Institute Montreal Canada;School of Artificial Intelligence Shenzhen Technology University Shenzhen China;MBZUAI \& McGill University Abu Dhabi UAE;MBZUAI \& McGill University \& \ - Quebec AI Institute;School of Artificial Intelligence Shenzhen Technology University;MBZUAI \& McGill University
本文提出通过预测合并探索大规模推荐中的测试时扩展,通过两种方法提升推荐系统的扩展效率。
2025-12-08 cs.IR cs.LG
Parallel Latent Reasoning for Sequential Recommendation
GSAI, Renmin University of China(中国人民大学智能计算研究院);Alibaba Group(阿里巴巴集团)
并行潜在推理通过多轨迹并行计算提升序列推荐的推理能力与效率
2026-01-06 cs.IR
MARM: Unlocking the Future of Recommendation Systems through Memory Augmentation and Scalable Complexity
本文提出记忆增强推荐模型MARM,针对推荐系统中计算复杂度FLOPs比模型参数更昂贵的问题,成功探索了一种新的缓存缩放定律。
2025-08-25 cs.IR
Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation
Meta
本文提出一种分层框架生成高质量合成数据,通过避免原始数据噪声,首次在推荐领域实现LLM的稳健幂律缩放,并显著提升下游排序任务性能。
2026-06-01 cs.AI cs.IR
Scaling Session-Based Transformer Recommendations using Optimized Negative Sampling and Loss Functions
OTTO (GmbH & Co KG)(OTTO股份两合公司)
本文提出TRON,一种基于Transformer的会话推荐模型,通过优化负采样和列表式损失函数,在保持训练速度的同时提升推荐质量,A/B测试点击率提升18.14%。
2025-03-30 cs.AI cs.IR cs.LG
On the Embedding Collapse when Scaling up Recommendation Models
Tencent Inc(腾讯公司)
本文识别出推荐模型扩展中的嵌入坍缩现象,揭示特征交互的双面效应,并提出多嵌入设计以增强嵌入多样性、缓解坍缩并提升模型可扩展性。
2024-06-06 cs.IR cs.LG
Scaling Transformers for Discriminative Recommendation via Generative Pretraining
针对判别式推荐模型因数据稀疏导致的过拟合与扩展性差问题,提出GPSD框架,利用生成式预训练初始化并冻结稀疏参数,显著缩小泛化差距,实现Transformers随参数规模扩大的性能持续提升。
2025-08-11 cs.IR
Scaling Down, Serving Fast: Compressing and Deploying Efficient LLMs for Recommendation Systems
LinkedIn;LinkedIn LLM Efficiency Core Team(LinkedIn LLM效率核心团队);MIT(麻省理工学院)
本文提出通过知识蒸馏和结构化剪枝、量化压缩技术训练和部署小型语言模型,在降低成本和延迟的同时保持性能,并在专业社交网络推荐系统中验证了其有效性。
2025-10-26 cs.IR cs.LG
Memento: Personalized RAG-Style Long-Retention Data Scaling for META Ads Recommendation
Meta AI
提出Memento框架,通过个性化检索增强生成(RAG)方式,利用最大边际相关性(MMR)从用户历史行为中检索相关交互,解决长历史数据建模中的注意力稀释、系统效率和灾难性遗忘问题,在广告推荐中提升点击率1%和转化率1.2%。
2026-05-22 cs.IR
Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Science and Technology of China(中国科学技术大学)
针对缩放定律难以直接用于序列推荐的问题,提出基于HR、NDCG拟合和近似熵衡量数据质量的性能定律,以预测不同数据与模型规模下的性能。
2025-02-19 cs.AI cs.IR
MTGR: Industrial-Scale Generative Recommendation Framework in Meituan
针对生成式推荐舍弃交叉特征导致性能下降的问题,提出基于HSTU架构的MTGR框架,保留DLRM交叉特征并通过用户级压缩等优化实现高效缩放,单样本推理FLOPs达DLRM的65倍,已部署于美团主流量场景。
2025-08-22 cs.IR
From Language to Behavior: Scaling Sequence Transformers for Industrial Recommendation Ranking with Rec-Native Designs
ByteDance(字节跳动)
本研究针对工业推荐排序中行为序列建模的挑战,提出推荐原生Transformer框架ReST,通过双门控注意力等设计优化信号质量,分解排序结构解决计算不对称性,经测试提升广告平台AUC与核心收入指标并已部署生产。
2026-09-02 cs.AI cs.IR cs.LG
MiniOneRec: An Open-Source Framework for Scaling Generative Recommendation
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
针对传统推荐系统扩展瓶颈及生成式推荐工业部署不透明问题,提出首个全开源生成式推荐框架MiniOneRec,验证了生成式推荐的缩放定律,并通过轻量后训练流水线提升了排序准确率与候选多样性。
2025-10-28 cs.AI cs.IR
Generative Large Recommendation Models: Emerging Trends in LLMs for Recommendation
本教程综述生成式大型推荐模型的进展、挑战与方向,聚焦数据质量、缩放定律、行为挖掘及训练推理效率。
2025-02-19 cs.IR
Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation
Meta
本文提出通过交叉注意力和残差量化联合学习分层索引,以提升大规模检索模型的效率和精确度,并在Meta实现实时广告推荐。
2026-04-14 cs.IR
TransX: Scaling Transformer-based Recommendation via Behavioral and Serving Stream Crossings
LinkedIn(领英)
TransX通过解耦行为流与服务流建模,结合摊销服务策略,在领英推荐系统上实现CTR升6.0%、转化增益4.4%,且服务成本降低,性能优于现有模型。
2026-08-03 cs.IR
Scaling Articulated Rationales for MLLM-based Recommendation
Kuaishou Technology(快手科技)
本研究提出SARA框架,将稀疏的用户可表述理由扩展为工业推荐系统的可扩展信号,通过数据引擎、MLLM对齐和排序集成,提升参与度并减少负面反馈。
2026-09-22 cs.AI cs.IR
LazFormer: Scaling Transformers for Industrial Recommendation via Transferable Generative Pre-training
Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团)
针对工业推荐中Transformer扩展的计算消耗和负迁移问题,提出LazFormer,采用生成式预训练、可迁移残差适配器及非对称多轮训练,提升排序性能。
2026-09-15 cs.IR
Scaling Law for Recommendation Models: Towards General-purpose User Representations
NAVER CLOVA;NAVER AI Lab(NAVER人工智能实验室)
大规模预训练模型的最新进展,如BERT、GPT-3、CLIP和Gopher,在各个任务领域都取得了惊人的成就。与视觉识别和语言模型不同,大规模通用用户表示的研究仍然有待探索。在这里,我们探讨了通用用户表示学习的可能性,在大规模训练的通用用户编码器。我们证明了缩放定律存在于用户表示学习区域中,其中训练误差与计算量成幂律关系。我们的对比学习用户编码器(CLUE)优化了与任务无关的目标,由此产生的用户嵌入扩展了我们对各种下游任务中可能做的事情的期望。CLUE还表现出很大的可移植性,以其他领域和公司,在一个在线实验的表现显示,点击率(CTR)显着改善。此外,我们还研究了模型性能如何受到比例因子的影响,如训练数据大小,模型容量,序列长度和批量大小。最后,我们讨论了一般的CLUE的更广泛的影响。
2022-11-22 cs.IR cs.LG
ElasticRec: A Microservice-based Model Serving Architecture Enabling Elastic Resource Scaling for Recommendation Models
KAIST(韩国科学技术院);School of Electrical Engineering(电气工程学院)
针对推荐系统按模型分配资源导致利用率低、成本高的问题,提出基于微服务和效用驱动分配的 ElasticRec 架构,实现细粒度弹性扩缩并显著降低部署成本。
2024-06-11 cs.DC cs.IR cs.LG
Enhancing and Scaling Search Query Datasets for Recommendation Systems
JPMorganChase(摩根大通)
本文提出一个面向数字银行推荐系统的生产级数据增强系统,通过合成查询生成、意图消歧和意图缺口分析三个模块缓解冷启动问题并提升推荐精度,在真实环境中验证了显著效果。
2025-08-22 cs.AI cs.IR
Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent Inc.(腾讯公司);Tencent Inc. Shenzhen China(腾讯公司深圳中国)
针对推荐模型扩展中的嵌入坍缩问题,提出RankElastor架构,通过参数化全混合和GLU改进的P-FFN模块缓解有效秩的阻尼振荡,提升表示表达能力并实现稳健扩展。
2026-05-22 cs.IR cs.LG cs.NA
SMES: Towards Scalable Multi-Task Recommendation via Expert Sparsity
Kuaishou Technology Co., Ltd.(快手科技)
SMES通过稀疏混合专家框架实现可扩展的多任务推荐,解决专家激活爆炸和负载不均问题,提升推荐性能与用户参与度。
2026-02-10 cs.IR
OneLA: Scaling Linear-Attention Decoding to Large Beams in Generative Recommendation
The University of Hong Kong(香港大学);Kuaishou Technology(快手科技);Peking University(北京大学)
OneLA提出线性注意力解码框架,利用共享提示和发散记录表示束状态,减少内存与数据移动,实现1.54-2.46倍端到端解码加速。
2026-09-14 cs.AI cs.DC cs.IR
Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling
AI VK
该研究针对生产级社交图的好友推荐问题,提出结合多哈希用户嵌入与时序邻居采样的可扩展GNN排序系统,经实验验证可提升好友推荐效果并发布了相关分布式框架。
2026-08-28 cs.IR cs.LG cs.SI
FreeScale: Distributed Training for Sequence Recommendation Models with Minimal Scaling Cost
Anonymous Authors(匿名作者)
FreeScale通过负载平衡输入样本缓解延迟问题,通过重叠优先级嵌入通信与计算减少阻塞通信,并利用SM-Free技术解决GPU资源竞争,实现实验工作负载中计算气泡减少90.3%。
2026-04-27 cs.AI cs.DC cs.IR
Beyond Item IDs: Scaling Short-Form-Video Recommendation via Semantic-Native Long Sequence Modeling
Google Mountain View, USA(谷歌山景城,美国)
针对短视频推荐中序列长度受限于视频ID语义稀疏性和Transformer二次复杂度的问题,提出采用语义ID和全局感知压缩Transformer,实现十亿用户规模的超长行为序列建模,显著降低内存和计算开销,在线实验提升用户满意度和内容消费。
2026-05-04 cs.AI cs.IR cs.LG
Generative Recommendation for Large-Scale Advertising
Kuaishou Technology(快手科技)
GR4AD通过统一广告语义ID和LazyAR解码器提升生成推荐效率,结合价值感知学习优化广告收益,实现大规模广告系统4.2%的收益提升。
2026-04-02 cs.IR cs.LG
Scaling Recommender Transformers to One Billion Parameters
HSE University(高等经济大学);Yandex;ITMO University(ITMO大学)
本文提出了一种训练十亿参数推荐器的方法,通过分解自回归学习为反馈预测和下一项预测,实现了推荐系统性能的显著提升。
2026-02-18 cs.IR
SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
研究针对推荐场景中Transformer性能瓶颈问题,提出SpecFormer,通过引入可学习频谱软化模块、频谱软化注意力机制和频谱残差位置编码,有效减轻嵌入和注意力崩溃,实验证明其显著优于基线且有卓越扩展能力。
2026-08-04 cs.IR cs.LG
Understanding Embedding Scaling in Collaborative Filtering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Nanyang Technological University(南洋理工大学);Arizona State University(亚利桑那州立大学);National University of Singapore(新加坡国立大学)
本研究通过大规模实验发现协同过滤模型嵌入维度扩展中的双峰和对数现象,并分析其原因与噪声鲁棒性,为模型扩展提供新见解。
2025-10-27 cs.IR
Beyond Dense Connectivity: Explicit Sparsity for Scalable Recommendation
Alibaba International Digital Commercial Group(阿里巴巴国际数字商业集团)
本文提出SSR框架,通过显式稀疏性改进推荐系统,解决密集连接与稀疏数据的结构不匹配问题,在大规模数据上实现持续性能提升。
2026-04-22 cs.IR
Cross-attention Secretly Performs Orthogonal Alignment in Recommendation Models
Meta
该研究揭示了推荐模型中交叉注意力隐式执行正交对齐机制,发现其能自然产生并改善缩放定律,在超300次实验中提升性能,为多模态参数高效缩放提供了新方向。
2025-10-10 cs.IR cs.LG
Test-Time Scaling Strategies for Generative Retrieval in Multimodal Conversational Recommendations
Research Center for Information Technology Innovation, Academia Sinica(资讯科技创新研究所以);NVIDIA(NVIDIA公司);Department of Computer Science, National Chengchi University(国立政治大学计算机科学系)
针对传统产品检索系统在多轮用户交互中的局限,提出将测试时缩放引入多模态生成式检索的新框架,增强测试时重排序机制,有效建模用户演化意图,在多轮对话推荐中提升检索性能。
2025-08-25 cs.AI cs.IR cs.LG
LIME: Link-based User-item Interaction Modeling with Decoupled XOR Attention for Efficient Test Time Scaling
Meta
LIME通过解耦异或注意力机制,实现了高效推荐系统中计算复杂度的降低,提升了推理速度和用户参与度。
2026-10-28 cs.IR cs.LG
Hierarchical Structured Neural Network: Efficient Retrieval Scaling for Large Scale Recommendation
Meta Platforms Inc.(元平台公司)
针对EBR双塔点积表达不足及索引与表示学习分离的问题,提出HSNN,通过MoNN与分层物品索引联合学习实现复杂交互建模、计算共享和亚线性扩展,离线效果显著提升。
2025-01-08 cs.AI cs.IR
A Novel Mamba-based Sequential Recommendation Method
Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出多头潜在Mamba架构Hydra,通过低维Mamba层和位置编码高效建模长序列用户行为,在显著降低参数和训练时间的同时超越现有序列推荐方法,并支持多域扩展。
2025-04-10 cs.AI cs.IR
Reinforcement Learning for Strategic Recommendations
Adobe Research(Adobe 研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Monash University(莫纳什大学)
战略建议(SR)是指智能代理观察用户的连续行为和活动,并决定何时以及如何与他们进行交互,以优化用户和业务的长期目标。这些系统在行业中处于起步阶段,需要一些基础研究挑战的实用解决方案。在Adobe Research,我们一直在为各种用例实施这样的系统,包括兴趣点推荐、教程推荐、多媒体编辑软件的下一步指导,以及优化生命周期价值的广告推荐。在构建这些系统时存在许多研究挑战,例如对用户的顺序行为建模,决定何时进行干预并提供建议而不打扰用户,以高置信度离线评估策略,安全部署,非平稳性,从不包含过去建议的被动数据构建系统,多用户系统中的资源约束优化,扩展到大型动态动作空间,以及处理和整合人类认知偏见。在本文中,我们涵盖了各种用例和研究挑战,我们解决了这些系统的实用性。
2020-09-15 cs.IR cs.LG stat.ML