Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation
Meta
本文提出一种分层框架生成高质量合成数据,通过避免原始数据噪声,首次在推荐领域实现LLM的稳健幂律缩放,并显著提升下游排序任务性能。
2026-06-01 cs.AI cs.IR
MiniOneRec: An Open-Source Framework for Scaling Generative Recommendation
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
针对传统推荐系统扩展瓶颈及生成式推荐工业部署不透明问题,提出首个全开源生成式推荐框架MiniOneRec,验证了生成式推荐的缩放定律,并通过轻量后训练流水线提升了排序准确率与候选多样性。
2025-10-28 cs.AI cs.IR
Scaling Articulated Rationales for MLLM-based Recommendation
Kuaishou Technology(快手科技)
本研究提出SARA框架,将稀疏的用户可表述理由扩展为工业推荐系统的可扩展信号,通过数据引擎、MLLM对齐和排序集成,提升参与度并减少负面反馈。
2026-09-22 cs.AI cs.IR
Efficient Sequential Recommendation for Long Term User Interest Via Personalization
Meta Recommendation Systems (MRS)(Meta 推荐系统)
通过个性化技术压缩用户历史交互,提升顺序推荐的效率和准确性,适用于多种推荐模型。
2026-01-07 cs.AI cs.IR
Scaling Performance of Large Language Model Pretraining
本文揭示大规模语言模型预训练管道的扩展性能,聚焦分布式训练、跨节点大数据管理及数据并行扩展,以充分利用GPU计算能力。
2025-10-09 cs.AI cs.DC
Reason-to-Recommend: Using Interaction-of-Thought Reasoning to Enhance LLM Recommendation
Department of Electronic Engineering, Tsinghua University(电子工程系,清华大学)
针对推荐中隐式反馈缺乏推理监督的问题,本文提出 R2Rec 框架,将用户-物品交互链结构化为思维交互,并结合 SFT 与强化学习增强 LLM 推荐性能与可解释性。
2025-06-09 cs.AI cs.IR
Scaling Laws for Task-Specific LLM Distillation
NVIDIA(英伟达)
本文推导了领域特定LLM压缩的经验缩放定律,通过定量金融领域的实验,比较了基于logit和LoRA的蒸馏方法,并引入混合思维链监督损失,揭示了监督格式对领域知识与通用知识权衡的关键作用。
2026-08-25 cs.AI cs.CE
LLM Retrieval for Stable and Predictable Ad Recommendations
Meta Platforms, Inc.(Meta公司)
本文提出了一种新的评估框架,用于量化广告推荐系统的稳定性和可预测性,并展示了基于微调大语言模型的在线验证语义候选生成框架,通过提高系统的语义感知能力,在稳定性和可预测性方面实现了显著改进。
2026-05-21 cs.AI cs.IR
Taiji: Pareto Optimal Policy Optimization with Semantics-IDs Trade-off for Industrial LLM-Enhanced Recommendation
Kuaishou Technology(快手科技);Unaffiliated(无隶属)
提出Taiji框架,通过逆向工程推理和开放拒绝采样生成高质量CoT数据,并采用帕累托最优策略优化(POPO)自适应调整跨域奖励权重,实现LLM语义知识与推荐ID特征的帕累托最优权衡,在快手广告平台部署后服务超4亿日活用户。
2026-06-02 cs.AI cs.CL cs.IR
Scaling CS1 Support with Compiler-Integrated Conversational AI
University of New South Wales(新南威尔士大学)
本文提出编译器集成的对话式AI工具DCC Sidekick,利用编译器错误上下文生成编程错误解释,并通过大规模CS1课程使用数据验证了其在扩展编程教育支持方面的有效性与可扩展性。
2024-07-22 cs.AI cs.CY cs.SE
Zenith: Scaling up Ranking Models for Billion-scale Livestreaming Recommendation
NC State University(北卡罗来纳州立大学);TikTok;ByteDance(字节跳动);ByteDance AML(字节跳动人工智能实验室)
Zenith通过高效处理高维特征并提升模型扩展性,在直播推荐中实现了更高的CTR AUC和用户质量指标。
2026-02-05 cs.AI cs.LG
LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
AI at Meta(Meta人工智能)
LLaTTE通过多阶段架构和语义特征优化,在广告推荐中实现4.3%的转化提升,展示了扩展定律在工业推荐系统中的应用价值。
2026-01-27 cs.AI cs.IR cs.LG
Scaling Session-Based Transformer Recommendations using Optimized Negative Sampling and Loss Functions
OTTO (GmbH & Co KG)(OTTO股份两合公司)
本文提出TRON,一种基于Transformer的会话推荐模型,通过优化负采样和列表式损失函数,在保持训练速度的同时提升推荐质量,A/B测试点击率提升18.14%。
2025-03-30 cs.AI cs.IR cs.LG
Scaling Multimodal Search and Recommendation with Small Language Models via Upside-Down Reinforcement Learning
Adobe(Adobe公司);Meta
本文通过倒置强化学习和合成数据蒸馏,利用小语言模型实现高效多模态搜索与推荐,显著降低推理延迟和内存开销。
2025-12-03 cs.AI cs.CL cs.LG
Understanding Scaling Laws for Recommendation Models
Meta
规模一直是提高机器学习性能的主要驱动力,理解缩放定律对于可持续模型质量性能增长的战略规划、长期资源规划和开发有效的系统基础设施以支持大规模模型至关重要。本文研究了DLRM风格推荐模型的经验缩放定律,特别是点击率(CTR)。我们观察到模型质量与幂律以及模型大小、数据大小和用于训练的计算量的常数有关。我们沿着三个不同的资源维度,即数据,参数和计算,通过比较不同的缩放方案沿这些轴的缩放效率。我们表明,参数缩放是蒸汽的模型架构正在研究中,直到一个更高性能的模型架构出现,数据缩放是前进的道路。本研究所解决的关键研究问题包括:一个推荐模型的规模可持续的预测的缩放定律?或者我们离缩放定律的预测还很远?缩放的极限是什么?缩放定律对长期硬件/系统开发有何影响?
2022-08-17 cs.IR cs.LG
OCP: Orthogonal Constrained Projection for Sparse Scaling in Industrial Commodity Recommendation
JD.com Beijing China(京东北京中国)
本文提出OCP方法,通过正交约束投影优化嵌入表示,提升推荐模型的可扩展性和泛化能力,实验证明其在大规模部署中有效提升UCXR和GMV。
2026-03-19 cs.LG
Beyond Item IDs: Scaling Short-Form-Video Recommendation via Semantic-Native Long Sequence Modeling
Google Mountain View, USA(谷歌山景城,美国)
针对短视频推荐中序列长度受限于视频ID语义稀疏性和Transformer二次复杂度的问题,提出采用语义ID和全局感知压缩Transformer,实现十亿用户规模的超长行为序列建模,显著降低内存和计算开销,在线实验提升用户满意度和内容消费。
2026-05-04 cs.AI cs.IR cs.LG
Scaling Generative Recommendations with Context Parallelism on Hierarchical Sequential Transducers
Meta Platforms(Meta平台)
本文为HSTU注意力引入支持锯齿状张量的上下文并行技术,解决生成式推荐中扩展用户历史序列长度时的激活内存瓶颈,使序列长度提升5.3倍,并结合DDP实现1.55倍扩展因子。
2025-08-16 cs.IR cs.LG
FreeScale: Distributed Training for Sequence Recommendation Models with Minimal Scaling Cost
Anonymous Authors(匿名作者)
FreeScale通过负载平衡输入样本缓解延迟问题,通过重叠优先级嵌入通信与计算减少阻塞通信,并利用SM-Free技术解决GPU资源竞争,实现实验工作负载中计算气泡减少90.3%。
2026-04-27 cs.AI cs.DC cs.IR
Scaling up Ranking under Constraints for Live Recommendations by Replacing Optimization with Prediction
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
许多重要的多目标决策问题都可以在约束排序的框架下进行求解,并通过加权二部匹配线性规划来解决。这些优化问题中的一些,例如个性化内容推荐,可能需要实时的解决,因此必须遵守严格的时间要求,以防止消费者感知到延迟。经典的线性规划对于这样的设置计算效率太低。我们提出了一种新的方法来扩大排名的约束条件下,取代加权二分匹配优化与预测问题的算法部署阶段。我们的经验表明,建议的近似解决方案的排名问题,导致所需的计算资源大幅减少,而没有太多的牺牲,在约束合规性和实现的效用,使我们能够解决更大的约束排名问题实时,在所需的50毫秒内,比以前报道的。
2022-02-14 cs.IR cs.LG
Exploring Test-time Scaling via Prediction Merging on Large-Scale Recommendation
MBZUAI \& McGill University \& \ - Quebec AI Institute Montreal Canada;School of Artificial Intelligence Shenzhen Technology University Shenzhen China;MBZUAI \& McGill University Abu Dhabi UAE;MBZUAI \& McGill University \& \ - Quebec AI Institute;School of Artificial Intelligence Shenzhen Technology University;MBZUAI \& McGill University
本文提出通过预测合并探索大规模推荐中的测试时扩展,通过两种方法提升推荐系统的扩展效率。
2025-12-08 cs.IR cs.LG
On the Embedding Collapse when Scaling up Recommendation Models
Tencent Inc(腾讯公司)
本文识别出推荐模型扩展中的嵌入坍缩现象,揭示特征交互的双面效应,并提出多嵌入设计以增强嵌入多样性、缓解坍缩并提升模型可扩展性。
2024-06-06 cs.IR cs.LG
Scaling Down, Serving Fast: Compressing and Deploying Efficient LLMs for Recommendation Systems
LinkedIn;LinkedIn LLM Efficiency Core Team(LinkedIn LLM效率核心团队);MIT(麻省理工学院)
本文提出通过知识蒸馏和结构化剪枝、量化压缩技术训练和部署小型语言模型,在降低成本和延迟的同时保持性能,并在专业社交网络推荐系统中验证了其有效性。
2025-10-26 cs.IR cs.LG
Scaling Law for Recommendation Models: Towards General-purpose User Representations
NAVER CLOVA;NAVER AI Lab(NAVER人工智能实验室)
大规模预训练模型的最新进展,如BERT、GPT-3、CLIP和Gopher,在各个任务领域都取得了惊人的成就。与视觉识别和语言模型不同,大规模通用用户表示的研究仍然有待探索。在这里,我们探讨了通用用户表示学习的可能性,在大规模训练的通用用户编码器。我们证明了缩放定律存在于用户表示学习区域中,其中训练误差与计算量成幂律关系。我们的对比学习用户编码器(CLUE)优化了与任务无关的目标,由此产生的用户嵌入扩展了我们对各种下游任务中可能做的事情的期望。CLUE还表现出很大的可移植性,以其他领域和公司,在一个在线实验的表现显示,点击率(CTR)显着改善。此外,我们还研究了模型性能如何受到比例因子的影响,如训练数据大小,模型容量,序列长度和批量大小。最后,我们讨论了一般的CLUE的更广泛的影响。
2022-11-22 cs.IR cs.LG
ElasticRec: A Microservice-based Model Serving Architecture Enabling Elastic Resource Scaling for Recommendation Models
KAIST(韩国科学技术院);School of Electrical Engineering(电气工程学院)
针对推荐系统按模型分配资源导致利用率低、成本高的问题,提出基于微服务和效用驱动分配的 ElasticRec 架构,实现细粒度弹性扩缩并显著降低部署成本。
2024-06-11 cs.DC cs.IR cs.LG
Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent Inc.(腾讯公司);Tencent Inc. Shenzhen China(腾讯公司深圳中国)
针对推荐模型扩展中的嵌入坍缩问题,提出RankElastor架构,通过参数化全混合和GLU改进的P-FFN模块缓解有效秩的阻尼振荡,提升表示表达能力并实现稳健扩展。
2026-05-22 cs.IR cs.LG cs.NA
Generative Recommendation for Large-Scale Advertising
Kuaishou Technology(快手科技)
GR4AD通过统一广告语义ID和LazyAR解码器提升生成推荐效率,结合价值感知学习优化广告收益,实现大规模广告系统4.2%的收益提升。
2026-04-02 cs.IR cs.LG
RelayGR: Scaling Long-Sequence Generative Recommendation via Cross-Stage Relay-Race Inference
Huawei Technologies Co., Ltd.(华为技术有限公司)
RelayGR通过跨阶段接力竞赛推断技术,提升生成式推荐的序列长度和吞吐量
2026-01-05 cs.AI cs.DC cs.LG
Cross-attention Secretly Performs Orthogonal Alignment in Recommendation Models
Meta
该研究揭示了推荐模型中交叉注意力隐式执行正交对齐机制,发现其能自然产生并改善缩放定律,在超300次实验中提升性能,为多模态参数高效缩放提供了新方向。
2025-10-10 cs.IR cs.LG
LIME: Link-based User-item Interaction Modeling with Decoupled XOR Attention for Efficient Test Time Scaling
Meta
LIME通过解耦异或注意力机制,实现了高效推荐系统中计算复杂度的降低,提升了推理速度和用户参与度。
2026-10-28 cs.IR cs.LG
Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling
AI VK
该研究针对生产级社交图的好友推荐问题,提出结合多哈希用户嵌入与时序邻居采样的可扩展GNN排序系统,经实验验证可提升好友推荐效果并发布了相关分布式框架。
2026-08-28 cs.IR cs.LG cs.SI
An argument in favor of strong scaling for deep neural networks with small datasets
IBM Research(IBM研究院)
近年来,随着深度学习框架和大型数据集的普及,研究人员开始并行化他们的模型,以便更快地进行训练。这一点至关重要,因为他们通常会探索许多超参数,以便找到最适合其应用的超参数。这一过程很耗时,因此,加快培训可以提高生产率。许多研究人员采用的并行化深度学习模型的一种方法是基于弱缩放。随着新的GPU被添加到系统中,小批量的大小会增加。此外,已经提出了新的学习率时间表,以修复大的minibatch大小发生的优化问题。然而,在本文中,我们表明,最近的工作提供的建议不适用于缺乏大型数据集的模型。事实上,我们主张在这种情况下使用强大的扩展来实现可靠的性能。我们使用多达32个GPU对我们的方法进行了评估,结果表明,弱缩放不仅没有与顺序模型相同的准确性,而且在大多数情况下也无法收敛。同时,强缩放具有良好的可扩展性,同时具有与顺序实现完全相同的精度。
2020-07-13 cs.AI cs.DC cs.LG
Scaling Laws for Neural Machine Translation
本文对神经机器翻译(NMT)中的编码器-解码器Transformer模型的标度特性进行了实证研究。我们表明,交叉熵损失作为模型大小的函数遵循一定的缩放定律。具体来说,(i)我们提出了一个公式,它描述了作为编码器和解码器大小的二元函数的交叉熵损失的缩放行为,并表明它在各种缩放方法和语言下给出了准确的预测;我们表明,仅参数的总数不足以达到这样的目的。(ii)我们观察到不同的幂律指数时,缩放的解码器与缩放的编码器,并提供建议,根据这一观察的编码器/解码器容量的最佳分配。(iii)我们还报告说,该模型的缩放行为是严重影响的组成偏差的训练/测试集,我们定义为任何偏离自然生成的文本(无论是通过机器生成或人类翻译的文本)。我们观察到,目标侧的自然文本享受缩放,这表现为交叉熵损失的成功减少。(iv)最后,我们研究了交叉熵损失与生成的翻译质量之间的关系。根据测试数据的性质,我们发现了两种不同的行为。对于最初从目标语言翻译到源语言的测试集,损失和BLEU分数都随着模型大小的增加而改善。相比之下,对于最初从源语言翻译成目标语言的测试集,损失有所改善,但BLEU分数在一定阈值之后停止改善。我们从本研究中使用的所有模型中发布生成的文本。
2021-09-16 cs.AI cs.CL cs.LG
ROCS: Request-Oriented Compute Sharing for Efficient Large-Scale Recommendation
Meta AI
本研究提出面向请求的计算共享(ROCS)范式,通过GLM、DCA、IKBO等技术优化推荐模型推理,在公开基准和生产 workload 中均实现效率提升且保持或改善预测质量,已大规模部署应用。
2026-07-31 cs.AI cs.IR cs.LG
PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations
Google DeepMind(谷歌DeepMind)
PLUM框架通过语义ID分词、持续预训练和生成式检索微调,将预训练语言模型适配于工业级推荐,在视频推荐数据集上显著优于生产模型,并成功部署于YouTube。
2025-10-09 cs.IR cs.LG
Efficient Large-Scale Cross-Domain Sequential Recommendation with Dynamic State Representations
Huawei Ireland Research Centre(华为爱尔兰研究中心)
本文针对多域序列推荐中 Transformer 注意力计算瓶颈,提出 TAPE 位置嵌入和 DDSR 动态域状态表示两种机制,分别建模域内与域间信息,实现高效可扩展的大规模跨域推荐。
2025-08-28 cs.IR cs.LG
KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta
Meta Platforms(Meta平台)
研究针对深度学习推荐模型训练和推理面临的异构性挑战,提出KernelEvolve框架,通过多编程抽象自动生成和优化内核,经实验验证其正确性,大幅提升性能并降低新AI硬件可编程性障碍。
2026-07-08 cs.AI cs.AR cs.LG
Holistic Scaling Laws for Optimal Mixture-of-Experts Architecture Optimization
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Hi Lab, Xiaohongshu Inc.(小红书公司Hi实验室);Project Numina(项目Numina);School of Data Science, Fudan University(复旦大学数据科学学院)
本文提出一种框架,通过联合约束三元组和代数约束,优化专家混合架构,实现鲁棒的缩放定律,为大规模计算预算提供完整最优架构。
2026-10-14 cs.LG