Scaling up Ranking under Constraints for Live Recommendations by Replacing Optimization with Prediction
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
许多重要的多目标决策问题都可以在约束排序的框架下进行求解,并通过加权二部匹配线性规划来解决。这些优化问题中的一些,例如个性化内容推荐,可能需要实时的解决,因此必须遵守严格的时间要求,以防止消费者感知到延迟。经典的线性规划对于这样的设置计算效率太低。我们提出了一种新的方法来扩大排名的约束条件下,取代加权二分匹配优化与预测问题的算法部署阶段。我们的经验表明,建议的近似解决方案的排名问题,导致所需的计算资源大幅减少,而没有太多的牺牲,在约束合规性和实现的效用,使我们能够解决更大的约束排名问题实时,在所需的50毫秒内,比以前报道的。
2022-02-14 cs.IR cs.LG
Exploring Test-time Scaling via Prediction Merging on Large-Scale Recommendation
MBZUAI \& McGill University \& \ - Quebec AI Institute Montreal Canada;School of Artificial Intelligence Shenzhen Technology University Shenzhen China;MBZUAI \& McGill University Abu Dhabi UAE;MBZUAI \& McGill University \& \ - Quebec AI Institute;School of Artificial Intelligence Shenzhen Technology University;MBZUAI \& McGill University
本文提出通过预测合并探索大规模推荐中的测试时扩展,通过两种方法提升推荐系统的扩展效率。
2025-12-08 cs.IR cs.LG
Tokens are All You Need: Dual-purpose Semantic IDs for Achieving LLM-Level I/O Efficiency in recommendation systems
Google(谷歌);Google Deepmind(谷歌DeepMind)
研究针对大规模推荐系统的“内存墙”瓶颈,受计算机视觉数据压缩启发,提出双用途语义ID,用分层量化将连续嵌入压缩为离散语义ID执行协作身份和内容重建角色,经实验验证该方法能有效减少系统开销和数据占用,实现高效推荐。
2026-07-29 cs.AI cs.IR cs.LG
Scaling New Frontiers: Insights into Large Recommendation Models
针对传统推荐模型网络参数扩展停滞导致嵌入参数收益受限的问题,本文受LLMs启发研究大型推荐模型的缩放定律,评估不同架构、探索定律起源、验证HSTU在行为建模与排序任务的性能并提出未来方向。
2024-12-01 cs.IR
LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
AI at Meta(Meta人工智能)
LLaTTE通过多阶段架构和语义特征优化,在广告推荐中实现4.3%的转化提升,展示了扩展定律在工业推荐系统中的应用价值。
2026-01-27 cs.AI cs.IR cs.LG
Scaling Down, Serving Fast: Compressing and Deploying Efficient LLMs for Recommendation Systems
LinkedIn;LinkedIn LLM Efficiency Core Team(LinkedIn LLM效率核心团队);MIT(麻省理工学院)
本文提出通过知识蒸馏和结构化剪枝、量化压缩技术训练和部署小型语言模型,在降低成本和延迟的同时保持性能,并在专业社交网络推荐系统中验证了其有效性。
2025-10-26 cs.IR cs.LG
Scaling Law of Large Sequential Recommendation Models
本文研究大型序列推荐模型的缩放定律,在纯基于ID的设定下将模型扩展至0.8B参数,实证表明缩放定律在数据受限场景下依然成立,并能大幅提升冷启动等挑战性任务的性能。
2023-11-19 cs.IR
Scaling Session-Based Transformer Recommendations using Optimized Negative Sampling and Loss Functions
OTTO (GmbH & Co KG)(OTTO股份两合公司)
本文提出TRON,一种基于Transformer的会话推荐模型,通过优化负采样和列表式损失函数,在保持训练速度的同时提升推荐质量,A/B测试点击率提升18.14%。
2025-03-30 cs.AI cs.IR cs.LG
PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations
Kuaishou Inc.(快手科技)
PROMISE通过整合密集逐步验证和PRM引导的束搜索策略,解决生成推荐中的语义漂移问题,提升推荐准确性并实现高效部署。
2026-01-08 cs.IR
Climber: Toward Efficient Scaling Laws for Large Recommendation Models
Climber通过多尺度序列提取和动态温度调制实现高效扩展,并结合批处理与KV缓存加速,在不损失性能下提升5.15倍吞吐量,在线指标提升12.19%,已部署于网易云音乐。
2025-08-28 cs.IR
Inference Computation Scaling for Feature Augmentation in Recommendation Systems
Renmin University of China(中国人民大学);The Chinese University of Hong Kong(香港中文大学)
本文首次将推理计算扩展应用于推荐系统特征增强,通过扩展思维链推理生成更多、更具体的特征,使NDCG@10提升12%,并发现模型选择与搜索策略是关键因素。
2025-02-22 cs.CL cs.IR
Unlocking Scaling Law in Industrial Recommendation Systems with a Three-step Paradigm based Large User Model
Alibaba Group(阿里巴巴集团)
本文提出一种基于三种步骤范式的大型用户模型,通过解决工业推荐系统中的扩展定律限制,实现了可扩展的推荐性能提升。
2026-01-23 cs.IR
Recommender for Its Purpose: Repeat and Exploration in Food Delivery Recommendations
本文针对外卖推荐中复购与探索行为的独特特征,提出 ReRec 和 ExpRec 两个独立模型,并在三个真实数据集上验证其在复购、探索及组合推荐任务中优于现有基线。
2024-02-22 cs.IR
Understanding Mobile App Recommendation Dynamics in General-Purpose LLMs: An Empirical Study
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of Pisa(比萨大学)
本文实证评估通用LLM的移动应用推荐,提出16项排序标准分类、系统化评估框架和复现包,揭示其与ASO指标仅部分契合及指令响应差异。
2026-09-22 cs.IR cs.SE
UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems
Kuaishou Technology(快手科技)
本文提出UniMixer架构,统一推荐系统扩展块理论框架,提升扩展效率,优化token混合模式,并设计轻量UniMixing-Lite模块提升性能。
2026-04-02 cs.AI cs.IR
From Language to Behavior: Scaling Sequence Transformers for Industrial Recommendation Ranking with Rec-Native Designs
ByteDance(字节跳动)
本研究针对工业推荐排序中行为序列建模的挑战,提出推荐原生Transformer框架ReST,通过双门控注意力等设计优化信号质量,分解排序结构解决计算不对称性,经测试提升广告平台AUC与核心收入指标并已部署生产。
2026-09-02 cs.AI cs.IR cs.LG
Neural Attentive Session-based Recommendation
针对用户简档不可见的电子商务场景,提出了基于会话的推荐方法,利用短会话生成推荐结果。以前的工作只考虑用户在当前会话中的顺序行为,而用户在当前会话中的主要目的没有得到强调。在本文中,我们提出了一种新的神经网络框架,即,神经注意力推荐机(NARM)解决了这个问题。具体来说,我们探索了一种混合编码器与注意力机制来模拟用户的顺序行为,并捕捉用户在当前会话中的主要目的,这是作为一个统一的会话表示后。然后,我们根据这个统一的会话表示,使用双线性匹配方案计算每个候选项的推荐评分。我们通过共同学习项目和会话表示以及它们的匹配来训练NARM。我们在两个基准数据集上进行了广泛的实验。我们的实验结果表明,NARM在这两个数据集上的表现都优于最先进的基线。此外,我们还发现,NARM实现了显着的改善长会话,这表明它的优势,同时建模用户的顺序行为和主要目的。
2017-11-13 cs.IR
Bending the Scaling Law Curve in Large-Scale Recommendation Systems
Meta Recommendation Systems(Meta推荐系统)
ULTRA-HSTU通过创新的序列设计和稀疏注意机制,在大规模推荐系统中实现了显著的训练和推理效率提升,同时保持高质量的推荐性能。
2026-02-20 cs.IR cs.SI
Generative Recommendation for Large-Scale Advertising
Kuaishou Technology(快手科技)
GR4AD通过统一广告语义ID和LazyAR解码器提升生成推荐效率,结合价值感知学习优化广告收益,实现大规模广告系统4.2%的收益提升。
2026-04-02 cs.IR cs.LG
HELIX: Purified and Unified - Rethinking Feature Interaction and Sequence Modeling for Large-Scale Recommendation
Global E-Commerce Recommendation Video Team(全球电商推荐视频团队)
针对大规模推荐中特征交互与序列建模单独扩展受限的问题,提出HELIX统一架构,通过交错序列检索与特征交互并保持单向信息流,实现两轴联合扩展,在TikTok部署后GMV提升约6%。
2026-10-01 cs.IR
OnePiece: The Great Route to Generative Recommendation -- A Case Study from Tencent Algorithm Competition
NJUST(南京理工大学)
本文提出统一编码器-解码器框架,验证生成推荐中ANN和自回归范式的缩放定律,发现两者损失均严格符合幂律缩放规律。
2025-12-08 cs.IR
Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models
ByteDance AML(字节跳动AML);ByteDance(字节跳动)
针对大规模推荐模型在工业部署中效率与性能的权衡问题,提出Rec-Distill蒸馏流水线,通过解耦训练、黑盒蒸馏、去偏机制和混合批流流水线,将大教师模型的知识高效迁移至轻量学生模型,在真实场景中蒸馏迁移率超60%。
2026-05-29 cs.IR
Learning to Warm Up Cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shifting Networks
最近,嵌入技术在推荐系统中取得了令人印象深刻的成功。然而,嵌入技术是数据需求,并遭受冷启动问题。特别是对于只有有限交互的冷启动项目,很难训练出合理的项目ID嵌入,称为冷ID嵌入,这是嵌入技术面临的一个重大挑战。冷项ID嵌入存在两个主要问题:(1)冷ID嵌入与深度模型之间存在差距。(2)冷ID嵌入将受到噪声相互作用的严重影响。然而,大多数现有的方法不考虑这两个问题的冷启动问题,同时。为了解决这些问题,我们采用了两个关键思想:(1)加快冷项ID嵌入的模型拟合(快速自适应)。(2)减轻噪音的影响。沿着这条线,我们提出了Meta Scaling和Shifting网络,分别为每个项目生成缩放和移位函数。缩放函数可以直接将冷项ID嵌入转换到更适合模型的暖特征空间,而移位函数能够从噪声嵌入中产生稳定的嵌入。在这两个元网络的基础上,我们提出了Meta Warm Up Framework(MWUF)来学习如何对冷ID嵌入进行预热。此外,MWUF是一个通用框架,可以应用于各种现有的深度推荐模型。该模型在三个流行的基准上进行评估,包括推荐和广告数据集。评估结果表明其优越的性能和兼容性。
2021-05-11 cs.IR
TransRetrieval: Scaling Up Transformer-Based Retrieval for Industrial Recommendation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团)
针对工业推荐检索的特征异质性问题,提出TransRetrieval框架,通过加权平均聚合、目标token压缩等技术实现高效缩放,在数据集和基准测试中取得召回率提升,线上测试也实现收益增长。
2026-08-27 cs.IR
ElasticRec: A Microservice-based Model Serving Architecture Enabling Elastic Resource Scaling for Recommendation Models
KAIST(韩国科学技术院);School of Electrical Engineering(电气工程学院)
针对推荐系统按模型分配资源导致利用率低、成本高的问题,提出基于微服务和效用驱动分配的 ElasticRec 架构,实现细粒度弹性扩缩并显著降低部署成本。
2024-06-11 cs.DC cs.IR cs.LG
MSN: A Memory-based Sparse Activation Scaling Framework for Large-scale Industrial Recommendation
ByteDance Search(字节跳动搜索);ByteDance AML(字节跳动机器学习)
MSN通过基于记忆的稀疏激活缩放框架实现大规模工业推荐中的高效个性化与性能提升。
2026-11-17 cs.IR
FuXi-$α$: Scaling Recommendation Model with Feature Interaction Enhanced Transformer
针对现有序列推荐模型对时间、位置及隐式特征交互建模不足的问题,本文提出FuXi-α模型,通过自适应多通道自注意力和多阶段FFN增强特征交互,离线及华为音乐在线A/B测试均验证了其有效性。
2025-02-05 cs.IR
TransX Technical Report: Scaling Sequence Transduction for Recommendation
LinkedIn(领英)
本研究提出TransX序列转换框架及配套基础设施,通过拆分组件实现规模化,经实验验证其在推荐任务中可提升点击率、转化率,同时大幅降低推理成本并提高吞吐量。
2026-10-16 cs.IR
Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design
Meta Platforms, Inc.(Meta平台公司);OpenAI
针对大规模推荐系统缺乏可预测缩放定律的问题,提出Kunlun架构,通过低层优化(GDPA、HSP、滑动窗口注意力)和高层创新(CompSkip、事件级个性化)提升模型效率,MFU从17%提升至37%,缩放效率翻倍,已在Meta广告模型部署。
2026-06-05 cs.AI cs.IR
Inherit4Rec: Parameter Inheritance for Efficient Scaling of Recommendation Models
Kuaishou Technology(快手科技);Shenzhen Technology University(深圳技术大学);City University of Hong Kong(香港城市大学)
针对工业推荐系统模型扩展中的性能与计算瓶颈,提出参数继承框架Inherit4Rec,支持稠密到稠密增长和稠密到稀疏转换,实验验证其优于现有继承基线。
2026-10-28 cs.IR
UniFormer: Efficient and Unified Model-Centric Scaling for Industrial Recommendation
Kuaishou Technology(快手科技)
提出UniFormer框架,通过分解特征与任务空间、引入语义令牌化及多序列交叉注意力,实现工业推荐系统的统一模型中心缩放,在快手和快手极速版上显著提升用户参与度。
2026-06-26 cs.IR
Cross-attention Secretly Performs Orthogonal Alignment in Recommendation Models
Meta
该研究揭示了推荐模型中交叉注意力隐式执行正交对齐机制,发现其能自然产生并改善缩放定律,在超300次实验中提升性能,为多模态参数高效缩放提供了新方向。
2025-10-10 cs.IR cs.LG
Parallel Latent Reasoning for Sequential Recommendation
GSAI, Renmin University of China(中国人民大学智能计算研究院);Alibaba Group(阿里巴巴集团)
并行潜在推理通过多轨迹并行计算提升序列推荐的推理能力与效率
2026-01-06 cs.IR
MARM: Unlocking the Future of Recommendation Systems through Memory Augmentation and Scalable Complexity
本文提出记忆增强推荐模型MARM,针对推荐系统中计算复杂度FLOPs比模型参数更昂贵的问题,成功探索了一种新的缓存缩放定律。
2025-08-25 cs.IR
Beyond Item IDs: Scaling Short-Form-Video Recommendation via Semantic-Native Long Sequence Modeling
Google Mountain View, USA(谷歌山景城,美国)
针对短视频推荐中序列长度受限于视频ID语义稀疏性和Transformer二次复杂度的问题,提出采用语义ID和全局感知压缩Transformer,实现十亿用户规模的超长行为序列建模,显著降低内存和计算开销,在线实验提升用户满意度和内容消费。
2026-05-04 cs.AI cs.IR cs.LG
Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent Inc.(腾讯公司);Tencent Inc. Shenzhen China(腾讯公司深圳中国)
针对推荐模型扩展中的嵌入坍缩问题,提出RankElastor架构,通过参数化全混合和GLU改进的P-FFN模块缓解有效秩的阻尼振荡,提升表示表达能力并实现稳健扩展。
2026-05-22 cs.IR cs.LG cs.NA
Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation
Meta
本文提出一种分层框架生成高质量合成数据,通过避免原始数据噪声,首次在推荐领域实现LLM的稳健幂律缩放,并显著提升下游排序任务性能。
2026-06-01 cs.AI cs.IR
FreeScale: Distributed Training for Sequence Recommendation Models with Minimal Scaling Cost
Anonymous Authors(匿名作者)
FreeScale通过负载平衡输入样本缓解延迟问题,通过重叠优先级嵌入通信与计算减少阻塞通信,并利用SM-Free技术解决GPU资源竞争,实现实验工作负载中计算气泡减少90.3%。
2026-04-27 cs.AI cs.DC cs.IR
Scaling Transformers for Discriminative Recommendation via Generative Pretraining
针对判别式推荐模型因数据稀疏导致的过拟合与扩展性差问题,提出GPSD框架,利用生成式预训练初始化并冻结稀疏参数,显著缩小泛化差距,实现Transformers随参数规模扩大的性能持续提升。
2025-08-11 cs.IR
Latent Multi-Criteria Ratings for Recommendations
New York University(纽约大学)
多准则推荐系统在帮助消费者基于用户体验的不同维度来识别最相关的物品方面已经变得越来越有价值。然而,以前提出的多标准模型没有考虑到潜在的嵌入用户评论,捕捉用户和项目之间的潜在语义关系。为了解决这些问题,我们利用变分自编码器映射到潜在的嵌入,随后压缩成低维离散向量的用户评论。由此产生的压缩向量构成潜在的多标准评级,我们使用的推荐目的,通过标准的多标准推荐方法。我们表明,建议的潜在多标准评级方法优于几个基线显着和一致的不同的数据集和性能评估措施。
2019-06-26 cs.IR cs.LG stat.ML
Memento: Personalized RAG-Style Long-Retention Data Scaling for META Ads Recommendation
Meta AI
提出Memento框架,通过个性化检索增强生成(RAG)方式,利用最大边际相关性(MMR)从用户历史行为中检索相关交互,解决长历史数据建模中的注意力稀释、系统效率和灾难性遗忘问题,在广告推荐中提升点击率1%和转化率1.2%。
2026-05-22 cs.IR
Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Science and Technology of China(中国科学技术大学)
针对缩放定律难以直接用于序列推荐的问题,提出基于HR、NDCG拟合和近似熵衡量数据质量的性能定律,以预测不同数据与模型规模下的性能。
2025-02-19 cs.AI cs.IR
LIME: Link-based User-item Interaction Modeling with Decoupled XOR Attention for Efficient Test Time Scaling
Meta
LIME通过解耦异或注意力机制,实现了高效推荐系统中计算复杂度的降低,提升了推理速度和用户参与度。
2026-10-28 cs.IR cs.LG
MTGR: Industrial-Scale Generative Recommendation Framework in Meituan
针对生成式推荐舍弃交叉特征导致性能下降的问题,提出基于HSTU架构的MTGR框架,保留DLRM交叉特征并通过用户级压缩等优化实现高效缩放,单样本推理FLOPs达DLRM的65倍,已部署于美团主流量场景。
2025-08-22 cs.IR
MiniOneRec: An Open-Source Framework for Scaling Generative Recommendation
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
针对传统推荐系统扩展瓶颈及生成式推荐工业部署不透明问题,提出首个全开源生成式推荐框架MiniOneRec,验证了生成式推荐的缩放定律,并通过轻量后训练流水线提升了排序准确率与候选多样性。
2025-10-28 cs.AI cs.IR
Generative Large Recommendation Models: Emerging Trends in LLMs for Recommendation
本教程综述生成式大型推荐模型的进展、挑战与方向,聚焦数据质量、缩放定律、行为挖掘及训练推理效率。
2025-02-19 cs.IR
Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation
Meta
本文提出通过交叉注意力和残差量化联合学习分层索引,以提升大规模检索模型的效率和精确度,并在Meta实现实时广告推荐。
2026-04-14 cs.IR
TransX: Scaling Transformer-based Recommendation via Behavioral and Serving Stream Crossings
LinkedIn(领英)
TransX通过解耦行为流与服务流建模,结合摊销服务策略,在领英推荐系统上实现CTR升6.0%、转化增益4.4%,且服务成本降低,性能优于现有模型。
2026-08-03 cs.IR
A multi-level collaborative filtering method that improves recommendations
协同过滤是在各种在线环境中提供推荐的最常用方法之一。尽管协作推荐方法由于其简单易用而被广泛使用,但准确性仍然是一个问题。在本文中,我们提出了一个多层次的推荐方法,其主要目的是帮助用户在决策提供更好的质量建议。所提出的方法可以应用于不同的在线领域,使用协同推荐系统,从而提高整体用户体验。所提出的方法的效率是通过提供一个广泛的实验评估,使用五个真实的数据集和比较替代品。
2018-04-24 cs.IR
Scaling Articulated Rationales for MLLM-based Recommendation
Kuaishou Technology(快手科技)
本研究提出SARA框架,将稀疏的用户可表述理由扩展为工业推荐系统的可扩展信号,通过数据引擎、MLLM对齐和排序集成,提升参与度并减少负面反馈。
2026-09-22 cs.AI cs.IR
PALR: Personalization Aware LLMs for Recommendation
Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出PALR框架,结合用户历史行为、候选检索与微调的70亿参数LLM排序模型,在多种序列推荐任务上超过现有最先进方法。
2023-06-07 cs.AI cs.CL cs.IR
LazFormer: Scaling Transformers for Industrial Recommendation via Transferable Generative Pre-training
Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团)
针对工业推荐中Transformer扩展的计算消耗和负迁移问题,提出LazFormer,采用生成式预训练、可迁移残差适配器及非对称多轮训练,提升排序性能。
2026-09-15 cs.IR
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
Alibaba Group(阿里巴巴集团)
从用户的历史行为中建模用户的动态和不断变化的偏好是推荐系统的挑战和关键。先前的方法采用顺序神经网络(例如,递归神经网络)将用户的历史交互从左到右编码为隐藏表示,以进行推荐。虽然这些方法取得了令人满意的结果,他们往往假设一个严格的顺序,这并不总是实用的。我们认为,这种从左到右的单向架构限制了历史序列表示的权力。为此,我们介绍了一个双向编码器表示从Transformers顺序推荐(BERT4Rec)。然而,在深度双向模型中,联合条件作用于左上下文和右上下文会使训练变得微不足道,因为每个项目都可以间接地“看到目标项目”。为了解决这个问题,我们使用完形填空任务训练双向模型,通过联合调节其左右上下文来预测序列中的掩蔽项。与预测序列中每个位置的下一个项目相比,完形填空任务可以产生更多的样本来训练更强大的双向模型。在四个基准数据集上的大量实验表明,我们的模型始终优于各种最先进的序列模型。
2019-08-21 cs.IR cs.LG
Test-Time Scaling Strategies for Generative Retrieval in Multimodal Conversational Recommendations
Research Center for Information Technology Innovation, Academia Sinica(资讯科技创新研究所以);NVIDIA(NVIDIA公司);Department of Computer Science, National Chengchi University(国立政治大学计算机科学系)
针对传统产品检索系统在多轮用户交互中的局限,提出将测试时缩放引入多模态生成式检索的新框架,增强测试时重排序机制,有效建模用户演化意图,在多轮对话推荐中提升检索性能。
2025-08-25 cs.AI cs.IR cs.LG