PerFairX: Is There a Balance Between Fairness and Personality in Large Language Model Recommendations?
本研究提出PerFairX框架,量化LLM推荐中个性与公平性的权衡,发现个性提示提升心理对齐但加剧公平差异,为平衡两者提供基准。
2025-08-20 cs.AI cs.CY cs.IR
MiniOneRec: An Open-Source Framework for Scaling Generative Recommendation
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
针对传统推荐系统扩展瓶颈及生成式推荐工业部署不透明问题,提出首个全开源生成式推荐框架MiniOneRec,验证了生成式推荐的缩放定律,并通过轻量后训练流水线提升了排序准确率与候选多样性。
2025-10-28 cs.AI cs.IR
RobustExplain: Evaluating Robustness of LLM-Based Explanation Agents for Recommendation
Workday
RobustExplain提出首个评估框架,用于衡量LLM生成推荐解释的鲁棒性,揭示当前模型鲁棒性较低,较大模型稳定性更高。
2026-02-03 cs.AI cs.IR cs.LG
Explainable Recommendation with Simulated Human Feedback
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学agate人工智能学院)
针对可解释推荐缺乏有效反馈的问题,提出用LLM模拟人类反馈、结合帕累托优化和离策略训练的框架,提升解释质量,实验验证有效。
2025-08-07 cs.AI cs.CL cs.IR
Owen-Shapley Policy Optimization: A Principled RL Algorithm for Generative Search LLMs
Amazon Science(亚马逊科学);Situated Grounding and Natural Language (SIGNAL) Lab, Colorado State University(情境 grounding 和自然语言(SIGNAL)实验室,科罗拉多州立大学)
本文提出Owen-Shapley策略优化算法,通过基于令牌边际贡献的序列优势再分配,解决生成搜索语言模型中因稀疏序列奖励导致的信用分配问题,实验表明其在Amazon ESCI和H&M Fashion数据集上表现优异。
2026-05-07 cs.AI
Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs
Central South University, Changsha, China(中南大学);Shopee Pte. Ltd., Shanghai, China(Shopee(上海)有限公司);Shopee Pte. Ltd., Singapore, Singapore(Shopee(新加坡)有限公司);Nanyang Technological University, Singapore, Singapore(南洋理工大学)
ReSID通过原生编码和语义量化提升推荐系统性能,实现比现有方法高超10%的准确率并大幅降低分词成本。
2026-02-02 cs.AI cs.IR
Scaling Laws for Online Advertisement Retrieval
Kuaishou Technology(快手科技);M-A-P
针对在线广告检索缺乏缩放定律研究的问题,提出轻量级范式,用离线指标和模拟算法识别在线缩放定律,并验证其存在性及应用。
2025-09-25 cs.AI cs.IR cs.LG
Scaling Laws for Task-Specific LLM Distillation
NVIDIA(英伟达)
本文推导了领域特定LLM压缩的经验缩放定律,通过定量金融领域的实验,比较了基于logit和LoRA的蒸馏方法,并引入混合思维链监督损失,揭示了监督格式对领域知识与通用知识权衡的关键作用。
2026-08-25 cs.AI cs.CE
Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design
Meta Platforms, Inc.(Meta平台公司);OpenAI
针对大规模推荐系统缺乏可预测缩放定律的问题,提出Kunlun架构,通过低层优化(GDPA、HSP、滑动窗口注意力)和高层创新(CompSkip、事件级个性化)提升模型效率,MFU从17%提升至37%,缩放效率翻倍,已在Meta广告模型部署。
2026-06-05 cs.AI cs.IR
Precision Tracked Transformer via Kalman Filtering, Kriging and Process Noise
LinkedIn Core AI(LinkedIn核心AI)
本文提出了一种基于贝叶斯滤波的变压器(BFT),通过引入精度权重的克里格法、自适应卡尔曼更新和动态模型,解决了传统变压器在处理不确定性方面的不足,提升了序列推荐和大语言模型在噪声环境下的鲁棒性。
2026-05-12 cs.AI cs.LG
Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Science and Technology of China(中国科学技术大学)
针对缩放定律难以直接用于序列推荐的问题,提出基于HR、NDCG拟合和近似熵衡量数据质量的性能定律,以预测不同数据与模型规模下的性能。
2025-02-19 cs.AI cs.IR
UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems
Kuaishou Technology(快手科技)
本文提出UniMixer架构,统一推荐系统扩展块理论框架,提升扩展效率,优化token混合模式,并设计轻量UniMixing-Lite模块提升性能。
2026-04-02 cs.AI cs.IR
Scaling Laws and In-Context Learning: A Unified Theoretical Framework
本文提出统一理论框架,揭示Transformer上下文学习性能随深度、宽度、上下文长度和数据量呈幂律缩放,并给出最优深度-宽度分配及ICL涌现的充要条件。
2025-11-09 cs.AI cs.LG
Scaling Sequential Recommendation Models with Transformers
Mercado Libre Inc.(美客多公司)
本研究受大语言模型缩放定律启发,利用完整Amazon Product Data数据集探索Transformer在序列推荐中的缩放规律,验证了计算最优训练可行性与下游迁移效果,为真实高维推荐场景的模型训练部署提供路线图。
2024-12-10 cs.AI cs.LG
Understanding Scaling Laws for Recommendation Models
Meta
规模一直是提高机器学习性能的主要驱动力,理解缩放定律对于可持续模型质量性能增长的战略规划、长期资源规划和开发有效的系统基础设施以支持大规模模型至关重要。本文研究了DLRM风格推荐模型的经验缩放定律,特别是点击率(CTR)。我们观察到模型质量与幂律以及模型大小、数据大小和用于训练的计算量的常数有关。我们沿着三个不同的资源维度,即数据,参数和计算,通过比较不同的缩放方案沿这些轴的缩放效率。我们表明,参数缩放是蒸汽的模型架构正在研究中,直到一个更高性能的模型架构出现,数据缩放是前进的道路。本研究所解决的关键研究问题包括:一个推荐模型的规模可持续的预测的缩放定律?或者我们离缩放定律的预测还很远?缩放的极限是什么?缩放定律对长期硬件/系统开发有何影响?
2022-08-17 cs.IR cs.LG
PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations
Kuaishou Inc.(快手科技)
PROMISE通过整合密集逐步验证和PRM引导的束搜索策略,解决生成推荐中的语义漂移问题,提升推荐准确性并实现高效部署。
2026-01-08 cs.IR
Spectral Scaling Laws of Muon
MIT(麻省理工学院)
本文系统研究了Muon优化器中动量矩阵奇异值谱随模型大小的缩放行为,发现其遵循幂律,并据此提出层感知的牛顿-舒尔茨迭代配置选择方法以减少计算开销。
2026-06-05 cs.AI cs.LG
Provable Scaling Laws for the Test-Time Compute of Large Language Models
Alibaba Group(阿里巴巴集团)
本研究提出两种仅需黑盒大语言模型的两阶段算法,从理论上证明其失败概率随测试时计算量增长呈指数或幂律衰减,并通过实验验证了算法的缩放特性与实用价值。
2025-10-28 cs.AI cs.CL cs.LG
LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation
AI at Meta(Meta人工智能)
LLaTTE通过多阶段架构和语义特征优化,在广告推荐中实现4.3%的转化提升,展示了扩展定律在工业推荐系统中的应用价值。
2026-01-27 cs.AI cs.IR cs.LG
AdaptFuse: Training-Free Sequential Preference Inference via Externalized Bayesian Computation
Texas A&M University(德克萨斯农工大学);Worcester Polytechnic Institute(伍斯特理工学院);Tohoku University(东北大学);Georgia Institute of Technology(佐治亚理工学院)
AdaptFuse通过外部化贝叶斯推断实现无需训练的序列偏好学习,利用符号模块和冻结LLM结合熵自适应融合,提升推荐系统性能,无需敏感用户数据训练。
2026-10-15 cs.AI cs.CL
What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs
Meituan(美团);Tsinghua University(清华大学)
该研究提出首个跨家族的能力驱动多模态缩放定律,可通过LLM文本能力预测VLM性能,将主干选择从经验搜索转为定量决策,还揭示了LLM作为VLM主干的相关见解。
2026-11-03 cs.AI cs.CL cs.CV
Scaling New Frontiers: Insights into Large Recommendation Models
针对传统推荐模型网络参数扩展停滞导致嵌入参数收益受限的问题,本文受LLMs启发研究大型推荐模型的缩放定律,评估不同架构、探索定律起源、验证HSTU在行为建模与排序任务的性能并提出未来方向。
2024-12-01 cs.IR
Recommendations as Treatments: Debiasing Learning and Evaluation
Cornell University(康奈尔大学)
大多数用于评估和训练推荐系统的数据都会受到选择偏差的影响,无论是通过用户的自我选择还是通过推荐系统本身的行为。在本文中,我们提供了一个原则性的方法来处理选择偏差,适应模型和估计技术的因果推理。该方法导致无偏的性能估计,尽管有偏的数据,并提供了一个矩阵分解方法,大大提高了预测性能的真实世界的数据。我们从理论上和经验上表征的方法的鲁棒性,发现它是非常实用和可扩展的。
2016-05-27 cs.AI cs.IR cs.LG
Sequential Data Augmentation for Generative Recommendation
Snap Inc.(Snap公司)
本文研究了生成推荐中数据增强的影响,提出了一种系统化的框架GenPAS,通过三种受偏步骤统一了多种增强策略,提升了模型的准确率、数据效率和参数效率。
2026-05-20 cs.IR cs.LG
Climber: Toward Efficient Scaling Laws for Large Recommendation Models
Climber通过多尺度序列提取和动态温度调制实现高效扩展,并结合批处理与KV缓存加速,在不损失性能下提升5.15倍吞吐量,在线指标提升12.19%,已部署于网易云音乐。
2025-08-28 cs.IR
OnePiece: The Great Route to Generative Recommendation -- A Case Study from Tencent Algorithm Competition
NJUST(南京理工大学)
本文提出统一编码器-解码器框架,验证生成推荐中ANN和自回归范式的缩放定律,发现两者损失均严格符合幂律缩放规律。
2025-12-08 cs.IR
MARM: Unlocking the Future of Recommendation Systems through Memory Augmentation and Scalable Complexity
本文提出记忆增强推荐模型MARM,针对推荐系统中计算复杂度FLOPs比模型参数更昂贵的问题,成功探索了一种新的缓存缩放定律。
2025-08-25 cs.IR
Improve Temporal Awareness of LLMs for Sequential Recommendation
本文针对LLMs时间感知不足的问题,提出三种利用历史交互时间信息的提示策略并聚合排序结果,在MovieLens-1M和Amazon Review上显著提升序列推荐的零样本性能。
2024-05-05 cs.IR
From Intervention to Domain Transportation: A Novel Perspective to Optimize Recommendation
近年来,推荐的介入性越来越引起人们的关注。它特别激励研究人员将学习和评价推荐问题表述为因果推理和数据缺失非随机问题。然而,很少有人认真对待违反重叠的关键假设的后果,我们证明这可能会显着威胁到结果的有效性和解释。我们发现,在目前的信息检索(IR)系统的理解中缺少一个关键的部分:作为干预措施,建议不仅会影响已经观察到的数据,但它也干扰了目标域(分布)的兴趣。然后,我们将优化推荐重新表述为找到一种干预,该干预能够最好地将它从观察域学习到的模式传输到其干预域。为此,我们使用域运输来描述推荐的学习干预机制。我们设计了一个原则性的运输约束风险最小化目标,并将其转换为一个两人极大极小博弈。我们证明了所提出的目标的一致性,泛化和过度的风险界限,并阐述了它们如何与当前的结果进行比较。最后,我们进行了大量的真实数据和半合成实验,以证明我们的方法的优势,并启动在线测试与现实世界的红外系统。
2022-03-26 cs.IR
LLM-Enhanced Reinforcement Learning for Long-Term User Satisfaction in Interactive Recommendation
University of Technology Sydney, Sydney, Australia(新南威尔士大学悉尼分校);University of Shanghai for Science and Technology(上海科学技术大学)
本文提出LLM-Enhanced Reinforcement Learning框架,通过结合大语言模型的语义规划能力与强化学习的细粒度适应性,解决推荐系统中内容同质化和过滤气泡问题,提升长期用户满意度。
2026-02-06 cs.AI cs.IR
AgentSelect: Benchmark for Narrative Query-to-Agent Recommendation
AgentSelect是一个用于叙述查询到代理推荐的基准测试,通过统一的数据和评估基础设施,填补了代理推荐领域的研究空白,展示了基于能力匹配的代理推荐方法。
2026-11-06 cs.AI cs.IR
Scaling Laws for Cross-Encoder Reranking
UMass Amherst(麻省大学阿默斯特分校);Emory University(埃默里大学)
本文研究了交叉编码器重排序在点wise、pairwise和listwise目标下的扩展定律,通过模型规模和训练暴露量的分析,揭示了排序质量的幂律关系,并通过预测大模型性能验证了数据密集型扩展策略的有效性。
2026-04-18 cs.IR
Generative Large Recommendation Models: Emerging Trends in LLMs for Recommendation
本教程综述生成式大型推荐模型的进展、挑战与方向,聚焦数据质量、缩放定律、行为挖掘及训练推理效率。
2025-02-19 cs.IR
FuXi-$γ$: Efficient Sequential Recommendation with Exponential-Power Temporal Encoder and Diagonal-Sparse Positional Mechanism
Nankai University(南开大学);Huawei Technologies(华为技术有限公司)
FuXi-γ通过指数-幂时间编码器和对角稀疏位置机制,提升序列推荐的效率和效果,实现训练和推理速度的显著提升。
2025-12-14 cs.IR
Making Recommender Systems Forget: Learning and Unlearning for Erasable Recommendation
Zhejiang University(浙江大学)
隐私法律和法规强制执行数据驱动的系统,例如,推荐系统,删除涉及个人的数据。由于机器学习模型可能会记住训练数据,因此数据擦除也应该忘记模型中的数据谱系,这引起了人们对机器遗忘(MU)问题的兴趣。然而,现有的MU方法不能直接应用于推荐。大多数推荐系统的基本思想是协同过滤,但现有的MU方法忽略了跨用户和项目的协作信息。本文提出了一个通用的可擦除推荐框架LASER,它由Group模块和SeqTrain模块组成。首先,分组模块根据超图学习到的协作嵌入相似度,将用户划分为均衡分组。然后,SeqTrain模块对具有课程学习的所有组顺序地训练模型。理论分析和两个真实数据集上的实验表明,LASER不仅可以实现有效的去学习,而且在模型效用方面优于最先进的去学习框架。
2022-03-22 cs.IR cs.LG
SMES: Towards Scalable Multi-Task Recommendation via Expert Sparsity
Kuaishou Technology Co., Ltd.(快手科技)
SMES通过稀疏混合专家框架实现可扩展的多任务推荐,解决专家激活爆炸和负载不均问题,提升推荐性能与用户参与度。
2026-02-10 cs.IR
Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models
ByteDance AML(字节跳动AML);ByteDance(字节跳动)
针对大规模推荐模型在工业部署中效率与性能的权衡问题,提出Rec-Distill蒸馏流水线,通过解耦训练、黑盒蒸馏、去偏机制和混合批流流水线,将大教师模型的知识高效迁移至轻量学生模型,在真实场景中蒸馏迁移率超60%。
2026-05-29 cs.IR
Graph Augmentation for Recommendation
University of Hong Kong(香港大学);Aalborg University(奥尔堡大学)
针对推荐系统中对比学习数据噪声及GNN过平滑问题,提出GraphAug框架,利用GIB正则化生成去噪自监督信号并自适应调整对比视图,显著提升推荐性能。
2024-03-25 cs.IR cs.LG
One Model for All: Large Language Models are Domain-Agnostic Recommendation Systems
针对多领域推荐中ID表示难以语义对齐的问题,本文提出LLM-Rec框架,通过混合跨领域行为并利用LLM生成语义表示,验证其有效性及模型缩放规律。
2025-02-19 cs.IR
Measuring the Predictability of Recommender Systems using Structural Complexity Metrics
Center for Artificial Intelligence (CENIA)(人工智能中心(CENIA))
本文提出基于数据驱动的度量方法,通过测量用户-物品交互矩阵的结构复杂性来量化推荐系统输出的可预测性,实验表明该度量与推荐算法性能相关,并展示了结构感知的数据选择方法。
2026-03-31 cs.IR cs.IT cs.LG
GNN4FR: A Lossless GNN-based Federated Recommendation Framework
Shenzhen University(深圳大学)
本文提出首个基于GNN的无损联邦推荐框架GNN4FR,通过全图训练完整保留高阶结构信息,使训练等价于非联邦版本,并利用LightGCN实例化验证了其等价性。
2023-07-25 cs.CR cs.IR cs.LG
$C^3DRec$: Cloud-Client Cooperative Deep Learning for Temporal Recommendation in the Post-GDPR Era
Peking University(北京大学)
移动设备使用户能够随时随地检索信息。考虑到移动用户的临时需求和碎片化使用模式,提出了基于用户短期交互行为的时态兴趣学习方法,以提高移动设备上信息检索的效率.然而,隐私保护法律法规的实施,如GDPR,可能会使临时推荐的成功实践黯然失色。原因在于,现有的推荐系统需要在集中式服务器中收集和处理用户数据,但是用于临时推荐的交互行为数据通常是非事务性数据,根据GDPR,在没有用户的明确许可的情况下不允许收集这些数据。因此,如果用户不允许服务收集他们的交互行为数据,时间推荐就无法工作。为实现后GDPR时代的时态推荐,提出了一种基于云-客户端协同的深度学习框架$C^3DRec$,用于在保护用户隐私的同时挖掘交互行为进行推荐。$C^3DRec$使用GDPR之前收集的数据在集中式服务器上构建全局推荐模型,并使用GDPR之后收集的数据直接在各个本地设备上微调模型。我们设计了两种模式来完成推荐,即拉模式,其中候选项目被拉到设备上,并送入本地模型,以获得推荐项目,推模式,其中本地模型的输出推到服务器上,并与候选项目相结合,以获得推荐项目。评估结果表明,$C^3DRec$实现了类似的推荐精度集中的方法,以最小的隐私问题。
2021-01-13 cs.CR cs.IR cs.LG
Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale
Meta Platforms, Inc.(Meta平台)
提出版本化延迟物化范式,通过归一化存储和即时序列重建消除数据冗余,支持超长用户交互历史训练,降低存储I/O开销并提升模型质量。
2026-06-12 cs.AI cs.DB cs.IR
FuXi-$α$: Scaling Recommendation Model with Feature Interaction Enhanced Transformer
针对现有序列推荐模型对时间、位置及隐式特征交互建模不足的问题,本文提出FuXi-α模型,通过自适应多通道自注意力和多阶段FFN增强特征交互,离线及华为音乐在线A/B测试均验证了其有效性。
2025-02-05 cs.IR
Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment
Meta Platforms, Inc.(Meta平台公司)
针对推荐系统中跨多界面部署基础模型的挑战,提出基础-专家范式,中央FM生成目标感知嵌入供特定界面专家模型使用,迁移率超现有方法,自2025年在Meta部署后实现线上指标提升。
2026-07-28 cs.AI cs.IR cs.LG
ViLLA-MMBench: A Unified Benchmark Suite for LLM-Augmented Multimodal Movie Recommendation
ViLLA-MMBench是一个基于MovieLens和MMTF-14K的LLM增强多模态电影推荐基准,通过LLM丰富文本并融合音视频特征,提升冷启动和覆盖率,支持多种融合与骨干模型,实现可复现评估。
2025-08-06 cs.IR
Bending the Scaling Law Curve in Large-Scale Recommendation Systems
Meta Recommendation Systems(Meta推荐系统)
ULTRA-HSTU通过创新的序列设计和稀疏注意机制,在大规模推荐系统中实现了显著的训练和推理效率提升,同时保持高质量的推荐性能。
2026-02-20 cs.IR cs.SI
A Survey on Generative Recommendation: Data, Model, and Tasks
Hefei University of Technology(合肥工业大学);National University of Singapore(新加坡国立大学)
本文综述生成推荐领域,探讨数据、模型与任务维度,分析生成模型在推荐中的应用与挑战,提出智能推荐助手的发展方向。
2026-05-09 cs.IR
Scaling Transformers for Discriminative Recommendation via Generative Pretraining
针对判别式推荐模型因数据稀疏导致的过拟合与扩展性差问题,提出GPSD框架,利用生成式预训练初始化并冻结稀疏参数,显著缩小泛化差距,实现Transformers随参数规模扩大的性能持续提升。
2025-08-11 cs.IR
Scaling Law of Large Sequential Recommendation Models
本文研究大型序列推荐模型的缩放定律,在纯基于ID的设定下将模型扩展至0.8B参数,实证表明缩放定律在数据受限场景下依然成立,并能大幅提升冷启动等挑战性任务的性能。
2023-11-19 cs.IR
TransRetrieval: Scaling Up Transformer-Based Retrieval for Industrial Recommendation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团)
针对工业推荐检索的特征异质性问题,提出TransRetrieval框架,通过加权平均聚合、目标token压缩等技术实现高效缩放,在数据集和基准测试中取得召回率提升,线上测试也实现收益增长。
2026-08-27 cs.IR
Scaling Down, Serving Fast: Compressing and Deploying Efficient LLMs for Recommendation Systems
LinkedIn;LinkedIn LLM Efficiency Core Team(LinkedIn LLM效率核心团队);MIT(麻省理工学院)
本文提出通过知识蒸馏和结构化剪枝、量化压缩技术训练和部署小型语言模型,在降低成本和延迟的同时保持性能,并在专业社交网络推荐系统中验证了其有效性。
2025-10-26 cs.IR cs.LG
Adversarial Counterfactual Learning and Evaluation for Recommender System
Walmart Labs(沃尔玛实验室)
推荐系统的反馈数据往往受到什么是暴露给用户,然而,大多数学习和评价方法不占潜在的曝光机制。我们首先在理论上表明,应用监督学习来检测用户的偏好可能最终与曝光信息的情况下不一致的结果。来自因果推理的反事实倾向加权方法可以解释暴露机制;然而,反馈数据的部分观察性质可能导致可识别性问题。我们提出了一个原则性的解决方案,通过引入极大极小经验风险公式。我们表明,放松的对偶问题可以转换为两个推荐模型之间的对抗性游戏,其中候选模型的对手表征了潜在的曝光机制。我们提供了学习范围,并进行了广泛的模拟研究,以说明和证明所提出的方法在广泛的推荐设置,从而阐明了所提出的方法的各种好处的见解。
2020-11-08 cs.IR cs.LG stat.ML
On the Accuracy Limits of Sequential Recommender Systems: An Entropy-Based Approach
Tsinghua University(清华大学)
本文提出基于熵的无训练方法,用于量化序列推荐的精度极限,通过实验验证其在不同数据集上的有效性,并支持用户分组诊断和训练数据选择。
2026-04-14 cs.IR