Tokens are All You Need: Dual-purpose Semantic IDs for Achieving LLM-Level I/O Efficiency in recommendation systems
Google(谷歌);Google Deepmind(谷歌DeepMind)
研究针对大规模推荐系统的“内存墙”瓶颈,受计算机视觉数据压缩启发,提出双用途语义ID,用分层量化将连续嵌入压缩为离散语义ID执行协作身份和内容重建角色,经实验验证该方法能有效减少系统开销和数据占用,实现高效推荐。
2026-07-29 cs.AI cs.IR cs.LG
VaLiDRec: Variable-Length LLM-Aligned Semantic IDs for Generative Recommendation
University of Queensland(昆士兰大学);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);Griffith University(格里菲斯大学)
研究针对生成式推荐中固定长度语义标识符的问题,提出VaLiDRec框架,通过令牌重要性估计等构建可变长度、大语言模型对齐语义标识符,纳入图感知软提示建模用户偏好,实验证明其性能优越,为生成式推荐提供新范式。
2026-07-29 cs.AI cs.IR
Deep Interest Mining for Intent-Enriched Semantic IDs in Multimodal Generative Recommendation
Amazon(亚马逊)
提出DeepInterestGR框架,通过视觉线索和意图描述符丰富量化前的物品表示,并结合相关性门控语义奖励,提升基于语义ID的生成式推荐性能。
2026-06-01 cs.AI cs.IR
Semantic IDs for Joint Generative Search and Recommendation
本文研究了在统一生成式模型中构建同时适用于搜索和推荐的Semantic IDs的方法,发现使用在搜索和推荐任务上微调的双编码器模型获取物品嵌入并构建统一语义ID空间,能在两项任务中实现有效平衡和优异性能。
2025-08-14 cs.IR
The Best of the Two Worlds: Harmonizing Semantic and Hash IDs for Sequential Recommendation
City University of Hong Kong(香港城市大学);Xi'an Jiaotong University(西安交通大学);Jilin University(吉林大学);Independent Researcher(独立研究者);Tsinghua University(清华大学)
针对序列推荐中头部和尾部物品性能权衡问题,提出H2Rec框架,通过双分支架构协调语义ID和哈希ID,并采用双级对齐策略实现知识迁移,在公开基准和商业平台上取得更好平衡。
2026-06-26 cs.AI cs.IR
Generating Long Semantic IDs in Parallel for Recommendation
针对生成式语义ID推荐模型推理效率低且ID长度受限的问题,本文提出RPG框架,通过并行生成无序长语义ID并引入图引导解码,在NDCG@10上平均提升12.6%并改善推理效率。
2025-06-06 cs.IR
Semantic IDs for Music Recommendation
SiriusXM Radio Inc.(SiriusXM广播公司)
本文研究下一项目推荐中逐项嵌入参数过大的问题,提出使用基于内容的共享 semantic IDs,以减小模型规模并提升音乐推荐的准确性与多样性,且在两个数据集及在线 A/B 测试中验证有效。
2025-07-24 cs.IR cs.LG
Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations
Google(谷歌);Google DeepMind(谷歌DeepMind)
针对推荐系统中随机哈希ID导致相似物品泛化困难的问题,提出使用RQ-VAE从内容嵌入学习的Semantic ID替代随机ID,通过哈希子片段适应工业级排序模型,在不牺牲整体质量下提升长尾物品泛化。
2024-05-30 cs.IR cs.LG
Empowering Large Language Model for Sequential Recommendation via Multimodal Embeddings and Semantic IDs
City University of Hong Kong(香港城市大学);Tencent Inc.(腾讯公司);Tsinghua University(清华大学)
针对现有基于大语言模型的序列推荐方法存在的嵌入坍缩和灾难性遗忘问题,提出融合多模态与量化嵌入的MME-SID框架,搭配多模态残差量化变分自编码器及LoRA高效微调,在三个公开数据集上取得了更优的推荐性能。
2025-09-02 cs.AI cs.IR
DOS: Dual-Flow Orthogonal Semantic IDs for Recommendation in Meituan
Meituan(美团)
DOS通过双流正交语义ID方法提升推荐系统效果,有效解决语义空间对齐与量化损失问题。
2026-02-04 cs.IR
Beyond Item IDs: Scaling Short-Form-Video Recommendation via Semantic-Native Long Sequence Modeling
Google Mountain View, USA(谷歌山景城,美国)
针对短视频推荐中序列长度受限于视频ID语义稀疏性和Transformer二次复杂度的问题,提出采用语义ID和全局感知压缩Transformer,实现十亿用户规模的超长行为序列建模,显著降低内存和计算开销,在线实验提升用户满意度和内容消费。
2026-05-04 cs.AI cs.IR cs.LG
Personalized Transformer for Explainable Recommendation
Hong Kong Baptist University(香港浸会大学);Rutgers University(罗格斯大学)
自然语言生成的个性化在诸如可解释的推荐、评论摘要和对话系统等大量任务中起着至关重要的作用。在这些任务中,用户和项目ID是个性化的重要标识符。Transformer被证明具有强大的语言建模能力,然而,它不是个性化的,并且不能利用用户和项目ID,因为ID标记甚至与单词不在相同的语义空间中。针对这一问题,本文提出了一种用于解释性推荐的个性化Transformer(PETER),并在此基础上设计了一个简单有效的学习目标,利用识别码预测目标解释中的单词,从而赋予识别码以语言学意义,实现个性化的Transformer。除了生成解释,PETER还可以提出建议,这使其成为整个解释-解释管道的统一模型。大量的实验表明,我们的小型未经预训练的模型在生成任务上的有效性和效率方面优于微调的BERT,这突出了我们设计的重要性和良好的实用性。
2021-06-05 cs.AI cs.CL cs.IR
From IDs to Semantics: A Generative Framework for Cross-Domain Recommendation with Adaptive Semantic Tokenization
Xi’an Jiaotong–Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学)
针对跨域推荐中ID分词困境、域专属建模不足的问题,本文提出生成式框架GenCDR,通过自适应分词、跨域自回归建模与域感知前缀树实现跨域推荐,实验证明其性能优于现有最优基线。
2025-11-16 cs.IR
From Head to Tail: Asymmetric Knowledge Transfer in Long-tail Recommendation with Generative Semantic IDs
Alibaba Group(阿里巴巴集团);Beijing University(北京大学)
针对长尾推荐中的数据不平衡问题,提出AKT-Rec框架,利用多模态大模型生成语义ID,通过聚类引导的自适应嵌入和层次化特征聚合实现从头到尾的非对称知识迁移,在工业数据集和在线A/B测试中显著提升性能。
2026-05-22 cs.IR
HASTE: Hierarchical and Attribute-aware Supervision for Generative Recommendation
Glance
本文提出HASTE框架,通过分层损失和属性特定损失优化生成式推荐,在多领域数据集上提升了推荐性能,使训练收敛速度约提升1倍。
2026-10-14 cs.AI cs.IR cs.LG
Tlow: Flow-based Item Tokenizer for Recommendation
Tsinghua University(清华大学);Tencent Inc.(腾讯公司);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
该研究提出基于流的物品分词器Tlow,解决传统推荐模型的参数过多与冷启动问题,经实验验证其能提升推荐性能,在微信多模态检索任务中使全局用户CTR提升10.32%、新物品提升11.64%。
2026-08-26 cs.AI cs.IR
How to Index Item IDs for Recommendation Foundation Models
Rutgers University(罗格斯大学)
本文针对推荐基础模型的物品标识问题,以 P5 为骨干分析简单索引缺陷,并提出顺序、协同、语义与混合四类索引方法,验证其可提升 LLM 推荐效果。
2023-09-26 cs.AI cs.CL cs.IR
PushDualGen: Enabling LLMs to Generate Semantic IDs with Interpretable Copy for Industrial Push Recommendation
Kuaishou Technology(快手科技)
针对生成式推荐模型黑箱化阻碍部署且推理成本高的问题,提出轻量模型PushDualGen,生成语义ID的同时生成可跳过的解释副本,已部署于快手推送系统,使有效播放率升8.50%、不满率降37.70%,优化了内容生态。
2026-08-11 cs.IR
Pctx: Tokenizing Personalized Context for Generative Recommendation
Zhejiang University(浙江大学);University of California, San Diego(加州大学圣地亚哥分校);Singapore Management University(新加坡管理大学)
针对生成式推荐中静态分词忽略用户个性化视角的问题,提出个性化上下文感知分词器Pctx,将用户历史交互融入语义ID生成,在三个数据集上NDCG@10提升最高达11.44%。
2025-10-24 cs.AI cs.CL cs.IR
Decoupled Residual Quantization for Robust Semantic IDs in Recommendation
Shopee
本文提出解耦残差量化(DRQ)方法,通过分离连续几何重建与离散分布匹配,并建立诊断框架(期望码字重叠和有效码本容量),以解决语义ID生成中码本利用不足、决策边界不稳定和嵌入空间几何失真等问题。
2026-06-01 cs.IR
TopoGR: Revealing and Preserving Latent Structure of Semantic ID in Generative Recommendation
Xidian University(西安电子科技大学);Alibaba(阿里巴巴);University of Science and Technology of China(中国科学技术大学)
研究基于语义ID的生成式推荐中忽视语义ID空间拓扑结构的问题,提出TopoGR框架,利用可位分解语义ID的汉明拓扑结构,在输入、监督、推理阶段提升性能,实验证明其优于现有基线。
2026-07-29 cs.AI cs.IR
From Interests to Semantic IDs: Retrieval-Grounded Credit Assignment for Generative Recommendation
Emory University(埃默里大学);Microsoft(微软);Cornell University(康奈尔大学)
针对生成式推荐中语义ID奖励稀疏导致的信用分配缺口,提出检索归因的查询归因方法,将轨迹分解为历史、兴趣假设和最终ID,用冻结检索器逐假设验证并分配跨度级信用,在三个数据集上提升推荐性能。
2026-09-25 cs.AI cs.IR
FusID: Modality-Fused Semantic IDs for Generative Music Recommendation
University of California San Diego(加州大学圣地亚哥分校)
FusID通过多模态融合、表示学习和产品量化技术,解决生成音乐推荐中跨模态交互和ID冲突问题,提升推荐准确率。
2026-01-13 cs.IR cs.SD eess.AS
From Token Generation to Item Ranking: Direct Generative Recommendation with Semantic IDs
Central South University(中南大学);Hong Kong Polytechnic University(香港理工大学);National University of Defense Technology(国防科技大学);City University of Macau(澳门城市大学);Griffith University(格里菲斯大学)
SimGR通过在共享潜在空间中直接建模物品层面偏好分布,缓解了基于LLM推荐中生成解码的偏差问题。
2026-08-18 cs.IR
E4SRec: An Elegant Effective Efficient Extensible Solution of Large Language Models for Sequential Recommendation
Tsinghua Univerisity(清华大学);Huawei Cloud BU(华为云事业部);City Univerisity of Hong Kong(香港城市大学)
针对LLM难以建模推荐ID且自然语言生成方案低效、易越界的问题,本文提出E4SRec,以ID序列输入并一次前向生成候选内完整排序,仅训练少量可插拔参数。
2023-12-05 cs.AI cs.IR
ID-Agnostic User Behavior Pre-training for Sequential Recommendation
近年来,顺序推荐成为一个被广泛研究的课题。现有的研究主要是设计有效的神经网络结构来基于项目ID对用户行为序列进行建模。然而,这种方法高度依赖于用户-项目交互数据,而忽略了用户偏好的相似项目之间的属性或特征级相关性。鉴于这些问题,我们提出IDA-SR,这代表身份不可知的顺序推荐用户行为预训练方法。IDA-SR不是显式地学习项ID的表示,而是直接从富文本信息中学习项表示。为了弥补文本语义和序列用户行为之间的差距,我们使用预训练的语言模型作为文本编码器,并对序列用户行为进行预训练架构。通过这种方式,项目文本可以直接用于顺序推荐,而不依赖于项目ID。大量的实验表明,所提出的方法可以实现可比的结果时,只使用ID不可知的项目表示,并表现得比基线时,与ID信息进行微调时,有很大的利润。
2022-06-06 cs.IR
Efficient Item ID Generation for Large-Scale LLM-based Recommendation
针对大规模物品ID给基于大语言模型的推荐带来的推理瓶颈,该研究打破主流认知,将物品ID作为LLM一等公民,通过训练与推理改进实现单token物品表示与单步解码,在Amazon数据集上提升推荐质量的同时将推理效率提升5-14倍。
2025-09-03 cs.IR
Beyond Item Order: Temporal Gap Tokenization for Generative Recommendation with Semantic IDs
University of New South Wales(新南威尔士大学);Macquarie University(麦考瑞大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61实验室)
研究基于语义ID的生成式推荐,提出ChronoSID框架。从互补视角注入时间信号,一是用时间感知掩码自编码器,二是离散时间间隔为令牌与语义ID交织。实验表明其优于基线,消融研究验证组件贡献。
2026-07-07 cs.IR
Taiji: Pareto Optimal Policy Optimization with Semantics-IDs Trade-off for Industrial LLM-Enhanced Recommendation
Kuaishou Technology(快手科技);Unaffiliated(无隶属)
提出Taiji框架,通过逆向工程推理和开放拒绝采样生成高质量CoT数据,并采用帕累托最优策略优化(POPO)自适应调整跨域奖励权重,实现LLM语义知识与推荐ID特征的帕累托最优权衡,在快手广告平台部署后服务超4亿日活用户。
2026-06-02 cs.AI cs.CL cs.IR
Once Generated, Ranked: End-to-End Generative Slate Recommendation with Unified Semantic-Collaborative IDs
Kuaishou Technology(快手科技);Peking University(北京大学);Nanjing University(南京大学)
研究针对现有生成式 slate 推荐的缺陷,提出 OGR 框架,引入 TUSID 与 SPA 方法,在离线实验和快手在线测试中均取得显著性能提升。
2026-08-19 cs.IR cs.SI
Purely Semantic Indexing for LLM-based Generative Recommendation and Retrieval
本文针对生成式推荐与检索中的语义ID冲突问题,提出纯语义索引方法,通过穷举候选匹配和递归残差搜索实现唯一ID分配,在不引入非语义token的情况下提升整体及冷启动性能。
2025-09-19 cs.CL cs.IR
Personalized Prompt Learning for Explainable Recommendation
Hong Kong Baptist University(香港浸会大学);Rutgers University(罗格斯大学)
提供用户可理解的解释来证明推荐可以帮助用户更好地理解推荐项目,增加系统的易用性,并获得用户的信任。一种典型的实现方法是自然语言生成。然而,以前的工作大多采用递归神经网络来满足目的,留下潜在的更有效的预训练Transformer模型未被探索。事实上,作为推荐系统中重要的标识符,用户ID和项目ID作为预先训练好的模型中的单词,本质上处于不同的语义空间,因此如何有效地将ID融合到这些模型中成为一个关键问题。受提示学习最新进展的启发,我们提出了两种解决方案:找到替代词来表示ID(称为离散提示学习),并直接将ID向量输入到预先训练的模型(称为连续提示学习)。在后一种情况下,ID向量是随机初始化的,但模型是在大型语料库上预先训练的,因此它们实际上处于不同的学习阶段。为了弥补这一差距,我们进一步提出了两种训练策略:顺序调优和推荐正则化。大量的实验表明,我们的持续提示学习方法配备的训练策略一致优于强基线上的三个数据集的可解释的建议。
2023-01-13 cs.AI cs.CL cs.IR
Learning to Collide: Recommendation System Model Compression with Learned Hash Functions
深度推荐模型的一个关键特征是其嵌入表的巨大内存需求。这些嵌入表通常可以达到数百千兆字节,这增加了硬件要求和培训成本。一种减少模型大小的常用技术是将所有分类变量标识符(id)散列到一个更小的空间中。这种散列减少了必须存储在嵌入表中的唯一表示的数量;从而减小了它的大小。然而,这种方法会在语义不同的id之间引入冲突,从而降低模型质量。我们引入了另一种方法,学习哈希函数,它学习了一个新的映射函数,鼓励语义相似的id之间的冲突。我们从历史数据和嵌入访问模式中获得了这种学习映射。我们在一个生产模型上对这种技术进行了实验,发现由访问频率和学习的低维嵌入相结合的映射是最有效的。我们证明了一个小的改进相对于散列技巧和其他碰撞相关的压缩技术。这是正在进行的工作,探索分类id冲突对推荐模型质量的影响,以及如何控制这些冲突以提高模型性能。
2022-03-28 cs.AI cs.DC cs.IR
Bridging the Structural Gap: Adapting Autoregressive Generation for Recommendation
Tencent(腾讯);Shenzhen University(深圳大学);Sun Yat-sen University(中山大学)
研究针对生成式推荐存在的结构差距问题,提出BARGE方法,通过项目上下文感知注意力恢复项目级结构,利用分层路径重排和双路径解码抑制语义漂移,实验表明该方法推荐性能优越,在工业规模推荐中有实用价值。
2026-08-21 cs.IR
Generative Recommendation with Semantic IDs: A Practitioner's Handbook
针对生成式推荐研究缺乏统一框架、方案难以对比的问题,本研究提出模块化开源框架GRID,通过系统实验发现被忽视的架构组件对性能影响显著,为该领域研究提供基准支撑与新见解。
2025-07-29 cs.IR
Beyond Fixed Depths and Widths: Optimizing Textual Decoding Tries in LLM-based Generative Recommendation
Michigan State University(密歇根州立大学);Snap Inc.(Snap公司)
研究基于大语言模型的生成式推荐中解码树结构问题,提出BONSAI框架,从项目元数据提取信息丰富的词,用最小集覆盖公式构建满足自适应ID长度和约束分支因子属性的解码树,实验显示比基线有高达21.6%的相对改进。
2026-07-21 cs.IR
Generative Next POI Recommendation with Semantic ID
针对现有生成式POI推荐使用随机ID缺乏语义的问题,提出GNPR-SID,通过语义ID构建和生成式推荐模块,利用残差量化变分自编码器及多样性损失,在三个基准数据集上最高提升16%的推荐准确性。
2025-06-18 cs.IR
BBQRec: Behavior-Bind Quantization for Multi-Modal Sequential Recommendation
针对多模态序列推荐中碎片化量化和语义ID过度依赖导致的跨模态语义割裂问题,提出BBQRec方法,通过行为-语义对比码本对齐和离散化相似度重加权机制,在四个基准上取得优于现有方法的推荐性能。
2025-04-09 cs.IR
AutoAssign+: Automatic Shared Embedding Assignment in Streaming Recommendation
City University of Hong Kong(香港城市大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出强化学习框架AutoAssign+,通过Identity Agent动态共享、保留或消除ID嵌入,以缓解流式推荐冷启动并降低约20–30%内存。
2023-08-14 cs.IR cs.LG
Generative Sequential Recommendation with GPTRec
本文提出GPTRec,一种基于GPT-2的生成式序列推荐模型,通过SVD Tokenisation解决大词汇量问题,并引入Next-K策略生成相互依赖的推荐列表,在MovieLens-1M上达到与SASRec相当的质量且嵌入表减少40%。
2023-06-19 cs.IR
Multi-Aspect Cross-modal Quantization for Generative Recommendation
MACRec通过多方面跨模态量化方法,提升生成性推荐中多模态信息利用和语义ID学习的性能。
2025-11-22 cs.AI cs.IR
Pseudo Session-Based Recommendation with Hierarchical Embedding and Session Attributes
The University of Electro-Communications(电气通信大学);The Japan Research Institute Limited(日本综合研究所)
针对无用户ID和会话ID的电商购买数据,本文定义伪会话并提出CoHHGN+模型,利用协同引导异构图与全局图网络提升会话推荐性能。
2023-08-06 cs.IR cs.LG
ULMRec: User-centric Large Language Model for Sequential Recommendation
针对 LLM 序列推荐难以捕捉用户级个性化偏好的问题,本文提出 ULMRec,通过标题语义化、用户索引和偏好对齐调优融合用户偏好,并在两个公开数据集上显著优于现有方法。
2024-12-07 cs.IR
RAGR: Review-Augmented Generative Recommendation
Dalian University of Technology(大连理工大学);City University of Hong Kong(香港城市大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出RAGR,一种将评论反馈直接融入生成用户序列的新型生成推荐框架,通过混合行为-语义序列和基于直接偏好优化的任务生成对齐策略,提升推荐性能。
2026-06-16 cs.IR
Unleashing the Native Recommendation Potential: LLM-Based Generative Recommendation via Structured Term Identifiers
Kuaishou Inc.(快手公司)
本文提出GRLM框架,通过结构化术语标识符提升生成推荐系统的性能和通用性。
2026-01-11 cs.IR
Progressive Semantic Residual Quantization for Multimodal-Joint Interest Modeling in Music Recommendation
针对音乐推荐中语义ID的模态内语义退化和模态间建模差距问题,提出渐进式语义残差量化(PSRQ)生成模态特定与联合语义ID,并设计多码本交叉注意力(MCCA)网络建模多模态兴趣,实验及线上A/B测试验证了其优越性与工业实用价值。
2025-08-28 cs.IR
Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations
Baidu Inc.(百度公司)
针对生成式推荐中阶段分离导致的信息损失问题,提出COBRA框架,通过级联交替生成稀疏ID与稠密向量并结合BeamFusion策略,在真实广告平台上显著提升了推荐效果。
2025-03-04 cs.AI cs.IR
When Transformers Meet Recommenders: Integrating Self-Attentive Sequential Recommendation with Fine-Tuned LLMs
University of Exeter(埃克塞特大学)
本研究提出SASRecLLM框架,融合SASRec协同编码器与LoRA微调LLM,通过映射层对齐和三种训练策略,在冷热启动场景中显著提升推荐性能。
2025-07-08 cs.AI cs.IR
PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations
Google DeepMind(谷歌DeepMind)
PLUM框架通过语义ID分词、持续预训练和生成式检索微调,将预训练语言模型适配于工业级推荐,在视频推荐数据集上显著优于生产模型,并成功部署于YouTube。
2025-10-09 cs.IR cs.LG
When Search Meets Recommendation: Learning Disentangled Search Representation for Recommendation
Renmin University of China(中国人民大学);Kuaishou Technology Co., Ltd.(快手科技有限公司)
针对搜索与推荐(S&R)用户意图差异被忽略的问题,提出SESRec框架,通过对比学习解耦S&R行为中的相似与不相似表示,并利用注意力机制提取用户兴趣,在多数据集上显著优于现有模型。
2023-05-18 cs.AI cs.IR
Refine-POI: Reinforcement Fine-Tuned Large Language Models for Next Point-of-Interest Recommendation
Refine-POI通过拓扑感知ID生成和强化微调,解决LLMs在POI推荐中的语义连续性和top-k推荐问题,提升推荐准确性和可解释性。
2026-08-28 cs.AI cs.IR cs.LG
Enhancing Embedding Representation Stability in Recommendation Systems with Semantic ID
Columbia University(哥伦比亚大学);Meta
本文提出 Semantic ID prefix ngram token 参数化技术,通过基于内容 Embedding 的层次化聚类创建有意义的语义碰撞,解决了推荐系统中 ID 模型的 Embedding 表示不稳定问题,并在 Meta 生产系统中取得显著性能提升。
2025-04-02 cs.AI cs.IR
DAS: Dual-Aligned Semantic IDs Empowered Industrial Recommender System
Kuaishou Technology(快手科技)
DAS通过双对齐语义ID方法,提升推荐系统中多模态内容整合与协同信号对齐效率,有效解决信息损失与灵活性问题。
2025-11-24 cs.IR
MOTOR: Learning ID-free Item Representation with Token Crossing for Embedding-based Multimodal Recommendation
Shanghai Jiao Tong University(上海交通大学);Xiaohongshu Inc.(小红书)
提出MOTOR框架,用可学习共享多模态令牌替代物品ID嵌入,通过产品量化和令牌交叉网络实现语义共享与冷启动改进。
2026-06-11 cs.IR