MaTrRec: Uniting Mamba and Transformer for Sequential Recommendation
针对Mamba在短序列推荐中效果受限及冷启动问题，提出结合Mamba与Transformer优势的MaTrRec模型，在长短序列上均提升预测能力并改善冷启动，在五个数据集上达到SOTA。
2024-07-27 cs.IR
Position-aware Graph Transformer for Recommendation
提出PGTR框架，通过位置编码将节点位置和结构信息融入图Transformer，结合Transformer的全局建模与GCN的局部特征提取，有效捕获长程协同过滤信号，提升推荐性能并增强对稀疏性和噪声的鲁棒性。
2024-12-25 cs.IR
Curriculum Pre-Training Heterogeneous Subgraph Transformer for Top-$N$ Recommendation
由于数据异构建模的灵活性，异构信息网络（HIN）已经被采用来表征被称为\emph{HIN-based recommendation}的顶级$N$推荐系统中的复杂和异构辅助数据。HIN的特点是复杂的，异构的数据关系，包含各种信息，可能不相关的推荐任务。因此，有效地利用来自HIN的有用信息来提高推荐性能是具有挑战性的。为了解决上述问题，我们提出了一个基于课程预训练的异构子图Transformer（称为\emph{CHEST}）与新的\emph{data characterization}，\emph{representation model}和\emph{learning algorithm}。具体来说，我们考虑从HIN中提取有用的信息来组成特定于交互的异构子图，包含足够的和相关的上下文信息用于推荐。然后，我们通过一个异构的子图Transformer，在那里我们编码的子图与多槽序列表示的子图中捕获丰富的语义（\eg图结构和路径语义）。此外，我们设计了一个课程预训练策略，提供了一个初级到高级的学习过程，我们顺利地转移基本语义HIN建模用户-项目交互关系。在三个真实世界的数据集上进行的大量实验表明，我们提出的方法优于一些有竞争力的基线，特别是当只有有限的训练数据。
2021-06-12 cs.IR
Online Distillation-enhanced Multi-modal Transformer for Sequential Recommendation
本文针对多模态序列推荐提出模型无关的在线蒸馏增强多模态Transformer（ODMT）框架，通过ID感知多模态Transformer和在线蒸馏策略促进多源特征交互与相互学习，在流媒体和电商数据集上相比基线模型性能提升约10%。
2023-08-14 cs.IR
Attention over Self-attention:Intention-aware Re-ranking with Dynamic Transformer Encoders for Recommendation
重新排序模型细化了由先前的全局排序模型生成的项目推荐列表，这已经证明了它们在提高推荐质量方面的有效性。然而，大多数现有的重排序解决方案只学习隐式反馈与共享的预测模型，这令人遗憾地忽略了不同的用户意图下的项目间的关系。在本文中，我们提出了一种新的意图感知重排序模型与动态Transformer编码器（RAISE），旨在执行用户特定的预测，为每个单独的用户的基础上，她的意图。具体来说，我们首先提出挖掘潜在的用户意图从文本评论与意图发现模块（IDM）。通过区分评论信息的重要性与共同注意力网络，潜在的用户意图可以显式地建模为每个用户项目对。然后，我们引入了一个动态的Transformer编码器（DTE），以捕捉用户特定的项目之间的项目候选人无缝地容纳通过IDM学习潜在的用户意图之间的关系。因此，人们不仅可以实现更个性化的推荐，而且还可以通过在现有的推荐引擎上构建RAISE来获得相应的解释。在4个公开数据集上的实验结果表明，本文提出的RAISE算法在Precision@5、MAP@5和NDCG@5下的相对性能分别提高了13.95%、9.60%和13.03%。
2023-03-12 cs.IR
HeterRec: Heterogeneous Information Transformer for Scalable Sequential Recommendation
针对TSR模型忽略物品侧异构特征的问题，提出含HTFL和HCT的HeterRec模型，通过物品异构令牌化、分层因果特征提取及LMP损失优化，在离线和在线数据集上实现更优性能。
2025-04-19 cs.IR
Future-Conditioned Recommendations with Multi-Objective Controllable Decision Transformer
针对推荐系统未来影响难评估、多目标易冲突及迭代成本高的问题，提出多目标可控决策Transformer模型MocDT，通过离线学习目标到物品序列的映射，实现推理阶段按需生成推荐且性能具竞争力。
2025-01-13 cs.IR
RLT4Rec: Reinforcement Learning Transformer for User Cold Start and Item Recommendation
该研究提出新型序列Transformer强化学习架构RLT4Rec，无需输入状态观测即可在统一框架内处理新老用户推荐，自动平衡探索与利用，训练高效鲁棒，在多项物品推荐任务中表现优异。
2024-12-10 cs.IR
HHFT: Hierarchical Heterogeneous Feature Transformer for Recommendation Systems
HHFT通过分层异构特征变换器提升推荐系统CTR预测性能，实现AUC提升0.4%并提高GMV
2025-12-14 cs.IR
Knowledge Enhanced Multi-intent Transformer Network for Recommendation
针对知识图谱融入推荐系统带来的多意图和知识噪声问题，提出知识增强多意图Transformer网络（KGTN），通过全局意图建模和知识对比去噪模块学习意图感知表示，在基准数据集和阿里在线A/B测试中均取得优于现有方法的效果。
2024-05-31 cs.IR
TADT-CSA: Temporal Advantage Decision Transformer with Contrastive State Abstraction for Generative Recommendation
本文提出TADT-CSA模型，通过引入时间优势信号与对比状态抽象模块改进决策Transformer，以解决轨迹拼接和状态表示学习问题，并在公开数据集及在线推荐系统中验证了其优于基线方法的推荐性能。
2025-08-17 cs.IR
GrIT: Group Informed Transformer for Sequential Recommendation
University of Delhi（德里大学）；National Institute of Technology, Warangal（瓦朗加尔国家技术学院）
GrIT通过显式建模时间演变的群体特征与个体用户历史，提升序列推荐的准确性与上下文感知能力。
2026-02-23 cs.IR
Markovian Pre-Trained Transformer for Next-Item Recommendation
East China Normal University（华东师范大学）；Tsinghua University（清华大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出马尔可夫预训练变换器，通过预训练马尔可夫链实现下一项推荐的高性能，利用序列建模能力提升推荐效果。
2026-01-13 cs.IR
Maximum-Entropy Regularized Decision Transformer with Reward Relabelling for Dynamic Recommendation
本文提出EDT4Rec方法，通过最大熵增强探索策略和奖励重标记技术，解决了Decision Transformer在推荐中缺乏轨迹拼接能力和在线应用效果有限的问题，并在六个离线数据集和在线模拟器上验证了其有效性。
2024-06-02 cs.IR
Style4Rec: Enhancing Transformer-based E-commerce Recommendation Systems with Style and Shopping Cart Information
National Taiwan University（台湾大学）
针对现有基于Transformer的电商序列推荐未有效利用商品风格与购物车数据的问题，提出Style4Rec系统，利用两类信息优化推荐，在合作企业数据集上多项指标显著优于基准，推动了个性化电商推荐发展。
2025-01-16 cs.AI cs.IR
User Retention-oriented Recommendation with Decision Transformer
利用强化学习~（RL）提高用户留存率因其在提高用户参与度方面的重要性而受到越来越多的关注。然而，由于试错搜索的要求，从头开始训练RL策略而不伤害用户的体验是不可避免的。此外，离线的方法，旨在优化的政策，没有在线的互动，遭受臭名昭著的稳定性问题的价值估计或无界方差的反事实的政策评估。为此，我们建议使用Decision Transformer~（DT）优化用户保留，通过将RL转换为自回归问题来避免离线困难。然而，在推荐中部署DT是一个不平凡的问题，因为存在以下挑战：（1）对数值奖励值建模的不足;（2）策略学习和推荐生成之间的数据差异;（3）不可靠的离线性能评估。因此，在这项工作中，我们提出了一系列解决暴露问题的战略。我们首先阐明了一个有效的奖励提示信息的Meta嵌入的加权聚合。然后，我们赋予一个加权的对比学习方法，以解决训练和推理之间的差异。此外，我们设计了两个强大的离线指标来衡量用户保留。最后，在基准数据集上的显著改善证明了所提出的方法的优越性。
2023-03-11 cs.IR
Knowledge-enhanced Session-based Recommendation with Temporal Transformer
最近的研究在基于会话的推荐方面取得了令人印象深刻的进展。然而，信息，如项目知识和点击时间间隔，这可能是潜在的利用，以提高性能，仍然在很大程度上未被利用。在本文中，我们提出了一个框架，称为知识增强的基于会话的建议与时间Transformer（KSTT），将这些信息时，学习项目和会话嵌入。具体地说，知识图谱，它模型的上下文之间的项目在一个会话及其相应的属性，提出了通过图表示学习获得项目嵌入。我们引入时间间隔嵌入来表示需要预测的项目和历史点击之间的时间模式，并使用它来代替原始Transformer（称为时间Transformer）中的位置嵌入。会话中的项目嵌入通过时态Transformer网络进行传递，以获得会话嵌入，并在此基础上进行最终推荐。大量的实验表明，我们的模型在四个基准数据集上的性能优于最先进的基线。
2021-12-16 cs.IR cs.SI
Rankformer: A Graph Transformer for Recommendation based on Ranking Objective
针对推荐系统模型架构常忽视个性化排序核心特性的问题，提出受排序目标梯度启发的图Transformer推荐模型Rankformer，搭配线性复杂度加速算法，实验证明其性能优于现有最优方法。
2025-03-21 cs.IR
Boundary-Aware Multi-Behavior Dynamic Graph Transformer for Sequential Recommendation
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
本文提出一种边界感知的多行为动态图变压器模型，通过动态优化图结构和用户行为序列，提升序列推荐的性能。
2026-02-11 cs.IR
Behavior Sequence Transformer for E-commerce Recommendation in Alibaba
Alibaba Search\&Recommendation Group Beijing\&Hangzhou China；Alibaba Search\&Recommendation Group
基于深度学习的方法已广泛用于工业推荐系统（RS）中。以前的作品采用嵌入和MLP范式：原始特征嵌入到低维向量中，然后将其输入到MLP中进行最终推荐。然而，大多数这些作品只是连接不同的功能，忽略了用户行为的连续性。在本文中，我们提出使用强大的Transformer模型来捕获用户的行为序列的序列信号在阿里巴巴的推荐。实验结果证明了该模型的优越性，并将其部署在淘宝网上，与两个基线相比，在线点击率（CTR）得到了显著提高。
2019-05-15 cs.IR cs.LG
Attention Calibration for Transformer-based Sequential Recommendation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）；Upstage；University of Technology Sydney（悉尼科技大学）；Yale University（耶鲁大学）
针对Transformer序列推荐中注意力权重分配不准确的问题，提出AC-TSR框架，通过空间校准器和对抗校准器校准注意力，提升推荐性能。
2026-10-06 cs.IR
Hierarchical Transformer with Spatio-Temporal Context Aggregation for Next Point-of-Interest Recommendation
针对用户移动高度变异和个性化导致下一兴趣点推荐困难的问题，提出STAR-HiT模型，通过堆叠分层编码器递归编码时空上下文并自适应捕获多粒度子序列的潜在分层结构，在三个公共数据集上取得优越性能且具备可解释性。
2022-09-04 cs.IR
TransRetrieval: Scaling Up Transformer-Based Retrieval for Industrial Recommendation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）
针对工业推荐检索的特征异质性问题，提出TransRetrieval框架，通过加权平均聚合、目标token压缩等技术实现高效缩放，在数据集和基准测试中取得召回率提升，线上测试也实现收益增长。
2026-08-27 cs.IR
Graph Transformer for Recommendation
提出融合生成式自监督学习与图 Transformer 的 GFormer，通过理据感知、任务自适应不变理据化实现选择性图增强，并在多数据集上稳定优于基线。
2023-06-04 cs.IR
SIGformer: Sign-aware Graph Transformer for Recommendation
针对现有符号图推荐方法分别处理正负反馈且信息提取能力不足的问题，本文提出SIGformer，通过Transformer架构和两种捕捉谱特性与路径模式的位置编码，实现更全面的符号图推荐。
2024-05-06 cs.IR
Device-Cloud Collaborative Correction for On-Device Recommendation
针对端上推荐中 Transformer 开销高的问题，提出端云协同 CoCorrRec，通过 SCN 与 GCN 校正参数，以更少参数和更低 FLOPs 取得更优性能。
2025-06-15 cs.IR
Scaling Transformers for Discriminative Recommendation via Generative Pretraining
针对判别式推荐模型因数据稀疏导致的过拟合与扩展性差问题，提出GPSD框架，利用生成式预训练初始化并冻结稀疏参数，显著缩小泛化差距，实现Transformers随参数规模扩大的性能持续提升。
2025-08-11 cs.IR
LSA: A Long-Short-term Aspect Interest Transformer for Aspect-Based Recommendation
Beijing-Dublin International College, Beijing University of Technology（北京-都柏林国际学院，北京工业大学）；Beijing Institute of Graphic Communication（北京印刷学院）；College of Computer Science, Beijing University of Technology（北京工业大学计算机学院）
本文提出LSA模型，通过整合长期和短期方面兴趣，捕捉用户偏好动态，提升推荐系统中基于方面的推荐效果。
2026-03-26 cs.IR
Denoising Self-attentive Sequential Recommendation
基于transformer的顺序排序器非常强大，可以捕获短期和长期的顺序项依赖关系。这主要归功于他们独特的自我注意力网络，以利用序列中的成对项目-项目交互。然而，现实世界的项目序列往往是嘈杂的，这是特别真实的隐式反馈。例如，很大一部分点击与用户偏好不一致，许多产品最终得到负面评价或被退回。因此，当前用户操作仅取决于项目的子集，而不是整个序列。许多现有的基于transformer的模型使用完全注意力分布，这不可避免地将某些学分分配给不相关的项目。如果Transformers没有被适当地正则化，这可能导致次优性能。
2022-12-08 cs.IR
MenuAI: Restaurant Food Recommendation System via a Transformer-based Deep Learning Model
Imperial College London（伦敦帝国理工学院）
食物推荐系统已被证明是一种有效的技术，为饮食选择提供指导，这对患有慢性疾病的患者尤为重要。与其他多媒体推荐（如书籍和电影）不同，食物推荐任务高度依赖于当前的上下文，因为用户的食物偏好可以随着时间的推移而高度动态变化。例如，人们倾向于在一天的早些时候吃更多的卡路里，在晚餐时吃得少一点。然而，仍然有有限的研究工作，试图结合当前的背景和营养知识的食物推荐。因此，本文提出了一种新的餐厅食物推荐系统，根据用户的特殊营养需求推荐食物菜肴。我们提出的系统利用光学字符识别（OCR）技术和基于transformer的深度学习模型，学习排序（LTR）模型，进行食品推荐。给定菜单的单个RGB图像，系统然后能够根据输入的搜索关键字（例如，卡路里、蛋白质水平）。由于Transformer的特性，我们的系统还可以对看不见的菜肴进行排名。在一个自构造的菜单数据集MenuRank上进行了全面的实验来验证我们的方法。实验结果表明，LTR模型在食品推荐方面具有很大的潜力，其推荐准确率在77.2%~ 99.5%之间。
2022-10-15 cs.IR cs.LG
LazFormer: Scaling Transformers for Industrial Recommendation via Transferable Generative Pre-training
Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团）
针对工业推荐中Transformer扩展的计算消耗和负迁移问题，提出LazFormer，采用生成式预训练、可迁移残差适配器及非对称多轮训练，提升排序性能。
2026-09-15 cs.IR
SpecTran: Spectral-Aware Transformer-based Adapter for LLM-Enhanced Sequential Recommendation
Zhejiang University（浙江大学）；OPPO Research Institute（OPPO研究院）
本文提出SpecTran，一种基于频域的变压器适配器，用于改进LLM增强的序列推荐。通过学习频域位置编码，引导注意力聚焦于重要频谱成分，从而提升推荐性能。
2026-04-24 cs.IR
GETNext: Trajectory Flow Map Enhanced Transformer for Next POI Recommendation
The University of Auckland（奥克兰大学）
下一个POI建议旨在根据用户的当前状态和历史信息预测用户的近期未来移动，为用户和服务提供商提供巨大的价值。然而，这个问题显然是复杂的，因为需要综合考虑各种数据趋势。这包括空间位置，时间背景，用户的喜好，等等。大多数现有的研究认为，下一个POI推荐作为一个序列预测问题，而忽略了其他用户的合作信号。相反，我们提出了一个用户不可知的全局轨迹流图和一个新的图形增强的Transformer模型（GETNext），以更好地利用广泛的协作信号，更准确的下一个POI预测，并减轻冷启动问题的同时。GETNext将全局迁移模式、用户的一般偏好、时空上下文和时间感知的类别嵌入到一个Transformer模型中，以预测用户的未来移动。通过这种设计，我们的模型优于最先进的方法，具有很大的利润，也揭示了冷启动的挑战，在时空涉及的推荐问题。
2023-03-03 cs.IR cs.LG
Optimizing Encoder-Only Transformers for Session-Based Recommendation Systems
Polytechnique Montreal（蒙特利尔理工学院）；Air Liquide（液化空气集团）
本文提出用于仅编码器 Transformer 的 Sequential Masked Modeling 方法，结合窗口滑动数据增强与倒数第二 token 掩码策略，在三个数据集上显著提升了单会话下一物品预测性能，优于同等信息量模型并媲美拥有更多历史的方法。
2024-10-15 cs.AI cs.IR
AdaMCT: Adaptive Mixture of CNN-Transformer for Sequential Recommendation
本文提出AdaMCT模型，通过层感知自适应混合单元融合Transformer全局注意力与局部卷积滤波器，并引入Squeeze-Excitation注意力以同时捕捉多个相关物品，在三个基准上验证了序列推荐的有效性与效率。
2023-08-11 cs.IR
Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
顺序推荐通过按时间顺序对项目序列进行建模来表征不断演化的模式。它的基本目标是捕捉项目转换相关性。Transformer的最新发展启发了社区设计有效的序列编码器，\textit{e.g.,} SASRec和BERT 4 Rec。然而，我们观察到这些基于transformer的模型存在冷启动问题，\textit{i.e.,}对于短序列表现不佳。因此，我们建议增加短序列，同时仍然保留原始的序列相关性。本文提出了一种新的\textbf{A}算法框架，它利用\textbf{P}的先验项~（ASReP）对\textbf{S}序列\textbf{Re}进行推荐。我们首先用反向序列预训练一个Transformer，以预测先前的项目。然后，我们使用这个Transformer在短序列的开头生成虚构的历史项。最后，我们使用这些来自时间顺序的增强序列来微调Transformer以预测下一项。在两个真实数据集上的实验验证了ASReP的有效性。代码可在\url{https://github.com/DyGRec/ASReP}上获得。
2021-05-02 cs.AI cs.IR
TransX: Scaling Transformer-based Recommendation via Behavioral and Serving Stream Crossings
LinkedIn（领英）
TransX通过解耦行为流与服务流建模，结合摊销服务策略，在领英推荐系统上实现CTR升6.0%、转化增益4.4%，且服务成本降低，性能优于现有模型。
2026-08-03 cs.IR
MMGRec: Multimodal Generative Recommendation with Transformer Model
School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院）；School of Software, Shandong University（山东大学软件学院）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息科学与工程学院）；Department of Data Science and AI, Monash University（蒙纳士大学数据科学与人工智能系）；College of Informatics, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息学院）
MMGRec通过生成范式引入多模态推荐，利用分层量化和Transformer模型生成用户偏好的项目标识符，提升推荐效果。
2026-08-03 cs.IR
PHKT:Personalized Dynamic Hypergraph-enhanced KAN-Transformer for Multi-behavior Sequential Recommendation
Hangzhou Dianzi University（杭州电子科技大学）；School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院）；Sanya Traditional Chinese Medicine Hospital（三亚市中医医院）；Combat Support College, Rocket Force University of Engineering（火箭军工程大学勤务学院）；Fuxi AI Lab, NetEase Games, NetEase Inc.（网易伏羲实验室，网易游戏，网易公司）
提出PHKT模型，通过个性化动态超图模块捕获用户特定异构高阶关系，并利用KAN增强Transformer的前馈网络，以提升多行为序列推荐中目标行为预测的性能。
2026-10-30 cs.IR
Transformers with multi-modal features and post-fusion context for e-commerce session-based recommendation
NVIDIA（英伟达）
基于会话的推荐是电子商业服务中的一项重要任务，其中大量用户匿名浏览或可能对不同的会话具有非常不同的兴趣。在本文中，我们介绍了SIGIR 2021电子商业数据挑战研讨会推荐任务的获奖解决方案之一。我们的解决方案受到NLP技术的启发，由两个Transformer架构的集合组成- Transformer-XL和XLNet -使用自回归和自编码方法进行训练。为了利用比赛中提供的大部分丰富数据集，我们描述了如何通过将表格事件与文本和图像向量相结合来准备多模型特征。我们还提出了一个模型预测分析，以更好地了解我们的架构的有效性，基于会话的建议。
2021-07-11 cs.IR cs.LG cs.NE
FuXi-$α$: Scaling Recommendation Model with Feature Interaction Enhanced Transformer
针对现有序列推荐模型对时间、位置及隐式特征交互建模不足的问题，本文提出FuXi-α模型，通过自适应多通道自注意力和多阶段FFN增强特征交互，离线及华为音乐在线A/B测试均验证了其有效性。
2025-02-05 cs.IR
Personalized Transformer-based Ranking for e-Commerce at Yandex
针对电商召回导向模型的特征不适配排序阶段的问题，提出基于Transformer的双塔模型两阶段训练法及上下文去偏技术，在Yandex上线后提升了推荐排序性能。
2023-10-09 cs.IR
SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
研究针对推荐场景中Transformer性能瓶颈问题，提出SpecFormer，通过引入可学习频谱软化模块、频谱软化注意力机制和频谱残差位置编码，有效减轻嵌入和注意力崩溃，实验证明其显著优于基线且有卓越扩展能力。
2026-08-04 cs.IR cs.LG
FUM: Fine-grained and Fast User Modeling for News Recommendation
用户建模是新闻推荐的重要环节。现有的方法通常首先将用户点击的新闻独立编码成新闻嵌入，然后将其聚合成用户嵌入。然而，这些方法忽略了来自同一用户的不同点击新闻之间的词级交互，其中包含丰富的详细线索来推断用户兴趣。在本文中，我们提出了一个细粒度和快速的用户建模框架（FUM）模型的用户兴趣从细粒度的行为交互的新闻推荐。FUM的核心思想是将被点击的新闻连接成一个长文档，并将用户建模转换为一个文档建模任务，同时具有新闻内部和新闻之间的词级交互。由于普通的Transformer不能有效地处理长文档，我们应用一个高效的Transformer Fastformer来建模细粒度的行为交互。在两个真实数据集上的大量实验验证了FUM能够有效地为新闻推荐建模。
2022-04-10 cs.IR
Session-aware Item-combination Recommendation with Transformer Network
Xiaomi Inc.（小米公司）；Tsinghua University（清华大学）
在本文中，我们详细描述了IEEE BigData Cup 2021的解决方案：基于RL的RecSys（轨道1：项目组合预测）。我们首先对数据集进行探索性的数据分析，然后利用这些发现来设计我们的框架。具体来说，我们使用一个基于双头transformer的网络来预测用户反馈和解锁会话，以及提出的会话感知重加权损失，多任务与点击行为预测和会话中的随机性增强。在Kaggle上的最终私人排行榜中，我们的方法排名第二，分类准确率为0.39224。
2021-11-13 cs.AI cs.IR
Large-scale Evaluation of Transformer-based Article Encoders on the Task of Citation Recommendation
Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算学院）
最近推出的基于transformer的文章编码器（TAE）旨在为相互相关的科学文章产生类似的矢量表示，在科学文章推荐的基准数据集上表现出强大的性能。然而，现有的基准数据集主要集中在单个领域，并且在某些情况下，在小的候选池中包含容易的否定。在候选库中有数千篇文章的情况下，评估此类基准的表示可能会模糊TAE的实际性能。在这项工作中，我们评估TAE的大型基准更具挑战性的候选池。我们比较了TAE的性能与词汇检索基线模型BM 25的引用推荐的任务，该模型产生一个列表的建议，在给定的输入文章中引用。我们发现，BM 25与最先进的神经检索器相比仍然具有很强的竞争力，考虑到TAE在小基准上的强劲表现，这一发现令人惊讶。为了弥补现有基准的局限性，我们提出了一个新的基准数据集来评估科学文章的表示：多领域引文推荐数据集（MDCR），它涵盖了不同的科学领域，并包含具有挑战性的候选池。
2022-09-12 cs.CL cs.IR
Personalized Transformer for Explainable Recommendation
Hong Kong Baptist University（香港浸会大学）；Rutgers University（罗格斯大学）
自然语言生成的个性化在诸如可解释的推荐、评论摘要和对话系统等大量任务中起着至关重要的作用。在这些任务中，用户和项目ID是个性化的重要标识符。Transformer被证明具有强大的语言建模能力，然而，它不是个性化的，并且不能利用用户和项目ID，因为ID标记甚至与单词不在相同的语义空间中。针对这一问题，本文提出了一种用于解释性推荐的个性化Transformer（PETER），并在此基础上设计了一个简单有效的学习目标，利用识别码预测目标解释中的单词，从而赋予识别码以语言学意义，实现个性化的Transformer。除了生成解释，PETER还可以提出建议，这使其成为整个解释-解释管道的统一模型。大量的实验表明，我们的小型未经预训练的模型在生成任务上的有效性和效率方面优于微调的BERT，这突出了我们设计的重要性和良好的实用性。
2021-06-05 cs.AI cs.CL cs.IR
Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers
University of Louisville（路易斯维尔大学）；Amazon（亚马逊）；Meta
双向Transformer架构是最先进的顺序推荐模型，它使用基于完形填空任务的双向表示能力，也称为“完形填空”。屏蔽语言建模。后者旨在预测序列中随机掩蔽的项目。因为他们假设真正的互动项目是最相关的，暴露偏差的结果，其中具有低暴露倾向的非互动项目被认为是不相关的。最常见的方法，以减轻在建议的暴露偏差一直是逆倾向评分（IPS），其中包括降低权重的相互作用的预测在损失函数的比例，他们的暴露倾向，产生一个理论上无偏的学习。在这项工作中，我们认为，并证明IPS不扩展到顺序推荐，因为它没有考虑到问题的时间性质。然后，我们提出了一种新的倾向评分机制，理论上可以消除顺序推荐中完形填空任务的偏见。最后，我们实证证明了我们提出的方法的去偏置能力和它的鲁棒性的曝光偏差的严重程度。
2023-01-22 cs.IR cs.LG
Mamba for Scalable and Efficient Personalized Recommendations
Lirio AI Research（Lirio AI研究机构）；Lirio, Inc.（Lirio公司）
提出FT-Mamba模型，用Mamba层替换FT-Transformer中的Transformer层处理表格数据，将计算复杂度降至线性，在三个数据集上实验证明其计算效率更优且推荐性能保持或提升。
2024-09-11 cs.IR cs.LG
Multifaceted User Modeling in Recommendation: A Federated Foundation Models Approach
本文提出一种基于联邦基础模型的多面用户建模推荐方法，通过新型Transformer层与组门控网络分层捕捉用户兴趣多面性，并扩展至联邦设置以利用私有数据，在基准数据集上取得优越性能。
2024-12-22 cs.IR
LightLM: A Lightweight Deep and Narrow Language Model for Generative Recommendation
Rutgers University（罗格斯大学）
本文提出轻量级深窄Transformer模型LightLM，结合SCI和GCI索引方法及约束生成过程，在生成式推荐中兼顾准确性与效率并超越大规模语言模型。
2023-10-30 cs.CL cs.IR
GateFormer: Speeding Up News Feed Recommendation with Input Gated Transformers
Microsoft Research Asia（微软亚洲研究院）；Renmin University of China（中国人民大学）
新闻提要推荐是一项重要的Web服务。近年来，预训练的语言模型（PLM）被广泛应用于提高推荐质量。然而，这些深度模型的使用在许多方面受到限制，例如缺乏可解释性以及与现有的倒排索引系统不兼容。最重要的是，基于PLM的编码器效率低下，因为用户侧信息的编码将花费巨大的计算成本。虽然计算可以通过高效的Transformers或经过提炼的PLM来加速，但仍然不足以为与超长新闻浏览历史相关联的活跃用户提供及时的推荐。在这项工作中，我们从一个独特的角度来解决有效的新闻推荐问题。而不是依赖于整个输入（即，用户曾经浏览过的新闻文章的集合），我们认为，用户的兴趣可以完全捕获，仅仅与这些代表性的关键字。受此启发，我们提出了GateFormer，其中输入数据在馈送到Transformers之前被选通。门控模块被制成个性化的、轻量级的和端到端可学习的，使得它可以执行对信息性用户输入的准确和有效的过滤。GateFormer在实验中取得了令人印象深刻的性能，在准确性和效率方面都明显优于现有的加速方法。我们还惊讶地发现，即使对原始输入进行了超过10倍的压缩，GateFormer仍然能够保持与SOTA方法相同的性能。
2022-01-12 cs.AI cs.IR
ULTRA:Urdu Language Transformer-based Recommendation Architecture
Department of Computer and Information Sciences, PIEAS, Nilore, Islamabad 45650, Pakistan（计算机与信息科学系，PIEAS，Nilore，Islamabad 45650，巴基斯坦）
ULTRA通过自适应语义推荐框架提升乌尔都语个性化新闻检索的准确性和相关性。
2026-02-25 cs.AI cs.IR
Attention Mixtures for Time-Aware Sequential Recommendation
Deezer Research（Deezer研究院）
本文提出MOJITO，一种改进的Transformer序列推荐系统，利用基于注意力的时间上下文和物品嵌入表示的高斯混合体进行序列建模，在多个真实数据集上超越现有方法。
2023-07-03 cs.IR cs.LG
