Offline Evaluation for Reinforcement Learning-based Recommendation: A Critical Issue and Some Alternatives
在本文中,我们认为,通常采用离线评价顺序推荐系统的范例是不适合评价强化学习为基础的排序。我们发现,大多数现有的基于强化学习的推荐的离线评估实践是基于下一项预测协议,并详细说明了这样的评估协议的三个缺点。值得注意的是,它不能反映强化学习(RL)预期带来的潜在好处,同时它隐藏了某些离线RL代理的关键缺陷。我们的建议的替代方法来评估基于RL的推荐系统的目的是阐明现有的可能性,并激发未来的研究可靠的评估协议。
2023-01-03 cs.IR
Self-Distilled Reinforcement Learning for Co-Evolving Agentic Recommender Systems
Chongqing University(重庆大学);Griffith University(格里菲斯大学);The University of Queensland(昆士兰大学);Southwest Jiaotong University(西南交通大学)
本文提出CoARS框架,通过交互奖励和自我蒸馏信用分配,解决传统ARs在交互性和轨迹监督方面的不足,提升推荐性能和用户对齐度。
2026-04-18 cs.IR
Reinforcement Learning to Optimize Long-term User Engagement in Recommender Systems
推荐系统在我们的日常生活中发挥着至关重要的作用。摘要流机制在推荐系统中得到了广泛的应用,尤其是在移动应用中。Feed流设置为用户提供了在永不结束的Feed中推荐的交互方式。在这种交互方式下,一个好的推荐系统应该更多地关注用户粘性,这远远超出了经典的即时度量,并且通常通过{\bf长期用户参与度}来衡量。直接优化长期用户参与度是一个重要的问题,因为学习目标通常不可用于传统的监督学习方法。虽然强化学习~(RL)很自然地适合长期回报最大化的问题,但将RL应用于优化长期用户参与仍然面临挑战:用户行为是多变的,难以建模,通常包括即时反馈~(例如点击、订购)和延迟反馈~(例如,停留时间、重访);此外,执行有效的离策略学习仍然不成熟,特别是当组合自举和函数近似时。为了解决这些问题,在这项工作中,我们引入了一个强化学习框架-FeedRec来优化长期用户参与度。FeedRec包含两个组件:1)~一个基于分层LSTM的Q-Network负责对复杂的用户行为进行建模; 2)~一个S-Network,模拟环境,辅助Q-Network,避免策略学习收敛的不稳定性。在合成数据和真实世界大规模数据上的大量实验表明,FeedRec有效地优化了长期用户参与度,并优于最先进的技术。
2019-07-11 cs.IR
Embedding Compression in Recommender Systems: A Survey
本文系统综述了推荐系统中嵌入表的压缩方法,将其划分为低精度、混合维度和权重共享三类,并给出建议与未来展望。
2024-08-05 cs.IR
A Survey on Incremental Update for Neural Recommender Systems
推荐系统(RS)旨在为用户提供个性化的商品推荐,以防止消费者的过度选择。虽然已经进行了广泛的研究,以解决RS的不同方面和挑战,学术研究和工业应用之间仍然存在差距。具体而言,大多数现有的模型仍然以离线方式工作,其中推荐器在大型静态训练集上进行训练,并在非常严格的测试集上进行一次性评估。RS将保持不变,直到进行下一批再培训。我们框架,如批量更新推荐系统(BURS)的RS。在现实中,他们必须面对的挑战是,RS预计将立即更新新的数据流,并根据新到达的数据为当前用户活动生成更新的建议。我们框架,如增量更新推荐系统(IURS)的RS。在这篇文章中,我们提供了一个系统的调查神经推荐系统的增量更新。我们首先介绍的主要概念和制定IURS的任务的调查。然后,我们说明了IURS的挑战相比,传统的BURS。之后,我们详细介绍了现有的文献和评价问题。最后,我们概述了一些突出的开放式研究问题,在这方面的调查。
2023-03-06 cs.IR
Reward Balancing Revisited: Enhancing Offline Reinforcement Learning for Recommender Systems
针对离线强化学习中世界模型内在偏差与策略推荐多样性难以同时平衡的问题,提出 R3S 框架,通过整合模型不确定性并引入带衰减的惩罚器,有效提升了世界模型准确性和用户异构偏好的协调性。
2025-06-30 cs.IR
AutoML for Deep Recommender Systems: A Survey
推荐系统在信息过滤中发挥着重要作用,并已被用于不同的场景,如电子商务和社交媒体。随着深度学习的兴起,深度推荐系统通过捕捉非线性信息和项目-用户关系表现出了优越的性能。然而,深度推荐系统的设计严重依赖于人类经验和专家知识。为了解决这个问题,引入了自动机器学习(AutoML)来自动搜索深度推荐系统不同部分的合适候选人。本调查对这一领域的文献进行了全面的回顾。首先,我们提出了AutoML深度推荐系统(AutoRecSys)的抽象概念,描述了它的构建块,并将其与传统的AutoML技术和推荐系统区分开来。其次,我们提出了一个分类法作为一个分类框架,包含特征选择搜索,嵌入维搜索,特征交互搜索,模型架构搜索,和其他组件搜索。此外,我们特别强调了搜索空间和搜索策略,因为它们是连接每个类别中所有方法的共同线索,使从业者能够分析和比较各种方法。最后,我们提出了四个未来有前途的研究方向,将导致这条研究线。
2023-01-02 cs.IR
Reinforcement Learning-based Recommender Systems with Large Language Models for State Reward and Action Modeling
针对离线强化学习推荐系统难以获取有效用户反馈的问题,提出将大语言模型适配为环境(LE)以建模用户状态与奖励,并设计LEA方法联合优化监督组件与RL策略,有效提升了推荐性能。
2024-03-25 cs.IR
Contrastive State Augmentations for Reinforcement Learning-Based Recommender Systems
本文提出对比状态增强(CSA)方法,通过四种状态增强策略扩大状态空间并引入对比信号改进状态表示学习,有效解决了基于强化学习的推荐系统中离线数据外状态价值估计和隐式反馈学习困难的问题,显著提升了推荐性能。
2023-05-18 cs.IR
A Survey of Graph Neural Networks for Recommender Systems: Challenges, Methods, and Directions
推荐系统是当今互联网上最重要的信息服务之一。最近,图神经网络已经成为推荐系统的新的最先进的方法。在这项调查中,我们进行了全面的文献综述图神经网络为基础的推荐系统。本文首先介绍了推荐系统和图神经网络的发展背景和历史。对于推荐系统,一般来说,有四个方面来分类现有的作品:阶段,场景,目标和应用。对于图神经网络,现有的方法包括两大类,光谱模型和空间模型。然后讨论了将图神经网络应用于推荐系统的动机,主要包括高阶连通性、数据的结构特性和增强的监督信号。然后,我们系统地分析了图的构建,嵌入传播/聚合,模型优化和计算效率的挑战。之后,主要是,我们提供了一个全面的概述了大量现有的工作图神经网络为基础的推荐系统,按照上述分类。最后,我们提出了在这一领域的开放性问题和有前途的未来方向的讨论。我们在\url{https://github.com/tsinghua-fib-lab/GNN-Recommender-Systems}中总结了代表性论文及其代码库。
2023-01-12 cs.IR
Advances and Challenges of Multi-task Learning Method in Recommender System: A Survey
Beijing University of Technology(北京工业大学)
该综述针对多任务学习推荐系统研究的空白,系统性总结其进展,涵盖分类与未来方向,助力相关研究者与从业者快速掌握该领域现状。
2026-09-01 cs.IR
DARLR: Dual-Agent Offline Reinforcement Learning for Recommender Systems with Dynamic Reward
针对离线推荐中世界模型奖励估计不准的问题,本文提出双智能体框架 DARLR,通过选择参考用户动态修正奖励并自适应不确定性惩罚,在四个基准数据集上验证了性能提升。
2025-05-12 cs.IR
A Survey on Data-Centric Recommender Systems
本文首次系统综述数据驱动的推荐系统,涵盖基础概念、数据三大问题、现有研究及未来方向,强调从模型中心向数据中心的范式转变。
2024-05-28 cs.IR
A Survey of Real-World Recommender Systems: Challenges, Constraints, and Industrial Perspectives
本综述系统对比工业与学术推荐系统,提出基于物品特征的新分类,并强调用户决策及跨学科理论以弥合实践差距。
2025-09-07 cs.IR
Causal Inference in Recommender Systems: A Survey and Future Directions
本综述针对传统推荐系统仅依赖相关性、缺乏因果性的问题,梳理因果推断在推荐系统领域的应用研究,介绍基础概念、现存问题、现有工作分类,并提出开放问题与未来方向。
2023-12-15 cs.IR
Reinforcement Learning based Recommender System using Biclustering Technique
Seoul National University(首尔大学);Korea University(高丽大学)
推荐系统的目的是在许多项目中推荐用户感兴趣的项目。随着信息爆炸的发展,人们对推荐系统的需求也越来越大。已经提出了用于向用户提供有意义的推荐的各种方法。建议的方法之一是考虑一个推荐系统的马尔可夫决策过程(MDP)的问题,并尝试解决它使用强化学习(RL)。然而,现有的基于RL的方法有一个明显的缺点。为了解决推荐系统中的MDP,他们遇到了大量离散动作的问题,这些动作将RL带到了更大的一类问题。在本文中,我们提出了一种新的基于RL的推荐系统。我们制定了一个推荐系统作为一个gridworld游戏,通过使用双聚类技术,可以减少状态和动作空间显着。使用双聚类不仅减少了空间,而且提高了推荐质量,有效地处理了冷启动问题。此外,我们的方法可以为用户提供一些解释,为什么系统推荐某些项目。最后,我们在真实世界的数据集上测试了该算法,并取得了比广泛使用的推荐算法更好的性能。
2018-01-17 cs.AI cs.IR
A Survey on the Fairness of Recommender Systems
推荐系统是缓解信息过载的重要工具,在人们的日常生活中扮演着重要的角色。由于建议涉及社会资源的分配(例如,工作推荐),一个重要的问题是推荐是否公平。不公正的推荐不仅不道德,而且损害了推荐人制度本身的长远利益。因此,推荐系统中的公平性问题最近引起了越来越多的关注。然而,由于多个复杂的资源分配过程和各种各样的公平性定义,对推荐中公平性的研究比较分散。为了填补这一空白,我们回顾了在顶级会议/期刊上发表的60多篇论文,包括TOIS,SIGIR和WWW。首先,我们总结了建议中的公平性定义,并提供了几种观点来分类公平性问题。然后,我们回顾了公平性研究中的推荐数据集和测量,并提供了一个详细的分类公平性方法的建议。最后,我们通过概述一些有希望的未来方向来结束这项调查。
2022-06-19 cs.IR
Rethinking Fairness in LLM-Based Recommender Systems: A Survey
National Taiwan University(国立台湾大学)
本文系统综述了基于大语言模型的推荐系统中的公平性问题,从偏见机制和公平目标两个维度组织现有研究,并探讨了评估与缓解策略,旨在为未来研究提供结构化基础。
2026-08-31 cs.IR
Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning
交互式推荐系统(IRS)由于其灵活的推荐策略和对长期用户体验的优化考虑而受到广泛关注。为了处理动态的用户偏好和优化累积效用,研究人员将强化学习(RL)引入IRS。然而,RL方法共享样本效率的共同问题,即,由于稀疏的用户响应和由大量候选项组成的大动作空间,训练有效的推荐策略需要大量的交互数据。此外,在在线环境中,使用探索性策略收集大量数据是不可行的,这可能会损害用户体验。在这项工作中,我们调查的潜力,利用知识图谱(KG)在处理这些问题的RL方法的IRS,它提供了丰富的边信息的推荐决策。而不是从头开始学习RL策略,我们利用从KG中学习到的项目相关性的先验知识来(i)指导候选项选择以获得更好的候选项检索,(ii)丰富项目和用户状态的表示,以及(iii)在KG上的相关项目之间传播用户偏好以处理用户反馈的稀疏性。在两个真实世界的数据集上进行了全面的实验,证明了我们的方法的优越性,与最先进的方法相比有了显着的改进。
2020-06-18 cs.IR
Explicit User Manipulation in Reinforcement Learning Based Recommender Systems
IU University of Applied Sciences(IU应用科学大学)
推荐系统在现代世界中非常普遍,因为它们对用户和使用它们的平台和服务都有价值。一般来说,它们可以改善用户体验并有助于提高满意度,但它们并非没有风险。其中一个风险是它们对用户的影响以及它们在塑造用户偏好方面发挥积极作用的能力。这种风险对于基于强化学习的推荐系统更为显著。例如,这些能够学习今天向用户显示的推荐内容如何可能篡改该用户对将来推荐的其他内容的偏好。因此,基于强化学习的推荐系统可以隐式地学习影响用户,如果这意味着最大化点击、参与或消费。特别是在社交新闻和媒体平台上,这种行为令人震惊。社交媒体无疑在公众舆论中发挥着作用,并已被证明是加剧政治两极分化的一个促成因素。因此,这种平台上的推荐系统有很大的潜力以不受欢迎的方式影响用户。然而,也有可能故意使用这种操纵形式。随着政治观点动态建模和更大的用户数据集的进步,明确的用户操纵,其中用户的信念和意见是针对某一目的出现作为一个显着的关注在强化学习为基础的推荐系统。
2022-03-20 cs.IR cs.LG
A Survey on Intent-aware Recommender Systems
本文综述了意图感知推荐系统的现有方法并对其进行分类,分析了当前评估实践,指出未来应结合更多交互信号和上下文信息以提升推荐效果。
2024-10-19 cs.IR
Deep Learning based Recommender System: A Survey and New Perspectives
随着网络信息量的不断增长,推荐系统已经成为克服信息过载的有效策略。推荐系统的效用不能被夸大,因为它在许多网络应用程序中被广泛采用,以及它对改善与过度选择相关的许多问题的潜在影响。近年来,深度学习在计算机视觉和自然语言处理等许多研究领域引起了相当大的兴趣,这不仅是因为它具有出色的性能,而且还因为它从头开始学习特征表示的吸引力。深度学习的影响也很普遍,最近证明了它在应用于信息检索和推荐系统研究时的有效性。显然,推荐系统中的深度学习领域正在蓬勃发展。本文旨在对基于深度学习的推荐系统的最新研究成果进行全面综述。更具体地说,我们提供并设计了一个基于深度学习的推荐模型的分类,并提供了一个最先进的综合总结。最后,我们扩展了当前的趋势,并提供了与该领域这一令人兴奋的新发展有关的新观点。
2019-07-10 cs.IR
Optimizing Long-term Value for Auction-Based Recommender Systems via On-Policy Reinforcement Learning
Meta AI
本研究采用时序差分学习实现单步策略改进,使基于拍卖的推荐系统在保持与拍卖框架兼容的同时优化长期用户参与度指标,并在大规模在线A/B测试中验证了其优于现有生产系统。
2023-07-30 cs.AI cs.IR
Fairness and Diversity in Recommender Systems: A Survey
该综述系统梳理推荐系统中的公平性与多样性研究,提出用户级与物品级多样性视角,并从多样性角度重新解读公平性,揭示二者联系及未来方向。
2024-03-01 cs.IR
Learning from Atypical Behavior: Temporary Interest Aware Recommendation Based on Reinforcement Learning
传统的鲁棒推荐方法将非典型的用户-项目交互视为噪声,并旨在通过某种噪声过滤技术来减少其影响,这通常面临两个挑战。首先,在现实世界中,非典型的互动可能会表明用户的临时兴趣不同于他们的一般偏好。因此,简单地将非典型交互作为噪声过滤掉可能是不合适的,并且会降低推荐的个性化。第二,由于没有明确的监督信号来指示交互是否是非典型的,因此难以获得临时兴趣。为了解决这个问题,我们提出了一个新的模型称为临时兴趣感知推荐(TIARec),它可以区分非典型的互动,从正常的没有监督和捕获的临时兴趣,以及用户的一般偏好。特别是,我们提出了一个强化学习框架,包含一个推荐代理和一个辅助分类器代理,这是联合训练的目标,最大化的推荐代理的建议的累积回报。在联合训练过程中,分类器Agent可以判断与推荐Agent推荐的项目的交互是否为非典型交互,并将从非典型交互中学习暂时兴趣的知识传递给推荐Agent,使得推荐Agent能够单独做出平衡用户一般偏好和暂时兴趣的推荐。最后,在真实数据集上进行了实验,验证了TIARec的有效性.
2022-01-16 cs.IR
xMTF: A Formula-Free Model for Reinforcement-Learning-Based Multi-Task Fusion in Recommender Systems
本文提出无公式的多任务融合框架xMTF,利用可学习单调融合单元替代预定义公式,扩大强化学习搜索空间,并结合两阶段混合学习策略,在离线和在线实验中均优于现有方法。
2025-04-08 cs.IR
UNEX-RL: Reinforcing Long-Term Rewards in Multi-Stage Recommender Systems with UNidirectional EXecution
针对多阶段推荐系统中单智能体RL难以同时优化多阶段的问题,本文提出基于单向执行的多智能体强化学习框架UNEX-RL,通过级联信息链方法处理观测依赖和级联效应,在公开数据集和亿级用户在线系统中验证了其提升长期奖励的有效性。
2024-01-12 cs.IR
Survey for Trust-aware Recommender Systems: A Deep Learning Perspective
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所)
现有推荐系统的一个重要挑战是用户可能不信任推荐系统,因为缺乏解释或推荐结果不准确。因此,拥有一个值得信赖的推荐系统变得至关重要。该调查提供了三种类型的信任感知推荐系统的系统总结:利用用户的社会关系的社会感知推荐系统;过滤不真实噪音的鲁棒推荐系统(例如,垃圾邮件发送者和虚假信息)或增强攻击抵抗力;提供推荐项目解释的可解释推荐系统。我们专注于基于深度学习技术的工作,这是推荐研究中的一个新兴领域。
2020-10-06 cs.IR cs.LG
A survey of recommender systems for energy efficiency in buildings: Principles, challenges and prospects
近年来,随着物联网(IoT)和人工智能(AI)技术的发展,推荐系统得到了显着发展。因此,作为物联网和人工智能的结果,这些系统中包含多种形式的数据,例如社交,隐式,本地和个人信息,这可以帮助提高推荐系统的性能并扩大其适用性以跨越不同的学科。另一方面,建筑领域的节能正在成为一个热门的研究课题,其中推荐系统在促进节能行为和减少碳排放方面发挥着重要作用。然而,在建筑物中部署建议框架仍然需要更多的调查,以确定当前的挑战和问题,其中他们的解决方案是使研究结果普及的关键,因此,确保大规模采用这项技术。因此,本文提出,尽作者所知,第一次及时和全面的参考能源效率推荐系统,通过(i)调查现有的推荐系统,节能建筑,(ii)讨论他们的演变,(iii)基于指定的标准提供这些系统的原始分类,包括推荐引擎的性质、其目标、计算平台,评价指标和激励措施;以及㈣进行深入的批判性分析,以确定其局限性和未解决的问题。由此产生的挑战和未来的实施领域可以有效地指导能源研究界,以提高建筑物的能源效率,并降低开发的基于推荐系统的解决方案的成本。
2021-02-09 cs.IR
Robust Recommender System: A Survey and Future Directions
本综述系统回顾了推荐系统鲁棒性研究,提出分类法组织抵御恶意攻击与自然噪声的技术,探讨前沿方法、评估指标及未来方向,并维护相关GitHub项目。
2025-04-01 cs.IR
A Comprehensive Survey on Retrieval Methods in Recommender Systems
Shanghai Jiao Tong University(上海交通大学);China Merchants Bank Credit Card Center(招商银行信用卡中心)
本综述全面探讨了推荐系统中常被忽视的检索阶段,总结了改进相似度计算、增强索引机制和优化训练方法三大关键领域的现有工作,并通过公开数据集基准实验和工业案例研究,为级联推荐系统检索优化提供了基石。
2025-10-11 cs.IR
A Survey of Affective Recommender Systems: Modeling Attitudes, Emotions, and Moods for Personalization
本文基于Scherer情感类型学提出态度、情绪、心境及混合四类情感推荐系统分类框架,系统梳理情感信号提取、架构与应用,并指出混合模型、大规模数据集和精确术语是未来方向。
2025-08-27 cs.IR
Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning
University of Virginia(弗吉尼亚大学);Netflix Research(Netflix研究部);Cornell University(康奈尔大学)
Rank-GRPO通过两阶段框架提升LLM对话推荐系统的训练效果,解决排名质量下降问题。
2026-02-13 cs.IR
Deep Pareto Reinforcement Learning for Multi-Objective Recommender Systems
Scheller College of Business, Georgia Tech(佐治亚理工学院谢勒商学院);Stern School of Business, New York University(纽约大学斯特恩商学院)
本文提出深度帕累托强化学习方法,通过建模多目标复杂关系、捕捉个性化偏好和优化短期长期性能,提升多目标推荐系统的性能。
2026-02-12 cs.IR
Scientific Paper Recommendation: A Survey
在全球范围内,推荐服务已经变得非常重要,因为它们支持电子商务应用程序和不同的研究社区。推荐系统在经济、教育、科研等领域有着广泛的应用。不同的实证研究表明,推荐系统比基于关键字的搜索引擎更有效,更可靠地从大量的数据中提取有用的知识。在科学共同体中推荐相似科学论文的问题称为科学论文推荐。科技论文推荐的目的是推荐符合研究者兴趣的新文章或经典文章。它已成为一个有吸引力的研究领域,因为学术论文的数量呈指数级增长。在这篇综述中,我们首先介绍了论文推荐系统的重要性和优势。其次,对基于内容的推荐方法、协同过滤推荐方法、基于图的推荐方法和混合推荐方法进行了综述。然后,我们介绍了不同的推荐系统的评价方法。最后,我们总结了论文推荐系统中存在的问题,包括冷启动、稀疏性、可扩展性、隐私性、偶然性和统一的学术数据标准。本调查的目的是提供有关学术论文推荐的综合评价。
2020-08-10 cs.IR
Model-free Reinforcement Learning with Stochastic Reward Stabilization for Recommender Systems
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
针对推荐系统中用户反馈随机导致无模型强化学习性能下降的问题,提出两种模型无关的随机奖励稳定化框架,用监督模型学习的反馈替代直接随机反馈,实验验证其优于多种RL推荐基线。
2023-08-25 cs.IR cs.LG
MBCAL: Sample Efficient and Variance Reduced Reinforcement Learning for Recommender Systems
Baidu Inc.(百度公司);Baidu Research(百度研究院)
在推荐系统中,如新闻流,这是至关重要的,以优化长期效用的连续用户系统交互过程。以往的工作已经证明了强化学习在这个问题上的能力。然而,在在线系统中实现深度强化学习存在许多实际挑战,包括低样本效率、不可控的风险和过度的方差。为了解决这些问题,我们提出了一种新的强化学习方法,即基于模型的反事实优势学习(MBCAL)。该方法充分利用了推荐系统的特点,借鉴了基于基于模型的强化学习方法,提高了样本效率。它有两个组成部分:以自回归形式逐个预测即时用户行为的环境模型,以及预测未来效用的未来优势模型。为了减轻学习未来优势模型时过度方差的影响,我们采用了来自环境模型的反事实比较。因此,该方法具有较高的样本效率和显著较低的方差;同时,它能够使用现有的用户日志,以避免从头开始的风险。与其性能相比,它的实现成本相对较低,与实际系统吻合较好。理论分析和详细的实验。实验结果表明,该方法在样本效率和渐近性能上均优于其他监督学习和基于RL的方法。
2020-06-18 cs.IR cs.LG
Diffusion Models in Recommendation Systems: A Survey
Santa Clara University(圣克拉拉大学)
本文综述了推荐系统中扩散模型的应用,提出基于推荐任务的分类方法,总结了扩散模型在推荐系统中的发展现状及未来研究方向。
2026-02-28 cs.IR
Handling Cold-Start Collaborative Filtering with Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
推荐系统中的一个主要挑战是处理新用户,他们也被称为$\textit{cold-start}$用户。在本文中,我们提出了一种新的方法来学习一系列最佳的问题,以访问冷启动用户的电影推荐系统。我们建议使用Deep Q Networks来学习面试问题,以创建用户简档,从而为冷启动用户提供更好的推荐。虽然我们提出的系统是使用电影推荐系统进行训练的,但我们的Deep Q Network模型应该可以推广到各种类型的推荐系统。
2018-06-16 cs.AI cs.IR cs.LG
RL4RS: A Real-World Dataset for Reinforcement Learning based Recommender System
NetEase Inc.(网易公司);Fuxi AI Lab(伏羲人工智能实验室)
本文提出首个开源真实世界数据集 RL4RS,并配套系统化评估框架、仿真环境、基线与反事实评估算法,以缩小基于强化学习的推荐系统研究与实际部署之间的现实差距。
2023-04-17 cs.IR cs.LG
Point-of-Interest Recommender Systems based on Location-Based Social Networks: A Survey from an Experimental Perspective
兴趣点推荐是被广泛采用的称为推荐系统的技术中的一个日益增长的研究和开发领域。其中,那些利用来自基于位置的社交网络(LBSNs)的信息是非常流行的,现在可以与不同的信息源,这对整个社区提出了一些挑战和研究问题。我们提出了一个系统的审查,重点是在过去10年中所做的研究,这一主题。我们讨论和分类的算法和评估方法在这些作品中使用,并指出在该领域仍然开放的机遇和挑战。更具体地说,我们报告了领先的推荐技术和更经常被利用的信息源(例如地理信号和深度学习方法),同时我们还警告说,该领域缺乏可重复性,这可能会阻碍真正的性能改进。
2022-01-27 cs.IR
On-Device Recommender Systems: A Comprehensive Survey
本综述系统梳理设备端推荐系统(DeviceRSs)的部署推理、训练更新及安全隐私三大方面,提供细粒度分类并讨论挑战与未来方向,为首个全面覆盖多任务的DeviceRSs综述。
2025-08-06 cs.IR
A Survey on LLM-based News Recommender Systems
IEEE(电气和电子工程师协会)
本综述系统梳理基于大语言模型的新闻推荐系统,涵盖判别式与生成式方法,从新闻、用户和预测三个维度建模,并分析挑战与未来方向。
2025-02-21 cs.AI cs.IR
Poisoning Attacks against Recommender Systems: A Survey
本文系统综述了针对推荐系统的投毒攻击,提出组件特定型、目标驱动型和能力探测型三类分类法,并发布开源库ARLib以支持实证比较与基准测试。
2024-01-14 cs.IR
A Survey on Trustworthy Recommender Systems
本文系统综述了可信推荐系统(TRS)的研究,涵盖可解释性、公平性、隐私保护、鲁棒性和用户可控性等关键技术,旨在全面梳理该领域的研究现状与未来方向。
2024-02-22 cs.IR
Review-based Recommender Systems: A Survey of Approaches, Challenges and Future Perspectives
本文综述了基于评论的推荐系统,分类总结最新方法,分析挑战,并提出多模态数据、多标准评分和伦理等未来研究方向。
2025-05-24 cs.IR
Cache-Aware Reinforcement Learning in Large-Scale Recommender Systems
Kuaishou Technology(快手科技)
本文提出缓存感知强化学习方法CARL,将实时计算与缓存推荐统一建模为马尔可夫决策过程,并针对缓存引起的critic依赖问题提出特征函数学习方法,在快手App上线服务超1亿用户并显著提升用户参与度。
2024-04-23 cs.IR cs.LG
Recent Developments in Recommender Systems: A Survey
本文综述了推荐系统的最新进展,涵盖主要分类、基于知识的方法、鲁棒性与公平性问题及评价指标,并展望了未来研究方向。
2023-06-22 cs.AI cs.IR cs.LG
Foundation Models for Recommender Systems: A Survey and New Perspectives
本文全面综述了基于基础模型的推荐系统 (FM4RecSys),从数据特征、表示学习、模型类型和下游任务四个维度系统分类现有研究,并探讨了未来机遇与新兴趋势。
2024-02-17 cs.IR
ROLeR: Effective Reward Shaping in Offline Reinforcement Learning for Recommender Systems
The University of Queensland(昆士兰大学);CSIRO DATA61
针对基于模型的离线RL推荐受奖励估计偏差和模型不确定性限制的问题,提出ROLeR框架,通过非参数奖励塑形和灵活的不确定性惩罚提升性能,并在四个基准上达到SOTA。
2025-05-12 cs.AI cs.IR
Contrastive Self-supervised Learning in Recommender Systems: A Survey
本综述系统梳理了推荐系统中对比自监督学习方法,提出统一框架与分类法,并探讨了开放问题与未来方向。
2023-10-11 cs.IR
Why People Skip Music? On Predicting Music Skips using Deep Reinforcement Learning
音乐推荐系统是我们日常生活中不可或缺的一部分。最近的研究已经看到了基于黑盒推荐的方法,如深度强化学习(DRL)的重大努力。这些进步,以及对用户数据汇集和隐私的日益关注,导致了对构建负责任的推荐系统的强烈兴趣。成功的音乐推荐系统的一个关键要素是对用户如何与流媒体内容交互进行建模。通过首先理解这些相互作用,可以得出见解,以构建更透明和负责任的系统。这些交互的一个例子是跳过行为,这是一个可以衡量用户满意度、不满度或缺乏兴趣的信号。在本文中,我们研究了用户的历史数据的顺序预测用户的跳过行为的任务的效用。为此,我们适应DRL这个分类任务,其次是事后的可解释性(SHAP)和消融分析的输入状态表示。来自真实世界音乐流数据集(Spotify)的实验结果证明了我们的方法在这项任务中的有效性,表现优于最先进的模型。我们的方法和用户的历史数据的全面分析揭示了数据集中的时间数据泄漏问题。我们的研究结果表明,总体而言,用户的行为特征是最具歧视性的,我们提出的DRL模型预测音乐跳过。内容和上下文特征的影响较小。这表明应该收集并利用有限数量的用户数据来预测跳过行为。
2023-01-10 cs.IR
Plug-and-Play Model-Agnostic Counterfactual Policy Synthesis for Deep Reinforcement Learning based Recommendation
本文提出模型无关反事实合成策略MACS,通过生成反事实交互数据缓解强化学习推荐中的数据稀疏问题,并与DDPG、SAC等算法集成,实验证明其能有效提升推荐智能体性能。
2023-11-01 cs.IR
Multi-Task Deep Recommender Systems: A Survey
City University of Hong Kong(香港城市大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本综述针对推荐领域多任务学习研究的空白,梳理多任务深度推荐系统的定义、分类、应用与挑战,为该领域提供系统总结。
2026-09-04 cs.IR