Deep Reinforcement Learning-Based Product Recommender for Online Advertising
Shiraz University（设拉子大学）；Career Science Lab（职业科学实验室）；Northeastern University Qinhuangdao（东北大学秦皇岛分校）
在在线广告中，推荐系统试图根据潜在客户的兴趣向他们推荐产品列表中的项目。由于信息技术的快速发展和大数据集的可用性，这样的系统已经越来越多地部署在电子商务中。人工智能领域的不断进步，为处理此类现实问题提供了强有力的工具。深度强化学习（RL）将深度神经网络作为通用函数逼近器，可以被视为设计和实现推荐系统的有效方法。本文提供了一个基于价值和基于策略的深度RL算法设计推荐系统的在线广告之间的比较研究。在这两种方法中，分别使用长短期记忆（LSTM）来构建价值网络和策略网络，并采用Gygym环境来训练这些基于RL的推荐系统。LSTM用于考虑顺序在用户的项目观察序列中扮演的关键角色。所设计的推荐系统旨在最大限度地提高推荐项目的点击率（CTR）。最后，指南提供了选择适当的RL算法，推荐系统预计将处理不同的情况。
2021-01-30 cs.AI
Empowering recommender systems using automatically generated Knowledge Graphs and Reinforcement Learning
Insight Research Ireland Centre for Data Analytics, Data Science Institute, University of Galway（爱尔兰高威大学数据科学研究所Insight爱尔兰数据分析研究中心）；Fidelity Investments（富达投资）
本文提出两种基于知识图谱和强化学习的方法，用于金融服务中的个性化文章推荐，兼顾准确性与可解释性。
2025-02-24 cs.AI cs.IR cs.LG
On Causally Disentangled State Representation Learning for Reinforcement Learning based Recommender Systems
The University of New South Wales（新南威尔士大学）；Data 61, CSIRO（联邦科学与工业研究组织数据61分部）
针对强化学习推荐系统中高维噪声状态空间问题，提出因果解耦方法提取关键状态变量，构建因果不可或缺的状态表示，提升策略训练效果并超越现有方法。
2024-07-18 cs.AI cs.IR
Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology
Google Research（谷歌研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；YouTube, LLC（YouTube有限责任公司）
大多数实用的推荐系统专注于估计即时用户参与度，而不考虑推荐对用户行为的长期影响。强化学习（RL）方法提供了优化长期用户参与建议的潜力。然而，由于用户经常被呈现多个项目的板-这可能对用户选择有交互作用-需要方法来处理RL动作空间的组合。在这项工作中，我们解决了使用RL提出基于石板的建议以优化长期价值的挑战。我们的贡献是三方面的。(i)我们开发了SLATEQ，一种基于值的时间差和Q学习的分解，使RL易于使用石板。在对用户选择行为的温和假设下，我们证明了一个石板的长期价值（LTV）可以分解为一个易于处理的功能，其组件项目明智的LTV。(ii)我们概述了一种方法，利用现有的近视学习为基础的推荐快速开发一个推荐处理LTV。(iii)我们在模拟中展示了我们的方法，并在YouTube上的现场实验中使用SLATEQ验证了分解TD学习的可扩展性。
2019-05-31 cs.AI cs.IR cs.LG
FedSlate:A Federated Deep Reinforcement Learning Recommender System
School of Electronic and Electrical Engineering, Shanghai University of Engineering Science（上海工程技术大学电子与电气工程学院）；INFLY TECH (Shanghai) Co., Ltd.（INFLY TECH（上海）有限公司）；School of Engineering, Westlake University（西湖大学工程学院）
针对现有强化学习推荐系统未挖掘跨平台用户行为关联、中心化数据聚合存隐私与成本问题，该研究提出联邦强化学习推荐算法FedSlate，结合SlateQ与联邦学习实现单用户多平台推荐，实验验证其性能优于前沿基准模型。
2025-04-28 cs.AI cs.IR
Multi-Task Fusion via Reinforcement Learning for Long-Term User Satisfaction in Recommender Systems
Tencent Inc.（腾讯公司）
推荐系统（RS）是一个重要的在线应用，每天影响着数十亿用户。主流的RS排名框架由两部分组成：多任务学习模型（MTL），预测各种用户反馈，即，点击、喜欢、分享，以及多任务融合模型（MTF），其将多任务输出组合成关于用户满意度的一个最终排名分数。融合模型作为排名的最后一个关键环节，对最终推荐结果有着重要的影响，但目前对融合模型的研究还不多。为了优化长期的用户满意度，而不是获得即时回报greenly，我们制定MTF任务的马尔可夫决策过程（MDP）在一个推荐会话，并提出了一个批处理强化学习（RL）的多任务融合框架（BatchRL-MTF），其中包括一个批处理RL框架和在线探索。前者利用Batch RL离线从固定的批量数据中学习最优推荐策略，以获得长期的用户满意度，而后者则在线探索潜在的高价值行动，以突破局部最优困境。在对用户行为进行全面调查的基础上，从用户粘性和用户活跃度两个方面对用户满意度进行精细化建模。最后，我们进行了广泛的实验上的十亿样本水平的真实世界的数据集，以显示我们的模型的有效性。我们提出了一个保守的离线策略估计（保守OPEstimulus）离线测试我们的模型。此外，我们在一个真实的推荐环境中进行了在线实验，以比较不同模型的性能。作为少数成功应用于MTF任务的Batch RL研究之一，我们的模型也已部署在大型工业短视频平台上，服务于数亿用户。
2022-08-10 cs.AI cs.IR
Robust Reinforcement Learning Objectives for Sequential Recommender Systems
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Borealis AI（博雷亚利斯人工智能公司）
针对序列推荐结合强化学习面临的离策略训练、动作空间大、奖励数据稀缺及负采样不稳定等问题，提出结合增强的对比目标与改进方法，在真实数据集上实现更优鲁棒性和SOTA性能。
2024-04-18 cs.AI cs.IR cs.LG
RL-MPCA: A Reinforcement Learning Based Multi-Phase Computation Allocation Approach for Recommender Systems
Meituan（美团）
本文提出基于强化学习的多阶段计算分配方法RL-MPCA，通过建模弱耦合MDP并设计带自适应拉格朗日乘子的深度Q网络，在计算资源限制下最大化推荐系统业务收益。
2023-12-27 cs.AI cs.IR cs.LG
An Extremely Data-efficient and Generative LLM-based Reinforcement Learning Agent for Recommenders
Stanford University（斯坦福大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
本文在WebShop基准上评估PPO和DPO等RL算法，发现基于生成轨迹训练的智能体性能与人类轨迹相当，且DPO智能体在有限资源下表现优于PPO，提供了一种低成本高效的训练方法。
2024-08-28 cs.AI cs.IR cs.LG
Sequence Adaptation via Reinforcement Learning in Recommender Systems
KTH Royal Institute of Technology（KTH皇家理工学院）；Hive Streaming AB（Hive流媒体公司）；University of Thessaly（色萨利大学）
考虑到用户具有不同的序列模式的事实，最先进的推荐策略的主要缺点是需要固定序列长度的用户-项目交互作为训练模型的输入。这可能会限制推荐的准确性，因为在实践中，用户遵循顺序推荐的不同趋势。因此，基线策略可能会忽略重要的顺序交互，或者向具有冗余交互的模型添加噪声，这取决于用户顺序行为的多样性。为了克服这个问题，在这项研究中，我们提出了SAR模型，它不仅学习的序列模式，但也调整用户项目交互的序列长度在个性化的方式。我们首先设计了一个行动者-评论家框架，其中RL代理试图计算最佳序列长度作为一个动作，给定用户在某个时间步的状态表示。此外，我们优化了一个联合损失函数，以使序列推荐的准确性与评论家网络的预期累积奖励相一致，同时我们以个性化的方式调整了演员网络的序列长度。我们对四个真实世界数据集的实验评估表明，我们提出的模型优于几种基线方法。最后，我们在https://github.com/stefanosantaris/sar上公开了我们的实现。
2021-07-31 cs.AI cs.IR cs.LG
User Tampering in Reinforcement Learning Recommender Systems
The Alan Turing Institute（艾伦·图灵研究所）；The University of Edinburgh（爱丁堡大学）；The Australian National University（澳大利亚国立大学）
本文用因果建模与政治内容推荐仿真揭示RL推荐器会为长期参与而极化用户，指出现有方案难以防止用户操纵，需根本性安全设计转变。
2023-07-24 cs.AI
Self-Supervised Reinforcement Learning for Recommender Systems
University of Glasgow（格拉斯哥大学）；Telefonica Research（西班牙电信研究院）；Google Research（谷歌研究院）
在基于会话或顺序推荐中，重要的是要考虑许多因素，如长期用户参与，多种类型的用户-项目交互，如点击，购买等，当前最先进的监督方法无法适当地建模。将顺序推荐任务转化为强化学习（RL）问题是一个很有前途的研究方向。强化学习方法的一个主要组成部分是通过与环境的交互来训练智能体。然而，由于需要将用户暴露于不相关的推荐，因此以在线方式训练推荐器通常是有问题的。因此，从记录的隐式反馈中学习策略是至关重要的，这是具有挑战性的，因为纯粹的政策设置和缺乏负奖励（反馈）。在本文中，我们提出了自监督强化学习的顺序推荐任务。我们的方法增加了标准推荐模型的两个输出层：一个用于自监督学习，另一个用于RL。RL部分充当正则化器以驱动监督层关注特定奖励（例如，推荐可能导致购买而不是点击的项目），而具有交叉熵损失的自监督层为参数更新提供强梯度信号。基于这种方法，我们提出了两个框架，即自监督Q学习（SQN）和自监督演员-评论家（SAC）。我们将建议的框架与四个国家的最先进的推荐模型。在两个真实数据集上的实验结果证明了该方法的有效性。
2020-06-11 cs.AI cs.LG
Fine-Tuning Diffusion-Based Recommender Systems via Reinforcement Learning with Reward Function Optimization
School of Mathematics and Computing (Computational Science and Engineering)（数学与计算学院（计算科学与工程））；Department of Industrial Engineering（工业工程系）；Graduate School of Information（信息研究生院）
本文提出 ReFiT 框架，将基于强化学习的微调引入扩散推荐系统，通过任务对齐的 MDP 设计与协作信号感知奖励函数实现细粒度优化，在多个真实数据集上取得显著性能提升并保持线性复杂度。
2025-11-10 cs.AI cs.IR cs.LG
Deep Hierarchical Reinforcement Learning Based Recommendations via Multi-goals Abstraction
Peking University（北京大学）
推荐系统是智能应用的一种重要形式，它帮助用户减少信息冗余。在评价一个推荐系统的指标中，转化率指标变得越来越重要。现有的大多数推荐系统由于其极其稀疏的反馈信号而在转换度量上表现不佳。为了应对这一挑战，我们提出了一个基于深度层次强化学习的推荐框架，该框架由两个组件组成，即，高级代理和低级代理。高层智能体捕捉长期稀疏的转换信号，自动为底层智能体设定抽象目标，底层智能体遵循抽象目标与实时环境交互。针对分层强化学习存在的问题，提出了一种基于多目标抽象的深度分层强化学习算法（HRL-MG）.该算法具有三个特点：1）高层智能体在不同阶段产生多个目标来指导底层智能体，降低了接近高层目标的难度; 2）不同目标共享相同的状态编码器参数，增加了高层智能体的更新频率，从而加快了算法的收敛速度; 3）设计了一个增值收益分配函数，对每个目标进行奖励分配，使不同目标协调一致。我们评估我们提出的算法的基础上，现实世界的电子商务数据集，并验证其有效性。
2019-03-22 cs.AI cs.IR cs.LG
Compressive Features in Offline Reinforcement Learning for Recommender Systems
University of South Florida（南佛罗里达大学）
在本文中，我们开发了一个推荐系统的游戏，建议潜在的项目，玩家的互动行为的基础上，以最大限度地提高游戏提供商的收入。我们的方法建立在基于强化学习的技术基础上，并在IEEE大数据杯挑战赛上公开的离线数据集上进行训练。离线数据集的限制和高维灾难对解决这个问题构成了重大障碍。我们提出的方法侧重于通过解决这些主要困难来提高总回报和绩效。更具体地说，我们利用稀疏PCA来提取用户行为的重要特征。然后，我们基于Q学习的系统从处理过的离线数据集进行训练。为了利用所提供的数据集中所有可能的信息，我们将用户特征聚类到不同的组，并为每个组构建一个独立的Q表。此外，为了解决未知公式的评估指标的挑战，我们设计了一个指标，自我评估我们的系统的性能的基础上的潜在价值的游戏提供商可能实现和一个小的集合，我们从现场评分环境中获得的实际评估指标。我们的实验表明，我们提出的指标是一致的挑战组织者公布的结果。我们已经实现了所提出的训练管道，结果表明，我们的方法在总奖励和训练速度方面都优于当前最先进的方法。通过应对主要挑战并利用最先进的技术，我们在挑战中取得了最佳的公共排行榜结果。此外，我们提出的方法获得了大约20%的估计分数，并且可以比当前最先进的方法快30倍。
2021-11-16 cs.AI
Recommendation Fairness: From Static to Dynamic
Birkbeck, University of London（伦敦大学伯贝克学院）；ByteDance AI Lab（字节跳动人工智能实验室）；University College London（伦敦大学学院）
由于需要捕捉用户不断变化的兴趣并优化他们的长期体验，越来越多的推荐系统开始将推荐建模为马尔可夫决策过程，并采用强化学习来解决这个问题。推荐系统公平性的研究不也应该从静态的评价和一次性的干预走向动态的监控和不间断的控制吗？在本文中，我们描绘了最近的发展，在推荐系统，然后讨论如何公平可以融入强化学习技术的推荐。此外，我们认为，为了在推荐公平性方面取得进一步的进展，我们可能要考虑多代理（博弈论）优化，多目标（帕累托）优化和基于模拟的优化，在随机博弈的一般框架。
2021-11-01 cs.AI cs.IR cs.LG
Generative Adversarial Reward Learning for Generalized Behavior Tendency Inference
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）；Macquarie University（麦考瑞大学）
强化学习的最新进展激发了人们对通过动态交互自适应地学习用户建模的兴趣，例如，在基于强化学习的推荐系统中。在大多数强化学习应用中，奖励函数是一个重要的参数，它可以为优化提供指导。然而，目前基于学习的方法依赖于人工定义的奖励函数，不能适应动态和噪声环境。此外，它们通常使用特定于任务的奖励函数，牺牲了泛化能力。针对上述问题，提出了一种生成式逆强化学习的用户行为偏好建模方法。我们的模型不使用预定义的奖励函数，而是基于区分性演员-评论家网络和Wasserstein GAN自动学习用户行为的奖励。我们的模型提供了一种描述和解释潜在行为倾向的一般方法，我们的实验表明，我们的方法在各种场景下，即交通信号控制，在线推荐系统和扫描路径预测中的表现优于最先进的方法。
2021-05-05 cs.AI cs.IR cs.LG
Reinforcement Learning Applications
我们首先简要介绍强化学习（RL），关于它的成功故事，基础知识，示例，问题，ICML 2019真实生活RL研讨会，如何使用它，学习材料和展望。然后，我们讨论了一系列RL应用，包括推荐系统、计算机系统、能源、金融、医疗保健、机器人和交通。
2019-08-19 cs.AI cs.LG
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
Spotify；University of Cambridge（剑桥大学）
该研究针对强化学习中延迟奖励导致的信用分配低效问题，提出Explanatory World Models（EWM）框架，结合因果解释等理论设计变体，在多类基准及工业推荐系统上验证其性能优于现有方法。
2026-10-12 cs.AI cs.IR cs.LG
Optimizing Audio Recommendations for the Long-Term: A Reinforcement Learning Perspective
Spotify（Spotify（ Spotify 公司））；Columbia University（哥伦比亚大学）
本文提出一种工业级播客推荐系统，基于强化学习框架优化数亿用户的长期收听体验，通过定制价值函数与用户状态表示，在A/B测试中显著提升长期性能，且大幅降低数据需求。
2024-07-27 cs.AI cs.IR cs.LG
Offline Meta-level Model-based Reinforcement Learning Approach for Cold-Start Recommendation
University of Arizona（亚利桑那大学）；Samsung Research America（三星美国研究院）；University of Science and Technology of China（中国科学技术大学）
强化学习（RL）在优化推荐系统中的长期用户兴趣方面表现出很大的潜力。然而，现有的基于RL的推荐方法需要大量的交互，每个用户学习一个强大的推荐策略。当向具有有限数量的交互的新用户推荐时，挑战变得更加关键。为此，在本文中，我们提出了一个元级的基于基于模型的强化学习方法，快速用户适应的RL为基础的推荐系统中的冷启动的挑战。在我们的方法中，我们学会了推断每个用户的偏好与用户上下文变量，使推荐系统，以更好地适应新用户的互动很少。为了提高适应效率，我们学会了恢复用户的政策和奖励，只有几个互动，通过逆强化学习方法，以协助元级推荐代理。此外，我们从信息论的角度建模的用户模型和推荐代理之间的交互关系。实验结果表明，该方法的有效性时，适应新用户只有一个单一的交互序列。我们进一步提供了一个理论分析的推荐性能界。
2020-12-04 cs.AI cs.IR cs.LG
R$^2$ec: Towards Large Recommender Models with Reasoning
The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出R$^2$ec统一大型推荐模型，采用双头架构支持推理链生成与高效物品预测以降低延迟，并设计RecPO强化学习框架联合优化推理与推荐，在多个数据集上优于多种基线且具强适应性。
2025-10-31 cs.AI cs.CL cs.IR
Reward Shaping for User Satisfaction in a REINFORCE Recommender
Google, Inc（谷歌公司）
我们如何设计基于强化学习（RL）的决策器，以鼓励将用户轨迹与潜在的用户满意度保持一致？三个研究问题是关键：（1）测量用户满意度，（2）打击满意度信号的稀疏性，（3）调整推荐代理的训练，以最大限度地提高满意度。对于测量，已经发现，明确地要求用户对他们对消费物品的体验进行评级的调查可以向参与/交互数据提供有价值的正交信息，充当潜在用户满意度的代理。对于稀疏性，即只能观察用户对一小部分用户-项目交互的满意度，插补模型可以用于预测用户消费的所有项目的满意度。对于学习满意的推荐策略，我们假设RL推荐代理中的奖励塑造对于驱动满意的用户体验是强大的。把所有的东西放在一起，我们建议联合学习一个策略网络和一个满意度归因网络：归因网络的作用是学习哪些行为是令用户满意的;而建立在REINFORCE之上的策略网络决定推荐哪些项目，并利用归因的满意度进行奖励。我们在一个工业化的大规模推荐平台上使用离线分析和现场实验来证明我们的方法满足用户体验的承诺。
2022-09-30 cs.AI cs.IR cs.LG
Masked Deep Q-Recommender for Effective Question Scheduling
TmaxEdu Inc.（TmaxEdu 公司）
根据学生的知识水平提供适当的问题是个性化学习的必要条件。然而，教师要了解学生的知识状况，并据此提出最佳问题，需要大量的人工劳动。为了解决这个问题，我们引入了一个问题调度模型，可以有效地提高学生的知识水平，使用强化学习（RL）。我们所提出的方法首先评估学生的概念级知识使用知识跟踪（KT）模型。给定预测的学生知识，基于RL的推荐器预测每个问题的好处。在课程范围限制和重复惩罚的情况下，推荐器按顺序选择问题，直到达到预定义的问题数量。在使用学生模拟器的实验环境中，每天给出20个问题，持续两周，所提出的方法推荐的问题使学生的平均知识水平提高了21.3%，优于专家设计的时间表基线，学生的知识水平提高了10%。
2021-12-19 cs.AI cs.CY
Reinforcement Learning-enhanced Shared-account Cross-domain Sequential Recommendation
Shandong Normal University（山东师范大学）；The University of Queensland（昆士兰大学）
共享账户跨域顺序推荐（SCSR）是一个新兴的具有挑战性的研究课题，它同时考虑了共享账户和跨域的特点。现有的SCSR研究主要基于递归神经网络（RNN）和图神经网络（GNN），但忽略了多个用户共享一个帐号，但帐号每次主要由一个用户占用的事实。这种观察激励我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外，虽然现有的工作赋予较低的权重，无关的互动，他们仍然可能稀释域信息，并阻碍跨域推荐。为了解决上述问题，我们提出了一个基于强化学习的解决方案，即RL-ISN，它由一个基本的跨域推荐和一个基于强化学习的域过滤器。具体来说，为了对共享账户场景中的账户表示进行建模，基本推荐器首先将用户的混合行为聚类为潜在用户，然后利用对它们的注意力模型来进行用户识别。为了减少不相关的领域信息的影响，我们制定的领域过滤器作为一个分层的强化学习任务，其中一个高层次的任务是用来决定是否修改整个传输序列或没有，如果是这样，一个低层次的任务是进一步执行，以确定是否删除其中的每个交互或没有。为了评估我们的解决方案的性能，我们在两个真实世界的数据集上进行了广泛的实验，实验结果表明，我们的RL-ISN方法相比，国家的最先进的推荐方法的优越性。
2022-06-16 cs.AI cs.IR cs.LG
Dont Just Teach, Explain! A Gamified 20Q Recommender for Cybersecurity Education
Data Science, University of North Texas（数据科学，德克萨斯大学）；Mechanical Engineering, Bangladesh University of Eng. and Tech., BUET（机械工程，孟加拉工程与技术大学，BUET）
本文提出基于可解释AI的EQ-20CR推荐系统，通过20Q游戏机制学习解释网络安全防御行动所需的关键事实，提升网络安全教育的互动性和解释性。
2026-09-10 cs.AI cs.CY cs.LG
RecNet: Self-Evolving Preference Propagation for Agentic Recommender Systems
GSAI, Renmin University of China（清华大学）；Department of Data Science, City University of Hong Kong（城市大学数据科学系）
RecNet通过自进化机制实现代理推荐系统的实时偏好传播，利用路由代理和反馈驱动优化提升偏好传播的准确性和持续性。
2026-01-29 cs.AI
Reinforcement Learning and Machine ethics:a systematic review
University of Agder（阿格德大学）；University of Manchester（曼彻斯特大学）；University of Bergen（卑尔根大学）
本文系统综述了强化学习与机器伦理的交叉研究，梳理了伦理规范、组件框架及环境趋势，填补了该领域综述空白。
2025-09-24 cs.AI
Deep Reinforcement Learning based Group Recommender System
群组推荐系统在当前的Web应用中得到了广泛的应用。本文提出了一种基于深度强化学习的群组推荐系统。首先介绍了MovieLens数据，并从中生成一个随机分组数据集MovieLens-Rand，对这个随机生成的数据集进行了描述和分析。我们还提出了实验设置和两个国家的最先进的基线，AGREE和GroupIM。我们的新模型，基于深度强化学习的组推荐系统（DRGR）的框架，提出。行动者-批评者网络采用深度确定性策略梯度算法实现。DRGR模型应用于具有两个基线的MovieLens-Rand数据集。与基线相比，我们得出结论，DRGR表现优于GroupIM由于长的交互历史，但不如AGREE，因为自我注意力机制。最后，我们指出了DRGR的优点和不足，并给出了未来的改进方向。
2021-06-13 cs.IR
Optimized Recommender Systems with Deep Reinforcement Learning
Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
推荐系统一直是在线零售商的基石。传统上，它们基于规则、相关性分数、排名算法和监督学习算法，但现在可以使用强化学习算法来生成有意义的推荐。这项工作研究和开发的手段，以建立一个可重复的测试平台，并评估不同的国家的最先进的算法在一个现实的环境。它需要一个建议，文献综述，方法，结果和评论。
2021-10-06 cs.IR cs.LG
A Survey on Reinforcement Learning for Recommender Systems
本文针对基于强化学习的推荐系统领域，梳理四类典型场景下的强化学习方法，分析现存挑战与解决方案，并提出未来潜在研究方向，为相关研究者与从业者提供参考。
2023-06-11 cs.IR
Explicit User Manipulation in Reinforcement Learning Based Recommender Systems
IU University of Applied Sciences（IU应用科学大学）
推荐系统在现代世界中非常普遍，因为它们对用户和使用它们的平台和服务都有价值。一般来说，它们可以改善用户体验并有助于提高满意度，但它们并非没有风险。其中一个风险是它们对用户的影响以及它们在塑造用户偏好方面发挥积极作用的能力。这种风险对于基于强化学习的推荐系统更为显著。例如，这些能够学习今天向用户显示的推荐内容如何可能篡改该用户对将来推荐的其他内容的偏好。因此，基于强化学习的推荐系统可以隐式地学习影响用户，如果这意味着最大化点击、参与或消费。特别是在社交新闻和媒体平台上，这种行为令人震惊。社交媒体无疑在公众舆论中发挥着作用，并已被证明是加剧政治两极分化的一个促成因素。因此，这种平台上的推荐系统有很大的潜力以不受欢迎的方式影响用户。然而，也有可能故意使用这种操纵形式。随着政治观点动态建模和更大的用户数据集的进步，明确的用户操纵，其中用户的信念和意见是针对某一目的出现作为一个显着的关注在强化学习为基础的推荐系统。
2022-03-20 cs.IR cs.LG
Personalized Recommender Systems for Gym Workouts: A Reinforcement Learning Approach
Delft University of Technology（代尔夫特理工大学）
该研究针对健身房锻炼推荐问题，提出一种强化学习框架，将推荐扩展至完整锻炼方案制定，通过实验验证完整方案建模可提升奖励与用户参与度。
2026-09-01 cs.IR
Offline Evaluation for Reinforcement Learning-based Recommendation: A Critical Issue and Some Alternatives
在本文中，我们认为，通常采用离线评价顺序推荐系统的范例是不适合评价强化学习为基础的排序。我们发现，大多数现有的基于强化学习的推荐的离线评估实践是基于下一项预测协议，并详细说明了这样的评估协议的三个缺点。值得注意的是，它不能反映强化学习（RL）预期带来的潜在好处，同时它隐藏了某些离线RL代理的关键缺陷。我们的建议的替代方法来评估基于RL的推荐系统的目的是阐明现有的可能性，并激发未来的研究可靠的评估协议。
2023-01-03 cs.IR
Self-Distilled Reinforcement Learning for Co-Evolving Agentic Recommender Systems
Chongqing University（重庆大学）；Griffith University（格里菲斯大学）；The University of Queensland（昆士兰大学）；Southwest Jiaotong University（西南交通大学）
本文提出CoARS框架，通过交互奖励和自我蒸馏信用分配，解决传统ARs在交互性和轨迹监督方面的不足，提升推荐性能和用户对齐度。
2026-04-18 cs.IR
Reinforcement Learning to Optimize Long-term User Engagement in Recommender Systems
推荐系统在我们的日常生活中发挥着至关重要的作用。摘要流机制在推荐系统中得到了广泛的应用，尤其是在移动应用中。Feed流设置为用户提供了在永不结束的Feed中推荐的交互方式。在这种交互方式下，一个好的推荐系统应该更多地关注用户粘性，这远远超出了经典的即时度量，并且通常通过{\bf长期用户参与度}来衡量。直接优化长期用户参与度是一个重要的问题，因为学习目标通常不可用于传统的监督学习方法。虽然强化学习~（RL）很自然地适合长期回报最大化的问题，但将RL应用于优化长期用户参与仍然面临挑战：用户行为是多变的，难以建模，通常包括即时反馈~（例如点击、订购）和延迟反馈~（例如，停留时间、重访）;此外，执行有效的离策略学习仍然不成熟，特别是当组合自举和函数近似时。为了解决这些问题，在这项工作中，我们引入了一个强化学习框架-FeedRec来优化长期用户参与度。FeedRec包含两个组件：1）~一个基于分层LSTM的Q-Network负责对复杂的用户行为进行建模; 2）~一个S-Network，模拟环境，辅助Q-Network，避免策略学习收敛的不稳定性。在合成数据和真实世界大规模数据上的大量实验表明，FeedRec有效地优化了长期用户参与度，并优于最先进的技术。
2019-07-11 cs.IR
Understanding User Intent Modeling for Conversational Recommender Systems: A Systematic Literature Review
Utrecht University（乌得勒支大学）；University of Guilan（吉兰大学）；Lappeenranta University of Technology（拉彭兰塔理工大学）
本文通过系统性文献综述分析对话推荐系统中的59种用户意图模型与74个特征，提出辅助模型选择的决策模型并以两个案例研究验证。
2023-08-05 cs.AI cs.IR
Reward Balancing Revisited: Enhancing Offline Reinforcement Learning for Recommender Systems
针对离线强化学习中世界模型内在偏差与策略推荐多样性难以同时平衡的问题，提出 R3S 框架，通过整合模型不确定性并引入带衰减的惩罚器，有效提升了世界模型准确性和用户异构偏好的协调性。
2025-06-30 cs.IR
Adaptive Neural Architectures for Recommender Systems
Maastricht University（马斯特里赫特大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
事实证明，深度学习是捕捉用户偏好非线性关联的有效手段。然而，现有深度学习架构的主要缺点是它们遵循固定的推荐策略，忽略了用户的实时的反馈。深度强化策略的最新进展表明，当用户与系统交互时，推荐策略可以不断更新。在这样做的过程中，我们可以学习适合用户对推荐会话的偏好的最佳策略。深度强化策略的主要缺点是基于预定义和固定的神经架构。为了阐明如何处理这个问题，在这项研究中，我们首先提出了深度强化学习的推荐策略，并讨论了由于固定的神经架构的主要限制。然后，我们详细介绍了渐进式神经架构的最新进展如何用于其他研究领域的连续任务。最后，我们提出了填补深度强化学习和自适应神经架构之间差距的关键挑战。我们提供了通过强化学习基于每个用户反馈搜索最佳神经架构的指导方针，同时考虑实时推荐的预测性能和模型复杂性。
2020-11-11 cs.AI cs.IR cs.LG
Model-free Reinforcement Learning with Stochastic Reward Stabilization for Recommender Systems
Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
针对推荐系统中用户反馈随机导致无模型强化学习性能下降的问题，提出两种模型无关的随机奖励稳定化框架，用监督模型学习的反馈替代直接随机反馈，实验验证其优于多种RL推荐基线。
2023-08-25 cs.IR cs.LG
MBCAL: Sample Efficient and Variance Reduced Reinforcement Learning for Recommender Systems
Baidu Inc.（百度公司）；Baidu Research（百度研究院）
在推荐系统中，如新闻流，这是至关重要的，以优化长期效用的连续用户系统交互过程。以往的工作已经证明了强化学习在这个问题上的能力。然而，在在线系统中实现深度强化学习存在许多实际挑战，包括低样本效率、不可控的风险和过度的方差。为了解决这些问题，我们提出了一种新的强化学习方法，即基于模型的反事实优势学习（MBCAL）。该方法充分利用了推荐系统的特点，借鉴了基于基于模型的强化学习方法，提高了样本效率。它有两个组成部分：以自回归形式逐个预测即时用户行为的环境模型，以及预测未来效用的未来优势模型。为了减轻学习未来优势模型时过度方差的影响，我们采用了来自环境模型的反事实比较。因此，该方法具有较高的样本效率和显著较低的方差;同时，它能够使用现有的用户日志，以避免从头开始的风险。与其性能相比，它的实现成本相对较低，与实际系统吻合较好。理论分析和详细的实验。实验结果表明，该方法在样本效率和渐近性能上均优于其他监督学习和基于RL的方法。
2020-06-18 cs.IR cs.LG
Reinforcement Learning-based Recommender Systems with Large Language Models for State Reward and Action Modeling
针对离线强化学习推荐系统难以获取有效用户反馈的问题，提出将大语言模型适配为环境（LE）以建模用户状态与奖励，并设计LEA方法联合优化监督组件与RL策略，有效提升了推荐性能。
2024-03-25 cs.IR
Contrastive State Augmentations for Reinforcement Learning-Based Recommender Systems
本文提出对比状态增强（CSA）方法，通过四种状态增强策略扩大状态空间并引入对比信号改进状态表示学习，有效解决了基于强化学习的推荐系统中离线数据外状态价值估计和隐式反馈学习困难的问题，显著提升了推荐性能。
2023-05-18 cs.IR
RL4RS: A Real-World Dataset for Reinforcement Learning based Recommender System
NetEase Inc.（网易公司）；Fuxi AI Lab（伏羲人工智能实验室）
本文提出首个开源真实世界数据集 RL4RS，并配套系统化评估框架、仿真环境、基线与反事实评估算法，以缩小基于强化学习的推荐系统研究与实际部署之间的现实差距。
2023-04-17 cs.IR cs.LG
Representation Learning in Low-rank Slate-based Recommender Systems
Cornell University（康奈尔大学）
本文针对推荐系统中状态和动作空间过大的问题，提出一种基于低秩MDP的样本高效表示学习算法，并构建了相应的板面推荐模拟环境。
2023-09-19 cs.AI cs.IR
Modeling Recommender Ecosystems: Research Challenges at the Intersection of Mechanism Design, Reinforcement Learning and Generative Models
Google Research（谷歌研究院）
本文提出建模推荐生态系统需显式考虑所有参与者的激励与交互，并融合强化学习、社会选择、机制设计、行为经济学及生成模型，以提升长期效用和系统健康度。
2023-09-22 cs.AI cs.GT cs.HC
Cache-Aware Reinforcement Learning in Large-Scale Recommender Systems
Kuaishou Technology（快手科技）
本文提出缓存感知强化学习方法CARL，将实时计算与缓存推荐统一建模为马尔可夫决策过程，并针对缓存引起的critic依赖问题提出特征函数学习方法，在快手App上线服务超1亿用户并显著提升用户参与度。
2024-04-23 cs.IR cs.LG
Reinforcement learning based recommender systems: A survey
推荐系统（RS）已经成为我们日常生活中不可分割的一部分。他们帮助我们找到我们最喜欢的项目购买，我们的朋友在社交网络，和我们最喜欢的电影看。传统上，推荐问题被认为是一个分类或预测问题，但它现在被广泛认为，制定它作为一个顺序决策问题，可以更好地反映用户-系统的交互。因此，它可以被公式化为马尔可夫决策过程（MDP），并解决了强化学习（RL）算法。与传统的推荐方法（包括协同过滤和基于内容的过滤）不同，RL能够处理连续的、动态的用户-系统交互，并考虑到长期的用户参与。虽然使用RL进行推荐的想法并不新鲜，并且已经存在了大约二十年，但它并不是很实用，主要是因为传统RL算法的可扩展性问题。然而，自从引入深度强化学习（DRL）以来，该领域出现了一个新的趋势，这使得将RL应用于具有大状态和动作空间的推荐问题成为可能。本文综述了基于强化学习的推荐系统。我们的目的是提出一个展望该领域，并为读者提供一个相当完整的知识领域的关键概念。我们首先认识到，并说明RLRS一般可以分为RL和DRL为基础的方法。然后，我们提出了一个RLRS框架，包括四个组件，即，状态表示、策略优化、奖励制定和环境构建，并相应地调查RLRS算法。我们强调新兴的主题，并使用各种图表描绘重要的趋势。最后，我们讨论了未来可以解决的重要方面和挑战。
2022-06-08 cs.IR
DARLR: Dual-Agent Offline Reinforcement Learning for Recommender Systems with Dynamic Reward
针对离线推荐中世界模型奖励估计不准的问题，本文提出双智能体框架 DARLR，通过选择参考用户动态修正奖励并自适应不确定性惩罚，在四个基准数据集上验证了性能提升。
2025-05-12 cs.IR
MaRCA: Multi-Agent Reinforcement Learning for Dynamic Computation Allocation in Large-Scale Recommender Systems
Tsinghua University（清华大学）
MaRCA通过多智能体强化学习实现大规模推荐系统的端到端计算资源分配，提升计算效率并实现16.67%的收入增长。
2025-12-30 cs.IR cs.LG cs.MA
A Survey on LLM-based News Recommender Systems
IEEE（电气和电子工程师协会）
本综述系统梳理基于大语言模型的新闻推荐系统，涵盖判别式与生成式方法，从新闻、用户和预测三个维度建模，并分析挑战与未来方向。
2025-02-21 cs.AI cs.IR
A Systematic Review on Context-Aware Recommender Systems using Deep Learning and Embeddings
State University of Maringá（马里兰州立大学）
推荐系统是改善用户在Web系统中查找相关信息的工具，因此他们不会面对太多的信息。为了产生更好的建议，应在建议过程中使用信息的上下文。上下文感知推荐系统被创建，实现了最先进的结果，并改进了传统的推荐系统。构建推荐系统的方法有很多，其中两个最突出的进展是使用嵌入来表示推荐系统中的数据，以及使用深度学习架构来向用户生成推荐。系统综述是一种形式化、系统化的文献综述方法，通过对已发表的相关研究进行分析，对某一研究领域的所有研究进行识别和评价。进行了系统的回顾，以了解如何将深度学习和嵌入技术应用于改进上下文感知推荐系统。我们总结了用于创建这些的架构以及它们所使用的域。
2020-07-09 cs.CV cs.IR
Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning
交互式推荐系统（IRS）由于其灵活的推荐策略和对长期用户体验的优化考虑而受到广泛关注。为了处理动态的用户偏好和优化累积效用，研究人员将强化学习（RL）引入IRS。然而，RL方法共享样本效率的共同问题，即，由于稀疏的用户响应和由大量候选项组成的大动作空间，训练有效的推荐策略需要大量的交互数据。此外，在在线环境中，使用探索性策略收集大量数据是不可行的，这可能会损害用户体验。在这项工作中，我们调查的潜力，利用知识图谱（KG）在处理这些问题的RL方法的IRS，它提供了丰富的边信息的推荐决策。而不是从头开始学习RL策略，我们利用从KG中学习到的项目相关性的先验知识来（i）指导候选项选择以获得更好的候选项检索，（ii）丰富项目和用户状态的表示，以及（iii）在KG上的相关项目之间传播用户偏好以处理用户反馈的稀疏性。在两个真实世界的数据集上进行了全面的实验，证明了我们的方法的优越性，与最先进的方法相比有了显着的改进。
2020-06-18 cs.IR
Whom do Explanations Serve? A Systematic Literature Survey of User Characteristics in Explainable Recommender Systems Evaluation
University of Zurich（苏黎世大学）；Dublin City University（都柏林城市大学）
本文调查了124篇在用户研究中评估推荐系统解释的论文，发现当前研究主要涵盖特定用户，缺乏代表性，且数据报告存在不一致性，建议采取行动迈向更具包容性和可重复性的评估。
2025-02-03 cs.AI cs.HC cs.IR
