Self-Distilled Reinforcement Learning for Co-Evolving Agentic Recommender Systems
Chongqing University(重庆大学);Griffith University(格里菲斯大学);The University of Queensland(昆士兰大学);Southwest Jiaotong University(西南交通大学)
本文提出CoARS框架,通过交互奖励和自我蒸馏信用分配,解决传统ARs在交互性和轨迹监督方面的不足,提升推荐性能和用户对齐度。
2026-04-18 cs.IR
Reinforcement Learning to Optimize Long-term User Engagement in Recommender Systems
推荐系统在我们的日常生活中发挥着至关重要的作用。摘要流机制在推荐系统中得到了广泛的应用,尤其是在移动应用中。Feed流设置为用户提供了在永不结束的Feed中推荐的交互方式。在这种交互方式下,一个好的推荐系统应该更多地关注用户粘性,这远远超出了经典的即时度量,并且通常通过{\bf长期用户参与度}来衡量。直接优化长期用户参与度是一个重要的问题,因为学习目标通常不可用于传统的监督学习方法。虽然强化学习~(RL)很自然地适合长期回报最大化的问题,但将RL应用于优化长期用户参与仍然面临挑战:用户行为是多变的,难以建模,通常包括即时反馈~(例如点击、订购)和延迟反馈~(例如,停留时间、重访);此外,执行有效的离策略学习仍然不成熟,特别是当组合自举和函数近似时。为了解决这些问题,在这项工作中,我们引入了一个强化学习框架-FeedRec来优化长期用户参与度。FeedRec包含两个组件:1)~一个基于分层LSTM的Q-Network负责对复杂的用户行为进行建模; 2)~一个S-Network,模拟环境,辅助Q-Network,避免策略学习收敛的不稳定性。在合成数据和真实世界大规模数据上的大量实验表明,FeedRec有效地优化了长期用户参与度,并优于最先进的技术。
2019-07-11 cs.IR
Reward Balancing Revisited: Enhancing Offline Reinforcement Learning for Recommender Systems
针对离线强化学习中世界模型内在偏差与策略推荐多样性难以同时平衡的问题,提出 R3S 框架,通过整合模型不确定性并引入带衰减的惩罚器,有效提升了世界模型准确性和用户异构偏好的协调性。
2025-06-30 cs.IR
Reinforcement Learning-based Recommender Systems with Large Language Models for State Reward and Action Modeling
针对离线强化学习推荐系统难以获取有效用户反馈的问题,提出将大语言模型适配为环境(LE)以建模用户状态与奖励,并设计LEA方法联合优化监督组件与RL策略,有效提升了推荐性能。
2024-03-25 cs.IR
Contrastive State Augmentations for Reinforcement Learning-Based Recommender Systems
本文提出对比状态增强(CSA)方法,通过四种状态增强策略扩大状态空间并引入对比信号改进状态表示学习,有效解决了基于强化学习的推荐系统中离线数据外状态价值估计和隐式反馈学习困难的问题,显著提升了推荐性能。
2023-05-18 cs.IR
Reinforcement learning based recommender systems: A survey
推荐系统(RS)已经成为我们日常生活中不可分割的一部分。他们帮助我们找到我们最喜欢的项目购买,我们的朋友在社交网络,和我们最喜欢的电影看。传统上,推荐问题被认为是一个分类或预测问题,但它现在被广泛认为,制定它作为一个顺序决策问题,可以更好地反映用户-系统的交互。因此,它可以被公式化为马尔可夫决策过程(MDP),并解决了强化学习(RL)算法。与传统的推荐方法(包括协同过滤和基于内容的过滤)不同,RL能够处理连续的、动态的用户-系统交互,并考虑到长期的用户参与。虽然使用RL进行推荐的想法并不新鲜,并且已经存在了大约二十年,但它并不是很实用,主要是因为传统RL算法的可扩展性问题。然而,自从引入深度强化学习(DRL)以来,该领域出现了一个新的趋势,这使得将RL应用于具有大状态和动作空间的推荐问题成为可能。本文综述了基于强化学习的推荐系统。我们的目的是提出一个展望该领域,并为读者提供一个相当完整的知识领域的关键概念。我们首先认识到,并说明RLRS一般可以分为RL和DRL为基础的方法。然后,我们提出了一个RLRS框架,包括四个组件,即,状态表示、策略优化、奖励制定和环境构建,并相应地调查RLRS算法。我们强调新兴的主题,并使用各种图表描绘重要的趋势。最后,我们讨论了未来可以解决的重要方面和挑战。
2022-06-08 cs.IR
DARLR: Dual-Agent Offline Reinforcement Learning for Recommender Systems with Dynamic Reward
针对离线推荐中世界模型奖励估计不准的问题,本文提出双智能体框架 DARLR,通过选择参考用户动态修正奖励并自适应不确定性惩罚,在四个基准数据集上验证了性能提升。
2025-05-12 cs.IR
Reinforcement Learning based Recommender System using Biclustering Technique
Seoul National University(首尔大学);Korea University(高丽大学)
推荐系统的目的是在许多项目中推荐用户感兴趣的项目。随着信息爆炸的发展,人们对推荐系统的需求也越来越大。已经提出了用于向用户提供有意义的推荐的各种方法。建议的方法之一是考虑一个推荐系统的马尔可夫决策过程(MDP)的问题,并尝试解决它使用强化学习(RL)。然而,现有的基于RL的方法有一个明显的缺点。为了解决推荐系统中的MDP,他们遇到了大量离散动作的问题,这些动作将RL带到了更大的一类问题。在本文中,我们提出了一种新的基于RL的推荐系统。我们制定了一个推荐系统作为一个gridworld游戏,通过使用双聚类技术,可以减少状态和动作空间显着。使用双聚类不仅减少了空间,而且提高了推荐质量,有效地处理了冷启动问题。此外,我们的方法可以为用户提供一些解释,为什么系统推荐某些项目。最后,我们在真实世界的数据集上测试了该算法,并取得了比广泛使用的推荐算法更好的性能。
2018-01-17 cs.AI cs.IR
Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning
交互式推荐系统(IRS)由于其灵活的推荐策略和对长期用户体验的优化考虑而受到广泛关注。为了处理动态的用户偏好和优化累积效用,研究人员将强化学习(RL)引入IRS。然而,RL方法共享样本效率的共同问题,即,由于稀疏的用户响应和由大量候选项组成的大动作空间,训练有效的推荐策略需要大量的交互数据。此外,在在线环境中,使用探索性策略收集大量数据是不可行的,这可能会损害用户体验。在这项工作中,我们调查的潜力,利用知识图谱(KG)在处理这些问题的RL方法的IRS,它提供了丰富的边信息的推荐决策。而不是从头开始学习RL策略,我们利用从KG中学习到的项目相关性的先验知识来(i)指导候选项选择以获得更好的候选项检索,(ii)丰富项目和用户状态的表示,以及(iii)在KG上的相关项目之间传播用户偏好以处理用户反馈的稀疏性。在两个真实世界的数据集上进行了全面的实验,证明了我们的方法的优越性,与最先进的方法相比有了显着的改进。
2020-06-18 cs.IR
Explicit User Manipulation in Reinforcement Learning Based Recommender Systems
IU University of Applied Sciences(IU应用科学大学)
推荐系统在现代世界中非常普遍,因为它们对用户和使用它们的平台和服务都有价值。一般来说,它们可以改善用户体验并有助于提高满意度,但它们并非没有风险。其中一个风险是它们对用户的影响以及它们在塑造用户偏好方面发挥积极作用的能力。这种风险对于基于强化学习的推荐系统更为显著。例如,这些能够学习今天向用户显示的推荐内容如何可能篡改该用户对将来推荐的其他内容的偏好。因此,基于强化学习的推荐系统可以隐式地学习影响用户,如果这意味着最大化点击、参与或消费。特别是在社交新闻和媒体平台上,这种行为令人震惊。社交媒体无疑在公众舆论中发挥着作用,并已被证明是加剧政治两极分化的一个促成因素。因此,这种平台上的推荐系统有很大的潜力以不受欢迎的方式影响用户。然而,也有可能故意使用这种操纵形式。随着政治观点动态建模和更大的用户数据集的进步,明确的用户操纵,其中用户的信念和意见是针对某一目的出现作为一个显着的关注在强化学习为基础的推荐系统。
2022-03-20 cs.IR cs.LG
Optimizing Long-term Value for Auction-Based Recommender Systems via On-Policy Reinforcement Learning
Meta AI
本研究采用时序差分学习实现单步策略改进,使基于拍卖的推荐系统在保持与拍卖框架兼容的同时优化长期用户参与度指标,并在大规模在线A/B测试中验证了其优于现有生产系统。
2023-07-30 cs.AI cs.IR
Learning from Atypical Behavior: Temporary Interest Aware Recommendation Based on Reinforcement Learning
传统的鲁棒推荐方法将非典型的用户-项目交互视为噪声,并旨在通过某种噪声过滤技术来减少其影响,这通常面临两个挑战。首先,在现实世界中,非典型的互动可能会表明用户的临时兴趣不同于他们的一般偏好。因此,简单地将非典型交互作为噪声过滤掉可能是不合适的,并且会降低推荐的个性化。第二,由于没有明确的监督信号来指示交互是否是非典型的,因此难以获得临时兴趣。为了解决这个问题,我们提出了一个新的模型称为临时兴趣感知推荐(TIARec),它可以区分非典型的互动,从正常的没有监督和捕获的临时兴趣,以及用户的一般偏好。特别是,我们提出了一个强化学习框架,包含一个推荐代理和一个辅助分类器代理,这是联合训练的目标,最大化的推荐代理的建议的累积回报。在联合训练过程中,分类器Agent可以判断与推荐Agent推荐的项目的交互是否为非典型交互,并将从非典型交互中学习暂时兴趣的知识传递给推荐Agent,使得推荐Agent能够单独做出平衡用户一般偏好和暂时兴趣的推荐。最后,在真实数据集上进行了实验,验证了TIARec的有效性.
2022-01-16 cs.IR
xMTF: A Formula-Free Model for Reinforcement-Learning-Based Multi-Task Fusion in Recommender Systems
本文提出无公式的多任务融合框架xMTF,利用可学习单调融合单元替代预定义公式,扩大强化学习搜索空间,并结合两阶段混合学习策略,在离线和在线实验中均优于现有方法。
2025-04-08 cs.IR
UNEX-RL: Reinforcing Long-Term Rewards in Multi-Stage Recommender Systems with UNidirectional EXecution
针对多阶段推荐系统中单智能体RL难以同时优化多阶段的问题,本文提出基于单向执行的多智能体强化学习框架UNEX-RL,通过级联信息链方法处理观测依赖和级联效应,在公开数据集和亿级用户在线系统中验证了其提升长期奖励的有效性。
2024-01-12 cs.IR
Leveraging Deep Learning Techniques on Collaborative Filtering Recommender Systems
本文专门综述了基于深度学习的协同过滤推荐系统,系统梳理其研究热度、空白与忽视领域,以应对冷启动和数据稀疏性问题。
2023-04-18 cs.IR
AutoML for Deep Recommender Systems: A Survey
推荐系统在信息过滤中发挥着重要作用,并已被用于不同的场景,如电子商务和社交媒体。随着深度学习的兴起,深度推荐系统通过捕捉非线性信息和项目-用户关系表现出了优越的性能。然而,深度推荐系统的设计严重依赖于人类经验和专家知识。为了解决这个问题,引入了自动机器学习(AutoML)来自动搜索深度推荐系统不同部分的合适候选人。本调查对这一领域的文献进行了全面的回顾。首先,我们提出了AutoML深度推荐系统(AutoRecSys)的抽象概念,描述了它的构建块,并将其与传统的AutoML技术和推荐系统区分开来。其次,我们提出了一个分类法作为一个分类框架,包含特征选择搜索,嵌入维搜索,特征交互搜索,模型架构搜索,和其他组件搜索。此外,我们特别强调了搜索空间和搜索策略,因为它们是连接每个类别中所有方法的共同线索,使从业者能够分析和比较各种方法。最后,我们提出了四个未来有前途的研究方向,将导致这条研究线。
2023-01-02 cs.IR
Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning
University of Virginia(弗吉尼亚大学);Netflix Research(Netflix研究部);Cornell University(康奈尔大学)
Rank-GRPO通过两阶段框架提升LLM对话推荐系统的训练效果,解决排名质量下降问题。
2026-02-13 cs.IR
Deep Pareto Reinforcement Learning for Multi-Objective Recommender Systems
Scheller College of Business, Georgia Tech(佐治亚理工学院谢勒商学院);Stern School of Business, New York University(纽约大学斯特恩商学院)
本文提出深度帕累托强化学习方法,通过建模多目标复杂关系、捕捉个性化偏好和优化短期长期性能,提升多目标推荐系统的性能。
2026-02-12 cs.IR
Model-free Reinforcement Learning with Stochastic Reward Stabilization for Recommender Systems
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
针对推荐系统中用户反馈随机导致无模型强化学习性能下降的问题,提出两种模型无关的随机奖励稳定化框架,用监督模型学习的反馈替代直接随机反馈,实验验证其优于多种RL推荐基线。
2023-08-25 cs.IR cs.LG
MBCAL: Sample Efficient and Variance Reduced Reinforcement Learning for Recommender Systems
Baidu Inc.(百度公司);Baidu Research(百度研究院)
在推荐系统中,如新闻流,这是至关重要的,以优化长期效用的连续用户系统交互过程。以往的工作已经证明了强化学习在这个问题上的能力。然而,在在线系统中实现深度强化学习存在许多实际挑战,包括低样本效率、不可控的风险和过度的方差。为了解决这些问题,我们提出了一种新的强化学习方法,即基于模型的反事实优势学习(MBCAL)。该方法充分利用了推荐系统的特点,借鉴了基于基于模型的强化学习方法,提高了样本效率。它有两个组成部分:以自回归形式逐个预测即时用户行为的环境模型,以及预测未来效用的未来优势模型。为了减轻学习未来优势模型时过度方差的影响,我们采用了来自环境模型的反事实比较。因此,该方法具有较高的样本效率和显著较低的方差;同时,它能够使用现有的用户日志,以避免从头开始的风险。与其性能相比,它的实现成本相对较低,与实际系统吻合较好。理论分析和详细的实验。实验结果表明,该方法在样本效率和渐近性能上均优于其他监督学习和基于RL的方法。
2020-06-18 cs.IR cs.LG
Deep Learning based Recommender System: A Survey and New Perspectives
随着网络信息量的不断增长,推荐系统已经成为克服信息过载的有效策略。推荐系统的效用不能被夸大,因为它在许多网络应用程序中被广泛采用,以及它对改善与过度选择相关的许多问题的潜在影响。近年来,深度学习在计算机视觉和自然语言处理等许多研究领域引起了相当大的兴趣,这不仅是因为它具有出色的性能,而且还因为它从头开始学习特征表示的吸引力。深度学习的影响也很普遍,最近证明了它在应用于信息检索和推荐系统研究时的有效性。显然,推荐系统中的深度学习领域正在蓬勃发展。本文旨在对基于深度学习的推荐系统的最新研究成果进行全面综述。更具体地说,我们提供并设计了一个基于深度学习的推荐模型的分类,并提供了一个最先进的综合总结。最后,我们扩展了当前的趋势,并提供了与该领域这一令人兴奋的新发展有关的新观点。
2019-07-10 cs.IR
Handling Cold-Start Collaborative Filtering with Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
推荐系统中的一个主要挑战是处理新用户,他们也被称为$\textit{cold-start}$用户。在本文中,我们提出了一种新的方法来学习一系列最佳的问题,以访问冷启动用户的电影推荐系统。我们建议使用Deep Q Networks来学习面试问题,以创建用户简档,从而为冷启动用户提供更好的推荐。虽然我们提出的系统是使用电影推荐系统进行训练的,但我们的Deep Q Network模型应该可以推广到各种类型的推荐系统。
2018-06-16 cs.AI cs.IR cs.LG
RL4RS: A Real-World Dataset for Reinforcement Learning based Recommender System
NetEase Inc.(网易公司);Fuxi AI Lab(伏羲人工智能实验室)
本文提出首个开源真实世界数据集 RL4RS,并配套系统化评估框架、仿真环境、基线与反事实评估算法,以缩小基于强化学习的推荐系统研究与实际部署之间的现实差距。
2023-04-17 cs.IR cs.LG
Cache-Aware Reinforcement Learning in Large-Scale Recommender Systems
Kuaishou Technology(快手科技)
本文提出缓存感知强化学习方法CARL,将实时计算与缓存推荐统一建模为马尔可夫决策过程,并针对缓存引起的critic依赖问题提出特征函数学习方法,在快手App上线服务超1亿用户并显著提升用户参与度。
2024-04-23 cs.IR cs.LG
ROLeR: Effective Reward Shaping in Offline Reinforcement Learning for Recommender Systems
The University of Queensland(昆士兰大学);CSIRO DATA61
针对基于模型的离线RL推荐受奖励估计偏差和模型不确定性限制的问题,提出ROLeR框架,通过非参数奖励塑形和灵活的不确定性惩罚提升性能,并在四个基准上达到SOTA。
2025-05-12 cs.AI cs.IR
Why People Skip Music? On Predicting Music Skips using Deep Reinforcement Learning
音乐推荐系统是我们日常生活中不可或缺的一部分。最近的研究已经看到了基于黑盒推荐的方法,如深度强化学习(DRL)的重大努力。这些进步,以及对用户数据汇集和隐私的日益关注,导致了对构建负责任的推荐系统的强烈兴趣。成功的音乐推荐系统的一个关键要素是对用户如何与流媒体内容交互进行建模。通过首先理解这些相互作用,可以得出见解,以构建更透明和负责任的系统。这些交互的一个例子是跳过行为,这是一个可以衡量用户满意度、不满度或缺乏兴趣的信号。在本文中,我们研究了用户的历史数据的顺序预测用户的跳过行为的任务的效用。为此,我们适应DRL这个分类任务,其次是事后的可解释性(SHAP)和消融分析的输入状态表示。来自真实世界音乐流数据集(Spotify)的实验结果证明了我们的方法在这项任务中的有效性,表现优于最先进的模型。我们的方法和用户的历史数据的全面分析揭示了数据集中的时间数据泄漏问题。我们的研究结果表明,总体而言,用户的行为特征是最具歧视性的,我们提出的DRL模型预测音乐跳过。内容和上下文特征的影响较小。这表明应该收集并利用有限数量的用户数据来预测跳过行为。
2023-01-10 cs.IR
Plug-and-Play Model-Agnostic Counterfactual Policy Synthesis for Deep Reinforcement Learning based Recommendation
本文提出模型无关反事实合成策略MACS,通过生成反事实交互数据缓解强化学习推荐中的数据稀疏问题,并与DDPG、SAC等算法集成,实验证明其能有效提升推荐智能体性能。
2023-11-01 cs.IR
Empowering recommender systems using automatically generated Knowledge Graphs and Reinforcement Learning
Insight Research Ireland Centre for Data Analytics, Data Science Institute, University of Galway(爱尔兰高威大学数据科学研究所Insight爱尔兰数据分析研究中心);Fidelity Investments(富达投资)
本文提出两种基于知识图谱和强化学习的方法,用于金融服务中的个性化文章推荐,兼顾准确性与可解释性。
2025-02-24 cs.AI cs.IR cs.LG
EasyRL4Rec: An Easy-to-use Library for Reinforcement Learning Based Recommender Systems
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);AIR, Tsinghua University(清华大学AIR)
EasyRL4Rec是一个专为基于强化学习的推荐系统设计的易用代码库,提供多样化环境、统一评估标准和定制化状态与动作设计,以解决框架缺失、评估不一致和复现困难等问题。
2024-05-24 cs.IR cs.LG
MaRCA: Multi-Agent Reinforcement Learning for Dynamic Computation Allocation in Large-Scale Recommender Systems
Tsinghua University(清华大学)
MaRCA通过多智能体强化学习实现大规模推荐系统的端到端计算资源分配,提升计算效率并实现16.67%的收入增长。
2025-12-30 cs.IR cs.LG cs.MA
Causal Decision Transformer for Recommender Systems via Offline Reinforcement Learning
The University of New South Wales(新南威尔士大学);University of Klagenfurt(克拉根福大学);Data61, CSIRO(联邦科学与工业研究组织Data61部门)
针对推荐系统中强化学习奖励函数设计难、数据效率低及离线学习能力弱的问题,提出CDT4Rec离线强化学习模型,利用Transformer处理大规模离线数据并捕捉因果关系,经多数据集验证具备可行性与优越性。
2023-08-27 cs.AI cs.IR
Balancing Accuracy and Fairness for Interactive Recommendation with Reinforcement Learning
由于传统推荐人可能造成的偏见和歧视,推荐的公平性越来越受到人们的关注。在交互式推荐系统(IRS)中,用户偏好和系统的公平性状态会随着时间的推移而不断变化。现有的公平感知决策器主要考虑静态环境下的公平性。直接将现有方法应用于IRS将导致不良推荐。为了解决这个问题,我们提出了一个基于强化学习的框架,FairRec,动态地保持IRS的准确性和公平性之间的长期平衡。用户偏好和系统的公平性状态被联合压缩到状态表示中以生成推荐。FairRec旨在最大限度地提高我们设计的累积奖励,将准确性和公平性相结合。大量的实验证明,FairRec可以提高公平性,同时保持良好的推荐质量。
2021-06-25 cs.CY cs.IR
SELF: Surrogate-light Feature Selection with Large Language Models in Deep Recommender Systems
针对传统代理模型在次优条件下特征选择效果受限的问题,提出SELF方法,融合大语言模型语义推理与代理模型任务学习,在三个真实推荐数据集上验证了有效性。
2025-08-27 cs.IR
Adversarial Attacks and Detection on Reinforcement Learning-Based Interactive Recommender Systems
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);University of Adelaide(阿德莱德大学)
对抗攻击对在早期阶段检测对抗攻击提出了重大挑战。我们提出了基于强化学习的交互式推荐系统的攻击不可知检测。我们首先制作对抗性示例以显示其不同的分布,然后通过基于精心制作的数据的基于深度学习的分类器检测潜在的攻击来增强推荐系统。最后,我们研究了对抗性示例的攻击强度和频率,并使用多种制作方法在标准数据集上评估我们的模型。实验结果表明,大多数对抗攻击都是有效的,攻击强度和攻击频率对攻击性能都有影响。策略定时攻击仅需1/3 ~ 1/2的攻击频率就能达到相当的攻击性能。此外,我们的黑盒检测器训练与一个手工方法具有推广能力超过几个手工方法。
2020-06-14 cs.CR cs.IR cs.LG
Effects of Using Synthetic Data on Deep Recommender Models' Performance
本研究探讨合成数据生成对解决推荐系统数据不平衡问题的有效性,通过六种方法生成合成数据并整合到原始数据集中,实验表明加入生成的负样本能持续提升AUC分数,证明数据增强策略可改善推荐系统性能。
2024-06-26 cs.IR
Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology
Google Research(谷歌研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校);YouTube, LLC(YouTube有限责任公司)
大多数实用的推荐系统专注于估计即时用户参与度,而不考虑推荐对用户行为的长期影响。强化学习(RL)方法提供了优化长期用户参与建议的潜力。然而,由于用户经常被呈现多个项目的板-这可能对用户选择有交互作用-需要方法来处理RL动作空间的组合。在这项工作中,我们解决了使用RL提出基于石板的建议以优化长期价值的挑战。我们的贡献是三方面的。(i)我们开发了SLATEQ,一种基于值的时间差和Q学习的分解,使RL易于使用石板。在对用户选择行为的温和假设下,我们证明了一个石板的长期价值(LTV)可以分解为一个易于处理的功能,其组件项目明智的LTV。(ii)我们概述了一种方法,利用现有的近视学习为基础的推荐快速开发一个推荐处理LTV。(iii)我们在模拟中展示了我们的方法,并在YouTube上的现场实验中使用SLATEQ验证了分解TD学习的可扩展性。
2019-05-31 cs.AI cs.IR cs.LG
Light-FMP: Lightweight Feature and Model Pruning for Enhanced Deep Recommender Systems
New Jersey Institute of Technology(新泽西理工学院);Stevens Institute of Technology(史蒂文斯理工学院)
Light-FMP通过预训练、剪枝和继续训练三个阶段,提升深度推荐系统在计算效率与模型准确性的平衡,实现更高效的性能。
2026-05-07 cs.IR
RPAF: A Reinforcement Prediction-Allocation Framework for Cache Allocation in Large-Scale Recommender Systems
Kuaishou Technology(快手科技);Tsinghua University(清华大学)
本文提出了一种基于强化学习的两阶段框架RPAF,通过预测阶段估计缓存价值并利用松弛局部分配器与PoolRank算法解决流式分配问题,在计算预算约束下显著提升了大规模推荐系统的用户参与度。
2024-09-20 cs.IR cs.LG
Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning
Michigan State University(密歇根州立大学)
推荐系统通过向用户推荐个性化的商品或服务,在缓解信息过载问题方面起着至关重要的作用。绝大多数传统的推荐系统将推荐过程视为一个静态的过程,并遵循固定的策略进行推荐。在本文中,我们提出了一种新的推荐系统的能力,不断提高其策略,在与用户的互动。我们将用户和推荐系统之间的顺序交互建模为马尔可夫决策过程(MDP),并利用强化学习(RL)通过推荐试错项目并从用户的反馈中接收这些项目的强化来自动学习最优策略。用户的反馈可以是积极的和消极的,这两种类型的反馈都有很大的潜力,以提高推荐。然而,负反馈的数量远远大于正反馈,因此同时将它们合并是具有挑战性的,因为正反馈可能被负反馈所掩盖。在本文中,我们开发了一种新的方法,将它们纳入建议的深度推荐系统(DEERS)框架。基于真实电子商务数据的实验结果验证了该框架的有效性。进一步的实验已经进行了理解的重要性,积极和消极的反馈建议。
2018-08-10 cs.IR cs.LG stat.ML
Controllable Recommenders using Deep Generative Models and Disentanglement
在本文中,我们认为可控性作为一种手段,以满足用户的动态偏好,使他们能够控制的建议,使他们目前的偏好得到满足。虽然深度模型在协同过滤方面表现出了更好的性能,但它们通常不适合用户的细粒度控制,这导致了像深度语言批评这样的方法的发展。我们提出了一个替代的观点,而不是基于关键词的批评,用户提供的“旋钮”在一个解开的潜在空间,每个旋钮对应于一个项目方面。解纠缠在这里指的是一个潜在的空间,其中生成因素(在这里,对一个项目类别,如流派的偏好)被独立地捕获在其各自的维度,从而实现可预测的操纵,否则不可能在纠缠的空间。为此,我们建议使用(半)监督解纠缠目标,以及多个指标来评估可控性和个性化程度的控制建议。我们表明,通过更新的用户反馈的基础上解开的潜在空间,并利用生成的推荐,控制和个性化的建议可以产生。通过在两个广泛使用的协同过滤数据集上的实验,我们证明了一个可控的推荐器可以在推荐性能略有下降的情况下训练出来,只要提供足够的监督。由这些模型产生的推荐似乎既符合用户的当前偏好,又保持个性化。
2021-10-11 cs.IR
Modeling Recommender Ecosystems: Research Challenges at the Intersection of Mechanism Design, Reinforcement Learning and Generative Models
Google Research(谷歌研究院)
本文提出建模推荐生态系统需显式考虑所有参与者的激励与交互,并融合强化学习、社会选择、机制设计、行为经济学及生成模型,以提升长期效用和系统健康度。
2023-09-22 cs.AI cs.GT cs.HC
On Causally Disentangled State Representation Learning for Reinforcement Learning based Recommender Systems
The University of New South Wales(新南威尔士大学);Data 61, CSIRO(联邦科学与工业研究组织数据61分部)
针对强化学习推荐系统中高维噪声状态空间问题,提出因果解耦方法提取关键状态变量,构建因果不可或缺的状态表示,提升策略训练效果并超越现有方法。
2024-07-18 cs.AI cs.IR
Survey for Trust-aware Recommender Systems: A Deep Learning Perspective
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所)
现有推荐系统的一个重要挑战是用户可能不信任推荐系统,因为缺乏解释或推荐结果不准确。因此,拥有一个值得信赖的推荐系统变得至关重要。该调查提供了三种类型的信任感知推荐系统的系统总结:利用用户的社会关系的社会感知推荐系统;过滤不真实噪音的鲁棒推荐系统(例如,垃圾邮件发送者和虚假信息)或增强攻击抵抗力;提供推荐项目解释的可解释推荐系统。我们专注于基于深度学习技术的工作,这是推荐研究中的一个新兴领域。
2020-10-06 cs.IR cs.LG
DEAR: Deep Reinforcement Learning for Online Advertising Impression in Recommender Systems
Michigan State University(密歇根州立大学);Bytedance(字节跳动)
随着最近强化学习(RL)的流行,在推荐平台(例如,电子商务和新闻馈送站点)。然而,大多数基于RL的广告算法专注于优化广告的收入,而忽略了广告对推荐项目(产品、文章和视频)的用户体验的可能负面影响。开发推荐中的最佳广告算法面临着巨大的挑战,因为插入广告不当或过于频繁可能会降低用户体验,而插入较少的广告将减少广告收入。因此,在本文中,我们提出了一种新的广告策略的rec/ads权衡。具体来说,我们开发了一个基于RL的框架,可以不断更新其广告策略,并从长远来看最大化回报。给定一个推荐列表,我们设计了一个新的Deep Q网络架构,可以联合确定三个内部相关的任务,即,(i)是否在推荐列表中插入广告,以及如果是,(ii)最佳广告和(iii)插入的最佳位置。基于真实数据的实验结果验证了该框架的有效性。
2021-05-05 cs.IR cs.LG
XDM: Improving Sequential Deep Matching with Unclicked User Behaviors for Recommender System
基于深度学习的顺序推荐系统近年来引起了学术界和工业界越来越多的关注。大多数工业化的基于嵌入的检索(EBR)系统的推荐共享与顺序查询相似的思想。其中,如何全面捕捉序列用户兴趣是一个根本性的问题。然而,大多数现有的顺序推荐模型作为输入点击或购买的行为序列,从用户项目的交互。这导致不全面的用户表示和次优的模型性能,因为它们忽略了完整的用户行为暴露数据,即,用户印象深刻但未点击的项目。在这项工作中,我们试图采用一种新的学习方法,以探索更好的顺序推荐技术,将这些未点击的项目序列和模型。提出了一种有效的三元组度量学习算法来适当地学习未点击项目的表示。我们的方法可以简单地集成与现有的顺序推荐模型的置信度融合网络,并进一步获得更好的用户表示。基于真实电子商务数据的离线实验结果验证了该方法的有效性,并验证了未点击项目在顺序推荐中的重要性。此外,我们部署我们的新模型(命名为XDM)在淘宝推荐系统的EBR,性能优于部署的前一代SDM。
2022-03-31 cs.IR
Hyperbolic Neural Collaborative Recommender
本文探讨了使用双曲几何和深度学习技术进行推荐。我们提出了双曲神经协作推荐(HNCR),深度双曲表示学习方法,利用用户/项目之间的相互语义关系的协同过滤(CF)任务。HNCR包含两个主要阶段:邻居构建和推荐框架。第一阶段引入邻居构建策略,根据用户与项目的历史交互,为每个用户和项目构建语义邻居集。在第二阶段,我们开发了一个基于双曲几何的深层框架,将构建的邻居集集成到推荐中。通过一系列广泛的实验,我们表明,HNCR优于其欧几里得同行和国家的最先进的基线。
2021-04-15 cs.IR
Predictive accuracy of recommender algorithms
本文在受控实验中比较三种传统推荐算法与两种深度学习算法的预测准确性,发现深度学习算法表现较弱并探讨过拟合及正则化改进方向。
2024-06-26 cs.IR
Deep Mutual Learning across Task Towers for Effective Multi-Task Recommender Learning
针对多任务推荐中独立任务塔不利于知识共享的问题,提出跨任务塔的深度互学习框架,兼容多种骨干网络,并通过离线实验和在线AB测试验证其有效性。
2023-09-19 cs.IR
Deep Reinforcement Learning based Recommendation with Explicit User-Item Interactions Modeling
推荐在学术界和工业界都是至关重要的,提出了各种技术,如基于内容的协同过滤,矩阵分解,逻辑回归,分解机,神经网络和多臂强盗。然而,以往的研究大多存在两个局限性:(1)将推荐过程视为一个静态过程,忽略了用户与推荐系统之间的动态交互性质;(2)关注推荐项目的即时反馈,忽略了长期回报。为了解决这两个限制,在本文中,我们提出了一种新的推荐框架的基础上,深度强化学习,称为DRR。DRR框架将推荐过程视为一个连续的决策过程,并采用“Actor-Critic”强化学习机制对用户与推荐系统之间的交互进行建模,同时考虑了推荐系统的动态适应性和长期回报。此外,一个状态表示模块被纳入DRR,它可以显式地捕捉项目和用户之间的交互。开发了三种实例化结构。在离线和在线评估设置下,对四个真实世界的数据集进行了广泛的实验。实验结果表明,所提出的DRR方法确实优于国家的最先进的竞争对手。
2019-10-29 cs.IR
Adaptive Neural Architectures for Recommender Systems
Maastricht University(马斯特里赫特大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
事实证明,深度学习是捕捉用户偏好非线性关联的有效手段。然而,现有深度学习架构的主要缺点是它们遵循固定的推荐策略,忽略了用户的实时的反馈。深度强化策略的最新进展表明,当用户与系统交互时,推荐策略可以不断更新。在这样做的过程中,我们可以学习适合用户对推荐会话的偏好的最佳策略。深度强化策略的主要缺点是基于预定义和固定的神经架构。为了阐明如何处理这个问题,在这项研究中,我们首先提出了深度强化学习的推荐策略,并讨论了由于固定的神经架构的主要限制。然后,我们详细介绍了渐进式神经架构的最新进展如何用于其他研究领域的连续任务。最后,我们提出了填补深度强化学习和自适应神经架构之间差距的关键挑战。我们提供了通过强化学习基于每个用户反馈搜索最佳神经架构的指导方针,同时考虑实时推荐的预测性能和模型复杂性。
2020-11-11 cs.AI cs.IR cs.LG
Joint Neural Collaborative Filtering for Recommender Systems
我们提出了一个推荐系统的J-NCF方法。J-NCF模型应用联合神经网络,该网络将深度特征学习和深度交互建模与评级矩阵相耦合。深度特征学习利用基于用户-项目评级矩阵的深度学习架构提取用户和项目的特征表示。深度交互建模使用由深度特征学习过程生成的特征表示作为输入来捕获与深度神经网络的非线性用户-项目交互。J-NCF使深度特征学习和深度交互建模过程能够通过联合训练相互优化,从而提高推荐性能。此外,我们设计了一个新的优化损失函数,它同时考虑了隐式和显式反馈,逐点和成对损失。在几个真实数据集上的实验表明,J-NCF比最先进的方法有了显著的改进,在MovieLens 100 K数据集上的改进高达8.24%,在MovieLens 1 M数据集上的改进高达10.81%,在Amazon Movies数据集上的改进高达10.21%。NDCG@10分别提高了12.42%、14.24%和15.06%。我们还进行了实验,以评估J-NCF的可扩展性和灵敏度。我们的实验表明,与最先进的基线相比,J-NCF模型具有竞争力的推荐性能与不活跃的用户和不同程度的数据稀疏。
2019-07-10 cs.IR
Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Macquarie University(麦考瑞大学)
对抗攻击,例如,输入和对抗样本的对抗性扰动对包括交互式推荐系统在内的机器学习和深度学习技术提出了重大挑战。这些技术的潜在嵌入空间使得对抗攻击难以在早期阶段检测到。因果关系研究的最新进展表明,反事实也可以被认为是生成来自不同分布的对抗样本作为训练样本的方法之一。我们建议在基于强化学习的交互式推荐系统上探索对抗性示例和攻击不可知检测。我们首先通过向输入中添加扰动并干预偶然因素来制作不同类型的对抗性示例。然后,我们通过基于精心制作的数据的基于深度学习的分类器检测潜在的攻击来增强推荐系统。最后,我们研究了对抗性示例的攻击强度和频率,并使用多种制作方法在标准数据集上评估我们的模型。实验结果表明,大多数对抗攻击都是有效的,攻击强度和攻击频率对攻击性能都有影响。策略定时攻击仅需1/3 ~ 1/2的攻击频率就能达到相当的攻击性能。此外,我们的黑盒检测器训练与一个手工方法具有泛化能力超过其他几个手工方法。
2021-12-02 cs.IR cs.LG
SDM: Sequential Deep Matching Model for Online Large-scale Recommender System
获取用户的精确偏好是大规模推荐系统的一个基本问题。目前,基于项目的协同过滤(CF)方法是工业界常用的匹配方法。然而,它们不能有效地对用户的动态和不断变化的偏好进行建模。在本文中,我们提出了一个新的顺序深度匹配(SDM)模型,通过结合短期会话和长期行为来捕获用户的动态偏好。与现有的序列感知推荐方法相比,我们解决了以下两个实际应用中的固有问题:(1)在一个会话中可能存在多个兴趣倾向。(2)长期偏好可能无法有效地与当前会话兴趣融合。长期行为是多样的、复杂的,因此与短期会话高度相关的行为应该被保留以进行融合。我们建议编码行为序列与两个相应的组件:多头自我注意模块捕捉多种类型的利益和长期-短期门控融合模块,将长期的喜好。在序列用户行为向量和项目嵌入向量之间进行匹配后,推荐连续项目。真实世界数据集上的离线实验表明,所提出的SDM的优越性能。此外,SDM已成功部署在淘宝网的在线大型推荐系统,并在一系列商业指标方面取得了改善。
2019-12-28 cs.IR
A Systematic Review on Context-Aware Recommender Systems using Deep Learning and Embeddings
State University of Maringá(马里兰州立大学)
推荐系统是改善用户在Web系统中查找相关信息的工具,因此他们不会面对太多的信息。为了产生更好的建议,应在建议过程中使用信息的上下文。上下文感知推荐系统被创建,实现了最先进的结果,并改进了传统的推荐系统。构建推荐系统的方法有很多,其中两个最突出的进展是使用嵌入来表示推荐系统中的数据,以及使用深度学习架构来向用户生成推荐。系统综述是一种形式化、系统化的文献综述方法,通过对已发表的相关研究进行分析,对某一研究领域的所有研究进行识别和评价。进行了系统的回顾,以了解如何将深度学习和嵌入技术应用于改进上下文感知推荐系统。我们总结了用于创建这些的架构以及它们所使用的域。
2020-07-09 cs.CV cs.IR