Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning
University of Georgia（佐治亚大学）；Tencent AI Lab（腾讯AI实验室）；The Education University of Hong Kong（香港教育大学）；The Hong Kong Polytechnic University（香港理工大学）
提出DiRL框架，通过方向感知奖励区分推理与记忆驱动的探索，在GRPO中集成方向加权梯度特征，显著提升数学与通用推理性能。
2026-06-09 cs.AI
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology（代尔夫特理工大学）；VU Amsterdam（阿姆斯特丹自由大学）
深度强化学习（DRL）和演化策略（ES）在许多顺序决策问题中已经超越了人类控制，但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势，分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后，在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后，混合算法的好处，结合DRL和ES的概念突出。最后，有一个关于他们如何在现实世界中的应用程序进行比较的指示，他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Diversity is Strength: Mastering Football Full Game with Interactive Reinforcement Learning of Multiple AIs
Netease（网易）
本文提出DIS框架，通过互联历史模型池结构和评估筛选方案同时训练多种AI，在不使用人类数据的情况下生成多样且强大的策略，首次在GRF复杂多智能体环境中同时赢得5v5和11v11赛道。
2023-06-28 cs.AI
Adjust Planning Strategies to Accommodate Reinforcement Learning Agents
National University of Defense Technology（国防科技大学）
在智能体控制问题中，将强化学习与规划相结合的思想引起了人们的广泛关注。两种方法分别侧重于微观和宏观行动。如果他们之间有一个良好的合作，他们的优势会一起显示。合作的关键是找到一个适当的边界，为每种方法分配不同的功能。这样的边界可以由规划算法中的参数表示。本文通过分析反应与规划之间的联系，提出了一种规划参数的优化策略，并提出了一种非梯度的加速优化方法。整个算法能够找到一个令人满意的规划参数设置，充分利用了特定智能体的反应能力。
2020-03-19 cs.AI cs.LG
Multi-Agent Deep Reinforcement Learning with Human Strategies
Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究院（IISRI））；Deakin University（迪肯大学）
深度学习使传统的强化学习方法能够处理高维问题。然而，深度强化学习方法的缺点之一是学习代理的有限探索能力。在本文中，我们介绍了一种整合人类策略以提高多个深度强化学习代理的探索能力的方法。我们还报告了我们自己的多智能体环境称为多坦克防御模拟所提出的方法的发展。结果表明，多个代理人的合作学习与人类的策略显着的性能改善。这意味着人类的智慧与机器合作来解决复杂问题的迫切需要。此外，本次仿真的成功表明，我们的多智能体环境可以作为一个测试平台，开发和验证其他多智能体控制算法。
2019-05-30 cs.AI cs.LG stat.ML
An Autonomous Negotiating Agent Framework with Reinforcement Learning Based Strategies and Adaptive Strategy Switching Mechanism
NEC Corporation（日本电气股份有限公司）
尽管文献中有大量的谈判策略，但自动谈判的复杂性使得单个策略在不同的谈判场景中无法占主导地位。为了克服这一点，一种方法是使用混合专家模型，但同时，这种方法的一个问题是专家的选择，因为这种方法受到所选择的专家的能力的限制。大多数谈判策略的另一个问题是它们不能适应对手在单个谈判会话中的行为的动态变化，从而导致性能不佳。这项工作侧重于两个，解决专家选择和适应对手的行为与我们的自主谈判代理框架的问题。该框架允许对手的行为的实时分类，并提供了一种机制，选择，切换或组合策略在一个单一的谈判会话。此外，我们的框架有一个审查员组件，使自我增强的能力，决定包括新的战略或更换旧的更好的战略定期。我们通过使用基于深度学习的对手分类器实现基于最大熵强化学习的策略来演示我们的框架的实例。最后，我们评估我们的代理对国家的最先进的谈判者在不同的谈判场景下的性能。
2021-02-09 cs.AI cs.MA
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London（帝国理工学院）
深度强化学习系统在许多复杂的双人游戏（围棋、国际象棋、象棋）中表现优于世界级的人类玩家。然而，由于易处理性的考虑，极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中，我们考虑简单的游戏（Noughts-and-Crosses和Hexapawn），其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾，以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中，正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差（更高的累积极大极小遗憾）。此外，MIGO的学习规则相对容易理解，并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Learning Optimal Treatment Strategies for Sepsis Using Offline Reinforcement Learning in Continuous Space
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）
脓毒症是ICU死亡的主要原因。这是一种需要在短时间内进行复杂干预的疾病，但其最佳治疗策略仍不确定。有证据表明，目前使用的治疗策略的做法是有问题的，可能会对患者造成伤害。为了解决这个决策问题，我们提出了一个新的医疗决策模型的基础上的历史数据，以帮助临床医生推荐实时治疗的最佳参考方案。我们的模型结合了离线强化学习和深度强化学习，解决了传统强化学习在医疗领域由于无法与环境交互而带来的问题，同时使我们的模型能够在连续的状态-动作空间中进行决策。我们证明，平均而言，该模型推荐的治疗方法比临床医生推荐的治疗方法更有价值和可靠。在一个大型验证数据集中，我们发现临床医生的实际剂量与人工智能的决定相匹配的患者死亡率最低。我们的模型为败血症提供了个性化和临床可解释的治疗决策，以改善患者护理。
2022-07-14 cs.AI cs.LG
Managing caching strategies for stream reasoning with reinforcement learning
University of Calabria（卡拉布里亚大学）；Vienna University of Technology（维也纳技术大学）
对不断变化的数据进行有效的决策对于许多应用领域都是必不可少的，例如网络物理系统，工业数字化等。现代流推理框架允许人们在新数据到达流时使用增量和连续评估程序来建模和解决各种现实问题。应用技术使用，例如，类似数据记录的实体化或真值维护算法，以避免昂贵的重新计算，从而确保流推理器的低延迟和高吞吐量。然而，现有方法的表现力是相当有限的，例如，它们不能用于编码在实践中经常出现的具有约束的问题。在本文中，我们提出了一种新的方法，使用的约束驱动的约束学习（CDCL），有效地更新遗留的解决方案，通过使用智能管理的学习约束。特别是，我们研究了强化学习的适用性，以不断评估在以前调用的求解算法为当前计算的学习约束的效用。对现实世界的重构问题进行的评估表明，提供一个CDCL算法与相关的学习约束，从以前的迭代结果显着的性能改进的算法在流推理的情况下。正在考虑接受TPLP。
2020-08-07 cs.AI
Experience-driven discovery of planning strategies
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对新规划策略的形成过程未知问题，本研究提出新规划策略通过元认知强化学习发现的观点，经实验与模型验证其比其他机制更能解释人类策略发现，但模型发现速率慢于人类，有待改进。
2024-12-04 cs.AI
Developing Driving Strategies Efficiently: A Skill-Based Hierarchical Reinforcement Learning Approach
Bilkent University（毕尔肯大学）
针对强化学习训练驾驶员模型成本高的问题，提出以运动基元为高层动作的基于技能分层驾驶策略，在汇入场景中以更少训练获得优于基线RL的性能。
2023-09-17 cs.AI cs.LG cs.RO
Reinforcement Learning-Enabled Decision-Making Strategies for a Vehicle-Cyber-Physical-System in Connected Environment
University of Waterloo（滑铁卢大学）；Chongqing University（重庆大学）
互联自动车作为一种典型的车辆信息物理系统（V-CPS），近年来受到越来越多的关注。本文重点讨论了互联环境下自主车辆的决策策略。首先，制定了公路DM问题，其中车辆可以通过无线网络交换信息。然后，两个经典的强化学习（RL）算法，Q-学习和Dyna，被用来推导DM策略在一个预定义的驾驶场景。最后，分析了所提出的DM策略在安全性和效率方面的控制性能。此外，RL算法的内在差异体现在DM策略和讨论。
2020-07-16 cs.AI cs.LG cs.RO
Qualitative Differences Between Evolutionary Strategies and Reinforcement Learning Methods for Control of Autonomous Agents
Institute of Cognitive Science and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）
在本文中，我们分析了进化策略和强化学习算法之间的质的差异，重点是两个流行的最先进的算法：OpenAI-ES进化策略和最近端策略优化（PPO）强化学习算法-这两个家庭的最相似的方法。我们分析了这些方法在以下方面的不同：（i）一般功效，（ii）应对稀疏奖励的能力，（iii）发现最小解决方案的倾向/能力，（iv）对奖励塑造的依赖，以及（v）应对环境条件变化的能力。分析的性能和表现出的行为策略的代理培训与基准问题的两种方法，使我们能够证明在以前的研究中没有发现的定性差异，以确定这两种方法的相对弱点，并提出改善这些弱点的方法。我们表明，奖励函数的特性具有很强的影响，不仅对于OpenAI-ES和PPO，而且对于其他强化学习算法，这些特性都有很大的不同，从而证明了优化奖励函数特性对所使用算法的重要性。
2022-05-16 cs.AI cs.LG cs.NE
Offline reinforcement learning with uncertainty for treatment strategies in sepsis
The Johns Hopkins University（约翰斯·霍普金斯大学）
基于指南的脓毒症和脓毒性休克的治疗是困难的，因为脓毒症是一种不同范围的危及生命的器官功能障碍，其病理生理学尚未完全了解。脓毒症的早期干预对患者的预后至关重要，但这些干预措施具有不良反应，并且经常过度使用。更大的个性化是必要的，因为没有一个单一的行动是适合所有患者。我们提出了一种新的强化学习应用，其中我们从数据中识别脓毒症治疗的最佳建议，估计其置信水平，并识别在训练数据中很少观察到的治疗方案。而不是一个单一的建议，我们的方法可以提出几种治疗方案。我们研究了学习的政策，发现强化学习对积极干预有偏见，因为死亡率和接受的治疗水平之间存在混杂关系。我们使用子空间学习来减轻这种偏见，并开发出可以在医疗保健应用中产生更准确的学习策略的方法。
2021-09-22 cs.AI cs.LG
Market Making Strategies with Reinforcement Learning
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文研究强化学习做市策略，通过奖励工程、MORL及POW-dTS策略加权算法应对库存管理与市场非平稳性，实验显示其性能显著优于传统基线。
2025-07-24 cs.AI cs.LG
Improving Sepsis Treatment Strategies by Combining Deep and Kernel-Based Reinforcement Learning
Harvard University（哈佛大学）；Imperial College London（帝国理工学院）；MIT（麻省理工学院）
脓毒症是ICU死亡的主要原因。这是具有挑战性的管理，因为个别患者对治疗的反应不同。因此，为个体患者量身定制治疗对于获得最佳结果至关重要。在本文中，我们通过应用专家混合框架来实现这一目标，以个性化脓毒症治疗。混合模型根据患者的当前病史选择性地在基于邻居（内核）和深度强化学习（DRL）专家之间交替。在一个大型回顾性队列中，这种基于混合的方法优于医生、仅内核和仅DRL专家。
2019-01-15 cs.AI cs.LG stat.ML
How to Discount Deep Reinforcement Learning: Towards New Dynamic Strategies
University of Liege（列日大学）
使用深度神经网络作为强化学习任务的函数逼近器最近被证明对于解决接近现实世界复杂性的问题非常强大。使用这些结果作为基准，我们讨论了折扣因子在深度Q网络（DQN）的学习过程质量中可能发挥的作用。当折扣因子逐渐增加到其最终值时，我们的经验表明，它可以显着减少学习步骤的数量。当结合不同的学习率使用时，我们根据经验表明，它在几个实验中优于原始DQN。我们将这种现象与神经网络在近似动态规划设置中使用时的不稳定性联系起来。我们还描述了在学习过程中落入局部最优的可能性，从而将我们的讨论与探索/开发困境联系起来。
2016-01-20 cs.AI cs.LG
Meta-Reinforcement Learning of Structured Exploration Strategies
UC Berkeley（加州大学伯克利分校）；Embodied Intelligence（具身智能公司）
探索是强化学习（RL）的一个基本挑战。目前许多深度强化学习的探索方法都使用与任务无关的目标，例如基于状态访问的信息增益或奖金。然而，RL的许多实际应用涉及学习多个任务，并且可以使用先前的任务来告知如何在新任务中执行探索。在这项工作中，我们将探讨如何事先任务可以告知代理如何有效地探索在新的情况下。我们引入了一种新的基于梯度的快速自适应算法-结构化噪声模型不可知探索（MAESN）-从先前的经验中学习探索策略。先前的经验被用来初始化一个政策，并获得一个潜在的探索空间，可以注入结构化的随机性到一个政策，产生的探索策略，是由先验知识，比随机动作空间噪声更有效。我们表明，MAESN是更有效的学习探索策略相比，以前的元RL方法，RL没有学习的探索策略，任务不可知的探索方法。我们评估我们的方法在各种模拟任务：运动与轮式机器人，运动与四足步行机，和对象操作。
2018-02-20 cs.AI cs.LG cs.NE
Program-Based Strategy Induction for Reinforcement Learning
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）；Department of Psychology（心理学系）；Department of Computer Science（计算机科学系）
本文提出用贝叶斯程序归纳发现可解释的强化学习策略，在赌博机任务中揭示出经典增量学习难以捕捉的非对称学习、自适应随机探索和离散状态切换等策略。
2024-02-26 cs.AI cs.LG
ZPD Teaching Strategies for Deep Reinforcement Learning from Demonstrations
University of California, Berkeley（加州大学伯克利分校）
示教学习是加速和减少强化学习探索需求的流行工具。当向人类学生提供专家演示时，我们知道演示必须在称为“近端发展区（ZPD）”的特定难度范围内。如果它们太容易，学生什么也学不到，但如果它们太难，学生无法跟上。这就提出了一个问题：给定一组潜在的示范者，其中哪一个最适合教授任何特定的学习者？先前的工作，例如流行的Deep Q-从演示示教学习（DQfD）算法，通常集中在单个演示器上。在这项工作中，我们考虑的问题中选择不同技能水平的多个示威者。我们的研究结果与人类学习者的直觉一致：从表现最好的演示者那里（就奖励而言）进行演示并不总是最好的策略。我们表明，仔细选择教学策略可以导致样本效率增益在学习者的环境中，在九个雅达利游戏
2019-10-26 cs.AI cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg（奥格斯堡大学）；Oregon State University（俄勒冈州立大学）
反事实解释是解释人工智能模型的常用工具。对于强化学习（RL）代理，他们回答“为什么不呢？或者“如果？“的问题，通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性，因为它们的状态空间很大，而且它们的决策是总体政策的一部分，其中包括长期决策。然而，专注于反事实解释的研究，特别是对于具有视觉输入的RL代理，是稀缺的，并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务，如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法，通过将问题描述为域转移问题来生成RL代理的反事实解释，该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的，我们证明，它优于只有以前的方法在几个计算指标。此外，我们在用户研究中表明，我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Normal University（北京师范大学）
在本文中，我们提出了一种新的元学习方法在强化学习设置，基于演化策略（ES），探索参数空间和确定性策略梯度。ES方法易于并行化，这对于现代训练架构是理想的;然而，这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术，以弥补样本效率的问题，同时保持固有的可扩展性的ES方法。我们证明，我们的方法取得了良好的效果相比，基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外，由于元训练阶段的无梯度方法，在自适应训练中不需要有关梯度和策略的信息，我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
Exploring Natural Language-Based Strategies for Efficient Number Learning in Children through Reinforcement Learning
Univeristy Of Colorado, Boulder（科罗拉多大学博尔德分校）
本文通过强化学习框架研究儿童如何使用十进制积木组成数字，发现明确动作指导的指令更有效，并提出有效的教学课程以加速收敛和提升泛化能力。
2026-04-08 cs.AI cs.CL cs.LG
Learning Shaping Strategies in Human-in-the-loop Interactive Reinforcement Learning
Dalian University of Technology（大连理工大学）；Ocean University of China（中国海洋大学）
为强化学习代理提供信息丰富的人类知识可以显着改善学习的各个方面。先前的工作已经开发了不同类型的塑造方法，使代理在复杂的环境中有效地学习。然而，所有这些方法都在专门的成形过程中为代理人量身定制人类指导，从而在不同领域体现出各种特征和优势。在本文中，我们研究了不同的整形方法之间的相互作用，以获得更强大的学习性能。我们提出了一种自适应成形算法，它能够学习最合适的成形方法在一个在线的方式。在两个经典领域的结果验证了它的有效性，从模拟和真实的人类研究，揭示了人的因素在人-机器人协作学习中的作用和影响。
2018-11-10 cs.AI cs.HC cs.LG
Real-time Bidding Strategy in Display Advertising: An Empirical Analysis
University of Electronic Science and Technology of China（电子科技大学）
随着越来越多的广告展示通过实时的【形】竞价系统出售，帮助广告主确定竞价价格的竞价策略正受到越来越多的关注。本文首先描述了在实时的【形】竞价显示广告中优化单个广告主的竞价策略的问题和挑战。然后，介绍了几种具有代表性的竞价策略，特别是基于强化学习的竞价策略的研究进展和面临的挑战。此外，我们定量评估了iPinYou数据集上几种代表性投标策略的性能。具体来说，我们研究了状态，行动和奖励功能的性能的强化学习为基础的投标策略的影响。最后，我们总结了使用强化学习算法优化投标策略的一般步骤，并提出了我们的建议。
2022-11-30 cs.AI cs.GT cs.LG
Quantum Control based on Deep Reinforcement Learning
the University of Tokyo（东京大学）
在这篇论文中，我们考虑了两个简单但典型的控制问题，并将深度强化学习应用于它们，即，在一维二次势或四次势中冷却和控制受到连续位置测量的粒子。我们比较了强化学习控制和传统控制策略在这两个问题上的性能，并表明强化学习在二次型情况下达到了与最优控制相当的性能，在四次型情况下优于传统控制策略，其中最优控制策略是未知的。据我们所知，这是深度强化学习首次应用于连续实空间中的量子控制问题。我们的研究表明，深度强化学习可以作为测量反馈闭环控制器有效地控制真实空间中的随机量子系统，我们的研究还表明人工智能能够发现新的控制策略和量子系统的性质，这些量子系统还没有得到很好的理解，我们可以通过从人工智能中学习来深入了解这些问题，这为科学研究开辟了新的领域。
2022-12-14 cs.AI quant-ph
Action Space Reduction Strategies for Reinforcement Learning in Autonomous Driving
Electrical and Computer Engineering（电气与计算机工程）；University of Michigan–Dearborn（密歇根大学-迪尔伯恩分校）
本文针对自动驾驶强化学习中高维动作空间导致训练效率低的问题，提出动态掩码和相对动作空间缩减两种策略，实验证明其能显著提升训练稳定性、控制精度与泛化能力。
2025-07-07 cs.AI cs.RO
Maintenance Strategies for Sewer Pipes with Multi-State Degradation and Deep Reinforcement Learning
Ruhr-University Bochum（波鸿鲁尔大学）；University of Twente（特温特大学）；Eindhoven University of Technology（埃因霍温理工大学）；Rolsch Assetmanagement（罗尔施资产管理公司）；Radboud University（拉德堡德大学）
本研究针对污水管道多状态退化问题，结合多状态退化模型与深度强化学习，提出超越启发式的智能维护策略，按管道年龄动态调整被动或主动管理，以降低成本并防止故障。
2024-07-17 cs.AI cs.CE cs.LG
Hierarchical Needs-driven Agent Learning Systems: From Deep Reinforcement Learning To Diverse Strategies
The University of Georgia（佐治亚大学）
需求描述了一个系统生存和进化的必要性，它激发一个代理人朝着一个目标采取行动，为行为提供目的和方向。根据马斯洛需求层次理论，一个智能体需要在当前层次上满足一定数量的需求，作为下一阶段--升级和进化--出现的条件。特别是深度强化学习（Deep Reinforcement Learning，DAL）可以帮助人工智能智能体（如机器人）组织和优化其行为和策略，以根据其当前状态和需求（预期效用或奖励）制定不同的策略。本文介绍了新的层次需求驱动的学习系统的基础上DAL和研究的实施在单机器人与一种新的方法称为贝叶斯软演员批评（BSAC）。然后，我们将这一主题扩展到多智能体系统（MAS），讨论了潜在的研究领域和方向。
2023-02-25 cs.AI cs.LG cs.MA
A Comparative Study of Deep Reinforcement Learning-based Transferable Energy Management Strategies for Hybrid Electric Vehicles
Beijing Institute of Technology（北京理工大学）；Delft University of Technology（代尔夫特理工大学）
基于深度强化学习的能量管理策略（EMS）已成为混合动力汽车（HEV）的一种有前途的解决方案。当行驶工况发生变化时，需要对神经网络进行重新训练，这是一项费时费力的工作。选择EMS的一种更有效的方法是将深度强化学习（DRL）与迁移学习结合起来，可以将一个领域的知识迁移到另一个新领域，使新领域的网络快速达到收敛值。在迁移学习过程中，比较了不同的DRL探索方法，包括加入动作空间噪声和参数空间噪声。结果表明，加入参数空间噪声的神经网络比其他神经网络更稳定，收敛速度更快。总之，可转移EMS的最佳探索方法是在参数空间中添加噪声，而动作空间噪声和参数空间噪声的组合通常表现不佳。我们的代码可在www.example.com上获得。
2022-04-20 cs.AI cs.LG cs.SY
CDRL: A Reinforcement Learning Framework Inspired by Cerebellar Circuits and Dendritic Computational Strategies
Academy of Medical Engineering and Translational Medicine（医学工程与转化医学学院）
CDRL通过借鉴小脑回路和树突计算策略，提出了一种提升强化学习样本效率、鲁棒性和泛化能力的生物启发架构。
2026-02-17 cs.AI cs.LG cs.NE
Deep Reinforcement Learning Strategies in Finance: Insights into Asset Holding, Trading Behavior, and Purchase Diversity
University of North Texas（北得克萨斯大学）；Artificial Intelligence Research Center (AIRC)（人工智能研究中心（AIRC））
该研究针对金融领域DRL算法行为研究不足的问题，分析五类DRL算法的资产持有、交易行为与购买多样性特征，发现不同算法交易模式差异显著，A2C累积收益表现最优，为金融DRL应用的决策逻辑理解提供参考。
2024-06-29 cs.AI cs.LG q-fin.TR
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
University of New South Wales（新南威尔士大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Technology Sydney（悉尼科技大学）
鉴于深度强化学习（DRL）在推荐系统研究中的出现以及近年来取得的一些丰硕成果，本文旨在对深度强化学习在推荐系统中的最新发展趋势进行及时而全面的综述。我们首先介绍了在推荐系统中应用DRL的动机。然后，我们提供了一个分类目前基于DRL推荐系统和现有的方法的总结。我们讨论新出现的主题和开放的问题，并提供我们对推进该领域的观点。本调查作为学术界和工业界读者对这一主题的介绍材料，并确定了进一步研究的重要机会。
2021-09-09 cs.AI cs.IR
Challenges in Ensuring AI Safety in DeepSeek-R1 Models: The Shortcomings of Reinforcement Learning Strategies
AIShield (Powered by Bosch)（博世旗下AIShield）
本文探讨了强化学习在减少DeepSeek-R1模型有害输出方面的局限性，如奖励黑客和高计算成本，并提出结合监督微调的混合训练方法以实现稳健的无害性。
2025-01-28 cs.AI cs.CL cs.CR
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab（vivo人工智能实验室）
实时的战略（RTS）游戏具有大的状态空间、动作空间和隐藏信息，需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型，掌握多人在线对战竞技场（MOBA）游戏，RTS游戏的子类型。本文的创新之处在于：（1）提出了一个层次化的框架，其中智能体通过模仿学习执行宏观策略，通过强化学习进行微观操作;（2）开发了一种简单的自学习方法，以获得更好的样本效率进行训练;（3）在没有游戏引擎或应用编程接口（API）的情况下，设计了一种用于多智能体合作的密集奖励函数。最后，各种实验已经被执行，以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI，实验表明，我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
Optimizing Variational Quantum Circuits Using Metaheuristic Strategies in Reinforcement Learning
LMU Munich（慕尼黑大学）
本文研究将粒子群优化、模拟退火等元启发式算法引入量子强化学习，以解决梯度方法在平坦解景观中失效的问题，并在MiniGrid和Cart Pole环境中验证了粒子群优化与模拟退火的优越性能。
2024-08-02 cs.AI cs.LG quant-ph
Graph Signal Sampling via Reinforcement Learning
Aalto University（阿尔托大学）
我们制定的问题，采样和恢复聚类图信号作为一个多臂强盗（MAB）问题。该公式自然适用于使用众所周知的梯度MAB算法学习采样策略。特别是，采样策略表示为MAB各个臂上的概率分布，并使用梯度上升进行优化。数值实验表明，基于梯度MAB算法的采样策略优于现有的采样方法。
2018-05-15 cs.AI cs.LG stat.ML
A Deep Reinforcement Learning Approach for Finding Non-Exploitable Strategies in Two-Player Atari Games
Princeton University（普林斯顿大学）
本文提出了新的端到端深度强化学习算法，用于学习两人零和马尔可夫博弈。不同于以往的努力，训练代理击败一组固定的对手，我们的目标是找到纳什均衡政策，甚至从剥削的敌对对手。我们提出了（a）Nash-DQN算法，该算法将单个DQN的深度学习技术集成到求解表格马尔可夫博弈的经典Nash Q-学习算法中;（b）Nash-DQN-Exploiter算法，该算法额外采用一个Exploiter来指导主Agent的探索。我们进行实验评估表格的例子，以及各种两个球员雅达利游戏。我们的实证结果表明，（i）通过许多现有方法（包括神经虚拟自玩和策略空间响应Oracle）发现的策略可能容易被敌对对手利用;（ii）我们算法的输出策略对利用具有鲁棒性，因此优于现有方法。
2023-03-07 cs.AI cs.GT cs.LG
Evolution Strategies as a Scalable Alternative to Reinforcement Learning
OpenAI
我们探索使用进化策略（ES），一类黑盒优化算法，作为流行的基于MDP的RL技术，如Q学习和策略约束的替代。MuJoCo和Atari上的实验表明，ES是一种可行的解决方案策略，可随可用CPU的数量扩展得非常好：通过使用基于常见随机数的新型通信策略，我们的ES实现仅需要通信标量，从而可以扩展到超过一千个并行工作者。这使我们能够在10分钟内解决3D人形步行问题，并在一小时的训练后在大多数Atari游戏中获得有竞争力的结果。此外，我们强调了ES作为黑盒优化技术的几个优点：它对动作频率和延迟奖励是不变的，容忍极长的视野，并且不需要时间折扣或值函数近似。
2017-09-07 cs.AI cs.LG cs.NE
Learning Synthetic Environments for Reinforcement Learning with Evolution Strategies
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
这项工作探讨了强化学习的学习代理不可知的合成环境（SE）。SE充当目标环境的代理，并允许代理比直接在目标环境上训练时更有效地进行训练。我们制定这作为一个双层优化问题，并表示SE作为一个神经网络。通过使用自然演化策略和人口的SE参数向量，我们训练代理在内部循环中不断发展的SE，而在外部循环中，我们使用的目标任务的性能作为元更新SE人口的分数。我们的经验表明，我们的方法是能够学习SE的两个离散的行动空间的任务（CartPole-v0和Acrobot-v1），使我们能够更强大的训练代理和高达60%的步骤少。我们不仅在4000次评估的实验中表明，SE对超参数变化（如学习率、批量大小和网络大小）具有鲁棒性，我们还表明，用DDQN代理训练的SE以有限的方式转移到TD 3的离散动作空间版本，并且很好地转移到Dueling DDQN。
2021-02-08 cs.AI cs.LG cs.NE
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
Symbolic Explanation of Affinity-Based Reinforcement Learning Agents with Markov Models
Sparebank 1 SR-Bank；Center for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）
人工智能的扩散越来越依赖于模型理解。理解既需要解释（人类对模型行为的推理），也需要解释（模型功能的符号表示）。尽管透明性对于安全、信任和接受至关重要，但最先进的强化学习算法的不透明性掩盖了其学习策略的雏形。我们已经开发了一个政策正规化的方法，断言学习策略的全球内在亲和力。这些相似性提供了一种推理策略行为的方法，从而使其具有内在的可解释性。我们已经展示了我们在个性化繁荣管理中的方法，其中个人的消费行为及时决定了他们的投资策略，即不同的消费个性可能与不同的投资类别有不同的关联。现在，我们通过用离散化的马尔可夫模型再现潜在的原型策略来解释我们的模型。这些全局代理是原型策略的符号表示。
2022-08-29 cs.AI cs.LG
Hyperparameter Optimization for Driving Strategies Based on Reinforcement Learning
Volkswagen Group Innovation, Volkswagen AG（大众集团创新部，大众汽车集团）；Institute of Mathematics, TU Berlin（柏林工业大学数学研究所）
本文针对强化学习自动驾驶策略，采用基于高斯过程的高效全局优化算法进行超参数优化，通过拉丁超立方采样和并行化加速，使驾驶性能提升4%，并验证了策略的鲁棒性。
2024-07-19 cs.AI cs.LG math.OC
Towards using Reinforcement Learning for Scaling and Data Replication in Cloud Systems
LMCS Research Laboratory（LMCS研究实验室）；IRIT Research Laboratory（IRIT研究实验室）；Paul Sabatier University（保罗·萨巴捷大学）
本文针对云系统中基于阈值的数据复制需人工干预且难以掌握工作负载趋势的问题，调研了基于强化学习（RL）的数据复制策略与自动资源扩展方法。
2024-10-07 cs.AI cs.DC
Instance Weighted Incremental Evolution Strategies for Reinforcement Learning in Dynamic Environments
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
演化策略（ES），作为一个家庭的黑盒优化算法，最近出现作为一个可扩展的替代强化学习（RL）的方法，如Q学习或策略梯度，和更快的速度时，许多中央处理器（CPU）是由于更好的并行化。在本文中，我们提出了一个系统的增量学习方法的专家系统在动态环境中。其目标是在环境发生变化时将以前学习的策略逐步调整为新策略。我们将实例加权机制与ES，以促进其学习适应，同时保持ES的可扩展性。在参数更新期间，较高的权重被分配给包含更多新知识的实例，从而鼓励搜索分布向参数空间的新的有希望的区域移动。我们提出了两个易于实现的指标来计算权重：实例新颖性和实例质量。实例新颖性衡量实例与原始环境中先前最佳值的差异，而实例质量则对应于实例在新环境中的表现。由此产生的算法，实例加权增量演化策略（IW-IES），被验证，以实现显着提高性能的挑战RL任务，从机器人导航运动。因此，本文介绍了一个家庭的可扩展的ES算法RL域，使快速学习适应动态环境。
2022-03-31 cs.AI cs.LG cs.NE
Building surrogate models using trajectories of agents trained by Reinforcement Learning
Politecnico di Milano（米兰理工学院）；Vicomtech（维克森科技）
针对广阔状态空间仿真环境中代理建模样本效率低的问题，提出用强化学习训练的策略采样的新方法，实验证明含多类智能体样本的混合数据集效果最优，推动了代理辅助强化学习在复杂仿真器中的应用。
2025-09-01 cs.AI cs.LG
Coordination in Adversarial Sequential Team Games via Multi-Agent Deep Reinforcement Learning
Politecnico di Milano（米兰理工大学）
许多现实世界的应用程序涉及代理团队，他们必须协调行动，以达到共同的目标，对抗潜在的对手。本文主要研究一组玩家面对一个对手的零和博弈，例如桥牌、扑克牌中的共谋和投标中的共谋。团队成员在玩游戏之前进行沟通的可能性-也就是说，事先协调他们的策略-使得行为策略的使用不能令人满意。我们引入软团队演员批评（STAC）作为一个解决方案，团队的协调问题，不需要任何先验领域的知识。STAC允许团队成员通过团队之间共享的外源信号有效地利用事前沟通。STAC在完全可观察和部分可观察的游戏中都达到了接近最优的协调策略，而之前的深度RL算法无法达到最优的协调行为。
2019-12-16 cs.AI cs.NE
Time-Constrained Recommendations: Reinforcement Learning Strategies for E-Commerce
Department of Computer Science（计算机科学系）；Northwestern University（西北大学）；Elmore Family School of Electrical and Computer Engineering（埃洛姆家族电气与计算机工程学院）；Purdue University（普渡大学）
本文研究时间约束下的推荐问题，提出基于马尔可夫决策过程的统一框架，通过强化学习提升推荐效果，实验证明在时间紧张下优于传统上下文老虎机方法。
2025-12-13 cs.AI cs.LG
Augmented Random Search for Quadcopter Control: An alternative to Reinforcement Learning
Oracle Inc（甲骨文公司）；BMSCE（BMS工程学院）
基于模型的强化学习策略被认为比无模型策略表现出更显著的样本复杂性来控制动态系统，如四轴飞行器。这种信念，即基于模型的战略，涉及使用训练有素的神经网络，使这种高层次的决策总是提供更好的性能，可以消除利用无模型的政策搜索方法。本文提出了使用模型-自由随机搜索策略，称为增强随机搜索（ARS），这是一种更好、更快的线性策略训练方法，适用于连续控制任务，如控制四轴飞行器飞行。该方法实现了艺术的准确性，通过消除使用太多的数据的神经网络的训练，目前在以前的方法的任务四轴飞行器控制。本文还在一个策略性设计的任务环境中，通过仿真，重点分析了搜索策略在该任务中的性能结果，并将增强随机搜索的1000集以上奖励收集性能和飞行中的代理行为与强化学习算法的行为进行了比较，我们的模拟和结果表明，在这些任务的样本效率的常用策略中观察到性能的高度可变性，但ARS的构建策略网络-Quad可以相对准确地对阶跃响应做出反应，为强化学习策略提供了一种性能更好的替代方案。
2019-11-28 cs.AI cs.LG cs.RO
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
SupervisorBot: NLP-Annotated Real-Time Recommendations of Psychotherapy Treatment Strategies with Deep Reinforcement Learning
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一个建议系统，建议治疗策略的治疗师在心理治疗会话期间在实时的【形】。我们的系统使用了一个回合级别评级机制，通过计算评分清单的深度嵌入和患者正在说话的当前句子之间的相似性得分来预测治疗结果。该系统自动转录一个连续的音频流，并将其分为轮流的病人和治疗师，并执行实时的【形】推理他们的治疗工作联盟。然后，将对话对及其计算出的工作联盟作为评级馈送到深度强化学习推荐系统中，在该系统中，会话被视为用户，主题被视为项目。除了评估现有心理治疗会话数据集的核心组件的经验优势外，我们还在Web应用程序中展示了该系统的有效性。
2022-10-29 cs.AI cs.CL cs.HC
Order Acquisition Under Competitive Pressure: A Rapidly Adaptive Reinforcement Learning Approach for Ride-Hailing Subsidy Strategies
Didi Chuxing（滴滴出行）
本文提出FCA-RL强化学习框架，结合快速竞争适应与强化拉格朗日调整技术，并构建RideGym仿真环境，以解决网约车聚合平台在预算约束下动态优化补贴策略、提升订单获取能力的问题。
2025-07-04 cs.AI cs.LG
Treatment Stitching with Schrödinger Bridge for Enhancing Offline Reinforcement Learning in Adaptive Treatment Strategies
针对离线强化学习优化临床自适应治疗策略时面临的数据稀缺问题，提出基于薛定谔桥的数据增强框架TreatStitch，通过拼接或桥接生成临床有效轨迹扩充数据集，提升离线RL性能且具备理论有效性保障。
2025-11-15 cs.AI cs.LG
World Models Unlock Optimal Foraging Strategies in Reinforcement Learning Agents
Center of Excellence in Analytics, Artificial Intelligence, and Information Governance, Bancolombia, Colombia（分析、人工智能和信息治理卓越中心，Bancolombia，哥伦比亚）；Department of Biomedical Engineering, Universidad de los Andes, Bogotá, Colombia（生物医学工程系， Universidad de los Andes，波哥大，哥伦比亚）；Department of Electrical and Electronics Engineering, Universidad de los Andes, Bogotá, Colombia（电气与电子工程系， Universidad de los Andes，波哥大，哥伦比亚）
世界模型帮助强化学习智能体实现最优觅食策略，通过预见能力而非单纯奖励最大化驱动高效决策。
2025-12-27 cs.AI cs.LG
