Constrained Policy Improvement for Safe and Efficient Reinforcement Learning
Bar-Ilan University（巴伊兰大学）；UC Berkeley（加州大学伯克利分校）
提出了一种强化学习（RL）的策略改进算法--重路由行为改进（RBI）。RBI被设计为考虑Q函数的评估误差。当从有限的过去经验数据学习$Q$值时，这种错误在RL中是常见的。忽略这些错误的贪婪策略或甚至受约束的策略优化算法可能遭受改进惩罚（即，负策略改进）。为了最小化改进惩罚，RBI的想法是衰减低概率动作的快速策略变化，这些动作的采样频率较低。这种方法被证明可以避免灾难性的性能下降，并减少后悔时，从一批过去的经验学习。通过一个双臂强盗高斯分布的奖励的例子，我们表明，它也提高了数据的效率时，最佳的行动有一个高的方差。我们在Atari学习环境中的两项任务中评估RBI：（1）从多个行为策略的观察中学习和（2）迭代RL。我们的研究结果表明，RBI的优势，贪婪的政策和其他有约束的政策优化算法作为一个安全的学习方法，并作为一个通用的数据有效的学习算法。我们的RBI实现的匿名Github存储库可以在https://github.com/eladsar/rbi找到。
2019-07-10 cs.AI cs.LG stat.ML
Distributional Reinforcement Learning on Path-dependent Options
本文提出用分布强化学习估计路径依赖衍生品收益的完整分布，以支持风险感知定价和尾部风险估计，并在亚式期权上验证了方法有效性。
2025-07-16 cs.LG q-fin.MF
A pedestrian path-planning model in accordance with obstacle's danger with reinforcement learning
Shibaura Institute of Technology（芝浦工业大学）
大多数微观行人导航模型使用应用于行人代理的“力”的概念来复制导航环境。虽然该方法可以在常规情况下提供可信的结果，但在许多典型设置中，它并不总是类似于自然的行人导航行为。在我们的研究中，我们提出了一种新的方法，使用强化学习模拟行人智能体路径规划和避碰问题。这种方法的主要重点是利用人类对环境的感知和对干扰的危险意识。我们的模型的实施表明，由代理规划的路径与人类行人在几个方面，如遵循常见的步行惯例和人类行为有许多相似之处。
2019-12-06 cs.LG cs.MA cs.RO
Reinforcement Learning-based Adaptive Path Selection for Programmable Networks
Institute of Informatics, University of Amsterdam（阿姆斯特丹大学信息学院）；Ericsson Research（爱立信研究）
本研究提出分布式网络内强化学习框架，结合随机学习自动机与带内网络遥测数据实现可编程网络自适应路径选择，经测试验证其可快速收敛并适应网络变化。
2025-08-31 cs.LG
Reinforcement Learning with Attention that Works: A Self-Supervised Approach
注意力模型在一系列任务中对深度学习产生了显著的积极影响。然而，之前将注意力与强化学习相结合的尝试未能产生显着的改善。我们提出了自注意力和强化学习的第一个组合，能够产生显着的改进，包括在街机学习环境中的最先进的新成果。与以前尝试中使用的选择性注意力模型不同，它通过先入为主的重要性概念来限制注意力，我们的实现利用了状态输入中固有的马尔可夫特性。我们的方法产生了一个忠实的可视化的政策，专注于代理的行为。我们的实验表明，经过训练的策略同时使用多个注意力焦点，并且能够随着时间的推移调整注意力，以处理部分可观察性的情况。
2019-04-06 cs.LG stat.ML
Quantum Computing Provides Exponential Regret Improvement in Episodic Reinforcement Learning
Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）
本文研究了用量子预言机求解\textit{episodic reinforcement learning}的态演化问题。为此，我们提出了一个基于\textit{Upper Confidence Bound}（UCB）的量子算法框架，以促进学习的有限时域MDP。与经典算法相比，我们的量子算法在后悔方面实现了指数级的改善，与$\Tilde{\mathcal{O}}(\sqrt{K})$ \footnote{$\Tilde{\mathcal{O}}(\cdot)$ hides logarithmic terms.}相比，我们的量子算法实现了$\Tilde{\mathcal{O}}(1)$的后悔，$K$是训练集的数量。为了实现这一优势，我们利用有效的量子平均估计技术，提供了二次改进的数量i.i.d.与经典的均值估计相比，估计亚高斯随机变量的均值所需的样本。这种改进是量子强化学习中显著改善遗憾的关键。我们在各种RL环境中提供了概念验证实验，这些实验反过来证明了所提出的算法框架的性能增益。
2023-02-16 cs.AI cs.LG cs.SY
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of California, Davis（加州大学戴维斯分校）
研究转换器在上下文强化学习中实现策略改进的能力，通过显式参数构造证明线性自注意力块可实现半梯度SARSA和actor-critic方法，并提供首次收敛保证。
2026-11-10 cs.AI cs.LG stat.ML
Convergent Reinforcement Learning Algorithms for Stochastic Shortest Path Problem
Department of Computer Science and Automation, Indian Institute of Science（计算机科学与自动化系，印度科学研究院）
本文提出两种收敛强化学习算法，用于解决随机最短路径问题，并展示了其在表格和函数逼近设置中的优越性能。
2025-12-02 cs.LG
Rainbow: Combining Improvements in Deep Reinforcement Learning
DeepMind
深度强化学习社区对DQN算法进行了几项独立的改进。然而，目前还不清楚这些扩展是互补的，可以卓有成效地结合起来。本文研究了六个扩展的DQN算法和实证研究他们的组合。我们的实验表明，该组合在Atari 2600基准测试中提供了最先进的性能，无论是在数据效率还是最终性能方面。我们还提供了详细的消融研究结果，显示了每个组件对整体性能的贡献。
2017-10-06 cs.AI cs.LG
Optimal Hierarchical Learning Path Design with Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
电子学习系统能够为学生提供比传统课堂环境更具适应性和效率的学习体验。这样的系统的一个关键组成部分是学习策略，算法，设计的学习路径的基础上的信息，如学生的当前进展，他们的技能，学习材料等，在本文中，我们解决的问题，找到最佳的学习策略的电子学习系统。为此，我们首先开发了一个模型，学生的层次技能的电子学习系统。在层次技能模型和经典认知诊断模型的基础上，我们进一步发展了一个框架来建模不同熟练程度的层次技能。通过应用无模型强化学习方法，该方法不需要学生学习过渡过程的信息，从而找到了层次结构顶部的最优学习策略。通过数值实验证明了所提出的框架的有效性。
2018-10-12 cs.CY cs.LG stat.ML
Personalized Path Recourse for Reinforcement Learning Agents
Yale University, School of Management（耶鲁大学管理学院）
本研究提出面向强化学习智能体的个性化路径追索方法，通过兼顾目标、相似性与个性化的奖励函数训练智能体生成适配不同行为模式的追索路径，可用于多场景下的序列修正优化以实现预期目标。
2024-11-03 cs.AI cs.LG
Active Curriculum Refinement for Reinforcement Learning
The University of Chicago（芝加哥大学）
该研究针对强化学习中环境的有向无环课程图结构，提出主动课程学习框架PATH，通过采样多样化课程路径并重新分配训练资源，提升了模型的鲁棒性与泛化能力。
2026-08-28 cs.LG
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Multi-agent navigation based on deep reinforcement learning and traditional pathfinding algorithm
我们开发了一个新的框架，多智能体避碰问题。该框架结合了传统的路径查找算法和强化学习。在我们的方法中，智能体通过在每个时间步通过强化学习训练的深度神经网络来学习是被导航还是采取简单的行动来避开他们的伙伴。该框架使代理能够在抽象的新场景中到达终点。在我们的实验中，我们使用Unity3D和Tensorflow为我们的场景构建模型和环境。我们分析结果，并修改参数，以接近我们的代理行为良好的战略。我们的策略可以在不同的环境下，在不同的情况下，特别是当规模较大。
2020-12-05 cs.LG cs.MA cs.RO
Beyond the One Step Greedy Approach in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
著名的策略迭代算法在策略改进和策略评估之间交替进行。在以前的工作中，已经分析了该算法的实现与后一个评估阶段的几个变体，例如，$n$ -步骤和基于跟踪的返回。然而，多步骤前瞻性政策改进的情况下，尽管最近增加了其实力的经验证据，据我们所知，尚未仔细分析。在这项工作中，我们介绍了第一个这样的分析。也就是说，我们制定多步策略改进的变体，使用这些定义推导出新的算法，并证明其收敛性。此外，我们表明，最近突出的强化学习算法，事实上，我们的框架的实例。因此，我们揭示了他们的经验成功，并给出了一个配方，为未来的研究得出新的算法。
2018-07-30 cs.AI cs.LG stat.ML
Reinforcement Learning as an Improvement Heuristic for Real-World Production Scheduling
Fraunhofer IOSB-INA（弗劳恩霍夫IOSB-INA研究所）；Bielefeld University of Applied Sciences and Arts（比勒费尔德应用科学与艺术大学）
本研究针对现实世界多目标生产调度问题，提出将带Transformer编码的强化学习作为改进启发式，通过采样交换作业对迭代优化次优解，经真实工业数据测试性能优于其他启发式方法。
2024-09-18 cs.LG
Unifying Model Predictive Path Integral Control, Reinforcement Learning, and Diffusion Models for Optimal Control and Planning
本研究通过在吉布斯测度上的基于梯度的优化，统一了MPPI、强化学习与扩散模型，揭示了它们共享相同的更新规则，为最优控制与规划提供了统一视角。
2025-03-04 cs.LG
Policy Improvement Reinforcement Learning
Beihang University（北航）；Peking University（北京大学）
提出策略改进强化学习（PIRL）框架，通过最大化跨迭代的累积策略改进来替代替代奖励最大化，并基于此设计策略改进策略优化（PIPO）算法，实现闭环优化，在数学推理基准上提升稳定性和性能。
2026-07-08 cs.LG
Deep Reinforcement Learning Controller for 3D Path-following and Collision Avoidance by Autonomous Underwater Vehicles
Norwegian University of Science and Technology（挪威科技大学）；Oklahoma State University（俄克拉荷马州立大学）
控制理论为工程师提供了大量的工具来设计控制器，以操纵动态系统的闭环行为和稳定性。这些方法在很大程度上依赖于对控制物理系统的数学模型的理解。然而，在复杂的系统中，如自主水下航行器执行路径跟踪和避碰的双重目标，决策变得不平凡。我们提出了一个解决方案，使用最先进的深度强化学习（DRL）技术，开发自主智能体能够实现这一混合目标，而无需先验知识的目标或环境。我们的研究结果表明，DRL在路径跟踪和避免碰撞的可行性，以实现人类的自主车辆系统在极端障碍配置的决策。
2020-06-17 cs.LG cs.RO
Reinforcement Learning for Large-Scale Lifelong Multi-Agent Path Finding with Shared Spatial Fields
针对大规模终身多智能体路径寻优问题，提出基于共享空间场与平均奖励强化学习的导航策略，在10000智能体的6种布局上，吞吐量优于或相当最强基线，执行速度快一个数量级以上。
2026-10-14 cs.LG
UAV Path Planning Employing MPC- Reinforcement Learning Method Considering Collision Avoidance
University of Luxembourg（卢森堡大学）
针对复杂不确定环境下的无人机路径规划问题，设计了一种基于深度确定性策略梯度算法的长短期记忆（LSTM）网络的模型预测控制（MPC）。在所提出的解决方案中，LSTM-MPC在DDPG网络中作为确定性策略操作，并且它利用预测池来存储预测的未来状态和动作，以提高鲁棒性和效率。预测池的使用还使得能够初始化批评网络，从而与传统的强化学习和深度强化学习方法相比，提高了收敛速度并降低了故障率。通过数值模拟评估所提出的解决方案的有效性。
2023-03-07 cs.AI cs.LG cs.RO
Multi-UAV Mobile Edge Computing and Path Planning Platform based on Reinforcement Learning
Beihang University（北京航空航天大学）；Empire College London（伦敦帝国学院）；University at Buffalo（布法罗大学）
无人机（UAV）被广泛用作移动网络中的网络处理器，但最近，UAV已被用作移动边缘计算中的移动服务器。然而，在具有障碍物和UAV之间的合作的复杂环境中使用UAV存在重大挑战。我们引入了一个新的多无人机移动边缘计算平台，旨在提供更好的服务质量和基于强化学习的路径规划来解决这些问题。本文的主要工作包括：1）在同一个强化学习框架下，优化移动边缘计算和路径规划的服务质量：2）采用S形函数描述终端用户的需求，保证更高的服务质量; 3）综合考虑终端用户的需求，风险和几何距离的强化学习奖励矩阵，以确保服务质量，规避风险，节约成本。仿真结果表明了该平台的有效性和可行性，对相关研究具有一定的参考价值。
2021-05-19 cs.LG cs.MA
Extracting Diagnosis Pathways from Electronic Health Records Using Deep Reinforcement Learning
Inria Paris（法国国家信息与自动化研究所巴黎分部）；Centre de Recherche des Cordeliers, Inserm, Université Paris Cité, Sorbonne Université（科德利埃研究中心，法国国家健康与医学研究院，巴黎西岱大学，索邦大学）；Hôpital Necker, Assistance Publique - Hôpitaux de Paris（内克尔医院，巴黎公立医院集团）
本研究利用深度强化学习从电子健康记录中学习最优诊断动作序列，在合成贫血数据集上验证其性能，并生成可解释的诊断路径以指导临床决策。
2023-11-15 cs.LG
Deep Reinforcement Learning Methods for Structure-Guided Processing Path Optimization
Fraunhofer Institute for Mechanics of Materials IWM（弗劳恩霍夫力学研究所）
材料设计的一个主要目标是找到具有所需特性的材料结构，并在第二步中找到达到这些结构之一的加工路径。在本文中，我们提出并研究了一种用于优化加工路径的深度强化学习方法。目标是在材料结构空间中找到导致目标结构的最佳处理路径，这些目标结构已经预先识别以产生期望的材料特性。存在包含一个或多个不同结构的目标集。我们提出的方法可以找到一个最佳的路径从一个开始结构到一个单一的目标结构，或优化的处理路径的一个等价的目标结构的集合。在后一种情况下，算法在处理过程中学习，以同时识别最佳可达目标结构和最佳路径。所提出的方法属于无模型深度强化学习算法家族。它们由作为过程状态的特征的结构表示和基于结构空间中的距离函数制定的奖励信号来引导。无模型强化学习算法在与过程交互的同时通过试错进行学习。因此，它们不限于来自先验采样处理数据的信息，并且能够适应特定的过程。优化本身是无模型的，不需要任何关于过程本身的先验知识。我们实例化和评估所提出的方法，通过优化路径的一个通用的金属成形工艺。我们展示了这两种方法找到接近目标结构的处理路径的能力和扩展方法识别目标结构的能力，这些目标结构可以有效地和高效地达到，并专注于这些目标的样本高效处理路径优化。
2021-07-07 cs.AI cs.LG cs.SY
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Path Design for Cellular-Connected UAV with Reinforcement Learning
School of Electrical and Information Engineering, The University of Sydney（悉尼大学电气与信息工程学院）
研究了蜂窝连接无人机（UAV）的路径设计问题，目标是在保持与蜂窝网络良好连接的同时，最小化其任务完成时间。针对传统的通过公式化和求解优化问题的路径设计方法面临的实际挑战，提出了一种基于强化学习的无人机路径设计算法，该算法应用\emph{temporal-difference}方法直接学习相应马尔可夫决策过程的\emph{state-value function}。该算法被进一步扩展，通过使用线性函数逼近与瓦片编码，以处理大的状态空间。所提出的算法只需要原始测量或模拟生成的信号强度作为输入，适合在线和离线实现。数值结果表明，即使在复杂的城市环境中，所提出的路径设计也可以成功地避免蜂窝网络的覆盖空洞。
2019-05-09 cs.LG cs.NI eess.SP
Deep Reinforcement Learning Guided Improvement Heuristic for Job Shop Scheduling
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Institute of Marine Science and Technology, Shandong University（山东大学海洋科学与技术研究院）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种DRL引导的改进启发式方法求解JSSP，通过基于图神经网络的完整解表示方案和并行评估机制，大幅超越现有DRL方法。
2024-02-14 cs.AI cs.LG
Discover the Hidden Attack Path in Multi-domain Cyberspace Based on Reinforcement Learning
Army Engineering University of PLA（中国人民解放军陆军工程大学）
在这项工作中，我们提出了一种基于学习的方法来分析网络空间的安全配置。与以前的方法不同，我们的方法能够从过去的经验中学习并随着时间的推移而改进。特别是，当我们训练了更多的代理作为攻击者，我们的方法变得更好地发现隐藏的攻击路径以前的方法，特别是在多域网络空间。为了实现这些结果，我们提出发现攻击路径作为强化学习（RL）问题和训练代理发现多域网络空间攻击路径。为了使我们的强化学习策略能够发现更多隐藏的攻击路径和更短的攻击路径，我们在强化学习中引入了一个多域动作选择模块。我们的目标是通过我们提出的方法发现更多的隐藏攻击路径和更短的攻击路径，分析网络空间安全配置的弱点。最后，设计了一个模拟网络空间的实验环境对所提出的方法进行了验证，实验结果表明，与现有的基线方法相比，该方法能够发现更多的隐藏多域攻击路径和更短的攻击路径。
2021-04-15 cs.AI cs.CR cs.LG
Growing and Transferring Pathways for LLM Reinforcement Learning
Tsinghua University（清华大学）
本研究提出GrowRL方法，通过在冻结的预训练Transformer主干上添加独立分支生成可迁移的RL计算路径，在少量可训练参数下实现了良好的数学推理与分布外性能，且路径可跨模型高效迁移适配。
2026-10-14 cs.AI cs.LG
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题，通过形式化元学习与元强化学习框架，梳理相关里程碑算法，为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
Adaptive Informative Path Planning Using Deep Reinforcement Learning for UAV-based Active Sensing
University of Bonn（波恩大学）
空中机器人越来越多地用于环境监测和勘探。然而，一个关键的挑战是有效地规划路径，以最大限度地提高所获得的数据的信息价值，作为一个最初未知的环境进行探索。为了解决这个问题，我们提出了一种新的方法，信息路径规划的基础上深度强化学习（RL）。结合RL和机器人应用的最新进展，我们的方法将树搜索与离线学习的神经网络相结合，预测信息传感动作。我们介绍了几个组件，使我们的方法适用于机器人任务与高维状态和大动作空间。通过在任务期间部署经过训练的网络，我们的方法可以在计算资源有限的平台上实现样本高效的在线重新规划。仿真结果表明，我们的方法与现有方法相比，运行时间减少了8- 10倍。我们使用真实世界的表面温度数据验证其性能。
2022-03-03 cs.LG cs.RO
Heterogeneous Relational Reasoning in Knowledge Graphs with Reinforcement Learning
University of Notre Dame（圣母大学）
知识图谱上基于路径的关系推理由于诸如对话系统中的问答、事实预测和推荐系统等各种下游应用而变得越来越流行。近年来，强化学习（RL）提供了比其他深度学习模型更可解释和解释的解决方案。然而，这些解决方案仍然面临着一些挑战，包括RL代理的大动作空间和实体邻域结构的准确表示。我们解决这些问题，通过引入一个类型增强RL代理，使用本地邻域信息的有效路径为基础的推理知识图谱。我们的解决方案使用图神经网络（GNN）编码的邻域信息，并利用实体类型修剪的动作空间。在真实世界数据集上的实验表明，该方法的性能优于最先进的强化学习方法，并在训练过程中发现了更多的新路径。
2020-03-12 cs.CL cs.LG stat.ML
Discovering Exfiltration Paths Using Reinforcement Learning with Attack Graphs
National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）；Deloitte & Touche LLP（德勤华永会计师事务所）；Deloitte Consulting LLP（德勤咨询有限公司）
结合攻击图和网络地形，使用强化学习（RL）来开发与确定用于企业网中的数据渗出的最佳路径相关联的奖励和状态。这项工作建立在以前的皇冠上的宝石（CJ）识别，重点是计算最佳路径的目标目标，对手可能会遍历到妥协的CJ或主机在他们的附近。这项工作颠覆了以前的CJ方法，该方法基于数据被盗的假设，现在必须悄悄地从网络中泄露。RL被用来支持奖励函数的开发，该奖励函数基于对对手期望减少检测的那些路径的识别。结果表明，一个相当大的网络环境有前途的性能。
2022-04-25 cs.CR cs.LG cs.NI
Biological Pathway Guided Gene Selection Through Collaborative Reinforcement Learning
University of Central Florida（佛罗里达中央大学）；University of Kansas（堪萨斯大学）；Vanderbilt University Medical Center（范德比尔特大学医学中心）；Arizona State University（亚利桑那州立大学）
提出一种基于多智能体强化学习的两阶段框架，通过整合KEGG通路知识与统计方法，显著提升了高维基因组数据基因选择的预测准确性与生物学可解释性。
2025-05-30 cs.LG
Multi-Agent Path Planning Using Deep Reinforcement Learning
提出了一种基于深度强化的多智能体路径规划方法。实验在仿真环境中实现，并在此环境中产生不同的多智能体路径规划问题。所产生的问题实际上类似于车辆路径问题，并且使用多智能体深度强化学习来解决。在仿真环境中，模型以这种方式在不同的连续问题上进行训练，随着时间的推移，可以观察到模型解决问题的性能增加。始终使用相同的模拟环境，并且仅改变代理访问的目标点的位置。这有助于模型学习它的环境和正确的态度对一个问题的情节通过。最后，得到了一个已经学习了很多知识的模型来解决这个环境中的路径规划或路由问题，这个模型即使没有任何训练，也已经可以找到一个很好的和即时的解决方案。在布线问题中，标准的数学建模或算法似乎遭受高计算时间来找到解决方案，并且找到即时解决方案也是困难和关键的。本文提出了一种新的求解方法，并通过实验证明了该方法的有效性。
2021-10-04 cs.AI cs.LG
Value-Added Chemical Discovery Using Reinforcement Learning
Brown University（布朗大学）；Argonne National Laboratory（阿贡国家实验室）
计算机辅助合成计划旨在帮助化学家更快地找到更好的反应途径。寻找从糖分子到增值化学品的可行的短途径可以建模为允许催化剂的逆合成规划问题。这是高效生物质转化的关键步骤。传统的计算化学方法识别可能的反应途径涉及计算数百个中间体的反应能量，这是硅反应发现的关键瓶颈。深度强化学习已经在其他领域表明，一个训练有素的代理，很少或没有先验的人类知识，可以超越人类的表现。虽然已经做出了一些努力来使机器学习技术适应逆合成规划问题，但增值化学发现提出了独特的挑战。具体来说，反应可以发生在分子中的几个不同位点，这是一种在以前的工作中从未处理过的微妙情况。随着一个更通用的制定的问题作为一个马尔可夫决策过程，我们解决这个问题，使用深度强化学习技术，并提出了有前途的初步结果。
2019-11-10 cs.LG cs.OH stat.ML
Pruning the Path to Optimal Care: Identifying Systematically Suboptimal Medical Decision-Making with Inverse Reinforcement Learning
Harvard University（哈佛大学）
本研究提出一种基于逆强化学习的框架，通过两阶段IRL和轨迹修剪，从ICU观察数据中识别次优临床决策，并发现移除次优行动的效果因疾病和人口群体而异。
2024-11-07 cs.LG q-bio.QM stat.AP
Active Reinforcement Learning Strategies for Offline Policy Improvement
Indian Institute of Science（印度科学学院）
本文提出一种主动强化学习方法，通过重用离线数据并收集最少额外轨迹来扩充数据集，在多个连续控制环境中将在线交互需求最多降低75%。
2024-12-26 cs.LG
Taming an autonomous surface vehicle for path following and collision avoidance using deep reinforcement learning
Norweigan University of Science and Technology（挪威科技大学）；SINTEF Digital（SINTEF数字研究所）；Oklahoma State University（俄克拉荷马州立大学）
在这篇文章中，我们探讨了近端策略优化的可行性，一个国家的最先进的深度强化学习算法的连续控制任务，对双目标问题的控制欠驱动自主水面车辆遵循先验已知的路径，同时避免碰撞与非移动障碍物的道路上。配备多个测距传感器用于障碍物检测的人工智能代理在基于OpenAI gym python工具包的具有挑战性的随机生成的模拟环境中进行训练和评估。值得注意的是，智能体可以实时了解自己的奖励函数，从而允许它动态地调整其指导策略。根据其策略，从激进的路径遵守到激进的障碍物规避，经过训练的代理实现了84%到100%的偶发成功率。
2019-12-18 cs.AI cs.LG cs.RO
Deep Interactive Reinforcement Learning for Path Following of Autonomous Underwater Vehicle
Ocean University of China（中国海洋大学）
自主式水下机器人（AUV）在海洋探测中发挥着越来越重要的作用。现有的AUV通常不是完全自主的，并且通常限于预先规划或预先编程任务。强化学习和深度强化学习被引入到AUV的设计和研究中，以提高其自主性。然而，这些方法仍然很难直接应用于实际的AUV系统，因为稀疏的奖励和低的学习效率。结合深度强化学习和交互式强化学习的优点，提出了一种深度交互式强化学习方法用于水下机器人路径跟踪。此外，由于AUV在海洋中运行时，人类训练者无法提供人类奖励，而AUV需要适应不断变化的环境，因此我们进一步提出了一种同时从人类奖励和环境奖励中学习的深度强化学习方法。通过在Gazebo平台上的仿真，分别对AUV的直线跟踪和正弦曲线跟踪两种路径跟踪任务进行了验证。我们的实验结果表明，使用我们提出的深度交互式RL方法，AUV可以比仅从环境奖励的DQN学习器更快地收敛。此外，AUV从人类和环境奖励的深度RL学习也可以实现与深度交互式RL方法相似甚至更好的性能，并且可以通过进一步从环境奖励学习来适应实际环境。
2020-01-10 cs.AI cs.LG cs.RO
PathletRL++: Optimizing Trajectory Pathlet Extraction and Dictionary Formation via Reinforcement Learning
York University（约克大学）
针对轨迹路径片段字典构建中的冗余与高内存问题，提出自底向上合并的深度强化学习方法PathletRL++，显著压缩字典并保持轨迹可表示性。
2024-12-04 cs.AI cs.LG
Offline Reinforcement Learning with Closed-Form Policy Improvement Operators
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Harvard University（哈佛大学）；Horizon Robotics Inc.（地平线机器人公司）
针对离线强化学习的行为约束优化问题，提出基于一阶泰勒近似和高斯混合行为策略建模的闭式策略改进算子，在D4RL基准上性能优于现有最优算法。
2023-07-22 cs.AI cs.LG
Multi-Agent Reinforcement Learning-Based UAV Pathfinding for Obstacle Avoidance in Stochastic Environment
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
提出一种融合模型预测控制与距离加权平均场的多智能体强化学习方法，实现随机环境中无人机集中式训练、分散式避障路径规划，并通过仿真与真实机器人验证其效率和泛化性。
2026-10-19 cs.LG cs.RO
Computing Transition Pathways for the Study of Rare Events Using Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）
本文将高维复杂系统的跃迁路径计算建模为路径空间代价最小化问题，提出融合物理势能力的 DDPG actor-critic 深度强化学习方法，并在多个基准系统上验证其全局寻路效果。
2024-04-08 cs.LG cs.NA math.NA
PathBridger: Subgoal Bridges for Offline Goal-Conditioned Reinforcement Learning
Hanyang University（汉阳大学）
PathBridger是一种分层离线目标条件强化学习方法，通过构建状态空间桥并结合逆动力学模型解码为动作块，在OGBench任务尤其是多目标Cube操作任务上性能显著提升。
2026-09-01 cs.LG cs.RO
Career Path Recommendations for Long-term Income Maximization: A Reinforcement Learning Approach
KLM Royal Dutch Airlines（荷兰皇家航空公司）；Meta；University of Amsterdam（阿姆斯特丹大学）；Elsevier（爱思唯尔）；Randstad（任仕达）
本研究将职业规划建模为MDP，利用Sarsa、Q-Learning和A2C等强化学习算法优化员工长期收入，实验表明模型相比实际路径平均提升5%的收入。
2023-09-11 cs.LG
Conservative Q-Improvement: Reinforcement Learning for an Interpretable Decision-Tree Policy
Carnegie Mellon University（卡内基梅隆大学）；University of South Carolina（南卡罗来纳大学）
在强化学习（以及一般的机器学习）领域，人们越来越希望从黑箱模型转向更“可解释的人工智能”。“我们通过提高通过强化学习学习的决策树策略的效用来提高强化学习的可解释性。这些策略由状态空间上的决策树组成，与传统的策略表示相比，它需要更少的参数来表示。用于经由强化学习创建决策树策略的现有方法集中于在训练期间准确地表示动作-价值函数，但是这导致比否则所需的树大得多的树。为了解决这一缺点，我们提出了一种新的算法，只有当估计的整体政策的折扣未来奖励将增加足够的金额时，才增加树的大小。通过在模拟环境中的评估，我们表明，它的性能相当或优于传统的基于树的方法，它产生一个更简洁的政策。此外，我们还讨论了调整参数，以控制优化较小的树大小或整体奖励之间的权衡。
2019-07-02 cs.AI cs.LG cs.RO
UAV Path Planning using Global and Local Map Information with Deep Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；EURECOM（欧洲通信学院）
自主无人机（UAV）的路径规划方法通常是针对一种特定类型的任务而设计的。提出了一种基于深度强化学习（DRL）的无人机自主路径规划方法，该方法可应用于多种任务场景。具体来说，我们比较了覆盖路径规划（CPP），其中无人机的目标是调查数据收集（DH）的感兴趣区域，其中无人机从分布式物联网（IoT）传感器设备收集数据。通过利用环境的结构化地图信息，我们训练具有相同架构的双深度Q网络（DDQN）在两个明显不同的任务场景中做出运动决策，平衡各自的任务目标与导航约束。通过引入一种新的方法，利用一个压缩的全球地图的环境相结合的裁剪，但未压缩的本地地图显示附近的无人机代理，我们证明了所提出的方法可以有效地扩展到大型环境。我们还扩展了以前的结果，推广控制策略，不需要再培训时，场景参数的变化，并提供了一个详细的分析关键的地图处理参数的路径规划性能的影响。
2021-10-21 cs.LG cs.RO
Anticipatory Reinforcement Learning: From Generative Path-Laws to Distributional Value Functions
Quant Finance Ltd；College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；University of Paris 6（巴黎第六大学）；VinUniversity
本文提出前瞻性强化学习（ARL），通过生成路径法则和分布价值函数，解决非马尔可夫决策过程与传统强化学习架构在单观测轨迹约束下的衔接问题，提升在高波动连续时间环境中的风险管理和策略稳定性。
2026-04-06 cs.LG q-fin.MF q-fin.PR
Robust Path Following on Rivers Using Bootstrapped Reinforcement Learning
Technische Universität Dresden（德累斯顿工业大学）
本文提出基于bootstrapped Q-learning与训练环境生成器的DRL智能体，用于内河航道自主水面船舶的导航与控制，相比PID控制器在真实河流数据上展现出更强的泛化能力与高导航精度。
2023-03-24 cs.AI cs.LG cs.RO
Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition
LG Electronics（LG电子）
在一个通用的已知环境中的覆盖路径规划被证明是NP难的。当环境未知时，机器人需要依靠在覆盖过程中建立的在线地图信息进行路径规划，因此设计具有合理性能的启发式或近似算法成为一个重要的研究方向。这样的算法在覆盖区域或覆盖成本方面具有次优性能，例如，覆盖时间或能量消耗。在本文中，我们提供了一个系统的分析的覆盖问题，并制定它作为一个最佳的停止时间的问题，覆盖性能和成本之间的权衡明确占。接下来，我们证明了强化学习（RL）技术可以用来解决计算问题。为此，我们提供了一些技术和实际的考虑，以促进RL算法的应用和提高解决方案的效率。最后，通过在网格世界环境和Gazebo模拟器中的实验，我们证明了基于强化学习的算法能够有效地覆盖真实的未知室内环境，并且性能优于当前的最新技术水平。
2021-10-18 cs.AI cs.LG cs.RO
Deep-Reinforcement-Learning-based Path Planning for Industrial Robots using Distance Sensors as Observation
Berlin Institute of Technology（柏林工业大学）
工业机器人广泛用于各种制造环境中，因为它们可以高效地完成重复性任务，例如装配或焊接。这些应用的一个共同问题是到达目的地而不与障碍物或其他机器人手臂碰撞。常用的基于采样的路径规划方法，如RRT，需要很长的计算时间，特别是在复杂的环境中。此外，需要事先了解使用它们的环境。当在新环境中使用这些方法时，需要进行设置超参数的繁琐工程工作，这是时间和成本密集型的。另一方面，深度强化学习在处理未知环境、推广新问题实例以及高效解决运动规划问题方面表现出了显著的效果。基于此，本文提出了一种基于深度强化学习的机器人运动规划器。我们评估了我们的模型对国家的最先进的抽样为基础的规划在几个实验。结果表明，我们的规划器在路径长度和执行时间方面的优越性。
2023-01-14 cs.AI cs.LG cs.PF
Learning Coverage Paths in Unknown Environments with Deep Reinforcement Learning
Linköping University（林雪平大学）；Husqvarna Group（富世华集团）；Dalian University of Technology（大连理工大学）；University of KwaZulu-Natal（夸祖鲁-纳塔尔大学）
本文研究未知环境下的覆盖路径规划，提出基于前沿的自我中心地图表示和全变差奖励项，利用深度强化学习在线学习覆盖路径，在多种CPP变体上超越现有方法。
2024-06-07 cs.LG cs.RO cs.SY
Reinforcement Learning-based Joint Path and Energy Optimization of Cellular-Connected Unmanned Aerial Vehicles
KTH Royal Institute of Technology（瑞典皇家理工学院）
近年来，无人机（UAV）引起了人们极大的研究兴趣。特别是在物联网领域，具有互联网连接的无人机是主要需求之一。此外，能量约束，即电池限制，是一个瓶颈的无人机，可以限制其应用。我们正在努力解决和解决能源问题。因此，提出了一种用于蜂窝连接的UAV的路径规划方法，该方法将使UAV能够通过在配备有发电站（PS）的某些位置充电来在比其电池范围大得多的区域中规划其路径。除了能量约束之外，还存在禁飞区;例如，由于空对空（A2 A）和空对地（A2 G）干扰，或者由于缺乏必要的连通性，这在UAV的轨迹优化中施加了额外的约束。禁飞区确定了应该避免的不可行区域。我们使用了一个强化学习（RL）分层扩展典型的短程路径规划器，考虑电池充电和解决问题的无人机在长期任务。针对无人机在大范围内飞行的问题进行了仿真，Q-学习算法可以使无人机找到最优路径和补给策略。
2020-11-27 cs.LG eess.SP
