Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的，并且已经被广泛研究，其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而，大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛，通常必须重新计算，如果改变奖励函数。本文介绍了一种新的替代方法，准确，有效地解决确定性，连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时，例如网格世界，我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$，其中$|R|$是奖励源的数量，$|A|$是动作的数量，$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径，对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法，并给出了数值实验结果，以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Cornell University（康奈尔大学）
蒙特卡洛规划，例如蒙特卡罗树搜索（MCTS），已被证明在有限空间的应用显着的性能。在本文中，我们考虑在连续状态-动作空间的环境中进行蒙特卡洛规划，这是一个在控制和机器人技术中具有重要应用的少得多的问题。我们介绍POLY-HOOT，这是一种用称为分层乐观优化（HOO）的连续武装强盗策略增强MCTS的算法（Bubeck等人，2011年）。具体来说，我们通过使用适当的多项式，而不是对数，奖金项的置信上限，以提高HOO。这样的多项式奖金是由AlphaGo Zero中的经验成功所激励的（Silver等人，2017 b），以及其在实现有限空间MCTS的理论保证方面的重要作用（Shah等人，2019年）。我们调查，第一次，增强HOO算法在非平稳强盗问题的遗憾。使用这个结果作为一个积木，我们建立非渐近收敛保证POLY-HOOT：值估计收敛到一个任意小的邻域的最佳价值函数在一个多项式的速度。我们进一步提供了实验结果，证实了我们的理论研究结果。
2020-12-30 cs.AI cs.LG
On the Convergence of Monte Carlo UCB for Random-Length Episodic MDPs
SFSC of AI and DL, NYU Shanghai（纽约大学上海人工智能与深度学习科学与技术中心）；New York University（纽约大学）；New York University Shanghai（纽约大学上海分校）；New York University Abu Dhabi（纽约大学阿布扎比分校）
本文研究随机长度回合制 MDP 中 MC-UCB 的 Q 函数收敛性，证明其对包含随机与确定性 MDP 的一大类环境及所有有限视界 MDP 几乎必然收敛到最优 Q 函数。
2025-03-17 cs.AI cs.LG
Actor-Critic for Linearly-Solvable Continuous MDP with Partially Known Dynamics
Toyota Central R & D Labs. Inc（丰田中央研发实验室公司）；University of Georgia（佐治亚大学）；Toyota Research Institute（丰田研究院）；Toyota R & D（丰田研发）
在许多机器人应用中，系统动力学的某些方面可以精确建模，而其他方面则难以获得或建模。我们提出了一种新的强化学习（RL）方法，连续的状态和动作空间，学习与系统的部分知识，没有积极的探索。它解决了线性可解马尔可夫决策过程（L-MDP），这是非常适合于连续的状态和动作空间，基于一个演员批评架构。与先前的用于L-MDP的RL方法和基于模型的路径积分方法相比，行动者-批评者学习不需要不受控制的动态模型，重要的是，不需要过渡噪声水平;然而，它需要知道问题的控制动态。我们评估我们的方法上的两个合成测试问题，和一个现实世界的问题，在模拟和使用真实的交通数据。我们的实验证明了改进的学习和策略性能。
2017-06-04 cs.AI
Learning Policy Committees for Effective Personalization in MDPs with Diverse Tasks
针对多样任务MDP中个性化问题，提出学习策略委员会方法，保证高概率含近优策略，并提供两种算法，实验优于多任务、元学习和聚类基线。
2025-05-26 cs.AI cs.LG
R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models
Rochester Institute of Technology（罗切斯特理工学院）；VERSES AI Research Lab（VERSES AI 研究实验室）；University of Sussex（萨塞克斯大学）
本文提出R-AIF，通过引入新颖的先验偏好学习技术和自我修正计划，解决稀疏奖励下连续动作空间POMDPs的机器人控制问题，在累积奖励、稳定性和成功率上优于现有模型。
2024-09-21 cs.AI cs.CV cs.LG
Safe Exploration in Markov Decision Processes with Time-Variant Safety using Spatio-Temporal Gaussian Process
IBM Research（IBM研究院）
在许多实际应用中（例如，行星探索、机器人导航），自主智能体必须能够在保证安全的情况下探索空间。强化学习和机器人领域中的大多数安全探索算法都是基于安全特征是先验已知且时不变的假设。本文提出了一个学习算法称为ST-SafeMDP探索马尔可夫决策过程（MDP），是基于假设的安全功能是先验未知的和时变的。在此设置中，代理探索MDP，同时将进入由安全功能定义的不安全状态的概率约束在阈值以下。使用时空高斯过程对未知和时变安全值进行建模。然而，仍然存在一个问题，即代理人可能在缩小的真正安全空间中没有可行的行动。为了解决这个问题，我们制定了一个问题，最大限度地提高安全状态的累积数量在最坏的情况下，未来的观察。这种方法的有效性在两个模拟环境中得到了证明，其中一个使用了真实的月球地形数据。
2018-09-12 cs.AI
Constrained Reinforcement Learning with Average Reward Objective: Model-Based and Model-Free Algorithms
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本专著探讨了平均奖励MDP下的约束强化学习，分析了基于模型（乐观主义与后验采样）和无模型（原始对偶策略梯度）算法，提供遗憾保证与约束违反分析，并将结果扩展至弱通信MDP。
2024-07-17 cs.AI cs.LG
Solving Markov Decision Processes with Reachability Characterization from Mean First Passage Times
NVIDIA Corporation（英伟达公司）；Indiana University - Bloomington（印第安纳大学伯明顿分校）；University of Southern California（南加利福尼亚大学）
本文提出了一种有效求解马尔可夫决策过程（MDP）的新机制。我们引入了可达性景观的概念，我们使用的平均首次通过时间（MFPT）作为一种手段来表征状态空间中的每个状态的可达性。我们表明，这种可达性表征很好地评估了国家的重要性，从而提供了一个自然的基础，有效地优先考虑国家和近似的政策。建立在这样一个新的观察，我们设计了两个新的算法-平均第一次通过时间为基础的价值迭代（MFPT-VI）和平均第一次通过时间为基础的政策迭代（MFPT-PI）-已被修改的国家的最先进的解决方案的方法。为了验证我们的设计，我们已经进行了数值评估，在机器人决策的情况下，通过比较所提出的新方法与相应的经典基线机制。评估结果表明，MFPT-VI和MFPT-PI在实际运行时间和迭代次数方面都优于最先进的解决方案。除了快速收敛的优点外，这种新的求解方法直观上易于理解，实际上易于实现。
2019-01-04 cs.AI cs.RO
Robust Model-Based Reinforcement Learning with an Adversarial Auxiliary Model
University of Antwerp（安特卫普大学）；imec（校际微电子中心）；IDLab（IDLab研究院）
本文针对强化学习策略在近似MDP中鲁棒性不足的问题，提出在RMDP框架下引入对抗更新的辅助悲观模型，并将其集成到RMBPO算法中，在MuJoCo任务上验证了该方法能显著提升策略鲁棒性。
2024-07-01 cs.AI cs.LG
Automated Generation of MDPs Using Logic Programming and LLMs for Robotic Applications
Department of Information Engineering and Computer Science, University of Trento（信息工程与计算机科学系，特伦托大学）；Department of Industrial Engineering, University of Trento（工业工程系，特伦托大学）
本文提出结合大语言模型与形式方法，通过逻辑编程自动生成可执行的MDP策略，用于机器人中的概率规划。
2025-11-28 cs.AI cs.RO
RoboCertProb: Property Specification for Probabilistic RoboChart Models
University of York（约克大学）
本文提出RoboCertProb，一种基于PCTL*的概率属性规约语言，用于RoboChart模型，支持配置未定义项和环境输入，并在RoboTool中实现以自动生成PRISM属性，已应用于两个真实机器人控制器的验证。
2024-03-12 cs.AI cs.LO
Tree Search-Based Policy Optimization under Stochastic Execution Delay
Technion（以色列理工学院）；Nvidia Research（英伟达研究院）
针对动作随机延迟执行问题，提出随机延迟执行 MDP 与基于模型的树搜索算法 DEZ，证明马尔可夫策略搜索的充分性，并在 Atari 上显著优于基线。
2024-04-08 cs.AI cs.LG
Abstraction-Refinement for Hierarchical Probabilistic Models
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）
马尔可夫决策过程是一个普遍存在的形式主义建模系统的非确定性和概率行为。这些模型的验证都是由著名的状态空间爆炸问题。我们缓解这个问题，利用重复部分的层次结构。这种结构不仅在机器人技术中自然发生，而且在描述概率的程序中也发生，例如，网络协议。这样的程序经常重复调用具有类似行为的子例程。在本文中，我们专注于一个本地的情况下，其中的子程序对整个系统状态的影响有限。加速这类程序分析的关键思想是：（1）将子程序的行为视为不确定的，只有在需要时才通过详细的分析来消除这种不确定性;（2）将类似的子程序抽象成参数模板，然后分析这个模板。这两个想法被嵌入到一个抽象细化循环，分析层次的MDP。一个原型实现显示了该方法的有效性。
2022-06-06 cs.AI cs.LO
Model-Advantage and Value-Aware Models for Model-Based Reinforcement Learning: Bridging the Gap in Theory and Practice
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（艾伦人工智能研究所）
这项工作表明，值感知模型学习，其众多的理论优势，也是切实可行的解决具有挑战性的连续控制任务，在流行的基于模型的强化学习算法。首先，我们推导出一种新的值感知模型学习目标，通过限制模型优势，即模型性能差异，在两个MDP或模型之间给定一个固定的政策，在大多数连续控制环境中实现优越的性能。其次，我们确定了在天真地替换价值感知目标的最大似然在dyna风格的基于模型的RL算法的陈旧价值估计的问题。我们提出的补救措施，这个问题的桥梁长期存在的差距，在理论和实践中的价值感知模型学习，使所有的价值感知目标的成功部署，在解决几个连续控制机器人操作和运动任务。我们的结果是通过对两种流行的基于开源模型的RL算法SLBO和MBPO进行最小修改而获得的，无需调整任何现有的超参数，同时在某些环境中也展示了比这些基线更好的价值感知目标性能。
2022-01-28 cs.AI cs.LG stat.ML
Acting in Delayed Environments with Non-Stationary Markov Policies
Technion（以色列理工学院）；Nvidia Research（英伟达研究院）
针对标准MDP假设动作立即执行不符合实际、易致应用故障的问题，提出非平稳马尔可夫策略框架与类Q学习算法，无需状态增强解决延迟执行任务，实验验证其在多场景下收敛快、性能优。
2023-12-13 cs.AI cs.LG
Mutual-Information Regularization in Markov Decision Processes and Actor-Critic Learning
累积熵正则化为强化学习（RL）问题引入了一个监管信号，鼓励具有高熵行为的策略，这相当于强制执行与统一参考边际策略的小偏差。这已被证明可以提高探索性和鲁棒性，并解决了价值高估问题。它还导致表格和高维设置中的性能显着提高，如通过软Q学习（SQL）和软演员评论家（SAC）等算法所证明的那样。累积熵正则化已经被扩展到优化参考边际策略，而不是保持它固定，产生一个正则化，最大限度地减少状态和动作之间的互信息。虽然这最初是针对表格设置中的马尔可夫决策过程（MDP）提出的，但最近表明，对于具有离散动作和函数逼近器的高维域，类似的原理导致RL中的vanilla SQL的显着改进。在这里，我们遵循互信息正则化的动机从推理的角度和理论分析相应的贝尔曼算子。受此Bellman算子的启发，我们设计了一种新的互信息正则化行动者-评论家学习（MIRACLE）算法的连续动作空间，优化了参考边际政策。我们在Mujoco机器人模拟器中实证验证了MIRACLE，在那里我们证明了它可以与当代RL方法竞争。最值得注意的是，它可以改善无模型的最先进的SAC算法，其中隐含地假设一个固定的参考策略。
2019-09-11 cs.AI cs.LG stat.ML
On Reward Structures of Markov Decision Processes
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
本文从奖励视角重新审视马尔可夫决策过程，提出新估计器、基于奖励的常数、安全学习定量概念及多奖励帕累托规划算法，深化对强化学习结构的理解。
2023-08-31 cs.AI cs.LG
Exact Reduction of Huge Action Spaces in General Reinforcement Learning
Research School of Computer Science, ANU（澳大利亚国立大学计算机科学研究学院）；Google DeepMind（谷歌DeepMind）
强化学习（RL）框架形式化了交互学习的概念。许多现实世界的问题都有很大的状态空间和/或动作空间，比如围棋、星际争霸、蛋白质折叠和机器人技术，或者是非马尔可夫的，这给RL算法带来了巨大的挑战。在这项工作中，我们解决了大的行动空间的问题，通过序列化的行动，这可以减少行动空间的大小显着，甚至下降到两个行动的代价增加规划视野。我们提供了明确和准确的建设和等价性证明的所有数量的利益为任意的历史为基础的过程。在MDP的情况下，这可以帮助RL算法进行引导。在这项工作中，我们将展示如何在非MDP的情况下，动作二进制化可以显着提高极端状态聚合（ESA）的界限。ESA允许铸造任何（非MDP，非遍历，基于历史的）RL问题到一个固定大小的非马尔可夫状态空间的帮助下，代理马尔可夫过程。从好的方面来看，ESA享有与马尔可夫模型类似的最优性保证。但缺点是聚合状态空间的大小与动作空间的大小成指数关系。在这项工作中，我们修补这个问题的二进制化的动作空间。我们提供了一个上界的状态数的二进制ESA是对数的原始动作空间的大小，双指数的改善。
2020-12-18 cs.AI cs.LG cs.SY
Planning with Linear Temporal Logic Specifications: Handling Quantifiable and Unquantifiable Uncertainty
University College London (UCL)（伦敦大学学院）；University of Oxford（牛津大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本研究提出一种基于MDPSTs和LDBA的规划方法，通过引入获胜区域概念和鲁棒值迭代算法，解决机器人系统在可量化与不可量化不确定性下满足LTL规格的最优策略综合问题。
2025-02-26 cs.FL cs.RO
Optimizing pre-scheduled, intermittently-observed MDPs
Texas A&M University（德克萨斯农工大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
本文研究观测时机预先调度且间歇进行的MDP规划问题，提出一种累积式算法识别折扣设定下执行成本与观测次数的Pareto前沿，并通过过滤方法在几乎不损失质量的前提下显著降低计算量。
2023-09-22 cs.RO
Reinforcement learning with timed constraints for robotics motion planning
Department of Mechanical Engineering, Iowa Technology Institute, University of Iowa（机械工程系，Iowa技术研究所，爱荷华大学）；Talus Renewables, Inc.（Talus Renewables公司）；Department of Industrial, Electronic, and Mechanical Engineering, Roma Tre University（工业、电子和机械工程系，罗马三大学）
本文提出了一种基于自动机的强化学习框架，用于在满足MITL时间约束的MDP和POMDP中合成策略，通过时间限制确定性广义巴克斯自动机实现时间正确性和性能优化。
2025-12-31 cs.LG cs.RO
Learning Compact Models for Planning with Exogenous Processes
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们解决的问题，近似模型最小化的MDP中的状态被划分为内源性和（更大）外源性成分。一个外生状态变量是一个其动态是独立的代理人的行动。我们形式化的面具学习问题，其中代理必须选择一个子集的外生状态变量的原因时，规划，在这样一个减少的状态空间规划往往可以显着更有效地比规划在完整的模型。然后，我们探讨了各种价值函数在此设置内发挥作用，并描述了条件下，减少模型的政策将是最佳的充分MDP。分析导致我们的一个易于处理的近似算法，借鉴了外生状态变量之间的互信息的概念。我们验证我们的方法在模拟机器人操作域中的机器人被放置在一个繁忙的环境中，其中有许多其他代理也与对象进行交互。访问http://tinyurl.com/chitnis-exogenous获取补充视频。
2019-09-30 cs.AI cs.LG cs.RO
PrivilegedDreamer: Explicit Imagination of Privileged Information for Rapid Adaptation of Learned Policies
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工学院研究院）
针对隐藏参数导致的 sim-to-real 策略性能下降问题，提出基于双循环架构显式估计特权参数的模型强化学习框架 PrivilegedDreamer，并在五个 HIP-MDP 任务上验证其优于多种先进算法。
2025-02-17 cs.LG cs.RO
