Solving General-Utility Markov Decision Processes in the Single-Trial Regime with Online Planning
INESC-ID & Instituto Superior Técnico(INESC-ID与理工学院)
本文提出了一种在单次试验范式中求解一般效用马尔可夫决策过程的方法,通过在线规划技术提升性能。
2026-02-07 cs.LG
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.(Maana公司);Auburn University(奥本大学)
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习,这通常需要大量的经验。符号规划依赖于手工制作的符号知识,这可能对领域的不确定性和变化不鲁棒。在本文中,我们提出了一个统一的框架{ \em PEORL},集成了符号规划与分层强化学习(HRL),以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习,并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Simple Regret Optimization in Online Planning for Markov Decision Processes
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑在马尔可夫决策过程(MDP)的在线规划。在在线计划中,智能体只关注其当前状态,从该状态开始仔细考虑可能的策略集,当被打断时,使用探索性审议的结果来选择下一步要执行的操作。在线规划算法的性能评估方面的简单的遗憾,这是代理的预期性能损失时,选择的行动,而不是一个最佳的,遵循。到目前为止,国家的最先进的在线规划算法一般MDPs要么是最好的努力,或保证随着时间的推移,简单的遗憾,只有多项式率减少。在这里,我们介绍了一个新的蒙特卡罗树搜索算法,BRUE,保证指数率减少简单的遗憾和错误概率。该算法是基于一个简单而非标准的状态空间采样方案,MCTS2e,其中每个样本的不同部分专用于不同的探索性目标。我们的实证评估表明,BRUE不仅提供了优越的性能保证,但在实践中也是非常有效的,并有利地比较国家的最先进的。“由此产生的一组算法,BRUE(alpha),概括了BRUE,提高了其减少率上限的指数因子,并表现出更有吸引力的经验性能。
2012-12-19 cs.AI cs.LG
Online Markov decision processes with policy iteration
Tokyo Institute of Technology(东京工业大学);The University of Tokyo(东京大学)
在线马尔可夫决策过程(MDP)是经典马尔可夫决策过程的推广,它包含了不断变化的奖励函数。在本文中,我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是,它可以很容易地与函数逼近相结合,从而可以有效地处理大的和可能连续的状态空间。通过实验,我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Habitizing Diffusion Planning for Efficient and Effective Decision Making
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
针对扩散规划推理速度慢的问题,提出Habi框架将其转化为快速决策模型,模仿大脑习惯化认知过程,在D4RL基准上CPU实现800+Hz决策频率且性能相当或更高,为扩散模型现实决策应用提供新视角。
2025-02-10 cs.LG
Markov Abstractions for PAC Reinforcement Learning in Non-Markov Decision Processes
Sapienza University of Rome(罗马第一大学)
我们的工作旨在开发不依赖于马尔可夫假设的强化学习算法。我们考虑一类非马尔可夫决策过程的历史可以抽象成一个有限的状态集,同时保持动态。我们称之为马尔可夫抽象,因为它在编码非马尔可夫动态的一组状态上诱导马尔可夫决策过程。这种现象是最近引入的规则决策过程(以及POMDP,其中只有有限数量的信念状态是可达的)的基础。在所有这些类型的决策过程中,使用马尔可夫抽象的代理可以依靠马尔可夫属性来实现最佳行为。我们表明,马尔可夫抽象可以在强化学习。我们的方法结合了自动机学习和经典的强化学习。对于这两个任务,可以采用标准算法。我们表明,我们的方法有PAC的保证时,所采用的算法有PAC的保证,我们还提供了一个实验评估。
2022-05-18 cs.AI cs.LG
Laplacian Representations for Decision-Time Planning
University of Cambridge(剑桥大学)
本文提出利用拉普拉斯表示作为决策时规划的潜在空间,通过多时间尺度捕捉状态空间距离,并基于此设计层次规划算法ALPS,在离线目标条件强化学习任务中优于常用基线。
2026-06-02 cs.LG
Learning and Planning in Average-Reward Markov Decision Processes
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));DeepMind(深度思维)
我们介绍了平均回报MDP的学习和规划算法,包括1)第一个通用的证明收敛的无参考状态的偏离策略无模型控制算法,2)第一个证明收敛的偏离策略无模型预测算法,3)第一个离策略学习算法,收敛到实际的价值函数,而不是价值函数加上一个偏移。我们所有的算法都是基于使用时间差误差,而不是传统的错误时,更新的平均奖励的估计。我们的证明技术是Abounadi,Bertsekas和Borkar(2001)的一个轻微的概括。在实验中的一个控制器的控制任务,我们展示了一些困难时,可能会出现依赖于参考状态的方法,并认为我们的新算法可以显着更容易使用。
2021-06-28 cs.AI cs.LG
Reducing Planning Complexity of General Reinforcement Learning with Non-Markovian Abstractions
Research School of Computer Science, ANU(澳大利亚国立大学计算机科学研究学院);Google DeepMind(谷歌DeepMind)
一般强化学习(GRL)领域从根本上阐述了顺序决策问题。相互作用的历史构成了系统的“基态”,它永远不会重复。一方面,这种通用性允许GRL对几乎所有可能的领域进行建模,例如Bandits、MDP、POMDP、PSR和基于历史的环境。另一方面,在一般情况下,在GRL的近最优策略是完整的历史,这不仅阻碍了学习,而且在GRL规划的功能。规划部分的通常方法是给代理一个底层过程的马尔可夫抽象。因此,它可以使用任何MDP规划算法来找到一个接近最优的策略。极端状态聚合(ESA)框架已经将这一想法扩展到非马尔可夫抽象,而不影响通过(代理)MDP进行规划的可能性。ESA的一个显著特征是,它证明了代理MDP所需状态数上的$O\left(\varepsilon^{-A} \cdot (1-γ)^{-2A}\right)$的上界(其中$A$是动作数,$γ$是折扣因子,$\varepsilon$是最优间隙),其保持\emph{all}域的\emph{uniformly}。虽然一个普遍的约束的可能性是相当显着的,我们表明,这个约束是非常松散的。我们提出了一种新的非MDP抽象,它允许一个更好的上限的$O\left(\varepsilon^{-1} \cdot (1-γ)^{-2} \cdot A \cdot 2^{A}\right)$。此外,我们表明,这个界限可以进一步提高到$O\left(\varepsilon^…
2021-12-26 cs.AI cs.LG
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程(SSP MDP)的概率推理。此外,我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中,视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP,并广泛用于人工智能社区。此外,我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
Information-Theoretic Methods for Planning and Learning in Partially Observable Markov Decision Processes
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
有界智能体在处理其传感器和记忆中可用的信息以及选择动作和记忆更新的能力上受到内在约束的限制。在这篇论文中,我们将这些约束建模为连接这些代理内部组件的通信信道上的信息速率约束。我们做了四个主要的贡献,下面详细介绍了每个部分中详细介绍的许多较小的贡献。首先,我们制定的问题,优化代理下的外在和内在的约束和开发的主要工具来解决它。其次,我们确定的另一个原因,具有挑战性的收敛性能的优化算法,这是分支结构的更新算子附近的相变。第三,我们研究了线性高斯动态和二次成本(LQG)的特殊情况下,最优解有一个特别简单和可解的形式。第四,我们探索学习任务,其中世界动态模型是未知的,而是使用基于样本的更新。
2017-03-30 cs.LG
A Look at Value-Based Decision-Time vs. Background Planning Methods Across Different Settings
Mila, McGill University(米拉-麦吉尔大学);Google DeepMind(谷歌DeepMind)
本文从理论和实验两方面比较了基于价值的决策时规划与后台规划方法,发现二者简单实例表现相当,但现代决策时规划在常规RL和迁移学习设定中可达到与后台规划相当或更优的性能。
2024-08-12 cs.AI cs.LG
Minimizing the Outage Probability in a Markov Decision Process
Mitsubishi Electric R&D Centre Europe(三菱电机欧洲研发中心)
标准马尔可夫决策过程(MDP)和强化学习算法相对于期望增益来优化策略。我们提出了一种算法,使优化的替代目标:增益大于给定值的概率。该算法可以看作是数值迭代算法的一种推广。我们还展示了如何将所提出的算法推广到使用神经网络,类似于Q学习的深度Q学习扩展。
2023-03-03 cs.LG
A Mixed Observability Markov Decision Process Model for Musical Pitch
Sharif University of Technology(谢里夫理工大学);University of Birmingham(伯明翰大学)
部分可观测马尔可夫决策过程已被广泛用于为现实世界的决策问题提供模型。在本文中,我们将提供一种方法,其中它们的一个稍微不同的版本称为混合可观测性马尔可夫决策过程,MOMDP,将加入我们的问题。基本上,我们的目标是提供一个行为模型的智能代理与音乐音高环境的互动,我们将展示如何MOMDP可以揭示一些光建立一个决策模型,音乐音高方便。
2012-06-05 cs.AI cs.LG
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore(新加坡国立大学)
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法,证明了其收敛性,通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind(深度思维)
在这个简短的说明中,我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Mean-Variance Optimization in Markov Decision Processes
Technion(以色列理工学院);Massachusetts Institute of Technology(麻省理工学院)
我们考虑有限时域马尔可夫决策过程下的性能指标,涉及的平均值和方差的累积奖励。我们发现,无论是随机或基于历史的政策可以提高性能。我们证明了在方差约束下最大化平均报酬的策略的计算复杂性在某些情况下是NP困难的,而在其他情况下是强NP困难的。最后给出了伪多项式精确算法和近似算法。
2011-04-29 cs.AI cs.LG
Decision Making Agent Searching for Markov Models in Near-Deterministic World
Eötvös Loránd University(厄特沃什·罗兰大学)
强化学习具有坚实的基础,但在部分观察(非马尔可夫)环境中变得低效。因此,一个学习代理--天生就有一个表示和一个策略--可能希望研究马尔可夫性质在多大程度上成立。我们提出了一个学习架构,利用组合策略优化来克服非马尔可夫性,并开发有效的行为,这是很容易继承的,测试的行为状态的马尔可夫属性,并纠正非马尔可夫性通过运行一个确定性因子有限状态模型,它可以学习。我们说明了近确定性的女士吃豆人游戏中的架构的属性。我们从进化、个体和社会学习的角度分析了这种体系结构。
2011-03-01 cs.AI cs.LG
Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations
Harvard Medical School(哈佛医学院);Massachusetts Institute of Technology(麻省理工学院)
控制应用程序通常具有类似但不完全相同的动态任务。我们介绍了隐参数马尔可夫决策过程(HiP-MDP),一个框架,参数化一个家庭的相关动力系统与一组低维的潜在因素,并介绍了半参数回归方法从数据中学习其结构。在控制设置中,我们表明,一个学习的HiP-MDP快速识别一个新的任务实例的动态,允许代理灵活地适应任务的变化。
2013-08-15 cs.AI cs.LG
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)(前沿人工智能研究中心,科技研究局(A*STAR));Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(新加坡高性能计算研究所,科技研究局(A*STAR));College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
本文提出一种镜像下降策略优化方法,用于鲁棒约束马尔可夫决策过程,通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Combining Planning and Deep Reinforcement Learning in Tactical Decision Making for Autonomous Driving
Volvo Group(沃尔沃集团);Chalmers University of Technology(查尔姆斯理工大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
由于环境的多样性、传感器信息的不确定性以及与其他道路使用者的复杂交互,自动驾驶的战术决策具有挑战性。本文介绍了一个战术决策的一般框架,它结合了规划和学习的概念,以蒙特卡罗树搜索和深度强化学习的形式。该方法基于AlphaGo Zero算法,该算法被扩展到具有连续状态空间的域,其中不能使用自我游戏。该框架被应用到两个不同的高速公路驾驶情况下,在模拟环境中,它表现得比常用的基线方法。结合规划和学习的强度也说明了使用蒙特卡罗树搜索或神经网络政策分别比较。
2019-05-06 cs.AI cs.LG cs.RO
Scalable Verification of Markov Decision Processes
Inria Rennes – Bretagne Atlantique(法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心)
马尔可夫决策过程(MDP)是有用的模型并发过程优化问题,但验证它们的数值方法往往是棘手的。现有的近似方法不能很好地扩展,并且仅限于无记忆存储器。在这里,我们提出了MDPS的可扩展性验证的基础上,使用一个O(1)的历史相关的存储器表示。因此,我们促进可扩展的学习技术和大规模并行验证的使用。
2014-09-17 cs.DC cs.DS cs.LG
Interpretable Markov-Based Spatiotemporal Risk Surfaces for Missing-Child Search Planning with Reinforcement Learning and LLM-Based Quality Assurance
Old Dominion University(老奥尔巴尼大学)
Guardian系统利用马尔可夫链、强化学习和LLM进行可解释的时空风险建模,以提升失踪儿童搜索规划的效率和准确性。
2026-03-09 cs.AI cs.IR cs.LG
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto(多伦多大学);Vector Institute(向量研究所);Schwartz Reisman Institute for Technology and Society(施瓦茨·赖斯曼技术与社会研究所);University of Waterloo(滑铁卢大学)
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性,本文界定其多类性质,探究记忆与公平策略构建的关联,提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明,在单链马尔可夫决策过程中的最优(平稳)政策的组合是最优的。也就是说,设M是一个具有状态空间S,动作空间A和策略π_j^* 的单链马尔可夫决策过程:S -> A(1 \leq j \leq n),具有最优的平均无限时域报酬。然后这些策略的任何组合π,其中对于S中的每个状态i,存在j使得π(i)=π_j^*(i),也是最优的。此外,我们证明了任何最优策略的混合,其中在状态i的每次访问中,选择最优策略的任意动作π_j^*(i),也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
Learning the Markov Decision Process in the Sparse Gaussian Elimination
Giga Design Automation Co., Ltd(Giga设计自动化有限公司);Shenzhen 518055, China(中国深圳518055)
提出了一种基于学习的稀疏高斯消去法。在现代稀疏求解器中存在着许多困难的组合最优化问题。这些NP难问题可以在马尔可夫决策过程的框架下得到解决,特别是Q学习技术。针对稀疏求解器的主要模块:最小度排序、任务调度和自适应旋转,提出了一些Q学习算法。最后,我们将稀疏求解器重新转换到Q-Learning的框架中。本文的研究是连接高斯消去法和马尔可夫决策过程这两个经典数学模型的第一步。我们的学习算法可以帮助提高稀疏求解器的性能,这已经在一些数值实验中得到验证。
2021-09-30 cs.LG cs.MS cs.NA
Active Markov Information-Theoretic Path Planning for Robotic Environmental Sensing
National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学)
最近的研究在多机器人探索和地图集中在采样环境领域,这是典型的高斯过程(GP)建模。现有的信息理论的探索策略,学习基于GP的环境场地图采用非马尔可夫问题结构,因此规模差的历史观测的长度。因此,使用这些策略进行原位、实时主动采样在计算上变得不切实际。为了减轻这种计算负担,本文提出了一种基于马尔可夫的方法,有效的信息理论的路径规划主动采样的GP为基础的领域。我们分析了解决基于马尔可夫路径规划问题的时间复杂度,并分析表明,它的规模优于得出的非马尔可夫策略,随着规划范围的长度增加。对于一类称为样带采样任务的探索任务,我们提供了理论上的保证,我们的主动采样性能的马尔可夫为基础的政策,从理想的环境场条件和采样任务设置可以建立限制其性能下降,由于违反马尔可夫假设。对实际温度和浮游生物密度场数据的实证评估表明,我们的基于马尔可夫的政策通常可以实现主动采样性能相比,广泛使用的非马尔可夫贪婪政策在不太有利的现实条件和任务设置,同时享受显着的计算增益。
2011-01-28 cs.AI cs.LG cs.MA
Deep imagination is a close to optimal policy for planning in large decision trees under limited resources
Universitat Pompeu Fabra(庞培法布拉大学)
许多决策都涉及在深度和广度决策树中选择一个不确定的行动过程,就像我们计划去一个异国他乡度假一样。在这些情况下,由于大量的可能性和有限的时间或计算资源可用于做出决策,因此对最佳动作序列的穷举搜索是不容易处理的。因此,规划代理需要平衡广度(在树的每个级别探索许多动作)和深度(探索树中的许多级别),以最佳地分配其有限的搜索能力。我们提供了有效的解析解和数值分析的问题,分配有限的抽样容量在一个镜头大决策树。我们发现,在一般情况下,最佳的政策是分配很少的样本,每个级别,以便可以达到深层次,从而有利于深度广度搜索。相比之下,在恶劣的环境和低容量的情况下,最好以不深入采样为代价对分支进行广泛采样,尽管这种策略略优于深度分配。我们的研究结果提供了一个理论基础的规划深度想象力的最优性,并表明,这是一个普遍有效的启发式,可以从有限的认知系统的约束。
2021-04-13 cs.LG q-bio.NC stat.ML
Interactive Trajectory Planning with Learning-based Distributionally Robust Model Predictive Control and Markov Systems
Chalmers University of Technology(查尔姆斯理工大学);Volvo Group Trucks Technology(沃尔沃集团卡车技术)
本文研究了在周围智能体决策不确定性下的交互轨迹规划问题,提出结合PAC学习与分布鲁棒优化的DR-MPC框架,通过样本数量实现鲁棒MPC与随机MPC之间的插值。
2026-05-08 cs.LG cs.SY eess.SY
Not All Errors Matter: Decision-Relevant Prediction Error Predicts Planning Quality
本研究提出决策相关预测误差(DRPE),证明其比总预测误差更能预测规划质量,并通过等误差评估协议在网格世界中验证,DRPE与规划成功率强相关(ρ=-0.84),而总误差相关性弱(ρ=-0.25)。
2026-10-01 cs.LG
RetroBridge: Modeling Retrosynthesis with Markov Bridges
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Microsoft Research(微软研究院);University of Oxford(牛津大学)
本文将单步逆合成规划建模为离散状态空间中的分布学习问题,提出基于马尔可夫桥的生成框架 Markov Bridge Model 及其无模板建模方法 RetroBridge,在标准基准上取得了最先进的结果。
2024-03-26 cs.LG q-bio.BM q-bio.QM
Efficient Non-Parametric Uncertainty Quantification for Black-Box Large Language Models and Decision Planning
Apple(苹果公司)
针对大语言模型决策规划的幻觉问题及现有方法对黑盒模型适配差、成本高的痛点,提出无需logits的单次推理非参数不确定性量化方法,并设计了带偏好征询的决策智能体方案,为AI智能体开发提供低成本高效方案。
2024-02-01 cs.AI cs.CL cs.LG
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University(卡内基梅隆大学);University of California Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院)
模仿学习的目标是通过演示模仿专家的行为,而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习(IRL)推断(未知)奖励函数,然后通过强化学习(RL)最大化该奖励函数。然而,通过这些方法学习的策略在实践中非常脆弱,即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时(植入),一个新的元算法模仿学习,利用决策时规划,以纠正任何基础模仿政策的复合错误。与现有方法相比,我们在决策时保留了模仿策略和奖励模型,从而受益于这两个组件的学习信号。从经验上讲,我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时,受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
Learning a Machine for the Decision in a Partially Observable Markov Universe
在本文中,我们感兴趣的是在部分可观测马尔可夫宇宙中的最优决策。我们的观点从动态规划的观点出发:我们直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。在本文中,一个特殊的家庭隐马尔可夫模型,输入和输出,被认为是一个学习框架。提出了一种优化这些阻尼器的参数的方法,并应用。这种最优化方法是基于交叉熵原理的。
2004-08-11 cs.AI cs.LG math.GM
Model-Based Online Decision Making via Generative Trajectory Planning
Harvard University(哈佛大学)
该研究提出基于模型的生成轨迹规划(GTP)框架,通过学习生成模型作为动作序列提议分布,在连续控制等任务中性能优于或匹配现有基准,为生成建模与基于模型决策结合提供新视角。
2026-10-14 cs.AI cs.LG cs.RO