Practical Linear Value-approximation Techniques for First-order MDPs
University of Toronto(多伦多大学)
一阶马尔可夫决策过程(FOMDPs)的近似线性规划(ALP)技术最近的工作表示价值函数线性w.r.t.一组一阶基函数,并使用线性编程技术来确定合适的权重。这种方法提供的优点是,它不需要简化的一阶价值函数,并允许一个解决FOMDPs独立于一个特定的域实例。在本文中,我们解决了几个问题,以提高这项工作的适用性:(1)我们可以扩展一阶ALP框架近似的政策迭代,以解决以前的方法的性能缺陷?(2)我们能自动生成基函数并评估它们对价值函数质量的影响吗?(3)我们怎样才能将具有普遍量化奖励的棘手问题分解为易于处理的子问题?我们提出了一些新的优化这些问题的答案,并提供了一个比较实证评估的物流问题,从ICAPS 2004年的概率规划比赛。
2012-06-27 cs.AI
Universal Policies for Software-Defined MDPs
Microsoft Research(微软研究院);University of Pittsburgh(匹兹堡大学)
我们介绍了一种新的编程范式,称为预言机引导的决策编程,其中一个程序指定了马尔可夫决策过程(MDP)和语言提供了一个通用的政策。我们原型一个新的程序设计语言,多多纳,体现了这种模式使用一个原始的“选择”代表非确定性的选择。Dodona解释器返回一个值或一个choicepoint,其中包括原则上做出最佳决策所需的所有信息的无损编码。元解释器在这些选择点上查询Dodona的(神经)预言以获得策略和值估计,它们可以使用这些估计来对底层MDP执行启发式搜索。我们展示了Dodona的潜力zero-shot启发式指导元学习超过数百个合成任务,模拟基本操作列表,树,教堂数据结构,多项式,一阶项和高阶项。
2020-12-21 cs.AI cs.PL
Risk-averse Total-reward MDPs with ERM and EVaR
University of New Hampshire Durham, NH, USA(新罕布什尔大学);HEC Paris(巴黎高等商学院)
本文研究了在ERM和EVaR风险度量下的风险规避总回报MDP问题,证明了平稳策略可优化该目标,提出了指数值迭代等计算最优策略的方法,并发现总回报准则在风险规避强化学习中优于折扣准则。
2024-12-18 cs.AI cs.LG
Sharpe Ratio Optimization in Markov Decision Processes
School of Business, Sun Yat-sen University, Guangzhou, China(中山大学商学院);College of Business, City University of Hong Kong, Hong Kong, China(香港城市大学商学院)
针对马尔可夫决策过程中夏普比率优化的动态规划应用难题,提出结合Dinkelbach变换与迭代策略迭代的动态规划类算法,可求解平均和折扣设置下的最优解,为分式目标MDP求解提供新思路。
2025-08-31 cs.AI
Inductive Policy Selection for First-Order MDPs
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
我们选择政策的大型马尔可夫决策过程(MDP)与紧凑的一阶表示。我们发现,随着域中对象数量的增长,策略可以很好地泛化,可能没有约束。现有的基于平面、命题或一阶表示的动态编程方法在这里要么是不切实际的,要么不能随着对象数量的无限增长而自然地扩展。我们实现和评估的替代方法,诱导一阶政策使用训练数据,通过解决小问题的实例,使用PGraphplan(Blum和Langford,1999年)。我们的政策表示为决策列表的集合,使用分类概念语言。这种方法将Martin和Geffner(2000)的工作扩展到随机域,集成学习和更广泛的问题。从经验上讲,我们发现“好”的政策,几个随机的一阶MDP超出了以前的方法的范围。我们还讨论了应用这项工作的关系学习问题。
2012-12-12 cs.AI
Action Selection for MDPs: Anytime AO* vs. UCT
Universidad Simón Bolívar(西蒙玻利瓦尔大学);ICREA & Universitat Pompeu Fabra(加泰罗尼亚研究与高级研究学院 & 庞培法布拉大学)
在存在非容许解的情况下,A* 和其他最佳优先算法可以通过在找到第一个解后继续搜索而转化为OR图上的任意时间最优算法,但是同样的技巧对于AND/OR图上的最佳优先算法不起作用,它必须能够扩展显式图的叶子节点,而这些叶子节点不一定是最佳部分解的一部分。因此,AO* 的任何时候的最佳变体都必须解决探索-利用的权衡:它们不能只是“利用”,它们还必须继续探索。在这项工作中,我们开发了一个这样的变体AO*,并将其应用于有限视野MDP。这种Anytime AO* 算法最终会在使用可采样的非容许随机启发式时提供最优策略,因为启发式是可以通过推出进行采样的基本策略的成本。然后,我们测试随时AO* 的行动选择在大型无限地平线的MDP,不能解决现有的离线启发式搜索和动态规划算法,并将其与UCT。
2019-09-26 cs.AI
Analysis of approximate linear programming solution to Markov decision problem with log barrier function
Korea Advanced Institute of Science and Technology(韩国高等科学技术院)
本文提出利用对数障碍函数将马尔可夫决策问题的线性规划转换为无约束优化问题,以提高求解效率并填补理论空白。
2026-02-23 cs.AI
Policy Iteration for Factored MDPs
Stanford University(斯坦福大学)
许多大型MDP可以使用动态贝叶斯网络来表示。虽然值函数的结构不保留过程的结构,但最近的工作表明,因子分解的MDP中的价值函数通常可以使用分解的价值函数很好地近似:<I>限制</I>基函数的线性组合,每个基函数仅涉及变量的一个小子集。可以使用近似动态规划来计算特定策略的近似价值函数,但是这种方法(以及其他方法)只能产生相对于距离度量的近似值,该距离度量由当前策略的静态分布加权。这种加权预测不适合政策改进。我们提出了一种新的方法来确定值,使用一个简单的封闭形式的计算直接计算的最小二乘分解近似的价值函数<I>的任何权重</I>。然后,我们使用此值确定算法作为策略迭代过程中的子例程。我们表明,在合理的限制下,由一个因子化的价值函数诱导的政策是compensable表示,并可以有效地在一个政策迭代过程中进行操作。我们还提出了一种方法,用于计算分解的价值函数使用变量消除算法的函数优化的误差界。我们所有的算法的复杂性取决于系统动力学和近似价值函数的因式分解。
2013-01-16 cs.AI
Computational Approaches for Stochastic Shortest Path on Succinct MDPs
IST Austria (Institute of Science and Technology Austria)(奥地利科学技术研究所);Shanghai Jiao Tong University(上海交通大学);Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
我们考虑简洁的马尔可夫决策过程(MDP)的随机最短路径(SSP)问题,其中MDP由一组变量和一组更新变量的不确定性规则组成。首先,我们展示了人工智能文献中的几个例子可以建模为简洁的MDP。然后,我们提出了计算方法的SSP问题的上限和下限:(a)~计算上限,我们的方法是多项式时间的隐式描述的MDP;(b)~下限,我们提出了一个多项式时间(在隐式描述的大小)减少到二次规划。我们的方法甚至适用于无限状态的MDP。最后,我们提出了实验结果来证明我们的方法在人工智能文献中的几个经典例子的有效性。
2018-07-17 cs.AI cs.PL math.PR
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York(纽约州立大学布法罗分校);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室)
在鲁棒马尔可夫决策过程(MDP)中,转移核中的不确定性是通过找到一个策略来解决的,该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs,强大的平均回报MDPs仍然在很大程度上未被探索。在本文中,我们专注于鲁棒平均奖励MDP,其目标是找到一个政策,优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法,使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时,鲁棒折扣价值函数收敛于鲁棒平均报酬,并且当$γ$较大时,鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法,并从理论上证明了它的收敛性。然后,我们直接研究鲁棒平均报酬MDP,而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程,证明了最优策略可以从其解导出,并进一步设计了一个鲁棒相对值迭代算法,该算法可证明地找到其解,或等价地,找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
Strongly Polynomial Time Complexity of Policy Iteration for $L_\infty$ Robust MDPs
Institute for Computer Science, Austrian Academy of Sciences(奥地利科学院计算机科学研究所);Concordia University(康科迪亚大学)
针对 $(s,a)$-矩形 $L_\infty$ 鲁棒 MDP 的折扣问题,证明了策略迭代算法在固定折扣因子下具有强多项式时间复杂度。
2026-06-02 cs.AI cs.CC
Dynamic Programming for Structured Continuous Markov Decision Problems
University of Massachusetts(马萨诸塞大学);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);Research Institute for Advanced Computer Science(高级计算机科学研究所);QSS Group Inc.(QSS集团公司)
我们描述了一种方法,利用连续状态变量的马尔可夫决策过程的结构。在动态规划的每一步,状态空间被动态地划分成区域,其中价值函数在整个区域中是相同的。我们首先描述分段常数表示的算法。然后,我们将其扩展到分段线性表示,使用POMDPs的技术来有效地表示和推理线性表面。我们表明,对于复杂的,结构化的问题,我们的方法利用自然结构,使最佳解决方案可以有效地计算。
2012-07-11 cs.AI
Dynamic programming with incomplete information to overcome navigational uncertainty in a nautical environment
University of Ottawa(渥太华大学);National Research Council of Canada(加拿大国家研究委员会);University of Waterloo(滑铁卢大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
使用一个新的玩具航海导航环境中,我们表明,动态规划可以使用时,只有不完整的信息,部分观察到的马尔可夫决策过程(POMDP)是已知的。通过将不确定性纳入我们的模型,我们表明,导航策略可以构建,保持安全,优于传统的动态规划的马尔可夫决策过程(MDP)的基线性能。加入受控传感方法,我们表明,这些政策也可以降低测量成本在同一时间。
2022-07-19 cs.AI math.OC
Convex Optimization for Parameter Synthesis in MDPs
Radboud University Nijmegen(拉德堡德大学(奈梅亨));University of California at Berkeley(加州大学伯克利分校);RWTH Aachen University(亚琛工业大学)
概率模型检验的目的是证明马尔可夫决策过程是否满足时态逻辑规范。基本方法依赖于一个通常不切实际的假设,即MDP是精确已知的。因此,参数MDP(pMDP)扩展MDP的转移概率,是在未指定的参数的函数。参数合成问题是计算这些未指定参数的实例化,使得所得MDP满足时态逻辑规范。我们制定的参数综合问题作为一个二次约束二次规划(QCQP),这是非凸的,是NP-难解决的一般。我们开发了两种方法,迭代获得局部最优解。第一种方法利用所谓的凸-凹过程(CCP),第二种方法利用顺序凸规划(SCP)方法。通过融合凸优化和概率模型检测的思想,与黑盒CCP和SCP相比,该技术将运行时间和可扩展性提高了多个数量级。我们展示了卫星防撞问题的方法,数十万个国家和数万个参数和它们的可扩展性在广泛的常用基准。
2021-06-30 cs.AI cs.LO math.OC
Vulcan: A Monte Carlo Algorithm for Large Chance Constrained MDPs with Risk Bounding Functions
Massachusetts Institute of Technology(麻省理工学院)
机会约束马尔可夫决策过程在有限的失败概率下最大化回报,并且经常被应用于具有潜在危险结果或未知环境的规划。求解算法需要很强的逻辑性,或者仅限于具有数百万个状态的相对较小的问题,因为从给定状态采取的最佳行动取决于策略其余部分的失败概率,导致难以解决的耦合问题。在本文中,我们研究了CCMDP的一个推广,通过函数关系来权衡失败的概率对奖励。我们推导出一个约束,可以单独应用于每个国家的历史政策,并保证机会约束将得到满足。该方法对CCMDP中的状态进行了简化,从而可以有效地解决大型问题。然后,我们介绍Vulcan,它使用我们的约束,以适用于蒙特卡罗树搜索CCMDPs。Vulcan可以应用于无法生成整个状态空间的问题,并且必须以随时随地的方式返回策略。我们表明,火神和它的变种运行速度比线性规划方法快几十到几百倍,比基于启发式的方法快十倍以上,所有这些都不需要启发式,并返回平均次优的解决方案的顺序百分之几。最后,我们使用Vulcan来解决CCMDP中的机会约束策略,在3分钟内具有超过$10^{13}$的状态。
2018-09-04 cs.AI
Planning and Learning with Stochastic Action Sets
Google Research(谷歌研究院)
在强化学习(RL)的许多实际应用中,给定状态下可用的动作集是一个随机变量,其实现由外生随机过程控制。有些令人惊讶的是,这种顺序决策过程的基础一直没有得到解决。在这项工作中,我们正式和调查MDP与随机行动集(SAS-MDP)提供这些基础。我们表明,在这个模型中的最优策略和价值函数有一个结构,承认一个紧凑的表示。从RL的角度来看,我们证明了使用采样动作集的Q学习是合理的。在基于模型的设置中,我们考虑两种重要的特殊情况:当个体动作具有独立概率时;以及未知分布的基于采样的模型。我们开发多时间值和政策迭代方法,这两种情况下,在第一,我们提供了一个多时间线性规划解决方案。
2021-02-12 cs.AI
Learning Efficient Representations for Reinforcement Learning
University Of Washington(华盛顿大学)
马尔可夫决策过程(MDP)是解决不确定性下序列决策问题的一个研究框架。基于动态规划的MDP精确求解方法,如策略迭代法和值迭代法,对小问题是有效的。在具有大离散状态空间或连续状态空间的问题中,紧致表示对于提供MDP的有效近似解是必不可少的。常用的近似算法涉及构造用于将价值函数投影到低维子空间上的基函数,以及构建因子化或分层图形模型以分解转移和奖励函数。然而,为给定的强化学习(RL)任务手工编码一个良好的紧凑表示可能非常困难和耗时。最近的方法试图自动发现RL的有效表示。在这篇论文中,我们讨论了基于核的强化学习的结构化核的自动构造问题,这是一种流行的学习价值函数的非参数近似的方法。我们探索的内核结构,这是从基础内核使用上下文无关文法组成的空间。我们研究了一个贪心算法搜索的结构空间。为了证明学习的结构如何在紧凑性和效率方面表示和近似原始RL问题,我们计划在合成问题上评估我们的方法,并将其与其他RL基线进行比较。
2015-08-28 cs.AI
Formally Verified Solution Methods for Infinite-Horizon Markov Decision Processes
我们正式验证可执行算法解决马尔可夫决策过程(MDPs)的互动定理证明器伊莎贝尔/HOL。我们建立在现有的形式化的概率论分析的期望总回报准则的无限地平线的问题。我们的发展形式化的贝尔曼方程,并给出最优政策存在的条件。在此基础上,我们验证了动态规划算法来解决表MDP。我们评估正式验证的标准问题的实验实现,并表明他们是实用的。此外,我们表明,结合有效的未经验证的实现,我们的系统可以竞争,甚至优于最先进的系统。
2023-03-08 cs.AI cs.LO
An Analysis of State-Relevance Weights and Sampling Distributions on L1-Regularized Approximate Linear Programming Approximation Accuracy
United States Naval Academy(美国海军学院)
最近对使用$L_1$正则化在使用价值函数近似中的兴趣包括Petrik等人。的介绍$L_1$ -正则化近似线性规划(RALP)。RALP在$L_1$正则化方法中是独特的,因为它使用策略外样本来近似最优价值函数。此外,它产生的策略优于以前的方法,如LSPI。RALP的价值函数近似质量的影响很大的选择状态相关权重的线性规划的目标函数,并从其中抽取样本的分布,但是,在以前的文献中没有讨论这些考虑。在本文中,我们讨论和解释的影响,在状态相关权值和抽样分布的选择近似质量,使用理论和实验说明。结果不仅提供了对这些影响的见解,而且还提供了对特别适合RALP近似的MDP类型的直观认识。
2014-04-24 cs.AI
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University(亚利桑那州立大学);Massachusetts Institute of Technology(麻省理工学院)
本文研究了具有有限状态空间和控制空间,部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法,使用多步前瞻,截断推出一个已知的基本政策,和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进,其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是,它非常适合分布式计算,通过扩展的信念空间配方和使用分区架构,这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题,机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程(SSP MDP)的概率推理。此外,我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中,视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP,并广泛用于人工智能社区。此外,我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
Feature Selection Using Regularization in Approximate Linear Programs for Markov Decision Processes
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Duke University(杜克大学)
近似动态规划已成功地应用于各种领域,但它依赖于一小部分提供的近似特征来可靠地计算解。由于样本数量有限,大量丰富的特征集可能会导致现有算法过拟合。我们使用$L_1$正则化近似线性规划来解决这个缺点。由于所提出的方法可以自动选择适当的丰富度的功能,其性能不会降低随着越来越多的功能。这些结果依赖于新的和更强的采样范围的正则化近似线性规划。我们还提出了一个计算效率高的同伦方法。实验结果表明,该方法在简单的MDP和标准基准问题上表现良好。
2010-05-20 cs.AI
Interpretable Apprenticeship Learning with Temporal Logic Specifications
本文提出通过多目标优化从MDP中的行为轨迹推断LTL规范,采用违反成本概念设计状态和动作基于的目标函数,并通过遗传算法在简单领域验证方法有效性。
2017-10-28 cs.AI cs.LG cs.SY
Steady-State Planning in Expected Reward Multichain MDPs
University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室)
规划领域对决策政策的正式综合越来越感兴趣。这种形式化的综合通常需要找到一个政策,满足形式规格的形式,一些定义良好的逻辑。虽然许多这样的逻辑已经提出了不同程度的表现力和复杂性,在他们的能力,以捕捉理想的代理行为,他们的价值是有限的,当得出决策政策,满足某些类型的渐近行为在一般系统模型。特别是,我们感兴趣的是指定代理的稳态行为的约束,它捕获代理在每个状态下花费的时间比例,因为它与环境进行无限期的交互。这有时被称为代理的平均或预期行为,除非在其图形结构的连接性方面对底层模型施加强限制,否则相关的规划问题面临着重大挑战。在本文中,我们将探讨这个稳态规划问题,包括推导出一个决策的代理政策,使其稳态行为的约束得到满足。提出了多链马尔可夫决策过程(MDP)一般情况的线性规划解,并证明了所提出的程序的最优解会产生具有严格行为保证的平稳策略。
2021-10-23 cs.AI cs.LG cs.MA
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis(加州大学戴维斯分校)
最近发现的有限状态-动作折扣马尔可夫决策过程(MDP)的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明,价值空间是一个联盟的许多细胞相同的超平面安排,并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发,我们提出了一种新的算法,几何策略迭代(GPI),以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作,然后立即更新价值函数,来更新单个状态的策略。这种新的更新规则旨在更快地提高值,而不影响计算效率。此外,我们的算法允许异步更新的状态值,这是更灵活和有利的传统的策略迭代相比,当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$,并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG
Exploiting Anonymity in Approximate Linear Programming: Scaling to Large Multiagent MDPs (Extended Version)
MIT Media Lab(麻省理工学院媒体实验室);University of Amsterdam(阿姆斯特丹大学);University of Liverpool(利物浦大学);Stanford University(斯坦福大学)
马尔可夫决策过程(MDP)的许多精确和近似的解决方法试图利用问题的结构,并基于价值函数的因式分解。然而,特别是多智能体设置,众所周知,遭受指数增长的价值组件的大小,因为相互作用变得更加密集,这意味着近似架构的限制,在问题的大小和类型,他们可以处理。我们提出了一种方法来减轻这种限制,某些类型的多智能体系统,利用一个属性,可以被认为是“匿名影响”的因素MDP。匿名影响有效地总结了联合变量的影响时,显式表示的变量身份的问题可以避免。我们展示了如何从匿名的代表性的好处转化为计算效率,无论是一般的变量消除因子图,但特别是也为近似的线性规划解决方案,因子化的MDP。后者允许将线性规划扩展到以前无法解决的分解的MDP。我们的研究结果显示,在一个密集连接的图与50个节点和25个代理的随机疾病过程的控制。
2016-02-20 cs.AI cs.MA
Risk-Averse Approximate Dynamic Programming with Quantile-Based Risk Measures
在本文中,我们考虑了有限时间范围的马尔可夫决策过程(MDP),其中每个阶段的目标是最小化未来成本序列的基于分位数的风险度量(QBRM);我们称总体目标为动态的基于分位数的风险度量(DQBRM)。特别是,我们考虑优化动态风险度量,其中一步风险度量是QBRM,一类风险度量,包括流行的风险价值(VaR)和条件风险价值(CVaR)。虽然在文献中有相当大的理论发展的风险厌恶MDP,计算的挑战还没有被彻底探讨。提出了基于数据驱动和模拟的近似动态规划(ADP)算法来解决风险规避型序贯判定问题。我们解决了在模拟环境中的风险应用程序的采样效率低下的问题,并提出了一个程序,基于重要性抽样,直接样本对“风险区域”的ADP算法的进展。最后,我们展示了我们的算法的数值结果的背景下,涉及风险规避投标的能量存储的应用程序。
2017-05-09 cs.AI math.OC
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology(加州理工学院);NASA Jet Propulsion Laboratory(NASA喷气推进实验室)
在不确定性问题下的一大类决策可以通过马尔可夫决策过程(MDP)或部分可观测MDP(POMDP)来描述,并应用于人工智能和运筹学等。传统上,策略合成技术被提出,使得总期望成本或回报最小化或最大化。然而,在总的预期成本意义上的最优性是合理的,如果在大量的运行系统的行为是感兴趣的,这限制了使用这样的政策在实际的任务关键的情况下,其中从预期的行为大的偏差可能会导致任务失败。在本文中,我们考虑的问题,设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施,我们称之为约束风险厌恶问题。对于MDP,我们通过拉格朗日框架将问题转化为infsup问题,并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP,我们证明了制定的优化问题的形式是差分凸规划(DCP),可以解决纪律凹凸规划(DCCP)的框架。我们表明,这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs,我们表明,如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射,一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器(FSC),我们表明,后者的优化简化为(有限维)DCP,可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
Exploring and Learning in Sparse Linear MDPs without Computationally Intractable Oracles
MIT(麻省理工学院)
本文研究 $k$-稀疏线性 MDP 中的特征选择问题,提出首个多项式时间算法,通过引入可高效计算的仿真器概念实现近最优策略学习,并推广到低深度决策树解码的块 MDP。
2023-09-19 cs.AI cs.DS cs.LG
Answer-Set-Programming-based Abstractions for Reinforcement Learning
Siemens AG Österreich(西门子奥地利公司);TU Wien (Vienna University of Technology)(维也纳技术大学);Jönköping University(约翰·科平大学)
本文提出使用回答集编程(ASP)实现CARCASS框架中的抽象,以解决强化学习中状态空间巨大带来的挑战,并通过积木世界和Minigrid两个领域的案例验证了该方法的有效性。
2026-05-29 cs.AI cs.LO
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind(深度思维);University College London(伦敦大学学院);University of Alberta(阿尔伯塔大学);Omron Sinic X(欧姆龙Sinic X)
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题,并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代(API),称为置信近似策略迭代(CAPI),它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API(其误差与$H^2$成比例)的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同,他们建议计算非静态策略以实现类似的改进(具有相同的内存开销),我们能够坚持静态策略。这使得我们的第二个贡献,应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此,我们设计了一个规划算法,应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略,同时实现最佳的准确性界和最佳已知的查询复杂性界,而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度(多项式)增加。
2022-10-27 cs.AI cs.LG stat.ML
A unified view of entropy-regularized Markov decision processes
Universitat Pompeu Fabra(庞培法布拉大学)
提出了一种基于熵正则化的平均奖励强化学习的马尔可夫决策过程(MDP)的一般框架。我们的方法是基于扩展的线性规划制定的MDP政策优化,以适应凸正则化函数。我们的关键结果是表明,使用联合状态-作用分布的条件熵作为正则化产生了一个类似于Bellman最优性方程的对偶优化问题。这一结果使我们能够将一些最先进的熵正则化强化学习算法形式化为镜像下降或对偶平均的近似变体,从而讨论这些方法的收敛特性。特别是,我们证明了Schulman等人(2015)的TRPO算法的精确版本实际上收敛到最优策略,而Mnih等人(2016)的熵正则化策略梯度方法可能无法收敛到固定点。最后,我们用经验说明了在一个简单的强化学习设置中使用各种正则化技术对学习性能的影响。
2017-05-22 cs.AI cs.LG stat.ML
SPUDD: Stochastic Planning using Decision Diagrams
University of British Columbia(不列颠哥伦比亚大学)
马尔可夫决策过程(MDP)作为决策理论规划的模型越来越受欢迎。虽然传统的动态规划方法对于状态空间较小的问题表现良好,但对于大型问题则需要结构化方法。我们提出并研究了一个MDP的值迭代算法,它使用代数决策图(ADD)来表示价值函数和策略。一个MDP表示使用贝叶斯网络和ADDs和动态规划直接应用于这些ADDs。我们证明了我们的方法在大型MDP(高达6300万个状态),并表明,显着的收益相比,树结构的表示(与高达30倍减少所需的节点数量表示最佳价值函数)。
2013-01-23 cs.AI
Constrained Risk-Averse Markov Decision Processes
California Institute of Technology(加州理工学院);NASA Jet Propulsion Laboratory(NASA喷气推进实验室)
研究了具有动态一致风险目标和约束条件的马尔可夫决策过程的策略设计问题。我们首先在拉格朗日框架中阐述这个问题。在假设风险目标和约束可以用马尔可夫风险转移映射表示的前提下,提出了一种基于优化的方法来合成马尔可夫策略,使约束风险规避问题下界化.我们表明,制定的优化问题是在差分凸规划(DCP)的形式,并可以解决纪律凹凸规划(DCCP)框架。我们表明,这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。最后,我们说明了所提出的方法的有效性与数值实验的漫游车导航问题,涉及条件风险价值(CVaR)和熵风险价值(EVaR)的一致风险措施。
2021-03-28 cs.AI cs.RO cs.SY
Automated Generation of MDPs Using Logic Programming and LLMs for Robotic Applications
Department of Information Engineering and Computer Science, University of Trento(信息工程与计算机科学系,特伦托大学);Department of Industrial Engineering, University of Trento(工业工程系,特伦托大学)
本文提出结合大语言模型与形式方法,通过逻辑编程自动生成可执行的MDP策略,用于机器人中的概率规划。
2025-11-28 cs.AI cs.RO
Cautious Reinforcement Learning via Distributional Risk in the Dual Domain
University of Minnesota(明尼苏达大学);US Army Research Laboratory(美国陆军研究实验室);Princeton University(普林斯顿大学)
研究了由状态和动作空间可数有限的马尔可夫决策过程(MDP)定义的强化学习问题中的风险敏感策略估计问题。先前的努力主要受到与风险敏感的MDP是时间不一致的事实相关联的计算挑战的困扰。为了改善这个问题,我们提出了一个新的风险定义,我们称之为谨慎,作为一个惩罚函数添加到强化学习的线性规划(LP)制定的双重目标。谨慎措施的分布风险的政策,这是一个功能的政策的长期状态占用分布。为了解决这个问题,在一个在线的无模型的方式,我们提出了一个随机变量的原始对偶方法,使用Kullback-Lieber(KL)分歧作为其近端。我们建立,达到近似最优解的方案所需的迭代/样本的数量匹配紧依赖于状态和动作空间的基数,但在其依赖于风险度量的梯度的无穷范数不同。实验表明,这种方法的优点,提高了奖励积累的可靠性,而无需额外的计算负担。
2020-02-27 cs.AI cs.LG cs.SY
A Hypergraph-Partitioned Vertex Programming Approach for Large-scale Consensus Optimization
University of Maryland, College Park(马里兰大学帕克分校)
在现代数据科学问题中,从大数据中提取价值的技术需要对异构、不规则结构的数据进行大规模优化。这些数据中的大部分最好表示为多关系图,这使得Pregel和GraphLab等顶点编程抽象非常适合现代大规模数据分析。在本文中,我们描述了一个流行的共识优化技术称为交替方向的乘法器(ADMM)的顶点编程实现。ADMM共识优化允许复杂目标的优雅解决方案,例如丰富概率模型中的推理。我们还介绍了一种新的超图分区技术,提高了国家的最先进的顶点编程分区技术,并显着降低了通信成本,减少了数量级的复制节点的数量。我们在GraphLab中实现了我们的算法,并在各种现实的二分图分布和大型合成选民意见分析应用程序上测量了缩放性能。在我们的实验中,我们能够在运行时间上比当前最先进的GraphLab分区方案提高50%。
2013-08-30 cs.AI cs.DC
Logistic Q-Learning
Universitat Pompeu Fabra(庞培法布拉大学);ETH Zürich(苏黎世联邦理工学院)
我们提出了一种新的强化学习算法,该算法源自MDP中最优控制的正则化线性规划公式。该方法与Peters等人(2010)的经典相对熵策略搜索(REPS)算法密切相关,关键区别在于我们的方法引入了一个Q函数,可以实现高效精确的无模型实现。我们的算法(称为QREPS)的主要特点是一个凸的损失函数的政策评估,作为一个理论上健全的替代广泛使用的平方贝尔曼误差。我们提供了一个实用的鞍点优化方法,最大限度地减少这个损失函数,并提供了一个错误传播分析,涉及到个人更新的输出策略的性能的质量。最后,我们证明了我们的方法在一系列基准问题的有效性。
2021-02-25 cs.AI cs.LG stat.ML
Optimal DNN Primitive Selection with Partitioned Boolean Quadratic Programming
Trinity College Dublin(都柏林圣三一学院)
深度神经网络(DNN)在现场部署时需要非常大量的计算来进行训练和推理。已经提出了许多不同的算法来实现DNN的计算成本最高的层。此外,这些算法中的每一个都有大量的变体,这些变体提供了并行性、数据局部性、内存占用和执行时间的不同权衡。此外,特定的算法在专门的数据布局和格式上的操作效率更高。我们陈述了在存在数据格式变换的情况下的最优基元选择问题,并通过展示在分区布尔二次分配问题(PBQP)中的嵌入来表明它是NP难的。我们通过PBQP求解器提出了一个分析解决方案,并在嵌入式平台和通用平台上通过使用70多个DNN原语库优化几个流行的DNN来实验评估我们的方法。我们的实验表明,显着的收益是可能的,对国家的最先进的供应商库,通过使用一个原则性的分析解决方案的布局选择的问题,在存在的数据格式转换。
2018-11-02 cs.AI cs.CV cs.PF
Functional Answer Set Programming
University of Corunna(科鲁尼亚大学)
在本文中,我们提出了一个扩展的答案集编程(ASP),特别是其最一般的逻辑对应,量化平衡逻辑(QEL),以处理部分功能。虽然平等的治疗QEL可以建立在不同的方式,我们首先分析了选择可判定的平等与完整的功能和Herbrand模型,最近提出的文献。我们认为,这种选择产生一些违反直觉的效果,从逻辑编程和知识表示的观点。然后,我们提出了一个变种称为QELF的功能集被划分为部分和Herbrand功能(我们也称之为构造函数)。在本文的其余部分,我们展示了一个直接连接到斯科特的存在逻辑,并提出了一个实际的应用,提出了一个扩展的正常逻辑程序处理部分功能和平等,使他们可以被翻译成功能免费正常的程序,有可能以这种方式计算其答案集与任何标准的ASP求解器。
2010-06-18 cs.AI cs.LO
A Trajectory Calculus for Qualitative Spatial Reasoning Using Answer Set Programming
University of Huddersfield(哈德斯菲尔德大学);University of Calabria(卡拉布里亚大学);Swinburne University of Technology(斯威本科技大学)
空间信息通常使用定性术语(如自然语言表达式)而不是坐标来表示;对这些术语的推理有几个实际应用,如公交线路规划。轨迹的表示和推理是定性空间推理的一个具体案例,它侧重于移动对象及其路径。在这项工作中,我们提出了两个版本的轨迹演算的基础上允许的属性超过轨迹,轨迹被定义为一个序列的非重叠区域的分区地图。更具体地,如果允许给定轨迹在同一区域开始和结束,则定义6个基本关系(TC-6)。如果一个给定的轨迹应该有不同的开始和结束区域,但允许循环,定义10个基本关系(TC-10)。这两个版本的演算实现为ASP程序,我们提出了几种不同的编码,包括一个通用的程序能够编码任何定性演算在ASP。所有建议的编码实验评估使用真实世界的数据集。实验结果表明,表现最好的实现可以扩展到250轨迹TC-6和150轨迹TC-10的问题,发现一个一致的配置,一个显着的改进,以前的ASP实现类似的定性空间和时间演算的输入。这份手稿正在考虑接受TPLP。
2018-04-19 cs.AI