A method for the online construction of the set of states of a Markov Decision Process using Answer Set Programming
Universidade Metodista de São Paulo（圣保罗卫理公会大学）；Centro Universitário FEI（FEI大学中心）；IIIA-CSIC（西班牙国家研究委员会人工智能研究所）
非平稳域，以不可预测的方式变化，是一个挑战，为代理搜索最优策略的顺序决策问题。本文提出了一种结合马尔可夫决策过程（MDP）和回答集编程（ASP）的方法，称为{ \em Online ASP for MDP}（oASP（MDP）），它是一种能够在Agent与变化的环境交互时构造域状态集的方法。oASP（MDP）使用代表代理观察到的域变化的规则，更新通过强化学习（RL）学习的先前获得的策略。这些规则表示一组域约束，这些域约束作为减少搜索空间的ASP程序来处理。结果表明，oASP（MDP）是能够找到解决方案的问题，在非平稳域，而不干扰的行动-价值函数逼近过程。
2017-06-05 cs.AI
Markov Abstractions for PAC Reinforcement Learning in Non-Markov Decision Processes
Sapienza University of Rome（罗马第一大学）
我们的工作旨在开发不依赖于马尔可夫假设的强化学习算法。我们考虑一类非马尔可夫决策过程的历史可以抽象成一个有限的状态集，同时保持动态。我们称之为马尔可夫抽象，因为它在编码非马尔可夫动态的一组状态上诱导马尔可夫决策过程。这种现象是最近引入的规则决策过程（以及POMDP，其中只有有限数量的信念状态是可达的）的基础。在所有这些类型的决策过程中，使用马尔可夫抽象的代理可以依靠马尔可夫属性来实现最佳行为。我们表明，马尔可夫抽象可以在强化学习。我们的方法结合了自动机学习和经典的强化学习。对于这两个任务，可以采用标准算法。我们表明，我们的方法有PAC的保证时，所采用的算法有PAC的保证，我们还提供了一个实验评估。
2022-05-18 cs.AI cs.LG
Fast Value Iteration for Goal-Directed Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
规划问题中的行动的影响是不确定的，可以建模为马尔可夫决策过程。规划问题通常是目标导向的。本文提出了几种技术，利用目标导向加速值迭代，解决马尔可夫决策过程的标准算法。实证研究表明，这些技术可以显着提高速度。
2013-02-06 cs.AI
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
众所周知，对于任何有限状态的马尔可夫决策过程（MDP），都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程（POMDPs），最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题，并制定了相应的几何框架。我们表明，任何POMDP有限的随机性，这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明，该方法能够更好，更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
Analysis of approximate linear programming solution to Markov decision problem with log barrier function
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
本文提出利用对数障碍函数将马尔可夫决策问题的线性规划转换为无约束优化问题，以提高求解效率并填补理论空白。
2026-02-23 cs.AI
Heuristics, Answer Set Programming and Markov Decision Process for Solving a Set of Spatial Puzzles
Centro Universitário FEI（FEI大学中心）；University of Corunna（科鲁尼亚大学）
由刚性物体、柔性弦和孔洞组成的空间谜题为人们对日常生活中常见的空间实体进行推理提供了有趣的领域。这项工作的目标是调查这类问题的自动化解决方案，采用一种算法，结合答案集编程（ASP）与马尔可夫决策过程（MDP），算法oASP（MDP），使用启发式算法加速学习过程。ASP被用来表示域作为一个MDP，而强化学习算法（Q学习）被用来找到最优策略。在这项工作中，数学是从放松版本的难题的解决方案。实验进行了确定性，非确定性和非平稳版本的难题。结果表明，所提出的方法可以加速学习过程中，呈现出优势相比，非启发式版本的oASP（MDP）和Q-Learning。
2019-02-16 cs.AI cs.LG
Constructing Non-Markovian Decision Process via History Aggregator
AILab, School of Computer Science, Peking University（AILab，计算机科学学院，北京大学）；National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家级实验室，计算机科学学院，北京大学）
针对决策算法处理非马尔可夫动态缺乏全面基准的问题，基于范畴论提出等价MDP与NMDP的方法，并引入状态历史聚合器（HAS）精确控制状态依赖结构，实现了对决策算法更严格灵活的评估。
2025-06-30 cs.AI
Continuous-Time Distributed Dynamic Programming for Networked Multi-Agent Markov Decision Processes
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Hanbat National University（韩bat国立大学）
针对网络化多智能体马尔可夫决策过程，提出两种连续时间分布式动态规划算法，并从系统与控制角度证明其收敛性，为分布式时序差分学习奠定基础。
2024-06-13 cs.AI cs.SY eess.SY
Optimizing Quantiles in Preference-based Markov Decision Processes
在马尔可夫决策过程模型中，通常通过期望累积回报来评估策略。由于这种决策准则并不总是合适的，本文提出了一种算法计算的分位数标准的政策最优。有限和无限的地平线被认为是。最后，我们实验评估我们的方法随机MDP和数据中心控制问题。
2016-12-01 cs.AI
Approximating Euclidean by Imprecise Markov Decision Processes
Aalborg University（奥尔堡大学）
欧几里德马尔可夫决策过程是一个强大的工具，建模控制问题的不确定性下连续域。有限状态不精确，马尔可夫决策过程可以用来近似这些无限模型的行为。在本文中，我们解决两个问题：第一，我们调查什么样的近似保证时，欧几里德过程近似的有限状态近似引起的连续状态空间越来越精细的分区。我们表明，在有限的时间范围内的成本函数的近似变得任意精确。其次，我们使用不精确的马尔可夫决策过程近似作为工具来分析和验证成本函数和策略得到的强化学习。我们发现，一方面，我们的新的理论结果验证了以前提出的强化学习方法的基本设计选择。另一方面，不精确的马尔可夫决策过程近似揭示了学习成本函数中的一些不准确性。
2020-06-26 cs.AI
Planning with Partially Observable Markov Decision Processes: Advances in Exact Solution Method
Hong Kong University of Science & Technology（香港科技大学）
人们对使用部分可观察马尔可夫决策过程（POMDP）作为随机域规划的正式模型非常感兴趣。本文主要研究POMDPs的最优策略。我们提出了几个改进的增量修剪，目前最有效的精确算法求解POMDPs。
2013-01-30 cs.AI
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore（新加坡国立大学）
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法，证明了其收敛性，通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
A Mixed Observability Markov Decision Process Model for Musical Pitch
Sharif University of Technology（谢里夫理工大学）；University of Birmingham（伯明翰大学）
部分可观测马尔可夫决策过程已被广泛用于为现实世界的决策问题提供模型。在本文中，我们将提供一种方法，其中它们的一个稍微不同的版本称为混合可观测性马尔可夫决策过程，MOMDP，将加入我们的问题。基本上，我们的目标是提供一个行为模型的智能代理与音乐音高环境的互动，我们将展示如何MOMDP可以揭示一些光建立一个决策模型，音乐音高方便。
2012-06-05 cs.AI cs.LG
A Method for Speeding Up Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
我们提出了一种加速部分可观察马尔可夫决策过程（POMDP）值迭代收敛的技术。其基本思想类似于完全可观测马尔可夫决策过程（MDP）的修改策略迭代。该技术可以很容易地纳入任何现有的POMDP值迭代算法。在几个测试问题上进行了实验，一个POMDP值迭代算法称为增量修剪。我们发现，该技术可以使增量修剪运行几个数量级更快。
2013-01-23 cs.AI
Learning Factored Markov Decision Processes with Unawareness
University of Edinburgh（爱丁堡大学）
序贯决策问题中的学习和规划方法通常假设学习者事先知道所有可能的状态和动作。这种假设有时是站不住脚的。在本文中，我们给出了一种方法来学习分解马尔可夫决策问题，从域探索和专家协助，这保证收敛到接近最优的行为，即使当代理开始不知道成功的关键因素。我们的实验表明，我们的代理学习小问题和大问题的最佳行为，并且在发现新的可能性时保存信息会导致更快的收敛。
2019-02-27 cs.AI
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题，通过平均场近似得到连续HJB方程，并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
Metrics for Markov Decision Processes with Infinite State Spaces
McGill University（麦吉尔大学）
我们提出了度量马尔可夫决策过程（MDP）的状态相似性无限多个状态，包括连续状态空间的MDP。这样的指标提供了一个稳定的定量模拟的概念MDP的互模拟，并适合于使用MDP近似。我们表明，最佳的价值函数与折扣无限地平线规划任务不断变化，我们的度量距离。
2012-07-04 cs.AI
Quantile Markov Decision Process
Stanford University（斯坦福大学）
本文提出分位数马尔可夫决策过程（QMDP），用于优化累积奖励的分位数而非期望值，给出解析结果和动态规划算法，并扩展到CVaR目标，在HIV治疗启动问题上验证了其实际价值。
2025-10-15 cs.AI
Elaboration Tolerant Representation of Markov Decision Process via Decision-Theoretic Extension of Probabilistic Action Language pBC+
Arizona State University（亚利桑那州立大学）
我们扩展概率动作语言pBC+与决策理论中的效用概念。扩展的pBC+的语义可以被定义为概率答案集程序设计语言LPMLN的决策理论扩展的速记符号。或者，pBC+的语义也可以根据马尔可夫决策过程（MDP）来定义，这反过来允许以简洁和精细容忍的方式表示MDP，以及利用MDP求解器来计算pBC+。这个想法导致了系统pbcplus2mdp的设计，它可以使用MDP求解器找到pBC+动作描述的最佳策略。这篇论文是在逻辑程序设计理论与实践（TPLP）中考虑的。
2020-10-01 cs.AI
Mean-Variance Optimization in Markov Decision Processes
Technion（以色列理工学院）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑有限时域马尔可夫决策过程下的性能指标，涉及的平均值和方差的累积奖励。我们发现，无论是随机或基于历史的政策可以提高性能。我们证明了在方差约束下最大化平均报酬的策略的计算复杂性在某些情况下是NP困难的，而在其他情况下是强NP困难的。最后给出了伪多项式精确算法和近似算法。
2011-04-29 cs.AI cs.LG
Metrics for Finite Markov Decision Processes
我们提出了度量的相似性状态在有限马尔可夫决策过程（MDP）。我们的指标的制定是基于MDP互模拟的概念，目的是解决折扣无限时域强化学习任务。这样的度量可以用于聚集状态，以及更好地构造其他价值函数近似器（例如，基于存储器或最近邻逼近器）。我们提供的界限，我们的度量距离在给定的MDP的状态的最佳值。
2012-07-11 cs.AI
Incremental Pruning: A Simple, Fast, Exact Method for Partially Observable Markov Decision Processes
Brown University（布朗大学）；Duke University（杜克大学）
一般部分可观测马尔可夫决策过程（POMDPs）的最精确算法使用动态规划的形式，其中一个价值函数的分段线性和凸表示被转换成另一个。我们研究的“增量修剪”的方法来解决这个问题的变化，并从理论和实证的角度将它们与早期的算法进行比较。我们发现，增量修剪是目前最有效的精确方法解决POMDPs。
2013-02-06 cs.AI
Nonapproximability Results for Partially Observable Markov Decision Processes
University of Kentucky（肯塔基大学）
我们表明，部分可观察的马尔可夫决策过程的几个变化，多项式时间算法找到控制策略不太可能或根本没有保证找到一个恒定的因素或一个恒定的最优和的政策。这里“不太可能”的意思是“除非某些复杂性类崩溃”，其中考虑的崩溃是P=NP，P=PSPACE或P=EXP。除非这些崩溃被证明是有效的，否则任何控制策略设计者都必须在这样的性能保证和有效计算之间做出选择。
2011-06-01 cs.AI
Decision Making Agent Searching for Markov Models in Near-Deterministic World
Eötvös Loránd University（厄特沃什·罗兰大学）
强化学习具有坚实的基础，但在部分观察（非马尔可夫）环境中变得低效。因此，一个学习代理--天生就有一个表示和一个策略--可能希望研究马尔可夫性质在多大程度上成立。我们提出了一个学习架构，利用组合策略优化来克服非马尔可夫性，并开发有效的行为，这是很容易继承的，测试的行为状态的马尔可夫属性，并纠正非马尔可夫性通过运行一个确定性因子有限状态模型，它可以学习。我们说明了近确定性的女士吃豆人游戏中的架构的属性。我们从进化、个体和社会学习的角度分析了这种体系结构。
2011-03-01 cs.AI cs.LG
On the Complexity of Solving Markov Decision Problems
Brown University（布朗大学）
马尔可夫决策问题（MDP）为研究自动规划和强化学习的人工智能研究人员感兴趣的许多问题提供了基础。在本文中，我们总结的结果，解决MDP的复杂性和MDP解决方案算法的运行时间。我们认为，虽然MDP可以有效地解决理论上，需要更多的研究，以揭示实用的算法，快速解决大型问题。为了鼓励未来的研究，我们勾画了一些替代的分析方法，依赖于MDP的结构。
2013-02-20 cs.AI
Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations
Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
控制应用程序通常具有类似但不完全相同的动态任务。我们介绍了隐参数马尔可夫决策过程（HiP-MDP），一个框架，参数化一个家庭的相关动力系统与一组低维的潜在因素，并介绍了半参数回归方法从数据中学习其结构。在控制设置中，我们表明，一个学习的HiP-MDP快速识别一个新的任务实例的动态，允许代理灵活地适应任务的变化。
2013-08-15 cs.AI cs.LG
Improving Training Result of Partially Observable Markov Decision Process by Filtering Beliefs
在这项研究中，我提出了一个过滤信念的方法来提高性能的部分可观察马尔可夫决策过程（POMDPs），这是一种广泛使用的方法在自主机器人和许多其他领域的控制策略。我的方法搜索和比较每一个相似的信念对。由于相似信念对控制策略的影响不大，为了减少训练时间，过滤掉了相似信念。实验结果表明，该方法优于基于点的近似POMDPs的训练结果的质量以及该方法的效率。
2021-01-05 cs.AI
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria（法国国家信息与自动化技术研究所）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；Villeneuve-d’Ascq, France（法国里尔大学城）
研究结构化MDP中最优策略的几何特性，提出基于边界的策略近似方法，直接学习策略区域，并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
Formally Verified Solution Methods for Infinite-Horizon Markov Decision Processes
我们正式验证可执行算法解决马尔可夫决策过程（MDPs）的互动定理证明器伊莎贝尔/HOL。我们建立在现有的形式化的概率论分析的期望总回报准则的无限地平线的问题。我们的发展形式化的贝尔曼方程，并给出最优政策存在的条件。在此基础上，我们验证了动态规划算法来解决表MDP。我们评估正式验证的标准问题的实验实现，并表明他们是实用的。此外，我们表明，结合有效的未经验证的实现，我们的系统可以竞争，甚至优于最先进的系统。
2023-03-08 cs.AI cs.LO
A Cantor-Kantorovich Metric Between Markov Decision Processes with Application to Transfer Learning
UCLouvain（天主教鲁汶大学）；Lund University（隆德大学）
本研究将马尔可夫链间的Cantor-Kantorovich距离拓展至马尔可夫决策过程场景，提出的度量定义良好且可在有限时域下高效近似，数值实验验证其可用于预测强化学习中迁移学习算法的性能。
2024-07-11 cs.AI cs.LG
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
An Approximate Solution Method for Large Risk-Averse Markov Decision Processes
IBM Research（IBM研究院）
随机域通常涉及风险厌恶的决策者。虽然最近的工作集中在如何使用风险度量在马尔可夫决策过程中建模风险，但它没有解决解决大型风险规避公式的问题。在本文中，我们提出并分析了一种新的方法来解决大型风险厌恶MDP与混合连续离散状态空间和连续行动空间。所提出的方法使用MDP的线性结构迭代地改进值函数的界。我们证明了效用和性能的方法上的投资组合优化问题。
2012-10-16 cs.AI cs.GT q-fin.PM
Iterated risk measures for risk-sensitive Markov decision processes with discounted cost
IBM Research - Tokyo（IBM东京研究院）
我们证明了贴现预期效用的限制，代表未来成本贴现时的风险偏好的标准方法。具体来说，我们提供了一个例子，决策者的偏好，似乎是理性的，但不能用任何折扣的预期效用表示。一个简单的修改贴现预期效用导致不一致的决策随着时间的推移。我们将证明，一个迭代的风险度量可以代表的偏好，不能代表任何折扣的期望效用和决策的基础上迭代的风险度量是一致的，随着时间的推移。
2012-02-14 cs.AI cs.GT q-fin.RM
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）
本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
Linear programming for finite-horizon vector-valued Markov decision processes
针对非平稳有限时域向量值 Markov decision process，提出向量线性规划公式以刻画 Pareto 高效策略，并给出枚举所有高效确定性策略的算法及数值验证。
2025-05-30 math.OC
Dynamic Programming for controlled Markov families: abstractly and over Martingale Measures
我们描述了一个抽象的控制理论框架，其中的有效性的动态规划原则可以建立在连续的时间由少量的结构特性的验证。作为一个应用程序，我们对待几个感兴趣的情况下，最值得注意的是较低的对冲和效用最大化问题的金融数学，这两个问题都是自然提出的“集的鞅测度”。
2014-03-15 math.OC q-fin.PM
Performance of a Markovian neural network versus dynamic programming on a fishing control problem
Princeton University（普林斯顿大学）；Sorbonne Université（索邦大学）
捕捞配额令人不快，但有效地控制了捕鱼场的生产力。一个流行的模型有一个生物量的随机微分方程，在这个方程上可以使用随机动态规划或Hamilton-Jacobi-Bellman算法来找到随机控制-捕捞限额。我们比较了动态规划与神经网络的解决方案，它保留了马尔可夫性的解决方案。将该方法推广到一个相似的多种群模型，以检验其在高维下的鲁棒性。
2021-09-14 cs.LG math.OC
Discounted Continuous-time Markov Decision Processes with Unbounded Rates: the Dynamic Programming Approach
本文研究Borel状态空间和行动空间中的无约束折扣连续时间马氏决策过程。在某些条件下施加的原语，允许无界的过渡率和无界（从上面和下面）的成本率，我们显示的规律性的控制过程，这确保了底层模型被很好地定义。然后，我们开发的动态规划的方法，显示贝尔曼方程满足（由最优值）。最后，在一定的紧连续性条件下，我们得到了一类随机历史依赖策略中确定性平稳最优策略的存在性。
2011-03-01 math.OC
Unbounded Markov Dynamic Programming with Weighted Supremum Norm Perov Contractions
本文将Perov压缩定理与加权上确界范数结合，在更弱条件下求解无界奖励的马尔可夫动态规划，并证明最优储蓄问题中谱半径导出的平均增长率条件几乎充要。
2023-10-06 econ.TH math.OC
Randomized Linear Programming Solves the Discounted Markov Decision Problem In Nearly-Linear (Sometimes Sublinear) Running Time
提出了一种新的随机线性规划算法来逼近折扣马尔可夫判定问题的最优策略。该算法利用价值-策略对偶和二叉树数据结构，自适应地对状态-动作-状态转换进行采样，并进行指数化的原始-对偶更新。我们发现，它发现了一个$ε$最优的政策，在最坏的情况下，使用接近线性的运行时间。当马尔可夫决策过程是遍历的，且以某些特殊的数据格式指定时，该算法利用运行时间对状态-动作对的总数是线性的，而对输入大小是次线性的，找到一个$ε$ -最优策略.这些结果为求解随机动态规划提供了一个新的场所和复杂性基准。
2017-09-13 cs.DS math.OC
Truncated Markov bases and Gröbner bases for Integer Programming
我们提出了一个新的算法计算截断马尔可夫基的格。总的来说，这种新算法比现有的方法更快。然后，我们扩展了这个新的算法，使它解决了线性整数可行性问题，有希望的结果平等背包问题。我们还提出了一种新的Groebner基础的方法来解决一个特定的整数线性规划，而不是以前的Groebner基础的方法，有效地解决了许多不同的整数线性规划同时。初步结果表明，这种优化算法的性能优于以前的Groebner基础方法。
2006-12-20 math.CO math.OC
Markov Decision Process-based Resilience Enhancement for Distribution Systems: An Approximate Dynamic Programming Approach
由于极端天气事件引起的配电系统故障直接导致用户停电，本文提出了一种基于状态的决策模型，目标是减轻负荷损失，以提高配电系统的弹性在整个事件的展开。顺序不确定性系统状态，例如，由展开事件驱动的馈线开/关状态被建模为马尔可夫状态，并且在整个展开事件中从一个马尔可夫状态到另一个马尔可夫状态的概率由展开事件引起的部件故障确定。提出了一种基于马尔可夫决策过程（MDP）的递归最优化模型，在每个决策时间，系统重新配置。为了克服由于大量状态和动作而导致的维数灾难，采用基于后决策状态和迭代的近似动态规划（ADP）方法求解该模型. IEEE 33节点系统和IEEE 123节点系统的算例验证了该模型的正确性。
2019-04-01 math.OC
Backward Approximate Dynamic Programming with Hidden Semi-Markov Stochastic Models in Energy Storage Optimization
我们考虑一个储能问题，涉及一个风电场预测的功率输出，一个随机的负载，一个储能设备，并连接到更大的电网随机价格。电价和风力发电预测误差使用一种新型的隐式半马尔可夫模型进行建模，该模型不仅准确地复制了误差的分布，而且还准确地复制了交叉时间，捕获了每个过程保持高于或低于预测等基准的时间量。这是涉及存储问题的随机过程的一个重要性质。我们表明，我们实现了更强大的解决方案，使用该模型比更常见的随机模型被认为是。新的模型引入了一些额外的复杂性的问题，因为它的信息状态是部分隐藏的，形成一个部分可观察的马尔可夫决策过程。我们推导出一个接近最优的时间依赖的政策，向后近似动态规划，克服了经典的（精确）向后动态规划的计算障碍，具有更高的质量的解决方案比更熟悉的向前近似动态规划方法。
2020-02-02 math.OC
A central limit theorem for temporally non-homogenous Markov chains with applications to dynamic programming
证明了有限时域马氏判定问题理论中自然出现的一类可加过程的中心极限定理。主要定理推广了Dobrushin（1956）关于时间非齐次马尔可夫链的一个经典结果，主要创新点是允许被加数既依赖于链的当前状态，又依赖于链的有界数目的未来状态.我们通过几个例子表明，这种增加的灵活性给一个直接的路径渐近正态性的最佳总报酬有限时域马尔可夫判定问题。同样的例子也解释了为什么这样的结果是不容易获得的替代马尔可夫技术，如扩大的状态空间。
2015-12-06 math.OC math.PR
Gradual-impulsive control for continuous-time Markov decision processes with total undiscounted costs and constraints: linear programming approach via a reduction method
研究了具有渐进脉冲的CTMDP模型的约束最优控制问题，其性能指标为期望的总未贴现成本（来自运行成本和每次脉冲的成本）.折扣模型是作为一个特例。我们充分证明了一个减少的方法，并关闭在以前的文献中的一个开放的问题。该降阶方法导出了一个等价但较简单的仅带逐步控制的标准CTMDP模型，并在此基础上，在相当自然的条件下，建立了求解有关约束最优控制问题的有效的线性规划方法。
2022-04-06 math.OC
Reinforcement Learning: Stochastic Approximation Algorithms for Markov Decision Processes
本文简要介绍了马尔可夫决策过程强化学习中的随机逼近算法。该算法也可以用作部分观测马尔可夫决策过程的次优方法。
2015-12-23 math.OC
Decision Programming for Multi-Stage Optimization under Uncertainty
影响图被广泛用于表示多阶段判定问题，其中每个决策都是从一个离散的备选方案集合中进行选择，不确定的机会事件具有离散的结果，先验决策可能内生地影响不确定机会事件的概率分布。在本文中，我们开发的决策规划框架，通过开发混合整数线性规划公式来解决存在多种约束的此类问题，从而扩展了影响图的适用性。特别是，决策规划使得有可能（i）解决问题，其中较早的决策不一定是回忆以后，例如，当决策是由代理谁不能相互沟通;（ii）适应范围广泛的确定性和机会约束，包括那些基于资源消耗，逻辑依赖或风险措施，如条件风险价值;以及（iii）在涉及多个价值目标的问题中确定所有的非支配决策策略。在项目组合选择问题中，决策规划允许情景概率内生地依赖于项目决策，因此可以被视为权变组合规划的推广。
2020-08-25 math.OC
Fatal Degeneracy in the Semidefinite Programming Approach to the Decision of Polynomial Inequalities
本文揭示了将多项式不等式不可满足性判定问题转化为半定规划求解时，通常会导致数值方法难以处理的退化问题。
2009-01-30 cs.NA math.AG math.NA
Reversible Markov chain estimation using convex-concave programming
我们提出了一个凸-凹的可逆马尔可夫链估计问题，并概述了一个有效的数值方案的解决方案所产生的问题的基础上的原始-对偶内点方法的单调变分不等式。扩展的情况下，其中有关的静态矢量的信息是可用的，也可以解决通过凹凸重构。该方法可以推广应用到离散转移矩阵重加权分析方法中，以从固定概率之间具有指定耦合的独立链进行推断。所提出的方法提供了一个显着的速度相比，一个固定的点迭代的一些相关的应用程序。
2016-03-04 math.OC physics.data-an stat.AP
Sample Complexity of Data-driven Multistage Stochastic Programming under Markovian Uncertainty
针对多阶段随机规划中SAA方法的时间跨度维度灾难问题，提出仅用两条历史数据轨迹构建近似问题的MRST方法，实现了多项式样本复杂度并有效克服了维度灾难。
2024-12-26 math.OC
Job Shop Scheduling with Integer Programming, Shifting Bottleneck, and Decision Diagrams: A Computational Study
本研究比较了作业车间调度中转移瓶颈启发式与决策图等策略，结合Balas局部细化、混合整数规划与约束规划方法，通过计算实验验证了各算法的性能。
2024-07-25 math.OC
A Linear Programming Formulation for Constrained Discounted Continuous Control for Piecewise Deterministic Markov Processes
本文研究了一般Borel空间中分段确定马尔可夫过程（PDMP）的约束折扣控制问题。控制变量作用于跳变率和转移测度，目标是最小化由正运行成本和边界成本组成的总期望贴现成本，同时满足这种形式的一些约束。其基本思想是，通过使用PDMP的特殊功能，重写的问题，通过一个嵌入的离散时间马尔可夫链相关联的的PADMP和重新制定的问题作为一个无限维线性规划（LP）的问题，通过占用措施相关联的离散时间过程。重要的是要强调，然而，我们的新的离散时间问题是不是在一个一般的约束离散时间马尔可夫决策过程的相同的框架，由于这一点，需要一些条件来获得连续时间问题和LP公式之间的等价性。在[8]中定理4.1的推广的基础上，我们在下一章中给出了相关线性规划问题可解的充分条件。在附录中，我们提出了这个推广的证明，我们相信，它本身是有趣的。最后，通过一些例子说明了所得结果。
2014-02-25 math.OC
Structural Results for Partially Observed Markov Decision Processes
这篇文章提供了一个介绍性的教程，在部分观测马尔可夫决策过程（POMDPs）的结构结果。通常，计算POMDP的最优策略在计算上是难以处理的。我们使用格规划的方法来刻画POMDP的最优策略的结构，而无需暴力计算。
2015-12-12 math.OC
Reversible Markov decision processes and the Gaussian free field
如果平稳受控马尔可夫链在每个平稳马尔可夫策略下都是可逆的，则称马尔可夫判定问题是可逆的。一个自然的应用，其中出现这样的问题是在大都会黑斯廷斯型动力学的控制。我们刻画了所有具有有限状态空间和有限动作空间的离散时间可逆马尔可夫决策过程。我们表明，政策迭代算法找到一个最佳的政策，可以显着简化马尔可夫判定问题这种类型。我们还强调了有限时间演化之间的关系的应计报酬和高斯自由场相关联的受控马尔可夫链。
2022-07-11 cs.SY eess.SY math.OC
