Finite-Horizon Markov Decision Processes with Sequentially-Observed Transitions
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了具有顺序观察转移的有限时间马尔可夫决策过程,提出了一种基于线性规划的高效算法以生成更优策略。
2015-07-04 cs.SY eess.SY math.OC
Detection-averse optimal and receding-horizon control for Markov decision processes
在本文中,我们考虑了一个马尔可夫决策过程(MDP),自我代理有一个名义上的目标追求,而需要隐藏其状态的检测对手。在对问题进行形式化描述之后,我们首先提出了一种数值迭代(VI)方法来求解该问题,然后为了克服“维数灾难”,从而获得更大规模问题的可扩展性,我们提出了一种滚动时域优化(RHO)方法来获得近似解。我们使用的例子来说明和比较VI和RHO方法,并显示我们的问题制定的实际应用的潜力。
2019-08-21 cs.SY eess.SY math.OC
Central-limit approach to risk-aware Markov decision processes
National University of Singapore(新加坡国立大学);Concordia University(康考迪亚大学)
本文提出利用中心极限定理评估长期时间范围内策略的风险,无论转移概率是否已知,并提供基于梯度的策略改进算法以寻找风险目标的局部最优解。
2015-12-02 cs.SY eess.SY math.OC
Reinforcement Learning: Stochastic Approximation Algorithms for Markov Decision Processes
本文简要介绍了马尔可夫决策过程强化学习中的随机逼近算法。该算法也可以用作部分观测马尔可夫决策过程的次优方法。
2015-12-23 math.OC
Quantitative model-checking of controlled discrete-time Markov processes
Delft Center for Systems & Control, Delft University of Technology(代尔夫特系统与控制中心,代尔夫特理工大学);Department of Computer Science, University of Oxford(牛津大学计算机科学系);Software Modeling and Verification Group, RWTH Aachen University(亚琛工业大学软件建模与验证小组)
本文研究了受控离散时间马尔可夫过程感兴趣事件概率的优化问题,证明了优化ω-正则属性可归结为可达性和重复可达性两个基本问题的求解。
2014-07-21 cs.FL cs.SY eess.SY
Controlled Martingale Problems And Their Markov Mimics
本文证明波兰空间上松弛受控鞅问题解的边际可由马尔可夫解模拟,并通过相对熵最小化构造,给出多个应用实例。
2023-09-01 cs.IT math.IT math.OC
Information Relaxation and Dual Formulation of Controlled Markov Diffusions
马尔可夫决策过程中的信息松弛和对偶性是近年来研究的热点,其目的是得到价值函数的对偶界。在本文中,我们将这种对偶公式扩展到受控马尔可夫扩散:以类似的方式,我们放松了约束,即决策应根据当前的信息,并施加惩罚,以惩罚提前访问的信息。我们建立了弱对偶、强对偶和互补松弛性的结果,这些结果与马尔可夫决策过程中的结果是并行的。我们探讨的最佳处罚的结构,并揭示马尔可夫决策过程和受控马尔可夫扩散之间的连接。我们展示了使用的对偶表示控制马尔可夫扩散在一个经典的动态投资组合选择问题。我们评估的下界的期望效用的Monte Carlo模拟下的次优政策,我们提出了一个新的类的罚款推导出上界,很少的额外计算。下界和上界之间的小差距表明,可用的政策是接近最优的,以及我们提出的惩罚在对偶方法的有效性。
2014-10-22 math.OC
The minimal hitting probability of continuous-time controlled Markov systems with countable states
本文研究可数状态连续时间受控马尔可夫系统的最小命中概率,证明最优策略存在,并针对受控分支过程给出改进最优方程组及改进策略迭代算法。
2024-08-07 math.OC
Structural Results for Partially Observed Markov Decision Processes
这篇文章提供了一个介绍性的教程,在部分观测马尔可夫决策过程(POMDPs)的结构结果。通常,计算POMDP的最优策略在计算上是难以处理的。我们使用格规划的方法来刻画POMDP的最优策略的结构,而无需暴力计算。
2015-12-12 math.OC
Mean field games via controlled martingale problems: Existence of Markovian equilibria
在受控鞅问题的框架下研究了平均场对策,证明了均衡控制为马尔可夫的一般存在性定理。该框架是灵活的,足以包括退化的波动,这可能取决于控制和平均场。目标不需要是严格凸的,考虑的平均场相互作用是非局部的和Wasserstein连续的。当波动率是非退化的,连续性假设可能会大大削弱。证明首先使用放松控制来建立存在性。然后,使用凸性假设和可测量的选择参数,严格(非放松)马尔可夫均衡构造放松的均衡。
2015-04-08 math.OC math.PR
A Note on Optimization Formulations of Markov Decision Processes
本文总结了马尔可夫决策过程研究中使用的优化公式。我们考虑标准和熵正则化设置下的贴现和未贴现过程。对于每一个设置,我们首先总结了原始,对偶,和原始对偶问题的线性规划制定。然后,我们详细介绍了这些问题和其他配方的马尔可夫决策过程,如贝尔曼方程和政策梯度法之间的联系。
2020-12-17 math.OC
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE(法国国家信息与自动化研究所)
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题,通过平均场近似得到连续HJB方程,并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
Markov approximation for controlled Hawkes Jump-Diffusions with general kernels
本文提出了一种针对具有一般核的Hawkes跳扩散的Markov逼近方法,通过用指数函数线性组合逼近核,证明其可由Markov跳扩散逼近,并应用于随机控制问题验证了实用性。
2025-07-15 math.OC math.PR
Time-Inconsistent Problems for Controlled Markov Chains with Distribution-Dependent Costs: Equilibrium Solutions
研究了一类具有时间不一致和分布依赖代价泛函(在某种适当的意义下)的连续时间受控马尔可夫链。给出了闭环意义下时间不一致分布相关平衡点的一个新定义,并证明了其存在唯一性。由于时间不一致性,证明了平衡点在适当的意义下是局部最优的。此外,它已被证明,我们的问题基本上是等价的一个无限的球员平均场游戏的时间不一致的成本。
2019-09-25 math.OC math.PR
Controlled Sensing for Sequential Multihypothesis Testing with Controlled Markovian Observations and Non-Uniform Control Cost
提出了一种新的多假设检验的控制感知模型,并在序贯环境下进行了研究。这种新的模型称为{ \em受控马尔可夫观测}模型,它在受控观测中表现出比现有模型更复杂的记忆结构。此外,不是像在标准顺序假设检验问题中那样仅仅惩罚直到最终决策时间的延迟,而是考虑更一般的费用结构,其需要相对于任意控制费用函数累积总控制成本。渐近最优检验提出了这个新的模型,并满足{ \em最优性}条件制定的决策风险。它示出的最佳因果控制策略的控制传感问题是自调整,在这个意义上的最大化的内在的“推理”奖励同时在每个假设下,与最大值是最好的可能对应的情况下,真正的假设是已知的在一开始。另一个测试也提出了满足{ \em明确预定义}约束的各种决策风险{ \em非渐近,}同时保持渐近最优。
2014-06-28 math.OC
Controlled Markov Chains with AVaR Criteria for Unbounded Costs
本文研究了马尔可夫决策过程(MDP)中具有无穷水平上可能无界的$L^{1}$ -费用的平均风险价值(AVaR)准则的控制问题.通过选择一个合适的状态聚合和先验的全局变量$s$,我们证明了存在最优策略的无限地平线问题。据我们所知,这是第一个工作推导的动态规划方程与$L^1$ -无界费用通过AVaR-算子。
2015-11-17 math.OC math.PR
Sufficiency of Markov Policies for Continuous-Time Jump Markov Decision Processes
本文扩展到连续时间跳马尔可夫决策过程(CTJMDP)的马尔可夫决策过程的经典结果指出,对于一个给定的初态分布,对于每一个政策有一个(随机)马尔可夫策略,它可以被定义在一个自然的方式,这样,在每个时刻的边缘分布的状态-动作对这两个政策一致。本文证明了当相应的马尔可夫策略定义了一个非爆炸跳马尔可夫过程时,CTJMDP的等式成立。如果这个马尔可夫过程是爆炸性的,则在每个时刻,对于所描述的马尔可夫策略,状态-动作对属于状态-动作对的可测集的边际概率不大于原始策略的相同概率。这些结果在本文中被用来证明,对于期望的折扣总成本和单位时间的平均成本,对于给定的初态分布,对于CTJMDP的每一个策略,所描述的马尔可夫策略具有相同或更好的性能。
2020-05-14 math.OC
Exact finite approximations of average-cost countable Markov Decision Processes
对于可数状态马尔可夫决策过程,我们引入一个嵌入,它产生一个有限状态马尔可夫决策过程。有限状态嵌入过程具有相同的最优成本,而且,当约束到近似集时,它具有与原过程相同的动力学特性。嵌入过程可以作为一种近似,它是有限的,更便于计算和实现。
2007-11-14 math.OC math.PR
Dynamic Programming for controlled Markov families: abstractly and over Martingale Measures
我们描述了一个抽象的控制理论框架,其中的有效性的动态规划原则可以建立在连续的时间由少量的结构特性的验证。作为一个应用程序,我们对待几个感兴趣的情况下,最值得注意的是较低的对冲和效用最大化问题的金融数学,这两个问题都是自然提出的“集的鞅测度”。
2014-03-15 math.OC q-fin.PM
Bounding the Difference between the Values of Robust and Non-Robust Markov Decision Problems
本文推导出分布鲁棒与非鲁棒马尔可夫决策问题值函数差异的上界,证明该上界与维度无关且线性依赖于Wasserstein球半径。
2024-05-05 math.OC math.PR
Viability, Invariance and Reachability for Controlled Piecewise Deterministic Markov Processes Associated to Gene Networks
我们的目的是描述受控分段确定性马尔可夫过程(PDMP)的生存能力,不变性和一些可达性的性质。利用黏性解理论的分析方法,我们建立了关于一阶法锥的生存性和不变性的判据。我们还研究了任意开集的可达性。该方法是基于粘性技术和对偶一些相关的线性化问题。理论结果被应用到一般的开/关系统,库克的模型为haploinssufficiency,和噬菌体λ的随机模型。
2010-02-10 math.OC math.PR
Computational Hardness of Static Distributionally Robust Markov Decision Processes
Texas A&M University(德州农工大学)
研究静态分布鲁棒马尔可夫决策过程最优策略的计算难度,证明在马尔可夫非随机策略下求解最优策略是NP难的,且在马尔可夫随机策略下最优策略也存在NP难问题。
2026-05-07 math.OC
Markov Decision Processes with Incomplete Information and Semi-Uniform Feller Transition Probabilities
研究部分可观测离散随机系统的控制问题。介绍并研究了具有半一致Feller转移概率的不完全信息马氏决策过程。这些模型的重要特征是,他们的经典约简为完全可观察马尔可夫决策过程的信念状态保持半一致的Feller连续的转移概率。在对费用函数的温和假设下,最优策略存在,最优性方程成立,并且值迭代收敛到这些模型的最优值。特别地,对于部分可观测的马尔可夫决策过程,本文的结果包含了新的和推广了几个已知的关于具有信念状态的马尔可夫决策过程的转移概率弱连续性的转移概率和观测概率的充分条件,最优策略的存在性,定义最优策略的最优性方程的有效性,以及值迭代收敛到最优值的充分条件.
2022-08-26 math.OC
Reinforcement Learning for Multi-Objective and Constrained Markov Decision Processes
在本文中,我们考虑的问题的优化和学习的约束和多目标马尔可夫决策过程,折扣奖励和期望平均奖励。我们制定的零和对策的问题,其中一个球员(代理)解决马尔可夫判定问题,其对手解决了一个强盗最优化问题,我们在这里称之为马尔可夫-强盗游戏。我们将Q-学习推广到求解Markov-Bandit博弈,并证明了我们的新Q-学习算法收敛到零和Markov-Bandit博弈的最优解,从而收敛到约束多目标马尔可夫判定问题的最优解.我们提供了一个数值例子,我们计算出的最优策略,并通过模拟表明,该算法收敛到计算出的最优策略。据我们所知,这是第一次学习算法保证收敛到最佳的平稳策略的约束MDP问题的折扣和预期的平均回报,分别。
2021-03-04 math.OC
Risk-sensitive Semi-Markov Decision Problems with Discounted Cost and General Utilities
本文考虑半马氏过程在离散状态空间中的风险敏感控制问题。我们考虑一般的效用函数和折扣成本的优化准则。我们考虑随机有限视界和无限视界问题。使用状态增广技术,我们的值函数,并规定最优控制。
2021-01-12 math.OC
Large Markov Decision Processes and Combinatorial Optimization
本文综述大型 Markov 决策过程的求解文献,关注其规模导致的数值不可处理性,并讨论如何借助这些过程解决重要组合优化问题。
2023-12-06 math.OC
Distributionally robust chance constrained Markov decision process with Kullback-Leibler divergence
本文研究具有随机回报和模糊分布的分布鲁棒机会约束马尔可夫决策过程,基于Kullback-Leibler散度模糊集推导了个体约束的易处理重构,并为联合约束设计了序列凸逼近与线搜索的混合算法,通过机器更换问题验证了有效性。
2023-07-29 math.OC
Average Cost Markov Decision Processes with Semi-Uniform Feller Transition Probabilities
研究了具有半一致Feller转移概率的平均费用马氏决策过程。这类MDP最近被作者引入研究不完全信息的MDP。本文研究了最优性不等式的有效性,最优策略的存在性,以及最优策略通过优化总贴现成本的策略来逼近最优策略。
2021-08-12 math.OC
Finite horizon risk-sensitive continuous-time Markov decision processes with unbounded transition and cost rates
考虑有限时间内风险敏感的连续时间马尔可夫决策过程。在无界转移和费用率所能满足的条件下,证明了最优策略的存在性,以及一类可能无界函数的最优性方程解的存在唯一性,并证明了Feynman-Kac公式的成立性.
2018-11-28 math.OC
Risk-sensitive discounted cost criterion for Continuous-time Markov decision processes on a general state space
本文研究了取值于一般状态空间的连续跳马尔可夫过程的风险敏感折扣控制问题。允许连续跳马氏过程的转移率和代价率是无界的。在一定的李雅普诺夫条件下,我们建立了Hamilton-Jacobi-Bellman(HJB)方程解的存在唯一性。证明了最优风险敏感控制在马尔可夫控制类中的存在性。
2021-04-26 math.OC
Risk-sensitive Markov decision problems under model uncertainty: finite time horizon case
本文研究了一类具有模型不确定性的离散时间风险敏感马尔可夫控制问题。考虑了有限时间范围下的风险敏感贴现成本准则。所采用的方法是自适应鲁棒控制与机器学习相结合。
2021-04-14 math.OC
Markov decision processes: on the convergence of the Monte-Carlo first visit algorithm
Sorbonne Université(索邦大学);Université Paris Cité(巴黎西岱大学)
本文研究有限状态与有限动作马尔可夫决策过程中的蒙特卡洛首次访问算法,证明了当折扣因子小于1/2时该算法收敛。
2025-09-22 math.OC math.PR
On risk-sensitive piecewise deterministic Markov decision processes
本文考虑一个分段确定的马尔可夫决策过程,其中总(非负)费用的期望指数效用最小。成本率、转移率和跳后分布都在控制之下。状态空间是Borel的,并且转移率和成本率沿着漂移是局部可积的。在自然条件下,我们建立了最优性方程,证明了值迭代算法,并证明了一个确定的平稳最优策略的存在性。应用到特殊情况下,所得到的结果已经显着改善了文献中的有限时域和无限时域贴现风险敏感连续时间马尔可夫决策过程的一些现有结果。
2017-11-21 math.OC
Markov Decision Process-based Resilience Enhancement for Distribution Systems: An Approximate Dynamic Programming Approach
由于极端天气事件引起的配电系统故障直接导致用户停电,本文提出了一种基于状态的决策模型,目标是减轻负荷损失,以提高配电系统的弹性在整个事件的展开。顺序不确定性系统状态,例如,由展开事件驱动的馈线开/关状态被建模为马尔可夫状态,并且在整个展开事件中从一个马尔可夫状态到另一个马尔可夫状态的概率由展开事件引起的部件故障确定。提出了一种基于马尔可夫决策过程(MDP)的递归最优化模型,在每个决策时间,系统重新配置。为了克服由于大量状态和动作而导致的维数灾难,采用基于后决策状态和迭代的近似动态规划(ADP)方法求解该模型. IEEE 33节点系统和IEEE 123节点系统的算例验证了该模型的正确性。
2019-04-01 math.OC
Reachable Sets from Toy Models to Controlled Markovian Quantum Systems
在双线性控制系统的框架下,我们提出了相干可控开放量子系统的可达集,该系统与任意温度的热浴$T geq 0$具有可切换耦合。核心问题归结为研究标准单纯形中的点,这些点服从两种类型的控制,可以交错使用:(i)单纯形内的置换,(ii)耗散单参数半群的收缩。我们的工作说明了核心问题的解如何与原始受控马尔可夫量子系统的可达集相关。我们完全表征的情况下$T=0$和目前的包含$T>0$。
2019-08-06 math.OC quant-ph
Rectangularity and duality of distributionally robust Markov Decision Processes
本文探讨了分布鲁棒马尔可夫决策过程的多种建模方法,重点阐明博弈形式与静态形式之间的联系,并揭示模糊集矩形性在其中的关键作用。
2024-05-05 math.OC
The existence of optimal control for continuous-time Markov decision processes in random environments
在这项工作中,我们研究的最优控制问题的连续时间马尔可夫决策过程的随机环境的影响。在有限时域准则下,我们给出了最优控制存在的条件。在适当的条件下,该值函数是连续的,并满足动态规划原理。这些结果是通过对最优控制的正则性引入一些限制和发展一种新的连续时间Markov决策过程的紧化方法而建立的,这种紧化方法最初用于求解跳扩散过程的最优控制问题.
2020-06-21 math.OC math.PR
Markov control of continuous time Markov processes with long run functionals by time discretization
本文通过离散时间受控 Markov 过程研究连续时间受控 Markov 过程,考虑单位时间平均回报和长期风险敏感泛函,并分析了连续时间泛函在 Markov 控制逐点收敛下的稳定性。
2025-08-10 math.OC math.PR
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind(深度思维)
在这个简短的说明中,我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Multiply Accelerated Value Iteration for Non-Symmetric Affine Fixed Point Problems and application to Markov Decision Processes
我们分析了Nesterov加速梯度算法的一个修改版本,它适用于仿射不动点问题与非自伴随矩阵,如出现在马尔可夫决策过程理论与折扣或平均支付标准。我们刻画了该算法确实以加速的渐近速度收敛的矩阵的谱。我们还介绍了一个$d$第阶算法,并表明,它会产生一个乘法加速率在更苛刻的条件下的频谱。随后,我们应用这些方法来开发非线性不动点问题所产生的马尔可夫决策过程的加速计划。数值实验说明了这一点。
2021-07-02 math.OC
Constrained total undiscounted continuous-time Markov decision processes
本文研究了连续时间马尔可夫决策过程在Borel状态空间和动作空间中具有完全无折扣准则的约束最优控制问题。在标准紧性和连续性条件下,我们证明了一般非平稳策略类中最优平稳策略的存在性。在此过程中,我们证明了减少CTMDP模型的离散时间马尔可夫决策过程(DTMDP)模型的基础上的研究的非折扣占用和占用措施。我们允许受控过程不一定是吸收的,并且过渡率不一定与零分离,并且可以是任意无界的;这些特征是研究未贴现CTMDP模型的主要技术难点。
2014-10-30 math.OC
Continuous-time Markov decision processes under the risk-sensitive average cost criterion
本文研究了风险敏感平均费用准则下的连续时间马尔可夫决策过程。状态空间是一个有限集,行动空间是一个Borel空间,成本和转移率是有界的,风险敏感系数可以取任意正实数。在较弱的条件下,我们得到了风险敏感平均费用最优性方程解的存在性和最优确定性平稳策略的存在性.
2015-12-21 math.OC
Linear programming for finite-horizon vector-valued Markov decision processes
针对非平稳有限时域向量值 Markov decision process,提出向量线性规划公式以刻画 Pareto 高效策略,并给出枚举所有高效确定性策略的算法及数值验证。
2025-05-30 math.OC
An axiomatic approach to Markov decision processes
本文给出了贴现率为零的有限马尔可夫决策过程的一个公理化方法。在无折扣情况下的主要困难之一是,即使注意力仅限于平稳策略,也不需要存在强的超越最优策略。我们提供了两个标准,承认最优政策的偏好基础:$0$ -折扣最优性和平均超车最优性。作为我们的结果的推论,我们得到的条件,决策者的偏好,确保最优的政策存在。这些结果对随机动态规划问题出现的学科,包括自动控制,动态博弈和经济发展有影响。
2022-11-22 math.OC
Partially Observed Markov Decision Processes. Problem Sets and Internet Supplement
本文是我的书《部分观测马尔可夫决策过程-从过滤到受控传感》的互联网补充,由剑桥大学出版社于2016年出版。这个互联网补充包含练习,例子和案例研究。材料出现在这个互联网补充(而不是书),以便它可以更新。本文档将随着时间的推移而不断发展,并将添加进一步的讨论和示例。这份互联网补充文件正在进行中,将定期更新。我欢迎本书和本网络增刊的读者提出建设性的意见。
2016-04-27 math.OC
Continuous-time Markov decision processes with exponential utility
本文考虑Borel空间中的连续时间马尔可夫决策过程(CTMDP),其中确定性等价于总未折现费用的指数效用最小.成本率是非负的。建立了最优性方程。在紧连续条件下,我们证明了一个确定的平稳最优策略的存在性。我们将风险敏感的CTMDP问题转化为一个等价的风险敏感的离散时间马尔可夫决策过程,该过程具有与原CTMDP相同的状态空间和动作空间。特别是,CTMDP问题的值迭代算法遵循这种减少。我们不需要对状态中的过渡和成本率的增长施加任何条件,并且受控过程可以是爆炸性的。
2016-11-25 math.OC
Partially observed controlled Markov chains and optimal control of the Wonham filter
Politecnico di Milano(米兰理工大学);Università degli Studi di Milano(米兰大学)
本文研究了部分观测的受控马尔可夫链的最优控制问题,通过分离方法将问题转化为Wonham滤波方程,并证明了其与原问题的等价性。
2026-02-18 math.OC math.PR
Average optimality for continuous-time Markov decision processes under weak continuity conditions
本文研究了具有Borel状态空间和行动空间的连续时间马尔可夫决策过程的平均最优性问题。与以前的文献相比,在一组不同的和一般的条件下证明了确定性平稳最优策略的存在性;受控过程可以是爆炸性的,转移率可以是任意无界的,并且是弱连续的,定义容许行动空间的多功能既不是紧值的,也不是上半连续的,并且成本率不一定是非紧的。
2014-03-04 math.OC
Least Inferable Policies for Markov Decision Processes
在各种应用中,代理的成功取决于对抗性观察者所拥有或可以收集的关于代理决策的知识。因此,期望代理在实现任务的同时降低观察者推断代理的策略的能力。我们认为,在马尔可夫决策过程中的可达性问题的代理的任务和研究的政策,最大限度地减少观察员的能力,推断代理之间的马尔可夫决策过程的状态的转移概率的合成。我们引入了一个度量,这是基于Fisher信息作为代理的信息泄露给观察员,并使用此度量制定一个问题,最大限度地减少预期的总信息的可达性约束。我们使用凸优化方法来解决这个问题。为了验证所提出的方法,我们分析了期望的总信息和观测器的估计误差之间的关系,并表明,对于一类特定的马尔可夫决策过程,这两个值成反比。
2018-09-18 math.OC
Convex function approximations for Markov decision processes
研究了有限时域离散时间马氏决策过程在一定凸性假设下的函数逼近问题。在驱动随机变量的几种抽样方案下,证明了这些近似在紧集上的一致收敛性。在某些条件下,这些近似形成一个单调序列的下界或上界函数。涉及分段线性函数的数值实验表明,非常紧的边界功能的公平价格的一个Rupdan看跌期权可以获得极好的速度(分数的CPU秒)。本文的结果可以很容易地适用于涉及凹Bellman函数的极小化问题。
2018-02-20 math.OC
An Overview for Markov Decision Processes in Queues and Networks
自20世纪60年代以来,队列和网络中的马尔可夫决策过程(MDP)一直是许多实际领域的一个有趣的话题。本文提供了一个详细的概述这一主题,并跟踪许多基本结果的演变。最后,总结了未来研究的几个方向。我们希望这一综述能对队列和网络中的MDP及其在各个实际领域的广泛应用有所启发。
2019-08-23 cs.NI math.OC
A useful technique for piecewise deterministic Markov decision processes
本文提出了一种技术,是有用的研究分段确定性马尔可夫决策过程(PDMDPs)的一般政策和无界的过渡强度的理由。该技术从原始PDDDP产生辅助PDDDP。如将要讨论和声明的,辅助PDDDP具有某些原始PDDDP可能不具有的所需性质。此外,在原始PDDDP中的任何策略的性能测量可以由辅助PDDDP针对大类性能标准复制。作为一个应用程序,我们将此技术应用于风险敏感的PDMDPs与总成本的标准。
2020-06-11 math.OC
Sleeping Experts and Bandits Approach to Constrained Markov Decision Processes
这篇简短的论文提出了简单的模拟为基础的算法,在一个给定的有限集在大型有限约束马尔可夫决策过程中获得近似最优的政策。该算法是从“睡专家与强盗”问题的博弈策略中改编而来的,当给定的策略集相对较小时,其计算复杂性与状态空间和动作空间的大小无关.我们建立收敛的预期性能的最优策略和收敛速度的值,也几乎必然收敛的最优策略与指数速度的算法适应的背景下,睡觉的专家。
2014-12-16 math.OC
Markov Decision Processes under Ambiguity
我们考虑统计马尔可夫决策过程中的决策者是风险厌恶对模型的模糊性。后者由影响过渡律和费用函数的未知参数给出。风险厌恶可以通过熵风险度量或平均风险值来衡量。我们展示了如何使用一般的极小极大定理来解决这类问题。在一些连续性和紧凑性的假设下,我们证明了最优(确定性)政策的存在性,并讨论其计算。我们用一个统计决策论的例子来说明我们的结果。
2019-07-04 math.OC math.ST stat.TH