Online Inverse Optimal Control for Control-Constrained Discrete-Time Systems on Finite and Infinite Horizons
本文考虑了在主动控制约束下，由状态和控制轨迹计算离散时间最优控制问题的目标函数参数的问题。我们提出了一种新的逆最优控制方法，它具有计算效率高的在线形式，其中对状态和控制从给定的状态和控制轨迹顺序处理，而不被存储或批量处理。我们建立的条件，保证我们所提出的方法计算的目标函数参数的唯一性，从轨迹与主动控制约束。我们在仿真中说明我们提出的方法。
2020-05-13 cs.SY eess.SY math.OC
On Supervised On-line Rolling-Horizon Control for Infinite-Horizon Discounted Markov Decision Processes
本文研究了具有无限时域折扣期望回报准则的马尔可夫决策过程的滚动时域控制问题。与经典的值迭代方法不同，本文提出了一种基于策略迭代的异步在线算法，并结合策略切换的多策略改进方法。通过仅在当前访问状态下更新当前解来生成预测时域子MDP的单调改进解序列，实际上构建了无限时域上MDP的滚动时域控制策略。如果有“主管”的反馈，也可以在更新时纳入。我们专注于与MDP的过渡结构的收敛问题。该算法在有限时间内实现整体收敛到最优预测策略或局部收敛到“局部最优”固定策略。
2022-06-04 math.OC
Linear programming for finite-horizon vector-valued Markov decision processes
针对非平稳有限时域向量值 Markov decision process，提出向量线性规划公式以刻画 Pareto 高效策略，并给出枚举所有高效确定性策略的算法及数值验证。
2025-05-30 math.OC
Characterization and computation of infinite horizon specifications over Markov processes
Delft University of Technology（代尔夫特理工大学）；University of Oxford（牛津大学）
本文针对一般离散时间马尔可夫过程，研究无限时域规约的形式化验证，通过分析吸收集等结构特征对Bellman方程解唯一性的影响，提出具有显式收敛率和形式误差界的近似计算方法。
2014-07-22 cs.LO cs.SY eess.SY
Finite-Horizon Markov Decision Processes with State Constraints
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种高效算法，用于解决有限时间 horizon 约束马尔可夫决策过程中的非稳态随机策略问题，通过线性规划和对偶理论保证最优性。
2015-07-06 cs.SY eess.SY math.OC
Finite horizon risk-sensitive continuous-time Markov decision processes with unbounded transition and cost rates
考虑有限时间内风险敏感的连续时间马尔可夫决策过程。在无界转移和费用率所能满足的条件下，证明了最优策略的存在性，以及一类可能无界函数的最优性方程解的存在唯一性，并证明了Feynman-Kac公式的成立性.
2018-11-28 math.OC
Risk-sensitive control of continuous time Markov chains
研究了连续时间马尔可夫链在离散状态空间中取值的风险敏感控制问题。我们研究有限和无限的地平线问题。在有限时域问题中，我们通过HJB方程对值函数进行离散化，得到了最优马尔可夫控制。我们对无限期限折扣成本情况也做同样的事情。在无限水平平均成本的情况下，在一定的李雅普诺夫条件下，我们建立了最优平稳控制的存在性。我们还开发了一个策略迭代算法，找到一个最优控制。
2014-09-14 math.OC
Continuous-time mean-variance portfolio selection under non-Markovian regime-switching model with random horizon
本文研究了具有状态转换和随机水平的连续时间均值-方差投资组合问题。与以前的作品不同，资产的动态描述的非马尔可夫状态转换模型的意义上说，所有的市场参数是可预测的，相对于联合产生的过滤马尔可夫链和布朗运动。我们将此问题表示为一个约束随机线性二次最优控制问题。假设马尔可夫链与布朗运动无关。市场是不完整的。我们推导出封闭形式的最优投资组合和有效前沿的表达式。所有结果都不同于固定时间范围问题的结果。
2022-05-13 math.OC q-fin.MF
Action Recommendations for Sequentially Rational Strategic Agents
University of Southern California（南加州大学）
本文研究如何通过动作推荐激励战略代理采用服从策略，提出基于逆向归纳法求解线性规划的算法，以实现设计者目标与代理序列理性之间的平衡。
2026-05-10 cs.GT cs.SY eess.SY
Zero-Sum Games for piecewise deterministic Markov decision processes with risk-sensitive finite-horizon cost criterion
本文针对带风险敏感有限时域费用准则的分段确定性马尔可夫决策过程，研究两人零和随机博弈，在转移率与费用/报酬率上下无界的温和条件下，证明博弈值与最优随机化马尔可夫鞍点均衡的存在性。
2024-05-10 math.OC math.PR
Optimal stopping time on semi-Markov processes with finite horizon
本文研究了有限水平半马尔可夫过程的最优停止问题，目的是建立最优停时的存在性和计算方法。为了实现这一目标，我们首先将有限时域半马尔可夫决策过程（SMDP）的主要结果推广到具有附加终端费用的情形，引入了SMDP的显式构造，并证明了SMPs上的最优停止问题与SMDP上的最优停止问题的等价性.然后，利用等价性和本文的结果，我们不仅证明了SMPs的最优停时的存在性，而且还提供了一个计算SMPs最优停时的算法。此外，我们证明了最优和“-最优停时可以分别由某些特殊集合的首中时来刻画。
2021-07-15 math.OC math.PR
Closed-loop solvability of infinite-horizon stochastic linear-quadratic problem for Markov regime-switching jump-diffusion system
Southern University of Science and Technology（南方科技大学）；Anhui University（安徽大学）
研究马尔可夫状态切换跳跃扩散系统无限时域随机线性二次控制问题，通过耦合代数黎卡提方程系统的稳定解给出最优控制反馈表示，并应用于终身财富跟踪问题得出最优投资策略。
2026-07-28 math.OC
Finite Horizon Robust Impulse Control in a Non-Markovian Framework and Related Systems of Reflected BSDEs
考虑有限时间内的鲁棒脉冲控制问题，其中潜在的不确定性来源于由布朗运动驱动的脉冲和连续控制的泛函随机微分方程.我们假设控制器通过脉冲作用于系统，而对手玩家（自然）通过连续控制作用。我们寻找一个弱解，使我们考虑一个系统的顺序互连，斜反射向后随机微分方程（RBSDES）随机Lipschitz系数。我们的RBSDES系统的解决方案的存在性，通过应用皮卡德迭代方法。然后，uniform将极限与辅助脉冲控制问题联系起来。
2021-03-30 math.OC
A Markovian Incremental Stochastic Subgradient Algorithm
提出了一种求解凸函数和极小化问题的随机增量次梯度法。该方法顺序地使用部分次梯度信息，并且部分次梯度的序列由一般马尔可夫链确定。这使得它适用于网络中的信息流的路径是随机选择。我们证明了算法的收敛到一个加权的目标函数的权重是由Cesàro限制概率分布的马尔可夫链。与文献中以前的作品不同，Cesàro极限分布是一般的（不一定是均匀的），允许一般加权目标函数和方法的灵活性。
2021-08-22 math.OC
Continuous-time Markov Decision Processes with Finite-horizon Expected Total Cost Criteria
本文讨论了有限时间期望总费用准则下连续时间马氏决策过程的无约束和有约束情形。状态空间是可数的，并且允许转换率和成本率从上到下是无界的。我们给出了在所有随机化的历史相关的政策类中的最优政策的存在条件。对于无约束情形，利用条件期望形式的前向Kolmogorov方程的类比，证明了有限时域最优值函数是最优性方程的唯一解，并得到了最优确定性马尔可夫策略的存在性.对于有约束的情形，利用占用测度的技巧，首先给出了占用测度的一个等价刻画，并导出了对于每个由随机历史依赖策略生成的占用测度，都存在一个与之相等的由随机马尔可夫策略生成的占用测度，然后利用所有占用测度集合的紧性和凸性，我们得到了约束最优随机马尔可夫策略的存在性。并且将约束最优化问题转化为线性规划，建立了线性规划与其对偶规划之间的强对偶性。最后，一个有控制的生灭系统被用来说明我们的主要结果。
2014-08-23 math.OC
Risk-sensitive Semi-Markov Decision Problems with Discounted Cost and General Utilities
本文考虑半马氏过程在离散状态空间中的风险敏感控制问题。我们考虑一般的效用函数和折扣成本的优化准则。我们考虑随机有限视界和无限视界问题。使用状态增广技术，我们的值函数，并规定最优控制。
2021-01-12 math.OC
Two-person zero-sum stochastic linear quadratic control problems with Markov chains and fractional Brownian motion in infinite horizon
本文研究无限时间区间上包含马尔可夫链和分数布朗运动的双人零和随机线性二次控制问题，扩展Itô公式并利用Banach不动点定理保证FBSDEs解的存在唯一性，首次推导出博弈双方的最优控制策略，并揭示了成本函数中交叉项的关键作用。
2024-12-21 math.OC
Robust Fitted-Q-Evaluation and Iteration under Sequentially Exogenous Unobserved Confounders
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
针对离线强化学习中序列未观测混杂因素问题，提出带偏差校正的正交化鲁棒拟合Q迭代算法，兼具计算效率与统计性能，经仿真和脓毒症医疗数据验证有效，还可实现乐观强化学习的热启动。
2025-10-28 cs.LG math.OC stat.ML
Linear Quadratic Optimal Control and Stabilization for Discrete-time Markov Jump Linear Systems
本文主要研究线性离散Markov跳变系统的最优控制与镇定问题。一般情况下的有限时域最优控制器被认为是，在性能指标的输入加权矩阵只需要是半正定的。从一组耦合差分Riccati方程（CDRE）出发，给出了有限时间内最优控制器存在的充要条件。其关键技术之一是求解由最大值原理得到的正、倒向随机差分方程。对于无限时域情形，我们建立了马尔可夫跳变线性系均方镇定的充要条件。证明了马尔可夫跳变线性系在最优控制器作用下可镇定的充要条件是相应的耦合代数Riccati方程（CARE）存在唯一正解.同时，给出了无限时域情形下的最优控制器和最优费用函数的显式表达式。
2018-03-14 math.OC
Reachability and safety objectives in Markov decision processes on long but finite horizons
我们考虑离散时间马尔可夫决策过程中，决策者感兴趣的是长期的，但有限的视野。首先，我们考虑可达性目标：决策者的目标是以最高可能的概率达到特定的目标状态。形式上，对于所有足够大的$t\in\NN$，如果在水平$t$内到达目标状态的概率在$σ$下大于在$σ'$下，则策略$σ$超过另一个策略$σ'$。证明了在转移结构满足一定条件和一般性条件下，存在一个既不被任何纯策略超越也不被任何平稳策略超越的纯平稳策略.没有被任何其他策略超越的策略，称为超越最优策略，并不总是存在。我们提供了它存在的充分条件。接下来我们考虑安全目标：决策者的目标是以最高可能性避免特定状态。我们认为，可达性目标证明的结果扩展到这个模型。最后，我们讨论我们的结果的扩展到两个玩家零和完美信息游戏。
2019-11-13 math.OC
Optimal Control of Markov Processes with Age-Dependent Transition Rates
研究了转移率与年龄相关的马氏过程的最优控制。控制策略是基于过程的状态及其年龄随时间连续选择的。研究了无限期折现费用和无限期平均费用问题。我们的方法是通过一个等价的半马尔可夫决策过程的建设。我们的特点的价值函数和最优控制的折扣和平均成本的情况下。
2014-09-14 math.OC
Solving infinite-horizon POMDPs with memoryless stochastic policies in state-action space
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
完全可观测马尔可夫决策过程中的奖励优化等价于状态-动作频率多胞形上的线性规划。以类似的角度来看，在部分可观察的马尔可夫决策过程与无记忆随机政策的情况下，最近制定的问题是一个线性目标的多项式约束的优化。在此基础上，我们提出了一种在状态-动作空间（ROSA）的奖励优化方法。我们测试这种方法在迷宫导航任务的实验。我们发现，ROSA是计算效率高，可以产生稳定性的改善，比其他现有的方法。
2022-05-27 cs.LG cs.SY eess.SY
Finite-Horizon Partially Observable Semi-Markov Games with Risk Probability Criteria
针对系统状态部分可观测的两人零和半马尔可夫博弈，本文基于状态空间扩充技术分析终端累积收益低于目标的风险概率，推导沙普利方程并证明值函数唯一存在及纳什均衡存在。
2025-08-25 math.OC
Finite-Horizon LQR for General Markov Jump Linear Systems: Deterministic Reformulation and Reduced-Order Solution
Universidad del Atlántico（大西洋大学）
针对含瞬态、吸收态或非互通状态的通用马尔可夫跳变线性系统，本文将有限时域LQR问题确定性重构，提出仅涉及被访问状态的降阶黎卡提方程求解方法，通过数值算例验证了理论有效性。
2025-11-18 math.OC
On Optimal Zero-Delay Coding of Vector Markov Sources
研究了由噪声过程驱动的向量值马尔可夫源的最优零延迟编码问题，通过随机控制问题框架分析了最优量化策略的存在性和结构，证明了在有限时间范围内，当允许凸码单元量化器时，存在最优零延迟量化策略，并扩展到线性二次高斯问题。
2014-08-08 cs.IT cs.SY eess.SY
Approximate Solutions To Constrained Risk-Sensitive Markov Decision Processes
本文研究了有限状态作用、无限时域、约束风险敏感马尔可夫决策过程（CRSMDP）的近优马尔可夫随机（MR）策略问题。约束的形式是标准的预期贴现费用函数，以及预期的风险敏感的贴现费用函数在有限和无限的地平线。的主要贡献是，该问题拥有一个解决方案，如果它是可行的，并提供两种方法找到一个近似解的形式，最终固定（美国）MR政策。后者是通过两个近似的有限时域CRSMDP，这是从原来的CRSMDP构造的时间截断的原始目标和约束费用函数，并适当扰动的约束上界。第一个近似给出了一个美国的政策，这是$ε$ -最优的和可行的原始问题，而第二个近似给出了一个接近最优的美国的政策，其违反了原始的约束是有界以上指定的$ε$。证明中的一个关键步骤是适当地选择一个度量，使得无限时域MR策略集和三个CRSMDP的可行域紧凑，并且目标和约束函数连续。一个线性规划为基础的制定解决近似有限时域CRSMDP。
2022-09-29 math.OC
A hybrid deep learning method for finite-horizon mean-field game problems
针对有限时域平均场博弈问题，提出结合马尔可夫链近似与随机近似迭代深度学习的混合算法，证明了收敛性并通过数值算例验证效果。
2024-12-11 math.OC
Controlled Markov Chains with AVaR Criteria for Unbounded Costs
本文研究了马尔可夫决策过程（MDP）中具有无穷水平上可能无界的$L^{1}$ -费用的平均风险价值（AVaR）准则的控制问题.通过选择一个合适的状态聚合和先验的全局变量$s$，我们证明了存在最优策略的无限地平线问题。据我们所知，这是第一个工作推导的动态规划方程与$L^1$ -无界费用通过AVaR-算子。
2015-11-17 math.OC math.PR
On the link between infinite horizon control and quasi-stationary distributions
研究了具有一般（正或负）折扣且几乎必然灭绝的连续时间非线性分支过程的无穷时域控制问题。我们的主要目标是研究这些过程的无限时域控制和涉及其准平稳分布和相应灭绝率的最优化问题之间的联系。更准确地说，我们得到了等价的价值函数的折扣参数接近阈值的价值函数成为无穷大，我们的最优马尔可夫控制在此限制的特点。为了实现这一点，我们提出了一个新的证明的动态规划原则的基础上的伪马尔可夫性的控制跳跃过程。我们还证明了收敛到一个唯一的准平稳分布的非线性分支过程控制的马尔可夫控制条件下的非灭绝。
2016-07-27 math.OC math.PR
On risk-sensitive piecewise deterministic Markov decision processes
本文考虑一个分段确定的马尔可夫决策过程，其中总（非负）费用的期望指数效用最小。成本率、转移率和跳后分布都在控制之下。状态空间是Borel的，并且转移率和成本率沿着漂移是局部可积的。在自然条件下，我们建立了最优性方程，证明了值迭代算法，并证明了一个确定的平稳最优策略的存在性。应用到特殊情况下，所得到的结果已经显着改善了文献中的有限时域和无限时域贴现风险敏感连续时间马尔可夫决策过程的一些现有结果。
2017-11-21 math.OC
Markov Decision Process-based Resilience Enhancement for Distribution Systems: An Approximate Dynamic Programming Approach
由于极端天气事件引起的配电系统故障直接导致用户停电，本文提出了一种基于状态的决策模型，目标是减轻负荷损失，以提高配电系统的弹性在整个事件的展开。顺序不确定性系统状态，例如，由展开事件驱动的馈线开/关状态被建模为马尔可夫状态，并且在整个展开事件中从一个马尔可夫状态到另一个马尔可夫状态的概率由展开事件引起的部件故障确定。提出了一种基于马尔可夫决策过程（MDP）的递归最优化模型，在每个决策时间，系统重新配置。为了克服由于大量状态和动作而导致的维数灾难，采用基于后决策状态和迭代的近似动态规划（ADP）方法求解该模型. IEEE 33节点系统和IEEE 123节点系统的算例验证了该模型的正确性。
2019-04-01 math.OC
Transformation of Adaptive Multistage Sampling for Solving Finite-Horizon Markov Decision Processes with Unknown Model
Sogang University（西江大学）
针对模型未知的有限时域MDP，将自适应多阶段采样转化为无采样算法AMR，在强化学习环境中实现渐近最优的值估计。
2026-10-30 math.OC
Finite-Time Analysis of the Natural Policy Gradient in Finite-Horizon Markov Decision Processes
研究有限时域马尔可夫决策过程中自然策略梯度，给出其在恒定步长和递增步长下的收敛保证，恒定步长下次线性收敛，递增步长下线性收敛，特定步长调度可达几何速率。
2026-07-28 cs.LG math.OC stat.ML
Temporal Concatenation for Markov Decision Processes
我们提出并分析了一个时间级联启发式求解大规模有限时域马尔可夫决策过程（MDP），它将MDP划分为较小的子问题沿时域和生成一个整体的解决方案，通过简单地连接这些子问题的最优解。作为一个“黑盒”架构，时间级联与广泛的现有MDP算法。我们的主要结果表征遗憾的时间串联相比，最优解。我们提供一般MDP实例的上界，以及一个家庭的MDP实例中的上界被证明是紧的。总之，我们的研究结果表明，时间级联的潜力，大量的速度在一些性能下降的代价。
2022-06-18 math.OC
On the Convergence of Optimal Actions for Markov Decision Processes and the Optimality of $(s,S)$ Inventory Policies
本文研究了具有弱连续转移概率的折扣和平均成本马尔可夫决策过程（MDP）的最优值和最优行动的收敛性质，并将这些性质应用于具有缺货、正设置成本和凸持有/缺货成本的随机库存检查库存控制问题。对于可能具有非紧行动集和无界费用函数的MDP，建立了以下结果：（i）对于具有可能非零终端成本的贴现问题，值迭代收敛到最优值，（ii）对于总贴现成本，当时间范围趋于无穷大时，最优有限时间范围行动收敛到最优无限时间范围行动，和（iii）收敛的最优折扣成本行动的最优平均成本行动的无限时间的问题，折扣因子趋于1。应用于具有初始成本的库存控制问题，MDP的一般结果暗示了$(s,S)$策略的最优性和最优阈值的收敛性。特别地，本文分析了设置成本库存控制问题，而没有文献中经常使用的两个假设：（a）需求是离散的或连续的或（b）如果缺货库存量很大，则缺货成本高于缺货成本。
2017-03-20 math.OC
Continuity of Discounted Values and the Structure of Optimal Policies for Periodic-Review Inventory Control with Setup Costs
本文证明了在订货费用为\revision{continuous inventory levels,}固定，库存容量可能有界，订货量可能有界的情况下，在有限和无限的时间范围内，贴现-评论单商品总成本库存控制问题的价值函数的连续性.在这些约束模型中，有限和无限时域值函数是连续的，存在确定性马尔可夫最优有限时域策略，并且存在平稳确定性马尔可夫最优无限时域策略。对于库存量有界、订货量无界的模型，本文还刻画了$(s_t, S_t)$策略在有限时间内最优和$(s,S)$策略在无限时间内最优的条件.
2022-07-26 math.OC
A central limit theorem for temporally non-homogenous Markov chains with applications to dynamic programming
证明了有限时域马氏判定问题理论中自然出现的一类可加过程的中心极限定理。主要定理推广了Dobrushin（1956）关于时间非齐次马尔可夫链的一个经典结果，主要创新点是允许被加数既依赖于链的当前状态，又依赖于链的有界数目的未来状态.我们通过几个例子表明，这种增加的灵活性给一个直接的路径渐近正态性的最佳总报酬有限时域马尔可夫判定问题。同样的例子也解释了为什么这样的结果是不容易获得的替代马尔可夫技术，如扩大的状态空间。
2015-12-06 math.OC math.PR
Finite Horizon Impulse control of Stochastic Functional Differential Equations
在这项工作中，我们表明，可以解决有限时域非马尔可夫脉冲控制问题与控制相关的动态。这种动力学满足某些功能性利普希茨条件，并且是路径依赖的，以这样的方式，所得到的轨迹成为流。
2022-02-08 math.OC
Reinforcement Learning with Markov Risk Measures and Multipattern Risk Approximation
Department of Management Science and Information Systems, Rutgers University（罗格斯大学管理科学与信息系统系）
本文提出一种基于特征的Q学习方法，结合马尔可夫风险度量和多模式Q因子近似，证明了高概率遗憾界，并在随机分配问题和短周期多臂老虎机问题上进行了验证。
2026-11-03 cs.AI cs.LG math.OC
Decentralized Bandit Learning of Markov Perfect Equilibria
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；Princeton University（普林斯顿大学）
针对具有连续动作的一般和马尔可夫博弈，提出分散式多臂老虎机学习方法，基于同时扰动随机近似更新动作，证明其几乎必然收敛到唯一平稳马尔可夫完美均衡，收敛速率为$O(n^{-1/2})$，并扩展至情节有限时域学习。
2026-10-14 cs.LG math.OC
Optimal Stabilization Control for Discrete-time Markov Jump Linear System with Control Input Delay
本文研究具有控制输入时滞的马尔可夫跳变线性系的无穷时域最优控制与镇定问题。与以往工作不同的是，首次在显式下研究了系统的镇定充分必要条件，并利用耦合代数Riccati方程设计了无穷时域的最优控制器.通过引入一类新的Lyapunov方程，证明了在精确可观性假设下，具有控制输入时滞的MJLS在均方意义下可镇定当且仅当耦合代数Riccati方程有唯一的正定解.所得结果与具有输入时滞的标准系统的最优控制和镇定问题是平行的。
2019-02-17 math.OC
Weighted mesh algorithms for general Markov decision processes: Convergence and tractability
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机学研究所）
本文提出一种加权网格算法求解一般状态与动作空间下的有限时域马尔可夫决策过程，在有界情形下实现可处理复杂度，在无界情形下实现半可处理复杂度，并通过LQG控制问题验证其有效性。
2024-06-29 cs.LG math.OC
A Primal-Dual Approach to Constrained Markov Decision Processes
在许多运营管理问题中，我们需要在满足一定约束条件的情况下顺序地做出决策，以使成本最小化。研究这类问题的一种建模方法是约束马尔可夫决策过程（CMDP）。在求解CMDP以获得良好的操作策略时，存在两个关键挑战：一个是过大的状态空间和动作空间;另一个是难以计算的转换核。在这项工作中，我们开发了一个基于采样的原始对偶法来解决CMDPs。我们的方法交替应用正则化策略迭代来改进策略和次梯度上升来保持约束。在较弱的正则性条件下，我们证明了算法以速率$ O(\log(T)/\sqrt{T})$收敛，其中T是迭代次数。当CMDP具有弱耦合结构时，我们的方法可以通过嵌入式分解大大降低问题的维数。我们将该算法应用到两个重要的应用弱耦合结构：多产品库存管理和多类队列调度，并表明它产生的控制，优于最先进的物流。
2021-01-26 math.OC
Weakly Time-Coupled Approximation of Markov Decision Processes
Information and Decision Sciences Department, University of Illinois at Chicago（伊利诺伊大学芝加哥分校信息与决策科学系）；Industrial Engineering and Decision Analytics, Hong Kong University of Science and Technology（香港科学与技术大学工业工程与决策分析系）
本文提出弱时间耦合近似方法，用于解决高维外生不确定性马尔可夫决策过程的可扩展性问题，通过独立于时间跨度的交叉阶段依赖关系，改进了ALP和PO方法的上界估计。
2026-03-13 cs.LG math.OC
Optimal control of Piecewise Deterministic Markov Processes: a BSDE representation of the value function
考虑了分段确定马尔可夫过程的无穷时域折扣最优控制问题，其中分段开环控制连续作用于跳变动力学和确定流.对于这类控制问题，其值函数一般可以表征为对应的Hamilton-Jacobi-Bellman方程的唯一黏性解.证明了值函数可以用无穷水平上的倒向随机微分方程表示，该方程由随机测度驱动，其鞅部分带有符号约束，并给出了存在唯一性结果.这种概率表示被称为非线性Feynman-Kac公式。最后，我们证明了约束的Bevel与辅助支配控制问题有关，其值函数与原始非支配控制问题的值函数一致。
2015-12-05 math.OC
Discrete-Time Approximations of Controlled Diffusions with Infinite Horizon Discounted and Average Cost
本文研究受控扩散过程无穷时域折扣与平均成本最优控制问题，通过构造离散时间马尔可夫链模型并利用弱收敛技术，证明离散模型的最优策略在采样周期趋近于零时对连续模型近最优，为受控扩散过程提供实用求解方法。
2025-02-08 math.OC
Markov Decision Processes with Recursive Risk Measures
本文针对具有递归风险测度的风险敏感MDPs，推导贝尔曼方程并证明马尔可夫最优策略存在，无限时域下模型压缩且策略平稳，并建立与分布鲁棒MDPs的联系。
2020-10-14 math.OC q-fin.RM
A Counterexample and a Corrective to the Vector Extension of the Bellman Equations of a Markov Decision Process
针对D. J. White提出的向量回报马尔可夫决策过程Bellman推广方程，本文给出反例证明其假设不保证有效性，提出充分成立条件并说明方程解为细化策略空间的Pareto有效策略回报集。
2023-08-25 math.OC
Mean-Variance Optimization and Algorithm for Finite-Horizon Markov Decision Processes
针对多周期均值-方差优化中动态规划原理失效的问题，本文将有限时域MDP下的该问题转化为双层MDP，提出交替迭代求解算法并证明收敛性，该方法与经典结果一致且适用于多种MDP建模场景。
2025-07-30 cs.CE math.OC
Logarithmic regret bounds for continuous-time average-reward Markov decision processes
The Chinese University of Hong Kong（香港中文大学）；Columbia University（哥伦比亚大学）
本文研究连续时间平均奖励MDPs的强化学习，在转移概率和指数保持时间速率未知时，推导出对数级遗憾下界，并设计算法实现对数级有限时间遗憾上界。
2024-07-02 cs.LG math.OC stat.ML
Percolation Markov Decision Processes
本文研究渗流马尔可夫决策过程，证明一致值与0-最优策略存在性，并引入维度提升性质以近似渗流临界阈值。
2026-09-18 math.OC math.PR
Markov decision processes with observation costs: framework and computation with a penalty scheme
本文针对带观测成本的马尔可夫决策过程，通过增广状态建立拟变分不等式模型，证明解的唯一性，并采用罚方法高效求解，在三个应用中验证了框架的有效性。
2023-12-05 cs.NA math.NA math.OC
