Constrained discounted Markov decision processes with Borel state spaces
研究了Borel空间上具有无界报酬函数的离散时间折扣约束马尔可夫决策过程。在我们的方法中，转移概率函数是弱连续或集连续的。报酬函数在状态-动作对中是上连续的，在动作中是上连续的。我们的目标是研究具有无界报酬函数的模型，这在应用中经常遇到，例如，消费/投资问题。我们提供了一些一般性的假设，在这些假设下，CMDPs中的最优化问题在平稳随机策略类中是可解的。然后，我们指出，如果初始分布和转移概率是非原子的，然后使用Feinberg和Piunovskiy的一般纯化结果，静态最优策略可以是确定的。我们的主要结果说明了五个例子。
2019-03-27 math.OC
Optimal Control of Markov Regime-Switching Stochastic Recursive Utilities
本文针对连续时间Markov状态切换随机递归效用模型描述的系统，建立了一个通用的随机最大值原理用于最优控制。假设控制域不是凸的，扩散项依赖于控制变量。为此，我们首先研究了一类经典的正向随机最优控制问题。然后，在已有结果的基础上，引入了两组新的一阶和二阶伴随方程。导出了相应的正倒向随机微分方程的变分方程。特别地，最大值原理中的生成元包含二阶伴随方程的解，这是新颖的。一些有趣的例子，以及总结。
2019-05-01 math.OC
Constrained discounted stochastic games
本文考虑了一类具有可数状态空间和折扣代价准则的约束非合作随机马尔可夫对策。在一个玩家的情况下，即，约束折扣马尔可夫决策模型，有可能制定一个静态优化问题，其解决方案确定一个静态最优策略（别名控制或政策）的动态无限地平线模型。该解存在于由策略诱导的所有占领测度的紧凸集中，定义在状态-动作对的集合上。在n人折扣对策的情况下，占领措施是由所有局中人的策略。因此，很难推广的方法直接约束折扣马尔可夫决策过程。目前还不清楚如何定义域的最佳反应对应的不动点诱导一个平稳的均衡在马尔可夫博弈。这个定义域应该是局部凸拓扑向量空间中紧凸集的笛卡儿积。我们的一个主要结果表明，如何克服这个困难，并定义一个受约束的非合作静态博弈的纳什均衡诱导的平稳纳什均衡的马尔可夫博弈。这是做游戏有界的费用函数和积极的初态分布。一类具有无界费用和任意初态分布的马氏对策的推广依赖于无界对策用具有正初态分布的有界对策的逼近。在无界的情况下，我们假设的一致可积的贴现成本相对于所有概率测度诱导的球员的战略，定义在空间上的游戏（历史）的游戏。我们的假设是弱于那些在早期的作品贴现动态规划或随机对策使用所谓的加权范数的方法。
2021-12-15 math.OC
Finite-horizon Approximations and Episodic Equilibrium for Stochastic Games
本文针对随机博弈提出有限时域近似方案与回合均衡解概念，推导了随回合长度衰减的近似误差上界，还提出可在多类随机博弈中达到（近）回合均衡的无模型去中心化学习动力学，填补了有限与无限时域随机博弈分析的空白。
2024-04-13 cs.GT math.OC
A Linear Programming Formulation for Constrained Discounted Continuous Control for Piecewise Deterministic Markov Processes
本文研究了一般Borel空间中分段确定马尔可夫过程（PDMP）的约束折扣控制问题。控制变量作用于跳变率和转移测度，目标是最小化由正运行成本和边界成本组成的总期望贴现成本，同时满足这种形式的一些约束。其基本思想是，通过使用PDMP的特殊功能，重写的问题，通过一个嵌入的离散时间马尔可夫链相关联的的PADMP和重新制定的问题作为一个无限维线性规划（LP）的问题，通过占用措施相关联的离散时间过程。重要的是要强调，然而，我们的新的离散时间问题是不是在一个一般的约束离散时间马尔可夫决策过程的相同的框架，由于这一点，需要一些条件来获得连续时间问题和LP公式之间的等价性。在[8]中定理4.1的推广的基础上，我们在下一章中给出了相关线性规划问题可解的充分条件。在附录中，我们提出了这个推广的证明，我们相信，它本身是有趣的。最后，通过一些例子说明了所得结果。
2014-02-25 math.OC
On Supervised On-line Rolling-Horizon Control for Infinite-Horizon Discounted Markov Decision Processes
本文研究了具有无限时域折扣期望回报准则的马尔可夫决策过程的滚动时域控制问题。与经典的值迭代方法不同，本文提出了一种基于策略迭代的异步在线算法，并结合策略切换的多策略改进方法。通过仅在当前访问状态下更新当前解来生成预测时域子MDP的单调改进解序列，实际上构建了无限时域上MDP的滚动时域控制策略。如果有“主管”的反馈，也可以在更新时纳入。我们专注于与MDP的过渡结构的收敛问题。该算法在有限时间内实现整体收敛到最优预测策略或局部收敛到“局部最优”固定策略。
2022-06-04 math.OC
A note on the policy iteration algorithm for discounted Markov decision processes for a class of semicontinuous models
针对半连续折扣 MDP 中标准 PI 因可测性问题失效的情况，提出带平滑步骤的替代策略迭代算法，并证明其线性收敛及存在连续代价的最优改进策略。
2023-07-13 math.OC
Optimal Control of Markov Processes with Age-Dependent Transition Rates
研究了转移率与年龄相关的马氏过程的最优控制。控制策略是基于过程的状态及其年龄随时间连续选择的。研究了无限期折现费用和无限期平均费用问题。我们的方法是通过一个等价的半马尔可夫决策过程的建设。我们的特点的价值函数和最优控制的折扣和平均成本的情况下。
2014-09-14 math.OC
Near-Optimal Time and Sample Complexities for Solving Discounted Markov Decision Process with a Generative Model
在本文中，我们考虑的问题，计算一个折扣马尔可夫决策过程（DMDP）的$ε$ -最优策略，我们只能通过一个生成的采样模型，给定任何状态-动作对样本的过渡函数在$O(1)$时间访问其过渡函数。给定具有状态$S$、动作$A$、折扣因子$γ\in(0,1)$和范围$[0, 1]$中的奖励的这样的DMDP，我们提供了一种算法，该算法计算具有概率$1 - δ$的$ε$ -最优策略，其中\emph{both}，所花费的时间和所采取的样本的数量由\[ O\left[\frac{|S||A|}{(1-γ)^3 ε^2} \log \left(\frac{|S||A|}{(1-γ)δε} \right) \log\left(\frac{1}{(1-γ)ε}\right)\right] ~. \]上界。这在先前最佳已知边界的基础上改进了$(1 - γ)^{-1}$的因子，并且与Azar等人（2013）中证明的样本复杂度下限匹配到对数因子。我们还扩展了我们的方法来计算$ε$ -最优策略的有限时域MDP与生成模型，并提供了一个几乎匹配的样本复杂度下限。
2019-06-05 math.OC
An Analysis of Primal-Dual Algorithms for Discounted Markov Decision Processes
组合优化领域中的一些著名算法可以用求解线性规划的原对偶方法来解释。例如，Dijkstra算法、Ford-Fulkerson算法和Hungarian算法都可以被看作是应用于它们各自的最优化问题的线性规划公式的原始-对偶方法。粗略地说，成功地将原始-对偶方法应用于可以被设定为线性规划的最优化问题，依赖于找到相关线性规划的最优解的简单表征的能力，称为“限制原始的对偶”（DRP）。本文的动机是以下问题：什么是算法，我们得到，如果我们应用原始-对偶方法的线性规划公式的折扣成本马尔可夫决策过程？我们将首先说明马尔可夫决策过程的几种广泛使用的算法可以用原始-对偶方法来解释，其中在每次迭代中用DRP的次优解更新值函数。然后，我们提供了最优解的DRP在封闭形式，并提出了算法，结果时，使用此解决方案更新值函数在每次迭代。与从次优DRP更新获得的算法不同，该算法保证在有限次数的迭代中产生最优值函数。最后，我们表明，迭代的原始对偶法可以被解释为重复应用的政策迭代算法的一类特殊的马尔可夫决策过程。当考虑到最近的结果表征的计算复杂性的政策迭代算法，这一观察可以提供新的见解解决折扣成本马尔可夫决策过程的计算复杂性。
2016-01-16 math.OC
Zero-sum Risk-sensitive Stochastic Games for Continuous Time Markov Chains
研究了可数状态空间上受控连续时间马尔可夫链的无限时域折扣费用和遍历费用风险敏感零和随机对策。对于折扣成本博弈，在名义条件下证明了马氏策略类的价值均衡和鞍点均衡的存在性。对于遍历代价博弈，通过研究相应的Hamilton-Jacobi-Isaacs方程，在一定的李雅普诺夫条件下，证明了值和鞍点平衡的存在性.
2016-03-08 math.OC
A unified algorithm framework for mean-variance optimization in discounted Markov decision processes
Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
研究了无限期折扣马尔可夫决策过程中风险厌恶的均值方差优化问题。所涉及的方差度量涉及整个过程中的奖励变化，未来的偏差被贴现到其现值。这种贴现均值-方差优化产生了依赖于贴现均值的报酬函数，这种依赖性使得传统的动态规划方法不适用，因为它抑制了一个关键的属性--时间一致性。为了处理这个非正统的问题，我们引入了一个伪平均值，将不可处理的MDP转换为一个标准的标准式的重新定义的报酬函数，并推导出一个折扣的均值-方差性能差异公式。利用伪均值，我们提出了一个统一的算法框架，具有双层优化结构的折扣均值-方差优化。该框架统一了多种算法的方差相关的问题，包括但不限于，风险规避方差和均值方差优化贴现和平均MDP。此外，收敛性分析从文献中缺失，可以补充拟议的框架以及。以数值迭代为例，提出了一种折现均值-方差数值迭代算法，并借助Bellman局部最优性方程证明了其收敛于局部最优值.最后，我们进行了一个数值实验的投资组合管理，以验证所提出的算法。
2022-01-15 cs.AI math.OC
Properties of Turnpike Functions for Discounted Finite Markov Decision Processes
Stony Brook University（石溪大学）；University of California San Diego（加州大学圣地亚哥分校）
本文针对有限状态动作集的折扣离散时间 MDP，研究 VIA 的收敛时间，设计算法检测不规则折扣因子，证明 turnpike 函数性质并求解小折扣因子下的 MDP。
2026-08-11 math.OC
Randomized Linear Programming Solves the Discounted Markov Decision Problem In Nearly-Linear (Sometimes Sublinear) Running Time
提出了一种新的随机线性规划算法来逼近折扣马尔可夫判定问题的最优策略。该算法利用价值-策略对偶和二叉树数据结构，自适应地对状态-动作-状态转换进行采样，并进行指数化的原始-对偶更新。我们发现，它发现了一个$ε$最优的政策，在最坏的情况下，使用接近线性的运行时间。当马尔可夫决策过程是遍历的，且以某些特殊的数据格式指定时，该算法利用运行时间对状态-动作对的总数是线性的，而对输入大小是次线性的，找到一个$ε$ -最优策略.这些结果为求解随机动态规划提供了一个新的场所和复杂性基准。
2017-09-13 cs.DS math.OC
Singularly perturbed linear programs and Markov decision processes
贴现和长期平均MDP的线性规划公式沿着不同的轨迹发展。2006年，E. Altman指出，贴现和长期平均MDP的两个线性规划公式很可能是奇摄动线性规划一般性质的表现。在本说明中，我们证明了这一点。
2016-11-21 math.OC
Continuity of Discounted Values and the Structure of Optimal Policies for Periodic-Review Inventory Control with Setup Costs
本文证明了在订货费用为\revision{continuous inventory levels,}固定，库存容量可能有界，订货量可能有界的情况下，在有限和无限的时间范围内，贴现-评论单商品总成本库存控制问题的价值函数的连续性.在这些约束模型中，有限和无限时域值函数是连续的，存在确定性马尔可夫最优有限时域策略，并且存在平稳确定性马尔可夫最优无限时域策略。对于库存量有界、订货量无界的模型，本文还刻画了$(s_t, S_t)$策略在有限时间内最优和$(s,S)$策略在无限时间内最优的条件.
2022-07-26 math.OC
AsyncQVI: Asynchronous-Parallel Q-Value Iteration for Discounted Markov Decision Processes with Near-Optimal Sample Complexity
Fudan University（复旦大学）；Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了AsyncQVI，折扣马尔可夫决策过程的过渡和奖励只能通过生成模型进行采样的一个并行Q值迭代。给定$|\mathcal{S}|$状态、$|\mathcal{A}|$动作和折扣因子$γ\in(0,1)$的这种问题，AsyncQVI使用大小为$\mathcal{O}(|\mathcal{S}|)$的存储器，并使用$$\tilde{\mathcal{O}}\big(\frac{|\mathcal{S}||\mathcal{A}|}{(1-γ)^5\varepsilon^2}\log(\frac{1}δ)\big)$$样本返回概率至少为$1-δ$的$\varepsilon$最优策略。AsyncQVI也是第一个折扣马尔可夫决策过程的并行算法，其样本复杂度几乎与理论下界相匹配。相对较低的内存占用和并行能力使AsyncQVI适合大规模应用。在数值测试中，我们比较了AsyncQVI与四种基于样本的值迭代法。实验结果表明，该算法具有很高的效率，并达到了线性并行加速比。
2020-02-22 cs.LG math.OC
Solving Ergodic Markov Decision Processes and Perfect Information Zero-sum Stochastic Games by Variance Reduced Deflated Value Iteration
最近，Sidford，Wang，Wu和Ye（2018）开发了一种将方差缩减技术与值迭代相结合的算法来求解折扣马尔可夫决策过程。当折扣因子固定时，该算法具有次线性复杂度。在这里，我们将这种方法推广到均值支付问题，包括马尔可夫决策过程和完美信息零和随机对策。我们得到次线性复杂性界，假设有一个区别的状态，这是从所有的初态和所有的政策。我们的方法是基于减少从平均支付问题的折扣问题的Doob h-变换，结合通货紧缩技术。该算法的复杂性分析同时使用Sidford等人开发的技术。在折扣情况下和非线性谱理论技术（Collatz-Wielandt特征值）。
2019-09-13 math.OC
Nonstationary Discounted Stochastic Games under Prospect Theory with Applications to the Smart Grid
本文针对前景理论下非平稳折扣非零和分散随机博弈，通过构造状态-动作对边际分布证明马尔可夫纳什均衡存在性，提出ε-均衡算法，并应用于智能电网产消者非合作博弈。
2024-05-15 math.OC
Stationary Markov Perfect Equilibria in Discounted Stochastic Games
在称为“（可分解的）粗转移核”的一般条件下，证明了随机对策中平稳马尔可夫完美均衡的存在性.这一结果涵盖了相关平衡，噪声随机对策，随机对策有限行动和状态独立的过渡，和随机对策的混合物作为特殊情况下的各种早期存在的结果。通过建立随机对策与对应的条件期望之间的新联系，提供了一个非常简单的证明。作为说明性的例子，随机对策的新应用，包括随机对策与内生冲击和随机动态寡头模型。
2017-01-21 math.OC q-fin.GN
Discrete-Time Approximations of Controlled Diffusions with Infinite Horizon Discounted and Average Cost
本文研究受控扩散过程无穷时域折扣与平均成本最优控制问题，通过构造离散时间马尔可夫链模型并利用弱收敛技术，证明离散模型的最优策略在采样周期趋近于零时对连续模型近最优，为受控扩散过程提供实用求解方法。
2025-02-08 math.OC
Globalized Robust Markov Perfect Equilibrium for Discounted Stochastic Games and its Application on Intrusion Detection in Wireless Sensor Networks: Part I -- Theory
在这篇文章中，我们研究了一个折扣随机博弈模型的无线传感器网络中的资源最优入侵检测。为了解决网络参数不确定性的问题，我们提出了一个全球化的折扣鲁棒随机博弈的鲁棒博弈理论框架。一个强大的解决方案所考虑的问题是一个最佳的点，是可行的所有实现的数据从一个给定的不确定性集。为了允许在参数移出不确定性集时有控制地违反约束，全球化鲁棒框架的概念应运而生。在这篇文章中，我们制定了一个全球化的鲁棒对应的折扣随机博弈考虑。借助全局鲁棒优化的思想，提出了全局鲁棒马尔可夫完美均衡的概念。当参与人的行动次数有限时，折扣随机博弈证明了这种均衡的存在性。利用压缩映射定理、Kakutani不动点定理和等度连续的概念证明了该结果的存在性。为了计算所考虑的折扣随机博弈的全球化鲁棒马尔可夫完美均衡，还提供了所提出的全球化鲁棒对应物的易于处理的表示。使用推导出的易处理的表示，我们制定了一个全球化的强大的无线传感器网络入侵检测系统。仿真结果表明，所提出的全球化解决方案是更少的数据扰动的敏感性比鲁棒解决方案。
2019-10-28 cs.GT math.OC
Comparing discounted and average-cost Markov Decision Processes: a statistical significance perspective
最优马尔可夫决策过程政策的有限状态和行动空间的问题，确定通过一个偏序比较的价值函数的状态。这被称为基于状态的最优性。本文确定当这种最优性保证某种形式的基于系统的最优性作为衡量的标量。四个这样的系统为基础的指标介绍。这些指标的单变量经验分布通过模拟获得，以评估理论上最优的政策是否提供了统计上显着的优势。使用Student t检验、Welch $t$检验和Mann-Whitney $U$检验进行。所提出的方法适用于排队论中的一个常见问题：准入控制。
2021-12-01 math.OC stat.AP
Stationary Markov Nash equilibria for nonzero-sum constrained ARAT Markov games
本文考虑了抽象可测状态空间上的非零和马氏对策，该状态空间具有紧度量行动空间。每个局中人的目标是在满足一定条件的条件下最大化各自的贴现支付函数。我们感兴趣的是纳什均衡或非合作均衡的存在性。在适当的条件下，包括转移相对于某些参考概率测度的绝对连续性，支付和转移概率的可加性（ARAT条件），以及系统转移的支付函数和密度函数的连续性，我们建立了一个约束平稳马尔可夫纳什均衡的存在性，即，每个玩家的平稳马尔可夫策略的存在产生所有历史相关的配置文件的类内的最佳配置文件。
2021-09-27 math.OC
Reduction of total-cost and average-cost MDPs with weakly continuous transition probabilities to discounted MDPs
本文描述了具有一般状态空间和动作空间，且具有弱连续转移概率的总费用和平均费用马尔可夫决策过程（MDP）可约化为折扣MDP的充分条件.对于非折扣问题，这些减少意味着最优性方程的有效性和存在的静态最优策略。这些约简还提供了计算最优策略的方法。结果被应用到一个容量限制的库存控制问题的固定成本和销售损失。
2017-11-18 math.OC
Linear Occupancy Homomorphisms for Discounted Markov Decision Processes
Daniel Guggenheim School of Aerospace Engineering, Georgia Institute of Technology（佐治亚理工学院丹尼尔·古根海姆航空航天学院）
本文提出线性占用同态（LOH），通过线性变换矩阵在占用度量空间上定义MDP同态，并给出验证条件、与软同态及鲁棒MDP的联系，以及保持最优值的充要条件，应用于改进鲁棒解和分解大型MDP。
2026-10-07 math.OC
Nonzero-Sum Risk Sensitive Stochastic Games for Continuous Time Markov Chains
研究可数状态空间上连续时间马尔可夫链的非零和随机对策，其代价为风险敏感折扣和遍历。对于折扣成本准则，我们首先表明，相应的耦合HJB方程组有一个适当的解决方案。然后在转移率矩阵和支付函数的附加可加结构下，建立了马尔可夫策略纳什均衡的存在性。对于遍历成本准则，我们假设一个李雅普诺夫型稳定性假设和一个小的成本条件。在这些假设下，我们证明了相应的耦合HJB方程组的系统承认一个解决方案，从而导致存在的纳什均衡的静态策略。
2016-03-08 math.OC
Infinite horizon discounted LQ optimal control problems for mean-field switching diffusions
本文针对带机制切换和平均场相互作用的随机系统，提出无限时域折扣LQ最优控制框架，通过两个代数Riccati方程构造最优反馈律并验证其最优性，为相关控制问题提供理论与数值工具。
2025-06-19 math.OC
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对折扣一般和马尔可夫博弈，在假设ETH与PPAD等价下证明独立学习无多项式时间算法，提出首个完全解耦的分层乐观镜像下降算法，保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
Strong Polynomiality of the Value Iteration Algorithm for Computing Nearly Optimal Policies for Discounted Dynamic Programming
本文给出了有限状态数和动作数的无限时域贴现马尔可夫决策过程的近似最优策略的数值迭代计算所需操作数的上界。对于一个给定的折扣因子，报酬函数的大小，并期望接近最优，这些上界是强多项式的状态-动作对的数量，和提供的上界之一具有的属性，它是一个非减函数的折扣因子的值。
2020-01-28 math.OC
Optimal stopping time on discounted semi-Markov processes
研究了费用率无界的半马尔可夫过程在折扣优化准则下的最优停时问题。在我们的工作中，我们介绍了一个明确的建设等价的半马尔可夫决策过程（SMDP）。这种等价性体现在SMPs和SMDP的价值函数上，即SMPs的每一个停时都能诱导出SMDP的一个策略，使得价值函数相等，反之亦然.利用这种等价关系证明了SMPs最优停时的存在性。其次，我们给出了值函数的最优性方程，并给出了一个有效的迭代算法，证明了最优和ε-最优停时可以用特殊集的首中时来刻画.最后，为了说明我们的结果的有效性，一个维修系统的例子。
2021-01-03 math.OC math.PR
Markov-Nash Equilibria in Mean-Field Games with Discounted Cost
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有有限数量智能体的离散时间均场博弈，考虑了无限 horizon 折扣成本优化准则，引入了马尔可夫-纳什均衡概念，证明了在智能体数量趋于无穷时均场均衡的存在性，并展示了在足够多智能体时该均衡策略近似为马尔可夫-纳什均衡。
2017-01-14 cs.SY eess.SY math.OC
Nonzero-sum Risk-sensitive Stochastic Games on a Countable State Space
研究了具有可数多个状态的受控马尔可夫链的无限时域风险敏感折扣成本和遍历成本非零和随机对策。在相当一般的条件下，我们证明了折扣成本博弈的纳什均衡策略在马尔可夫策略类中的存在性。在附加的几何遍历性条件和小代价准则下，证明了遍历代价对策的平稳马氏策略类中Nash均衡策略的存在性。
2016-03-11 math.OC
Reinforcement Learning for Multi-Objective and Constrained Markov Decision Processes
在本文中，我们考虑的问题的优化和学习的约束和多目标马尔可夫决策过程，折扣奖励和期望平均奖励。我们制定的零和对策的问题，其中一个球员（代理）解决马尔可夫判定问题，其对手解决了一个强盗最优化问题，我们在这里称之为马尔可夫-强盗游戏。我们将Q-学习推广到求解Markov-Bandit博弈，并证明了我们的新Q-学习算法收敛到零和Markov-Bandit博弈的最优解，从而收敛到约束多目标马尔可夫判定问题的最优解.我们提供了一个数值例子，我们计算出的最优策略，并通过模拟表明，该算法收敛到计算出的最优策略。据我们所知，这是第一次学习算法保证收敛到最佳的平稳策略的约束MDP问题的折扣和预期的平均回报，分别。
2021-03-04 math.OC
On the Convergence of Optimal Actions for Markov Decision Processes and the Optimality of $(s,S)$ Inventory Policies
本文研究了具有弱连续转移概率的折扣和平均成本马尔可夫决策过程（MDP）的最优值和最优行动的收敛性质，并将这些性质应用于具有缺货、正设置成本和凸持有/缺货成本的随机库存检查库存控制问题。对于可能具有非紧行动集和无界费用函数的MDP，建立了以下结果：（i）对于具有可能非零终端成本的贴现问题，值迭代收敛到最优值，（ii）对于总贴现成本，当时间范围趋于无穷大时，最优有限时间范围行动收敛到最优无限时间范围行动，和（iii）收敛的最优折扣成本行动的最优平均成本行动的无限时间的问题，折扣因子趋于1。应用于具有初始成本的库存控制问题，MDP的一般结果暗示了$(s,S)$策略的最优性和最优阈值的收敛性。特别地，本文分析了设置成本库存控制问题，而没有文献中经常使用的两个假设：（a）需求是离散的或连续的或（b）如果缺货库存量很大，则缺货成本高于缺货成本。
2017-03-20 math.OC
Finite Model Approximations for Partially Observed Markov Decision Processes with Discounted Cost
Ozyegin University（奥兹耶金大学）；Queen’s University（女王大学）
本文研究了部分观察马尔可夫决策过程在折扣成本下的有限模型近似方法，通过统一量化信念空间中的状态和动作空间，提出近似策略在信念空间MDP中近似最优，从而解决原始部分观察问题。
2017-10-19 cs.SY eess.SY math.OC
Beyond discounted returns: Robust Markov decision processes with average and Blackwell optimality
本文研究折扣回报之外的鲁棒马尔可夫决策过程，证明sa-矩形与s-矩形RMDP在平均最优性、Blackwell最优性上的差异结论，给出策略存在性条件与计算算法，凸显sa-矩形模型的实用优势。
2025-01-14 cs.GT math.OC
Discounted semi-Markov games with incomplete information on one side
本文研究了两人零和半马尔可夫博弈问题，其中一方信息不完全，观测完全。在开始时，系统根据给定的概率分布选择游戏类型，并仅通知玩家1。在每个阶段之后，双方玩家在进入下一阶段之前都要观察所选择的动作。首先，我们证明了在期望折扣准则和最优性方程下价值函数的存在性。其次，通过价值函数的最优性方程，给出了参与人1的最优策略的存在性和迭代算法。此外，对于不知情的参与人2的最优策略，我们定义了辅助对偶对策，并构造了对偶对策中价值函数的一个新的最优性方程，这意味着参与人2在对偶对策中最优策略的存在性。最后，利用对偶对策的结果给出了原对策中参与人2的最优策略的存在性和迭代算法。
2021-07-15 math.OC math.PR
On the Reduction of Total-Cost and Average-Cost MDPs to Discounted MDPs
本文给出了总费用和平均费用马尔可夫决策过程（MDP）可约化为折扣过程的条件。结果给出了瞬态总成本MDP的转移率的值可能大于1，以及平均成本MDP的转移概率满足的条件，有一个状态，使达到它的预期时间是一致有界的所有初态和平稳策略。特别是，这些减少意味着充分条件的有效性方程和存在的固定最优政策的MDP与未贴现的总成本和平均成本的标准。当状态和动作集是有限的，这些减少导致线性规划配方和复杂性估计的MDP根据上述标准。
2017-05-03 math.OC
Risk-sensitive Markov decision problems under model uncertainty: finite time horizon case
本文研究了一类具有模型不确定性的离散时间风险敏感马尔可夫控制问题。考虑了有限时间范围下的风险敏感贴现成本准则。所采用的方法是自适应鲁棒控制与机器学习相结合。
2021-04-14 math.OC
Optimal Control of Boolean Control Networks with Discounted Cost: An Efficient Approach based on Deterministic Markov Decision Process
研究了布尔控制网络在折扣代价准则下的无限时域最优控制问题。这个问题已经在现有的研究与算法，其特征在于高计算复杂性。因此，我们试图从确定性马尔可夫决策过程（DMDP）的角度来开发更有效的方法来解决这个问题。首先，我们证明了DMDP模型的BCN的控制过程的资格和最优解的存在。接下来，开发了两种方法来处理DMDP中的最优控制问题。一种方法采用著名的值迭代算法，和其他诉诸马达尼的算法专门设计的DMDP。后一种方法可以找到一个精确的最优解，并优于现有的方法在时间效率方面，而前值迭代为基础的方法通常得到一个接近最优的解决方案比所有其他的快得多。细菌\textit{E. coli}的9态4输入\textit{ara}操纵子网络被用来验证我们的方法的有效性和性能。结果表明，这两种方法可以减少运行时间显着的几个数量级相比，现有的工作。
2020-03-13 cs.SY eess.SY math.OC
On Minimizing Total Discounted Cost in MDPs Subject to Reachability Constraints
我们研究的综合政策的马尔可夫决策过程（MDP）之后，一个代理达到目标状态的MDP，同时最小化其总的折扣成本。该问题结合了可达性标准与折扣成本标准，自然地表示完成任务的概率保证和最佳的瞬态性能。我们首先建立一个最佳的政策考虑制定可能不存在，但总是存在一个接近最佳的平稳策略。我们还提供了一个充要条件的最优策略的存在。然后，我们限制我们的注意力固定的确定性策略，并表明，与最佳固定的确定性策略的合成判定问题是NP-完全的。最后，我们提供了一个基于混合整数线性规划的精确算法，并提出了一个有效的近似算法的基础上线性规划的最佳静态确定性策略的合成。
2021-03-16 math.OC
Nonzero-sum risk-sensitive stochastic differential games
研究了具有风险敏感折扣和遍历代价准则的两人非零和随机微分对策。在一定的条件下，我们建立了一个纳什均衡的马尔可夫战略的折扣成本标准和纳什均衡的平稳战略的遍历成本标准。我们通过研究耦合HJB方程的相关系统得到了我们的结果。
2016-04-05 math.OC
Benign Nonconvex Landscape for Policy Optimization: Infinite-Horizon Discounted MDPs with General State and Action Spaces
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Tech（佐治亚理工学院H.米尔顿·斯图尔特工业与系统工程学院）
本文针对一般状态与动作空间的无限时域折扣MDP，提出弱条件排除次优平稳点并建立PLK条件，验证于两类运营模型，给出策略梯度方法首次非渐近收敛率。
2026-09-21 math.OC
A Note on Optimization Formulations of Markov Decision Processes
本文总结了马尔可夫决策过程研究中使用的优化公式。我们考虑标准和熵正则化设置下的贴现和未贴现过程。对于每一个设置，我们首先总结了原始，对偶，和原始对偶问题的线性规划制定。然后，我们详细介绍了这些问题和其他配方的马尔可夫决策过程，如贝尔曼方程和政策梯度法之间的联系。
2020-12-17 math.OC
Approximate Constrained Discounted Dynamic Programming with Uniform Feasibility and Optimality
本文针对带一致可行性约束的无限时域折扣CMDP，提出一种动态规划方程，证明由其构造的策略在所有状态上达到最优值，并基于策略迭代思想设计了具有局部收敛性的离线和在线算法。
2023-08-07 math.OC
Long-run impulse control with generalised discounting
本文研究广义贴现对Feller-Markov过程长期脉冲控制的影响，证明贴现与未贴现问题最优值相同，且未贴现最优策略对贴现准则最优或近似最优，从而提供时间一致解并简化Bellman方程。
2023-09-29 math.OC
Average Cost Markov Decision Processes with Semi-Uniform Feller Transition Probabilities
研究了具有半一致Feller转移概率的平均费用马氏决策过程。这类MDP最近被作者引入研究不完全信息的MDP。本文研究了最优性不等式的有效性，最优策略的存在性，以及最优策略通过优化总贴现成本的策略来逼近最优策略。
2021-08-12 math.OC
Mean Field Markov Decision Processes
本文研究离散时间折扣奖励的平均场控制问题，证明最优策略存在性，并表明在个体数大且折扣因子接近1时，平均奖励最优策略对折扣问题ε-最优，且可通过静态优化和MCMC方法求解，应用于避免拥堵和最优定位。
2022-02-13 math.OC
Risk-sensitive control of continuous time Markov chains
研究了连续时间马尔可夫链在离散状态空间中取值的风险敏感控制问题。我们研究有限和无限的地平线问题。在有限时域问题中，我们通过HJB方程对值函数进行离散化，得到了最优马尔可夫控制。我们对无限期限折扣成本情况也做同样的事情。在无限水平平均成本的情况下，在一定的李雅普诺夫条件下，我们建立了最优平稳控制的存在性。我们还开发了一个策略迭代算法，找到一个最优控制。
2014-09-14 math.OC
Stochastic Setup-Cost Inventory Model with Backorders and Quasiconvex Cost Functions
本文研究了一类具有缺货和库存/缺货成本且满足拟凸性假设的单商品库存模型。我们表明，这种库存模型的马尔可夫决策过程满足的假设，导致折扣和平均成本问题的最优性方程的有效性和最优$(s,S)$政策的存在。特别地，我们证明了折扣值函数族的等度连续性和最优折扣下限阈值收敛到最优平均成本阈值，对于收敛到$1.$的某些折扣因子序列。如果可以订购任意非负数量的库存，我们建立了更强的收敛性质：（i）最佳折扣下阈值$s_α$收敛于最佳平均成本下阈值$s;$;（ii）折扣相对值函数收敛于平均成本相对值函数。这些收敛结果以前仅针对折扣因子的子序列而已知，即使对于具有凸持有/积压成本的问题也是如此。本文的结果举行的问题，确定性的积极的提前时间。
2017-11-08 math.OC
On the Optimality Equation for Average Cost Markov Decision Processes and its Validity for Inventory Control
众所周知，平均费用最优性不等式意味着单位时间平均费用的马尔可夫决策过程存在平稳最优策略，并且这些不等式在广泛的自然条件下成立。本文对具有弱连续转移概率和可能无界的一步费用和非紧行动集的无限状态问题，给出了平均费用最优性方程有效的充分条件.这些条件也意味着折扣相对值函数序列收敛于平均费用相对值函数和平均费用相对值函数的连续性。如本文所示，经典的库存检查库存控制问题满足这些条件。因此，对于这个问题，最优性不等式以具有连续平均成本相对值函数的等式的形式成立。此外，当折扣因子增大到1时，折扣相对值函数的$K$ -凸性及其收敛于平均费用相对值函数的性质，也隐含了平均费用相对值函数的$K$ -凸性.这意味着库存控制问题的平均成本最优$(s,S)$策略可以从平均成本最优性方程导出。
2016-10-02 math.OC
Finite-Horizon Constrained MDPs With Both Additive And Multiplicative Utilities
本文研究了有限时域约束马尔可夫决策过程的求解问题，其中目标和约束是加性效用和乘性效用。为了解决这个问题，我们构造了另一个CMDP，只有附加效用下的一组限制的政策，其最优值等于原来的CMDP。此外，我们提供了一个有限维双线性规划（BLP），其值等于CMDP值，其解决方案提供了最优策略。我们还提出了一个算法来解决这个BLP。
2023-03-15 math.OC math.PR
Policy stability and ultimate stationarity in discounted risk-sensitive stochastic control
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Jagiellonian University（雅盖隆大学）；Polish Academy of Sciences（波兰科学院）
本文研究了折扣风险敏感随机控制中策略的稳定性与最终平稳性，分析了风险厌恶参数和折扣因子扰动的鲁棒性，并通过数值示例展示了最优策略的非平稳性。
2026-08-25 math.OC math.PR
