Benign Nonconvex Landscape for Policy Optimization: Infinite-Horizon Discounted MDPs with General State and Action Spaces
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Tech（佐治亚理工学院H.米尔顿·斯图尔特工业与系统工程学院）
本文针对一般状态与动作空间的无限时域折扣MDP，提出弱条件排除次优平稳点并建立PLK条件，验证于两类运营模型，给出策略梯度方法首次非渐近收敛率。
2026-09-21 math.OC
MDPs with Setwise Continuous Transition Probabilities
本文描述了具有集态连续转移概率的无限状态马尔可夫决策过程的最优策略结构。动作集可以是非紧的。客观标准是预期的贴现和未贴现总成本或单位时间的平均成本。最优性方程和不等式的分析是基于本文所介绍的非紧函数的最优选择定理。
2021-07-31 math.OC
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
Faster Fixed-Point Methods for Multichain MDPs
本文研究了在平均奖励准则下求解一般多链马尔可夫决策过程的值迭代算法，提出改进的导航子问题解决方法，实现更快收敛速度和更精确的复杂度度量。
2026-04-21 cs.LG math.OC stat.ML
On the Convergence of Optimal Actions for Markov Decision Processes and the Optimality of $(s,S)$ Inventory Policies
本文研究了具有弱连续转移概率的折扣和平均成本马尔可夫决策过程（MDP）的最优值和最优行动的收敛性质，并将这些性质应用于具有缺货、正设置成本和凸持有/缺货成本的随机库存检查库存控制问题。对于可能具有非紧行动集和无界费用函数的MDP，建立了以下结果：（i）对于具有可能非零终端成本的贴现问题，值迭代收敛到最优值，（ii）对于总贴现成本，当时间范围趋于无穷大时，最优有限时间范围行动收敛到最优无限时间范围行动，和（iii）收敛的最优折扣成本行动的最优平均成本行动的无限时间的问题，折扣因子趋于1。应用于具有初始成本的库存控制问题，MDP的一般结果暗示了$(s,S)$策略的最优性和最优阈值的收敛性。特别地，本文分析了设置成本库存控制问题，而没有文献中经常使用的两个假设：（a）需求是离散的或连续的或（b）如果缺货库存量很大，则缺货成本高于缺货成本。
2017-03-20 math.OC
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧中心）；Adobe Research（奥多比研究院）；INRIA Lille（法国国立信息学及其应用研究院里尔中心）
在许多顺序决策问题中，我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而，优化许多这样的标准是已知的是一个困难的问题。在本文中，我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式，我们首先定义一个政策的可变性度量，这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个，我们推导出计算其梯度的公式。然后，我们设计的演员，评论家的算法，在三个时间尺度上操作-TD的最快的时间尺度上的评论家，一个策略梯度（演员）的中间时间尺度上，和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置，我们指出的困难，估计的方差的回报率的梯度，并结合同时扰动的方法来减轻这一点。另一方面，平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后，我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
A unified algorithm framework for mean-variance optimization in discounted Markov decision processes
Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
研究了无限期折扣马尔可夫决策过程中风险厌恶的均值方差优化问题。所涉及的方差度量涉及整个过程中的奖励变化，未来的偏差被贴现到其现值。这种贴现均值-方差优化产生了依赖于贴现均值的报酬函数，这种依赖性使得传统的动态规划方法不适用，因为它抑制了一个关键的属性--时间一致性。为了处理这个非正统的问题，我们引入了一个伪平均值，将不可处理的MDP转换为一个标准的标准式的重新定义的报酬函数，并推导出一个折扣的均值-方差性能差异公式。利用伪均值，我们提出了一个统一的算法框架，具有双层优化结构的折扣均值-方差优化。该框架统一了多种算法的方差相关的问题，包括但不限于，风险规避方差和均值方差优化贴现和平均MDP。此外，收敛性分析从文献中缺失，可以补充拟议的框架以及。以数值迭代为例，提出了一种折现均值-方差数值迭代算法，并借助Bellman局部最优性方程证明了其收敛于局部最优值.最后，我们进行了一个数值实验的投资组合管理，以验证所提出的算法。
2022-01-15 cs.AI math.OC
A Strongly Polynomial Reduction for Linear Programs over Grids
研究了网格上线性规划（Grid-LP）与带隐K-矩阵的广义线性互补问题（GLCP）之间的对偶关系。这两个问题，而且，共享其组合结构与折扣马尔可夫决策过程（MDPs）。通过提出GLCP的约简方案，我们得到了从Grid-LP到立方体上线性规划（Cube-LP）的强多项式约简。作为一个应用，我们得到了一个计划，以减少折扣MDP的二进制对应。这一结果也表明，立方LP是强多项式时间线性规划可解性的关键问题。然后，我们考虑两个球员的随机博弈作为一个自然的推广折扣MDP的完美信息。我们确定的子类的GLCPs与P-矩阵，对应于这些游戏，也提供了一个表征方面的独特的汇方向。一个强大的多项式减少从游戏到他们的二进制同行是通过我们减少网格LP的推广。
2015-01-26 cs.CC math.OC
Average Cost Markov Decision Processes with Semi-Uniform Feller Transition Probabilities
研究了具有半一致Feller转移概率的平均费用马氏决策过程。这类MDP最近被作者引入研究不完全信息的MDP。本文研究了最优性不等式的有效性，最优策略的存在性，以及最优策略通过优化总贴现成本的策略来逼近最优策略。
2021-08-12 math.OC
Recursive Entropic Risk Optimization in Discounted MDPs: Sample Complexity Bounds with a Generative Model
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
本文研究了在有限折扣马尔可夫决策过程（MDP）中使用递归熵风险度量（ERM）进行风险敏感强化学习的问题，引入了基于模型的算法Model-Based ERM Q-Value Iteration（MB-RS-QVI），并推导了该算法在价值学习和策略学习中的PAC型样本复杂性界，证明了在最坏情况下样本复杂性与|β|/(1-γ)呈指数关系，为递归ERM在风险规避和风险寻求情形下的样本复杂性提供了首次严格保证。
2026-05-18 cs.AI cs.LG math.OC
Infinite-Horizon Reinforcement Learning with Multinomial Logistic Function Approximation
KAIST（韩国科学技术院）
研究转移函数为MNL模型的强化学习，提出适用于平均与折扣奖励的高效值迭代算法，并给出新的遗憾上下界。
2024-10-14 cs.LG math.OC
Stochastic dominance-constrained Markov decision processes
我们感兴趣的是无限时域离散时间马尔可夫决策过程（MDP）的风险约束。从平均奖励MDP开始，我们发现，增加凹随机优势的奖励的经验分布的约束导致占领措施的线性约束。通过求解一个线性规划，得到了优势约束下的最优策略。我们计算这个线性规划的对偶，得到反映优势约束的平均动态规划最优性方程。特别地，一个新的定价项出现在对应于优势约束的最优性方程中。我们发现，许多类型的随机订单可以用来代替增加凹随机秩序。我们还进行了一个并行的开发折扣奖励MDP随机优势约束。最后给出了一个投资组合优化的例子。
2012-06-20 math.OC
When do discounted-optimal policies also optimize the gain?
本文研究折扣最优策略何时同时为增益最优，给出折扣因子阈值的紧上界，并提出一个可在遍历MDP上多项式时间计算的较弱界以解决可计算性问题。
2023-04-17 cs.SY eess.SY math.OC
The Plug-in Approach for Average-Reward and Discounted MDPs: Optimal Sample Complexity Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对平均奖励MDP的ε-最优策略学习问题，提出无需先验信息的插件方法，理论分析其样本复杂度，证明在直径、混合时间、跨度等场景下达到最优，填补理论空白并改进折扣MDP插件方法结果。
2025-02-11 cs.IT cs.LG math.IT
Approximate Constrained Discounted Dynamic Programming with Uniform Feasibility and Optimality
本文针对带一致可行性约束的无限时域折扣CMDP，提出一种动态规划方程，证明由其构造的策略在所有状态上达到最优值，并基于策略迭代思想设计了具有局部收敛性的离线和在线算法。
2023-08-07 math.OC
Policy Evaluation in Continuous MDPs with Efficient Kernelized Gradient Temporal Difference
我们考虑无限空间的无限时域折扣马尔可夫判定问题（MDP）的政策评估。我们重新制定这个任务的组合随机规划的函数值的决策变量，属于再生核希尔伯特空间（RKHS）。我们通过一个新的随机准梯度法操作与随机稀疏子空间投影的功能推广来解决这个问题。其结果是梯度时间差分学习的扩展，产生非线性参数化的Bellman评估方程的解的值函数估计。我们的主要贡献是一个内存有效的非参数随机方法，保证准确收敛到Bellman不动点的概率$1$与衰减步长。此外，在步长不变的情况下，我们得到了平均收敛到一个邻域，并且值函数估计具有有限的复杂性。在山车域中，我们观察到更快的收敛到更低的贝尔曼错误的解决方案比现有的方法所需的内存的一小部分。
2020-05-17 math.OC
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）；Gran Sasso Science Institute - GSSI（格兰萨索科学研究院（GSSI））
在本文中，我们考虑解决折扣马尔可夫决策过程（MDP）的约束下，所产生的政策是稳定的。实际上，MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果，建议使用模型预测控制（MPC）作为强化学习背景下的结构化策略，使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案，以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此，我们将首先在本文中表明，稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略，如果贴现MDP是稳定的，则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Solving Reach- and Stabilize-Avoid Problems Using Discounted Reachability
Mechanical and Aerospace Engineering at UC San Diego（加州大学圣迭戈分校机械与航空航天工程系）
本文针对一般非线性连续时间系统中的无限时间可达-避（RA）和稳定-避（SA）零和博弈问题，提出了一种新的Lipschitz连续RA价值函数，该函数的零子水平集精确刻画了RA集，并通过构造Bellman备份算子的合同性以及证明RA价值函数是Hamilton-Jacobi变分不等式的唯一粘性解，从而解决了RA问题。同时，通过结合最近提出的鲁棒控制Lyapunov-价值函数，开发了两步框架来解决SA问题，确保目标可达性和长期稳定性。最后，通过3D Dubins车系统数值验证了所提方法的有效性。
2026-05-18 cs.RO cs.SY eess.SY
Measurized Markov Decision Processes
The University of Chicago, Booth School of Business（芝加哥大学布斯商学院）；UNSW Business School（新南威尔士大学商学院）
本文将马尔可夫决策过程提升至概率测度空间，提出测度化MDP框架，展示其作为随机MDP的推广，具有更易操作的性质和更简单的证明，同时通过代数提升程序展示其整合约束与价值函数的潜力。
2026-04-08 math.OC
Primal-Dual Stochastic Mirror Descent for MDPs
研究了无限时域马尔可夫决策过程的最优策略学习问题。为此，本文对具有Lipschitz连续泛函的凸规划问题提出了随机镜像下降的一种变形。一个重要的细节是使用函数约束的不精确值和计算对偶变量值的能力。我们分析了这种算法在一般情况下，并获得估计的收敛速度，不积累错误的操作过程中的方法。使用该算法，我们得到了第一个将平均奖励MDP与生成模型混合而不减少折扣MDP的并行算法。所提出的方法的主要特征之一是在分布式集中式设置中的低通信成本，即使是非常大的网络。
2022-02-27 math.OC stat.ML
Policy stability and ultimate stationarity in discounted risk-sensitive stochastic control
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Jagiellonian University（雅盖隆大学）；Polish Academy of Sciences（波兰科学院）
本文研究了折扣风险敏感随机控制中策略的稳定性与最终平稳性，分析了风险厌恶参数和折扣因子扰动的鲁棒性，并通过数值示例展示了最优策略的非平稳性。
2026-08-25 math.OC math.PR
Near Optimality of Quantized Policies in Stochastic Control Under Weak Continuity Conditions
本文研究了一类非常一般的马尔可夫决策过程（MDP）的量化（离散）策略对最优控制策略的逼近。该问题的动机是在网络控制系统，计算方法的MDP，和学习算法的MDP的应用。我们考虑了在转移概率的弱连续性假设下，具有折扣和平均费用的离散时间马尔可夫决策过程的平稳策略的有限作用近似，这是对早期文献中所要求的条件的一个显著放宽.离散化是建设性的，量化的政策，以近似最佳的确定性平稳策略任意精度。结果被施加到完全观察到的部分观察马尔可夫决策过程，其中弱连续性是一个更合理的假设比更严格的条件，如强连续性或连续性在全变差。
2015-05-13 math.OC
Policy Gradient Algorithms in Average-Reward Multichain MDPs
Seoul National University（首尔大学）；UCLA（加州大学洛杉矶分校）
本文提出了一种针对平均奖励多链MDP的策略梯度算法，通过建立策略梯度定理并分析收敛性和样本复杂度，实现了正政策下的ε-最优策略。
2026-02-20 cs.CC math.OC
Refined Policy Improvement Bounds for MDPs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Cornell University（康奈尔大学）
基于贴现收益差的策略改进约束是信赖域策略优化算法的理论基础。当折扣因子接近1时，现有的界导致退化界，使得TRPO和相关算法的适用性受到质疑。我们完善的结果在\cite{Schulman2015, Achiam2017}，并提出了一个新的界是“连续”的折扣因子。特别是，我们的界限也适用于具有长期平均奖励的MDP。
2021-07-16 cs.AI cs.LG math.OC
Non-Convex Global Optimization as an Optimal Stabilization Problem: Dynamical Properties
Imperial College London（伦敦帝国学院）；University of Graz（格拉茨大学）
该研究通过最优控制理论处理非凸全局优化问题，证明折扣控制问题的（准）最优轨迹可全局实际渐近收敛到全局极小值点集，无需求解遍历型HJB方程，并针对三种问题形式给出结果。
2025-11-13 math.OC
Thompson Sampling for Infinite-Horizon Discounted Decision Processes
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；United Airlines（美国联合航空公司）；UNSW Business School, UNSW（新南威尔士大学商学院）
本文提出了一种适用于更广泛场景的学习概念，通过将折扣无限时间MDP建模为具有Borel状态和动作空间的马尔可夫决策过程，并引入新的度量标准来分析适应性学习算法，证明了汤普森采样在特定条件下能实现完全学习。
2026-09-22 cs.LG math.OC stat.ML
Properties of Turnpike Functions for Discounted Finite Markov Decision Processes
Stony Brook University（石溪大学）；University of California San Diego（加州大学圣地亚哥分校）
本文针对有限状态动作集的折扣离散时间 MDP，研究 VIA 的收敛时间，设计算法检测不规则折扣因子，证明 turnpike 函数性质并求解小折扣因子下的 MDP。
2026-08-11 math.OC
Span-Based Optimal Sample Complexity for Weakly Communicating and General Average Reward MDPs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究平均奖励MDP的样本复杂度，提出基于跨度H和瞬态时间B的极小极大最优界，并通过改进折扣MDP分析实现二次视界依赖。
2024-06-04 cs.IT cs.LG math.IT
Optimal Non-Asymptotic Rates of Value Iteration for Average-Reward Markov Decision Processes
Seoul National University（首尔大学）；UCLA（加州大学洛杉矶分校）
本文研究了平均奖励马尔可夫决策过程的价值迭代的非渐近收敛速率，提出了锚定价值迭代的O(1/k)速率结果及跨度基于复杂度下界。
2026-02-09 math.OC
Span-Based Optimal Sample Complexity for Average Reward MDPs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究生成模型下平均奖励MDP的最优策略学习，通过将其归约为折扣MDP并开发基于偏置函数跨度的改进方差上界，首次在所有参数上实现了极小极大最优的样本复杂度。
2024-03-19 cs.IT cs.LG math.IT
Another Look at Partially Observed Optimal Stochastic Control: Existence, Ergodicity, and Approximations without Belief-Reduction
本文提出研究部分观测马尔可夫决策过程最优控制的替代视角，通过定义无穷维乘积空间马尔可夫链避免信念归约，在折扣和平均成本准则下给出最优策略存在的新充分条件，并建立有限窗口策略的近最优性及非线性滤波不变测度的新条件。
2024-12-18 math.OC
Efficient Global Planning in Large MDPs via Stochastic Primal-Dual Optimization
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出了一种新的随机原始-对偶优化算法，用于求解具有生成模型和线性函数逼近的大折扣马尔可夫决策过程的规划问题。假设特征图近似满足标准的可实现性和贝尔曼封闭性条件，并且所有状态-动作对的特征向量都可表示为状态-动作对的小核心集的凸组合，我们证明了我们的方法在对生成模型进行多项式次数的查询后输出接近最优的策略。我们的方法是计算效率高，它的主要优点是，它输出一个单一的softmax政策，是compatible表示的低维参数向量，并不需要在运行时执行计算昂贵的本地规划子程序。
2023-01-31 cs.LG math.OC
Policy Iteration Is Not Strongly Polynomial for Deterministic Markov Decision Processes: The Price of Algorithmic Anarchy
Shanghai Jiao Tong University（上海交通大学）；SIMIS（上海数学与交叉学科研究院）；Stanford University（斯坦福大学）
该研究证明霍华德策略迭代在确定性折扣MDP上具有指数迭代下界，排除其强多项式性，并与单纯形法形成指数分离，揭示算法无政府状态的价格。
2026-10-14 cs.DS cs.LG math.OC
Consistent inverse optimal control for infinite time-horizon discounted nonlinear systems under noisy observations
Shanghai Jiao Tong University（上海交通大学）；Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学）
本文提出了一种针对无限时间 horizon 折扣非线性系统在噪声观测下的逆最优控制方法，通过占据测度框架和多项式近似，实现鲁棒且一致的成本函数恢复。
2026-02-08 math.OC
Learning Infinite-Horizon Average-Reward Linear Mixture MDPs of Bounded Span
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）
本文针对无限时域平均奖励线性混合MDP，提出一种结合跨度裁剪值迭代与加权岭回归的计算可行算法，实现了近极小极大最优遗憾界。
2024-10-19 cs.LG math.OC
Learning Policy from a Single Trajectory in Average-Reward Markov Decision Process
Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对弱通信平均奖励MDP，首次从单条轨迹建立有限样本复杂度保证，提出无模型方法，值函数和策略方法分别达到$\widetilde{O}(1/\varepsilon^2)$和$\widetilde{O}(1/\varepsilon^4)$的样本复杂度。
2026-06-16 cs.LG math.OC
Efficient Solving of Large Single Input Superstate Decomposable Markovian Decision Process
Efrei Research Lab, Université Paris-Panthéon-Assas, Villejuif, 94800, France（埃弗里研究实验室，巴黎- panthéon-assas大学，维勒福）
针对大状态空间下无限时域马尔可夫决策过程策略评估计算量大的问题，提出结合单输入分解与单循环递推性质的SISDMDP结构，基于该结构开发的精确高效策略评估方法可适配两类回报设定的可扩展求解。
2025-08-01 cs.LG cs.PF math.OC
Near-Optimal Sample Complexity for MDPs via Anchoring
本研究提出结合递归采样与Halpern锚定迭代的无模型算法，在弱通信平均奖励MDPs中实现了近最优的样本与时间复杂度，无需先验知识且保证有限时间终止，还可拓展至折扣MDPs场景。
2025-06-13 cs.DS math.OC
Linear Mean-Field Games with Discounted Cost
在本文中，我们介绍了离散时间线性平均场游戏的无限时域折扣成本最优性准则。一般代理的状态空间是紧Borel空间。每一次，每个代理都通过它们的动态和一级代价函数与另一个代理随机耦合，其中这种随机化是通过它们的状态的经验分布生成的（即，平均场项）。因此，每个代理的转移概率和一阶段代价函数线性依赖于平均场项，这是经典平均场博弈与线性平均场博弈的关键区别。在温和的假设下，证明了当代理人$N$的数目足够大时，从无限种群均衡中得到的策略是$\varepsilon(N)$ -Nash，其中$\varepsilon(N)$是$N$的显式函数.然后，利用MDP的线性规划公式和转移概率在平均场项下的线性性，将无限种群极限下的博弈表示为广义Nash均衡问题（GNEP），并建立了一个具有收敛保证的均衡计算算法.
2023-01-15 cs.SY eess.SY math.OC
On the Convergence of Success Conditioning for Policy Optimization
Massachusetts Institute of Technology（麻省理工学院）
本文研究成功条件化策略在随机环境中的收敛性，证明其在广泛MDP类上收敛到最优策略，并给出折扣和单周期情形下的收敛速率。
2026-10-05 cs.LG math.OC
Sharp Convergence and Sample Complexity of Policy Mirror Descent for Average-Reward MDPs
The Ohio State University（俄亥俄州立大学）
本文针对平均奖励MDPs中的策略镜像下降，提出统一主递归分析，证明精确、非精确表格及线性函数逼近下的线性收敛，并将LFA样本复杂度从$t_{\mathrm{mix}}^5$改进至$t_{\mathrm{mix}}^3/\varepsilon^2$，且证明该复杂度不可改进。
2026-11-03 cs.LG math.OC
Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach
University of Alberta（阿尔伯塔大学）
针对多链MDP的平均奖励强化学习，提出基于Bather分解的层次化异步值迭代算法，收敛到最优增益并生成增益最优策略，进一步扩展两种算法提升瞬态性能，为一般多链MDP提供首批无模型平均奖励RL方法。
2026-10-08 cs.LG math.OC
Robustness to Model Approximation, Model Learning From Data, and Sample Complexity in Wasserstein Regular MDPs
Queen’s University（女王大学）
本文研究了Wasserstein正则马尔可夫决策过程中的模型近似鲁棒性、模型从数据学习及样本复杂性，探讨了在真实动态下最优策略的性能损失与Wasserstein距离的关系，并应用于扰动估计和经验模型学习。
2026-07-23 cs.SY eess.SY math.OC
Asymptotic Optimality of Finite Approximations to Markov Decision Processes with Borel Spaces
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学协调科学实验室）；Department of Mathematics and Statistics, Queen’s University（女王大学数学与统计系）
本文研究了Borel空间中马尔可夫决策过程的有限状态近似，证明了在折扣和平均成本标准下，所得的平稳策略能以任意精度逼近最优策略，并给出了收敛速率的明确界。
2016-09-22 cs.SY eess.SY math.OC
Q-learning with Nearest Neighbors
Laboratory for Information and Decision Systems（信息与决策系统实验室）；Massachusetts Institute of Technology（麻省理工学院）
考虑了具有连续状态空间和未知转移核的无限时域折扣马尔可夫决策过程（MDP）的无模型强化学习，当系统的任意策略下只有单个样本路径可用时.我们考虑最近邻Q学习（NNQL）算法学习最佳Q函数使用最近邻回归方法。作为主要贡献，我们提供了紧有限样本分析的收敛速度。特别地，对于具有$d$维状态空间和折扣因子$γ\in (0,1)$的MDP，给定具有“覆盖时间”$ L $的任意样本路径，我们建立该算法保证使用$\tilde{O}\big(L/(\varepsilon^3(1-γ)^7)\big)$样本输出最优Q函数的$\varepsilon$精确估计。例如，对于行为良好的MDP，在纯随机策略下样本路径的覆盖时间缩放为$ \tilde{O}\big(1/\varepsilon^d\big),$，因此样本复杂度缩放为$\tilde{O}\big(1/\varepsilon^{d+3}\big).$。事实上，我们建立了一个下界，认为$ \tildeΩ\big(1/\varepsilon^{d+2}\big)$的依赖性是必要的。
2018-10-23 cs.LG math.OC stat.ML
Probabilistic Safety Guarantee for Stochastic Control Systems Using Average Reward MDPs
University of New Hampshire（新罕布什尔大学）
针对随机控制系统因状态变量不可预测演化难以满足安全约束的问题，提出将安全目标转化为平均奖励MDP目标的算法，通过线性规划计算安全策略，在双积分器和倒立摆系统验证得该方法比最小折扣奖励解更优。
2025-11-11 cs.LG cs.RO cs.SY
Model approximation in MDPs with unbounded per-step cost
McGill University（麦吉尔大学）；University of Southern California（南加州大学）；Preferred Networks America
针对无界单步成本的无限视界折扣 MDP，本文通过界定值函数差值的加权范数并结合单步成本仿射变换，为近似模型最优策略在原始模型中的性能提供了误差上界。
2024-02-13 cs.LG cs.SY eess.SY
Bellman Optimality of Average-Reward Robust Markov Decision Processes with a Constant Gain
本文研究了鲁棒马尔可夫决策过程中的平均奖励问题，通过分析常增益设置，探讨了鲁棒贝尔曼方程的解存在性及其与最优平均奖励的关系，为长期平均标准下的鲁棒动态决策提供了理论基础。
2026-10-21 cs.LG math.OC
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
在不确定性问题下的一大类决策可以通过马尔可夫决策过程（MDP）或部分可观测MDP（POMDP）来描述，并应用于人工智能和运筹学等。传统上，策略合成技术被提出，使得总期望成本或回报最小化或最大化。然而，在总的预期成本意义上的最优性是合理的，如果在大量的运行系统的行为是感兴趣的，这限制了使用这样的政策在实际的任务关键的情况下，其中从预期的行为大的偏差可能会导致任务失败。在本文中，我们考虑的问题，设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施，我们称之为约束风险厌恶问题。对于MDP，我们通过拉格朗日框架将问题转化为infsup问题，并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP，我们证明了制定的优化问题的形式是差分凸规划（DCP），可以解决纪律凹凸规划（DCCP）的框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs，我们表明，如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射，一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器（FSC），我们表明，后者的优化简化为（有限维）DCP，可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
Convergence and sample complexity of natural policy gradient primal-dual methods for constrained MDPs
University of Tennessee, Knoxville（田纳西大学）；University of Maryland, College Park（马里兰大学）；Apple Inc.（苹果公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对约束马尔可夫决策过程，提出自然策略梯度原始-对偶方法，实现非凸优化下全局次线性收敛且维度无关，并提供样本复杂度保证与实验验证。
2025-10-15 cs.AI cs.LG cs.SY
