Randomized Linear Programming Solves the Discounted Markov Decision Problem In Nearly-Linear (Sometimes Sublinear) Running Time
提出了一种新的随机线性规划算法来逼近折扣马尔可夫判定问题的最优策略。该算法利用价值-策略对偶和二叉树数据结构，自适应地对状态-动作-状态转换进行采样，并进行指数化的原始-对偶更新。我们发现，它发现了一个$ε$最优的政策，在最坏的情况下，使用接近线性的运行时间。当马尔可夫决策过程是遍历的，且以某些特殊的数据格式指定时，该算法利用运行时间对状态-动作对的总数是线性的，而对输入大小是次线性的，找到一个$ε$ -最优策略.这些结果为求解随机动态规划提供了一个新的场所和复杂性基准。
2017-09-13 cs.DS math.OC
Approximate Constrained Discounted Dynamic Programming with Uniform Feasibility and Optimality
本文针对带一致可行性约束的无限时域折扣CMDP，提出一种动态规划方程，证明由其构造的策略在所有状态上达到最优值，并基于策略迭代思想设计了具有局部收敛性的离线和在线算法。
2023-08-07 math.OC
Sufficiency of Deterministic Policies for Atomless Discounted and Uniformly Absorbing MDPs with Multiple Criteria
本文研究了具有无原子初态分布和无原子转移概率的马尔可夫决策过程。这样的MDP被称为无原子的。初态分布被认为是固定的。我们发现，折扣MDPs与有界的一步奖励向量函数，对于每一个政策存在一个确定性的（即，非随机和固定）的政策，具有相同的性能向量。本文首先对一类更一般的具有期望总费用的一致吸收MDP证明了这一事实，然后在一定的假设下将其推广到具有无界报酬的MDP。对于具有多个准则和约束的问题，本文的结果意味着，对于本文研究的无原子MDP，仅考虑确定性策略就足够了，而在没有无原子假设的情况下，众所周知，随机策略可以优于确定性策略。我们还提供了一个例子的MDP证明，如果一个向量测量定义在一个标准的Borel空间，然后李雅普诺夫凸性定理是一个特殊的情况下所描述的结果。
2018-10-25 math.OC
Robust Recurrence of Discrete-Time Infinite-Horizon Stochastic Optimal Control with Discounted Cost
本文分析了非线性离散时间随机系统在最小化无限时域折扣成本的最优输入下的稳定性，证明了闭环系统在成本可控性与可检测性假设下满足一致半全局实际回归性，且该性质在额外连续性假设下具有鲁棒性。
2025-04-29 cs.SY eess.SY math.OC
A Linear Programming Formulation for Constrained Discounted Continuous Control for Piecewise Deterministic Markov Processes
本文研究了一般Borel空间中分段确定马尔可夫过程（PDMP）的约束折扣控制问题。控制变量作用于跳变率和转移测度，目标是最小化由正运行成本和边界成本组成的总期望贴现成本，同时满足这种形式的一些约束。其基本思想是，通过使用PDMP的特殊功能，重写的问题，通过一个嵌入的离散时间马尔可夫链相关联的的PADMP和重新制定的问题作为一个无限维线性规划（LP）的问题，通过占用措施相关联的离散时间过程。重要的是要强调，然而，我们的新的离散时间问题是不是在一个一般的约束离散时间马尔可夫决策过程的相同的框架，由于这一点，需要一些条件来获得连续时间问题和LP公式之间的等价性。在[8]中定理4.1的推广的基础上，我们在下一章中给出了相关线性规划问题可解的充分条件。在附录中，我们提出了这个推广的证明，我们相信，它本身是有趣的。最后，通过一些例子说明了所得结果。
2014-02-25 math.OC
Avoiding Semi-Infinite Programming in Distributionally Robust Control Based on Mean-Variance Metrics
Toyota Central R&D Labs., Inc.（丰田中央研究所）；Toyota Motor Corporation（丰田汽车公司）
本文提出了一种基于均方指标的分布鲁棒控制方法，通过引入惩罚项将DRC问题转化为均方优化问题，从而避免了无限规划的使用。
2026-03-10 cs.SY eess.SY math.OC
On Minimizing Total Discounted Cost in MDPs Subject to Reachability Constraints
我们研究的综合政策的马尔可夫决策过程（MDP）之后，一个代理达到目标状态的MDP，同时最小化其总的折扣成本。该问题结合了可达性标准与折扣成本标准，自然地表示完成任务的概率保证和最佳的瞬态性能。我们首先建立一个最佳的政策考虑制定可能不存在，但总是存在一个接近最佳的平稳策略。我们还提供了一个充要条件的最优策略的存在。然后，我们限制我们的注意力固定的确定性策略，并表明，与最佳固定的确定性策略的合成判定问题是NP-完全的。最后，我们提供了一个基于混合整数线性规划的精确算法，并提出了一个有效的近似算法的基础上线性规划的最佳静态确定性策略的合成。
2021-03-16 math.OC
Continuity of Discounted Values and the Structure of Optimal Policies for Periodic-Review Inventory Control with Setup Costs
本文证明了在订货费用为\revision{continuous inventory levels,}固定，库存容量可能有界，订货量可能有界的情况下，在有限和无限的时间范围内，贴现-评论单商品总成本库存控制问题的价值函数的连续性.在这些约束模型中，有限和无限时域值函数是连续的，存在确定性马尔可夫最优有限时域策略，并且存在平稳确定性马尔可夫最优无限时域策略。对于库存量有界、订货量无界的模型，本文还刻画了$(s_t, S_t)$策略在有限时间内最优和$(s,S)$策略在无限时间内最优的条件.
2022-07-26 math.OC
Finite-State Approximations to Discounted and Average Cost Constrained Markov Decision Processes
本文研究了离散时间约束马尔可夫决策过程在折扣和平均费用准则下的有限状态逼近问题。利用带约束的折扣费用问题的线性规划公式，证明了有限状态模型的最优值到原模型的最优值的渐近收敛。通过进一步的转移概率的连续性条件，我们还建立了一种计算近似最优策略的方法。对于平均成本，而不是使用有限状态线性规划近似方法，我们使用原来的问题定义，建立有限状态渐近近似的约束问题，并计算近似最优的政策。根据Lipschitz型正则性条件下的组件的MDP，我们还获得了明确的收敛速率界量化的近似如何提高作为大小的近似有限状态空间的增加。
2018-07-09 math.OC
Linear Mean-Field Games with Discounted Cost
在本文中，我们介绍了离散时间线性平均场游戏的无限时域折扣成本最优性准则。一般代理的状态空间是紧Borel空间。每一次，每个代理都通过它们的动态和一级代价函数与另一个代理随机耦合，其中这种随机化是通过它们的状态的经验分布生成的（即，平均场项）。因此，每个代理的转移概率和一阶段代价函数线性依赖于平均场项，这是经典平均场博弈与线性平均场博弈的关键区别。在温和的假设下，证明了当代理人$N$的数目足够大时，从无限种群均衡中得到的策略是$\varepsilon(N)$ -Nash，其中$\varepsilon(N)$是$N$的显式函数.然后，利用MDP的线性规划公式和转移概率在平均场项下的线性性，将无限种群极限下的博弈表示为广义Nash均衡问题（GNEP），并建立了一个具有收敛保证的均衡计算算法.
2023-01-15 cs.SY eess.SY math.OC
Heuristic and exact fixation-based approaches for the discounted 0-1 knapsack problem
在本文中，我们考虑折扣0-1背包问题（DKP），这是一个经典的背包问题，其中一组项目被分解成三个项目的组的扩展。每组最多只能选择一个物品，目标是在遵守背包容量约束的情况下，最大化所选物品的总利润。在文献中，DKP是一个相对较新的问题。在本文中，我们提出了一个两阶段的方法，在该方法中，通过应用精确和/或启发式固定规则，可以被视为预处理阶段的第一阶段，减少了问题。剩下的问题可以通过动态规划来解决。在文献中的可用实例上进行的实验表明，固定技术是非常有用的，以解决这些情况。实际上，预处理阶段大大减少了这些实例的大小，从而显著减少了动态规划提供最优解所需的时间。
2022-01-04 math.OC
Singularly perturbed linear programs and Markov decision processes
贴现和长期平均MDP的线性规划公式沿着不同的轨迹发展。2006年，E. Altman指出，贴现和长期平均MDP的两个线性规划公式很可能是奇摄动线性规划一般性质的表现。在本说明中，我们证明了这一点。
2016-11-21 math.OC
Discounted Cost Linear Quadratic Gaussian Control for Descriptor Systems
研究了广义系统在无限时域上具有折扣代价泛函的线性二次型高斯控制问题。基于最近的结果，从确定性框架，我们使用线性矩阵不等式描述这个问题的可行性。特别是，最优控制的存在性和唯一性的条件，这是较弱的文献中的标准方法相比。进一步证明了对于随机问题，最优控制也是由Lur 'e方程的稳定解给出的，Lur' e方程推广了代数Riccati方程.
2020-04-19 math.OC
Dual-Based Weight Selection for Approximate Linear Programming
Rice University（莱斯大学）；University of Toronto（多伦多大学）；York University（约克大学）
针对近似线性规划权重选择的问题，提出基于对偶解投影占用信息的自适应权重更新方法，在更低计算成本下提升策略质量，且收敛性有保障。
2026-08-26 cs.SY eess.SY math.OC
An Error Bound for Aggregation in Approximate Dynamic Programming
本文针对折扣有限状态无限时域动态规划问题，提出一般聚合框架，并推导出聚合问题与原始问题最优代价函数之间的误差界，将Tsitsiklis和van Roy的硬聚合结果推广到软聚合和基于特征的聚合方案。
2025-07-02 cs.SY eess.SY math.OC
Primal-dual programs for the constrained optimal impulse control: discounted model
本文针对确定性系统的约束最优脉冲控制问题，提出测度中的原始-对偶凸规划并建立对偶结果，进而给出求解最优$(J+1)$-混合策略的一般程序，并用实例验证。
2025-04-25 math.OC
Fast Approximate Dynamic Programming for Infinite-Horizon Markov Decision Processes
在本研究中，我们考虑具有可分离成本及状态与输入变量受限制之随机非线性系统之无限时域、折扣成本最优控制。利用线性时间勒让德变换，我们提出了一种新的数值方案，实现相应的值迭代（VI）算法的共轭域。详细分析了算法的收敛性、时间复杂度和误差。特别是，与离散化的大小$X$和$U$的状态和输入空间，分别，所提出的方法降低了时间复杂度的VI算法从$O(XU)$到$O(X+U)$，通过取代的最小化操作在原始域中的共轭域中的一个简单的除了。
2022-03-17 cs.SY eess.SY math.OC
Undiscounted Control Policy Generation for Continuous-Valued Optimal Control by Approximate Dynamic Programming
本文提出了一种数值方法，用于生成与一般连续状态变量的无折扣、定值、无限时域、非线性最优控制问题有关的状态反馈控制策略。该方法基于近似动态规划，与近似策略迭代密切相关。现有方法通常基于控制策略的收敛而终止，并且要么需要折扣问题公式化，要么要求费用函数位于函数的特定子类中。所提出的方法扩展了现有的终止标准，要求控制策略和由此产生的系统状态收敛，允许使用未贴现的有界和连续的费用函数。本文定义了数值方法，推导了相关的数学性质，并通过典型算例验证了数值方法的有效性。带有所示示例的MATLAB实现是免费提供的。
2021-04-22 cs.SY eess.SY math.OC
Mean-Variance Optimization of Discrete Time Discounted Markov Decision Processes
本文研究了无限时域离散时间折扣马尔可夫决策过程（MDP）的均值-方差最优化问题。目标是在平均性能约束下最小化系统报酬方差。不同于文献中大多数要求平均性能已经达到最优的工作，我们可以让平均折扣性能等于任何常数。方差函数的二次型使得方差最小化问题不是一个标准的MDP问题，这是造成该问题困难的主要原因。通过证明可行策略空间的可分解结构，在一个新的折扣准则和一个新的报酬函数下，将约束方差最小化问题转化为一个等价的无约束MDP问题.通过一个差分公式量化了任意两种可行策略下马尔可夫链的方差之差。基于方差差公式，提出了一种求解最优策略的策略迭代算法。我们还证明了确定性策略对在均值约束策略空间中生成的随机策略的最优性。数值实验证明了该方法的有效性。
2017-08-23 math.OC
On-Line Policy Iteration for Infinite Horizon Dynamic Programming
ASU（亚利桑那州立大学）；MIT（麻省理工学院）
在本文中，我们提出了一个在线的政策迭代（PI）算法的有限状态无限地平线折扣动态规划，其中的政策改进操作是在线进行的，只有在系统运行过程中遇到的状态。这允许当前策略的持续更新/改进，从而导致在线PI的形式，该在线PI在新的状态和控制生成时将改进的控制并入当前策略中。该算法收敛在一个有限的阶段，一种类型的局部最优的政策，并建议PI和多智能体PI的变体的可能性，其中的政策改进是简化的。此外，该算法可以用于在线重新规划，也非常适合在线PI算法的价值和政策的近似。
2021-06-01 cs.AI cs.SY eess.SY
Approximate Dynamic Programming for a Mean-field Game of Traffic Flow: Existence and Uniqueness
针对高速公路多车交通流控制问题，本文构建折扣成本无限时域鲁棒平均场博弈及DP PDE系统，并用ADP自适应求次优控制，证明其ODE-PDE系统弱解唯一且通过仿真验证。
2023-06-05 cs.SY eess.SY math.OC
An Analysis of Primal-Dual Algorithms for Discounted Markov Decision Processes
组合优化领域中的一些著名算法可以用求解线性规划的原对偶方法来解释。例如，Dijkstra算法、Ford-Fulkerson算法和Hungarian算法都可以被看作是应用于它们各自的最优化问题的线性规划公式的原始-对偶方法。粗略地说，成功地将原始-对偶方法应用于可以被设定为线性规划的最优化问题，依赖于找到相关线性规划的最优解的简单表征的能力，称为“限制原始的对偶”（DRP）。本文的动机是以下问题：什么是算法，我们得到，如果我们应用原始-对偶方法的线性规划公式的折扣成本马尔可夫决策过程？我们将首先说明马尔可夫决策过程的几种广泛使用的算法可以用原始-对偶方法来解释，其中在每次迭代中用DRP的次优解更新值函数。然后，我们提供了最优解的DRP在封闭形式，并提出了算法，结果时，使用此解决方案更新值函数在每次迭代。与从次优DRP更新获得的算法不同，该算法保证在有限次数的迭代中产生最优值函数。最后，我们表明，迭代的原始对偶法可以被解释为重复应用的政策迭代算法的一类特殊的马尔可夫决策过程。当考虑到最近的结果表征的计算复杂性的政策迭代算法，这一观察可以提供新的见解解决折扣成本马尔可夫决策过程的计算复杂性。
2016-01-16 math.OC
Stochastic Setup-Cost Inventory Model with Backorders and Quasiconvex Cost Functions
本文研究了一类具有缺货和库存/缺货成本且满足拟凸性假设的单商品库存模型。我们表明，这种库存模型的马尔可夫决策过程满足的假设，导致折扣和平均成本问题的最优性方程的有效性和最优$(s,S)$政策的存在。特别地，我们证明了折扣值函数族的等度连续性和最优折扣下限阈值收敛到最优平均成本阈值，对于收敛到$1.$的某些折扣因子序列。如果可以订购任意非负数量的库存，我们建立了更强的收敛性质：（i）最佳折扣下阈值$s_α$收敛于最佳平均成本下阈值$s;$;（ii）折扣相对值函数收敛于平均成本相对值函数。这些收敛结果以前仅针对折扣因子的子序列而已知，即使对于具有凸持有/积压成本的问题也是如此。本文的结果举行的问题，确定性的积极的提前时间。
2017-11-08 math.OC
From Infinite to Finite Programs: Explicit Error Bounds with Applications to Approximate Dynamic Programming
Delft Center for Systems and Control, TU Delft（代尔夫特系统与控制中心，代尔夫特理工大学）；Automatic Control Laboratory, ETH Zurich（苏黎世联邦理工学院自动控制实验室）；Risk Analytics and Optimization Chair, EPFL（洛桑联邦理工学院风险分析与优化讲席）
本文研究了无限维空间中的线性规划问题，通过发展可计算的有限凸规划来显式量化近似性能，应用于马尔可夫决策过程的长期平均成本和折扣成本最优控制问题。
2017-02-20 cs.SY eess.SY math.OC
Approximate Dynamic Programming based on Projection onto the (min,+) subsemimodule
Dept Of CSA, IISc（印度科学学院计算机科学与自动化系）
本文提出基于(min,+)子半模块投影的近似动态规划方法，用于求解无限时间折扣奖励马尔可夫决策过程。通过(min,+)线性组合基础函数的投影，解决(min,+)投影Bellman方程，并证明算法收敛性。
2014-03-17 cs.SY eess.SY math.OC
Stability analysis of optimal control problems with time-dependent costs
该研究针对最小化无限时域时变代价的确定性时变非线性离散系统，推导一般吸引子的全局渐近及指数稳定条件，推广了折扣最优控制问题的既有相关结论。
2023-08-25 cs.SY eess.SY math.OC
Asymptotic Control for a Class of Piecewise Deterministic Markov Processes Associated to Temperate Viruses
在非扩张性假设下，研究了开关型分段确定性马尔可夫过程控制中值函数的渐近性态。对于一类特定的温和病毒的启发过程，我们表明，折扣问题的折扣减少到零和时间平均的问题，作为时间范围增加到无穷大的统一限制存在和重合。参数允许的极限值取决于系统的初始配置，并不需要耗散的动力学特性。该方法强烈依赖于粘度技术，线性规划参数和耦合通过随机措施相关联的PINK。作为我们的方法的中间步骤，我们提出了近似的贴现值函数时，使用分段常数（在时间上）开环政策。
2015-05-28 math.OC math.PR
Deterministic Multistage Constellation Reconfiguration Using Integer Programming and Sequential Decision-Making Methods
本文针对多阶段星座重构问题提出整数线性规划公式以获取最优解，并设计基于短视策略和滚动时域的序贯决策方法以提升大规模实例的计算效率，通过飓风哈维案例验证了多阶段重构的优越性。
2024-09-04 cs.SY eess.SY math.OC
Direct Data-Driven Discounted Infinite Horizon Linear Quadratic Regulator with Robustness Guarantees
针对随机线性系统LQR控制，本文提出基于Bellman不等式的单次自适应动态规划数据驱动方法，可直接学习控制增益和值函数，并在噪声下保证鲁棒稳定与次优性能。
2024-10-25 cs.SY eess.SY math.OC
Stochastic dynamic programming with non-linear discounting
本文针对非线性贴现的马尔可夫决策过程，定义递归贴现效用，证明Bellman方程有解并存在最优平稳策略，涵盖有界和无下界两种情况。
2020-11-04 math.OC math.PR
Discounted LQR: stabilizing (near-)optimal state-feedback laws
针对折扣因子较小时最优LQR控制器无法镇定离散线性时不变系统的问题，提出基于最优值函数的稳定性充分条件，以及基于LMI和策略迭代变体的可镇定近最优状态反馈律设计方法。
2025-09-03 math.OC
Dynamic Programming for A Linear-Gaussian Dual Control Problem
KTH Royal Institute of Technology（皇家理工学院）；Arizona State University（亚利桑那州立大学）
该研究针对可数创新信念状态模型的无限期折现DP问题，将其作为线性高斯对偶控制问题的替代模型，证明了贝尔曼算子的压缩性，确立了最优平稳策略的存在性及三类迭代算法在消失近似误差下的收敛性，且收敛结果具通用性。
2026-10-14 cs.SY eess.SY math.OC
On risk-sensitive piecewise deterministic Markov decision processes
本文考虑一个分段确定的马尔可夫决策过程，其中总（非负）费用的期望指数效用最小。成本率、转移率和跳后分布都在控制之下。状态空间是Borel的，并且转移率和成本率沿着漂移是局部可积的。在自然条件下，我们建立了最优性方程，证明了值迭代算法，并证明了一个确定的平稳最优策略的存在性。应用到特殊情况下，所得到的结果已经显着改善了文献中的有限时域和无限时域贴现风险敏感连续时间马尔可夫决策过程的一些现有结果。
2017-11-21 math.OC
Positive Dynamic Programming: A Critique
本文对 Blackwell 的正动态规划理论进行批判性评析，重点考察最优平稳策略的存在性条件、弱最优平稳计划与最优回报的可测性问题，并指出折扣动态规划结果不能直接推广到正的情形。
2024-08-05 math.OC
Unique ergodicity of deterministic zero-sum differential games
研究了确定性二人零和微分对策的遍历性。该性质定义为当贴现因子趋于零时，无限时域贴现值或等价地，当时间趋于无穷大时，平均有限时域值的一致收敛性。给出了博弈唯一遍历的充要条件。这个概念扩展了经典的动力系统，即当遍历保持任何（适当的）扰动运行支付函数。我们的主要条件是两个参与者之间的对称，并涉及domestic，即，一个参与者可以使之近似不变的状态子集。
2020-01-07 math.OC
Gradual-impulsive control for continuous-time Markov decision processes with total undiscounted costs and constraints: linear programming approach via a reduction method
研究了具有渐进脉冲的CTMDP模型的约束最优控制问题，其性能指标为期望的总未贴现成本（来自运行成本和每次脉冲的成本）.折扣模型是作为一个特例。我们充分证明了一个减少的方法，并关闭在以前的文献中的一个开放的问题。该降阶方法导出了一个等价但较简单的仅带逐步控制的标准CTMDP模型，并在此基础上，在相当自然的条件下，建立了求解有关约束最优控制问题的有效的线性规划方法。
2022-04-06 math.OC
Dynamic programming for the stochastic matching model on general graphs: the case of the `N-graph'
本文针对一般图上的随机匹配模型，以N-图为例，利用动态规划方法证明了在折扣成本与线性持有成本下，对角边采用阈值策略且优先极端边为最优控制策略。
2024-02-02 math.OC math.PR
Linear Programming Formulations of Deterministic Infinite Horizon Optimal Control Problems in Discrete Time
本文研究离散时间中具有时间折扣和时间平均准则的无限时域最优控制问题。我们建立，这些问题涉及到某些无限维线性规划（IDLP）问题。我们还建立了时间折扣和长期平均准则下问题的最优值之间的渐近关系。
2017-02-02 math.OC
Probability Distribution-free General Scenario Programming
本文提出了一种新的解决方案的一般最优化的外生和内生的不确定性。这种解决方案的范例包括一个概率分布（PD）的免费方法获得确定性的等价物和创新的方法，减少场景。首先，不喜欢现有的方法，使用从预先已知的PD函数采样的场景，PD自由的方法使用不确定变量的历史测量作为输入，将逻辑模型转换成一种确定性的等价物，称为通用场景程序（GSP）。我们的贡献PD自由确定性等价构造驻留在推广（使其适用于一般优化下的不确定性，而不仅仅是机会约束优化）和扩展（使其能够内生不确定性下的问题，通过开发一个迭代和非迭代框架）。其次，本文揭示了无PD确定性等价构造的一些未知性质，如活动情景和重复情景的特征。在此基础上，本文提出了一种策略情景选择的概念和方法，通过数学分析和数值实验证明，该方法可以有效地减少所需情景的数量。针对两个典型的智能电网最优化问题，分别在内外生不确定性下进行了数值实验。
2021-08-06 cs.SY eess.SY math.OC
A Sequential Quadratic Programming Method for Optimization with Stochastic Objective Functions, Deterministic Inequality Constraints and Robust Subproblems
本文将鲁棒序列二次规划方法推广到随机目标函数与确定性约束问题，结合随机线搜索全局化步长，并证明算法几乎必然收敛到KKT点。
2024-10-04 math.OC
Inexact cuts for Deterministic and Stochastic Dual Dynamic Programming applied to convex nonlinear optimization problems
本文将对偶动态规划（DDP）推广到求解凸非线性动态规划方程。我们称之为不精确的DDP（IDDP）这种扩展适用于一些或所有的原始和对偶子问题，以解决沿迭代的方法解决有界误差的情况。我们证明了决策序列的任何聚点都是动态规划方程的近似解。当这些错误趋于零的迭代次数趋于无穷大，我们表明，IDDP解决了动态规划方程。我们扩展的分析随机凸非线性动态规划方程，引入不精确随机对偶动态规划（ISDDP），SDDP的不精确的变种对应的情况下，一些或所有的问题要解决的前向和向后传递的SDDP近似解决。我们还证明了ISDDP在误差消失时的几乎必然收敛。
2017-11-22 math.OC
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。在早期的工作中，我们介绍了一个政策迭代算法，其中的政策改进是一个代理在给定的时间顺序，知识的选择，在前面的代理的顺序。因此，每个策略改进的计算量随着代理的数量线性增长，而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下，我们证明了收敛到代理的代理最优策略。在本文中，这一结果被扩展到值迭代和乐观版本的政策迭代，以及更一般的DP问题的Bellman算子是一个压缩映射，如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Optimal Control of Partially Observable Piecewise Deterministic Markov Processes
在本文中，我们考虑了以下类型的部分可观测分段确定性马尔可夫过程的控制问题：在跳跃的过程中，控制器接收到一个关于状态的噪声信号，其目的是控制过程的连续时间，以这样的方式，系统的期望折扣成本最小化。我们解决这个最优化问题，减少它的离散时间马尔可夫决策过程。这包括用于不可观测状态的滤波器的推导。在充分的连续性和紧性假设下，我们证明了最优策略的存在性，并证明了价值函数满足一个不动点方程。一个通用的应用程序来说明的结果。
2018-01-17 math.OC
Optimal control of Piecewise Deterministic Markov Processes: a BSDE representation of the value function
考虑了分段确定马尔可夫过程的无穷时域折扣最优控制问题，其中分段开环控制连续作用于跳变动力学和确定流.对于这类控制问题，其值函数一般可以表征为对应的Hamilton-Jacobi-Bellman方程的唯一黏性解.证明了值函数可以用无穷水平上的倒向随机微分方程表示，该方程由随机测度驱动，其鞅部分带有符号约束，并给出了存在唯一性结果.这种概率表示被称为非线性Feynman-Kac公式。最后，我们证明了约束的Bevel与辅助支配控制问题有关，其值函数与原始非支配控制问题的值函数一致。
2015-12-05 math.OC
A Strongly Polynomial Reduction for Linear Programs over Grids
研究了网格上线性规划（Grid-LP）与带隐K-矩阵的广义线性互补问题（GLCP）之间的对偶关系。这两个问题，而且，共享其组合结构与折扣马尔可夫决策过程（MDPs）。通过提出GLCP的约简方案，我们得到了从Grid-LP到立方体上线性规划（Cube-LP）的强多项式约简。作为一个应用，我们得到了一个计划，以减少折扣MDP的二进制对应。这一结果也表明，立方LP是强多项式时间线性规划可解性的关键问题。然后，我们考虑两个球员的随机博弈作为一个自然的推广折扣MDP的完美信息。我们确定的子类的GLCPs与P-矩阵，对应于这些游戏，也提供了一个表征方面的独特的汇方向。一个强大的多项式减少从游戏到他们的二进制同行是通过我们减少网格LP的推广。
2015-01-26 cs.CC math.OC
Beyond discounted returns: Robust Markov decision processes with average and Blackwell optimality
本文研究折扣回报之外的鲁棒马尔可夫决策过程，证明sa-矩形与s-矩形RMDP在平均最优性、Blackwell最优性上的差异结论，给出策略存在性条件与计算算法，凸显sa-矩形模型的实用优势。
2025-01-14 cs.GT math.OC
An Improved Deterministic Rescaling for Linear Programming Algorithms
线性规划的感知器算法起源于机器学习，自20世纪50年代以来一直存在。虽然不是多项式时间算法，但由于其简单性和鲁棒性，它在实践中是有用的。在2004年，Dunagan和Vempala证明了随机重标度将感知器方法转变为多项式时间算法，后来Peña和Soheili给出了确定性重标度。在本文中，我们给出了一个确定性的重新调整的感知器算法，提高了以前的重新调整方法，使它有可能重新调整更早。这导致重新缩放的感知器算法的更快的运行时间。我们还将证明，相同的重新缩放方法产生一个多项式时间算法的基础上的乘法权重更新方法。这与最近在理论计算机科学中受到大量关注的一个领域相关联。
2016-12-14 cs.DS math.OC
Inexact cuts in Deterministic and Stochastic Dual Dynamic Programming applied to linear optimization problems
本文将对偶动态规划（DDP）推广到求解线性动态规划方程组。我们称之为扩展IDDP-LP，它适用于一些或所有的原始和对偶子问题的情况下，要解决沿迭代的方法解决有界误差（不准确）。我们提供收敛定理的情况下，误差有界和渐近消失的错误。我们扩展的分析随机线性动态规划方程，引入不精确随机对偶动态规划线性规划（ISDDP-LP），SDDP适用于线性规划的不精确的变种对应的情况下，一些或所有的问题要解决的SDDP的向前和向后通过近似解决。我们还提供了收敛定理ISDDP-LP有界和渐近消失的错误。最后，我们提出了比较SDDP和ISSDP-LP的直接交易成本建模为一个多阶段随机线性最优化问题的投资组合问题的数值实验结果。在这些实验中，ISDDP-LP允许我们比SDDP更快地获得好的策略。
2019-07-07 math.OC
Retrospective Approximation Sequential Quadratic Programming for Stochastic Optimization with General Deterministic Nonlinear Constraints
本文提出基于回溯近似范式的框架，结合确定性SQP求解器，高效处理随机目标与一般非线性约束的优化问题，实现最优复杂度并在基准测试中验证性能。
2025-05-26 math.OC
An Exponential Cox-Ingersoll-Ross Process as Discounting Factor
我们考虑一个经济主体（一个家庭或一个保险公司）的盈余过程建模的确定性过程或布朗运动漂移。目标是最大化预期的贴现支出/股息支付，因为贴现因子是由指数CIR过程给出的。在确定性的情况下，我们能够找到最优策略和价值函数的显式表达式。对于布朗运动的情况下，我们提供了一种方法，允许显示，对于一个小的波动率的最优策略是一个恒定的障碍策略。
2018-08-30 math.OC q-fin.MF
The landscape of deterministic and stochastic optimal control problems: One-shot Optimization versus Dynamic Programming
本文研究离散时间有限时域最优控制中一次性优化与动态规划两种方法的优化景观关系，证明在确定性情形下二者局部极小点相互对应，在参数化策略下动态规划局部极小点对应一次性优化局部极小点但反之不一定成立，并在唯一局部最小策略条件下二者得到相同局部解。
2024-09-01 math.OC
Asymptotic Analysis of Empirical Dynamic Programming in Infinite-Horizon Stochastic Optimal Control
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学校）
研究无限时域随机最优控制问题，推导基于样本近似的统计极限定理，包括在不同条件下的中心极限定理，比较不同方法的渐近结果，还给出非唯一最优策略模型的极限定理，并通过实例说明理论。
2026-07-24 math.OC math.PR
Linear programming for finite-horizon vector-valued Markov decision processes
针对非平稳有限时域向量值 Markov decision process，提出向量线性规划公式以刻画 Pareto 高效策略，并给出枚举所有高效确定性策略的算法及数值验证。
2025-05-30 math.OC
The Parametric Cost Function Approximation: A new approach for multistage stochastic programming
Department of Operations Research and Financial Engineering（运筹学与金融工程系）；University of Waterloo（滑铁卢大学）
在研究文献中，解决多阶段随机规划问题的最常见方法是使用价值函数（"动态规划"）或情景树（"随机规划"）来近似现在的决策对未来的影响。相比之下，通常的行业惯例是使用确定性的未来近似，这更容易理解和解决，但被批评为忽视不确定性。我们表明，一个确定性的优化模型的参数化版本可以是一种有效的方式来处理不确定性的复杂性，无论是随机规划或动态规划。我们提出了一个参数化的确定性最优化模型的想法，特别是一个确定性的前瞻模型，作为一个强大的战略，许多复杂的随机判定问题。这种方法可以处理复杂的、高维的状态变量，并且避免了与场景树或值函数近似相关联的通常近似。相反，它引入了设计和调优参数化的离线挑战。我们说明了使用一系列的应用程序设置的想法，并展示了它的使用在一个非平稳的能量存储问题与滚动预测。
2022-01-01 cs.AI math.OC
