On Strategic Measures and Optimality Properties in Discrete-Time Stochastic Control with Universally Measurable Policies
University of Alberta（阿尔伯塔大学）
本文研究Borel状态和动作空间下通用可测策略诱导的策略测度，并将其应用于风险中性和风险敏感的马尔可夫决策过程及其部分可观测对应问题，证明了最优值函数的可测性以及多种平均成本准则和风险准则下通用可测随机或非随机ε-最优策略的存在性，并扩展至极小极大控制问题。
2023-10-16 math.OC
Near Optimality of Lipschitz and Smooth Policies in Controlled Diffusions
本文针对受控扩散问题，证明在多种代价准则下光滑/Lipschitz连续策略可在Borkar拓扑下稠密逼近最优策略，从而建立其近似最优性。
2024-05-25 math.OC
Reinforcement Learning for Jointly Optimal Coding and Control Policies for a Controlled Markovian System over a Communication Channel
Queen’s University（女王大学）；ETH Zürich（苏黎世联邦理工学院）
本文研究受控马尔可夫系统在有限速率无噪声通信信道中的联合最优编码与控制策略优化问题，提出正则性和存在性结果，并通过强化学习实现近优解。
2026-03-16 math.OC
On the Convergence of Optimal Actions for Markov Decision Processes and the Optimality of $(s,S)$ Inventory Policies
本文研究了具有弱连续转移概率的折扣和平均成本马尔可夫决策过程（MDP）的最优值和最优行动的收敛性质，并将这些性质应用于具有缺货、正设置成本和凸持有/缺货成本的随机库存检查库存控制问题。对于可能具有非紧行动集和无界费用函数的MDP，建立了以下结果：（i）对于具有可能非零终端成本的贴现问题，值迭代收敛到最优值，（ii）对于总贴现成本，当时间范围趋于无穷大时，最优有限时间范围行动收敛到最优无限时间范围行动，和（iii）收敛的最优折扣成本行动的最优平均成本行动的无限时间的问题，折扣因子趋于1。应用于具有初始成本的库存控制问题，MDP的一般结果暗示了$(s,S)$策略的最优性和最优阈值的收敛性。特别地，本文分析了设置成本库存控制问题，而没有文献中经常使用的两个假设：（a）需求是离散的或连续的或（b）如果缺货库存量很大，则缺货成本高于缺货成本。
2017-03-20 math.OC
Mean-Field Systems with Heterogeneous Subteams: Optimality of Cluster-Symmetric Independent Policies and Equivalence with Decentralized McKean-Vlasov Control of Cluster-Representative Agents
Queen’s University（女王大学）；Royal Military College of Canada（加拿大皇家军事学院）；Bilkent University（比尔肯特大学）
本文研究了异质子团队的均场系统，证明了集群对称独立策略的最优性，并展示了其与去中心化麦肯-瓦拉斯控制的等价性，为复杂合作系统的分析提供了新途径。
2026-04-30 math.OC
Optimality of Affine Policies in Distributionally Robust Linear-Quadratic Control with Temporally Correlated Noise
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
针对时间相关扰动的分布鲁棒线性二次控制，证明最优策略为仿射且最坏分布为标称分布的仿射推前，并提出高效算法，实验验证了样本外性能优势。
2026-09-24 math.OC
Average Cost Optimality Inequality for Markov Decision Processes with Borel Spaces and Universally Measurable Policies
我们考虑平均成本马尔可夫决策过程（MDPs）与博雷尔状态和行动空间和普遍可测的政策。对于非负费用模型和具有Lyapunov型稳定特征的无界费用模型，我们引入了一组新的条件，在此条件下，我们通过消失折扣因子方法证明了平均费用最优性不等式（ACOI）.与大多数现有的结果ACOI，我们的结果不需要任何紧性和连续性条件的MDP。相反，其主要思想是使用几乎一致收敛性质的逐点收敛序列的可测函数断言在埃戈罗夫定理。我们的条件是为了利用这一性质而制定的。除其他外，我们要求，对于每个状态，在该状态下的行动的选定子集，状态转移随机内核是由有限的措施占主导地位。我们结合这种优势的过渡内核与Egoroff定理证明ACOI。
2020-05-05 math.OC
Decentralized Exchangeable Stochastic Dynamic Teams in Continuous-time, their Mean-Field Limits and Optimality of Symmetric Policies
本文研究连续时间下有限与无限总体的可交换随机动态团队，证明了有限总体最优策略收敛于无限总体去中心化对称策略并具有全局最优性，首次建立了受控McKean-Vlasov动力学与去中心化随机控制问题的联系。
2024-04-25 math.OC
Refined Bounds on Near Optimality Finite Window Policies in POMDPs and Their Reinforcement Learning
本文改进POMDP滑动有限窗口策略的近优性与强化学习误差界，分别在期望Wasserstein距离和样本路径全变差距离下建立互补的精细化界。
2024-09-06 math.OC
Optimality of Symmetric Independent Policies under Decentralized Mean-Field Information Sharing for Stochastic Teams and Equivalence with McKean-Vlasov Control of a Representative Agent
Royal Military College of Canada（加拿大皇家军事学院）；Bilkent University（比尔肯特大学）；Queen’s University（女王大学）
研究有限和无限决策者随机可交换团队的最优策略，证明有限人口最优策略收敛到无限人口的分散对称独立策略，并建立与McKean-Vlasov控制的关系。
2026-06-05 math.OC
Optimal Solutions to Infinite-Player Stochastic Teams and Mean-Field Teams
我们研究了具有可数无穷多个决策者的随机静态团队，目标是在分散信息结构下获得（全局）最优策略。我们提出了充分条件连接的概念，团队最优性和个人的最优性的静态团队与可数无限的决策者。证明了在一致可积和一致收敛性条件下，决策者个数为可数无穷多的静态团队的最优策略可以建立为决策者个数为$N$的静态团队的最优策略序列的极限.在对称性条件的存在下，我们放松的条件，这导致最优性结果的一大类平均场最优团队问题，现有的结果已被限制到个人的个人最优性，而不是全局最优性（严格分散下）。特别是，我们建立了对称（即，#21453;的政策，解决这些问题。作为进一步的条件，这个最优性结果导致了平均场团队的存在性结果。我们考虑了一些说明性的例子，该理论被应用到设置与无限多的决策者或无限时域随机控制问题减少到一个静态的团队。
2020-05-12 math.OC
Stochastic Knapsack Problem Revisited: Switch-Over Policies and Dynamic Pricing
从动态资源分配到电信中的接纳控制，随机背包模型已经被广泛应用。近年来，该模型的变化已成为研究收入管理和动态/灵活定价中出现的问题的基本工具;正是在这种情况下，我们的研究进行。基于动态规划公式和相关属性的价值函数，我们在本文中研究一类控制，我们称之为切换策略-开始只接受最高价格的订单，并切换到包括较低的价格随着时间的推移，切换时间最佳决定通过凸规划。我们建立了切换策略的渐近最优性，并基于此策略开发了定价模型，以优化决策范围内的价格降低。
2007-08-08 math.OC math.PR q-fin.PR
On the Optimality of Affine Policies for Budgeted Uncertainty Sets
本文研究了具有固定补偿的两阶段可调鲁棒最优化问题仿射策略的性能，其中不确定性右端属于预算不确定性集。这是一类重要的不确定性集，在实践中广泛使用，我们可以指定一个预算的对抗偏差的不确定参数从名义值，以调整保守性的水平。两阶段可调鲁棒最优化问题是很难近似在一个因子内优于$Ω\left( \frac{\log n}{\log \log n} \right)$，即使预算的不确定性集和固定的非负追索权，其中$n$是决策变量的数量。仿射策略，其中的第二阶段的决定被约束为一个仿射函数的不确定参数，提供了一个易于处理的近似的问题，并已被观察到表现出良好的经验性能。我们表明，仿射政策预算的不确定性集的固定非负追索权的两阶段可调鲁棒问题的$O\left( \frac{\log n}{\log \log n} \right)$近似。这与近似的难度相匹配，因此，令人惊讶的是，仿射策略为问题提供了最优逼近（直到常数因子）。我们还展示了强大的理论性能边界的仿射策略的预算集，包括不相交约束预算集，置换不变集和一般的预算集的交集更一般的类。我们的分析依赖于显示存在一个接近最优的可行的仿射政策，满足一定的好的结构属性。基于这些结构特性，我们还提出了一种替代算法来计算近似最优仿射解，这比通过求解大型线性规划来计算最优仿射策略要快得多。
2019-06-02 math.OC
Grid Based Nonlinear Filtering Revisited: Recursive Estimation & Asymptotic Optimality
我们回顾了一般马尔可夫过程在离散时间，部分观察到的条件高斯噪声的网格为基础的递归近似滤波的发展。所考虑的基于网格的滤波器依赖于两种类型的状态量化：\textit{Markovian}类型和\textit{marginal}类型。我们提出了一组新的，宽松的充分条件，确保强大的和充分的特点，这些过滤器的路径收敛到各自的MMSE状态估计器。特别是，对于边际状态量化，我们引入了\textit{conditional regularity of stochastic kernels}的概念，据我们所知，这构成了最宽松的条件下提出的，在此条件下，保证了各自的基于网格的过滤器的渐近最优性。此外，我们扩展我们的收敛结果，包括过滤的有界和连续的泛函的状态，以及递归近似状态预测。对于马尔可夫和边际量化，各自基于网格的滤波器的整个开发更多地依赖于线性代数技术，而不是测量理论参数，使得演示文稿相当短，技术上更简单。
2016-04-10 cs.IT math.IT math.OC
Policy iteration for discrete-time systems with discounted costs: stability and near-optimality guarantees
本文针对具有折扣代价的离散时间系统，提出策略迭代的新近最优性界，并证明在温和条件下经过有限次迭代即可实现闭环镇定。
2024-03-27 math.OC
On the Optimality of Markovian Policies for Chance-Constrained Covariance Steering
School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院）
本文证明机会约束协方差转向问题中，依赖历史的最优策略可无损转化为马尔可夫策略，拓展分析至输出反馈与风险价值代价代理问题。
2026-08-25 math.OC
Long-Run Average Sustainable Harvesting Policies: Near Optimality
研究了一类捕食者-食饵系统中捕食者的近优可持续收获策略。目标函数为单位时间长期平均型。迄今为止，环境噪声作用下的生态系统通常被建模为布朗运动驱动的随机微分方程。认识到，制定使用布朗运动只是一个理想化，在本文中，它是假设的环境是受到干扰的特征在于一个跳跃过程，具有快速跳跃率。在广泛的条件下，它表明，所考虑的系统可以近似为一个受控扩散系统。基于极限扩散系统，构造了原系统的控制策略。这种方法使我们能够制定可持续的收获政策，从而接近最优。为了处理潜在的问题，主要困难之一是由于长期平均目标函数。这反过来又需要处理一些与遍历性有关的问题。基于种群动力学系统，发展了新的方法来获得底层过程的紧密性。
2017-10-08 math.OC math.PR
Average-Cost MDPs with Infinite State and Action Sets: New Sufficient Conditions for Optimality Inequalities and Equations
本文针对具有Borel状态和动作集的平均成本无限时域MDPs，提出了转移概率弱连续和集值连续下最优性不等式与方程成立的新充分条件，并证明了确定性最优策略的存在性。
2025-01-27 math.OC
On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control
Institute of Mechanical Engineering, EPFL（机械工程学院，洛桑联邦理工学院）
本文提出了一种分布鲁棒的有限时间LQG控制问题扩展，通过熵正则化Wasserstein距离定义的模糊集假设未知噪声分布，证明线性策略的全局最优性，并通过数值实验展示改进的分布鲁棒性。
2026-03-26 cs.SY eess.SY math.OC
Average Cost Optimality of Partially Observed MDPS: Contraction of Non-linear Filters, Optimal Solutions and Approximations
本文针对紧致状态空间的部分可观测随机控制问题，提出显式条件证明平均代价最优性方程解的存在性，基于非线性滤波器收缩分析，并推导出对错误先验的鲁棒性、量化近似与有限记忆策略的近最优性及Q学习收敛性等新贡献。
2024-07-30 math.OC
On the Optimality Equation for Average Cost Markov Decision Processes and its Validity for Inventory Control
众所周知，平均费用最优性不等式意味着单位时间平均费用的马尔可夫决策过程存在平稳最优策略，并且这些不等式在广泛的自然条件下成立。本文对具有弱连续转移概率和可能无界的一步费用和非紧行动集的无限状态问题，给出了平均费用最优性方程有效的充分条件.这些条件也意味着折扣相对值函数序列收敛于平均费用相对值函数和平均费用相对值函数的连续性。如本文所示，经典的库存检查库存控制问题满足这些条件。因此，对于这个问题，最优性不等式以具有连续平均成本相对值函数的等式的形式成立。此外，当折扣因子增大到1时，折扣相对值函数的$K$ -凸性及其收敛于平均费用相对值函数的性质，也隐含了平均费用相对值函数的$K$ -凸性.这意味着库存控制问题的平均成本最优$(s,S)$策略可以从平均成本最优性方程导出。
2016-10-02 math.OC
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Decentralized Detection with Many Sensors: Optimality of Exchangeable and Identical Encoding Policies
本文研究多传感器分散二元检测，证明有限及无限传感器场景下最优编码策略存在且具有阈值、可交换或对称独立性质，并表明无限场景对称策略对有限场景近似最优。
2025-09-26 math.OC
Asymptotic Optimality of Constant-Order Policies for Lost Sales Inventory Models with Large Lead Times
在许多实际环境中，由于维数灾难，具有大提前期的销售损失库存模型非常难以优化。在本文中，我们表明，当前置时间很大，一个非常简单的恒定顺序的政策，首先研究了雷曼（\cite{Reiman04}），执行近最佳。我们工作的主要观点是，当提前期非常长时，在下更多库存订单和收到订单之间，系统中会注入大量的随机性，因此“聪明”在算法上几乎没有任何好处。我们的主要证明技术结合了一个新的耦合的随机游动的上确界的参数从排队论。
2014-09-03 math.OC math.PR
Optimality gap of constant-order policies decays exponentially in the lead time for lost sales models
由于维数灾难，具有销售损失和大提前期的库存模型传统上被认为是难以处理的。最近，Goldberg和合著者为解决这些模型的新方法奠定了基础，证明了随着提前期的增长，简单的恒定顺序策略是渐近最优的。然而，有证明的界限需要的前置时间是非常大的，在恒定顺序的政策变得有效之前，相反，Zipkin表现出良好的数值性能，即使是小的前置时间值。在这项工作中，我们证明了，对于同一个丢失的销售问题的无限时域的变体，相同的恒定顺序的政策的最优间隙实际上收敛到\emph{exponentially fast}为零，与最优间隙衰减到零至少一样快的指数收敛速率的预期等待时间在一个相关的单服务器队列的稳态值。我们还得到了简单和明确的界限的最优差距，并表现出良好的数值性能在很宽的参数值的特殊情况下，指数分布的需求。我们的主要证明技术结合了凸性参数与排队论的思想。
2016-04-19 math.OC math.PR
Isomorphism Properties of Optimality and Equilibrium Solutions under Equivalent Information Structure Transformations I: Stochastic Dynamic Teams
在随机最优控制中，测度变元一直是随机分析的关键问题。这种方法通常被称为动态团队理论（或分散随机控制）中的静态约简，并且已经成为建立最优策略的存在性和近似结果的有效方法。在本文中，我们将这种静态减少分为三类：（i）独立于政策的（如Witsenhausen介绍的），（ii）政策依赖型（正如Ho和Chu为部分嵌套的动态团队介绍的那样），以及（iii）我们将称为具有控制共享减少的静态测量的那些（其中测量是静态的，尽管根据部分嵌套的信息结构共享控制动作）。对于第一种类型，我们证明了动态团队的个人最优（全局最优）政策与其政策独立的静态减少之间存在双射。对于第二种类型，虽然有一个双射动态团队的全局最优政策与部分嵌套的信息结构和他们的静态约简，一般不存在双射动态团队的个人最优政策和他们的政策相关的静态约简。我们还建立了一个关于定常解的更强的负结果。我们提出了双射关系成立的充分条件。在控制共享减少的静态测量下，最优性概念之间的联系可以在放松的条件下建立。一个蕴涵是一个凸性特征的动态团队问题在静态测量与控制共享减少。最后，我们介绍了多阶段的改进，这样的减少。第二部分的文件解决了类似的问题的背景下，随机动态游戏，其中出现了进一步的微妙之处。
2021-11-27 math.OC
Asymptotic optimality of switched control policies in a simple parallel server system under an extended heavy traffic condition
本文研究了一个2类2服务器的并行服务器系统在最近引入的扩展的高负荷服务条件下的问题，该条件下的“静态分配”线性规划（LP）是临界的，但并不要求它有唯一的解。主要的结果是建设的政策，渐近达到一个下界，证明在[1]中，预期折扣线性组合的扩散缩放队列长度，因此是渐近最优的（AO）。LP的每个极值点解确定控制模式，即，一组可操作的活动（类-服务器对）。当存在多个解决方案时，可以动态选择这些模式。结果表明，AO所需的模式的数量是一个或两个。在后一种情况下，在（标准化的）工作负荷域中存在切换点，其特征在于自由边界问题。我们的政策是通过确定对基本的政策和他们之间的切换在这个切换点。他们提供了第一个例子，在高负荷服务文献弱限制下的AO政策是由一个扩散过程的漂移和扩散系数是不连续的。
2022-07-16 math.OC math.PR
Near Optimality of Discrete-Time Approximations for Controlled McKean-Vlasov and Large Interacting Particle Diffusions
Indian Institute of Science Education and Research Bhopal（印度科学教育研究所博帕尔分校）；Queen’s University（女王大学）
针对受控McKean-Vlasov扩散，通过松弛策略空间的弱紧性证明分段常数策略的近最优性，建立离散时间近似并推广到N粒子交互系统，统一了集中式和分散式控制下的近似框架。
2026-06-16 math.OC
Dynamic Programming: From Local Optimality to Global Optimality
本文研究动态规划中单点最优性何时能推广为全局最优性，给出了基于可达性与不可约性的充分条件，并通过神经网络策略空间中的梯度上升算法在最优储蓄问题上进行了验证。
2025-05-11 math.OC
Constrained Differential Dynamic Programming Revisited
微分动态规划（DDP）已成为无约束轨迹优化的一种成熟方法。尽管它在机器人和控制的几个应用，然而，一个广泛成功的约束版本的算法尚未开发。本文基于罚函数法和有效集方法，设计了一种基于动态规划的约束最优控制方法。关于前者，我们的推导采用了约束版本的贝尔曼的最优性原理，通过引入一组辅助松弛变量在向后通过。同时，我们展示了如何增广拉格朗日方法可以自然地纳入DDP，通过利用一组特定的惩罚拉格朗日函数，保持二阶可微性。我们的实验表明，我们的扩展（单独和组合）显着提高算法的收敛性能，并优于以前的方法在大量的模拟场景。
2020-05-03 math.OC
Continuous Inventory Models of Diffusion Type: Long-term Average Cost Criterion
本文建立了一维扩散型库存模型的$(s,S)$订货策略最优性条件。这类模型具有一般的漂移和扩散系数以及边界点，这些系数和边界点与需求应倾向于降低库存水平的概念相一致。将一般$(s,S)$策略的成本表征为两个变量的函数$F$自然导致在排序级别$s$和$S$上的非线性优化问题。对这些模型建立了优化对$(s_*,S_*)$的存在性。利用$F$的最小值$F_*$和$(s_*,S_*)$，证明了一个函数$G$是一个拟变分不等式的解，只要一个简单的条件成立.在这种一般性水平上，在一个大的排序策略类内建立$(s_*,S_*)$排序策略的最优性，使得涉及$G$的局部鞅和横截性条件成立。对于特定的模型，$(s,S)$策略的最优性在一般类的可接受的政策，可以建立使用比较结果。这个最一般的最优性结果显示为经典的漂移布朗运动库存模型与持有和固定的，再加上成比例的订购成本和几何布朗运动库存模型与固定的，再加上水平相关的订购成本。然而，漂移布朗运动过程的反射在$\{0\}$，一类新的非马尔可夫政策的介绍，具有较低的成本比$(s,S)$的政策。此外，解释反射在$\{0\}$的“即时”订购，一个充要条件，确定何时即时订购是优于传统的$(s,S)$政策。
2015-10-22 math.OC
Asymptotic Optimality of Projected Inventory Level Policies for Lost Sales Inventory Systems with Large Leadtime and Penalty Cost
针对长提前期、高丢单成本的周期盘点丢销售库存系统，通过梯级过程求解恒定订货策略的相对值函数，经近似策略迭代证明投影库存水平策略随提前期增长具有渐近最优性。
2025-08-04 math.OC math.PR
Finite Model Approximations and Asymptotic Optimality of Quantized Policies in Decentralized Stochastic Control
Queen’s University（女王大学）
本文研究了通过观测和行动空间均匀量化构造有限模型的静态和动态团队问题，证明这些模型能以任意精度逼近最优成本，尤其在Witsenhausen反例和高斯中继信道问题中展示了去量化策略的渐近最优性。
2016-01-01 cs.SY eess.SY math.OC
Projected Inventory Level Policies for Lost Sales Inventory Systems: Asymptotic Optimality in Two Regimes
本文提出投影库存水平（PIL）策略，用于销售损失库存系统，并证明其在销售损失成本趋于无穷大和提前期趋于无穷大两种机制下均具有渐近最优性，且数值上优于其他策略。
2024-01-16 math.OC math.PR
Throughput Optimality and Overload Behavior of Dynamical Flow Networks under Monotone Distributed Routing
研究了单调分布路由策略下单商品动态流网络的吞吐量行为。该网络被建模为基于有向图上的质量守恒定律的常微分方程系统，其链路上的流量有限，并且在某些源节点处具有恒定的外部流入。在路由策略单调性假设下，证明了当外部流入不违反切容量约束时，存在全局渐近稳定的均衡点，使得网络达到最大吞吐量.相反，如果违反这样的约束，则网络过载行为被表征。特别是，它建立了存在一个削减，相对于每个链路上的流量密度随时间线性增长（分别。同时达到它们各自的极限）。finite）。结果采用单调动力系统的$l_1$ -压缩原理。
2014-05-07 math.OC
Beyond discounted returns: Robust Markov decision processes with average and Blackwell optimality
本文研究折扣回报之外的鲁棒马尔可夫决策过程，证明sa-矩形与s-矩形RMDP在平均最优性、Blackwell最优性上的差异结论，给出策略存在性条件与计算算法，凸显sa-矩形模型的实用优势。
2025-01-14 cs.GT math.OC
Sub-optimality bounds for certainty equivalent policies in partially observed systems
INLAN；McGill University（麦吉尔大学）；University of Southern California（南加州大学）；Atmanity
本文研究了部分观测系统中确定性等价策略的次优界限，推导了在适当光滑条件下策略次优性的上界，并通过实例展示了结果。
2026-02-02 cs.RO cs.SY eess.SY
Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes
University of Michigan（密歇根大学）
在部分可观测马尔可夫决策过程（POMDP）理论中，最优策略的存在性一般是通过将原来的部分可观测随机控制问题转化为信念空间上的完全可观测问题，从而得到信念-MDP。然而，即使原始系统具有有限的状态和动作空间，使用经典的动态或线性规划方法来计算该完全观察模型的最优策略以及原始POMDP的最优策略也是具有挑战性的，因为完全观察的信念-MDP模型的状态空间总是不可数的。此外，存在非常少的严格的值函数近似和最优策略近似结果，因为所需的正则性条件通常需要繁琐的研究，涉及概率测度的空间，导致诸如Feller连续性的性质。在本文中，我们研究了POMDPs的规划问题，其中系统动力学和测量信道模型假设是已知的。我们构造了一个近似的信念模型离散的信念空间，只有有限的窗口信息变量。然后，我们找到近似模型的最优策略，我们严格建立在温和的非线性滤波稳定性条件和假设的测量和行动集是有限的（和状态空间是实向量值）的POMDPs的有限窗口控制策略的近最优性。我们还建立了一个收敛速率的结果，涉及有限的窗口内存大小和近似误差界，其中的收敛速率是指数显式和可测试的指数滤波器的稳定性条件下。虽然有许多实验结果和严格的渐近收敛的结果，一个明确的收敛速率的结果是新的文献，据我们所知。
2022-01-08 cs.LG math.OC
Pathwise Optimization for Merchant Energy Production
我们研究商业能源生产建模为一个复合开关和定时选项。由此产生的马尔可夫决策过程是棘手的。国家的最先进的近似动态规划方法应用到现实的情况下，这个模型产生的政策与大的最优差距，这是由于一个弱的上限（对偶）的最优策略值。我们扩展路径优化停止模型的商业能源生产调查这个问题。我们应用主成分分析和块坐标下降的新方法，分别预处理和解决随之而来的病态和大规模的线性规划，即使是最先进的商业求解器无法直接处理。与标准方法相比，我们的方法导致更严格的对偶边界和更小的最优性差距，代价是相当大的计算工作量。具体而言，我们提供了数值证据的最小二乘蒙特卡罗的基础上的操作政策的接近最优性和计算稍好的一组现有的基准乙醇生产实例使用我们的方法。这些发现表明，这两种政策是有效的，我们调查的模型类。我们的研究对其他商品商家的运营环境具有潜在的相关性。
2019-12-28 math.OC
An axiomatic approach to Markov decision processes
本文给出了贴现率为零的有限马尔可夫决策过程的一个公理化方法。在无折扣情况下的主要困难之一是，即使注意力仅限于平稳策略，也不需要存在强的超越最优策略。我们提供了两个标准，承认最优政策的偏好基础：$0$ -折扣最优性和平均超车最优性。作为我们的结果的推论，我们得到的条件，决策者的偏好，确保最优的政策存在。这些结果对随机动态规划问题出现的学科，包括自动控制，动态博弈和经济发展有影响。
2022-11-22 math.OC
Restless Bandits with Many Arms: Beating the Central Limit Theorem
Cornell University（康奈尔大学）
我们考虑了有限时域不安分的强盗，每个周期有多个拉，这在推荐系统，主动学习，收入管理和许多其他领域中发挥着重要作用。虽然原则上可以使用动态规划来计算最优策略，但是所需的计算在臂数$N$上呈指数级缩放。因此，理解索引策略和其他可以为大型$N$高效计算的策略的性能具有重要价值。我们研究了最优差距的增长，即，与最优策略相比，预期性能的损失，对于由Whittle提出的经典渐近制度中的此类策略，其中$N$增长，同时保持每个周期可以拉动的臂的比例恒定。从中心极限定理和之前最严格的理论界限得出的直觉表明，这个最优性差距应该像$O(\sqrt{N})$一样增长。令人惊讶的是，我们表明，它是可能超越这个界限。我们描述了一个非退化条件和广泛的一类新的实际可计算的政策，称为流体优先级的政策，其中的最优性差距是$O(1)$。其中包括最广泛使用的索引策略。当这种非退化条件不成立，我们表明，流体优先级的政策，但有一个最优的差距，即$O(\sqrt{N})$，显着推广的政策类的收敛速度是已知的。我们证明了流体优先的政策提供了最先进的性能上收集的不安分的强盗问题的数值实验。
2021-07-25 cs.LG math.OC math.PR
Unichain and Aperiodicity are Sufficient for Asymptotic Optimality of Average-Reward Restless Bandits
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出了一种新政策，通过逐步将更多臂推向最优分布，证明在Unichain和非周期性假设下，该政策具有O(1/√N)的渐进最优性。
2026-03-30 cs.LG math.OC math.PR
Average Cost Markov Decision Processes with Semi-Uniform Feller Transition Probabilities
研究了具有半一致Feller转移概率的平均费用马氏决策过程。这类MDP最近被作者引入研究不完全信息的MDP。本文研究了最优性不等式的有效性，最优策略的存在性，以及最优策略通过优化总贴现成本的策略来逼近最优策略。
2021-08-12 math.OC
Sufficient Optimality Conditions for Distributed, Non-Predictive Ramp Metering in the Monotonic Cell Transmission Model
我们考虑的匝道控制问题的高速公路路段的细胞传输模型。假设完美的模型知识和完美的交通需求预测，匝道控制问题可以被转换为有限时域最优控制问题，其目标是最小化总时间花费，即，所有驾驶员行驶时间的总和。为此，提出了将模型预测控制（MPC）应用于匝道控制的方法。然而，高速公路上的实际测试表明，MPC可能并不优于简单的分布式反馈策略。到目前为止，这一经验观察缺乏理论依据。这项工作比较分布式，非预测性的政策，最优解在理想化的设置，特别是单调的交通动态和假设完美的模型知识的性能。要做到这一点，我们建议一个分布式的，非预测性的政策，并推导出充分的最优性条件，通过单调性参数的总时间最小化。在一个基于真实交通数据的案例研究中，我们证明了这些最优性条件很少被违反。此外，我们观察到，这种罕见的违规行为所造成的次优似乎是可以忽略不计的。我们补充这种分析与模拟在非理想的设置，特别是允许模型不匹配，并认为Alinea，一个成功的，分布式匝道控制政策，接近理想的控制器在控制行为和性能。
2017-10-25 math.OC
Average-Cost Markov Decision Processes with Weakly Continuous Transition Probabilities
本文给出了具有Borel状态集和行动集、弱连续转移概率的平均费用马氏决策过程存在平稳最优策略的充分条件。一步费用函数可以是无界的，并且动作集可以是非紧的。本文的主要贡献是：（i）存在静态折扣最优策略和平均成本最优策略的一般充分条件以及对值函数和最优行动集的性质的描述，（ii）以最优性不等式的形式给出了平稳策略的平均成本最优性的充分条件，（iii）平均成本最优行动由折扣最优行动的近似。
2012-02-19 math.OC
A New Condition for the Existence of Optimal Stationary Policies in Denumerable State Average Cost Continuous Time Markov Decision Processes with Unbounded Cost and Transition Rates
本文给出了转移率和费用均为无界的平均费用连续时间马氏决策过程存在最优平稳策略的一个新条件。这个条件与系统的稳定性密切相关。这表明稳定性的证明可以用来验证最优平稳策略的存在性。这种新的条件比现有条件更容易验证。此外，提供了几个条件，足以平均成本最优性等式举行。
2015-04-22 math.OC
Strong Polynomiality of the Value Iteration Algorithm for Computing Nearly Optimal Policies for Discounted Dynamic Programming
本文给出了有限状态数和动作数的无限时域贴现马尔可夫决策过程的近似最优策略的数值迭代计算所需操作数的上界。对于一个给定的折扣因子，报酬函数的大小，并期望接近最优，这些上界是强多项式的状态-动作对的数量，和提供的上界之一具有的属性，它是一个非减函数的折扣因子的值。
2020-01-28 math.OC
Optimality Conditions for Model Predictive Control: Rethinking Predictive Model Design
本文针对预测模型不准确导致MPC次优的问题，建立了MPC方案实现闭环最优性的充要条件，为构建直接关联控制性能的预测模型提供了数学基础。
2024-12-24 math.OC
Asymptotic optimality of Tailored Base-Surge policies in dual-sourcing inventory systems
双源库存系统，其中一个供应商速度更快（即快递），成本更高，而另一个供应商速度更慢（即常规），成本更低，在许多现实世界的供应链中自然出现。由于最优解的复结构和维数灾难，这些系统非常难以优化，已经抵抗了40多年的解决方案。最近，所谓的定制基地浪涌（TBS）政策已被提出作为一种启发式的双源问题。在这样的策略下，在每个时段中，在常规源处放置恒定订单，而在快速源处放置的订单遵循简单的订单最多规则。几位作者的数值实验表明，这样的政策表现良好的两个源之间的前置时间差变大，这正是设置中的维数灾难导致问题变得棘手。然而，为这种现象提供理论基础仍然是一个重大的开放问题。在本文中，我们提供了这样一个理论基础，证明了一个简单的TBS政策确实是渐近最优的定期源的提前期增长大，与表达源的提前期固定。我们的主要证明技术结合了新的凸性和下界参数，一个明确的实现消失折扣因子的方法来分析无限时域马尔可夫决策过程，和思想理论的随机游动和队列，显着扩展的方法和适用性的一个新的框架，分析库存模型与大的提前期最近介绍了戈德堡和共同作者的背景下，失去了，销售模式与积极的前置时间。
2016-04-19 math.OC math.PR
LP-based policies for restless bandits: necessary and sufficient conditions for (exponentially fast) asymptotic optimality
本文提出基于线性规划的策略框架，证明其渐近最优性，并构造 LP-index 与 LP-update 策略，后者在估计误差下表现更优。
2023-12-22 math.OC math.PR
Benchmarking Reinforcement Learning via Stochastic Converse Optimality: Generating Systems with Known Optimal Policies
Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所）；Innopolis University（因纳波利斯大学）；Technische Universität Chemnitz（化学工业大学）；Central University（中央大学）；Sirius University of Science and Technology（西里乌斯科学与技术大学）
本文提出一种通过逆优化性评估强化学习算法的框架，通过生成具有已知最优策略的系统，实现对算法性能的系统性评估。
2026-03-18 cs.AI cs.LG cs.SY
Value Functions for Temporal Logic: Optimal Policies and Safety Filters
Massachusetts Institute of Technology（麻省理工学院）；University of California（加州大学）
研究时序逻辑价值函数在无限时间 horizon 下的最优策略与安全过滤机制，通过非马尔可夫策略避免路径病态并证明其鲁棒性。
2026-05-01 cs.AI cs.LG cs.LO
Comparing discounted and average-cost Markov Decision Processes: a statistical significance perspective
最优马尔可夫决策过程政策的有限状态和行动空间的问题，确定通过一个偏序比较的价值函数的状态。这被称为基于状态的最优性。本文确定当这种最优性保证某种形式的基于系统的最优性作为衡量的标量。四个这样的系统为基础的指标介绍。这些指标的单变量经验分布通过模拟获得，以评估理论上最优的政策是否提供了统计上显着的优势。使用Student t检验、Welch $t$检验和Mann-Whitney $U$检验进行。所提出的方法适用于排队论中的一个常见问题：准入控制。
2021-12-01 math.OC stat.AP
Asymptotic Optimality of Finite Approximations to Markov Decision Processes with Borel Spaces
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学协调科学实验室）；Department of Mathematics and Statistics, Queen’s University（女王大学数学与统计系）
本文研究了Borel空间中马尔可夫决策过程的有限状态近似，证明了在折扣和平均成本标准下，所得的平稳策略能以任意精度逼近最优策略，并给出了收敛速率的明确界。
2016-09-22 cs.SY eess.SY math.OC
