Optimality of Independently Randomized Symmetric Policies for Exchangeable Stochastic Teams with Infinitely Many Decision Makers
本文研究了决策者数目为大或可数无穷多的随机团队（也称为分散随机控制或同息随机动态博弈）问题，刻画了（全局）最优策略的存在性和结构性质。我们考虑静态和动态的非凸团队问题的费用函数和动态满足交换条件。为了达到最优策略的存在性和结构性结果，我们首先介绍了控制策略的拓扑结构，它涉及到分散的信息结构的各种放松。然后利用这一点来达到可交换政策的de Finetti型表示定理。这导致了一个表示定理的政策，承认一个无限的交换条件。对于一般设置的随机团队问题与$N$决策者，下交换的观察决策者和费用函数，我们表明，在不损失全局最优性，搜索最优策略可以限制到那些是$N$ -可交换的。然后，通过将$N$ -可交换策略推广到无限可交换策略，建立了诱导成本的收敛性论证，并利用所提出的de Finetti型定理，我们建立了具有可数无限个决策者的静态和动态团队的最优分散策略的存在性，证明了该策略是对称的（即，相同）和随机化。特别是，与以前的工作，凸性的成本在政策不假设。最后，我们证明了有限$N$ -决策者团队问题的对称独立随机策略的近最优性，从而建立了$N$ -决策者弱耦合随机团队的近似结果。
2021-07-07 math.OC
Sustainable Inventory with Robust Periodic-Affine Policies and Application to Medical Supply Chains
我们引入了一类新的自适应政策，称为仿射政策，它允许决策者最优地管理和控制大规模的报童网络中存在的不确定的需求，没有分布的假设。这些策略是数据驱动的，并对需求的许多特征（如相关性）进行建模，并且对参数错误指定保持鲁棒性。我们提出了一个模型，可以推广到多产品的设置和扩展到多周期的问题。这是通过集合对不确定需求进行建模来实现的。通过这种方式，它提供了一个自然的框架来研究竞争政策，如基本股票，仿射和近似方法，其利润，参数和假设的敏感性，以及计算的可扩展性。我们发现，仿射的政策是可持续的，即时间一致的，因为他们保证最优的子周期内和整个规划范围内。这种方法是易于处理的，没有分布假设，因此，适合于现实世界的应用。我们提供了有效的算法，以获得最佳的仿射策略，并展示了他们的优势，从印度最大的药店零售商之一的销售数据。
2018-06-18 math.OC
On Strategic Measures and Optimality Properties in Discrete-Time Stochastic Control with Universally Measurable Policies
University of Alberta（阿尔伯塔大学）
本文研究Borel状态和动作空间下通用可测策略诱导的策略测度，并将其应用于风险中性和风险敏感的马尔可夫决策过程及其部分可观测对应问题，证明了最优值函数的可测性以及多种平均成本准则和风险准则下通用可测随机或非随机ε-最优策略的存在性，并扩展至极小极大控制问题。
2023-10-16 math.OC
Designing Tractable Piecewise Affine Policies for Multi-Stage Adjustable Robust Optimization
本研究提出多阶段可调鲁棒优化的分段仿射策略，通过构造支配不确定性集合并用线性规划高效求解，证明强近似界，数值实验显示计算速度显著优于仿射策略且结果相当或更优。
2023-12-15 math.OC
Optimality of Affine Policies in Distributionally Robust Linear-Quadratic Control with Temporally Correlated Noise
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
针对时间相关扰动的分布鲁棒线性二次控制，证明最优策略为仿射且最坏分布为标称分布的仿射推前，并提出高效算法，实验验证了样本外性能优势。
2026-09-24 math.OC
Near Optimality of Lipschitz and Smooth Policies in Controlled Diffusions
本文针对受控扩散问题，证明在多种代价准则下光滑/Lipschitz连续策略可在Borkar拓扑下稠密逼近最优策略，从而建立其近似最优性。
2024-05-25 math.OC
On the Optimality of Affine Policies for Budgeted Uncertainty Sets
本文研究了具有固定补偿的两阶段可调鲁棒最优化问题仿射策略的性能，其中不确定性右端属于预算不确定性集。这是一类重要的不确定性集，在实践中广泛使用，我们可以指定一个预算的对抗偏差的不确定参数从名义值，以调整保守性的水平。两阶段可调鲁棒最优化问题是很难近似在一个因子内优于$Ω\left( \frac{\log n}{\log \log n} \right)$，即使预算的不确定性集和固定的非负追索权，其中$n$是决策变量的数量。仿射策略，其中的第二阶段的决定被约束为一个仿射函数的不确定参数，提供了一个易于处理的近似的问题，并已被观察到表现出良好的经验性能。我们表明，仿射政策预算的不确定性集的固定非负追索权的两阶段可调鲁棒问题的$O\left( \frac{\log n}{\log \log n} \right)$近似。这与近似的难度相匹配，因此，令人惊讶的是，仿射策略为问题提供了最优逼近（直到常数因子）。我们还展示了强大的理论性能边界的仿射策略的预算集，包括不相交约束预算集，置换不变集和一般的预算集的交集更一般的类。我们的分析依赖于显示存在一个接近最优的可行的仿射政策，满足一定的好的结构属性。基于这些结构特性，我们还提出了一种替代算法来计算近似最优仿射解，这比通过求解大型线性规划来计算最优仿射策略要快得多。
2019-06-02 math.OC
Strong bi-metric regularity in affine optimal control problems
Vienna University of Technology（维也纳工业大学）；Univ Brest, UMR CNRS 6205, Laboratoire de Mathématiques de Bretagne Atlantique（布雷斯特大学，CNRS 6205 联合研究单位，布列塔尼大西洋数学实验室）
本文针对仿射最优控制问题，提出最优性映射强双度量正则性的不要求目标泛函凸性的新充分条件，并将其用于证明一类该问题欧拉离散方法的一致收敛性。
2025-11-18 math.OC
State constrained control-affine parabolic problems II: Second order sufficient optimality conditions
本文考虑一类具有双线性控制-状态项的半线性热方程的最优控制问题，该问题具有控制约束和状态约束。状态约束是积分型的，积分是关于空间变量的。控制是多维的。成本函数是跟踪型的，并且在控制变量中包含线性项。我们得到依赖于Goh变换的二阶充分条件。附录提供了一个例子说明我们的结果的适用性。
2020-10-13 math.OC
Reinforcement Learning for Jointly Optimal Coding and Control Policies for a Controlled Markovian System over a Communication Channel
Queen’s University（女王大学）；ETH Zürich（苏黎世联邦理工学院）
本文研究受控马尔可夫系统在有限速率无噪声通信信道中的联合最优编码与控制策略优化问题，提出正则性和存在性结果，并通过强化学习实现近优解。
2026-03-16 math.OC
A Tractable Approach for designing Piecewise Affine Policies in Two-stage Adjustable Robust Optimization
研究了右侧不确定性下两阶段可调鲁棒线性最优化问题的分段仿射策略设计问题。众所周知，分段仿射策略是最优的，尽管片段的数量可以是指数级的大。设计一个实用的分段仿射策略的一个重大挑战是构造好的不确定性集。在这里，我们通过引入一个新的框架来解决这一挑战，在这个框架中，不确定性集由一个“主导”单纯形“近似”。相应的策略则基于从不确定性集合到单纯形的映射。虽然我们的分段仿射策略有指数级的多个片段，但它可以通过求解给定主导单纯形的紧凑线性规划来有效地计算。此外，我们可以找到一个封闭形式的控制单形，如果不确定性集满足一些对称性，并可以计算使用MIP一般。我们的政策的性能显着优于仿射政策的许多重要的不确定性集，如椭球和范数球，无论是理论上和数值。例如，对于超球不确定性集，我们的分段仿射策略可以由LP计算并给出$O(m^{1/4})$ -近似，而仿射策略需要我们求解二阶锥规划并具有$O(\sqrt m)$的最坏情况性能界。
2018-01-21 math.OC
State-constrained control-affine parabolic problems I: first and second order necessary optimality conditions
本文考虑一类具有双线性控制-状态项的半线性热方程的最优控制问题，该问题具有控制约束和状态约束。状态约束是积分型的，积分是关于空间变量的。控制是多维的。成本函数是跟踪型的，并且在控制变量中包含线性项。我们推导出二阶必要条件依赖于替代余态和准径向临界方向的概念。附录提供了一个例子说明我们的结果的适用性。
2020-09-14 math.OC
On the Convergence of Optimal Actions for Markov Decision Processes and the Optimality of $(s,S)$ Inventory Policies
本文研究了具有弱连续转移概率的折扣和平均成本马尔可夫决策过程（MDP）的最优值和最优行动的收敛性质，并将这些性质应用于具有缺货、正设置成本和凸持有/缺货成本的随机库存检查库存控制问题。对于可能具有非紧行动集和无界费用函数的MDP，建立了以下结果：（i）对于具有可能非零终端成本的贴现问题，值迭代收敛到最优值，（ii）对于总贴现成本，当时间范围趋于无穷大时，最优有限时间范围行动收敛到最优无限时间范围行动，和（iii）收敛的最优折扣成本行动的最优平均成本行动的无限时间的问题，折扣因子趋于1。应用于具有初始成本的库存控制问题，MDP的一般结果暗示了$(s,S)$策略的最优性和最优阈值的收敛性。特别地，本文分析了设置成本库存控制问题，而没有文献中经常使用的两个假设：（a）需求是离散的或连续的或（b）如果缺货库存量很大，则缺货成本高于缺货成本。
2017-03-20 math.OC
Mean-Field Systems with Heterogeneous Subteams: Optimality of Cluster-Symmetric Independent Policies and Equivalence with Decentralized McKean-Vlasov Control of Cluster-Representative Agents
Queen’s University（女王大学）；Royal Military College of Canada（加拿大皇家军事学院）；Bilkent University（比尔肯特大学）
本文研究了异质子团队的均场系统，证明了集群对称独立策略的最优性，并展示了其与去中心化麦肯-瓦拉斯控制的等价性，为复杂合作系统的分析提供了新途径。
2026-04-30 math.OC
Average Cost Optimality Inequality for Markov Decision Processes with Borel Spaces and Universally Measurable Policies
我们考虑平均成本马尔可夫决策过程（MDPs）与博雷尔状态和行动空间和普遍可测的政策。对于非负费用模型和具有Lyapunov型稳定特征的无界费用模型，我们引入了一组新的条件，在此条件下，我们通过消失折扣因子方法证明了平均费用最优性不等式（ACOI）.与大多数现有的结果ACOI，我们的结果不需要任何紧性和连续性条件的MDP。相反，其主要思想是使用几乎一致收敛性质的逐点收敛序列的可测函数断言在埃戈罗夫定理。我们的条件是为了利用这一性质而制定的。除其他外，我们要求，对于每个状态，在该状态下的行动的选定子集，状态转移随机内核是由有限的措施占主导地位。我们结合这种优势的过渡内核与Egoroff定理证明ACOI。
2020-05-05 math.OC
Decentralized Exchangeable Stochastic Dynamic Teams in Continuous-time, their Mean-Field Limits and Optimality of Symmetric Policies
本文研究连续时间下有限与无限总体的可交换随机动态团队，证明了有限总体最优策略收敛于无限总体去中心化对称策略并具有全局最优性，首次建立了受控McKean-Vlasov动力学与去中心化随机控制问题的联系。
2024-04-25 math.OC
Refined Bounds on Near Optimality Finite Window Policies in POMDPs and Their Reinforcement Learning
本文改进POMDP滑动有限窗口策略的近优性与强化学习误差界，分别在期望Wasserstein距离和样本路径全变差距离下建立互补的精细化界。
2024-09-06 math.OC
Optimality of Symmetric Independent Policies under Decentralized Mean-Field Information Sharing for Stochastic Teams and Equivalence with McKean-Vlasov Control of a Representative Agent
Royal Military College of Canada（加拿大皇家军事学院）；Bilkent University（比尔肯特大学）；Queen’s University（女王大学）
研究有限和无限决策者随机可交换团队的最优策略，证明有限人口最优策略收敛到无限人口的分散对称独立策略，并建立与McKean-Vlasov控制的关系。
2026-06-05 math.OC
An Inverse Optimality Method to Solve a Class of Optimal Control Problems
本文提出了一种逆优化方法来求解Hamilton-Jacobi-Bellman方程，求解了一类费用为二次型且动力学在输入中是仿射的非线性优化问题。该方法是逆最优的，因为使控制输入最优的运行成本也明确确定。这项工作的一个特点，与文献中的其他方法相比，是直接获得控制输入的解决方案。也可以在求解控制输入之后获得值函数。此外，一个李雅普诺夫函数，证明至少局部稳定的控制器也得到了。在这方面，本文的主要贡献可以从两个不同的方面来解释：一类非线性系统的李雅普诺夫函数的解析表达式，并获得了一个最优控制器的同一类系统使用一个特定的优化功能。我们还认为，本文的一个额外的贡献是确定明确的系统和优化泛函类的最优控制问题可以解析解决。特别地，对于二阶系统，识别三种情况：i）控制输入仅作为第二状态变量的函数，ii）当动态在第二状态变量中是仿射的时，控制输入在该变量中是仿射的，以及iii）当动态在该变量中是仿射的时，控制输入在第一状态变量中是仿射的。所提出的方法的相关性说明在几个例子中，包括范德波尔振荡器，质量弹簧系统和车辆路径跟踪。
2011-10-10 math.OC
Policy iteration for discrete-time systems with discounted costs: stability and near-optimality guarantees
本文针对具有折扣代价的离散时间系统，提出策略迭代的新近最优性界，并证明在温和条件下经过有限次迭代即可实现闭环镇定。
2024-03-27 math.OC
Long-Run Average Sustainable Harvesting Policies: Near Optimality
研究了一类捕食者-食饵系统中捕食者的近优可持续收获策略。目标函数为单位时间长期平均型。迄今为止，环境噪声作用下的生态系统通常被建模为布朗运动驱动的随机微分方程。认识到，制定使用布朗运动只是一个理想化，在本文中，它是假设的环境是受到干扰的特征在于一个跳跃过程，具有快速跳跃率。在广泛的条件下，它表明，所考虑的系统可以近似为一个受控扩散系统。基于极限扩散系统，构造了原系统的控制策略。这种方法使我们能够制定可持续的收获政策，从而接近最优。为了处理潜在的问题，主要困难之一是由于长期平均目标函数。这反过来又需要处理一些与遍历性有关的问题。基于种群动力学系统，发展了新的方法来获得底层过程的紧密性。
2017-10-08 math.OC math.PR
On the Optimality of Markovian Policies for Chance-Constrained Covariance Steering
School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院）
本文证明机会约束协方差转向问题中，依赖历史的最优策略可无损转化为马尔可夫策略，拓展分析至输出反馈与风险价值代价代理问题。
2026-08-25 math.OC
Policy-based reserves for power systems
本文介绍了仿射备用政策的概念，以适应大，波动的可再生电力系统的馈入。该方法使用具有追索权的鲁棒优化来确定发电机和存储单元等电力系统实体的操作规则。这些规则或策略提前几个小时建立这些实体在发现其值时如何响应负载和可再生馈入的预测中的错误。仿射策略由标称功率计划加上一系列计划的线性修改组成，这些线性修改取决于在未来时间将变得已知的预测误差。我们描述了如何选择最佳的仿射政策，尊重电力网络的约束，即匹配的供应和需求，尊重输电线路的额定值，和电力系统实体的本地操作限制，所有实现的预测误差。至关重要的是，这些政策是时间耦合的，利用这些预测误差的空间和时间相关性。仿射政策与现有的备用操作标准建模假设下进行比较，并报告了一个多天的基准研究，具有预测不良的风进料的运营成本降低。这种“基于政策的储备”的有效价格的推导，我们提出了新的储备产品，可以在电力市场上交易。
2013-07-12 math.OC
On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control
Institute of Mechanical Engineering, EPFL（机械工程学院，洛桑联邦理工学院）
本文提出了一种分布鲁棒的有限时间LQG控制问题扩展，通过熵正则化Wasserstein距离定义的模糊集假设未知噪声分布，证明线性策略的全局最优性，并通过数值实验展示改进的分布鲁棒性。
2026-03-26 cs.SY eess.SY math.OC
New global optimality conditions for nonsmooth DC optimization problems
在这篇文章中，我们提出了一种新的方法来分析直流最优化问题。这种方法的灵感主要来自于余微分和余微分下降法，并且基于使用凸函数的所谓仿射支撑集而不是Frenchel共轭函数。利用仿射支撑集定义了DC函数的一个全局余微分映射，并得到了DC最优化问题的一个新的全局最优性条件.我们还提供了新的简单的充要条件的$\ell_1$罚函数的DC最优化问题的等式和不等式约束的全局精确性，并提出了一系列简单的例子证明了新的全局最优性条件的建设性。这些例子表明，当不满足最优性条件时，可以很容易地利用它们来找到约束和无约束问题的“全局下降”方向。作为一个有趣的理论例子，我们应用我们的方法来分析一个非光滑问题的Bolza。
2019-10-02 math.OC
Average-Cost MDPs with Infinite State and Action Sets: New Sufficient Conditions for Optimality Inequalities and Equations
本文针对具有Borel状态和动作集的平均成本无限时域MDPs，提出了转移概率弱连续和集值连续下最优性不等式与方程成立的新充分条件，并证明了确定性最优策略的存在性。
2025-01-27 math.OC
Average Cost Optimality of Partially Observed MDPS: Contraction of Non-linear Filters, Optimal Solutions and Approximations
本文针对紧致状态空间的部分可观测随机控制问题，提出显式条件证明平均代价最优性方程解的存在性，基于非线性滤波器收缩分析，并推导出对错误先验的鲁棒性、量化近似与有限记忆策略的近最优性及Q学习收敛性等新贡献。
2024-07-30 math.OC
Variational integrators for a new Lagrangian approach to control affine systems with a quadratic Lagrange term
本文针对控制仿射系统且控制代价为二次型的最优控制问题，提出新拉格朗日方法的精确离散与半离散变分积分器，推导离散最优性条件并证明其与连续形式等价，构造低阶积分格式求解低推力轨道转移，并研究了诺特定理。
2025-02-10 math.OC
On the Optimality Equation for Average Cost Markov Decision Processes and its Validity for Inventory Control
众所周知，平均费用最优性不等式意味着单位时间平均费用的马尔可夫决策过程存在平稳最优策略，并且这些不等式在广泛的自然条件下成立。本文对具有弱连续转移概率和可能无界的一步费用和非紧行动集的无限状态问题，给出了平均费用最优性方程有效的充分条件.这些条件也意味着折扣相对值函数序列收敛于平均费用相对值函数和平均费用相对值函数的连续性。如本文所示，经典的库存检查库存控制问题满足这些条件。因此，对于这个问题，最优性不等式以具有连续平均成本相对值函数的等式的形式成立。此外，当折扣因子增大到1时，折扣相对值函数的$K$ -凸性及其收敛于平均费用相对值函数的性质，也隐含了平均费用相对值函数的$K$ -凸性.这意味着库存控制问题的平均成本最优$(s,S)$策略可以从平均成本最优性方程导出。
2016-10-02 math.OC
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Asymptotic Optimality of Constant-Order Policies for Lost Sales Inventory Models with Large Lead Times
在许多实际环境中，由于维数灾难，具有大提前期的销售损失库存模型非常难以优化。在本文中，我们表明，当前置时间很大，一个非常简单的恒定顺序的政策，首先研究了雷曼（\cite{Reiman04}），执行近最佳。我们工作的主要观点是，当提前期非常长时，在下更多库存订单和收到订单之间，系统中会注入大量的随机性，因此“聪明”在算法上几乎没有任何好处。我们的主要证明技术结合了一个新的耦合的随机游动的上确界的参数从排队论。
2014-09-03 math.OC math.PR
Optimality gap of constant-order policies decays exponentially in the lead time for lost sales models
由于维数灾难，具有销售损失和大提前期的库存模型传统上被认为是难以处理的。最近，Goldberg和合著者为解决这些模型的新方法奠定了基础，证明了随着提前期的增长，简单的恒定顺序策略是渐近最优的。然而，有证明的界限需要的前置时间是非常大的，在恒定顺序的政策变得有效之前，相反，Zipkin表现出良好的数值性能，即使是小的前置时间值。在这项工作中，我们证明了，对于同一个丢失的销售问题的无限时域的变体，相同的恒定顺序的政策的最优间隙实际上收敛到\emph{exponentially fast}为零，与最优间隙衰减到零至少一样快的指数收敛速率的预期等待时间在一个相关的单服务器队列的稳态值。我们还得到了简单和明确的界限的最优差距，并表现出良好的数值性能在很宽的参数值的特殊情况下，指数分布的需求。我们的主要证明技术结合了凸性参数与排队论的思想。
2016-04-19 math.OC math.PR
Decentralized Detection with Many Sensors: Optimality of Exchangeable and Identical Encoding Policies
本文研究多传感器分散二元检测，证明有限及无限传感器场景下最优编码策略存在且具有阈值、可交换或对称独立性质，并表明无限场景对称策略对有限场景近似最优。
2025-09-26 math.OC
Covariance Control of Discrete-Time Gaussian Linear Systems Using Affine Disturbance Feedback Control Policies
针对离散时间高斯线性系的有限时域协方差导引问题，提出了一种新的控制策略参数化方法，将离散时间高斯线性系统的有限时域随机最优控制问题转化为一个易于处理的最优化问题.协方差引导问题寻求一种反馈控制策略，该策略将在有限时间内将DTGLS的状态协方差引导到期望的正定矩阵。我们考虑两种不同的配方的协方差转向问题，一个硬终端LMI约束（硬约束协方差转向）和另一个软终端约束的形式，终端成本对应于实际终端状态（高斯）分布和所需的（软约束协方差转向）之间的平方Wasserstein距离。我们提出了一个解决方案，依赖于仿射扰动反馈参数化的问题配方。我们表明，这种特殊的参数化，使我们能够减少硬约束协方差转向问题的半定计划（SDP）和软约束协方差转向问题的差异的凸函数计划（DCP）。最后，通过理论分析和数值模拟，证明了该方法在计算复杂性和计算时间方面优于其他协方差控制算法.
2021-03-26 math.OC
Asymptotic optimality of switched control policies in a simple parallel server system under an extended heavy traffic condition
本文研究了一个2类2服务器的并行服务器系统在最近引入的扩展的高负荷服务条件下的问题，该条件下的“静态分配”线性规划（LP）是临界的，但并不要求它有唯一的解。主要的结果是建设的政策，渐近达到一个下界，证明在[1]中，预期折扣线性组合的扩散缩放队列长度，因此是渐近最优的（AO）。LP的每个极值点解确定控制模式，即，一组可操作的活动（类-服务器对）。当存在多个解决方案时，可以动态选择这些模式。结果表明，AO所需的模式的数量是一个或两个。在后一种情况下，在（标准化的）工作负荷域中存在切换点，其特征在于自由边界问题。我们的政策是通过确定对基本的政策和他们之间的切换在这个切换点。他们提供了第一个例子，在高负荷服务文献弱限制下的AO政策是由一个扩散过程的漂移和扩散系数是不连续的。
2022-07-16 math.OC math.PR
Low-Rank Matrix Optimization Over Affine Set
基于仿射集的低秩矩阵优化（秩-MOA）是指在一个与一个仿射集相交的低秩集上最小化一个连续可微函数。在适当的假设条件下，建立了Fréchet法锥与秩MOA可行集的相交规则。这使我们能够提出一阶最优性条件的秩MOA在所谓的F-平稳点和$α$ -平稳点。并给出了二阶最优性分析，包括必要条件和充分条件。这些结果丰富了低秩矩阵优化理论，为设计求解低秩矩阵优化问题的有效数值算法提供了潜在的线索。同时，我们说明了我们提出的秩MOA的几个具体应用，包括系统辨识中的Hankel矩阵逼近问题和信号处理中的线性流形上的低秩表示的最优性分析。
2019-12-06 math.OC math.SP
Isomorphism Properties of Optimality and Equilibrium Solutions under Equivalent Information Structure Transformations I: Stochastic Dynamic Teams
在随机最优控制中，测度变元一直是随机分析的关键问题。这种方法通常被称为动态团队理论（或分散随机控制）中的静态约简，并且已经成为建立最优策略的存在性和近似结果的有效方法。在本文中，我们将这种静态减少分为三类：（i）独立于政策的（如Witsenhausen介绍的），（ii）政策依赖型（正如Ho和Chu为部分嵌套的动态团队介绍的那样），以及（iii）我们将称为具有控制共享减少的静态测量的那些（其中测量是静态的，尽管根据部分嵌套的信息结构共享控制动作）。对于第一种类型，我们证明了动态团队的个人最优（全局最优）政策与其政策独立的静态减少之间存在双射。对于第二种类型，虽然有一个双射动态团队的全局最优政策与部分嵌套的信息结构和他们的静态约简，一般不存在双射动态团队的个人最优政策和他们的政策相关的静态约简。我们还建立了一个关于定常解的更强的负结果。我们提出了双射关系成立的充分条件。在控制共享减少的静态测量下，最优性概念之间的联系可以在放松的条件下建立。一个蕴涵是一个凸性特征的动态团队问题在静态测量与控制共享减少。最后，我们介绍了多阶段的改进，这样的减少。第二部分的文件解决了类似的问题的背景下，随机动态游戏，其中出现了进一步的微妙之处。
2021-11-27 math.OC
Finite Model Approximations and Asymptotic Optimality of Quantized Policies in Decentralized Stochastic Control
Queen’s University（女王大学）
本文研究了通过观测和行动空间均匀量化构造有限模型的静态和动态团队问题，证明这些模型能以任意精度逼近最优成本，尤其在Witsenhausen反例和高斯中继信道问题中展示了去量化策略的渐近最优性。
2016-01-01 cs.SY eess.SY math.OC
Minimum-time strong optimality of a singular arc: the multi-input non involutive case
考虑多输入控制仿射系统的最小时间问题，其中我们假设被控向量场生成一个非对合的常维分布，并且我们不假设控制的先验界.我们使用Hamilton方法证明了一个合适的二阶变分与Pontryagin奇异弧的相关性足以证明其强局部最优性。我们提供了一个应用程序的Dubins问题的推广的结果。
2014-04-29 math.OC
Asymptotic Optimality of Projected Inventory Level Policies for Lost Sales Inventory Systems with Large Leadtime and Penalty Cost
针对长提前期、高丢单成本的周期盘点丢销售库存系统，通过梯级过程求解恒定订货策略的相对值函数，经近似策略迭代证明投影库存水平策略随提前期增长具有渐近最优性。
2025-08-04 math.OC math.PR
Near Optimality of Discrete-Time Approximations for Controlled McKean-Vlasov and Large Interacting Particle Diffusions
Indian Institute of Science Education and Research Bhopal（印度科学教育研究所博帕尔分校）；Queen’s University（女王大学）
针对受控McKean-Vlasov扩散，通过松弛策略空间的弱紧性证明分段常数策略的近最优性，建立离散时间近似并推广到N粒子交互系统，统一了集中式和分散式控制下的近似框架。
2026-06-16 math.OC
Optimality of broken extremals
本文分析了具有一个控制参数的n维仿射控制系统在k维闭球上取值的破缺Pontryagin极值的最优性。证明了当n = 3且可控向量场形成接触分布时，以及当可控场的李代数与奇异轨迹局部正交且漂移不属于奇异轨迹时，破断法向极值的最优性，并证明了当k = 2时，当可控场在奇点处不形成接触分布时，我们证明了任何破缺极值甚至反常的最优性。
2017-09-21 math.OC
Projected Inventory Level Policies for Lost Sales Inventory Systems: Asymptotic Optimality in Two Regimes
本文提出投影库存水平（PIL）策略，用于销售损失库存系统，并证明其在销售损失成本趋于无穷大和提前期趋于无穷大两种机制下均具有渐近最优性，且数值上优于其他策略。
2024-01-16 math.OC math.PR
Sub-optimality bounds for certainty equivalent policies in partially observed systems
INLAN；McGill University（麦吉尔大学）；University of Southern California（南加州大学）；Atmanity
本文研究了部分观测系统中确定性等价策略的次优界限，推导了在适当光滑条件下策略次优性的上界，并通过实例展示了结果。
2026-02-02 cs.RO cs.SY eess.SY
Continuous Inventory Models of Diffusion Type: Long-term Average Cost Criterion
本文建立了一维扩散型库存模型的$(s,S)$订货策略最优性条件。这类模型具有一般的漂移和扩散系数以及边界点，这些系数和边界点与需求应倾向于降低库存水平的概念相一致。将一般$(s,S)$策略的成本表征为两个变量的函数$F$自然导致在排序级别$s$和$S$上的非线性优化问题。对这些模型建立了优化对$(s_*,S_*)$的存在性。利用$F$的最小值$F_*$和$(s_*,S_*)$，证明了一个函数$G$是一个拟变分不等式的解，只要一个简单的条件成立.在这种一般性水平上，在一个大的排序策略类内建立$(s_*,S_*)$排序策略的最优性，使得涉及$G$的局部鞅和横截性条件成立。对于特定的模型，$(s,S)$策略的最优性在一般类的可接受的政策，可以建立使用比较结果。这个最一般的最优性结果显示为经典的漂移布朗运动库存模型与持有和固定的，再加上成比例的订购成本和几何布朗运动库存模型与固定的，再加上水平相关的订购成本。然而，漂移布朗运动过程的反射在$\{0\}$，一类新的非马尔可夫政策的介绍，具有较低的成本比$(s,S)$的政策。此外，解释反射在$\{0\}$的“即时”订购，一个充要条件，确定何时即时订购是优于传统的$(s,S)$政策。
2015-10-22 math.OC
Affine Monotonic and Risk-Sensitive Models in Dynamic Programming
本文考虑一类无限时域离散时间最优控制模型，它们的动态规划方程中包含一个非负的费用函数和一个仿射映射。它们包括作为特殊情况的经典模型，如随机未贴现的非负成本问题，随机乘法成本问题，和指数成本的风险敏感问题。我们重点讨论了状态空间有限且控制空间具有某些紧性的情形。我们假设仿射映射具有收缩特征，由此对于某些策略它是收缩的，而对于其他策略它不是。在一条分析线中，我们强加了保证后一种政策不可能是最优的假设。在这些假设下，我们证明了类似于折扣马尔可夫判定问题的强结果，如贝尔曼方程的解的唯一性，以及价值和政策迭代形式的有效性。在没有这些假设的情况下，结果在性质上是较弱和不寻常的：最优费用函数不需要是贝尔曼方程的解，并且最优策略可能不会通过值或策略迭代来找到。相反，仅在收缩策略上的最优费用函数解决了贝尔曼方程，并且可以通过各种算法来计算。
2017-11-28 math.OC
Beyond discounted returns: Robust Markov decision processes with average and Blackwell optimality
本文研究折扣回报之外的鲁棒马尔可夫决策过程，证明sa-矩形与s-矩形RMDP在平均最优性、Blackwell最优性上的差异结论，给出策略存在性条件与计算算法，凸显sa-矩形模型的实用优势。
2025-01-14 cs.GT math.OC
A new Lagrangian approach to control affine systems with a quadratic Lagrange term
本文针对具有二次拉格朗日项和仿射控制项的力学系统最优控制问题，提出一种新的拉格朗日方法，将必要最优性条件表述为欧拉-拉格朗日方程，从而便于利用变分积分器进行辛离散化。
2024-02-26 math.OC
Throughput Optimality and Overload Behavior of Dynamical Flow Networks under Monotone Distributed Routing
研究了单调分布路由策略下单商品动态流网络的吞吐量行为。该网络被建模为基于有向图上的质量守恒定律的常微分方程系统，其链路上的流量有限，并且在某些源节点处具有恒定的外部流入。在路由策略单调性假设下，证明了当外部流入不违反切容量约束时，存在全局渐近稳定的均衡点，使得网络达到最大吞吐量.相反，如果违反这样的约束，则网络过载行为被表征。特别是，它建立了存在一个削减，相对于每个链路上的流量密度随时间线性增长（分别。同时达到它们各自的极限）。finite）。结果采用单调动力系统的$l_1$ -压缩原理。
2014-05-07 math.OC
Singular extremals in L^1 optimal control problems: sufficient optimality conditions
在本文中，我们关注的是广义L1-极小化问题，即Bolza问题涉及的绝对值的控制与控制仿射动态。我们建立了强局部最优性的充分条件的极值由串联的爆炸，奇异和无效（零）弧。这些条件的充分性是通过哈密顿方法证明的。作为副产品的结果，我们提供了一个明确的不变式的二阶变分沿奇异弧。
2021-01-27 math.OC
Sufficient conditions for time optimality of systems with control on the disk
研究了圆盘上控制的仿射控制系统的时间最小化问题。在回顾了光滑情况下局部最优的标准充分条件之后，分析集中在控制规定为磁盘时遇到的特定类型的奇点上。利用适当的分层，流动的规律性进行了分析，这有助于设计可验证的充分条件在切换点的Jacobi场的左，右极限。在适当的假设下，得到了极值域的分段正则性。
2019-11-11 math.OC
Strong local optimality for generalized L1 optimal control problems
本文分析了控制仿射最优控制问题，其代价泛函包含控制的绝对值。与这样的系统相关联的庞特里亚金极值是由（可能的）爆炸弧与奇异弧和非激活弧（即控制为零的弧）的串联给出的。在这里，我们考虑庞特里亚金极值给出了一个bang-inactive-bang级联。我们建立了充分的最优性条件，这样的极值，在一些正则性条件和适当的有限维二阶变分的收敛性。
2018-07-03 math.OC
Stability and optimality of multi-scale transportation networks with distributed dynamic tolls
我们研究由动态反馈收费控制的交通网络。我们考虑一个多尺度交通网络模型，其中的交通流的动态交织在一起的司机的路线选择。后者受整个网络的拥塞状态以及系统运营商设置的动态收费的影响。我们的主要研究结果表明，广泛的一类分散的收费依赖收费全球各地的Wardrop均衡稳定的交通网络。此外，使用动态边际成本收费，可以保证交通网络的稳定性周围的社会最优交通分配。这是特别值得注意的，因为所考虑的分散反馈收费策略不需要任何关于网络结构或网络或状态上的外源业务负载的全局信息，并且可以以完全本地的方式计算。我们还评估了这些反馈收费政策的性能，无论是在渐近和瞬态制度，通过数值模拟。
2019-01-29 math.OC
Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes
University of Michigan（密歇根大学）
在部分可观测马尔可夫决策过程（POMDP）理论中，最优策略的存在性一般是通过将原来的部分可观测随机控制问题转化为信念空间上的完全可观测问题，从而得到信念-MDP。然而，即使原始系统具有有限的状态和动作空间，使用经典的动态或线性规划方法来计算该完全观察模型的最优策略以及原始POMDP的最优策略也是具有挑战性的，因为完全观察的信念-MDP模型的状态空间总是不可数的。此外，存在非常少的严格的值函数近似和最优策略近似结果，因为所需的正则性条件通常需要繁琐的研究，涉及概率测度的空间，导致诸如Feller连续性的性质。在本文中，我们研究了POMDPs的规划问题，其中系统动力学和测量信道模型假设是已知的。我们构造了一个近似的信念模型离散的信念空间，只有有限的窗口信息变量。然后，我们找到近似模型的最优策略，我们严格建立在温和的非线性滤波稳定性条件和假设的测量和行动集是有限的（和状态空间是实向量值）的POMDPs的有限窗口控制策略的近最优性。我们还建立了一个收敛速率的结果，涉及有限的窗口内存大小和近似误差界，其中的收敛速率是指数显式和可测试的指数滤波器的稳定性条件下。虽然有许多实验结果和严格的渐近收敛的结果，一个明确的收敛速率的结果是新的文献，据我们所知。
2022-01-08 cs.LG math.OC
