Continuity of the Value Function for Deterministic Optimal Impulse Control with Terminal State Constraint
研究了具有终态约束的确定性最优脉冲控制问题。由于终态约束的出现,值函数一般可能是不连续的。本文的主要贡献是引入了一个内在条件,在该条件下,值函数是连续的。然后利用Bellman动态规划方法,得到了相应的Hamilton-Jacobi-Bellman型拟变分不等式(简称QVI),其值函数是一个黏性解.价值函数是否被表征为该QVI的唯一黏性解的问题被仔细地解决,并且答案是具有挑战性的。
2020-11-08 math.OC
Border Avoidance: Necessary Regularity for Coefficients and Viscosity Approach
受\cite{CannarsaDaPratoFrankowska2009}中正则边界开集不变性和基因网络多稳定性问题的启发,本文重点研究了三个密切相关的目标。首先,我们给出了一个必要的局部Lipschitz条件,以期望开集的不变性(确定性系统)。最优性的评论是通过例子。其次,我们提供了一个边界回避(近可行性)对应的\cite{CannarsaDaPratoFrankowska2009}控制布朗扩散和分段确定性切换马尔可夫过程(PDsMP)。我们同样讨论在何种程度上需要Lipschitz连续的驱动系数。最后,将PDsMP的理论结果应用于Hasty的噬菌体模型(\cite{hasty\_pradines\_dolnik\_collins\_00},\cite{crudu\_debussche\_radulescu\_09}),说明了对触发裂解的环境线索进行显式建模的必要性。
2018-08-13 math.OC math.PR
Policy iteration for Hamilton-Jacobi-Bellman equations with control constraints
策略迭代是求解Hamilton Jacobi Bellman(HJB)方程的一种广泛使用的技术,它源于非线性最优反馈控制理论。在无约束条件下,其收敛性分析引起了人们的广泛关注。在这里,我们分析的情况下,控制约束的HJB方程中出现的确定性和随机控制的情况下。每步迭代中的线性方程采用隐式迎风格式求解。数值例子进行求解HJB方程的控制约束和比较显示与无约束的情况。
2020-05-18 cs.NA math.NA math.OC
The Simple Strategy-Iteration Method is Strongly Polynomial for the Turn-Based Deterministic Forward Game
Hong Kong University of Science and Technology(香港科技大学);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Institute for Mathematics and Interdisciplinary Sciences(上海数学与交叉学科研究院)
研究回合制确定性前向博弈(TBDFGs),提出两种算法:结构无关的策略迭代方法在强多项式时间内收敛,而结构感知的后向SCC传播算法进一步降低复杂度。
2026-06-28 cs.CC math.OC
Quantitative asymptotic regularity of the VAM iteration with error terms for m-accretive operators in Banach spaces
本文利用证明挖掘方法,研究了Banach空间中m-增生算子带误差项的粘性逼近方法(VAM)的渐近正则性,并通过应用Sabach和Shtern的引理为具体参数序列计算出线性速率。
2024-06-25 math.OC
The Finite Horizon Optimal Multi-Modes Switching Problem: the Viscosity Solution Approach
本文证明了一类具有连通障碍的m个变分偏微分不等式组解的存在唯一性。该系统是马尔可夫最优m状态切换问题的验证定理的确定性版本。切换费用函数是任意的。这个问题与金融市场中公司的估值有关。
2008-05-09 math.OC math.PR
Viscosity Iterative algorithm for solving Variational Inclusion and Fixed point problems involving Multivalued Quasi-Nonexpansive and Demicontractive Operators in real Hilbert Space
针对含多值拟非扩张与半压缩算子的变分包含及不动点问题,提出结合黏性逼近和额外迭代序列的改进通用迭代算法,并证明其强收敛性。
2025-01-11 math.OC
Monotone Neural Policy Iteration for High-Dimensional First-Order Hamilton--Jacobi--Bellman Equations
Seoul National University of Science and Technology(首尔科学技术大学);POSTECH;Gachon University(成均馆大学)
本文提出稳定神经HJB求解器,通过混合方法分析误差并应用于强化学习,验证了求解器在模型误差和策略不匹配下的稳定性。
2026-09-11 cs.AI cs.LG cs.NA
Some Worst-Case Datasets of Deterministic First-Order Methods for Solving Binary Logistic Regression
本文给出了求解大规模二元逻辑斯谛回归问题的确定性一阶方法的最坏情况数据集。在算法迭代次数远小于问题维数的假设下,对于我们的最差情况数据集,它至少需要$\mathcal{O}(1/\sqrt{\varepsilon})$一阶oracle查询来计算$\varepsilon$ -近似解。从传统的迭代复杂性分析的角度来看,二元逻辑斯谛回归损失函数与我们的最坏情况的数据集是新的最坏情况的函数类光滑凸优化问题的情况。
2019-08-12 math.OC
Parallel extragradient - viscosity methods for equilibrium problems and fixed point problems
本文提出了两种并行的外梯度-粘性方法,分别用于求平衡问题组和多个不动点问题组的公共解集中的一个特殊元素。这个特殊点是变分不等式问题在公共解集上的唯一解。本文的主要思想是将超梯度法、Mann迭代法、混合最速下降法与并行分裂技术相结合,设计出性能优于现有方法的算法。在平衡双函数广泛使用的假设下,建立了强收敛定理。
2016-03-06 math.OC
Optimal control, viscosity approximation and Arrhenius Law for the shallow lake problem
本文在无参数限制条件下证明确定性与随机浅湖问题最优控制的存在性,推广噪声依赖势函数情形下的阿伦尼乌斯定律,并借助值函数粘性逼近的导数收敛结果导出浅湖问题的阿伦尼乌斯定律。
2024-01-15 math.OC math.PR
The Deterministic and Stochastic Shallow Lake Problem
研究了确定性和随机性浅水湖问题的福利函数。我们证明了福利函数是相关Bellman方程的黏性解,我们建立了几个性质,包括它在无穷远处的渐近行为,我们提出了一个收敛的单调数值格式.
2017-12-12 math.CA math.OC math.PR
Viscosity solutions of systems of PDEs with interconnected obstacles and Multi modes switching problems
Université du Maine(勒芒大学)
本文通过斜反射反射BSDE系统,证明了具有相互连接障碍的m个变分偏微分不等式系统在粘性意义下的解的存在唯一性,并应用于能源市场中发电厂的估值问题。
2011-12-09 cs.SY eess.SY math.OC
Quantitative asymptotic regularity and $T$-asymptotic regularity for the inexact generalized Halpern iteration
Simion Stoilow Institute of Mathematics of the Romanian Academy(罗马尼亚科学院西蒙·斯托伊洛数学研究所);Institute for Logic and Data Science, Bucharest(布加勒斯特逻辑与数据科学研究所);Faculty of Mathematics and Computer Science, University of Bucharest(布加勒斯特大学数学与计算机科学学院)
本文利用证明挖掘技术,研究了不精确广义Halpern迭代的渐进行为与T-渐进行为,特别针对Kanzow-Shehu迭代和序列平均法,推导了参数序列的渐进行为速率,其中一种情况得到线性速率。
2026-07-15 math.OC
Deterministic Differential Games in Infinite Horizon Involving Continuous and Impulse Controls
考虑两人零和确定性微分对策,其中每个局中人在无限时间内同时使用连续控制和脉冲控制。我们假设脉冲是通项,而代价依赖于系统的状态。利用动态规划原理和黏性解方法证明了该博弈的Hamilton-Jacobi-Bellman-Isaacs(HJBI)偏微分方程(PDE)解的存在唯一性.在Isaacs条件下证明了上下值函数重合。
2022-09-22 math.OC
Regime-switching constrained viscosity solutions approach for controlling dam-reservoir systems
对河流中坝库系统的一个新的随机控制问题进行了数学和数值分析。水库的水平衡动态是分段确定性的,并由随机状态切换流入过程驱动。控制该系统以在操作目的与内部和下游环境条件之间取得平衡。寻找系统的最优运行策略归结为求解一个具有不连续哈密顿量的最优性方程,这是一个非线性退化抛物(或双曲)方程组。我们证明了最优性方程最多有一个约束粘性解,并在一定条件下找到了解。该模型应用于数值计算的一个现有的坝库系统的运行策略,使用高阶有限差分格式。计算结果可为河流环境问题的处理提供参考。
2020-05-01 cs.NA cs.SY eess.SY
Sub-sampled Trust-Region Methods with Deterministic Worst-Case Complexity Guarantees
针对有限和优化问题,提出自适应确定性调整样本量的子采样信赖域方法,并证明其一阶与二阶近似平稳点的最坏情况迭代复杂度。
2025-07-23 math.OC
Beyond separability: convergence rate of vanishing viscosity approximations to mean field games via FBSDE stability
Columbia University(哥伦比亚大学)
研究\(\mathbb{R}^d\)中具有非局部且可能不可分离哈密顿量的平均场博弈的粘性消失逼近,通过结合概率与分析论证,证明值函数等以\(\mathcal{O}(\beta)\)速率收敛,还给出在相关博弈与控制中的应用。
2026-07-29 math.AP math.OC math.PR
Policy iteration for Hamilton-Jacobi-Isaacs equations with control constraints and comparison with Hamilton-Jacobi-Bellman equations
Rajiv Gandhi Institute of Petroleum Technology(拉吉夫·甘地石油技术学院);University of Graz(格拉茨大学);Radon Institute for Computational and Applied Mathematics (RICAM)(雷登计算与应用数学研究所)
本文分析带控制约束的HJI方程双层策略迭代的收敛性,并比较一阶与二阶HJB方程在有无约束控制下的数值解。
2026-09-28 cs.NA math.NA math.OC
A Piecewise Deterministic Markov Toy Model for Traffic/Maintenance and Associated Hamilton-Jacobi Integrodifferential Systems on Networks
我们研究了无限时域中的最优控制问题,当动态属于一类特定的分段确定性马尔可夫过程约束的星形网络(受交通模型的启发)。我们采用[H. M. Soner具有状态空间约束的最优控制。二. SIAM J. Control Optim.,24(6):1110.1122,1986]证明了值函数的正则性和动态规划原理。扩展网络和Krylov的“摇动系数”方法,我们证明了值函数可以被看作是一个线性化的最优化问题集的解决方案上的一组方便的概率测度。该方法完全依赖于粘度参数。作为一个副产品,对偶制定保证值函数是点态上确界相关的Hamilton-Jacobi积分微分系统的正则子解。这确保值函数满足Perron对黏性解的(唯一)候选的preconization。最后,我们证明了同样的线性化可以通过结合经典(无约束)问题的线性化和成本惩罚。后一种方法适用于非常一般的近可行系统(可能没有进一步的可控性)和不连续成本。
2015-10-05 math.OC math.PR
Optimal control of infinite-dimensional Piecewise Deterministic Markov Processes: a BSDE approach. Application to the control of an excitable cell membrane
本文研究希尔伯特空间值无穷维分段确定马尔可夫过程的最优控制,证明了相应的值函数可以通过求解一个约束倒向随机微分方程而用Feynman-Kac型公式表示。一个基本的步骤是通过证明一个适当的比较定理,证明相应的积分-微分Hamilton-Jacobi-Bellman方程有唯一的黏性解。我们将我们的研究结果应用于具有空间分量的Pynomial Hodgkin-Huxley模型的控制,该模型先前在[22],[21]中进行了研究,并受到光遗传学的启发。
2019-06-05 math.OC
Deterministic Policy Gradient for Learning Equilibrium in Time-Inconsistent Control Problems
Department of Industrial Engineering and Operations Research, University of California, Berkeley, USA(加州大学伯克利分校工业工程与运筹学系);Department of Applied Mathematics, The Hong Kong Polytechnic University, Kowloon, Hong Kong(香港理工大学应用数学系)
提出一种连续时间无模型强化学习算法,通过确定性策略梯度和内定点迭代学习时间不一致控制问题的均衡策略,并在均值-方差投资组合和非指数贴现跟踪投资组合中验证有效性。
2026-06-11 cs.LG math.OC q-fin.CP
Hamilton-Jacobi Based Policy-Iteration via Deep Operator Learning
Chung-Ang University(中央大学);SeoulTech(首尔科技大学)
本文将 DeepONet 与策略迭代结合求解最优控制及 HJB 方程,实现对不同终端函数的快速推断,并通过粘性解比较原理分析精度,在 10 维 LQR 等算例中验证有效性。
2024-06-16 cs.AI cs.LG cs.NA
Policy iteration: for want of recursive feasibility, all is not lost
研究了策略迭代(PI)的递归可行性、递归鲁棒稳定性和近优性。为此,我们考虑确定性非线性离散时间系统的输入产生的PI为未贴现的费用函数。我们首先假设PI是递归可行的,在这个意义上,在每次迭代解决的最优化问题承认一个解决方案。在这种情况下,我们提供了新的条件,建立递归的鲁棒稳定性的一般吸引子,这意味着在每次迭代产生的政策,确保一个强大的\KL稳定性的一般状态测量。然后,我们推导出新的显式边界之间的不匹配(次优)值函数返回PI在每次迭代和最佳的。之后,动机的反例表明,PI可能无法递归可行的,我们修改PI,使递归可行性的先验保证在温和的条件下。这种改进的算法,称为PI+,保持递归的鲁棒稳定性时,吸引子是紧的。此外,在相同的假设下,PI+与其PI对应物具有相同的近最优性。因此,PI+是一个有吸引力的工具,用于产生确定性离散时间非线性系统的近最优镇定控制。
2022-10-26 cs.SY eess.SY math.OC
Deterministic Income with Deterministic and Stochastic Interest Rates
我们考虑一个拥有初始资本和收入的个人或家庭,将其建模为具有连续漂移率的确定性过程。首先,我们将贴现率建模为零息债券的价格,假设短期利率演化为Ornstein-Uhlenbeck过程。然后,考虑几何布朗运动作为偏好函数和Ornstein-Uhlenbeck过程作为短期利率。假设经济主体的主要利益是最大化从给定时间到有限确定性时间范围$T\in\R_+$或在随机设置中无限时间范围的(预期)贴现消费的累积值。在前两种情况下,我们找到了价值函数和最优策略的显式表达式。在第三种情况下,我们必须应用粘度分析。
2016-03-31 math.OC q-fin.PM
Inexact cuts for Deterministic and Stochastic Dual Dynamic Programming applied to convex nonlinear optimization problems
本文将对偶动态规划(DDP)推广到求解凸非线性动态规划方程。我们称之为不精确的DDP(IDDP)这种扩展适用于一些或所有的原始和对偶子问题,以解决沿迭代的方法解决有界误差的情况。我们证明了决策序列的任何聚点都是动态规划方程的近似解。当这些错误趋于零的迭代次数趋于无穷大,我们表明,IDDP解决了动态规划方程。我们扩展的分析随机凸非线性动态规划方程,引入不精确随机对偶动态规划(ISDDP),SDDP的不精确的变种对应的情况下,一些或所有的问题要解决的前向和向后传递的SDDP近似解决。我们还证明了ISDDP在误差消失时的几乎必然收敛。
2017-11-22 math.OC
Non-monotone direct-search methods for deterministic and stochastic derivative-free optimization
Lehigh University(利哈伊大学);Emory University(埃默里大学)
本文提出最大-M非单调直接搜索方法,用于确定性和随机无导数优化,通过允许目标函数暂时增加来避免次优解,并建立了与单调方法匹配的O(ε^{-2})迭代复杂性理论。
2026-09-11 math.OC
Convergence Analysis of Policy Iteration
South Dakota School of Mines and Technology(南达科他矿业与技术学院)
本文研究了确定性已知动态系统的非线性自适应最优控制问题,分析了基于稳定初始控制的策略迭代方案的收敛性及极限函数的最优性,并比较了策略迭代与价值迭代的收敛速度。
2015-05-20 cs.SY eess.SY math.OC
Structure-Preserving Spectral Dynamic Programming on Compact Lie Groups
Brown University(布朗大学);Inria Saclay Ile-de-France(法国国家信息与自动化研究所萨克雷法兰西岛中心);CMAP, Ecole polytechnique, IP Paris, CNRS(巴黎综合理工学院IP巴黎CNRS数学与应用物理中心)
研究连通紧致李群\(G\)上有限时域最优控制的谱逼近问题,通过用马尔可夫型谱滤波器代替正交投影恢复离散结构,给出费耶尔型滤波器及收敛速率,数值实验验证了结果并量化相关特性。
2026-07-24 cs.NA math.NA math.OC
Uniqueness of Viscosity Solutions for Optimal Multi-Modes Switching Problem with Risk of default
本文研究了具有违约风险的有限时间和无限时间内的最优m状态转换问题。我们允许转换成本泛函和违约成本是多项式增长的和任意的。本文证明了一类具有连通障碍的m个变分偏微分不等式系统解的唯一性。该系统是具有违约风险的马尔可夫最优m状态切换问题的验证定理的确定性版本。这个问题与能源市场中发电厂的估值有关。
2012-02-06 math.OC math.PR
Data-driven Rollout for Deterministic Optimal Control
考虑具有非负阶段费用的确定性无限时域最优控制问题。我们从设计用于连续动态和迭代任务的学习模型预测控制方案中汲取灵感,并提出了一种依赖于由一些基本策略生成的采样数据的推出算法。该算法基于价值和策略迭代思想,适用于任意状态和控制空间以及任意动态的确定性问题。它承认扩展到问题的轨迹约束,和多智能体结构。
2021-09-29 cs.SY eess.SY math.OC
Hybrid Deterministic-Stochastic Methods for Data Fitting
University of British Columbia(不列颠哥伦比亚大学);INRIA - SIERRA team, Laboratoire d’Informatique de l’Ecole Normale Superieure (INRIA/ENS/CNRS UMR 8548)(法国国家信息与自动化研究所-SIERRA团队,巴黎高等师范学院信息实验室(INRIA/ENS/CNRS UMR 8548))
提出一种混合增量梯度算法,通过控制样本大小实现全梯度方法的稳定收敛率,并基于拟牛顿法给出实用实现。
2013-02-09 cs.NA cs.SY eess.SY
Optimal control of Piecewise Deterministic Markov Processes: a BSDE representation of the value function
考虑了分段确定马尔可夫过程的无穷时域折扣最优控制问题,其中分段开环控制连续作用于跳变动力学和确定流.对于这类控制问题,其值函数一般可以表征为对应的Hamilton-Jacobi-Bellman方程的唯一黏性解.证明了值函数可以用无穷水平上的倒向随机微分方程表示,该方程由随机测度驱动,其鞅部分带有符号约束,并给出了存在唯一性结果.这种概率表示被称为非线性Feynman-Kac公式。最后,我们证明了约束的Bevel与辅助支配控制问题有关,其值函数与原始非支配控制问题的值函数一致。
2015-12-05 math.OC
Clustering with Capacity and Size Constraints: A Deterministic Approach
本文讨论了一种确定性聚类方法来解决资源分配问题。特别是,确定性退火(DA)算法的数据压缩文献,它承担了一个独特的类比统计物理学退火过程下的相变,是适应于解决问题的聚类与几种形式的大小约束。这些限制是通过适当的修改基本DA制定明智地调整自由能函数的DA算法。在给定的退火参数值下,DA算法的迭代具有下降法的形式,其激发了用于更快收敛的缩放原则。
2016-06-21 math.OC
Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers
School of Mathematical Science, Peking University(北京大学数学科学学院);Department of Computer Science, University of California, Los Angeles(加利福尼亚大学洛杉矶分校计算机科学系)
本文提出统一的收敛性分析框架,解决确定性采样器在得分扩散模型中缺乏通用分析工具的问题,并给出VP前向过程与DDIM型采样器的迭代复杂度保证。
2024-10-18 cs.LG math.OC stat.ML
On risk-sensitive piecewise deterministic Markov decision processes
本文考虑一个分段确定的马尔可夫决策过程,其中总(非负)费用的期望指数效用最小。成本率、转移率和跳后分布都在控制之下。状态空间是Borel的,并且转移率和成本率沿着漂移是局部可积的。在自然条件下,我们建立了最优性方程,证明了值迭代算法,并证明了一个确定的平稳最优策略的存在性。应用到特殊情况下,所得到的结果已经显着改善了文献中的有限时域和无限时域贴现风险敏感连续时间马尔可夫决策过程的一些现有结果。
2017-11-21 math.OC
Deterministic Trajectory Optimization through Probabilistic Optimal Control
Ghent University(根特大学);Flanders Make(佛兰德制造机构)
本文从概率最优控制范式出发,提出两种求解确定性轨迹优化问题的算法,通过期望最大化算法迭代收敛至最优策略,兼具更好的探索-利用平衡、数值稳定性与更快收敛速度,并在非线性系统上得到验证。
2024-12-09 cs.LG cs.SY eess.SY
Equilibrium Correction Iteration for A Class of Mean-Field Game Inverse Problem
研究逆向平均场博弈中的势能识别问题,提出利用MFG结构的均衡校正迭代法(ECI)及两种加速变体,并通过数值实验揭示参数对反问题适定性的影响。
2025-10-12 math.OC
Policy iteration for discrete-time systems with discounted costs: stability and near-optimality guarantees
本文针对具有折扣代价的离散时间系统,提出策略迭代的新近最优性界,并证明在温和条件下经过有限次迭代即可实现闭环镇定。
2024-03-27 math.OC
Deterministic mean field games with control on the acceleration
在目前的工作中,我们研究了确定性平均场游戏(MFG)与有限的时间范围内的动力学的一般代理控制的加速度。它们是由一个系统的偏微分方程耦合的连续性方程的状态分布的密度(向前的时间)和一个哈密尔顿-雅可比(HJ)方程的最优值的代表剂(向后的时间)。状态变量是一对$(x, v)\in R^N\times R^N$,其中x代表位置,v代表速度。动态通常被称为双积分器。在这种情况下,系统的哈密顿量既不是严格凸的,也不是强制的,因此现有的关于MFG的结果不能应用。此外,我们将假设哈密顿量是无界的w.r.t.速度变量v.我们通过消失粘性方法证明了MFG系统弱解的存在性,并通过与最优控制相关的流将状态分布表征为初始分布的图像。
2020-07-28 math.AP math.OC
Random Function Iterations for Stochastic Fixed Point Problems
研究了寻找相应Markov算子的不变测度的随机函数迭代的收敛性。我们把寻找这样一个不变测度的问题称为随机不动点问题。这推广了早期研究随机可行性问题的工作,即找到概率为1的点,即随机函数的不动点[Hermer,Luke,Sturm,2019]。当不存在这样的点时,随机可行性问题被称为不相容的,但仍然在某些假设下,更一般的随机不动点问题有解,并且随机函数迭代收敛到相应的马尔可夫算子的不变测度。有两种主要的收敛类型:在随机可行的情况下,迭代几乎必然收敛到一个不动点,以及更一般的分布依分布收敛。我们展示了如何在确定性不动点理论的共同结构可以利用建立存在的不变测度和收敛的马尔可夫链。我们表明,较弱的假设比通常遇到的分析马尔可夫链保证线性/几何收敛。这个框架专门针对当前感兴趣的许多应用,包括,例如,大规模分布式计算的随机算法,以及具有计算误差的确定性迭代过程。在这项研究中开发的理论提供了一个坚实的基础,描述简单的计算方法的收敛性,而无需假设无限精度的算术或消失的计算误差。
2022-03-23 math.FA math.OC math.PR
Nonexpansive Markov Operators and Random Function Iterations for Stochastic Fixed Point Problems
该研究提出随机不动点问题框架,推广了不一致的随机可行性问题,利用确定性不动点理论证明马尔可夫算子不变测度存在性及随机函数迭代的依分布收敛性,可应用于分布式计算等场景,为带误差的迭代方法收敛性提供理论基础。
2023-03-09 math.OC math.PR
Optimal Control of Boolean Control Networks with Discounted Cost: An Efficient Approach based on Deterministic Markov Decision Process
研究了布尔控制网络在折扣代价准则下的无限时域最优控制问题。这个问题已经在现有的研究与算法,其特征在于高计算复杂性。因此,我们试图从确定性马尔可夫决策过程(DMDP)的角度来开发更有效的方法来解决这个问题。首先,我们证明了DMDP模型的BCN的控制过程的资格和最优解的存在。接下来,开发了两种方法来处理DMDP中的最优控制问题。一种方法采用著名的值迭代算法,和其他诉诸马达尼的算法专门设计的DMDP。后一种方法可以找到一个精确的最优解,并优于现有的方法在时间效率方面,而前值迭代为基础的方法通常得到一个接近最优的解决方案比所有其他的快得多。细菌\textit{E. coli}的9态4输入\textit{ara}操纵子网络被用来验证我们的方法的有效性和性能。结果表明,这两种方法可以减少运行时间显着的几个数量级相比,现有的工作。
2020-03-13 cs.SY eess.SY math.OC
A Policy Iteration Algorithm for N-player General-Sum Linear Quadratic Dynamic Games
本文提出一种用于N玩家一般和线性二次动态博弈的策略迭代算法,证明其不同于高斯-牛顿策略梯度方法,并通过数值实验表明其收敛更快且对初始策略和玩家数量变化更鲁棒。
2024-10-04 cs.SY eess.SY math.OC
Bellman equation and viscosity solutions for mean-field stochastic control problem
考虑McKean-Vlasov随机微分方程的随机最优控制问题,其中系数依赖于状态和控制的联合律.利用反馈控制,将该问题转化为仅以过程的边缘分布为被控状态变量的确定性控制问题,并证明了动态规划原理的一般形式。然后,借助于P.L. Lions在[32]中的方法和概率测度流的一个特殊It{}公式,导出了平均场随机控制问题的动态规划Bellman方程,并在McKean-Vlasov框架下证明了一个验证定理.我们给出了线性二次平均场控制问题的Bellman方程的显式解,并将其应用于均值-方差投资组合选择和系统风险模型。我们还考虑了Bellman方程的提升粘性解的概念,并证明了McKean-Vlasov控制问题的值函数的粘性性质和唯一性。最后,我们考虑的情况下,McKean-Vlasov控制问题的开环控制和讨论相关的动态规划方程,我们比较的情况下,闭环控制。
2017-03-08 math.OC math.PR
Stochastic Scale Invariant Power Iteration for KL-divergence Nonnegative Matrix Factorization
针对含 PCA 等情形的有限和尺度不变问题,提出随机方差缩减的尺度不变幂迭代,证明线性收敛,并在 KL 散度非负矩阵分解中展现更快收敛与鲁棒高质量解。
2023-04-21 math.OC
The Cesàro Value Iteration
University of Stuttgart, Institute for Systems Theory and Automatic Control(斯图加特大学系统与自动控制研究所);Leibniz University Hannover, Institute of Automatic Control(汉诺威莱布尼茨大学自动控制研究所)
本文研究确定性系统在无限时间 horizon 下的最优控制问题,针对经典值迭代不收敛的情况,引入Cesàro均值定义无限时间 horizon 最优控制问题及价值函数,并证明Cesàro值迭代在周期最优操作行为的特殊情况下收敛。
2026-11-20 cs.SY eess.SY math.OC
Hybrid Random/Deterministic Parallel Algorithms for Nonconvex Big Data Optimization
针对可微非凸项与非光滑凸项之和的大规模优化,提出混合随机/确定性并行块分解算法,并证明其几乎必然收敛且性能优于两类单一方案。
2014-09-02 cs.DC math.OC
Gradient algorithms for finding common Lyapunov functions
本文研究了一类稳定线性系的二次公共李雅普诺夫函数的求法问题。我们提出了梯度迭代算法,它给出了有限系统族的确定性收敛和无限族的概率收敛。
2002-06-18 math.OC
Universal methods for variational inequalities: deterministic and stochastic cases
本文提出通用邻近镜像方法求解确定性与随机情形下具有Hölder连续算子的变分不等式,无需预知问题类别或算子信息即可自动适应噪声与Hölder连续性,并证明其具有最坏情形最优复杂度。
2024-10-03 math.OC
Optimal Multi-Modes Switching Problem in Infinite Horizon
本文研究了在马尔可夫框架下,任意切换费用函数的无限时域最优m状态切换的确定性验证定理问题.该问题被制定为一个扩展的脉冲控制问题和解决的概率工具,如Snell包络的过程和反射向后随机微分方程。利用黏性解的方法对m个具有连通障碍物的变分不等式系统进行了精细分析。我们证明了最优问题的值函数向量是系统唯一的黏性解。这个问题与金融市场中公司的估值有关。
2009-04-04 math.OC math.PR
An objective-function-free algorithm for nonconvex stochastic optimization with deterministic equality and inequality constraints
Université de Toulouse, INP, IRIT(图卢兹大学,国立理工学院,IRIT);NAXYS, University of Namur(NAXYS,纳慕尔大学)
本文提出一种无目标函数算法,用于解决具有随机目标和确定性等式和不等式约束的优化问题。该算法通过自适应选择函数减少和约束改善迭代,采用Adagrad型步长,证明在全秩雅可比问题中,联合对偶最优度量以O(1/sqrt{k})速率收敛。
2026-10-07 math.OC
Tight Performance Bounds for Approximate Modified Policy Iteration with Non-Stationary Policies
INRIA Nancy Grand Est(法国国家信息与自动化研究所南锡-大东部大区中心);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
我们考虑用马尔可夫决策过程形式化的无限时域平稳$γ$ -折扣最优控制问题的近似动态规划。虽然在确切的情况下,它是已知的,总是存在一个最佳的政策是固定的,我们表明,当使用值函数近似,寻找一个非平稳策略可能会导致更好的性能保证。我们定义了一个非平稳的MPI的变种,统一了广泛的家庭的近似DP算法的文献。对于该算法,我们提供了一个错误传播分析的形式,所得到的政策,可以提高通常的性能约束的一个因素$O(1-γ)$,这是显着的折扣因子$γ$接近1。这样做,我们的方法统一了最近的结果价值和政策迭代。此外,我们表明,通过构建一个特定的确定性MDP,我们的性能保证是紧。
2013-04-20 cs.AI math.OC
Asymptotic Control for a Class of Piecewise Deterministic Markov Processes Associated to Temperate Viruses
在非扩张性假设下,研究了开关型分段确定性马尔可夫过程控制中值函数的渐近性态。对于一类特定的温和病毒的启发过程,我们表明,折扣问题的折扣减少到零和时间平均的问题,作为时间范围增加到无穷大的统一限制存在和重合。参数允许的极限值取决于系统的初始配置,并不需要耗散的动力学特性。该方法强烈依赖于粘度技术,线性规划参数和耦合通过随机措施相关联的PINK。作为我们的方法的中间步骤,我们提出了近似的贴现值函数时,使用分段常数(在时间上)开环政策。
2015-05-28 math.OC math.PR