Capacities, Measurable Selection and Dynamic Programming Part II: Application in Stochastic Control Problems
本文利用可测选择技术在路径规范空间上为一般随机最优控制/停止问题建立动态规划原理,并通过分段常数控制逼近证明了控制/停止扩散过程问题强、弱、松弛三种表述的等价性。
2024-10-02 math.OC
On time-inhomogeneous controlled diffusion processes in domains
考虑了圆柱形和非圆柱形区域中的时间非齐次受控扩散过程。研究了Bellman原理及其在值函数连续性证明中的应用。
2007-03-27 math.OC math.PR
Singular Limit of Two Scale Stochastic Optimal Control Problems in Infinite Dimensions by Vanishing Noise Regularization
本文研究了具有圆柱噪声和可能退化扩散的两尺度无限维随机控制系统的值函数的极限。该极限被表示为一个新的简化控制问题(在一个简化的状态空间上)的值函数。圆柱形噪声的存在阻止了HJB方程的黏性解极限的表示,而扩散系数的简并阻止了经典的Bjm的表示。我们使用消失噪声正则化技术。
2021-03-30 math.OC
Linear programming based evacuation models for a controlled freeway
为改善高速公路紧急疏散时的控制性能,提出了一种线性规划(LP)模型。该模型在合理假设的基础上,保持了关键因素之间的主要关系,而没有从属因素的不确定性影响。三个重要的问题有关的最佳高速公路控制在紧急疏散的解决。通过对目标函数系数的灵敏度分析,分析了在紧急疏散过程中,如何合理地实现指定给某些入口匝道的优先级。对高速公路主线的时变通行能力和入口匝道的储存能力进行了相应约束条件右侧的灵敏度分析。最后一个关键问题是如何用鲁棒优化的方法来处理粗糙形式的不确定需求。本文提出的方法可以帮助疏散管理人员实现协调的匝道控制与预定的优先级放在一些入口匝道在紧急疏散。通过分析时变干线通行能力的影响所得到的结果提供了疏散管理者一个机会,使用额外的能力在某些路段的干线缓冲交通,以减少与上游入口匝道的拥堵。为了减少风险,由于可能的不可行的确定性控制方法在不确定的情况下,我们采用了仿射可调的鲁棒对应(AARC)的方法来处理不确定的动态需求限制在多面体集。初步的数值实验表明,AARC方法为我们提供了一个有前途的解决方案相比,基于抽样的随机方法。
2020-05-29 math.OC
Controlled Continuous Time Random Walks and fractional Hamilton Jacobi Bellman equations
本文研究受控连续时间随机游动(CTRW)问题,推导出支付函数动态规划(DP)方程,该方程在标准标度极限下转化为分数Hamilton Jacobi Bellman型方程.本文的目的是推广[1]中的结果在一个受控的设置。
2012-04-04 math.OC
Dynamic Programming Subject to Total Variation Distance Ambiguity
本文的目的是通过动态规划解决随机控制策略的最优性受全变差距离模糊的条件分布的控制过程。我们用极大极小理论来描述随机控制问题,其中控制使收益最小化,而条件分布从全变差距离集合中使收益最大化。首先,我们研究抽象空间上的概率测度空间上的线性泛函的最大化,在这些概率测度中,这些概率测度与名义概率测度在全变差距离内,然后给出了最大化概率测度的封闭形式。其次,在马尔可夫和非马尔可夫假设下,利用最大化问题的解来求解被控过程的条件分布上的确定性控制策略的极大极小随机控制问题。这一部分的结果包括:1)全变差距离模糊约束下的Minimax优化; 2)新的动态规划递推,它除了标准项外还包含了值函数的振子项; 3)新的无限时域折扣动态规划方程,以及相应的压缩性质和一个新的策略迭代算法。最后,我们提供了说明性的例子,有限和无限的地平线的情况下。对于无限时域的情况,我们调用新的策略迭代算法来计算最优策略。
2014-02-05 math.OC
Discounted Continuous-time Markov Decision Processes with Unbounded Rates: the Dynamic Programming Approach
本文研究Borel状态空间和行动空间中的无约束折扣连续时间马氏决策过程。在某些条件下施加的原语,允许无界的过渡率和无界(从上面和下面)的成本率,我们显示的规律性的控制过程,这确保了底层模型被很好地定义。然后,我们开发的动态规划的方法,显示贝尔曼方程满足(由最优值)。最后,在一定的紧连续性条件下,我们得到了一类随机历史依赖策略中确定性平稳最优策略的存在性。
2011-03-01 math.OC
On Dynamic Programming Principle for Stochastic Control under Expectation Constraints
本文研究了连续过程随机控制的可测选择方法动态规划原理。这项工作的新颖之处在于,在每个时间t,在规范空间上加入中间期望约束。一些金融应用的动机,我们表明,几种类型的动态交易约束可以重新表述为期望约束的路径上的受控状态过程。因此,我们的研究结果可以用来恢复这些最优投资问题的动态约束下,可能路径依赖,在非马尔可夫框架的动态规划原则。
2020-04-21 math.OC
Extended reverse-convex programming: an approximate enumeration approach to global optimization
本文提出了一种新的求解一类可分解非线性规划(NLP)问题全局最优解的方法。与传统的分支定分支定界法中采用的划分决策变量空间的策略不同,该方法将NLP问题近似为一个逆凸规划(RCP)问题,并通过枚举搜索来求解。为了建立该方法的理论保证,引入了“RCP正则性”的概念,并证明了当RCP问题是正则的时,枚举保证产生全局最优值。一个扩展的RCP算法框架,然后提出了一个小的测试问题,其性能进行了检查。
2015-04-25 math.OC
A Relative Value Iteration Algorithm for Non-degenerate Controlled Diffusions
在保证Hamilton-Jacobi-Bellman(HJB)方程适定性的一致稳定性条件下,研究了通过漂移控制的非退化受控扩散的遍历控制问题.一个非线性抛物型发展方程,然后提出了一个连续时间连续状态空间模拟的怀特的“相对值迭代”算法求解遍历动态规划方程的有限状态有限行动的情况下。利用单调动力系统理论和逆鞅理论证明了它收敛于HJB方程的解。
2011-10-06 math.OC
On the Relation between the Minimum Principle and Dynamic Programming for Classical and Hybrid Control Systems
研究了一类混合系统的混合最优控制问题,在这类混合系统中,除了终端和运行成本外,在离散状态之间的切换也会产生成本,在切换时刻允许自治和受控状态的跳跃。在此框架下给出了混合最小值原理和混合动态规划的表述,并证明了在一定的假设条件下,混合最小值原理中的伴随过程和混合动态规划中的值函数的梯度由同一组微分方程控制,具有相同的边界条件,因此沿最优轨迹几乎处处相同.分析的例子来说明的结果,特别是,线性二次混合跟踪问题的Riccati形式主义。
2016-09-11 math.OC
Discrete time McKean-Vlasov control problem: a dynamic programming approach
研究离散时间非线性平均场系统的随机最优控制问题。我们将该问题转化为以边缘分布为被控状态变量的确定性控制问题,并证明了动态规划原理的一般形式。我们应用我们的方法明确解决均值-方差投资组合选择和多元线性二次McKean-Vlasov控制问题。
2015-11-30 math.OC math.PR
Stochastic target games with controlled loss
我们研究一个随机对策,其中一个玩家试图找到一个策略,使状态过程达到控制损失型的目标,无论其他玩家选择的行动。在一般情况下,我们给出了这个问题的松弛几何动态规划原理,并推导出在受控条件下,相应的黏性解意义下的动态规划方程。作为一个例子,我们考虑的问题下的部分套期保值的不确定性。
2014-04-28 math.OC math.PR q-fin.PR
Robust flight schedules with stochastic programming
近年来,由于航班延误对航空公司、机场和乘客的影响,限制航班延误已成为一个重要的研究课题。解决这一问题的一个流行策略是考虑运营日延误的不确定性,并在规划阶段调整航班时刻表以适应这些不确定性。在这项工作中,我们提出了一个随机规划模型来考虑不确定的未来延误,通过增加缓冲区的航班周转时间在一个控制的方式。具体来说,我们的模型增加了松弛的航班连接时间的目标是最小化的期望值的总传播航班延误的时间表。我们还提出了一个并发的解决方案框架,集成了外部近似分解方法和列生成。此外,我们证明了我们的方法的可扩展性和它的有效性,在减少延误与广泛的模拟研究五个不同的飞行网络,使用真实世界的数据。
2021-08-31 math.OC
A dynamic analytic method for risk-aware controlled martingale problems
我们提出了一种新的,易于处理的方法来解决和分析风险意识控制问题,在有限和无限的,折扣的时间范围内的动态控制过程被描述为一个鞅问题。假设一般波兰状态和行动空间,并使用广义,放松控制,我们国家的风险意识的动态最优控制问题的风险最小化的成本所描述的一般风险函数。然后,我们构建了一个替代配方,采取的非线性规划问题的形式,约束的动态,{即}时间相关的线性Kolmogorov向前方程描述了状态和累积成本的分布。我们表明,配方是等价的,和最优控制过程可以采取马尔可夫在受控过程的状态,运行成本和时间。我们进一步证明了在附加条件下,可达到最优值。一个例子数值问题,并解决。
2020-06-22 math.OC
A Framework for the Dynamic Programming Principle and Martingale-generated Control Correspondences
我们构建了一个抽象的框架,其中的动态规划原则(DPP)可以很容易地证明。它包含了广泛的共同随机控制问题的弱制定,并处理问题的“鞅制定”特别容易。我们给出两个例子;首先,我们建立了一般控制扩散方程的DPP,并证明了在极小条件下其值函数是相应的Hamilton-Jacobi-Bellman方程的黏性解。之后,我们展示了如何处理奇异控制的经典单调跟随器问题的例子。
2019-06-01 math.OC math.PR
Stochastic maximum principle, dynamic programming principle, and their relationship for fully coupled forward-backward stochastic control systems
在黏性解的框架下,研究了具有非凸控制域的完全耦合正倒向随机控制系统(FBSCS)的最大值原理(MP)与动态规划原理(DPP)之间的关系.对于完全耦合的FBSCS,相应的MP和相应的Hamilton-Jacobi-Bellman(HJB)方程分别组合了一个代数方程。因此,这种关系变得更加复杂,几乎没有任何工作涉及这个问题。借助于一种新的解耦技巧,我们得到了完全耦合的正倒向变分方程的理想估计,并建立了关系。此外,对于光滑情形,我们发现了代数方程解的导数与一阶和二阶伴随方程中某些项之间的联系。最后,我们在[14,27]中的单调性条件下研究了局部情形,得到了[27]中的MP和[14]中的DPP之间的关系。
2018-05-16 math.OC
Dynamic programming with incomplete information to overcome navigational uncertainty in a nautical environment
University of Ottawa(渥太华大学);National Research Council of Canada(加拿大国家研究委员会);University of Waterloo(滑铁卢大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
使用一个新的玩具航海导航环境中,我们表明,动态规划可以使用时,只有不完整的信息,部分观察到的马尔可夫决策过程(POMDP)是已知的。通过将不确定性纳入我们的模型,我们表明,导航策略可以构建,保持安全,优于传统的动态规划的马尔可夫决策过程(MDP)的基线性能。加入受控传感方法,我们表明,这些政策也可以降低测量成本在同一时间。
2022-07-19 cs.AI math.OC
A new method for optimal control of Volterra integral equations
我们制定和分析了一个新的方法来解决Volterra积分方程控制系统的最优控制问题。我们的方法利用离散化的原始Volterra控制系统和一种新的类型的动态规划jn的Hamilton-Jacobi函数参数化的控制功能(而不是状态,在普通的动态规划的情况下)。我们还得到我们的方法的计算成本的估计。
2006-11-08 math.CA math.OC
Dynamic programming for optimal control of stochastic McKean-Vlasov dynamics
研究一般随机McKean-Vlasov方程的最优控制.这个问题的动机最初来自于在普通噪声下的平均场相互作用中的大量粒子(参与者)的合作平衡的渐近公式。本文的第一个主要结果是陈述了概率测度的Wasserstein空间中的值函数的一个动态规划原理,并从受控状态过程的条件律的一个流性质证明了这一原理。其次,通过依赖于概率测度的可微性的概念,由于P.L. Lions [32]和It{<$}的公式,导出了动态规划的Hamilton-Jacobi-Bellman方程,并证明了其值函数的粘性和唯一性。最后,我们显式地解决了线性二次随机McKean-Vlasov控制问题,并给出了一个应用于银行间系统性风险模型的共同噪声。
2017-01-05 math.OC math.PR
Model-independent bounds for Asian options: a dynamic programming approach
当期权到期日的看涨期权价格已知时,我们考虑了亚式期权的价格与模型无关的上界问题。我们的方法不同于大多数方法模型独立定价,我们认为这个问题是一个动态规划问题,其中的控制过程是在到期日的资产的条件分布。通过以这种方式制定问题,我们能够通过PDE制定来确定模型独立的价格。值得注意的是,这种方法不需要对支付函数(例如凸性)的特定约束,并且似乎可以推广到许多相关问题。
2016-07-20 math.OC math.PR q-fin.PR
Controlled Occupied Processes and Viscosity Solutions
本文研究记录状态全部位置的占据过程的最优控制,通过建立无限维抛物型占据偏微分方程的粘性理论及比较原理,将值函数刻画为唯一粘性解,并推广了Crandall-Ishii-Lions引理。
2024-11-18 math.AP math.OC
Stability analysis of Model Predictive Controllers using Mixed Integer Linear Programming
Linköping University(林雪平大学)
本文提出一种基于混合整数线性规划的工具,用于分析线性系统中模型预测控制器闭环稳定性,通过优化问题提供稳定性充分条件。
2016-04-04 cs.SY eess.SY math.OC