The main goal of this paper is to establish existence, regularity and uniqueness results for the solution of a Hamilton-Jacobi-Bellman (HJB) equation, whose operator is an elliptic integro-differential operator. The HJB equation studied in this work arises in singular stochastic control problems where the state process is a controlled $d$-dimensional Lévy process.
Actor-Critic Method for High Dimensional Static Hamilton--Jacobi--Bellman Partial Differential Equations based on Neural Networks
提出了一种求解高维Hamilton-Jacobi-Bellman(HJB)型椭圆型偏微分方程(PDE)的新的数值方法.的HJB偏微分方程,重新制定为最优控制问题,处理的演员-评论家框架的启发,强化学习,基于神经网络参数化的价值和控制功能。在行动者-批评者框架内,我们采用了政策梯度的方法来改善控制,而对于价值函数,我们推导出一个方差减少的最小二乘时间差分法,使用随机分析。数值离散的随机控制问题,我们采用了自适应步长计划,以提高精度附近的区域边界。最后,通过对$20$空间维数的线性二次型调节器、随机Van der Pol振子、扩散Eikonal方程和完全非线性椭圆型偏微分方程的数值算例,验证了本文方法的有效性.
Mean Field Type Control Problems Driven by Jump-diffusions
International Center for Decision and Risk Analysis, Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院国际决策与风险分析中心);Department of Statistics and Data Science, The Chinese University of Hong Kong(香港中文大学统计与数据科学系);Department of Finance and Control Sciences, School of Mathematical Sciences, Fudan University(复旦大学数学科学学院金融与控制科学系)
在这项工作中,我们给出了Lipschitz运营商的$C^2(M)$功能(也$C^{1,1}$,$C^{1,γ}$,$C^1$,$C^γ$)的空间上的一个特征服从全局比较属性-即那些保持输入功能的全局排序在任何点,他们的图形可能接触,通常被称为“椭圆”运营商。这里$M$是一个完备的黎曼流形。特别是,我们表明,所有这样的运营商可以写为一个最小最大的线性算子,是漂移扩散和积分微分部分的组合。在\emph{linear}(和非局部)的情况下,Courrège在20世纪60年代描述了这些算子的特征,而在\emph{local, but nonlinear}的情况下-例如局部Hamilton-Jacobi-Bellman算子-这种特征也已经知道了相当长的一段时间。我们的结果给出了Courrège的一个非线性推广和局部Hamilton-Jacobi-Bellman方程的一个非局部推广。证明了任何非线性标量椭圆型方程都可以表示为适当的微分对策的Isaacs方程。我们的方法是将该算子“投影”到有限维空间,其中最小-最大公式更容易,然后可以将最小-最大适当地提升到无限维空间上的原始算子。作为一个应用,我们给出了二阶椭圆型方程,包括完全非线性方程Dirichlet-to-Neumann映射的结构的一些初步结果.这是导演的剪辑,为了我们自己的理智,它包含了额外的细节。