Policy Evaluation in Continuous MDPs with Efficient Kernelized Gradient Temporal Difference
我们考虑无限空间的无限时域折扣马尔可夫判定问题（MDP）的政策评估。我们重新制定这个任务的组合随机规划的函数值的决策变量，属于再生核希尔伯特空间（RKHS）。我们通过一个新的随机准梯度法操作与随机稀疏子空间投影的功能推广来解决这个问题。其结果是梯度时间差分学习的扩展，产生非线性参数化的Bellman评估方程的解的值函数估计。我们的主要贡献是一个内存有效的非参数随机方法，保证准确收敛到Bellman不动点的概率$1$与衰减步长。此外，在步长不变的情况下，我们得到了平均收敛到一个邻域，并且值函数估计具有有限的复杂性。在山车域中，我们观察到更快的收敛到更低的贝尔曼错误的解决方案比现有的方法所需的内存的一小部分。
2020-05-17 math.OC
Policy Iteration for Stationary Discounted Hamilton--Jacobi--Bellman Equations: A Viscosity Approach
Gachon University（嘉泉大学）；Yonsei University（延世大学）
本文提出了一种针对 stationary 折扣 HJB 方程的策略迭代方法，通过引入人工粘性阶 O(h) 的空间离散方案，恢复了比较性并保证了单调性，实现了几何收敛到唯一解，并推导了误差分解与非平凡耦合机制。
2026-09-16 cs.NA math.NA math.OC
Viscosity Solutions of Hamilton--Jacobi--Bellman Equations for Control Systems Driven by Teugels Martingales
Huzhou University（湖州大学）
本文研究了具有随机系数的离散时间双人非零和线性二次随机博弈，利用凸变分分析推导了开环纳什均衡存在的必要充分条件，引入全局非负性条件以恢复充分性，并发展了耦合前向后向随机差分方程和非对称随机里茨方程体系。
2026-04-06 math.OC
Monotone Neural Policy Iteration for High-Dimensional First-Order Hamilton--Jacobi--Bellman Equations
Seoul National University of Science and Technology（首尔科学技术大学）；POSTECH；Gachon University（成均馆大学）
本文提出稳定神经HJB求解器，通过混合方法分析误差并应用于强化学习，验证了求解器在模型误差和策略不匹配下的稳定性。
2026-09-11 cs.AI cs.LG cs.NA
Finite-Sample Analysis of Off-Policy TD-Learning via Generalized Bellman Operators
Georgia Institute of Technology（佐治亚理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research NY（IBM纽约研究院）
在时间差（TD）学习中，已知离线策略采样比在线策略采样更实用，并且通过将学习与数据汇集解耦，它能够实现数据重用。众所周知，策略评估（包括多步离策略重要性采样）具有求解广义Bellman方程的解释。在本文中，我们推导出有限样本界的任何一般的政策TD类随机近似算法，解决了这个广义贝尔曼算子的不动点。我们的关键步骤是证明广义Bellman算子同时是一个压缩映射关于加权$\ell_p$ -范数的每个$p$在$[1,\infty)$，有一个共同的压缩因子。由于重要性采样比率的乘积，离策略TD学习已知遭受高方差。在文献中已经提出了许多算法（例如，$Q^π(λ)$、树备份$(λ)$、Retrace $(λ)$和$Q$ -trace）来解决该问题。我们的结果立即暗示这些算法的有限样本界。特别地，我们为$Q^π(λ)$、Tree-Backup $(λ)$和Retrace $(λ)$提供了第一已知有限样本保证，并改进了[19]中$Q$ -trace的最佳已知边界。此外，我们还展示了这些算法中的偏差-方差权衡。
2021-06-24 cs.LG math.OC stat.ML
Chance-Constrained Stochastic Optimal Control via Path Integral and Finite Difference Methods
University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究了一类连续时间连续空间机会约束随机最优控制问题。通过拉格朗日松弛，将机会约束（风险约束）SOC问题转化为风险最小化SOC问题，其费用函数具有时间可加的Bellman结构.我们表明，风险最小化的控制合成是等价于解决HJB PDE的边界条件可以适当地调整，以达到所需的安全水平。此外，它表明，建议的风险最小化控制问题可以被看作是一个推广的问题，估计与给定的控制策略的风险。研究了两种数值方法，即路径积分和有限差分法（FDM），求解一类风险最小化SOC问题，其HJB方程通过Cole-Hopf变换可线性化.使用2D机器人导航的例子，我们验证了所提出的控制综合框架，并比较使用路径积分和FDM得到的解决方案。
2022-05-02 cs.RO cs.SY eess.SY
Hamilton-Jacobi-Bellman-Isaacs equation for rational inattention in the long-run management of river environments under uncertainty
针对具有非光滑、非线性特征的现代河流泥沙补给问题，提出了一种新的河流长期环境管理的随机控制模型。理性疏忽作为一种新的自适应策略，收集信息和干预对目标系统建模使用Erlangization。系统动力学包含河流流量以下的连续状态分支与移民型的过程和控制泥沙存储动态导致一个非光滑和非局部的无穷小生成器。模型的不确定性，这是无处不在的在某些应用中，被认为是在一个鲁棒控制框架，其中基准和扭曲的模型之间的偏差通过相对熵惩罚。导出了作为最优性方程的偏积分微分Hamilton-Jacobi-Bellman-Isaacs（HJBI）方程，并讨论了它的唯一性、存在性和最优性.提出了一种保证数值解有界唯一性的单调差分格式离散HJBI方程，并基于人工解进行了验证。模型的应用也进行了参数值确定从现有的数据和物理公式。计算结果表明，环境管理应该是理性的疏忽状态依赖和适应性的方式。
2021-07-27 cs.SY eess.SY math.AP
Finite difference methods for a continuous-time heterogeneous agent model with recursive utility
Université de Paris Cité（巴黎西岱大学）；Sorbonne Université（索邦大学）；CNRS, Laboratoire Jacques-Louis Lions（法国国家科学研究中心雅克-路易·利翁斯实验室）；School of Mathematics and Physics, China University of Geosciences (Wuhan)（中国地质大学（武汉）数学与物理学院）
针对Epstein-Zin递归效用下的连续时间异质主体模型，提出Howard-Newton和Howard-Tarski-Kantorovich算法求解离散化的HJB方程，证明算法收敛性及解的存在性，并给出先验误差估计。
2026-11-02 cs.NA math.NA math.OC
On the Well-posedness of Hamilton-Jacobi-Bellman Equations of the Equilibrium Type
School of Physical & Mathematical Sciences, Nanyang Technological University（南洋理工大学物理与数学学院）
本文研究了一类非局部抛物型偏微分方程的适定性，即等价的平衡型哈密顿-雅可比-贝尔曼方程，与时间不一致随机控制问题的均衡策略和价值函数刻画密切相关。通过连续性方法和线性化方法，证明了非局部全非线性方程的局部和全局适定性，并提供了概率表示和价值函数差异估计。
2026-05-11 math.AP math.OC q-fin.MF
Error estimates for finite difference approximations of American put option price
Fakultät für Mathematik, Universität Bielefeld（比勒费尔德大学数学系）
研究多资产美式看跌期权的有限差分近似，通过将最优停止问题转化为退化Hamilton-Jacobi-Bellman方程，证明了时间离散化参数误差阶为1/4、空间离散化参数误差阶为1/2，并估计了将问题限制在有界域引起的误差。
2011-09-30 cs.NA cs.SY eess.SY
Difference of Convex Functions Programming Applied to Control with Expert Data
Univ. Lille（里尔大学）；CRIStAL (UMR CNRS 9189/Lille 1)（CRIStAL研究中心（UMR CNRS 9189/里尔第一大学））；CentraleSupélec（巴黎中央理工-高等电力学院）；IUF（法国大学研究院）；Google DeepMind（谷歌DeepMind）
本文报告了凸函数差（DC）编程在基于专家数据的演示学习（LfD）和强化学习（RL）中的应用。这是可能的，因为最佳贝尔曼残差（OBR）的范数，这是许多RL和LfD算法的核心，是DC。性能的改善表现在两个特定的算法，即奖励正则化分类学徒学习（RCAL）和强化学习与专家演示（RLED），通过实验通用马尔可夫决策过程（MDP），称为石榴石。
2016-09-05 cs.LG math.OC stat.ML
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题，通过平均场近似得到连续HJB方程，并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
InFlow: entropic stochastic dual dynamic programming with HJB cross-certification for seasonal energy storage
Cheikh Anta Diop University of Dakar（达喀尔谢赫安塔·迪奥普大学）；University of Nairobi（内罗毕大学）；Laboratoire Eau, Energie, Environnement et procédés Industriels (LE3PI)（水、能源、环境与工业过程实验室）；Centre de Tests des Systèmes Solaires (CT2S)（太阳能系统测试中心）
InFlow提出结合熵鲁棒SDDP与HJB交叉验证的框架，用于季节性水库调度，通过严格验证和鲁棒性分析，显著降低风险并保持成本稳定。
2026-09-11 math.OC
Stabilizing Rate of Stochastic Control Systems
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
本文提出了一种基于正则化归一化值迭代算法的框架，用于确定随机线性系统在乘性噪声下的最优稳定化速率。
2026-08-04 cs.SY eess.SY math.OC
Joint Stochastic Optimal Control and Stopping in Aquaculture: Finite-Difference and PINN-Based Approaches
针对水产养殖利润最大化问题，提出联合随机最优控制与停时模型，开发有限差分基准法与结合DeepOS的PINN求解法，验证了联合优化策略的优越性及PINN在高维场景的可扩展性。
2025-10-03 math.OC q-fin.CP q-fin.RM
Eventum Mechanics of Quantum Trajectories: Continual Measurements, Quantum Predictions and Feedback Control
量子力学系统在测量时表现出固有的概率性质，这在原则上排除了奇异的直接可观测性连续的情况。80年代，作者在量子噪声的独立增量模型和非破坏因果原理的基础上发展起来的时间连续测量量子理论和量子预测理论，解决了这个问题，允许连续量子预测，并将许多量子信息问题，如量子反馈控制问题，归结为经典的随机问题。利用扩散和计数测量的显式间接观测模型，导出了描述开放量子系统在连续部分观测下随机演化的量子滤波（预测）方程.与经典的不确定性控制理论并行工作，我们给出了以这两种测量为条件的后验随机量子态的最优反馈控制的Markov Bellman方程.由此产生的过滤和贝尔曼方程的扩散观测，然后应用到显式可解的量子线性二次高斯（LQG）问题，强调了许多相似之处和不同之处，相应的经典非线性滤波和控制问题，并证明量子滤波和经典控制之间的微观对偶。
2007-02-23 math-ph math.MP math.OC
The Optimal Dynamic Reinsurance Strategies in Multidimensional Portfolio
本文研究了多险种保险公司的最优动态再保险策略的选择问题。最优生存函数被刻画为在无穷远处极限为1的Hamilton-Jacobi-Bellman方程（HJB）的唯一非减黏性解.利用有限差分法数值求解了最优生存函数和最优动态再保险策略，并证明了数值解收敛于生存概率函数。
2020-01-06 math.OC q-fin.PM
Time-Optimal Paths for Simple Cars with Moving Obstacles in the Hamilton-Jacobi Formulation
研究了简单非完整运动器的时间最优路径规划问题。在以前的类似工作中，车辆已被简化为一个点质量和障碍物已固定。我们的配方占一个矩形的车辆，并涉及动态规划原则和时间依赖的哈密尔顿-雅可比-贝尔曼（HJB）制定允许移动障碍物。据我们所知，这是第一个HJB制定的问题，允许移动障碍。我们设计了一个迎风有限差分格式来近似方程，并通过几个合成的例子证明了我们的模型的有效性。
2021-11-18 math.OC
Time-Inconsistent Mean-Field Stochastic LQ Problem: Open-Loop Time-Consistent Control
本文研究了时不一致平均场随机线性二次型最优控制的开环时一致解。与标准随机线性二次型问题不同，该问题的系统矩阵和权矩阵都依赖于初始时刻，控制和状态的条件期望以二次型形式进入目标函数。这些特性破坏了Bellman的最优性原理，导致最优控制的时间不一致性。基于所涉及系统的动态特性，本文研究了一类开环时间一致平衡控制。证明了对于固定的初始对，开环时间一致平衡控制的存在性等价于一组具有平稳性条件和凸性条件的正倒向随机差分方程的可解性。通过解耦正倒向随机差分方程，利用线性差分方程和广义差分Riccati方程给出了具有固定初始值对的开环时间一致平衡控制存在的充要条件.此外，本文还证明了开环时间一致平衡控制的存在性等价于一组耦合约束广义差分Riccati方程和两组约束线性差分方程的可解性.
2016-08-18 math.OC
Fast Multi-Agent Temporal-Difference Learning via Homotopy Stochastic Primal-Dual Optimization
University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们研究了多智能体强化学习中的策略评估问题，其中一组智能体具有联合观察的状态和私有的本地动作和奖励，通过连接的无向网络上的本地计算和通信来协作学习给定策略的值函数。这个问题出现在各种大规模的多智能体系统，包括电网，智能交通系统，无线传感器网络和多智能体机器人。当状态-动作空间维数较大时，采用线性函数逼近的时间差分学习方法得到了广泛的应用。在本文中，我们开发了一种新的分布式时间差学习算法，并量化其有限时间性能。我们的算法结合了分布式随机原始对偶方法与同伦为基础的方法，以适应性地调整学习率，以尽量减少均方投影贝尔曼误差从一个因果的政策轨迹采取新鲜的在线样本。我们明确地考虑到马尔可夫性质的采样和改善最著名的有限时间误差界从$O(1/\sqrt{T})$到~ $O(1/T)$，其中$T$是迭代的总次数。
2021-11-04 cs.LG cs.MA math.OC
Numerical Solution of the Dynamic Programming Equation for the Optimal Control of Quantum Spin Systems
本文的目的是描述量子自旋系统最优控制问题的Hamilton-Jacobi-Bellman（HJB）数值解。该HJB方程是定义在李群上的一阶非线性偏微分方程。我们采用最近的扩展理论的粘度解决方案从欧氏空间黎曼流形解释可能的不可微的解决方案，这个方程。从微分拓扑学的三角形的流形上的结果，然后用来开发一个有限差分近似方法，这是收敛使用粘性解决方案技术。最后给出了一个例子来说明该方法。
2010-11-27 math.OC quant-ph
Stochastic control problems for systems driven by normal martingales
本文研究了一类随机控制问题，其中跳跃大小的控制是必不可少的。该模型是从一般保险模型的最优再保险选择到排队论等各种应用问题的推广。这样的控制问题的主要新颖点是，通过改变系统的跳跃大小，基本上改变了驱动鞅的类型。这样的功能似乎没有被调查在任何现有的随机控制文献。我们将首先提供一个严格的理论基础的控制问题，建立一个存在性结果的多维结构方程的Wiener-Poisson空间，给定一个任意的有界跳跃大小的控制过程，并通过提供一个辅助的反例显示这种解决方案的非唯一性。基于这些理论结果，我们然后制定的控制问题，并证明了贝尔曼原理，并推导出相应的汉密尔顿-雅可比-贝尔曼（HJB）方程，在这种情况下，这是一个混合的二阶偏微分/差分方程。最后，我们证明了这样的HJB方程的黏性解的唯一性结果。
2008-04-04 math.OC math.PR
Differential Temporal Difference Learning
Department of Electrical and Computer Engineering, University of Florida（佛罗里达大学电气与计算机工程系）；Department of Engineering, University of Cambridge（剑桥大学工程系）
本文提出了一种新的差分时间差分学习算法，旨在解决传统时间差分学习方法中收敛缓慢和相对价值函数计算中一致性算法仅在特殊情况下存在的问题。
2020-02-27 cs.LG cs.SY eess.SY
