Distributional Multivariate Policy Evaluation and Exploration with the Bellman GAN
Technion - Israel Institute of Technology（以色列理工学院）；UC Berkeley（加州大学伯克利分校）
最近提出的强化学习（DiRL）的分布式方法集中在学习奖励的分布上，通常被称为值分布。在这项工作中，我们证明了驱动DiRL方法的分布式Bellman方程等价于生成对抗网络（GAN）模型。在这个公式中，DiRL可以被视为学习价值分布的深度生成模型，由当前价值的分布与当前奖励和下一个价值之和的分布之间的差异驱动。我们利用这一见解提出了一种基于GAN的DiRL方法，该方法利用了GANs在学习高维数据分布方面的优势。特别是，我们表明，我们的GAN方法可以用于DiRL与多元奖励，一个重要的设置，不能处理与以前的方法。多变量设置还允许我们统一学习值和状态转换的分布，我们利用这一想法来设计一种新的探索方法，该方法由估计值和状态的差异驱动。
2018-08-06 cs.LG stat.ML
Deep Weighted Bellman Residual Minimization for $Q^*$ Estimation
Wuhan University（武汉大学）
本文提出深度加权贝尔曼残差最小化框架，通过密度比加权整合专家演示与行为数据，解决离线强化学习中的分布偏移和Q值高估问题，并显著提升数值性能与策略泛化。
2026-09-29 cs.LG stat.ML
Beyond Bellman: High-Order Generator Regression for Continuous-Time Policy Evaluation
本文研究了在非齐次动态下通过离散闭环轨迹进行有限时间连续时间策略评估，提出基于多步转移的生成器估计方法，结合逆向回归，通过理论分析揭示高阶估计的优势区域，实验验证了二阶估计在稳定性和性能上的改进。
2026-05-07 cs.LG math.OC stat.ML
Learning Bellman Complete Representations for Offline Policy Evaluation
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）
我们研究了离线强化学习（RL）的表示学习，重点关注离线策略评估（OPE）这一重要任务。最近的研究表明，与监督学习相比，Q函数的可实现性并不足以学习它，样本有效的OPE的两个充分条件是Bellman完全性和覆盖性。以前的工作通常假设满足这些条件的表示是给定的，结果大多是理论性的。在这项工作中，我们提出了BCRL，它直接从数据中学习一个近似线性的Bellman完全表示，具有良好的覆盖率。有了这个学习的表示，我们使用最小二乘策略评估（LSPE）在我们学习的表示中使用线性函数执行OPE。我们提出了一个端到端的理论分析，表明我们的两个阶段的算法享有多项式样本复杂性提供了一些表示在丰富的类被认为是线性贝尔曼完成。从经验上讲，我们广泛评估了我们的算法在Deepmind Control Suite中具有挑战性的基于图像的连续控制任务。我们展示了我们的表示与以前为离线RL开发的表示学习方法相比能够实现更好的OPE（例如，卷曲，SPR）。BCRL通过最先进的拟合Q评估（Fitted Q Evaluation，简称QE）方法实现了具有竞争力的OPE误差，并且在评估超出初始状态分布时击败了QE。我们的消融表明，我们的方法的线性贝尔曼完全和覆盖组件是至关重要的。
2022-07-12 cs.LG math.OC math.ST
Bridging Physics-Informed Neural Networks with Reinforcement Learning: Hamilton-Jacobi-Bellman Proximal Policy Optimization (HJBPPO)
University of Waterloo（滑铁卢大学）
将Hamilton-Jacobi-Bellman近端策略优化（HJBPPO）算法引入到强化学习中。Hamilton-Jacobi-Bellman（HJB）方程在控制理论中用于评估价值函数的最优性。我们的工作将HJB方程与连续状态和动作空间中的强化学习相结合，以改善价值网络的训练。我们将价值网络视为物理信息神经网络（PINN），通过精确计算其对输入的导数来求解HJB方程。近端策略优化（PPO）-裁剪算法是利用该实现改进的，因为它使用价值网络来计算其策略网络的目标函数。HJBPPO算法在MuJoCo环境中显示出比PPO更好的性能。
2023-02-01 cs.AI cs.LG cs.NA
Krylov-Bellman boosting: Super-linear policy evaluation in general state spaces
UC Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
我们提出并分析了Krylov-Bellman Boosting（KBB）算法在一般状态空间的政策评估。它交替使用非参数回归拟合Bellman残差（如boosting），并通过最小二乘时间差（LSTD）程序估计值函数，该程序应用了随时间自适应增长的特征集。通过利用Krylov方法的连接，我们配备了两个有吸引力的保证，这种方法。首先，我们提供了一个通用的收敛界，允许单独的估计误差在残差拟合和LSTD计算。与我们的数值实验相一致，这个界限表明收敛速度取决于限制的谱结构，并且是典型的超线性。其次，通过将此元结果与残差拟合和LSTD计算的样本大小相关保证相结合，我们获得了具体的统计保证，这些保证取决于样本量以及用于拟合残差的函数类的复杂性。我们说明了KBB算法的各种类型的政策评估问题的行为，并通常发现大量减少样本的复杂性相对于标准的方法拟合值iterationn。
2022-10-20 cs.LG math.OC math.ST
Bellman Error Based Feature Generation using Random Projections on Sparse Spaces
McGill University（麦吉尔大学）
我们解决的问题自动生成功能的价值函数近似。贝尔曼误差基函数（BEBF）已被证明可以改善函数逼近的政策评估误差，具有类似于值迭代的收敛速度。我们提出了一个简单，快速和强大的算法的基础上随机投影生成BEBF稀疏特征空间。我们提供了一个有限的样本分析所提出的方法，并证明了投影对数的原始空间的维度是足以保证收缩的错误。实证结果证明了该方法的有效性。
2012-09-21 cs.LG stat.ML
Vector-Valued Distributional Reinforcement Learning Policy Evaluation: A Hilbert Space Embedding Approach
Department of Statistics, University of Illinois Urbana-Champaign（统计系，伊利诺伊大学厄巴纳-香槟分校）；Department of Bioinformatics and Biostatistics, University of Louisville（生物信息学与生物统计学系，路易斯维尔大学）
本文提出了一种基于希尔伯特空间嵌入的多维分布式强化学习框架，通过核均值嵌入估计价值分布，解决了多维状态-动作空间中瓦瑟斯坦距离计算的计算挑战。
2026-09-22 cs.LG stat.ME stat.ML
Future-Dependent Value-Based Off-Policy Evaluation in POMDPs
Cornell University（康奈尔大学）；Genentech（基因泰克公司）；Tokyo Institute of Technology（东京工业大学）；Morgan Stanley（摩根士丹利）；MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；LSE（伦敦政治经济学院）
针对POMDP中现有OPE方法受维度灾难限制的问题，提出引入未来依赖价值函数的新无模型OPE方法，推导新贝尔曼方程并采用极小极大学习，在信息充分和贝尔曼完备条件下获得PAC一致性保证，并扩展到动力学学习。该研究为部分可观测环境下的离线评估提供了新途径。
2023-11-14 cs.LG stat.ML
Finite-Sample Analysis of Policy Evaluation for Robust Average Reward Reinforcement Learning
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔）
本文提出了一种基于多级蒙特卡洛技术的鲁棒策略评估方法，实现了最优样本复杂度，解决了鲁棒平均奖励强化学习中的样本复杂度问题。
2025-12-09 cs.LG stat.ML
Bellman Conformal Inference: Calibrating Prediction Intervals For Time Series
Stanford University（斯坦福大学）
BCI 框架通过动态规划求解随机控制问题，优化多步预测区间长度，实现长期覆盖并生成更短区间。
2026-10-15 cs.LG stat.ML
Classical Policy Gradient: Preserving Bellman's Principle of Optimality
University of Massachusetts Amherst, College of Information and Computer Sciences（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
我们提出了一个新的目标函数，更好地捕捉贝尔曼的最优性原则的有限视野情节马尔可夫决策过程，并提供了一个表达的梯度的目标。
2019-06-06 cs.LG stat.ML
Policy Certificates: Towards Accountable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
由于探索，强化学习算法的性能在学习期间可能会发生巨大变化。现有的算法在执行策略之前几乎没有提供有关其当前策略质量的信息，因此在医疗保健等高风险应用中的使用有限。我们建议算法输出政策证书来解决这种缺乏问责制的问题。这些证书约束了下一个事件中策略的次优性和回报，允许人类在认证质量不满意时进行干预。我们进一步介绍了两个新的算法与证书，并提出了一个新的理论分析框架，保证他们的政策和证书的质量。对于表格MDPs，我们表明，计算证书，甚至可以提高样本效率的优化为基础的探索。因此，我们的算法之一是第一个实现最小最优PAC边界的低阶条款，该算法也匹配（并在某些设置略有改善）现有的最小最大遗憾的界限。
2019-05-27 cs.AI cs.LG stat.ML
Optimal policy evaluation using kernel-based temporal difference methods
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
研究了基于再生核Hilbert空间的无限时域折扣马尔可夫报酬过程（MRP）的价值函数估计方法。我们研究了核最小二乘时间差分（LSTD）估计的正则化形式;在无限数据的总体极限中，它对应于由相关再生核Hilbert空间定义的投影Bellman算子的不动点。估计器本身是通过计算由经验算子的正则化版本引起的投影不动点来获得的;由于底层的核结构，这简化为求解涉及核矩阵的线性系统。我们在$L^2(μ)$ -范数中分析了此估计的误差，其中$μ$表示底层马尔可夫链的平稳分布。我们的分析没有对马尔可夫链的转移算子做任何假设，而是只对奖励函数和种群级核LSTD解做了条件。我们使用经验过程理论技术，推导出一个非渐近上界的错误显式依赖于相关的核算子的特征值，以及实例依赖的贝尔曼残差方差。此外，我们证明了极小极大下界的子类的MRP，这表明我们的速率是最佳的样本量$n$和有效的地平线$H = (1 - γ)^{-1}$。而现有的最坏情况下的理论预测立方标度（$H^3$）在有效的地平线，我们的理论表明，事实上有一个更广泛的范围内的标度，取决于内核，平稳分布，和贝尔曼残差的方差。值得注意的是，只有参数和近参数问题才能达到最坏情况的立方尺度。
2021-09-24 cs.LG math.ST stat.ML
Variance-Aware Off-Policy Evaluation with Linear Function Approximation
Yale University（耶鲁大学）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了基于线性函数逼近的强化学习中的离线策略评估（off-policy evaluation，OPE）问题，即基于行为策略收集的离线数据来估计目标策略的价值函数。我们建议将方差信息的价值函数，以提高样本效率的OPE。更具体地说，时间非齐次的情节线性马尔可夫决策过程（MDP），我们提出了一种算法，VA-OPE，它使用的估计方差的价值函数重新加权贝尔曼残差拟合Q-迭代。我们表明，我们的算法实现了更严格的误差界比最知名的结果。我们还提供了行为策略和目标策略之间的分布偏移的细粒度表征。大量的数值实验证实了我们的理论。
2022-01-04 cs.LG math.OC stat.ML
Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文提出双重平滑策略迭代框架，将自然策略梯度等方法统一为贝尔曼算子形式，证明其分布无关的几何收敛性，且无需修改MDP或引入额外正则化。
2026-05-11 cs.LG math.OC stat.ML
Finite-Sample Analysis of Off-Policy TD-Learning via Generalized Bellman Operators
Georgia Institute of Technology（佐治亚理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research NY（IBM纽约研究院）
在时间差（TD）学习中，已知离线策略采样比在线策略采样更实用，并且通过将学习与数据汇集解耦，它能够实现数据重用。众所周知，策略评估（包括多步离策略重要性采样）具有求解广义Bellman方程的解释。在本文中，我们推导出有限样本界的任何一般的政策TD类随机近似算法，解决了这个广义贝尔曼算子的不动点。我们的关键步骤是证明广义Bellman算子同时是一个压缩映射关于加权$\ell_p$ -范数的每个$p$在$[1,\infty)$，有一个共同的压缩因子。由于重要性采样比率的乘积，离策略TD学习已知遭受高方差。在文献中已经提出了许多算法（例如，$Q^π(λ)$、树备份$(λ)$、Retrace $(λ)$和$Q$ -trace）来解决该问题。我们的结果立即暗示这些算法的有限样本界。特别地，我们为$Q^π(λ)$、Tree-Backup $(λ)$和Retrace $(λ)$提供了第一已知有限样本保证，并改进了[19]中$Q$ -trace的最佳已知边界。此外，我们还展示了这些算法中的偏差-方差权衡。
2021-06-24 cs.LG math.OC stat.ML
Verifiable Error Bounds for Physics-Informed Neural Network Solutions of Lyapunov and Hamilton-Jacobi-Bellman Equations
Department of Applied Mathematics, Faculty of Mathematics, University of Waterloo（应用数学系，数学学院，滑铁卢大学）
本文研究了如何通过物理信息神经网络求解李雅普诺夫和哈密尔顿-雅可比-贝尔曼方程的可验证误差界，提出了基于这些方程的解的误差界计算方法，并展示了如何通过残差界来估计真实解的相对误差以及近似解的后验估计。
2026-05-20 cs.LG cs.SY eess.SY
Least Squares Policy Iteration with Instrumental Variables vs. Direct Policy Search: Comparison Against Optimal Benchmarks Using Energy Storage
Princeton University（普林斯顿大学）
本文研究了近似策略迭代（API）方法，使用最小二乘贝尔曼误差最小化的策略评估。我们解决它的几个增强，即贝尔曼误差最小化使用工具变量，最小二乘投影贝尔曼误差最小化，投影贝尔曼误差最小化使用工具变量。我们证明了对于一般的离散时间随机控制问题，使用工具变量的Bellman误差最小化等价于投影Bellman误差最小化的两个变体。这些API方法的替代方案是基于知识梯度的直接策略搜索。这三个近似的动态规划方法的实际性能，然后在能量存储的应用程序的上下文中进行了研究，集成了间歇性的风能供应，以充分服务于随机时变的电力需求。我们使用真实世界的数据创建一个测试问题库，并应用值迭代来找到它们的最优策略。然后，这些基准被用来比较制定的政策。我们的分析表明，API与工具变量贝尔曼误差最小化显着优于API与最小二乘贝尔曼误差最小化。然而，这些方法不如我们的直接策略搜索实现。
2014-01-04 cs.LG math.OC
Is the Bellman residual a bad proxy?
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；Google DeepMind（谷歌DeepMind）
本文旨在从理论和实证上比较强化学习的两个标准优化准则：i）均值最大化和ii）贝尔曼残差最小化。为了这个目的，我们把自己的政策搜索算法的框架中，通常是为了最大限度地提高平均值，并得出一个方法，最大限度地减少剩余$\|T_* v_π- v_π\|_{1,ν}$的政策。理论分析表明，这种代理是如何好的政策优化，特别是它比它的价值为基础的同行。我们还提出了随机生成的通用马尔可夫决策过程的实验，专门设计用于研究所涉及的集中系数的影响。他们表明，贝尔曼残差通常是一个坏的代理政策优化和直接最大化的平均值要好得多，尽管目前缺乏深入的理论分析。这似乎是显而易见的，因为直接解决感兴趣的问题通常更好，但考虑到基于值的强化学习中（投影）贝尔曼残差最小化的普遍性，我们认为这个问题值得考虑。
2017-12-12 cs.LG stat.ML
Learning to Trust Bellman Updates: Selective State-Adaptive Regularization for Offline RL
针对离线强化学习中固定正则化强度难以平衡外推误差与策略性能的问题，提出选择性状态自适应正则化方法，通过状态级信任与选择性约束高质量动作，在D4RL基准上显著优于现有方法。
2025-05-26 cs.LG stat.ML
The Role of Inherent Bellman Error in Offline Reinforcement Learning with Linear Function Approximation
MIT（麻省理工学院）
本文研究带线性函数逼近的离线强化学习问题，基于低固有Bellman误差假设提出高效算法，在单策略覆盖下有性能保证，次优误差随固有Bellman误差的平方根缩放且该下界无法改进。
2024-06-18 cs.AI cs.LG stat.ML
Bellman Residual Orthogonalization for Offline Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
我们提出并分析了一个强化学习原理，该原理通过仅沿用户定义的测试函数空间执行其有效性来近似Bellman方程。专注于无模型离线RL与函数近似的应用程序，我们利用这一原则来获得置信区间的政策评估，以及在规定的政策类内的政策进行优化。我们证明了一个预言不等式我们的政策优化过程中的任意比较政策的价值和不确定性之间的权衡。测试函数空间的不同选择使我们能够在一个共同的框架内解决不同的问题。我们的特点的效率损失，从政策上的政策，关闭数据使用我们的程序，并建立连接到集中系数在过去的工作中研究。我们深入研究我们的方法与线性函数近似的实现，并提供理论保证多项式时间的实现，即使贝尔曼封闭不成立。
2022-10-12 cs.LG
Bellman Policy Optimization
Apodex US, Inc.（Apodex US公司）；Princeton University（普林斯顿大学）
本文提出贝尔曼策略优化（BPO），一种基于策略镜像下降的无评论家强化学习方法，通过贝尔曼方程将目标转化为轨迹级形式，避免中间状态值估计，并在数学推理基准上验证了其有效性。
2026-09-15 cs.CL cs.LG math.OC
When is Realizability Sufficient for Off-Policy Reinforcement Learning?
University of California, Berkeley（加州大学伯克利分校）
本文研究仅满足可实现性时的离策略强化学习，提出由度量熵、集中系数和 Bellman 完备性违反程度共同决定的有限样本保证。
2023-06-06 cs.LG
Fitted Occupancy-Ratio Evaluation without Bellman Completeness
Stanford University（斯坦福大学）
针对离线强化学习分布偏移下的离策略评估问题，提出拟合占用比评估方法FORE，通过伴随贝尔曼递归估计占用比，仅需占用比可实现性，无需贝尔曼完备性等条件，保障离线策略评估收敛性。
2026-07-29 cs.LG stat.ML
Bellman-Certified Rounding for Sparse Policy Deployment in MDPs
针对MDP中稀疏策略部署，提出Bellman认证舍入方法，利用包络和加权曲率积分提供候选特定保证，显著提升认证覆盖率并降低界限与损失比。
2026-10-02 cs.LG
Global Convergence of Wasserstein Policy Gradient for Entropy-Regularized Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文通过利用熵正则化强化学习的Bellman结构，证明了Wasserstein策略梯度（WPG）方法的全局收敛性，并建立了分布Polyak-Łojasiewicz条件。
2026-11-13 cs.LG
From Talk to Action with Accountability: Monitoring the Public Discussion of Policy Makers with Deep Neural Networks and Topic Modelling
Emblica Oy（恩布利卡公司）；University of Edinburgh（爱丁堡大学）
几十年来对气候的研究已经达成共识，人类活动已经改变了气候，我们目前正在走向气候危机。虽然关于减缓气候变化的公众讨论和研究工作有所增加，但不仅需要讨论潜在的解决方案，而且还需要有效地部署这些解决方案。为了防止管理不善和使决策者承担责任，政府程序的透明度和信息程度已被证明是至关重要的。然而，目前关于气候变化讨论的信息量和来源范围使公众和民间社会越来越难以保持对政治家问责的总体了解。作为回应，我们提出了一个多源的主题聚合系统（MuSTAS）的过程中，政策制定者的演讲和修辞从几个公开的来源到一个容易消化的主题摘要。MuSTAS使用新的多源混合潜在狄利克雷分配模型的主题从各种文件。本专题摘要将帮助公众和民间社会评估政治家在何处、如何以及何时谈论气候和气候政策，使他们能够让政治家对他们减缓气候变化的行动负责。
2021-07-09 cs.CL cs.LG
Deep Primal-Dual Reinforcement Learning: Accelerating Actor-Critic using Bellman Duality
Princeton University（普林斯顿大学）
我们开发了一种基于深度神经网络的参数化原始-对偶$π$学习方法，用于具有大状态空间和离线强化学习的马尔可夫决策过程。与基于非线性Bellman方程的逐次逼近的流行Q学习和演员-评论家方法相比，我们的方法利用基本的线性Bellman对偶对策略和价值函数进行原始-对偶更新。使用深度神经网络的原始-对偶$π$学习方法的朴素参数化将遇到两个主要挑战：（1）每次更新都需要计算状态空间上的概率分布，并且是难以处理的;（2）迭代是不稳定的，因为参数化的拉格朗日函数不再是线性的。我们解决这些挑战，提出了一个放松的拉格朗日公式与正则化惩罚使用的优势函数。我们表明，在我们的方法中的双策略更新步骤是等价的策略梯度更新的行动者-批评者的方法在某些特殊情况下，而价值的更新有很大的不同。原始-对偶$π$学习方法的主要优点在于使用Bellman对偶将值和策略更新紧密耦合在一起，因此信息量更大。一个简单的推车极点问题的实验表明，该算法显着优于一步的时间差actor-critic方法，这是最相关的基准方法进行比较。我们相信，对价值和政策函数的原始-对偶更新将加快学习过程。所提出的方法可能为更有效的算法和更清晰的理论分析打开一扇大门。
2017-12-07 cs.LG
Towards Optimal Adversarial Robust Q-learning with Bellman Infinity-error
School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
本研究提出策略一致性假设，证明了存在与Bellman最优策略一致的确定性平稳最优鲁棒策略，指出需用L∞范数最小化Bellman误差，据此构建的CAR-DQN在多基准上取得顶尖性能。
2024-05-20 cs.LG
On solutions of the distributional Bellman equation
Institute for Mathematics（数学研究所）；Goethe University Frankfurt（法兰克福歌德大学）
本文研究一般分布型贝尔曼方程解的存在性、唯一性及尾部性质，通过将其与多元仿射分布方程建立联系，使相关一般理论可应用于分布型强化学习。
2023-05-26 cs.LG math.PR stat.ML
Bellman Residual Minimization for Control: Geometry, Stationarity, and Convergence
School of Electrical Engineering（电气工程学院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文研究了控制中贝尔曼残差最小化方法的几何特性、站定性及收敛性，探讨其在策略优化中的基础理论与应用价值。
2026-06-08 cs.LG cs.SY eess.SY
Target-Aligned Bellman Backup for Cross-domain Offline Reinforcement Learning
School of Artificial Intelligence（人工智能学院）；Jilin University（吉林大学）
本文提出了一种基于目标域贝尔曼目标对齐的跨域离线强化学习方法，旨在通过评估源域过渡与目标域贝尔曼目标的一致性来提升策略学习性能。
2026-05-21 cs.LG
Distributional Soft Bellman Operator under the Cramér Geometry
School of Electrical and Electronic Engineering, University College Dublin（都柏林大学学院电气与电子工程学院）；School of Vehicle and Mobility, Tsinghua University（清华大学车辆与运载学院）；College of Artificial Intelligence, Tsinghua University（清华大学人工智能学院）
研究分布软策略迭代中策略评估步骤里的固定策略分布软贝尔曼算子，基于克拉默几何，制定CDF级算子并证明其收缩性质，获得唯一不动点，还通过共轭得到谱域表示，为DSPI式算法研究提供参考。
2026-07-21 cs.LG
Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning
UW-Madison（威斯康星大学麦迪逊分校）；MIT（麻省理工学院）
针对LLM推理中基于策略的RL方法占主导、基于价值的方法未被充分探索的问题，提出轨迹贝尔曼残差最小化（TBRM）算法，无需评论家等组件，在数学推理基准上优于PPO等基线且开销低，为LLM推理提供高效替代方案。
2025-11-12 cs.AI cs.CL cs.LG
Learning Chance-Constrained MDPs with Bellman Distributional Certificates
Cornell University AI for Science Institute（康奈尔大学人工智能科学研究所）；Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
本文提出贝尔曼分布证书方法，用于解决机会约束马尔可夫决策过程，通过构建约束违反概率的贝尔曼递归，实现模型基上下界匹配，并提供无模型策略梯度算法，在合成和IEEE 14节点基准上验证安全性。
2026-09-28 cs.LG
Off-Policy Reinforcement Learning with High Dimensional Reward
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
该研究为分布强化学习建立了支持无限维可分巴拿赫奖励空间的理论基础，证明其贝尔曼算子的压缩性与低维近似可行性，提出可解决传统RL难处理问题的新型DRL算法。
2024-08-14 cs.LG stat.ML
A Generalized Projected Bellman Error for Off-policy Value Estimation in Reinforcement Learning
Department of Computing Science and the Alberta Machine Intelligence Institute (Amii)（计算科学系与阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）
本文提出广义投影贝尔曼误差，将线性 MSPBE 扩展到非线性函数逼近，统一已有方法并给出价值误差新界，所提算法更稳定且对超参数不敏感，在四个控制领域表现优异。
2024-07-31 cs.AI cs.LG
On Generalized Bellman Equations and Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）；Kindred Inc.（Kindred公司）
我们考虑折扣马尔可夫决策过程中的离线策略时间差（TD）学习，其目标是通过使用在不执行策略的情况下生成的状态过程的观察结果来以无模型的方式评估策略。为了解决偏离策略TD学习中的高方差问题，提出了一种基于广义Bellman方程的TD $λ$参数设置方法.我们的计划是设置$λ$根据TD计算的资格跟踪迭代，从而很容易保持这些痕迹在一个理想的有界范围。与已有的工作相比，该方案更加直接和灵活，并且允许更大的$λ$值用于有界迹的偏离策略TD学习。至于它的健全性，使用马尔可夫链理论，我们证明了遍历的联合状态跟踪过程在非限制性条件下，我们表明，与我们的计划是一个广义贝尔曼方程（用于评估的政策），这取决于双方的发展$λ$和唯一不变的概率测度的状态跟踪过程。这些结果不仅立即导致我们的计划基于最小二乘实现的收敛行为的表征，但也准备了基于梯度的实现的进一步分析的基础。
2018-09-27 cs.LG math.OC
Monotone Neural Policy Iteration for High-Dimensional First-Order Hamilton--Jacobi--Bellman Equations
Seoul National University of Science and Technology（首尔科学技术大学）；POSTECH；Gachon University（成均馆大学）
本文提出稳定神经HJB求解器，通过混合方法分析误差并应用于强化学习，验证了求解器在模型误差和策略不匹配下的稳定性。
2026-09-11 cs.AI cs.LG cs.NA
BRACE: Anchored Bellman-Residual Correction for Stale Critics in Asynchronous RL
Beijing University of Posts and Telecommunications（北京邮电大学）；Baidu Inc.（百度公司）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）
BRACE通过锚定贝尔曼残差校正，解决异步RL中评论家偏差问题，提升BrowseComp-Plus性能2.4%，速度提升2.46倍。
2026-09-16 cs.AI cs.LG
A Kernel Loss for Solving the Bellman Equation
UT Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
价值函数学习在许多最先进的并行学习算法中起着核心作用。许多流行的算法，如Q学习，并不优化任何目标函数，而是Bellman算子的某种变体的定点迭代，不一定是收缩。因此，正如在实践中可以观察到的那样，它们可能很容易失去收敛保证。在本文中，我们提出了一种新的损失函数，它可以使用标准的基于梯度的方法进行优化，而不会有发散的风险。其主要优点是，它的梯度可以很容易地近似使用采样过渡，避免了像残差梯度之前的算法所需要的双样本。我们的方法可以与一般的功能类，如神经网络，无论是对或关闭的政策数据相结合，并显示出可靠和有效的工作在几个基准。
2020-01-08 cs.LG stat.ML
Lifted Bellman Linear Programming for Offline Reinforcement Learning
NAVER LABS（NAVER 实验室）
本文提出提升的贝尔曼线性规划（LBLP）及其近似算法ALBUM，通过不等式约束实现样本内贝尔曼最优性，无需目标网络，在OGBench上以最少参数和内存达到与FQL相当的性能。
2026-09-28 cs.AI cs.LG
On Bellman equations for continuous-time policy evaluation I: discretization and approximation
Department of Statistical Sciences, University of Toronto（多伦多大学统计科学系）；Department of Mathematics, University of California, San Diego（加利福尼亚大学圣迭戈分校数学系）
针对连续时间扩散过程的离散观测策略评估，提出兼容函数逼近型离散时间 RL 的易实现数值算法，证明其高阶精度与误差保证，并借助椭圆结构实现不随有效时域发散的有界逼近因子。
2024-07-08 cs.LG cs.NA math.NA
MICRO: Model-Based Offline Reinforcement Learning with a Conservative Bellman Operator
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对离线强化学习的分布偏移问题，提出带保守贝尔曼算子的基于模型的算法MICRO，通过在状态不确定集选最小Q值兼顾性能与鲁棒性，降低计算成本，在基准测试中表现更优且抗扰动能力强。
2024-04-17 cs.AI cs.LG
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Cross-Domain Policy Optimization via Bellman Consistency and Hybrid Critics
本文提出QAvatar方法，通过域间Bellman一致性与混合批评者解决跨领域RL中的可转移性问题，实现可靠的知识迁移。
2026-03-12 cs.LG
Linear Bellman Completeness Suffices for Efficient Online Reinforcement Learning with Few Actions
MIT（麻省理工学院）
针对线性函数逼近的在线强化学习中Bellman完备性下现有统计算法需解非凸优化、缺乏计算高效方法的问题，本文首次提出动作数为任意常数时满足线性Bellman完备性的多项式时间RL算法。
2024-06-18 cs.AI cs.LG stat.ML
Physics-Informed Policy Iteration for High-Dimensional Hamilton--Jacobi--Bellman Equations: Interior Error Bounds without Boundary Data
该研究提出无边界数据的物理信息策略迭代方法求解高维HJB方程，推导内部误差界，在多个控制问题上验证其有效性，同时揭示局限性并给出保障措施。
2026-08-11 cs.CE cs.LG cs.NA
Deterministic Exploration via Stationary Bellman Error Maximization
Center for Artificial Intelligence and Data Science, University of Würzburg（维尔茨堡大学人工智能与数据科学中心）；Department of Computer Science, Technical University of Darmstadt（达姆施塔特工业大学计算机科学系）；Hessian Center for Artificial Intelligence（黑森州人工智能中心）
本文提出一种基于平稳贝尔曼误差最大化的确定性探索方法，通过三项改进稳定探索目标，并在密集与稀疏奖励环境中优于ε-贪婪策略。
2024-11-05 cs.LG
ShiQ: Bringing back Bellman to LLMs
Cohere；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Earth Species Project（地球物种项目）
针对Q学习难以直接适配大语言模型的问题，该研究从Bellman方程推导理论损失函数，提出支持离策略逐token学习的ShiQ算法，在合成数据与真实基准上验证了单、多轮场景的有效性。
2025-05-16 cs.LG
Variational Actor-Critic Algorithms
University of California, San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
我们介绍了一类变分演员评论家算法的基础上变分制定的价值函数和政策。变分公式的目标函数由两部分组成：一部分用于最大化价值函数，另一部分用于最小化Bellman残差。除了同时使用价值函数和策略更新的香草梯度下降算法外，为了加快收敛速度，我们还提出了两种改进算法：裁剪法和翻转法。证明了当Bellman残差的前因子足够大时，算法的不动点接近于最优策略。
2023-01-14 cs.LG math.OC
On Instrumental Variable Regression for Deep Offline Policy Evaluation
DeepMind（深度思维）；Gatsby Unit（盖茨比单元）
我们表明，流行的强化学习（RL）的估计状态-动作值（Q-函数）的策略，通过最小化均方贝尔曼误差导致回归问题的混淆，输入和输出噪声相关。因此，Bellman误差的直接最小化可能导致显著有偏的Q函数估计。我们解释了为什么在深度Q网络和拟合Q评估中固定目标Q网络提供了一种克服这种混淆的方法，从而为深度RL文献中这种流行但尚未完全理解的技巧提供了新的见解。解决混杂的另一种方法是利用因果关系文献中开发的技术，特别是工具变量（IV）。我们汇集在这里的文献IV和RL调查IV的方法是否可以导致改进的Q函数估计。本文分析和比较了范围广泛的最近IV方法的背景下，离线政策评估（OPE），其目标是估计的政策，只使用记录的数据的价值。通过应用不同的IV技术OPE，我们不仅能够恢复以前提出的OPE方法，如基于模型的技术，但也获得有竞争力的新技术。我们发现经验，国家的最先进的OPE方法是密切匹配的性能由一些IV方法，如AGMM，这不是为OPE开发。我们在https://github.com/liyuan9988/IVOPEwithACME上开源了我们所有的代码和数据集。
2022-11-23 cs.LG stat.ML
