Unifying Value Iteration, Advantage Learning, and Dynamic Policy Programming
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）
近似值迭代等近似动态规划算法已经成功应用于许多复杂的强化学习任务，更好的近似动态规划算法有望进一步扩展强化学习对各种任务的适用性。在本文中，我们提出了一个新的，强大的动态规划算法，统一的价值迭代，优势学习和动态政策规划。我们称之为广义值迭代（GVI）及其近似版本，近似GVI（AGVI）。我们显示AGVI的性能保证，其中包括现有算法的性能保证，作为特殊情况。我们讨论了现有算法的理论弱点，并解释AGVI的优势。在一个简单的环境中的数值实验支持理论的论点，并建议AGVI是一个有前途的替代以前的算法。
2017-10-30 cs.LG stat.ML
XLVIN: eXecuted Latent Value Iteration Nets
Mila（米拉）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思考）；University of Belgrade（贝尔格莱德大学）；HEC Montréal（蒙特利尔高等商学院）
价值迭代网络（VIN）已成为将规划算法纳入深度强化学习的流行方法，从而能够提高需要长期推理和理解环境动态的任务的性能。然而，这带来了几个限制：该模型没有以任何方式激励执行有意义的规划计算，底层状态空间被假设为离散的，并且马尔可夫决策过程（MDP）被假设为固定和已知的。我们提出了执行潜值迭代网络（XLVIN），它结合了对比自监督学习，图表示学习和神经算法推理的最新发展，以减轻所有上述限制，成功地部署VIN风格的模型在通用环境。当底层MDP是离散的、固定的和已知的时，XLVIN与VIN类模型的性能相匹配，并在三种通用MDP设置中对无模型基线进行了显著改进。
2020-12-06 cs.AI cs.LG stat.ML
Factored Value Iteration Converges
Eötvös Loránd University（厄特沃什·罗兰大学）
本文提出了一种新的算法，因子值迭代（FVI），因子马尔可夫决策过程（fMDP）的近似解。从两个方面对传统的近似值迭代算法进行了改进。首先，对最小二乘投影算子进行修改，使其不增加最大范数，从而保持收敛性。另一个修改是我们从（指数大）状态空间中均匀地采样多项式多个样本。通过这种方式，我们的算法的复杂度在fMDP描述长度的大小上变成多项式。我们证明了算法是收敛的。我们还推导出我们的近似解和最优解之间的差异上界，以及采样引入的误差。我们分析了各种投影算子的计算复杂性和与近似值迭代相结合时的收敛性。
2008-08-13 cs.AI cs.LG
Speeding Up the Convergence of Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
部分可观测马尔可夫决策过程（POMDPs）最近在许多人工智能研究人员中很受欢迎，因为它们可以作为不确定性下规划的自然模型。值迭代是一个著名的算法，为POMDPs寻找最优策略。它通常需要大量的迭代来收敛。本文提出了一种加速数值迭代收敛的方法。该方法已在一系列基准问题上进行了评估，发现非常有效：它使值迭代在所有测试问题上仅经过几次迭代后就收敛。
2011-06-01 cs.AI
A Method for Speeding Up Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
我们提出了一种加速部分可观察马尔可夫决策过程（POMDP）值迭代收敛的技术。其基本思想类似于完全可观测马尔可夫决策过程（MDP）的修改策略迭代。该技术可以很容易地纳入任何现有的POMDP值迭代算法。在几个测试问题上进行了实验，一个POMDP值迭代算法称为增量修剪。我们发现，该技术可以使增量修剪运行几个数量级更快。
2013-01-23 cs.AI
Generalized Value Iteration Networks: Life Beyond Lattices
Clemson University（克莱姆森大学）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们介绍了一个广义值迭代网络（GVIN），这是一个端到端的神经网络规划模块。GVIN通过使用一种新的图卷积算子来模拟值迭代算法，使GVIN能够在不规则的空间图上学习和规划。我们提出了三种新的可微内核作为图卷积算子，并表明基于嵌入的内核实现了最佳性能。我们进一步提出了情景Q学习，这是对传统n步Q学习的改进，它可以稳定包含规划模块的网络的训练。最后，我们评估GVIN在2D迷宫，不规则图形和现实世界的街道网络规划问题，表明GVIN推广以及任意图形和看不见的图形较大的规模和优于一个天真的推广VIN（离散化的空间图形到一个2D图像）。
2017-10-26 cs.AI cs.LG
Operator Splitting Value Iteration
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们引入新的规划和强化学习算法的折扣MDP，利用环境的近似模型，以加速收敛的价值函数。受数值线性代数中的分裂方法的启发，我们引入了算子分裂值迭代（OS-VI）用于策略评估和控制问题。当模型足够精确时，OS-VI实现了更快的收敛速度。我们还介绍了一个基于样本的版本的算法称为OS-Dyna。与传统的Dyna架构不同，OS-Dyna在存在模型近似误差的情况下仍然收敛到正确的价值函数。
2022-11-25 cs.AI cs.LG cs.SY
On Value Iteration Convergence in Connected MDPs
Boston University（波士顿大学）
针对连通 MDP，论文给出值迭代收敛的充分条件：唯一最优策略与遍历转移矩阵可保证折扣和平均回报准则下均获得快于 γ 的几何收敛速率。
2024-06-13 cs.LG
Doubly-Asynchronous Value Iteration: Making Value Iteration Asynchronous in Actions
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
值迭代（VI）是一种基本的动态规划方法，对于最优控制和强化学习中的学习和规划非常重要。VI是分批进行的，其中每个状态值的更新必须在下一批更新开始之前完成。如果状态空间很大，那么完成单个批处理的成本非常高，这使得VI对于许多应用程序来说都是不切实际的。异步VI通过一次就地更新一个状态并以任意顺序更新，有助于解决大状态空间问题。然而，异步VI仍然需要在整个动作空间上最大化，这使得具有大动作空间的域不切实际。为了解决这个问题，我们提出了双异步值迭代（DAVI），一个新的算法，概括的思想，从状态到状态和动作的同步。更具体地说，DAVI最大化一个采样的动作子集，可以是任何用户定义的大小。这种使用采样来减少计算的简单方法保持了与VI相似的吸引人的理论属性，而无需在每次更新中等待整个动作空间的完整扫描。在本文中，我们表明DAVI收敛到最佳的价值函数的概率为1，收敛在一个接近几何率的概率为1-delta，并返回一个接近最佳的政策，在计算时间，几乎匹配先前建立的界限VI。我们还实证证明DAVI的有效性在几个实验中。
2022-11-27 cs.LG
Fast Value Iteration for Goal-Directed Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
规划问题中的行动的影响是不确定的，可以建模为马尔可夫决策过程。规划问题通常是目标导向的。本文提出了几种技术，利用目标导向加速值迭代，解决马尔可夫决策过程的标准算法。实证研究表明，这些技术可以显着提高速度。
2013-02-06 cs.AI
Understanding the theoretical properties of projected Bellman equation, linear Q-learning, and approximate value iteration
KAIST（韩国科学技术院）
本文研究投影贝尔曼方程（PBE）及求解它的线性Q学习和近似值迭代（AVI）的理论性质，提出PBE解存在的两个充分条件，分析SNRDD假设对算法收敛的作用及与AVI收敛的关系，并给出ε-贪婪策略下PBE解的观察。
2025-04-15 cs.AI cs.LG
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis（加州大学戴维斯分校）
最近发现的有限状态-动作折扣马尔可夫决策过程（MDP）的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明，价值空间是一个联盟的许多细胞相同的超平面安排，并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发，我们提出了一种新的算法，几何策略迭代（GPI），以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作，然后立即更新价值函数，来更新单个状态的策略。这种新的更新规则旨在更快地提高值，而不影响计算效率。此外，我们的算法允许异步更新的状态值，这是更灵活和有利的传统的策略迭代相比，当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$，并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Iowa（爱荷华大学）
本文首次证明了修正策略迭代（MPI）在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性，并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
Transfer Value Iteration Networks
Sun Yat-Sen University（中山大学）；Tencent Inc.（腾讯公司）；Nanyang Technological University（南洋理工大学）
数值迭代网络（VIN）已被证明具有良好的泛化能力，强化学习任务在类似的领域。然而，根据我们的实验，VIN学习的策略仍然不能很好地推广到其动作空间和特征空间与训练域中的动作空间和特征空间不相同的域。在本文中，我们提出了一个迁移学习的方法上的VIN，称为转移VIN（TVIN），这样，从源域的学习策略可以推广到目标域，只有有限的训练数据，即使源域和目标域具有特定于域的动作和功能。我们经验验证，我们提出的TVIN优于VIN的源和目标域具有相似的，但不相同的动作和特征空间。此外，我们表明，性能改善是一致的，在不同的环境，迷宫大小，数据集大小以及不同的超参数值，如迭代次数和内核大小。
2019-11-27 cs.AI cs.LG
Rank-One Modified Value Iteration
本文提出秩一修正值迭代算法，用秩一近似和幂法处理马尔可夫决策过程的策略评估，理论上收敛速率与复杂度对标经典算法，实验中性能优于一阶算法及其加速版。
2025-10-21 cs.LG math.OC stat.ML
On the Complexity of Value Iteration
University of Oxford（牛津大学）；Masaryk University（马萨里克大学）；University of Antwerp（安特卫普大学）；CNRS（法国国家科学研究中心）；IRIF（IRIF研究所）
值迭代是求解马尔可夫决策过程的基本算法。它通过迭代$n$乘以与MDP自然相关的递归方程来计算最大$n$步收益。同时，值迭代为MDP提供了一个在给定有限时域$n$上最优的策略。本文解决了数值迭代的计算复杂性问题。我们表明，给定一个地平线$n$在二进制和MDP，计算最优策略是EXP-完成，从而解决了一个开放的问题，可以追溯到1987年的开创性论文的复杂性MDP的Papadimitriou和Tsitsiklis。作为一个垫脚石，我们表明，它是EXP-完全的计算$n$倍迭代（$n$在二进制）的函数给出了一个直线程序的整数与$\max$和$+$作为运营商。
2019-04-27 cs.AI cs.CC cs.FL
The Divergence of Reinforcement Learning Algorithms with Value-Iteration and Function Approximation
City University London（伦敦城市大学）
本文给出了几种主要的强化学习和自适应动态规划算法在使用价值函数的函数逼近器时值迭代的具体发散示例。这些分歧的例子不同于文献中以前的分歧的例子，因为它们适用于贪婪的政策，即在“价值迭代”的情况下。也许令人惊讶的是，使用贪婪策略，也可以得到算法TD（1）和Sarsa（1）的发散。除了这些分歧，我们也实现了分歧的自适应动态规划算法HDP，DHP和GDHP。
2012-07-29 cs.LG
Analysis of Value Iteration Through Absolute Probability Sequences
Boston University（波士顿大学）；UCLouvain（鲁汶大学）
本文利用绝对概率序列建立新的分析框架，研究值迭代算法在 $L^2$ 范数下的收敛性，弥补以往主要关注无穷范数收敛分析的不足。
2025-02-05 cs.LG
Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing
Rice University（莱斯大学）；Institute for Advanced Study（高等研究院）；Princeton University（普林斯顿大学）
我们提出了第一个可证明的最小二乘值迭代（LSVI）算法，具有运行时复杂度次线性的行动的数量。我们制定的价值函数估计过程中的值迭代近似的最大内积搜索问题，并提出了一个局部敏感哈希（LSH）[Indyk和Motwani STOC'98，Andoni和Razenshteyn STOC'15，Andoni，Laarhoven，Razenshteyn和Waingarten SODA'17]类型的数据结构来解决这个问题的次线性时间复杂度。此外，我们建立了近似最大内积搜索理论和强化学习的后悔分析之间的联系。我们证明，我们的近似因子的选择，我们的次线性LSVI算法保持相同的遗憾，同时减少运行时的复杂性，以次线性的动作的数量的原始LSVI算法。据我们所知，这是第一个将LSH与强化学习相结合的工作，从而带来了可证明的改进。我们希望我们的新方法相结合的数据结构和迭代算法将打开大门，进一步研究成本降低优化。
2021-06-08 cs.DS cs.LG stat.ML
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。在早期的工作中，我们介绍了一个政策迭代算法，其中的政策改进是一个代理在给定的时间顺序，知识的选择，在前面的代理的顺序。因此，每个策略改进的计算量随着代理的数量线性增长，而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下，我们证明了收敛到代理的代理最优策略。在本文中，这一结果被扩展到值迭代和乐观版本的政策迭代，以及更一般的DP问题的Bellman算子是一个压缩映射，如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Value Iteration in Continuous Actions, States and Time
NVIDIA（英伟达）；Technical University of Darmstadt（达姆施塔特工业大学）；Technion, Israel Institute of Technology（以色列理工学院）；University of Washington（华盛顿大学）；University of Toronto & Vector Institute（多伦多大学和向量研究所）
经典的值迭代方法不适用于具有连续状态和动作的环境。对于这样的环境，状态和动作通常是离散化的，这导致计算复杂性呈指数级增加。在本文中，我们提出了连续拟合值迭代（CFVI）。该算法使动态规划的连续状态和行动与一个已知的动态模型。利用连续时间公式，可以推导出非线性控制仿射动力学的最优策略。这种封闭形式的解决方案能够有效地将价值迭代扩展到连续环境。我们在非线性控制实验中表明，动态规划解决方案在模拟中获得了与深度强化学习方法相同的定量性能，但在转移到物理系统时表现出色。通过cFVI获得的政策是更强大的动态变化，尽管只使用一个确定性的模型，并没有明确纳入鲁棒性的优化。物理系统的视频可在\url{https://sites.google.com/view/value-iteration}上获得。
2021-05-10 cs.LG cs.RO cs.SY
Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration
Stanford University（斯坦福大学）；Facebook Artificial Intelligence Research（脸书人工智能研究院）
在具有线性函数近似的MDP中可证明有效学习的理论分析方面取得了越来越大的进展，但现有的许多工作都做出了强有力的假设，以使传统的探索框架能够进行探索。通常，这些假设比在批量设置中找到好的解决方案所需的假设更强。在这项工作中，我们将展示如何在一个更标准的概念，低固有贝尔曼错误，通常采用最小二乘值迭代式算法，我们可以提供强大的PAC保证学习一个接近最佳的价值函数提供的线性空间是足够的“探索”。我们提出了一个计算上易于处理的算法的奖励免费设置，并显示它如何可以用来学习一个接近最优的政策，任何（线性）奖励函数，这是揭示一旦学习已经完成。如果这个奖励函数也是从纯探索过程中收集的样本中估计的，那么我们的结果还提供了相同顺序的PAC保证，保证了此设置下所产生的策略的性能。
2020-10-22 cs.LG stat.ML
Empirical Q-Value Iteration
Computer Engineering Texas A\&M University, e1
提出了一种新的简单而自然的算法，用于在转移核未知的情况下学习折扣成本马尔可夫决策过程（MDP）的最优Q值函数。与经典的MDP学习算法，如Q学习和actor-critic算法不同，该算法不依赖于基于随机逼近的方法。我们表明，我们的算法，我们称之为经验Q值迭代（EQVI）算法，收敛到最佳的Q值函数。我们还给出了一个收敛速率或非渐近样本复杂度界，并表明该算法的异步（或在线）版本也将工作。初步的实验结果表明，我们的算法相比，随机逼近为基础的算法收敛到一个球场估计的速度更快。
2019-01-30 cs.LG math.OC
Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam（阿姆斯特丹大学）
部分可观测马尔可夫决策过程（POMDPs）形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上，提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段，确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是，一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反，Perseus只备份信念集中的（随机选择的）点子集，足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
Graph Value Iteration
Cornell University（康奈尔大学）
近年来，深度强化学习（RL）在各种组合搜索领域取得了成功，例如双人游戏和科学发现。然而，直接将深度RL应用于规划领域仍然具有挑战性。一个主要的困难是，如果没有人工设计的启发式函数，奖励信号保持为零，除非学习框架发现任何解决方案。随着计划的最小长度增加，搜索空间变为\emph{exponentially larger}，这对于最小计划长度为数百到数千步的计划实例是一个严重的限制。以前的学习框架用深度神经网络和额外生成的子目标来增强图搜索，已经在各种具有挑战性的规划领域取得了成功。然而，生成有用的子目标需要广泛的领域知识。我们提出了一种独立于域的方法，该方法通过图值迭代来增强图搜索，以解决领域专用求解器无法实现的硬规划实例。特别是，我们的方法不是只从发现的计划中接收学习信号，而是从没有达到目标状态的失败搜索尝试中学习。图值迭代组件可以利用局部搜索空间的图结构，并提供更多信息的学习信号。我们还展示了如何使用课程策略来平滑学习过程，并对图值迭代如何缩放和实现学习进行了全面分析。
2022-09-20 cs.AI
Finite-Time Analysis of Q-Value Iteration for General-Sum Stackelberg Games
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文从控制理论视角研究了双玩家一般和解马尔可夫博弈中Stackelberg Q值迭代的收敛性，提出放松的策略条件并建模学习动态为切换系统，通过构造上下比较系统，建立了Q函数的有限时间误差界并刻画其收敛特性。
2026-04-06 cs.LG cs.SY eess.SY
Revisiting Value Iteration: Unified Analysis of Discounted and Average-Reward Cases
本文通过统一几何分析，证明在特定条件下价值迭代在折扣和平均奖励设置中均具有更快的几何收敛速度。
2026-03-11 cs.LG
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；California Institute of Technology（加州理工学院）
我们研究了一个多智能体强化学习（MARL）问题，其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信，我们提出了一个局部化的政策迭代（LPI）算法，可证明学习一个接近全局最优的政策，只使用本地信息。特别是，我们表明，尽管限制每个代理的注意力，只有其$κ$跳邻域，代理能够学习的政策与最优性的差距，衰减多项式在$κ$。此外，我们展示了有限样本收敛的LPI的全局最优策略，明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Instrumental Variable Value Iteration for Causal Offline Reinforcement Learning
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）；University of Michigan（密歇根大学）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）
针对离线强化学习中未观测变量导致的动作混淆问题，本文利用工具变量导出条件矩约束以识别转移动态，并提出首个可证明有效的工具变量辅助值迭代（IVVI）算法。
2024-10-14 cs.LG stat.ML
AsyncQVI: Asynchronous-Parallel Q-Value Iteration for Discounted Markov Decision Processes with Near-Optimal Sample Complexity
Fudan University（复旦大学）；Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了AsyncQVI，折扣马尔可夫决策过程的过渡和奖励只能通过生成模型进行采样的一个并行Q值迭代。给定$|\mathcal{S}|$状态、$|\mathcal{A}|$动作和折扣因子$γ\in(0,1)$的这种问题，AsyncQVI使用大小为$\mathcal{O}(|\mathcal{S}|)$的存储器，并使用$$\tilde{\mathcal{O}}\big(\frac{|\mathcal{S}||\mathcal{A}|}{(1-γ)^5\varepsilon^2}\log(\frac{1}δ)\big)$$样本返回概率至少为$1-δ$的$\varepsilon$最优策略。AsyncQVI也是第一个折扣马尔可夫决策过程的并行算法，其样本复杂度几乎与理论下界相匹配。相对较低的内存占用和并行能力使AsyncQVI适合大规模应用。在数值测试中，我们比较了AsyncQVI与四种基于样本的值迭代法。实验结果表明，该算法具有很高的效率，并达到了线性并行加速比。
2020-02-22 cs.LG math.OC
Policy Iteration for Factored MDPs
Stanford University（斯坦福大学）
许多大型MDP可以使用动态贝叶斯网络来表示。虽然值函数的结构不保留过程的结构，但最近的工作表明，因子分解的MDP中的价值函数通常可以使用分解的价值函数很好地近似：<I>限制</I>基函数的线性组合，每个基函数仅涉及变量的一个小子集。可以使用近似动态规划来计算特定策略的近似价值函数，但是这种方法（以及其他方法）只能产生相对于距离度量的近似值，该距离度量由当前策略的静态分布加权。这种加权预测不适合政策改进。我们提出了一种新的方法来确定值，使用一个简单的封闭形式的计算直接计算的最小二乘分解近似的价值函数<I>的任何权重</I>。然后，我们使用此值确定算法作为策略迭代过程中的子例程。我们表明，在合理的限制下，由一个因子化的价值函数诱导的政策是compensable表示，并可以有效地在一个政策迭代过程中进行操作。我们还提出了一种方法，用于计算分解的价值函数使用变量消除算法的函数优化的误差界。我们所有的算法的复杂性取决于系统动力学和近似价值函数的因式分解。
2013-01-16 cs.AI
Continuous-Time Fitted Value Iteration for Robust Policies
Technical University of Darmstadt（达姆施塔特工业大学）；Technion – Israel Institute of Technology（以色列理工学院）；NVIDIA（英伟达）；University of Washington（华盛顿大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
求解Hamilton-Jacobi-Bellman方程在控制、机器人学和经济学等许多领域都很重要。特别是对于连续控制，求解这个微分方程及其扩展的Hamilton-Jacobi-Isaacs方程是很重要的，因为它产生了在给定任务上实现最大回报的最优策略。在Hamilton-Jacobi-Isaacs方程的情况下，其中包括一个对手控制环境和最小化奖励，所获得的政策也是强大的扰动的动态。本文提出了连续拟合值迭代法（cFVI）和鲁棒拟合值迭代法（rFVI）。这些算法利用非线性控制仿射动力学和可分离的状态和动作奖励的许多连续控制问题，以获得最佳的政策和最佳的对手在封闭的形式。这个解析表达式简化了微分方程，使我们能够解决的最佳价值函数使用价值迭代的连续行动和状态，以及对抗的情况。值得注意的是，所得到的算法不需要离散化的状态或动作。我们将由此产生的算法，古田摆和cartpole。我们表明，这两种算法获得的最优策略。在物理系统上的鲁棒性Sim 2 Real实验表明，该策略成功地实现了在现实世界中的任务。当改变钟摆的质量时，我们观察到与深度强化学习算法和该算法的非鲁棒版本相比，鲁棒值迭代更鲁棒。实验的视频显示在https://sites.google.com/view/rfvi
2021-10-05 cs.LG cs.RO
Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对非线性函数逼近的离线强化学习缺乏实例依赖悔界保证的问题，提出预言机高效的PNLSVI算法，含三个创新组件，实现紧密的函数类复杂度依赖悔界，将相关结果扩展到更通用框架。
2024-10-09 cs.LG math.OC stat.ML
Continuous Value Iteration (CVI) Reinforcement Learning and Imaginary Experience Replay (IER) for learning multi-goal, continuous action and state space controllers
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）
本文提出了一种新的无模型强化学习算法，用于在连续的动作、状态和目标空间中学习行为。该算法使用非参数估计来逼近最优价值函数。它能够有效地学习在确定性和非确定性环境中达到多个任意目标。为了提高目标空间的泛化能力，我们提出了一种新的样本增强技术。使用这些方法，机器人可以更快地学习，并获得更好的控制器。我们基准所提出的算法，使用模拟和现实世界的电压控制机器人，学会在一个不可观测的笛卡尔任务空间中操纵。
2019-08-27 cs.AI
Deflated Dynamics Value Iteration
Seoul National University（首尔国立大学）；University of Toronto（多伦多大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Polytechnique Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（魁北克AI研究所）
针对值迭代在折扣因子接近1时收敛慢的问题，提出利用矩阵分裂与紧缩移除转移矩阵主导特征结构的 DDVI，并扩展为 RL 中的 DDTD，显著改善收敛率。
2025-05-31 cs.LG math.OC
Performance Bounds for Lambda Policy Iteration and Application to the Game of Tetris
INRIA Lorraine（洛林国家信息与自动化研究所）
我们考虑离散时间无限时域最优控制问题的形式化马尔可夫决策过程。我们回顾了Bertsekas和Ioffe的工作，他们引入了$λ$策略迭代，这是一个由$λ$参数化的算法族，它概括了标准算法值迭代和策略迭代，并且与Sutton和Barto描述的时间差异算法TD（$λ$）有一些深层联系。我们深化了原来的理论发展的作者提供的收敛速度界，推广标准界的值迭代描述，例如由Puterman。然后，本文的主要贡献是发展的理论，这种算法时，它是在一个近似的形式，并表明这是健全的。这样做，我们扩展并统一了Munos为近似值迭代和近似策略迭代开发的单独分析。最后，我们重新审视使用该算法在训练的俄罗斯方块播放控制器最初所做的Bertsekas和Ioffe。我们提供了一个原始的性能界，可以应用到这样一个未折现的控制问题。我们的实证结果不同于Bertsekas和Ioffe的结果（他们最初被定性为“矛盾的”和“有趣的”），而更符合人们对学习实验的期望。我们讨论了这种差异的可能原因。
2011-10-11 cs.AI cs.RO
Representation Policy Iteration
University of Massachusetts（马萨诸塞大学）
This paper addresses a fundamental issue central to approximation methods for solving large Markov decision processes (MDPs): how to automatically learn the underlying representation for value function approximation? A novel theoretically rigorous framework is proposed that automatically generates geometrically customized orthonormal sets of basis functions, which can be used with any approximate MDP solver like least squares policy iteration (LSPI). The key innovation is a coordinate-free representation of value functions , using the theory of smooth functions on a Riemannian manifold. Hodge …
2012-07-04 cs.AI
Going faster to see further: GPU-accelerated value iteration and simulation for perishable inventory control using JAX
Institute of Health Informatics, University College London（伦敦大学学院健康信息学研究所）；NIHR University College London Hospitals Biomedical Research Centre, University College London and University College London Hospitals NHS Foundation Trust（英国国立卫生研究院伦敦大学学院医院生物医学研究中心、伦敦大学学院医院 NHS 基金会信托基金）；Clinical Operational Research Unit, University College London（伦敦大学学院临床运筹学单元）
本研究使用JAX库实现了GPU加速的值迭代与仿真，以解决易腐库存控制中因状态空间庞大导致的计算难题，将值迭代扩展至此前不可行的大规模场景，并验证了启发式策略仅有2.49%的最优性差距。
2023-03-19 cs.AI cs.DC
Safety-Aware Reinforcement Learning for Control via Risk-Sensitive Action-Value Iteration and Quantile Regression
Institute for Systems Research（系统研究 institute）；University of Maryland（马里兰大学）；College Park（学院 park）
本文提出一种基于风险敏感动作价值迭代和分位数回归的安全感知强化学习算法，通过整合条件价值在风险（CVaR）来确保安全，同时提供理论保证和实验验证，提升动态环境中的安全性能。
2025-12-07 cs.LG cs.RO
Robust Value Iteration for Continuous Control Tasks
Nvidia（英伟达）；TU Darmstadt（达姆施塔特工业大学）；Technion（以色列理工学院）；University of Washington（华盛顿大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
当将控制策略从仿真转移到物理系统时，该策略需要对动态变化具有鲁棒性以良好地执行。通常，最优策略过度拟合近似模型和相应的状态分布，往往导致无法传递潜在的分布变化。在本文中，我们提出了鲁棒拟合值迭代，它使用动态规划计算最佳的价值函数的紧凑的状态域和系统动态的对抗性扰动。对抗性扰动鼓励对动态变化具有鲁棒性的最优策略。利用强化学习的连续时间视角，我们推导出封闭形式的状态，动作，观测和模型参数的最佳扰动。值得注意的是，所得到的算法不需要状态或动作的离散化。因此，最佳对抗扰动可以有效地并入最小-最大价值函数更新中。我们将由此产生的算法应用到物理古田摆和cartpole。通过改变系统的质量，我们评估了不同模型参数的定量和定性性能。我们证明了鲁棒值迭代比深度强化学习算法和该算法的非鲁棒版本更鲁棒。实验的视频显示在https://sites.google.com/view/rfvi
2021-05-25 cs.LG cs.RO cs.SY
Policy Iteration for Relational MDPs
Tufts University（塔夫茨大学）
关系马尔可夫决策过程是复杂的强化学习问题和随机规划问题的一个有用的抽象。最近的工作开发了表示方案和算法规划在这样的问题，使用值迭代算法。然而，更复杂的算法，包括策略迭代的确切版本尚未开发或分析。本文探讨了这种潜力，并作出了一些贡献。首先，我们观察到两个异常的关系表示，一些政策的价值是没有很好地定义或无法计算的限制表示方案中使用的文献。另一方面，我们开发了一种可以绕过这些异常的政策迭代变体。该算法在策略评估的过程中包含了策略改进的内容，因此与原算法不同。我们表明，尽管存在这种差异，算法收敛到最优策略。
2012-06-20 cs.AI
Geometric Value Iteration: Dynamic Error-Aware KL Regularization for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
最近关于熵正则化强化学习（RL）方法的文献的繁荣表明，Kullback-Leibler（KL）正则化通过在温和的假设下消除错误而为RL算法带来优势。然而，现有的分析集中在固定的正则化与一个恒定的权重系数，并没有考虑的情况下，允许系数动态变化。本文研究了动态系数格式，给出了其第一渐近误差界。基于动态系数误差界，我们提出了一种有效的方案来调整系数根据误差的大小，有利于更强大的学习。为了补充这一发展，我们提出了一种新的算法，几何值迭代（GVI），具有动态的错误感知KL系数设计的目的是减轻错误对性能的影响。我们的实验表明，GVI可以有效地利用学习速度和鲁棒性之间的平衡，均匀平均一个常数KL系数。GVI和深度网络的组合即使在没有目标网络的情况下也表现出稳定的学习行为，其中具有恒定KL系数的算法将大幅振荡甚至无法收敛。
2021-10-05 cs.LG
Topological Value Iteration Algorithms
Google Inc.（谷歌公司）；University of Washington（华盛顿大学）；University of Kentucky（肯塔基大学）
值迭代是马尔可夫决策过程（MDP）的一种功能强大但效率低下的算法，因为它将大部分精力放在备份整个状态空间上，而这在许多情况下是不必要的。为了克服这个问题，已经提出了许多方法。其中，ILAO* 和RTDP的变体是最先进的。这些方法使用可达性分析和启发式搜索来避免一些不必要的备份。然而，这些方法都没有在预处理步骤中构建状态转换的图形结构，或者使用结构信息来系统地分解问题，从而生成状态空间的智能备份序列。在本文中，我们提出了两个最佳的MDP算法。第一种算法，拓扑值迭代（TVI），检测MDP的结构和备份的基础上的拓扑序列的状态。它（1）将MDP划分为强连接分量（SCC），（2）依次求解这些分量。当MDP具有多个大小接近相等的SCC时，TVI的性能大大优于VI和其他最先进的算法。第二种算法，聚焦拓扑值迭代（FTVI），是TVI的扩展。FTVI将其注意力限制在与解决MDP相关的连接组件上。具体来说，它使用少量的启发式搜索来消除可证明的次优操作;这种修剪允许FTVI找到更小的连接组件，从而运行更快。我们证明，FTVI优于TVI的数量级，平均在几个领域。令人惊讶的是，FTVI在许多领域中也显著优于流行的统计信息MDP算法，如ILAO*，LRTDP，BRTDP和贝叶斯RTDP，有时多达两个数量级。最后，我们描述了FTVI擅长的领域类型-提出了一种明智选择求解器的方法。
2014-01-16 cs.AI
Value Iteration for Learning Concurrently Executable Robotic Control Tasks
University of Waterloo（滑铁卢大学）
提出基于强化学习的值迭代方法，通过定义任务独立性并优化成本泛函，训练冗余机器人并发执行多任务且最小化高优先级任务干扰。
2025-04-01 cs.LG cs.RO cs.SY
Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
在本文中，我们提供了更快的算法近似求解折扣马尔可夫决策过程的多参数制度。给定一个折扣马尔可夫决策过程（DMDP）与$|S|$状态，$|A|$行动，折扣因子$γ\in(0,1)$，并在$[-M, M]$范围内的奖励，我们展示了如何计算$ε$ -最优策略，概率$1 - δ$在时间\[ \tilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} \right) \log\left( \frac{M}ε \right) \log\left( \frac{1}δ \right) \right) ~ . \]这一贡献反映了第一近线性时间，近线性收敛算法求解DMDP的中间值$γ$。我们还展示了如何获得改进的次线性时间算法，我们可以从$O(1)$时间的过渡函数的样本。在此假设下，我们提供了一个算法，计算$ε$ -最优策略的概率$1 - δ$在时间\[ \tilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ\right) \right) ~. \]最后，我们将这两个算法扩展到解决有限时域MDP。我们的算法改进了以前最好的近似计算最优政策的固定地平线MDP在多参数制度。有趣的是，我们通过对近似值迭代的仔细修改来获得我们的结果。我们展示了如何将经典的近似值迭代…
2020-12-23 cs.DS cs.LG math.OC
CertRL: Formalizing Convergence Proofs for Value and Policy Iteration in Coq
University of Pittsburgh（匹兹堡大学）；IBM Research（IBM研究院）；IHES（高等科学研究所）
强化学习算法通过优化长期奖励来解决概率环境中的顺序决策问题。在安全关键设置中使用强化学习的愿望激发了最近的正式约束强化学习的工作;然而，这些方法将学习算法的实现放在其可信计算基础上。这些实现的关键正确性属性是学习算法收敛到最优策略的保证。本文通过开发两个规范的强化学习算法：有限状态马尔可夫决策过程的值和策略迭代的Coq形式化，开始了缩小这一差距的工作。中心的结果是贝尔曼的最优性原理及其证明的形式化，它使用了贝尔曼最优性算子的收缩性质来建立一个序列收敛于无限视界极限。CertRL的开发说明了Giry monad和机械化度量共归纳如何简化强化学习算法的最优性证明。CertRL库提供了一个通用框架，用于证明马尔可夫决策过程和强化学习算法的属性，为进一步开展强化学习算法的形式化工作铺平了道路。
2020-12-15 cs.AI cs.LO cs.PL
The Value Iteration Algorithm is Not Strongly Polynomial for Discounted Dynamic Programming
Stony Brook University（石溪大学）
本说明提供了一个简单的例子，证明如果允许精确计算，则值迭代算法为贴现动态规划问题找到最优策略所需的迭代次数可以随问题的大小任意快速地增长。特别地，迭代的数量可以是动作数量的指数。因此，与策略迭代不同，值迭代算法对于折扣动态规划不是强多项式。
2013-12-19 cs.AI math.OC
Value Iteration Networks with Gated Summarization Module
Waseda University（早稻田大学）；Southwest University（西南大学）
本文提出GS-VIN方法，通过自适应迭代策略减少迭代次数并提升稳定性，同时引入门控摘要模块强调整个规划过程，有效解决了VIN处理大地图及累积误差问题，显著提升了规划性能。
2023-05-16 cs.AI cs.LG
Restricted Value Iteration: Theory and Algorithms
Washington University（华盛顿大学）；Hong Kong University of Science & Technology（香港科技大学）
值迭代是一种寻找POMDPs近似最优策略的常用算法。由于需要考虑整个置信空间，这需要解决大量的线性规划，因此效率低下。本文研究了限制于信念子集的值迭代问题。我们表明，连同适当选择的信念子集，限制值迭代产生接近最优的政策，我们给出了一个条件，以确定是否一个给定的信念子集将带来节省空间和时间。我们还将限制值迭代应用于两类有趣的POMDPs，即信息POMDPs和近可辨别的POMDPs。
2011-06-30 cs.AI
Randomised Bayesian Least-Squares Policy Iteration
École Polytechnique（巴黎综合理工学院）；University of Oslo（奥斯陆大学）；Athens University of Economics and Business（雅典经济与商业大学）
我们介绍了贝叶斯最小二乘策略迭代（BLSPI），一个关闭的政策，无模型，政策迭代算法，使用贝叶斯最小二乘时间差（BLSTD）学习算法评估政策。BLSPI的在线变体也被提出，称为随机化BLSPI（RBLSPI），它基于不完整的策略评估步骤来改进其策略。在在线环境中，探索-开发的困境应该得到解决，因为我们试图通过使用自己收集的样本来发现最优策略。RBLSPI利用BLSTD的优势来量化我们关于价值函数的不确定性。受Thompson采样的启发，RBLSPI首先从价值函数的后验分布中采样值函数，然后基于采样的价值函数选择动作。实验证明了RBLSPI的有效性和探测能力。
2019-04-06 cs.AI cs.LG stat.ML
On the Global Convergence of Fitted Q-Iteration with Two-layer Neural Network Parametrization
Purdue University（普渡大学）
基于深度Q学习的算法已成功应用于许多决策问题，但其理论基础还不太清楚。本文研究了一种基于双层ReLU神经网络参数化的拟合Q迭代算法，并给出了该算法的样本复杂度保证。我们的方法估计的Q-函数在每次迭代使用凸优化问题。我们表明，这种方法实现了样本的复杂性$\tilde{\mathcal{O}}(1/ε^{2})$，这是顺序最优的。该结果适用于可数状态空间，并且不需要任何假设，例如MDP上的线性或低秩结构。
2023-01-31 cs.AI cs.LG
Highway Value Iteration Networks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；National University of Singapore（新加坡国立大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士IDSIA人工智能实验室（IDSIA/USI/SUPSI））；The University of Liverpool（利物浦大学）
价值迭代网络（VIN）通过采用近似价值迭代算法的可微分“规划模块”来实现规划任务的端到端学习。然而，长期规划仍然是一个挑战，因为很难训练非常深的VIN。为了解决这个问题，我们嵌入公路价值迭代-最近的算法，旨在促进长期信用分配-到VIN的结构。这一改进增强了VIN的“规划模块”，增加了三个额外的组件：1）“聚合门”，它构建跳过连接以改善跨多个层的信息流; 2）“探索模块”，旨在增加空间维度上的信息多样性和梯度流; 3）“过滤门”，旨在确保安全探索。由此产生的新型高速公路VIN可以使用标准的反向传播有效地训练数百层。在需要数百个规划步骤的长期规划任务中，深度公路VIN的性能优于传统VIN和几个高级的非常深的NN。
2024-06-05 cs.AI cs.LG
Approximate Modified Policy Iteration
INRIA（法国国家信息与自动化研究所）；Supélec（法国高等电力学院）
改进策略迭代（MPI）是一种动态规划（DP）算法，它包含了策略迭代和值迭代两种著名的方法。尽管MPI具有普遍性，但它还没有被彻底研究，特别是当状态和/或动作空间很大或无限大时使用的近似形式。在本文中，我们提出了三个实现的近似MPI（AMPI），是著名的近似DP算法的扩展：拟合值迭代，拟合Q迭代，基于分类的政策迭代。我们提供了误差传播分析，统一那些近似的政策和价值迭代。在最后一个基于分类的实现，我们开发了一个有限样本分析表明，MPI的主要参数允许控制的分类器和整体价值函数近似的估计误差之间的平衡。
2012-05-18 cs.AI
Heuristic Search Value Iteration for POMDPs
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
提出了一种新的POMDP规划算法--启发式搜索值迭代算法（HSVI），HSVI是一种随时返回策略和关于最优策略的可证明的后悔上界的算法. HSVI通过结合两种众所周知的技术获得了强大的功能：注意力聚焦搜索算法和价值函数的分段线性凸表示。HSVI算法的可靠性和收敛性已经得到了验证。从文献中的一些基准问题，HSVI显示加速比大于100相对于其他国家的最先进的POMDP值迭代算法。我们还将HSVI应用到一个新的漫游者探索问题，比文献中大多数POMDP问题大10倍。
2012-07-11 cs.AI
