Neural Value Iteration
本文提出神经价值迭代算法，利用神经网络的泛化能力替代传统价值迭代中的α向量，解决大规模POMDP问题的计算难题。
2026-03-16 cs.AI
Polynomial Value Iteration Algorithms for Detrerminstic MDPs
University of Alberta（阿尔伯塔大学）
价值迭代法是求解马尔可夫决策过程问题的一种常用方法。然而，众所周知，值迭代一般只有伪多项式复杂度。我们建立了一个有点令人惊讶的多项式界值迭代确定性马尔可夫决策（DMDP）问题。我们证明了基本值迭代过程在heta（n^2）次迭代或heta（mn^2）次总时间内收敛到DMDP问题的最高平均回报周期，其中n表示状态数，m表示边数。给出了在heta（mn）时间内求解DMDP的值迭代的两个推广.我们探讨的政策迭代算法的分析和报告的实证研究的价值迭代表明，它的收敛速度更快的随机稀疏图。
2012-12-12 cs.AI cs.DS
The Value Iteration Algorithm is Not Strongly Polynomial for Discounted Dynamic Programming
Stony Brook University（石溪大学）
本说明提供了一个简单的例子，证明如果允许精确计算，则值迭代算法为贴现动态规划问题找到最优策略所需的迭代次数可以随问题的大小任意快速地增长。特别地，迭代的数量可以是动作数量的指数。因此，与策略迭代不同，值迭代算法对于折扣动态规划不是强多项式。
2013-12-19 cs.AI math.OC
Howard's Policy Iteration is Subexponential for Deterministic Markov Decision Problems with Rewards of Fixed Bit-size and Arbitrary Discount Factor
Department of Computer Science and Engineering, IIT Bombay（印度理工学院孟买分校计算机科学与工程学院）
本文针对确定性马尔可夫决策问题（DMDPs），证明了Howard策略迭代算法在奖励位数为固定值且折扣因子任意时具有次指数的运行时间上界，显著改进了此前的指数级上界。
2025-05-01 cs.AI
Perseus: Randomized Point-based Value Iteration for POMDPs
University of Amsterdam（阿姆斯特丹大学）
部分可观测马尔可夫决策过程（POMDPs）形成了一个有吸引力的和原则性的框架下不确定性的代理规划。POMDP基于点的近似技术计算的基础上，提前从代理的信念空间收集的一组有限的点的政策。我们提出了一个随机点为基础的值迭代算法称为珀尔修斯。该算法执行近似值备份阶段，确保在每个备份阶段的信念集中的每个点的值得到改善;关键的观察是，一个单一的备份可能会提高许多信念点的值。与其他基于点的方法相反，Perseus只备份信念集中的（随机选择的）点子集，足以提高集合中每个信念点的值。我们展示了同样的想法可以扩展到处理连续的动作空间。实验结果显示了Perseus在大规模POMDP问题中的潜力。
2011-09-09 cs.AI
Graph Value Iteration
Cornell University（康奈尔大学）
近年来，深度强化学习（RL）在各种组合搜索领域取得了成功，例如双人游戏和科学发现。然而，直接将深度RL应用于规划领域仍然具有挑战性。一个主要的困难是，如果没有人工设计的启发式函数，奖励信号保持为零，除非学习框架发现任何解决方案。随着计划的最小长度增加，搜索空间变为\emph{exponentially larger}，这对于最小计划长度为数百到数千步的计划实例是一个严重的限制。以前的学习框架用深度神经网络和额外生成的子目标来增强图搜索，已经在各种具有挑战性的规划领域取得了成功。然而，生成有用的子目标需要广泛的领域知识。我们提出了一种独立于域的方法，该方法通过图值迭代来增强图搜索，以解决领域专用求解器无法实现的硬规划实例。特别是，我们的方法不是只从发现的计划中接收学习信号，而是从没有达到目标状态的失败搜索尝试中学习。图值迭代组件可以利用局部搜索空间的图结构，并提供更多信息的学习信号。我们还展示了如何使用课程策略来平滑学习过程，并对图值迭代如何缩放和实现学习进行了全面分析。
2022-09-20 cs.AI
Factored Value Iteration Converges
Eötvös Loránd University（厄特沃什·罗兰大学）
本文提出了一种新的算法，因子值迭代（FVI），因子马尔可夫决策过程（fMDP）的近似解。从两个方面对传统的近似值迭代算法进行了改进。首先，对最小二乘投影算子进行修改，使其不增加最大范数，从而保持收敛性。另一个修改是我们从（指数大）状态空间中均匀地采样多项式多个样本。通过这种方式，我们的算法的复杂度在fMDP描述长度的大小上变成多项式。我们证明了算法是收敛的。我们还推导出我们的近似解和最优解之间的差异上界，以及采样引入的误差。我们分析了各种投影算子的计算复杂性和与近似值迭代相结合时的收敛性。
2008-08-13 cs.AI cs.LG
Value Iteration Networks with Gated Summarization Module
Waseda University（早稻田大学）；Southwest University（西南大学）
本文提出GS-VIN方法，通过自适应迭代策略减少迭代次数并提升稳定性，同时引入门控摘要模块强调整个规划过程，有效解决了VIN处理大地图及累积误差问题，显著提升了规划性能。
2023-05-16 cs.AI cs.LG
Value Iteration with Options and State Aggregation
Centre for Computational Statistics and Machine Learning（计算统计与机器学习中心）；University College London（伦敦大学学院）
本文提出了一种结合状态抽象和时间抽象的马尔可夫决策过程的求解方法。具体来说，我们结合状态聚合与选项框架，并证明它们可以很好地配合在一起，事实上，只有在两者结合之后，才能实现各自的全部好处。我们引入了一个层次值迭代算法，我们首先粗略地解决子目标，然后使用这些近似的解决方案，以准确地解决MDP。该算法比vanilla值迭代更快地解决了几个问题。
2015-01-16 cs.AI cs.LG stat.ML
Highway Value Iteration Networks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；National University of Singapore（新加坡国立大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士IDSIA人工智能实验室（IDSIA/USI/SUPSI））；The University of Liverpool（利物浦大学）
价值迭代网络（VIN）通过采用近似价值迭代算法的可微分“规划模块”来实现规划任务的端到端学习。然而，长期规划仍然是一个挑战，因为很难训练非常深的VIN。为了解决这个问题，我们嵌入公路价值迭代-最近的算法，旨在促进长期信用分配-到VIN的结构。这一改进增强了VIN的“规划模块”，增加了三个额外的组件：1）“聚合门”，它构建跳过连接以改善跨多个层的信息流; 2）“探索模块”，旨在增加空间维度上的信息多样性和梯度流; 3）“过滤门”，旨在确保安全探索。由此产生的新型高速公路VIN可以使用标准的反向传播有效地训练数百层。在需要数百个规划步骤的长期规划任务中，深度公路VIN的性能优于传统VIN和几个高级的非常深的NN。
2024-06-05 cs.AI cs.LG
Generalized Value Iteration Networks: Life Beyond Lattices
Clemson University（克莱姆森大学）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们介绍了一个广义值迭代网络（GVIN），这是一个端到端的神经网络规划模块。GVIN通过使用一种新的图卷积算子来模拟值迭代算法，使GVIN能够在不规则的空间图上学习和规划。我们提出了三种新的可微内核作为图卷积算子，并表明基于嵌入的内核实现了最佳性能。我们进一步提出了情景Q学习，这是对传统n步Q学习的改进，它可以稳定包含规划模块的网络的训练。最后，我们评估GVIN在2D迷宫，不规则图形和现实世界的街道网络规划问题，表明GVIN推广以及任意图形和看不见的图形较大的规模和优于一个天真的推广VIN（离散化的空间图形到一个2D图像）。
2017-10-26 cs.AI cs.LG
Graph neural induction of value iteration
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；University of Montréal（蒙特利尔大学）；HEC Montréal（蒙特利尔高等商学院）
许多强化学习任务可以受益于基于环境内部模型的明确规划。以前，这样的规划组件已经通过神经网络被合并，该神经网络部分地与价值迭代的计算图对齐。这样的网络到目前为止都集中在限制性的环境（如网格世界），并模拟规划程序只是间接的。我们放松这些限制，提出了一个图神经网络（GNN），执行值迭代（VI）算法，在任意的环境模型，直接监督VI的中间步骤。结果表明，GNN能够准确地对价值迭代进行建模，在各种分布外测试中恢复有利的指标和策略。这表明具有强监督的GNN执行器是深度强化学习系统中的可行组件。
2020-09-26 cs.AI cs.LG stat.ML
On the Complexity of Value Iteration
University of Oxford（牛津大学）；Masaryk University（马萨里克大学）；University of Antwerp（安特卫普大学）；CNRS（法国国家科学研究中心）；IRIF（IRIF研究所）
值迭代是求解马尔可夫决策过程的基本算法。它通过迭代$n$乘以与MDP自然相关的递归方程来计算最大$n$步收益。同时，值迭代为MDP提供了一个在给定有限时域$n$上最优的策略。本文解决了数值迭代的计算复杂性问题。我们表明，给定一个地平线$n$在二进制和MDP，计算最优策略是EXP-完成，从而解决了一个开放的问题，可以追溯到1987年的开创性论文的复杂性MDP的Papadimitriou和Tsitsiklis。作为一个垫脚石，我们表明，它是EXP-完全的计算$n$倍迭代（$n$在二进制）的函数给出了一个直线程序的整数与$\max$和$+$作为运营商。
2019-04-27 cs.AI cs.CC cs.FL
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Understanding the theoretical properties of projected Bellman equation, linear Q-learning, and approximate value iteration
KAIST（韩国科学技术院）
本文研究投影贝尔曼方程（PBE）及求解它的线性Q学习和近似值迭代（AVI）的理论性质，提出PBE解存在的两个充分条件，分析SNRDD假设对算法收敛的作用及与AVI收敛的关系，并给出ε-贪婪策略下PBE解的观察。
2025-04-15 cs.AI cs.LG
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis（加州大学戴维斯分校）
最近发现的有限状态-动作折扣马尔可夫决策过程（MDP）的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明，价值空间是一个联盟的许多细胞相同的超平面安排，并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发，我们提出了一种新的算法，几何策略迭代（GPI），以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作，然后立即更新价值函数，来更新单个状态的策略。这种新的更新规则旨在更快地提高值，而不影响计算效率。此外，我们的算法允许异步更新的状态值，这是更灵活和有利的传统的策略迭代相比，当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$，并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG
Transfer Value Iteration Networks
Sun Yat-Sen University（中山大学）；Tencent Inc.（腾讯公司）；Nanyang Technological University（南洋理工大学）
数值迭代网络（VIN）已被证明具有良好的泛化能力，强化学习任务在类似的领域。然而，根据我们的实验，VIN学习的策略仍然不能很好地推广到其动作空间和特征空间与训练域中的动作空间和特征空间不相同的域。在本文中，我们提出了一个迁移学习的方法上的VIN，称为转移VIN（TVIN），这样，从源域的学习策略可以推广到目标域，只有有限的训练数据，即使源域和目标域具有特定于域的动作和功能。我们经验验证，我们提出的TVIN优于VIN的源和目标域具有相似的，但不相同的动作和特征空间。此外，我们表明，性能改善是一致的，在不同的环境，迷宫大小，数据集大小以及不同的超参数值，如迭代次数和内核大小。
2019-11-27 cs.AI cs.LG
Value Iteration Networks
UC Berkeley（加州大学伯克利分校）
我们介绍价值迭代网络（VIN）：一个完全可微的神经网络与“规划模块”嵌入其中。VIN可以学习计划，并且适合预测涉及基于计划的推理的结果，例如强化学习的策略。我们的方法的关键是一种新的可微近似值迭代算法，它可以表示为一个卷积神经网络，并使用标准的反向传播训练端到端。我们评估VIN基于离散和连续路径规划域的政策，并在自然语言为基础的搜索任务。我们表明，通过学习一个明确的规划计算，VIN政策更好地推广到新的，看不见的领域。
2017-03-20 cs.AI cs.LG cs.NE
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Iowa（爱荷华大学）
本文首次证明了修正策略迭代（MPI）在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性，并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
XLVIN: eXecuted Latent Value Iteration Nets
Mila（米拉）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思考）；University of Belgrade（贝尔格莱德大学）；HEC Montréal（蒙特利尔高等商学院）
价值迭代网络（VIN）已成为将规划算法纳入深度强化学习的流行方法，从而能够提高需要长期推理和理解环境动态的任务的性能。然而，这带来了几个限制：该模型没有以任何方式激励执行有意义的规划计算，底层状态空间被假设为离散的，并且马尔可夫决策过程（MDP）被假设为固定和已知的。我们提出了执行潜值迭代网络（XLVIN），它结合了对比自监督学习，图表示学习和神经算法推理的最新发展，以减轻所有上述限制，成功地部署VIN风格的模型在通用环境。当底层MDP是离散的、固定的和已知的时，XLVIN与VIN类模型的性能相匹配，并在三种通用MDP设置中对无模型基线进行了显著改进。
2020-12-06 cs.AI cs.LG stat.ML
Operator Splitting Value Iteration
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们引入新的规划和强化学习算法的折扣MDP，利用环境的近似模型，以加速收敛的价值函数。受数值线性代数中的分裂方法的启发，我们引入了算子分裂值迭代（OS-VI）用于策略评估和控制问题。当模型足够精确时，OS-VI实现了更快的收敛速度。我们还介绍了一个基于样本的版本的算法称为OS-Dyna。与传统的Dyna架构不同，OS-Dyna在存在模型近似误差的情况下仍然收敛到正确的价值函数。
2022-11-25 cs.AI cs.LG cs.SY
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。在早期的工作中，我们介绍了一个政策迭代算法，其中的政策改进是一个代理在给定的时间顺序，知识的选择，在前面的代理的顺序。因此，每个策略改进的计算量随着代理的数量线性增长，而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下，我们证明了收敛到代理的代理最优策略。在本文中，这一结果被扩展到值迭代和乐观版本的政策迭代，以及更一般的DP问题的Bellman算子是一个压缩映射，如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Randomised Bayesian Least-Squares Policy Iteration
École Polytechnique（巴黎综合理工学院）；University of Oslo（奥斯陆大学）；Athens University of Economics and Business（雅典经济与商业大学）
我们介绍了贝叶斯最小二乘策略迭代（BLSPI），一个关闭的政策，无模型，政策迭代算法，使用贝叶斯最小二乘时间差（BLSTD）学习算法评估政策。BLSPI的在线变体也被提出，称为随机化BLSPI（RBLSPI），它基于不完整的策略评估步骤来改进其策略。在在线环境中，探索-开发的困境应该得到解决，因为我们试图通过使用自己收集的样本来发现最优策略。RBLSPI利用BLSTD的优势来量化我们关于价值函数的不确定性。受Thompson采样的启发，RBLSPI首先从价值函数的后验分布中采样值函数，然后基于采样的价值函数选择动作。实验证明了RBLSPI的有效性和探测能力。
2019-04-06 cs.AI cs.LG stat.ML
