Policy Iteration for Factored MDPs
Stanford University（斯坦福大学）
许多大型MDP可以使用动态贝叶斯网络来表示。虽然值函数的结构不保留过程的结构，但最近的工作表明，因子分解的MDP中的价值函数通常可以使用分解的价值函数很好地近似：<I>限制</I>基函数的线性组合，每个基函数仅涉及变量的一个小子集。可以使用近似动态规划来计算特定策略的近似价值函数，但是这种方法（以及其他方法）只能产生相对于距离度量的近似值，该距离度量由当前策略的静态分布加权。这种加权预测不适合政策改进。我们提出了一种新的方法来确定值，使用一个简单的封闭形式的计算直接计算的最小二乘分解近似的价值函数<I>的任何权重</I>。然后，我们使用此值确定算法作为策略迭代过程中的子例程。我们表明，在合理的限制下，由一个因子化的价值函数诱导的政策是compensable表示，并可以有效地在一个政策迭代过程中进行操作。我们还提出了一种方法，用于计算分解的价值函数使用变量消除算法的函数优化的误差界。我们所有的算法的复杂性取决于系统动力学和近似价值函数的因式分解。
2013-01-16 cs.AI
Continuous Value Iteration (CVI) Reinforcement Learning and Imaginary Experience Replay (IER) for learning multi-goal, continuous action and state space controllers
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）
本文提出了一种新的无模型强化学习算法，用于在连续的动作、状态和目标空间中学习行为。该算法使用非参数估计来逼近最优价值函数。它能够有效地学习在确定性和非确定性环境中达到多个任意目标。为了提高目标空间的泛化能力，我们提出了一种新的样本增强技术。使用这些方法，机器人可以更快地学习，并获得更好的控制器。我们基准所提出的算法，使用模拟和现实世界的电压控制机器人，学会在一个不可观测的笛卡尔任务空间中操纵。
2019-08-27 cs.AI
Factored Value Iteration Converges
Eötvös Loránd University（厄特沃什·罗兰大学）
本文提出了一种新的算法，因子值迭代（FVI），因子马尔可夫决策过程（fMDP）的近似解。从两个方面对传统的近似值迭代算法进行了改进。首先，对最小二乘投影算子进行修改，使其不增加最大范数，从而保持收敛性。另一个修改是我们从（指数大）状态空间中均匀地采样多项式多个样本。通过这种方式，我们的算法的复杂度在fMDP描述长度的大小上变成多项式。我们证明了算法是收敛的。我们还推导出我们的近似解和最优解之间的差异上界，以及采样引入的误差。我们分析了各种投影算子的计算复杂性和与近似值迭代相结合时的收敛性。
2008-08-13 cs.AI cs.LG
Value Iteration with Options and State Aggregation
Centre for Computational Statistics and Machine Learning（计算统计与机器学习中心）；University College London（伦敦大学学院）
本文提出了一种结合状态抽象和时间抽象的马尔可夫决策过程的求解方法。具体来说，我们结合状态聚合与选项框架，并证明它们可以很好地配合在一起，事实上，只有在两者结合之后，才能实现各自的全部好处。我们引入了一个层次值迭代算法，我们首先粗略地解决子目标，然后使用这些近似的解决方案，以准确地解决MDP。该算法比vanilla值迭代更快地解决了几个问题。
2015-01-16 cs.AI cs.LG stat.ML
On the Complexity of Value Iteration
University of Oxford（牛津大学）；Masaryk University（马萨里克大学）；University of Antwerp（安特卫普大学）；CNRS（法国国家科学研究中心）；IRIF（IRIF研究所）
值迭代是求解马尔可夫决策过程的基本算法。它通过迭代$n$乘以与MDP自然相关的递归方程来计算最大$n$步收益。同时，值迭代为MDP提供了一个在给定有限时域$n$上最优的策略。本文解决了数值迭代的计算复杂性问题。我们表明，给定一个地平线$n$在二进制和MDP，计算最优策略是EXP-完成，从而解决了一个开放的问题，可以追溯到1987年的开创性论文的复杂性MDP的Papadimitriou和Tsitsiklis。作为一个垫脚石，我们表明，它是EXP-完全的计算$n$倍迭代（$n$在二进制）的函数给出了一个直线程序的整数与$\max$和$+$作为运营商。
2019-04-27 cs.AI cs.CC cs.FL
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis（加州大学戴维斯分校）
最近发现的有限状态-动作折扣马尔可夫决策过程（MDP）的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明，价值空间是一个联盟的许多细胞相同的超平面安排，并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发，我们提出了一种新的算法，几何策略迭代（GPI），以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作，然后立即更新价值函数，来更新单个状态的策略。这种新的更新规则旨在更快地提高值，而不影响计算效率。此外，我们的算法允许异步更新的状态值，这是更灵活和有利的传统的策略迭代相比，当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$，并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG
Transfer Value Iteration Networks
Sun Yat-Sen University（中山大学）；Tencent Inc.（腾讯公司）；Nanyang Technological University（南洋理工大学）
数值迭代网络（VIN）已被证明具有良好的泛化能力，强化学习任务在类似的领域。然而，根据我们的实验，VIN学习的策略仍然不能很好地推广到其动作空间和特征空间与训练域中的动作空间和特征空间不相同的域。在本文中，我们提出了一个迁移学习的方法上的VIN，称为转移VIN（TVIN），这样，从源域的学习策略可以推广到目标域，只有有限的训练数据，即使源域和目标域具有特定于域的动作和功能。我们经验验证，我们提出的TVIN优于VIN的源和目标域具有相似的，但不相同的动作和特征空间。此外，我们表明，性能改善是一致的，在不同的环境，迷宫大小，数据集大小以及不同的超参数值，如迭代次数和内核大小。
2019-11-27 cs.AI cs.LG
Value Iteration Networks
UC Berkeley（加州大学伯克利分校）
我们介绍价值迭代网络（VIN）：一个完全可微的神经网络与“规划模块”嵌入其中。VIN可以学习计划，并且适合预测涉及基于计划的推理的结果，例如强化学习的策略。我们的方法的关键是一种新的可微近似值迭代算法，它可以表示为一个卷积神经网络，并使用标准的反向传播训练端到端。我们评估VIN基于离散和连续路径规划域的政策，并在自然语言为基础的搜索任务。我们表明，通过学习一个明确的规划计算，VIN政策更好地推广到新的，看不见的领域。
2017-03-20 cs.AI cs.LG cs.NE
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Iowa（爱荷华大学）
本文首次证明了修正策略迭代（MPI）在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性，并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
XLVIN: eXecuted Latent Value Iteration Nets
Mila（米拉）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思考）；University of Belgrade（贝尔格莱德大学）；HEC Montréal（蒙特利尔高等商学院）
价值迭代网络（VIN）已成为将规划算法纳入深度强化学习的流行方法，从而能够提高需要长期推理和理解环境动态的任务的性能。然而，这带来了几个限制：该模型没有以任何方式激励执行有意义的规划计算，底层状态空间被假设为离散的，并且马尔可夫决策过程（MDP）被假设为固定和已知的。我们提出了执行潜值迭代网络（XLVIN），它结合了对比自监督学习，图表示学习和神经算法推理的最新发展，以减轻所有上述限制，成功地部署VIN风格的模型在通用环境。当底层MDP是离散的、固定的和已知的时，XLVIN与VIN类模型的性能相匹配，并在三种通用MDP设置中对无模型基线进行了显著改进。
2020-12-06 cs.AI cs.LG stat.ML
Operator Splitting Value Iteration
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们引入新的规划和强化学习算法的折扣MDP，利用环境的近似模型，以加速收敛的价值函数。受数值线性代数中的分裂方法的启发，我们引入了算子分裂值迭代（OS-VI）用于策略评估和控制问题。当模型足够精确时，OS-VI实现了更快的收敛速度。我们还介绍了一个基于样本的版本的算法称为OS-Dyna。与传统的Dyna架构不同，OS-Dyna在存在模型近似误差的情况下仍然收敛到正确的价值函数。
2022-11-25 cs.AI cs.LG cs.SY
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。在早期的工作中，我们介绍了一个政策迭代算法，其中的政策改进是一个代理在给定的时间顺序，知识的选择，在前面的代理的顺序。因此，每个策略改进的计算量随着代理的数量线性增长，而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下，我们证明了收敛到代理的代理最优策略。在本文中，这一结果被扩展到值迭代和乐观版本的政策迭代，以及更一般的DP问题的Bellman算子是一个压缩映射，如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Restricted Value Iteration: Theory and Algorithms
Washington University（华盛顿大学）；Hong Kong University of Science & Technology（香港科技大学）
值迭代是一种寻找POMDPs近似最优策略的常用算法。由于需要考虑整个置信空间，这需要解决大量的线性规划，因此效率低下。本文研究了限制于信念子集的值迭代问题。我们表明，连同适当选择的信念子集，限制值迭代产生接近最优的政策，我们给出了一个条件，以确定是否一个给定的信念子集将带来节省空间和时间。我们还将限制值迭代应用于两类有趣的POMDPs，即信息POMDPs和近可辨别的POMDPs。
2011-06-30 cs.AI
Approximate Modified Policy Iteration
INRIA（法国国家信息与自动化研究所）；Supélec（法国高等电力学院）
改进策略迭代（MPI）是一种动态规划（DP）算法，它包含了策略迭代和值迭代两种著名的方法。尽管MPI具有普遍性，但它还没有被彻底研究，特别是当状态和/或动作空间很大或无限大时使用的近似形式。在本文中，我们提出了三个实现的近似MPI（AMPI），是著名的近似DP算法的扩展：拟合值迭代，拟合Q迭代，基于分类的政策迭代。我们提供了误差传播分析，统一那些近似的政策和价值迭代。在最后一个基于分类的实现，我们开发了一个有限样本分析表明，MPI的主要参数允许控制的分类器和整体价值函数近似的估计误差之间的平衡。
2012-05-18 cs.AI
Heuristic Search Value Iteration for POMDPs
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
提出了一种新的POMDP规划算法--启发式搜索值迭代算法（HSVI），HSVI是一种随时返回策略和关于最优策略的可证明的后悔上界的算法. HSVI通过结合两种众所周知的技术获得了强大的功能：注意力聚焦搜索算法和价值函数的分段线性凸表示。HSVI算法的可靠性和收敛性已经得到了验证。从文献中的一些基准问题，HSVI显示加速比大于100相对于其他国家的最先进的POMDP值迭代算法。我们还将HSVI应用到一个新的漫游者探索问题，比文献中大多数POMDP问题大10倍。
2012-07-11 cs.AI
Neural Value Iteration
本文提出神经价值迭代算法，利用神经网络的泛化能力替代传统价值迭代中的α向量，解决大规模POMDP问题的计算难题。
2026-03-16 cs.AI
Generalized Value Iteration Networks: Life Beyond Lattices
Clemson University（克莱姆森大学）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们介绍了一个广义值迭代网络（GVIN），这是一个端到端的神经网络规划模块。GVIN通过使用一种新的图卷积算子来模拟值迭代算法，使GVIN能够在不规则的空间图上学习和规划。我们提出了三种新的可微内核作为图卷积算子，并表明基于嵌入的内核实现了最佳性能。我们进一步提出了情景Q学习，这是对传统n步Q学习的改进，它可以稳定包含规划模块的网络的训练。最后，我们评估GVIN在2D迷宫，不规则图形和现实世界的街道网络规划问题，表明GVIN推广以及任意图形和看不见的图形较大的规模和优于一个天真的推广VIN（离散化的空间图形到一个2D图像）。
2017-10-26 cs.AI cs.LG
Graph neural induction of value iteration
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；University of Montréal（蒙特利尔大学）；HEC Montréal（蒙特利尔高等商学院）
许多强化学习任务可以受益于基于环境内部模型的明确规划。以前，这样的规划组件已经通过神经网络被合并，该神经网络部分地与价值迭代的计算图对齐。这样的网络到目前为止都集中在限制性的环境（如网格世界），并模拟规划程序只是间接的。我们放松这些限制，提出了一个图神经网络（GNN），执行值迭代（VI）算法，在任意的环境模型，直接监督VI的中间步骤。结果表明，GNN能够准确地对价值迭代进行建模，在各种分布外测试中恢复有利的指标和策略。这表明具有强监督的GNN执行器是深度强化学习系统中的可行组件。
2020-09-26 cs.AI cs.LG stat.ML
The Value Iteration Algorithm is Not Strongly Polynomial for Discounted Dynamic Programming
Stony Brook University（石溪大学）
本说明提供了一个简单的例子，证明如果允许精确计算，则值迭代算法为贴现动态规划问题找到最优策略所需的迭代次数可以随问题的大小任意快速地增长。特别地，迭代的数量可以是动作数量的指数。因此，与策略迭代不同，值迭代算法对于折扣动态规划不是强多项式。
2013-12-19 cs.AI math.OC
Graph Reparameterizations for Enabling 1000+ Monte Carlo Iterations in Bayesian Deep Neural Networks
University of Wisconsin Madison（威斯康星大学麦迪逊分校）
深度模型中的不确定性估计在许多现实应用中至关重要，并受益于过去几年的发展。最近的证据表明，现有的解决方案依赖于简单的高斯公式可能是不够的。然而，转移到其他分布需要蒙特卡罗（MC）采样来估计诸如KL散度之类的量：随着输入数据和模型的维度的增长，它可能是昂贵的并且缩放性差。这与计算图的结构直接相关，计算图可以作为所需MC样本数量的函数线性增长。在这里，我们构建了一个框架来描述这些计算图，并确定概率家庭的图形大小可以是独立的或只有弱依赖于MC样本的数量。这些族直接对应于大类的分布。从经验上讲，我们可以为计算机视觉中使用的更大架构的MC近似运行更大数量的迭代，并在自信的准确性、训练稳定性、记忆和训练时间方面获得性能增益。
2022-02-19 cs.AI cs.LG stat.CO
A Single Iterative Step for Anytime Causal Discovery
Intel Labs（英特尔实验室）
我们提出了一个健全的和完整的算法恢复因果图从观察到的，非干预性的数据，在潜在的混杂因素和选择偏差的可能存在。我们依赖于因果马尔可夫和忠诚的假设和恢复的等价类的基本因果图之间进行了一系列的条件独立性（CI）测试观察到的变量。我们提出了一个单步的迭代应用，这样的独立性和因果关系所产生的图形，在任何迭代后，是正确的，并成为更多的信息与连续的迭代。本质上，我们将CI条件集的大小与其到结果图上测试节点的距离联系起来。每次迭代通过执行条件集大于前一次迭代的CI测试来细化骨架和方向。在迭代中，CI测试的条件集由指定搜索距离内的节点构造，并且这些条件集的大小等于该搜索距离。然后，该算法迭代地增加搜索距离以及条件集的大小。因此，每次迭代都细化一个图，该图是由具有更小条件集的先前迭代恢复的-具有更高的统计能力。我们证明，我们的算法需要显着更少的CI测试和更小的条件集相比，FCI算法。这对于使用完美的CI oracle恢复真实的底层图和使用有限的观察数据准确估计图都是显而易见的。
2020-12-24 cs.AI cs.LG stat.ML
Value Iteration Networks with Gated Summarization Module
Waseda University（早稻田大学）；Southwest University（西南大学）
本文提出GS-VIN方法，通过自适应迭代策略减少迭代次数并提升稳定性，同时引入门控摘要模块强调整个规划过程，有效解决了VIN处理大地图及累积误差问题，显著提升了规划性能。
2023-05-16 cs.AI cs.LG
Highway Value Iteration Networks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；National University of Singapore（新加坡国立大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士IDSIA人工智能实验室（IDSIA/USI/SUPSI））；The University of Liverpool（利物浦大学）
价值迭代网络（VIN）通过采用近似价值迭代算法的可微分“规划模块”来实现规划任务的端到端学习。然而，长期规划仍然是一个挑战，因为很难训练非常深的VIN。为了解决这个问题，我们嵌入公路价值迭代-最近的算法，旨在促进长期信用分配-到VIN的结构。这一改进增强了VIN的“规划模块”，增加了三个额外的组件：1）“聚合门”，它构建跳过连接以改善跨多个层的信息流; 2）“探索模块”，旨在增加空间维度上的信息多样性和梯度流; 3）“过滤门”，旨在确保安全探索。由此产生的新型高速公路VIN可以使用标准的反向传播有效地训练数百层。在需要数百个规划步骤的长期规划任务中，深度公路VIN的性能优于传统VIN和几个高级的非常深的NN。
2024-06-05 cs.AI cs.LG
Understanding the theoretical properties of projected Bellman equation, linear Q-learning, and approximate value iteration
KAIST（韩国科学技术院）
本文研究投影贝尔曼方程（PBE）及求解它的线性Q学习和近似值迭代（AVI）的理论性质，提出PBE解存在的两个充分条件，分析SNRDD假设对算法收敛的作用及与AVI收敛的关系，并给出ε-贪婪策略下PBE解的观察。
2025-04-15 cs.AI cs.LG
Iterative Causal Discovery in the Possible Presence of Latent Confounders and Selection Bias
Intel Labs（英特尔实验室）
我们提出了一个健全的和完整的算法，称为迭代因果发现（ICD），恢复因果图中存在潜在的混杂因素和选择偏差。ICD依赖于因果马尔可夫和忠实性假设，并恢复基本因果图的等价类。它从一个完整的图开始，由一个迭代阶段组成，该阶段通过识别连接节点之间的条件独立性（CI）来逐渐细化该图。在任何迭代之后所需要的独立性和因果关系是正确的，从而在任何时候都呈现ICD。本质上，我们将CI条件集的大小与其在图上与测试节点的距离联系起来，并在后续迭代中增加该值。因此，每次迭代都细化由具有较小条件集的先前迭代恢复的图-较高的统计功效-这有助于稳定性。我们根据经验证明，与FCI、FCI+和RFCI算法相比，ICD需要的CI测试明显更少，并且可以学习更准确的因果图（代码可在https：//github.com/IntelLabs/caibrity-lab获得）。
2022-01-17 cs.AI cs.LG stat.ME
Multi-Agent Routing Value Iteration Network
Uber（优步）
在本文中，我们解决的问题，路由多个代理以协调的方式。这是一个复杂的问题，在车队管理中有广泛的应用，以实现一个共同的目标，例如从一群机器人和乘车共享映射。传统的方法通常不是为包含稀疏连接图和未知流量的现实环境设计的，并且在运行时通常太慢而不实用。相比之下，我们提出了一个图神经网络为基础的模型，能够执行多代理路由的基础上学习值迭代在一个稀疏连接的图与动态变化的交通状况。此外，我们学习的通信模块使代理人能够在线协调，更有效地适应变化。我们创建了一个模拟环境，以模拟具有未知最小边缘覆盖和交通条件的自动驾驶车辆执行的逼真映射;我们的方法在总成本和运行时间方面都显着优于传统的求解器。我们还表明，我们的模型在最多25个节点的图上只训练了两个代理，可以很容易地推广到有更多代理和/或节点的情况。
2020-08-14 cs.AI cs.LG cs.MA
Randomised Bayesian Least-Squares Policy Iteration
École Polytechnique（巴黎综合理工学院）；University of Oslo（奥斯陆大学）；Athens University of Economics and Business（雅典经济与商业大学）
我们介绍了贝叶斯最小二乘策略迭代（BLSPI），一个关闭的政策，无模型，政策迭代算法，使用贝叶斯最小二乘时间差（BLSTD）学习算法评估政策。BLSPI的在线变体也被提出，称为随机化BLSPI（RBLSPI），它基于不完整的策略评估步骤来改进其策略。在在线环境中，探索-开发的困境应该得到解决，因为我们试图通过使用自己收集的样本来发现最优策略。RBLSPI利用BLSTD的优势来量化我们关于价值函数的不确定性。受Thompson采样的启发，RBLSPI首先从价值函数的后验分布中采样值函数，然后基于采样的价值函数选择动作。实验证明了RBLSPI的有效性和探测能力。
2019-04-06 cs.AI cs.LG stat.ML
Spectral Feature Augmentation for Graph Contrastive Learning and Beyond
The Chinese University of Hong Kong（香港中文大学）；Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
虽然增强（例如，图边缘的扰动、图像裁剪）提高了对比学习（CL）的效率，特征级增强是另一种合理的、互补的但尚未得到充分研究的策略。因此，我们提出了一种新的光谱特征论证的对比学习的图形（和图像）。为此，对于每个数据视图，我们估计每个特征映射的低秩近似，并从映射中减去该近似以获得其补。这是通过本文提出的不完全功率迭代来实现的，不完全功率迭代是一种非标准功率迭代机制，其具有两个有价值的副产品（在仅仅一次或两次迭代下）：（i）它部分地平衡特征图的频谱，以及（ii）它将噪声注入到特征图的重新平衡的奇异值中（频谱增强）。对于两个视图，我们将这些重新平衡的特征图对齐，因为改进的对齐步骤可以更多地关注两个视图的矩阵的不太占主导地位的奇异值，而光谱增强不影响光谱角度对齐（奇异向量不受干扰）。我们推导出的解析形式：（i）不完整的功率迭代，以捕捉其频谱平衡效果，和（ii）的奇异值的方差增加隐含的噪声。我们还表明，谱增强提高了泛化界。在图形/图像数据集上的实验表明，我们的光谱特征增强优于基线，与其他增强策略互补，并与各种对比度损失兼容。
2022-12-02 cs.AI cs.CV cs.LG
