基于循环神经网络的鲁棒部分可观测马尔可夫决策过程的悲观迭代规划
Pessimistic Iterative Planning with RNNs for Robust POMDPs
AI总结：
针对鲁棒POMDPs需记忆性且鲁棒性策略的问题，提出悲观迭代规划（PIP）框架及rFSCNet算法，交替选悲观POMDPs并优化循环神经网络计算有限状态控制器，实证性能优于基线及现有求解器。
摘要：
鲁棒部分可观测马尔可夫决策过程（Robust POMDPs）通过在转移和观测函数上使用所谓的不确定性集合扩展经典POMDPs，以纳入模型不确定性，有效定义概率范围。鲁棒POMDPs的策略必须满足：（1）基于记忆以应对部分可观测性；（2）对模型不确定性具有鲁棒性，以应对不确定性集合中的最坏情况概率实例。为计算此类鲁棒的基于记忆的策略，我们提出悲观迭代规划（PIP）框架，该框架在以下两者间交替：（1）通过不确定性集合中的最坏情况概率实例选择悲观POMDPs；（2）为这些悲观POMDPs计算有限状态控制器（FSCs）。在PIP中，我们提出rFSCNet算法，该算法优化循环神经网络以计算FSCs。实证评估表明，rFSCNet能计算出比多个基线和最先进的鲁棒POMDP求解器性能更好的鲁棒策略。
英文摘要：
Robust POMDPs extend classical POMDPs to incorporate model uncertainty using so-called uncertainty sets on the transition and observation functions, effectively defining ranges of probabilities. Policies for robust POMDPs must be (1) memory-based to account for partial observability and (2) robust against model uncertainty to account for the worst-case probability instances from the uncertainty sets. To compute such robust memory-based policies, we propose the pessimistic iterative planning (PIP) framework, which alternates between (1) selecting pessimistic POMDPs via worst-case probability instances from the uncertainty sets, and (2) computing finite-state controllers (FSCs) for these pessimistic POMDPs. Within PIP, we propose the rFSCNet algorithm, which optimizes a recurrent neural network to compute the FSCs. The empirical evaluation shows that rFSCNet can compute better-performing robust policies than several baselines and a state-of-the-art robust POMDP solver.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
