DualSMC: Tunneling Differentiable Filtering and Planning under Continuous POMDPs
Tsinghua University(清华大学);Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Institute for Advanced Study(高等研究院);Massachusetts Institute of Technology(麻省理工学院)
求解连续POMDPs的一个主要困难是推断未观察到的真实状态的多模态分布,并使规划算法依赖于感知的不确定性。我们投POMDP过滤和规划问题作为两个密切相关的顺序蒙特卡罗(SMC)过程,一个在真实的状态和其他未来的最佳轨迹,并结合这两个部分的优点,在一个新的模型命名为DualSMC网络。特别是,我们首先介绍了一种对抗性粒子滤波器,它利用了其内部组件之间的对抗关系。基于过滤结果,我们提出了一种规划算法,该算法扩展了以前的SMC规划方法[Piche等人,2018年]连续POMDPs与不确定性依赖的政策。至关重要的是,DualSMC不仅可以处理复杂的观察,如图像输入,而且它仍然具有高度的可解释性。它被证明是有效的,在三个连续的POMDP域:地板定位域,3D明暗导航域,和修改后的Reacher域。
2020-05-07 cs.AI cs.LG cs.RO
POMDPs in Continuous Time and Discrete Spaces
Technische Universität Darmstadt(达姆施塔特工业大学)
许多过程,如工程中的离散事件系统或生物学中的种群动力学,在离散空间和连续时间中进化。我们考虑的问题,最优决策的离散状态和行动空间系统的部分可观性。这使我们的工作处于最优滤波和最优控制的交叉点。在目前的研究状态下,仍然缺乏一个数学描述的同时决策和过滤在连续时间有限的状态和行动空间。本文给出了连续时间部分可观测马尔可夫决策过程(POMDP)的数学描述。通过利用最优滤波理论,我们推导出一个哈密尔顿-雅可比-贝尔曼(HJB)型方程,其特征在于最优解。使用来自深度学习的技术,我们近似地求解所得到的偏积分微分方程。我们提出了(i)通过学习价值函数的近似值离线解决决策问题的方法和(ii)使用深度强化学习在置信空间中提供解决方案的在线算法。我们展示了一组玩具的例子,为未来的方法提供高维问题的解决方案铺平了道路的适用性。
2020-10-26 cs.LG cs.SY eess.SY
Anytime Incremental $ρ$POMDP Planning in Continuous Spaces
Technion - Israel Institute of Technology(以色列理工学院)
本文提出随时求解器ρPOMCPOW,通过动态细化信念表示和增量计算依赖信念奖励,在连续空间ρPOMDP规划中显著提升效率与求解质量。
2025-02-04 cs.AI cs.LG cs.RO
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
UC Berkeley(加州大学伯克利分校)
我们提出了一种新的方法来搜索一个马尔可夫决策过程(MDP)或部分可观察马尔可夫决策过程(POMDP)的政策空间的问题,给定的模型。我们的方法是基于以下观察:任何(PO)MDP可以转化为一个“等效”POMDP中的所有状态转换(给定当前状态和动作)是确定性的。这将策略搜索的一般问题减少到我们只需要考虑具有确定性转换的POMDP的问题。我们给出了一个自然的方法来估计这些转换POMDPs中所有政策的价值。然后,通过搜索具有高估计值的策略来简单地执行策略搜索。我们还建立了我们的价值估计将是好的条件下,恢复类似于Kearns,Mansour和Ng(1999)的理论结果,但“样本复杂性”的界限,只有一个多项式,而不是指数依赖于地平线时间。我们的方法适用于任意POMDPs,包括无限状态和动作空间。我们还提出了一个小的离散问题,我们的方法的实证结果,并在一个复杂的连续状态/连续动作的问题,涉及学习骑自行车。
2013-01-16 cs.AI cs.LG
Flow-based Recurrent Belief State Learning for POMDPs
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Shanghai Qizhi Institute(上海期智研究院)
部分可观测马尔可夫决策过程(POMDP)提供了一个原则性和通用的框架来建模现实世界的顺序决策过程,但仍然没有解决,特别是对于高维连续空间和未知模型。主要的挑战在于如何准确地获得信念状态,这是给定历史信息的不可观测环境状态的概率分布。准确地计算这种信念状态是获得POMDPs最优策略的前提。深度学习技术的最新进展显示出学习良好信念状态的巨大潜力。然而,现有的方法只能学习近似分布,灵活性有限。在本文中,我们介绍了\textbf{F} l \textbf{O} w的\textbf{R} ecurrent \textbf{BE} lief \textbf{S} tate model(FORBES),它将归一化流的变分推理学习一般连续的信念状态POMDPs。此外,我们表明,学习的信念状态可以插入到下游RL算法,以提高性能。在实验中,我们表明,我们的方法成功地捕捉复杂的信念状态,使多模态预测以及高质量的重建,具有挑战性的视觉运动控制任务的结果表明,我们的方法实现了卓越的性能和样本效率。
2022-05-23 cs.LG stat.ML
Online Learning for Unknown Partially Observable MDPs
University of Southern California(南加州大学)
求解部分可观测马尔可夫决策过程(POMDP)是一个困难的问题。当模型未知时,学习POMDPs的最优控制器是困难的。未知POMDP的最优控制器的在线学习,这需要使用有效权衡探索和利用的遗憾最小化算法的有效学习,甚至更难,并且目前不存在解决方案。本文研究了转移模型未知但观测模型已知的无限时间平均费用POMDP问题。我们提出了一种基于自然后验采样的强化学习算法(PSRL-POMDP),并证明了当参数集有限时,它达到了$O(\log T)$的遗憾界,其中$T$是时间范围。在一般情况下(连续参数集),我们表明,该算法实现了$O (T^{2/3})$遗憾的两个技术假设。据我们所知,这是POMDPs的第一个在线RL算法,具有次线性遗憾。
2021-06-14 cs.LG
Deep Belief Markov Models for POMDP Inference
The Pennsylvania State University(宾夕法尼亚州立大学);Technical University of Munich(慕尼黑工业大学)
提出深度置信马尔可夫模型DBMM,利用变分推断和神经网络从观测数据中高效推断POMDP置信状态,并在离散与连续基准问题上验证。
2025-03-17 cs.AI cs.LG
Learning Belief Representations for Imitation Learning in POMDPs
UIUC(伊利诺伊大学厄巴纳-香槟分校);Uber AI Labs(优步人工智能实验室);UT Austin(德克萨斯大学奥斯汀分校)
研究部分可观测马尔可夫决策过程中专家演示的模仿学习问题。信念表示,POMDP中的潜在状态的分布特征,已被建模使用递归神经网络和概率潜变量模型,并被证明是有效的强化学习POMDP。在这项工作中,我们研究的信念表示学习问题的生成对抗模仿学习POMDPs。我们没有像以前的工作中建议的那样分别训练信念模块和策略,而是使用任务感知的模仿损失来学习信念模块和策略,以确保表示与策略的目标更加一致。为了提高表示的鲁棒性,我们引入了几种信息信念正则化技术,包括动态和动作序列的多步预测。评估各种部分可观察的连续控制运动任务,我们的信念模块模仿学习方法(BMIL)大大优于几个基线,包括原来的GAIL算法和任务不可知的信念学习算法。广泛的消融分析表明,任务意识的信念学习和信念正规化的有效性。
2019-06-22 cs.LG stat.ML
Q-Learning for MDPs with General Spaces: Convergence and Near Optimality via Quantization under Weak Continuity
University of Michigan(密歇根大学);Bilkent University(比尔肯特大学);Queen’s University(女王大学)
本文提出Quantized Q-Learning方法,在仅要求转移核弱连续的温和条件下,通过将状态和动作量化并视为POMDP,证明了针对连续空间MDP的Q-learning收敛性及近最优性。
2023-09-07 cs.LG cs.SY eess.SY
Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs
Imperial College London(帝国理工学院)
健康相关数据在暗示患者的真实生理状态方面是噪声和随机的,限制了用于顺序临床决策的单时刻观察中包含的信息。我们将患者与临床医生的相互作用建模为部分可观察的马尔可夫决策过程(POMDPs),并根据从历史序列推断的信念状态优化顺序治疗。为了便于推理,我们建立了一个变分生成模型,并使用递归神经网络(RNN)增强状态表示,并结合了序列自动编码的辅助损失。同时,我们优化了一个连续的药物水平的政策与行动者-评论家的方法,其中策略梯度从一个稳定的政策外估计的优势函数,与并行的最佳优先后缀树支持的信念状态的值。我们利用我们的方法,使用回顾性重症监护数据集优化脓毒症患者的血管加压药和静脉输液剂量,并使用政策外政策评估(OPPE)评估学习的政策。结果表明,建模为POMDP产生更好的性能比MDP,并将启发式搜索提高样本效率。
2019-05-17 cs.AI cs.LG
Learning-based Spectrum Sensing and Access in Cognitive Radios via Approximate POMDPs
Arizona State University(亚利桑那州立大学)
提出了一种新的基于学习的频谱感知和接入(LESSA)框架,其中认知无线电(CR)学习无线电生态系统中授权用户(LU)频谱占用的时频相关模型,同时设计感知约束下的近似最优频谱感知和接入策略.提出了一种Baum-Welch算法,用于学习基于噪声频谱测量的LU频谱占用的参数马尔可夫转移模型。频谱感知和接入被转换为部分可观测的马尔可夫决策过程,通过基于随机点的值迭代近似优化。分段,汉明距离状态滤波器和蒙特卡洛方法,提出了以减轻固有的计算复杂度,和一个加权的奖励度量,以调节CR吞吐量和LU干扰之间的权衡。数值评估表明,LESSA的性能在基因辅助上限的5%以内,并且在整个权衡区域内优于最先进的算法:基于相关性的聚类为71%,Neyman-Pearson检测为26%,Viterbi算法为6%,自适应深度Q网络为9%。LESSA,然后扩展到一个分布式多代理设置(MA-LESSA),提出了新的邻居发现和信道接入秩分配。MA-LESSA比合作TD-SARSA提高了43%的CR吞吐量,比合作贪婪分布式学习提高了84%,比通过g统计和ACK的非合作学习提高了3倍。最后,MA-LESSA在DARPA SC2平台上实现,在真实世界的TDWR-UNII WLAN仿真中表现出优于竞争对手的性能;其实现的可行性在ESP 32无线电的测试平台上得到进一步验证,表现出96%的成功概率。
2021-07-14 cs.LG eess.SP
Computationally Efficient PAC RL in POMDPs with Latent Determinism and Conditional Embeddings
Cornell University(康奈尔大学);Princeton University(普林斯顿大学)
研究了大规模部分可观测马尔可夫决策过程(POMDPs)的函数逼近强化学习,其中状态空间和观测空间都很大甚至是连续的。特别地,我们考虑POMDP的Hilbert空间嵌入,其中潜在状态的特征和观测的特征允许观测发射过程的条件Hilbert空间嵌入,并且潜在状态转移是确定性的。在最优潜在状态-动作$Q$ -函数在状态特征上是线性的,并且最优$Q$ -函数在动作上有间隙的函数近似设置下,我们提供了一个寻找\emph{exact optimal}策略的\emph{computationally and statistically efficient}算法.我们展示了我们的算法的计算和统计复杂性尺度多项式的地平线和内在维度的观察空间上的功能。此外,我们证明了确定性的潜在转移和间隙假设是必要的,以避免统计复杂性指数的水平或维度。由于我们的保证没有明确的依赖于状态和观测空间的大小,我们的算法可证明规模大规模POMDPs。
2022-06-24 cs.LG stat.ME stat.ML
Active Inference and Reinforcement Learning: A unified inference on continuous state and action spaces under partial observability
University of Toronto(多伦多大学)
本文提出统一原理建立主动推理与强化学习的理论联系,在连续空间POMDP中克服两者局限,通过最小化期望自由能结合利用与探索行为,实现无需显式奖励设计的有效学习。
2024-05-31 cs.AI cs.LG
ODE-based Recurrent Model-free Reinforcement Learning for POMDPs
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出一种基于ODE的循环模型与无模型强化学习框架相结合的方法,用于求解POMDP,在PO连续控制和元RL任务中验证了有效性,并展示了对不规则观测的鲁棒性。
2023-10-29 cs.AI cs.LG
A Covering Framework for Offline POMDPs Learning using Belief Space Metric
Northwestern University(西北大学)
本文提出一种利用信念空间度量的离线POMDP学习覆盖框架,通过分析价值相关函数的Lipschitz连续性,缓解时间与内存的指数增长,提升样本效率。
2026-03-03 cs.LG math.OC stat.ML
A High-Throughput Compute-Efficient POMDP Hide-And-Seek-Engine (HASE) for Multi-Agent Operations
本文提出一种高效的Dec-POMDP引擎,通过C++架构和优化技术实现高吞吐量,验证了其在多智能体协作策略训练中的性能和通用性。
2026-04-29 cs.LG cs.MA cs.PF
Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes
University of Michigan(密歇根大学)
在部分可观测马尔可夫决策过程(POMDP)理论中,最优策略的存在性一般是通过将原来的部分可观测随机控制问题转化为信念空间上的完全可观测问题,从而得到信念-MDP。然而,即使原始系统具有有限的状态和动作空间,使用经典的动态或线性规划方法来计算该完全观察模型的最优策略以及原始POMDP的最优策略也是具有挑战性的,因为完全观察的信念-MDP模型的状态空间总是不可数的。此外,存在非常少的严格的值函数近似和最优策略近似结果,因为所需的正则性条件通常需要繁琐的研究,涉及概率测度的空间,导致诸如Feller连续性的性质。在本文中,我们研究了POMDPs的规划问题,其中系统动力学和测量信道模型假设是已知的。我们构造了一个近似的信念模型离散的信念空间,只有有限的窗口信息变量。然后,我们找到近似模型的最优策略,我们严格建立在温和的非线性滤波稳定性条件和假设的测量和行动集是有限的(和状态空间是实向量值)的POMDPs的有限窗口控制策略的近最优性。我们还建立了一个收敛速率的结果,涉及有限的窗口内存大小和近似误差界,其中的收敛速率是指数显式和可测试的指数滤波器的稳定性条件下。虽然有许多实验结果和严格的渐近收敛的结果,一个明确的收敛速率的结果是新的文献,据我们所知。
2022-01-08 cs.LG math.OC
Monte Carlo Bayesian Reinforcement Learning
National University of Singapore(新加坡国立大学)
贝叶斯强化学习(BRL)将世界的先验知识编码到模型中,并通过保持模型参数的概率分布来表示模型参数的不确定性。本文介绍了蒙特卡罗BRL(MC-BRL),一种简单而通用的方法BRL。MC-BRL对模型参数值的有限假设集进行先验采样,并形成离散的部分可观察马尔可夫决策过程(POMDP),其状态空间是强化学习任务的状态空间和采样的模型参数空间的叉积。POMDP不需要共轭分布的信念表示,早期的作品,可以解决相对容易的基于点的近似算法。MC-BRL自然处理完全和部分可观察的世界。理论和实验结果表明,离散POMDP近似的底层BRL任务很好地保证性能。
2012-06-27 cs.LG stat.ML
Sequential Stochastic Optimization in Separable Learning Environments
The Coca-Cola Company(可口可乐公司);Georgia Institute of Technology(佐治亚理工学院)
我们考虑一类顺序决策问题的不确定性,可以包括各种类型的监督学习的概念。这些问题有完全可观察的状态过程和部分可观察的调制过程,其中状态过程仅通过观察过程受到调制过程的影响,观察过程仅观察调制过程,并且调制过程对于控制是外生的。我们将这类问题建模为部分观测的马尔可夫决策过程(POMDP)。调制过程的置信函数是控制不变的,从而将调制过程的估计与状态过程的控制分离。我们将这种特殊结构的POMDP称为可分离的POMDP,或SEP-POMDP,并表明它(i)可以作为广泛的应用领域的模型,例如,库存控制、金融、医疗保健系统,(ii)从一组完全观察到的MDP中继承价值函数和最优策略结构,(iii)可以作为具有完全指定的模型工件的不确定性下的顺序决策的经典模型与未完全指定并需要使用来自统计和机器学习的预测方法的模型之间的桥梁,以及(iv)允许专门的近似解过程。
2021-08-21 cs.LG math.OC stat.ML
Observation Adaptation via Annealed Importance Resampling for Partially Observable Markov Decision Processes
Vanderbilt University(范德堡大学)
针对POMDP在线求解中粒子滤波因重要性重采样导致退化的问题,提出通过构建桥接分布的退火重要性重采样方法,适应高信息量观测,在多个挑战性领域显著优于现有方法。
2025-03-25 cs.AI cs.LG cs.RO
ChronosPerseus: Randomized Point-based Value Iteration with Importance Sampling for POSMDPs
Royal Military College of Canada(加拿大皇家军事学院)
在强化学习中,智能体已经成功地使用了用马尔可夫决策过程(MDP)建模的环境。然而,在许多问题域中,代理可能会遭受噪声观测或随机时间,直到其随后的决定。虽然部分可观测马尔可夫决策过程(POMDPs)已经处理了噪声观测,但它们尚未处理未知时间方面。当然,我们可以将时间离散化,但这会导致贝尔曼的非理性诅咒。为了将连续sojourn时间分布在代理的决策,我们建议,部分可观察的半马尔可夫决策过程(POSMDP)在这方面可能是有帮助的。我们扩展\citet{Spaan2005a}随机基于点的值迭代(PBVI)\textsc{Perseus}算法用于POMDP POSMDP通过纳入连续逗留时间分布和使用重要性采样,以减少求解器的复杂性。我们把这种新的基于重要性采样的POSMDP的PBVI算法称为\textsc{ChronosPerseus}。这通过将时间状态信息移动到POMSDP的状态逗留时间中来进一步允许压缩的复杂POMDP需要时间状态信息。第二个观点是,保持一组采样时间并根据其可能性对其进行加权可以在单个备份中使用;这有助于进一步降低算法复杂性。解决者还可以处理情节性和非情节性问题。最后,我们的文件与两个例子,一个情节总线问题和非情节维护问题。
2022-07-16 cs.AI cs.LG
Embed to Control Partially Observed Systems: Representation Learning with Provable Sample Efficiency
Northwestern University(西北大学);Yale University(耶鲁大学)
本文提出ETC算法,通过双层表示学习(逐步低维状态特征与跨步低维历史嵌入)在部分可观测系统中实现策略优化,并证明其样本复杂度随视界和内在维度多项式增长。
2024-04-01 cs.AI cs.LG cs.SY
Optimal sequential decision-making for error propagation mitigation in digital twins
Department of Industrial and Manufacturing Engineering(工业与制造工程系);California State Polytechnic University, Pomona(帕莫娜加州州立理工大学)
本文通过马尔可夫决策过程和部分可观测马尔可夫决策过程缓解数字孪生误差传播,验证了在不完全信息下策略的有效性,并展示了改进分类精度的价值。
2026-04-24 cs.LG cs.SY eess.SY
Model Validation of Agentic AI Systems: A POMDP-Based Framework for Belief-State, Forecast, and Policy Validation
Quiota LLC(Quiota公司)
提出基于部分可观测马尔可夫决策过程(POMDP)的智能体AI模型验证框架,将自主决策分解为信息、信念、预测、动作和效用组件独立验证,并通过投资组合管理案例展示其有效性。
2026-06-17 cs.AI cs.LG q-fin.RM
Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making
DeepMind(深度思维);Princeton University(普林斯顿大学);Google Research India(谷歌印度研究院);University of Alberta(阿尔伯塔大学)
本文介绍一种简单有效的一般序贯决策学习算法。该算法结合了最大似然估计和最乐观的探索模型估计,这因此被称为OMLE。我们证明了OMLE学习的一个非常丰富的类序列决策问题的多项式样本数的近优政策。这个丰富的类不仅包括大多数已知的易处理的基于基于模型的强化学习(RL)问题(如表MDP,因子MDP,低见证秩问题,表弱揭示/可观察POMDP和多步可解码POMDP),而且还包括许多新的具有挑战性的RL问题,特别是在部分可观察的设置中,以前不知道是易处理的。值得注意的是,本文所解决的新问题包括:(1)具有连续观测和函数逼近的可观测POMDPs,其中我们获得了与观测空间大小完全无关的第一样本复杂度;(2)良态低秩序贯决策问题(也称为预测状态表示(PSR)),其包括并概括在更内在的表示下的所有已知易处理的POMDP示例;(3)SAIL条件下的一般序贯决策问题,统一了我们对完全可观察和部分可观察两种情况下基于模型强化学习的理解。本文证明了SAIL条件,它可以看作是Bellman/witness秩的自然推广,以解决部分能观性问题。本文还提出了一种无奖励的OMLE算法,它学习近似的动态模型,使计算接近最优的政策,同时为所有的奖励功能。
2022-11-23 cs.AI cs.LG stat.ML
A2: Extracting Cyclic Switchings from DOB-nets for Rejecting Excessive Disturbances
强化学习(RL)在实践中受到灰盒性质的限制,灰盒性质导致用户信任度不足、对人工干预的解释不满意、对未来改进的分析不充分等。从RL获得的DOB-网解决了一组部分可观察马尔可夫决策过程(POMDP)。每个POMDP的过渡函数在很大程度上取决于环境,这是过度的外部干扰,在本研究中。本文提出了一种基于注意力的抽象(A ${}^2$)的方法来提取一个有限状态自动机,被称为一个关键摩尔机网络(KMMN),捕捉切换机制所表现出的DOB网络在处理多个这样的POMDPs。该方法首先通过学习连续-离散界面来量化受控平台。然后,它提取KMMN通过找到关键的隐藏状态和转移,吸引足够的注意力从DOB网。在由此产生的KMMN,本研究发现三种模式的循环切换(关键隐藏状态之间),显示其饱和附近的控制与未知的干扰同步。有趣的是,发现的切换机制已经出现在以前的混合动力控制的设计经常饱和的系统。通过类比混合控制中的离散事件子系统,进一步解释了它。
2019-11-01 cs.LG cs.RO
FLoRa: Flight-Assisted Data Collection from Duty Cycling LoRa Nodes under Energy Constraints
Indian Institute of Technology Tirupati(蒂鲁帕蒂印度理工学院)
FLoRa提出多级优化架构,结合SA路径规划、CMA-ES悬停定位和POMDP探测决策,在能量约束下高效收集占空比LoRa节点数据,显著提升信息价值和覆盖率。
2026-10-08 cs.LG cs.NI
A Convolution and Attention Based Encoder for Reinforcement Learning under Partial Observability
School of Engineering, The University of Newcastle(工程学院,新castle大学)
针对部分可观测强化学习问题,提出基于深度可分离卷积和自注意力的轻量级时序编码器,集成于actor-critic框架,在连续控制基准上取得优越性能并提升系统可扩展性。
2025-09-13 cs.AI cs.LG
Safe Reinforcement Learning in Tensor Reproducing Kernel Hilbert Space
University College London(伦敦大学学院)
本文针对部分可观测环境中的安全强化学习问题,提出基于预测状态表示和再生核希尔伯特空间的随机模型方法,在欠完备性假设下建立了多项式样本复杂度并保证ε-次优安全策略。
2023-12-01 cs.AI cs.LG cs.SY
The Context Gathering Decision Process: A POMDP Framework for Agentic Search
University of Michigan(密歇根大学);Netflix
本文提出CGDP框架,通过将LLM行为建模为近似汤普森采样,引入谓词方法分解搜索过程,并设计两种干预措施提升多跳推理能力。
2026-05-07 cs.AI cs.LG
Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
University of California, Irvine(加州大学欧文分校);The George Washington University(乔治华盛顿大学)
研究了具有连续状态的部分可观测马尔可夫决策过程的离政策评估问题。受最近提出的近端因果推断框架的启发,我们开发了一个非参数识别结果,通过一系列所谓的V桥函数的帮助下,随时间变化的代理变量的政策价值估计。然后,我们开发了一个合适的Q评估型算法来估计V桥函数递归,其中一个非参数工具变量(NPIV)的问题是解决在每一步。通过分析这一具有挑战性的顺序NPIV问题,我们建立了有限样本误差界估计的V-桥功能,从而评估政策的价值,在样本量,地平线的长度和所谓的(本地)措施在每一步的不适定性。据我们所知,这是非参数模型下POMDPs中OPE的第一个有限样本误差界。
2022-10-16 cs.LG math.ST stat.ML
A Minimax Learning Approach to Off-Policy Evaluation in Confounded Partially Observable Markov Decision Processes
London School of Economics and Political Science(伦敦政治经济学院);Cornell University(康奈尔大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑部分可观测马尔可夫决策过程(POMDPs)中的离政策评估(OPE),其中评估策略仅取决于可观测变量,而行为策略取决于不可观测的潜变量。现有的作品要么假设没有不可测量的混杂因素,或专注于设置的观察和状态空间是表格。在这项工作中,我们首先提出了新的识别方法OPE POMDPs与潜在的混淆,通过引入桥梁功能,连接目标政策的价值和观察到的数据分布。接下来,我们提出了极小极大估计方法学习这些桥函数,并构造三个估计器的基础上,这些估计的桥函数,相应的价值函数为基础的估计,边缘化重要性采样估计,和双重鲁棒估计。我们的建议允许一般函数近似,因此适用于连续或大的观测/状态空间的设置。详细研究了估计量的非渐近性和渐近性。
2022-06-15 cs.LG stat.ML
Learning to Represent Haptic Feedback for Partially-Observable Tasks
Stanford University(斯坦福大学);Cornell University(康奈尔大学);Brain Of Things, Inc.(Brain Of Things公司)
触觉是人体最早发育的感觉系统[1],在我们与环境的日常互动中起着至关重要的作用。为了成功地完成任务,许多操纵交互需要结合触觉反馈。然而,手动设计反馈机制可能极具挑战性。在这项工作中,我们考虑操纵任务,需要将触觉传感器的反馈,以修改所提供的标称计划。为了将部分观察,我们提出了一个新的框架,该框架将任务建模为部分可观察的马尔可夫决策过程(POMDP),并学习适当的触觉反馈表示,可以作为POMDP模型的状态。该模型由深度递归神经网络参数化,利用变分贝叶斯方法优化近似后验。最后,我们建立在深度Q学习的基础上,能够在每个状态下选择最佳动作,而无需访问模拟器。我们在PR2机器人上测试了我们的模型,以完成旋转旋钮直到它发出咔嗒声的多个任务。
2017-05-17 cs.AI cs.LG cs.RO
Reinforcement Learning with Continuous Actions Under Unmeasured Confounding
Department of Statistics, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校统计学系);Department of Human Development and Family Studies, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校人类发展与家庭研究系);Department of Statistics, University of California Irvine(加州大学尔湾分校统计学系);Department of Decision Sciences, The George Washington University(乔治华盛顿大学决策科学系);School of Management & Center for Data Science, Zhejiang University(浙江大学管理学院及数据科学中心)
针对存在未测量混淆因素的连续动作空间离线强化学习问题,提出基于新识别结果的非参数估计方法,开发极小化极大估计器与策略梯度算法寻找最优策略,并给出理论保证与实证验证。
2025-05-01 cs.LG stat.ME stat.ML