Flow-based Recurrent Belief State Learning for POMDPs
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Shanghai Qizhi Institute（上海期智研究院）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性和通用的框架来建模现实世界的顺序决策过程，但仍然没有解决，特别是对于高维连续空间和未知模型。主要的挑战在于如何准确地获得信念状态，这是给定历史信息的不可观测环境状态的概率分布。准确地计算这种信念状态是获得POMDPs最优策略的前提。深度学习技术的最新进展显示出学习良好信念状态的巨大潜力。然而，现有的方法只能学习近似分布，灵活性有限。在本文中，我们介绍了\textbf{F} l \textbf{O} w的\textbf{R} ecurrent \textbf{BE} lief \textbf{S} tate model（FORBES），它将归一化流的变分推理学习一般连续的信念状态POMDPs。此外，我们表明，学习的信念状态可以插入到下游RL算法，以提高性能。在实验中，我们表明，我们的方法成功地捕捉复杂的信念状态，使多模态预测以及高质量的重建，具有挑战性的视觉运动控制任务的结果表明，我们的方法实现了卓越的性能和样本效率。
2022-05-23 cs.LG stat.ML
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
UC Berkeley（加州大学伯克利分校）
我们提出了一种新的方法来搜索一个马尔可夫决策过程（MDP）或部分可观察马尔可夫决策过程（POMDP）的政策空间的问题，给定的模型。我们的方法是基于以下观察：任何（PO）MDP可以转化为一个“等效”POMDP中的所有状态转换（给定当前状态和动作）是确定性的。这将策略搜索的一般问题减少到我们只需要考虑具有确定性转换的POMDP的问题。我们给出了一个自然的方法来估计这些转换POMDPs中所有政策的价值。然后，通过搜索具有高估计值的策略来简单地执行策略搜索。我们还建立了我们的价值估计将是好的条件下，恢复类似于Kearns，Mansour和Ng（1999）的理论结果，但“样本复杂性”的界限，只有一个多项式，而不是指数依赖于地平线时间。我们的方法适用于任意POMDPs，包括无限状态和动作空间。我们还提出了一个小的离散问题，我们的方法的实证结果，并在一个复杂的连续状态/连续动作的问题，涉及学习骑自行车。
2013-01-16 cs.AI cs.LG
Learning Belief Representations for Imitation Learning in POMDPs
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Uber AI Labs（优步人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
研究部分可观测马尔可夫决策过程中专家演示的模仿学习问题。信念表示，POMDP中的潜在状态的分布特征，已被建模使用递归神经网络和概率潜变量模型，并被证明是有效的强化学习POMDP。在这项工作中，我们研究的信念表示学习问题的生成对抗模仿学习POMDPs。我们没有像以前的工作中建议的那样分别训练信念模块和策略，而是使用任务感知的模仿损失来学习信念模块和策略，以确保表示与策略的目标更加一致。为了提高表示的鲁棒性，我们引入了几种信息信念正则化技术，包括动态和动作序列的多步预测。评估各种部分可观察的连续控制运动任务，我们的信念模块模仿学习方法（BMIL）大大优于几个基线，包括原来的GAIL算法和任务不可知的信念学习算法。广泛的消融分析表明，任务意识的信念学习和信念正规化的有效性。
2019-06-22 cs.LG stat.ML
Deep Belief Markov Models for POMDP Inference
The Pennsylvania State University（宾夕法尼亚州立大学）；Technical University of Munich（慕尼黑工业大学）
提出深度置信马尔可夫模型DBMM，利用变分推断和神经网络从观测数据中高效推断POMDP置信状态，并在离散与连续基准问题上验证。
2025-03-17 cs.AI cs.LG
Robust Reinforcement Learning in POMDPs with Incomplete and Noisy Observations
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
在现实世界的场景中，具有连续控制的强化学习的观测数据通常是有噪声的，并且其中一部分可能随着时间的推移而动态丢失，这违反了许多当前为此开发的方法的假设。在部分可观测马尔可夫决策过程（POMDP）的框架内，采用基于模型的方法，利用新提出的具有局部逼近的替代损失函数，从不完全和噪声观测中估计过渡模型，并借助信念估算学习策略和价值函数.对于后者的目的，生成模型的构建和无缝地纳入POMDP的信念更新过程，这使得强大的执行，即使在显着的不完整性和噪声。所提出的方法的有效性进行了验证的基准任务的集合，表明我们的方法优于几个比较的方法在各种具有挑战性的情况下。
2019-02-15 cs.AI cs.LG stat.ML
Monte Carlo Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
贝叶斯强化学习（BRL）将世界的先验知识编码到模型中，并通过保持模型参数的概率分布来表示模型参数的不确定性。本文介绍了蒙特卡罗BRL（MC-BRL），一种简单而通用的方法BRL。MC-BRL对模型参数值的有限假设集进行先验采样，并形成离散的部分可观察马尔可夫决策过程（POMDP），其状态空间是强化学习任务的状态空间和采样的模型参数空间的叉积。POMDP不需要共轭分布的信念表示，早期的作品，可以解决相对容易的基于点的近似算法。MC-BRL自然处理完全和部分可观察的世界。理论和实验结果表明，离散POMDP近似的底层BRL任务很好地保证性能。
2012-06-27 cs.LG stat.ML
C-IDS: Solving Contextual POMDP via Information-Directed Objective
Department of Electrical and Computer Engineering, University of Florida, Gainesville, Florida 32608, USA（电气与计算机工程系，佛罗里达大学，盖恩斯维尔，佛罗里达州32608，美国）；Aerospace Engineering, DEVCOM Army Research Laboratory, Adelphi, MD 21001, USA（航空航天工程，DEVCOM陆军研究实验室，阿德里菲，马里兰州21001，美国）
C-IDS通过信息导向目标在上下文POMDP中提升回报和上下文识别效率
2026-02-03 cs.LG cs.SY eess.SY
Scalable Policy-Based RL Algorithms for POMDPs
UIUC（伊利诺伊大学香槟分校）
本文提出将POMDP近似为有限状态MDP，用线性函数逼近的基于策略方法求解，理论证明误差随历史长度指数衰减，并给出首个非马尔可夫动态下TD学习的有限时间误差界。
2025-10-13 cs.AI cs.LG stat.ML
A Covering Framework for Offline POMDPs Learning using Belief Space Metric
Northwestern University（西北大学）
本文提出一种利用信念空间度量的离线POMDP学习覆盖框架，通过分析价值相关函数的Lipschitz连续性，缓解时间与内存的指数增长，提升样本效率。
2026-03-03 cs.LG math.OC stat.ML
Computationally Efficient PAC RL in POMDPs with Latent Determinism and Conditional Embeddings
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
研究了大规模部分可观测马尔可夫决策过程（POMDPs）的函数逼近强化学习，其中状态空间和观测空间都很大甚至是连续的。特别地，我们考虑POMDP的Hilbert空间嵌入，其中潜在状态的特征和观测的特征允许观测发射过程的条件Hilbert空间嵌入，并且潜在状态转移是确定性的。在最优潜在状态-动作$Q$ -函数在状态特征上是线性的，并且最优$Q$ -函数在动作上有间隙的函数近似设置下，我们提供了一个寻找\emph{exact optimal}策略的\emph{computationally and statistically efficient}算法.我们展示了我们的算法的计算和统计复杂性尺度多项式的地平线和内在维度的观察空间上的功能。此外，我们证明了确定性的潜在转移和间隙假设是必要的，以避免统计复杂性指数的水平或维度。由于我们的保证没有明确的依赖于状态和观测空间的大小，我们的算法可证明规模大规模POMDPs。
2022-06-24 cs.LG stat.ME stat.ML
Online Learning for Unknown Partially Observable MDPs
University of Southern California（南加州大学）
求解部分可观测马尔可夫决策过程（POMDP）是一个困难的问题。当模型未知时，学习POMDPs的最优控制器是困难的。未知POMDP的最优控制器的在线学习，这需要使用有效权衡探索和利用的遗憾最小化算法的有效学习，甚至更难，并且目前不存在解决方案。本文研究了转移模型未知但观测模型已知的无限时间平均费用POMDP问题。我们提出了一种基于自然后验采样的强化学习算法（PSRL-POMDP），并证明了当参数集有限时，它达到了$O(\log T)$的遗憾界，其中$T$是时间范围。在一般情况下（连续参数集），我们表明，该算法实现了$O (T^{2/3})$遗憾的两个技术假设。据我们所知，这是POMDPs的第一个在线RL算法，具有次线性遗憾。
2021-06-14 cs.LG
Improved POMDP Tree Search Planning with Prioritized Action Branching
Stanford University（斯坦福大学）；General Motors（通用汽车）
部分可观测马尔可夫决策过程的在线求解器很难扩展到具有大动作空间的问题。本文提出了一种称为PA-POMCPOW的方法来对动作空间的子集进行采样，该动作空间提供了不同的开发和探索混合物，以包含在搜索树中。所提出的方法首先评估的行动空间，根据一个评分函数，这是一个线性组合的预期回报和预期的信息增益。然后在树扩展期间将具有最高分数的动作添加到搜索树。实验表明，PA-POMCPOW是能够超越现有的国家的最先进的解决方案的问题与大的离散动作空间。
2020-10-07 cs.AI cs.LG
A Policy Gradient Method for Confounded POMDPs
Johns Hopkins University（约翰斯·霍普金斯大学）；George Washington University（乔治华盛顿大学）
本文首次在离线场景下针对混杂POMDPs提出策略梯度方法，通过新颖的识别结果和极小极大学习估计策略梯度，并证明了有限样本界和全局收敛性。
2023-12-01 cs.LG econ.EM math.ST
Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs
Imperial College London（帝国理工学院）
健康相关数据在暗示患者的真实生理状态方面是噪声和随机的，限制了用于顺序临床决策的单时刻观察中包含的信息。我们将患者与临床医生的相互作用建模为部分可观察的马尔可夫决策过程（POMDPs），并根据从历史序列推断的信念状态优化顺序治疗。为了便于推理，我们建立了一个变分生成模型，并使用递归神经网络（RNN）增强状态表示，并结合了序列自动编码的辅助损失。同时，我们优化了一个连续的药物水平的政策与行动者-评论家的方法，其中策略梯度从一个稳定的政策外估计的优势函数，与并行的最佳优先后缀树支持的信念状态的值。我们利用我们的方法，使用回顾性重症监护数据集优化脓毒症患者的血管加压药和静脉输液剂量，并使用政策外政策评估（OPPE）评估学习的政策。结果表明，建模为POMDP产生更好的性能比MDP，并将启发式搜索提高样本效率。
2019-05-17 cs.AI cs.LG
Active Inference and Reinforcement Learning: A unified inference on continuous state and action spaces under partial observability
University of Toronto（多伦多大学）
本文提出统一原理建立主动推理与强化学习的理论联系，在连续空间POMDP中克服两者局限，通过最小化期望自由能结合利用与探索行为，实现无需显式奖励设计的有效学习。
2024-05-31 cs.AI cs.LG
Q-Learning for MDPs with General Spaces: Convergence and Near Optimality via Quantization under Weak Continuity
University of Michigan（密歇根大学）；Bilkent University（比尔肯特大学）；Queen’s University（女王大学）
本文提出Quantized Q-Learning方法，在仅要求转移核弱连续的温和条件下，通过将状态和动作量化并视为POMDP，证明了针对连续空间MDP的Q-learning收敛性及近最优性。
2023-09-07 cs.LG cs.SY eess.SY
Optimal Recommendation to Users that React: Online Learning for a Class of POMDPs
IIT Bombay（印度理工学院孟买分校）；Indian Institute of Science（印度科学学院）
我们描述和研究一个模型的自动在线推荐系统（AORS）中，用户的偏好可以是时间依赖的，也可以依赖于历史的过去的建议和播放。与现有的推荐系统模型相比，该模型的三个关键特征使其更加现实：（1）用户偏好本质上是潜在的，（2）当前的推荐可以影响未来的偏好，以及（3）它允许开发具有可证明性能保证的学习算法。该问题是铸造作为一个平均成本的不安分的多臂土匪为一个给定的用户，一个独立的部分可观察马尔可夫决策过程（POMDP）的每一项内容。我们分析了单臂的POMDP，描述了它的结构特性，并描述了它的最优策略。然后，我们开发了一个基于汤普森采样的在线强化学习算法来学习模型的参数，并从用户对连续推荐的二进制响应中优化效用。然后，我们分析的性能的学习算法和表征的遗憾。说明性的数值结果和方向扩展到不安分的隐马尔可夫多臂土匪问题。
2016-03-30 cs.LG
Toward Learning POMDPs Beyond Full-Rank Actions and State Observability
MIT Computer Science and Artificial Intelligence Lab（麻省理工学院计算机科学与人工智能实验室）；DEVCOM Army Research Laboratory（陆军研究实验室）
本文提出了一种基于PSR方法学习POMDP参数的方法，通过张量分解估计相似变换，实现状态划分下的转移和观察模型学习，并展示了其在不同奖励函数下的应用潜力。
2026-09-10 cs.AI cs.LG cs.RO
R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models
Rochester Institute of Technology（罗切斯特理工学院）；VERSES AI Research Lab（VERSES AI 研究实验室）；University of Sussex（萨塞克斯大学）
本文提出R-AIF，通过引入新颖的先验偏好学习技术和自我修正计划，解决稀疏奖励下连续动作空间POMDPs的机器人控制问题，在累积奖励、稳定性和成功率上优于现有模型。
2024-09-21 cs.AI cs.CV cs.LG
ODE-based Recurrent Model-free Reinforcement Learning for POMDPs
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出一种基于ODE的循环模型与无模型强化学习框架相结合的方法，用于求解POMDP，在PO连续控制和元RL任务中验证了有效性，并展示了对不规则观测的鲁棒性。
2023-10-29 cs.AI cs.LG
Hierarchical Object-Oriented POMDP Planning for Object Rearrangement
Oregon State University（俄勒冈州立大学）
针对部分可观测多房间环境中多物体重排问题，提出分层面向对象POMDP（HOO-POMDP）规划框架及MultiRoomR基准数据集，通过子目标生成、低级策略和抽象系统提升适应性，实验验证其在复杂场景中的稳健性能。
2025-08-25 cs.AI cs.LG cs.RO
POMDP-Driven Cognitive Massive MIMO Radar: Joint Target Detection-Tracking In Unknown Disturbances
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央高等电力学院）；DR2I-IPSA（DR2I-IPSA机构）；SAMOVAR（SAMOVAR机构）；Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
本文提出基于POMDP框架的认知MIMO雷达在线算法，在未知噪声环境中联合优化目标检测与跟踪，相比SARSA算法取得显著性能提升。
2025-03-05 cs.LG eess.SP stat.AP
A2: Extracting Cyclic Switchings from DOB-nets for Rejecting Excessive Disturbances
强化学习（RL）在实践中受到灰盒性质的限制，灰盒性质导致用户信任度不足、对人工干预的解释不满意、对未来改进的分析不充分等。从RL获得的DOB-网解决了一组部分可观察马尔可夫决策过程（POMDP）。每个POMDP的过渡函数在很大程度上取决于环境，这是过度的外部干扰，在本研究中。本文提出了一种基于注意力的抽象（A ${}^2$）的方法来提取一个有限状态自动机，被称为一个关键摩尔机网络（KMMN），捕捉切换机制所表现出的DOB网络在处理多个这样的POMDPs。该方法首先通过学习连续-离散界面来量化受控平台。然后，它提取KMMN通过找到关键的隐藏状态和转移，吸引足够的注意力从DOB网。在由此产生的KMMN，本研究发现三种模式的循环切换（关键隐藏状态之间），显示其饱和附近的控制与未知的干扰同步。有趣的是，发现的切换机制已经出现在以前的混合动力控制的设计经常饱和的系统。通过类比混合控制中的离散事件子系统，进一步解释了它。
2019-11-01 cs.LG cs.RO
ChronosPerseus: Randomized Point-based Value Iteration with Importance Sampling for POSMDPs
Royal Military College of Canada（加拿大皇家军事学院）
在强化学习中，智能体已经成功地使用了用马尔可夫决策过程（MDP）建模的环境。然而，在许多问题域中，代理可能会遭受噪声观测或随机时间，直到其随后的决定。虽然部分可观测马尔可夫决策过程（POMDPs）已经处理了噪声观测，但它们尚未处理未知时间方面。当然，我们可以将时间离散化，但这会导致贝尔曼的非理性诅咒。为了将连续sojourn时间分布在代理的决策，我们建议，部分可观察的半马尔可夫决策过程（POSMDP）在这方面可能是有帮助的。我们扩展\citet{Spaan2005a}随机基于点的值迭代（PBVI）\textsc{Perseus}算法用于POMDP POSMDP通过纳入连续逗留时间分布和使用重要性采样，以减少求解器的复杂性。我们把这种新的基于重要性采样的POSMDP的PBVI算法称为\textsc{ChronosPerseus}。这通过将时间状态信息移动到POMSDP的状态逗留时间中来进一步允许压缩的复杂POMDP需要时间状态信息。第二个观点是，保持一组采样时间并根据其可能性对其进行加权可以在单个备份中使用;这有助于进一步降低算法复杂性。解决者还可以处理情节性和非情节性问题。最后，我们的文件与两个例子，一个情节总线问题和非情节维护问题。
2022-07-16 cs.AI cs.LG
Model Validation of Agentic AI Systems: A POMDP-Based Framework for Belief-State, Forecast, and Policy Validation
Quiota LLC（Quiota公司）
提出基于部分可观测马尔可夫决策过程（POMDP）的智能体AI模型验证框架，将自主决策分解为信息、信念、预测、动作和效用组件独立验证，并通过投资组合管理案例展示其有效性。
2026-06-17 cs.AI cs.LG q-fin.RM
Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making
DeepMind（深度思维）；Princeton University（普林斯顿大学）；Google Research India（谷歌印度研究院）；University of Alberta（阿尔伯塔大学）
本文介绍一种简单有效的一般序贯决策学习算法。该算法结合了最大似然估计和最乐观的探索模型估计，这因此被称为OMLE。我们证明了OMLE学习的一个非常丰富的类序列决策问题的多项式样本数的近优政策。这个丰富的类不仅包括大多数已知的易处理的基于基于模型的强化学习（RL）问题（如表MDP，因子MDP，低见证秩问题，表弱揭示/可观察POMDP和多步可解码POMDP），而且还包括许多新的具有挑战性的RL问题，特别是在部分可观察的设置中，以前不知道是易处理的。值得注意的是，本文所解决的新问题包括：（1）具有连续观测和函数逼近的可观测POMDPs，其中我们获得了与观测空间大小完全无关的第一样本复杂度;（2）良态低秩序贯决策问题（也称为预测状态表示（PSR）），其包括并概括在更内在的表示下的所有已知易处理的POMDP示例;（3）SAIL条件下的一般序贯决策问题，统一了我们对完全可观察和部分可观察两种情况下基于模型强化学习的理解。本文证明了SAIL条件，它可以看作是Bellman/witness秩的自然推广，以解决部分能观性问题。本文还提出了一种无奖励的OMLE算法，它学习近似的动态模型，使计算接近最优的政策，同时为所有的奖励功能。
2022-11-23 cs.AI cs.LG stat.ML
Belief Embedding Tree Search
University of Alberta（阿尔伯塔大学）；Charles University（查理大学）；EquiLibre Technologies, Inc.（EquiLibre科技公司）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本研究提出信念嵌入树搜索（BETS），一种用生成式分布嵌入表示信念的蒙特卡洛规划器，在RockSample等6种POMDP任务上，BETS优于BetaZero等基线规划器，尤其在高维信念场景表现突出。
2026-10-14 cs.AI cs.LG
FLoRa: Flight-Assisted Data Collection from Duty Cycling LoRa Nodes under Energy Constraints
Indian Institute of Technology Tirupati（蒂鲁帕蒂印度理工学院）
FLoRa提出多级优化架构，结合SA路径规划、CMA-ES悬停定位和POMDP探测决策，在能量约束下高效收集占空比LoRa节点数据，显著提升信息价值和覆盖率。
2026-10-08 cs.LG cs.NI
DualSMC: Tunneling Differentiable Filtering and Planning under Continuous POMDPs
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Institute for Advanced Study（高等研究院）；Massachusetts Institute of Technology（麻省理工学院）
求解连续POMDPs的一个主要困难是推断未观察到的真实状态的多模态分布，并使规划算法依赖于感知的不确定性。我们投POMDP过滤和规划问题作为两个密切相关的顺序蒙特卡罗（SMC）过程，一个在真实的状态和其他未来的最佳轨迹，并结合这两个部分的优点，在一个新的模型命名为DualSMC网络。特别是，我们首先介绍了一种对抗性粒子滤波器，它利用了其内部组件之间的对抗关系。基于过滤结果，我们提出了一种规划算法，该算法扩展了以前的SMC规划方法[Piche等人，2018年]连续POMDPs与不确定性依赖的政策。至关重要的是，DualSMC不仅可以处理复杂的观察，如图像输入，而且它仍然具有高度的可解释性。它被证明是有效的，在三个连续的POMDP域：地板定位域，3D明暗导航域，和修改后的Reacher域。
2020-05-07 cs.AI cs.LG cs.RO
A Minimax Learning Approach to Off-Policy Evaluation in Confounded Partially Observable Markov Decision Processes
London School of Economics and Political Science（伦敦政治经济学院）；Cornell University（康奈尔大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑部分可观测马尔可夫决策过程（POMDPs）中的离政策评估（OPE），其中评估策略仅取决于可观测变量，而行为策略取决于不可观测的潜变量。现有的作品要么假设没有不可测量的混杂因素，或专注于设置的观察和状态空间是表格。在这项工作中，我们首先提出了新的识别方法OPE POMDPs与潜在的混淆，通过引入桥梁功能，连接目标政策的价值和观察到的数据分布。接下来，我们提出了极小极大估计方法学习这些桥函数，并构造三个估计器的基础上，这些估计的桥函数，相应的价值函数为基础的估计，边缘化重要性采样估计，和双重鲁棒估计。我们的建议允许一般函数近似，因此适用于连续或大的观测/状态空间的设置。详细研究了估计量的非渐近性和渐近性。
2022-06-15 cs.LG stat.ML
A Convolution and Attention Based Encoder for Reinforcement Learning under Partial Observability
School of Engineering, The University of Newcastle（工程学院，新castle大学）
针对部分可观测强化学习问题，提出基于深度可分离卷积和自注意力的轻量级时序编码器，集成于actor-critic框架，在连续控制基准上取得优越性能并提升系统可扩展性。
2025-09-13 cs.AI cs.LG
Approximate Control for Continuous-Time POMDPs
Technische Universität Darmstadt（达姆施塔特工业大学）；Department of Electrical Engineering and Information Technology（电气工程与信息技术学院）
针对连续时间、离散状态与动作空间的部分可观测系统，本文用参数化投影近似滤波分布并结合完全可观测控制启发式，提出可扩展决策框架，且在排队和化学反应网络中验证有效。
2024-02-29 cs.LG cs.SY eess.SY
Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
University of California, Irvine（加州大学欧文分校）；The George Washington University（乔治华盛顿大学）
研究了具有连续状态的部分可观测马尔可夫决策过程的离政策评估问题。受最近提出的近端因果推断框架的启发，我们开发了一个非参数识别结果，通过一系列所谓的V桥函数的帮助下，随时间变化的代理变量的政策价值估计。然后，我们开发了一个合适的Q评估型算法来估计V桥函数递归，其中一个非参数工具变量（NPIV）的问题是解决在每一步。通过分析这一具有挑战性的顺序NPIV问题，我们建立了有限样本误差界估计的V-桥功能，从而评估政策的价值，在样本量，地平线的长度和所谓的（本地）措施在每一步的不适定性。据我们所知，这是非参数模型下POMDPs中OPE的第一个有限样本误差界。
2022-10-16 cs.LG math.ST stat.ML
Safe Reinforcement Learning in Tensor Reproducing Kernel Hilbert Space
University College London（伦敦大学学院）
本文针对部分可观测环境中的安全强化学习问题，提出基于预测状态表示和再生核希尔伯特空间的随机模型方法，在欠完备性假设下建立了多项式样本复杂度并保证ε-次优安全策略。
2023-12-01 cs.AI cs.LG cs.SY
A Study of Policy Gradient on a Class of Exactly Solvable Models
McGill University（麦吉尔大学）；MILA（米拉人工智能研究所）；DeepMind（深度思维）
策略梯度方法被广泛用于强化学习中，作为优化期望收益的一种方法。在本文中，我们探讨的政策参数的演变，为一类特殊的精确可解POMDPs，作为一个连续状态马尔可夫链，其转移概率是由政策的值的分布的梯度。我们的方法在很大程度上依赖于随机游走理论，特别是仿射Weyl群。我们构造了一类新的部分可观测的环境，可控的探索难度，在其中的价值分布，因此，政策参数的演变，可以推导出解析。利用这些环境，我们分析了策略梯度的概率收敛到不同的局部最大值的价值函数。据我们所知，这是第一种方法，分析计算景观的策略梯度POMDPs一类这样的环境，导致有趣的见解，这个问题的难度。
2020-11-03 cs.LG math.PR
Efficient Learning of Discrete-Continuous Computation Graphs
NEC Laboratories Europe（NEC欧洲实验室）；University of Mannheim（曼海姆大学）
针对包含多个顺序离散组件的复杂离散-连续计算图难以优化的问题，提出增加Gumbel噪声尺度参数和dropout残差连接两种策略，成功训练出标准softmax技巧无法训练的模型，并在多个基准数据集上展现出优于连续模型的泛化能力。
2023-07-26 cs.LG
Optimizing Empty Container Repositioning and Fleet Deployment via Configurable Semi-POMDPs
Politecnico di Milano（米兰理工大学）；InstaDeep
随着全球经济和市场的不断发展，资源不平衡已经成为现实物流场景中的核心问题之一。在海上运输中，这种贸易不平衡导致了空箱调运问题。一旦货物从出口国交付到进口国，满载货物将变成空集装箱，需要重新定位以满足出口国的新货物需求。在这样的问题中，任何合作重新定位策略可以实现的性能严格取决于船舶将遵循的路线（即，舰队部署）。从历史上看，运筹学（OR）方法被提出来共同优化重新定位政策以及船队。然而，集装箱未来供应和需求的随机性，以及环境中存在的黑箱和非线性约束，使得这些方法不适合这些场景。在本文中，我们介绍了一种新的框架，可配置的半POMDPs，这类问题的模型。此外，我们提供了一个两阶段的学习算法，“配置和征服”（CC），首先配置环境，找到一个近似的最佳舰队部署策略，然后“征服”它通过学习ECR政策在这个调整的环境设置。我们验证我们的方法在大型和现实世界的问题的情况下。我们的实验强调CC避免了OR方法的陷阱，并且它成功地优化了ECR政策和船队，从而在世界贸易环境中获得了卓越的性能。
2022-07-25 cs.AI cs.LG cs.MA
Learning Disentangled Joint Continuous and Discrete Representations
Schlumberger Software Technology Innovation Center（斯伦贝谢软件技术创新中心）
我们提出了一个框架，学习解开和可解释的联合连续和离散表示在无监督的方式。通过增加一个宽松的离散分布和控制的信息量编码在每个潜在的单位的连续潜在分布的变分自动编码器，我们展示了如何连续和分类的变化因素可以发现自动从数据。实验表明，该框架在各种数据集上对连续和离散生成因子进行了分离，并且在离散生成因子突出时优于当前的分离方法。
2018-10-22 cs.LG stat.ML
CANDI: Hybrid Discrete-Continuous Diffusion Models
Purdue University, West Lafayette, U.S.A（普渡大学）；Google Deepmind（谷歌DeepMind）
研究连续扩散应用于离散数据表现不佳的问题，提出CANDI混合框架解耦离散和连续破坏，实现同时学习，在受控生成和文本生成中分别展现优势，解锁连续扩散对离散空间的好处。
2026-07-14 cs.LG stat.ML
A Continuous Time Framework for Discrete Denoising Models
University of Oxford（牛津大学）；CNRS ENS Ulm（法国国家科学研究中心 巴黎高等师范学院）
我们提供了第一个完整的连续时间框架去噪离散数据的扩散模型。这是通过将前向噪声过程和相应的反向时间生成过程公式化为连续时间马尔可夫链（CTMC）来实现的。该模型可以使用ELBO的连续时间版本进行有效训练。我们模拟高维CTMC使用化学物理中开发的技术，并利用我们的连续时间框架，以获得高性能的采样器，我们可以表现出优于离散时间方法的离散数据。连续时间的处理也使我们能够得到一个新的理论结果之间的误差产生的样本分布和真实的数据分布的边界。
2022-10-14 cs.LG stat.ML
Learning Discrete and Continuous Factors of Data via Alternating Disentanglement
Seoul National University（首尔大学）
我们解决的问题，无监督的解纠缠的离散和连续的解释因素的数据。我们首先展示了一个简单的程序，用于最小化连续潜变量的总相关性，而不必使用一个神经网络或执行重要性采样，通过级联的信息流在$β$ -神经网络框架。此外，我们提出了一种方法，它避免卸载的整个负担，联合建模的连续和离散的因素，变分编码器采用单独的离散推理过程。这导致了一个有趣的交替最小化问题，该问题在给定连续因子的情况下找到最可能的离散配置和基于计算出的离散因子更新变分编码器之间切换。实验结果表明，该方法能够清晰地对离散因子进行解缠，并在解缠得分和推理网络分类得分上明显优于现有的解缠方法。源代码可在https://github.com/snu-mllab/DisentanglementICML19上获得。
2019-05-23 cs.LG stat.ML
Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data
RIKEN AIP Center（理化学研究所人工智能项目中心）；Shiga University（滋贺大学）
从观测数据中估计因果模型是数据分析中的一项重要任务。对于连续值数据，Shimizu等人提出了一种线性非循环非高斯模型来理解数据生成过程，并表明当数据数量足够大时，他们的模型是可识别的。然而，连续变量和离散变量共存于同一问题中的情况在实践中很常见。大多数现有的因果发现方法或者忽略离散数据并应用连续值算法，或者将所有连续数据离散化，然后应用离散贝叶斯网络方法。这些方法在忽略离散数据或离散化引入近似误差时，可能会丢失重要信息。在本文中，我们定义了一个新的混合因果模型，它包括连续和离散变量。该模型假设：（1）连续变量的值是其父变量加上非高斯噪声的线性函数，以及（2）每个离散变量是逻辑变量，其分布参数取决于其父变量的值。此外，我们推导出BIC评分函数的模型选择。新算法可以从连续和离散数据中学习因果结构，而不需要离散化。我们通过全面的模拟经验证明了我们的方法的力量。
2018-02-16 cs.AI cs.LG stat.ML
Discrete-Continuous Smoothing and Mapping
Massachusetts Institute of Technology (MIT)（麻省理工学院）
我们描述了一个一般的方法，最大后验概率（MAP）的推理在一类离散连续的因素图中经常遇到的机器人应用。虽然有公开可用的工具，提供灵活和易于使用的接口，用于指定和解决推理问题制定的离散或连续的图形模型，目前，没有类似的通用工具存在，使相同的功能，为混合离散连续的问题。我们的目标是解决这个问题。特别是，我们提供了一个库，DC-SAM，扩展现有的工具定义的因素图的设置的离散连续模型的推理问题。我们的工作的一个关键贡献是一个新的求解器，有效地恢复近似解离散连续推理问题。我们的方法的关键见解是，虽然连续和离散状态空间的联合推理通常很难，但许多常见的离散-连续问题可以自然地分为“离散部分”和“连续部分”，可以单独轻松解决。利用这种结构，我们以交替的方式优化离散和连续变量。因此，我们提出的工作可以直接表示和近似推理的离散连续图形模型。我们还提供了一种方法来近似离散和连续变量估计的不确定性。我们证明了我们的方法的多功能性，通过其应用到不同的机器人感知应用程序，包括强大的姿态图优化，基于对象的映射和定位。
2022-11-17 cs.AI cs.LG cs.RO
Decomposable Submodular Function Minimization: Discrete and Continuous
Boston University（波士顿大学）；Northeastern University（东北大学）；London School of Economics（伦敦政治经济学院）
本文研究了可分解次模函数极小化的离散方法和连续方法之间的联系。我们提供了改进的运行时间估计的最先进的连续算法的问题，使用组合参数。我们还提供了一个系统的实验比较的两种类型的方法，基于0级和1级算法之间的明确区分。
2017-03-06 cs.DS cs.LG
