Speeding Up the Convergence of Value Iteration in Partially Observable Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
部分可观测马尔可夫决策过程（POMDPs）最近在许多人工智能研究人员中很受欢迎，因为它们可以作为不确定性下规划的自然模型。值迭代是一个著名的算法，为POMDPs寻找最优策略。它通常需要大量的迭代来收敛。本文提出了一种加速数值迭代收敛的方法。该方法已在一系列基准问题上进行了评估，发现非常有效：它使值迭代在所有测试问题上仅经过几次迭代后就收敛。
2011-06-01 cs.AI
Hierarchical Linearly-Solvable Markov Decision Problems
Universitat Pompeu Fabra（庞培法布拉大学）
我们提出了一个分层的强化学习框架，制定的层次结构中的每个任务作为一个特殊类型的马尔可夫决策过程的贝尔曼方程是线性的，并有解析解。这种类型的问题，称为线性可解的MDP（LMDP）有有趣的属性，可以利用在一个层次的设置，如有效的学习的最佳价值函数或任务组合。所提出的分层方法也可以被看作是一种新的替代解决LMDP与大的状态空间。我们推导出一个分层版本的所谓的Z-学习算法，学习不同的任务，同时经验表明，它显着优于国家的最先进的学习方法在两个经典的分层强化学习域：出租车域和自主引导车辆的任务。
2016-03-10 cs.AI
Value-Function Approximations for Partially Observable Markov Decision Processes
Brown University（布朗大学）
部分可观测马尔可夫决策过程（POMDPs）提供了一个优雅的数学框架，用于建模复杂的决策和规划问题的随机域中，系统的状态只能间接观察，通过一组不完美的或嘈杂的意见。然而，POMDPs的建模优势是有代价的--求解它们的精确方法在计算上非常昂贵，因此在实践中只适用于非常简单的问题。我们专注于有效的近似（启发式）的方法，试图减轻计算问题和权衡速度的准确性。我们有两个目标。首先，我们综述了各种近似方法，分析了它们的性质和关系，并对它们的差异提供了一些新的见解。其次，我们提出了一些新的近似方法和现有技术的新改进。从代理导航域的问题上的实验支持的理论结果。
2011-06-01 cs.AI
Human-in-the-Loop Synthesis for Partially Observable Markov Decision Processes
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Radboud University（拉德堡德大学）；Albert-Ludwigs-Universität Freiburg（弗莱堡大学）；Worcester Polytechnic Institute (WPI)（伍斯特理工学院）
我们研究规划问题，其中自主智能体内的环境，是受不确定性和不完全可观察的。部分可观察马尔可夫决策过程（POMDP）是捕捉此类问题的自然形式模型。由于POMDPs中潜在的巨大甚至无限的信念空间，具有安全保证的合成通常在计算上是难以处理的。我们提出了一种方法，旨在规避这一困难：在虚拟环境中可以部分或完全模拟的情况下，我们积极整合人类用户来控制代理。当用户反复尝试在模拟中安全地引导代理时，我们从人工输入中收集数据。通过行为克隆，我们将数据转化为POMDP的策略。该策略解决了POMDP的所有不确定性和不可观测性，从而得到离散时间马尔可夫链（MC）。该MC的有效验证通过证明或证伪给定的系统规范来定量地洞察推断出的人类策略的质量。对于这种情况下，该战略的质量是不够的，我们提出了一种改进方法，使用反例提交给人类。实验表明，通过将人类纳入POMDP验证循环，我们在可扩展性方面提高了几个数量级的最新技术水平。
2018-02-27 cs.AI
Reinforcement Learning in Partially Observable Markov Decision Processes using Hybrid Probabilistic Logic Programs
Gulf University for Science and Technology（海湾科技大学）
我们提出了一个概率逻辑编程框架，强化学习，通过集成强化学习，在POMDP环境中，与正常的混合概率逻辑程序与概率答案集语义，这是能够表示特定领域的知识。我们正式证明了我们的方法的正确性。我们证明了在我们的方法中为强化学习问题找到策略的复杂性是NP完全的。此外，我们证明了任何强化学习问题都可以编码为具有答案集语义的经典逻辑程序。我们还表明，一个强化学习问题可以编码为SAT问题。我们提出了一个新的高层次的动作描述语言，允许POMDP的因子表示。此外，我们修改了POMDP的原始模型，使它能够区分知识生产行动和行动，改变环境。
2010-11-27 cs.AI
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标，同时忽略不相关的感知。人类和动物依靠前额叶皮层（PFC）和基底神经节（BG）之间的相互作用来实现这种称为工作记忆（WM）的焦点。工作记忆工具包（WMtk）是基于这种现象的计算神经科学模型与自治系统的时间差异（TD）学习开发的。工具包的最新调整要么利用抽象任务表示（ATR）来解决不可观察（NO）任务，要么存储过去的输入特征来解决部分可观察（PO）任务，但不能两者兼而有之。我们提出了一个新的模型，PONOWMtk，它结合了这两种方法，ATR和输入存储，与一个静态或动态的ATR数量。我们的实验结果表明，PONOWMtk执行有效的任务，表现出PO，NO，或两者兼而有之。
2020-04-22 cs.AI
Hierarchical Solution of Markov Decision Processes using Macro-actions
University of British Columbia（不列颠哥伦比亚大学）；Brown University（布朗大学）
我们调查使用时间抽象的行动，或宏行动，在解决方案的马尔可夫决策过程。与目前的模型，结合原始动作和宏动作，并保持状态空间不变，我们提出了一个分层模型（使用一个抽象的MDP），只与宏动作，并显着减少了状态空间的大小。这是通过将宏观行动视为在状态空间的某些区域中起作用的局部政策，并将抽象MDP中的状态限制为区域边界上的状态来实现的。抽象的MDP近似原始的，可以更有效地解决。我们讨论了几种方法，可以生成宏动作，以确保良好的解决方案的质量。最后，我们考虑的方式，可以重用宏动作来解决多个相关的MDP，我们表明，这可以证明宏动作生成的计算开销。
2013-01-30 cs.AI
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
众所周知，对于任何有限状态的马尔可夫决策过程（MDP），都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程（POMDPs），最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题，并制定了相应的几何框架。我们表明，任何POMDP有限的随机性，这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明，该方法能够更好，更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
Hierarchical Representation Learning for Markov Decision Processes
Dept. Information and Communication Technologies, Universitat Pompeu Fabra（庞培法布拉大学信息与通信技术系）；Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）
在本文中，我们提出了一种新的方法来学习马尔可夫决策过程的层次表示。我们的方法通过将状态空间划分为子集，并定义子任务来执行分区之间的转换。我们制定的状态空间划分的问题作为一个优化问题，可以解决使用梯度下降给定的一组采样轨迹，使我们的方法适用于高维问题与大的状态空间。我们经验验证的方法，通过显示，它可以成功地学习一个有用的层次表示在导航域。一旦学会，分层表示可以用于解决给定领域中的不同任务，从而跨任务概括知识。
2021-12-19 cs.AI cs.LG
Partially Observable Markov Decision Process for Recommender Systems
Hong Kong University of Science and Technology（香港科技大学）
我们报告的“经常性恶化”（RD）现象观察到在线推荐系统。当推荐模型总是基于用户对先前推荐的反馈进行训练时，RD现象表现为性能下降的趋势。有几个原因的推荐系统遇到RD现象，包括缺乏负训练数据和用户的兴趣的演变，等等。出于解决问题，导致RD现象，我们提出了POMDP-Rec框架，这是一个神经优化的部分可观察马尔可夫决策过程算法的推荐系统。我们证明了POMDP-Rec框架有效地使用了来自真实世界推荐系统的累积历史数据，并自动实现了与那些通过公共数据集上的域导出进行彻底微调的模型相当的结果。
2016-09-01 cs.AI cs.IR
Deep Recurrent Q-Learning vs Deep Q-Learning on a simple Partially Observable Markov Decision Process with Minecraft
Ynov Informatique（Ynov信息技术学院）
在过去的几年里，深度Q学习已经成功地应用于各种各样的任务。然而，香草Deep Q-Network的架构不适合处理部分可观察的环境，如3D视频游戏。为此，Deep Q-Network中添加了递归层，以允许它处理过去的依赖关系。我们在这里使用Minecraft的定制优势，并设计了两个非常简单的任务，可以作为部分可观测马尔可夫决策过程的框架。我们在这些任务中比较了深度Q网络和深度递归Q网络，以了解后者是否总是最好的架构，当代理必须处理部分可观测性时，后者更棘手，训练时间更长。
2019-04-11 cs.AI cs.LG cs.NE
Inferring Reward Machines and Transition Machines from Partially Observable Markov Decision Processes
针对部分可观测环境中的非马尔可夫性，提出转移机器与双重行为米利机统一表示，并开发DB-RPNI算法高效推断最小正确自动机，速度提升达三个数量级。
2025-08-03 cs.AI cs.LG
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）
本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
Hierarchical Average-Reward Linearly-solvable Markov Decision Processes
Universitat Pompeu Fabra（庞培法布拉大学）
本研究针对无限时域平均奖赏下的LMDPs提出分层强化学习方法，通过状态空间划分子任务、利用划分等价性与低层任务组合性实现高效学习，性能较平面方法高一到数个数量级。
2024-07-09 cs.AI cs.LG
Interpretable Hidden Markov Model-Based Deep Reinforcement Learning Hierarchical Framework for Predictive Maintenance of Turbofan Engines
Software Competence Center Hagenberg（哈根贝格软件能力中心）；Technological University of Dublin（都柏林理工大学）
深度强化学习中的一个开放性研究问题是如何将关键决策的策略学习集中在稀疏域中。本文强调结合输入输出隐马尔可夫模型和强化学习的优势，对可解释的维修决策。我们提出了一种新的分层建模方法，在高层次上，检测和解释故障的根本原因以及健康退化的涡扇发动机，而在低层次上，它提供了最佳的更换政策。它的性能优于直接应用于原始数据的深度强化学习方法的基线性能，或者在没有这种专门层次结构的情况下使用隐马尔可夫模型。它还提供了与以前的工作相当的性能，但是，具有可解释性的额外好处。
2023-01-11 cs.AI cs.LG
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性，提出统一价值函数和广义贝尔曼方程，实现独立执行选择与改进，实验验证互补收益。
2026-10-06 cs.AI cs.LG
Decentralized Control of Partially Observable Markov Decision Processes using Belief Space Macro-actions
MIT（麻省理工学院）
本文的重点是解决连续空间中部分可观性的多机器人规划问题。分散部分可观测马尔可夫决策过程（Dec-POMDP）是多机器人协调问题的通用模型，但对于大型问题，Dec-POMDP的表示和求解往往比较困难。为了允许一个高层次的表示，这是自然的多机器人问题和可扩展到大型离散和连续的问题，本文扩展了Dec-POMDP模型的分散部分可观察的半马尔可夫决策过程（Dec-POSMDP）。的Dec-POSMDP制定允许异步决策的机器人，这是至关重要的多机器人域。我们还提出了一个算法来解决这个Dec-POSMDP这是更可扩展的比以前的方法，因为它可以将闭环的信念空间的宏观行动规划。这些宏操作被自动构造以产生鲁棒的解决方案。所提出的方法的性能进行评估的一个复杂的多机器人包裹递送问题下的不确定性，表明我们的方法可以自然地代表多机器人问题，并提供高质量的解决方案，为大规模的问题。
2015-02-20 cs.AI cs.MA cs.RO
Online Active Perception for Partially Observable Markov Decision Processes with Limited Budget
University of Texas at Austin（德克萨斯大学奥斯汀分校）
主动感知策略使智能体能够有选择地收集信息，以提高其性能。在应用程序中，代理不具有现有的信息源的先验知识，它是至关重要的综合主动感知策略在运行时。我们认为，在运行时的代理是能够收集信息的有限的预算下的设置。我们提出的问题的背景下，部分可观察的马尔可夫决策过程。我们提出了一个广义的贪婪策略，选择一个子集的信息源的不确定性减少的近最优保证。我们的理论分析表明，所提出的主动感知策略在预期的累积奖励方面达到了接近最优的性能。我们展示了机器人导航问题的模拟产生的战略。
2019-10-04 cs.AI cs.SY eess.SY
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
Middle Tennessee State University（中田纳西州立大学）
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标，同时忽略不相关的感知。人类和动物依靠前额叶皮层（PFC）和基底神经节（BG）之间的相互作用来实现这种称为工作记忆（WM）的焦点。工作记忆工具包（WMtk）是基于这种现象的计算神经科学模型与自治系统的时间差异（TD）学习开发的。工具包的最新调整要么利用抽象任务表示（ATR）来解决不可观察（NO）任务，要么存储过去的输入特征来解决部分可观察（PO）任务，但不能两者兼而有之。我们提出了一个新的模型，PONOWMtk，它结合了这两种方法，ATR和输入存储，与一个静态或动态的ATR数量。我们的实验结果表明，PONOWMtk执行有效的任务，表现出PO，NO，或两者兼而有之。
2020-04-17 cs.AI cs.LG
Safer Autonomous Driving in a Stochastic, Partially-Observable Environment by Hierarchical Contingency Planning
Renault Software Labs（雷诺软件实验室）；EURECOM（欧洲通信学院）
当学习在随机的、部分可观察的环境中行动时，智能代理应该准备好预测其对环境状态的信念的变化，并且能够在飞行中调整其行动以适应不断变化的条件。作为人类，我们在学习一项任务时能够形成应急计划，其明确目标是能够纠正初始控制中的错误，因此，如果我们对环境的感知发生突然变化，需要立即采取纠正措施，这证明是有用的。对于在安全至关重要的现实世界中导航的自动驾驶汽车（AV）来说尤其如此，并且真正需要对环境变化的信念做出反应的强大能力。在本文中，我们探索了一个端到端的方法，从训练到执行，学习强大的应急计划，并将它们与层次规划器相结合，以获得一个强大的代理政策，在自主导航任务中，其他车辆的行为是未知的，代理人对这些行为的信念是受到突然的，最后一秒的变化。我们表明，我们的方法在部分可观察的随机环境中产生了鲁棒，安全的行为，在训练过程中没有看到环境动态。
2022-04-13 cs.AI cs.LG cs.RO
Optimal Control of Logically Constrained Partially Observable and Multi-Agent Markov Decision Processes
University of Southern California（南加州大学）；University of New Mexico（新墨西哥大学）
针对自主系统的逻辑约束、部分可观测性及多智能体信息不对称问题，提出带有限线性时序逻辑约束的POMDP最优控制理论与多智能体框架，可合成兼顾高奖励与约束满足概率的策略，经案例验证有效。
2024-06-19 cs.AI cs.FL cs.SY
Globally Optimal Hierarchical Reinforcement Learning for Linearly-Solvable Markov Decision Processes
Universitat Pompeu Fabra（庞培法布拉大学）
针对线性可解马尔可夫决策过程，提出一种基于状态空间划分与子任务组合性的分层强化学习方法，通过隐式策略学习全局最优策略，有效避免高层决策非平稳性并显著降低样本复杂度。
2022-04-28 cs.AI cs.LG
Partially Observable Markov Decision Process Modelling for Assessing Hierarchies
Insight Centre for Data Analytics（洞察数据分析中心）；School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院）；Data Science Institute, National University of Ireland, Galway（爱尔兰国立大学戈尔韦数据科学研究所）
层次聚类已被证明是有价值的，在许多情况下。尽管它在许多情况下是有用的，但对于如何正确评估不同技术产生的层次结构，特别是在无法获得地面实况标签的情况下，没有商定的方法。这促使我们提出了一个框架，用于评估质量的分层聚类分配，其中包括没有地面实况信息的情况下。该测量是有用的，例如，评估在线零售商网站用于显示其产品目录的层次结构。我们的框架是为数不多的尝试从决策理论的角度进行层次评价。我们建模的过程中，作为一个机器人搜索stochkings的层次结构中的项目，并建立一个衡量标准，表示层次结构支持这种搜索的程度。我们采用部分可观察马尔可夫决策过程（POMDP）模型的不确定性，决策，和认知回报的搜索在这样的情况下。
2020-12-08 cs.AI cs.LG stat.AP
Partially Observable Markov Decision Processes in Robotics: A Survey
Universität Hamburg（汉堡大学）；National University of Singapore（新加坡国立大学）；Aalto University（阿尔托大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
噪声感测、不完善的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观测马尔可夫决策过程（POMDP）提供了一个原则性的数学框架，建模和解决机器人决策和控制任务下的不确定性。在过去的十年中，它已经看到了许多成功的应用，包括定位和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人机交互。这项调查的目的是弥合POMDP模型和算法的发展之间的差距，在一端和应用程序在其他不同的机器人决策任务。它分析了这些任务的特点，并将它们与POMDP框架的数学和算法属性联系起来，以实现有效的建模和解决方案。对于从业者来说，调查提供了一些关键的任务特征，以决定何时以及如何成功地将POMDPs应用于机器人任务。对于POMDP算法设计者来说，调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并为进一步研究指出了有前途的新方向。
2022-09-21 cs.AI cs.RO cs.SY
Observation Adaptation via Annealed Importance Resampling for Partially Observable Markov Decision Processes
Vanderbilt University（范德堡大学）
针对POMDP在线求解中粒子滤波因重要性重采样导致退化的问题，提出通过构建桥接分布的退火重要性重采样方法，适应高信息量观测，在多个挑战性领域显著优于现有方法。
2025-03-25 cs.AI cs.LG cs.RO
Partially Observed, Multi-objective Markov Games
Georgia Institute of Technology（佐治亚理工学院）
本研究的目的是生成一组非支配的政策，其中一个两个代理（领导者）可以选择一个最喜欢的政策来控制一个动态系统，也受到其他代理（追随者）的控制决策。该问题是由一个无限的地平线，部分观察马尔可夫博弈（POMG）。在每个决策时期，每个智能体都知道：它的过去和现在的状态，它过去的动作，以及对其他智能体过去和现在状态的噪声破坏观察。基于这些数据，在每个决策时期确定每个代理的动作。领导者在选择政策时考虑多个目标。跟随者在选择策略时考虑单一目标，并完全了解领导者选择的策略并对其做出响应。这种领导者-跟随者的假设允许POMG被转换成一个特殊结构的，部分可观察的马尔可夫决策过程（POMDP）。POMDP用于确定跟随者的最佳响应策略。一个多目标遗传算法（MOGA）是用来创建下一代的领导者政策的基础上，在当前一代的适应度措施。给定领导者策略和跟随者的最佳响应策略，计算领导者策略的适应度度量需要值确定计算。领导者可以从中选择最优选策略的策略是由MOGA创建的最后一代领导者策略的非支配策略。一个例子，说明了这些结果可以被用来支持一个经理的液体鸡蛋生产过程（领导者）在选择一系列的行动，以最好地控制这个过程随着时间的推移，鉴于有一个攻击者（追随者）谁寻求污染的液体鸡蛋生产过程中的化学或生物毒素。
2014-04-16 cs.AI cs.GT math.OC
Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes
Stanford University（斯坦福大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）
针对部分可观测马尔可夫决策过程中存在混杂的离线强化学习问题，本文提出P3O算法，通过近端因果推断构造悲观置信区域，在局部覆盖假设下首次实现n^{-1/2}次优性的可证明高效学习。
2024-04-01 cs.AI cs.LG math.ST
Totally and Partially Ordered Hierarchical Planners in PDDL4J Library
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
在本文中，我们概述了参加2020年第一届HTN IPC竞赛的TFD（全序快速向下）和PFD（部分序快速向下）分层规划器的实现。这两个计划是基于前向链接任务分解加上一个紧凑的接地的行动，方法，任务和HTN问题。
2020-11-26 cs.AI
Hierarchical Semi-Markov Conditional Random Fields for Recursive Sequential Data
Curtin University of Technology（科廷科技大学）；SRI International（SRI国际）
受层次隐马尔可夫模型（HHMM）的启发，我们提出了层次半马尔可夫条件随机场（HSCRF），它是嵌入式无向马尔可夫链的推广，用于建模复杂的层次嵌套马尔可夫过程。它是参数化的判别框架，并具有多项式时间的学习和推理算法。重要的是，我们认为partiallysupervised学习，并提出了算法的广义部分监督学习和约束推理。我们证明了HSCRF在两个应用程序：（i）识别人类的日常生活活动（ADL）从室内监控摄像头，和（ii）名词短语组块。我们表明，HSCRF是能够学习丰富的层次模型，在完全和部分观测数据的情况下，具有合理的精度。
2010-09-10 cs.AI stat.ML
Learning a Machine for the Decision in a Partially Observable Markov Universe
在本文中，我们感兴趣的是在部分可观测马尔可夫宇宙中的最优决策。我们的观点从动态规划的观点出发：我们直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。在本文中，一个特殊的家庭隐马尔可夫模型，输入和输出，被认为是一个学习框架。提出了一种优化这些阻尼器的参数的方法，并应用。这种最优化方法是基于交叉熵原理的。
2004-08-11 cs.AI cs.LG math.GM
Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially Observable Environments
Zhejiang University（浙江大学）
多智能体深度强化学习（MADRL）的最新进展使其在现实世界的任务中更加实用，但其相对较差的可扩展性和部分可观察的约束对其性能和部署提出了挑战。基于我们的直观观察，人类社会可以被看作是一个大规模的部分可观察的环境中，每个人都有与邻居的通信和记住自己的经验的功能，我们提出了一种新的网络结构称为分层图递归网络（HGRN）的多智能体合作的部分可观察性。具体来说，我们构建的多智能体系统作为一个图，使用层次图注意力网络（HGAT）来实现相邻的代理之间的通信，并利用GRU，使代理记录历史信息。为了鼓励探索和提高鲁棒性，我们设计了一种最大熵学习方法来学习可配置目标动作熵的随机策略。在此基础上，提出了一种基于值的MADRL算法Soft-HGRN和它的actor-critic变体SAC-HRGN。基于三个同构任务和一个异构环境的实验结果不仅表明，我们的方法实现了明显的改善相比，四个基线，但也证明了所提出的模型的可解释性，可扩展性和可移植性。消融研究证明了每个组件的功能和必要性。
2021-09-05 cs.AI cs.LG cs.MA
Hierarchical Belief Modeling for Zero-Shot Opponent Adaptation in Partially Observable Multi-Agent Navigation
Tsinghua University（清华大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Texas A&M University（德克萨斯A&M大学）
针对Lux AI第3赛季部分可观测导航问题，提出分层智能体HORIZON，结合对称感知、双记忆信念追踪、图注意力、信息增益探索及对手条件策略混合，经PPO训练，显著提升比赛胜率与适应能力。
2026-09-14 cs.AI cs.MA
Sample-Efficient Reinforcement Learning of Partially Observable Markov Games
Princeton University（普林斯顿大学）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
针对部分可观测条件下的多智能体强化学习（MARL）问题，提出了一种基于部分可观测性的多智能体强化学习方法.本文在多人一般和部分可观察马尔可夫博弈（POMG）的一般模型下研究了这些任务，POMG模型明显大于不完全信息可拓形式博弈（IIEFG）的标准模型。我们确定了一个丰富的子类POMG-弱揭示POMG-其中样本有效的学习是易于处理的。在自我发挥的设置，我们证明了一个简单的算法相结合的乐观和最大似然估计（MLE）是足够的找到近似纳什均衡，相关的均衡，以及粗糙的相关均衡弱揭示POMG，在多项式数量的样本时，代理的数量很小。在对抗对手的设置中，我们表明，我们的乐观MLE算法的一个变体是能够实现次线性遗憾时，与最佳的最大最小化政策进行比较。据我们所知，这项工作提供了学习POMG的第一行样本有效的结果。
2022-10-17 cs.AI cs.GT cs.LG
The Recurrent Sticky Hierarchical Dirichlet Process Hidden Markov Model
Institute of Computer Science, University of Wrocław（弗罗茨瓦夫大学计算机科学研究所）
针对粘性HDP-HMM自持续概率平稳性限制，提出递归粘性HDP-HMM（RS-HDP-HMM），并开发新颖吉布斯采样策略，在合成与真实数据分割中优于现有模型。
2024-11-06 cs.AI cs.LG math.DS
Cross-Entropic Learning of a Machine for the Decision in a Partially Observable Universe
对先前题为“在部分可观测的马尔可夫宇宙中学习机器决策”的论文的修订在本文中，我们对部分可观测宇宙中的最优决策感兴趣。我们的方法是直接近似的最佳战略树取决于观察。这种近似是通过一个参数化的概率定律。一个特定的家庭隐马尔可夫模型，输入\emph{and}输出，被认为是一个模型的政策。提出了一种优化这些阻尼器的参数的方法，并应用。这种优化是基于交叉熵原理的稀有事件模拟鲁宾斯坦开发的。
2006-05-18 cs.AI cs.LG cs.NE
