Markov Abstractions for PAC Reinforcement Learning in Non-Markov Decision Processes
Sapienza University of Rome（罗马第一大学）
我们的工作旨在开发不依赖于马尔可夫假设的强化学习算法。我们考虑一类非马尔可夫决策过程的历史可以抽象成一个有限的状态集，同时保持动态。我们称之为马尔可夫抽象，因为它在编码非马尔可夫动态的一组状态上诱导马尔可夫决策过程。这种现象是最近引入的规则决策过程（以及POMDP，其中只有有限数量的信念状态是可达的）的基础。在所有这些类型的决策过程中，使用马尔可夫抽象的代理可以依靠马尔可夫属性来实现最佳行为。我们表明，马尔可夫抽象可以在强化学习。我们的方法结合了自动机学习和经典的强化学习。对于这两个任务，可以采用标准算法。我们表明，我们的方法有PAC的保证时，所采用的算法有PAC的保证，我们还提供了一个实验评估。
2022-05-18 cs.AI cs.LG
Learning Cost-Effective Treatment Regimes using Markov Decision Processes
Stanford University（斯坦福大学）；Duke University（杜克大学）
决策者，如医生和法官，每天都要做出重要决定，如向患者推荐治疗方法，以及向被告提供保释。这类决策通常涉及权衡采取行动的潜在收益与所涉成本。在这项工作中，我们的目标是自动学习\emph{cost-effective, interpretable and actionable treatment regimes}的任务。我们将其表述为学习决策列表的问题--一系列if-then-else规则--它映射了主题的特征（例如，患者的诊断测试结果）到治疗。我们提出了一个新的目标，以构建一个决策列表，最大限度地提高人口的成果，并最大限度地减少总成本。我们模型的问题，学习这样一个列表的马尔可夫决策过程（MDP），并采用了一个变种的上界树（UCT）的策略，利用定制的检查修剪搜索空间有效。对真实世界的观察数据捕获司法保释决定和哮喘患者的治疗建议的实验结果证明了我们的方法的有效性。
2016-10-21 cs.AI cs.LG stat.ML
Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes
Massachusetts Institute of Technology（麻省理工学院）
我们研究了极小极大最优强化学习在情节因子马尔可夫决策过程（FMDPs），这是有条件独立的转移组件的MDP。假设因子分解是已知的，我们提出了两个基于模型的算法。第一个实现了极大极小最优后悔保证的一类丰富的因子结构，而第二个享有更好的计算复杂性略差的遗憾。我们算法的一个关键新成分是设计了一个奖金项来指导探索。我们补充我们的算法，提出了几个结构依赖的下限FMDPs的遗憾，揭示了隐藏在错综复杂的结构的困难。
2020-06-24 cs.LG math.OC stat.ML
Hidden Markov Model Estimation-Based Q-learning for Partially Observable Markov Decision Process
Department of Industrial and Enterprise Systems Engineering（工业与企业系统工程系）
本文提出了一种基于隐马尔可夫模型估计的在线Q学习算法，用于部分可观测马尔可夫决策过程，同时估计POMDP参数和Q函数，并证明其收敛性。
2018-09-24 cs.LG cs.SY eess.SY
Minimizing the Outage Probability in a Markov Decision Process
Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心）
标准马尔可夫决策过程（MDP）和强化学习算法相对于期望增益来优化策略。我们提出了一种算法，使优化的替代目标：增益大于给定值的概率。该算法可以看作是数值迭代算法的一种推广。我们还展示了如何将所提出的算法推广到使用神经网络，类似于Q学习的深度Q学习扩展。
2023-03-03 cs.LG
A Mixed Observability Markov Decision Process Model for Musical Pitch
Sharif University of Technology（谢里夫理工大学）；University of Birmingham（伯明翰大学）
部分可观测马尔可夫决策过程已被广泛用于为现实世界的决策问题提供模型。在本文中，我们将提供一种方法，其中它们的一个稍微不同的版本称为混合可观测性马尔可夫决策过程，MOMDP，将加入我们的问题。基本上，我们的目标是提供一个行为模型的智能代理与音乐音高环境的互动，我们将展示如何MOMDP可以揭示一些光建立一个决策模型，音乐音高方便。
2012-06-05 cs.AI cs.LG
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore（新加坡国立大学）
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法，证明了其收敛性，通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
Blackwell Online Learning for Markov Decision Processes
New York University（纽约大学）
这项工作提供了一个新的解释马尔可夫决策过程（MDP）从在线优化的观点。在这样的在线优化上下文中，MDP的策略被视为决策变量，而相应的价值函数被视为来自环境的回报反馈。基于这种解释，我们构建了一个Blackwell游戏诱导的MDP，它的桥梁之间的差距遗憾最小化，Blackwell可接近性理论，学习理论MDP。具体来说，从可逼近性理论，我们提出了1）Blackwell值迭代离线规划和2）Blackwell $Q-$学习在线学习在MDP，这两个都被证明是收敛到最优解。我们的理论保证得到了数值实验的证实。
2020-12-28 cs.LG
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind（深度思维）
在这个简短的说明中，我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Robust Batch Policy Learning in Markov Decision Processes
George Washington University（乔治华盛顿大学）；Harvard University（哈佛大学）
在马尔可夫决策过程（MDP）框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力，我们建议通过一组平均奖励来评估每个策略，这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集，我们的目标是在预先指定的策略类中学习一个鲁棒的策略，该策略类可以最大化这个集合的最小值。利用半参数统计理论，我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
Performance Improvement Bounds for Lipschitz Configurable Markov Decision Processes
Dipartimento di Elettronica Informazione e Bioingegneria（电子、信息与生物工程系）
本文针对满足 Lipschitz 连续性的可配置马尔可夫决策过程，推导了改变策略与配置后γ-折扣平稳分布间 Wasserstein 距离的界，并进一步给出新的性能改进下界，推广了已有结果。
2024-02-21 cs.LG
Mean-Variance Optimization in Markov Decision Processes
Technion（以色列理工学院）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑有限时域马尔可夫决策过程下的性能指标，涉及的平均值和方差的累积奖励。我们发现，无论是随机或基于历史的政策可以提高性能。我们证明了在方差约束下最大化平均报酬的策略的计算复杂性在某些情况下是NP困难的，而在其他情况下是强NP困难的。最后给出了伪多项式精确算法和近似算法。
2011-04-29 cs.AI cs.LG
Decision Making Agent Searching for Markov Models in Near-Deterministic World
Eötvös Loránd University（厄特沃什·罗兰大学）
强化学习具有坚实的基础，但在部分观察（非马尔可夫）环境中变得低效。因此，一个学习代理--天生就有一个表示和一个策略--可能希望研究马尔可夫性质在多大程度上成立。我们提出了一个学习架构，利用组合策略优化来克服非马尔可夫性，并开发有效的行为，这是很容易继承的，测试的行为状态的马尔可夫属性，并纠正非马尔可夫性通过运行一个确定性因子有限状态模型，它可以学习。我们说明了近确定性的女士吃豆人游戏中的架构的属性。我们从进化、个体和社会学习的角度分析了这种体系结构。
2011-03-01 cs.AI cs.LG
Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations
Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
控制应用程序通常具有类似但不完全相同的动态任务。我们介绍了隐参数马尔可夫决策过程（HiP-MDP），一个框架，参数化一个家庭的相关动力系统与一组低维的潜在因素，并介绍了半参数回归方法从数据中学习其结构。在控制设置中，我们表明，一个学习的HiP-MDP快速识别一个新的任务实例的动态，允许代理灵活地适应任务的变化。
2013-08-15 cs.AI cs.LG
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））；Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡高性能计算研究所，科技研究局（A*STAR））；College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
本文提出一种镜像下降策略优化方法，用于鲁棒约束马尔可夫决策过程，通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria（法国国家信息与自动化技术研究所）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；Villeneuve-d’Ascq, France（法国里尔大学城）
研究结构化MDP中最优策略的几何特性，提出基于边界的策略近似方法，直接学习策略区域，并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
A Cantor-Kantorovich Metric Between Markov Decision Processes with Application to Transfer Learning
UCLouvain（天主教鲁汶大学）；Lund University（隆德大学）
本研究将马尔可夫链间的Cantor-Kantorovich距离拓展至马尔可夫决策过程场景，提出的度量定义良好且可在有限时域下高效近似，数值实验验证其可用于预测强化学习中迁移学习算法的性能。
2024-07-11 cs.AI cs.LG
An Efficient Solution to s-Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；National University of Singapore（新加坡国立大学）
我们提出了一个有效的鲁棒值迭代\texttt{s} -矩形鲁棒马尔可夫决策过程（MDP）的时间复杂度相当于标准（非鲁棒）MDP这是显着快于任何现有的方法。我们这样做，通过推导出最佳的鲁棒贝尔曼算子的具体形式，使用我们的$L_p$水填充引理。我们揭示了最优策略的确切形式，这些策略是一种新的阈值策略，其采取行动的概率与其优势成正比。
2023-01-31 cs.LG math.OC
Scalable Verification of Markov Decision Processes
Inria Rennes – Bretagne Atlantique（法国国家信息与自动化研究所雷恩－布列塔尼大西洋中心）
马尔可夫决策过程（MDP）是有用的模型并发过程优化问题，但验证它们的数值方法往往是棘手的。现有的近似方法不能很好地扩展，并且仅限于无记忆存储器。在这里，我们提出了MDPS的可扩展性验证的基础上，使用一个O（1）的历史相关的存储器表示。因此，我们促进可扩展的学习技术和大规模并行验证的使用。
2014-09-17 cs.DC cs.DS cs.LG
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明，在单链马尔可夫决策过程中的最优（平稳）政策的组合是最优的。也就是说，设M是一个具有状态空间S，动作空间A和策略π_j^* 的单链马尔可夫决策过程：S -> A（1 \leq j \leq n），具有最优的平均无限时域报酬。然后这些策略的任何组合π，其中对于S中的每个状态i，存在j使得π（i）=π_j^*（i），也是最优的。此外，我们证明了任何最优策略的混合，其中在状态i的每次访问中，选择最优策略的任意动作π_j^*（i），也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
Learning the Markov Decision Process in the Sparse Gaussian Elimination
Giga Design Automation Co., Ltd（Giga设计自动化有限公司）；Shenzhen 518055, China（中国深圳518055）
提出了一种基于学习的稀疏高斯消去法。在现代稀疏求解器中存在着许多困难的组合最优化问题。这些NP难问题可以在马尔可夫决策过程的框架下得到解决，特别是Q学习技术。针对稀疏求解器的主要模块：最小度排序、任务调度和自适应旋转，提出了一些Q学习算法。最后，我们将稀疏求解器重新转换到Q-Learning的框架中。本文的研究是连接高斯消去法和马尔可夫决策过程这两个经典数学模型的第一步。我们的学习算法可以帮助提高稀疏求解器的性能，这已经在一些数值实验中得到验证。
2021-09-30 cs.LG cs.MS cs.NA
On the $α$-lazy version of Markov chains in estimation and testing problems
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Tokyo University of Agriculture and Technology（东京农工大学）
给定访问一个未知的不可约马尔可夫链$M$产生的一个长轨迹，我们模拟了一个$α$ -懒惰版本的$M$，这是遍历。这使我们能够概括最近的结果估计和身份测试，遍历马尔可夫链的方式，允许充分的经验推理。特别地，我们的方法表明，由Paulin [2015]引入并为遍历马尔可夫链定义的伪谱间隙可能在不可约但可能是周期性的马尔可夫链的情况下已经被赋予了意义。
2021-10-29 cs.LG stat.ML
Online Convex Optimization in Adversarial Markov Decision Processes
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们考虑在线学习在情节无环马尔可夫决策过程（MDP），其中的损失函数可以任意改变情节之间，和过渡函数是未知的学习。我们展示了$\tilde{O}(L|X|\sqrt{|A|T})$后悔边界，其中$T$是情节的数量，$X$是状态空间，$A$是动作空间，$L$是每个情节的长度。我们的在线算法是使用熵正则化方法实现的，它允许扩展原始的对抗MDP模型来处理凸性能标准（不同的方式来聚合单个事件的损失），以及改进以前的遗憾界限。
2019-05-19 cs.AI cs.LG stat.ML
Sufficient Markov Decision Processes with Alternating Deep Neural Networks
移动计算技术的进步使得有可能实时监测和应用跨复杂系统的数据驱动干预。马尔可夫决策过程（MDP）是一个大的或不确定的时间范围内的顺序决策问题的主要模型。选择一个既马尔可夫又低维的底层决策过程的表示是不平凡的。我们提出了一种方法，用于构建一个低维表示的原始决策过程，其中：1。MDP模型成立; 2.当应用于低维表示时使平均效用最大化的决策策略在应用于原始过程时也使平均效用最大化。我们使用一个深度神经网络来定义一类潜在的过程表示，并估计该类中最低维的过程。该方法说明了使用移动研究的数据，大量饮酒和吸烟的大学生。
2018-03-17 math.ST stat.ME stat.ML
