A General Markov Decision Process Framework for Directly Learning Optimal Control Policies
IBM Research（IBM研究院）
我们考虑一种新形式的强化学习（RL），这是基于直接学习的机会，最优控制政策和一般马尔可夫决策过程（MDP）的框架，旨在支持这些机会。我们的控制为基础的强化学习方法的一般类的推导，连同形式的探索和开发学习和应用的最优控制政策随着时间的推移。我们的一般MDP框架扩展了经典的贝尔曼算子和最优性准则，概括了任何给定状态的政策的定义和范围。我们建立了收敛性和最优性--无论是在一般情况下还是在各种控制范例中（例如，分段线性控制策略）-我们的基于控制的方法，通过这个一般的MDP框架，包括收敛的$Q$ -学习的上下文中，我们的MDP框架。我们的实证结果证明和量化我们的方法的显着好处。
2021-04-01 cs.LG math.OC stat.ML
Learning Stochastic Parametric Differentiable Predictive Control Policies
Pacific Northwest National Laboratory（太平洋西北国家实验室）
合成随机显式模型预测控制策略的问题是已知的，即使是对于使用经典控制理论方法的适度复杂的系统也是快速棘手的。为了解决这一挑战，我们提出了一个可扩展的替代称为随机参数微分预测控制（SP-DPC）的神经控制策略的无监督学习随机线性系统的非线性机会约束。SP-DPC是随机参数约束最优控制问题的确定性近似。该公式允许我们通过对问题的价值函数进行自动微分来直接计算策略梯度，并对采样参数和不确定性进行评估。特别地，SP-DPC问题的价值函数的计算期望通过由已知的标称系统动态模型和神经控制策略参数化的闭环系统展开来反向传播，这允许直接基于模型的策略优化。我们提供了理论概率保证的政策学习通过SP-DPC方法的闭环稳定性和机会约束的满意度。此外，我们证明了所提出的策略优化算法的计算效率和可扩展性在三个数值例子，包括系统的大量状态或非线性约束。
2022-05-22 cs.LG cs.SY eess.SY
Learning Policies for Markov Decision Processes from Data
Boston University（波士顿大学）；IIT-Bombay（印度理工学院孟买分校）；Zhejiang University（浙江大学）
我们认为学习的政策的马尔可夫决策过程与数据捕获的状态动作对遵循的政策的问题。我们假设该策略属于一类参数化策略，这些策略使用与状态-动作对相关联的特征来定义。这些特征是先验已知的，然而，只有它们中的未知子集可能是相关的。使用最佳拟合所观察的状态-动作样本的$\ell_1$ -正则化逻辑斯谛回归来恢复对应于所观察的目标策略的策略参数。我们建立的估计和原始政策（遗憾）的推广误差和遍历系数的基本马尔可夫链的平均回报之间的差异的界限。为此，我们结合样本复杂性理论和马尔可夫链平稳分布的灵敏度分析。我们的分析表明，要在$O(\sqrtε)$阶内实现后悔，使用$Ω(\log n \cdot poly(1/ε))$阶的训练样本量就足够了，其中$n$是特征的数量。我们证明了我们的方法的有效性合成机器人导航的例子。
2017-01-21 cs.LG math.OC stat.ML
Mix and Match: Markov Chains & Mixing Times for Matching in Rideshare
University of Maryland（马里兰大学）；Facebook, Inc.（Facebook公司）；University of Washington（华盛顿大学）；New Jersey Institute of Technology（新泽西理工学院）
Uber和Lyft等拼车平台动态派遣司机以满足乘客的请求。我们将拼车中的调度过程建模为马尔可夫链，该链考虑了司机和乘客随时间的地理移动性。以前的工作探讨调度政策的限制，这样的马尔可夫链，我们的特点是当这个限制假设是有效的，根据各种自然的调度政策。我们给出了明确的界限一般的收敛性，和特殊情况下的精确（包括常数）收敛速度。然后，在模拟和真实的过境数据，我们表明，我们的边界特征收敛速度-即使当必要的理论假设放宽。此外，这些策略与标准的强化学习算法进行了很好的比较，该算法在没有任何收敛特性的情况下进行了优化。
2019-11-30 cs.DS cs.GT cs.LG
Non-Deterministic Policies in Markovian Decision Processes
McGill University（麦吉尔大学）
马尔可夫过程长期以来一直被用来模拟随机环境。强化学习已经成为解决此类环境中的顺序规划和决策问题的框架。近年来，人们尝试应用强化学习的方法来构建马尔可夫环境下的行动选择决策支持系统。虽然强化学习中的传统方法已被证明在有关顺序决策的问题中是有用的，但它们不能以其当前形式应用于决策支持系统，例如医疗领域中的决策支持系统，因为它们建议的政策通常是高度规范的，并且几乎没有给用户输入留下空间。如果没有能力提供灵活的指导方针，这些方法就不太可能得到这类系统用户的欢迎。本文介绍了新的概念，非确定性的政策，让更多的灵活性，在用户的决策过程中，同时限制决策保持接近最优的解决方案。我们提供了两个算法来计算离散域中的非确定性策略。我们研究了这些方法的输出和运行时间上的一组合成和现实世界的问题。在与人类受试者的实验中，我们表明，人类的辅助提示基于非确定性的政策优于人类和计算机只代理在网络导航任务。
2014-01-16 cs.AI cs.LG
Optimistic Actor-Critic with Parametric Policies for Linear Markov Decision Processes
Simon Fraser University（西蒙菲莎大学）；University of Pennsylvania（宾夕法尼亚大学）；Mila, McGill University（Mila，麦吉尔大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）
本文提出一种乐观Actor-Critic框架，采用参数化logit匹配回归目标和近似汤普森采样，实现线性MDP中高效的样本复杂度。
2026-04-01 cs.LG stat.ML
Diverse Policies Converge in Reward-free Markov Decision Processe
Tsinghua University（清华大学）；Paradigm Inc.（第四范式公司）
针对现有多样性强化学习算法缺乏收敛性与效率理论支撑的问题，本文提出统一的研究框架，分析多样化策略训练的收敛性，提出可证明高效的算法，并通过数值实验验证有效性。
2023-08-23 cs.AI cs.LG
On learning history based policies for controlling Markov decision processes
McGill University（麦吉尔大学）；Mila（米拉研究所）
强化学习（RL）的民间传说认为，基于历史的函数逼近方法，如递归神经网络或基于历史的状态抽象，比它们的无记忆同行表现得更好，因为马尔可夫决策过程（MDP）中的函数逼近可以被视为诱导部分可观察MDP。然而，这种基于历史的算法很少有正式的分析，因为大多数现有的框架只专注于无记忆功能。在本文中，我们介绍了一个理论框架，学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外，我们使用这个框架来设计一个实用的RL算法，我们数值评估其有效性的一组连续控制任务。
2022-11-06 cs.LG cs.SY eess.SY
Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes
University of Michigan（密歇根大学）
在部分可观测马尔可夫决策过程（POMDP）理论中，最优策略的存在性一般是通过将原来的部分可观测随机控制问题转化为信念空间上的完全可观测问题，从而得到信念-MDP。然而，即使原始系统具有有限的状态和动作空间，使用经典的动态或线性规划方法来计算该完全观察模型的最优策略以及原始POMDP的最优策略也是具有挑战性的，因为完全观察的信念-MDP模型的状态空间总是不可数的。此外，存在非常少的严格的值函数近似和最优策略近似结果，因为所需的正则性条件通常需要繁琐的研究，涉及概率测度的空间，导致诸如Feller连续性的性质。在本文中，我们研究了POMDPs的规划问题，其中系统动力学和测量信道模型假设是已知的。我们构造了一个近似的信念模型离散的信念空间，只有有限的窗口信息变量。然后，我们找到近似模型的最优策略，我们严格建立在温和的非线性滤波稳定性条件和假设的测量和行动集是有限的（和状态空间是实向量值）的POMDPs的有限窗口控制策略的近最优性。我们还建立了一个收敛速率的结果，涉及有限的窗口内存大小和近似误差界，其中的收敛速率是指数显式和可测试的指数滤波器的稳定性条件下。虽然有许多实验结果和严格的渐近收敛的结果，一个明确的收敛速率的结果是新的文献，据我们所知。
2022-01-08 cs.LG math.OC
Online Reinforcement Learning of Optimal Threshold Policies for Markov Decision Processes
Indian Institute of Technology Bombay（印度理工学院孟买分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
为了克服动态规划方法求解马尔可夫决策过程问题时的维数和模型问题，在实际应用中采用了强化学习方法。与传统的RL算法不考虑最优策略的结构特性相反，我们提出了一种结构感知的学习算法来利用最优策略的有序多阈值结构。我们证明了所提出的算法的最优策略的渐近收敛性。由于策略空间的减小，该算法在存储和计算复杂性方面都比经典强化学习算法有显著的改进。仿真结果表明，该算法比其他RL算法具有更快的收敛速度。
2021-08-22 cs.LG stat.ML
An Efficient Solution to s-Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；National University of Singapore（新加坡国立大学）
我们提出了一个有效的鲁棒值迭代\texttt{s} -矩形鲁棒马尔可夫决策过程（MDP）的时间复杂度相当于标准（非鲁棒）MDP这是显着快于任何现有的方法。我们这样做，通过推导出最佳的鲁棒贝尔曼算子的具体形式，使用我们的$L_p$水填充引理。我们揭示了最优策略的确切形式，这些策略是一种新的阈值策略，其采取行动的概率与其优势成正比。
2023-01-31 cs.LG math.OC
Optimal Decision Tree Policies for Markov Decision Processes
Delft University of Technology（代尔夫特理工大学）
针对强化学习策略可解释性难题，提出基于混合整数线性规划的OMDT方法，直接为MDP优化尺寸受限决策树以最大化期望折扣回报，发现其性能接近最优且优于模仿学习。
2024-02-14 cs.AI cs.LG
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Reinforcement Learning of Markov Decision Processes with Peak Constraints
RISE AI Research Institutes of Sweden（瑞典RISE人工智能研究院）
在本文中，我们考虑强化学习的马尔可夫决策过程（MDP）的峰值约束，其中代理选择一个政策，以优化目标，并在同一时间满足额外的约束。智能体必须根据观察到的状态、奖励输出和约束输出采取行动，而不需要任何关于动态、报酬函数和/或约束函数的知识。我们引入了一种博弈论的方法来构建强化学习算法，其中代理最大化一个无约束的目标，该目标取决于最小化对手的模拟动作，该对手作用于有限集的动作和约束函数（奖励）的输出数据。我们证明了从极大极小Q学习得到的策略收敛到最优策略。据我们所知，这是第一次学习算法保证收敛到最佳的平稳策略的MDP问题的峰值约束的折扣和预期的平均回报。
2019-12-06 cs.LG math.OC
The Importance of Non-Markovianity in Maximum State Entropy Exploration
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）
在最大状态熵探索框架中，智能体与无奖励环境进行交互，以学习使其诱导的预期状态访问的熵最大化的策略。Hazan等人（2019）指出，马尔可夫随机策略类对于最大状态熵目标是足够的，在这种情况下，利用非马尔可夫性通常被认为是毫无意义的。在本文中，我们认为，在有限样本制度的最大状态熵的探索，而不是至关重要的非马尔可夫。特别是，我们重新设计的目标，在一个单一的审判诱导状态访问的预期熵。然后，我们证明了这类非马尔可夫确定性政策是足够的引入的目标，而马尔可夫政策遭受非零遗憾一般。然而，我们证明了寻找最优非马尔可夫策略的问题是NP-困难的。尽管这个负面的结果，我们讨论的途径来解决这个问题，在一个易于处理的方式，以及如何非马尔可夫探索可以有利于样本效率的在线强化学习在未来的工作。
2022-07-08 cs.LG
Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parametric Policies
Nanjing University（南京大学）；UIUC（伊利诺伊大学）
本文研究了在一般函数逼近下离线强化学习的理论方面，扩展了理论保证到大或连续动作空间上的参数策略类，并提出了基于上下文耦合的新型分析和算法见解。
2026-10-12 cs.AI cs.LG
Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
University of California, Irvine（加州大学欧文分校）；The George Washington University（乔治华盛顿大学）
研究了具有连续状态的部分可观测马尔可夫决策过程的离政策评估问题。受最近提出的近端因果推断框架的启发，我们开发了一个非参数识别结果，通过一系列所谓的V桥函数的帮助下，随时间变化的代理变量的政策价值估计。然后，我们开发了一个合适的Q评估型算法来估计V桥函数递归，其中一个非参数工具变量（NPIV）的问题是解决在每一步。通过分析这一具有挑战性的顺序NPIV问题，我们建立了有限样本误差界估计的V-桥功能，从而评估政策的价值，在样本量，地平线的长度和所谓的（本地）措施在每一步的不适定性。据我们所知，这是非参数模型下POMDPs中OPE的第一个有限样本误差界。
2022-10-16 cs.LG math.ST stat.ML
Acting in Delayed Environments with Non-Stationary Markov Policies
Technion（以色列理工学院）；Nvidia Research（英伟达研究院）
针对标准MDP假设动作立即执行不符合实际、易致应用故障的问题，提出非平稳马尔可夫策略框架与类Q学习算法，无需状态增强解决延迟执行任务，实验验证其在多场景下收敛快、性能优。
2023-12-13 cs.AI cs.LG
SPOT: Scalable Policy Optimization with Trees for Markov Decision Processes
Shanghai Jiao Tong University（上海交通大学）；University of South Florida（佛罗里达州立大学）
针对马尔可夫决策过程中决策树策略优化难的问题，提出将优化建模为混合整数线性规划、用约简空间分支定界解耦动力学与树约束的SPOT方法，实现了可解释性与可扩展性兼具的高质量策略，速度比现有方法快一个数量级。
2025-10-22 cs.AI cs.LG
Distillation of RL Policies with Formal Guarantees via Variational Abstraction of Markov Decision Processes (Technical Report)
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp – Flanders Make（安特卫普大学–法兰德斯制造）
我们认为，政策简化和验证的背景下，通过强化学习（RL）在连续环境中学习的政策的挑战。在行为良好的设置中，RL算法在极限内具有收敛保证。虽然这些保证是有价值的，但它们不足以用于安全关键型应用。此外，在应用深度RL等先进技术时，它们会丢失。为了在将高级RL算法应用于具有（i）可达性，（ii）安全约束可达性或（iii）折扣奖励目标的更复杂环境时恢复保证，我们基于Gelada等人提出的DeepMDP框架，推导出未知环境与其学习的离散潜在模型之间的新互模拟边界。我们的互模拟边界使形式化方法能够应用于马尔可夫决策流程.最后，我们展示了如何使用通过最先进的RL获得的策略来有效地训练一个变分自编码器，该编码器产生一个离散的潜在模型，具有可证明的近似正确的互模拟保证。此外，我们还获得了潜在模型的策略的一个精炼版本。
2022-06-14 cs.AI cs.LG
Optimizing over a Restricted Policy Class in Markov Decision Processes
University of Waterloo（滑铁卢大学）；Adobe Research（奥多比研究院）；DeepMind（深度思维）；Netflix（网飞）
我们解决的问题，找到一个最佳的政策在马尔可夫决策过程下的限制政策类定义的凸包的一组基本政策。这个问题是非常感兴趣的应用程序中，一些合理的好（或安全）的政策是已知的，我们只感兴趣的优化在其凸包。我们表明，这个问题是NP-难的精确解决以及近似到任意精度。然而，在一个条件下，这是类似于占用措施的基本政策有很大的重叠，我们表明，存在一个有效的算法，找到一个政策，几乎是最好的凸组合的基本政策。该算法的运行时间与状态数成线性关系，与基本策略数成多项式关系。在实践中，我们证明了一个有效的实现大型状态的问题。与传统的策略梯度方法相比，该方法的优点在于，除了需要计算一些基本策略的占用测度外，迭代法在优化过程中不需要与环境交互。这在复杂的系统中尤其重要，在复杂的系统中，估计策略的价值可能是一个耗时的过程。
2018-02-26 cs.LG stat.ML
Policy Dispersion in Non-Markovian Environment
本文针对非马尔可夫环境中策略相似导致过拟合的问题，提出一种策略分散方案，通过transformer学习策略嵌入并构建正定分散矩阵以获取多样策略，显著提升了智能体在环境扰动下的鲁棒性。
2024-06-03 cs.AI cs.LG
Finding Safe Zones of policies Markov Decision Processes
TTI-Chicago（芝加哥丰田技术研究院）；Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Bosch Center for AI（博世人工智能中心）
该研究定义了马尔可夫决策过程策略的安全区概念，证明寻找最优安全区通常计算困难，提出了一种在逃逸概率和安全区规模上均达近2倍近似比、仅需多项式样本复杂度的双准则近似学习算法。
2023-10-09 cs.AI cs.DS cs.LG
On Sample Complexity of Projection-Free Primal-Dual Methods for Learning Mixture Policies in Markov Decision Processes
Stanford University（斯坦福大学）
研究了一类具有大量状态的无限时域、折扣费用马尔可夫决策过程的学习策略问题。我们计算的政策，几乎一样好的政策选择一个合适的预言机从一个给定的混合政策类的特点是由一组已知的基本政策的凸包的行动。为了学习混合模型的系数，我们将问题重新定义为MDP的近似线性规划（ALP）公式，其中特征向量对应于在状态-动作空间上定义的基本策略的占用度量。然后，我们提出了一个无投影的随机原始-对偶方法与Bregman分歧解决的特征ALP。此外，我们分析了所提出的随机算法的可能近似正确（PAC）样本的复杂性，即达到接近最优的目标值所需的查询数量。我们还提出了一个修改我们所提出的算法与多面体约束采样的平滑ALP，其中的限制下边界近似放松。此外，我们提出的算法应用到排队问题，并比较其性能与罚函数算法。数值结果表明，原始-对偶实现了更好的效率和低方差在不同的试验相比，罚函数方法。
2019-08-30 cs.LG stat.ML
Solving infinite-horizon POMDPs with memoryless stochastic policies in state-action space
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
完全可观测马尔可夫决策过程中的奖励优化等价于状态-动作频率多胞形上的线性规划。以类似的角度来看，在部分可观察的马尔可夫决策过程与无记忆随机政策的情况下，最近制定的问题是一个线性目标的多项式约束的优化。在此基础上，我们提出了一种在状态-动作空间（ROSA）的奖励优化方法。我们测试这种方法在迷宫导航任务的实验。我们发现，ROSA是计算效率高，可以产生稳定性的改善，比其他现有的方法。
2022-05-27 cs.LG cs.SY eess.SY
Certifiably Robust Policies for Uncertain Parametric Environments
University of Oxford（牛津大学）
针对现有鲁棒策略方法无法分析环境参数影响的问题，提出基于参数化MDP与场景优化的框架，结合两层不确定性生成带PAC保证的鲁棒策略，实验验证其能以高置信度得到紧性能界。
2025-03-23 cs.AI cs.LG cs.SY
Risk-Sensitive Markov Decision Processes with Combined Metrics of Mean and Variance
Business School, Sun Yat-Sen University（中山大学商学院）
研究了同时考虑报酬均值和方差的具有长期平均度量的无限阶段离散时间马尔可夫决策过程的最优化问题。这样的绩效指标很重要，因为均值表示平均回报，方差表示风险或公平性。然而，方差度量耦合在所有阶段的奖励，传统的动态规划是不适用的时间一致性原则失效。我们研究这个问题从一个新的角度称为灵敏度为基础的优化理论。推导了一个性能差异公式，该公式可以量化任意两种策略下MDP的均值-方差组合度量的差异。差分公式可以用来产生新的政策，严格改进的均值-方差性能。给出了最优策略的一个必要条件和确定性策略的最优性。我们进一步发展了一种策略迭代形式的迭代算法，证明了该算法在混合和随机策略空间中均收敛于局部最优。特别地，当策略中的平均报酬为常数时，保证算法收敛到全局最优值。最后，我们应用我们的方法来研究在储能系统中的风力发电的波动减少，这表明我们的最优化方法的潜在适用性。
2020-08-09 cs.AI cs.LG math.OC
Context-Aware Composition of Agent Policies by Markov Decision Process Entity Embeddings and Agent Ensembles
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种基于模拟的方法，利用知识图谱和实体嵌入表示异构上下文，并通过并行智能体集成按需组合策略，使智能体无需冗长训练即可在不同上下文间无缝切换并成功完成任务。
2023-08-30 cs.AI cs.LG cs.PF
MRAC-RL: A Framework for On-Line Policy Adaptation Under Parametric Model Uncertainty
Massachusetts Institute of Technology（麻省理工学院）
强化学习（RL）算法已成功地用于开发动力系统的控制策略。对于许多这样的系统，这些策略是在模拟环境中训练的。由于模拟模型与真实系统动态之间的差异，RL训练的策略在部署到现实环境中时往往无法进行适当的泛化和适应。目前的研究在弥合这一模拟到真实的差距，主要集中在改进仿真设计和开发的改进和专门的RL算法的鲁棒控制政策的产生。本文应用自适应控制和系统辨识的原理，提出了模型参考自适应控制和强化学习（MRAC-RL）框架。我们提出了一套新的MRAC算法适用于广泛的线性和非线性系统，并推导出相关的控制律。MRAC-RL框架利用内环自适应控制器，允许模拟训练的外环策略在测试环境中有效地适应和操作，即使存在参数模型不确定性。我们证明了MRAC-RL方法在开发可应用于具有建模误差的系统的控制策略方面改进了最先进的RL算法。
2020-11-20 cs.LG cs.RO cs.SY
Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies
Cornell University（康奈尔大学）
本文针对结构化参数环境提出重参数化课程生成框架，结合分布偏移正则化，在OpenAI Gym的两类连续控制环境中，显著优于多种基线方法，提升了导航策略的鲁棒性。
2026-08-11 cs.LG cs.RO
Memory Based Trajectory-conditioned Policies for Learning from Sparse Rewards
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
具有稀疏奖励的强化学习是具有挑战性的，因为代理很少能够获得非零奖励，因此，参数化策略的基于梯度的优化可能是增量的且缓慢的。最近的研究表明，使用以前成功轨迹的记忆缓冲区可以产生更有效的策略。然而，现有的方法可能会过度利用过去的成功经验，这可能会鼓励代理采取次优和短视的行为。在这项工作中，而不是专注于良好的经验有限的多样性，我们建议学习一个自动调节的政策，以遵循和扩大不同的过去的轨迹从记忆缓冲区。我们的方法允许代理到达状态空间中的不同区域，并改进过去的轨迹以达到新的状态。我们的经验表明，我们的方法显着优于基于计数的探索方法（参数方法）和自我模仿学习（参数方法与非参数记忆）在各种复杂的任务与局部最优。特别是，在不使用专家演示或重置到任意状态的情况下，我们在50亿帧的情况下实现了最先进的分数，挑战Atari游戏，如Montezuma的复仇和陷阱。
2021-02-15 cs.AI cs.LG stat.ML
Self-Triggered Markov Decision Processes
New York University（纽约大学）
在本文中，我们研究马尔可夫决策过程（MDP）与自触发策略，自触发控制的思想扩展到更一般的MDP模型。这种扩展将自触发策略的应用扩展到更广泛的系统。我们研究了控制策略和触发策略的协同设计问题，以优化两个预先指定的成本标准。第一个代价准则通过将预先指定的更新惩罚并入传统的MDP代价准则中来引入，以减少通信资源的使用。在此准则下，提出了一种新的动态规划（DP）方程，称为DP方程与优化前瞻，以解决该准则下的自触发策略。第二个自触发策略是最大化触发时间，同时仍然保证预先指定的次优水平。这两个政策的计算和实施的理论基础。通过一个网格世界的数值例子，我们说明了这两种策略在减少资源消耗方面的有效性，并展示了资源消耗和系统性能之间的权衡。
2021-02-17 cs.AI cs.LG cs.SY
DASH: Input-Aware Dynamic Layer Skipping for Efficient LLM Inference with Markov Decision Policies
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海启智研究所）；Northeast University（东北大学）；Huawei Technologies Ltd.（华为技术有限公司）；Alibaba Group（阿里巴巴集团）
DASH提出一种输入感知的动态层跳过框架，利用马尔可夫决策过程实现令牌级决策，并引入补偿机制与异步执行，在多个LLM上实现推理加速且保持性能。
2025-05-23 cs.CL cs.LG
Automated Experiment Design for Data-Efficient Verification of Parametric Markov Decision Processes
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Department of Electrical Engineering, Eindhoven University of Technology（埃因霍温理工大学电气工程系）
本文提出一种利用参数模型和实验数据进行统计验证的新方法，通过参数综合确定可行参数集，主动合成实验提高数据相关性，并传播信息以获得验证结果。
2017-07-05 cs.LG cs.LO cs.SY
A Function Approximation Approach to Estimation of Policy Gradient for POMDP with Structured Policies
Massachusetts Institute of Technology（麻省理工学院）
我们考虑部分可观测马尔可夫决策过程（POMDP）的策略梯度的估计与一类特殊的结构化政策，有限状态控制器。我们表明，梯度估计可以在演员的批评框架，通过使评论家计算一个“值”的功能，不依赖于POMDP的状态。此函数是取决于状态的真价值函数的条件均值。我们表明，评论家可以实现使用时间差分（TD）方法与线性函数近似，TD和Actor-Critic的分析结果可以转移到这种情况下。虽然Actor-Critic算法已被广泛用于马尔可夫决策过程（MDP），到目前为止，他们还没有被提出POMDP作为一个替代方案，较早的建议GPOMDP算法，一个演员的唯一方法。此外，我们表明，同样的想法适用于半马尔可夫问题的有限状态控制器的子集。
2012-07-04 cs.LG stat.ML
Horizon-Free Reinforcement Learning in Polynomial Time: the Power of Stationary Policies
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
本文给出了表马尔可夫决策过程（MDP）的第一个具有后悔界\emph{independent on the planning horizon}的多项式时间算法。具体来说，我们考虑表格MDP与$S$状态，$A$行动，规划地平线$H$，总奖励由$1$界定，和代理播放$K$情节。我们设计了一个算法，实现了$O\left(\mathrm{poly}(S,A,\log K)\sqrt{K}\right)$遗憾，与现有的界限，要么有一个额外的$\mathrm{polylog}(H)$依赖性~ \citep{zhang2020reinforcement}或有一个指数依赖于$S$ ~ \citep{li2021settling}。我们的结果依赖于一系列新的结构引理建立的近似功率，稳定性和浓度属性的平稳政策，这可以在其他问题中的应用马尔可夫链。
2022-06-16 cs.LG
Risk and optimal policies in bandit experiments
University of Pennsylvania（宾夕法尼亚大学）
本文在局部渐近框架下用扩散过程和PDE刻画老虎机实验的最小贝叶斯风险，提出降维策略并数值求解最优贝叶斯与极小化极大策略，显著优于Thompson采样。
2025-05-03 cs.LG econ.EM
Robust Entropy-regularized Markov Decision Processes
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
由熵正则化马尔可夫决策过程（ER-MDP）产生的随机和软最优策略对于探索和模仿学习应用是理想的。出于这样一个事实，即这些政策是敏感的状态转移概率，这些概率的估计可能是不准确的，我们研究了一个强大的版本的ER-MDP模型，其中随机最优的政策是需要强大的模糊性，在底层的转移概率。我们的工作是在强化学习（RL）的两个重要计划，即鲁棒MDP和熵正则化MDP的十字路口。我们发现，在我们的设置中，非鲁棒ER-MDP和鲁棒非正则化MDP模型的基本属性也成立，使得鲁棒ER-MDP问题易于处理。我们展示了我们的框架和结果如何可以集成到不同的算法方案，包括价值或（修改）的政策迭代，这将导致新的强大的RL和逆RL算法来处理不确定性。分析了传统不确定度设置下的计算复杂性和误差传播。
2021-12-31 cs.AI cs.LG
Sparsifying Parametric Models with L0 Regularization
University of Twente（特文特大学）；Imperial College London（伦敦帝国学院）
该研究介绍如何结合 L0 正则化与字典学习，为深度强化学习获得用于控制参数化偏微分方程的稀疏多项式策略，并提供代码与教程。
2024-09-05 cs.LG
Expert Selection in High-Dimensional Markov Decision Processes
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一个多臂的强盗框架，在马尔可夫决策过程中的在线专家选择，并证明其在高维设置中的使用。我们的方法需要一组候选专家的政策，并在它们之间切换，以快速确定最佳性能的专家使用经典的置信上限算法的变体，从而确保系统的整体性能低遗憾。这在应用程序中很有用，在这些应用程序中，可能有多个专家策略可用，并且需要在运行时为底层环境选择一个。
2020-10-26 cs.AI cs.LG cs.SY
Active Exploration via Experiment Design in Markov Chains
ETH Zürich（苏黎世联邦理工学院）
科学和工程中的一个关键挑战是设计实验来了解一些感兴趣的未知量。经典实验设计最优地分配实验预算以最大化效用的概念（例如，减少关于未知量的不确定性）。我们考虑一个丰富的设置，其中的实验与状态在{ \em马尔可夫链}，我们只能选择它们通过选择一个{ \em政策}控制状态转换。这个问题抓住了重要的应用，从强化学习的探索到空间监控任务。我们提出了一种算法- \textsc{markov-design} -有效地选择策略，其测量分配\emph{provably converges to the optimal one}。该算法本质上是顺序的，通过过去的测量来调整其策略（实验）的选择。除了我们的理论分析，我们还展示了我们在生态监测和药理学方面的应用框架。
2022-11-09 cs.LG stat.ME stat.ML
Robust optimal policies for team Markov games
Peking University（北京大学）；University of Groningen（格罗宁根大学）
在随机动态环境中，团队马尔可夫博弈已经成为研究完全合作多智能体系统序列决策问题的通用范式。然而，导出的策略的最优性通常是敏感的模型参数，这通常是未知的，并需要估计噪声数据在实践中。为了减轻最优策略对这些不确定参数的敏感性，本文提出了一种鲁棒的团队马尔可夫博弈模型，其中代理利用鲁棒优化方法来更新策略。该模型将团队马尔可夫博弈扩展到不完全信息的情形，同时提供了一种鲁棒团队最优性的替代解概念。为了寻求这样的解决方案，我们开发了一个强大的迭代学习算法的团队政策，并证明其收敛性。与鲁棒动态规划相比，该算法不仅具有更快的收敛速度，而且允许使用近似计算来减轻维数灾难。此外，通过将序列社会困境的对策模型推广到不确定场景，给出了一些数值模拟来证明算法的有效性。
2022-05-02 cs.AI cs.GT cs.MA
Provably Learning Nash Policies in Constrained Markov Potential Games
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对安全多智能体强化学习中约束马尔可夫博弈难求解的问题，提出约束马尔可夫势博弈框架及坐标上升算法CA-CMPG，证明其在表格有限场景下收敛到Nash策略并给出首个未知场景的样本复杂度界。
2023-06-13 cs.GT cs.LG cs.MA
Optimizing Local Satisfaction of Long-Run Average Objectives in Markov Decision Processes
针对马尔可夫决策过程中长期平均目标的最优策略存在有限时间内状态访问频率与极限频率差异大的局部不稳定问题，本文提出了一种高效的算法解决方案。
2023-12-19 cs.MA math.OC
Learning Closed-Loop Parametric Nash Equilibria of Multi-Agent Collaborative Field Coverage
Department of Electrical, Computer, and Systems Engineering, Rensselaer Polytechnic Institute（电气、计算机与系统工程系，罗切斯特理工学院）
针对多智能体强化学习的非平稳与耦合难题，证明多智能体协同区域覆盖可建模为马尔可夫势博弈，通过求解等价单目标最优控制问题学习参数化闭环纳什均衡，训练速度较博弈论基线快10倍且执行收敛更快。
2025-10-06 cs.GT cs.MA cs.RO
