Reinforcement Learning for Markovian Bandits: Is Posterior Sampling more Scalable than Optimism?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Institute of Engineering Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学工程学院）
研究了带折扣的经典马尔可夫强盗问题的学习算法。我们解释了如何调整PSRL [24]和UCRL 2 [2]来利用问题结构。这些变体被称为MB-PSRL和MB-UCRL 2。虽然遗憾的界限和香草实现的PSRL和UCRL 2的时间是指数的强盗的数量，我们表明，情节的遗憾的MB-PSRL和MB-UCRL 2是$\tilde{O}(S\sqrt{nK})$其中$K$是情节的数量，$n$是强盗的数量和$S$是每个强盗的状态数（在S，n和K中的确切界限在本文中给出）。直到因子$\sqrt S$，这与我们在论文中也导出的$Ω(\sqrt{SnK})$的下限相匹配。MB-PSRL在计算上也是高效的：它的运行时间与强盗的数量成线性关系。我们进一步表明，这种线性运行时间不能通过适应经典的非贝叶斯算法，如UCRL 2或UCBVI马尔可夫强盗问题。最后，我们进行数值实验，证实MB-PSRL优于其他现有的算法在实践中，无论是在遗憾和计算时间。
2022-05-03 cs.AI cs.LG
Policy Gradient Methods for Non-Markovian Reinforcement Learning
Department of Computer Science and Automation, Indian Institute of Science（印度科学研究院计算机科学与自动化系）；Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）；Department of Electrical and Electronics Engineering, Nanyang Technological University（南洋理工大学电气与电子工程系）；CMAP, CNRS, École polytechnique, Institut Polytechnique d́e Paris（巴黎理工学院先进材料与工艺中心、国家科学研究中心、巴黎理工学院）
本文研究非马尔可夫决策过程中的策略梯度方法，提出基于奖励的策略优化框架，通过递归更新内部状态提升非马尔可夫任务性能。
2026-05-11 cs.AI cs.LG
Inferring Probabilistic Reward Machines from Non-Markovian Reward Processes for Reinforcement Learning
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
强化学习在典型环境中的成功是基于对奖励信号的马尔可夫假设，代理通过该信号学习最优策略。近年来，奖励机器的使用放宽了这一假设，使非马尔可夫奖励的结构化表示。特别地，这种表示可以用于增强底层决策过程的状态空间，从而促进非马尔可夫强化学习。然而，这些奖励机器不能捕捉随机奖励信号的语义。在本文中，我们在这方面取得了进展，引入概率奖励机（PRM）作为非马尔可夫随机奖励的代表。我们提出了一个算法，学习PRM从底层的决策过程，并证明其正确性和收敛性的结果。
2022-03-27 cs.FL cs.LG stat.ML
Reinforcement Learning with Non-Markovian Rewards
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
标准的RL世界模型是马尔可夫决策过程（MDP）的模型。MDP的一个基本前提是奖励仅取决于最后的状态和动作。然而，许多现实世界的奖励是非马尔可夫的。例如，如果国家只记录当前的请求和交付，那么仅在请求较早且尚未送达时才提供咖啡的奖励是非马尔可夫的。过去的工作考虑了用非马尔可夫奖励（NMR）建模和解决MDP的问题，但我们不知道用NMR进行RL的原则性方法。在这里，我们解决的问题，策略学习从经验与这种奖励。我们描述和经验评估四个组合的经典RL算法Q-学习和R-max与自动机学习算法，以获得新的RL算法与NMR域。我们还证明了这些变种收敛到一个最优策略的限制。
2019-12-05 cs.AI
Reducing Planning Complexity of General Reinforcement Learning with Non-Markovian Abstractions
Research School of Computer Science, ANU（澳大利亚国立大学计算机科学研究学院）；Google DeepMind（谷歌DeepMind）
一般强化学习（GRL）领域从根本上阐述了顺序决策问题。相互作用的历史构成了系统的“基态”，它永远不会重复。一方面，这种通用性允许GRL对几乎所有可能的领域进行建模，例如Bandits、MDP、POMDP、PSR和基于历史的环境。另一方面，在一般情况下，在GRL的近最优策略是完整的历史，这不仅阻碍了学习，而且在GRL规划的功能。规划部分的通常方法是给代理一个底层过程的马尔可夫抽象。因此，它可以使用任何MDP规划算法来找到一个接近最优的策略。极端状态聚合（ESA）框架已经将这一想法扩展到非马尔可夫抽象，而不影响通过（代理）MDP进行规划的可能性。ESA的一个显著特征是，它证明了代理MDP所需状态数上的$O\left(\varepsilon^{-A} \cdot (1-γ)^{-2A}\right)$的上界（其中$A$是动作数，$γ$是折扣因子，$\varepsilon$是最优间隙），其保持\emph{all}域的\emph{uniformly}。虽然一个普遍的约束的可能性是相当显着的，我们表明，这个约束是非常松散的。我们提出了一种新的非MDP抽象，它允许一个更好的上限的$O\left(\varepsilon^{-1} \cdot (1-γ)^{-2} \cdot A \cdot 2^{A}\right)$。此外，我们表明，这个界限可以进一步提高到$O\left(\varepsilon^…
2021-12-26 cs.AI cs.LG
Bayesian Inverse Reinforcement Learning for Non-Markovian Rewards
University of Central Florida（中佛罗里达大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
针对现有逆强化学习多适配马尔可夫奖励、非马尔可夫奖励推断需奖励信号的问题，提出可直接从专家行为推断奖励机的贝叶斯逆强化学习框架，改进模拟退火最大化奖励后验，性能优于现有二元非马尔可夫奖励学习方法。
2024-06-20 cs.LG
Reinforcement Learning in Non-Markovian Environments
Stanford University（斯坦福大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文研究非马尔可夫环境中的强化学习问题，提出了一种相关形式化表述并量化了Q-learning算法的误差，进而提出基于自编码器递归计算近似充分统计量的智能体设计方案。
2024-02-13 cs.LG cs.SY eess.SY
Non-Deterministic Policies in Markovian Decision Processes
McGill University（麦吉尔大学）
马尔可夫过程长期以来一直被用来模拟随机环境。强化学习已经成为解决此类环境中的顺序规划和决策问题的框架。近年来，人们尝试应用强化学习的方法来构建马尔可夫环境下的行动选择决策支持系统。虽然强化学习中的传统方法已被证明在有关顺序决策的问题中是有用的，但它们不能以其当前形式应用于决策支持系统，例如医疗领域中的决策支持系统，因为它们建议的政策通常是高度规范的，并且几乎没有给用户输入留下空间。如果没有能力提供灵活的指导方针，这些方法就不太可能得到这类系统用户的欢迎。本文介绍了新的概念，非确定性的政策，让更多的灵活性，在用户的决策过程中，同时限制决策保持接近最优的解决方案。我们提供了两个算法来计算离散域中的非确定性策略。我们研究了这些方法的输出和运行时间上的一组合成和现实世界的问题。在与人类受试者的实验中，我们表明，人类的辅助提示基于非确定性的政策优于人类和计算机只代理在网络导航任务。
2014-01-16 cs.AI cs.LG
Almost Sure Convergence Rates and Concentration of Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Oxford（牛津大学）；University of Virginia（弗吉尼亚大学）
本文首次为马尔可夫噪声下的一般收缩性随机逼近算法建立了几乎必然收敛速率和指数尾部集中界，并应用于 $Q$-学习和离策略时序差分学习。
2024-11-20 cs.LG math.OC stat.ML
Non-Markovian Reinforcement Learning using Fractional Dynamics
University of Southern California（南加州大学）
强化学习（Reinforcement learning，RL）是一种学习与随机环境交互的智能体的控制策略的技术。在任何给定的状态下，智能体采取某种行动，环境确定下一个状态的概率分布，并给智能体一些奖励。大多数RL算法通常假设环境满足马尔可夫假设（即下一个状态的概率分布仅取决于当前状态）。在本文中，我们提出了一个基于模型的RL技术的系统，具有非马尔可夫动力学。这样的环境在许多现实世界的应用中是常见的，例如在人类生理学、生物系统、材料科学和种群动力学中。基于模型的强化学习（MBRL）技术通常尝试同时从数据中学习环境模型，并尝试为学习的模型确定最佳策略。我们提出了一种技术，通过一个分数动力系统的非马尔可夫模型的系统。我们表明，我们可以量化的MBRL算法，使用有界时域模型预测控制从最优策略的性能差异。最后，我们展示了我们提出的框架上的人体血糖动力学模型，并表明我们的分数模型可以捕捉到现实世界的数据集上的遥远的相关性。
2021-07-29 cs.LG
Prediction-Based Markov Violation Scores for Detecting Non-Markovian Observations in Reinforcement Learning
本文提出一种基于预测的马尔可夫违反评分，用于检测强化学习中非马尔可夫性观测。通过随机森林和岭回归分析观测轨迹中的非马尔可夫结构，评估六个环境、三种算法和不同噪声水平下的表现。
2026-05-06 cs.AI cs.LG stat.ML
Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions
UC Berkeley（加州大学伯克利分校）
针对非马尔可夫环境下霍克斯驱动随机微分方程的随机控制问题，提出Hawkes-CT DDPG算法，通过马尔可夫化近似实现无模型学习，并在三类核上与离散时间强化学习方法对比。
2026-08-20 cs.LG math.OC stat.ML
Robust Offline Reinforcement Learning for Non-Markovian Decision Processes
The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
针对非马尔可夫决策过程，本文提出基于数据集蒸馏、LCB和对偶形式的鲁棒离线RL算法，并证明低秩与无结构情形下的多项式样本效率。
2025-01-05 cs.LG stat.ML
Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples
Arizona State University（亚利桑那州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
尽管深度强化学习（RL）在各种任务中的表现已经超过了人类水平，但它仍然存在一些根本性的挑战。首先，大多数强化学习方法需要从环境探索中获得大量数据才能实现令人满意的性能。其次，在强化学习中使用神经网络使得很难以人类可以理解的方式解释系统的内部结构。为了解决这两个挑战，我们提出了一个框架，使RL代理的原因在其探索过程中，并提取高层次的知识，有效地指导其未来的探索。具体来说，我们提出了一种新的RL算法，学习高级知识的形式，有限奖励自动机通过使用L* 学习算法。我们证明了在情节强化学习中，有限奖励自动机可以表示任何非马尔可夫有界奖励函数，并以任意精度逼近任何非马尔可夫有界奖励函数（具有无穷多个奖励值）。我们还提供了一个下界的情节长度，建议RL方法几乎肯定收敛到一个最优的政策的限制。我们在两个具有非马尔可夫奖励函数的RL环境中测试了这种方法，为每个环境选择了各种复杂性不断增加的任务。我们比较了我们的算法与最先进的RL算法的非马尔可夫奖励功能，如联合推理的奖励机和策略的RL（JIRP），学习奖励机（LRM），和近端策略优化（PPO2）。我们的结果表明，我们的算法收敛到最优策略比其他基线方法。
2021-07-03 cs.AI cs.LG
Simple and optimal methods for stochastic variational inequalities, II: Markovian noise and policy evaluation in reinforcement learning
Georgia Institute of Technology（佐治亚理工学院）
本文的重点是研究马尔可夫噪声下的随机变分不等式（VI）。我们算法开发的一个突出应用是强化学习中的随机策略评估问题。文献中的先前调查集中在时间差（TD）学习采用非光滑有限时间分析的动机随机次梯度下降导致一定的限制。这些包括分析修改的TD算法的要求，该算法涉及到投影到先验定义的欧几里德球，实现非最佳的收敛速度，并且没有明确的方式来获得并行实现的有益效果。我们的方法弥补了这些缺点，在更广泛的背景下，特别是当它涉及到随机的政策评估的随机VI。我们开发了各种简单的TD学习型算法，其原始版本的动机，保持其简单性，同时提供从非渐近分析的角度来看，明显的优势。我们首先提供了一个改进的分析标准TD算法，可以受益于并行实现。然后，我们提出了一个有条件的TD算法（CTD）的版本，涉及定期更新的随机迭代，从而减少了偏见，因此表现出改进的迭代复杂性。这给我们带来了快速TD（FTD）算法，它结合了CTD和随机算子外推法的同伴文件的元素。对于一个新的索引重置策略，FTD表现出最好的收敛速度。我们还设计了一个强大的版本的算法，特别适合于贴现因子接近1。
2021-08-13 cs.AI cs.LG math.OC
Non-asymptotic Convergence of Adam-type Reinforcement Learning Algorithms under Markovian Sampling
The Ohio State University（俄亥俄州立大学）；Southern University of Science and Technology（南方科技大学）
尽管Adam在强化学习（RL）中有着广泛的应用，但Adam型RL算法的理论收敛性尚未得到证实。本文提供了第一个这样的收敛性分析的两个基本RL算法的策略梯度（PG）和时间差（TD）的学习，将AMSGrad更新（亚当在理论分析中的标准替代品），称为PG-AMSGrad和TD-AMSGrad，分别。此外，我们的分析重点是马尔可夫抽样的两种算法。我们证明了在一般非线性函数逼近下，PG-AMSGrad具有常数步长以$\mathcal{O}(1/T)$（$T$表示迭代次数）的速率收敛到一个稳定点的邻域，而具有递减步长以$\mathcal{O}(\log^2 T/\sqrt{T})$的速率精确收敛到一个稳定点.此外，在线性函数逼近下，TD-AMSGrad在固定步长下以$\mathcal{O}(1/T)$的速度收敛到全局最优解的邻域，在减小步长下以$\mathcal{O}(\log T/\sqrt{T})$的速度精确收敛到全局最优解.我们的研究开发了新的技术分析亚当型RL算法下马尔可夫抽样。
2020-08-17 cs.LG math.OC stat.ML
Deep Black-Box Reinforcement Learning with Movement Primitives
Bosch Center for AI（博世人工智能中心）；University of Tübingen（图宾根大学）；KIT（卡尔斯鲁厄理工学院）
基于\Episode的强化学习（ERL）算法将强化学习（RL）视为黑盒优化问题，其中我们学习为称为上下文的给定任务描述符选择控制器的参数向量，通常表示为移动原语。与基于步骤的RL相比，ERL提供了几个明显的好处。它生成平滑的控制轨迹，可以处理非马尔可夫奖励定义，并且由此产生的参数空间中的探索非常适合于解决稀疏奖励设置。然而，迄今为止，运动原始参数的高维性阻碍了深度RL方法的有效使用。在本文中，我们提出了一种新的算法深度ERL。它基于可微信任域层，这是一种成功的基于策略的深度RL算法。这些层允许我们为策略更新指定信任区域，这些信任区域使用凸优化为每个状态精确求解，这使得策略学习具有ERL所需的高精度。我们比较我们的ERL算法在许多复杂的模拟机器人控制任务的国家的最先进的基于步骤的算法。在这样做时，我们研究不同的奖励公式-密集，稀疏和非马尔可夫。虽然基于步骤的算法仅在密集奖励上表现良好，但ERL在稀疏和非马尔可夫奖励上表现良好。此外，我们的研究结果表明，稀疏和非马尔可夫奖励通常也更适合定义所需的行为，使我们能够获得比基于步骤的RL更高质量的政策。
2022-10-18 cs.AI cs.LG cs.RO
Non-Markovian policies occupancy measures
Microsoft Research Montréal（微软研究院蒙特利尔）；MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）
强化学习（RL）的一个中心研究对象是马尔可夫策略，其中代理的行为是从无记忆概率分布中选择的，仅以其当前状态为条件。马尔可夫政策家族的范围足够广，令人感兴趣，但又足够简单，便于分析。然而，强化学习往往涉及更复杂的政策：政策的合奏，政策的选择，政策更新在线等，我们的主要贡献是证明，任何非马尔可夫政策的占用措施，即，与它一起收集的过渡样本的分布可以等效地由马尔可夫策略生成。这个结果允许定理的马尔可夫政策类直接扩展到其非马尔可夫对应，大大简化了证明，特别是那些涉及重放缓冲区和数据集。我们在强化学习领域提供了各种应用实例。
2022-05-27 cs.LG cs.SY eess.SY
Reinforcement Learning for Control of Non-Markovian Cellular Population Dynamics
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；IAIFI
本研究应用无模型深度强化学习（RL）控制在非马尔可夫动力学下演化的细胞种群药物给药问题，发现该方法能恢复精确解并在含噪声和动态记忆强度的环境中实现鲁棒控制。
2025-01-28 cs.LG q-bio.PE
Extended Markov Games to Learn Multiple Tasks in Multi-Agent Reinforcement Learning
Imperial College London（帝国理工学院）
形式化方法与强化学习（RL）的结合最近引起了人们的兴趣，作为单智能体RL学习多任务规范的一种方式。在本文中，我们将这种收敛扩展到多智能体设置，并正式定义扩展马尔可夫博弈作为一个通用的数学模型，允许多个RL代理同时学习各种非马尔可夫规范。为了介绍这个新的模型，我们提供了正式的定义和证明，以及经验测试的RL算法运行在这个框架上。具体来说，我们使用我们的模型训练两个不同的基于逻辑的多智能体RL算法，以解决不同的设置非马尔可夫共同安全的LTL规范。
2020-02-14 cs.AI cs.LG cs.LO
Finite-sample Analysis of Greedy-GQ with Linear Function Approximation under Markovian Noise
University at Buffalo（布法罗大学）
Greedy-GQ是一种用于强化学习最优控制的非策略双时标算法。本文首次对马尔可夫噪声下线性函数逼近的Greedy-GQ算法进行了有限样本分析。我们的有限样本分析提供了理论上的理由选择步长为这两个时标算法在实践中更快的收敛，并建议收敛速度和所获得的政策的质量之间的权衡。本文将两种时间尺度强化学习算法的有限样本分析从策略评估扩展到最优控制，这更具有实际意义。具体而言，与现有的两种时间尺度方法的有限样本分析相比，例如，GTD，GTD 2和TDC，其中它们的目标函数是凸的，贪婪GQ算法的目标函数是非凸的。此外，Greedy-GQ算法也不是线性两时标随机近似算法。在本文中，我们的技术提供了一个一般的框架，有限样本分析的非凸值为基础的强化学习算法的最优控制。
2020-05-20 cs.LG stat.ML
Beyond Simple Sum of Delayed Rewards: Non-Markovian Reward Modeling for Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能中心）；Nanjing University（南京大学）；Zhejiang University（浙江大学）
针对延迟奖励并非实例级马尔可夫奖励简单求和的问题，提出RLCoDe设定与CoDeTr模型，用非马尔可夫加权分量及序列内注意力建模复合延迟奖励，并在运动任务中验证其优于基线。
2024-10-26 cs.LG
Convergence of Two-Timescale Markovian Stochastic Approximations with Applications in Reinforcement Learning
Department of Computer Science, University of Virginia, Charlottesville, VA, USA（弗吉尼亚大学计算机科学系）；Data Science Lab, MIT, Cambridge, MA, USA（麻省理工学院数据科学实验室）；Mitch Daniels School of Business, Purdue University, West Lafayette, IN, USA（普渡大学米切尔丹尼尔斯商学院）；Division Office Physics, Math and Astronomy, California Institute of Technology, Pasadena, CA, USA（加州理工学院物理、数学和天文学分校）
本文研究双时间尺度随机逼近在马尔可夫噪声下的稳定性与收敛性，通过用慢时间尺度参数的运行最大值控制快时间尺度参数，首次证明了带资格迹的TDC在离策略线性函数逼近下的几乎必然收敛。
2026-05-29 cs.LG stat.ML
Markovian Nonconvex ADMM for Reinforcement Learning: Bellman-Resolvent Stability Beyond Smooth Blocks
本研究揭示马尔可夫非凸ADMM中折扣Bellman预解算子可提供乘子稳定性，建立强化学习收敛性，并给出迭代与样本复杂度，证明覆盖的KKT点全局最优，提出可复用的结构原则。
2026-09-30 cs.LG
Offline Inverse Constrained Reinforcement Learning for Safe-Critical Decision Making in Healthcare
School of Computer Science and Technology（计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）；School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对医疗离线决策中难以指定约束的问题，提出约束Transformer（CT），利用因果注意力机制建模非马尔可夫约束，并通过生成式世界模型增强数据，有效降低不安全行为并实现接近较低死亡率的策略。
2024-10-14 cs.AI cs.LG
Enhancing Reinforcement Learning with discrete interfaces to learn the Dyck Language
Saarland University（萨尔大学）
尽管现实世界中的大多数接口都是离散的，但还没有有效的方法来训练神经网络来利用它们。我们增强了交互网络（强化学习架构）与离散接口和训练它的广义Dyck语言。这个任务需要理解层次结构来解决，并且长期以来一直被证明对神经网络来说是困难的。我们提供了第一个解决方案的基础上学习使用离散数据结构。我们在训练过程中遇到了意想不到的异常行为，并利用基于执行跟踪的预训练来克服它们。所得到的模型非常小且快速，并且推广到比训练数据长整个数量级的序列。
2021-10-27 cs.AI cs.LG
Exact Reduction of Huge Action Spaces in General Reinforcement Learning
Research School of Computer Science, ANU（澳大利亚国立大学计算机科学研究学院）；Google DeepMind（谷歌DeepMind）
强化学习（RL）框架形式化了交互学习的概念。许多现实世界的问题都有很大的状态空间和/或动作空间，比如围棋、星际争霸、蛋白质折叠和机器人技术，或者是非马尔可夫的，这给RL算法带来了巨大的挑战。在这项工作中，我们解决了大的行动空间的问题，通过序列化的行动，这可以减少行动空间的大小显着，甚至下降到两个行动的代价增加规划视野。我们提供了明确和准确的建设和等价性证明的所有数量的利益为任意的历史为基础的过程。在MDP的情况下，这可以帮助RL算法进行引导。在这项工作中，我们将展示如何在非MDP的情况下，动作二进制化可以显着提高极端状态聚合（ESA）的界限。ESA允许铸造任何（非MDP，非遍历，基于历史的）RL问题到一个固定大小的非马尔可夫状态空间的帮助下，代理马尔可夫过程。从好的方面来看，ESA享有与马尔可夫模型类似的最优性保证。但缺点是聚合状态空间的大小与动作空间的大小成指数关系。在这项工作中，我们修补这个问题的二进制化的动作空间。我们提供了一个上界的状态数的二进制ESA是对数的原始动作空间的大小，双指数的改善。
2020-12-18 cs.AI cs.LG cs.SY
On the Limitations of Markovian Rewards to Express Multi-Objective, Risk-Sensitive, and Modal Tasks
Oxford University（牛津大学）；The Future of Humanity Institute（人类未来研究所）
该研究分析强化学习中标量马尔可夫奖励的表达局限，推导多目标、风险敏感、模态三类RL任务可被其表达的充要条件，指出其无法覆盖三类任务的多数实例，并首次系统提出模态问题这一新问题类别，补充了标准奖励函数表达能力的研究。
2024-01-26 cs.AI cs.LG
Neuromuscular Reinforcement Learning to Actuate Human Limbs through FES
Imperial College London（帝国理工学院）
功能性电刺激（FES）是一种通过低能量电信号引起肌肉收缩的技术。FES可以激活瘫痪的肢体。然而，一个开放的挑战仍然是如何应用FES实现所需的运动。人体的复杂性和肌肉反应的非平稳性加剧了这一挑战。前者导致在执行逆动力学的困难，而后者导致控制性能下降，在延长使用期。在这里，我们通过数据驱动的方法来应对挑战。具体来说，我们通过强化学习（RL）学习控制FES，RL可以自动为患者定制刺激。然而，RL通常有马尔可夫假设，而FES控制系统是非马尔可夫的，因为非平稳性。为了解决这个问题，我们使用一个递归神经网络来创建马尔可夫状态表示。我们将FES控制转换为RL问题，并训练RL代理在模拟和现实世界的不同设置中控制FES。结果表明，RL控制器可以在较长的时间内保持控制性能，并具有比PID控制器更好的激励特性。
2022-09-16 cs.LG cs.RO
Finite-Sample Analysis of Nonlinear Stochastic Approximation with Applications in Reinforcement Learning
Virginia Tech（弗吉尼亚理工学院）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
受强化学习（RL）应用的启发，研究了马尔可夫噪声下的一种非线性随机逼近（SA）算法，并建立了其在不同步长下的有限样本收敛界.具体来说，我们表明，当使用恒定步长（即，$α_k\equiv α$），该算法实现指数快速收敛到期望的极限点周围的邻域（具有半径$O(α\log(1/α))$）。当使用具有适当衰减率的递减步长时，该算法以速率$O(\log(k)/k)$收敛。我们的证明是基于李雅普诺夫漂移参数，并处理马尔可夫噪声，我们利用快速混合的基础马尔可夫链。为了证明我们的理论结果的一般性马尔可夫SA，我们使用它来获得流行的$Q$ -学习与线性函数逼近算法的有限样本界，在行为策略的条件下。重要的是，我们不需要假设样本是独立同分布的，并且在算法中不需要人工投影步骤来保持迭代的有界性。数值模拟证实了我们的理论结果。
2022-01-26 cs.LG math.OC
Reinforcement Learning: a Comparison of UCB Versus Alternative Adaptive Policies
Rutgers University（罗格斯大学）
在本文中，我们考虑的基本版本的强化学习（RL），涉及到计算最佳的数据驱动（自适应）的马尔可夫决策过程的转移概率未知的政策。我们提供了一个简短的调查，该地区的最先进的，我们比较了性能的经典UCB政策的\cc{bkmdp97}与一个新的政策，我们在这里开发的，我们称之为MDP-Deterministic最小经验分歧（MDP-DMED），和一个方法的基础上后验抽样（MDP-PS）。
2019-09-13 cs.AI cs.LG stat.ML
Reinforcement Learning for Task Specifications with Action-Constraints
Indian Institute of Science（印度科学理工学院）
在本文中，我们使用离散事件系统的监督控制理论的概念，提出了一种方法来学习最优控制政策的有限状态马尔可夫决策过程（MDP），其中（只有）某些序列的行动被认为是不安全的（分别是安全的）。我们假设被认为是不安全和/或安全的动作序列的集合中给出的有限状态自动机，并提出了一个监督员，禁用一个子集的动作在每个状态的MDP，使动作序列的约束得到满足。然后，我们提出了一个版本的Q-学习算法学习最优策略的存在下，非马尔可夫行动序列和状态的约束，在那里我们使用的奖励机的发展来处理状态约束。我们说明了使用一个例子，捕获的实用程序的自动机为基础的方法，非马尔可夫状态和动作规范的强化学习，并显示在此设置的模拟结果的方法。
2022-01-02 cs.AI cs.LG cs.SY
The Importance of Non-Markovianity in Maximum State Entropy Exploration
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）
在最大状态熵探索框架中，智能体与无奖励环境进行交互，以学习使其诱导的预期状态访问的熵最大化的策略。Hazan等人（2019）指出，马尔可夫随机策略类对于最大状态熵目标是足够的，在这种情况下，利用非马尔可夫性通常被认为是毫无意义的。在本文中，我们认为，在有限样本制度的最大状态熵的探索，而不是至关重要的非马尔可夫。特别是，我们重新设计的目标，在一个单一的审判诱导状态访问的预期熵。然后，我们证明了这类非马尔可夫确定性政策是足够的引入的目标，而马尔可夫政策遭受非零遗憾一般。然而，我们证明了寻找最优非马尔可夫策略的问题是NP-困难的。尽管这个负面的结果，我们讨论的途径来解决这个问题，在一个易于处理的方式，以及如何非马尔可夫探索可以有利于样本效率的在线强化学习在未来的工作。
2022-07-08 cs.LG
Efficient Reinforcement Learning in Probabilistic Reward Machines
Boston University（波士顿大学）
本文提出一种针对概率奖励机的高效强化学习算法，实现了更优的遗憾界，并首次达到与确定性奖励机匹配的下界，同时通过模拟引理支持无奖励探索，实验验证其优越性。
2024-08-19 cs.AI cs.LG stat.ML
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Asymptotic and Finite Sample Analysis of Nonexpansive Stochastic Approximations with Markovian Noise
本文研究了带有马尔可夫噪声的非扩张随机逼近，提供了渐近和有限样本分析，并首次证明了平均回报时间差学习收敛到路径依赖的固定点。
2025-11-19 cs.AI cs.LG math.OC
DeepSynth: Automata Synthesis for Automatic Task Segmentation in Deep Reinforcement Learning
University of Oxford（牛津大学）
本文提出了DeepSynth，这是一种有效训练深度强化学习（RL）代理的方法，当奖励是稀疏和非马尔可夫的，但同时朝着奖励的进展需要实现未知的高级目标序列。我们的方法采用了一种新的算法，紧凑的自动机的合成，自动发现这种顺序结构。我们从探索环境收集的跟踪数据中合成了一个人类可解释的自动机。然后用合成的自动机来丰富环境的状态空间，使得由深度RL生成的控制策略由在自动机中编码的发现的结构来指导。该方法能够同时处理高维、低层特征和未知稀疏非马尔可夫回报。我们在一系列实验中评估了DeepSynth的性能，其中包括Atari游戏Montezuma的复仇。与现有的方法相比，我们得到了减少两个数量级的策略合成所需的迭代次数，也是一个显着的可扩展性的改善。
2021-03-06 cs.AI cs.LG cs.LO
A Relative Ignorability Framework for Decision-Relevant Observability in Control Theory and Reinforcement Learning
Sanofi Pharmaceuticals（赛诺菲制药）；Department of Mathematics, Texas A&M University（数学系，德克萨斯大学阿姆斯特朗分校）
本文提出相对可忽略性图因果准则，统一因果推断与强化学习视角，证明在非马尔可夫且缺失可忽略条件下Q学习仍可收敛，扩展了安全数据高效AI的理论基础。
2025-08-06 cs.LG stat.ME
Using Experience Classification for Training Non-Markovian Tasks
Xidian University（西安电子科技大学）
针对非马尔可夫任务，提出一种基于LTL$_f$的强化学习方法，通过线性复杂度编码将其转化为MDP，并利用基于自动机结构的优先经验回放技术改进训练，有效提升了求解性能。
2023-10-18 cs.AI cs.FL cs.LG
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University（斯坦福大学）；MIT Lincoln Lab（麻省理工学院林肯实验室）
在多智能体强化学习（MARL）中，通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信，其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议，可以提高设计人员和其他智能体的可解释性，本文提出了一种生成类似人类语言的离散消息的方法，并通过基于自我注意的广播和收听机制实现通信。我们表明，离散消息通信的性能可比连续消息通信，但与一个小得多的词汇大小。此外，我们提出了一种方法，允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
Interpretable Reward Redistribution in Reinforcement Learning: A Causal Approach
Eindhoven University of Technology（埃因霍温理工大学）；University of California San Diego（加州大学圣迭戈分校）；University College London（伦敦大学学院）；University of Liverpool（利物浦大学）
本文提出一种基于因果生成模型的奖励再分配框架GRD，通过识别不可观测的马尔可夫奖励和因果关系，实现可解释的奖励分配并保持策略不变性，在延迟奖励场景中优于现有方法。
2023-11-10 cs.LG
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Constructing Non-Markovian Decision Process via History Aggregator
AILab, School of Computer Science, Peking University（AILab，计算机科学学院，北京大学）；National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家级实验室，计算机科学学院，北京大学）
针对决策算法处理非马尔可夫动态缺乏全面基准的问题，基于范畴论提出等价MDP与NMDP的方法，并引入状态历史聚合器（HAS）精确控制状态依赖结构，实现了对决策算法更严格灵活的评估。
2025-06-30 cs.AI
On the Stability of Random Matrix Product with Markovian Noise: Application to Linear Stochastic Approximation and TD Learning
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Ecole Polytechnique（巴黎综合理工学院）；HSE University（俄罗斯国家研究型高等经济大学）；The Chinese University of Hong Kong（香港中文大学）
研究了一般（可能无界）状态空间马尔可夫链驱动的随机矩阵乘积的指数稳定性。它是机器学习中随机算法分析的基石（例如在线学习或强化学习中的参数跟踪）。已有的结果给出了矩阵值函数一致有界和马尔可夫链一致遍历等强条件。我们的主要贡献是随机矩阵乘积的$p$阶矩的指数稳定性结果，条件是（i）底层的马尔可夫链满足超李雅普诺夫漂移条件，（ii）矩阵值函数的增长由适当定义的函数（与漂移条件相关）控制.利用这一结果，我们给出了一般状态空间上带马尔可夫噪声的常步长和减步长线性随机逼近格式的有限时间$p$阶矩界。我们将这些发现用于强化学习中的线性值函数估计。我们提供有限时间$p$ -th时刻的时间差（TD）的算法家族的各种成员的限制。
2021-01-30 cs.LG math.PR math.ST
Temporal-Causal Inference for Reinforcement Learning via Automata Learning
Research Center Trustworthy Data Science and Security, TU Dortmund University（多特蒙德工业大学可信数据科学与安全研究中心）；School for Engineering of Matter, Transport, and Energy at Arizona State University（亚利桑那州立大学物质、运输与能源工程学院）
提出TCIRL框架，通过自动机学习推断隐藏时间模式导致的相变原因，联合学习策略，实验验证其恢复正确DFA并匹配全信息基线。
2026-11-03 cs.LG
DreamingV2: Reinforcement Learning with Discrete World Models without Reconstruction
Panasonic Corporation（松下公司）；Ritsumeikan University（立命馆大学）
本文提出了一种新的强化学习方法与世界模型，DreamingV2，DreamerV2和Dreaming的合作扩展。DreamerV2是一种基于模型的像素强化学习，它使用离散的世界模型来表示具有分类变量的潜在状态。做梦也是像素的强化学习的一种形式，它试图通过涉及无重构的对比学习目标来避免一般世界模型训练中的自动编码过程。所提出的DreamingV2是一种新颖的方法，采用DreamingV2的离散表示和Dreaming的无重构目标。与DreamerV2和其他最近的基于模型的方法相比，DreamingV2在五个模拟的具有挑战性的3D机器人手臂任务上取得了最好的成绩。我们相信DreamingV2将是机器人学习的一个可靠的解决方案，因为它的离散表示适合描述不连续的环境，并且无重构的方式很好地管理复杂的视觉观察。
2022-03-01 cs.AI cs.LG cs.SY
Federated TD Learning over Finite-Rate Erasure Channels: Linear Speedup under Markovian Sampling
University of Padova（帕多瓦大学）；North Carolina State University（北卡罗来纳州立大学）；University of Pennsylvania（宾夕法尼亚大学）
针对联邦强化学习中的策略评估问题，提出量化联邦时序差分算法QFedTD，在伯努利擦除信道下证明其线性加速，并首次给出量化和擦除影响的非渐近分析。
2023-05-14 cs.AI cs.LG cs.MA
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay（印度理工学院孟买分校）
由于强化学习在过去几年中的兴趣增长，基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的，因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势，并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战，因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策，使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
Asymptotic Theory for IV-Based Reinforcement Learning with Potential Endogeneity
The University of Hong Kong（香港大学）；Shenzhen Loop Area Institute（深圳河套学院）；Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）
该研究针对数据生成与分析动态交互产生的强化偏差加剧内生性问题，提出基于工具变量的强化学习算法，建立其理论性质并给出最优策略推断公式，拓展了强化学习的渐近理论。
2026-08-21 cs.LG econ.EM math.OC
Almost Sure Convergence Rates of Stochastic Approximation and Reinforcement Learning via a Poisson-Moreau Drift
University of Virginia（弗吉尼亚大学）
本文研究了在马尔可夫噪声下随机逼近和强化学习的几乎必然收敛速度，提出了一种基于皮奥内-莫鲁漂移的新方法，适用于具有收缩性的随机逼近算法，如Q学习和线性时间差分学习。
2026-11-06 cs.LG math.OC stat.ML
Degradation-Aware Frequency Regulation of a Heterogeneous Battery Fleet via Reinforcement Learning
Plaksha University（Plaksha大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出了一种基于强化学习的异质电池群频率调节方法，通过设计密集代理奖励和函数近似方法，减少循环退化并提高调度效率。
2026-02-07 cs.AI cs.SY eess.SY
Quotient-Categorical Representations for Bellman-Compatible Average-Reward Distributional Reinforcement Learning
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔电气与计算机工程学院）
本文提出商范畴表示用于平均奖励分布强化学习，通过引入商空间形式和范畴参数化，定义了投影平均奖励分布算子，并证明其非膨胀性及固定点存在。
2026-05-11 cs.LG math.OC
Finite-Time Bounds for Two-Time-Scale Stochastic Approximation with Arbitrary Norm Contractions and Markovian Noise
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）；Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程系）
本文研究带任意范数压缩与马尔可夫噪声的非线性双时间尺度随机逼近，利用广义Moreau包络和Poisson方程给出有限时间均方界，并应用于Q-Learning与GNE学习。
2025-09-28 cs.LG cs.SY eess.SY
Reinforcement Learning for a Discrete-Time Linear-Quadratic Control Problem with an Application
University of California, Berkeley（加州大学伯克利分校）；College of Computing, Data Science, and Society（计算、数据科学与社会学院）
本文利用熵度量探索成本，证明离散时间LQ控制问题的最优策略为高斯型，并将其应用于均值-方差资产负债管理，验证了RL算法的改进性与收敛性。
2025-02-04 cs.LG math.OC stat.ML
