Provably adaptive reinforcement learning in metric spaces
University of Massachusetts（马萨诸塞大学）；Microsoft Research（微软研究院）
我们研究强化学习在连续的状态和动作空间赋予一个度量。我们提供了对Sinclair，Banerjee和Yu（2019）算法变体的精细分析，并表明其遗憾与实例的\emph{zooming dimension}相关。这个参数，它起源于土匪文学，捕捉的大小子集的近最佳行动，总是小于覆盖维数在以前的分析。因此，我们的结果是度量空间中强化学习的第一个可证明的自适应保证。
2021-10-20 cs.LG stat.ML
Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and Benchmarking
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本文对可证明安全的强化学习方法进行分类、概念分析与基准测试，依据动作调整方式分为动作替换、投影和掩码，实验表明动作替换性能最佳，并提供了方法选择的实用指导。
2023-11-18 cs.LG
Provably Efficient Reinforcement Learning via Surprise Bound
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）
值函数逼近在现代强化学习（RL）问题中非常重要，特别是当状态空间（无限）大时。尽管价值函数逼近的重要性和广泛的适用性，它的理论理解仍然不像它的经验成功，特别是在一般函数逼近的背景下复杂。在本文中，我们提出了一个可证明有效的RL算法（计算和统计）与一般值函数近似。我们表明，如果价值函数可以近似的函数类，满足贝尔曼完备性假设，我们的算法实现了$\widetilde{O}(\text{poly}(ιH)\sqrt{T})$遗憾界$ι$是产品的惊喜界和日志覆盖数，$H$是规划视野，$K$是情节和$T = HK$是总的步骤数的代理与环境相互作用。我们的算法实现合理的遗憾界时，适用于线性设置和稀疏高维线性设置。而且，我们的算法只需要求解$O(H\log K)$经验风险最小化（ERM）问题，远比以往需要求解$Ω(HK)$次ERM问题的算法效率高。
2023-02-22 cs.LG
Provably Efficient Exploration in Constrained Reinforcement Learning:Posterior Sampling Is All You Need
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（杰罗尼默斯数据科学学院）；Tilburg University（蒂尔堡大学）
针对无限视野无折扣通信型 CMDP，提出基于后验采样的探索算法，获得接近最优的贝叶斯遗憾界，并在实验中优于现有约束强化学习方法。
2023-09-27 cs.LG
Provably Efficient Primal-Dual Reinforcement Learning for CMDPs with Non-stationary Objectives and Constraints
University of California, Berkeley（加州大学伯克利分校）
我们考虑基于原始-对偶的强化学习（RL）在具有非平稳目标和约束的情景约束马尔可夫决策过程（CMDPs）中的应用，它在确保RL在时变环境中的安全性方面起着核心作用。在这个问题中，奖励/效用函数和状态转换函数都允许随时间任意变化，只要它们的累积变化不超过某些已知的变化预算。在时变环境中设计安全RL算法特别具有挑战性，因为需要集成约束违反减少，安全探索和适应非平稳性。为此，我们确定了两个可供选择的条件下，我们可以保证在长期的安全随时间变化的约束。我们还提出了\underline{P}周期性\underline{R}启动\underline{O}乐观\underline{P}原始- \underline{D} ual \underline{P} roximal \underline{P}优化\underline{O}策略（PROPD-PPO）算法，该算法可以协调这两种情况。此外，在线性核CMDP函数逼近和表格CMDP函数逼近两种情况下，分别建立了该算法的动态后悔界和约束违反界.本文提供了第一个可证明有效的算法与安全的探索非平稳CMDPs。
2022-11-19 cs.LG
Replicable Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
本文首次研究可复现强化学习，提出了并行值迭代和回合制 R-max 的可证明可复现算法，填补了控制问题在算法可复现性方面的空白。
2023-10-31 cs.LG
Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning
Microsoft Research（微软研究院）
我们提出了一个算法，HOMER，探索和强化学习在丰富的观察环境，可概括的一个未知的潜在状态空间。该算法交织表示学习，以确定一个新的概念的运动状态抽象与战略探索，以达到新的状态，使用学习的抽象。该算法可证明地探索环境与样本复杂性缩放多项式的数量的潜在状态和时间范围，并且，至关重要的是，与不依赖于的大小的观察空间，这可能是无限大的。这种探索保证进一步实现了任何奖励函数的样本有效全局策略优化。在计算方面，我们表明，该算法可以有效地实现某些监督学习问题是易处理的。从经验上讲，我们评估HOMER的一个具有挑战性的探索问题，在那里我们表明，该算法是指数更有效的样本比标准的强化学习基线。
2019-11-13 cs.LG stat.ML
Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning
本文提出一种计算高效算法，在无限 horizon 折扣线性马尔可夫决策过程（MDPs）中实现最优 regret 保证，结合乐观探索技术与正则化近似动态规划方案，达到 O(√(d³(1-γ)^(-7/2)T)) 的 regret，适用于模仿学习。
2026-03-13 cs.LG
RA-PbRL: Provably Efficient Risk-Aware Preference-Based Reinforcement Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Oregon State University（俄勒冈州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
针对单回合奖励下的安全关键场景，论文提出 RA-PbRL，以优化嵌套与静态分位数风险目标，并证明其次线性遗憾上界且得到实验支持。
2025-01-09 cs.LG
Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Nissan Advanced Technology Center Silicon Valley（日产先进技术研发中心硅谷）
本文为自动机条件强化学习提供理论框架，证明其可学习性，并提出可证明正确的自动机嵌入方法，保证最优多任务策略学习，实验验证了理论结果。
2025-05-22 cs.AI cs.CL cs.FL
Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Yale University（耶鲁大学）；Northwestern University（西北大学）
我们研究了具有轨迹偏好的人在回路强化学习（RL），其中代理只从人类监督者那里接收轨迹对的偏好，而不是在每一步接收数字奖励。智能体的目标是学习人类监督者最喜欢的最优策略。尽管经验上的成功，基于偏好的强化学习（PbRL）的理论理解仅限于表格的情况下。在本文中，我们提出了第一个乐观的基于模型的算法PbRL与一般函数近似，估计模型使用值为目标的回归和计算的探索性政策，通过解决一个乐观的规划问题。我们的算法实现了遗憾的$\tilde{O} (\operatorname{poly}(d H) \sqrt{K} )$，其中$d$是过渡和偏好模型的复杂性度量取决于Eluder维数和日志覆盖数，$H$是规划视野，$K$是情节的数量，和$\tilde O(\cdot)$省略对数项。我们的下限表明，我们的算法是接近最优的，当专门的线性设置。此外，我们扩展了PbRL问题，制定了一个新的问题，称为RL与$n$明智的比较，并提供了第一个样本有效的算法，这个新的设置。据我们所知，这是PbRL与（一般）函数近似的第一个理论结果。
2022-05-24 cs.LG
Provably Robust Blackbox Optimization for Reinforcement Learning
Google Brain Robotics（谷歌大脑机器人团队）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
最近，强化学习（RL）社区对无衍生优化（DFO）和“进化策略”（ES）的兴趣激增，越来越多的证据表明它们可以与机器人技术中政策优化问题的最新方法相媲美。然而，众所周知，DFO方法具有过高的采样复杂度。它们也可能对噪声奖励和随机动态非常敏感。在本文中，我们提出了一类新的算法，称为鲁棒黑箱优化（RBO）。值得注意的是，即使所有测量值中多达$23\%$被任意损坏，RBO也可以证明将梯度恢复到高精度。RBO依赖于使用鲁棒回归方法来学习梯度流，以实现偏离策略的更新。在几个MuJoCo机器人控制任务中，当所有其他RL方法在对抗性噪声存在下崩溃时，RBO能够有效地训练策略。我们还表明，RBO可以应用于腿运动任务，包括路径跟踪四足机器人。
2019-07-08 cs.LG stat.ML
Reinforcement Learning of Causal Variables Using Mediation Analysis
Technical University of Denmark（丹麦技术大学）；Alexandra Institute（亚历山德拉研究所）
机器学习中的许多开放问题都与因果关系有着内在的联系，然而，因果分析在机器学习中的应用还处于早期阶段。在一般的强化学习设置，我们考虑的问题，建立一个通用的强化学习代理，使用经验来构建环境的因果图，并使用此图通知其政策。我们的方法有三个特点：首先，我们学习一个简单的，粗粒度的因果图，其中的变量反映了许多时间实例的状态，干预发生在政策层面，而不是个人行动。其次，我们使用中介分析，以获得一个优化目标。通过最小化这个目标，我们定义了因果变量。第三，我们的方法依赖于估计条件期望，而不是熟悉的预期回报从强化学习，因此，我们应用贝尔曼方程的推广。我们表明，该方法可以学习一个合理的因果图在网格世界的环境中，和代理获得性能的改善时，使用的因果告知政策。据我们所知，这是第一次尝试在强化学习环境中应用因果分析，而对状态的数量没有严格限制。我们已经观察到，中介分析提供了一个很有前途的途径，将因果收购的问题转化为成本函数最小化，但重要的是一个涉及估计条件期望。这是一个新的挑战，我们认为因果强化学习将涉及适合在线估计这种条件期望的开发方法。最后，我们的方法的一个好处是使用非常简单的因果模型，这可以说是人类因果理解的一个更自然的模型。
2022-05-17 cs.LG
Provably Efficient Partially Observable Risk-Sensitive Reinforcement Learning with Hindsight Observation
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
本文研究带事后观测的部分可观测风险敏感强化学习，将其纳入POMDP与熵风险度量框架，提出首个可证明高效算法，并利用测度变换和beta向量给出多项式遗憾保证。
2024-02-28 cs.LG stat.ML
Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient
UC Santa Barbara（加州大学圣巴巴拉分校）；Princeton（普林斯顿大学）
离线强化学习是一种利用历史数据优化序列决策策略的学习方法，在实际应用中得到了广泛的应用。最先进的算法通常利用强大的函数逼近器（例如神经网络）来减轻样本复杂性障碍，以获得更好的经验性能。尽管取得了成功，但仍然缺乏对函数近似的统计复杂性的更系统的理解。为了弥合这一差距，我们采取了一个步骤，考虑离线强化学习与可微函数类近似（DFA）。这个函数类自然包含了广泛的非线性/非凸结构的模型。最重要的是，我们通过分析悲观拟合Q学习（PFQL）算法，证明了具有可微函数近似的离线RL是有效的，我们的结果为理解依赖于拟合Q迭代风格设计的各种实用算法提供了理论基础。此外，我们进一步提高了我们的保证与更严格的实例相关的特征。我们希望我们的工作能引起人们对可微函数逼近的强化学习研究的兴趣。
2022-11-23 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning in Continuous-Time Episodic MDPs with Poisson Decision Epochs
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
针对连续时间情节式MDP，在泊松决策时段和Lipschitz平滑假设下，扩展UCRL和Q-learning，证明$\widetilde{O}(T^{2/3})$遗憾界及匹配下界，实现最优速率。
2026-09-22 cs.LG
Provably Efficient Causal Reinforcement Learning with Confounded Observational Data
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
在神经网络等表达函数逼近器的支持下，深度强化学习（DRL）取得了巨大的经验成功。然而，学习表达函数逼近器需要通过与环境交互来收集大量数据集（介入数据）。这种样本效率的缺乏禁止DRL应用于关键场景，例如，自动驾驶和个性化医疗，因为在线环境中的试错往往是不安全的，甚至是不道德的。在本文中，我们研究如何将离线收集的数据集（观测数据），这往往是丰富的实践中，以提高样本效率在线设置。为了将可能混淆的观测数据，我们提出了去基础乐观值迭代（DOVI）算法，它结合了混淆的观测数据，在一个可证明有效的方式。更具体地说，DOVI明确调整了观察数据中的混杂偏倚，其中混杂因素部分观察到或未观察到。在这两种情况下，这样的调整使我们能够根据信息增益的概念来构建奖金，这考虑了从离线设置中获取的信息量。特别是，我们证明了DOVI的遗憾是小于最佳的遗憾，实现在纯在线设置的乘法因子，减少到零时，混淆的观测数据更翔实的调整。我们的算法和分析作为因果强化学习的一步。
2020-06-22 cs.LG stat.ML
Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation
Massachusetts Institute of Technology（麻省理工学院）
强化学习在合作多智能体设置最近取得了显着进展，在广告，动态治疗制度，分布式控制和联邦学习的合作估计的应用。在本文中，我们讨论的问题，合作多代理RL函数逼近，其中一组代理相互通信，共同解决一个情节MDP。我们证明，通过仔细的消息传递和合作的价值迭代，它是可以实现接近最优的无遗憾学习，即使是一个固定的恒定的通信预算。接下来，我们证明，即使在异构的合作设置，它是可能的，以实现帕累托最优的无遗憾学习有限的沟通。我们的工作概括了多智能体上下文和多武装土匪文学的几个想法，以MDPs和强化学习。
2021-03-08 cs.LG cs.MA stat.ML
Provably Efficient Risk-Sensitive Reinforcement Learning: Iterated CVaR and Worst Path
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文提出迭代CVaR风险敏感强化学习框架，针对遗憾最小化和最优策略识别设计高效算法并提供近乎匹配的上下界，同时研究最坏路径极限情况，贡献了新颖的CVaR变化界定与遗憾分解技术。
2023-05-11 cs.LG
Full Gradient DQN Reinforcement Learning: A Provably Convergent Scheme
INRIA Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本研究针对DQN强化学习算法的理论缺陷，基于常微分方程方法分析其随机逼近特性，提出了具备可靠理论基础的改进方案FG-DQN，实验验证其在样本问题上性能优于原始DQN。
2021-05-04 cs.LG math.OC math.PR
Playing to Par: Reinforcement Learning for Provably Optimal Quadrilateral Block Decompositions
本文提出用强化学习智能体直接操作网格半边结构，通过局部编辑和基于网格连通性的卷积策略，生成达到离散高斯-博内下界（标准杆）的四边形分解，在保留域上显著优于Gmsh，实现可证明最优的网格生成。
2026-09-29 cs.LG
Causal Process Models: Reframing Dynamic Causal Graph Discovery as a Reinforcement Learning Problem
University of Tübingen（图宾根大学）；MPI for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Amsterdam（阿姆斯特丹大学）；TU Darmstadt（达姆施塔特工业大学）
本文提出因果过程模型，通过将动态因果图构建视为多智能体强化学习问题，实现了从视觉观测中学习稀疏时间变化因果图，提升可解释性和计算效率。
2026-04-05 cs.LG
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法，提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Provably Efficient Reinforcement Learning with Aggregated States
Stanford University（斯坦福大学）；New York University（纽约大学）
我们建立了一个乐观的Q-学习的变体应用于一个固定的地平线情节马尔可夫决策过程的聚合状态表示招致遗憾$\tilde{\mathcal{O}}(\sqrt{H^5 M K} + εHK)$，其中$H$是地平线，$M$是聚合状态的数量，$K$是情节的数量，和$ε$是任何一对最佳状态动作值之间的最大差异与一个共同的聚合状态。值得注意的是，这个遗憾界不依赖于状态或动作的数量，并表明渐近每周期遗憾不大于$ε$，独立于地平线。据我们所知，这是第一个这样的结果，适用于强化学习与非平凡值函数近似没有任何限制的转移概率。
2020-02-19 cs.LG math.OC stat.ML
Diverse Randomized Value Functions: A Provably Pessimistic Approach for Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；Northwestern University（西北大学）；Northwestern Polytechnical University（西北工业大学）
针对离线RL中OOD动作的值估计不可靠问题，提出多样化随机化值函数与多样性正则化，以更少网络实现LCB悲观惩罚，并在理论和实验上验证其性能与参数效率。
2024-04-09 cs.AI cs.LG
Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
受使用无监督学习进行强化学习（RL）问题有效探索的流行范式的启发[tang 2017 exploration，bellemare 2016 unifying]，我们调查了这种范式何时被证明是有效的。我们研究情节马尔可夫决策过程与丰富的意见，从少量的潜在状态。我们提出了一个通用的算法框架，它是建立在两个组件：一个无监督学习算法和一个无遗憾的表格RL算法。从理论上证明了只要无监督学习算法具有多项式样本复杂度保证，就可以找到一个样本复杂度多项式的近似最优策略，其潜在状态数显著小于观测数.经验上，我们实例化我们的框架上一类困难的探索问题，以证明我们的理论的实用性。
2020-12-01 cs.AI cs.LG math.OC
Explainable Reinforcement Learning via a Causal World Model
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出在无环境因果结构先验知识下学习因果世界模型，以因果链解释动作的长期奖励效应，并在保持预测准确率的同时连接可解释性与基于模型的强化学习。
2024-01-18 cs.LG
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Provably Efficient Lifelong Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
我们研究终身强化学习（RL）在后悔最小化设置的线性上下文马尔可夫决策过程（MDP），其中代理需要学习的多任务策略，同时解决一个流序列的任务。我们提出了一种算法，称为UCB终身价值蒸馏（UCBlvd），可证明实现次线性遗憾的任何序列的任务，这可能是自适应选择的基础上代理的过去的行为。值得注意的是，我们的算法只使用了次线性数量的规划调用，这意味着智能体最终会学习到一个对多个任务（可见或不可见）接近最优的策略，而不需要刻意规划。这个属性的关键是一个新的结构假设，使计算共享任务在探索。具体来说，对于$K$任务情节的地平线$H$，我们的算法有一个遗憾界$\tilde{\mathcal{O}}(\sqrt{(d^3+d^\prime d)H^4K})$的基础上$\mathcal{O}(dH\log(K))$规划调用的数量，其中$d$和$d^\prime$的动态和奖励的特征维度，分别。这种理论保证意味着我们的算法可以使终身学习代理积累经验，并学习快速解决新任务。
2022-06-01 cs.LG stat.ML
Bellman Unbiasedness: Toward Provably Efficient Distributional Reinforcement Learning with General Value Function Approximation
Seoul National University（首尔大学）
本文研究通用值函数逼近下分布式强化学习的样本效率，提出 Bellman 无偏性并证明矩泛函的独特性，进而给出达到紧遗憾界的 SF-LSVI 算法。
2025-05-13 cs.AI cs.LG stat.ML
Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension
Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
价值函数逼近在强化学习（RL）中已经取得了惊人的经验成功。然而，尽管最近在开发具有线性函数逼近的RL理论方面取得了一些进展，但对一般函数逼近方案的理解在很大程度上仍然缺失。本文建立了一个具有一般价值函数逼近的可证明有效的RL算法。我们证明了，如果价值函数允许函数类$\mathcal{F}$的近似，则我们的算法实现了$\widetilde{O}(\mathrm{poly}(dH)\sqrt{T})$的遗憾界，其中$d$是$\mathcal{F}$的复杂性度量，取决于逃避维度[Russo和Van Roy，2013]和日志覆盖数，$H$是规划范围，$T$是与环境的交互次数。我们的理论概括了RL的线性价值函数近似的最新进展，并没有明确的假设上的环境模型。此外，我们的算法是无模型的，并提供了一个框架，以证明在实践中使用的算法的有效性。
2020-06-19 cs.LG math.OC stat.ML
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of California, Davis（加州大学戴维斯分校）
研究转换器在上下文强化学习中实现策略改进的能力，通过显式参数构造证明线性自注意力块可实现半梯度SARSA和actor-critic方法，并提供首次收敛保证。
2026-11-10 cs.AI cs.LG stat.ML
Tackling Non-Stationarity in Reinforcement Learning via Causal-Origin Representation
School of Computer Science, Peking University（北京大学计算机学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；School of Data Science, Fudan University（复旦大学数据科学学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出COREP算法，通过隐式追踪非平稳性因果起源并学习稳定图表示，使策略对非平稳性具备卓越韧性，在解决强化学习非平稳性问题上优于现有方法。
2024-06-02 cs.LG
D3HRL: A Distributed Hierarchical Reinforcement Learning Approach Based on Causal Discovery and Spurious Correlation Detection
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机学院）；Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室）；College of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）；School of Electronic information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
D3HRL提出一种基于分布式因果发现和条件独立性检验的分层强化学习方法，通过迭代学习真实因果关系来消除延迟效应与虚假相关，并在2D-MineCraft和MiniGrid中验证了其可靠决策能力。
2025-05-04 cs.LG
Causality-driven Hierarchical Structure Discovery for Reinforcement Learning
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；Southern University of Science and Technology（南方科技大学）；Institute of Software, CAS（中国科学院软件研究所）；University of Science and Technology of China（中国科学技术大学）
分层强化学习（HRL）在高质量分层结构（例如，子目标或选项）。然而，如何自动发现高质量的层次结构仍然是一个巨大的挑战。以往的HRL方法采用随机性驱动的探索范式，探索效率低，难以发现复杂环境中的层次结构。为了解决这个问题，我们提出了CDHRL，一个空缺驱动的层次化强化学习框架，利用空缺驱动的发现，而不是随机驱动的探索，有效地建立高质量的层次结构在复杂的环境。关键的见解是，环境变量之间的因果关系自然适合于建模可达子目标及其依赖关系，并可以完美地指导构建高质量的层次结构。在2D-Minecraft和Eden两个复杂环境中的实验结果表明，CDHRL显著提高了空间驱动范式的探索效率。
2022-10-13 cs.LG
Policy Smoothing for Provably Robust Reinforcement Learning
University of Maryland - College Park（马里兰大学帕克分校）；Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
深度神经网络（DNN）的可证明对抗鲁棒性的研究主要集中在静态监督学习任务，如图像分类。然而，DNN已被广泛用于现实世界的自适应任务，如强化学习（RL），使这些系统容易受到对抗攻击。以前的工作在RL的可证明的鲁棒性，试图证明受害者政策的行为在每个时间步对非自适应对手使用的方法开发的静态设置。但在现实世界中，RL对手可以通过观察状态、动作等来推断受害者代理使用的防御策略，从先前的时间步骤中，并适应自己在未来的步骤中产生更强的攻击。我们提出了一个有效的程序，专门设计来抵御自适应RL对手，可以直接证明总奖励，而不需要在每个时间步的政策是强大的。我们的主要理论贡献是证明了Neyman-Pearson引理的自适应版本-基于平滑的证书的关键引理-其中特定时间的对抗性扰动可以是当前和以前的观察和状态以及以前的动作的随机函数。基于这一结果，我们提出了策略平滑，其中代理在每个时间步将高斯噪声添加到其观察中，然后将其传递给策略函数。我们的鲁棒性证书保证通过策略平滑获得的最终总奖励保持在一定阈值以上，即使中间时间步的动作可能会在攻击下发生变化。我们在Cartpole，Pong，Freeway和Mountain Car等各种环境下的实验表明，我们的方法可以在实践中产生有意义的鲁棒性保证。
2022-05-28 cs.LG
Provably Invincible Adversarial Attacks on Reinforcement Learning Systems: A Rate-Distortion Information-Theoretic Approach
University of Iowa（爱荷华大学）；University of California, Davis（加州大学戴维斯分校）
本文提出一种基于率失真信息论的可证明无敌的强化学习对抗攻击，通过随机扰动观测使智能体获得零或有限信息，并推导了奖励遗憾下界，验证了对多种算法的影响。
2025-10-15 cs.AI cs.LG
Causal Influence Detection for Improving Efficiency in Reinforcement Learning
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
许多强化学习（RL）环境由稀疏交互的独立实体组成。在这样的环境中，RL代理在任何特定情况下对其他实体的影响都是有限的。我们在这项工作中的想法是，学习可以有效地指导知道何时和什么代理可以影响其行动。为了实现这一目标，我们引入了一种基于条件互信息的\emph{situation-dependent causal influence}测量，并表明它可以可靠地检测影响状态。然后，我们提出了几种方法将此措施集成到RL算法中，以改善探索和离策略学习。所有修改后的算法都显示出机器人操作任务的数据效率大幅提高。
2021-12-02 cs.LG
Provably Efficient Federated Reinforcement Learning with Linear Function Approximation and Logarithmic Communication Cost
The Pennsylvania State University（宾夕法尼亚州立大学）
针对联邦强化学习的线性函数近似场景，提出Fed-LSVI算法，通过压缩统计量实现对数通信成本，达到最优遗憾界，解决了通信成本高与隐私约束的问题。
2026-09-02 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning for Online Adaptive Influence Maximization
Princeton University（普林斯顿大学）；LinkedIn（领英）；Penn State University（宾夕法尼亚州立大学）
在线影响力最大化是指在网络模型未知的情况下，通过选择少量种子节点，最大化内容在社交网络中的影响力传播。最近的研究遵循非自适应设置，其中在扩散过程开始之前选择种子节点，并且在扩散停止时更新网络参数。我们考虑一个自适应版本的内容相关的在线影响力最大化问题的种子节点被顺序激活的基础上实时反馈。在本文中，我们将该问题表示为线性扩散过程下的无限时域折扣MDP，并提出了一种基于基于模型的强化学习解决方案。我们的算法保持一个网络模型的估计，并自适应地选择种子用户，探索社会网络，同时提高最优策略的乐观。我们建立了算法的$\widetilde O(\sqrt{T})$后悔界。在合成网络上的实验结果验证了算法的有效性。
2022-06-29 cs.LG cs.SI stat.ML
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出动态模型预测屏蔽（DMPS），通过局部规划器与神经策略协同优化恢复动作，在保证可证明安全的同时减少保守性，收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
Provably Efficient Reinforcement Learning with Linear Function Approximation
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
现代强化学习（RL）通常应用于具有大量状态的实际问题，其中必须部署函数逼近来逼近价值函数或策略。函数近似的引入提出了一系列涉及计算和统计效率的基本挑战，特别是考虑到需要管理探索/开发权衡。因此，一个核心的RL问题仍然是开放的：我们如何设计可证明有效的RL算法，包括函数近似？这个问题仍然存在，即使在一个基本的设置与线性动态和线性奖励，其中只有线性函数近似是必要的。本文提出了第一个可证明的RL算法，在这种线性设置中具有多项式运行时间和多项式样本复杂度，而不需要“模拟器”或额外的假设。具体地说，我们证明了最小二乘值迭代（LSVI）--一个经典的算法经常在线性设置研究-实现$\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$遗憾，其中$d$是特征空间的环境维数，$H$是每个情节的长度，和$T$是总步骤数的乐观修改。重要的是，这种遗憾与国家和行动的数量无关。
2019-08-08 cs.LG math.OC stat.ML
SafeAdapt: Provably Safe Policy Updates in Deep Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
本文提出SafeAdapt方法，通过引入Rashomon集在连续强化学习中提供安全策略更新的正式保证，确保在下游适应过程中源任务的安全性。
2026-04-10 cs.AI cs.LG
Ordering-Based Causal Discovery with Reinforcement Learning
University College London（伦敦大学学院）；Tianjin University（天津大学）
在许多经验科学中，发现一组变量之间的因果关系是一个长期存在的问题。最近，强化学习（RL）在从观测数据中发现因果关系方面取得了可喜的成果。然而，搜索空间的有向图和强制无环性的隐式惩罚往往是低效的，并限制现有的基于RL的方法，以小规模的问题。在这项工作中，我们提出了一种新的RL为基础的因果发现的方法，通过将RL的顺序为基础的范式。具体来说，我们制定了一个多步马尔可夫决策过程的排序搜索问题，实现了编码器-解码器架构的顺序生成过程，最后使用RL优化所提出的模型的基础上设计的奖励机制~每个订单。然后，使用变量选择来处理生成的排序，以获得最终的因果图。我们分析了所提出的方法的一致性和计算复杂性，并实证表明，预训练的模型可以用来加速训练。在模拟数据集和真实数据集上的实验结果表明，该方法比现有的基于RL的方法具有更好的性能。
2021-09-15 cs.LG
Delay-Empowered Causal Hierarchical Reinforcement Learning
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）；Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室）；Institute of Military Transportation（军事交通运输研究院）；School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）
本文提出DECHRL，通过建模状态转移的因果结构和随机延迟分布，提升在时间不确定性下的决策性能。
2026-05-12 cs.LG
Provably Efficient Multi-Agent Reinforcement Learning with Fully Decentralized Communication
Princeton University（普林斯顿大学）
强化学习（RL）的一个挑战是最小化与探索相关的采样成本。分布式探索降低了多代理RL（MARL）的采样复杂度。我们调查的好处，在MARL的性能时，勘探是完全分散。具体来说，我们考虑了一类在线的，情景的，表格式的$Q$学习问题下随时间变化的奖励和过渡动态，其中代理人可以在分散的方式进行通信，我们表明，群体的表现，作为衡量的界限后悔，可以显着提高通过通信时，每个代理人使用分散的消息传递协议，即使当被限制为向其$γ$跳邻居发送信息时。我们证明遗憾和样本的复杂性界限，取决于代理的数量，通信网络结构和$γ.$我们表明，将更多的代理和更多的信息共享到组学习计划加快收敛到最优策略。数值模拟说明了我们的结果，并验证了我们的理论主张。
2022-05-02 cs.LG cs.MA math.OC
Causal Reinforcement Learning: A Survey
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
本文综述了因果强化学习领域，探讨如何将因果关系纳入学习过程以解决传统强化学习在泛化、可解释性和试错效率上的核心挑战，并系统分类现有方法及未来方向。
2023-11-21 cs.AI cs.LG
Smoothed Q-learning
University College London（伦敦大学学院）
在强化学习中，Q-学习算法可证明收敛于最优解。然而，正如其他人所证明的那样，Q学习也会高估值，从而花费太长时间探索无用的状态。双Q学习是一种可证明收敛的替代方案，可以减轻一些高估问题，尽管有时会以较慢的收敛速度为代价。我们引入了一种替代算法，用平均值代替最大运算，从而也产生了一种可证明收敛的非策略算法，该算法可以减轻高估，但保持与标准Q学习相似的收敛性。
2023-03-15 cs.LG
From Causal Graphs to Markovian States: Multi-Order State Exposure for Deep RL
Cornell Tech（康奈尔科技）
本文研究了如何在深度强化学习中构建满足马尔可夫性质的MDP状态，提出MOSE方法通过多阶历史状态提升性能，证明了最小充分性不足，需引入受控冗余以利用因果状态信息。
2026-10-15 cs.LG
Causal Reinforcement Learning using Observational and Interventional Data
Polytechnique Montréal（蒙特利尔理工学院）；IRT Saint Exupéry Canada（加拿大圣埃克苏佩里技术研究所）；Ubisoft La Forge（育碧La Forge实验室）；Inria Bordeaux Sud-Ouest（法国国家信息与自动化研究所波尔多西南分部）
有效地学习环境的因果模型是基于模型的RL代理在POMDPs中运行的关键挑战。我们在这里考虑一个场景，其中学习代理有能力通过与环境的直接交互（干预数据）收集在线体验，但也可以访问大量的离线体验，通过观察另一个代理与环境的交互（观察数据）获得。一个关键因素，使这种情况不平凡，是我们允许观察代理与环境的基础上隐藏的信息，这是没有观察到的学习代理。然后，我们提出以下问题：在线和离线体验可以安全地结合起来学习因果模型吗？我们能指望离线体验来提高代理的表现吗？为了回答这些问题，我们从do-calculus的成熟因果框架中引入思想，并将基于模型的强化学习表示为因果推理问题。然后，我们提出了一种通用而简单的方法，用于在学习过程中利用离线数据。简而言之，该方法依赖于学习一个基于潜变量的因果转换模型，该模型解释了干预和观察机制，然后使用恢复的潜变量通过去干扰来推断标准POMDP转换模型。我们证明了我们的方法是正确的，有效的意义上说，它达到了更好的泛化保证，由于离线数据（在渐近的情况下），我们说明了其有效性的经验合成玩具问题。我们的贡献旨在弥合强化学习和因果关系领域之间的差距。
2021-06-28 cs.LG
Provably Efficient Exploration in Inverse Constrained Reinforcement Learning
School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））；Stony Brook University, New York（石溪大学）
针对逆约束强化学习现有采样策略效率不明的问题，提出带效率保证的策略探索框架，基于误差分析设计两种算法，兼具理论样本复杂度保障与多环境实验验证。
2025-05-16 cs.AI cs.LG
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
Reinforcement Learning is not a Causal problem
Instituto Nacional de Astrofisica Optica y Electronica (INAOE)（国家天体物理、光学与电子学研究所（INAOE））
我们使用在同一集合上定义的非同构数学结构与由关联和因果信息水平诱导的代数之间的类比，以证明强化学习在其当前的表述中不是一个因果问题，如果它背后的动机与代理采取行动有关。
2019-09-09 cs.AI cs.LG
Provably Efficient Reward Transfer in Reinforcement Learning with Discrete Markov Decision Processes
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
针对强化学习中利用源行为适配目标奖励效率低的问题，提出Q-M方法，通过Q函数界的迭代收紧实现学习前动作剪枝，证明离散域下策略最优性与样本高效性，实验验证其有效实用。
2025-10-22 cs.AI cs.LG
