Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes
Indian Institute of Science（印度科学理工学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Xerox Research Centre India（施乐印度研究中心）
强化学习（RL）框架中的一个最近的目标是选择一系列动作或策略，以最大化在有限时间范围内收集的奖励或最小化在有限时间范围内产生的遗憾。对于运筹学和最优控制中的若干RL问题，其底层马尔可夫决策过程（MDP）的最优策略具有已知结构的特征。现有技术的算法不利用这种已知的结构的最优策略，同时最大限度地减少遗憾。在这项工作中，我们开发了新的RL算法，利用最优策略的结构，以尽量减少遗憾。在结构化最优策略的MDP上的数值实验表明，该算法具有更好的性能，易于实现，运行时间短，所需的随机数生成次数少.
2016-08-17 cs.LG
Efficient Exploration in Average-Reward Constrained Reinforcement Learning: Achieving Near-Optimal Regret With Posterior Sampling
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University of Jyväskylä（于韦斯屈莱大学）
针对无限时域无折扣设置下的约束马尔可夫决策过程（CMDP），提出一种基于后验采样的算法，实现了近似最优的贝叶斯遗憾界并在实验中优于现有方法。
2024-05-29 cs.LG
StepScorer: Accelerating Reinforcement Learning with Step-wise Scoring and Psychological Regret Modeling
INDEPENDENT RESEARCHER（独立研究者）
StepScorer通过分步评分与心理遗憾建模，加速强化学习收敛，适用于连续控制任务和延迟反馈环境。
2026-02-03 cs.LG
Reinforcement Learning in Linear MDPs: Constant Regret and Representation Selection
Universitat Pompeu Fabra（庞培法布拉大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；Microsoft Research（微软研究院）；Politecnico di Milano（米兰理工大学）；Facebook AI Research（Facebook人工智能研究院）
研究了线性结构有限时域马尔可夫决策过程中状态-行动价值函数的表示在后悔最小化中的作用。首先，我们推导出一个必要条件的表示，称为普遍生成的最佳功能（UNISOFT），以实现恒定的遗憾，在任何MDP与线性奖励函数。这个结果包含了低秩MDP的众所周知的设置，更一般地说，零固有贝尔曼误差（也称为贝尔曼闭包假设）。然后，我们证明了这一条件也是足够的，这些类的问题，推导出一个恒定的遗憾界的两个乐观算法（LSVI-UCB和ELEANOR）。最后，我们提出了一个算法表示选择，我们证明，它实现了恒定的遗憾时，给定的表示，或适当的组合，满足UNISOFT条件。
2021-10-27 cs.LG
Local Differential Privacy for Regret Minimization in Reinforcement Learning
Facebook AI Research（Facebook人工智能研究院）；CREST, ENSAE（法国国家统计与经济管理局统计研究中心, 法国国立统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）；Imperial College London（帝国理工学院）
强化学习算法被广泛用于期望提供个性化服务的领域。在这些领域中，用户数据通常包含需要防止第三方访问的敏感信息。出于这一动机，我们研究隐私的背景下，有限时域马尔可夫决策过程（MDP），要求信息被混淆的用户端。我们制定这个概念的隐私RL利用本地差分隐私（LDP）框架。我们建立了一个有限时域的LDP保证的MDP的遗憾最小化的下界，这表明，保证隐私的遗憾有一个倍增的效果。这个结果表明，虽然LDP是一个有吸引力的隐私概念，但它使学习问题变得更加复杂。最后，我们提出了一个乐观的算法，同时满足$\varepsilon$的要求，并实现$\sqrt{K}/\varepsilon$遗憾在任何有限的地平线MDP后，$K$事件，匹配的下界依赖于事件的数量$K$。
2021-10-27 cs.LG
Variational Regret Bounds for Reinforcement Learning
Montanuniversität Leoben（莱奥本矿业大学）
我们考虑马尔可夫决策过程（MDP）中的非折扣强化学习，其中奖励函数和状态转移概率都可能随时间变化（逐渐或突然）。对于这个问题的设置，我们提出了一个算法，并提供性能保证的最佳非平稳政策评估的遗憾。遗憾的上限是在MDP的总变化方面。这是一般强化学习设置的第一个变分遗憾界。
2019-09-10 cs.LG stat.ML
Posterior sampling for reinforcement learning: worst-case regret bounds
Columbia University（哥伦比亚大学）
我们提出了一种基于后验采样（又名汤普森采样）的算法，当底层马尔可夫决策过程（MDP）与有限但未知的直径进行通信时，该算法可以实现接近最优的最坏情况下的遗憾界限。我们的主要结果是一个高概率后悔上界的$\tilde{O}(DS\sqrt{AT})$的任何通信MDP与$S$状态，$A$行动和直径$D$。在这里，后悔将算法实现的总回报与时间范围$T$中的最优无限时间范围未贴现平均回报策略的总预期回报进行比较。该结果与$Ω(\sqrt{DSAT})$的已知下限非常匹配。我们的技术涉及证明一些新的结果的反集中的Dirichlet分布，这可能是独立的利益。
2020-03-30 cs.LG
Value Function Approximations via Kernel Embeddings for No-Regret Reinforcement Learning
Boston University（波士顿大学）；The University of Sydney（悉尼大学）
我们考虑情景情境下的强化学习（RL）中的后悔最小化问题。在许多现实世界的RL环境中，状态和动作空间是连续的或非常大的。现有的方法建立遗憾的保证，无论是低维表示的随机过渡模型或近似的$Q$ -功能。然而，对状态-价值函数的函数近似方案的理解在很大程度上仍然缺失。在本文中，我们提出了一个在线的基于模型的RL算法，即CME-RL，学习表示的过渡分布作为嵌入在再生核希尔伯特空间，同时仔细平衡开发探索权衡。我们证明了我们的算法的效率，通过证明一个频率论（最坏情况下）的遗憾界是为了$\tilde{O}\big(Hγ_N\sqrt{N}\big)$ \footnote{ $\tilde{O}(\cdot)$ hides only absolute constant and poly-logarithmic factors.}，其中$H$是情节长度，$N$是时间步的总数和$γ_N$是一个信息理论量有关的有效尺寸的状态-动作特征空间。我们的方法绕过了估计转移概率的需要，并适用于可以定义内核的任何域。它也带来了新的见解核方法的近似推理和RL遗憾最小化的一般理论。
2022-06-28 cs.LG
Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning
Tsinghua University（清华大学）
本文研究了有限时域马尔可夫决策过程模型下具有批量约束的情景强化学习问题。多批次强化学习框架，其中，代理被要求提供一个时间表，以更新之前的一切，这是特别适合的情况下，代理遭受广泛的自适应改变策略。给定一个具有$S$状态、$A$动作和规划时域$H$的有限时域MDP，我们设计了一个计算效率高的算法，使用带有置信度参数$δ$的$O\left(H+\log_2\log_2(K) \right)$批次，在$K$事件中实现$\tilde{O}(\sqrt{SAH^3K\ln(1/δ)})$ \footnote{$\tilde{O}(\cdot)$ hides logarithmic terms of $(S,A,H,K)$}的近最优后悔.据我们所知，这是第一个与$O(H+\log_2\log_2(K))$批处理复杂性绑定的$\tilde{O}(\sqrt{SAH^3K})$遗憾。同时，我们表明，要实现$\tilde{O}(\mathrm{poly}(S,A,H)\sqrt{K})$遗憾，批次的数量至少是$Ω\left(H/\log_A(K)+ \log_2\log_2(K) \right)$，这符合我们的上限对数项。我们的技术贡献有两个方面：1）一个接近最优的设计方案，以探索未学习的状态; 2）一个计算效率高的算法，以探索某些方向与近似的过渡模型。
2022-10-15 cs.LG
Disentangling Recognition and Decision Regrets in Image-Based Reinforcement Learning
Harvard University（哈佛大学）；Nokia Bell Labs（诺基亚贝尔实验室）
本文通过引入识别遗憾和决策遗憾的概念，解耦了基于图像的强化学习中观测过拟合的两种误差来源，并在迷宫和Pong环境中验证了过度具体与不够具体表示的影响。
2025-04-02 cs.LG
Open Problem: Order Optimal Regret Bounds for Kernel-Based Reinforcement Learning
MediaTek Research（联发科研究院）
本研究指出基于核的非线性函数近似强化学习缺乏充分性能保证的开放问题，概述现有部分成果并探讨相关挑战，为核强化学习的阶最优遗憾界理论研究指明方向。
2024-06-21 cs.LG
ReMIX: Regret Minimization for Monotonic Value Function Factorization in Multiagent Reinforcement Learning
The George Washington University（乔治华盛顿大学）
在集中训练、分散执行的模式下，价值函数分解方法已成为协作多智能体强化学习的主要方法。通过使用代理效用的单调混合函数分解最优联合行动价值函数，这些算法确保了分散决策中联合行动和局部行动选择之间的一致性。然而，单调混合函数的使用也会导致代表性的限制。寻找无限制混合函数在单调函数类上的最优投影仍然是一个公开的问题。为此，我们提出了ReMIX，制定这个最佳的投影问题的价值函数因式分解作为一个遗憾最小化的投影权重不同的状态动作值。这样的优化问题可以放松和解决使用拉格朗日乘子法，以获得封闭形式的最优投影权重。通过最小化由此产生的政策遗憾，我们可以缩小最优和限制单调混合函数之间的差距，从而得到一个改进的单调价值函数分解。在Predator-Prey和StarCraft Multiagent Challenge环境下的实验结果表明了该方法的有效性，表明该方法具有更好的处理非单调价值函数环境的能力.
2023-02-11 cs.LG
The Effect of Q-function Reuse on the Total Regret of Tabular, Model-Free, Reinforcement Learning
University of Waterloo（滑铁卢大学）；University of Alberta（阿尔伯塔大学）
一些强化学习方法受到高样本复杂性的影响，导致它们在现实世界中不实用。$Q$ -函数重用是一种迁移学习方法，是降低学习的样本复杂度的一种方法，潜在地提高了现有算法的有用性。以前的工作已经表明了经验的有效性$Q$ -功能重用的各种环境中，当应用到无模型算法。据我们所知，还没有理论上的工作表明遗憾的$Q$ -功能重用时，应用到表格，无模型设置。我们的目标是弥合理论和实证工作之间的差距，在$Q$-功能重用提供一些理论上的见解时，$Q$ -功能重用的有效性，适用于$Q$ -学习与UCB-Hoeffding算法。我们的主要贡献是表明，在一个特定的情况下，如果$Q$ -功能重用应用于$Q$ -学习与UCB-Hoeffding算法，它有一个遗憾，是独立的状态或动作空间。我们还提供了实证结果支持我们的理论研究结果。
2021-03-07 cs.LG
Regret Bounds for Reinforcement Learning via Markov Chain Concentration
我们给出了一个简单的乐观算法，它是很容易得到的遗憾界的$\tilde{O}(\sqrt{t_{\rm mix} SAT})$后，$T$步骤的一致遍历马尔可夫决策过程的$S$状态，$A$行动，和混合时间参数$t_{\rm mix}$。这些界限是第一个遗憾的界限，在一般的，非情节设置与所有给定的参数的最佳依赖。它们只能通过使用替代的混合时间参数来改善。
2019-01-19 cs.LG stat.ML
Local Linearity: the Key for No-regret Reinforcement Learning in Continuous MDPs
Politecnico di Milano（米兰理工大学）
针对连续状态动作空间MDP中RL无悔实现的开放难题，提出可局部线性化MDP新表示类与Cinderella无悔算法，证明其涵盖所有已知可行MDP族并取得当前最优遗憾界。
2024-10-31 cs.LG
Regret Bounds for Reinforcement Learning with Policy Advice
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（里尔-北欧法国国家信息与自动化研究所）
在一些强化学习问题中，可以向代理提供一组输入策略，这些输入策略可能是从先前的经验中学习的，或者是由顾问提供的。我们提出了一个带有策略建议的强化学习（RLPA）算法，该算法利用这个输入集，并学习使用集合中的最佳策略来执行手头的强化学习任务。我们证明了RLPA有一个次线性的遗憾\tilde O（\sqrt{T}）相对于最佳的输入策略，并且这种遗憾和它的计算复杂性是独立的状态和动作空间的大小。我们的实证模拟支持我们的理论分析。这表明RLPA可以在提供一些先前好的策略的大型域中提供显着的优势。
2013-07-17 cs.LG stat.ML
Test-Time Regret Minimization in Meta Reinforcement Learning
Technion – Israel Institute of Technology（以色列理工学院）
本文研究元强化学习的测试时遗憾最小化，证明了现有分离条件下 $O(M^2 \log(H))$ 遗憾率近乎最优，并提出强可辨识性假设使算法同时实现 $\log(H)$ 速率和对任务数 $M$ 的次线性依赖。
2024-06-04 cs.LG
Online Reinforcement Learning with Uncertain Episode Lengths
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；University of Oxford（牛津大学）
现有的情节强化算法假设情节的长度随着时间的推移是固定的并且是先验已知的。在本文中，我们考虑了一个一般框架的情节强化学习时，每个情节的长度是从一个分布。我们首先确定这个问题相当于具有一般折扣的在线强化学习，其中学习者试图优化无限范围内的预期折扣奖励总和，但折扣函数不一定是几何的。我们发现，最小化遗憾与这种新的一般折扣是等效的，以最小化遗憾与不确定的情节长度。然后，我们设计了一个强化学习算法，最大限度地减少一般折扣的遗憾，但不确定的情节长度设置的行为。我们实例化我们的一般界不同类型的折扣，包括几何和多项式折扣。我们还表明，我们可以获得类似的遗憾界，即使当情节长度的不确定性是未知的，通过估计未知的分布随着时间的推移。最后，我们比较了我们的学习算法与现有的基于值迭代的情景RL算法在网格世界的环境。
2023-02-07 cs.LG
Transfer in Reinforcement Learning via Regret Bounds for Learning Agents
Scool team, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 CRIStAL（Scool团队、里尔大学、Inria、CNRS、里尔中央大学、UMR 9189 CRIStAL）
针对多智能体强化学习场景，提出通过遗憾界量化迁移效用的方法，证明智能体共享观测可使总遗憾较独立学习降低√ℵ倍，为观测共享的迁移收益提供了理论界。
2025-11-13 cs.LG cs.MA
Beyond No Regret: Instance-Dependent PAC Reinforcement Learning
University of Washington（华盛顿大学）；MIT（麻省理工学院）
强化学习的理论集中在两个基本问题上：实现低后悔，并确定$ε$ -最优策略。虽然一个简单的减少允许一个应用低遗憾算法来获得一个$ε$ -最优的政策，并实现最坏情况下的最优率，它是未知的低遗憾算法是否可以获得实例最优率的政策识别。我们发现这是不可能的--在实现低遗憾和确定$ε$最优策略的实例最优速率之间存在一个根本的权衡。我们的负面发现的动机，我们提出了一个新的措施，PAC表强化学习，明确占可达到的状态访问分布在底层MDP的实例相关的样本复杂性。然后，我们提出并分析了一种新的，基于规划的算法，达到这个样本的复杂性-产生的复杂性，规模与次优差距和“可达性”的状态。我们表明，我们的算法是近极大极小最优的，并在几个例子中，我们的实例相关的样本复杂性提供了显着的改善，在最坏情况下的界限。
2022-06-22 cs.LG stat.ML
On Lower Bounds for Regret in Reinforcement Learning
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
这是一个简短的技术说明，以澄清强化学习的遗憾下限的状态。具体而言，本文件：- 再现了强化学习中后悔的下限，类似于UCRL 2论文中定理5的结果（Jaksch et al 2010）。- 澄清了在REGAL论文（Bartlett和Tewari 2009）中提出的定理6的证明在没有进一步工作的情况下使用标准技术不成立。我们建议这个结果应该被认为是一个猜想，因为它没有严格的证明。- 表明（Bartlett和Tewari 2009）给出的固定下限是不正确的，事实上，可以改进上限的缩放以匹配本文中提出的较弱的下限。我们希望这篇文章能够澄清强化学习领域的现有成果，并为未来的工作提供有趣的动力。
2016-08-09 cs.LG stat.ML
No-Regret Reinforcement Learning with Heavy-Tailed Rewards
Tsinghua University（清华大学）
强化学习算法通常假设奖励是从轻尾分布（例如高斯分布或有界分布）中采样的。然而，各种各样的现实世界系统产生的奖励遵循重尾分布。我们在未折扣强化学习的设置中考虑这样的场景。通过构造一个下界，我们证明了重尾奖励的学习难度渐近地超过了转移概率的学习难度。利用鲁棒均值估计的技术，我们提出了Heavy-UCRL 2和Heavy-Q-Learning，并证明了它们在这种情况下达到了接近最优的遗憾界限。我们的算法也自然地推广到深度强化学习应用;我们将Heavy-DQN实例化作为一个例子。我们证明了我们所有的算法在合成MDP和标准RL基准上都优于基线。
2021-02-25 cs.LG stat.ML
Online Bayesian Risk-Averse Reinforcement Learning
School of Industrial and Systems Engineering（工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文研究强化学习中的贝叶斯风险规避问题，采用BRMDP应对模型参数不确定性，推导值函数差异的渐近正态性，提出基于后验采样的在线RL与CMAB算法，并证明其次线性遗憾界与有效性。
2025-09-17 cs.LG
Regret Bounds for Reinforcement Learning from Multi-Source Imperfect Preferences
University at Buffalo（纽约州立大学布法罗分校）；The Ohio State University（俄亥俄州立大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文研究多源不完美偏好下的强化学习，提出统一算法，其遗憾界为~O(√(K/M)+ω)，并给出下限和反例，揭示多源反馈如何提升RLHF及累积不完美对其的限制。
2026-04-02 cs.LG
Provably Efficient Exploration in Constrained Reinforcement Learning:Posterior Sampling Is All You Need
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（杰罗尼默斯数据科学学院）；Tilburg University（蒂尔堡大学）
针对无限视野无折扣通信型 CMDP，提出基于后验采样的探索算法，获得接近最优的贝叶斯遗憾界，并在实验中优于现有约束强化学习方法。
2023-09-27 cs.LG
CHIRPs: Change-Induced Regret Proxy metrics for Lifelong Reinforcement Learning
University of Southampton（南安普顿大学）；The Alan Turing Institute（阿兰·图灵研究所）；University of Brescia（布雷西亚大学）；Thales UK RTSI（泰雷兹英国RTSI）
针对终身强化学习中环境变化导致性能下降且难以预测的问题，提出CHIRP指标量化变化对性能的影响，使智能体主动缓解性能下降，在两个基准测试中表现优异。
2025-01-30 cs.LG
REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs
University of California at Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供了一个算法，实现了最佳的遗憾率在未知的弱通信马尔可夫决策过程（MDP）。该算法在情节中进行，在每个情节中，它基于最优偏置向量的跨度使用正则化来选择策略。对于具有S个状态和A个作用的MDP，其最优偏置向量的跨度以H为界，我们给出了~O（HSpAT）的遗憾界。我们还将跨度与MDP相关的各种直径样量，展示了我们的结果如何改善以前的遗憾界限。
2012-05-09 cs.LG
Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的，包括从原始图像像素学习控制策略。然而，估计状态和状态-动作价值函数的算法通常假设完全观测的状态，并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中，我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数，并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法：在Doom和Minecraft中学习第一人称3D导航，以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms and Tighter Regret Bounds for the Non-Episodic Setting
University of Michigan（密歇根大学）
我们研究了非情景因子马尔可夫决策过程（FMDPs）中的强化学习。我们提出了两个接近最佳和甲骨文效率的算法FMDPs。假设甲骨文访问FMDP计划，他们享受贝叶斯和频率论的遗憾界分别，这两个减少到接近最优的界$\widetilde{O}(DS\sqrt{AT})$标准的非因子MDP。我们提出了一个更严格的连接措施，因子跨度，FMDPs和证明了一个下界，取决于因子跨度，而不是直径$D$。为了减少上下界之间的差距，我们提出了一个自适应的REGAL. C算法，其遗憾界取决于因子跨度。我们的甲骨文高效的算法优于以前提出的计算机网络管理模拟接近最佳的算法。
2020-06-06 cs.LG stat.ML
First-Order Regret in Reinforcement Learning with Linear Function Approximation: A Robust Estimation Approach
University of Washington（华盛顿大学）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
获得一阶后悔界限-后悔界限不是作为最坏的情况，但在给定的情况下，最优策略的性能的一些措施-是一个核心问题，在顺序决策。虽然这样的界限存在于许多设置中，但它们在具有大状态空间的强化学习中被证明是难以捉摸的。在这项工作中，我们解决这个差距，并表明，它是可能的，以获得遗憾缩放$\widetilde{\mathcal{O}}(\sqrt{d^3 H^3 \cdot V_1^\star \cdot K} + d^{3.5}H^3\log K )$在强化学习与大的状态空间，即线性MDP设置。这里，$V_1^\star$是最优策略的值，$K$是发作次数。我们表明，现有的技术基于最小二乘估计是不足以获得这一结果，而是开发一种新的强大的自我归一化浓度界的基础上强大的Catoni平均估计，这可能是独立的利益。
2022-10-21 cs.LG stat.ML
Reinforcement and Imitation Learning via Interactive No-Regret Learning
Carnegie Mellon University（卡内基梅隆大学）
最近的工作表明，问题-特别是模仿学习和结构化预测-其中学习者的预测影响其测试的输入分布，可以通过交互式方法自然解决，并使用无遗憾在线学习进行分析。然而，这些模仿学习的方法既不需要也不受益于关于行动成本的信息。我们在两个方向上扩展现有的结果：首先，我们开发了一种利用成本信息的交互式模仿学习方法;其次，我们扩展了该技术以解决强化学习。研究结果为在线近似策略迭代的成功提供了理论支持。我们的方法提出了一个广泛的新的算法家族，并提供了一个统一的观点，现有的技术模仿和强化学习。
2014-06-23 cs.LG stat.ML
Regret Minimization for Reinforcement Learning by Evaluating the Optimal Bias Function
Tsinghua University（清华大学）
提出了一种基于\emph{Optimism in the Face of Uncertainty}（OFU）原理的强化学习算法，该算法能够有效地学习由有限状态-动作空间的马尔可夫决策过程（MDP）建模的强化学习（RL）。通过计算最优偏置函数$h^{*}$的状态对差，该算法得到了具有$S$状态和$A$动作的MDP的遗憾界$\tilde{O}(\sqrt{SAHT})$ \footnote{The symbol $\tilde{O}$ means $O$ with log factors ignored. }，在$h^{*}$跨度上的上界$H$，即，$sp(h^{*})$是已知的。这个结果比以前最好的后悔界限$\tilde{O}(S\sqrt{AHT}) $ \citep{fruit2019improved}好一个因子$\sqrt{S}$。此外，该遗憾界限与$Ω(\sqrt{SAHT}) $ \citep{jaksch2010near}的下限匹配到对数因子。因此，我们表明，有一个接近最佳的遗憾界的$\tilde{O}(\sqrt{SADT})$的MDPs与有限直径$D$相比，$Ω(\sqrt{SADT}) $ \citep{jaksch2010near}的下限。
2019-12-28 cs.LG stat.ML
Efficient, Low-Regret, Online Reinforcement Learning for Linear MDPs
National University of Singapore（新加坡国立大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Huawei Shanghai Research Center（华为上海研究中心）
针对线性 MDP 中 LSVI-UCB 算法空间占用过高的问题，提出两种交替学习与不学习阶段的改进版本，在保持次线性遗憾的同时显著降低空间与时间开销。
2024-11-16 cs.DS cs.LG
ReLExS: Reinforcement Learning Explanations for Stackelberg No-Regret Learners
ETH Zurich（苏黎世联邦理工学院）
本文研究了双人 Stackelberg 博弈中跟随者受无悔约束时的均衡问题，证明了在无悔约束及特定跟随者策略下玩家仍能达到 Stackelberg 均衡，并给出了效用差的严格上界及常和博弈下总效用的有界性保证。
2024-08-26 cs.GT cs.LG
Selecting the State-Representation in Reinforcement Learning
INRIA Lille（法国国家信息与自动化研究所里尔中心）
研究了强化学习中状态表示的选择问题。给出了观测的几种模型（将过去的观测映射到有限集的函数），并且已知对于这些模型中的至少一个，所得到的状态动态确实是马尔可夫的。在既不知道哪一个模型是正确的模型，也不知道所得到的MDP的概率特性是什么的情况下，需要获得与正确模型的最优策略一样多的奖励（或者如果有几个正确模型，则为最好的模型）。我们提出了一个算法，实现了这一点，遗憾的顺序T^{2/3}，其中T是地平线时间。
2013-02-11 cs.LG
Cascaded Gaps: Towards Gap-Dependent Regret for Risk-Sensitive Reinforcement Learning
Bloomberg（彭博社）；Yale University（耶鲁大学）
本文研究了基于熵风险测度的风险敏感强化学习中的间隙依赖后悔保证问题。我们提出了一个新的次优差距的定义，我们称之为级联的差距，我们讨论他们的关键组成部分，适应问题的底层结构。基于级联间隙，我们推导了两个无模型算法在情节马尔可夫决策过程下的非渐近和对数遗憾界。我们表明，在适当的设置，这些界限功能指数改善现有的是独立的差距。我们还证明了间隙依赖的下限，这证明了近最优的上限。
2022-03-07 cs.LG math.OC stat.ML
Optimal Dynamic Regret by Transformers for Non-Stationary Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN AIP（日本科学技术厅AIP）
本研究证明Transformer在非平稳强化学习中可实现近乎最优的动态遗憾界，并实验验证其能匹配或超越现有专家算法。
2025-10-23 cs.LG stat.ML
Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了具有线性函数近似和逆向变化代价函数的强化学习，这种设置大多被认为是在完全信息反馈或探索性条件等简化假设下进行的。我们提出了一种计算效率高的策略优化算法，用于具有挑战性的未知动态和强盗反馈的一般设置，在计算探索奖金的辅助MDP中结合了镜像下降和最小二乘策略评估。我们的算法获得了$\widetilde O(K^{6/7})$遗憾界，在这种情况下明显优于现有技术的$\widetilde O (K^{14/15})$。此外，我们提出了一个版本的相同的算法的假设下，环境的模拟器可供学习者（但否则没有探索性的假设），并证明它获得了国家的最先进的遗憾$\widetilde O (K^{2/3})$。
2023-01-30 cs.LG stat.ML
Regret Analysis in Deterministic Reinforcement Learning
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
我们考虑马尔可夫决策过程（MDP）的确定性转移和研究的遗憾最小化，这是中央的最佳学习算法的分析和设计的问题。我们提出了对数问题的具体遗憾的下限，明确地依赖于系统参数（与以前的极大极小方法相比），从而真正量化的基本限制的性能可实现的任何学习算法。确定性MDP可以被解释为图形和分析的周期，我们利用这一事实，以确定一类确定性MDP的遗憾下限可以确定数字。我们进一步证明了这一结果的确定性线搜索问题，和一个确定性的MDP与状态相关的奖励，其遗憾的下限，我们可以明确地状态。这些边界共享的相似性与已知的问题特定的约束的多臂强盗问题，并建议在一个确定性的MDP导航不需要有一个学习算法的性能上的影响。
2021-06-27 cs.LG stat.ML
Selecting Near-Optimal Approximate State Representations in Reinforcement Learning
Montanuniversitaet Leoben（莱奥本矿业大学）；The Technion（以色列理工学院）；Inria Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）；Inria Chile（法国国家信息与自动化研究所智利中心）
我们考虑引入的强化学习设置（Maillard et al.，NIPS 2011），其中学习者没有显式访问底层马尔可夫决策过程（MDP）的状态。相反，她可以访问几个模型，将过去的相互作用历史映射到状态。在这里，我们改进了已知的遗憾界在这种情况下，更重要的是，推广到的情况下，模型给学习者不包含一个真正的模型，导致MDP表示，但只有它的近似值。
2014-09-15 cs.LG
Private Reinforcement Learning with PAC and Regret Guarantees
University of Minnesota（明尼苏达大学）；DeepMind；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
受个性化医疗等用户信息固有敏感的高风险决策领域的激励，我们设计了用于情景强化学习（RL）的隐私保护探索策略。我们首先使用联合差分隐私（JDP）的概念提供一个有意义的隐私公式--差分隐私的一个强变体，用于每个用户接收他们自己的输出集的设置（例如，政策建议）。然后，我们开发了一个私人的基于乐观主义的学习算法，同时实现强大的PAC和遗憾的界限，并享有JDP保证。我们的算法只支付一个适度的隐私成本的探索：在比较非私人的界限，隐私参数只出现在较低的顺序。最后，我们提出了样本的复杂性和遗憾的强化学习服从JDP的下限。
2020-09-18 cs.CR cs.LG stat.ML
Taming Equilibrium Bias in Risk-Sensitive Multi-Agent Reinforcement Learning
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
本文针对一般和马尔可夫博弈中风险敏感多智能体强化学习的均衡偏差问题，提出风险平衡遗憾新概念，并设计自博弈算法学习多种均衡，证明其具有近最优遗憾保证。
2024-05-04 cs.GT cs.LG
Reinforcement Learning in Feature Space: Matrix Bandit, Kernels, and Regret Bound
Princeton University（普林斯顿大学）
当状态-动作空间较大时，强化学习（RL）中的探索会受到维数灾难的影响。一种常见的做法是使用给定的特性来参数化高维值和策略函数。然而，现有的方法要么没有理论保证，要么在规划范围$H$中遭受指数级的遗憾。在本文中，我们提出了一种在线RL算法，即MatrixRL，它利用线性强盗的思想来学习概率转移模型的低维表示，同时仔细平衡开发-探索权衡。我们证明了MatrixRL实现了遗憾界${O}\big(H^2d\log T\sqrt{T}\big)$，其中$d$是特征的数量。MatrixRL有一个等价的核化版本，它能够在不使用显式特征的情况下处理任意核希尔伯特空间。在这种情况下，内核化的MatrixRL满足遗憾界限${O}\big(H^2\widetilde{d}\log T\sqrt{T}\big)$，其中$\widetilde{d}$是内核空间的有效维度。据我们所知，对于使用特征或内核的RL，我们的结果是在时间$T$和维度$d$（或$\widetilde{d}$）以及规划范围$H$中的多项式上接近最优的第一遗憾界限。
2019-06-13 cs.LG stat.ML
A Joint Imitation-Reinforcement Learning Framework for Reduced Baseline Regret
Texas A&M University（德克萨斯农工大学）；University of Edinburgh（爱丁堡大学）
在各种控制任务领域中，现有的控制器提供了一个基线水平的性能，尽管可能是次优的，但应该保持。依赖于对状态和动作空间的广泛探索的强化学习（RL）算法可以用于优化控制策略。然而，完全探索性的RL算法可能会在训练期间将性能降低到基线水平以下。在本文中，我们解决的问题，在线优化的控制策略，同时最大限度地减少遗憾w.r.t的基线政策性能。我们提出了一个联合模仿-强化学习框架，表示为JIRL。JIRL中的学习过程假设基线策略可用，并在设计时考虑了两个目标：\textbf{(a)}利用基线的在线演示，以最大限度地减少培训期间对基线策略的遗憾，以及\textbf{(b)}最终超过基线性能。JIRL通过最初学习模仿基线策略并逐渐将控制从基线转移到RL代理来实现这些目标。实验结果表明，JIRL有效地实现了上述目标，在几个连续的动作空间域。结果表明，JIRL是一个国家的最先进的算法，在其最终的性能，而招致显着较低的基线遗憾在训练过程中，在所有提出的领域。此外，结果表明，在基线遗憾的减少因子高达$21$在一个国家的最先进的基线遗憾最小化方法。
2022-09-20 cs.AI cs.LG
Unifying PAC and Regret: Uniform PAC Bounds for Episodic Reinforcement Learning
Carnegie-Mellon University（卡内基梅隆大学）；DeepMind；Stanford University（斯坦福大学）
强化学习（RL）算法的统计性能界限对于医疗保健等高风险应用至关重要。本文介绍了一种新的框架，从理论上衡量这种算法的性能称为均匀PAC，这是一个加强经典的可能近似正确（PAC）框架。与PAC框架相比，统一版本可用于获得高概率后悔保证，从而在文献中缺失的两个设置之间形成桥梁。我们证明了新的框架的好处，有限状态的情节MDP与一个新的算法，即统一的PAC，同时实现最佳的遗憾和PAC的保证，除了一个因素的地平线。
2018-01-02 cs.AI cs.LG stat.ML
Finite Constant Frontiers and Auditable Regret Certificates for Average-Reward Reinforcement Learning
Iowa State University（爱荷华州立大学）；BRAC University（BRAC大学）
本文针对平均奖励强化学习，提出感知常数的比较协议，推导通信MDP的有限下界证书，改进已发表系数，给出跨度约束乐观学习者的可审计组合规则，完成相关形式化与诊断测试。
2026-08-11 cs.LG
A Reduction from Reinforcement Learning to No-Regret Online Learning
Georgia Tech（佐治亚理工学院）；Microsoft Research Montreal（蒙特利尔微软研究院）
我们提出了一个减少从强化学习（RL）到无遗憾在线学习的基础上的鞍点公式化的RL，“任何”在线算法与次线性遗憾可以产生的政策，可证明的性能保证。这种新的视角将强化学习问题分解为两个部分：后悔最小化和函数逼近。第一部分允许标准的在线学习分析，第二部分可以独立于学习算法进行量化。因此，所提出的约简可以作为一种工具，系统地设计新的RL算法。我们证明了这一点，设计一个简单的RL算法的基础上镜像下降和生成模型的预言。对于任何概率至少为$1-δ$的$γ$ -折扣表格RL问题，它使用最多$\tilde{O}\left(\frac{|\mathcal{S}||\mathcal{A}|\log(\frac{1}δ)}{(1-γ)^4ε^2}\right)$样本学习$ε$ -最优策略。此外，该算法允许直接扩展到线性参数化函数逼近器的大规模应用，与计算和样本的复杂性独立的$|\mathcal{S}|$，$|\mathcal{A}|$，但在潜在的近似偏差的成本。
2020-01-01 cs.LG stat.ML
Unified Framework of Distributional Regret in Multi-Armed Bandits and Reinforcement Learning
University of Washington（华盛顿大学）；Seoul National University（首尔国立大学）
本文提出一种统一框架，研究随机多臂老虎机和回合制强化学习中的分布后悔，通过简单的UCBVI型算法，推导出通用的分布后悔界，优化期望性能、尾风险和实例依赖行为的平衡。
2026-06-23 cs.LG stat.ML
Provable Reset-free Reinforcement Learning by No-Regret Reduction
Rutgers University（罗格斯大学）；Microsoft Research（微软研究院）
针对强化学习依赖高成本重置机制的问题，提出将无重置强化学习转化为双人博弈的无悔约简框架，证明其可实现次线性悔度与少重置，并给出首个可证明正确的线性MDP无重置强化学习算法。
2023-07-22 cs.LG cs.RO
Information-Theoretic Minimax Regret Bounds for Reinforcement Learning based on Duality
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文研究有限时间范围马尔可夫决策过程中的极小极大遗憾问题，利用对偶性、极小极大定理和贝叶斯遗憾界推导信息论界，并展示其在多种场景下的应用。
2024-10-21 cs.IT cs.LG math.IT
Exponential Bellman Equation and Improved Regret Bounds for Risk-Sensitive Reinforcement Learning
Northwestern University（西北大学）；Princeton University（普林斯顿大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了基于熵风险测度的风险敏感强化学习。虽然现有的作品已经建立了非渐近后悔保证这个问题，他们留下了开放的上界和下界之间的指数差距。我们确定在现有的算法和他们的分析，导致这样的差距的不足之处。为了弥补这些不足，我们研究了一个简单的转换的风险敏感的贝尔曼方程，我们称之为指数贝尔曼方程。指数Bellman方程启发我们在风险敏感RL算法中开发Bellman备份过程的新分析，并进一步激发了新探索机制的设计。我们表明，这些分析和算法的创新共同导致改进的遗憾上限比现有的。
2021-11-06 cs.LG math.OC stat.ML
No-Regret Reinforcement Learning in Smooth MDPs
Politecnico di Milano（米兰理工大学）
本文提出ν-平滑MDP假设，并基于勒让德多项式特征映射设计两种无遗憾强化学习算法，分别权衡计算效率与适用性，取得最优遗憾保证。
2024-02-06 cs.AI cs.LG
Logarithmic Regret for Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
具有线性函数逼近的强化学习（RL）近年来受到越来越多的关注。然而，现有的工作集中在获得$\sqrt{T}$型后悔界限，其中$T$是与MDP的交互次数。在本文中，我们表明，对数遗憾是可达到的两个最近提出的线性MDP假设，存在一个积极的次优差距的最佳行动价值函数。更具体地说，在线性MDP假设下，（Jin et al. 2019），LSVI-UCB算法可以实现$\tilde{O}(d^{3}H^5/\text{gap}_{\text{min}}\cdot \log(T))$遗憾;在线性混合MDP假设下（Ayoub et al.2020），UCRL-VTR算法可以实现$\tilde{O}(d^{2}H^5/\text{gap}_{\text{min}}\cdot \log^3(T))$遗憾，其中$d$是特征映射的维度，$H$是情节长度，$\text{gap}_{\text{min}}$是最小次优间隙，并且$\tilde O$隐藏除$\log(T)$之外的所有对数项。据我们所知，这些是RL与线性函数近似的第一对数遗憾界。我们还建立了两个线性MDP模型的间隙依赖下界。
2021-02-18 cs.LG math.OC stat.ML
Optimism and Delays in Episodic Reinforcement Learning
Imperial College London（帝国理工学院）
本文从理论角度研究了情景强化学习中延迟反馈的影响，提出了两种处理延迟的通用方法，并证明了对乐观算法类，遗憾会增加一个涉及状态数、动作数、情景长度、预期延迟和算法相关常数的附加项，最后通过实证验证了理论结果。
2023-04-06 cs.LG
