The Best of Both Worlds: Reinforcement Learning with Logarithmic Regret and Policy Switches
Yale University（耶鲁大学）
在本文中，我们研究了无模型和基于模型的情景强化学习（RL）的后悔最小化问题。我们专注于学习一般功能类和一般模型类，我们得出的结果，这些类的逃避维度的规模。在现有的工作，主要是建立实例独立的遗憾保证机构，我们专注于实例依赖的设置和显示的遗憾尺度与地平线$T$，只要有一个最好的和第二个最好的行动之间的差距，在每个国家。此外，我们表明，这样的对数遗憾界是可实现的算法与$O(\log T)$切换成本（也称为自适应复杂性）。换句话说，这些算法在执行过程中很少切换策略。最后，我们补充我们的结果与下限表明，即使在表格设置，我们不能希望后悔保证低于$o(\log T)$。
2022-03-03 cs.LG
Regret Bounds for Reinforcement Learning via Markov Chain Concentration
我们给出了一个简单的乐观算法，它是很容易得到的遗憾界的$\tilde{O}(\sqrt{t_{\rm mix} SAT})$后，$T$步骤的一致遍历马尔可夫决策过程的$S$状态，$A$行动，和混合时间参数$t_{\rm mix}$。这些界限是第一个遗憾的界限，在一般的，非情节设置与所有给定的参数的最佳依赖。它们只能通过使用替代的混合时间参数来改善。
2019-01-19 cs.LG stat.ML
Robust Reinforcement Learning Under Minimax Regret for Green Security
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
绿色安全领域的特点是，面对偷猎者、非法伐木者和非法渔民的敌对行为的不确定性，捍卫者计划巡逻。重要的是，巡逻对对手未来行为的威慑作用使巡逻规划成为一个顺序决策问题。因此，我们专注于鲁棒顺序巡逻规划绿色安全的最小最大遗憾标准，这在文献中没有被考虑。我们将问题表述为防御者和自然之间的博弈，自然控制对抗行为的参数值，并设计了一个算法MIRROR来找到一个鲁棒的策略。MIRROR使用两个基于强化学习的预言机，并解决了一个考虑有限防守策略和参数值的受限游戏。我们根据真实世界的偷猎数据评估MIRROR。
2021-06-15 cs.AI cs.LG cs.MA
Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes
Indian Institute of Science（印度科学理工学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Xerox Research Centre India（施乐印度研究中心）
强化学习（RL）框架中的一个最近的目标是选择一系列动作或策略，以最大化在有限时间范围内收集的奖励或最小化在有限时间范围内产生的遗憾。对于运筹学和最优控制中的若干RL问题，其底层马尔可夫决策过程（MDP）的最优策略具有已知结构的特征。现有技术的算法不利用这种已知的结构的最优策略，同时最大限度地减少遗憾。在这项工作中，我们开发了新的RL算法，利用最优策略的结构，以尽量减少遗憾。在结构化最优策略的MDP上的数值实验表明，该算法具有更好的性能，易于实现，运行时间短，所需的随机数生成次数少.
2016-08-17 cs.LG
Efficient Exploration in Average-Reward Constrained Reinforcement Learning: Achieving Near-Optimal Regret With Posterior Sampling
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University of Jyväskylä（于韦斯屈莱大学）
针对无限时域无折扣设置下的约束马尔可夫决策过程（CMDP），提出一种基于后验采样的算法，实现了近似最优的贝叶斯遗憾界并在实验中优于现有方法。
2024-05-29 cs.LG
Regret Bounds for Reinforcement Learning with Policy Advice
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（里尔-北欧法国国家信息与自动化研究所）
在一些强化学习问题中，可以向代理提供一组输入策略，这些输入策略可能是从先前的经验中学习的，或者是由顾问提供的。我们提出了一个带有策略建议的强化学习（RLPA）算法，该算法利用这个输入集，并学习使用集合中的最佳策略来执行手头的强化学习任务。我们证明了RLPA有一个次线性的遗憾\tilde O（\sqrt{T}）相对于最佳的输入策略，并且这种遗憾和它的计算复杂性是独立的状态和动作空间的大小。我们的实证模拟支持我们的理论分析。这表明RLPA可以在提供一些先前好的策略的大型域中提供显着的优势。
2013-07-17 cs.LG stat.ML
StepScorer: Accelerating Reinforcement Learning with Step-wise Scoring and Psychological Regret Modeling
INDEPENDENT RESEARCHER（独立研究者）
StepScorer通过分步评分与心理遗憾建模，加速强化学习收敛，适用于连续控制任务和延迟反馈环境。
2026-02-03 cs.LG
Reinforcement Learning in Linear MDPs: Constant Regret and Representation Selection
Universitat Pompeu Fabra（庞培法布拉大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；Microsoft Research（微软研究院）；Politecnico di Milano（米兰理工大学）；Facebook AI Research（Facebook人工智能研究院）
研究了线性结构有限时域马尔可夫决策过程中状态-行动价值函数的表示在后悔最小化中的作用。首先，我们推导出一个必要条件的表示，称为普遍生成的最佳功能（UNISOFT），以实现恒定的遗憾，在任何MDP与线性奖励函数。这个结果包含了低秩MDP的众所周知的设置，更一般地说，零固有贝尔曼误差（也称为贝尔曼闭包假设）。然后，我们证明了这一条件也是足够的，这些类的问题，推导出一个恒定的遗憾界的两个乐观算法（LSVI-UCB和ELEANOR）。最后，我们提出了一个算法表示选择，我们证明，它实现了恒定的遗憾时，给定的表示，或适当的组合，满足UNISOFT条件。
2021-10-27 cs.LG
Beyond No Regret: Instance-Dependent PAC Reinforcement Learning
University of Washington（华盛顿大学）；MIT（麻省理工学院）
强化学习的理论集中在两个基本问题上：实现低后悔，并确定$ε$ -最优策略。虽然一个简单的减少允许一个应用低遗憾算法来获得一个$ε$ -最优的政策，并实现最坏情况下的最优率，它是未知的低遗憾算法是否可以获得实例最优率的政策识别。我们发现这是不可能的--在实现低遗憾和确定$ε$最优策略的实例最优速率之间存在一个根本的权衡。我们的负面发现的动机，我们提出了一个新的措施，PAC表强化学习，明确占可达到的状态访问分布在底层MDP的实例相关的样本复杂性。然后，我们提出并分析了一种新的，基于规划的算法，达到这个样本的复杂性-产生的复杂性，规模与次优差距和“可达性”的状态。我们表明，我们的算法是近极大极小最优的，并在几个例子中，我们的实例相关的样本复杂性提供了显着的改善，在最坏情况下的界限。
2022-06-22 cs.LG stat.ML
Local Differential Privacy for Regret Minimization in Reinforcement Learning
Facebook AI Research（Facebook人工智能研究院）；CREST, ENSAE（法国国家统计与经济管理局统计研究中心, 法国国立统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）；Imperial College London（帝国理工学院）
强化学习算法被广泛用于期望提供个性化服务的领域。在这些领域中，用户数据通常包含需要防止第三方访问的敏感信息。出于这一动机，我们研究隐私的背景下，有限时域马尔可夫决策过程（MDP），要求信息被混淆的用户端。我们制定这个概念的隐私RL利用本地差分隐私（LDP）框架。我们建立了一个有限时域的LDP保证的MDP的遗憾最小化的下界，这表明，保证隐私的遗憾有一个倍增的效果。这个结果表明，虽然LDP是一个有吸引力的隐私概念，但它使学习问题变得更加复杂。最后，我们提出了一个乐观的算法，同时满足$\varepsilon$的要求，并实现$\sqrt{K}/\varepsilon$遗憾在任何有限的地平线MDP后，$K$事件，匹配的下界依赖于事件的数量$K$。
2021-10-27 cs.LG
On Lower Bounds for Regret in Reinforcement Learning
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
这是一个简短的技术说明，以澄清强化学习的遗憾下限的状态。具体而言，本文件：- 再现了强化学习中后悔的下限，类似于UCRL 2论文中定理5的结果（Jaksch et al 2010）。- 澄清了在REGAL论文（Bartlett和Tewari 2009）中提出的定理6的证明在没有进一步工作的情况下使用标准技术不成立。我们建议这个结果应该被认为是一个猜想，因为它没有严格的证明。- 表明（Bartlett和Tewari 2009）给出的固定下限是不正确的，事实上，可以改进上限的缩放以匹配本文中提出的较弱的下限。我们希望这篇文章能够澄清强化学习领域的现有成果，并为未来的工作提供有趣的动力。
2016-08-09 cs.LG stat.ML
No-Regret Reinforcement Learning with Heavy-Tailed Rewards
Tsinghua University（清华大学）
强化学习算法通常假设奖励是从轻尾分布（例如高斯分布或有界分布）中采样的。然而，各种各样的现实世界系统产生的奖励遵循重尾分布。我们在未折扣强化学习的设置中考虑这样的场景。通过构造一个下界，我们证明了重尾奖励的学习难度渐近地超过了转移概率的学习难度。利用鲁棒均值估计的技术，我们提出了Heavy-UCRL 2和Heavy-Q-Learning，并证明了它们在这种情况下达到了接近最优的遗憾界限。我们的算法也自然地推广到深度强化学习应用;我们将Heavy-DQN实例化作为一个例子。我们证明了我们所有的算法在合成MDP和标准RL基准上都优于基线。
2021-02-25 cs.LG stat.ML
Cascaded Gaps: Towards Gap-Dependent Regret for Risk-Sensitive Reinforcement Learning
Bloomberg（彭博社）；Yale University（耶鲁大学）
本文研究了基于熵风险测度的风险敏感强化学习中的间隙依赖后悔保证问题。我们提出了一个新的次优差距的定义，我们称之为级联的差距，我们讨论他们的关键组成部分，适应问题的底层结构。基于级联间隙，我们推导了两个无模型算法在情节马尔可夫决策过程下的非渐近和对数遗憾界。我们表明，在适当的设置，这些界限功能指数改善现有的是独立的差距。我们还证明了间隙依赖的下限，这证明了近最优的上限。
2022-03-07 cs.LG math.OC stat.ML
Posterior sampling for reinforcement learning: worst-case regret bounds
Columbia University（哥伦比亚大学）
我们提出了一种基于后验采样（又名汤普森采样）的算法，当底层马尔可夫决策过程（MDP）与有限但未知的直径进行通信时，该算法可以实现接近最优的最坏情况下的遗憾界限。我们的主要结果是一个高概率后悔上界的$\tilde{O}(DS\sqrt{AT})$的任何通信MDP与$S$状态，$A$行动和直径$D$。在这里，后悔将算法实现的总回报与时间范围$T$中的最优无限时间范围未贴现平均回报策略的总预期回报进行比较。该结果与$Ω(\sqrt{DSAT})$的已知下限非常匹配。我们的技术涉及证明一些新的结果的反集中的Dirichlet分布，这可能是独立的利益。
2020-03-30 cs.LG
Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的，包括从原始图像像素学习控制策略。然而，估计状态和状态-动作价值函数的算法通常假设完全观测的状态，并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中，我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数，并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法：在Doom和Minecraft中学习第一人称3D导航，以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms and Tighter Regret Bounds for the Non-Episodic Setting
University of Michigan（密歇根大学）
我们研究了非情景因子马尔可夫决策过程（FMDPs）中的强化学习。我们提出了两个接近最佳和甲骨文效率的算法FMDPs。假设甲骨文访问FMDP计划，他们享受贝叶斯和频率论的遗憾界分别，这两个减少到接近最优的界$\widetilde{O}(DS\sqrt{AT})$标准的非因子MDP。我们提出了一个更严格的连接措施，因子跨度，FMDPs和证明了一个下界，取决于因子跨度，而不是直径$D$。为了减少上下界之间的差距，我们提出了一个自适应的REGAL. C算法，其遗憾界取决于因子跨度。我们的甲骨文高效的算法优于以前提出的计算机网络管理模拟接近最佳的算法。
2020-06-06 cs.LG stat.ML
First-Order Regret in Reinforcement Learning with Linear Function Approximation: A Robust Estimation Approach
University of Washington（华盛顿大学）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
获得一阶后悔界限-后悔界限不是作为最坏的情况，但在给定的情况下，最优策略的性能的一些措施-是一个核心问题，在顺序决策。虽然这样的界限存在于许多设置中，但它们在具有大状态空间的强化学习中被证明是难以捉摸的。在这项工作中，我们解决这个差距，并表明，它是可能的，以获得遗憾缩放$\widetilde{\mathcal{O}}(\sqrt{d^3 H^3 \cdot V_1^\star \cdot K} + d^{3.5}H^3\log K )$在强化学习与大的状态空间，即线性MDP设置。这里，$V_1^\star$是最优策略的值，$K$是发作次数。我们表明，现有的技术基于最小二乘估计是不足以获得这一结果，而是开发一种新的强大的自我归一化浓度界的基础上强大的Catoni平均估计，这可能是独立的利益。
2022-10-21 cs.LG stat.ML
Reinforcement and Imitation Learning via Interactive No-Regret Learning
Carnegie Mellon University（卡内基梅隆大学）
最近的工作表明，问题-特别是模仿学习和结构化预测-其中学习者的预测影响其测试的输入分布，可以通过交互式方法自然解决，并使用无遗憾在线学习进行分析。然而，这些模仿学习的方法既不需要也不受益于关于行动成本的信息。我们在两个方向上扩展现有的结果：首先，我们开发了一种利用成本信息的交互式模仿学习方法;其次，我们扩展了该技术以解决强化学习。研究结果为在线近似策略迭代的成功提供了理论支持。我们的方法提出了一个广泛的新的算法家族，并提供了一个统一的观点，现有的技术模仿和强化学习。
2014-06-23 cs.LG stat.ML
Regret Minimization for Reinforcement Learning by Evaluating the Optimal Bias Function
Tsinghua University（清华大学）
提出了一种基于\emph{Optimism in the Face of Uncertainty}（OFU）原理的强化学习算法，该算法能够有效地学习由有限状态-动作空间的马尔可夫决策过程（MDP）建模的强化学习（RL）。通过计算最优偏置函数$h^{*}$的状态对差，该算法得到了具有$S$状态和$A$动作的MDP的遗憾界$\tilde{O}(\sqrt{SAHT})$ \footnote{The symbol $\tilde{O}$ means $O$ with log factors ignored. }，在$h^{*}$跨度上的上界$H$，即，$sp(h^{*})$是已知的。这个结果比以前最好的后悔界限$\tilde{O}(S\sqrt{AHT}) $ \citep{fruit2019improved}好一个因子$\sqrt{S}$。此外，该遗憾界限与$Ω(\sqrt{SAHT}) $ \citep{jaksch2010near}的下限匹配到对数因子。因此，我们表明，有一个接近最佳的遗憾界的$\tilde{O}(\sqrt{SADT})$的MDPs与有限直径$D$相比，$Ω(\sqrt{SADT}) $ \citep{jaksch2010near}的下限。
2019-12-28 cs.LG stat.ML
Value Function Approximations via Kernel Embeddings for No-Regret Reinforcement Learning
Boston University（波士顿大学）；The University of Sydney（悉尼大学）
我们考虑情景情境下的强化学习（RL）中的后悔最小化问题。在许多现实世界的RL环境中，状态和动作空间是连续的或非常大的。现有的方法建立遗憾的保证，无论是低维表示的随机过渡模型或近似的$Q$ -功能。然而，对状态-价值函数的函数近似方案的理解在很大程度上仍然缺失。在本文中，我们提出了一个在线的基于模型的RL算法，即CME-RL，学习表示的过渡分布作为嵌入在再生核希尔伯特空间，同时仔细平衡开发探索权衡。我们证明了我们的算法的效率，通过证明一个频率论（最坏情况下）的遗憾界是为了$\tilde{O}\big(Hγ_N\sqrt{N}\big)$ \footnote{ $\tilde{O}(\cdot)$ hides only absolute constant and poly-logarithmic factors.}，其中$H$是情节长度，$N$是时间步的总数和$γ_N$是一个信息理论量有关的有效尺寸的状态-动作特征空间。我们的方法绕过了估计转移概率的需要，并适用于可以定义内核的任何域。它也带来了新的见解核方法的近似推理和RL遗憾最小化的一般理论。
2022-06-28 cs.LG
Optimal Regret Bounds for Selecting the State Representation in Reinforcement Learning
Montanuniversität Leoben（莱奥本矿业大学）；Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术局）；INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧研究中心）
我们考虑一个代理与环境交互的动作，观察和奖励的单一流，没有重置。这个过程不被假设为马尔可夫决策过程（MDP）。相反，代理有几个表示（映射历史的过去的相互作用到一个离散的状态空间）的环境与未知的动态，只有其中的一些结果在MDP。我们的目标是最小化平均后悔标准对代理谁知道MDP表示给予最高的最优奖励，并采取行动最佳在it.Recent遗憾界为这个设置的顺序$O(T^{2/3})$与添加剂长期常数，但指数的最佳MDP的一些特性。我们提出了一个算法，其遗憾后$T$时间步是$O(\sqrt{T})$，与所有常数合理的小。这在$T$中是最优的，因为$O(\sqrt{T})$是在（单个离散）MDP中学习的设置中的最优遗憾。
2013-03-18 cs.LG
Efficient, Low-Regret, Online Reinforcement Learning for Linear MDPs
National University of Singapore（新加坡国立大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Huawei Shanghai Research Center（华为上海研究中心）
针对线性 MDP 中 LSVI-UCB 算法空间占用过高的问题，提出两种交替学习与不学习阶段的改进版本，在保持次线性遗憾的同时显著降低空间与时间开销。
2024-11-16 cs.DS cs.LG
Private Reinforcement Learning with PAC and Regret Guarantees
University of Minnesota（明尼苏达大学）；DeepMind；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
受个性化医疗等用户信息固有敏感的高风险决策领域的激励，我们设计了用于情景强化学习（RL）的隐私保护探索策略。我们首先使用联合差分隐私（JDP）的概念提供一个有意义的隐私公式--差分隐私的一个强变体，用于每个用户接收他们自己的输出集的设置（例如，政策建议）。然后，我们开发了一个私人的基于乐观主义的学习算法，同时实现强大的PAC和遗憾的界限，并享有JDP保证。我们的算法只支付一个适度的隐私成本的探索：在比较非私人的界限，隐私参数只出现在较低的顺序。最后，我们提出了样本的复杂性和遗憾的强化学习服从JDP的下限。
2020-09-18 cs.CR cs.LG stat.ML
ReLExS: Reinforcement Learning Explanations for Stackelberg No-Regret Learners
ETH Zurich（苏黎世联邦理工学院）
本文研究了双人 Stackelberg 博弈中跟随者受无悔约束时的均衡问题，证明了在无悔约束及特定跟随者策略下玩家仍能达到 Stackelberg 均衡，并给出了效用差的严格上界及常和博弈下总效用的有界性保证。
2024-08-26 cs.GT cs.LG
Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning
Tsinghua University（清华大学）
本文研究了有限时域马尔可夫决策过程模型下具有批量约束的情景强化学习问题。多批次强化学习框架，其中，代理被要求提供一个时间表，以更新之前的一切，这是特别适合的情况下，代理遭受广泛的自适应改变策略。给定一个具有$S$状态、$A$动作和规划时域$H$的有限时域MDP，我们设计了一个计算效率高的算法，使用带有置信度参数$δ$的$O\left(H+\log_2\log_2(K) \right)$批次，在$K$事件中实现$\tilde{O}(\sqrt{SAH^3K\ln(1/δ)})$ \footnote{$\tilde{O}(\cdot)$ hides logarithmic terms of $(S,A,H,K)$}的近最优后悔.据我们所知，这是第一个与$O(H+\log_2\log_2(K))$批处理复杂性绑定的$\tilde{O}(\sqrt{SAH^3K})$遗憾。同时，我们表明，要实现$\tilde{O}(\mathrm{poly}(S,A,H)\sqrt{K})$遗憾，批次的数量至少是$Ω\left(H/\log_A(K)+ \log_2\log_2(K) \right)$，这符合我们的上限对数项。我们的技术贡献有两个方面：1）一个接近最优的设计方案，以探索未学习的状态; 2）一个计算效率高的算法，以探索某些方向与近似的过渡模型。
2022-10-15 cs.LG
Disentangling Recognition and Decision Regrets in Image-Based Reinforcement Learning
Harvard University（哈佛大学）；Nokia Bell Labs（诺基亚贝尔实验室）
本文通过引入识别遗憾和决策遗憾的概念，解耦了基于图像的强化学习中观测过拟合的两种误差来源，并在迷宫和Pong环境中验证了过度具体与不够具体表示的影响。
2025-04-02 cs.LG
Optimal Dynamic Regret by Transformers for Non-Stationary Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN AIP（日本科学技术厅AIP）
本研究证明Transformer在非平稳强化学习中可实现近乎最优的动态遗憾界，并实验验证其能匹配或超越现有专家算法。
2025-10-23 cs.LG stat.ML
Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了具有线性函数近似和逆向变化代价函数的强化学习，这种设置大多被认为是在完全信息反馈或探索性条件等简化假设下进行的。我们提出了一种计算效率高的策略优化算法，用于具有挑战性的未知动态和强盗反馈的一般设置，在计算探索奖金的辅助MDP中结合了镜像下降和最小二乘策略评估。我们的算法获得了$\widetilde O(K^{6/7})$遗憾界，在这种情况下明显优于现有技术的$\widetilde O (K^{14/15})$。此外，我们提出了一个版本的相同的算法的假设下，环境的模拟器可供学习者（但否则没有探索性的假设），并证明它获得了国家的最先进的遗憾$\widetilde O (K^{2/3})$。
2023-01-30 cs.LG stat.ML
Unifying PAC and Regret: Uniform PAC Bounds for Episodic Reinforcement Learning
Carnegie-Mellon University（卡内基梅隆大学）；DeepMind；Stanford University（斯坦福大学）
强化学习（RL）算法的统计性能界限对于医疗保健等高风险应用至关重要。本文介绍了一种新的框架，从理论上衡量这种算法的性能称为均匀PAC，这是一个加强经典的可能近似正确（PAC）框架。与PAC框架相比，统一版本可用于获得高概率后悔保证，从而在文献中缺失的两个设置之间形成桥梁。我们证明了新的框架的好处，有限状态的情节MDP与一个新的算法，即统一的PAC，同时实现最佳的遗憾和PAC的保证，除了一个因素的地平线。
2018-01-02 cs.AI cs.LG stat.ML
Regret Analysis in Deterministic Reinforcement Learning
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
我们考虑马尔可夫决策过程（MDP）的确定性转移和研究的遗憾最小化，这是中央的最佳学习算法的分析和设计的问题。我们提出了对数问题的具体遗憾的下限，明确地依赖于系统参数（与以前的极大极小方法相比），从而真正量化的基本限制的性能可实现的任何学习算法。确定性MDP可以被解释为图形和分析的周期，我们利用这一事实，以确定一类确定性MDP的遗憾下限可以确定数字。我们进一步证明了这一结果的确定性线搜索问题，和一个确定性的MDP与状态相关的奖励，其遗憾的下限，我们可以明确地状态。这些边界共享的相似性与已知的问题特定的约束的多臂强盗问题，并建议在一个确定性的MDP导航不需要有一个学习算法的性能上的影响。
2021-06-27 cs.LG stat.ML
Open Problem: Order Optimal Regret Bounds for Kernel-Based Reinforcement Learning
MediaTek Research（联发科研究院）
本研究指出基于核的非线性函数近似强化学习缺乏充分性能保证的开放问题，概述现有部分成果并探讨相关挑战，为核强化学习的阶最优遗憾界理论研究指明方向。
2024-06-21 cs.LG
Information-Theoretic Minimax Regret Bounds for Reinforcement Learning based on Duality
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文研究有限时间范围马尔可夫决策过程中的极小极大遗憾问题，利用对偶性、极小极大定理和贝叶斯遗憾界推导信息论界，并展示其在多种场景下的应用。
2024-10-21 cs.IT cs.LG math.IT
ReMIX: Regret Minimization for Monotonic Value Function Factorization in Multiagent Reinforcement Learning
The George Washington University（乔治华盛顿大学）
在集中训练、分散执行的模式下，价值函数分解方法已成为协作多智能体强化学习的主要方法。通过使用代理效用的单调混合函数分解最优联合行动价值函数，这些算法确保了分散决策中联合行动和局部行动选择之间的一致性。然而，单调混合函数的使用也会导致代表性的限制。寻找无限制混合函数在单调函数类上的最优投影仍然是一个公开的问题。为此，我们提出了ReMIX，制定这个最佳的投影问题的价值函数因式分解作为一个遗憾最小化的投影权重不同的状态动作值。这样的优化问题可以放松和解决使用拉格朗日乘子法，以获得封闭形式的最优投影权重。通过最小化由此产生的政策遗憾，我们可以缩小最优和限制单调混合函数之间的差距，从而得到一个改进的单调价值函数分解。在Predator-Prey和StarCraft Multiagent Challenge环境下的实验结果表明了该方法的有效性，表明该方法具有更好的处理非单调价值函数环境的能力.
2023-02-11 cs.LG
The Effect of Q-function Reuse on the Total Regret of Tabular, Model-Free, Reinforcement Learning
University of Waterloo（滑铁卢大学）；University of Alberta（阿尔伯塔大学）
一些强化学习方法受到高样本复杂性的影响，导致它们在现实世界中不实用。$Q$ -函数重用是一种迁移学习方法，是降低学习的样本复杂度的一种方法，潜在地提高了现有算法的有用性。以前的工作已经表明了经验的有效性$Q$ -功能重用的各种环境中，当应用到无模型算法。据我们所知，还没有理论上的工作表明遗憾的$Q$ -功能重用时，应用到表格，无模型设置。我们的目标是弥合理论和实证工作之间的差距，在$Q$-功能重用提供一些理论上的见解时，$Q$ -功能重用的有效性，适用于$Q$ -学习与UCB-Hoeffding算法。我们的主要贡献是表明，在一个特定的情况下，如果$Q$ -功能重用应用于$Q$ -学习与UCB-Hoeffding算法，它有一个遗憾，是独立的状态或动作空间。我们还提供了实证结果支持我们的理论研究结果。
2021-03-07 cs.LG
Exponential Bellman Equation and Improved Regret Bounds for Risk-Sensitive Reinforcement Learning
Northwestern University（西北大学）；Princeton University（普林斯顿大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了基于熵风险测度的风险敏感强化学习。虽然现有的作品已经建立了非渐近后悔保证这个问题，他们留下了开放的上界和下界之间的指数差距。我们确定在现有的算法和他们的分析，导致这样的差距的不足之处。为了弥补这些不足，我们研究了一个简单的转换的风险敏感的贝尔曼方程，我们称之为指数贝尔曼方程。指数Bellman方程启发我们在风险敏感RL算法中开发Bellman备份过程的新分析，并进一步激发了新探索机制的设计。我们表明，这些分析和算法的创新共同导致改进的遗憾上限比现有的。
2021-11-06 cs.LG math.OC stat.ML
Local Linearity: the Key for No-regret Reinforcement Learning in Continuous MDPs
Politecnico di Milano（米兰理工大学）
针对连续状态动作空间MDP中RL无悔实现的开放难题，提出可局部线性化MDP新表示类与Cinderella无悔算法，证明其涵盖所有已知可行MDP族并取得当前最优遗憾界。
2024-10-31 cs.LG
Taming Equilibrium Bias in Risk-Sensitive Multi-Agent Reinforcement Learning
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
本文针对一般和马尔可夫博弈中风险敏感多智能体强化学习的均衡偏差问题，提出风险平衡遗憾新概念，并设计自博弈算法学习多种均衡，证明其具有近最优遗憾保证。
2024-05-04 cs.GT cs.LG
Reinforcement Learning in Feature Space: Matrix Bandit, Kernels, and Regret Bound
Princeton University（普林斯顿大学）
当状态-动作空间较大时，强化学习（RL）中的探索会受到维数灾难的影响。一种常见的做法是使用给定的特性来参数化高维值和策略函数。然而，现有的方法要么没有理论保证，要么在规划范围$H$中遭受指数级的遗憾。在本文中，我们提出了一种在线RL算法，即MatrixRL，它利用线性强盗的思想来学习概率转移模型的低维表示，同时仔细平衡开发-探索权衡。我们证明了MatrixRL实现了遗憾界${O}\big(H^2d\log T\sqrt{T}\big)$，其中$d$是特征的数量。MatrixRL有一个等价的核化版本，它能够在不使用显式特征的情况下处理任意核希尔伯特空间。在这种情况下，内核化的MatrixRL满足遗憾界限${O}\big(H^2\widetilde{d}\log T\sqrt{T}\big)$，其中$\widetilde{d}$是内核空间的有效维度。据我们所知，对于使用特征或内核的RL，我们的结果是在时间$T$和维度$d$（或$\widetilde{d}$）以及规划范围$H$中的多项式上接近最优的第一遗憾界限。
2019-06-13 cs.LG stat.ML
Regret Bounds for Information-Directed Reinforcement Learning
Deepmind（深度思维）
信息定向采样（IDS）作为一种数据高效的强化学习（RL）算法，已显示出其潜力。然而，对马尔可夫决策过程（MDP）的入侵检测系统的理论认识仍然有限。我们开发了新的信息理论工具来约束学习目标的信息比和累积信息增益。我们的理论结果揭示了选择学习目标的重要性，这样的从业者可以平衡的计算和遗憾的界限。因此，我们推导出无先验贝叶斯遗憾界香草IDS学习整个环境下的表格有限地平线MDPs。此外，我们提出了一个计算效率高的正则化IDS，最大化的加法形式，而不是比率形式，并表明它享有相同的遗憾界香草IDS。在率失真理论的帮助下，我们通过学习一个替代的、信息量较少的环境来提高遗憾边界。此外，我们将我们的分析扩展到线性MDP，并证明了类似的遗憾界汤普森采样作为一个副产品。
2022-11-24 cs.IT cs.LG math.IT
Logarithmic Regret for Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
具有线性函数逼近的强化学习（RL）近年来受到越来越多的关注。然而，现有的工作集中在获得$\sqrt{T}$型后悔界限，其中$T$是与MDP的交互次数。在本文中，我们表明，对数遗憾是可达到的两个最近提出的线性MDP假设，存在一个积极的次优差距的最佳行动价值函数。更具体地说，在线性MDP假设下，（Jin et al. 2019），LSVI-UCB算法可以实现$\tilde{O}(d^{3}H^5/\text{gap}_{\text{min}}\cdot \log(T))$遗憾;在线性混合MDP假设下（Ayoub et al.2020），UCRL-VTR算法可以实现$\tilde{O}(d^{2}H^5/\text{gap}_{\text{min}}\cdot \log^3(T))$遗憾，其中$d$是特征映射的维度，$H$是情节长度，$\text{gap}_{\text{min}}$是最小次优间隙，并且$\tilde O$隐藏除$\log(T)$之外的所有对数项。据我们所知，这些是RL与线性函数近似的第一对数遗憾界。我们还建立了两个线性MDP模型的间隙依赖下界。
2021-02-18 cs.LG math.OC stat.ML
A Joint Imitation-Reinforcement Learning Framework for Reduced Baseline Regret
Texas A&M University（德克萨斯农工大学）；University of Edinburgh（爱丁堡大学）
在各种控制任务领域中，现有的控制器提供了一个基线水平的性能，尽管可能是次优的，但应该保持。依赖于对状态和动作空间的广泛探索的强化学习（RL）算法可以用于优化控制策略。然而，完全探索性的RL算法可能会在训练期间将性能降低到基线水平以下。在本文中，我们解决的问题，在线优化的控制策略，同时最大限度地减少遗憾w.r.t的基线政策性能。我们提出了一个联合模仿-强化学习框架，表示为JIRL。JIRL中的学习过程假设基线策略可用，并在设计时考虑了两个目标：\textbf{(a)}利用基线的在线演示，以最大限度地减少培训期间对基线策略的遗憾，以及\textbf{(b)}最终超过基线性能。JIRL通过最初学习模仿基线策略并逐渐将控制从基线转移到RL代理来实现这些目标。实验结果表明，JIRL有效地实现了上述目标，在几个连续的动作空间域。结果表明，JIRL是一个国家的最先进的算法，在其最终的性能，而招致显着较低的基线遗憾在训练过程中，在所有提出的领域。此外，结果表明，在基线遗憾的减少因子高达$21$在一个国家的最先进的基线遗憾最小化方法。
2022-09-20 cs.AI cs.LG
A Reduction from Reinforcement Learning to No-Regret Online Learning
Georgia Tech（佐治亚理工学院）；Microsoft Research Montreal（蒙特利尔微软研究院）
我们提出了一个减少从强化学习（RL）到无遗憾在线学习的基础上的鞍点公式化的RL，“任何”在线算法与次线性遗憾可以产生的政策，可证明的性能保证。这种新的视角将强化学习问题分解为两个部分：后悔最小化和函数逼近。第一部分允许标准的在线学习分析，第二部分可以独立于学习算法进行量化。因此，所提出的约简可以作为一种工具，系统地设计新的RL算法。我们证明了这一点，设计一个简单的RL算法的基础上镜像下降和生成模型的预言。对于任何概率至少为$1-δ$的$γ$ -折扣表格RL问题，它使用最多$\tilde{O}\left(\frac{|\mathcal{S}||\mathcal{A}|\log(\frac{1}δ)}{(1-γ)^4ε^2}\right)$样本学习$ε$ -最优策略。此外，该算法允许直接扩展到线性参数化函数逼近器的大规模应用，与计算和样本的复杂性独立的$|\mathcal{S}|$，$|\mathcal{A}|$，但在潜在的近似偏差的成本。
2020-01-01 cs.LG stat.ML
Unified Framework of Distributional Regret in Multi-Armed Bandits and Reinforcement Learning
University of Washington（华盛顿大学）；Seoul National University（首尔国立大学）
本文提出一种统一框架，研究随机多臂老虎机和回合制强化学习中的分布后悔，通过简单的UCBVI型算法，推导出通用的分布后悔界，优化期望性能、尾风险和实例依赖行为的平衡。
2026-06-23 cs.LG stat.ML
Provable Reset-free Reinforcement Learning by No-Regret Reduction
Rutgers University（罗格斯大学）；Microsoft Research（微软研究院）
针对强化学习依赖高成本重置机制的问题，提出将无重置强化学习转化为双人博弈的无悔约简框架，证明其可实现次线性悔度与少重置，并给出首个可证明正确的线性MDP无重置强化学习算法。
2023-07-22 cs.LG cs.RO
Quantum Computing Provides Exponential Regret Improvement in Episodic Reinforcement Learning
Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）
本文研究了用量子预言机求解\textit{episodic reinforcement learning}的态演化问题。为此，我们提出了一个基于\textit{Upper Confidence Bound}（UCB）的量子算法框架，以促进学习的有限时域MDP。与经典算法相比，我们的量子算法在后悔方面实现了指数级的改善，与$\Tilde{\mathcal{O}}(\sqrt{K})$ \footnote{$\Tilde{\mathcal{O}}(\cdot)$ hides logarithmic terms.}相比，我们的量子算法实现了$\Tilde{\mathcal{O}}(1)$的后悔，$K$是训练集的数量。为了实现这一优势，我们利用有效的量子平均估计技术，提供了二次改进的数量i.i.d.与经典的均值估计相比，估计亚高斯随机变量的均值所需的样本。这种改进是量子强化学习中显著改善遗憾的关键。我们在各种RL环境中提供了概念验证实验，这些实验反过来证明了所提出的算法框架的性能增益。
2023-02-16 cs.AI cs.LG cs.SY
Test-Time Regret Minimization in Meta Reinforcement Learning
Technion – Israel Institute of Technology（以色列理工学院）
本文研究元强化学习的测试时遗憾最小化，证明了现有分离条件下 $O(M^2 \log(H))$ 遗憾率近乎最优，并提出强可辨识性假设使算法同时实现 $\log(H)$ 速率和对任务数 $M$ 的次线性依赖。
2024-06-04 cs.LG
No-Regret Reinforcement Learning in Smooth MDPs
Politecnico di Milano（米兰理工大学）
本文提出ν-平滑MDP假设，并基于勒让德多项式特征映射设计两种无遗憾强化学习算法，分别权衡计算效率与适用性，取得最优遗憾保证。
2024-02-06 cs.AI cs.LG
Online Reinforcement Learning with Uncertain Episode Lengths
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；University of Oxford（牛津大学）
现有的情节强化算法假设情节的长度随着时间的推移是固定的并且是先验已知的。在本文中，我们考虑了一个一般框架的情节强化学习时，每个情节的长度是从一个分布。我们首先确定这个问题相当于具有一般折扣的在线强化学习，其中学习者试图优化无限范围内的预期折扣奖励总和，但折扣函数不一定是几何的。我们发现，最小化遗憾与这种新的一般折扣是等效的，以最小化遗憾与不确定的情节长度。然后，我们设计了一个强化学习算法，最大限度地减少一般折扣的遗憾，但不确定的情节长度设置的行为。我们实例化我们的一般界不同类型的折扣，包括几何和多项式折扣。我们还表明，我们可以获得类似的遗憾界，即使当情节长度的不确定性是未知的，通过估计未知的分布随着时间的推移。最后，我们比较了我们的学习算法与现有的基于值迭代的情景RL算法在网格世界的环境。
2023-02-07 cs.LG
Kernel-Based Function Approximation for Average Reward Reinforcement Learning: An Optimist No-Regret Algorithm
MediaTek Research（联发科研究院）；TU Delft（代尔夫特理工大学）
该研究针对无限视野平均奖励强化学习场景，提出一种基于核函数逼近的乐观无悔算法，建立了对应性能保证，并推导了适用于多种强化学习问题的核基期望价值函数预测置信区间。
2024-10-30 cs.AI cs.LG stat.ML
Logarithmic regret for episodic continuous-time linear-quadratic reinforcement learning over a finite-time horizon
EDF R&D（法国电力公司研发部）；FIME（FIME实验室）；University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
我们研究有限时间范围连续时间线性二次强化学习问题的情景设置，其中的状态和控制系数是未知的控制器。我们首先提出了一个最小二乘算法的基础上连续时间的观察和控制，并建立了一个对数遗憾界的顺序$O((\ln M)(\ln\ln M))$，与$M$是学习情节的数量。分析包括两个部分：扰动分析，利用相关的里卡蒂微分方程的规律性和鲁棒性;和参数估计误差，它依赖于连续时间最小二乘估计的次指数特性。我们进一步提出了一个实际可实现的最小二乘算法的基础上离散时间的观察和分段常数控制，实现了类似的对数遗憾与一个额外的长期明确取决于在算法中使用的时间步长。
2022-06-17 cs.LG math.OC stat.ML
Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有未知转移核的情景马尔可夫决策过程中的风险敏感强化学习，目标是在指数效用的风险度量下优化总报酬.我们提出了两个可证明有效的无模型算法，风险敏感值迭代（RSVI）和风险敏感Q学习（RSQ）。这些算法在面对不确定性时实现了一种风险敏感的乐观主义，它适应于风险寻求和风险规避的探索模式。我们证明了RSVI得到一个$\tilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{3} S^{2}AT} \big)$后悔，而RSQ得到一个$\tilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{4} SAT} \big)$后悔，其中$λ(u) = (e^{3u}-1)/u$为$u>0$ .在上文中，$β$是指数效用函数的风险参数，$S$是状态的数量，$A$是动作的数量，$T$是时间步的总数，以及$H$是事件长度。在另一方面，我们建立了一个遗憾的下限表明，$|β|$和$H$的指数依赖性是不可避免的任何算法与$\tilde{O}(\sqrt{T})$遗憾（即使当风险目标是在同一规模的原始奖励），从而证明了所提出的算法的近最优性。我们的研究结果表明，将风险意识纳入强化学习需要在$|β|$和$H$指数成本，这量化了风险敏感性（与任意不确定性相关）和样本效率（与认知不确定性相关）之间的基本权衡。据我们所知，这是第一次对具有指数效用的风险敏感强化学习进行后悔…
2020-06-22 cs.LG math.OC stat.ML
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
RLCFR: Minimize Counterfactual Regret by Deep Reinforcement Learning
Harbin Institute of Technology, ShenZhen（哈尔滨工业大学（深圳））
反事实后悔最小化（CFR）是处理不完全信息二人零和博弈决策问题的一种常用方法。与现有的研究，主要是探索解决更大规模的问题或加快解决方案的效率，我们提出了一个框架，RLCFR，旨在提高CFR方法的泛化能力。在RLCFR中，博弈策略由CFR在强化学习框架中求解。将交互式策略更新的动态过程建模为马尔可夫决策过程。我们的方法，RLCFR，然后学习一个政策，以选择适当的方式在迭代过程中的遗憾更新。此外，逐步奖励函数制定学习的行动政策，这是成比例的迭代策略是如何在每一步。大量的实验结果表明，我们的方法的泛化能力显着提高，与现有的国家的最先进的方法相比。
2020-09-10 cs.GT cs.LG stat.ML
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
多臂强盗（MAB）和随机线性强盗（SLB）是强化学习中的重要模型，而经典的时域强盗算法$T$存在$Ω(\sqrt{T})$缺陷。在本文中，我们研究了MAB和SLB与量子奖励预言，并提出了量子算法的两个模型与$O(\mbox{poly}(\log T))$的遗憾，指数改善的依赖$T$。据我们所知，这是第一个可证明的量子加速强盗问题的遗憾和一般利用强化学习。与以前关于MAB和强化学习的量子探索算法的文献相比，我们的量子输入模型更简单，并且只假设每个手臂都有量子预言机。
2022-05-30 cs.LG quant-ph
