Dynamic Regret of Online Markov Decision Processes
Nanjing University（南京大学）
我们研究在线马尔可夫决策过程（MDP）的不利变化的损失函数和已知的过渡。我们选择动态后悔作为绩效指标，定义为学习者与任何可行的改变策略序列之间的绩效差异。该措施是严格强于标准的静态后悔基准学习者的表现与一个固定的比较政策。我们认为在线MDP的三个基本模型，包括情节无环随机最短路径（SSP），情节SSP，和无限地平线MDP。对于这三个模型，我们提出了新的在线集成算法，并建立他们的动态后悔保证，其中的结果情节（无环）SSP是可证明的minimax最优的时间范围和一定的非平稳性措施。此外，当学习者遇到的在线环境是可预测的，我们设计了改进的算法，并实现了更好的动态遗憾界的情节（无循环）SSP，而且，我们证明了不可能的结果为无限地平线MDPs。
2022-08-26 cs.LG stat.ML
Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究遗憾最小化在非情节因子马尔可夫决策过程（FMDPs），其中所有现有的算法作出强烈的假设，因子结构的FMDPs是已知的学习者提前。在本文中，我们提供了第一个学习FMDP的结构，同时最大限度地减少遗憾的算法。我们的算法是基于乐观面对不确定性的原则，结合一个简单的统计方法的结构学习，并可以有效地实现了一个FMDP规划器的Oracle访问。此外，我们给我们的算法的一个变体，仍然是有效的，即使当预言是有限的非因子的行动，这是几乎所有现有的近似规划的情况。最后，我们利用我们的技术来证明已知结构情况下的一个新下界，缩小了与Chen et al. [2021]的遗憾界的差距。
2021-10-11 cs.LG stat.ML
Minimax Regret of Switching-Constrained Online Convex Optimization: No Phase Transition
Yale University（耶鲁大学）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加利福尼亚大学）
我们研究的问题切换约束在线凸优化（OCO），玩家有有限的机会改变她的行动。虽然这个在线学习任务的离散模拟已被广泛研究，以前的工作在连续设置既没有建立极大极小率，也没有算法实现it.In本文中，我们表明，$ T $轮开关约束OCO少于$ K $开关有极大极小遗憾$ Θ(\frac{T}{\sqrt{K}}) $。特别地，对于一维，其至少为$ \frac{T}{\sqrt{2K}} $，对于更高维度，其至少为$ \frac{T}{\sqrt{K}} $。在高维的下界是通过一个正交子空间的论点。在一维中，一种新的对抗策略产生了$O(\frac{T}{\sqrt{K}})$的下界，但更涉及到包含常数的精确极大极小分析。为了建立更严格的一维结果，我们引入了\emph{fugal game}松弛，其极小极大遗憾的下限开关约束OCO。我们证明了逃逸对策的最小最大遗憾至少是$ \frac{T}{\sqrt{2K}} $，从而建立了一维最优最小最大遗憾下界。为了建立与维数无关的上界，我们接下来证明了一个minimax算法提供了一个$ O(\frac{T}{\sqrt{K}}) $上界，因此得出结论，对于任何$K$，切换约束OCO的极小极大遗憾是$ Θ(\frac{T}{\sqrt{K}}) $。这是在鲜明的对比，它的离散对应，开关约束预测专家的问题，表现出一个相变之间的低开关和高开关制度的最小最大遗…
2020-10-22 cs.LG math.OC stat.ML
Local Linearity: the Key for No-regret Reinforcement Learning in Continuous MDPs
Politecnico di Milano（米兰理工大学）
针对连续状态动作空间MDP中RL无悔实现的开放难题，提出可局部线性化MDP新表示类与Cinderella无悔算法，证明其涵盖所有已知可行MDP族并取得当前最优遗憾界。
2024-10-31 cs.LG
Improved Exploration in Factored Average-Reward MDPs
University of Copenhagen（哥本哈根大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189 – CRIStAL
在未知因子马尔可夫决策过程中，考虑了平均报酬准则下的后悔最小化问题。更具体地说，我们考虑一个FMDP，其中状态-动作空间$\mathcal X$和状态空间$\mathcal S$允许$\mathcal X = \otimes_{i=1}^n \mathcal X_i$和$\mathcal S=\otimes_{i=1}^m \mathcal S_i$各自的分解形式，并且转换和奖励函数在$\mathcal X$和$\mathcal S$上分解。假设已知的分解结构，我们引入了一种新的后悔最小化策略的灵感来自流行的UCRL 2策略，称为DBN-UCRL，它依赖于伯恩斯坦型的置信度集定义的过渡函数的各个元素。我们发现，对于一个通用的因式分解结构，DBN-UCRL实现了遗憾界，其领先的长期严格改善现有的遗憾界的依赖关系的大小$\mathcal S_i$的和涉及直径相关的条款。我们进一步证明了当分解结构对应于一些基MDP的笛卡尔积时，DBN-UCRL的后悔上界是由基MDP的后悔之和决定的。我们证明，通过标准环境下的数值实验，DBN-UCRL享有大幅改善遗憾经验超过现有的算法，有frequentist后悔保证。
2021-03-11 cs.LG stat.ML
Achieving Tractable Minimax Optimal Regret in Average Reward MDPs
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Princeton University（普林斯顿大学）
针对平均奖励MDPs中现有算法遗憾次优或计算低效的问题，提出首个无需先验信息且具有最小极大最优遗憾的可处理算法，并利用PMEVI子程序计算偏置约束策略以改进多种算法的遗憾界。
2024-06-03 cs.LG cs.SY eess.SY
Reinforcement Learning in Linear MDPs: Constant Regret and Representation Selection
Universitat Pompeu Fabra（庞培法布拉大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；Microsoft Research（微软研究院）；Politecnico di Milano（米兰理工大学）；Facebook AI Research（Facebook人工智能研究院）
研究了线性结构有限时域马尔可夫决策过程中状态-行动价值函数的表示在后悔最小化中的作用。首先，我们推导出一个必要条件的表示，称为普遍生成的最佳功能（UNISOFT），以实现恒定的遗憾，在任何MDP与线性奖励函数。这个结果包含了低秩MDP的众所周知的设置，更一般地说，零固有贝尔曼误差（也称为贝尔曼闭包假设）。然后，我们证明了这一条件也是足够的，这些类的问题，推导出一个恒定的遗憾界的两个乐观算法（LSVI-UCB和ELEANOR）。最后，我们提出了一个算法表示选择，我们证明，它实现了恒定的遗憾时，给定的表示，或适当的组合，满足UNISOFT条件。
2021-10-27 cs.LG
Exploration--Exploitation in MDPs with Options
Inria Lille（法国国家信息与自动化研究所里尔中心）
虽然大量的实证结果表明，时间扩展的动作和选项可能会显着影响智能体的学习性能，如何以及何时选项可以在在线强化学习是有益的理论理解是相对有限的。在本文中，我们推导出一个上下限的后悔的一个变种的UCRL使用选项。虽然我们首先分析了算法在一般情况下的半马尔可夫决策过程（SMDP），我们展示了如何将这些结果可以转化为具体情况下的MDP与选项，我们说明了简单的情况下，学习选项的遗憾可以是\textit{provably}远小于遗憾时所遭受的原始行动学习。
2017-04-17 cs.LG stat.ML
Regret Analysis of Average-Reward Unichain MDPs via an Actor-Critic Approach
Purdue University, USA（普渡大学）
本文提出带批处理的自然演员-评论家算法NAC-B，在单链假设下实现无限时域平均奖励MDP的阶最优遗憾，通过批处理缓解周期性与随机性，支持大规模状态动作空间。
2025-10-25 cs.LG stat.ML
A Fully Problem-Dependent Regret Lower Bound for Finite-Horizon MDPs
Inria Lille（里尔法国国家信息与自动化研究所）；Facebook AI Research（脸书人工智能研究院）
我们得到了一个新的渐近问题依赖于有限水平表马尔可夫决策过程（MDP）的遗憾最小化的下界。虽然，类似于先前的工作（例如，对于遍历的MDP），下限是一个优化问题的解决方案，我们的推导揭示了需要一个额外的约束的访问分布的状态-动作对，明确占MDP的动态。我们通过一系列的例子说明了不同的MDP可能有显着不同的复杂性，我们的下限提供了一个表征。1)我们首先考虑一个“困难的”MDP实例，其中基于动态的新约束导致更大的下限（即，更大的遗憾）相比，经典的分析。2)然后，我们表明，我们的下限恢复先前得出的特定MDP实例的结果。3)最后，我们表明，在某些“简单”的MDPs，下限是相当小的比一般情况下，它不缩放的最小行动差距。我们表明，这最后一个结果是可以实现的（最多$poly(H)$条款，其中$H$是地平线），提供一个遗憾的上界的基础上的政策差距的乐观算法。
2021-06-24 cs.LG
Minimax Weight Learning for Absorbing MDPs
East China Normal University（华东师范大学）
本文提出MWLA算法，用于吸收马尔可夫决策过程的无折扣离线策略评估，通过重要性比率直接估计期望回报，并分析了均方误差界及统计误差对数据规模和截断水平的依赖性，实验验证了其性能。
2023-09-05 cs.LG
Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
最近，几项研究（Zhou et al.，2021 a; Zhang等人，2021 b; Kim等人，二零二一年; Zhou和Gu，2022）为线性上下文强盗提供了方差依赖的后悔界限，它内插了最坏情况下的后悔和确定性奖励制度。然而，这些算法要么是计算上棘手的或无法处理未知的噪声方差。在本文中，我们提出了一种新的解决方案，提出了第一个计算效率高的算法，线性土匪异方差噪声。我们的算法是自适应的噪声的未知方差，并实现了$\tilde{O}(d \sqrt{\sum_{k = 1}^K σ_k^2} + d)$遗憾，其中$σ_k^2$是噪声的方差在轮$k$，$d$是上下文的维数和$K$是轮的总数。我们的研究结果是基于自适应方差感知的置信集启用一个新的弗里德曼型浓度不等式的自归一化鞅和多层结构分层的上下文向量到不同的层与不同的统一上界的不确定性。此外，我们的方法可以扩展到线性混合马尔可夫决策过程（MDP）的强化学习。我们提出了一个方差自适应算法的线性混合MDP，它实现了一个问题相关的地平线自由遗憾界，可以优雅地减少到一个几乎恒定的遗憾确定性MDP。与现有的线性混合MDP的近极大极小最优算法不同，我们的算法不需要显式的方差估计的过渡概率或使用高阶矩估计，以达到地平线自由遗憾。我们相信，本文中开发的技术可以为一般的在线决策问题具有独立的价值。
2023-02-21 cs.LG math.OC stat.ML
Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs
University of Southern California（南加利福尼亚大学）
我们开发了一种新的方法来获得高概率后悔界的在线学习与强盗反馈对自适应对手。虽然现有的方法都需要仔细构建乐观和有偏的损失估计，我们的方法使用标准的无偏估计，并依赖于一个简单的增加学习率调度的时间表，连同帮助下，数学上同质的自我和谐的障碍和加强弗里德曼的不等式。除了它的简单性，我们的方法享有几个优点。首先，获得的高概率后悔界限是数据依赖的，可能比最坏情况下的界限小得多，这解决了Neu（2015）提出的一个开放问题。其次，解决Bartlett et al.（2008）和Abernethy and Rakhlin（2009）的另一个开放问题，我们的方法导致了第一个通用且有效的算法，具有对抗性线性强盗的高概率后悔界，而以前的方法要么效率低下，要么只适用于特定的动作集。最后，我们的方法也可以应用于学习对抗马尔可夫决策过程，并为这个问题提供了第一个具有高概率小损失界的算法。
2020-10-29 cs.LG stat.ML
Learning in structured MDPs with convex cost functions: Improved regret bounds for inventory management
考虑了需求截尾、销售损失和正提前期下的随机库存控制问题。这是库存管理中的一个基本问题，有大量文献建立了一个简单的称为“基本库存政策”的基本马尔可夫决策过程（MDP）的政策类的近最优性，以及这些政策下的长期平均成本的凸性。我们认为，相对较少研究的问题，设计一个学习算法，这个问题时，潜在的需求分布是未知的。我们的目标是约束遗憾的算法相比，最佳的基本库存政策。我们利用凸性属性和新推导出的基础股票政策的偏见的限制，建立一个连接到随机凸土匪优化。我们的主要贡献是一个学习算法的遗憾界$\tilde{O}(L\sqrt{T}+D)$的库存控制问题。这里，$L$是固定且已知的提前期，而$D$是需求分布的未知参数，其被粗略地描述为产生用于耗尽一个库存单位的足够需求所需的时间步长的数量。值得注意的是，即使底层MDP的状态空间是连续的和$L$维的，我们的遗憾边界线性依赖于$L$。我们的研究结果显着提高了以前最有名的遗憾界为这个问题的依赖$L$是指数和需求分布的许多进一步的假设。这里提出的技术可能是独立的利益，涉及大型结构化的MDP，但与凸成本函数的其他设置。
2019-05-10 cs.LG stat.ML
No-Regret Reinforcement Learning in Smooth MDPs
Politecnico di Milano（米兰理工大学）
本文提出ν-平滑MDP假设，并基于勒让德多项式特征映射设计两种无遗憾强化学习算法，分别权衡计算效率与适用性，取得最优遗憾保证。
2024-02-06 cs.AI cs.LG
Regret Analysis in Deterministic Reinforcement Learning
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
我们考虑马尔可夫决策过程（MDP）的确定性转移和研究的遗憾最小化，这是中央的最佳学习算法的分析和设计的问题。我们提出了对数问题的具体遗憾的下限，明确地依赖于系统参数（与以前的极大极小方法相比），从而真正量化的基本限制的性能可实现的任何学习算法。确定性MDP可以被解释为图形和分析的周期，我们利用这一事实，以确定一类确定性MDP的遗憾下限可以确定数字。我们进一步证明了这一结果的确定性线搜索问题，和一个确定性的MDP与状态相关的奖励，其遗憾的下限，我们可以明确地状态。这些边界共享的相似性与已知的问题特定的约束的多臂强盗问题，并建议在一个确定性的MDP导航不需要有一个学习算法的性能上的影响。
2021-06-27 cs.LG stat.ML
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
针对线性MDP中MDVI算法缺乏理论保证的问题，提出方差加权最小二乘MDVI（VWLS-MDVI）达到极小极大最优样本复杂度，并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Non-Rectangular Average-Reward Robust MDPs: Optimal Policies and Their Transient Values
本文研究了非矩形鲁棒MDPs的最优策略及其瞬时值，提出了一种基于周期的策略，结合最优平稳策略与在线学习回退机制，实现常数阶瞬时值。
2026-03-10 cs.LG math.OC stat.ML
Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes
Massachusetts Institute of Technology（麻省理工学院）
我们研究了极小极大最优强化学习在情节因子马尔可夫决策过程（FMDPs），这是有条件独立的转移组件的MDP。假设因子分解是已知的，我们提出了两个基于模型的算法。第一个实现了极大极小最优后悔保证的一类丰富的因子结构，而第二个享有更好的计算复杂性略差的遗憾。我们算法的一个关键新成分是设计了一个奖金项来指导探索。我们补充我们的算法，提出了几个结构依赖的下限FMDPs的遗憾，揭示了隐藏在错综复杂的结构的困难。
2020-06-24 cs.LG math.OC stat.ML
Logarithmic regret bounds for continuous-time average-reward Markov decision processes
The Chinese University of Hong Kong（香港中文大学）；Columbia University（哥伦比亚大学）
本文研究连续时间平均奖励MDPs的强化学习，在转移概率和指数保持时间速率未知时，推导出对数级遗憾下界，并设计算法实现对数级有限时间遗憾上界。
2024-07-02 cs.LG math.OC stat.ML
Regret Bounds for Discounted MDPs
University of California, San Diego（加州大学圣迭戈分校）
强化学习（RL）传统上是从情景的角度来理解的;非情景RL的概念，即没有重新启动，因此没有可靠的恢复，仍然是难以捉摸的。非情景强化学习的一个基本问题是如何衡量学习者的表现，并推导出最大化这种表现的算法。传统的观点是最大化学习者获得的平均奖励和最大长期平均奖励之间的差异。在本文中，我们认为，如果总的时间预算是相对有限的相比，环境的复杂性，这种比较可能无法反映有限的时间最优的学习。我们提出了一个家庭的措施，称为$γ$ -遗憾，我们相信，以更好地捕捉有限时间最优。我们给出了动机，并得出这些措施的下限和上限。注：后续工作（arXiv：2010.00587）改进了我们的下限和上限，差距现在关闭在$\tildeΘ\left(\frac{\sqrt{SAT}}{(1 - γ)^{\frac{1}{2}}}\right)$。
2021-05-27 cs.LG stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Near-optimal Policy Optimization Algorithms for Learning Adversarial Linear Mixture MDPs
UCLA（加州大学洛杉矶分校）
在存在敌手的情况下学习马尔可夫决策过程（MDP）是强化学习（RL）中的一个具有挑战性的问题。本文研究了具有对抗性奖励和完全信息反馈的情节MDP中的强化学习，其中未知转移概率函数是给定特征映射的线性函数，奖励函数可以随情节任意变化.我们提出了一个乐观策略优化算法POWERS，并表明它可以实现$\tilde{O}(dH\sqrt{T})$遗憾，其中$H$是情节的长度，$T$是与MDP的交互次数，和$d$是特征映射的维度。此外，我们还证明了一个匹配的下限$\tildeΩ(dH\sqrt{T})$的对数因子。我们的主要技术贡献是两方面的：（1）一个新的价值函数估计的基础上的重要性加权;（2）一个更严格的置信度设置的过渡内核。它们共同导致了近似极小极大的最优后悔。
2022-04-20 cs.LG math.OC stat.ML
Near-optimal Reinforcement Learning in Factored MDPs
Stanford University（斯坦福大学）
任何适用于所有马尔可夫决策过程（MDP）的强化学习算法都会在某些MDP上遭受$Ω(\sqrt{SAT})$遗憾，其中$T$是经过的时间，$S$和$A$是状态和动作空间的基数。这意味着需要$T = Ω(SA)$时间来保证接近最优的策略。在实际感兴趣的许多设置中，由于维数灾难，$S$和$A$可能非常巨大，以至于这种学习时间是不可接受的。我们建立，如果系统是已知的是一个\emph{factored} MDP，它是可能的，以实现遗憾，规模多项式的数量\emph{parameters}编码的因子MDP，这可能是指数小于$S$或$A$。我们提供了两种算法，满足近最佳的遗憾界在这种情况下：后验采样强化学习（PSRL）和置信上限算法（UCRL因子）。
2014-10-31 cs.LG stat.ML
Truly No-Regret Learning in Constrained MDPs
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）
本文针对受限马尔可夫决策过程，提出首个无误差抵消的原始-对偶算法，实现亚线性遗憾，确保学习过程安全。
2024-07-19 cs.LG stat.ML
Exploiting Exogenous Structure for Sample-Efficient Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Northwestern University（西北大学）
研究Exo-MDPs这类结构化马尔可夫决策过程，建立离散MDPs等之间的表示等价性，刻画其学习的极小极大遗憾值，证明不同情况下的遗憾值界，表明其解耦样本复杂度，通过实验验证相关见解。
2026-10-02 cs.LG math.OC stat.ML
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Learning Infinite-horizon Average-reward MDPs with Linear Function Approximation
University of Southern California（南加州大学）
我们开发了几个新的算法学习马尔可夫决策过程中的一个无限地平线的平均回报设置与线性函数逼近。使用乐观原则，并假设MDP具有线性结构，我们首先提出了一个计算效率低下的算法与最佳的$\widetilde{O}(\sqrt{T})$遗憾和另一个计算效率高的变体与$\widetilde{O}(T^{3/4})$遗憾，其中$T$是互动的数量。接下来，从对抗性线性强盗中获得灵感，我们在不同的假设下开发了另一种有效的$\widetilde{O}(\sqrt{T})$后悔算法，改进了Hao等人（2020）使用$\widetilde{O}(T^{2/3})$后悔的最佳现有结果。此外，我们将该算法与Kakade（2002）提出的自然策略梯度算法联系起来，并表明我们的分析改进了Agarwal等人（2020）最近给出的样本复杂度界。
2021-04-26 cs.LG stat.ML
Near-Optimal Dynamic Regret for Adversarial Linear Mixture MDPs
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对未知转移与对抗性奖励的线性混合MDP，提出结合占用度量全局优化与策略方差感知回归的新算法，实现近最优动态遗憾并匹配下界。
2024-11-05 cs.LG stat.ML
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
Minimax Regret for Bandit Convex Optimisation of Ridge Functions
我们分析了对抗性强盗凸优化，其中对手仅限于对凸$g_t : \mathbb R \to \mathbb R$和随时间齐次的未知$θ\in \mathbb R^d$使用形式为$f_t(x) = g_t(\langle x, θ\rangle)$的函数。我们提供了一个简短的信息理论证明，极小极大遗憾是最多$O(d \sqrt{n} \log(n \operatorname{diam}(\mathcal K)))$其中$n$是互动的数量，$d$的尺寸和$\operatorname{diam}(\mathcal K)$是直径的约束集。
2021-06-06 cs.LG math.OC
Online learning in MDPs with side information
研究了边信息向量存在时有限马尔可夫决策过程（MDP）问题的在线学习。这个问题是由诸如临床试验、推荐系统等应用程序激发的。这些应用程序具有情节结构，其中每个情节对应于患者/客户。我们的目标是竞争的最优动态政策，可以考虑边信息。我们提出了一种计算效率高的算法，并表明其遗憾最多为$O(\sqrt{T})$，其中$T$是轮数。据我们所知，这是第一个遗憾注定为这个设置。
2014-06-26 cs.LG stat.ML
Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了具有有限行动集的线性上下文Bandit问题。当问题维度为$d$，时间范围为$T$，并且每个时间段有$n \leq 2^{d/2}$候选动作时，我们（1）证明每个算法的极大极小期望遗憾是$Ω(\sqrt{dT (\log T) (\log n)})$，并且（2）引入可变置信度（VCL）SupLinUCB算法，其遗憾与迭代对数因子的下限相匹配。我们的算法结果节省了两个$\sqrt{\log T}$因素从以前的分析，我们的信息理论下限也提高了以前的结果的一个$\sqrt{\log T}$因素，揭示了一个遗憾的规模与经典的多臂土匪，其中没有对数$T$长期存在于极小极大遗憾。我们的证明技术包括变量置信水平和一个仔细的分析层大小的SupLinUCB的上限侧，和精心构造的对抗序列显示的紧密性的椭圆势引理的下限侧。
2020-08-18 cs.LG stat.ML
RL for Latent MDPs: Regret Guarantees and a Lower Bound
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Technion（以色列理工学院）
在这项工作中，我们考虑潜在马尔可夫决策过程（LMDP）的强化学习的遗憾最小化问题。在LMDP中，MDP在交互开始时从一组$M$可能的MDP中随机抽取，但所选MDP的身份不向代理透露。我们首先表明，LMDP的一般情况下，至少需要$Ω((SA)^M)$情节，甚至接近最优策略。然后，我们考虑充分的假设下，学习好的政策需要多项式的情节。我们表明，关键环节是一个概念之间的分离MDP系统动力学。通过充分的分离，我们提供了具有局部保证的高效算法，{ \it即，}当我们得到一个好的初始化时，提供了一个次线性的后悔保证。最后，如果我们给出预测状态表示（PSR）文献中常见的标准统计充分性假设（例如，Boots等人）和可达性假设，我们表明，初始化的需要可以删除。
2021-02-09 cs.LG
Model-Free Algorithm and Regret Analysis for MDPs with Long-Term Constraints
在动态系统的优化中，变量通常具有约束。这些问题可以建模为约束马尔可夫决策过程（CMDP）。本文考虑了一个无模型的方法来解决这个问题，其中的转移概率是未知的。在存在长期（或平均）约束的情况下，智能体必须选择一个策略，使长期平均奖励最大化，同时满足每个事件的平均约束。长期约束的关键挑战是最优策略通常不是确定性的，因此不能直接使用标准的Q学习方法。本文利用约束优化和Q-学习的概念，提出了一种算法CMDP与长期约束。对于任何$γ\in(0,\frac{1}{2})$，所提出的算法，以实现$O(T^{1/2+γ})$遗憾界所获得的奖励和$O(T^{1-γ/2})$遗憾界的约束违反，其中$T$的总步骤数。我们注意到，这些是第一个结果的遗憾分析MDP与长期的限制，其中的过渡概率是不知道的先验。
2021-01-30 cs.LG cs.NI cs.SY
Policy Optimization in Adversarial MDPs: Improved Exploration via Dilated Bonuses
University of Southern California（南加州大学）
策略优化是强化学习中广泛使用的一种方法。然而，由于其局部搜索性质，全局最优性的理论保证通常依赖于马尔可夫决策过程（MDP）的额外假设，这些假设绕过了全局探索的挑战。为了消除这种假设的需要，在这项工作中，我们开发了一个通用的解决方案，增加了扩张奖金的政策更新，以促进全球探索。为了展示这种技术的力量和通用性，我们将其应用于几个具有对抗性损失和强盗反馈的情景MDP设置，改进和推广了最先进的技术。具体来说，在表格中，我们获得了$\widetilde{\mathcal{O}}(\sqrt{T})$后悔，其中$T$是情节的数量，改进了Shani et al.（2020）约束的$\widetilde{\mathcal{O}}({T}^{2/3})$后悔。当状态数为无穷大时，假设状态-动作值在某些低维特征中是线性的，我们在模拟器的帮助下获得了$\widetilde{\mathcal{O}}({T}^{2/3})$遗憾，与Neu和Olkhovskaya（2020）的结果相匹配，同时重要的是消除了他们的算法所需的探索性策略的需要。当模拟器不可用时，我们进一步考虑线性MDP设置，并获得$\widetilde{\mathcal{O}}({T}^{14/15})$遗憾，这是第一个结果的线性MDP对抗损失和强盗反馈。
2021-07-18 cs.LG stat.ML
Efficient Minimax Optimal Global Optimization of Lipschitz Continuous Multivariate Functions
在这项工作中，我们提出了一个有效的极大极小最优全局优化算法的多元Lipschitz连续函数。为了评估我们的方法的性能，我们利用平均遗憾，而不是传统的简单的遗憾，这是不适合用于多变量非凸优化，因为问题本身固有的硬度。由于我们研究了算法的平均后悔，我们的结果直接意味着简单后悔的界限。而不是构建下界代理函数，我们的方法利用预定的查询创建规则，这使得它在计算上优于Piyavskiii-Shubert变体。我们表明，我们的算法实现了$O(L\sqrt{n}T^{-\frac{1}{n}})$的平均遗憾界的优化$n$维$L$ -Lipschitz连续目标的时间范围$T$，我们证明是最小最优的。
2022-06-06 cs.CC cs.LG math.OC
Bilinear Exponential Family of MDPs: Frequentist Regret Bound with Tractable Exploration and Planning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔信号与自动化信息研究中心）
研究了具有未知奖励和转移的连续状态-动作空间中的情景强化学习问题。具体来说，我们考虑的设置中的奖励和过渡建模使用参数双线性指数家庭。我们提出了一种算法，BEF-RLSVI，a）使用惩罚最大似然估计学习未知参数，b）在奖励参数中注入校准的高斯噪声以确保探索，以及c）利用指数族相对于底层RKHS的线性来执行易处理的规划。我们进一步提供了BEF-RLSVI的频率主义后悔分析，得出$\tilde{\mathcal{O}}(\sqrt{d^3H^3K})$的上限，其中$d$是参数的维度，$H$是发作长度，$K$是发作次数。我们的分析改进了现有的双线性指数族的MDP的$\sqrt{H}$的界限，并删除了手工裁剪部署在现有的\RLSVI型算法。我们的遗憾界是关于$H$和$K$的序最优的。
2022-10-05 cs.LG
The regret lower bound for communicating Markov Decision Processes
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔科学与技术信息与自动化研究中心）
本文为通信马尔可夫决策过程建立更复杂的遗憾下界，揭示最优区域需过度访问的共探索现象，并证明该下界计算上为Σ₂^P难，同时给出近似算法。
2025-01-22 cs.LG stat.ML
Regret Analysis of Unichain Average Reward Constrained MDPs with General Parameterization
University of Maryland College Park（马里兰大学学院市分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
本文提出了一种基于对偶的自然策略-批评算法，解决了单链假设下具有通用参数化的无限时间平均奖励约束MDP的遗憾问题，实现了有限时间遗憾和约束违反的最优界。
2026-02-08 cs.LG
Regret-Optimal Model-Free Reinforcement Learning for Discounted MDPs with Short Burn-In Time
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）
针对折扣马尔可夫决策过程中现有强化学习算法非遗憾最优、成本高、预热时间长的问题，提出结合方差缩减与慢自适应策略切换的无模型算法，为首个该场景下短预热的遗憾最优无模型算法。
2023-12-12 cs.LG math.ST stat.ML
Simultaneously Learning Stochastic and Adversarial Episodic MDPs with Known Transition
University of Southern California（南加州大学）
本文研究了具有已知转移和强盗反馈的偶发马尔可夫决策过程的学习问题。我们开发的第一个算法具有“两全其美”的保证：当损失是随机的时，它实现了$\mathcal{O}(log T)$后悔，同时即使损失是对抗性的，它也能在最坏情况下保持$\tilde{\mathcal{O}}(\sqrt{T})$后悔的鲁棒性，其中$T$是事件的数量。更一般地，它在损失被$C$的总量破坏的中间设置中实现$\tilde{\mathcal{O}}(\sqrt{C})$遗憾。我们的算法基于Zimin和Neu（2013）的Follow-the-Regularized-Leader方法，其中一种新的混合正则化器受到Zimmert等人最近的作品的启发。（2019 a，2019 b）用于多武装土匪的特殊情况。至关重要的是，我们的正则化承认一个非对角海森与一个非常复杂的逆。分析这样一个正则化子并导出一个特定的自约束后悔保证是我们的关键技术贡献，可能是独立的兴趣。
2020-11-02 cs.LG stat.ML
Minimax Optimal Quantile and Semi-Adversarial Regret via Root-Logarithmic Regularizers
University of Toronto（多伦多大学）；Spanflug Technologies GmbH（Spanflug技术有限公司）；Boston University（波士顿大学）
分位数（以及更一般的KL）遗憾界限，例如NormalHedge（Chaudhuri，Freund，and Hsu 2009）及其变体，将与最佳个体专家竞争的目标放宽到只与大多数专家竞争对抗性数据。最近，半对抗范式（Bilodeau，Negrea和Roy 2020）通过考虑可能既不完全对抗也不完全随机（i.i.d.）的数据，提供了对抗在线学习的另一种放松。我们实现了极大极小最优后悔在这两个范例中使用FTRL与单独的，新颖的，根对数正则化，这两者都可以被解释为产生的NormalHedge的变种。我们将已有的KL后悔上界推广到具有任意先验的可能不可数专家类，给出了有限专家类上分位数后悔的第一个完全信息下界（紧）;并为半对抗范式提供了一种自适应极大极小优化算法，该算法更快地适应真实的未知约束，从而导致相对于现有方法的一致改进的后悔界限。
2021-11-07 cs.LG stat.ML
On the Minimax Regret for Linear Bandits in a wide variety of Action Spaces
Indian Institute of Science（印度科学学院）
正如在\cite{lattimore2020bandit}的著作中所指出的，已经提到，在各种各样的行动空间中刻画线性强盗的极大极小后悔是一个开放的问题。在这篇文章中，我们提出了一个最佳遗憾下界一类凸行动空间。
2023-01-09 cs.LG
Optimal Strong Regret and Violation in Constrained MDPs via Policy Optimization
Politecnico di Milano（米兰理工大学）
本文针对约束马尔可夫决策过程的在线学习问题，提出一种高效的原始-对偶策略优化算法，首次在策略优化框架下实现了 $\widetilde{\mathcal{O}}(\sqrt{T})$ 的最优强遗憾与强约束违反界。
2024-10-03 cs.LG
Towards Optimal Differentially Private Regret Bounds in Linear MDPs
Department of Statistics and Data Science（统计与数据科学系）
本文研究线性MDP中隐私约束下的遗憾最小化问题，通过对LSVI-UCB++算法进行私有化并引入方差感知分析技术，设计出一种新的差分隐私算法，实现了优于以往私有方法的遗憾界且保持接近最优的效用。
2025-04-25 cs.DS cs.LG stat.ML
Minimax Policy for Heavy-tailed Bandits
Michigan State University（密歇根州立大学）
研究了最坏后悔和重尾报酬分布下的随机多臂强盗（MAB）问题。我们修改了minimax策略MOSS的亚高斯奖励分布，通过使用饱和的经验均值设计一个新的算法称为鲁棒MOSS。我们表明，如果存在的时刻的顺序$1+ε$的奖励分布，然后改进的策略有一个最坏情况下的遗憾匹配的下限，同时保持分布依赖的对数遗憾。
2020-11-18 cs.LG stat.ML
Best of Both Worlds: Regret Minimization versus Minimax Play
ETH Zürich（苏黎世联邦理工学院）；Google Research（谷歌研究）；Aarhus University（奥胡斯大学）；EPFL（苏黎世联邦理工学院）
本文首次证明存在带赌博机反馈的在线学习算法，能同时实现相对于给定比较策略的常数遗憾和相对于任意固定策略的次线性遗憾，并在零和博弈中兼顾极小极大安全性与利用对手获取线性收益。
2025-06-04 cs.LG stat.ML
Information-Theoretic Minimax Regret Bounds for Reinforcement Learning based on Duality
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文研究有限时间范围马尔可夫决策过程中的极小极大遗憾问题，利用对偶性、极小极大定理和贝叶斯遗憾界推导信息论界，并展示其在多种场景下的应用。
2024-10-21 cs.IT cs.LG math.IT
A Simple and Adaptive Learning Rate for FTRL in Online Learning with Minimax Regret of $Θ(T^{2/3})$ and its Application to Best-of-Both-Worlds
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文针对 $\Theta(T^{2/3})$ 极小极大遗憾的在线学习问题，提出通过匹配稳定性、惩罚与偏差项构造的简单自适应 FTRL 学习率，并改进部分监测、图赌博机和付费观测多臂赌博机的 BOBW 遗憾界。
2025-02-16 cs.LG stat.ML
Optimal Variance-Dependent Regret Bounds for Infinite-Horizon MDPs
本文提出一种适用于无限时间 horizon MDPs 的 UCB 类算法，解决了平均奖励 regret 和 γ-regret 的最优方差依赖 regret 界限问题，并揭示了有无先验知识时的性能差异。
2026-03-25 cs.IT cs.LG math.IT
Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
针对不确定马尔可夫决策过程的策略数量约束问题，提出k-自适应策略合成算法KAPS，可优化小策略集的极小极大遗憾，实验显示从1个策略增至2个时遗憾降幅最大。
2026-08-04 cs.AI cs.LG
Learning Adversarial MDPs with Bandit Feedback and Unknown Transition
Princeton University（普林斯顿大学）；University of Southern California（南加利福尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑的学习问题，情节有限时域马尔可夫决策过程的未知的过渡函数，强盗反馈，和对抗性损失。我们提出了一个有效的算法，实现$\mathcal{\tilde{O}}(L|X|\sqrt{|A|T})$遗憾的概率高，其中$L$是地平线，$|X|$是状态的数量，$|A|$是行动的数量，和$T$是情节的数量。据我们所知，我们的算法是第一个确保$\mathcal{\tilde{O}}(\sqrt{T})$在这种具有挑战性的设置中后悔的算法;事实上，它实现了与考虑更容易设置的完整信息反馈相同的后悔界限（Rosenberg & Mansour，2019 a）。我们的关键技术贡献是双重的：一个更严格的信心集的过渡功能，和乐观的损失估计，是由$\textit{upper occupancy bound}$逆加权。
2020-11-02 cs.LG stat.ML
Efficient Rate Optimal Regret for Adversarial Contextual MDPs Using Online Function Approximation
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
提出 OMG-CMDP! 算法，在在线回归预言机与可实现函数类假设下，实现对抗性上下文 MDP 的高效、鲁棒且速率最优遗憾保证。
2023-08-14 cs.LG
