RL for Latent MDPs: Regret Guarantees and a Lower Bound
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Research(微软研究院);Technion(以色列理工学院)
在这项工作中,我们考虑潜在马尔可夫决策过程(LMDP)的强化学习的遗憾最小化问题。在LMDP中,MDP在交互开始时从一组$M$可能的MDP中随机抽取,但所选MDP的身份不向代理透露。我们首先表明,LMDP的一般情况下,至少需要$Ω((SA)^M)$情节,甚至接近最优策略。然后,我们考虑充分的假设下,学习好的政策需要多项式的情节。我们表明,关键环节是一个概念之间的分离MDP系统动力学。通过充分的分离,我们提供了具有局部保证的高效算法,{ \it即,}当我们得到一个好的初始化时,提供了一个次线性的后悔保证。最后,如果我们给出预测状态表示(PSR)文献中常见的标准统计充分性假设(例如,Boots等人)和可达性假设,我们表明,初始化的需要可以删除。
2021-02-09 cs.LG
Bilinear Exponential Family of MDPs: Frequentist Regret Bound with Tractable Exploration and Planning
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CRIStAL(里尔信号与自动化信息研究中心)
研究了具有未知奖励和转移的连续状态-动作空间中的情景强化学习问题。具体来说,我们考虑的设置中的奖励和过渡建模使用参数双线性指数家庭。我们提出了一种算法,BEF-RLSVI,a)使用惩罚最大似然估计学习未知参数,b)在奖励参数中注入校准的高斯噪声以确保探索,以及c)利用指数族相对于底层RKHS的线性来执行易处理的规划。我们进一步提供了BEF-RLSVI的频率主义后悔分析,得出$\tilde{\mathcal{O}}(\sqrt{d^3H^3K})$的上限,其中$d$是参数的维度,$H$是发作长度,$K$是发作次数。我们的分析改进了现有的双线性指数族的MDP的$\sqrt{H}$的界限,并删除了手工裁剪部署在现有的\RLSVI型算法。我们的遗憾界是关于$H$和$K$的序最优的。
2022-10-05 cs.LG
Order-Optimal Regret with Novel Policy Gradient Approaches in Infinite-Horizon Average Reward MDPs
Indian Institute of Science(印度科学研究所);Purdue University(普渡大学)
针对无限时域平均奖励 MDP,本文提出两种通用参数化策略梯度算法,分别借助隐式梯度传输和 Hessian 技术,将遗憾改进至 $\tilde{\mathcal{O}}(T^{2/3})$ 与最优的 $\tilde{\mathcal{O}}(\sqrt{T})$。
2025-05-11 cs.LG
Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);Google Research(谷歌研究院)
本文针对具有聚合bandit反馈的在线有限时域MDP,提出首个策略优化算法,在已知动态下取得最优遗憾界,在未知动态下显著改进现有结果。
2025-02-06 cs.LG
Near-Optimal Regret in Linear MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);University of Southern California(南加州大学);Amazon Science(亚马逊科学);Google Research(谷歌研究院)
该研究将聚合赌博机反馈的强化学习模型拓展至线性函数近似场景,提出两种带近最优悔值保证的高效算法,填补了此前仅在表格型场景研究的空白。
2024-05-14 cs.LG
No-Regret Reinforcement Learning in Smooth MDPs
Politecnico di Milano(米兰理工大学)
本文提出ν-平滑MDP假设,并基于勒让德多项式特征映射设计两种无遗憾强化学习算法,分别权衡计算效率与适用性,取得最优遗憾保证。
2024-02-06 cs.AI cs.LG
REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs
University of California at Berkeley(加州大学伯克利分校);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们提供了一个算法,实现了最佳的遗憾率在未知的弱通信马尔可夫决策过程(MDP)。该算法在情节中进行,在每个情节中,它基于最优偏置向量的跨度使用正则化来选择策略。对于具有S个状态和A个作用的MDP,其最优偏置向量的跨度以H为界,我们给出了~O(HSpAT)的遗憾界。我们还将跨度与MDP相关的各种直径样量,展示了我们的结果如何改善以前的遗憾界限。
2012-05-09 cs.LG
Generalised Entropy MDPs and Minimax Regret
Göteborgs Universitet(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
贝叶斯方法遇到了如何指定先验信念的问题。一个有趣的想法是考虑最坏情况的先验。这需要解决一个随机零和博弈。在本文中,我们扩展了著名的结果,从强盗理论,以发现最小最大贝叶斯政策,并讨论当他们是实用的。
2014-12-10 cs.LG stat.ML
Toward Optimal Regret in Adversarial MDPs with Stochastic Hard Constraints
University of Edinburgh(爱丁堡大学);Politecnico di Milano(米兰理工大学)
针对带随机硬约束的对抗马尔可夫决策过程,提出MA-OPS算法,结合Slater裕度的乐观搜索与策略悲观评估,获得最优悔值界并证明其最优性。
2026-10-09 cs.LG
Near-Optimal Regret for Policy Optimization in Contextual MDPs with General Offline Function Approximation
Department of XXX, University of YYY, Location, Country;School of ZZZ, Institute of WWW, Location, Country;Blavatnik School of Computer Science, Tel Aviv University;Google Research;School of Electrical Engineering, Tel Aviv University
OPO-CMDP在一般离线函数近似下,首次实现了Contextual MDPs中策略优化的近最优后悔界,提升了计算效率和理论性能。
2026-02-14 cs.LG
Value-Biased Maximum Likelihood Estimation for Model-based Reinforcement Learning in Discounted Linear MDPs
National Yang Ming Chiao Tung University(国立阳明交通大学);Texas A&M University(德州农工大学)
针对线性MDPs中基于回归的方法计算效率低的问题,提出使用VBMLE方法,证明其具有$\widetilde{O}(d\sqrt{T})$遗憾且每步仅需一次优化,显著提升了计算效率并优于基准方法。
2023-10-17 cs.LG
Online Learning for Unknown Partially Observable MDPs
University of Southern California(南加州大学)
求解部分可观测马尔可夫决策过程(POMDP)是一个困难的问题。当模型未知时,学习POMDPs的最优控制器是困难的。未知POMDP的最优控制器的在线学习,这需要使用有效权衡探索和利用的遗憾最小化算法的有效学习,甚至更难,并且目前不存在解决方案。本文研究了转移模型未知但观测模型已知的无限时间平均费用POMDP问题。我们提出了一种基于自然后验采样的强化学习算法(PSRL-POMDP),并证明了当参数集有限时,它达到了$O(\log T)$的遗憾界,其中$T$是时间范围。在一般情况下(连续参数集),我们表明,该算法实现了$O (T^{2/3})$遗憾的两个技术假设。据我们所知,这是POMDPs的第一个在线RL算法,具有次线性遗憾。
2021-06-14 cs.LG
Eluder-based Regret for Stochastic Contextual MDPs
Balavatnick school of Computer Science, Tel Aviv University(特拉维夫大学巴拉瓦尼克计算机科学学院);Google Research(谷歌研究院)
提出E-UC$^3$RL算法,在最小假设下实现随机上下文MDP的速率最优遗憾界,并扩展Eluder维度至一般有界度量。
2024-05-29 cs.LG
A Model-free Learning Algorithm for Infinite-horizon Average-reward MDPs with Near-optimal Regret
近年来,无模型强化学习由于其简单、存储和计算效率高,以及与函数逼近相结合的灵活性而引起了研究的关注。在本文中,我们提出了探索增强Q学习(EE-QL),一个无模型算法的无限地平线平均回报马尔可夫决策过程(MDP),实现遗憾界的$O(\sqrt{T})$的一般类弱通信MDP,其中$T$是相互作用的数量。EE-QL假设最优平均奖励的在线集中近似是可用的。这是第一个无模型的学习算法,实现了$O(\sqrt T)$遗憾没有遍历假设,并匹配的下限$T$除了对数因子。实验表明,该算法的性能以及最知名的基于模型的算法。
2020-12-09 cs.LG stat.ML
Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms and Tighter Regret Bounds for the Non-Episodic Setting
University of Michigan(密歇根大学)
我们研究了非情景因子马尔可夫决策过程(FMDPs)中的强化学习。我们提出了两个接近最佳和甲骨文效率的算法FMDPs。假设甲骨文访问FMDP计划,他们享受贝叶斯和频率论的遗憾界分别,这两个减少到接近最优的界$\widetilde{O}(DS\sqrt{AT})$标准的非因子MDP。我们提出了一个更严格的连接措施,因子跨度,FMDPs和证明了一个下界,取决于因子跨度,而不是直径$D$。为了减少上下界之间的差距,我们提出了一个自适应的REGAL. C算法,其遗憾界取决于因子跨度。我们的甲骨文高效的算法优于以前提出的计算机网络管理模拟接近最佳的算法。
2020-06-06 cs.LG stat.ML
Solving Robust MDPs through No-Regret Dynamics
SambaNova Systems(桑巴诺瓦系统公司);University of Washington(华盛顿大学)
针对鲁棒马尔可夫决策过程求解难的问题,研究提出基于策略与环境动态对抗的最小最大迭代优化框架,结合在线非凸学习与改进策略梯度技术,实现价值函数鲁棒性的$\frac{1}{T^{\frac{1}{2}}}$阶提升。
2024-06-19 cs.LG
Towards instance-dependent regret optimality in Episodic MDPs with Posterior Sampling
IRIT, Université de Toulouse, CNRS, Toulouse INP(图卢兹大学 IRIT);LAAS-CNRS, Université de Toulouse, CNRS(图卢兹大学 LAAS-CNRS);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL(里尔大学 CRIStAL);Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学 LIG)
针对有限回合MDP中依赖实例最优性方法缺失的问题,提出π₀-PSRL算法,证明其依赖实例后悔界,为匹配回合式RL渐近下界迈出一步。
2026-10-20 cs.LG stat.ML
Learning Infinite-Horizon Average-Reward Markov Decision Processes with Constraints
University of Southern California(南加州大学)
研究了在费用约束下的无限时域平均报酬马尔可夫决策过程的后悔最小化问题。我们首先设计了一个策略优化算法,精心设计的行动价值估计和奖金项,并表明,遍历MDP,我们的算法确保$\widetilde{O}(\sqrt{T})$遗憾和不断的约束违反,其中$T$是时间步的总数。这严格改进了(Singh等人,2020),其遗憾和约束违反均为$\widetilde{O}(T^{2/3})$。接下来,我们考虑最一般的弱通信MDPs类。通过有限时域近似,我们开发了另一种算法与$\widetilde{O}(T^{2/3})$遗憾和约束违反,它可以进一步改进为$\widetilde{O}(\sqrt{T})$通过一个简单的修改,虽然使算法计算效率低下。据我们所知,这些是第一套可证明算法的弱通信MDPs的成本约束。
2022-01-31 cs.LG
Learning in Online MDPs: Is there a Price for Handling the Communicating Case?
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Michigan(密歇根大学)
值得注意的是,在专家问题和对抗性多臂强盗问题中可以实现相同的$O(\sqrt{T})$后悔率,尽管在后一种情况下对动作数量的依赖性更差。与此相反,它已被证明,即使在确定性转换的情况下,处理在线MDP与通信结构和强盗信息招致$Ω(T^{2/3})$遗憾。这是我们为处理通信结构所付出的代价,还是因为我们也有强盗反馈?在本文中,我们表明,充分的信息,在线MDPs仍然可以学习在一个$O(\sqrt{T})$率,即使在存在的通信结构。我们首先表明这一点,提出了一个有效的跟随扰动的领导者(FPL)算法的确定性过渡的情况下。然后,我们扩大我们的范围,考虑随机过渡,我们首先给一个低效的$O(\sqrt{T})$ -后悔算法(与一个温和的附加条件的动态)。然后,我们展示了如何实现$O\left(\sqrt{\frac{T}α}\right)$后悔率使用一个甲骨文有效的算法,但有额外的限制,即起始状态分布的质量至少$α$的每个状态。
2022-10-03 cs.LG
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam(阿姆斯特丹大学);Tel Aviv University(特拉维夫大学);Amazon Science(亚马逊科学部门);Politecnico di Milano(米兰理工大学)
本文提出一种新的FTRL分析方法,分离延迟与赌博机反馈成本,为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界,并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Beyond Value-Function Gaps: Improved Instance-Dependent Regret Bounds for Episodic Reinforcement Learning
Google Research(谷歌研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Courant Institute(库朗研究所)
我们提供了改进的间隙依赖遗憾界的强化学习有限情节马尔可夫决策过程。与以前的工作相比,我们的界限取决于间隙的替代定义。这些定义是基于这样的认识,即为了实现有利的遗憾,算法不需要学习如何在最优策略未达到的状态下表现最优。我们证明了更严格的乐观算法的遗憾上限,并伴随着他们与新的信息理论的下界为一大类的MDP。我们的研究结果表明,乐观算法不能达到信息论的下限,即使在确定性的MDP,除非有一个唯一的最优策略。
2021-10-26 cs.LG
Beating Adversarial Low-Rank MDPs with Unknown Transition and Bandit Feedback
University of Virginia(弗吉尼亚大学);Google Research(谷歌研究院)
研究未知转移和对抗性损失下的低秩MDP遗憾最小化问题,改进了全信息反馈下的遗憾界,并首次在Bandit反馈与未知转移设置下提出基于线性结构假设的算法及oracle高效算法。
2024-11-11 cs.LG
Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
针对不确定马尔可夫决策过程的策略数量约束问题,提出k-自适应策略合成算法KAPS,可优化小策略集的极小极大遗憾,实验显示从1个策略增至2个时遗憾降幅最大。
2026-08-04 cs.AI cs.LG
Differentially Private Reinforcement Learning with Linear Function Approximation
Wayne State University(韦恩州立大学)
基于强化学习(RL)在个性化服务中的广泛应用,研究了差分隐私(DP)约束下有限时域马尔可夫决策过程(MDP)的后悔最小化问题.与现有的仅在表格有限状态,有限动作MDP上工作的私有RL算法相比,我们在具有大状态和动作空间的MDP中迈出了隐私保护学习的第一步。具体而言,我们认为MDP与线性函数近似(特别是线性混合MDP)的概念下的联合差分隐私(JDP),其中RL代理负责保护用户的敏感数据。我们设计了两种分别基于值迭代和策略优化的私有强化学习算法,并证明了它们在保证隐私保护的同时具有次线性后悔性能.此外,遗憾界与状态数无关,且最大程度上与行为数成比例,适用于大规模个性化服务中的隐私保护.我们的研究结果是通过一个一般的过程中学习线性混合MDP下不断变化的正则化,这不仅推广了以前的结果,非私人学习,但也作为一般的私人强化学习的积木。
2022-03-21 cs.LG
Dynamic Regret of Online Markov Decision Processes
Nanjing University(南京大学)
我们研究在线马尔可夫决策过程(MDP)的不利变化的损失函数和已知的过渡。我们选择动态后悔作为绩效指标,定义为学习者与任何可行的改变策略序列之间的绩效差异。该措施是严格强于标准的静态后悔基准学习者的表现与一个固定的比较政策。我们认为在线MDP的三个基本模型,包括情节无环随机最短路径(SSP),情节SSP,和无限地平线MDP。对于这三个模型,我们提出了新的在线集成算法,并建立他们的动态后悔保证,其中的结果情节(无环)SSP是可证明的minimax最优的时间范围和一定的非平稳性措施。此外,当学习者遇到的在线环境是可预测的,我们设计了改进的算法,并实现了更好的动态遗憾界的情节(无循环)SSP,而且,我们证明了不可能的结果为无限地平线MDPs。
2022-08-26 cs.LG stat.ML
Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure
Tel-Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们研究遗憾最小化在非情节因子马尔可夫决策过程(FMDPs),其中所有现有的算法作出强烈的假设,因子结构的FMDPs是已知的学习者提前。在本文中,我们提供了第一个学习FMDP的结构,同时最大限度地减少遗憾的算法。我们的算法是基于乐观面对不确定性的原则,结合一个简单的统计方法的结构学习,并可以有效地实现了一个FMDP规划器的Oracle访问。此外,我们给我们的算法的一个变体,仍然是有效的,即使当预言是有限的非因子的行动,这是几乎所有现有的近似规划的情况。最后,我们利用我们的技术来证明已知结构情况下的一个新下界,缩小了与Chen et al. [2021]的遗憾界的差距。
2021-10-11 cs.LG stat.ML
Regret Analysis of Average-Reward Unichain MDPs via an Actor-Critic Approach
Purdue University, USA(普渡大学)
本文提出带批处理的自然演员-评论家算法NAC-B,在单链假设下实现无限时域平均奖励MDP的阶最优遗憾,通过批处理缓解周期性与随机性,支持大规模状态动作空间。
2025-10-25 cs.LG stat.ML
Is Pure Exploitation Sufficient in Exogenous MDPs with Linear Function Approximation?
Department of Informatics, King’s College London(伦敦国王学院信息学院);Independent Researcher(独立研究者);Department of Industrial Engineering and Management Sciences, Northwestern University(西北大学工业工程与管理科学系);The Alan Turing Institute(艾伦·图灵研究所)
在具有线性函数逼近的外生MDP中,作者提出纯利用学习算法,证明无需探索即可获得有效的 regret 界,且在不同场景下均优于基准方法。
2026-01-28 cs.LG
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约,证明满足遍历和快速混合条件时,慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值,并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
Efficient, Low-Regret, Online Reinforcement Learning for Linear MDPs
National University of Singapore(新加坡国立大学);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Huawei Shanghai Research Center(华为上海研究中心)
针对线性 MDP 中 LSVI-UCB 算法空间占用过高的问题,提出两种交替学习与不学习阶段的改进版本,在保持次线性遗憾的同时显著降低空间与时间开销。
2024-11-16 cs.DS cs.LG
A Computationally Efficient and Rate-Optimal Algorithm for Adversarial Linear MDPs with (Aggregate) Bandit Feedback
University of Virginia(弗吉尼亚大学)
本研究针对带聚合臂式反馈的对抗线性MDP,提出首个多项式时间算法,实现√K悔值,解决了现有算法计算低效或悔值次优的问题。
2026-10-23 cs.LG
Exploration--Exploitation in MDPs with Options
Inria Lille(法国国家信息与自动化研究所里尔中心)
虽然大量的实证结果表明,时间扩展的动作和选项可能会显着影响智能体的学习性能,如何以及何时选项可以在在线强化学习是有益的理论理解是相对有限的。在本文中,我们推导出一个上下限的后悔的一个变种的UCRL使用选项。虽然我们首先分析了算法在一般情况下的半马尔可夫决策过程(SMDP),我们展示了如何将这些结果可以转化为具体情况下的MDP与选项,我们说明了简单的情况下,学习选项的遗憾可以是\textit{provably}远小于遗憾时所遭受的原始行动学习。
2017-04-17 cs.LG stat.ML
An Improved Model-Free Decision-Estimation Coefficient with Applications in Adversarial MDPs
University of Virginia(弗吉尼亚大学);Google Research(谷歌研究)
本文提出Dig-DEC,一种无模型的决策-估计系数,通过信息增益驱动探索,解决了对抗性MDP中的再生问题,并改进了函数估计过程的性能。
2026-03-18 cs.LG
Intervention Efficient Algorithm for Two-Stage Causal MDPs
Indian Institute of Science(印度科学院);Adobe Research(Adobe研究院)
我们研究马尔可夫决策过程(MDP),其中状态对应于随机产生奖励的因果图。在这种设置中,学习者的目标是通过干预每个状态的变量来识别导致高回报的原子干预。推广最近的cabet-bandit框架,目前的工作发展(简单)的遗憾最小化保证两阶段的因果MDP,并行因果图在每个状态。我们提出了一个算法,实现了一个依赖于实例的遗憾界。我们的算法的一个关键特征是,它利用凸优化来解决勘探问题。我们确定类的情况下,我们的遗憾的保证基本上是紧的,并通过实验验证我们的理论结果。
2021-11-01 cs.AI cs.LG
Truly No-Regret Learning in Constrained MDPs
EPFL(洛桑联邦理工学院);ETH Zürich(苏黎世联邦理工学院);University of Zürich(苏黎世大学)
本文针对受限马尔可夫决策过程,提出首个无误差抵消的原始-对偶算法,实现亚线性遗憾,确保学习过程安全。
2024-07-19 cs.LG stat.ML
Improved Exploration in Factored Average-Reward MDPs
University of Copenhagen(哥本哈根大学);Universitat Pompeu Fabra(庞培法布拉大学);Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);UMR 9189 – CRIStAL
在未知因子马尔可夫决策过程中,考虑了平均报酬准则下的后悔最小化问题。更具体地说,我们考虑一个FMDP,其中状态-动作空间$\mathcal X$和状态空间$\mathcal S$允许$\mathcal X = \otimes_{i=1}^n \mathcal X_i$和$\mathcal S=\otimes_{i=1}^m \mathcal S_i$各自的分解形式,并且转换和奖励函数在$\mathcal X$和$\mathcal S$上分解。假设已知的分解结构,我们引入了一种新的后悔最小化策略的灵感来自流行的UCRL 2策略,称为DBN-UCRL,它依赖于伯恩斯坦型的置信度集定义的过渡函数的各个元素。我们发现,对于一个通用的因式分解结构,DBN-UCRL实现了遗憾界,其领先的长期严格改善现有的遗憾界的依赖关系的大小$\mathcal S_i$的和涉及直径相关的条款。我们进一步证明了当分解结构对应于一些基MDP的笛卡尔积时,DBN-UCRL的后悔上界是由基MDP的后悔之和决定的。我们证明,通过标准环境下的数值实验,DBN-UCRL享有大幅改善遗憾经验超过现有的算法,有frequentist后悔保证。
2021-03-11 cs.LG stat.ML
The best of both worlds: stochastic and adversarial episodic MDPs with unknown transition
University of Southern California(南加利福尼亚大学);Tsinghua University(清华大学)
我们认为最好的两个世界的问题,通过$T$情节学习一个情节马尔可夫决策过程,实现$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾时的损失是敌对的,同时$\mathcal{O}(\text{polylog}(T))$遗憾时的损失(几乎)随机的目标。[Jin and Luo,2020]最近的工作在已知固定跃迁的情况下实现了这一目标,并将未知跃迁的情况作为一个主要的开放问题。在这项工作中,我们解决了这个开放的问题,使用相同的跟随正规化的领导者($\text{FTRL}$)的框架,以及一组新的技术。具体来说,我们首先在$\text{FTRL}$分析中提出了一个损失转移技巧,这大大简化了[Jin和Luo,2020]的方法,并且已经改进了他们对已知过渡情况的结果。然后,我们将这一想法扩展到未知的过渡情况下,并开发了一种新的分析,上界的过渡估计误差(一小部分)的遗憾本身在随机设置,一个关键属性,以确保$\mathcal{O}(\text{polylog}(T))$遗憾。
2021-10-17 cs.LG
Delay-Adapted Policy Optimization and Improved Regret for Adversarial MDP with Delayed Bandit Feedback
Tel Aviv University(特拉维夫大学);Amazon Science(亚马逊科学)
本文提出延迟自适应策略优化(DAPO)算法,在对抗性MDP中处理延迟强盗反馈,首次实现表格MDP的近乎最优遗憾界,并扩展到线性函数逼近和深度强化学习场景。
2023-05-13 cs.LG
Online Learning in MDPs with Partially Adversarial Transitions and Losses
Tel Aviv University(特拉维夫大学);Meta AI;Google Research(谷歌研究院)
研究转移函数在大多数步骤随机但在每回合固定Λ个步骤可对抗的MDP中的强化学习,提出条件占用度量并设计两种算法,分别处理任意对抗步骤和连续对抗步骤,并给出全对抗设置下的遗憾界。
2026-06-01 cs.LG
Predictive Control and Regret Analysis of Non-Stationary MDP with Look-ahead Information
Department of Electrical and Computer Engineering(电气与计算机工程系);Carnegie Mellon University(卡内基梅隆大学)
针对非平稳MDP策略设计难的问题,本文利用前瞻预测信息提出低遗憾算法,理论证明其遗憾随前瞻窗口扩大指数下降,且预测误差次指数增长时遗憾不激增,仿真验证了算法有效性。
2025-11-14 cs.LG
Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs
University of Southern California(南加利福尼亚大学)
我们开发了一种新的方法来获得高概率后悔界的在线学习与强盗反馈对自适应对手。虽然现有的方法都需要仔细构建乐观和有偏的损失估计,我们的方法使用标准的无偏估计,并依赖于一个简单的增加学习率调度的时间表,连同帮助下,数学上同质的自我和谐的障碍和加强弗里德曼的不等式。除了它的简单性,我们的方法享有几个优点。首先,获得的高概率后悔界限是数据依赖的,可能比最坏情况下的界限小得多,这解决了Neu(2015)提出的一个开放问题。其次,解决Bartlett et al.(2008)和Abernethy and Rakhlin(2009)的另一个开放问题,我们的方法导致了第一个通用且有效的算法,具有对抗性线性强盗的高概率后悔界,而以前的方法要么效率低下,要么只适用于特定的动作集。最后,我们的方法也可以应用于学习对抗马尔可夫决策过程,并为这个问题提供了第一个具有高概率小损失界的算法。
2020-10-29 cs.LG stat.ML
Achieving Tractable Minimax Optimal Regret in Average Reward MDPs
Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Princeton University(普林斯顿大学)
针对平均奖励MDPs中现有算法遗憾次优或计算低效的问题,提出首个无需先验信息且具有最小极大最优遗憾的可处理算法,并利用PMEVI子程序计算偏置约束策略以改进多种算法的遗憾界。
2024-06-03 cs.LG cs.SY eess.SY
Regret Analysis in Deterministic Reinforcement Learning
Royal Institute of Technology (KTH)(皇家理工学院(KTH))
我们考虑马尔可夫决策过程(MDP)的确定性转移和研究的遗憾最小化,这是中央的最佳学习算法的分析和设计的问题。我们提出了对数问题的具体遗憾的下限,明确地依赖于系统参数(与以前的极大极小方法相比),从而真正量化的基本限制的性能可实现的任何学习算法。确定性MDP可以被解释为图形和分析的周期,我们利用这一事实,以确定一类确定性MDP的遗憾下限可以确定数字。我们进一步证明了这一结果的确定性线搜索问题,和一个确定性的MDP与状态相关的奖励,其遗憾的下限,我们可以明确地状态。这些边界共享的相似性与已知的问题特定的约束的多臂强盗问题,并建议在一个确定性的MDP导航不需要有一个学习算法的性能上的影响。
2021-06-27 cs.LG stat.ML
Near-Optimal Dynamic Regret for Adversarial Linear Mixture MDPs
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
针对未知转移与对抗性奖励的线性混合MDP,提出结合占用度量全局优化与策略方差感知回归的新算法,实现近最优动态遗憾并匹配下界。
2024-11-05 cs.LG stat.ML
Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap
Tsinghua University(清华大学);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
本文提出了一种新的无模型算法--自适应多步Bootstrap(AMB),它具有更强的间隙相关后悔界。第一个创新是通过将乐观引导与自适应多步Monte Carlo推出相结合来估计最佳$Q$函数。第二个创新点是在不受任何其他行为支配的可容许行为中选择具有最大置信区间长度的行为。我们表明,当每个状态有一个独特的最佳行动,AMB实现了一个缺口依赖的遗憾界,只有规模与次优差距的倒数的总和。相比之下,Simchowitz和Jamieson(2019)表明,由于过度探索,所有置信上限(UCB)算法都会遭受额外的$Ω\left(\frac{S}{Δ_{min}}\right)$遗憾,其中$Δ_{min}$是最小次优间隙,$S$是状态数。我们进一步表明,对于一般的MDP,AMB遭受额外的$\frac{|Z_{mul}|}{Δ_{min}}$遗憾,其中$Z_{mul}$是一组状态-动作对$(s,a)$的满足$a$是一个非唯一的最佳行动$s$。我们补充我们的上限与下限显示依赖于$\frac{|Z_{mul}|}{Δ_{min}}$是不可避免的任何一致的算法。这个下限也意味着强化学习和上下文强盗之间的分离。
2021-07-02 cs.LG
Learning Adversarial MDPs with Stochastic Hard Constraints
Politecnico di Milano(米兰理工大学)
本文首次研究具有对抗性损失和随机硬约束的CMDPs在线学习问题,在三种不同假设场景下分别提出算法,实现次线性遗憾并控制约束违反,证明了Slater参数依赖的不可避免性,扩展了CMDPs的应用范围。
2025-02-07 cs.LG
Learning in structured MDPs with convex cost functions: Improved regret bounds for inventory management
考虑了需求截尾、销售损失和正提前期下的随机库存控制问题。这是库存管理中的一个基本问题,有大量文献建立了一个简单的称为“基本库存政策”的基本马尔可夫决策过程(MDP)的政策类的近最优性,以及这些政策下的长期平均成本的凸性。我们认为,相对较少研究的问题,设计一个学习算法,这个问题时,潜在的需求分布是未知的。我们的目标是约束遗憾的算法相比,最佳的基本库存政策。我们利用凸性属性和新推导出的基础股票政策的偏见的限制,建立一个连接到随机凸土匪优化。我们的主要贡献是一个学习算法的遗憾界$\tilde{O}(L\sqrt{T}+D)$的库存控制问题。这里,$L$是固定且已知的提前期,而$D$是需求分布的未知参数,其被粗略地描述为产生用于耗尽一个库存单位的足够需求所需的时间步长的数量。值得注意的是,即使底层MDP的状态空间是连续的和$L$维的,我们的遗憾边界线性依赖于$L$。我们的研究结果显着提高了以前最有名的遗憾界为这个问题的依赖$L$是指数和需求分布的许多进一步的假设。这里提出的技术可能是独立的利益,涉及大型结构化的MDP,但与凸成本函数的其他设置。
2019-05-10 cs.LG stat.ML
Cooperative Online Learning in Stochastic and Adversarial MDPs
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
研究了随机和对抗马尔可夫决策过程(MDP)中的合作在线学习.也就是说,在每个事件中,$m$代理同时与MDP交互并共享信息,以最小化他们各自的遗憾。我们考虑具有两种类型的随机性的环境:\emph{fresh} -每个代理的轨迹被i.i.d采样,以及\emph{non-fresh} -实现由所有代理共享(但每个代理的轨迹也受其自身行为的影响)。更准确地说,在非新鲜随机性中,每个成本和转换的实现在每个事件开始时都是固定的,并且在同一时间在同一状态下采取相同行动的代理会观察到相同的成本和下一个状态。我们彻底分析了所有相关的设置,突出的挑战和模型之间的差异,并证明几乎匹配的遗憾下限和上限。据我们所知,我们是第一个考虑合作强化学习(RL)与非新鲜的随机性或在对抗的MDP。
2022-09-01 cs.LG
The regret lower bound for communicating Markov Decision Processes
Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室);Univ. Lille(里尔大学);Centrale Lille(里尔中央理工学院);CRIStAL(里尔科学与技术信息与自动化研究中心)
本文为通信马尔可夫决策过程建立更复杂的遗憾下界,揭示最优区域需过度访问的共探索现象,并证明该下界计算上为Σ₂^P难,同时给出近似算法。
2025-01-22 cs.LG stat.ML
Regret-Optimal Model-Free Reinforcement Learning for Discounted MDPs with Short Burn-In Time
Princeton University(普林斯顿大学);The Chinese University of Hong Kong(香港中文大学)
针对折扣马尔可夫决策过程中现有强化学习算法非遗憾最优、成本高、预热时间长的问题,提出结合方差缩减与慢自适应策略切换的无模型算法,为首个该场景下短预热的遗憾最优无模型算法。
2023-12-12 cs.LG math.ST stat.ML
Improved Regret Bounds for Linear Adversarial MDPs via Linear Optimization
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
在对抗环境中学习马尔可夫决策过程(MDP)一直是一个具有挑战性的问题。这个问题在函数近似中变得更具挑战性,因为损失函数和过渡核的底层结构在变化的环境中特别难以估计。事实上,线性对抗MDP的最新结果实现了$\tilde{O}(K^{6/7})$的遗憾($K$表示发作次数),这允许有很大的改进空间。在本文中,我们研究了一个新的观点,这减少了线性MDP线性优化通过巧妙地设置的强盗武器的特征映射。这种新的技术,探索性的假设下,产生一个改进的界限的$\tilde{O}(K^{4/5})$的线性对抗MDP没有访问一个过渡模拟器。新的观点可能是独立的利益解决其他MDP问题,具有线性结构。
2023-02-14 cs.AI cs.LG
Local Differential Privacy for Regret Minimization in Reinforcement Learning
Facebook AI Research(Facebook人工智能研究院);CREST, ENSAE(法国国家统计与经济管理局统计研究中心, 法国国立统计与经济管理学院);Criteo AI Lab(Criteo人工智能实验室);Imperial College London(帝国理工学院)
强化学习算法被广泛用于期望提供个性化服务的领域。在这些领域中,用户数据通常包含需要防止第三方访问的敏感信息。出于这一动机,我们研究隐私的背景下,有限时域马尔可夫决策过程(MDP),要求信息被混淆的用户端。我们制定这个概念的隐私RL利用本地差分隐私(LDP)框架。我们建立了一个有限时域的LDP保证的MDP的遗憾最小化的下界,这表明,保证隐私的遗憾有一个倍增的效果。这个结果表明,虽然LDP是一个有吸引力的隐私概念,但它使学习问题变得更加复杂。最后,我们提出了一个乐观的算法,同时满足$\varepsilon$的要求,并实现$\sqrt{K}/\varepsilon$遗憾在任何有限的地平线MDP后,$K$事件,匹配的下界依赖于事件的数量$K$。
2021-10-27 cs.LG
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University(普渡大学);Indian Institute of Technology Kanpur(坎普尔印度理工学院)
针对无限时域平均回报约束马尔可夫决策过程,首次开展通用参数化策略下的遗憾与约束违反分析,提出原对偶策略梯度算法,实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Regret Bounds for Discounted MDPs
University of California, San Diego(加州大学圣迭戈分校)
强化学习(RL)传统上是从情景的角度来理解的;非情景RL的概念,即没有重新启动,因此没有可靠的恢复,仍然是难以捉摸的。非情景强化学习的一个基本问题是如何衡量学习者的表现,并推导出最大化这种表现的算法。传统的观点是最大化学习者获得的平均奖励和最大长期平均奖励之间的差异。在本文中,我们认为,如果总的时间预算是相对有限的相比,环境的复杂性,这种比较可能无法反映有限的时间最优的学习。我们提出了一个家庭的措施,称为$γ$ -遗憾,我们相信,以更好地捕捉有限时间最优。我们给出了动机,并得出这些措施的下限和上限。注:后续工作(arXiv:2010.00587)改进了我们的下限和上限,差距现在关闭在$\tildeΘ\left(\frac{\sqrt{SAT}}{(1 - γ)^{\frac{1}{2}}}\right)$。
2021-05-27 cs.LG stat.ML