Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University(斯坦福大学)
为了在不确定性下做出好的决策,智能体必须从观察中学习。要做到这一点,两个最常见的框架是上下文强盗和马尔可夫决策过程(MDP)。在本文中,我们研究是否存在算法的更一般的框架(MDP),自动提供最佳的性能界限的具体问题在手,无需用户干预,无需修改算法。特别是,它被发现,最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语,如果部署在一个表格上下文强盗问题,尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Beating Adversarial Low-Rank MDPs with Unknown Transition and Bandit Feedback
University of Virginia(弗吉尼亚大学);Google Research(谷歌研究院)
研究未知转移和对抗性损失下的低秩MDP遗憾最小化问题,改进了全信息反馈下的遗憾界,并首次在Bandit反馈与未知转移设置下提出基于线性结构假设的算法及oracle高效算法。
2024-11-11 cs.LG
Deterministic MDPs with Adversarial Rewards and Bandit Feedback
TTIC(丰田技术研究所);Microsoft Research(微软研究院);University of Michigan(密歇根大学)
我们考虑一个马尔可夫决策过程与确定性的状态转移动态,adversarially产生的奖励,任意改变从一轮到另一轮,和一个强盗反馈模型,决策者只观察它收到的奖励。在这种情况下,我们提出了一种新的和有效的在线决策算法名为马可波罗。在过渡动力学结构的温和假设下,我们证明了马可波罗事后对最佳确定性策略的后悔度为O(T^(3/4)sqrt(log(T)。具体来说,我们的分析不依赖于严格的单链假设,这主导了以前关于这个主题的大部分工作。
2012-10-16 cs.GT cs.LG
Learning in Online MDPs: Is there a Price for Handling the Communicating Case?
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Michigan(密歇根大学)
值得注意的是,在专家问题和对抗性多臂强盗问题中可以实现相同的$O(\sqrt{T})$后悔率,尽管在后一种情况下对动作数量的依赖性更差。与此相反,它已被证明,即使在确定性转换的情况下,处理在线MDP与通信结构和强盗信息招致$Ω(T^{2/3})$遗憾。这是我们为处理通信结构所付出的代价,还是因为我们也有强盗反馈?在本文中,我们表明,充分的信息,在线MDPs仍然可以学习在一个$O(\sqrt{T})$率,即使在存在的通信结构。我们首先表明这一点,提出了一个有效的跟随扰动的领导者(FPL)算法的确定性过渡的情况下。然后,我们扩大我们的范围,考虑随机过渡,我们首先给一个低效的$O(\sqrt{T})$ -后悔算法(与一个温和的附加条件的动态)。然后,我们展示了如何实现$O\left(\sqrt{\frac{T}α}\right)$后悔率使用一个甲骨文有效的算法,但有额外的限制,即起始状态分布的质量至少$α$的每个状态。
2022-10-03 cs.LG
Provable General Function Class Representation Learning in Multitask Bandits and MDPs
Tsinghua University(清华大学);University of Washington(华盛顿大学)
虽然多任务表示学习已成为强化学习(RL)中提高样本效率的流行方法,但对它为什么以及如何工作的理论理解仍然有限。由于分析一般函数类的表示遇到了诸如泛化保证、抽象函数空间中置信界的确定等非平凡的技术障碍,以往的分析工作只能假设表示函数是智能体已知的或线性函数类已知的。然而,线性情况分析严重依赖于线性函数类的特殊性,而现实世界的实践通常采用一般的非线性表示函数,如神经网络。这大大降低了它的适用性。在这项工作中,我们将分析扩展到一般函数类表示。具体来说,我们认为代理播放$M$上下文土匪(或MDP)同时提取一个共享的表示功能$ϕ$从一个特定的功能类$Φ$使用我们提出的广义功能置信上限算法(GFUCB)。我们首次从理论上验证了多任务表示学习在一般函数类中对强盗和线性MDP的好处。最后,我们进行实验,以证明我们的算法与神经网络表示的有效性。
2022-10-21 cs.AI cs.LG
Adapting to Stochastic and Adversarial Losses in Episodic MDPs with Aggregate Bandit Feedback
The University of Tokyo(东京大学);RIKEN(理化学研究所);University of Washington(华盛顿大学);University of Southern California(南加州大学)
针对聚合赌博机反馈的片段式MDP,提出首个两全其美算法,在随机和对抗环境下分别达到对数与平方根遗憾,并证明最优性。
2025-10-27 cs.LG stat.ML
Learning Adversarial MDPs with Bandit Feedback and Unknown Transition
Princeton University(普林斯顿大学);University of Southern California(南加利福尼亚大学);Massachusetts Institute of Technology(麻省理工学院)
我们考虑的学习问题,情节有限时域马尔可夫决策过程的未知的过渡函数,强盗反馈,和对抗性损失。我们提出了一个有效的算法,实现$\mathcal{\tilde{O}}(L|X|\sqrt{|A|T})$遗憾的概率高,其中$L$是地平线,$|X|$是状态的数量,$|A|$是行动的数量,和$T$是情节的数量。据我们所知,我们的算法是第一个确保$\mathcal{\tilde{O}}(\sqrt{T})$在这种具有挑战性的设置中后悔的算法;事实上,它实现了与考虑更容易设置的完整信息反馈相同的后悔界限(Rosenberg & Mansour,2019 a)。我们的关键技术贡献是双重的:一个更严格的信心集的过渡功能,和乐观的损失估计,是由$\textit{upper occupancy bound}$逆加权。
2020-11-02 cs.LG stat.ML
Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs
University of Southern California(南加利福尼亚大学)
我们开发了一种新的方法来获得高概率后悔界的在线学习与强盗反馈对自适应对手。虽然现有的方法都需要仔细构建乐观和有偏的损失估计,我们的方法使用标准的无偏估计,并依赖于一个简单的增加学习率调度的时间表,连同帮助下,数学上同质的自我和谐的障碍和加强弗里德曼的不等式。除了它的简单性,我们的方法享有几个优点。首先,获得的高概率后悔界限是数据依赖的,可能比最坏情况下的界限小得多,这解决了Neu(2015)提出的一个开放问题。其次,解决Bartlett et al.(2008)和Abernethy and Rakhlin(2009)的另一个开放问题,我们的方法导致了第一个通用且有效的算法,具有对抗性线性强盗的高概率后悔界,而以前的方法要么效率低下,要么只适用于特定的动作集。最后,我们的方法也可以应用于学习对抗马尔可夫决策过程,并为这个问题提供了第一个具有高概率小损失界的算法。
2020-10-29 cs.LG stat.ML
Learning Markov Decision Processes under Fully Bandit Feedback
Department of Industrial and Operations Engineering, University of Michigan(工业与运作工程系,密歇根大学);Computer Science Department, New York University(计算机科学系,纽约大学)
本文提出了在完全老虎机反馈下学习回合制MDP的高效算法,实现了O(√T)的后悔界,并展示了其在k-项预言不等式中的性能与有详细反馈的算法相当。
2026-02-02 cs.LG
Representative Action Selection for Large Action Space: From Bandits to MDPs
Technion(技术学院)
本文提出了一种在大规模动作空间中选择代表性动作的方法,通过理论保证实现了与完整动作空间相当的性能,适用于不确定环境下的高效决策。
2025-11-27 cs.LG math.OC math.PR
Delay-Adapted Policy Optimization and Improved Regret for Adversarial MDP with Delayed Bandit Feedback
Tel Aviv University(特拉维夫大学);Amazon Science(亚马逊科学)
本文提出延迟自适应策略优化(DAPO)算法,在对抗性MDP中处理延迟强盗反馈,首次实现表格MDP的近乎最优遗憾界,并扩展到线性函数逼近和深度强化学习场景。
2023-05-13 cs.LG
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University(加川大学);Seoul National University(首尔国立大学);University of Arizona(亚利桑那大学)
在在线学习问题中,利用低方差在获得严格的性能保证方面发挥着重要作用,但由于方差通常事先未知,因此具有挑战性。最近,Zhang等人(2021)取得了相当大的进展,他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界,以及线性混合马尔可夫决策过程(MDP)的无水平遗憾界。在本文中,我们提出了新的分析,提高他们的遗憾边界显着。对于线性强盗,我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$,其中$d$是特征的维度,$K$是时间范围,$σ_k^2$是时间步长$k$处的噪声方差,并且$\tilde O$忽略了多对数依赖性,这是$d^3$改进的一个因素。对于线性混合MDP,假设在$[0,1]$中的事件中的最大累积奖励,我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界,其中$d$是基础模型的数量,$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析,利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
本文研究老虎机反馈下带未知转移和对抗损失的线性混合MDP强化学习,提出利用全状态访问信息的最小二乘估计器与适配的自归一化浓度方法,得到更优的高概率遗憾界。
2024-03-07 cs.LG stat.ML
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London(伦敦大学学院)
我们激励和分析一个新的树搜索算法,GPTS,基于最近的理论进展,在使用高斯过程的强盗问题。我们认为树路径的武器,我们假设目标/奖励功能是从GP分布。在观察数据之后,后验均值和方差用于定义函数值的置信区间,并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核:线性和高斯。遗憾以迭代次数T的平方根增长,直到对数因子,具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值,小于臂数。最后,我们将GPTS应用于折扣马尔可夫决策过程中的开环规划,通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Online learning in MDPs with linear function approximation and bandit feedback
Universitat Pompeu Fabra(庞培法布拉大学)
我们考虑一个在线学习问题,其中学习者与马尔可夫决策过程在一系列事件中进行交互,其中允许奖励函数以对抗的方式在事件之间变化,并且学习者只能观察与其行为相关的奖励。我们允许的状态空间是任意大的,但我们假设所有的动作价值函数可以表示为线性函数的一个已知的低维特征映射,学习者可以访问的环境,允许从真正的MDP动态生成轨迹的模拟器。我们的主要贡献是开发一个计算效率高的算法,我们称之为MDP-LinExp 3,并证明其遗憾是有界的$\widetilde{\mathcal{O}}\big(H^2 T^{2/3} (dK)^{1/3}\big)$,其中$T$是情节的数量,$H$是在每个情节的步骤数,$K$是行动的数量,和$d$是特征图的维度。我们还表明,遗憾可以改善$\widetilde{\mathcal{O}}\big(H^2 \sqrt{TdK}\big)$下更强的假设MDP动态。据我们所知,MDP-LinExp 3是第一个可证明有效的算法,这个问题的设置。
2021-06-12 cs.LG stat.ML
Revisiting Weighted Strategy for Non-stationary Parametric Bandits and MDPs
本文提出了一种简化分析框架,改进了非平稳参数老虎机和MDP的加权策略,提升了算法效率和遗憾界。
2026-01-03 cs.LG stat.ML
Generalised Entropy MDPs and Minimax Regret
Göteborgs Universitet(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
贝叶斯方法遇到了如何指定先验信念的问题。一个有趣的想法是考虑最坏情况的先验。这需要解决一个随机零和博弈。在本文中,我们扩展了著名的结果,从强盗理论,以发现最小最大贝叶斯政策,并讨论当他们是实用的。
2014-12-10 cs.LG stat.ML
Improved Variance-Aware Confidence Sets for Linear Bandits and Linear Mixture MDP
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文提出了线性强盗和线性混合马尔可夫决策过程的新的\emph{variance-aware}置信集。对于线性强盗,我们得到了一个$\tilde{O}(poly(d)\sqrt{1 + \sum_{k=1}^{K}σ_k^2})$数据依赖的后悔界,其中$d$是特征维数,$K$是回合数,$σ_k^2$是第$k$回合奖励的方差\emph{unknown}.这是第一个遗憾界限,它只与方差和维数成比例,但与\emph{no explicit polynomial dependency on $K$}成比例。当方差很小时,这个界可以显著小于$\tildeΘ\left(d\sqrt{K}\right)$最坏情况下的后悔界。对于线性混合MDP,我们得到了一个$\tilde{O}(poly(d, \log H)\sqrt{K})$遗憾界,其中$d$是基础模型的数量,$K$是情节的数量,$H$是规划范围。这是第一个遗憾的界限,只有规模\emph{logarithmically}与$H$在强化学习与线性函数逼近设置,从而\emph{exponentially improving}现有的结果,并解决了一个开放的问题,在\citep{zhou2020nearly}。我们开发了三个技术思想,可能是独立的兴趣:1)应用剥离技术的输入范数和方差大小,2)基于递归的估计方差,和3)一个新的凸势引理,推广了种子椭圆势…
2021-10-29 cs.LG
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles(加州大学洛杉矶分校)
最近的研究表明,情景强化学习(RL)并不比上下文强盗更困难,即使有很长的规划视野和未知的状态转换。然而,这些结果仅限于表格马尔可夫决策过程(MDP)或线性混合MDP的计算效率低下的算法。在本文中,我们提出了第一个计算效率的地平线自由算法的线性混合MDP,实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态,其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时,我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾,其中$d$是上下文的维度,$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时,这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Towards Optimal Regret in Adversarial Linear MDPs with Bandit Feedback
University of Virginia(弗吉尼亚大学);Google Research(谷歌研究院)
研究无转移先验和模拟器的对抗性线性MDP在线强化学习问题,提出两种算法:一种计算低效但实现最优的$\sqrt{K}$遗憾,另一种基于策略优化且计算高效,遗憾为$K^{3/4}$,均显著优于现有技术。
2023-10-17 cs.AI cs.LG stat.ML
Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Google Research(谷歌研究院);The Hong Kong University of Science and Technology(香港科技大学)
最近,几项研究(Zhou et al.,2021 a; Zhang等人,2021 b; Kim等人,二零二一年; Zhou和Gu,2022)为线性上下文强盗提供了方差依赖的后悔界限,它内插了最坏情况下的后悔和确定性奖励制度。然而,这些算法要么是计算上棘手的或无法处理未知的噪声方差。在本文中,我们提出了一种新的解决方案,提出了第一个计算效率高的算法,线性土匪异方差噪声。我们的算法是自适应的噪声的未知方差,并实现了$\tilde{O}(d \sqrt{\sum_{k = 1}^K σ_k^2} + d)$遗憾,其中$σ_k^2$是噪声的方差在轮$k$,$d$是上下文的维数和$K$是轮的总数。我们的研究结果是基于自适应方差感知的置信集启用一个新的弗里德曼型浓度不等式的自归一化鞅和多层结构分层的上下文向量到不同的层与不同的统一上界的不确定性。此外,我们的方法可以扩展到线性混合马尔可夫决策过程(MDP)的强化学习。我们提出了一个方差自适应算法的线性混合MDP,它实现了一个问题相关的地平线自由遗憾界,可以优雅地减少到一个几乎恒定的遗憾确定性MDP。与现有的线性混合MDP的近极大极小最优算法不同,我们的算法不需要显式的方差估计的过渡概率或使用高阶矩估计,以达到地平线自由遗憾。我们相信,本文中开发的技术可以为一般的在线决策问题具有独立的价值。
2023-02-21 cs.LG math.OC stat.ML
Simultaneously Learning Stochastic and Adversarial Episodic MDPs with Known Transition
University of Southern California(南加州大学)
本文研究了具有已知转移和强盗反馈的偶发马尔可夫决策过程的学习问题。我们开发的第一个算法具有“两全其美”的保证:当损失是随机的时,它实现了$\mathcal{O}(log T)$后悔,同时即使损失是对抗性的,它也能在最坏情况下保持$\tilde{\mathcal{O}}(\sqrt{T})$后悔的鲁棒性,其中$T$是事件的数量。更一般地,它在损失被$C$的总量破坏的中间设置中实现$\tilde{\mathcal{O}}(\sqrt{C})$遗憾。我们的算法基于Zimin和Neu(2013)的Follow-the-Regularized-Leader方法,其中一种新的混合正则化器受到Zimmert等人最近的作品的启发。(2019 a,2019 b)用于多武装土匪的特殊情况。至关重要的是,我们的正则化承认一个非对角海森与一个非常复杂的逆。分析这样一个正则化子并导出一个特定的自约束后悔保证是我们的关键技术贡献,可能是独立的兴趣。
2020-11-02 cs.LG stat.ML
Policy Optimization in Adversarial MDPs: Improved Exploration via Dilated Bonuses
University of Southern California(南加州大学)
策略优化是强化学习中广泛使用的一种方法。然而,由于其局部搜索性质,全局最优性的理论保证通常依赖于马尔可夫决策过程(MDP)的额外假设,这些假设绕过了全局探索的挑战。为了消除这种假设的需要,在这项工作中,我们开发了一个通用的解决方案,增加了扩张奖金的政策更新,以促进全球探索。为了展示这种技术的力量和通用性,我们将其应用于几个具有对抗性损失和强盗反馈的情景MDP设置,改进和推广了最先进的技术。具体来说,在表格中,我们获得了$\widetilde{\mathcal{O}}(\sqrt{T})$后悔,其中$T$是情节的数量,改进了Shani et al.(2020)约束的$\widetilde{\mathcal{O}}({T}^{2/3})$后悔。当状态数为无穷大时,假设状态-动作值在某些低维特征中是线性的,我们在模拟器的帮助下获得了$\widetilde{\mathcal{O}}({T}^{2/3})$遗憾,与Neu和Olkhovskaya(2020)的结果相匹配,同时重要的是消除了他们的算法所需的探索性策略的需要。当模拟器不可用时,我们进一步考虑线性MDP设置,并获得$\widetilde{\mathcal{O}}({T}^{14/15})$遗憾,这是第一个结果的线性MDP对抗损失和强盗反馈。
2021-07-18 cs.LG stat.ML
Thresholding Bandit with Optimal Aggregate Regret
Indiana University at Bloomington(印第安纳大学伯明顿分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们认为阈值强盗问题,其目标是找到武器的平均奖励高于给定的阈值$θ$,与固定预算的$T$试验。我们介绍LSA,一个新的,简单的,随时算法,旨在最大限度地减少总遗憾(或预期数量的错误分类武器)。我们证明了我们的算法是逐例渐近最优的。我们还提供了全面的实证结果,以证明该算法的优越性能超过现有的算法在各种不同的情况下。
2019-05-27 cs.LG stat.ML
Intervention Efficient Algorithm for Two-Stage Causal MDPs
Indian Institute of Science(印度科学院);Adobe Research(Adobe研究院)
我们研究马尔可夫决策过程(MDP),其中状态对应于随机产生奖励的因果图。在这种设置中,学习者的目标是通过干预每个状态的变量来识别导致高回报的原子干预。推广最近的cabet-bandit框架,目前的工作发展(简单)的遗憾最小化保证两阶段的因果MDP,并行因果图在每个状态。我们提出了一个算法,实现了一个依赖于实例的遗憾界。我们的算法的一个关键特征是,它利用凸优化来解决勘探问题。我们确定类的情况下,我们的遗憾的保证基本上是紧的,并通过实验验证我们的理论结果。
2021-11-01 cs.AI cs.LG
Bandits with Delayed, Aggregated Anonymous Feedback
Lancaster University(兰卡斯特大学);Columbia University(哥伦比亚大学);DeepMind;University of Alberta(阿尔伯塔大学)
我们研究的随机$K$武装土匪问题的一个变种,我们称之为“土匪延迟,聚合匿名反馈”。在这个问题中,当玩家拉动手臂时,就会产生奖励,但不会立即观察到。相反,在每一轮结束时,玩家只观察到在给定回合中碰巧到达的先前生成的奖励的数量的总和。奖励是随机延迟的,由于观察的综合性质,导致特定奖励的手臂的信息丢失。问题是,由于这种延迟的、聚合的匿名反馈,信息丢失的成本是多少?以前的作品研究了土匪随机,非匿名的延迟,并发现,遗憾的增加,只有一个附加因素有关的预期延迟。在本文中,我们表明,这种添加剂的遗憾增加可以保持在较硬的延迟,聚合匿名反馈设置时,预期的延迟(或它的约束)是已知的。我们提供了一个算法,匹配的最坏情况下的遗憾的非匿名问题时,延迟是有界的,和对数因子或一个附加的方差项无界延迟。
2018-06-13 cs.LG stat.ML
POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Cornell University(康奈尔大学)
蒙特卡洛规划,例如蒙特卡罗树搜索(MCTS),已被证明在有限空间的应用显着的性能。在本文中,我们考虑在连续状态-动作空间的环境中进行蒙特卡洛规划,这是一个在控制和机器人技术中具有重要应用的少得多的问题。我们介绍POLY-HOOT,这是一种用称为分层乐观优化(HOO)的连续武装强盗策略增强MCTS的算法(Bubeck等人,2011年)。具体来说,我们通过使用适当的多项式,而不是对数,奖金项的置信上限,以提高HOO。这样的多项式奖金是由AlphaGo Zero中的经验成功所激励的(Silver等人,2017 b),以及其在实现有限空间MCTS的理论保证方面的重要作用(Shah等人,2019年)。我们调查,第一次,增强HOO算法在非平稳强盗问题的遗憾。使用这个结果作为一个积木,我们建立非渐近收敛保证POLY-HOOT:值估计收敛到一个任意小的邻域的最佳价值函数在一个多项式的速度。我们进一步提供了实验结果,证实了我们的理论研究结果。
2020-12-30 cs.AI cs.LG
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research(谷歌研究院);Tel-Aviv University(特拉维夫大学)
我们研究了一种新的在线有限时域马尔可夫决策过程的变种,具有逆向变化的损失函数和初始未知的动态。在每一集中,学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失,并观察总的强盗反馈:轨迹与所遭受的累积损失一起被揭示,而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置,其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置,我们称之为扭曲的线性强盗(DLB),这是一个变种的强盗线性优化,其中学习者选择的行动是不利的扭曲之前,他们被提交。然后,我们开发了一个计算效率高的在线算法DLB,我们证明了$O(\sqrt{T})$的遗憾界,其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化,采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
On Kernelized Multi-Armed Bandits with Constraints
Wayne State University(韦恩州立大学);Virginia Tech(弗吉尼亚理工大学)
研究了报酬函数和约束函数均为未知的随机强盗问题。这两个函数都可以是非线性的(甚至是非凸的),并且假设它们位于具有有界范数的再生核希尔伯特空间(RKHS)中。这种核心化的盗贼设置严格地概括了标准的多臂盗贼和线性盗贼。与以往研究的安全型硬约束相比,我们考虑了软约束,只要累积违规很小,就可以在任何一轮中被违反,这是出于各种实际应用的动机。我们的最终目标是研究如何利用软约束的性质,以达到一个更好的复杂性,后悔约束的权衡在内核化的强盗设置。为此,利用原始-对偶优化,我们提出了一个通用的框架,算法设计和性能分析。该框架建立在一个新的充分条件,这不仅是满足一般的探索策略,包括\emph{upper confidence bound}(UCB),\emph{Thompson sampling}(TS),和新的基于\emph{random exploration},但也使一个统一的分析,显示次线性遗憾和次线性甚至零约束违反。我们证明了我们提出的算法通过数值实验的基础上合成和真实世界的数据集的优越性能。在此过程中,我们还进行了第一次详细的比较两种流行的方法来分析约束土匪和马尔可夫决策过程(MDP),讨论的关键区别和一些微妙的分析,这可能是独立的利益的社区。
2022-03-29 cs.LG
A Reduction-based Framework for Sequential Decision Making with Delayed Feedback
Center for Data Science, Peking University(北京大学数据科学中心);Zhejiang Lab(之江实验室);National Key Laboratory of General Artificial Intelligence(通用人工智能全国重点实验室);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
针对多智能体序列决策中的随机延迟反馈问题,提出基于归约的框架,可将即时反馈多批次算法转化为适配随机延迟的样本高效算法,覆盖多类场景并填补了函数近似场景下的延迟研究空白。
2024-03-06 cs.LG
Efficient Policy Learning for Non-Stationary MDPs under Adversarial Manipulation
马尔可夫决策过程(MDP)是强化学习的流行模型。然而,其常用的静态动力学和奖励的假设是过于严格,并未能举行对抗,非平稳,或多智能体问题。我们研究了一个情节设置的参数MDP可以不同的情节。我们通过开发对抗强化学习(ARL)算法,将我们的MDP减少到一系列\emph{adversarial}强盗问题,来学习这种潜在对抗MDP的可靠策略。ARL实现了$O(\sqrt{SATH^3})$遗憾,这是最优的$S$,$A$,和$T$,其依赖于$H$是最好的(即使对于通常的平稳MDP)在现有的无模型的方法。
2019-08-21 cs.LG stat.ML
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles(加州大学洛杉矶分校);University of Michigan(密歇根大学)
在本文中,我们考虑的问题,学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中,有一个有限集的手臂,每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链,其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap
Tsinghua University(清华大学);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
本文提出了一种新的无模型算法--自适应多步Bootstrap(AMB),它具有更强的间隙相关后悔界。第一个创新是通过将乐观引导与自适应多步Monte Carlo推出相结合来估计最佳$Q$函数。第二个创新点是在不受任何其他行为支配的可容许行为中选择具有最大置信区间长度的行为。我们表明,当每个状态有一个独特的最佳行动,AMB实现了一个缺口依赖的遗憾界,只有规模与次优差距的倒数的总和。相比之下,Simchowitz和Jamieson(2019)表明,由于过度探索,所有置信上限(UCB)算法都会遭受额外的$Ω\left(\frac{S}{Δ_{min}}\right)$遗憾,其中$Δ_{min}$是最小次优间隙,$S$是状态数。我们进一步表明,对于一般的MDP,AMB遭受额外的$\frac{|Z_{mul}|}{Δ_{min}}$遗憾,其中$Z_{mul}$是一组状态-动作对$(s,a)$的满足$a$是一个非唯一的最佳行动$s$。我们补充我们的上限与下限显示依赖于$\frac{|Z_{mul}|}{Δ_{min}}$是不可避免的任何一致的算法。这个下限也意味着强化学习和上下文强盗之间的分离。
2021-07-02 cs.LG
Beyond variance reduction: Understanding the true impact of baselines on policy optimization
Mila, McGill University(米拉研究所,麦吉尔大学);Mila, University of Montreal(米拉研究所,蒙特利尔大学);Google Research, Brain Team(谷歌研究院,大脑团队);Google DeepMind(谷歌DeepMind)
Bandit和强化学习(RL)问题通常可以被定义为优化问题,其目标是最大化平均性能,同时只能访问真实梯度的随机估计。传统上,随机优化理论预测,学习动态由损失函数的曲率和梯度估计的噪声决定。在本文中,我们证明,这是不是强盗和RL问题的情况。为了使我们的分析能够根据多步MDP进行解释,我们专注于从随机优化原理(例如,自然的策略梯度和EXP3),我们表明,一些标准的假设,从优化理论违反了这些问题。我们目前的理论结果表明,至少对于强盗问题,曲率和噪声是不足以解释的学习动态和看似无害的选择,如基线可以确定算法是否收敛。这些理论研究结果与我们的实证评估相匹配,我们将其扩展到多州MDP。
2021-02-19 cs.LG stat.ML
Online Learning in MDPs with Partially Adversarial Transitions and Losses
Tel Aviv University(特拉维夫大学);Meta AI;Google Research(谷歌研究院)
研究转移函数在大多数步骤随机但在每回合固定Λ个步骤可对抗的MDP中的强化学习,提出条件占用度量并设计两种算法,分别处理任意对抗步骤和连续对抗步骤,并给出全对抗设置下的遗憾界。
2026-06-01 cs.LG
Active Reinforcement Learning with Monte-Carlo Tree Search
University of Oxford(牛津大学)
主动强化学习(ARL)是强化学习的一种扭曲,其中代理只有在支付成本时才会观察奖励信息。这种微妙的变化使探索更具挑战性。强化学习中强大的原则,如乐观主义、汤普森抽样和随机探索,对ARL没有帮助。我们将表格环境中的ARL与贝叶斯自适应MDP相关联。我们提供了一个ARL算法,使用蒙特卡罗树搜索是渐近贝叶斯最优的。实验表明,该算法在小Bandit问题和MDP上是近最优的。在更大的MDP上,它的表现优于用ARL的专门算法增强的Q学习器。通过详细分析探索行为,我们发现了扩大基于模拟的算法ARL的障碍。
2018-03-26 cs.LG stat.ML
Learning Adversarial MDPs with Stochastic Hard Constraints
Politecnico di Milano(米兰理工大学)
本文首次研究具有对抗性损失和随机硬约束的CMDPs在线学习问题,在三种不同假设场景下分别提出算法,实现次线性遗憾并控制约束违反,证明了Slater参数依赖的不可避免性,扩展了CMDPs的应用范围。
2025-02-07 cs.LG
Learning Infinite-horizon Average-reward MDPs with Linear Function Approximation
University of Southern California(南加州大学)
我们开发了几个新的算法学习马尔可夫决策过程中的一个无限地平线的平均回报设置与线性函数逼近。使用乐观原则,并假设MDP具有线性结构,我们首先提出了一个计算效率低下的算法与最佳的$\widetilde{O}(\sqrt{T})$遗憾和另一个计算效率高的变体与$\widetilde{O}(T^{3/4})$遗憾,其中$T$是互动的数量。接下来,从对抗性线性强盗中获得灵感,我们在不同的假设下开发了另一种有效的$\widetilde{O}(\sqrt{T})$后悔算法,改进了Hao等人(2020)使用$\widetilde{O}(T^{2/3})$后悔的最佳现有结果。此外,我们将该算法与Kakade(2002)提出的自然策略梯度算法联系起来,并表明我们的分析改进了Agarwal等人(2020)最近给出的样本复杂度界。
2021-04-26 cs.LG stat.ML
Multi-Armed Bandits with Minimum Aggregated Revenue Constraints
CREST, ENSAE, Palaiseau, France(CREST、ENSAE、Palaiseau、法国);Criteo AI Lab, Paris, France(Criteo AI实验室、巴黎、法国);FairPlay joint team(FairPlay联合团队)
本研究提出并分析了在最小聚合收益约束下优化多臂老虎机问题的算法,给出了遗憾与约束违反的上界及最优性下界。
2025-10-14 cs.LG math.OC
Meta Learning MDPs with Linear Transition Models
Technical University of Munich(慕尼黑工业大学);Microsoft Research, NYC(微软研究院纽约)
我们研究了马尔可夫决策过程(MDP)中的元学习,在未贴现的情节设置中具有线性转移模型。在基于模型接近度的任务共享性度量下,我们研究了由偏置项和方差分量指定的模型分布的任务族。然后,我们提出了BUC-MatrixRL,这是UC-Matrix RL算法的一个版本,并表明它可以有意义地利用一组采样的训练任务,通过学习任务分布的偏差参数的估计量来快速解决从相同任务分布中采样的测试任务。该分析利用并扩展了学习线性回归和线性强盗设置的学习结果,以更一般的情况下,MDP的线性过渡模型。我们证明了,相比于孤立地学习任务,BUC-Matrix RL在高偏差低方差任务分布的转移遗憾方面提供了显着的改善。
2022-01-21 cs.AI cs.LG
Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning
KTH(瑞典皇家理工学院)
本文研究低秩强化学习中的矩阵估计问题,证明基于谱的方法能高效恢复奇异子空间并达到近乎最小的逐元素误差,并据此设计了低秩赌博机遗憾最小化和低秩MDP最佳策略识别两个达到最先进性能保证的算法。
2023-10-28 cs.LG stat.ML
Demystifying Linear MDPs and Novel Dynamics Aggregation Framework
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔大学)
本研究证明线性MDP的特征维度下界为S/U,可能随状态空间规模增长,为此提出动力学聚合框架及带可证明保证的线性函数近似HRL算法,在分层结构环境中显著提升遗憾界性能。
2024-10-31 cs.LG stat.ML
An Improved Model-Free Decision-Estimation Coefficient with Applications in Adversarial MDPs
University of Virginia(弗吉尼亚大学);Google Research(谷歌研究)
本文提出Dig-DEC,一种无模型的决策-估计系数,通过信息增益驱动探索,解决了对抗性MDP中的再生问题,并改进了函数估计过程的性能。
2026-03-18 cs.LG
Improved Regret Bounds for Linear Adversarial MDPs via Linear Optimization
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
在对抗环境中学习马尔可夫决策过程(MDP)一直是一个具有挑战性的问题。这个问题在函数近似中变得更具挑战性,因为损失函数和过渡核的底层结构在变化的环境中特别难以估计。事实上,线性对抗MDP的最新结果实现了$\tilde{O}(K^{6/7})$的遗憾($K$表示发作次数),这允许有很大的改进空间。在本文中,我们研究了一个新的观点,这减少了线性MDP线性优化通过巧妙地设置的强盗武器的特征映射。这种新的技术,探索性的假设下,产生一个改进的界限的$\tilde{O}(K^{4/5})$的线性对抗MDP没有访问一个过渡模拟器。新的观点可能是独立的利益解决其他MDP问题,具有线性结构。
2023-02-14 cs.AI cs.LG
Closing the Horizon Gap in Policy Optimization for Adversarial MDPs
The University of Tokyo(东京大学);The University of Osaka(大阪大学);RIKEN(理化学研究所)
该研究针对带对抗损失和多臂老虎机反馈的在线分段表格型MDP,用正则化Q函数缩小策略优化的视界差距,改进了遗憾界的视界依赖关系,还扩展到对抗线性混合MDP。
2026-10-09 cs.LG stat.ML
Extreme State Aggregation Beyond MDPs
Australian National University(澳大利亚国立大学)
我们考虑一个强化学习设置,其中智能体在观察-奖励-动作循环中与环境交互,而没有任何(特别是)MDP)对环境的假设。状态聚合和更一般的特征强化学习涉及将历史/原始状态映射到简化/聚合状态。两者背后的想法是,由此产生的简化过程(近似)形成一个小的稳态有限状态MDP,然后可以有效地求解或学习。我们大大推广现有的聚合结果表明,即使减少的过程是不是一个MDP,(q-)价值函数和(最佳)的政策相关联的MDP具有相同的状态空间大小解决了原来的问题,只要解决方案可以近似地表示为一个功能的减少状态。这意味着所需的状态空间大小的上限,保持一致的所有RL问题。这也可以解释为什么为MDP设计的RL算法有时表现得比MDP好。
2014-07-12 cs.AI cs.LG
Online Restless Multi-Armed Bandits with Long-Term Fairness Constraints
Stony Brook University(石溪大学)
针对多臂赌博机缺乏公平性问题,提出RMAB-F模型与Fair-UCRL算法,在未知MDP下实现长期公平约束,并证明遗憾次线性界,计算高效且实验有效。
2023-12-22 cs.LG
DeepTOP: Deep Threshold-Optimal Policy for MDPs and RMABs
Texas A&M University(得克萨斯农工大学)
我们考虑学习控制问题的最优阈值策略的问题。阈值策略通过评估系统状态的元素是否超过特定阈值来做出控制决策,该阈值的值由系统状态的其他元素确定。通过利用阈值策略的单调性,我们证明了它们的策略梯度有一个令人惊讶的简单表达式。我们使用这个简单的表达式来构建一个离线策略的演员-评论家算法来学习最优阈值策略。仿真结果表明,我们的政策显着优于其他强化学习算法,由于其能够利用单调属性。此外,我们表明,惠特尔指数,一个强大的工具,不安分的多臂土匪问题,是等价的最优阈值政策的替代问题。这一观察导致了一个简单的算法,通过学习替代问题中的最优阈值策略来找到Whittle指数。仿真结果表明,我们的算法学习的Whittle指数远远快于最近的几项研究,通过间接手段学习的Whittle指数。
2022-09-28 cs.AI cs.LG
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高,更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程(MDP)的无模型算法。第一个算法减少了问题的折扣奖励版本,并实现$\mathcal{O}(T^{2/3})$遗憾后,$T$步骤,弱通信的MDP的最小假设。据我们所知,这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展,对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$,虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人(2019 a)在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Discovering Minimal Reinforcement Learning Environments
BCCN Berlin(柏林计算神经科学中心);University of Oxford(牛津大学);FLAIR;Technical University Berlin(柏林工业大学);Science of Intelligence(智能科学)
针对强化学习智能体同环境训练评估的局限,该研究扩展合成环境框架,改进元学习算法、结合硬件并行与课程学习,还发现合成上下文赌博机可媲美合成MDPs,能加速训练并提供环境见解。
2024-06-18 cs.LG
Reinforcement Learning for Non-Stationary Markov Decision Processes: The Blessing of (More) Optimism
National University of Singapore(新加坡国立大学)
我们考虑了漂移非平稳性下马尔可夫决策过程(MDP)中的非折扣强化学习(RL),即,只要由适当的度量量化的它们各自的总变化不超过某些变化预算,就允许回报和状态转换分布随时间演变。首先提出了基于置信度加宽的强化学习滑动窗口置信度上界(SWUCRL 2-CW)算法,并在已知变量预算的情况下建立了其动态后悔界.此外,我们提出了Bandit-over-强化学习(BORL)算法来自适应地调整SWUCRL 2-CW算法,以实现相同的动态遗憾界,但以无参数的方式,即,而不知道变化预算。值得注意的是,通过传统的乐观探索技术学习非平稳MDP提出了一个独特的挑战,在现有的(非平稳)的强盗学习设置。我们克服了一种新的信心扩大技术,结合额外的乐观的挑战。
2020-06-24 cs.LG stat.ML
Non-stationary Reinforcement Learning without Prior Knowledge: An Optimal Black-box Approach
University of Southern California(南加州大学)
我们提出了一个黑盒减少,把一个特定的强化学习算法与最佳遗憾(近)静态环境中的另一个算法与最佳动态遗憾在非静态环境中,重要的是没有任何先验知识的非平稳程度。通过将不同的算法插入到我们的黑盒子中,我们提供了一个例子列表,表明我们的方法不仅可以恢复通过非常专业的算法实现的(上下文)多武装匪徒的最新结果,而且还可以以各种方式显着提高(广义)线性匪徒,情节MDP和无限地平线MDP的最新技术水平。具体地说,在大多数情况下,我们的算法实现了最佳的动态遗憾$\widetilde{\mathcal{O}}(\min\{\sqrt{LT}, Δ^{1/3}T^{2/3}\})$,其中$T$是轮数和$L$和$Δ$分别是世界的变化的数量和量,而以前的作品只获得次优的边界和/或需要的知识$L$和$Δ$。
2021-09-05 cs.AI cs.LG stat.ML
Bandits with Switching Costs: T^{2/3} Regret
Microsoft Research(微软研究院);University of Chicago(芝加哥大学);Technion(以色列理工学院)
我们研究的对抗性多臂强盗问题的设置,玩家每次切换动作时都会产生单位成本。我们证明了玩家的$T$轮极大极小遗憾在这种设置是$\widetildeΘ(T^{2/3})$,从而关闭了一个根本的差距,我们的理解学习与强盗反馈。在相应的完全信息版本的问题中,极小极大后悔的增长速度要慢得多,为$Θ(\sqrt{T})$。这两个比率之间的差异提供了\emph{first}指示,即使用强盗反馈的学习可能比使用全信息反馈的学习要困难得多(以前的结果只显示了对动作数量的不同依赖,而不是对$T$的依赖)。除了描述具有切换成本的多臂强盗问题的固有困难之外,我们的结果还解决了在线学习中的其他几个开放问题。一个直接的含义是,学习与强盗反馈对有界记忆自适应对手有一个极小极大的遗憾$\widetildeΘ(T^{2/3})$。另一个含义是,在对抗性马尔可夫决策过程(MDP)中在线学习的极小极大遗憾是$\widetildeΘ(T^{2/3})$。我们所有结果的关键是一个新的多尺度随机游走,这是一个独立的利益,并可能证明在其他设置有用的随机建设。
2013-11-19 cs.LG math.PR
Learning Adversarial Markov Decision Processes with Delayed Feedback
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
强化学习通常假设智能体立即观察其行为的反馈,但在许多现实世界的应用程序(如推荐系统)中,反馈是延迟观察到的。研究了具有未知转移、逆向变化代价和无限制延迟反馈的情景马尔可夫决策过程的在线学习问题。也就是说,情节$k$的成本和轨迹仅在情节$k + d^k$结束时向学习者揭示,其中延迟$d^k$既不相同也不受限制,并且由不经意的对手选择。我们提出了新的算法的基础上的政策优化,实现接近最优的高概率遗憾的$\sqrt{K + D}$下的全信息反馈,其中$K$是事件的数量和$D = \sum_{k} d^k$是总延迟。在强盗反馈下,我们证明了类似的$\sqrt{K + D}$后悔假设成本是随机的,和$(K + D)^{2/3}$后悔在一般情况下。我们是第一个考虑后悔最小化的重要设置MDP延迟反馈。
2021-12-15 cs.LG