Model-Based Episodic Memory Induces Dynamic Hybrid Controls
Applied AI Institute, Deakin University（应用人工智能研究所，迪肯大学）
情景控制通过从情景记忆中回忆过去的经验，使强化学习中的样本效率成为可能。我们提出了一个新的基于模型的情景记忆的轨迹解决目前的局限性情景控制。我们的记忆估计轨迹值，引导智能体采取好的策略。建立在记忆，我们构建了一个互补的学习模型，通过一个动态的混合控制统一的基于模型的，情节和习惯性的学习到一个单一的架构。实验表明，我们的模型允许显着更快，更好的学习比其他强大的强化学习代理在各种环境中，包括随机和非马尔可夫设置。
2021-11-06 cs.AI cs.LG
Posterior Sampling-based Online Learning for Episodic POMDPs
University of Southern California（南加州大学）；eBay, Inc.（亿贝公司）；Google DeepMind（谷歌DeepMind）
本文针对情景POMDP在线学习问题提出后验采样算法PS4POMDPs，证明其贝叶斯遗憾在一般情形下随视界指数增长且该下界不可避免，但在不完备弱揭示条件下可达到多项式遗憾界，并扩展至多智能体场景。
2024-10-23 cs.AI cs.LG cs.SY
Reinforcement Learning for Markovian Bandits: Is Posterior Sampling more Scalable than Optimism?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Institute of Engineering Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学工程学院）
研究了带折扣的经典马尔可夫强盗问题的学习算法。我们解释了如何调整PSRL [24]和UCRL 2 [2]来利用问题结构。这些变体被称为MB-PSRL和MB-UCRL 2。虽然遗憾的界限和香草实现的PSRL和UCRL 2的时间是指数的强盗的数量，我们表明，情节的遗憾的MB-PSRL和MB-UCRL 2是$\tilde{O}(S\sqrt{nK})$其中$K$是情节的数量，$n$是强盗的数量和$S$是每个强盗的状态数（在S，n和K中的确切界限在本文中给出）。直到因子$\sqrt S$，这与我们在论文中也导出的$Ω(\sqrt{SnK})$的下限相匹配。MB-PSRL在计算上也是高效的：它的运行时间与强盗的数量成线性关系。我们进一步表明，这种线性运行时间不能通过适应经典的非贝叶斯算法，如UCRL 2或UCBVI马尔可夫强盗问题。最后，我们进行数值实验，证实MB-PSRL优于其他现有的算法在实践中，无论是在遗憾和计算时间。
2022-05-03 cs.AI cs.LG
Corruption-robust exploration in episodic reinforcement learning
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research NYC（微软研究院纽约市分部）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
本文研究情景强化学习在奖励和转移概率同时存在对抗性腐败时的探索问题，提出结合乐观探索与动作消除的框架，在无腐败时保持近最优遗憾，并能优雅适应未知腐败水平，首次给出可容纳非独立同分布转移的次线性遗憾保证。
2023-11-01 cs.AI cs.DS cs.LG
Is Reinforcement Learning More Difficult Than Bandits? A Near-optimal Algorithm Escaping the Curse of Horizon
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
情景强化学习和情境强盗是两个被广泛研究的序列决策问题。情景强化学习概括了上下文强盗，并且由于长的规划视野和未知的状态依赖转换而通常被认为是更困难的。目前的论文表明，长的规划范围和未知的状态依赖的转换（最多）对样本的复杂性造成的额外困难不大。我们考虑情景强化学习与$S$状态，$A$行动，规划视野$H$，总奖励由$1$界定，和代理播放$K$情节。本文提出了一种新的算法--\textbf{M}单调\textbf{V}值\textbf{P}映射（MVP），它依赖于一种新的Bernstein型奖金.与现有的奖金结构相比，新的奖金更紧，因为它是基于一个精心设计的单调值函数。特别是，奖金中的\emph{constants}应该巧妙地设置，以确保乐观和单调。我们表明MVP享有$O\left(\left(\sqrt{SAK} + S^2A\right) \poly\log \left(SAHK\right)\right)$遗憾，接近\emph{contextual bandits}的$Ω\left(\sqrt{SAK}\right)$下限的对数项。值得注意的是，该结果1）\emph{exponentially}在对$H$的依赖性方面改进了Dann等人[2019]和Zanette等人[2019]的最先进多项式时间算法，2）\emph{exponentially}改进了[Wang等人2020]中的运行时…
2021-06-30 cs.LG stat.ML
Robust Exploration with Tight Bayesian Plausibility Sets
University of New Hampshire（新罕布什尔大学）
对于许多被证明有效的强化学习算法来说，对状态和动作的乐观态度是探索的主要驱动力。我们提出了乐观面对明智的价值函数（OFVF）-一种新的数据驱动的贝叶斯算法来构建MDP的似然集，以探索鲁棒地最小化最坏情况下的探索成本。该方法通过引入两个新的想法来计算具有更严格的乐观估计的探索策略。首先，它是基于贝叶斯后验分布，而不是分布自由边界。其次，OFVF不构造可扩展性集作为简单的置信区间。置信区间作为相容性集是一个充分条件，但不是必要条件。OFVF使用价值函数的结构来优化可扩展性集合的位置和形状，以直接保证上界，而不必强制要求集合是置信区间。OFVF以发作的方式进行，其中发作的持续时间是固定和已知的。我们的算法本质上是贝叶斯的，可以利用先验信息。我们的理论分析表明，OFVF的鲁棒性，和实证结果表明其实际的承诺。
2019-04-17 cs.AI cs.LG stat.ML
Improved Regret Bound for Safe Reinforcement Learning via Tighter Cost Pessimism and Reward Optimism
KAIST（韩国科学技术院）；Stanford University（斯坦福大学）
针对安全强化学习，提出基于更紧成本悲观与奖励乐观的模型算法，在保证不违反约束的同时改进了遗憾上界，且在特定条件下几乎匹配遗憾下界。
2024-10-14 cs.LG math.OC
Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究遗憾最小化在非情节因子马尔可夫决策过程（FMDPs），其中所有现有的算法作出强烈的假设，因子结构的FMDPs是已知的学习者提前。在本文中，我们提供了第一个学习FMDP的结构，同时最大限度地减少遗憾的算法。我们的算法是基于乐观面对不确定性的原则，结合一个简单的统计方法的结构学习，并可以有效地实现了一个FMDP规划器的Oracle访问。此外，我们给我们的算法的一个变体，仍然是有效的，即使当预言是有限的非因子的行动，这是几乎所有现有的近似规划的情况。最后，我们利用我们的技术来证明已知结构情况下的一个新下界，缩小了与Chen et al. [2021]的遗憾界的差距。
2021-10-11 cs.LG stat.ML
Multi-armed Bandit Learning on a Graph
Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）；Stanford University（斯坦福大学）；KTH（瑞典皇家理工学院）
多臂强盗（MAB）问题是一个简单而强大的框架，已被广泛研究的背景下的不确定性决策。在许多现实世界的应用中，例如机器人应用，选择手臂对应于约束下一个可用手臂（动作）的选择的物理动作。出于这一动机，我们研究了MAB的一个扩展，称为图强盗，其中代理在图上旅行，以最大限度地提高从不同节点收集的奖励。该图定义了代理在每一步选择下一个可用节点的自由度。我们假设图结构是完全可用的，但奖励分布是未知的。基于离线的基于图的规划算法和乐观原则，我们设计了一个学习算法，G-UCB，使用乐观原则平衡长期的探索和开发。我们表明，我们提出的算法实现了$O(\sqrt{|S|T\log(T)}+D|S|\log T)$学习遗憾，其中$|S|$是节点的数量和$D$是直径的图形，它匹配的理论下限$Ω(\sqrt{|S|T})$的对数因子。据我们所知，这一结果是第一个紧遗憾界在非情节，非折扣学习问题与已知的确定性过渡。数值实验证实，我们的算法优于几个基准。
2023-03-20 cs.AI cs.LG stat.ML
Private Reinforcement Learning with PAC and Regret Guarantees
University of Minnesota（明尼苏达大学）；DeepMind；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
受个性化医疗等用户信息固有敏感的高风险决策领域的激励，我们设计了用于情景强化学习（RL）的隐私保护探索策略。我们首先使用联合差分隐私（JDP）的概念提供一个有意义的隐私公式--差分隐私的一个强变体，用于每个用户接收他们自己的输出集的设置（例如，政策建议）。然后，我们开发了一个私人的基于乐观主义的学习算法，同时实现强大的PAC和遗憾的界限，并享有JDP保证。我们的算法只支付一个适度的隐私成本的探索：在比较非私人的界限，隐私参数只出现在较低的顺序。最后，我们提出了样本的复杂性和遗憾的强化学习服从JDP的下限。
2020-09-18 cs.CR cs.LG stat.ML
UCB Momentum Q-learning: Correcting the bias without forgetting
Otto von Guericke University（奥托·冯·格里克大学）；Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；DeepMind（深度思维）
我们提出了UCBMQ，上置信界动量Q-学习，一种新的算法，用于表格和可能的阶段依赖性，情节马尔可夫决策过程的强化学习。UCBMQ是基于Q学习的，我们在Q学习中加入了动量项，并依靠乐观原则来应对不确定性。UCBMQ的新技术成分是使用动量来纠正Q学习所遭受的偏见，同时限制它对后悔的二阶项的影响。对于UCBMQ，我们能够保证最多$O(\sqrt{H^3SAT}+ H^4 S A )$的遗憾，其中$H$是事件的长度，$S$是状态的数量，$A$是动作的数量，$T$是事件的数量，并且忽略poly- $\log(SAHT)$中的项。值得注意的是，UCBMQ是第一个同时匹配$Ω(\sqrt{H^3SAT})$的下限的算法，对于足够大的$T$，并且具有仅与状态数$S$线性缩放的二阶项（相对于水平$T$）。
2022-03-18 cs.LG stat.ML
Model-Based Reinforcement Learning with Value-Targeted Regression
University of Alberta（阿尔伯塔大学）；Peking University（北京大学）；DeepMind（深度思维）；Princeton University（普林斯顿大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了基于基于模型的强化学习（RL）的后悔最小化问题。我们专注于有限视野情节RL的过渡模型$P$属于一个已知的家庭的模型$\mathcal{P}$，其中的一个特殊情况是当模型在$\mathcal{P}$采取线性混合物的形式：$P_θ = \sum_{i=1}^{d} θ_{i}P_{i}$。我们提出了一种基于模型的RL算法，它是基于乐观原则：在每一集，与收集的数据是“一致的”模型集的构建。一致性标准基于模型在预测\emph{values}的任务中产生的总平方误差，该总平方误差由沿转换的最后值估计确定。然后，通过用构造的模型集求解乐观规划问题来选择下一个值函数。在线性混合模型的特殊情况下，我们得到了遗憾的界，遗憾界的形式为$\tilde{\mathcal{O}}(d\sqrt{H^{3}T})$，其中$H$、$T$和$d$分别是$θ$的视界、总步数和维数.特别地，该后悔界限与状态或动作的总数无关，并且接近下限$Ω(\sqrt{HdT})$。对于一般的模型族$\mathcal{P}$，后悔界是使用Russo & Van Roy（2014）提出的所谓的Eluder维数的概念推导出来的。
2020-06-01 cs.LG stat.ML
Efficient Exploration through Bayesian Deep Q-Networks
Caltech（加州理工学院）
研究了高维情景马尔可夫决策过程（MDP）中的强化学习（RL）.我们考虑基于值的RL时，最佳Q值是一个线性函数的d维状态-动作特征表示。例如，在深度Q网络（DQN）中，Q值是特征表示层（输出层）的线性函数。我们提出了两个算法，一个基于乐观，LINUCB，另一个基于后验采样，LINPSRL。我们保证频率论和贝叶斯后悔上界的O（d sqrt{T}）这两个算法，其中T是情节的数量。我们将这些方法扩展到深度RL，并提出贝叶斯深度Q网络（BDQN），它使用高效的Thompson采样算法进行高维RL。我们部署了双DQN（DDQN）方法，并且我们不是使用线性回归来学习Q网络的最后一层，而是使用贝叶斯线性回归，从而得到Q函数的近似后验。这使我们能够直接将不确定性纳入Q函数，并在学习的后验分布上部署Thompson采样，从而实现有效的探索/利用权衡。我们实证研究了BDQN在各种Atari游戏上的行为。由于BDQN进行更有效的勘探和开采，因此与DDQN相比，它能够更快地获得更高的回报。
2019-09-06 cs.AI cs.LG stat.ML
Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss
University of Michigan（密歇根大学）；University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们考虑在线学习情景随机约束马尔可夫决策过程（CMDPs），这在确保强化学习的安全性中起着核心作用。在这里，损失函数可以在不同的剧集中任意变化，并且在每个剧集结束时都会显示收到的损失和预算消耗。以前的工作解决了这个问题的限制性假设下，马尔可夫决策过程（MDP）的过渡模型是已知的先验和建立后悔界多项式依赖于状态空间$\mathcal{S}$和动作空间$\mathcal{A}$的基数。在这项工作中，我们提出了一个新的\emph{upper confidence primal-dual}算法，它只需要从过渡模型采样的轨迹。特别是，我们证明了该算法实现$\widetilde{\mathcal{O}}(L|\mathcal{S}|\sqrt{|\mathcal{A}|T})$上限的遗憾和约束违反，其中$L$是每个情节的长度。我们的分析将拉格朗日乘子过程的新的高概率漂移分析融入到上置信强化学习的著名遗憾分析中，这表明了在受限在线学习中“面对不确定性的乐观”的力量。
2021-10-18 cs.LG math.OC stat.ML
Acceleration in Policy Optimization
Google DeepMind（谷歌DeepMind）；McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
本文提出一种通过乐观和自适应更新加速强化学习策略优化的统一范式，并设计了一种基于元梯度学习的乐观策略梯度算法，在说明性任务中验证了加速设计选择。
2023-09-05 cs.AI cs.LG stat.ML
SOMBRL: Scalable and Optimistic Model-Based RL
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；Berkeley AI Research（伯克利人工智能研究院）
SOMBRL通过结合乐观性原则和不确定性建模，实现了在非线性动力学中具有亚线性遗憾的可扩展基于模型的强化学习方法，并在多个环境中展示了优越的探索性能。
2025-11-25 cs.LG
A Self-Play Posterior Sampling Algorithm for Zero-Sum Markov Games
The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
现有的研究证明有效的算法马尔可夫游戏（MG）几乎完全建立在“乐观面对不确定性”（OFU）的原则。这项工作的重点是后验采样的不同方法，这是庆祝在许多土匪和强化学习设置，但仍然是欠开发的MG。具体地说，对于情节两人零和MG，一种新的后验抽样算法的一般函数近似。理论分析表明，后验抽样算法对于低解耦系数的问题具有$\sqrt{T}$ -后悔界，这是一种新的MG复杂性度量，其中$T$表示事件的数量.当专门为线性MG，所获得的遗憾界匹配的国家的最先进的结果。据我们所知，这是第一个可证明有效的后验抽样算法的MG与频率后悔保证，这丰富了工具箱MG和促进广泛的适用性后验抽样。
2022-10-04 cs.AI cs.GT cs.LG
Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有未知转移核的情景马尔可夫决策过程中的风险敏感强化学习，目标是在指数效用的风险度量下优化总报酬.我们提出了两个可证明有效的无模型算法，风险敏感值迭代（RSVI）和风险敏感Q学习（RSQ）。这些算法在面对不确定性时实现了一种风险敏感的乐观主义，它适应于风险寻求和风险规避的探索模式。我们证明了RSVI得到一个$\tilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{3} S^{2}AT} \big)$后悔，而RSQ得到一个$\tilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{4} SAT} \big)$后悔，其中$λ(u) = (e^{3u}-1)/u$为$u>0$ .在上文中，$β$是指数效用函数的风险参数，$S$是状态的数量，$A$是动作的数量，$T$是时间步的总数，以及$H$是事件长度。在另一方面，我们建立了一个遗憾的下限表明，$|β|$和$H$的指数依赖性是不可避免的任何算法与$\tilde{O}(\sqrt{T})$遗憾（即使当风险目标是在同一规模的原始奖励），从而证明了所提出的算法的近最优性。我们的研究结果表明，将风险意识纳入强化学习需要在$|β|$和$H$指数成本，这量化了风险敏感性（与任意不确定性相关）和样本效率（与认知不确定性相关）之间的基本权衡。据我们所知，这是第一次对具有指数效用的风险敏感强化学习进行后悔…
2020-06-22 cs.LG math.OC stat.ML
Randomized Exploration for Reinforcement Learning with Multinomial Logistic Function Approximation
Seoul National University（首尔大学）
该研究针对MNL函数近似的强化学习场景，提出两种随机探索算法，分别实现不同的常数时间每回合计算成本与后悔值界，是该场景下首批兼具统计保证与高效计算的随机RL算法，实验验证了其性能优势。
2024-10-31 cs.LG stat.ML
Online Reinforcement Learning in Markov Decision Process Using Linear Programming
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对转移函数和奖励分布未知的回合制MDP在线强化学习问题，提出基于乐观思想与线性规划的高效模型算法，在高概率下实现更紧的遗憾界并降低计算成本。
2024-03-11 cs.LG cs.SY eess.SY
Bridging Distributional and Risk-sensitive Reinforcement Learning with Provable Regret Bounds
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文研究风险敏感强化学习的遗憾保证，利用熵风险度量的独立性构建分布式动态规划框架，提出无模型与基于模型的 DRL 算法，并给出匹配上界、高效变体及更紧下界。
2024-01-25 cs.AI cs.LG stat.ML
Accelerating Optimization via Adaptive Prediction
Courant Institute（柯朗研究所）；Google（谷歌）
我们提出了一个强大的通用框架，用于设计数据相关的优化算法，建立在自适应正则化，乐观梯度预测和问题相关的随机化的基础上，并统一了最近的技术。我们首先提出了一系列新的遗憾保证，在任何时候，并在非常小的假设下，然后显示不同的放松恢复现有的算法，无论是基本的，以及最近复杂的。最后，我们展示了如何结合自适应性，乐观主义和问题相关的随机化可以指导算法的设计，这些算法比最近的最先进的方法更有利于保证。
2015-10-13 cs.LG stat.ML
Foundations of Reinforcement Learning and Interactive Decision Making
MIT（麻省理工学院）
本专著从统计视角统一阐述交互式决策，提出估计到决策原则与决策估计系数，将监督学习转化为决策算法，并分析问题复杂度，覆盖从多臂老虎机到强化学习的完整框架。
2026-09-28 cs.LG math.OC math.ST
