Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning
ETH（苏黎世联邦理工学院）
在现实世界的任务中，强化学习（RL）代理经常会遇到在训练期间不存在的情况。为了确保可靠的性能，RL代理需要表现出对最坏情况的鲁棒性。强大的RL框架通过代理和对手之间的最坏情况优化来解决这一挑战。以前的鲁棒RL算法要么是样本效率低，缺乏鲁棒性保证，要么不能扩展到大问题。我们提出了鲁棒幻觉上置信RL（RH-UCRL）算法来可证明地解决这个问题，同时获得接近最佳的样本复杂度保证。RH-UCRL是一种基于基于模型的强化学习（MBRL）算法，它能有效区分认知和任意的不确定性，并在策略学习过程中有效探索代理和对手的决策空间。我们通过神经网络集成模型以及神经网络策略将RH-UCRL扩展到复杂任务。在实验中，我们证明了RH-UCRL在各种对抗环境中优于其他强大的深度RL算法。
2021-03-18 cs.AI cs.LG stat.ML
Reinforcement Learning for Non-Stationary Markov Decision Processes: The Blessing of (More) Optimism
National University of Singapore（新加坡国立大学）
我们考虑了漂移非平稳性下马尔可夫决策过程（MDP）中的非折扣强化学习（RL），即，只要由适当的度量量化的它们各自的总变化不超过某些变化预算，就允许回报和状态转换分布随时间演变。首先提出了基于置信度加宽的强化学习滑动窗口置信度上界（SWUCRL 2-CW）算法，并在已知变量预算的情况下建立了其动态后悔界.此外，我们提出了Bandit-over-强化学习（BORL）算法来自适应地调整SWUCRL 2-CW算法，以实现相同的动态遗憾界，但以无参数的方式，即，而不知道变化预算。值得注意的是，通过传统的乐观探索技术学习非平稳MDP提出了一个独特的挑战，在现有的（非平稳）的强盗学习设置。我们克服了一种新的信心扩大技术，结合额外的乐观的挑战。
2020-06-24 cs.LG stat.ML
Pitfall of Optimism: Distributional Reinforcement Learning by Randomizing Risk Criterion
Seoul National University（首尔国立大学）；Hodoo AI Labs（Hodoo人工智能实验室）；Chung-Ang University（中央大学）
本文针对分布强化学习中乐观探索易导致有偏数据收集的问题，提出通过随机化风险准则选择动作的新算法，并证明其收敛性与最优性，在 Atari 55 款游戏等环境中取得优于现有分布算法的性能。
2023-12-05 cs.AI cs.LG
Optimism as Risk-Seeking in Multi-Agent Reinforcement Learning
Laboratory for Information & Decision Systems, Massachusetts Institute of Technology（信息与决策系统实验室，麻省理工学院）；Harvard University（哈佛大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对协作式多智能体强化学习中风险规避导致次优均衡的问题，基于凸风险度量对偶表示提出原则性框架，将风险寻求目标解释为乐观主义，推导策略梯度定理并开发去中心化算法，实证表明其持续改善协调。
2025-11-11 cs.LG cs.SY eess.SY
A Unifying View of Optimism in Episodic Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona Graduate School of Economics（巴塞罗那经济学研究生院）；Imperial College London（帝国理工学院）
面对不确定性时的乐观原则是许多理论上成功的强化学习算法的基础。在本文中，我们提供了一个通用的框架，设计，分析和实现这样的算法在情节强化学习问题。这个框架是建立在拉格朗日对偶，并证明了每一个模型乐观算法，构造一个乐观的MDP有一个等价的表示作为一个值乐观的动态规划算法。通常，人们认为这两类算法是不同的，模型乐观算法受益于更清晰的概率分析，而值乐观算法更容易实现，因此更实用。在本文中开发的框架，我们表明，它是可以得到最好的两个世界，通过提供一类算法，具有计算效率的动态编程实现，也是一个简单的概率分析。除了能够在表格设置中捕获许多现有的算法之外，我们的框架还可以在可实现的函数近似下解决大规模问题，其中它可以对最近提出的一些方法进行简单的基于模型的分析。
2020-07-03 cs.LG stat.ML
Addressing Optimism Bias in Sequence Modeling for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
基于Transformer神经网络架构的自然语言处理（NLP）的令人印象深刻的结果激发了研究人员探索将离线强化学习（RL）视为通用序列建模问题。最近的工作基于这种范式已经取得了国家的最先进的结果，在几个主要是确定性离线Atari和D4RL基准。然而，由于这些方法将国家和行动联合建模为单个排序问题，因此它们很难理清政策和世界动态对回报的影响。因此，在对抗或随机环境中，这些方法会导致过度乐观的行为，这在自动驾驶等安全关键系统中可能是危险的。在这项工作中，我们提出了一种方法，明确地解开政策和世界模型，这使我们能够在测试时搜索的政策，是强大的多个可能的未来的环境中解决这种乐观偏见。我们在模拟中展示了我们的方法在各种自动驾驶任务上的优越性能。
2022-07-21 cs.AI cs.LG cs.RO
Non-Stationary Reinforcement Learning: The Blessing of (More) Optimism
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑时间漂移下马尔可夫决策过程（MDP）中的非折扣强化学习（RL），即允许奖励和状态转移分布随时间推移而演变，只要它们各自的总变化，由合适的度量量化，不超过某些变化预算。该设置捕捉了顺序决策场景中的内隐性、外显性、不确定性和部分反馈，并在车辆再营销和实时竞价中得到应用。首先提出了基于置信度加宽的强化学习滑动窗口置信度上界（SWUCRL 2-CW）算法，并在已知变量预算的情况下建立了其动态后悔界.此外，我们提出了Bandit-over-强化学习（BORL）算法自适应调整SWUCRL 2-CW算法，以实现相同的动态遗憾界，但在一个参数的方式，即不知道的变化预算。最后，我们进行数值实验，以表明我们提出的算法实现优越的经验性能相比，现有的算法。值得注意的是，内生性和外生性之间的相互作用提出了一个独特的挑战，在现有的（静态和非静态）随机在线学习设置中不存在，当我们应用传统的乐观面对不确定性原则设计算法时，可以证明在漂移的MDP中RL的动态遗憾较低。我们克服了一种新的信心扩大技术，将额外的乐观到我们的学习算法，以确保低动态遗憾界限的挑战。为了扩展我们的理论研究结果，我们将我们的框架应用于库存控制问题，并演示了如何可以选择利用特殊结构的状态转移分布，以绕过探索时变环境中的困难。
2020-05-18 cs.LG stat.ML
Tactical Optimism and Pessimism for Deep Reinforcement Learning
Grenoble INP（格勒诺布尔国立理工学院）；Gatsby Unit, UCL（伦敦大学学院盖茨比研究组）；University of Oxford（牛津大学）；Microsoft Research（微软研究院）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；University of California, Berkeley（加州大学伯克利分校）
近年来，深度偏离策略的行动者-批评者算法已经成为连续控制强化学习的主要方法。这种改进性能的主要驱动因素之一是使用悲观值更新来解决函数近似错误，这在以前会导致令人失望的性能。然而，悲观主义的一个直接后果是减少了探索，这与乐观主义在不确定性面前的功效的理论支持背道而驰。那么，哪种方法最好呢？在这项工作中，我们表明，最有效的乐观程度可以在不同的任务和学习过程中有所不同。受此启发，我们引入了一个新的深度行动者-批评者框架，战术乐观和悲观（TOP）估计，它在线在乐观和悲观价值学习之间切换。这是通过将选择公式化为多臂强盗问题来实现的。我们在一系列连续控制任务中表明，TOP优于依赖于固定乐观度的现有方法，在具有挑战性的基于像素的环境中开创了一个新的艺术状态。由于我们的变化易于实现，我们相信这些见解可以很容易地融入到众多的非策略算法中。
2022-04-06 cs.LG
Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
本文研究了基于模型的非线性函数逼近的Bandit和强化学习（RL）。我们建议研究收敛到近似局部最大值，因为我们表明，即使对于具有确定性奖励的单层神经网络强盗，全局收敛在统计上也是难以处理的。对于非线性强盗和RL，本文提出了一种基于模型的算法，虚拟上升与在线模型学习器（ViOlin），可证明收敛到局部最大值的样本复杂性，只依赖于顺序Rademacher复杂性的模型类。我们的研究结果意味着新的全球或局部遗憾界几个具体的设置，如线性强盗有限或稀疏模型类，和两层神经网络强盗。一个关键的算法见解是，乐观可能会导致过度探索，即使是双层神经网络模型类。另一方面，为了收敛到局部最大值，如果模型还可以合理地预测实际收益的梯度和Hessian的大小，则足以最大化虚拟收益。
2022-08-02 cs.LG
Understanding Gap-Dependent Regret for Optimism-Based Reinforcement Learning with Linear Function Approximation
Department of Statistics, The Pennsylvania State University（统计学系，宾夕法尼亚州立大学）
本文提出了一种具有线性函数逼近的多智能体强化学习算法，通过改进的间隙依赖后悔界实现了高效的并行探索和加速。
2026-10-06 cs.LG stat.ML
DROP: Distributional and Regular Optimism and Pessimism for Reinforcement Learning
National Institute of Informatics (NII) and The Graduate University for Advanced Studies (SOKENDAI)（国家信息研究所（NII）和高级研究大学（SOKENDAI））
本文提出DROP模型，结合集合学习估计分布价值函数，通过乐观与悲观改进策略，在动态任务中表现出色，优于现有算法。
2026-04-08 cs.LG
Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提出了一个机器人基于模型的强化学习方法，结合模型识别和模型预测控制的想法。我们使用一个基于特征的动态表示，使动力学模型与一个简单的最小二乘程序，并从机器人的形态，包括其链接的数量和连接结构的高级别规格的功能被确定。然后，使用模型预测控制来选择在动态的乐观模型下的动作，这产生了有效的和目标导向的探索策略。我们提出了实时的的标准基准问题的实验结果，涉及摆，cartpole，和双摆系统。实验表明，我们的方法是能够学习一系列的基准任务大大快于以前的最佳方法。为了评估我们的方法在一个现实的机器人控制任务，我们还演示了实时的控制模拟7自由度的手臂。
2016-03-15 cs.LG cs.RO
Optimism and Delays in Episodic Reinforcement Learning
Imperial College London（帝国理工学院）
本文从理论角度研究了情景强化学习中延迟反馈的影响，提出了两种处理延迟的通用方法，并证明了对乐观算法类，遗憾会增加一个涉及状态数、动作数、情景长度、预期延迟和算法相关常数的附加项，最后通过实证验证了理论结果。
2023-04-06 cs.LG
Better Optimism By Bayes: Adaptive Planning with Rich Models
UCL（伦敦大学学院）
推理和规划的计算成本将贝叶斯基于模型的强化学习限制在两个悲惨的命运之一：强大的贝叶斯自适应规划，但仅适用于简单的模型，或者强大的贝叶斯非参数模型，但使用简单的短视规划策略，如汤普森采样。我们要问的是，将丰富的概率模型与更接近完全贝叶斯规划的近似值相结合是否可行，是否真正有益。首先，我们使用了一系列的反例来显示汤普森抽样固有的过度乐观的正式问题。然后，我们利用国家的最先进的技术，在有效的贝叶斯自适应规划和非参数贝叶斯方法进行定性优于现有的传统算法和汤普森采样的两个上下文土匪样的问题。
2014-02-09 cs.AI cs.LG stat.ML
Improved Regret Bound for Safe Reinforcement Learning via Tighter Cost Pessimism and Reward Optimism
KAIST（韩国科学技术院）；Stanford University（斯坦福大学）
针对安全强化学习，提出基于更紧成本悲观与奖励乐观的模型算法，在保证不违反约束的同时改进了遗憾上界，且在特定条件下几乎匹配遗憾下界。
2024-10-14 cs.LG math.OC
Reinforcement Learning for Markovian Bandits: Is Posterior Sampling more Scalable than Optimism?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Institute of Engineering Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学工程学院）
研究了带折扣的经典马尔可夫强盗问题的学习算法。我们解释了如何调整PSRL [24]和UCRL 2 [2]来利用问题结构。这些变体被称为MB-PSRL和MB-UCRL 2。虽然遗憾的界限和香草实现的PSRL和UCRL 2的时间是指数的强盗的数量，我们表明，情节的遗憾的MB-PSRL和MB-UCRL 2是$\tilde{O}(S\sqrt{nK})$其中$K$是情节的数量，$n$是强盗的数量和$S$是每个强盗的状态数（在S，n和K中的确切界限在本文中给出）。直到因子$\sqrt S$，这与我们在论文中也导出的$Ω(\sqrt{SnK})$的下限相匹配。MB-PSRL在计算上也是高效的：它的运行时间与强盗的数量成线性关系。我们进一步表明，这种线性运行时间不能通过适应经典的非贝叶斯算法，如UCRL 2或UCBVI马尔可夫强盗问题。最后，我们进行数值实验，证实MB-PSRL优于其他现有的算法在实践中，无论是在遗憾和计算时间。
2022-05-03 cs.AI cs.LG
The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits
Indiana University（印第安纳大学）；University of Alberta（阿尔伯塔大学）
随机线性土匪是一个自然和简单的推广有限武装土匪与许多实际应用。目前的方法侧重于推广现有的技术有限武装土匪，特别是乐观原则和汤普森抽样。虽然以前的工作大多是在最坏的情况下设置，我们分析了渐近依赖实例的遗憾，并显示匹配的上限和下限是什么可以实现的。令人惊讶的是，我们的研究结果表明，基于乐观或汤普森采样的算法都不会达到最佳速率，甚至在非常简单的情况下，也可以任意远离最佳速率。这是一个令人不安的结果，因为这些技术是广泛用于顺序优化的标准工具。例如，对于广义线性强盗和强化学习。
2016-10-14 cs.LG stat.ML
Optimistic Reinforcement Learning by Forward Kullback-Leibler Divergence Optimization
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
将强化学习（RL）中的传统优化方法解释为使用反向KL发散的优化问题，并推导出一种使用前向KL发散代替反向KL发散的优化方法。虽然强化学习最初的目标是通过优化策略间接地最大化收益，但Levine最近的工作提出了一个不同的推导过程，明确考虑了作为随机变量的最优性。本文遵循这一概念，将传统的价值函数和策略的学习律都表示为包含最优性的逆KL发散优化问题。针对KL散度的不对称性，导出了具有前向KL散度的新的优化问题。值得注意的是，这种新的优化问题可以被视为乐观RL。这种乐观情绪直观地由一个从不确定性参数转换而来的超参数来表示。此外，当它与优先经验重放和资格跟踪集成时，它可以得到增强，这两者都可以加速学习。这种预期的乐观的影响进行了研究，通过学习倾向的数值模拟使用Pybullet。结果，适度的乐观加速了学习，并带来了更高的回报。在一个现实的机器人仿真中，所提出的方法与适度的乐观优于国家的最先进的RL方法之一。
2022-04-22 cs.LG
Upper Counterfactual Confidence Bounds: a New Optimism Principle for Contextual Bandits
Columbia University（哥伦比亚大学）
针对现有乐观算法难处理通用函数类与大上下文空间的问题，提出在策略空间构建置信界的UCCB原则，可高效处理相关场景并拓展至无限动作上下文赌博机。
2024-03-09 cs.LG math.ST stat.ML
Optimism in the Face of Ambiguity Principle for Multi-Armed Bandits
EPFL（洛桑联邦理工学院）；University of Chicago（芝加哥大学）
针对FTRL计算复杂、FTPL分析繁琐的问题，提出基于模糊面前乐观原则的新FTPL算法，统一分析对抗与随机多臂老虎机并实现最优策略，计算效率提升至标准FTRL的10^4倍，泛化现有FTPL且涵盖FTRL特例。
2025-02-13 cs.LG stat.ML
Optimism in Face of a Context: Regret Guarantees for Stochastic Contextual MDP
Tel Aviv University（特拉维夫大学）；Google Research, Tel Aviv（谷歌研究（特拉维夫））
我们提出了遗憾最小化算法随机上下文MDP最小可达性假设下，使用离线最小二乘回归预言机。我们分析了三种不同的设置：其中的动态是已知的，其中的动态是未知的，但独立的上下文和最具挑战性的设置，其中的动态是未知的和上下文相关的。对于后者，我们的算法得到了遗憾界的$\widetilde{O}( (H+{1}/{p_{min}})H|S|^{3/2}\sqrt{|A|T\log(\max\{|\mathcal{G}|,|\mathcal{P}|\}/δ)})$概率$1-δ$，其中$\mathcal{P}$和$\mathcal{G}$是有限的和可实现的功能类，分别用于近似的动力学和奖励，$p_{min}$是最小可达性参数，$S$是一组状态，$A$的动作集，$H$的地平线，$T$的情节数。据我们所知，我们的方法是第一个应用于具有一般函数近似的上下文MDP的乐观方法（即，而不需要关于函数类的附加知识，例如它是线性的等等）。我们提出了一个下界的$Ω(\sqrt{T H |S| |A| \ln(|\mathcal{G}|)/\ln(|A|)})$，预期的遗憾，即使在已知的动态的情况下。最后，我们讨论了我们的结果的CMDPs没有最低可达性，获得$\widetilde{O}(T^{3/4})$遗憾的扩展。
2023-01-22 cs.LG
(More) Efficient Reinforcement Learning via Posterior Sampling
Stanford University（斯坦福大学）
大多数被证明有效的学习算法都对不理解的状态和行为引入了乐观态度，以鼓励探索。我们研究了一种有效探索的替代方法，后验采样强化学习（PSRL）。该算法在已知持续时间的重复发作中进行。在每个事件开始时，PSRL更新马尔可夫决策过程的先验分布，并从该后验中抽取一个样本。PSRL然后遵循的政策，这是最佳的这个样本在情节。该算法概念简单，计算效率高，并允许代理以自然的方式编码先验知识。我们建立了一个$\tilde{O}(τS \sqrt{AT})$的预期遗憾，其中$T$是时间，$τ$是情节长度和$S$和$A$是状态和动作空间的基数。这个界限是第一个不基于乐观的算法之一，并且接近任何强化学习算法的最新技术水平。我们通过仿真表明，PSRL显着优于现有的算法具有类似的遗憾界。
2013-12-26 cs.LG stat.ML
Beyond Optimism: Exploration With Partially Observable Rewards
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
针对部分可观测奖励下乐观探索失效问题，提出保证收敛至最优策略的新探索方法，并构建表格环境验证其优于现有方法。
2024-11-09 cs.LG
Exploration in Model-based Reinforcement Learning with Randomized Reward
Baidu Research（百度研究院）
基于模型的强化学习（MBRL）由于其样本效率而被广泛采用。然而，现有的最坏情况下的遗憾分析通常需要乐观的规划，这是不现实的。与此相反，在理论的激励下，实证研究利用集成的模型，实现了国家的最先进的性能在各种测试环境。这种理论和实证研究之间的偏差使我们质疑随机模型集成是否保证乐观，从而保证最佳的最坏情况下的遗憾？本文从MBRL中一个很少探索的方向--奖励随机化的角度部分回答了这个问题。我们发现，在核化线性调节器（KNR）模型下，奖励随机化保证了部分乐观，这进一步产生了一个接近最优的最坏情况下的遗憾的相互作用的数量。我们进一步扩展我们的理论，以广义函数逼近和奖励随机化，以达到可证明有效的探索确定的条件。相应地，我们提出了有效的奖励随机化的具体例子。据我们所知，我们的分析建立了第一个最坏情况下的后悔分析随机MBRL函数逼近。
2023-01-09 cs.LG stat.ML
The Tilted Sampling Problem: Optimism, Posterior Sampling, and Logarithmic Regret
Mila – Québec AI Institute, McGill University（米拉-魁北克人工智能研究所，麦吉尔大学）
针对倾斜采样问题，研究目标是从未知奖励函数诱导的吉布斯分布中采样，定义了采样遗憾并提出通用遗憾框架，开发了UCB和汤普森采样的采样模拟算法，得到对数级采样遗憾的结果，区分了软最优分布采样与硬最优识别的学习任务。
2026-10-16 cs.LG math.OC stat.ML
DOPE: Doubly Optimistic and Pessimistic Exploration for Safe Reinforcement Learning
Texas A&M University（得克萨斯农工大学）
安全的强化学习是极具挑战性的--不仅必须让智能体探索未知的环境，还必须确保没有违反安全约束。我们制定这个安全的强化学习（RL）问题使用的框架有限时域约束马尔可夫决策过程（CMDP）与未知的转移概率函数，在那里我们建模的安全要求的约束，必须满足在所有的学习情节的预期累积成本。我们提出了一个基于模型的安全RL算法，我们称之为双重乐观和悲观的探索（DOPE），并表明它实现了一个客观的遗憾$\tilde{O}(|\mathcal{S}|\sqrt{|\mathcal{A}| K})$，而不违反学习过程中的安全约束，其中$|\mathcal{S}|$是状态的数量，$|\mathcal{A}|$是行动的数量，和$K$是学习情节的数量。我们的主要思想是结合奖励奖金的探索（乐观）与保守的约束（悲观），除了标准的乐观模型为基础的探索。DOPE不仅能够提高客观后悔界限，而且与早期的乐观-悲观方法相比，还显示出显着的实证性能改善。
2022-10-18 cs.AI cs.LG
Optimistic Risk Perception in the Temporal Difference error Explains the Relation between Risk-taking, Gambling, Sensation-seeking and Low Fear
Delft University of Technology（代尔夫特理工大学）
了解冒险所涉及的情感、认知和行为过程对于治疗和设定环境条件以限制损害至关重要。利用时间差强化学习（TDRL），我们通过计算研究了乐观在各种目标导向任务中对风险感知的影响。通过改变时间差误差的计算来研究风险感知中的乐观，即，德尔塔，在三个方面：现实（stochemical正确），乐观（假设行动控制）和过于乐观（假设结果控制）。我们发现，对于赌博任务的个人与“健康”的控制知觉，即，行动乐观，不发展赌博行为，而具有“不健康”控制感的人，即，结果乐观，做。我们发现，高强度的感觉和低水平的恐惧共同发生，由于乐观的风险感知。我们发现，过度乐观的风险感知（结果乐观）导致冒险和持续的赌博行为，除了高强度的感觉。我们讨论了我们的研究结果如何复制冒险相关的现象。
2015-02-03 cs.LG q-bio.NC
Online Regret Bounds for Undiscounted Continuous Reinforcement Learning
Montanuniversitaet Leoben（莱奥本矿业大学）；INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
在连续状态空间中，我们得到了非折扣强化学习的次线性后悔界。该算法结合了状态聚合与使用置信上界实现乐观面对不确定性。除了存在满足泊松方程的最优策略外，唯一的假设是报酬和转移概率的Holder连续性。
2013-02-11 cs.LG
QUOTA: The Quantile Option Architecture for Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Auburn University（奥本大学）
在本文中，我们提出了分位数选项架构（QUOTA）的基础上探索分布式强化学习（RL）的最新进展。在QUOTA中，决策是基于价值分布的分位数，而不仅仅是平均值。QUOTA通过同时利用价值分布的乐观和悲观，为探索提供了一个新的维度。我们展示了QUOTA在具有挑战性的视频游戏和物理机器人模拟器中的性能优势。
2018-11-07 cs.AI cs.LG
OVD-Explorer: Optimism Should Not Be the Sole Pursuit of Exploration in Noisy Environments
Tianjin University（天津大学）；Shanghai AI Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；SADRI Institute（SADRI研究所）
针对噪声环境中纯乐观探索导致过度探测高噪声区域的问题，提出OVD-Explorer，通过噪声感知的乐观探索度量与梯度上升驱动，提升连续控制任务的探索效率，并在MuJoCo和GridChaos上验证其优越性。
2023-12-20 cs.LG
Improving Actor-Critic Training with Steerable Action-Value Approximation Errors
Department of Mathematics（数学系）；Computer Science University of Southern Denmark（计算机科学大学）
针对离策略actor-critic算法中悲观与乐观的权衡问题，提出Utility Soft Actor-Critic（USAC）框架，可独立调控actor和critic的悲观与乐观程度，实验显示合理配置下其性能持续优于现有先进算法。
2025-08-20 cs.LG stat.ML
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Efficient Model-Based Reinforcement Learning Through Optimistic Thompson Sampling
University of Cambridge（剑桥大学）；Karolinska Institutet（卡罗林斯卡学院）
本文提出一种基于汤普森采样的乐观探索方法，首次支持对转移与奖励联合不确定性建模，并在 MuJoCo 和 VMAS 任务中证明其能显著加速稀疏奖励和难探索环境下的学习。
2025-03-10 cs.LG cs.RO
Wasserstein Actor-Critic: Directed Exploration via Optimism for Continuous-Actions Control
University of Bologna（博洛尼亚大学）；Politecnico di Milano（米兰理工大学）
在强化学习（RL）中，不确定性量化作为一种有效的有向探索方法被广泛应用。然而，用于连续动作的最先进的方法仍然受到高样本复杂性要求的困扰。事实上，他们要么完全缺乏在整个更新过程中传播认知不确定性的策略，要么在学习完整的回报分布时将其与任意不确定性混合在一起（例如，分布式RL）。在本文中，我们提出了Wasserstein演员批评（WAC），演员批评架构的灵感来自最近的Wasserstein Q学习（WQL）\citep{wql}，采用近似Q后验表示认知的不确定性和Wasserstein重心的不确定性传播的状态-动作空间。WAC通过优化Q值估计的上限来指导策略学习过程，从而以原则性的方式强制执行探索。此外，我们研究了一些特殊的问题时，使用函数逼近，加上不确定性估计，并提出了正则化损失的不确定性估计。最后，我们评估我们的算法在标准的MujoCo任务，以及一套连续的动作域，探索是至关重要的，与国家的最先进的基线相比。
2023-03-04 cs.AI cs.LG
Imagination-Limited Q-Learning for Offline Reinforcement Learning
East China Normal University（华东师范大学）；Fudan University（复旦大学）
针对离线强化学习中分布外动作价值估计过乐观的问题，提出想象受限Q学习方法，通过动力学模型想象并裁剪OOD动作价值，在理论上证明收敛性与误差界特性，在D4RL基准上取得最优性能。
2025-05-18 cs.AI cs.LG
The Impatient May Use Limited Optimism to Minimize Regret
University of Oxford（牛津大学）；University of Antwerp（安特卫普大学）；Université libre de Bruxelles（布鲁塞尔自由大学）
折扣和游戏为强化学习的研究提供了一个正式的模型，其中代理被诱使提前获得奖励，因为后来的奖励被打折。当智能体与环境交互时，她可能会后悔自己的行为，意识到之前的选择在环境行为下是次优的。本文的主要贡献是一个PSPACE算法计算一个给定的游戏的最小可能的遗憾。为此，几个结果的独立利益。(1)我们确定了一类后悔最小化和可接受的策略，首先假设环境是合作的，然后假设它是敌对的-开关的精确时间是关键。(2)不考虑数值分析的计算成本，我们提供了一个NP算法，检查所带来的一个给定的时间切换策略的遗憾超过一个给定的值。(3)我们表明，确定一个策略是否最大限度地减少遗憾是可决定的PSPACE。
2018-11-17 cs.AI cs.FL cs.GT
Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
提出一种基于轨迹采样的模型强化学习方法，通过概率安全约束及分离认知与偶然不确定性来平衡乐观与悲观，有效管理风险，在不确定及安全关键的控制环境中表现优异。
2023-09-11 cs.AI cs.LG cs.RO
More Benefits of Being Distributional: Second-Order Bounds for Reinforcement Learning
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
本文证明了分布式强化学习在一般在线和离线设定下能获得二阶界限，首次为低秩MDP和离线RL提供此类保证，并在上下文老虎机中通过乐观算法同时实现二阶最坏情况与间隙依赖遗憾界限，凸显了DistRL的简单性与优势。
2024-02-11 cs.LG
Evolving Robustness--Exploration Trade-off in Online Reinforcement Learning via Quantile Bayesian Risk MDPs
School of Industrial and Systems Engineering（工业与系统工程系）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于分位数贝叶斯风险MDP的自适应算法，通过动态调整分位数水平来平衡早期鲁棒性与后期探索，并证明了亚线性贝叶斯遗憾界。
2026-05-23 cs.LG
Active Reinforcement Learning with Monte-Carlo Tree Search
University of Oxford（牛津大学）
主动强化学习（ARL）是强化学习的一种扭曲，其中代理只有在支付成本时才会观察奖励信息。这种微妙的变化使探索更具挑战性。强化学习中强大的原则，如乐观主义、汤普森抽样和随机探索，对ARL没有帮助。我们将表格环境中的ARL与贝叶斯自适应MDP相关联。我们提供了一个ARL算法，使用蒙特卡罗树搜索是渐近贝叶斯最优的。实验表明，该算法在小Bandit问题和MDP上是近最优的。在更大的MDP上，它的表现优于用ARL的专门算法增强的Q学习器。通过详细分析探索行为，我们发现了扩大基于模拟的算法ARL的障碍。
2018-03-26 cs.LG stat.ML
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
A Reductions Approach to Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents
Cornell University（康奈尔大学）；Netflix（网飞公司）
本文提出两种元算法，通过归约方法将风险中性强化学习算法应用于增强MDP，以优化OCE风险度量，并在复杂MDP中建立新界限，实验证明能学习最优历史依赖策略。
2025-02-28 cs.LG
Opportunistic Episodic Reinforcement Learning
University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究机会主义强化学习-一个新的变种强化学习问题的遗憾选择一个次优的行动变化下的外部环境条件称为变化因素。当变异因子较低时，选择次优行为的后悔也较低，反之亦然。我们的直觉是，当变异系数高时，我们应该更多地开发，当变异系数低时，我们应该更多地开发。我们证明了这种新的框架有限的地平线情节MDP的设计和评估OppUCRL 2和OppPSRL算法的好处。我们的算法通过引入变异因子依赖的乐观来指导探索，动态地平衡了强化学习的探索-利用权衡。我们建立了OppUCRL 2算法的$\tilde{O}(HS \sqrt{AT})$遗憾界，并通过仿真证明了OppUCRL 2和OppPSRL算法的性能都优于它们原来的相应算法.
2022-10-24 cs.AI cs.LG
Optimistic Agents are Asymptotically Optimal
Research School of Computer Science（计算机科学研究学院）；Australian National University（澳大利亚国立大学）
我们使用乐观引入通用渐近最优强化学习代理。他们实现，与任意有限或紧凑类的环境，渐近最优的行为。此外，在有限确定性的情况下，我们提供有限的误差界。
2012-09-29 cs.AI cs.LG
Private Reinforcement Learning with PAC and Regret Guarantees
University of Minnesota（明尼苏达大学）；DeepMind；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
受个性化医疗等用户信息固有敏感的高风险决策领域的激励，我们设计了用于情景强化学习（RL）的隐私保护探索策略。我们首先使用联合差分隐私（JDP）的概念提供一个有意义的隐私公式--差分隐私的一个强变体，用于每个用户接收他们自己的输出集的设置（例如，政策建议）。然后，我们开发了一个私人的基于乐观主义的学习算法，同时实现强大的PAC和遗憾的界限，并享有JDP保证。我们的算法只支付一个适度的隐私成本的探索：在比较非私人的界限，隐私参数只出现在较低的顺序。最后，我们提出了样本的复杂性和遗憾的强化学习服从JDP的下限。
2020-09-18 cs.CR cs.LG stat.ML
Efficient Model-free Reinforcement Learning in Metric Spaces
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
无模型强化学习（RL）算法（如Q学习[Watkins，Dayan 92]）已被广泛用于实践，并且可以在视频游戏等应用中实现人类水平的性能[Mnih等人15]。最近，配备了面对不确定性的乐观主义的想法，Q-学习算法[Jin，Allen-Zhu，Bubeck，Jordan 18]可以被证明是样本有效的离散表格马尔可夫决策过程（MDP），具有有限数量的状态和动作。在这项工作中，我们提出了一个有效的无模型的Q-学习为基础的算法在MDP的状态-动作空间上的自然度量-从而扩展有效的无模型的Q-学习算法连续状态-动作空间。与以前基于模型的度量空间RL算法[Kakade，Kearns，Langford 03]相比，我们的算法不需要访问黑盒规划预言机。
2019-05-01 cs.LG stat.ML
Conditionally Optimistic Exploration for Cooperative Deep Multi-Agent Reinforcement Learning
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；École Polytechnique de Montréal（蒙特利尔综合理工学院）；University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）；Université de Montréal（蒙特利尔大学）
本文提出 COE，将合作式 MARL 建模为顺序树搜索，并利用基于全局状态与前驱智能体联合动作访问计数的条件乐观奖励，在困难探索任务上超过现有探索方法。
2023-07-14 cs.LG cs.MA
Provable Hierarchy-Based Meta-Reinforcement Learning
Princeton University（普林斯顿大学）
分层强化学习（HRL）作为一种复杂模块化行为的易处理学习方法受到了广泛的关注。然而，现有的工作要么假设访问专家构造的层次结构，或使用层次学习算法，没有可证明的保证。为了解决这一差距，我们分析了元RL设置中的HRL，其中学习者在元训练期间学习潜在的层次结构，用于下游任务。我们考虑一个表格设置，自然的层次结构嵌入在过渡动态。类似于有监督的元学习理论，我们提供了“多样性条件”，连同一个易于处理的基于乐观主义的算法，保证样本有效的恢复这个自然的层次结构。此外，我们提供了后悔界限上的学习者使用恢复的层次结构来解决元测试任务。我们的界限纳入了HRL文献中的常见概念，如时间和状态/动作抽象，这表明我们的设置和分析在实践中捕捉到了HRL的重要特征。
2021-10-18 cs.LG stat.ML
Policy Certificates: Towards Accountable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
由于探索，强化学习算法的性能在学习期间可能会发生巨大变化。现有的算法在执行策略之前几乎没有提供有关其当前策略质量的信息，因此在医疗保健等高风险应用中的使用有限。我们建议算法输出政策证书来解决这种缺乏问责制的问题。这些证书约束了下一个事件中策略的次优性和回报，允许人类在认证质量不满意时进行干预。我们进一步介绍了两个新的算法与证书，并提出了一个新的理论分析框架，保证他们的政策和证书的质量。对于表格MDPs，我们表明，计算证书，甚至可以提高样本效率的优化为基础的探索。因此，我们的算法之一是第一个实现最小最优PAC边界的低阶条款，该算法也匹配（并在某些设置略有改善）现有的最小最大遗憾的界限。
2019-05-27 cs.AI cs.LG stat.ML
Sequential Information Design: Markov Persuasion Process and Its Efficient Reinforcement Learning
Yale University（耶鲁大学）；University of Virginia（弗吉尼亚大学）；University of Science and Technology of China（中国科学技术大学）；Google（谷歌）；Northwestern University（西北大学）
在当今经济中，互联网平台考虑顺序信息设计问题以使其长期利益与gig服务提供商的激励相一致变得重要。本文提出了一种新的模型，顺序信息设计，即马尔可夫说服过程（MPPs），发送者，具有信息优势，试图说服流近视接收者采取行动，最大限度地提高发送者的累积效用在有限时域马尔可夫环境中，具有不同的先验和效用函数。因此，在MPP规划面临着独特的挑战，在寻找一个信令策略，同时具有说服力的近视的接收器，并诱导发送器的最佳长期累积效用。然而，在模型已知的总体水平上，事实证明，我们可以有效地确定最优（分别为）。$ε$ -最佳）策略，具有有限（分别无限的）状态和结果，通过修改公式的贝尔曼方程。我们的主要技术贡献是研究在线强化学习（RL）设置下的MPP，其目标是通过与底层MPP交互来学习最优信令策略，而无需知道发送方的效用函数，先验分布和马尔可夫转移核。我们设计了一个可证明有效的无遗憾学习算法，说服过程的乐观-悲观原则（OP 4），它具有乐观和悲观原则的新颖组合。我们的算法通过实现次线性$\sqrt{T}$ -遗憾上界而享有样本效率。此外，我们的算法和理论都可以通过函数逼近应用于具有大空间结果和状态的MPP，并且我们在线性设置下展示了这样的成功。
2022-02-22 cs.AI cs.GT cs.LG
Near-optimal Policy Identification in Active Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
许多现实世界的强化学习任务需要控制复杂的动态系统，这些系统涉及昂贵的数据采集过程和大型状态空间。在可以容易地在指定状态（例如，通过模拟器），代理可以在通常被称为利用\emph{generative model}的规划中操作。我们提出了AE-LSVI算法的最佳策略识别，一个新的变种的核化最小二乘值迭代（LSVI）算法，结合积极探索（AE）的乐观与悲观。AE-LSVI可证明地在整个状态空间上识别接近最优的策略\emph{uniformly}，并实现与状态数无关的多项式样本复杂度保证。当专门为最近推出的离线上下文贝叶斯优化设置，我们的算法实现了改进的样本复杂度界限。实验上，我们证明了AE-LSVI优于其他RL算法在各种环境中的鲁棒性的初始状态是必需的。
2022-12-19 cs.AI cs.LG stat.ML
Balancing optimism and pessimism in offline-to-online learning
HEC Paris（巴黎高等商学院）；University of Alberta（阿尔伯塔大学）；Deepmind London（伦敦深度思维公司）
本文研究离线到在线学习中的策略选择困境，提出一种新算法，使学习者在任何时间点的表现几乎与悲观策略LCB和乐观策略UCB中较好者相当，实现从短期悲观到长期乐观的平滑过渡。
2025-03-10 cs.AI cs.LG
Linear Bellman Completeness Suffices for Efficient Online Reinforcement Learning with Few Actions
MIT（麻省理工学院）
针对线性函数逼近的在线强化学习中Bellman完备性下现有统计算法需解非凸优化、缺乏计算高效方法的问题，本文首次提出动作数为任意常数时满足线性Bellman完备性的多项式时间RL算法。
2024-06-18 cs.AI cs.LG stat.ML
Information-Based Exploration via Random Features for Reinforcement Learning
研究如何在强化学习中进行信息探索，提出基于贝叶斯核方法理论的随机特征信息增益（RFIG），用随机傅里叶特征近似信息增益，给出误差界并避免黑箱问题，实践细节使其可扩展到深度RL场景，实验显示其性能有竞争力且理论解释优。
2026-07-21 cs.LG
