This paper presents a new model-free algorithm for episodic finite-horizon Markov Decision Processes (MDP), Adaptive Multi-step Bootstrap (AMB), which enjoys a stronger gap-dependent regret bound. The first innovation is to estimate the optimal $Q$-function by combining an optimistic bootstrap with an adaptive multi-step Monte Carlo rollout. The second innovation is to select the action with the largest confidence interval length among admissible actions that are not dominated by any other actions. We show when each state has a unique optimal action, AMB achieves a gap-dependent regret bound that only scales with the sum of the inverse of the sub-optimality gaps. In contrast, Simchowitz and Jamieson (2019) showed all upper-confidence-bound (UCB) algorithms suffer an additional $Ω\left(\frac{S}{Δ_{min}}\right)$ regret due to over-exploration where $Δ_{min}$ is the minimum sub-optimality gap and $S$ is the number of states. We further show that for general MDPs, AMB suffers an additional $\frac{|Z_{mul}|}{Δ_{min}}$ regret, where $Z_{mul}$ is the set of state-action pairs $(s,a)$'s satisfying $a$ is a non-unique optimal action for $s$. We complement our upper bound with a lower bound showing the dependency on $\frac{|Z_{mul}|}{Δ_{min}}$ is unavoidable for any consistent algorithm. This lower bound also implies a separation between reinforcement learning and contextual bandits.
A Unified Algorithmic Framework for Hybrid Reinforcement Learning in Tabular MDPs with Shifted Transition Dynamics
Southern University of Science and Technology（南方科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）；Fudan University（复旦大学）；Shanghai Academy of AI for Science（上海人工智能研究院）
Is Pure Exploitation Sufficient in Exogenous MDPs with Linear Function Approximation?
Department of Informatics, King’s College London（伦敦国王学院信息学院）；Independent Researcher（独立研究者）；Department of Industrial Engineering and Management Sciences, Northwestern University（西北大学工业工程与管理科学系）；The Alan Turing Institute（艾伦·图灵研究所）
Q-learning for Quantile MDPs: A Decomposition, Performance, and Convergence Analysis
University of New Hampshire（新罕布什尔大学）；HEC Montréal（蒙特利尔高等商学院）；GERAD（GERAD（蒙特利尔管理科学研究组））；MILA - Quebec AI Institute（魁北克人工智能研究所（MILA））；Université de Montréal（蒙特利尔大学）；Amazon AGI（亚马逊通用人工智能部门）
Near-Optimal Regret in Linear MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；University of Southern California（南加州大学）；Amazon Science（亚马逊科学）；Google Research（谷歌研究院）
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University（斯坦福大学）
为了在不确定性下做出好的决策，智能体必须从观察中学习。要做到这一点，两个最常见的框架是上下文强盗和马尔可夫决策过程（MDP）。在本文中，我们研究是否存在算法的更一般的框架（MDP），自动提供最佳的性能界限的具体问题在手，无需用户干预，无需修改算法。特别是，它被发现，最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语，如果部署在一个表格上下文强盗问题，尽管代理不可知这样的设置。
Model-based Bootstrap for Offline Policy Evaluation in Tabular Reinforcement Learning
Southern University of Science and Technology（南方科技大学）；East China Normal University（华东师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Loop Area Institute（深圳河套学院）
Provably Efficient RL under Episode-Wise Safety in Constrained MDPs with Linear Function Approximation
The University of Tokyo（东京大学）；New Jersey Institute of Technology（新泽西理工学院）；OMRON SINIC X（欧姆龙SINIC X）；NexaScience；Kyoto University（京都大学）；Institute of Science Tokyo（东京科学大学）；DENSO IT Laboratory（电装IT实验室）
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
A Reduction-based Framework for Sequential Decision Making with Delayed Feedback
Center for Data Science, Peking University（北京大学数据科学中心）；Zhejiang Lab（之江实验室）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
Global Convergence of Average Reward Constrained MDPs with Neural Critic and General Policy Parameterization
Department of Computer Science University of Maryland College Park（计算机科学系大学马里兰大学学院公园）；Indian Institute of Technology, Kanpur（印度理工学院坎浦尔）；Department of Electrical Engineering Indian Institute of Technology, Kanpur（电气工程系印度理工学院坎浦尔）；Department of Industrial Engineering Purdue University West Lafayette（工业工程系普渡大学威斯康星拉法叶）
Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）；University of Technology Sydney（悉尼科技大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
Policy Optimization in Adversarial MDPs: Improved Exploration via Dilated Bonuses
University of Southern California（南加州大学）
策略优化是强化学习中广泛使用的一种方法。然而，由于其局部搜索性质，全局最优性的理论保证通常依赖于马尔可夫决策过程（MDP）的额外假设，这些假设绕过了全局探索的挑战。为了消除这种假设的需要，在这项工作中，我们开发了一个通用的解决方案，增加了扩张奖金的政策更新，以促进全球探索。为了展示这种技术的力量和通用性，我们将其应用于几个具有对抗性损失和强盗反馈的情景MDP设置，改进和推广了最先进的技术。具体来说，在表格中，我们获得了$\widetilde{\mathcal{O}}(\sqrt{T})$后悔，其中$T$是情节的数量，改进了Shani et al.（2020）约束的$\widetilde{\mathcal{O}}({T}^{2/3})$后悔。当状态数为无穷大时，假设状态-动作值在某些低维特征中是线性的，我们在模拟器的帮助下获得了$\widetilde{\mathcal{O}}({T}^{2/3})$遗憾，与Neu和Olkhovskaya（2020）的结果相匹配，同时重要的是消除了他们的算法所需的探索性策略的需要。当模拟器不可用时，我们进一步考虑线性MDP设置，并获得$\widetilde{\mathcal{O}}({T}^{14/15})$遗憾，这是第一个结果的线性MDP对抗损失和强盗反馈。
On the Expressivity of Neural Networks for Deep Reinforcement Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Computer Science Department, Princeton University（普林斯顿大学计算机科学系）；Department of Computer Science and Statistics, Stanford University（斯坦福大学计算机科学与统计系）
Convergence of Policy Gradient for Entropy Regularized MDPs with Neural Network Approximation in the Mean-Field Regime
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）；Vega Protocol（维加协议）；The Alan Turing Institute（艾伦·图灵研究所）
研究了无限时域、连续状态和动作空间以及熵正则化马尔可夫决策过程（MDP）下策略梯度的整体收敛。我们考虑一个softmax政策（一个隐藏层）神经网络近似的平均场制度。在相关的平均场概率测度中增加了额外的熵正则化，并在2-Wasserstein度量中研究了相应的梯度流。我们表明，目标函数是增加沿梯度流。此外，我们证明了，如果正则化的平均场措施是足够的，梯度流指数快速收敛到唯一的固定的解决方案，这是唯一的最大化的正则化MDP目标。最后，我们研究了沿梯度流的值函数关于正则化参数和初始条件的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析，并扩展了Mei et al. 2020和Agarwal et al. 2020的开创性工作，这些工作量化了表格设置中熵正则化MDP的政策梯度的整体收敛率。
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
