Q-learning (QL), a common reinforcement learning algorithm, suffers from over-estimation bias due to the maximization term in the optimal Bellman operator. This bias may lead to sub-optimal behavior. Double-Q-learning tackles this issue by utilizing two estimators, yet results in an under-estimation bias. Similar to over-estimation in Q-learning, in certain scenarios, the under-estimation bias may degrade performance. In this work, we introduce a new bias-reduced algorithm called Ensemble Bootstrapped Q-Learning (EBQL), a natural extension of Double-Q-learning to ensembles. We analyze our method both theoretically and empirically. Theoretically, we prove that EBQL-like updates yield lower MSE when estimating the maximal mean of a set of independent random variables. Empirically, we show that there exist domains where both over and under-estimation result in sub-optimal performance. Finally, We demonstrate the superior performance of a deep RL variant of EBQL over other deep QL algorithms for a suite of ATARI games.
Approximate Policy Iteration with a Policy Language Bias: Solving Relational Markov Decision Processes
School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
Model-Value Inconsistency as a Signal for Epistemic Uncertainty
DeepMind（深度思维）；University of Oxford（牛津大学）
使用环境模型和价值函数，智能体可以通过将模型展开不同的长度并使用其价值函数进行自举来构建状态值的许多估计。我们的主要观点是，可以将这组值估计视为一种集成，我们称之为\emph{implicit value ensemble}（IVE）。因此，这些估计之间的差异可以用作代理的认知不确定性;我们将此信号称为\emph{model-value inconsistency}或\emph{self-inconsistency}。与通过训练许多模型和/或价值函数的集合来估计不确定性的现有工作不同，这种方法仅需要在大多数基于基于模型的强化学习算法中已经学习的单个模型和价值函数。我们提供了经验证据，在表格和函数近似设置从像素的自我不一致性是有用的（i）作为一个信号的探索，（ii）安全地采取行动下分布偏移，和（iii）鲁棒基于值的规划与学习模型。
SENTINEL: Taming Uncertainty with Ensemble-based Distributional Reinforcement Learning
Zenseact AB（Zenseact公司）；Chalmers University of Technology（查尔姆斯理工大学）；Scool INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧洲Scool团队）；CRIStAL, CNRS（法国国家科学研究中心CRIStAL实验室）；University of Neuchatel（纳沙泰尔大学）；University of Oslo（奥斯陆大学）
Uncertainty Calibration for Ensemble-Based Debiasing Methods
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）；Institute for AI Industry Research, Tsinghua University（清华大学智能产业研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests
Operations Research Center Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Sloan School of Management Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）
Greedy Gradient Ensemble for Robust Visual Question Answering
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Kingsoft Cloud（金山云）；Peng Cheng Laboratory（鹏城实验室）；Huawei Technologies（华为技术有限公司）
Reducing Bias and Variance: Generative Semantic Guidance and Bi-Layer Ensemble for Image Clustering
Institute of Big Data Science and Industry（大数据科学与产业研究院）；Key Laboratory of Evolutionary Science Intelligence of Shanxi Province（山西省进化智能科学重点实验室）；School of Artificial Intelligence, Shanxi University（山西大学人工智能学院）
Isomorphic Functionalities between Ant Colony and Ensemble Learning: Part II-On the Strength of Weak Learnability and the Boosting Paradigm
School of Mathematics and Statistics, Rochester Institute of Technology（罗彻斯特理工学院数学与统计学院）；Gosnell School of Life Sciences, Rochester Institute of Technology（罗彻斯特理工学院戈斯内尔生命科学学院）；Center for Imaging Science, Rochester Institute of Technology（罗彻斯特理工学院成像科学中心）
Short-term Load Forecasting Based on Hybrid Strategy Using Warm-start Gradient Tree Boosting
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出了一种基于深度学习的短期负荷预测混合策略。该策略提出了一种新的基于树的集成方法Warm-start Gradient Tree Boosting（WGTB）。目前的策略要么是单一类型的集成子模型，无法利用不同推理模型的统计优势。或者他们只是简单地将完全不同的推理模型的输出相加，这并不能最大限度地发挥集成的潜力。受偏差-方差权衡的启发，WGTB被提出，并针对不同推理模型在准确性、波动性和线性度上的巨大差异而定制。完整的策略整合了四种不同能力的推理模型。然后，WGTB通过热启动以及装袋和提升的混合来集成它们的输出，从而同时降低偏差和方差。在国家电网公司的两个小时分辨率的实际数据集上进行了验证。结果表明，所提出的策略的有效性，杂交的低偏差和低方差推理模型的统计优势。
Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；New York University（纽约大学）；Princeton University（普林斯顿大学）
Fairness of Deep Ensembles: On the interplay between per-group task difficulty and under-representation
CONICET（阿根廷国家科学技术研究委员会）；Universidad Nacional del Litoral（国立利托拉尔大学）；Cohere For AI（Cohere人工智能研究院）；Institute of Computer Sciences, CONICET & Universidad de Buenos Aires（布宜诺斯艾利斯大学计算机科学研究所（隶属于阿根廷国家科学技术研究委员会））
