The Q-learning algorithm is known to be affected by the maximization bias, i.e. the systematic overestimation of action values, an important issue that has recently received renewed attention. Double Q-learning has been proposed as an efficient algorithm to mitigate this bias. However, this comes at the price of an underestimation of action values, in addition to increased memory requirements and a slower convergence. In this paper, we introduce a new way to address the maximization bias in the form of a "self-correcting algorithm" for approximating the maximum of an expected value. Our method balances the overestimation of the single estimator used in conventional Q-learning and the underestimation of the double estimator used in Double Q-learning. Applying this strategy to Q-learning results in Self-correcting Q-learning. We show theoretically that this new algorithm enjoys the same convergence guarantees as Q-learning while being more accurate. Empirically, it performs better than Double Q-learning in domains with rewards of high variance, and it even attains faster convergence than Q-learning in domains with rewards of zero or low variance. These advantages transfer to a Deep Q Network implementation that we call Self-correcting DQN and which outperforms regular DQN and Double DQN on several tasks in the Atari 2600 domain.
UCB Momentum Q-learning: Correcting the bias without forgetting
Otto von Guericke University（奥托·冯·格里克大学）；Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；DeepMind（深度思维）
我们提出了UCBMQ，上置信界动量Q-学习，一种新的算法，用于表格和可能的阶段依赖性，情节马尔可夫决策过程的强化学习。UCBMQ是基于Q学习的，我们在Q学习中加入了动量项，并依靠乐观原则来应对不确定性。UCBMQ的新技术成分是使用动量来纠正Q学习所遭受的偏见，同时限制它对后悔的二阶项的影响。对于UCBMQ，我们能够保证最多$O(\sqrt{H^3SAT}+ H^4 S A )$的遗憾，其中$H$是事件的长度，$S$是状态的数量，$A$是动作的数量，$T$是事件的数量，并且忽略poly- $\log(SAHT)$中的项。值得注意的是，UCBMQ是第一个同时匹配$Ω(\sqrt{H^3SAT})$的下限的算法，对于足够大的$T$，并且具有仅与状态数$S$线性缩放的二阶项（相对于水平$T$）。
Enhancing Reinforcement Learning for Radiology Report Generation with Evidence-aware Rewards and Self-correcting Preference Learning
Department of Computer Science and Engineering, ECUST（电子科技大学计算机科学与工程系）；Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, P. R. China（教育部能源化工过程智能制造重点实验室）；Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）
Fast and Accurate Importance Weighting for Correcting Sample Bias
Manufacture Française des Pneumatiques Michelin（法国米其林轮胎制造公司）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
数据集中的偏差可能对适当的统计估计非常有害。为了解决这个问题，重要性加权方法已经被开发出来，以匹配任何有偏分布，其相应的目标无偏分布。核均值匹配（KMM）方法至今仍被认为是这一研究领域的最新技术。然而，这种方法的主要缺点之一是大型数据集的计算负担。在Huang et al.（2007）和de Mathelin et al.（2021）之前的工作的基础上，我们推导出一种新的重要性加权算法，该算法通过使用神经网络来预测实例权重，从而扩展到大型数据集。我们表明，在多个公共数据集上，在各种样本偏差下，我们提出的方法大大减少了大型数据集的计算时间，同时保持类似的样本偏差校正性能相比，其他重要性加权方法。所提出的方法似乎是唯一一个能够在合理的时间内为多达200万个数据的大型数据集提供相关的重新加权。
Correcting Boundary Bias and Observation Independence in Bayesian Experimental Design
Department of Information Technology, Uppsala University, Uppsala, Sweden（信息科技系，乌普萨拉大学）；Department of Solar Cell Technology, Uppsala University, Uppsala, Sweden（太阳能电池技术系，乌普萨拉大学）；Department of Computer Science, RISE Research Institute of Sweden, Stockholm, Sweden（计算机科学系，瑞典RISE研究所）
Correcting Model Bias with Sparse Implicit Processes
Institute of Mathematical Sciences (ICMAT-CSIC)（数学科学研究所（ICMAT-CSIC））；Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）；Institute of Corpuscular Physics, University of Valencia and CSIC（瓦伦西亚大学与西班牙国家研究委员会粒子物理研究所）
Rethinking Refinement: Correcting Generative Bias without Noise Injection
State Key Laboratory of Information Photonics（信息光子与光通信国家重点实验室）；Optical Communications, Beijing University of Posts（光通信，北京邮电大学）；School of Physical Science（物理科学学院）；Technology, Beijing University of Posts（技术学院，北京邮电大学）
A Self-Correcting Deep Learning Approach to Predict Acute Conditions in Critical Care
Nanyang Technological University（南洋理工大学）；National University Health System（新加坡国立大学医疗系统）；National University of Singapore（新加坡国立大学）；Weill Cornell Medical College（威尔康奈尔医学院）；Cornell University（康奈尔大学）
Correcting heterogeneous diagnostic bias when developing clinical prediction models using causal hidden Markov models
Division of Informatics, Imaging & Data Sciences, University of Manchester（曼彻斯特大学信息学、影像与数据科学系）；Department of Statistical Science, UCL（伦敦大学学院统计科学系）；Division of Population Health, Health Services Research & Primary Care, University of Manchester（曼彻斯特大学人口健康、卫生服务研究与初级保健系）
Correcting Neural Operator Spectral Bias via Diffusion Posterior Sampling with Sparse Observations
Université Paris-Saclay, CentraleSupélec, CNRS, ENS Paris-Saclay（巴黎-萨克雷大学，中央理工学院，国家科学研究中心，巴黎-萨克雷理工学院）；Laboratoire de Mécanique Paris-Saclay UMR 9026（巴黎-萨克雷力学实验室 UMR 9026）；Politecnico di Milano（米兰理工大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Department of Mechanical Engineering University of Washington（华盛顿大学机械工程系）
