针对强化学习价值估计中的最大化偏差，提出基于双样本检验的 TE 与推广 KE，并改造 Q-Learning 和 BDQN，实现可调偏差、收敛保证与性能提升。
摘要：
基于价值的强化学习算法已在游戏、机器人和其他现实应用中展现出强劲效果。高估偏差是这些算法的已知威胁，有时会导致性能急剧下降，甚至造成算法完全失效。我们从统计学角度表述该偏差问题，并将其视为估计一组随机变量的最大期望值（MEV）的一个实例。我们提出基于均值双样本检验的 $T$-Estimator（TE），通过调整底层假设检验的显著性水平，在高估与低估之间灵活插值。我们还引入了一种推广形式，称为 $K$-Estimator（KE），它遵循与 TE 相同的偏差和方差界，并依赖几乎任意的核函数。我们介绍了使用 TE 和 KE 对 $Q$-Learning 以及 Bootstrapped Deep $Q$-Network（BDQN）的修改，并证明了其在表格设置下的收敛性。此外，我们提出了基于 TE 的 BDQN 的自适应变体，可动态调整显著性水平以最小化绝对估计偏差。所有提出的估计器和算法都在多样的任务和环境中经过充分测试与验证，展示了 TE 和 KE 在偏差控制与性能方面的潜力。
英文摘要：
Value-based reinforcement-learning algorithms have shown strong results in games, robotics, and other real-world applications. Overestimation bias is a known threat to those algorithms and can sometimes lead to dramatic performance decreases or even complete algorithmic failure. We frame the bias problem statistically and consider it an instance of estimating the maximum expected value (MEV) of a set of random variables. We propose the $T$-Estimator (TE) based on two-sample testing for the mean, that flexibly interpolates between over- and underestimation by adjusting the significance level of the underlying hypothesis tests. We also introduce a generalization, termed $K$-Estimator (KE), that obeys the same bias and variance bounds as the TE and relies on a nearly arbitrary kernel function. We introduce modifications of $Q$-Learning and the Bootstrapped Deep $Q$-Network (BDQN) using the TE and the KE, and prove convergence in the tabular setting. Furthermore, we propose an adaptive variant of the TE-based BDQN that dynamically adjusts the significance level to minimize the absolute estimation bias. All proposed estimators and algorithms are thoroughly tested and validated on diverse tasks and environments, illustrating the bias control and performance potential of the TE and KE.
Gaussian process policy iteration with additive Schwarz acceleration for forward and inverse HJB and mean field game problems
Department of Computing and Mathematical Sciences, California Institute of Technology, CA, USA（计算与数学科学系，加州理工学院，CA，美国）；Department of Mathematics and Risk Management Institute, National University of Singapore, Singapore（数学与风险管理研究所，新加坡国立大学，新加坡）
Federated Deep AUC Maximization for Heterogeneous Data with a Constant Communication Complexity
The University of Iowa（爱荷华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
深度AUC（area under the ROC curve）最大化（DAM）方法由于其在不平衡数据分类中的巨大潜力而受到广泛关注。然而，联邦深度AUC最大化（FDAM）的研究仍然有限。与关注可分解最小化目标的标准联邦学习（FL）方法相比，FDAM由于其最小化目标在单个示例上不可分解而更加复杂。在本文中，我们提出了改进的FDAM算法的异构数据，通过解决流行的非凸强凹的min-max制定的DAM在分布式的方式，这也可以应用到一类非凸强凹min-max问题。本文的一个引人注目的结果是，所提出的算法的通信复杂性是一个常数，独立于机器的数量，也独立于精度水平，这改善了一个现有的结果的数量级。实验证明了我们的FDAM算法的有效性基准数据集上，并从不同组织的医学胸部X射线图像。我们的实验表明，使用来自多个医院的数据的FDAM的性能可以提高来自单个医院的测试数据的AUC分数，用于基于胸片检测危及生命的疾病。所提出的方法在我们的开源库LibAUC（www.libauc.org）中实现，其github地址为https://github.com/Optimization-AI/ICML2021_FedDeepAUC_CODASCA。
