ClimateBench v2.0：概率性气候模型基准测试

中文摘要 AI 辅助

我们提出 ClimateBench v2，这是一个用于评估气候模型的标准协议，其诊断指标被认为能有效反映模型预测本世纪中叶区域温度和降水变化的能力。该协议旨在使用一套共同的观测和分布外测试，公平地评估任何基于物理、数据驱动或混合的气候模型。我们定义了三个评估层级。第一层级通过能量守恒、耦合（共）变率以及基本强迫响应的入门测试来确立物理可信度。第二层级使用公平CRPS作为主要概率评分，并辅以分布和集合一致性诊断，对模型在2015年后的地表温度、降水、辐射通量、海冰和关键变率模态观测数据进行评分。第三层级通过涵盖末次间冰期、末次盛冰期和中全新世的古气候模拟，以及完美模型实验来测试分布外泛化能力，在完美模型实验中，数据驱动模型必须仅从历史数据预测现有地球系统模型的未来气候。我们保留2015年后的所有观测数据用于测试，提交必须包含多个集合成员以实现概率评估。这一保留利用了CMIP6历史实验结束以来积累的十年观测所提供的新机会，这些观测构成了当前一代模型的强迫气候变化（和内部变率）的样本外记录，我们在理想化环境中量化了其关于本世纪中叶变暖所携带的信息。我们提供评估代码、观测参考数据集和完美模型训练数据作为开放基准，以推动所有建模方法在气候预测方面取得可衡量的进展。

英文摘要

We present ClimateBench v2, a standardized protocol for evaluating climate models on diagnostics expected to be informative for their skill in projecting mid-century regional temperature and precipitation changes. The protocol is designed to evaluate any physics-based, data-driven, or hybrid climate model on equal footing using a common set of observational and out-of-distribution tests. We define three tiers of evaluation. Tier I establishes physical credibility through entry-ticket tests of energy conservation, coupled (co-)variability, and basic forced responses. Tier II scores models against post-2015 observations of surface temperature, precipitation, radiative fluxes, sea ice, and key modes of variability using fair CRPS as the primary probabilistic score, complemented by distributional and ensemble-consistency diagnostics. Tier III tests out-of-distribution generalization through paleoclimate simulations spanning the Last Interglacial, Last Glacial Maximum, and Mid-Holocene, and through perfect-model experiments in which data-driven models must predict the future climate of existing Earth system models from historical data alone. We reserve all observational data after 2015 for testing, and submissions must include multiple ensemble members to enable probabilistic evaluation. This reservation exploits a new opportunity provided by the decade of observations accumulated since the end of the CMIP6 historical experiment, which constitutes an out-of-sample record of forced climate change (and internal variability) for the current generation of models, and we quantify, in an idealized setting, the information it carries about mid-century warming. We provide the evaluation code, observational reference datasets, and perfect-model training data as an open benchmark to drive measurable progress in climate projection across all modeling approaches.

发表机构

• Scripps Institution of Oceanography, University of California San Diego（加州大学圣地亚哥分校斯克里普斯海洋研究所）
• Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR)（德国航空航天中心）
• Schmidt Sciences（施密特科学中心）
• Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
• Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
• Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
• University of Colorado Boulder（科罗拉多大学博尔德分校）
• Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
• University of East Anglia（东英吉利大学）
• Columbia University（哥伦比亚大学）
• Met Office（英国气象局）
• Google Research（谷歌研究院）
• Alfred Wegener Institute（阿尔弗雷德·魏格纳研究所）
• National Center for Atmospheric Research（美国国家大气研究中心）
• Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
• University of Bristol（布里斯托尔大学）
• University of California, Los Angeles（加州大学洛杉矶分校）
• NVIDIA Research（英伟达研究院）
• NASA Goddard Institute for Space Studies（美国国家航空航天局戈达德空间研究所）
• California Institute of Technology（加州理工学院）

机构由 AI 辅助整理，请以论文原文为准。