EarthVerse：面向动态地球系统与自然灾害的科学智能体基准测试
EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards
- NUIST（南京信息工程大学）
- HKU（香港大学）
- McGill（麦吉尔大学）
- HKUST(GZ)（香港科技大学（广州））
- Georgia Tech（佐治亚理工学院）
- NUS（新加坡国立大学）
- Tsinghua（清华大学）
- Griffith（格里菲斯大学）
- UT Austin（德克萨斯大学奥斯汀分校）
- MIT（麻省理工学院）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
EarthVerse是面向动态地球系统与自然灾害的科学智能体基准，含405项任务，评估25个智能体系统，发现其存在跨环节一致性不足问题，为科学可靠性测量提供可复现基础。
AI中文摘要：
地球系统分析从来源、尺度、时间和模态各异的观测数据中重构不断变化的物理过程，而自然灾害使这项工作具有重要意义，因为不完整的证据会改变对严重程度、暴露范围和机制的估计。我们推出EarthVerse，一个通过以事件包为范围的调查来评估科学智能体的基准。该基准包含405项可复现任务，这些任务基于199个已记录事件和19类灾害构建。智能体需检查异构事件包、选择兼容证据、执行透明计算、协调来源差异，并在最终答案中保留溯源信息。我们提供可执行的基准答案，将每个任务分解为细粒度答案单元，同时提供任务特定的评分标准，用于评估支撑性研究过程，且允许多种有效路径。我们在受控的工具使用协议下评估了25个模型和智能体系统，再通过受控研究定位证据访问、工具选择、记忆、推理、交互和科学执行方面的故障。在所有系统中，最佳平均答案单元准确率为84.65%，而最高的Strict@95仅为34.81%。这一差距表明，当前智能体常能完成单个步骤，但无法在证据、尺度、单位、计算和物理解释间维持一致的链条。EarthVerse为测量动态地球系统中的端到端科学可靠性提供了可复现的基础。
英文摘要：
Earth-system analysis reconstructs changing physical processes from observations that differ in source, scale, timing, and modality. Natural hazards make this work consequential because incomplete evidence can change estimates of severity, exposure, and mechanism. We introduce EarthVerse, a benchmark that evaluates scientific agents through package-scoped investigations. Its 405 reproducible tasks are grounded in 199 documented events and 19 hazard families. Agents inspect heterogeneous event packages, choose compatible evidence, execute transparent calculations, reconcile source differences, and preserve provenance in the final answer. We provide executable ground truth that decomposes each task into fine-grained answer units, together with task-specific rubrics that assess the supporting research process while allowing multiple valid paths. We evaluate 25 model and agent systems under a controlled tool-using protocol, then use controlled studies to locate failures in evidence access, tool selection, memory, reasoning, interaction, and scientific execution. Across systems, the best mean answer-unit accuracy is 84.65%, while the highest Strict@95 is only 34.81%. The gap shows that current agents often complete individual steps without maintaining a consistent chain across evidence, scales, units, calculations, and physical interpretation. EarthVerse provides a reproducible basis for measuring end-to-end scientific reliability in dynamic Earth systems.
