AI4Fire：评估大型语言模型在野火任务上的表现
AI4Fire: Evaluating Large Language Models on Wildfire Tasks
- University of Southern California（南加州大学）
- Arizona State University（亚利桑那州立大学）
- University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）
- University of Maine（缅因大学）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
AI4Fire项目评估LLMs在野火任务上的表现，发现接地可提升部分任务准确率，简单规则难超越，公开发布存在风险，已发布相关资源。
AI中文摘要：
大型语言模型（LLMs）正进入野火管理领域，而对其过高的评估可能会造成财产损失和人员伤亡。本研究探讨了这些模型在有、无 grounding（接地，指模型接收任务特定补充信息）的情况下，在野火任务上的表现：Bare 指模型仅接收任务输入；Grounded 指模型还会收到一项任务特定补充信息，例如烟雾检测任务中，来自同一摄像头的无烟雾参考帧。AI4Fire 项目在五项野火任务上对六个核心模型进行了零样本的 Bare 和 Grounded 运行，此外还通过扩展测试增加了29个模型。本研究对野火任务的文献检索共发现138篇相关研究，其中没有任何一项研究能同时覆盖如此多的模型、任务范围以及配对的 Bare 和 Grounded 运行。研究报告了三项发现：（1）当补充信息包含答案时，接地效果最为显著：一款只读 SQL 工具将所有核心模型的数据库准确率从最高16%提升至最低88%；（2）简单规则难以被超越：没有核心模型的表现优于重复当前人员配置数量的方法，且两个开放权重模型大多复制了类似前期火灾日的中位数，属于更差的预测；（3）公开发布存在风险：火灾危险列完美区分了保留集，且67个航空火灾帧带有从裁剪后的热最大值中读取的阴燃或无火灾标签。本研究发布了提示词、响应、分数、代码以及调查记录。
英文摘要：
Large language models (LLMs) are entering wildfire management, where overstated evaluations can cost property and lives. How do they perform on wildfire tasks, with and without grounding? Bare means a model receives the task input alone. Grounded means it also receives one task-specific addition: for smoke detection, a smoke-free reference frame from the same camera. AI4Fire runs six core models bare and grounded on five wildfire tasks, zero-shot; a sweep adds 29 more. Our literature search on fire tasks found 138 works; none combines this roster, task coverage, and paired bare and grounded runs. We report three findings. (1) Grounding helped most where the addition carried the answer: a read-only SQL tool lifted every core model's database accuracy from at most 16 to at least 88 percent. (2) Simple rules were hard to beat: no core model outperformed repeating today's staffing count, and two open-weight models mostly copied the median of similar earlier fire-days, a worse forecast. (3) Public releases carry hazards: a fire-danger column separates the holdout perfectly, and 67 aerial fire frames carry smoldering or fire-free labels read from a clipped thermal maximum. We release prompts, responses, scores, code, and the survey record.
