评估用于沸石合成事件提取（ZSEE）的LLM：对提示策略的系统分析
Evaluating LLMs for Zeolite Synthesis Event Extraction (ZSEE): A Systematic Analysis of Prompting Strategies
AI总结：
本文评估了不同提示策略在沸石合成事件提取中的效果，发现零样本方法在事件分类上表现优异，但细粒度提取任务需领域适应模型。
摘要：
从沸石合成实验过程提取结构化信息对于材料发现至关重要，但现有方法尚未系统评估大型语言模型（LLM）在该领域特定任务中的效果。本文解决了一个根本问题：在将LLM应用于科学信息提取时，不同提示策略的有效性如何？我们重点研究四个关键子任务：事件类型分类（识别合成步骤）、触发文本识别（定位事件提及）、论点角色提取（识别参数类型）和论点文本提取（提取参数值）。我们评估了四种提示策略——零样本、少样本、事件特定和反思式策略——在六个最先进的LLM（Gemma-3-12b-it、GPT-5-mini、O4-mini、Claude-Haiku-3.5、DeepSeek推理和非推理）上，使用包含1530个注释句子的ZSEE数据集。结果表明，在事件类型分类（80-90% F1）方面表现强劲，但在细粒度提取任务中表现一般，特别是论点角色和论点文本提取（50-65% F1）。GPT-5-mini表现出极端的提示敏感性，F1值变化达11-79%。值得注意的是，高级提示策略在零样本方法上提供最小的改进，揭示了基本架构限制。错误分析指出系统性幻觉、过度泛化和无法捕捉合成特定细微差别。我们的发现表明，尽管LLM实现了高水平的理解，但精确提取实验参数需要领域适应模型，为科学信息提取提供了定量基准。
英文摘要：
Extracting structured information from zeolite synthesis experimental procedures is critical for materials discovery, yet existing methods have not systematically evaluated Large Language Models (LLMs) for this domain-specific task. This work addresses a fundamental question: what is the efficacy of different prompting strategies when applying LLMs to scientific information extraction? We focus on four key subtasks: event type classification (identifying synthesis steps), trigger text identification (locating event mentions), argument role extraction (recognizing parameter types), and argument text extraction (extracting parameter values). We evaluate four prompting strategies - zero-shot, few-shot, event-specific, and reflection-based - across six state-of-the-art LLMs (Gemma-3-12b-it, GPT-5-mini, O4-mini, Claude-Haiku-3.5, DeepSeek reasoning and non-reasoning) using the ZSEE dataset of 1,530 annotated sentences. Results demonstrate strong performance on event type classification (80-90\% F1) but modest performance on fine-grained extraction tasks, particularly argument role and argument text extraction (50-65\% F1). GPT-5-mini exhibits extreme prompt sensitivity with 11-79\% F1 variation. Notably, advanced prompting strategies provide minimal improvements over zero-shot approaches, revealing fundamental architectural limitations. Error analysis identifies systematic hallucination, over-generalization, and inability to capture synthesis-specific nuances. Our findings demonstrate that while LLMs achieve high-level understanding, precise extraction of experimental parameters requires domain-adapted models, providing quantitative benchmarks for scientific information extraction.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
