微调大语言模型在AMR解析中的评估
Evaluation of Finetuned LLMs in AMR Parsing
AI总结：
本文评估了四种仅解码器LLM在AMR解析上的微调效果，发现直接微调即可达到SOTA水平，其中LLaMA 3.2语义性能最佳，SMATCH F1达0.804。
摘要：
AMR（抽象语义表示）是一种语义形式化体系，将句子意义编码为有根、有向、无环图，其中节点表示概念，边表示语义关系。仅微调解码器的大语言模型（LLMs）为AMR解析提供了一种有前景且新颖的直接方向。本文使用LDC2020T02 Gold AMR3.0测试集，对四种不同LLM架构——Phi 3.5、Gemma 2、LLaMA 3.2和DeepSeek R1 LLaMA Distilled——的微调进行了全面评估。我们的结果表明，仅对解码器LLM进行直接微调即可达到与复杂的最先进（SOTA）AMR解析器相当的性能。值得注意的是，在采用直接微调方法的情况下，LLaMA 3.2展现出了与SOTA AMR解析器相竞争的性能。我们在完整的LDC2020T02测试划分上取得了SMATCH F1：0.804，与APT + Silver（IBM）的0.804持平，并接近Graphene Smatch（MBSE）的0.854。在我们的分析中，我们还观察到一个一致的模式：LLaMA 3.2在语义性能上领先，而Phi 3.5在结构有效性上表现优异。
英文摘要：
AMR (Abstract Meaning Representation) is a semantic formalism that encodes sentence meaning as rooted, directed, acyclic graphs, where nodes represent concepts and edges denote semantic relations. Finetuning decoder only Large Language Models (LLMs) represent a promising novel straightfoward direction for AMR parsing. This paper presents a comprehensive evaluation of finetuning four distinct LLM architectures, Phi 3.5, Gemma 2, LLaMA 3.2, and DeepSeek R1 LLaMA Distilled using the LDC2020T02 Gold AMR3.0 test set. Our results have shown that straightfoward finetuning of decoder only LLMs can achieve comparable performance to complex State of the Art (SOTA) AMR parsers. Notably, LLaMA 3.2 demonstrates competitive performance against SOTA AMR parsers given a straightforward finetuning approach. We achieved SMATCH F1: 0.804 on the full LDC2020T02 test split, on par with APT + Silver (IBM) at 0.804 and approaching Graphene Smatch (MBSE) at 0.854. Across our analysis, we also observed a consistent pattern where LLaMA 3.2 leads in semantic performance while Phi 3.5 excels in structural validity.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
