用于引用功能分类的大语言模型
Large Language Models for Citation Function Classification
浏览论文内容
中文总结 AI 辅助
研究对多个先进大语言模型用于引用功能分类进行全面评估，比较五个模型在不同方法下表现，微调后的猎鹰7B模型取得新最优结果，还引入AC3数据集及多种变体，分析模型性能等，填补相关研究空白。
中文摘要 AI 辅助
引用功能分类在理解科学出版物之间的关系和推进文献计量分析方面起着至关重要的作用。本研究对多个用于引用功能分类的先进大语言模型（LLM）进行了首次全面评估之一，并在ACL - ARC数据集上取得了新的最优结果。我们系统地比较了五个模型（米斯特拉尔7B、虎鲸2 - 7B、大语言模型元3.1 - 8B、猎鹰7B和科学BERT）在零样本、少样本和微调方法下的表现。我们微调后的猎鹰7B模型在ACL - ARC上达到了73.3%的宏F1分数，比以前的方法有显著改进。此外，我们引入了AC3，这是一个具有七类注释方案的新数据集，可区分中性致谢和明确的评价立场（更具观点导向的引用——批评、赞扬、矛盾）。该数据集通过四种上下文提取变体实现，以系统地评估上下文范围对分类性能的影响。我们还提供了模型性能、实验配置和局限性的详细分析，以指导该领域的未来研究。据我们所知，这是首批致力于引用功能分类综合模型比较的研究之一，填补了近期调查中发现的空白。
英文摘要
Citation function classification plays a crucial role in understanding the relationships between scientific publications and advancing bibliometric analysis. This study presents one of the first comprehensive evaluations of multiple state-of-the-art (SOTA) large language models (LLMs) for citation function classification, achieving new SOTA results on the ACL-ARC dataset. We systematically compare five models (Mistral 7B, Orca 2-7B, LLaMA 3.1-8B, Falcon 7B, and SciBERT) across zero-shot, few-shot, and fine-tuning approaches. Our fine-tuned Falcon 7B model achieves a 73.3% macro F1 score on ACL-ARC, representing a significant improvement over previous methods. Additionally, we introduce AC3, a novel dataset featuring a seven-category annotation scheme that distinguishes between neutral acknowledgments and explicit evaluative stances (more opinion-oriented citations - criticizing, complimenting, contradicting). The dataset is implemented across four context extraction variants to systematically evaluate the impact of contextual scope on classification performance. We also provide detailed analysis of model performance, experimental configurations, and limitations to guide future research in this domain. To our knowledge, this is one of the first studies dedicated to comprehensive model comparison for citation function classification, addressing a gap identified in recent surveys.
发表机构
- CNRS LORIA, Université de Lorraine, Nancy, France（法国国家科学研究中心洛里亚实验室，洛林大学）
机构由 AI 辅助整理，请以论文原文为准。
