评估面向俄罗斯文化新闻文本的命名实体识别模型：从BERT到LLM
Evaluating Named Entity Recognition Models for Russian Cultural News Texts: From BERT to LLM
AI总结：
本文基于SPbLitGuide数据集比较了BERT类模型与GPT系列LLM在俄语文化新闻人名识别上的表现，发现GPT-4o在JSON提示下F1达0.93，GPT-4.1后续评估F1达0.94，揭示了LLM在该领域的优势与快速进展。
摘要：
本文针对俄罗斯文化事件新闻文本这一专门领域中的人名命名实体识别（NER）挑战展开研究。研究使用了独特的SPbLitGuide数据集，该数据集汇集了1999年至2019年间圣彼得堡的事件公告。本文对多种NER模型进行了比较评估，涵盖已确立的基于Transformer的架构，如DeepPavlov、RoBERTa和SpaCy，以及近期的大语言模型（LLMs），包括GPT-3.5、GPT-4和GPT-4o。关键发现表明，GPT-4o在提供针对JSON输出的特定提示时表现最优，F1分数达到0.93。此外，GPT-4展现出最高的精确率，为0.99。本研究有助于更深入地理解当前NER模型在应用于文化遗产领域中形态丰富的语言（如俄语）时的能力与局限，并为研究人员和实践者提供了见解。后续使用GPT-4.1（2025年4月）的评估在简单提示和结构化提示下均达到F1=0.94，展示了各模型家族的快速进步以及部署要求的简化。
英文摘要：
This paper addresses the challenge of Named Entity Recognition (NER) for person names within the specialized domain of Russian news texts concerning cultural events. The study utilizes the unique SPbLitGuide dataset, a collection of event announcements from Saint Petersburg spanning 1999 to 2019. A comparative evaluation of diverse NER models is presented, encompassing established transformer-based architectures such as DeepPavlov, RoBERTa, and SpaCy, alongside recent Large Language Models (LLMs) including GPT-3.5, GPT-4, and GPT-4o. Key findings highlight the superior performance of GPT-4o when provided with specific prompting for JSON output, achieving an F1 score of 0.93. Furthermore, GPT-4 demonstrated the highest precision at 0.99. The research contributes to a deeper understanding of current NER model capabilities and limitations when applied to morphologically rich languages like Russian within the cultural heritage domain, offering insights for researchers and practitioners. Follow-up evaluation with GPT-4.1 (April 2025) achieves F1=0.94 for both simple and structured prompts, demonstrating rapid progress across model families and simplified deployment requirements.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
