利用大语言模型生成多语言历史自然语言处理的基准真值
Ground Truth Generation for Multilingual Historical NLP using LLMs
AI总结：
针对历史低资源NLP标注数据不足的问题，该研究用LLM生成近代法语文本、近现代汉语文本的基准真值标注，微调spaCy后在三类NLP任务上获显著提升，验证了少量合成数据对人文领域低资源NLP工具的优化作用。
摘要：
由于标注数据有限、且与现代网络来源语料存在领域不匹配问题，历史及低资源自然语言处理（NLP）研究始终面临挑战。本文介绍了我们利用大语言模型（LLMs）为16至20世纪法语、1900至1950年汉语文本生成基准真值标注的工作。通过在语料子集上使用LLM生成的基准真值，我们微调了spaCy模型，使其在特定时期文本的词性（POS）标注、词形还原、命名实体识别（NER）测试中取得显著性能提升。研究结果凸显了领域专用模型的重要性，证明即便合成数据量相对有限，也能改进计算人文研究中面向低资源语料的NLP工具。
英文摘要：
Historical and low-resource NLP remains challenging due to limited annotated data and domain mismatches with modern, web-sourced corpora. This paper outlines our work in using large language models (LLMs) to create ground-truth annotations for historical French (16th-20th centuries) and Chinese (1900-1950) texts. By leveraging LLM-generated ground truth on a subset of our corpus, we were able to fine-tune spaCy to achieve significant gains on period-specific tests for part-of-speech (POS) annotations, lemmatization, and named entity recognition (NER). Our results underscore the importance of domain-specific models and demonstrate that even relatively limited amounts of synthetic data can improve NLP tools for under-resourced corpora in computational humanities research.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
