大型语言模型的自动化创造力评估：一种基于参考的方法
Automated Creativity Evaluation for Large Language Models: A Reference-Based Approach
AI总结：
针对LLM创造力评估难题，本文提出基于TTCW的参考式李克特评分方法，将生成文本与高质量参考对比，显著提升与人类评估的一致性，成对准确率达0.75（+15%）。
摘要：
创意写作是大型语言模型（LLMs）的一项关键能力，在文学、叙事以及各种创意领域具有潜在应用。然而，评估机器生成文本的创造力仍然是一个重大挑战，因为现有方法要么依赖昂贵的人工标注，要么与人类评估的契合度不高。在本文中，我们提出了一种基于托兰斯创意写作测试（TTCW）的有效自动化评估方法，该方法将创造力作为产品进行评估。我们的方法采用基于参考的李克特式评分方式，在各种测试中，将生成的创意文本与高质量参考文本进行对比评分。实验结果表明，我们的方法显著提高了LLM评估与人类评估之间的一致性，实现了0.75（+15%）的成对准确率。
英文摘要：
Creative writing is a key capability of Large Language Models (LLMs), with potential applications in literature, storytelling, and various creative domains. However, evaluating the creativity of machine-generated texts remains a significant challenge, as existing methods either rely on costly manual annotations or fail to align closely with human assessments. In this paper, we propose an effective automated evaluation method based on the Torrance Test of Creative Writing (TTCW), which evaluates creativity as product. Our method employs a reference-based Likert-style approach, scoring generated creative texts relative to high-quality reference texts across various tests. Experimental results demonstrate that our method significantly improves the alignment between LLM evaluations and human assessments, achieving a pairwise accuracy of 0.75 (+15\%).
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
