一个模型的联盟：大型语言模型在创意写作上的综合评估
A Confederacy of Models: a Comprehensive Evaluation of LLMs on Creative Writing
AI总结：
本研究评估了多种大型语言模型在创意写作上的表现，发现商业模型接近人类水平，开源模型落后，人类在创造力上仍具优势，幽默感呈现分化。
摘要：
我们评估了一系列近期的大型语言模型在英语创意写作上的表现，这是一项要求想象力、连贯性和风格的具有挑战性的复杂任务。我们使用了一个困难的、开放式的场景，该场景特意设计以避免训练数据的重复使用：对普利策奖获奖小说《笨蛋联盟》（1980年）的主人公伊格内修斯·J·赖利与史前飞行爬行动物翼手龙之间的一场单挑进行史诗叙述。我们要求几个大型语言模型和人类撰写这样的故事，并进行了一次人工评估，涉及流畅性、连贯性、原创性、幽默感和风格等多个标准。我们的结果表明，一些最先进的商业大型语言模型在大多数维度上与我们的写作者持平或略胜一筹；而开源大型语言模型则落后。人类在创造力方面保持优势，而幽默感则显示出大型语言模型之间的二元分化：有些能像人类一样处理幽默，有些则完全失败。我们讨论了研究的意义和局限性，并提出了未来研究的方向。
英文摘要：
We evaluate a range of recent LLMs on English creative writing, a challenging and complex task that requires imagination, coherence, and style. We use a difficult, open-ended scenario chosen to avoid training data reuse: an epic narration of a single combat between Ignatius J. Reilly, the protagonist of the Pulitzer Prize-winning novel A Confederacy of Dunces (1980), and a pterodactyl, a prehistoric flying reptile. We ask several LLMs and humans to write such a story and conduct a human evalution involving various criteria such as fluency, coherence, originality, humor, and style. Our results show that some state-of-the-art commercial LLMs match or slightly outperform our writers in most dimensions; whereas open-source LLMs lag behind. Humans retain an edge in creativity, while humor shows a binary divide between LLMs that can handle it comparably to humans and those that fail at it. We discuss the implications and limitations of our study and suggest directions for future research.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
