通过长尾性能评估大语言模型（LLM）的创造性
Evaluating LLM Creativity through Long-Tail Performance
AI总结：
该研究针对LLM创造性基准设计差异大的问题，提出以参考输入-输出分布长尾性能衡量创造性，引入q@Tail($\alpha$)诊断方法，发现长尾性能与人类判断更一致，为提升LLM创造性提供了方向。
摘要：
大语言模型（LLM）的创造性基准在任务和指标设计上差异极大，这引发了一个问题：这些基准是否捕捉到了创造性的共同概念。我们提出，这一共同目标可形式化为参考输入-输出分布长尾中的特定任务性能，该分布描述了相对于所选文本源的常见输入-输出对情况。我们将这一主张建立在新颖性-质量乘积公式的基础上，并在15个基准和26个开放权重模型上进行了实证评估，使用预训练数据中n元语法的缺失作为新颖性代理。我们的结果表明，创造性基准比标准基准更偏向长尾区域。此外，在创造性和标准基准上，每个基准的较高尾点子集的模型排名与LM-Arena中的人类创造性判断更为一致。基于这些发现，我们引入了q@Tail($\alpha$)，这是一种成本更低的创造性诊断方法，用于测量现有基准尾部分数上的平均任务质量。将其应用于促进创造性的方法表明，通过更强的长尾性能，LLM的创造性仍有很大的提升空间。
英文摘要：
Creativity benchmarks for large language models (LLMs) vary widely in task and metric design. This raises the question of whether they capture a common notion of creativity. We propose that this shared target can be formalized as task-specific performance in the long tail of a reference input-output distribution, which describes how common input-output pairs are relative to a chosen source of text. We ground this proposition in the novelty-quality product formulation and evaluate it empirically across 15 benchmarks and 26 open-weight models, using n-gram absence from the pretraining data as a novelty proxy. Our results show that creativity benchmarks lie further in the tail regions than standard benchmarks. Moreover, on both creativity and standard benchmarks, model rankings from higher-tail subsets of each benchmark align more closely with human creativity judgments in LM-Arena. Building on these findings, we introduce q@Tail($α$), a lower-cost creativity diagnostic that measures mean task quality on the tail fraction of an existing benchmark. Applying it to creativity-promoting methods reveals substantial room to improve LLM creativity through stronger tail performance.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
