Anticipatory Evaluation of Language Models
语言模型的前瞻性评估
机构 * Georgia Institute of Technology, Atlanta, Georgia(佐治亚理工学院) ; The Hebrew University of Jerusalem, Jerusalem, Israel(耶路撒冷希伯来大学)
AI总结 本文提出通过任务描述和实验配置预测语言模型性能,构建PRECOG语料库并展示推理模型在高置信度阈值下的预测能力。
Comments 30 pages, 7 figures