arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2410.03492cs.CL
收藏

迈向可复现的 LLM 评估:量化 LLM 基准测试分数中的不确定性

Towards Reproducible LLM Evaluation: Quantifying Uncertainty in LLM Benchmark Scores

The Alan Turing Institute(艾伦·图灵研究所);The Centre for Environment Fisheries and Aquaculture Science(环境渔业与水产科学研究中心);School of Computer Science, University of Leeds(利兹大学计算机科学学院)

Robert E. Blackwell, Jon Barry, Anthony G. Cohn

AI总结:

针对 LLM 基准测试因随机性缺乏不确定性量化的问题,该研究利用方向推理基准探讨重复实验对分数的影响,提出一种低成本量化分数不确定性的方法,并为可复现评估提供建议。

摘要:

大型语言模型(LLMs)具有随机性,并非所有模型即使在温度设为零且固定随机种子的情况下也能给出确定性答案。然而,很少有基准测试研究尝试量化不确定性,部分原因是重复实验的时间和成本。我们使用专为测试 LLMs 推理基本方向能力而设计的基准,来探讨实验重复次数对平均分数和预测区间的影响。我们提出了一种简单方法,能以成本效益的方式量化基准分数的不确定性,并针对可复现的 LLM 评估提出建议。

英文摘要:

Large language models (LLMs) are stochastic, and not all models give deterministic answers, even when setting temperature to zero with a fixed random seed. However, few benchmark studies attempt to quantify uncertainty, partly due to the time and cost of repeated experiments. We use benchmarks designed for testing LLMs' capacity to reason about cardinal directions to explore the impact of experimental repeats on mean score and prediction interval. We suggest a simple method for cost-effectively quantifying the uncertainty of a benchmark score and make recommendations concerning reproducible LLM evaluation.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑