良好的基准测试
Good Benchmarks
首次发表
浏览论文内容
中文总结 AI 辅助
研究良好基准测试的特点，指出其应正确、可解等，最佳任务能描述实际问题，用从业者语言，通过结果验证，而非验证方法。
中文摘要 AI 辅助
良好的任务是正确、可解、可验证、明确规定的，且因有趣的原因而具有挑战性。最佳任务描述有经验的从业者能识别的实际问题，用从业者的语言，通过测试验证结果而非方法。
英文摘要
Good tasks are correct, solvable, verifiable, well-specified, and hard for interesting reasons. The best tasks describe a real problem an experienced practitioner would recognize, in language a practitioner would use, with tests that verify the outcome rather than the approach.
