使用外部数据源评估大型语言模型的客观指标
Objective Metrics for Evaluating Large Language Models Using External Data Sources
AI总结：
本文提出一种利用课程文本材料中的主观指标评估大型语言模型输出的框架，通过定义基准、事实数据集和结构化流程，实现一致、可重复且偏差最小化的自动化客观评分，为高风险领域提供可扩展的评估方案。
摘要：
评估大型语言模型（LLMs）的性能是一项关键但具有挑战性的任务，特别是在旨在避免主观评估时。本文提出了一个框架，利用从不同学期的课程文本材料中得出的主观指标，来评估LLMs在各种任务上的输出。通过使用明确定义的基准、事实数据集和结构化的评估流程，该方法确保了一致、可重复且偏差最小化的测量。该框架强调评分的自动化和透明度，减少了对人工解释的依赖，同时确保了与现实世界应用的一致性。该方法解决了主观评估方法的局限性，为教育、科学和其他高风险领域的性能评估提供了可扩展的解决方案。
英文摘要：
Evaluating the performance of Large Language Models (LLMs) is a critical yet challenging task, particularly when aiming to avoid subjective assessments. This paper proposes a framework for leveraging subjective metrics derived from the class textual materials across different semesters to assess LLM outputs across various tasks. By utilizing well-defined benchmarks, factual datasets, and structured evaluation pipelines, the approach ensures consistent, reproducible, and bias-minimized measurements. The framework emphasizes automation and transparency in scoring, reducing reliance on human interpretation while ensuring alignment with real-world applications. This method addresses the limitations of subjective evaluation methods, providing a scalable solution for performance assessment in educational, scientific, and other high-stakes domains.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
