一种面向大语言模型的S.C.O.R.E.评估框架提案:安全性、共识性、客观性、可复现性与可解释性
A Proposed S.C.O.R.E. Evaluation Framework for Large Language Models : Safety, Consensus, Objectivity, Reproducibility and Explainability
AI总结:
本研究针对医疗领域大语言模型评估局限,提出涵盖安全性、共识性、客观性、可复现性、可解释性的S.C.O.R.E.定性评估框架,为医疗临床场景下安全可信的LLM评估提供基础。
摘要:
医疗领域的大语言模型(LLM)需要一套超越传统准确率与定量指标的全面定性评估框架。我们提出评估LLM的5个核心维度:安全性(Safety)、共识性(Consensus)、客观性(Objectivity)、可复现性(Reproducibility)与可解释性(Explainability),即S.C.O.R.E.。我们认为S.C.O.R.E.可作为未来医疗与临床应用中安全、可靠、可信、合规的LLM类模型评估框架的基础。
英文摘要:
A comprehensive qualitative evaluation framework for large language models (LLM) in healthcare that expands beyond traditional accuracy and quantitative metrics needed. We propose 5 key aspects for evaluation of LLMs: Safety, Consensus, Objectivity, Reproducibility and Explainability (S.C.O.R.E.). We suggest that S.C.O.R.E. may form the basis for an evaluation framework for future LLM-based models that are safe, reliable, trustworthy, and ethical for healthcare and clinical applications.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。