arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2407.07666cs.CLcs.AI
收藏

一种面向大语言模型的S.C.O.R.E.评估框架提案:安全性、共识性、客观性、可复现性与可解释性

A Proposed S.C.O.R.E. Evaluation Framework for Large Language Models : Safety, Consensus, Objectivity, Reproducibility and Explainability

Singapore National Eye Centre(新加坡全国眼科中心);Singapore Eye Research Institute(新加坡眼科研究所);Singapore Health Services(新加坡保健服务集团);Singapore General Hospital(新加坡中央医院);University of California San Francisco(加州大学旧金山分校);Duke-NUS Medical School(杜克-新加坡国立大学医学院);Stanford University(斯坦福大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);Sun Yat Sen University(中山大学)

Ting Fang Tan, Kabilan Elangovan, Jasmine Ong, Nigam Shah, Joseph Sung, Tien Yin Wong, Lan Xue, Nan Liu, Haibo Wang, Chang Fu Kuo, Simon Chesterman, Zee Kin Yeong, Daniel SW Ting

AI总结:

本研究针对医疗领域大语言模型评估局限,提出涵盖安全性、共识性、客观性、可复现性、可解释性的S.C.O.R.E.定性评估框架,为医疗临床场景下安全可信的LLM评估提供基础。

摘要:

医疗领域的大语言模型(LLM)需要一套超越传统准确率与定量指标的全面定性评估框架。我们提出评估LLM的5个核心维度:安全性(Safety)、共识性(Consensus)、客观性(Objectivity)、可复现性(Reproducibility)与可解释性(Explainability),即S.C.O.R.E.。我们认为S.C.O.R.E.可作为未来医疗与临床应用中安全、可靠、可信、合规的LLM类模型评估框架的基础。

英文摘要:

A comprehensive qualitative evaluation framework for large language models (LLM) in healthcare that expands beyond traditional accuracy and quantitative metrics needed. We propose 5 key aspects for evaluation of LLMs: Safety, Consensus, Objectivity, Reproducibility and Explainability (S.C.O.R.E.). We suggest that S.C.O.R.E. may form the basis for an evaluation framework for future LLM-based models that are safe, reliable, trustworthy, and ethical for healthcare and clinical applications.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑