发表机构
University of Florida; University of Pittsburgh School of Medicine（佛罗里达大学; 匹兹堡大学医学院）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本研究提出一种结合提示优化的评分标准引导大语言模型，从电子健康记录中自动提取证据识别阿片类药物使用障碍，F1达0.774，优于传统机器学习与零样本方法。
AI 中文摘要
阿片类药物使用障碍（OUD）在美国仍是一场公共卫生危机，然而由于诊断代码缺失且支持性证据深埋于临床叙述中，从电子健康记录（EHRs）中识别OUD十分困难。准确的OUD识别对于支持干预措施和改善健康结局至关重要。本研究开发了一种基于评分标准引导的大语言模型（LLM），该模型结合了提示优化（OPRO）技术，用于OUD可计算表型（CP）识别。该框架使用由专家确定的18项评分标准来指导LLM自动提取关键文本及支持性证据，以确定OUD标记。两位UF Health医生（GMR和WMG）对253名患者进行了病历审查，其中包括68例OUD阳性病例。我们基于LLM的可计算表型（CP）取得了最佳F1分数0.774和AUROC 0.934，分别比使用EHR和自然语言处理提取变量的基于机器学习的CP以及零样本LLM的相对F1提高了12.8%和44.4%。所提出的基于LLM的CP能够将LLM提取的证据与OUD表型识别联系起来，从而获得更好的可解释性。
英文摘要
Opioid use disorder (OUD) remains a public health crisis in the United States, yet it is difficult to identify from electronic health records (EHRs) because missing diagnosis codes and supporting evidence are buried in clinical narratives. Accurate OUD identification is critical to support interventions and improve health outcomes. This study developed a rubric-guided large language model (LLM) that incorporated Optimization by PROmpting (OPRO) for OUD computable phenotyping (CP). The framework used an 18-item, expert-identified rubric to instruct LLMs to automatically extract critical text with supporting evidence to determine OUD flags. Two UF Health physicians (GMR and WMG) chart-reviewed 253 patients, including 68 OUD-positive cases. Our LLM-based computable phenotype (CP) achieved the best F1 score of 0.774 and an AUROC of 0.934, outperforming the machine learning-based CP using EHR and natural language processing-extracted variables, and zero-shot LLMs by relative F1 improvements of 12.8% and 44.4%, respectively. The proposed LLM-based CP could link LLM-extracted evidence to OUD phenotyping for better explainability.
