MedPI：评估医疗患者交互中的人工智能系统
MedPI: Evaluating AI Systems in Medical Patient-facing Interactions
AI总结：
MedPI是一个评估医疗患者交互中AI系统表现的高维基准，通过105个维度评估医疗对话质量，发现主流LLM在鉴别诊断上表现不佳。
摘要：
我们提出了MedPI，一个高维基准，用于评估大型语言模型（LLMs）在患者-医生对话中的表现。不同于单轮问答（QA）基准，MedPI评估医疗对话，涵盖105个维度，包括医疗过程、治疗安全、治疗结果以及医患沟通，采用细致且与认证对齐的评分标准。MedPI包含五个层次：（1）患者包（合成EHR-like真实数据）；（2）通过LLM实现的AI患者，具有记忆和情感；（3）任务矩阵，涵盖会诊原因（如焦虑、怀孕、健康检查）x会诊目标（如诊断、生活方式建议、药物建议）；（4）评估框架，包含105个维度，按1-4分制映射到医学教育认证委员会（ACGME）的胜任力；（5）AI评委，由校准的委员会式LLM组成，提供评分、标志和证据相关的理由。我们评估了9个旗舰模型——Claude Opus 4.1、Claude Sonnet 4、MedGemma、Gemini 2.5 Pro、Llama 3.3 70b Instruct、GPT-5、GPT OSS 120b、o3、Grok-4——在366个AI患者和7,097次对话上的表现，使用标准化的“纯医生”提示。对于所有LLM，我们观察到在多种维度上表现较低，特别是在鉴别诊断方面。我们的工作可以指导未来LLM在诊断和治疗建议中的应用。
英文摘要：
We present MedPI, a high-dimensional benchmark for evaluating large language models (LLMs) in patient-clinician conversations. Unlike single-turn question-answer (QA) benchmarks, MedPI evaluates the medical dialogue across 105 dimensions comprising the medical process, treatment safety, treatment outcomes and doctor-patient communication across a granular, accreditation-aligned rubric. MedPI comprises five layers: (1) Patient Packets (synthetic EHR-like ground truth); (2) an AI Patient instantiated through an LLM with memory and affect; (3) a Task Matrix spanning encounter reasons (e.g. anxiety, pregnancy, wellness checkup) x encounter objectives (e.g. diagnosis, lifestyle advice, medication advice); (4) an Evaluation Framework with 105 dimensions on a 1-4 scale mapped to the Accreditation Council for Graduate Medical Education (ACGME) competencies; and (5) AI Judges that are calibrated, committee-based LLMs providing scores, flags, and evidence-linked rationales. We evaluate 9 flagship models -- Claude Opus 4.1, Claude Sonnet 4, MedGemma, Gemini 2.5 Pro, Llama 3.3 70b Instruct, GPT-5, GPT OSS 120b, o3, Grok-4 -- across 366 AI Patients and 7,097 conversations using a standardized "vanilla clinician" prompt. For all LLMs, we observe low performance across a variety of dimensions, in particular on differential diagnosis. Our work can help guide future use of LLMs for diagnosis and treatment recommendations.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
