面向医学应用的多模态ChatGPT：GPT-4V的实验研究
Multimodal ChatGPT for Medical Applications: an Experimental Study of GPT-4V
AI总结：
本文通过11种模态和16类问题的医学VQA实验评估GPT-4V，发现其诊断准确率不可靠，不推荐用于真实诊断，并总结了其七方面行为局限。
摘要：
在本文中，我们批判性地评估了当前最先进的多模态大语言模型，即具备视觉能力的GPT-4（GPT-4V），在视觉问答（VQA）任务上的能力。我们的实验使用来自11种模态（如显微镜、皮肤镜、X射线、CT等）和十五类感兴趣对象（脑、肝、肺等）的病理学和放射学数据集，全面评估了GPT-4V在回答与图像配对问题方面的熟练程度。我们的数据集涵盖了广泛的医学问询，包括十六种不同的问题类型。在整个评估过程中，我们为GPT-4V设计了文本提示，引导其协同利用视觉和文本信息。基于准确率分数的实验得出结论：当前版本的GPT-4V在回答诊断性医学问题时准确率不可靠且未达最优，因此不推荐用于真实世界的诊断。此外，我们描述了GPT-4V在医学VQA中行为的七个独特方面，强调了其在这一复杂领域中的局限性。我们评估案例的完整细节可在https://github.com/ZhilingYan/GPT4V-Medical-Report获取。
英文摘要：
In this paper, we critically evaluate the capabilities of the state-of-the-art multimodal large language model, i.e., GPT-4 with Vision (GPT-4V), on Visual Question Answering (VQA) task. Our experiments thoroughly assess GPT-4V's proficiency in answering questions paired with images using both pathology and radiology datasets from 11 modalities (e.g. Microscopy, Dermoscopy, X-ray, CT, etc.) and fifteen objects of interests (brain, liver, lung, etc.). Our datasets encompass a comprehensive range of medical inquiries, including sixteen distinct question types. Throughout our evaluations, we devised textual prompts for GPT-4V, directing it to synergize visual and textual information. The experiments with accuracy score conclude that the current version of GPT-4V is not recommended for real-world diagnostics due to its unreliable and suboptimal accuracy in responding to diagnostic medical questions. In addition, we delineate seven unique facets of GPT-4V's behavior in medical VQA, highlighting its constraints within this complex arena. The complete details of our evaluation cases are accessible at https://github.com/ZhilingYan/GPT4V-Medical-Report.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
