用于抑制放射学报告生成中既往检查幻觉的直接偏好优化
Direct Preference Optimization for Suppressing Hallucinated Prior Exams in Radiology Report Generation
AI总结：
本文提出用DPO微调医学视觉语言模型，以抑制胸部X光报告生成中的既往检查幻觉，在保持临床准确性的同时将相关幻觉行数降低3.2–4.8倍。
摘要：
生成式视觉语言模型（VLM）的最新进展对放射学中的人工智能具有令人振奋的潜在意义，但众所周知，VLM也会产生幻觉、无意义文本以及其他不良行为，这些行为可能浪费临床医生的时间并对患者造成伤害。借鉴近期关于直接偏好优化（DPO）的研究，我们提出了一种简单方法，通过抑制不需要的生成类型，来修改执行放射学报告生成的预训练VLM的行为。我们将该方法应用于预防既往检查幻觉，以解决执行胸部X光报告生成的模型中长期存在的问题行为。在所有实验中，我们发现DPO微调使幻觉出既往检查的行数减少了3.2–4.8倍，同时保持了模型在临床准确性指标上的性能。据我们所知，我们的工作是首次将DPO应用于医学VLM，提供了一种数据和计算高效的方式，可在保持整体临床准确性的同时抑制问题行为。
英文摘要：
Recent advances in generative vision-language models (VLMs) have exciting potential implications for AI in radiology, yet VLMs are also known to produce hallucinations, nonsensical text, and other unwanted behaviors that can waste clinicians' time and cause patient harm. Drawing on recent work on direct preference optimization (DPO), we propose a simple method for modifying the behavior of pretrained VLMs performing radiology report generation by suppressing unwanted types of generations. We apply our method to the prevention of hallucinations of prior exams, addressing a long-established problem behavior in models performing chest X-ray report generation. Across our experiments, we find that DPO fine-tuning achieves a 3.2-4.8x reduction in lines hallucinating prior exams while maintaining model performance on clinical accuracy metrics. Our work is, to the best of our knowledge, the first work to apply DPO to medical VLMs, providing a data- and compute- efficient way to suppress problem behaviors while maintaining overall clinical accuracy.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
