VoxelPrompt：用于端到端医学图像分析的视觉智能体
VoxelPrompt: A Vision Agent for End-to-End Medical Image Analysis
AI总结：
VoxelPrompt是一个端到端医学图像分析智能体，通过语言模型生成代码调用视觉网络，实现自由形式放射学任务，其准确度与专门单任务模型相当，并支持广泛的组合式生物医学工作流。
摘要：
我们提出了VoxelPrompt，一个端到端的图像分析智能体，用于处理自由形式的放射学任务。给定任意数量的体积医学图像和自然语言提示，VoxelPrompt集成一个语言模型，该模型生成可执行代码以调用一个联合训练的、可适应的视觉网络。该代码进一步执行分析步骤，以解决实际的定量目标，例如测量肿瘤在多次就诊间的生长情况。VoxelPrompt生成的流程自动化了当前需要从业者费力地组合多种专门视觉和统计工具的分析工作。我们使用多种神经影像任务评估VoxelPrompt，并展示其能够描绘数百个解剖和病理特征，测量复杂的形态学属性，并对病变特征进行开放语言分析。VoxelPrompt以与专门的单任务图像分析模型相似的准确度完成这些目标，同时促进了广泛的组合式生物医学工作流程。
英文摘要：
We present VoxelPrompt, an end-to-end image analysis agent that tackles free-form radiological tasks. Given any number of volumetric medical images and a natural language prompt, VoxelPrompt integrates a language model that generates executable code to invoke a jointly-trained, adaptable vision network. This code further carries out analytical steps to address practical quantitative aims, such as measuring the growth of a tumor across visits. The pipelines generated by VoxelPrompt automate analyses that currently require practitioners to painstakingly combine multiple specialized vision and statistical tools. We evaluate VoxelPrompt using diverse neuroimaging tasks and show that it can delineate hundreds of anatomical and pathological features, measure complex morphological properties, and perform open-language analysis of lesion characteristics. VoxelPrompt performs these objectives with an accuracy similar to that of specialist single-task models for image analysis, while facilitating a broad range of compositional biomedical workflows.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
