AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning
FNii-Shenzhen, The Chinese University of Hong Kong (Shenzhen) School of Science and Engineering(深圳FNii、香港中文大学(深圳)科学与工程学院)
AgentsEval通过多智能体推理框架,实现医学影像报告的临床可信评估,提供结构化反馈和稳健的评估结果。
2026-01-23 cs.AI
Vision Transformers in Medical Imaging: A Review
Covenant University(盟约大学);Virginia Tech(弗吉尼亚理工大学)
Transformer是一种包括基于注意力的编码器-解码器体系结构的模型,在自然语言处理(NLP)领域中已经获得了流行,并且最近影响了计算机视觉(CV)空间。计算机视觉和医学成像之间的相似之处,审查了研究人员之间的问题,如果Transformers对计算机视觉的影响可以转化为医学成像?本文就Transformers在医学成像中的应用作一综述。描述了Transformer模型,并将其与多种卷积神经网络(CNN)进行了比较,详细介绍了基于Transformer的医学图像分类、分割、配准和重建方法,重点关注图像模态,在标准医疗数据集上比较最先进的Transformer架构与最佳性能CNN的性能。
2022-11-18 cs.AI cs.CV
Application of DatasetGAN in medical imaging: preliminary studies
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
生成对抗网络(GANs)在医学成像领域有着广泛的应用前景。DatasetGAN是最近提出的一个基于现代GANs的框架,它可以合成高质量的分割图像,同时只需要一小部分带注释的训练图像。合成的注释图像可以潜在地用于许多医学成像应用,其中需要具有分割信息的图像。然而,据我们所知,还没有发表的研究集中在其应用于医学成像。在这项工作中,进行了初步研究,以调查DatasetGAN在医学成像中的效用。考虑到医学图像的独特性,对原始DatasetGAN框架提出了三项改进。对DatasetGAN合成的分割图像进行视觉评价。通过评估预定义图像分割技术的性能,进一步分析了训练的DatasetGAN,该技术是通过使用合成数据集进行训练的。讨论了DatasetGAN的有效性、关注点和潜在用途。
2022-02-27 cs.AI cs.CV
Towards Autonomous and Auditable Medical Imaging Model Development
The Chinese University of Hong Kong(香港中文大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Microsoft Research(微软研究院);Lehigh University(里海大学)
研究针对医学成像模型开发困难的问题,提出AMID自主多代理框架。该框架含数据条件方法规划和验证引导两阶段优化,经20个医学成像任务验证,其性能优于通用MLE系统,能将特定任务模型开发转变为高效可审计的代理工作流程。
2026-09-29 cs.AI cs.CV
A Strong Baseline for Domain Adaptation and Generalization in Medical Imaging
Enlitic(Enlitic公司)
该方法为医学成像中的多源多靶领域自适应和泛化问题提供了有力的基础。使用十个胸部X射线数据集的不同集合,我们以经验证明了在不同患者人群上训练医学成像深度学习模型以推广到样本外域的好处。
2019-04-02 cs.AI cs.CV eess.IV
MedROV: Towards Real-Time Open-Vocabulary Detection Across Diverse Medical Imaging Modalities
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
MedROV是首个实时开放词汇医学影像检测模型,通过大规模数据集和伪标签策略提升检测性能,实现40 mAP50的提升并达到70 FPS的实时处理速度。
2025-11-25 cs.AI cs.CV
Artificial Intelligence Augmented Medical Imaging Reconstruction in Radiation Therapy
UNIVERSITY OF CALIFORNIA, SAN FRANCISCO(加利福尼亚大学旧金山分校);UNIVERSITY OF CALIFORNIA, BERKELEY(加利福尼亚大学伯克利分校)
针对现代放射治疗中高效精确影像重建的需求,本文提出一系列AI驱动的医学影像重建框架,以提升CT重建质量与速度、优化DECT多材料分解并加速4D MRI采集,助力增强放射治疗效果。
2025-04-10 cs.AI eess.IV
Iterative Refinement Strategy for Automated Data Labeling: Facial Landmark Diagnosis in Medical Imaging
The University of Melbourne(墨尔本大学)
针对医学影像面部关键点诊断中的自动标注难题,本文提出结合反馈机制与先进算法的迭代优化策略,以减少人工干预并提升标签质量及深度学习性能。
2024-04-08 cs.AI cs.CV cs.LG
Non-negative Subspace Feature Representation for Few-shot Learning in Medical Imaging
University of Southampton(南安普顿大学);Electronics and Computer Science(电子与计算机科学学院)
本文针对医学影像数据稀缺问题,在低维子空间中引入NMF及其监督变体进行少样本分类,并在14个数据集上证明其相较PCA更具判别力且有助于病灶检测。
2024-04-04 cs.AI cs.CV
Zero-shot performance of the Segment Anything Model (SAM) in 2D medical imaging: A comprehensive evaluation and practical guidelines
Pontifícia Universidade Católica do Rio Grande do Sul(南里奥格兰德天主教大学)
本研究评估了 SAM 模型在四种医学影像模态下的零样本分割性能,发现其可与现有最先进方法媲美甚至超越,并提出了需最少交互的实践指南。
2023-05-05 cs.AI cs.CV
Medical Image Fusion: A survey of the state of the art
Nazarbayev University(纳扎尔巴耶夫大学)
医学图像融合是将来自单一或多种成像模式的多幅图像进行配准和组合的过程,以提高成像质量,减少随机性和冗余,从而提高医学图像在诊断和评估医学问题方面的临床应用价值。多模态医学图像融合算法和设备在提高基于医学图像的临床决策的准确性方面已经显示出显著的成就。这篇综述文章提供了一个方法的事实清单,并总结了医学图像融合领域面临的广泛的科学挑战。我们描述了医学图像融合研究的基础上(1)广泛使用的图像融合方法,(2)成像方式,(3)正在研究的器官成像。本综述的结论是,即使存在一些开放式的技术和科学挑战,医学图像的融合已被证明是有用的,以推进使用医学成像的医疗诊断和分析的临床可靠性,是一门科学学科,有可能在未来几年显着增长。
2013-12-31 cs.AI cs.CV physics.med-ph
Self-Attention Diffusion Models for Zero-Shot Biomedical Image Segmentation: Unlocking New Frontiers in Medical Imaging
Florida International University(佛罗里达国际大学)
本研究提出基于自注意力扩散模型的零样本生物医学图像分割系统ADZUS,无需标注和领域知识即可实现分割,在多类医学图像任务上达SOTA,有望降低标注成本、拓展AI医学成像诊断能力。
2025-03-23 cs.AI cs.CV
Domain Generalization on Medical Imaging Classification using Episodic Training with Task Augmentation
Xiamen University(厦门大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Deepwise AI Laboratory(深睿医疗人工智能实验室)
医学成像数据集通常表现出域的变化,由于扫描仪供应商,成像协议等,这引起了人们对机器学习模型的泛化能力的关注。领域泛化(DG),其目的是从多个源域学习模型,使其可以直接推广到看不见的测试域,似乎特别有前途的医学成像界。为了解决DG,最近的模型不可知元学习(MAML)已经被引入,它转移了以前的训练任务的知识,以促进新的测试任务的学习。然而,在临床实践中,通常只有少数注释源域可用,这降低了训练任务生成的能力,从而增加了过拟合训练任务的风险。在本文中,我们提出了一种新的DG计划的情节训练与任务增强的医学影像分类。基于元学习理论,我们提出情景训练范式,构建情景训练任务模拟到DG真实测试任务的知识迁移。在现实世界的医疗部署中,由于源域的数量有限,我们考虑到独特的任务级过拟合,我们提出了任务增强,以提高训练任务生成过程中的多样性,以减轻它。与已建立的学习框架,我们进一步开发了一种新的元目标,以正则化训练域的深度嵌入。为了验证所提出的方法的有效性,我们进行实验的组织病理学图像和腹部CT图像。
2021-06-13 cs.AI cs.CV
Adaptive Interactive Segmentation for Multimodal Medical Imaging via Selection Engine
Hangzhou Dianzi University(杭州电子科技大学);Chinese PLA General Hospital(中国人民解放军总医院);Communication University of Zhejiang(浙江传媒学院)
针对多模态医学影像分割的适应性与泛化性挑战,提出基于SAM2的策略驱动交互式分割模型SISeg,集成选择引擎AFSE优化提示帧选择,在10个多模态数据集上验证了其强大性能。
2024-11-29 cs.AI cs.CV cs.LG
Evaluating Visual Explanations of Attention Maps for Transformer-based Medical Imaging
Ghent University Global Campus(根特大学全球校区);Ghent University(根特大学)
本研究在四个医学影像数据集上系统比较了注意力图与其他可解释性方法在视觉Transformer中的表现,发现注意力图虽优于GradCAM但不及Transformer专用方法,其可解释性效果具有情境依赖性。
2025-03-12 cs.AI cs.CV
Physical foundations for trustworthy medical imaging: a review for artificial intelligence researchers
IFCA.unican.es(IFCA大学)
本文面向AI研究者系统综述医学影像的物理基础,分析其对生成模型与重建算法的影响,并提出将物理约束融入机器学习以提升模型可信度与鲁棒性。
2025-04-28 cs.AI cs.CV eess.IV
Disease Classification and Impact of Pretrained Deep Convolution Neural Networks on Diverse Medical Imaging Datasets across Imaging Modalities
Gauhati University(古瓦哈蒂大学)
本文系统评估了十种预训练深度卷积神经网络在多种医学影像模态上的迁移学习表现,发现预训练特征提取效果不佳、更深架构未必更优,且同领域内跨模态性能不可直接外推。
2024-09-02 cs.AI cs.CV cs.LG
Foundation Models for Medical Imaging: Status, Challenges, and Directions
Rensselaer Polytechnic Institute(伦斯勒理工学院);GE HealthCare Technology & Innovation Center(GE医疗技术与创新中心)
本文综述了医学影像中基础模型的现状、挑战与未来方向,强调了通用型模型在跨模态和临床任务中的适应能力及临床应用的可行性。
2026-02-17 cs.AI cs.CV eess.IV
Explainable AI for medical imaging: Explaining pneumothorax diagnoses with Bayesian Teaching
Rutgers University, School of Arts and Sciences Newark(罗格斯大学纽瓦克文理学院)
有限的专家时间是医学成像的关键瓶颈。由于图像分类的进步,人工智能现在可以作为医学专家的决策支持,有可能极大地提高放射科医生的工作效率,进而提高公共卫生。然而,这些收益取决于建立和保持专家对人工智能智能体的信任。可解释的人工智能可以通过帮助医学专家理解诊断判断背后的人工智能决策过程来建立这种信任。在这里,我们介绍和评估基于贝叶斯教学的解释,一个正式的解释植根于人类学习的认知科学。我们发现,接触到贝叶斯教学生成的解释的医学专家成功地预测了AI的诊断决策,并且更有可能在AI正确的情况下证明AI,而不是在AI错误的情况下,这表明了适当的信任。这些结果表明,可解释AI可用于支持医学成像中的人类-AI协作。
2021-06-08 cs.AI cs.HC cs.LG
M^3Builder: A Multi-Agent System for Automated Machine Learning in Medical Imaging
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出M3Builder多智能体系统,通过四个协作智能体自动化医学影像机器学习流程,并构建M3Bench基准,在14个数据集上以Claude-3.7-Sonnet为核心达到94.29%成功率。
2025-02-27 cs.AI cs.CL cs.CV
FedMedICL: Towards Holistic Evaluation of Distribution Shifts in Federated Medical Imaging
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Oxford(牛津大学);University of Virginia(弗吉尼亚大学)
针对现有联邦医学影像基准无法同时评估多种共存分布偏移的问题,本文提出统一框架与基准FedMedICL,可同时捕捉三类偏移,经实验发现简单批次平衡技术性能优于先进方法,质疑了以往窄基准结果的临床适用性。
2024-07-11 cs.AI cs.CV eess.IV
Trustworthy Medical Imaging with Large Language Models: A Study of Hallucinations Across Modalities
The University of Akron(阿克隆大学);University of Tennessee at Chattanooga(田纳西大学查塔努加分校);Texas State University(德克萨斯州立大学)
本研究系统分析了大型语言模型在医学成像图像到文本和文本到图像任务中的幻觉问题,揭示了常见错误模式及其成因,为提升LLM驱动医学成像系统的安全性和可信度提供了见解。
2025-08-09 cs.AI cs.CV eess.IV
Computationally Efficient Diffusion Models in Medical Imaging: A Comprehensive Review
James Cook University(詹姆斯库克大学)
本文综述 DDPM、LDM 和 WDM 三类扩散模型,围绕自然与医学影像中的计算效率和推理时间,梳理其框架、进展、局限及未来方向。
2025-05-09 cs.AI cs.CV eess.IV
Robust and Efficient Medical Imaging with Self-Supervision
Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院);Northwestern University(西北大学)
医疗人工智能(AI)的最新进展已经提供了可以达到临床专家级性能的系统。然而,当在不同于训练环境的临床设置中评估时,这样的系统倾向于展示次优的“分布外”性能。一种常见的缓解策略是使用临床试验机构特定数据为每种临床环境开发单独的系统[1]。然而,这很快就变得不切实际,因为医疗数据的获取耗时且注释昂贵[2]。因此,“数据有效泛化”的问题是医疗AI开发的一个持续难题。虽然表示学习的进展显示出了希望,但它们的好处还没有得到严格的研究,特别是对于分布外的设置。为了应对这些挑战,我们提出了REMEDIS,一个统一的表示学习策略,以提高医学成像AI的鲁棒性和数据效率。REMEDIS使用大规模监督迁移学习与自监督学习的通用组合,并且几乎不需要特定于任务的定制。我们研究了各种各样的医学成像任务,并使用回顾性数据模拟了三个现实的应用场景。REMEDIS表现出显著改善的分销性能,与强监督基线相比,诊断准确性的相对改善高达11.5%。更重要的是,我们的策略导致了医学成像AI的强大数据效率泛化,使用1%到33%的任务再训练数据来匹配强监督基线。这些结果表明,REMEDIS可以显著加快医学成像AI开发的生命周期,从而为医学成像AI提供广泛的影响力迈出了重要的一步。
2022-07-03 cs.AI cs.CV cs.LG
MIST: A Simple and Scalable End-To-End 3D Medical Imaging Segmentation Framework
The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心);Rice University(莱斯大学)
本文提出MIST,一个简单、模块化、端到端的3D医学图像分割框架,通过标准化训练、测试和评估流程,解决现有方法难以公平比较的问题,并在BraTS数据集上验证了其准确性和多GPU可扩展性。
2024-11-18 cs.AI cs.CV cs.LG
Improving 2D Diffusion Models for 3D Medical Imaging with Inter-Slice Consistent Stochasticity
ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学)
通过引入跨切片一致的随机性策略,改进2D扩散模型以提升3D医学影像重建的保真度与一致性。
2026-02-09 cs.AI cs.CV eess.IV
Graph Convolutional Networks for Multi-modality Medical Imaging: Methods, Architectures, and Clinical Applications
UNC Charlotte(北卡罗来纳大学夏洛特分校);Sensebrain Research(Sensebrain研究院);UCLA(加州大学洛杉矶分校);Stanford University(斯坦福大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Rutgers University(罗格斯大学)
基于图像的表征和疾病理解涉及跨生物尺度的形态、空间和拓扑信息的综合分析。图卷积网络(GCN)的发展为通过图驱动架构解决这种信息复杂性创造了机会,因为GCN可以以显着的灵活性和效率执行特征聚合,交互和推理。这些GCN的能力催生了医学成像分析研究的新浪潮,其总体目标是改善定量疾病理解,监测和诊断。然而,为多模态医学成像设计重要的图像到图形转换以及深入了解模型解释和增强的临床决策支持仍然面临着艰巨的挑战。在这篇综述中,我们提出了最近的GCN的发展的背景下,医学图像分析,包括成像数据从放射学和组织病理学。我们讨论了在医学图像分析中快速增长的图形网络架构的使用,以改善疾病诊断和临床实践中的患者结局。为了促进跨学科研究,我们介绍了GCN的技术进步,新兴的医学应用,确定了使用基于图像的GCN及其在模型解释中的扩展所面临的共同挑战,以及有望改变医学图像研究和相关图形驱动医学研究范围的大规模基准。
2022-04-21 cs.AI cs.CV cs.LG
HOPPR Medical-Grade Platform for Medical Imaging AI
针对医学影像AI部署面临的计算成本、专业知识和高质量数据集获取等障碍,HOPPR医疗级平台提供计算基础设施、可微调基础模型及质量管理系统,助力LVLM解决方案部署,优化放射科工作流程。
2024-11-26 cs.AI cs.CL cs.CV
Non-Imaging Medical Data Synthesis for Trustworthy AI: A Comprehensive Survey
Imperial College London(帝国理工学院);Alan Turing Institute(艾伦·图灵研究所);TECNALIA(泰克纳利亚研究中心);Basque Research & Technology Alliance (BRTA)(巴斯克研究与技术联盟(BRTA))
数据质量是在医疗保健领域开发值得信赖的人工智能的关键因素。大量具有受控混杂因素的策划数据集可以帮助提高下游AI算法的准确性,鲁棒性和隐私性。然而,高质量数据集的获取受到数据采集技术难度的限制,医疗保健数据的大规模共享受到严格的伦理限制的阻碍。数据合成算法生成的数据与真实临床数据的分布相似,可以作为一种潜在的解决方案,以解决在开发可信赖的人工智能过程中缺乏高质量数据的问题。然而,最先进的数据合成算法,特别是深度学习算法,更多地关注成像数据,而忽略了非成像医疗数据的合成,包括临床测量、医疗信号和波形以及电子医疗记录(EHR)。因此,在本文中,我们将回顾合成算法,特别是对于非成像医学数据,目的是在这一领域提供值得信赖的AI。这篇教程式的综述论文将对非成像医学数据合成的算法、评价、局限性和未来的研究方向等方面进行全面的描述。
2022-09-17 cs.AI cs.CV cs.LG
NFRs in Medical Imaging
IT University of Copenhagen(哥本哈根信息技术大学)
本研究针对医学影像AI模型在医院落地困难的问题,通过定性方法识别出Efficiency、Accuracy等关键非功能需求(NFRs),为机器学习软件的需求工程提供指导。
2024-11-14 cs.AI cs.LG cs.SE
On the Interplay of Human-AI Alignment,Fairness, and Performance Trade-offs in Medical Imaging
University of Bern(伯恩大学);Shanghai Jiao Tong University(上海交通大学)
本文首次系统研究医学影像中人类-AI对齐与公平性的关系,证明适度引入人类洞见可缩小群体差距并提升域外泛化,但过度对齐会造成性能权衡。
2025-05-15 cs.AI cs.CL cs.CV
Robust Training with Data Augmentation for Medical Imaging Classification
University of Connecticut(康涅狄格大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本研究提出带数据增强的鲁棒训练算法(RTDA),在医学影像分类中提升对对抗攻击和分布偏移的鲁棒性,同时保持高准确率。
2025-06-20 cs.AI cs.CV cs.LG
MEDFAIR: Benchmarking Fairness for Medical Imaging
University of Edinburgh(爱丁堡大学);Samsung AI Centre, Cambridge(三星剑桥人工智能中心)
大量的工作表明,基于机器学习的医疗诊断系统可能对某些人群有偏见。这促使越来越多的偏见缓解算法,旨在解决机器学习中的公平性问题。然而,由于两个原因,很难比较它们在医学成像中的有效性。首先,在评估公平性的标准上几乎没有共识。其次,现有的偏差减轻算法是在不同的设置下开发的,例如,数据集、模型选择策略、主干和公平性指标,使得基于现有结果的直接比较和评估成为不可能。在这项工作中,我们介绍MEDFAIR,一个框架,以基准的公平性机器学习模型的医学成像。MEDFAIR涵盖了来自不同类别的11种算法,来自不同成像模式的9个数据集和3个模型选择标准。通过大量的实验,我们发现,模型选择标准的研究不足的问题可以有一个显着的影响公平的结果,而相比之下,国家的最先进的偏见缓解算法并没有显着改善公平的结果超过经验风险最小化(ERM)在分布和分布设置。我们从多个角度对公平性进行评估,并针对不同的医疗应用场景,需要不同的伦理原则提出建议。我们的框架为深度学习中未来偏差缓解算法的开发和评估提供了一个可重复且易于使用的入口点。代码可在https://github.com/ys-zong/MEDFAIR上获得。
2023-02-17 cs.AI cs.LG eess.IV
The Limits of Fair Medical Imaging AI In The Wild
Massachusetts Institute of Technology(麻省理工学院);Emory University School of Medicine(埃默里大学医学院)
本研究针对医学影像AI利用人口统计学捷径引发的亚群体公平性问题展开调研,发现算法修正仅能实现原始分布内的局部公平,低人口编码模型在新环境中全局公平性更优,为跨场景部署的医学影像AI公平性实践提供了参考。
2023-12-11 cs.AI cs.CV cs.CY