首页/论文/1609.04375

arXiv 1609.043752016-09q-bio.QMcs.CVcs.LG

深度成像透视

A Perspective on Deep Imaging

University of Toronto（多伦多大学）

Ge Wang

备注：: 9 pages, 10 figures, 49 references, and accepted by IEEE Access

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

断层成像和深度学习的结合，或一般的机器学习，不仅可以增强图像分析，还可以增强图像重建。后一方面被认为是在这个角度的文章，重点是医学成像，发展新一代的图像重建理论和技术。这个方向可能会导致智能利用大数据领域知识，图像重建的创新方法，以及临床和临床前应用的卓越性能。为了实现机器学习对医学成像的全面影响，必须解决主要挑战。

英文摘要：

The combination of tomographic imaging and deep learning, or machine learning in general, promises to empower not only image analysis but also image reconstruction. The latter aspect is considered in this perspective article with an emphasis on medical imaging to develop a new generation of image reconstruction theories and techniques. This direction might lead to intelligent utilization of domain knowledge from big data, innovative approaches for image reconstruction, and superior performance in clinical and preclinical applications. To realize the full impact of machine learning on medical imaging, major challenges must be addressed.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

没有免费的午餐：医学影像机器学习中数据集偏差的因果视角

No Fair Lunch: A Causal Perspective on Dataset Bias in Machine Learning for Medical Imaging

Microsoft Health Futures（微软健康未来部门）；Imperial College London（帝国理工学院）；The Hospital for Sick Children（病童医院）

本文从因果视角分析医学影像机器学习中的数据集偏差，提出三类因果偏差机制，并指出当前缓解方法的局限性，进而提供一个实用的三步框架以支持安全公平的AI预测模型开发。

2023-07-31cs.AIcs.CVcs.LG

ChatGPT 与 LLM 对医学影像利益相关方的影响：视角与用例

The Impact of ChatGPT and LLMs on Medical Imaging Stakeholders: Perspectives and Use Cases

Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）；Boston College（波士顿学院）

本文研究 ChatGPT 等 LLM 在医学影像中的应用，提出 BIGR-H 分析框架，梳理其对各利益相关方的影响并给出用例与未来方向。

2023-07-06cs.CLcs.CVcs.LG

用Transformers改造医学成像？关键特性的比较回顾、当前进展和未来前景

Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives

Chinese Academy of Sciences（中国科学院）；Johns Hopkins Medical Institutes（约翰斯·霍普金斯医学院）；Vanderbilt University（范德堡大学）；University of Science and Technology of China（中国科学技术大学）

Transformer是深度学习的最新技术进步，在自然语言处理或计算机视觉中获得了普及。由于医学成像与计算机视觉有一些相似之处，因此很自然地询问医学成像中的Transformers的现状并提出这样的问题：Transformer模型能否改变医学成像？本文试图对这一问题做出回应。在简要介绍了Transformers的基本原理，特别是与卷积神经网络（CNN）的比较，并强调了表征Transformers的关键定义属性之后，我们全面回顾了最先进的基于Transformers的医学成像方法，并展示了当前在医学图像分割，识别，检测，配准，重建，增强，特别是，我们的评论的区别在于它的组织基于Transformer的关键定义属性，这些属性主要来自比较Transformer和CNN，以及它的架构类型，它指定了Transformer和CNN组合的方式，所有这些都有助于读者最好地理解所评论方法背后的基本原理。最后，我们讨论了未来的前景。

2022-11-21cs.CV

从透视X射线成像到视差鲁棒的正射拼接

From Perspective X-ray Imaging to Parallax-Robust Orthographic Stitching

Johns Hopkins University（约翰斯·霍普金斯大学）；Technical University of Munich（慕尼黑工业大学）

在透视投影几何下获取的拼接图像是计算机视觉中的一个相关主题，具有从智能手机屏幕到数字地图构建的多种应用。图像拼接是医学成像中同样突出的挑战，其中由单个图像捕获的有限视场禁止对患者解剖结构进行整体分析。阻碍2D图像直接拼接的障碍是视差引起的深度不匹配。在这项工作中，我们利用傅立叶切片定理聚合信息，从多个传输图像中的X射线图像形成的基本原则，在无光域。拼接图像的语义使用一种新的深度学习策略来恢复，该策略利用围绕频率以及密集和稀疏空间图像内容设计的相似性度量。我们的管道不仅缝合图像，而且还提供正交重建，使临床相关量的度量测量直接在2D图像平面上。

2020-03-05cs.CVeess.IV

医学成像与深度学习：MIDL 2020 --短论文跟踪

Medical Imaging with Deep Learning: MIDL 2020 -- Short Paper Track

本汇编收集了2020年7月6日至9日在加拿大蒙特利尔举行的第三届医学成像与深度学习国际会议（MIDL 2020）的所有已接受的扩展摘要。请注意，这里只列出了可接受的扩展摘要，MIDL 2020 Full Paper Track的论文集发表在Proceedings of机器学习研究（PMLR）中。

2020-06-29cs.CVcs.LG

Barttender：一种可理解且可解释的医学影像与非影像数据比较方法

Barttender: An approachable & interpretable way to compare medical imaging and non-imaging data

School of Computer Science, Stanford University（斯坦福大学计算机科学学院）；Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系）

本文提出Barttender框架，将非影像表格数据转为灰度条形图，通过深度学习和gIoU指标直接比较影像与非影像数据的效用，在CheXpert和MIMIC上验证了其性能与可解释性。

2024-11-19cs.CVq-bio.QM

更多相关论文收起更多论文

人类树状管状结构分割：综述与展望

Human Treelike Tubular Structure Segmentation: A Comprehensive Review and Future Perspectives

National Heart and Lung Institute, Faculty of Medicine, Imperial College London（帝国理工学院医学院国家心肺研究所）；Department of Bioengineering, Faculty of Engineering, Imperial College London（帝国理工学院工程系生物工程系）；Royal Brompton Hospital（皇家布朗普顿医院）

人类生理学中的各种结构遵循树状形态，这通常在非常精细的尺度上表达复杂性。这种结构的例子是胸内气道、视网膜血管和肝血管。已经通过医学成像模态（诸如磁共振成像（MRI）、计算机断层扫描（CT）、光学相干断层扫描（OCT）和超声）获得了2D和3D图像的大集合，其中可以观察空间布置。在医学成像中分割这些结构是非常重要的，因为结构的分析提供了对疾病诊断、治疗计划和预后的见解。放射科医生手动标记大量数据通常耗时且容易出错。因此，在过去的二十年中，自动或半自动计算模型已经成为医学成像的热门研究领域，并且迄今为止已经开发了许多。在这项调查中，我们的目标是对目前公开的数据集、分割算法和评估指标进行全面审查。此外，目前的挑战和未来的研究方向进行了讨论。

2022-09-21cs.CVcs.LGeess.IV

Super Images——3D医学图像分析的新2D视角

Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis

Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）

提出将3D体积数据转换为2D super images并用2D网络分割的方法，在保持性能的同时将模型复杂度降低约三倍，为3D医学图像分析提供新视角。

2023-05-17cs.AIcs.CVeess.IV

医学成像与深度学习：MIDL 2019 --扩展的摘要跟踪

Medical Imaging with Deep Learning: MIDL 2019 -- Extended Abstract Track

本汇编收集了2019年7月8日至10日在英国伦敦举行的第二届深度学习医学成像国际会议（MIDL 2019）的所有已接受的扩展摘要。请注意，这里只列出了可接受的扩展摘要，MIDL 2019全文跟踪的论文集作为机器学习研究论文集（PMLR）http://proceedings.mlr.press/v102/的第102卷出版。

2019-07-22cs.CVcs.LGeess.IV

基于深度学习的超声成像通用波束形成器

Deep Learning-based Universal Beamformer for Ultrasound Imaging

Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）

在超声（US）成像中，各个通道RF测量值被反向传播并累积以在应用特定延迟之后形成图像。虽然这种时间反转通常使用基于硬件或软件的延迟求和（DAS）波束形成器来实现，但是在数据采集不理想的情况下，DAS的性能会迅速下降。在本文中，我们首次证明了设计为深度神经网络的单个数据驱动自适应波束形成器可以针对各种检测器通道配置和子采样率稳健地生成高质量图像。建议的深波束形成器评估两个不同的采集方案：聚焦超声成像和平面波成像。实验结果表明，所提出的深波束形成器表现出显着的性能增益聚焦和平面成像方案，在对比度噪声比和结构相似性。

2019-07-15cs.CVcs.LGeess.IV

疾病分类及预训练深度卷积神经网络在不同成像模态的多样医学影像数据集上的影响

Disease Classification and Impact of Pretrained Deep Convolution Neural Networks on Diverse Medical Imaging Datasets across Imaging Modalities

Gauhati University（古瓦哈蒂大学）

本文系统评估了十种预训练深度卷积神经网络在多种医学影像模态上的迁移学习表现，发现预训练特征提取效果不佳、更深架构未必更优，且同领域内跨模态性能不可直接外推。

2024-09-02cs.AIcs.CVcs.LG

人工智能在PET中的应用：行业视角

Artificial Intelligence in PET: an Industry Perspective

Sano Centre for Computational Medicine（萨诺计算医学中心）；GE Research（通用电气研究）；Canon Medical Research（佳能医疗研究）；United Imaging Healthcare（联影医疗）；NVIDIA（英伟达）；Philips Research Europe（飞利浦欧洲研究）；University of British Columbia（不列颠哥伦比亚大学）；BC Cancer（不列颠哥伦比亚省癌症中心）；National Institutes of Health（美国国立卫生研究院）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Hospital of the University of Pennsylvania（宾夕法尼亚大学医院）；UCL（伦敦大学学院）；Algorithms and Software Consulting Ltd（算法与软件咨询有限公司）

人工智能（AI）具有积极影响和推进医学成像的巨大潜力，包括正电子发射断层扫描（PET）成像应用。AI能够增强和优化PET成像链的各个方面，包括患者安排、患者设置、协议、数据采集、探测器信号处理、重建、图像处理和解释。人工智能带来了行业特有的挑战，需要解决和克服这些挑战，以最大限度地发挥人工智能在PET中的未来潜力。本文概述了AI的开发、标准化、商业化和临床应用所面临的这些行业特定挑战，并探讨了AI在不久的将来对PET成像的潜在增强作用。特别是，按需图像重建、人工智能和定制设计的数据处理工作流程的结合可能会为创新开辟新的可能性，这将对行业和最终患者产生积极影响。

2021-07-14cs.AIcs.CV

深度学习加速超声成像

Deep Learning for Accelerated Ultrasound Imaging

KAIST（韩国科学技术院）

在便携式3D或超快速超声（US）成像系统中，对从有限数量的数据重建高质量图像的需求日益增加。然而，现有的解决方案需要硬件改变或计算扩展算法。为了克服这些限制，在这里，我们提出了一种新的深度学习方法，该方法通过利用傅立叶域中RF数据的稀疏性来插值缺失的RF数据。对真实超声系统的子采样数据进行了大量的实验，结果表明，该方法可以有效地降低数据率而不牺牲图像质量。

2017-10-27cs.CVcs.LGstat.ML

PAC医学成像中深度（随机）网络的贝叶斯性能保证

PAC Bayesian Performance Guarantees for Deep (Stochastic) Networks in Medical Imaging

University of Pittsburgh（匹兹堡大学）

深度神经网络在医学成像任务中的应用在某种意义上已经变得司空见惯。尽管如此，深度学习运动的一个“眼中钉”是认为深度网络容易过拟合，因此在数据集很小时无法很好地泛化（这在医学成像任务中很常见）。增强信心的一种方法是在训练后对网络性能提供数学保证或界限，明确量化过拟合的可能性。在这项工作中，我们探讨了最近的进展，使用PAC贝叶斯框架提供大（随机）网络的泛化误差的界限。虽然以前的努力集中在更大的自然图像数据集（例如，MNIST和CIFAR-10），我们将这些技术应用于较小的医学成像数据集（ISIC 2018挑战集）的分类和分割。我们观察到，与一个更简单的基线相比，由此产生的界限是有竞争力的，同时也更容易解释，并减轻了对坚持集的需求。

2021-07-08cs.CVcs.LGstat.ML

从诊断预测到反事实解释的医学成像深度学习

Deep Learning for Medical Imaging From Diagnosis Prediction to its Counterfactual Explanation

University of Utah（犹他大学）

深度神经网络（DNN）在计算机视觉任务中取得了前所未有的性能，在商业、技术和科学领域几乎无处不在。虽然在设计高度精确的架构并提供可用的模型解释方面做出了大量努力，但大多数最先进的方法首先是为自然视觉设计的，然后再转化为医学领域。本文试图通过提出新的架构来解决这一差距，该架构将医学成像的特定领域约束集成到DNN模型和解释设计中。

2022-09-07cs.CVeess.IV

乳腺癌影像学中的深度学习：十年进展与未来方向

Deep Learning in Breast Cancer Imaging: A Decade of Progress and Future Directions

The Hong Kong University of Science and Technology（香港科技大学）；Stanford University School of Medicine（斯坦福大学医学院）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院）

本文综述近十年深度学习在乳腺X线、超声、MRI和数字病理中的筛查、诊断、疗效预测及预后应用，并总结挑战与未来方向。

2024-01-20cs.CVeess.IV

光声成像的深度学习：综述

Deep learning for photoacoustic imaging: a survey

ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）

机器学习在过去的几年里得到了飞速的发展，并在各个领域得到了广泛的应用。这股热潮起源于2009年，当时出现了一种新的模型，那就是深度人工神经网络，它开始在一些重要的基准上超越其他已经建立的成熟模型。后来，它被广泛应用于学术界和工业界。从图像分析到自然语言处理，它充分发挥了它的魔力，现在成为最先进的机器学习模型。深度神经网络在医学影像技术、医学数据分析、医学诊断等医疗健康问题上有着巨大的潜力，无论是在临床前阶段，还是在临床阶段都得到了推广。在这篇综述中，我们对机器学习在医学图像分析中的应用的一些新发展和挑战进行了概述，特别关注光声成像中的深度学习。这篇综述的目的有三个方面：（i）介绍深度学习的一些重要基础知识，（ii）回顾最近将深度学习应用于光声成像整个生态链的工作，从图像重建到疾病诊断，（iii）为有兴趣将深度学习应用于光声成像的研究人员提供一些开源材料和其他资源。

2020-12-02cs.CVeess.IV

现实世界中的深度生成模型：来自医学成像的开放挑战

Deep Generative Models in the Real-World: An Open Challenge from Medical Imaging

ETH Zurich（苏黎世联邦理工学院）；Imperial College London（帝国理工学院）

深度学习的最新进展导致了新的生成建模技术，这些技术在生成的样本中实现了前所未有的质量，并在学习成像数据中的复杂分布时实现了性能。这些新的模型在医学图像计算中有重要的应用，形成临床相关的和非常具有挑战性的无监督学习问题。在本文中，我们探索了使用最先进的基于自动编码器的深度生成模型（如变分和对抗自动编码器）的可行性，用于这样一个任务：医学成像中的异常检测。我们利用典型的、公开可用的数据集，包括健康受试者和患有中风病变和脑肿瘤的患者的脑部扫描。我们使用来自健康受试者的数据来训练不同的基于自动编码器的模型，以学习健康图像的分布并将病理检测为异常值。能够更好地学习数据分布的模型应该能够更准确地检测离群值。我们评估了深度生成模型的检测性能，并将其与基于非深度学习的方法进行比较，以提供当前研究状态的基准。我们的结论是，异常检测对于深度生成模型来说是一项具有挑战性的任务，并且存在很大的改进空间。为了促进进一步的研究，我们的目标是提供精心预处理的成像数据提供给研究界。

2018-06-14cs.CV

医学成像中的深度学习综述：成像特征、技术趋势、案例研究与进展亮点以及未来承诺

A review of deep learning in medical imaging: Imaging traits, technology trends, case studies with progress highlights, and future promises

School of Biomedical Engineering, University of Science and Technology of China（中国科学技术大学生物医学工程学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tel-Aviv University（特拉维夫大学）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；Radboud University Medical Center（拉德堡德大学医学中心）；Case Western Reserve University（凯斯西储大学）；Louis Stokes Cleveland Veterans Administration Medical Center（路易斯·斯托克斯克利夫兰退伍军人事务医疗中心）；Johns Hopkins University（约翰霍普金斯大学）；Klinikum rechts der Isar, TU Munich（慕尼黑工业大学右岸医院）；Imperial College（帝国理工学院）；National Institute of Health Clinical Center（美国国立卫生研究院临床中心）

自其复兴以来，深度学习已广泛应用于各种医学成像任务，并在许多医学成像应用中取得了显著的成功，从而推动我们进入所谓的人工智能（AI）时代。众所周知，人工智能的成功主要归功于单个任务的大数据注释的可用性以及高性能计算的进步。然而，医学成像提出了深度学习方法所面临的独特挑战。在这篇调查论文中，我们首先介绍了医学成像的特点，强调了医学成像的临床需求和技术挑战，并描述了深度学习的新兴趋势如何解决这些问题。我们涵盖了网络架构，稀疏和嘈杂的标签，联合学习，可解释性，不确定性量化等主题，然后，我们提出了几个案例研究，在临床实践中常见的，包括数字病理学和胸部，大脑，心血管和腹部成像。而不是提出一个详尽的文献调查，而是描述了一些突出的研究重点与这些案例研究的应用。最后，我们讨论和介绍了有前途的未来方向。

2021-03-05cs.CVeess.IV

人工智能在危及生命疾病早期检测中的作用：视网膜影像视角

The Role of AI in Early Detection of Life-Threatening Diseases: A Retinal Imaging Perspective

Naif Arab University for Security Sciences（奈伊夫阿拉伯安全科学大学）；Charles Sturt University（查尔斯特大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）

本文综述视网膜影像结合AI技术在糖尿病、心血管等致命疾病早期检测中的进展，并提出标准化与临床整合路线图。

2025-05-27cs.CVeess.IV

生物医学成像中的深度和统计学习：3D MRI脑肿瘤分割的最新技术

Deep and Statistical Learning in Biomedical Imaging: State of the Art in 3D MRI Brain Tumor Segmentation

University of South Florida（南佛罗里达大学）

临床诊断和治疗决策依赖于患者特定数据与临床推理的整合。癌症呈现出影响治疗决策的独特背景，因为其疾病演变形式多种多样。生物医学成像允许基于视觉评估的疾病的非侵入性评估，从而导致更好的临床结果预测和治疗计划。早期的脑癌表征方法主要依赖于神经成像数据的统计建模。在计算机视觉突破的推动下，深度学习成为医学成像领域事实上的标准。综合统计和深度学习方法最近成为医疗实践自动化的新方向，统一了医学，统计学和人工智能的多学科知识。在这项研究中，我们批判性地回顾了主要的统计和深度学习模型及其在脑成像研究中的应用，重点是基于MRI的脑肿瘤分割。结果确实突出了模型驱动的经典统计和数据驱动的深度学习是开发临床肿瘤学自动化系统的有效组合。

2022-12-16cs.CVeess.IV

基于深度学习的计算机视觉模型用于多模态医学影像和放射基因组整合框架中的早期癌症检测

Deep Learning-Based Computer Vision Models for Early Cancer Detection Using Multimodal Medical Imaging and Radiogenomic Integration Frameworks

University of Illinois at Springfield（伊利诺伊大学斯普林菲尔德分校）

本文提出基于深度学习的计算机视觉模型，结合多模态医学影像和放射基因组学，用于早期癌症检测，提升肿瘤基因型预测和治疗抗性分析能力。

2025-11-30cs.AIcs.CV

基于模型的深度医学成像：使用深度学习推广迭代重建模型的路线图

Model-based Deep Medical Imaging: the roadmap of generalizing iterative reconstruction model using deep learning

Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心）；Research center for Medical AI, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院医学人工智能研究中心）；Nanchang University（南昌大学）；University at Buffalo, the State University of New York（纽约州立大学布法罗分校）

医学影像学在临床中发挥着越来越重要的作用。然而，在不同的成像模式中存在几个问题，例如MRI中成像速度慢，CT和PET中的辐射损伤。因此，加速MRI、降低CT和PET中的辐射剂量一直是自其发明以来一直在进行的研究课题。通常，获取较少的数据是解决这些问题的直接但重要的策略。然而，较少的采集通常会导致重建中的混叠伪影。最近，深度学习（DL）已被引入医学图像重建，并显示出显着加快MR重建和降低辐射剂量的潜力。本文提出了一种将重建模型与深度学习相结合的通用框架，以最大限度地发挥深度学习和基于模型的重建的潜力，并给出了示例来演示使用深度学习展开不同算法的性能和要求。

2019-09-05cs.CVeess.SPmath.OC

3D深度学习通过时间聚焦显微镜通过散射介质实现脊柱快速成像

3D Deep Learning Enables Fast Imaging of Spines through Scattering Media by Temporal Focusing Microscopy

如今，通过散射组织进行体内成像的金标准是点扫描双光子显微镜（PSTPM）。特别是在神经科学中，PSTPM被广泛用于大脑中的深层组织成像。然而，由于顺序扫描，PSTPM是缓慢的。时间聚焦显微镜（TFM），另一方面，聚焦飞秒脉冲激光时间，同时保持宽场照明，因此要快得多。然而，由于使用相机检测器，TFM遭受发射光子的散射。因此，TFM产生的图像空间分辨率和信噪比（SNR）较差，掩埋了来自小结构（如树突棘）的荧光信号。在这项工作中，我们提出了一种数据驱动的深度学习方法来提高TFM图像的分辨率和SNR。使用3D卷积神经网络（CNN），我们构建了从TFM到PSTPM模态的映射，以实现快速TFM成像，同时通过散射介质保持高分辨率。我们证明了这种方法在小鼠视觉皮层锥体神经元的树突棘在体内成像。我们表明，我们训练的网络快速输出高分辨率图像，恢复了以前埋在TFM图像中散射荧光中的生物相关特征。结合TFM和所提出的3D卷积神经网络的体内成像比PSTPM快一到两个数量级，但保留了分析小荧光结构所需的高分辨率和SNR。所提出的3D卷积深度网络也可能有利于提高许多对速度要求很高的深度组织成像应用（如体内电压成像）的性能。

2019-12-24eess.IVphysics.opticsq-bio.QM