PISE: Physics-Anchored Semantically-Enhanced Deep Computational Ghost Imaging for Robust Low-Bandwidth Machine Perception
PISE结合共轭算子初始化与语义引导，提升分类准确率2.57%并降低方差9倍，在5%采样下实现低带宽边缘感知的鲁棒性。
2026-03-13 cs.CV eess.IV
Recent Advances on Non-Line-of-Sight Imaging: Conventional Physical Models, Deep Learning, and New Scenes
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）
非视线成像（NLOS）技术是近年来备受关注的一项新兴技术，它通过分析中继表面的漫反射来重建隐藏物体，在自动驾驶、医学成像、国防等领域具有广阔的应用前景。尽管存在低信噪比和高不适定性等问题，但近几年来非视线成像得到了迅速发展。目前的NLOS成像技术大多使用传统的物理模型，通过主动或被动照明构建成像模型，并使用重建算法来恢复隐藏的场景。此外，用于NLOS成像的深度学习算法最近也备受关注。本文全面概述了传统和基于深度学习的NLOS成像技术。此外，我们还调查了新提出的非视距场景，并讨论了现有技术的挑战和前景。这样的调查可以帮助读者对不同类型的NLOS成像有一个概述，从而加快了角落周围的发展。
2021-11-21 cs.CV eess.IV
Deep Learning for Medical Imaging From Diagnosis Prediction to its Counterfactual Explanation
University of Utah（犹他大学）
深度神经网络（DNN）在计算机视觉任务中取得了前所未有的性能，在商业、技术和科学领域几乎无处不在。虽然在设计高度精确的架构并提供可用的模型解释方面做出了大量努力，但大多数最先进的方法首先是为自然视觉设计的，然后再转化为医学领域。本文试图通过提出新的架构来解决这一差距，该架构将医学成像的特定领域约束集成到DNN模型和解释设计中。
2022-09-07 cs.CV eess.IV
Deep Learning in Breast Cancer Imaging: A Decade of Progress and Future Directions
The Hong Kong University of Science and Technology（香港科技大学）；Stanford University School of Medicine（斯坦福大学医学院）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院）
本文综述近十年深度学习在乳腺X线、超声、MRI和数字病理中的筛查、诊断、疗效预测及预后应用，并总结挑战与未来方向。
2024-01-20 cs.CV eess.IV
Deep learning for photoacoustic imaging: a survey
ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
机器学习在过去的几年里得到了飞速的发展，并在各个领域得到了广泛的应用。这股热潮起源于2009年，当时出现了一种新的模型，那就是深度人工神经网络，它开始在一些重要的基准上超越其他已经建立的成熟模型。后来，它被广泛应用于学术界和工业界。从图像分析到自然语言处理，它充分发挥了它的魔力，现在成为最先进的机器学习模型。深度神经网络在医学影像技术、医学数据分析、医学诊断等医疗健康问题上有着巨大的潜力，无论是在临床前阶段，还是在临床阶段都得到了推广。在这篇综述中，我们对机器学习在医学图像分析中的应用的一些新发展和挑战进行了概述，特别关注光声成像中的深度学习。这篇综述的目的有三个方面：（i）介绍深度学习的一些重要基础知识，（ii）回顾最近将深度学习应用于光声成像整个生态链的工作，从图像重建到疾病诊断，（iii）为有兴趣将深度学习应用于光声成像的研究人员提供一些开源材料和其他资源。
2020-12-02 cs.CV eess.IV
Deep Optics for Single-shot High-dynamic-range Imaging
Stanford University（斯坦福大学）
高动态范围（HDR）成像对于许多计算机图形和视觉应用至关重要。然而，用Single Shot获取HDR图像仍然是一个具有挑战性的问题。虽然现代深度学习方法可以成功地从单个低动态范围（LDR）图像中产生看似合理的HDR内容，但饱和的场景细节通常无法忠实地恢复。受最近的深度光学成像方法的启发，我们将这个问题解释为联合训练光学编码器和电子解码器，其中编码器由透镜的点扩散函数（PSF）参数化，瓶颈是具有有限动态范围的传感器，并且解码器是卷积神经网络（CNN）。然后在训练阶段与CNN联合优化镜头表面;我们制造这种优化的光学元件，并在推理过程中将其作为硬件附加到传统相机上。在广泛的模拟和物理原型中，我们证明了这种端到端的单次HDR成像深度光学成像方法优于纯粹基于CNN的方法和其他PSF工程方法。
2019-08-01 cs.CV eess.IV
A review of deep learning in medical imaging: Imaging traits, technology trends, case studies with progress highlights, and future promises
School of Biomedical Engineering, University of Science and Technology of China（中国科学技术大学生物医学工程学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tel-Aviv University（特拉维夫大学）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；Radboud University Medical Center（拉德堡德大学医学中心）；Case Western Reserve University（凯斯西储大学）；Louis Stokes Cleveland Veterans Administration Medical Center（路易斯·斯托克斯克利夫兰退伍军人事务医疗中心）；Johns Hopkins University（约翰霍普金斯大学）；Klinikum rechts der Isar, TU Munich（慕尼黑工业大学右岸医院）；Imperial College（帝国理工学院）；National Institute of Health Clinical Center（美国国立卫生研究院临床中心）
自其复兴以来，深度学习已广泛应用于各种医学成像任务，并在许多医学成像应用中取得了显著的成功，从而推动我们进入所谓的人工智能（AI）时代。众所周知，人工智能的成功主要归功于单个任务的大数据注释的可用性以及高性能计算的进步。然而，医学成像提出了深度学习方法所面临的独特挑战。在这篇调查论文中，我们首先介绍了医学成像的特点，强调了医学成像的临床需求和技术挑战，并描述了深度学习的新兴趋势如何解决这些问题。我们涵盖了网络架构，稀疏和嘈杂的标签，联合学习，可解释性，不确定性量化等主题，然后，我们提出了几个案例研究，在临床实践中常见的，包括数字病理学和胸部，大脑，心血管和腹部成像。而不是提出一个详尽的文献调查，而是描述了一些突出的研究重点与这些案例研究的应用。最后，我们讨论和介绍了有前途的未来方向。
2021-03-05 cs.CV eess.IV
Deep and Statistical Learning in Biomedical Imaging: State of the Art in 3D MRI Brain Tumor Segmentation
University of South Florida（南佛罗里达大学）
临床诊断和治疗决策依赖于患者特定数据与临床推理的整合。癌症呈现出影响治疗决策的独特背景，因为其疾病演变形式多种多样。生物医学成像允许基于视觉评估的疾病的非侵入性评估，从而导致更好的临床结果预测和治疗计划。早期的脑癌表征方法主要依赖于神经成像数据的统计建模。在计算机视觉突破的推动下，深度学习成为医学成像领域事实上的标准。综合统计和深度学习方法最近成为医疗实践自动化的新方向，统一了医学，统计学和人工智能的多学科知识。在这项研究中，我们批判性地回顾了主要的统计和深度学习模型及其在脑成像研究中的应用，重点是基于MRI的脑肿瘤分割。结果确实突出了模型驱动的经典统计和数据驱动的深度学习是开发临床肿瘤学自动化系统的有效组合。
2022-12-16 cs.CV eess.IV
Multi-Scale Deep Compressive Imaging
Sungkyunkwan University（成均馆大学）；Osaka University（大阪大学）
最近，基于深度学习的压缩成像（DCI）在重建质量和更快的运行时间方面已经超过了传统的压缩成像。虽然多尺度显示出优于单尺度的性能，但DCI的研究仅限于单尺度采样。尽管使用单尺度图像进行训练，但DCI倾向于类似于传统的多尺度采样的低频分量，特别是在低子速率下。从这个角度来看，网络更容易通过多尺度采样架构学习多尺度特征。在这项工作中，我们提出了一个多尺度深度压缩成像（MS-DCI）框架，该框架联合学习在多尺度上分解，采样和重建图像。提出了一种三阶段的端到端训练方案，包括初始和两个增强重建阶段，以证明多尺度采样的效率，并进一步提高重建性能。我们分析了分解方法（包括金字塔、小波和尺度空间）、采样矩阵和测量，并展示了MS-DCI的经验优势，它始终优于传统方法和基于深度学习的方法。
2020-08-03 cs.CV eess.IV
Deep Manifold Embedding for Hyperspectral Image Classification
National Innovation Institute of Defense Technology, Chinese Academy of Military Science（中国军事科学院国防科技创新研究院）；National University of Defense Technology（国防科技大学）
深度学习方法在高光谱图像分类中发挥着越来越重要的作用。然而，一般的深度学习方法主要利用样本本身的信息或样本之间的成对信息，而忽略了整个数据内在的数据结构。为了解决这个问题，这项工作开发了一种新的深流形嵌入方法（DMEM）的高光谱图像分类。首先，图像中的每个类被建模为一个特定的非线性流形，测地线距离被用来衡量样本之间的相关性。然后，基于层次聚类，可以捕获的数据的流形结构，每个非线性数据流形可以分为几个子类。最后，考虑到每个子类的分布和不同子类之间的相关性，构造了DMEM，以保持数据流形上的估计测地线距离之间的学习不同样本的低维特征。在三个真实高光谱图像数据集上的实验证明了该方法的有效性。
2021-03-27 cs.CV eess.IV
Fast Computational Ghost Imaging using Unpaired Deep Learning and a Constrained Generative Adversarial Network
University of Southern California（南加州大学）
不成对训练可能是基于快速深度学习的重影成像的唯一选择，其中获得每个低SNR重影图像的高信噪比（SNR）图像副本实际上可能是耗时且具有挑战性的。本文探讨了深度学习在缺乏成对训练图像时利用计算重影成像的能力。本文提出的深度学习方法通过使用约束Wasserstein生成对抗网络从微弱和匆忙拍摄的鬼像重建高SNR图像来实现快速鬼像成像。在所提出的方法中，目标函数被正则化，以执行生成忠实的和相关的高信噪比图像的幽灵副本。这种正则化测量重建图像和阴影网络生成的低噪声流形中的微弱鬼像之间的距离。约束网络的性能被证明是特别重要的鬼图像与低信噪比。所提出的流水线能够从具有SNR值不一定等于训练集的SNR的鬼像重建高质量的图像。
2021-06-09 cs.CV eess.IV
Fast Non-line-of-sight Imaging with Two-step Deep Remapping
Georgia Institute of Technology（佐治亚理工学院）
传统成像只记录从物体直接发送到探测器的光子，而非视线（NLOS）成像则考虑了间接光。大多数NLOS解决方案采用瞬态扫描过程，然后采用基于物理的算法来重建NLOS场景。然而，瞬态检测需要复杂的设备，具有长的扫描时间和对周围环境的低鲁棒性，并且重建算法通常耗时且计算昂贵。针对上述缺陷，本文提出了一种新的非视距解决方案，在设备和算法上进行了创新。我们采用廉价的商业激光雷达进行检测，具有更高的扫描速度和更好的兼容性，以现实世界的成像。我们的重建框架是基于深度学习的，具有生成的两步重映射策略，以保证高重建保真度。整个检测和重建过程允许毫秒级响应，重建精度为毫米级。我们已经在合成和真实物体上对所提出的解决方案进行了实验测试，并进一步证明了我们的方法适用于全色NLOS成像。
2021-03-26 cs.CV eess.IV
Power Plant Classification from Remote Imaging with Deep Learning
University of St. Gallen（圣加仑大学）
卫星遥感成像使人们能够详细研究全球范围内的土地利用模式。我们调查的可能性，以提高传统的土地利用分类的信息内容，确定工业用地的性质，从中等分辨率的遥感图像。在这项工作中，我们专注于从Sentinel-2成像数据中对不同类型的发电厂进行分类。使用ResNet-50深度学习模型，我们能够在区分10种不同的发电厂类型和背景类别时达到90.0%的平均准确率。此外，我们能够识别在热电厂中使用的冷却机制，平均精度为87.5%。我们的研究结果使我们能够定性地调查哨兵-2成像数据的能量组合，并证明了从免费提供的卫星图像在全球范围内对工业场地进行分类的可行性。
2021-07-22 cs.CV eess.IV
Domain generalization in deep learning for contrast-enhanced imaging
Universitat de Barcelona（巴塞罗那大学）；Hospital de la Santa Creu i Sant Pau（圣十字圣保罗医院）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Hospital Universitari Vall d’Hebron（瓦尔德希伯伦大学医院）
在过去几年中，领域泛化问题在非对比度成像的深度学习中得到了广泛的研究，但它在对比度增强成像中受到的关注有限。然而，各临床中心的造影成像协议存在显著差异，特别是在造影剂注射和图像采集之间的时间方面，而与非造影成像的可用数据集相比，对多中心造影增强图像数据的访问受到限制。这就需要新的工具来推广单域、单中心深度学习模型，使其跨越造影增强成像中新的未知领域和临床中心。在本文中，我们对深度学习技术进行了详尽的评估，以实现对造影增强图像分割的不可见临床中心的推广。为此，研究，优化和系统地评估了几种技术，包括数据增强，域混合，迁移学习和域适应。为了证明对比度增强成像的域泛化的潜力，评价对比度增强心脏磁共振成像（MRI）中心室分割的方法。这些结果是基于在三个国家（法国、西班牙和中国）的四家医院获得的多中心心脏对比增强MRI数据集获得的。他们表明，数据增强和迁移学习的结合可以产生单中心模型，这些模型可以很好地推广到训练过程中不包括的新临床中心。在对比度增强成像中，富含合适的泛化过程的单域神经网络可以达到甚至超过多中心、多供应商模型的性能，从而消除了对全面的多中心数据集来训练可泛化模型的需要。
2022-09-06 cs.CV eess.IV
Deep Decomposition Learning for Inverse Imaging Problems
University of Edinburgh（爱丁堡大学）
深度学习正在成为解决逆成像问题的新范式。然而，由于在神经网络的训练和部署中缺乏对物理信息的考虑，深度学习方法往往缺乏传统基于物理的方法的保证。适当的监督和明确的校准的信息，可提高神经网络的学习和它的实际性能。在本文中，受几何学的启发，即数据可以由来自前向算子的零空间和其伪逆的范围空间的两个分量分解，我们训练神经网络来学习这两个分量，从而学习分解，即我们显式地将神经网络层重新表示为参考层输入的学习范围零空间分解函数，而不是学习未引用的函数。我们的经验表明，所提出的框架表现出优越的性能，最近的深度残差学习，展开学习和零空间学习的任务，包括压缩感知医学成像和自然图像超分辨率。我们的代码可在https://github.com/edongdongchen/DDN上获得。
2020-07-16 cs.CV eess.IV
Deep Learning for HDR Imaging: State-of-the-Art and Future Trends
Korea Advanced Institute of Science and Technology（韩国科学技术院）
高动态范围（HDR）成像是允许广泛的动态范围曝光的技术，这在图像处理、计算机图形和计算机视觉中是重要的。近年来，使用深度学习（DL）的HDR成像取得了重大进展。这项研究对深度HDR成像方法的最新发展进行了全面而有见地的调查和分析。我们基于（1）输入曝光的数量/域，（2）学习任务的数量，（3）新的传感器数据，（4）新的学习策略，和（5）应用，将现有的深度HDR成像方法分层和结构地分为五类。重要的是，我们就每个类别的潜力和挑战进行了建设性的讨论。此外，我们还回顾了深度HDR成像的一些关键方面，如数据集和评估指标。最后，我们强调了一些开放的问题，并指出未来的研究方向。
2021-11-07 cs.CV cs.LG eess.IV
Deep Equilibrium Architectures for Inverse Problems in Imaging
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Marquette University（马凯特大学）；University of Chicago（芝加哥大学）
最近通过深度神经网络解决成像中的逆问题的努力使用了受优化方法的固定迭代次数启发的架构。迭代次数通常很小，因为训练网络时很难对应更多的迭代;在测试时，生成的求解器不能在不产生重大错误的情况下运行更多的迭代。本文描述了一种替代方法对应于无限次迭代，产生一致的改进以上的国家的最先进的替代方案，重建精度和计算预算可以选择在测试时，以优化上下文相关的准确性和计算之间的权衡。所提出的方法利用了深度均衡模型的思想，其中构建了固定点迭代，以结合已知的正向模型和基于经典优化的重建方法的见解。
2021-06-03 cs.CV eess.IV
High-throughput molecular imaging via deep learning enabled Raman spectroscopy
King's College London（伦敦国王学院）；University of Groningen（格罗宁根大学）；University of Ottawa（渥太华大学）；Imperial College London（伦敦帝国理工学院）
拉曼光谱能够以前所未有的分子对比度实现非破坏性、无标记成像，但受到数据采集缓慢的限制，这在很大程度上阻碍了高通量成像应用。在这里，我们提出了一个通过深度学习支持的拉曼光谱进行更高通量分子成像的综合框架，称为DeepeR，在一个大型的高光谱拉曼图像数据集上进行训练，总共有超过150万个光谱（400小时的采集）。我们首先通过深度学习对低信噪比拉曼分子特征进行去噪和重建，与最先进的拉曼滤波方法相比，均方误差提高了9倍。接下来，我们开发了一个神经网络，用于高光谱拉曼图像的2- 4倍超分辨率，保留分子细胞信息。结合这些方法，我们实现了高达160倍的拉曼成像速度，在一分钟内实现了高分辨率，高信噪比的细胞成像。最后，应用迁移学习将DeepeR从细胞扩展到组织尺度成像。DeepeR提供了一个基础，将使一系列更高通量的拉曼光谱和分子成像应用在生物医学领域。
2020-09-28 cs.CV eess.IV physics.med-ph
GrappaNet: Combining Parallel Imaging with Deep Learning for Multi-Coil MRI Reconstruction
Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））；NYU School of Medicine（纽约大学医学院）
磁共振图像（MRI）采集是一个固有的缓慢过程，这刺激了两种不同加速方法的发展：同时采集多个相关样本（并行成像）和采集比传统信号处理方法所需的样本更少的样本（压缩感知）。这两种方法提供了互补的方法来加快MRI采集的速度。在本文中，我们提出了一种将传统并行成像方法集成到深度神经网络中的新方法，即使在高加速因子下也能够生成高质量的重建。所提出的方法，称为GrappaNet，通过首先将重建问题映射到一个更简单的问题来执行渐进重建，该问题可以通过使用神经网络的传统并行成像方法来解决，然后应用并行成像方法，最后用另一个神经网络微调输出。整个网络可以端到端地进行训练。我们目前的实验结果，最近发布的fastMRI数据集，并表明，GrappaNet可以生成更高质量的重建比竞争的方法为$4\times$和$8\times$加速。
2020-03-30 cs.CV eess.IV
Deep Domain Adversarial Adaptation for Photon-efficient Imaging
Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
利用单光子光探测和测距（LiDAR）的光子高效成像通过每个像素仅几个探测到的信号光子来捕获场景的三维（3D）结构。然而，现有的光子有效成像的计算方法是在受限的情况下预先调整的，或者是在模拟数据集上训练的。当应用到现实的情况下，其信号与背景比（SBR）和其他硬件特定的属性不同于那些原始的任务，模型的性能往往显着恶化。在本文中，我们提出了一个域对抗适应设计，以减轻这种域转移问题，利用未标记的现实世界的数据，具有显着的资源节约。该方法在使用我们自制的上转换单光子成像系统的模拟和真实实验中表现出优越的性能，这提供了一种有效的方法来绕过在现实应用中实现计算成像算法时缺乏地面真实深度信息。
2022-10-27 cs.CV eess.IV
A Geometry-Informed Deep Learning Framework for Ultra-Sparse 3D Tomographic Image Reconstruction
Stanford University（斯坦福大学）
深度学习为增强生物医学成像的设备提供了巨大的机会，尽管其设计和实现存在潜在的缺陷。从根本上说，大多数深度学习模型完全由数据驱动，没有考虑任何先验知识，这大大增加了神经网络的复杂性，限制了应用范围和模型的泛化能力。在这里，我们建立了一个几何信息的深度学习框架，用于超稀疏三维断层图像重建。我们介绍了一种新的机制，整合成像系统的几何先验。我们证明，无缝列入已知的先验是必不可少的，以提高超稀疏采样的三维体积计算机断层扫描成像的性能。该研究为数据驱动的生物医学成像开辟了新的途径，并有望为各种临床成像和图像引导干预提供实质性改进的成像工具。
2021-05-25 cs.CV cs.LG eess.IV
Medical Imaging with Deep Learning: MIDL 2019 -- Extended Abstract Track
本汇编收集了2019年7月8日至10日在英国伦敦举行的第二届深度学习医学成像国际会议（MIDL 2019）的所有已接受的扩展摘要。请注意，这里只列出了可接受的扩展摘要，MIDL 2019全文跟踪的论文集作为机器学习研究论文集（PMLR）http://proceedings.mlr.press/v102/的第102卷出版。
2019-07-22 cs.CV cs.LG eess.IV
Deep Probabilistic Imaging: Uncertainty Quantification and Multi-modal Solution Characterization for Computational Imaging
California Institute of Technology（加州理工学院）
计算图像重建算法通常产生单个图像，而没有任何不确定性或置信度的测量。逆问题的正则化最大似然（RML）和前馈深度学习方法通常侧重于恢复点估计。当与欠定成像系统一起工作时，这是一个严重的限制，其中可以想象多个图像模式将与测量数据一致。因此，描述解释观测数据的可能图像空间至关重要。在本文中，我们提出了一种变分深度概率成像方法来量化重建的不确定性。深度概率成像（DPI）采用未经训练的深度生成模型来估计未观察图像的后验分布。这种方法不需要任何训练数据;相反，它优化了神经网络的权重，以生成适合特定测量数据集的图像样本。一旦学习了网络权重，就可以有效地对后验分布进行采样。我们证明了这种方法的背景下，干涉无线电成像，这是用于黑洞成像的事件地平线望远镜，和压缩传感磁共振成像（MRI）。
2020-12-17 astro-ph.IM cs.CV cs.LG
Deep Learning-based Universal Beamformer for Ultrasound Imaging
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在超声（US）成像中，各个通道RF测量值被反向传播并累积以在应用特定延迟之后形成图像。虽然这种时间反转通常使用基于硬件或软件的延迟求和（DAS）波束形成器来实现，但是在数据采集不理想的情况下，DAS的性能会迅速下降。在本文中，我们首次证明了设计为深度神经网络的单个数据驱动自适应波束形成器可以针对各种检测器通道配置和子采样率稳健地生成高质量图像。建议的深波束形成器评估两个不同的采集方案：聚焦超声成像和平面波成像。实验结果表明，所提出的深波束形成器表现出显着的性能增益聚焦和平面成像方案，在对比度噪声比和结构相似性。
2019-07-15 cs.CV cs.LG eess.IV
A deep learning framework for morphologic detail beyond the diffraction limit in infrared spectroscopic imaging
Beckman Institute for Advanced Science and Technology（贝克曼先进科学技术研究所）；Cancer Center at Illinois（伊利诺伊癌症中心）
红外（IR）显微镜测量光谱信息，量化分子含量，以分配生物医学细胞的身份，但缺乏光学显微镜的空间质量来欣赏形态特征。在这里，我们提出了一种方法，在基于深度学习的图像超分辨率方法中利用来自IR成像的细胞身份的语义信息和病理图像的形态细节。使用生成对抗网络（GANs），我们增强了红外成像的空间细节，超出了衍射极限，同时保留了光谱对比度。这种技术可以快速集成与现代红外显微镜，提供一个框架，用于常规病理学。
2019-12-19 cs.CV cs.LG eess.IV
Disease Classification and Impact of Pretrained Deep Convolution Neural Networks on Diverse Medical Imaging Datasets across Imaging Modalities
Gauhati University（古瓦哈蒂大学）
本文系统评估了十种预训练深度卷积神经网络在多种医学影像模态上的迁移学习表现，发现预训练特征提取效果不佳、更深架构未必更优，且同领域内跨模态性能不可直接外推。
2024-09-02 cs.AI cs.CV cs.LG
0.8% Nyquist computational ghost imaging via non-experimental deep learning
我们提出了一个基于深度学习和定制粉红噪声散斑图案的计算鬼成像框架。本文中的深度神经网络可以学习传感模型并提高图像重建质量，仅通过模拟来训练。为了证明我们工作中的亚奈奎斯特水平，在不同噪声条件下的多个采样率下比较了传统计算鬼成像结果、使用白噪声和粉红噪声通过深度学习重建的成像结果。我们表明，该方案可以提供高质量的图像，采样率为0.8%，即使对象是在训练数据集之外，它是鲁棒的噪声环境。该方法对于各种应用都是极好的，特别是那些需要低采样率、快速重构效率或经历强噪声干扰的应用。
2021-08-17 eess.IV
Deep Learning in Ultrasound Elastography Imaging
University of Montreal Hospital Research Center (CRCHUM)（蒙特利尔大学医院研究中心）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；California Nanosystems Institute（加州纳米系统研究所）
已知组织的机械性质的变化与某些疾病的发生和进展相关。超声弹性成像是一种使用超声成像来表征组织刚度的技术，其通过使用准静态弹性成像或自然器官脉动弹性成像来测量组织应变，或者通过使用动态弹性成像来追踪由源或自然振动引起的传播剪切波。近年来，深度学习开始在超声弹性成像研究中崭露头角。在这篇综述中，描述了计算机视觉社区中几种常见的深度学习框架，如多层感知器，卷积神经网络和递归神经网络。然后，在算法开发和临床诊断方面重新审视了使用这种深度学习技术的超声弹性成像的最新进展。最后，对超声弹性成像中深度学习的当前挑战和未来发展进行了展望。
2020-10-31 cs.CV cs.LG eess.IV
Single-pixel imaging based on deep learning
本文综述了基于深度学习的单像素成像技术，涵盖其原理、算法、各类实现技术及未来挑战与应用前景。
2023-11-17 eess.IV physics.optics
Performance Comparison of Deep Learning Architectures for Artifact Removal in Gastrointestinal Endoscopic Imaging
Doshisha University（同志社大学）
内窥镜图像通常包含若干伪影。伪影严重影响计算机辅助诊断中的图像分析结果。卷积神经网络（CNN）是一种深度学习，可以消除这些伪影。已经为CNN提出了各种架构，并且伪影去除的准确性取决于架构的选择而变化。因此，有必要根据所选架构确定伪影去除精度。在这项研究中，我们专注于内窥镜手术器械作为伪影，并确定和讨论使用七种不同的CNN架构的伪影去除精度。
2022-01-01 cs.CV cs.LG eess.IV
Knowledge-driven deep learning for fast MR imaging: undersampled MR image reconstruction from supervised to un-supervised learning
本文综述了知识驱动的深度学习在快速磁共振成像中的应用，涵盖从监督到无监督学习的演进，并讨论了挑战、解决方案及厂商选择与未来方向。
2024-02-05 eess.IV
Deep learning for fast MR imaging: a review for learning reconstruction from incomplete k-space data
磁共振成像是一种功能强大的成像方式，可以提供多方面的信息，但它有一个瓶颈问题“成像速度慢”。减少扫描的测量可以加速MR成像与强大的重建方法的帮助下，已经从线性分析模型的非线性迭代的。这一领域的新趋势是用从数据中学习的信号模型取代人类定义的信号模型。具体而言，从2016年开始，深度学习已被纳入快速MR成像任务，该任务从大数据集中提取有价值的先验知识，以促进从有限的测量中进行准确的MR图像重建。本次调查旨在回顾2016年至2020年6月期间基于深度学习的MR图像重建工作，并将讨论与此类方法相关的优点，局限性和挑战。最后但并非最不重要的是，本文将通过指出良好的教程资源，最先进的开源代码和有意义的数据源，为有兴趣为这一领域做出贡献的研究人员提供一个起点。
2020-12-15 eess.IV
Deep-learned speckle pattern and its application to ghost imaging
在本文中，我们提出了一种使用深度学习进行散斑图案设计的方法。在我们精心设计的散斑图案生成框架Speckle-Net中经历卷积后，散斑图案具有独特的特征。然后，我们将我们的方法应用到计算鬼成像系统。标准的深度学习辅助重影成像方法使用网络来识别重建的对象或成像算法。相比之下，这一创新应用通过Speckle-Net以特定的采样率优化了照明散斑图案。因此，我们的方法优于其他技术的鬼成像，特别是它的能力，以极低的采样率检索高质量的图像。它通过使用修改后的深度神经网络参考指定目标的标准损失函数，开辟了一条新的非平凡散斑生成路线。它在动态散斑照明显微镜、结构照明显微镜、X射线成像、光声成像和光学晶格等领域也有很大的应用潜力。
2021-12-28 eess.IV physics.optics
DeepInverse: A Python package for solving imaging inverse problems with deep learning
该研究推出基于PyTorch的开源成像逆问题求解库DeepInverse，覆盖图像重建全流程关键步骤，同时介绍了库的核心功能与设计考量。
2025-06-17 eess.IV
Dynamic MRI using deep manifold self-learning
我们提出了一种深度自学习算法来学习自由呼吸和非门控心脏数据的流形结构，并从高度欠采样的测量中恢复心脏CINE MRI。我们的方法学习流形结构的动态数据从导航使用自动编码器网络。然后将训练的自动编码器用作图像重建框架中的先验。我们已经测试了自由呼吸和非门控心脏电影数据，这是使用导航黄金角梯度回波径向序列采集的方法。结果表明，我们的方法能够更好地捕捉流形结构，从而为我们提供减少空间和时间模糊相比，SToRM重建。
2019-11-06 eess.IV
Deep Image Prior Assisted ISAR Imaging for Missing Data Case
针对ISAR雷达回波随机缺失导致成像质量下降的问题，提出基于深度图像先验（DIP）的复数数据补全方法，通过独立深度结构分别补全实虚部后进行傅里叶成像，在模拟与真实数据上较IALM、2D-SL0和NNM方法显著提升多项指标。
2025-07-12 eess.IV
Medical Imaging Synthesis using Deep Learning and its Clinical Applications: A Review
本文综述了基于深度学习的医学影像合成及其临床应用研究。具体来说，我们总结了基于深度学习的方法在模态间和模态内图像合成中的最新发展，列出并突出了代表性研究的拟议方法、研究设计和相关临床应用的报告性能。讨论部分总结了所审查研究中的挑战。
2020-04-21 eess.IV physics.med-ph
Optics-free imaging of complex, non-sparse QR-codes with Deep Neural Networks
我们演示了光学无成像的复杂QR码使用裸图像传感器和训练的人工神经网络（ANN）。人工神经网络被训练来解释人类可视化的原始传感器数据。图像传感器被放置在距QR码的指定间隙处。我们研究了我们的方法的鲁棒性，通过实验测试的ANN与系统扰动的这个差距，和QR码的图像传感器的平移和旋转对齐的输出。我们的演示为我们提供了使用完全无光学相机对复杂、非稀疏物体进行特定应用成像的可能性。
2020-02-25 eess.IV
Second Harmonic Imaging Enhanced by Deep Learning Decipher
波前传感和重构广泛用于自适应光学、像差校正和高分辨率光学相位成像。传统上，干涉和/或微透镜阵列用于将光学相位转换成强度变化。畸变波前的直接成像往往导致相位恢复过程复杂、对比度低、灵敏度低。在这里，一种新的方法已被开发和实验证明的基础上编码成二次谐波信号，这是本质上敏感的波前调制的相敏信息。通过设计和实现深度神经网络，我们展示了通过深度学习解密（SHIELD）增强的二次谐波成像，以实现高效和弹性的相位恢复。SHIELD继承了双光子显微镜的优点，展示了单次拍摄，无参考和视频速率相位成像，灵敏度优于λ/100，对噪声具有高鲁棒性，促进了从生物成像到波前传感的众多应用。
2020-10-16 eess.IV physics.optics
Self-supervised Enhanced Radar Imaging Based on Deep-Learning-Assisted Compressed Sensing
传统的雷达成像方法存在分辨率低、噪声抑制能力差等问题。提出了一种基于自监督深度学习辅助压缩感知（SS-DL-CS-Net）的雷达成像方法。将原始雷达图像作为网络的输入。训练网络学习原始雷达图像和高质量雷达图像之间的映射函数。然而，高质量的雷达图像无法获得。我们利用雷达图像的稀疏性来解决这个问题。以原始雷达图像和含零值的雷达图像作为网的参考。我们的网络不需要大量的数据来进行训练。实际雷达数据被用来评估所提出的方法的性能。实验结果证明了该方法的优越性
2022-08-08 eess.IV
Deep learning based high-resolution incoherent x-ray imaging with a single-pixel detector
X射线“鬼”成像由于其在医学诊断中降低辐射剂量的潜力而引起了极大的关注。然而，对于实际实现，效率和图像质量必须大大提高。在这里，我们展示了一种计算重影成像方案，其中使用了桶检测器和专门设计的调制掩模，以及一种新的鲁棒深度学习算法，其中将一组压缩的Hadamard矩阵纳入多级小波卷积神经网络。通过这种方法，我们已经获得了一个真正的对象的图像，从只有18.75%的奈奎斯特采样率，使用一个便携式桌面非相干X射线源的直径约37 μm。它的成像分辨率达到了~10 μm，为实现低成本、实用化的X射线鬼像照相机迈出了坚实的一步，可用于生物医学、考古学、材料科学等领域。
2019-05-24 eess.IV
Displacement-agnostic coherent imaging through scatter with an interpretable deep neural network
通过散射的相干成像是计算成像中具有挑战性的任务。基于模型的方法和数据驱动的方法都被用来解决逆散射问题。在我们之前的工作中，我们已经证明了深度学习方法可以通过看不见的扩散器进行高质量和高度概括的预测。在这里，我们提出了一种新的深度神经网络（DNN）模型，该模型对更广泛的扰动类别（包括散射体变化、位移和高达10倍景深的系统散焦）是不可知的。此外，我们开发了一个新的分析框架，用于解释我们的DNN模型的机制，并基于无监督降维技术可视化其泛化能力。我们表明，我们的DNN可以解混散射特定的信息和提取的对象特定的信息，从而实现在不同的散射条件下的泛化。我们的工作为通过散射介质成像的高度稳健和可解释的深度学习方法铺平了道路。
2020-09-01 eess.IV physics.optics
Stochastic Deep Restoration Priors for Imaging Inverse Problems
本文提出随机深度恢复先验（ShaRP），利用预训练恢复模型集合正则化成像逆问题，在 MRI 重建和超分辨率任务上无需重训练即超越去噪器与扩散模型方法。
2024-10-02 eess.IV
Snapshot Interferometric 3D Imaging by Compressive Sensing and Deep Learning
我们展示了基于干涉编码的单次激发压缩三维（3D）$(x, y, z)$成像。物体的深度尺寸被编码到光场的干涉光谱中，从而产生$(x, y, λ)$数据立方体，该数据立方体随后由单发光谱仪测量。通过实现高达$400$的压缩比，我们能够从2D测量重建$1G$体素。开发了基于优化的压缩感知算法和深度学习网络，用于从单个2D编码测量进行3D重建。由于快速的采集速度，我们的方法是能够捕捉体积的活动在本地相机帧速率，使4D（体积时间）可视化的动态场景。
2020-04-03 eess.IV
Visualizing Uncertainty and Saliency Maps of Deep Convolutional Neural Networks for Medical Imaging Applications
Ryerson University（瑞尔森大学）
深度学习模型现在被用于许多不同的行业，而在某些领域，安全性并不是医疗领域的关键问题，而是一个巨大的问题。我们不仅希望模型能够很好地泛化，而且还想知道模型对其决策的置信度，以及哪些特征最重要。我们的团队旨在开发一个完整的管道，不仅显示模型决策的不确定性，而且还显示显着图，以显示输入图像的哪些像素集对预测贡献最大。
2019-07-05 cs.CV cs.LG eess.IV
Dynamic imaging using a deep generative SToRM (Gen-SToRM) model
我们介绍了一个生成平滑正则化流形（SToRM）模型的动态图像数据的恢复高度欠采样测量。该模型假设数据集中的图像是低维潜向量的非线性映射。我们使用深度卷积神经网络（CNN）来表示非线性变换。生成器的参数以及低维特征向量仅从欠采样测量值联合估计。这种方法不同于传统的CNN方法，传统的CNN方法需要大量的完全采样的训练数据。我们惩罚非线性映射的梯度的范数以约束流形为平滑的，而惩罚潜向量的时间梯度以获得平滑变化的时间序列。所提出的方案引入了卷积网络提供的空间正则化。该方案的主要好处是图像质量的提高和数量级的减少内存需求相比，传统的流形模型。为了最小化算法的计算复杂度，我们引入了一个有效的渐进式训练的时间方法和近似的代价函数。这些方法加快了图像重建的速度，并提供了更好的重建性能。
2021-03-11 eess.IV
Deep Learning-Based Solvability of Underdetermined Inverse Problems in Medical Imaging
Yonsei University（延世大学）
近年来，随着深度学习技术的发展，求解欠定逆问题成为医学成像领域的一个重要研究课题。典型的例子包括欠采样磁共振成像，内部断层扫描和稀疏视图计算机断层扫描，其中深度学习技术已经实现了出色的性能。虽然深度学习方法似乎克服了现有数学方法在处理各种欠定问题时的局限性，但缺乏严格的数学基础，使我们能够阐明深度学习方法卓越性能的原因。这项研究的重点是学习适合深度学习的训练数据结构的因果关系，以解决高度欠定的逆问题。我们观察到，大多数的问题，解决欠定线性系统在医学成像是高度非线性。此外，我们分析了所需的重建图是否可以从训练数据和欠定系统中学习。
2020-06-26 cs.LG eess.IV stat.ML
Improving Cancer Imaging Diagnosis with Bayesian Networks and Deep Learning: A Bayesian Deep Learning Approach
Faculty of Mathematics University of Waterloo Waterloo, Canada
本文研究结合贝叶斯网络与深度学习构建贝叶斯深度学习模型，以融合两者优势并减少不足，并分析其在医疗影像分类中的准确率与应用价值。
2024-03-28 cs.AI cs.LG eess.IV
Deep Feature-specific Imaging
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出DeepFSI框架，通过深度学习优化测量掩码，在泊松噪声下提升分类准确性和迁移鲁棒性。
2026-04-16 eess.IV physics.optics
Fast Super-resolution 3D SAR Imaging Using an Unfolded Deep Network
对于三维合成孔径雷达（SAR）成像，一种典型的方法是在获得一组二维复值图像后，对每个距离-方位像元进行跨航迹一维聚焦。由于其孔径长度有限，且天线位置通常是非均匀分布的，因此跨道聚焦是主要的难点。稀疏正则化方法被广泛用于解决这些问题。然而，这些方法都有明显的局限性。最著名的是他们沉重的计算负担和不满意的稳定性。在这封信中，提出了一种高效的基于深度网络的交叉轨迹成像方法。在训练时，成像过程，即网络的前向传播，由简单的矩阵向量计算和逐元素非线性运算组成，这显著加快了成像速度。此外，我们发现深度网络对噪声和模型误差具有良好的鲁棒性。仿真和实验表明，该方法具有很好的优越性。
2018-08-27 eess.IV eess.SP
Uncertainty Quantification for Deep Unrolling-Based Computational Imaging
University of Rochester（罗切斯特大学）
深度展开是一种新兴的基于深度学习的图像重建方法，它弥合了基于模型和纯粹基于深度学习的图像重建方法之间的差距。虽然深度展开方法实现了成像问题的最先进性能，并允许将观察模型纳入重建过程，但它们不提供关于重建图像的任何不确定性信息，这严重限制了它们在实践中的使用，特别是对于安全关键成像应用。在本文中，我们提出了一个基于学习的图像重建框架，将观察模型纳入重建任务，并能够量化认识和任意的不确定性，基于深度展开和贝叶斯神经网络。我们证明了所提出的框架的不确定性表征能力的磁共振成像和计算机断层扫描重建问题。我们调查所提出的框架，以激励未来的研究利用不确定性信息，开发更准确的，强大的，值得信赖的，不确定性的，基于学习的图像重建和分析方法的成像问题提供的认识和任意的不确定性信息的特点。我们表明，所提出的框架可以提供不确定性信息，同时实现与最先进的深度展开方法相当的重建性能。
2022-12-19 cs.LG eess.IV eess.SP
Deep-learning-driven end-to-end metalens imaging
针对宽带超透镜在色差、角像差和效率上的限制，提出基于深度学习的图像恢复框架，实现10毫米量产超透镜的端到端无像差全彩成像。
2024-05-10 eess.IV physics.optics
Deep image prior for 3D magnetic particle imaging: A quantitative comparison of regularization techniques on Open MPI dataset
University of Bremen（不来梅大学）
磁性粒子成像（MPI）是一种利用（超）顺磁性纳米粒子的非线性磁化行为来获得由这些纳米粒子组成的示踪剂的空间依赖性浓度并且通常也是时间依赖性浓度的成像模式。MPI具有不断增加的潜在医疗应用数量。在这些应用中成功执行的一个先决条件是图像重建问题的适当解决方案。来自逆问题理论的更经典的方法，以及来自机器学习领域的新方法，有可能在MPI中提供高质量的重建。我们研究了一种基于深度图像先验的新型重建方法，该方法建立在通过深度神经网络表示解决方案的基础上。新的方法，以及变分和迭代正则化技术，定量比较的峰值信噪比和结构相似性指数公开可用的开放MPI数据集。
2020-07-03 cs.CV cs.LG eess.IV
Deep speckle correlation: a deep learning approach towards scalable imaging through scattering media
通过散射成像是一个重要的，但具有挑战性的问题。利用确定性的输入输出“传输矩阵”的固定介质已经取得了巨大的进展。然而，这种“一对一”映射对散斑去相关非常敏感-对散射介质的小扰动导致模型误差和成像性能的严重退化。我们的目标是开发一个新的框架，是高度可扩展的介质扰动和测量要求。为此，我们提出了一种统计“一对多”的深度学习技术，该技术封装了广泛的统计变化，使模型能够适应斑点去相关。具体来说，我们开发了一个卷积神经网络（CNN），能够学习包含在散斑强度图案上捕获的一组具有相同的宏观参数的漫射器的统计信息。然后，据我们所知，我们第一次证明，经过训练的CNN能够通过一组完全不同的同类扩散器进行泛化和高质量的对象预测。我们的工作为通过散射介质成像的高度可扩展的深度学习方法铺平了道路。
2018-09-26 eess.IV physics.optics
