Model-based Convolutional De-Aliasing Network Learning for Parallel MR Imaging
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Nanchang University（南昌大学）
并行成像已成为加速MR成像的基本技术。然而，由于与欠采样重建相关联的病态和挑战，加速率仍然有限。在本文中，我们提出了一种基于模型的卷积去混叠网络，具有自适应参数学习，以实现从多线圈欠采样k空间数据的准确重建。主要贡献有三点：提出了去混叠重建模型，通过深度学习探索空间冗余和多线圈相关性来加速并行MR成像;开发了分裂Bregman迭代算法来有效求解模型;并且与依赖于估计的多线圈灵敏度的准确性的大多数现有并行成像方法不同，所提出的方法可以从欠采样数据执行并行重建，而无需显式的灵敏度计算。在具有各种欠采样模式和不同加速因子的\emph{in vivo}脑数据集上进行评估。我们的研究结果表明，这种方法可以实现优越的性能，在定量和定性分析，相比，三个国家的最先进的方法。
2019-08-06 cs.CV eess.IV
Segmentation of brain tumor on magnetic resonance imaging using a convolutional architecture
School of Biomedical Engineering（生物医学工程学院）；Universidad Autónoma de Ciudad Juárez（华雷斯自治大学）
大脑是控制认知过程和身体功能的复杂器官。大脑中的肿瘤是影响大脑正常功能和过程的加速细胞生长。MRI扫描提供了身体的详细图像，是诊断脑肿瘤最常见的测试之一。从磁共振成像中分割脑肿瘤的过程可以为诊断、治疗计划和结果预测提供有价值的指导。在这里，我们考虑使用深度学习架构进行肿瘤分割的问题。虽然所提出的架构是简单的，并且在计算上易于训练，但它能够达到0.95的$IoU$水平。
2020-03-17 cs.CV eess.IV
A Bayesian Hyperprior Approach for Joint Image Denoising and Interpolation, with an Application to HDR Imaging
Duke University（杜克大学）；Télécom ParisTech, Université Paris-Saclay（巴黎高科电信学院，巴黎-萨克雷大学）；Université Paris Descartes（巴黎笛卡尔大学）；Universidad de la República（共和国大学）
最近，令人印象深刻的去噪结果已经取得了贝叶斯方法，假设高斯模型的图像补丁。这种性能上的改进可以归因于每补丁模型的使用。不幸的是，这种方法对于除噪之外的大多数逆问题特别不稳定。在这项工作中，我们提出了使用超先验模型图像补丁，以稳定的估计过程。所提出的恢复方案有两个主要优点：首先，它适用于对角退化矩阵，特别是缺失数据问题（例如缺失像素的修复或缩放）。其次，它可以处理信号相关的噪声模型，特别适合于数码相机。因此，该方案特别适用于计算摄影。为了说明这一点，我们提供了一个应用程序的高动态范围成像从一个单一的图像与修改后的传感器，这表明所提出的计划的有效性。
2017-06-10 cs.CV eess.IV stat.ML
Video Frame Interpolation by Plug-and-Play Deep Locally Linear Embedding
Yonsei University（延世大学）
我们提出了一个生成框架，它承担了视频帧插值问题。我们的框架，我们称之为深度局部线性嵌入（DeepLLE），由深度卷积神经网络（CNN）提供支持，同时它可以像传统模型一样立即使用。DeepLLE将自动编码CNN拟合到一组几个连续帧，并在潜在代码上嵌入线性约束，以便可以通过插入新的潜在代码来生成新帧。与当前需要在大型数据集上进行训练的深度学习范式不同，DeepLLE以即插即用和无监督的方式工作，并且能够生成任意数量的帧。彻底的实验表明，没有花里胡哨，我们的方法是目前最先进的模型之间的竞争力很强。
2018-07-04 cs.CV eess.IV
Plug-and-Play Priors for Bright Field Electron Tomography and Sparse Interpolation
Purdue University（普渡大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Air Force Research Laboratory（美国空军研究实验室）
在科学成像中，许多材料和生物样品都具有非局部重复结构的特征。这些研究使用扫描电子显微镜和电子断层扫描。在2D图像采集几何结构中对各个像素的稀疏采样，或者在断层摄影实验中对具有大倾斜增量的投影图像的稀疏采样，可以实现高速数据采集并使由电子束引起的样本损坏最小化。在本文中，我们提出了一种算法的电子层析重建和稀疏图像插值，利用图像中的非局部冗余。我们适应一个框架，称为即插即用（P&P）先验，以解决这些成像问题的正则化反演设置。P&P方法的强大之处在于，它允许将各种现代去噪算法用作断层扫描和图像插值的“先验模型”。我们还提出了充分的数学条件，确保P&P方法的收敛性，我们使用这些见解来设计一个新的非局部均值去噪算法。最后，我们证明了该算法产生更高质量的重建模拟和真实的电子显微镜数据，以及改进的收敛性能相比，其他方法。
2015-12-23 cs.CV eess.IV
A Novel Convolutional-Free Method for 3D Medical Imaging Segmentation
AI Geeks
本文提出一种完全基于Transformer和自注意力的无卷积三维医学图像分割模型，通过联合损失函数解决厚薄层CT域适应问题，并构建薄层多语义分割基准数据集，实验证明其优于传统与混合架构。
2025-02-08 cs.CV eess.IV
Convolutional Sparse Coding for High Dynamic Range Imaging
Universidad de Zaragoza（萨拉戈萨大学）；Stanford University（斯坦福大学）；MPI Informatik（马克斯·普朗克信息学研究所）
当前的HDR采集技术基于（i）融合多包围的低动态范围（LDR）图像，（ii）修改现有硬件并利用多个传感器同时捕获不同曝光，或（iii）利用空间变化的像素曝光重建单个图像。在本文中，我们提出了一种新的算法来恢复高质量的HDRI图像从一个单一的，编码曝光。所提出的重建方法建立在最近推出的卷积稀疏编码（CSC）的想法，本文演示了如何使CSC实用的HDR成像。我们证明了所提出的算法实现了比其他方法更高质量的重建，我们评估了光学编码方案，分析了算法参数，并建立了一个原型编码的HDR相机，演示了卷积稀疏HDRI编码与自定义硬件平台的实用性。
2018-06-13 cs.CV cs.GR eess.IV
Estimation of Absolute States of Human Skeletal Muscle via Standard B-Mode Ultrasound Imaging and Deep Convolutional Neural Networks
Manchester Metropolitan University（曼彻斯特城市大学）
目的：测试使用超声成像的主动和被动骨骼肌状态的自动体内估计。背景资料：目前的技术（肌电图，测力计，剪切波成像）没有提供一般的，非侵入性的方法在线估计骨骼肌状态。超声（US）允许肌肉的非侵入性成像，但目前的计算方法从未实现同时提取，也没有独立变化的主动和被动状态的概括。我们使用深度学习来研究2D US肌肉图像的可概括内容。方法：从32名健康参与者（7名女性，年龄：27.5岁，19-65岁）中记录了与小腿肌肉肌电图同步的US数据，并测量了关节力矩/角度。我们提取的内侧腓肠肌和比目鱼肌使用我们以前开发的准确分割算法的感兴趣的区域。从分割的图像中，训练深度卷积神经网络，以预测在实验设计的被动（关节角度）和主动（肌电图）输入的同时独立变化期间神经生物力学状态的三个绝对无漂移分量（活动，关节角度，关节力矩）。结果如下：对于所有32名坚持的参与者（16重交叉验证），踝关节角度、肌电图和关节力矩的估计准确度分别为55 ± 8%、57 ± 11%和46 ± 9%。意义：通过二维超声成像，深层神经网络可以以可推广的形式编码肌肉的活动-长度-张力状态关系。仅观察、低功率、二维超声成像可为骨骼肌神经输出、长度和张力的无创估计提供一种新的技术类别。该原理证明对于疼痛、损伤、神经系统疾病、神经病变、肌病和衰老的个性化肌肉诊断具有价值。
2019-07-02 cs.CV eess.IV
Deep Slice Interpolation via Marginal Super-Resolution, Fusion and Refinement
The University of Maryland, College Park（马里兰大学帕克分校）；University of Rochester（罗切斯特大学）；Chinese Academy of Sciences（中国科学院）；Peng Cheng Laboratory（鹏城实验室）
我们提出了一种基于2D卷积神经网络（CNN）的边缘超分辨率（MSR）方法，用于沿高度欠采样方向插值各向异性脑磁共振扫描，该方向被假设为轴向而不失一般性。以前的切片插值方法只考虑来自相邻2D切片对的数据。融合来自与2D切片正交的方向的信息的可能性仍然未被探索。我们的方法在矢状和冠状方向上执行MSR，这为切片插值提供了初始估计。然后在轴向方向上融合和细化插值切片，以提高一致性。由于MSR仅由2D操作组成，因此与3D CNN相比，它在GPU内存消耗方面更可行，并且需要更少的训练样本。我们的实验表明，该方法优于传统的线性插值和基线2D/3D CNN为基础的方法。最后，我们展示了该方法的实际效用，通过语义分割从欠采样的脑MR扫描估计脑体积。
2019-08-15 cs.CV eess.IV
A Review of Convolutional Neural Networks for Inverse Problems in Imaging
EPFL（洛桑联邦理工学院）
在这篇综述论文中，我们回顾了最近使用卷积神经网络（CNN）来解决成像中的逆问题。最近，在大型图像数据库上训练深度CNN已经变得可行，并且它们在对象分类和分割任务上表现出出色的性能。在这些成功的推动下，研究人员已经开始将CNN应用于逆问题的解决，如去噪，去卷积，超分辨率和医学图像重建，并且他们已经开始报告对最先进方法的改进，包括基于稀疏性的技术，如压缩感知。在这里，我们回顾了最近在这些领域的实验工作，重点是关键的设计决策：训练数据来自哪里？CNN的架构是什么？学习问题是如何形成和解决的？我们还汇集了一些关键的理论论文，这些论文提供了关于为什么CNN适合逆问题的观点，并指出了该领域的一些后续步骤。
2017-10-11 cs.CV eess.IV
Photoacoustic Microscopy with Sparse Data Enabled by Convolutional Neural Networks for Fast Imaging
University of Michigan-Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）；Peking University（北京大学）
光声显微技术是近年来发展起来的一种很有前途的生物医学成像技术。但是，逐点扫描机制导致成像速度低，这限制了PAM的应用。降低采样密度自然可以缩短图像采集时间，这是以牺牲图像质量为代价的。在这项工作中，我们提出了一种使用卷积神经网络（CNN）来提高稀疏PAM图像质量的方法，从而在保持良好图像质量的同时加快图像采集速度。CNN模型利用挤压和激励块和残差块来实现增强，这是从1/4或1/16低采样稀疏PAM图像到潜在全采样图像的映射。为了保证图像的逼真度，引入了感知损失函数。该模型主要是在叶片脉PAM图像上进行训练和验证。实验结果表明，我们提出的方法，显着优于现有的方法定量和定性的有效性。我们的模型也测试使用在体内PAM图像的血管的小鼠耳朵和眼睛。实验结果表明，该模型可以从多个方面提高血管稀疏PAM图像的质量，有助于快速PAM，便于临床应用。
2020-06-08 cs.CV eess.IV
Low-Cost Implementation of Bilinear and Bicubic Image Interpolation for Real-Time Image Super-Resolution
超分辨率成像是一系列提高成像系统分辨率的技术，特别是在简单和低成本非常重要的监控摄像机中。S.R.图像重建可以被视为三阶段过程：图像内插、图像配准和融合。图像插值是超分辨率成像中最关键的步骤之一。算法，并对输出图像的质量有很大的影响。在本文中，提出了两种硬件高效的插值方法，这些平台，主要是为移动应用程序。对合成图像序列和真实图像序列的实验和结果清楚地验证了所提出的方案的性能。它们表明，所提出的方法是实际适用于现实世界的应用。该算法在现场可编程门阵列（FPGA）设备中使用流水线架构实现。实现结果表明，所提出的方法在面积，性能和输出质量方面的优势。
2020-09-21 eess.IV
Convolutional Framework for Accelerated Magnetic Resonance Imaging
磁共振成像（MRI）是一种非侵入性成像技术，可在不使用电离辐射的情况下提供精致的软组织对比度。MRI的临床应用可能受到长数据采集时间的限制;因此，从高度欠采样的k空间数据进行MR图像重建一直是一个活跃的研究领域。许多作品利用汉克尔数据矩阵中的秩亏来恢复未观察到的k空间样本;由此产生的问题是非凸的，因此数值算法的选择可以显着影响性能，计算和内存。我们提出了一个简单的，可扩展的方法，称为卷积框架（CF）。我们证明了CF的可行性和多功能性，使用测量数据从2D，3D和动态应用。
2020-02-08 eess.IV
Integrating Preprocessing Methods and Convolutional Neural Networks for Effective Tumor Detection in Medical Imaging
Central Washington University（中华盛顿大学）
本文提出结合高斯平滑、双边滤波、K-means聚类等预处理与CNN分类的医学影像肿瘤检测方法，并通过数据增强提升泛化性能。
2024-02-25 cs.CV eess.IV
Fully-automated Body Composition Analysis in Routine CT Imaging Using 3D Semantic Segmentation Convolutional Neural Networks
University Hospital Essen（埃森大学医院）
身体组织成分是一种长期已知的生物标志物，在心血管、肿瘤和骨科疾病中具有很高的诊断和预后价值，而且在康复医学或药物剂量中也具有很高的诊断和预后价值。在这项研究中，目的是开发一种完全自动化的，可重复的和定量的3D体积测定法，从腹部的标准CT检查中获得身体组织成分，以便能够提供这些有价值的生物标志物作为常规临床成像的一部分。因此，40个用于训练的CT和10个用于测试的CT的内部数据集在每五个轴向切片上完全注释，具有五个不同的语义身体区域：腹腔、骨骼、肌肉、皮下组织和胸腔。采用多分辨率U-Net 3D神经网络分割这些身体区域，然后使用已知的hounsfield单位限制对脂肪组织和肌肉进行细分。所有语义区域的Sørensen Dice评分平均值为0.9553，亚分类组织的类内相关系数均高于0.99。我们的研究结果表明，常规CT成像的全自动身体成分分析可以在整个腹部提供稳定的生物标志物，而不仅仅是在L3切片上，L3切片历来是临床常规中分析身体成分的参考位置。
2020-02-25 cs.CV eess.IV
Informed Sinogram Interpolation for Sparse View Reconstruction
Technische Universität München（慕尼黑工业大学）；Waygate Technologies, Baker Hughes Digital Solutions GmbH（韦盖特技术，贝克休斯数字解决方案有限公司）；Technische Universität Darmstadt（达姆施塔特工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对显微CT二次辐射导致成像不完整的问题，本文提出利用投影空间连续数学模型描述二次正弦图，并据此实现从有限角度观测中有效插值二次扫描的方法。
2026-09-17 eess.IV
Conditioning Convolutional Segmentation Architectures with Non-Imaging Data
我们比较了两种基于级联和特征调制的条件反射机制，将非成像信息整合到卷积神经网络中，以分割解剖结构。作为概念验证，我们提供了从地面真实掩码获得的类标签的分布，以确保条件数据和分割图之间的强相关性。我们在ACDC数据集上评估了这些方法，并表明使用非成像数据调节可以提高分割网络的性能。我们观察到调节U-Net架构是具有挑战性的，没有任何方法可以显着改善。然而，没有跳过连接的相同架构优于具有特征调制的基线，并且相对性能随着训练大小的减小而增加。
2019-07-29 eess.IV
Convolutional Deblurring for Natural Imaging
University of Toronto（多伦多大学）
在本文中，我们提出了一种新的设计，图像去模糊的形式，一次卷积滤波，可以直接卷积与自然模糊的图像进行恢复。光学模糊的问题是许多遭受光学缺陷的成像应用的共同缺点。尽管有许多以包含或排除形式盲目估计模糊的去卷积方法，但由于高计算成本和低图像重建质量，它们实际上是具有挑战性的。高精度和高速度是数字存档中高通量成像平台的先决条件。在这样的平台中，在图像采集之后，在被存储、预览或处理以用于高级解释之前，需要去模糊。因此，这种图像的即时校正对于避免可能的时间延迟、减轻计算费用以及提高图像感知质量是重要的。我们通过将去卷积内核合成为有限脉冲响应（FIR）偶导数滤波器的线性组合来弥合这一差距，该滤波器可以直接与模糊输入图像进行卷积，以提高与光学模糊相关的点扩散函数（PSF）的频率下降。我们采用高斯低通滤波器解耦的图像去噪问题的图像边缘去模糊。此外，我们提出了一种盲方法来估计两个高斯和拉普拉斯模型，这是常见的许多成像管道的PSF统计。彻底的实验设计，以测试和验证所提出的方法的效率，使用2054自然模糊的图像在6个成像应用程序和7个国家的最先进的反卷积方法。
2019-07-19 cs.CV eess.IV
Automated Segmentation of Computed Tomography Images with Submanifold Sparse Convolutional Networks
University of Cambridge（剑桥大学）；University of Cincinnati（辛辛那提大学）
定量癌症图像分析依赖于肿瘤的准确描绘，这是一项非常专业且耗时的任务。由于这个原因，近年来已经广泛开发了用于在医学成像中自动分割肿瘤的方法，计算机断层扫描是所探索的最流行的成像模式之一。然而，典型扫描中的大量3D体素对于在常规硬件中一次分析整个体积是禁止的。为了克服这个问题，当在医学成像中使用传统的卷积神经网络时，通常实现下采样和/或重新采样的过程。在本文中，我们提出了一种新的方法，该方法引入了输入图像的稀疏化过程和子流形稀疏卷积网络作为下采样的替代方案。作为概念证明，我们将这种新方法应用于肾癌患者的计算机断层扫描图像，获得了与以前方法竞争的肾脏和肿瘤分割性能（~84.6% Dice相似系数），同时实现了计算时间的显着改善（每个训练时间2-3分钟）。
2022-12-06 cs.CV eess.IV
Rice Plant Disease Detection and Diagnosis using Deep Convolutional Neural Networks and Multispectral Imaging
Nile University（尼罗河大学）；Rice Research Institute（水稻研究所）
本文提出一个公开的多光谱与RGB图像数据集及深度学习流程，通过结合多光谱通道与RGB输入实现水稻病害早期检测，显著提升了F1准确率。
2023-09-11 cs.CV eess.IV
Deep Convolutional Neural Networks for Molecular Subtyping of Gliomas Using Magnetic Resonance Imaging
Tencent（腾讯）；Beijing Neurosurgical Institute（北京神经外科研究所）；Capital Medical University（首都医科大学）；Beijing Tiantan Hospital（北京天坛医院）；Sinovation Ventures AI Institute（创新工场人工智能研究院）
胶质瘤分子亚型的知识可以为定制治疗提供有价值的信息。这项研究旨在根据世界卫生组织2016年宣布的新分类法，利用放射成像数据研究深度卷积神经网络（DCNN）用于非侵袭性胶质瘤亚型分型。方法：建立一个基于层次分类范式的DCNN模型，用于预测5种胶质瘤亚型。该模型使用三个并行、权重共享、深度残差学习网络来处理三模态MRI数据的2.5维输入，包括T1加权、T1加权对比度增强和T2加权图像。收集了包括1，016名真实患者的数据集，用于评估开发的DCNN模型。通过受试者操作特征分析的曲线下面积（AUC）评价预测性能。为了进行比较，还评估了基于放射学的方法的性能。结果如下：分层分类范式中四个分类任务的DCNN模型的AUC分别为0.89、0.89、0.85和0.66，而放射组学方法为0.85、0.75、0.67和0.59。结论：结果表明，开发的DCNN模型可以预测胶质瘤亚型，具有良好的性能，给出了足够的，非不平衡的训练数据。
2022-03-10 cs.CV eess.IV
Effectivity of super resolution convolutional neural network for the enhancement of land cover classification from medium resolution satellite images
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
在现代世界，卫星图像在森林管理和退化监测方面发挥着关键作用。为了精确地量化森林土地覆盖的变化，必须提供空间上高分辨率的数据。自1972年以来，美国航天局的大地卫星卫星提供了覆盖地球每一个角落的地面图象，这些图象已被证明是分析地面变化的非常有用的资源，并已被用于许多其他部门。然而，可免费获得的卫星图像一般都是中低分辨率的，这是影响分析准确性的一个主要障碍。因此，我们进行了全面的研究，以证明我们的观点，提高分辨率的超分辨率卷积神经网络（SRCNN）将减少误分类的像素的机会，即使在既定的识别方法。我们测试了该方法对原始LANDSAT-7图像的不同地区的孙德尔本斯和他们的放大版本，分别由双线性插值，双三次插值，和SRCNN和它被发现，SRCNN优于其他显着的量。
2022-07-05 cs.CV cs.CY eess.IV
Interpretable Graph Convolutional Network of Multi-Modality Brain Imaging for Alzheimer's Disease Diagnosis
Lehigh University（里海大学）；University of Pennsylvania（宾夕法尼亚大学）
识别与特定神经系统疾病相关的脑区域对于生物标志物和诊断研究非常重要。在本文中，我们提出了一个可解释的图卷积网络（GCN）框架，用于使用多模态脑成像数据对阿尔茨海默病（AD）进行识别和分类。具体来说，我们扩展了梯度类激活映射（Grad-CAM）技术，以量化GCN从大脑连接模式中识别出的最具鉴别力的特征。然后，我们利用它们来找到签名感兴趣的区域（ROI），通过检测健康对照（HC），轻度认知障碍（MCI）和AD组的区域之间的特征差异。我们在ADNI数据库上进行了实验，使用了三种模式的成像数据，包括VBM-MRI，FDG-PET和AV45-PET，并表明通过我们的方法学习的ROI特征对于提高临床评分预测和疾病状态识别的性能是有效的。它还成功地鉴定了与AD和MCI相关的生物标志物。
2022-04-27 cs.CV cs.LG eess.IV
Residual Dense Swin Transformer for Continuous Depth-Independent Ultrasound Imaging
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）
针对超声成像中深度调整导致图像质量与视野下降的问题，提出残差密集Swin Transformer网络（RDSTN），通过线性嵌入、移位窗口注意力编码和MLP解码实现连续细节重建，在更少参数下优于传统插值方法，实现深度无关成像。
2024-03-25 cs.CV eess.IV
Deep Reference Generation with Multi-Domain Hierarchical Constraints for Inter Prediction
帧间预测是视频编码中用于时间冗余去除的重要模块，其中从先前编码的帧中搜索相似的参考块并用于预测要编码的块。虽然传统的视频编解码器可以估计和补偿块级运动，但它们的帧间预测性能仍然受到由不规则旋转和变形引起的剩余不一致的逐像素位移的严重影响。在本文中，我们通过提出一种深度帧插值网络来解决这个问题，以在编码场景中生成额外的参考帧。首先，我们总结了以前用于帧内插的自适应卷积，并提出了一种因子分解核卷积网络，以提高建模能力，同时保持其紧凑的形式。其次，为了更好地训练该网络，引入多域层次约束来正则化我们的因子化核卷积网络的训练。对于空间域，我们使用逐渐下采样和上采样的自动编码器来生成用于不同尺度下的帧插值的因式分解核。对于质量域，考虑到输入帧的质量不一致，因子分解核卷积与质量相关的特征进行调制，以学习从高质量帧中利用更多的信息。对于频域，从编码性能的角度来看，利用执行频率变换的绝对变换差损失之和来促进网络优化。通过设计良好的帧内插网络，通过多域分层约束进行正则化，我们的方法在随机访问配置下平均节省6.1%的BD速率，并为亮度分量节省高达11.0%的BD速率。
2019-05-16 cs.CV eess.IV
Physics-Guided Multi-Objective Deep Learning for Ultrasound RF Data Interpolation in Resource-Constrained Imaging
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对资源受限超声成像中稀疏数据导致的栅瓣伪影问题，提出物理引导的多目标深度学习框架，结合射频域与波束形成域损失及随机跳跃掩蔽，实现高保真插值，平均SSIM约0.95。
2026-09-25 cs.LG eess.IV
Deep Learning for MRI Slice Interpolation: The Critical Role of Problem Formulation
University of Florida, Gainesville, FL 32611, USA（佛罗里达大学）
本文探讨了深度学习在前列腺成像中插值中间MRI切片的方法，发现问题建模对性能的影响远大于架构复杂度，通过改进插值方式提升了SSIM性能。
2026-05-15 cs.CV cs.LG eess.IV
Monitoring Achilles tendon healing progress in ultrasound imaging with convolutional neural networks
Medical University of Warsaw（华沙医科大学）；University of Warsaw（华沙大学）；SGH Warsaw School of Economics（SGH华沙经济学院）；Carolina Medical Center（卡罗莱纳医疗中心）；Warsaw University of Technology（华沙理工大学）；Tooploox
跟腱断裂是一种使人衰弱的损伤，通常通过手术修复和长期康复来治疗。然而，复苏是长期的，而且往往是不完全的。诊断以及愈合进展评估主要基于超声和磁共振成像。在本文中，我们提出了一种基于深度学习的自动方法，用于分析跟腱状况并估计其在超声图像上的愈合进度。我们开发了自定义卷积神经网络，用于愈合评分和特征提取的分类和回归。我们的模型在超过250.000个矢状和超过450.000个轴向超声切片的采集数据集上进行训练和验证。所获得的估计值显示出与放射科专家评估的高度相关性，就描述愈合进展的所有关键参数而言。我们还观察到与i.a.腱内愈合过程用矢状切片更好地建模。我们证明，超声成像是定量的跟腱愈合过程的临床评估有用，应被视为补充磁共振成像。
2019-09-11 cs.CV eess.IV q-bio.QM
A Spatiotemporal Volumetric Interpolation Network for 4D Dynamic Medical Image
Shanghai Jiao Tong University（上海交通大学）；University of Sydney（悉尼大学）
动态医学成像由于辐射剂量大、图像扫描和重建时间长，在应用中受到限制。现有方法试图通过在所采集的图像体积之间插入体积来减少动态序列。然而，这些方法限于2D图像和/或不能支持图像体积序列之间的运动的大变化。在本文中，我们提出了一个时空体积插值网络（SVIN）设计的4D动态医学图像。SVIN引入双网络：首先是时空运动网络，其利用3D卷积神经网络（CNN）进行无监督的参数体积配准，以从两个图像体积导出时空运动场;第二是顺序体积插值网络，其使用导出的运动场来插值图像体积，以及新的基于回归的模块来表征功能器官结构中的周期性运动循环。我们还引入了一个自适应的多尺度架构来捕捉体积大的解剖运动。实验结果表明，我们的SVIN优于国家的最先进的时间医学插值方法和自然视频插值方法，已扩展到支持体积图像。我们的消融研究进一步证明，与最先进的无监督医学配准方法相比，我们的运动网络能够更好地表示大的功能运动。
2020-04-25 cs.CV eess.IV
High-speed computational ghost imaging with compressed sensing based on a convolutional neural network
计算鬼像（CGI）作为一种间接成像技术，近年来得到了广泛的研究。但CGI的速度不能满足实际应用的要求。在这里，我们提出了一种新的CGI方案的高速成像。在我们的场景中，传统的CGI数据处理算法被优化为基于卷积神经网络（CNN）的新压缩感知（CS）算法。CS用于处理由常规CGI设备收集的数据。然后，通过CNN训练处理后的数据以重建图像。实验结果表明，我们的方案可以产生高质量的图像与更少的采样比传统的CGI。此外，使用我们的方法重建的图像与传统CS和深度学习（DL）重建的图像之间的详细比较表明，我们的方案优于传统方法，并实现了更快的成像速度。
2020-08-16 eess.IV quant-ph
Visualizing Uncertainty and Saliency Maps of Deep Convolutional Neural Networks for Medical Imaging Applications
Ryerson University（瑞尔森大学）
深度学习模型现在被用于许多不同的行业，而在某些领域，安全性并不是医疗领域的关键问题，而是一个巨大的问题。我们不仅希望模型能够很好地泛化，而且还想知道模型对其决策的置信度，以及哪些特征最重要。我们的团队旨在开发一个完整的管道，不仅显示模型决策的不确定性，而且还显示显着图，以显示输入图像的哪些像素集对预测贡献最大。
2019-07-05 cs.CV cs.LG eess.IV
FunkNN: Neural Interpolation for Functional Generation
University of Basel（巴塞尔大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究提出新型卷积网络FunkNN，从信号处理视角将连续图像生成视为样本插值，通过数据驱动外推频谱，可与离散生成模型结合作为连续不适定逆问题先验，能生成高质量连续图像且分布外表现优异，还支持精确空间导数计算。
2023-04-03 cs.CV cs.LG eess.IV
Demonstration of Vector Flow Imaging using Convolutional Neural Networks
Imperial College London（伦敦帝国学院）
合成孔径矢量血流成像（SA-VFI）能够以高时间分辨率和大视野显示复杂的心脏和血管血流模式。卷积神经网络（CNN）通常用于图像和视频识别和分类。然而，最近提出的CNN也允许在光流测速中根据需要进行逐像素预测。据我们所知，我们在这里首次展示了一个CNN架构，使用监督学习从高帧速率SA超声图像产生2D全流场预测。CNN最初使用CFD生成的和增强的无噪声SA超声数据的现实血管几何形状进行训练。随后，添加了噪声模拟和真实\textit{in vivo}采集的混合，以增加网络的鲁棒性。CNN得到的流场准确地类似于地面实况，终点误差百分比在6.5%到14.5%之间。此外，当面对动脉分叉的未知几何形状时，CNN能够预测准确的流场，表明其泛化能力。值得注意的是，CNN也表现良好的旋转流，这通常需要先进的，计算密集的VFI方法。我们已经证明，卷积神经网络可以用来估计复杂的多方向流。
2019-03-11 cs.CV eess.IV eess.SP
Efficient Algorithms for Convolutional Inverse Problems in Multidimensional Imaging
多维成像，即在多于两个维度上捕获图像数据，已经成为具有多种应用的新兴领域。由于二维检测器在获得高维图像数据方面的限制，已经开发了计算成像方法以将一些负担传递给重建算法。在多维成像中的各种图像重建问题中，测量是叠加卷积的形式。在本文中，我们介绍了一个通用的框架，这些问题的解决方案，这里称为卷积逆问题，并开发快速图像重建算法的分析和合成的先验。这些包括稀疏化变换，以及卷积或基于补丁的字典，可以适应不同维度的相关性。由此产生的优化问题，通过交替方向方法的乘法器与封闭形式，高效，可并行化的更新步骤。为了说明它们的实用性和多功能性，开发的算法被应用到三维图像重建的问题，在计算光谱成像的情况下，有或没有相关性沿第三维。随着多维成像模式的出现扩展到执行复杂的任务，这些算法是必不可少的快速迭代重建在各种大规模的问题。
2020-06-15 eess.IV eess.SP physics.optics
Implementation of Convolutional Neural Network Architecture on 3D Multiparametric Magnetic Resonance Imaging for Prostate Cancer Diagnosis
Research Computing Center at the University of Chicago（芝加哥大学研究计算中心）
前列腺癌是男性癌症死亡的最常见原因之一。在临床实践中，对促进当前标准前列腺癌风险评估的非侵入性和准确诊断方法的需求不断增长。尽管如此，在多参数磁共振图像的前列腺癌诊断中开发计算机辅助分类工具仍然是一个挑战。在这项工作中，我们提出了一种新的深度学习方法，通过构建一个基于两阶段多模态多流卷积神经网络（CNN）的架构框架，对相应的磁共振图像中的前列腺病变进行自动分类。在没有实施复杂的图像预处理步骤或第三方软件的情况下，我们的框架实现了分类性能，受试者工作特征（ROC）曲线下面积为0.87。结果优于大多数提交的方法，并分享了PROSTATEx挑战组织者报告的最高值。我们提出的基于CNN的框架反映了在前列腺癌中辅助医学图像解释和减少不必要的活检的潜力。
2021-12-29 cs.CV cs.LG eess.IV
Pigment Network Detection and Classification in Dermoscopic Images Using Directional Imaging Algorithms and Convolutional Neural Networks
Universiti Malaya（马来亚大学）
本研究利用方向成像算法和CNN对皮肤镜图像中的色素网络进行自动检测与分类，通过改进的CNN模型实现了高准确率的分类效果。
2026-01-16 cs.AI cs.CV eess.IV
Denoising convolutional neural networks for photoacoustic microscopy
光声成像是近年来发展起来的一种新的成像技术，它结合了光学成像的高分辨率、丰富对比度的优点和声学成像的高穿透深度的优点。光声成像技术在脑成像、肿瘤检测等生物医学领域有着广泛的应用，但由于激光脉冲能量的限制、外界环境的电磁干扰以及系统噪声的影响，光声成像中图像信号的信噪比普遍较低。为了解决光声图像信噪比低的问题，我们采用前馈去噪卷积神经网络对获得的图像进行进一步处理，从而获得更高信噪比的图像，提高图像质量。我们使用Python语言通过Anaconda管理引用的Python外部库，在Pycharm平台上构建前馈降噪卷积神经网络，首先对包含400幅图像的训练集进行处理和分割，然后用于网络训练。最后，我们用一系列脑血管光声显微图像进行了测试，结果表明去噪前后图像的峰值信噪比（PSNR）有明显提高，实验结果验证了前馈降噪卷积神经网络能够有效提高光声显微图像的质量，为后续的生物医学研究提供了良好的基础。
2020-09-29 eess.IV physics.bio-ph
Edge-variational Graph Convolutional Networks for Uncertainty-aware Disease Prediction
The Hong Kong University of Science and Technology（香港科技大学）
越来越需要计算模型，可以互补地利用不同模态的数据，同时调查受试者之间的关联，以进行基于人群的疾病分析。尽管卷积神经网络在成像数据的表示学习方面取得了成功，但这仍然是一项非常具有挑战性的任务。在本文中，我们提出了一个可推广的框架，可以自动整合人群中的成像数据与非成像数据，用于不确定性感知疾病预测。它的核心是一个可学习的自适应种群图，具有可变的边缘，我们在数学上证明了它与图卷积神经网络结合是可优化的。为了估计与图拓扑结构相关的预测不确定性，我们提出了Monte-Carlo边缘丢弃的新概念。四个数据库上的实验结果表明，我们的方法可以持续和显着提高自闭症谱系障碍，阿尔茨海默氏病和眼部疾病的诊断准确率，表明其在利用多模态数据进行计算机辅助诊断的通用性。
2020-09-06 cs.AI cs.CV eess.IV
Self supervised convolutional kernel based handcrafted feature harmonization: Enhanced left ventricle hypertension disease phenotyping on echocardiography
Yonsei University College of Medicine（延世大学医学院）；Ontack Health；Seoul National University Bundang Hospital（首尔大学盆唐医院）
本研究提出一种基于自监督卷积核的预处理方法，将图像转换为特征图以实现手工特征协调，在超声心动图左心室肥厚疾病诊断中展现出更优的分类性能。
2023-11-22 cs.CV cs.LG eess.IV
Graph Convolutional Networks for Multi-modality Medical Imaging: Methods, Architectures, and Clinical Applications
UNC Charlotte（北卡罗来纳大学夏洛特分校）；Sensebrain Research（Sensebrain研究院）；UCLA（加州大学洛杉矶分校）；Stanford University（斯坦福大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Rutgers University（罗格斯大学）
基于图像的表征和疾病理解涉及跨生物尺度的形态、空间和拓扑信息的综合分析。图卷积网络（GCN）的发展为通过图驱动架构解决这种信息复杂性创造了机会，因为GCN可以以显着的灵活性和效率执行特征聚合，交互和推理。这些GCN的能力催生了医学成像分析研究的新浪潮，其总体目标是改善定量疾病理解，监测和诊断。然而，为多模态医学成像设计重要的图像到图形转换以及深入了解模型解释和增强的临床决策支持仍然面临着艰巨的挑战。在这篇综述中，我们提出了最近的GCN的发展的背景下，医学图像分析，包括成像数据从放射学和组织病理学。我们讨论了在医学图像分析中快速增长的图形网络架构的使用，以改善疾病诊断和临床实践中的患者结局。为了促进跨学科研究，我们介绍了GCN的技术进步，新兴的医学应用，确定了使用基于图像的GCN及其在模型解释中的扩展所面临的共同挑战，以及有望改变医学图像研究和相关图形驱动医学研究范围的大规模基准。
2022-04-21 cs.AI cs.CV cs.LG
Vertebra partitioning with thin-plate spline surfaces steered by a convolutional neural network
薄板样条可用于图像值的插值，但也可用于表示平滑表面，例如两个结构之间的边界。我们提出了一种用于将椎骨分割掩模划分为两个子结构（椎体和后部元素）的方法，该方法使用预测两个结构之间的边界的卷积神经网络。该边界被建模为由网络预测的一组控制点定义的薄板样条曲面。使用卷积自动编码器的重建误差来训练神经网络，以允许使用未配对的数据。
2019-07-25 eess.IV
Di-chromatic Interpolation of Magnetic Resonance Metabolic Imagery
使用超极化造影剂的磁共振成像可以提供前所未有的\textit{in-vivo}代谢测量，但产生的图像分辨率低于质子解剖成像。为了在空间上定位代谢活动，代谢图像必须被内插到质子图像的大小。选择未知值的最常见方法完全依赖于原始未插值图像的值。在这项工作中，我们提出了一种替代方法，使用更高分辨率的质子图像提供额外的空间结构。插值图像是凸优化算法的结果，该算法是用快速迭代收缩阈值算法（FISTA）求解的。使用来自健康人类志愿者、健康猪心脏和患有前列腺癌的人的心脏和大脑的数据，用超极化丙酮酸盐、乳酸盐和碳酸氢盐的图像显示结果。
2021-02-12 eess.IV
Morphological Operation Residual Blocks: Enhancing 3D Morphological Feature Representation in Convolutional Neural Networks for Semantic Segmentation of Medical Images
The University of Hong Kong（香港大学）
器官和组织的形状和形态是医学图像识别和分割的重要先验知识。形态学操作是用于形态学特征提取的公知方法。由于形态学操作在手工图像分割技术中表现良好，因此设计一种在卷积网络中近似形态学操作的方法也是有希望的。然而，使用传统的卷积神经网络作为一个黑盒通常是很难指定的形态操作动作。在这里，我们引入了一个3D形态操作残差块，用于在端到端深度学习模型中提取形态特征，以进行语义分割。提出了一种新的网络块结构，将形态学运算作为一种无穷强先验嵌入到卷积神经网络中。在不同的医学图像分割任务中，构建了几个具有所提出的形态学操作块的3D深度学习模型并进行了比较。实验结果表明，与传统方法相比，该网络在分割任务中取得了相对较高的性能。总之，新的网络块可以很容易地嵌入到传统网络中，并有效地加强医学成像分割的深度学习模型。
2021-03-06 cs.CV cs.LG eess.IV
Iterative training of robust k-space interpolation networks for improved image reconstruction with limited scan specific training samples
University of Würzburg（维尔茨堡大学）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；University Hospital Würzburg（维尔茨堡大学医院）；Research Centre for Natural Sciences（自然科学研究中心）
目的：当只有有限数量的训练数据（自动校准信号，ACS）可用于加速标准2D成像时，评估用于增强K空间插值鲁棒神经网络（RAKI）性能的迭代学习方法。方法：在第一步中，针对训练数据量有限的情况对RAKI模型进行优化。在迭代学习方法（称为迭代RAKI）中，优化的RAKI模型最初使用从线性并行成像重建获得的原始和增强ACS进行训练。随后，使用从先前RAKI重建中提取的原始和增强ACS迭代地细化RAKI卷积滤波器。对来自fastMRI neuro数据库的200个回顾性欠采样体内数据集（具有不同对比度设置）进行了评价。结果如下：对于有限的训练数据（R=4和R=5分别为18和22条ACS线），迭代RAKI通过减少残留伪影优于标准RAKI，并在与标准并行成像相比时产生强噪声抑制，通过定量重建质量度量强调。结合相位约束，可以实现进一步的重建改进。此外，迭代RAKI在预扫描校准的情况下显示出比GRAPPA和RAKI更好的性能，训练和欠采样数据之间的对比度不同。结论：使用RAKI的迭代学习方法受益于标准RAKI众所周知的噪声抑制功能，但需要较少的原始训练数据来精确重建标准2D图像，从而提高净加速。
2022-07-14 cs.CV cs.LG eess.IV
Classification of Prostate Cancer in 3D Magnetic Resonance Imaging Data based on Convolutional Neural Networks
Institut für Medizinische Informatik, Universität zu Lübeck（吕贝克大学医学信息学研究所）；FUSE-AI GmbH, Hamburg（汉堡FUSE-AI有限公司）；Cantonal Hospital Aarau, Aarau (CH)（阿劳州立医院）
针对前列腺癌诊断耗时且依赖专业人员的问题，研究评估并训练了多款适配3D MRI数据的CNN模型，在私有数据集上ResNet3D取得最优分类性能。
2024-04-16 cs.CV cs.LG eess.IV
Deriving ventilation imaging from 4DCT by deep convolutional neural network
目的：功能成像正在成为肺癌治疗计划和评估的重要工具。与传统方法相比，如核医学通气-灌注（VQ）、正电子发射断层成像（PET）、单光子发射计算机断层扫描（SPECT）或磁共振成像（MRI），这些方法使用造影剂形成2D或3D功能图像，从4DCT肺部图像获得的通气成像方便且成本效益高，因为其在放射治疗计划期间可用。当前从4DCT肺部图像获得通气图像的方法涉及可变形图像配准（DED）和基于密度（HU）变化的算法（DED/HU）;因此，所得到的通气图像对DED算法的选择敏感。研究方法：我们提出了一种基于深度卷积神经网络（CNN）的方法，可以直接从4DCT中获得通风图像，而无需显式的卷积，从而提高通风图像的一致性和准确性。应用该方法对82组肺癌患者的4DCT和肺通气图像进行了研究。结果：预测图像与测试数据的标签图像具有可比性。10倍交叉验证的平均相似性指数和相关系数分别为0.883 ± 0.034和0.878 ± 0.028。结论：结果表明，深度CNN可以从4DCT生成通气成像，而无需显式的可变形图像配准，从而降低了相关的不确定性。
2018-08-21 eess.IV physics.med-ph
Data-Efficient Unsupervised Interpolation Without Any Intermediate Frame for 4D Medical Images
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；AITRICS；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
本文提出UVI-Net无监督体积插值框架，无需中间帧即可实现4D医学图像时间插值，在数据极度稀疏时仍表现优异。
2024-04-01 cs.AI cs.CV cs.LG
Reconstruction for Diverging-Wave Imaging Using Deep Convolutional Neural Networks
近年来，发散波（DW）超声成像由于其高的时间分辨率而成为一种非常有前途的心血管成像方法。然而，如果它们的数量有限，DW传输提供较低的图像质量相比，经典的聚焦计划。传统的重建方法包括以帧速率为代价对一系列超声信号进行相干求和。为了解决这个问题，我们提出了一个卷积神经网络（CNN）架构的DW超声图像的高质量重建使用少量的传输。鉴于DW图像沿深度的空间变化特性，我们采用了由多尺度卷积核级联组成的初始模型。增强型初始模块的目标是利用多尺度感受野捕获不同的图像特征。低质量图像和相应的高质量复合重建之间的映射通过使用体外和体内样本训练网络来学习。从对比度噪声比和横向分辨率两个方面对该方法的性能进行了评价，并与标准复合方法和传统的CNN方法进行了比较。结果表明，我们的方法可以产生高质量的图像，只使用三个DW，产生的图像质量相当于一个标准的复合31 DW和优于更传统的CNN架构的复杂性，推理时间和图像质量。
2020-03-24 eess.IV eess.SP
Dual-energy CT imaging from single-energy CT data with material decomposition convolutional neural network
双能计算机断层成像（DECT）由于其提供材料特异性信息的巨大潜力，对临床实践具有重要意义。然而，DECT扫描仪通常比标准的单能CT（SECT）扫描仪更昂贵，因此不太适合不发达地区。在本文中，我们证明了标准DECT图像之间的能量域相关性和解剖学一致性可以通过深度学习模型来利用，从而从完全采样的低能量数据以及单视图高能量数据中提供高性能的DECT成像，这些数据可以通过使用侦察视图高能量图像来获得。我们证明了该方法的可行性与对比度增强DECT扫描从22例患者的5,753切片的图像，并显示其优越的性能DECT应用。基于深度学习的方法可能有助于进一步显著降低当前高级DECT扫描仪的辐射剂量，并有可能简化DECT成像系统的硬件，并使用标准SECT扫描仪实现DECT成像。
2020-05-30 eess.IV physics.med-ph
Super-resolution PET imaging using convolutional neural networks
正电子发射断层扫描（PET）受到严重的分辨率限制，这限制了其定量准确性。在本文中，我们提出了一种基于卷积神经网络（CNN）的PET超分辨率（SR）成像技术。为了促进分辨率恢复过程，我们将高分辨率（HR）的解剖信息的基础上磁共振（MR）成像。我们引入输入图像块的空间位置信息作为额外的CNN输入，以适应PET中模糊核的空间变化性质。我们比较了浅（3层）和极深（20层）CNN与以下输入的各种组合的性能：低分辨率（LR）PET、径向位置、轴向位置和HR MR。为了验证CNN架构，我们使用BrainWeb数字体模和临床神经成像数据分析进行了逼真的模拟研究。对于模拟和临床研究，LR PET图像均基于Siemens HR+扫描仪。在模拟中检查了两种不同的场景：一种是目标HR图像是地面真实体模图像，另一种是目标HR图像基于Siemens HRRT扫描仪-一种高分辨率专用脑PET扫描仪。后一种情况也使用临床神经影像数据集进行了检查。许多因素影响了所检查的不同CNN设计的相对性能，包括网络深度、目标图像质量以及目标图像和解剖图像之间的相似性。然而，总的来说，所有CNN在质量上（例如，边缘和对比度恢复）和定量地（如由两个度量所指示：峰值信噪比和结构相似性指数）。
2019-06-09 eess.IV
Convolutional Neural Network Denoising in Fluorescence Lifetime Imaging Microscopy (FLIM)
University of Notre Dame（圣母大学）；California Institute of Technology（加州理工学院）；Indiana University（印第安纳大学）
荧光寿命成像显微镜（FLIM）系统受到其缓慢的处理速度、低信噪比（SNR）以及昂贵且具有挑战性的硬件设置的限制。在这项工作中，我们演示了应用去噪卷积网络来提高FLIM SNR。该网络将与瞬时FLIM系统集成，该系统具有基于模拟信号处理的快速数据采集、使用高效脉冲调制的高信噪比以及利用现成射频组件的成本效益实施。我们的即时FLIM系统同时提供强度、寿命和相量图\textit{in vivo}和\textit{ex vivo}。通过在FLIM数据上使用经训练的深度学习模型集成图像去噪，获得精确的FLIM相量测量。然后，增强的相量通过K均值聚类分割方法，这是一种无偏和无监督的机器学习技术，可以准确地分离不同的荧光团。我们对\textit{in vivo}小鼠肾脏的实验结果表明，与现有方法相比，在分割之前引入深度学习图像去噪模型可以有效地去除相量中的噪声，并提供更清晰的分割。因此，所提出的基于深度学习的工作流程使用即时FLIM提供了快速准确的荧光图像自动分割。如果FLIM测量是有噪声的，则去噪操作对于分割是有效的。聚类可以有效地增强生物医学成像应用中感兴趣的生物结构的检测。
2021-03-07 cs.CV cs.SY eess.IV
Convolutional neural network-based single-shot speckle tracking for x-ray phase-contrast imaging
针对X射线相位衬度成像临床应用受限、传统散斑跟踪精度不足的问题，提出基于卷积神经网络的单次散斑跟踪方法，在精度、分辨率等多方面性能优于传统算法，拓展了散斑相位衬度成像的应用潜力。
2023-05-03 eess.IV physics.med-ph
CSTNet: A Dual-Branch Convolutional Network for Imaging of Reactive Flows using Chemical Species Tomography
化学组分层析成像（CST）已被广泛用于反应流中的关键参数（例如组分浓度和温度）的原位成像。然而，即使使用最先进的计算算法，该方法也由于固有的不适定和秩不足的层析数据反演以及高计算成本而受到限制。这些问题阻碍了其在实时流量诊断中的应用。为了解决这些问题，我们在这里提出了一种新的基于CST的卷积神经网络（CSTNet），用于高保真，快速和同时成像的物质浓度和温度。CSTNet引入了一个共享特征提取器，将CST测量和传感器布局纳入学习网络。此外，提出了一种双分支结构的图像重建与串扰解码器，自动学习的自然相关的物种浓度和温度的分布。建议CSTNet验证与模拟数据集，并与实测数据从真实的火焰在实验中使用面向行业的传感器。优越的性能被发现相对于以前的方法，在测量噪声和毫秒级的计算时间的鲁棒性。据我们所知，这是第一次通过实验验证基于深度学习的CST算法，使用低复杂度的光学传感器同时成像反应流中的多个关键参数，激光束数量非常有限。
2021-04-02 eess.IV physics.ins-det
Learning Neural Optimal Interpolation Models and Solvers
当现有的传感器或数据收集过程导致不规则采样和噪声观测时，从观测数据重建无间隙信号是许多应用领域的关键挑战，例如地球科学和天基地球观测。最优插值（OI），也称为克里金，提供了一个理论框架来解决高斯过程（GP）的插值问题。对于n维张量和越来越多的观测数据，相关的计算复杂性迅速变得棘手，已经出现了丰富的文献来使用系综方法，稀疏方案或迭代方法来解决这个问题。在这里，我们介绍一个神经OI方案。它利用了具有卷积自动编码器和可训练的迭代梯度求解器的变分公式。理论上等价于OI公式，可训练求解器在处理静态和非静态线性时空GP时渐近收敛到OI解。通过一个双层优化公式，我们将学习步骤和训练损失的选择与OI的理论性质联系起来，OI是一个具有最小误差方差的无偏估计量。2D+t合成GP数据集的数值实验证明了所提出的方案的相关性，从数据中学习计算效率高且可扩展的OI模型和求解器。如卫星衍生地球物理动力学的真实插值问题所示，所提出的框架还扩展到非线性和多模态插值问题，并且在处理非常高的数据丢失率时，显着优于最先进的插值方法。
2022-11-14 eess.IV
