Solving the Inverse Problem of Electrocardiography for Cardiac Digital Twins: A Survey
University of Southampton(南安普顿大学);University of Oxford(牛津大学)
该综述梳理了心脏数字孪生中心电图逆问题的求解方法(含确定性、概率性两类,覆盖传统与深度学习技术)、验证策略、临床应用及挑战,指明物理与深度学习融合等方向以推动领域发展。
2024-09-12 cs.CV
Solving Inverse Computational Imaging Problems using Deep Pixel-level Prior
Rice University(莱斯大学);Indian Institute of Technology (IIT) Madras(印度理工学院马德拉斯分校);Insight Centre for Data Analytics(数据 analytics 洞察中心)
信号重建是计算成像的一个具有挑战性的方面,因为它通常涉及求解不适定的逆问题。最近,深度前馈神经网络在解决各种逆成像问题方面取得了最新的成果。然而,由于任务特定,这些网络必须为每个逆问题学习。另一方面,更灵活的方法是学习一次深度生成模型,然后将其用作解决各种逆问题的信号先验。我们表明,在各种最先进的深度生成模型中,自回归模型特别适合我们的目的,原因如下。首先,它们显式地对像素级依赖关系进行建模,因此能够更好地重建低级别的细节,如纹理图案和边缘。其次,它们为图像先验提供了一个显式表达式,然后可以与前向模型一起用于基于MAP的推理。第三,它们可以对图像中的长程依赖性进行建模,这使得它们对于处理在各种压缩成像系统中遇到的全局复用是理想的。我们证明了我们提出的方法在解决三个计算成像问题:单像素相机(SPC),LiSens和FlatCam的有效性。对于真实和模拟的情况下,我们获得更好的重建比国家的最先进的方法在感知和定量指标。
2018-04-24 cs.CV cs.LG
Multi-level Feature Learning on Embedding Layer of Convolutional Autoencoders and Deep Inverse Feature Learning for Image Clustering
Northern Arizona University(北亚利桑那大学)
本文介绍了多层特征学习以及卷积自动编码器的嵌入层(CAE-MLE),作为深度聚类的一种新方法。我们使用凝聚聚类作为多级特征学习,在潜在特征空间上提供层次结构。研究表明,应用多级特征学习可以大大改善基本的深度卷积嵌入聚类(DCEC)。CAE-MLE在考虑凝聚聚类的聚类损失的同时,也考虑了CAE的学习特性。在下面的反向特征学习中,我们证明了错误学习作为一种通用策略的表示可以应用于不同的深度聚类方法,并产生了有希望的结果。我们在CAE-MLE上开发了深度逆特征学习(deep IFL),作为一种新方法,它在同类方法中获得了最先进的结果。在MNIST和USPS两个著名数据集上的实验结果表明,CAE-MLE比基本方法DCEC的结果提高了7% -14%。此外,它表明,建议的深IFL改进的初步结果约9%-17%。因此,所提出的CAE-MLE方法和基于CAE-MLE的深度IFL方法与大多数现有技术相比可以导致显著的性能改善。所提出的方法虽然基于基本的卷积自编码器,但即使与变分自编码器或生成对抗网络相比,也会产生出色的结果。
2020-10-05 cs.CV cs.LG
An Over Complete Deep Learning Method for Inverse Problems
University of Cambridge(剑桥大学);University of British Columbia(不列颠哥伦比亚大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出一种过完备深度学习方法,通过联合学习高维嵌入及其正则化器,解决逆问题中近端和扩散方法的不足,并在多个常见逆问题上验证其有效性。
2024-02-07 cs.CV cs.LG
Deep Diffusion Image Prior for Efficient OOD Adaptation in 3D Inverse Problems
KAIST(韩国科学技术院)
针对扩散先验逆问题的分布外适配需求,提出深度扩散图像先验框架及专为3D测量设计的高效D3IP方法,结合元学习可进一步提升性能,仅用体模图像训练的先验即可完成多种3D重建任务。
2024-07-15 cs.CV cs.LG
Total Deep Variation for Linear Inverse Problems
Graz University of Technology(格拉茨技术大学);University of Graz(格拉茨大学)
成像中的各种反问题可以转化为由特定任务的数据保真度项和正则化项组成的变分问题。在本文中,我们提出了一种新的可学习的通用正则化器,它利用了深度学习中最近的架构设计模式。我们将学习问题转化为离散采样最优控制问题,导出了伴随状态方程和最优性条件。通过利用我们的方法的变分结构,我们执行灵敏度分析相对于从不同的训练数据集获得的学习参数。此外,我们进行了非线性本征函数分析,揭示了有趣的性质的学习正则化。我们展示了经典图像恢复和医学图像重建问题的最先进的性能。
2020-02-17 cs.CV cs.LG math.OC
Inverse Attention Guided Deep Crowd Counting Network
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们解决了拥挤场景中人群计数的挑战性问题。具体来说,我们提出了反向注意力引导的深度人群计数网络(IA-DCCN),它通过反向注意力机制有效地将分割信息注入计数网络,从而实现了显著的改进。该方法基于VGG-16,是一个单步训练框架,易于实现。分割信息的使用导致最小的计算开销,并且不需要任何额外的注释。我们通过详细的分析和消融研究证明了分割引导反向注意的重要性。此外,该方法在三个具有挑战性的人群计数数据集上进行了评估,并显示出与最近的几种方法相比取得了显着的改进。
2019-07-22 cs.CV
Empirically Accelerating Scaled Gradient Projection Using Deep Neural Network For Inverse Problems In Image Processing
UNIST(蔚山国立科学技术院)
最近,深度神经网络(DNN)在加速优化算法方面显示出优势。一种方法是展开传统优化算法的有限次迭代,并学习算法中的参数。然而,这些都是向前的方法,实际上既不是迭代的,也不是收敛的。在这里,我们提出了一种新的基于DNN的收敛迭代算法,可以加速传统的优化算法。我们训练一个DNN来产生尺度梯度投影方法中的参数。到目前为止,这些参数的选择是严格的,但已被证明是至关重要的良好的经验表现。仿真结果表明,对于图像处理中的各种大规模反问题,该方法的经验收敛速度明显优于传统的优化方法.
2021-04-22 cs.CV cs.LG stat.ML
Quantifying Model Uncertainty in Inverse Problems via Bayesian Deep Gradient Descent
University College London(伦敦大学学院)
逆问题重建方法的最新进展利用了强大的数据驱动模型,例如,深度神经网络。这些技术已经证明了几个成像任务的最先进的性能,但他们往往不提供所获得的重建的不确定性。在这项工作中,我们开发了一个可扩展的,数据驱动的,知识辅助的计算框架,通过贝叶斯神经网络来量化模型的不确定性。该方法建立在深度梯度下降(最近开发的贪婪迭代训练方案)的基础上,并对其进行了扩展,并在概率框架内对其进行了重铸。可扩展性是通过混合架构实现的:只有每个块的最后一层是贝叶斯的,而其他层仍然是确定性的,并且在训练中是贪婪的。该框架在一种代表性的医学成像模式上展示,即具有稀疏视图或有限视图数据的计算机断层扫描,并且相对于最先进的基准表现出有竞争力的性能,例如,全变分、深度梯度下降和学习的原始-对偶。
2020-10-19 cs.CV cs.LG eess.IV
InverseFaceNet: Deep Monocular Inverse Face Rendering
Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);Stanford University(斯坦福大学);Technical University of Munich(慕尼黑工业大学);University of Bath(巴斯大学)
我们介绍了InverseFaceNet,这是一个用于人脸的深度卷积逆渲染框架,它可以从单个输入图像中联合估计面部姿势,形状,表情,反射率和照明。通过仅从单个图像估计所有参数,单个面部图像上的高级编辑可能性(例如外观编辑和重新照明)实时的变得可行。大多数以前的基于学习的人脸重建方法不能联合恢复所有维度,或者在视觉质量方面受到严重限制。相比之下,我们建议使用深度神经网络来恢复高质量的面部姿势、形状、表情、反射率和照明,该深度神经网络是使用大型的、综合创建的训练语料库来训练的。我们的方法建立在一个新的损失函数,直接在参数空间中测量模型空间的相似性,并显着提高重建精度。我们进一步提出了一个自我监督的自举过程中的网络训练循环,迭代更新的合成训练语料库,以更好地反映真实世界的图像分布。我们证明了这种策略优于完全综合训练的网络。最后,我们展示了高质量的重建,并将我们的方法与几种最先进的方法进行了比较。
2018-05-16 cs.CV
Learning Personalized Representation for Inverse Problems in Medical Imaging Using Deep Neural Network
Gordon Center for Medical Imaging(戈登医学影像中心);Massachusetts General Hospital(麻省总医院);Martinos Center for Biomedical Imaging(马蒂诺斯生物医学影像中心);University of California, Davis(加州大学戴维斯分校)
近年来,深度神经网络在计算机视觉领域得到了广泛而成功的应用,并在医学成像领域引起了越来越多的关注。将深度神经网络应用于医学成像的一个障碍是需要大量的先验训练对,这在临床实践中并不总是可行的。在这项工作中,我们提出了一个个性化的表示学习框架,不需要事先训练对,但只有病人自己的先验图像。使用深度神经网络以患者的先前图像作为网络输入来表达所述表示。然后,我们将这种新的图像表示在医学成像中的逆问题,其中原来的逆问题被制定为一个约束优化问题,并使用交替方向的乘法器(ADMM)算法求解。以解剖学引导的脑正电子发射断层扫描(PET)图像重建和图像去噪为例,验证了该框架的有效性。基于模拟和真实数据集的量化结果表明,所提出的个性化表示框架优于其他广泛采用的方法。
2018-07-04 cs.CV cs.LG physics.med-ph
Inverse Consistency by Construction for Multistep Deep Registration
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University Paris-Est(巴黎东大学);University of Salzburg(萨尔茨堡大学);ÉTS Montréal(蒙特利尔高等工程学院);Brigham and Women’s Hospital(布莱根妇女医院);Boston University(波士顿大学)
提出一种基于李群参数化构造逆一致性的多步神经配准方法,实现从粗到细配准,在合成二维和四个三维医学图像任务上取得高精度与逆一致性。
2023-10-09 cs.CV
Deep Convolutional Inverse Graphics Network
Microsoft Research Cambridge(微软研究院剑桥分院)
本文介绍了深度卷积逆图形网络(DC-IGN),这是一种学习图像可解释表示的模型。这种表示相对于诸如平面外旋转和照明变化之类的变换被解开。DC-IGN模型由多层卷积和去卷积运算符组成,并使用随机梯度变分贝叶斯(SGVB)算法进行训练。我们提出了一个训练过程,以鼓励图形代码层中的神经元表示特定的变换(例如姿势或光线)。给定一个输入图像,我们的模型可以生成同一对象的新图像,但姿态和光照会发生变化。我们提出了定性和定量的结果模型的效率在学习3D渲染引擎。
2015-06-22 cs.CV cs.GR cs.LG
Deep Structure for end-to-end inverse rendering
School of Electrical and Computer Engineering, Shiraz University(设拉子大学电气与计算机工程学院);Department of Statistics and Actuarial Science, University of Waterloo(滑铁卢大学统计与精算科学系)
3D格式的逆渲染表示在给定2D输入图像的情况下恢复场景的3D属性,并且通常使用基于3D变形模型(3DMM)的方法从单视图图像来完成。这些模型将每个人脸表示为从训练数据中提取的一些基向量的加权组合。本文提出了一个深层框架,其中的系数和基向量的计算通过训练一个自动编码器网络和卷积神经网络(CNN)同时进行。我们的想法是找到一个共同的原因,可以使用深度网络映射到3D结构和相应的2D图像。实验结果验证了深度框架在人脸合成数据集上从其对应的2D图像中找到准确的人脸3D形状的能力。
2017-08-25 cs.CV
Deep Convolutional Framelets: A General Deep Learning Framework for Inverse Problems
Korea Advanced Institute of Science and Technology(韩国科学技术院);Bio Imaging and Signal Processing Lab.(生物成像与信号处理实验室);Department of Bio and Brain Engineering(生物与脑工程系)
最近,具有各种网络架构的深度学习方法在各种成像问题中比现有的迭代重建方法实现了显着的性能改进。然而,目前还不清楚为什么这些深度学习架构适用于特定的逆问题。为了解决这些问题,在这里,我们证明了长期寻找的缺失环节是卷积小框架,用于通过卷积局部和非局部基来表示信号。卷积小框架最初是为了推广低秩汉克尔矩阵反问题方法的理论而开发的,本文进一步扩展了这一思想,以便我们可以使用多层卷积小框架在直线线性单元非线性(ReLU)下获得深度神经网络。我们的分析还表明,流行的深度网络组件,如残差块,冗余过滤器通道和级联ReLU(CReLU)确实有助于实现PR,而池化和解池化层应使用高通分支进行扩展以满足PR条件。此外,通过改变滤波器通道数和偏置,我们可以控制神经网络的收缩行为。这一发现使我们提出了一种新的深度卷积小框架神经网络理论。通过各种逆问题的数值实验,我们证明了我们的深度卷积小框架网络与现有的深度架构相比表现出了一致的改进。这一发现表明,深度学习的成功不是来自黑盒子的神奇力量,而是来自一种新的信号表示的力量,这种信号表示使用了非局部基与数据驱动的局部基相结合,这实际上是经典信号处理理论的自然扩展。
2018-01-25 cs.CV cs.IT cs.LG
MEDIRL: Predicting the Visual Attention of Drivers via Maximum Entropy Deep Inverse Reinforcement Learning
University of Virginia(弗吉尼亚大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Rice University(莱斯大学)
受人类视觉注意力的启发,我们提出了一种新的逆强化学习公式,使用最大熵深度逆强化学习(MEDIRL)来预测事故多发情况下驾驶员的视觉注意力。MEDIRL通过从专注的司机记录的眼睛注视模式中学习任务敏感的奖励函数来预测导致最大奖励的注视位置。此外,我们还介绍了EyeCar,这是一种新的驾驶员注意力数据集,适用于事故多发情况。我们进行了全面的实验,以评估我们提出的模型在三个常见的基准:(DR(眼)VE,BDD-A,DADA-2000),和我们的EyeCar数据集。结果表明,MEDIRL在预测注意力方面优于现有模型,并达到了最先进的性能。我们提出了广泛的消融研究,以提供更多的见解,我们提出的模型的不同功能。
2021-10-06 cs.CV cs.HC cs.LG
Image Companding and Inverse Halftoning using Deep Convolutional Neural Networks
University of Nottingham Ningbo China(宁波诺丁汉大学);Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学)
在本文中,我们引入深度学习技术来解决两个传统的低级图像处理问题,即压扩和逆半调。我们做出了两个主要贡献。首先,据作者所知,这是第一个成功开发基于深度学习的解决方案来解决这两个传统的低级图像处理问题的工作。这不仅介绍了解决众所周知的图像处理问题的新方法,还展示了深度学习在解决传统信号处理问题方面的强大力量。其次,我们基于对图像视觉质量属性和深度卷积神经网络(CNN)内部表示属性的洞察,开发了一种有效的深度学习算法。我们训练深度CNN作为非线性变换函数,以将低位深度图像映射到高位深度或从半色调图像映射到连续色调图像。我们还使用另一个预训练的深度CNN作为特征提取器来导出视觉上重要的特征,以构建用于训练映射CNN的目标函数。我们提出的实验结果证明了新的基于深度学习的解决方案的有效性。
2017-07-21 cs.CV
Inverse Lithography Physics-informed Deep Neural Level Set for Mask Optimization
Tencent Quantum Lab, Tencent(腾讯量子实验室,腾讯)
本文提出逆光刻物理信息深度神经水平集(ILDLS)方法,将基于水平集的ILT嵌入深度学习框架并迭代校正掩模,在显著提升可印刷性和工艺窗口的同时,将计算时间较ILT减少几个数量级。
2023-08-15 cs.AR cs.CV cs.LG
A Survey of Deep Learning Techniques for Mobile Robot Applications
多年来,深度学习的进步吸引了对人工神经网络在机器人系统中的深度的研究。本研究综述将对当前的研究进行总结,特别关注深度学习应用于移动机器人的收益和障碍。
2018-03-20 cs.CV cs.RO
Reversing the Irreversible: A Survey on Inverse Biometrics
Hochschule Darmstadt(达姆施塔特应用科学大学);European Commission - DG-Joint Research Centre(欧盟委员会联合研究中心)
本文综述了逆向生物特征识别技术,指出从不受保护模板重建合成样本对系统构成隐私泄露与攻击威胁,并全面总结了过去十五年该领域的重建算法、漏洞评估及防御对策。
2024-01-05 cs.CV
One Network to Solve Them All --- Solving Linear Inverse Problems using Deep Projection Models
Carnegie Mellon University(卡内基梅隆大学)
虽然深度学习方法在许多具有挑战性的逆问题(如图像修补和超分辨率)中取得了最先进的性能,但它们总是涉及特定于问题的网络训练。在这种方法下,不同的问题需要不同的网络。在我们需要解决各种各样问题的场景中,例如,在移动摄像头上,使用这些经过专门训练的网络效率低下且成本高昂。另一方面,使用信号先验的传统方法可以用于所有线性逆问题,但在具有挑战性的任务中往往性能较差。在这项工作中,我们提供了两种方法之间的中间地带-我们提出了一个通用的框架来训练一个单一的深度神经网络,解决任意线性逆问题。建议的网络作为一个最优化算法的邻近算子,并将非图像信号投影到由分类器的决策边界定义的一组自然图像上。在我们的实验中,所提出的框架显示出优于传统方法的性能,使用小波稀疏先验,并实现了类似的性能,专门训练的网络上的任务,包括压缩感知和像素级修复。
2017-03-29 cs.CV
A DeepONet joint Neural Tangent Kernel Hybrid Framework for Physics-Informed Inverse Source Problems and Robust Image Reconstruction
Shenzhen MSU-BIT University(深圳MSU-BIT大学);China Media Group(中国传媒集团);School of Mathematics and Statistics, Beijing Institute of Technology(北京理工大学数学与统计学院)
本文提出整合 DeepONet 与 NTK 的混合框架,通过引入物理信息约束与任务正则化解决非线性、稀疏及含噪数据下的逆源定位与图像重建问题,验证了其鲁棒性与精确性。
2025-11-01 cs.CV
Total Deep Variation: A Stable Regularizer for Inverse Problems
计算机视觉和医学成像中的各种问题都可以转化为反问题。求解反问题的一种常用方法是变分方法,它相当于最小化由数据保真度项和正则化项组成的能量。传统上,使用手工制作的正则化器,这通常优于最先进的深度学习方法。在这项工作中,我们通过引入数据驱动的通用总深度变分正则化器,将反问题的变分公式与深度学习相结合。在其核心中,卷积神经网络在多个尺度上和连续块中提取局部特征。这种组合允许进行严格的数学分析,包括平均场设置中的训练问题的最优控制公式化和相对于正则化器的初始值和参数的稳定性分析。此外,我们实验验证了对抗攻击的鲁棒性和数值推导的泛化误差的上限。最后,我们实现了许多成像任务的最先进的结果。
2020-06-15 cs.CV cs.NA math.NA
Deep Decomposition Learning for Inverse Imaging Problems
University of Edinburgh(爱丁堡大学)
深度学习正在成为解决逆成像问题的新范式。然而,由于在神经网络的训练和部署中缺乏对物理信息的考虑,深度学习方法往往缺乏传统基于物理的方法的保证。适当的监督和明确的校准的信息,可提高神经网络的学习和它的实际性能。在本文中,受几何学的启发,即数据可以由来自前向算子的零空间和其伪逆的范围空间的两个分量分解,我们训练神经网络来学习这两个分量,从而学习分解,即我们显式地将神经网络层重新表示为参考层输入的学习范围零空间分解函数,而不是学习未引用的函数。我们的经验表明,所提出的框架表现出优越的性能,最近的深度残差学习,展开学习和零空间学习的任务,包括压缩感知医学成像和自然图像超分辨率。我们的代码可在https://github.com/edongdongchen/DDN上获得。
2020-07-16 cs.CV eess.IV
Deep Equilibrium Architectures for Inverse Problems in Imaging
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Marquette University(马凯特大学);University of Chicago(芝加哥大学)
最近通过深度神经网络解决成像中的逆问题的努力使用了受优化方法的固定迭代次数启发的架构。迭代次数通常很小,因为训练网络时很难对应更多的迭代;在测试时,生成的求解器不能在不产生重大错误的情况下运行更多的迭代。本文描述了一种替代方法对应于无限次迭代,产生一致的改进以上的国家的最先进的替代方案,重建精度和计算预算可以选择在测试时,以优化上下文相关的准确性和计算之间的权衡。所提出的方法利用了深度均衡模型的思想,其中构建了固定点迭代,以结合已知的正向模型和基于经典优化的重建方法的见解。
2021-06-03 cs.CV eess.IV
Measurement-Consistent Networks via a Deep Implicit Layer for Solving Inverse Problems
Heriot-Watt University(赫瑞-瓦特大学)
端到端深度神经网络(DNN)已经成为解决逆问题的最先进技术(SOTA)。尽管它们的性能出色,但在部署过程中,这些网络对测试管道中的微小变化很敏感,并且通常无法重建小但重要的细节,这是医学成像,天文学或国防中的关键特征。DNN中的这种不稳定性可以通过以下事实来解释:它们在部署期间忽略了前向测量模型,因此无法强制执行其输出和输入测量之间的一致性。为了克服这一点,我们提出了一个框架,将逆问题的任何DNN转换为测量一致的DNN。这是通过向其附加一个隐式层(或深度平衡网络)来完成的,该隐式层(或深度平衡网络)旨在解决基于模型的优化问题。隐式层由一个浅层可学习网络组成,可以集成到端到端训练中,同时保持SOTA DNN固定。单图像超分辨率的实验表明,该框架导致显着提高重建质量和鲁棒性的SOTA DNN。
2023-03-13 cs.CV eess.IV
Deep Feedback Inverse Problem Solver
University of Toronto(多伦多大学);Uber Advanced Technologies Group(优步先进技术集团);Massachusetts Institute of Technology(麻省理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个高效,有效,通用的方法来解决反问题。其关键思想是利用前向过程提供的反馈信号,并学习迭代更新模型。具体地,在每次迭代时,神经网络将反馈作为输入,并输出对当前估计的更新。我们的方法对前向过程没有任何限制;它也不需要任何先验知识。通过反馈信息,我们的模型不仅可以产生与输入观测一致的准确估计,而且能够从早期的错误预测中恢复过来。我们验证了我们的方法在广泛的逆问题,包括6自由度姿态估计,照明估计,以及逆运动学的性能。与传统的基于优化的方法相比,我们可以实现相当或更好的性能,同时速度快两到三个数量级。与基于深度学习的方法相比,我们的模型始终提高了所有指标的性能。请参阅项目页面的视频,动画,补充材料等。
2021-01-19 cs.CV cs.RO