TextureWGAN: Texture Preserving WGAN with MLE Regularizer for Inverse Problems
University of Wisconsin Milwaukee(威斯康星大学密尔沃基分校)
已经提出了许多算法和方法来解决逆问题,特别是最近对机器学习和深度学习方法的兴趣激增。在所有提出的方法中,最流行和有效的方法是具有均方误差(MSE)的卷积神经网络(CNN)。该方法在超分辨率、图像去噪、图像重建等方面都取得了较好的效果。然而,由于MSE的性质,该方法已知会过度平滑图像。基于MSE的方法最小化基线图像和由CNN生成的图像之间的所有像素的欧几里德距离,并且忽略像素的空间信息,诸如图像纹理。本文提出了一种基于Wasserstein GAN(WGAN)的反问题求解方法。我们表明,基于WGAN的方法是有效的,以保持图像的纹理。它还使用最大似然估计(MLE)正则化器来保持像素保真度。保持图像纹理和像素保真度是医学成像的最重要要求。我们使用峰值信噪比(PSNR)和结构相似度(SSIM)来定量评估所提出的方法。我们还进行了一阶和二阶统计图像纹理分析,以评估图像纹理。
2020-08-12 cs.LG eess.IV
Learning an Inverse Tone Mapping Network with a Generative Adversarial Regularizer
将低动态范围(LDR)图像转换为高动态范围(HDR)图像,即所谓的逆色调映射(iTM),是改善成像设备的视觉效果的重要成像技术。在本文中,我们提出了一种新的基于深度学习的iTM方法,该方法使用生成对抗正则化器学习逆色调映射网络。在交替优化的框架中,我们学习了一个基于U-Net的HDR图像生成器,将输入的LDR图像转换为HDR图像,并学习了一个简单的基于CNN的分类器,对真实的HDR图像和生成的图像进行分类。具体来说,在学习生成器时,我们将内容相关损失和生成对抗正则化器结合起来,以提高生成的HDR图像的稳定性和鲁棒性。使用学习的生成器作为建议的逆色调映射网络,我们实现了优越的iTM结果的国家的最先进的方法一致。
2018-04-20 eess.IV
Generative Inverse Design of Metamaterials with Functional Responses by Interpretable Learning
Texas A&M University(德克萨斯大学);Massachusetts Institute of Technology(麻省理工学院);Northwestern University(西北大学)
本文提出基于随机森林的可解释生成反向设计方法RIGID,用于快速生成满足特定功能需求的超材料设计,相较于传统方法更高效且能考虑更多性能指标。
2024-10-30 cs.LG physics.optics
Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A Memory-Efficient Inverse Problem Solver
Georgia Institute of Technology(佐治亚理工学院)
在逆问题中,我们的目标是从潜在的损坏和经常不适定的测量中重建一些潜在的感兴趣的信号。经典的基于优化的技术通过优化数据一致性度量以及正则化器来进行。当前最先进的机器学习方法通过展开基于优化的求解器的迭代更新,然后从数据中学习正则化器,从此类技术中汲取灵感。这种循环展开(LU)方法已经取得了巨大的成功,但通常需要一个深度模型才能获得最佳性能,从而导致训练过程中的内存开销很高。因此,为了解决计算成本和网络表现力之间的平衡,我们提出了一种具有浅层平衡正则化器(LUSER)的LU算法。这些隐式模型与更深层次的卷积网络一样富有表现力,但在训练过程中的内存效率要高得多。所提出的方法在图像去模糊,计算机断层扫描(CT)以及单线圈磁共振成像(MRI)任务上进行了评估,并显示出类似甚至更好的性能,同时与具有前馈卷积正则化器的更典型的LU架构相比,在训练期间需要的计算资源减少了8倍。
2022-10-14 cs.CV eess.IV
Learning Difference-of-Convex Regularizers for Inverse Problems: A Flexible Framework with Theoretical Guarantees
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出用凸差(DC)函数作为逆问题中可学习正则化器的更广泛非凸函数类,结合DCA和PSM优化算法,在CT重建任务上优于弱凸正则化方法,并给出最优正则化器可表示为DC函数的理论条件。
2025-02-01 cs.LG eess.IV math.OC
Computed Tomography Reconstruction using Generative Energy-Based Priors
Graz University of Technology(格拉茨技术大学);Johannes Kepler University Linz(约翰内斯·开普勒林茨大学)
在过去的几十年里,计算机断层扫描(CT)已经成为医学中最重要的成像技术之一。今天,CT的适用性仅受沉积辐射剂量的限制,其减少表现在噪声或不完整的测量中。因此,需要强大的重建算法。在这项工作中,我们学习了一个参数正则化与全球的感受野最大化它的参考CT数据的可能性。由于这种无监督学习策略,我们训练的正则化器真正代表了更高级别的域统计,我们通过合成CT图像来实证。此外,该正则化器可以通过将其嵌入到变分框架中来轻松应用于不同的CT重建问题,与基于前馈学习的方法相比,这增加了灵活性和可解释性。此外,伴随的概率视角使专家能够探索完整的后验分布,并可以量化重建方法的不确定性。我们将正则化器应用于有限角度和少视图CT重建问题,在那里它比传统的重建算法有很大的优势。
2022-03-23 cs.CV cs.LG eess.IV
Convex Latent-Optimized Adversarial Regularizers for Imaging Inverse Problems
Inner Mongolia University(内蒙古大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出凸潜在优化对抗正则化器(CLEAR),通过对抗训练输入凸神经网络作为凸正则化器,融合深度学习与变分正则化,在保证收敛性和唯一解的同时提升 MRI 重建的质量与鲁棒性。
2023-09-17 cs.CV eess.IV
Learning Weakly Convex Regularizers for Convergent Image-Reconstruction Algorithms
本文学习具有弱凸模量上界的非凸正则化器,用于变分去噪和可收敛的逆问题重建,以少参数超越凸方法与BM3D,并在CT/MRI中实现性能与可解释性的良好平衡。
2023-12-20 cs.CV cs.LG eess.IV
Breaking the Weak Recovery Limit in Random Phase Retrieval with Learned Regularizers
针对非线性幅度测量逆问题,利用学习正则化器在远低于弱恢复极限的采样率下实现精确信号恢复,突破了理论阈值。
2026-07-02 cs.LG eess.IV
Group Equivariant Generative Adversarial Networks
New York University(纽约大学);Merck & Co., Inc.(默克公司)
生成对抗视觉合成的最新改进在自我监督的环境中结合了真实和虚假图像变换,从而提高了稳定性和感知保真度。然而,这些方法通常涉及通过GAN目标中的附加正则化器进行图像增强,因此将宝贵的网络容量用于近似变换等方差,而不是其期望的任务。在这项工作中,我们明确地将归纳对称先验通过群等变卷积网络纳入网络架构。群卷积具有更高的表达能力,具有更少的样本,并导致更好的梯度反馈之间的生成器和卷积。我们表明,组等方差无缝集成与最近的技术,GAN训练的正则化,架构和损失函数。我们证明了我们的方法的实用性条件合成,通过改进生成在有限的数据制度在对称成像数据集,甚至发现自然图像的优势与首选方向。
2021-03-30 cs.CV cs.LG eess.IV
Convolutional Dictionary Regularizers for Tomographic Inversion
利用数据驱动的正则化器求解与计算成像系统相关的逆问题,已经引起了越来越多的关注。卷积稀疏表示模型最近受到关注,这是由于开发了快速算法来解决足够大的图像和数据集的字典学习和稀疏编码问题。然而,这个模型已经看到非常有限的应用断层重建问题。在本文中,我们提出了一种基于模型的层析重建算法,使用学习卷积字典作为正则化。关键的贡献是使用数据相关的加权方案的l1正则化,构建一个有效的去噪方法,集成到反演使用即插即用重建框架。使用模拟数据集,我们证明了我们的方法可以提高性能,传统的正则化的基础上的马尔可夫随机场模型和基于补丁的稀疏表示模型的稀疏和有限的视图断层数据集。
2019-02-18 eess.IV
Learning local regularization for variational image restoration
Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院);CNRS(法国国家科学研究中心);Université de Paris(巴黎大学)
在这项工作中,我们提出了一个框架来学习一个局部正则化模型来解决一般的图像恢复问题。这个正则化器是用一个完全卷积的神经网络来定义的,它通过与小图像块相对应的感受野来观察图像。然后,使用基于Wasserstein生成对抗网络的能量,将正则化器学习为清洁和退化补丁的未配对分布之间的评论家。这就产生了一个正则化函数,可以被纳入任何图像恢复问题。该框架的效率最终显示在去噪和去模糊应用。
2021-02-11 cs.LG eess.IV
PatchNR: Learning from Very Few Images by Patch Normalizing Flow Regularization
Humboldt-Universität zu Berlin(柏林洪堡大学);Technische Universität Berlin(柏林工业大学);University of Bremen(不来梅大学)
针对极少量图像学习问题,提出patchNR正则化器,通过在少量图像patch上训练normalizing flow并独立于逆问题,为图像逆问题变分建模提供通用且高质量的MAP正则化方法。
2022-11-21 cs.LG eess.IV math.PR
MR elasticity reconstruction using statistical physical modeling and explicit data-driven denoising regularizer
弹性图像是组织硬度的定量图像,可以通过求解逆问题来重建。磁共振弹性成像(MRE)的经典方法试图解决正则化优化问题,该问题包括确定性物理模型和分别作为数据保真度项和正则化项的先验约束。为了改善弹性重建,需要关于潜在弹性分布的适当先验,这不是唯一的。本文提出了一种融合的方法,MRE重建的统计表示的物理规律的谐波运动和基于学习的先验。对于数据保真度项,我们使用平衡方程的统计线性代数模型,对于正则化器,使用数据驱动的去噪正则化(RED)。在所提出的优化范例中,正则化梯度被简单地替换为学习去噪器的残差,从而实现了时间有效的计算和凸显式目标函数。弹性重构的仿真结果验证了该方法的有效性。
2021-05-27 eess.IV eess.SP
Supervised Learning of Sparsity-Promoting Regularizers for Denoising
Michigan State University(密歇根州立大学)
我们提出了一种方法监督学习稀疏促进正则化图像去噪。稀疏促进正则化是解决现代图像重建问题的一个关键因素;然而,这些正则化器背后的运算符通常是手工设计的,或者是以无监督的方式从数据中学习的。最近监督学习(主要是卷积神经网络)在解决图像重建问题方面的成功表明,它可能是设计正则化器的一种富有成效的方法。作为在这个方向上的第一个实验,我们建议使用变分公式与参数,稀疏促进正则化,学习正则化的参数,以尽量减少重建的训练集(地面实况图像,测量)对的均方误差的图像去噪。训练包括解决具有挑战性的双层最佳化问题我们使用Karush-Kuhn-Tucker条件推导出训练损失梯度的表达式,并提供了一个伴随的梯度下降算法来最小化它。我们在一个简单的合成去噪问题上的实验表明,所提出的方法可以学习一个性能优于已知正则化器的算子(全变差,DCT稀疏性和无监督字典学习)和协同过滤。虽然我们提出的方法是特定的去噪,我们相信,它可以适应整个类的线性测量模型的逆问题,使其适用于广泛的图像重建问题。
2020-06-09 cs.CV eess.IV
Regularising Inverse Problems with Generative Machine Learning Models
University of Bath(巴斯大学)
在过去的几年里,用于逆成像问题的深度神经网络方法已经产生了令人印象深刻的结果。在本文中,我们考虑使用生成模型的变分正则化方法反问题。所考虑的正则化器惩罚远离生成模型范围的图像,该生成模型已经学会生成类似于训练数据集的图像。我们将该族命名为\textit{generative regularisers}。生成调节器的成功取决于生成模型的质量,因此我们提出了一组期望的标准来评估生成模型并指导未来的研究。在我们的数值实验中,我们评估了三种常见的生成模型,自动编码器,变分自动编码器和生成对抗网络,以达到我们期望的标准。我们还测试了三种不同的生成正则化反问题的去模糊,反卷积和层析成像。我们表明,限制的解决方案的反问题,正好在生成模型的范围内可以得到很好的结果,但允许从发电机的范围产生更一致的结果小的偏差。
2022-06-18 cs.CV cs.LG eess.IV
MAP Image Recovery with Guarantees using Locally Convex Multi-Scale Energy (LC-MUSE) Model
University of Iowa(爱荷华大学);University of Virginia(弗吉尼亚大学)
本文提出局部凸多尺度能量模型LC-MuSE,通过约束CNN梯度局部单调实现强凸能量表示,用于图像逆问题求解,在并行MR重建中优于凸正则化器并达到与即插即用和端到端方法相当的性能。
2025-02-05 cs.CV cs.LG eess.IV
Iteratively Refined Image Reconstruction with Learned Attentive Regularizers
Biomedical Imaging Group, EPFL(洛桑联邦理工学院生物医学成像组);Professorship of Inverse Problems, TU Chemnitz(开姆尼茨工业大学逆问题教授席位)
本研究提出一种结合深度学习与经典稀疏促进模型的可解释图像重建正则化方案,通过掩码迭代精化空间正则强度,证明了不动点存在性,性能达当前最优水平,实现了可解释性、理论保证与性能的平衡。
2024-07-09 cs.CV cs.LG eess.IV
Regularized Training of Intermediate Layers for Generative Models for Inverse Problems
Khoury College of Computer Sciences, Northeastern University(东北大学库理计算机学院);Department of Mathematics, Northeastern University(东北大学数学系)
生成对抗网络(GANs)在解决逆问题时已被证明是强大而灵活的先验。使用它们的一个挑战是克服表示误差,这是网络表示任何特定信号的基本限制。最近,多个提出的反演算法通过优化中间层表示来减少表示误差。这些方法通常应用于生成模型,该生成模型被训练为与下游反演算法无关。在我们的工作中,我们引入了一个原则,即如果生成模型旨在使用基于中间层优化的算法进行反演,则应该以正则化这些中间层的方式进行训练。我们实例化这一原则的两个显着的最近的反演算法:中间层优化和多码GAN之前。对于这两种反演算法,我们引入了一种新的正则化GAN训练算法,并证明了在解决压缩感知,修复和超分辨率问题时,学习的生成模型在很宽的采样率范围内具有较低的重建误差。
2022-03-08 cs.CV cs.LG eess.IV
Smooth optimization using global and local low-rank regularizers
University of Michigan(密歇根大学)
本文提出用Huber型函数替代核范数,通过理论框架建立平滑正则化器的性质,并利用闭合表达式和新型步长策略提升优化效率。
2025-11-24 eess.IV eess.SP
A Generative Diffusion Model to Solve Inverse Problems for Robust in-NICU Neonatal MRI
The University of Texas at Austin(德克萨斯大学奥斯汀分校);MD Anderson Cancer Center(MD安德森癌症中心);Aspect Imaging, Ltd(Aspect Imaging有限公司)
本研究针对NICU内低场强新生儿MRI扫描时间长、运动伪影多、训练数据少且信噪比低的问题,提出首个采集无关扩散生成模型,作为图像先验无需重训练即可解决加速重建等逆问题。
2025-05-21 cs.LG eess.IV physics.med-ph
Image Restoration from Parametric Transformations using Generative Models
Rutgers University(罗格斯大学);University of Patras(帕特雷大学)
当图像统计描述的生成模型,我们可以使用这些信息来开发各种图像修复问题的最佳技术,如修补,超分辨率,图像着色,生成模型反演等的生成模型的帮助下,它是可能的制定,在一个自然的方式,这些恢复问题的统计估计问题。我们的方法,通过最大后验概率与最大似然估计相结合,是能够恢复图像的变形,即使当后者包含未知参数。由此产生的优化是完全定义的,没有需要调整的参数。这必须与目前的技术水平进行比较,目前的技术水平需要确切的变换知识,并且包含具有必须正确定义的权重的正则化项。最后,我们必须提到的是,我们扩展了我们的方法,以适应多个图像的混合,其中每个图像都由自己的生成模型描述,我们能够成功地将每个参与图像从单个混合物中分离出来。
2020-06-16 cs.CV cs.LG eess.IV
Combining physics-based modeling and deep learning for ultrasound elastography
能够实现组织硬度的定量图的可视化的超声弹性图像可以通过求解逆问题来重建。经典的基于模型的超声弹性成像方法使用确定性有限元方法(FEM),以纳入管理的物理定律,导致在嘈杂的条件下性能不佳。此外,这些方法利用固定的正则化各种组织模式,而适当的数据自适应先验可能需要捕捉复杂的空间弹性分布。在这方面,我们提出了一个联合基于模型和基于学习的框架,通过求解正则化优化问题来估计弹性分布。我们提出了一个由基于统计物理的正向模型和数据驱动的正则化器组成的集成目标函数,以利用深度神经网络来学习底层弹性先验。该约束优化问题采用梯度下降(GD)方法求解,正则化算子的梯度简单地用训练后的去噪网络的残差代替,从而具有显式的目标函数,减少了计算时间。
2021-07-28 eess.IV
Generative Modeling and Inverse Imaging of Cardiac Transmembrane Potential
Rochester Institute of Technology(罗切斯特理工学院);Dalhouse University(达尔豪斯大学)
从体表心电图(ECG)无创重建心脏跨膜电位(TMP)涉及不适定逆问题。模型约束正则化是强大的,将丰富的生理知识的时空TMP动态。这些模型是由高维物理参数控制的,如果固定的话,可能会引入模型误差并降低TMP重建的精度。然而,由于这些参数的高维性,在TMP重建期间同时适应这些参数是困难的。我们引入了一种新的模型约束推理框架,该框架用经过训练的深度生成模型取代了传统的生理模型,以从低维生成因子生成TMP序列。使用具有长短期记忆(LSTM)网络的变分自动编码器(VAE),我们训练VAE解码器来学习TMP的条件似然,而编码器学习生成因子的先验分布。这两个组件使我们能够开发一种有效的算法,同时推断生成因子和TMP信号从ECG数据。仿真实验和真实数据实验表明,与传统生理模型约束或无生理约束的方法相比,该方法显著提高了TMP重建的精度。
2019-05-12 cs.LG eess.IV eess.SP
Solving Inverse Problems in Medical Imaging with Score-Based Generative Models
Stanford University(斯坦福大学)
从部分测量数据重建医学图像是计算机断层成像(CT)和磁共振成像(MRI)中的一个重要逆问题。基于机器学习的现有解决方案通常训练模型以利用成对图像和测量的训练数据集来将测量直接映射到医学图像。这些测量通常使用测量过程的固定物理模型从图像合成,这阻碍了模型对未知测量过程的泛化能力。为了解决这个问题,我们提出了一个完全无监督的逆问题解决技术,利用最近推出的基于分数的生成模型。具体来说,我们首先训练一个基于分数的生成模型的医学图像捕捉他们的先验分布。给定的测量和测量过程中的物理模型在测试时,我们引入了一种采样方法来重建与先前和观察到的测量一致的图像。我们的方法在训练过程中不假设固定的测量过程,因此可以在测试时灵活地适应不同的测量过程。从经验上讲,我们在CT和MRI的几个医学成像任务中观察到与监督学习技术相当或更好的性能,同时对未知测量过程表现出更好的泛化能力。
2022-06-16 cs.CV cs.LG eess.IV
A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution
Department of Computer Engineering and Informatics, Patras University(计算机工程与信息学院,帕特拉大学);Department Digital Media and Communication, Ionian University(数字媒体与通信系,伊奥尼亚大学)
本文提出DeepMix,一种结合手工与可学习正则化器的深度展开优化框架,用于高光谱图像去卷积,通过残差结构和上下文感知去噪模块显著提升图像质量与计算效率。
2025-05-21 cs.CV eess.IV
Multibranch Generative Models for Multichannel Imaging with an Application to PET/CT Synergistic Reconstruction
Univ. Brest, LaTIM, INSERM, UMR 1101(布雷斯特大学、LaTIM研究所、法国国家健康与医学研究院、UMR 1101联合研究单位);Nuclear Medicine Department, Poitiers University Hospital(普瓦捷大学医院核医学科)
本文提出基于多分支变分自编码器的医学图像协同重建方法,通过在正则化器中利用成对图像学习实现去噪与重建,并在MNIST和PET/CT数据上验证了低剂量成像质量提升。
2025-02-03 cs.CV eess.IV physics.med-ph