Regularizing Instabilities in Image Reconstruction Arising from Learned Denoisers
众所周知,反问题是不适定的,为了有意义地解决它们,必须采用正则化方法。传统上,流行的正则化方法是惩罚变分方法。近年来,经典的正则化重建方法已经被(基于深度学习的)学习重建算法所超越。然而,与传统的正则化方法不同,理论基础,如稳定性和正则化,对于这种学习重建算法来说是不够的。因此,从这些算法获得的结果,虽然经验上很突出,但并不总是完全可信的,因为它们可能包含某些不稳定性或由学习过程产生的(幻觉)特征。事实上,已经表明,这种学习算法对数据中的小(对抗性)噪声非常敏感,并且可能导致恢复的解决方案中的严重不稳定性,这可能与不适定(逆)问题的固有不稳定性完全不同。然而,经典的正则化方法可以很好地处理这种(对抗性)噪声,并且可以产生稳定的恢复。在这里,我们试图提出某些正则化方法来稳定这种(不稳定的)学习重建方法,并恢复正则化的解决方案,即使在存在对抗性噪声的情况下。为此,我们需要扩展正则化的经典概念,并将其纳入学习的重建算法中。我们还提出了一些正则化技术来正则化两个最流行的学习重建算法,学习后处理重建和学习展开重建。
2022-02-16 cs.LG eess.IV
Monotonically Convergent Regularization by Denoising
Washington University in St. Louis(圣路易斯华盛顿大学);Department of Electrical and Systems Engineering(电气与系统工程系);Department of Computer Science and Engineering(计算机科学与工程系)
去噪正则化(RED)是一种广泛使用的框架,用于通过利用图像去噪器作为图像先验来解决逆问题。最近的工作报告了RED在许多成像应用中使用预训练的深度神经网络作为去噪器的最新性能。尽管最近的进展,RED算法的稳定收敛仍然是一个开放的问题。现有的RED理论仅保证凸数据保真度项和非扩展去噪器的稳定性。这项工作通过开发一种新的单调RED(MRED)算法来解决这个问题,该算法的收敛性不需要深度去噪先验的非扩展性。对随机矩阵的图像去模糊和压缩感知恢复的仿真结果表明,即使在传统RED算法发散的情况下,MRED算法也是稳定的。
2022-02-10 cs.CV eess.IV
Image reconstruction algorithms in radio interferometry: from handcrafted to learned regularization denoisers
Heriot-Watt University(赫瑞-瓦特大学)
我们引入了一类新的迭代图像重建算法,用于无线电干涉测量,在凸优化和深度学习的界面上,灵感来自即插即用方法。该方法包括通过训练深度神经网络(DNN)作为去噪器来学习先验图像模型,并将其替换为优化算法的手工近似正则化算子。所提出的AIRI(“用于无线电干涉成像中的正则化的AI”)框架,用于从可见性数据中对具有漫射和微弱发射的复杂强度结构进行成像,继承了优化的鲁棒性和可解释性,以及网络的学习能力和速度。我们的方法依赖于三个步骤。首先,我们设计了一个低动态范围的训练数据库从光强图像。其次,我们训练DNN降噪器,其噪声水平从数据的信噪比推断。我们使用训练损失增强与非扩展性项,确保算法收敛,并包括在飞行数据库动态范围增强通过求幂。第三,我们将学习的去噪器插入到向前-向后优化算法中,从而得到一个简单的迭代结构,该结构将去噪步骤与梯度下降数据保真度步骤交替进行。我们已经验证了AIRI对CLEAN,SARA家族的优化算法,以及经过训练的DNN直接从可见度数据重建图像。仿真结果表明,AIRI是竞争力的成像质量与SARA及其无约束的基于前向-后向的版本uSARA,同时提供显着的加速。CLEAN仍然更快,但质量更低。端到端DNN提供了进一步的加速,但质量远低于AIRI。
2022-07-26 astro-ph.IM cs.CV eess.IV
Instabilities in Plug-and-Play (PnP) algorithms from a learned denoiser
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
众所周知,反问题是不适定的,为了有意义地求解它们,必须采用正则化方法。传统上,流行的正则化方法是惩罚变分方法。近年来,经典的正则化方法已经被所谓的即插即用(Plug-and-Play,PSTA)算法所超越,PSTA算法复制了近似梯度最小化过程,如ADMM或FISTA,但具有任何通用的去噪器。然而,与传统的邻近梯度方法不同,这些PNP算法的理论基础、收敛性和稳定性结果都是不够的。因此,从这些算法获得的结果,虽然经验上很突出,但并不总是完全可信的,因为它们可能包含某些不稳定性或由去噪器产生的(幻觉)特征,特别是在使用预先训练的学习去噪器时。事实上,在本文中,我们证明了当使用预训练的基于深度学习(DnCNN)的去噪器时,PnP算法可以诱导幻觉特征。我们表明,这种不稳定性是完全不同的不稳定性固有的不适定问题。我们还提出了克服这些不稳定性和显着提高回收率的方法。我们比较了学习去噪器与经典去噪器(这里是BM 3D)的优缺点,以及FISTA-Pestra算法与ADMM-Pestra算法的有效性。此外,我们还提供了一个算法,结合这两个去噪,学习和经典,在加权的方式,以产生更好的结果。我们的结论与数值结果验证了发达国家的理论。
2021-08-17 cs.CV cs.NA eess.IV
Equivariant Denoisers for Plug and Play Image Restoration
LTCI, Télécom Paris, IP Paris(巴黎理工学院电信学院);Univ. Bordeaux, CNRS, INRIA, Bordeaux INP, IMB, UMR 5251(波尔多大学、法国国家科学研究中心、法国国家信息与自动化研究所、波尔多国立高等电子与计算机学院)
针对图像分布变换不变性与深度架构设计不匹配问题,本研究提出基于等变去噪器和随机优化的ERED与EPnP统一框架,分析了算法收敛性并讨论了实用优势,助力即插即用图像恢复。
2025-11-13 eess.IV
Plug-and-play ISTA converges with kernel denoisers
Indian Institute of Science(印度科学学院)
即插即用(Plug-and-Play,PAPK)方法是最近的图像正则化范例,其中迭代算法中的邻近算子(与某些给定的正则化器相关联)被替换为强大的去噪器。从数学上讲,这涉及(前向模型的)重复反演和去噪直到收敛。值得注意的是,Pestrian正则化为几个恢复应用程序产生了有希望的结果。然而,在这方面的一个基本问题是理论上的收敛性的Pestrian迭代,因为该算法不是严格地从优化框架。这一问题在最近的研究中得到了探讨,但仍有许多问题没有得到解决。例如,如果我们在ISTA框架(PnP-ISTA)内使用通用内核去噪器(例如非局部均值),则不知道是否可以保证收敛。我们证明,在合理的假设下,PnP-ISTA的不动点收敛确实保证了线性逆问题,如去模糊,修复和超分辨率(假设是可验证的修复)。我们比较我们的理论研究结果与现有的结果,验证它们的数值,并解释其实际意义。
2020-04-14 cs.CV eess.IV
RARE: Image Reconstruction using Deep Priors Learned without Ground Truth
去噪正则化(RED)是一种使用图像去噪器作为先验的图像重建框架。最近的工作显示了RED的最新性能,其中学习的去噪器对应于预先训练的卷积神经网络(CNN)。在这项工作中,我们建议通过考虑与训练用于更一般的伪影去除的网络相对应的先验,来拓宽当前以降噪为中心的RED视图。所提出的算法家族(称为伪影去除正则化(RARE))的主要好处是,它可以利用在仅包含欠采样测量的数据集上学习的先验知识。这使得RARE适用于实际上不可能有完全采样的地面实况数据进行训练的问题。我们通过从严重欠采样的k空间测量值重建自由呼吸全身3D MRI到10个呼吸相位,在模拟和实验收集的数据上验证RARE。我们的研究结果证实了学习正则化直接在欠采样和噪声测量迭代反演的潜力。
2020-05-23 eess.IV
A relaxed proximal gradient descent algorithm for convergent plug-and-play with proximal denoiser
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立理工学院);CEREMADE(数学与决策研究中心);Université Paris-Dauphine, PSL(巴黎多芬大学(PSL大学))
本文提出一种收敛的松弛 PnP-αPGD 算法,通过在近端梯度下降中插入松弛近端去噪器,放宽了对去噪器和逆问题参数的假设,在更广的正则化参数范围内实现收敛,从而获得更准确的图像恢复效果。
2023-04-05 cs.CV cs.LG eess.IV
Block Coordinate Regularization by Denoising
Washington University in St. Louis(圣路易斯华盛顿大学)
我们考虑的问题,估计一个向量,从其噪声测量使用事先指定的,只有通过一个去噪功能。最近的工作即插即用先验(PIPE)和正则化去噪(RED)已经显示了在一系列成像任务中,在这种先验下估计器的最新性能。在这项工作中,我们开发了一个新的块坐标RED算法,将大规模的估计问题分解为一个序列的更新在一个小的未知变量的子集。我们从理论上分析了算法的收敛性,并讨论了它与传统的邻近优化的关系。我们的分析补充和扩展了最近的理论结果,基于RED的估计方法。我们使用几种去噪先验,包括基于卷积神经网络(CNN)去噪器的去噪器,对我们的方法进行了数值验证。
2019-09-19 cs.CV eess.IV
Plug-and-Play image restoration with Stochastic deNOising REgularization
提出SNORE框架,仅在适当噪声水平图像上应用去噪器,结合随机正则化与梯度下降求解逆问题,在去模糊和修复任务上达到SOTA。
2026-06-12 cs.CV cs.LG eess.IV
Preconditioned Plug-and-Play ADMM with Locally Adjustable Denoiser for Image Restoration
Inria Rennes – Bretagne-Atlantique(雷恩-布列塔尼大西洋国立信息与自动化研究所)
即插即用优化最近成为一种强大的技术,通过将去噪器插入到经典的优化算法中来解决逆问题。去噪器考虑了正则化,因此隐式地确定了数据的先验知识,从而取代了典型的手工先验。在本文中,我们扩展了即插即用优化的概念,使用降噪器,可以参数化的非恒定噪声方差。在这个目标中,我们介绍了一个预处理的ADMM算法,这在数学上证明了使用这样一个可调去噪。我们还提出了一个训练卷积神经网络的过程,用于高质量的非盲图像去噪,也允许逐像素控制噪声标准差。我们表明,我们的逐像素可调去噪器,以及一个合适的预处理策略,可以进一步提高即插即用的ADMM方法的几个应用程序,包括图像完成,插值,去马赛克和泊松去噪。
2021-10-01 cs.CV eess.IV
Joint Reconstruction and Calibration using Regularization by Denoising
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
去噪正则化(RED)是一种广泛适用的框架,用于通过使用指定为去噪器的先验来解决逆问题。虽然RED已被证明在许多应用中提供最先进的性能,但现有的RED算法需要表征成像系统的测量算子的精确知识,限制了它们在测量算子具有参数不确定性的问题中的适用性。我们提出了一种新的方法,称为校准的红色(卡尔-红色),使联合校准的测量操作员以及重建的未知图像。Cal-RED将传统的RED方法扩展到需要测量操作员校准的成像问题。我们验证了Cal-RED在扰动投影角下的计算机断层扫描(CT)中的图像重建问题。我们的研究结果证实了Cal-RED使用预训练的深度去噪器作为图像先验进行联合校准和重建的有效性。
2020-11-26 cs.CV eess.IV
Joint ptycho-tomography with deep generative priors
联合重叠层析成像是一个强大的计算成像框架,以恢复三维物体的折射特性,同时放松探头重叠的要求,这是常见的在传统的相位检索。我们使用增广拉格朗日计划制定的约束优化问题,并采用交替方向的乘法器(ADMM)的联合解决方案。ADMM允许问题被分成更小的和计算更有效的子问题:重叠相位检索,层析重建,和正规化的解决方案。我们扩展了我们的ADMM框架与即插即用(PPENS)去噪器取代正则化子问题与一般的去噪算子的基础上机器学习。虽然PADER框架能够集成这种学习的先验作为去噪算子,但去噪器先验的调整仍然具有挑战性。为了克服这一挑战,我们提出了一个去噪参数来控制去噪的效果,并加快解决方案。在我们的模拟中,我们证明了我们提出的参数调整和学习先验的框架在有限和嘈杂的测量数据下生成高质量的重建。
2021-08-27 eess.IV math.OC
Fixed-Point and Objective Convergence of Plug-and-Play Algorithms
Indian Institute of Science(印度科学理工学院)
用于图像重建的标准模型涉及数据保真度项的最小化以及正则化器,其中使用诸如ISTA和ADMM之类的近似算法来执行优化。在即插即用(PADG)正则化中,ISTA和ADMM中的邻近算子(与正则化器相关)被强大的图像去噪器取代。虽然Pestrian正则化在实践中的效果令人惊讶,但其理论收敛性-Pestrian迭代的收敛性是否得到保证以及它们是否最小化某些目标函数-即使对于简单的线性去噪器(如非局部均值)也没有完全理解。特别是,虽然有工程,无论是噪声或目标收敛分别建立,同时保证噪声和目标收敛是不适用于任何降噪我们的知识。在本文中,我们建立了两种形式的收敛一类特殊的线性去噪。值得注意的是,与现有的作品中的重点是对称降噪,我们的分析涵盖了非对称降噪,如非本地的手段和几乎任何凸数据保真度。在这方面的新颖之处是,我们利用平均算子的收敛理论,我们的工作与一个特殊的内积(和规范)来自线性降噪;后者需要我们适当地定义梯度和邻近的运营商与数据保真度项。我们使用图像重建实验验证我们的收敛结果。
2021-04-21 cs.CV eess.IV math.OC
Stabilizing RED using the Koopman Operator
针对RED框架使用黑盒去噪器导致的不稳定性,本文提出利用Koopman算子捕获局部动力学并通过谱半径检测不稳定,制定自适应步长规则,实现模型无关、低开销且无需重训练的稳定化。
2025-09-06 eess.IV
On the Proof of Fixed-Point Convergence for Plug-and-Play ADMM
在大多数现有技术的图像恢复方法中,使用诸如ADMM(交替方向乘法)的迭代算法来优化数据保真度和正则化项的和。近年来,使用去噪器进行正则化的可能性已经在一些作品中进行了探索。一种流行的方法是用一些强大的去噪器正式取代ADMM框架中的邻近算子。然而,由于大多数国家的最先进的去噪器不能构成为一个邻近的运营商,不能保证这些所谓的即插即用(PSTO)算法的收敛。事实上,Pestrian算法的理论收敛性是一个活跃的研究课题。在这封信中,我们考虑了Chan等人的结果。(IEEE TCI,2017),其中为一类去噪器建立了基于ADMM的Pestrian算法的不动点收敛。我们认为,原来的证明是不完整的,因为收敛性没有分析的三种可能的情况之一,在文件中概述。此外,我们解释了为什么其他情况下的论点不适用于这种情况。我们给出了一个不同的分析来填补这个空白,它牢固地建立了原来的收敛定理。
2019-10-31 cs.CV eess.IV
Regularization by Denoising via Fixed-Point Projection (RED-PRO)
Technion Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
图像处理中的逆问题通常被视为优化任务,由数据保真度和稳定正则化项组成。最近一个非常有趣的正则化策略利用了去噪引擎的力量。两种这样的方法是即插即用先验(PIPE)和去噪正则化(RED)。虽然两者都在各种恢复任务中显示出最先进的结果,但它们的理论论证是不完整的。在本文中,我们的目标是在RED和PPENDIX之间架起桥梁,丰富对这两个框架的理解。为此,我们重新制定RED作为一个凸优化问题,利用投影(RED-PRO)到固定点集的半压缩降噪。我们为这个问题提供了一个简单的迭代解决方案,通过这个方案,我们证明了Pestrian近似梯度法是RED-PRO的一个特例,同时为这两个框架收敛到全局最优解提供了保证。此外,我们提出了RED-PRO的放松,允许处理有限的定点集的降噪器。最后,我们展示了RED-PRO用于图像去模糊和超分辨率任务,显示了相对于原始RED框架的改进结果。
2020-10-28 cs.CV eess.IV
Viscosity Stabilized Plug-and-Play Reconstruction
针对PnP图像重建迭代不稳定的问题,提出自适应平均PnP算子与收缩IR算子的粘度正则化稳定机制,在多场景验证了有效性。
2025-08-02 eess.IV
Equivariant Denoisers for Image Restoration
Télécom Paris, IP Paris(巴黎电信学院,巴黎大学联盟)
本文提出基于等变去噪器和随机优化的统一框架ERED,用于图像恢复,分析了算法收敛性并讨论了实际益处。
2025-02-28 cs.CV eess.IV stat.ML
AE-RED: A Hyperspectral Unmixing Framework Powered by Deep Autoencoder and Regularization by Denoising
Northwestern Polytechnical University(西北工业大学);University of Toulouse(图卢兹大学);IRIT/INP-ENSEEIHT(图卢兹计算机科学研究所/国立图卢兹应用科学学院-高等电力与电子工程师学院);CNRS(法国国家科学研究中心)
本文提出名为AE-RED的高光谱解混框架,通过将深度自编码器与去噪正则化相结合,分解优化问题以融合隐式正则化与显式先验,从而提升解混性能与可解释性。
2023-07-01 cs.CV eess.IV
Gradient Step Denoiser for convergent Plug-and-Play
Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院);CNRS(法国国家科学研究中心);IMB(波尔多数学研究所)
即插即用方法构成了一类迭代算法的成像问题,其中正则化是由现成的去噪。虽然即插即用的方法可以导致巨大的视觉性能的各种图像问题,现有的几个收敛保证是基于不切实际的(或次优的)假设的降噪,或限于强凸数据项。在这项工作中,我们提出了一种新的类型的即插即用的方法,基于半二次分裂,其中的去噪器实现为一个梯度下降步骤的功能参数化的深神经网络。利用近端梯度下降算法在非凸设置的收敛结果,我们表明,所提出的即插即用算法是一个收敛的迭代计划,目标是一个明确的全球功能的稳定点。此外,实验表明,与即插即用方案中使用的其他最先进的深度去噪器相比,可以学习这样的深度去噪器,同时不损害性能。我们将我们的近端梯度算法应用于各种不适定逆问题,例如去模糊、超分辨率和修复。对于所有这些应用程序,数值结果经验证实的收敛结果。实验结果表明,该算法在定量和定性上都达到了最佳性能。
2022-02-14 cs.CV eess.IV math.OC
PnP-ReG: Learned Regularizing Gradient for Plug-and-Play Gradient Descent
Inria Rennes – Bretagne-Atlantique(法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所)
即插即用(Plug-and-Play,PSTO)框架使得将先进的图像去噪先验集成到优化算法中成为可能,从而有效地解决了通常被公式化为最大后验概率(Maximum A Posteriori,MAP)估计问题的各种图像恢复任务。即插即用交替方向乘法器(ADMM)和去噪正则化(RED)算法是这类方法的两个例子,在图像恢复方面取得了突破。然而,虽然前一种方法只适用于近似算法,但最近已经表明,当去噪器缺乏雅可比对称性时,不存在解释RED算法的正则化,这恰好是大多数实际去噪器的情况。据我们所知,没有一种方法可以训练直接表示正则化器梯度的网络,这可以直接用于即插即用的基于梯度的算法。我们表明,它是可能的训练网络直接建模的MAP正则化梯度,同时共同训练相应的MAP去噪。我们使用这个网络在基于梯度的优化方法,并获得更好的结果相比,其他通用的即插即用的方法。我们还证明了正则化器可以用作展开梯度下降的预训练网络。最后,我们表明,由此产生的去噪器允许一个更好的收敛的即插即用ADMM。
2023-03-03 cs.CV cs.LG eess.IV
fMRI Multiple Missing Values Imputation Regularized by a Recurrent Denoiser
INESC-ID(INESC-ID研究所)
功能性磁共振成像(fMRI)是一种神经影像学技术,由于其科学和临床应用的关键重要性。与任何广泛使用的成像模态一样,需要确保其质量,由于伪影或次优成像分辨率的存在,缺失值非常频繁。我们的工作集中在多变量信号数据的缺失值填补。为此,提出了一种新的插补方法,包括两个主要步骤:空间相关的信号插补和时间相关的正则化的插补信号。在这项工作中,提出了一种用于深度学习架构的新层,带回了多重插补的链式方程的概念。最后,应用递归层来调整信号,以便捕获其真实模式。这两种操作都可以提高对最先进替代方案的鲁棒性。
2020-09-26 cs.LG eess.IV stat.ML
HyperAIRI: a plug-and-play algorithm for precise hyperspectral image reconstruction in radio interferometry
University of Edinburgh, EPCC(爱丁堡大学, EPCC);Heriot-Watt University, Institute of Sensors, Signal(赫里奥特-瓦特大学, 传感器与信号研究所)
HyperAIRI是一种基于学习的即插即用算法,用于高精度超光谱图像重建,通过结合幂律光谱模型和动态范围匹配的去噪器,实现高分辨率和高动态范围的射电干涉成像。
2026-02-11 astro-ph.IM cs.LG eess.IV
Analysis Plug-and-Play Methods for Imaging Inverse Problems
Washington University in St. Louis(华盛顿大学圣路易斯分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出分析即插即用方法,将去噪先验从图像域迁移至梯度域,并基于HQS和ADMM设计两种重建算法,在去模糊和超分辨率上取得与图像域PnP相当的性能。
2025-09-18 cs.CV eess.IV
Async-RED: A Provably Convergent Asynchronous Block Parallel Stochastic Method using Deep Denoising Priors
Washington University in St. Louis(圣路易斯华盛顿大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Department of Computer Science and Engineering, Washington University in St. Louis(圣路易斯华盛顿大学计算机科学与工程系);Department of Electrical and Systems Engineering, Washington University in St. Louis(圣路易斯华盛顿大学电气与系统工程系)
去噪正则化(RED)是最近开发的一个框架,用于通过将高级去噪器集成为图像先验来解决逆问题。最近的工作表明,当与预先训练的深度去噪器相结合时,它具有最先进的性能。然而,目前的RED算法不足以在多核系统上进行并行处理。我们解决这个问题,提出了一个新的异步RED(ASYNC-RED)算法,使异步并行处理的数据,使其显着快于其串行对应的大规模反问题。通过在每次迭代中使用测量的随机子集,ASYNC-RED的计算复杂度进一步降低。我们提出了完整的理论分析的算法,通过建立其收敛性明确的假设下的数据保真度和降噪。我们使用预先训练的深度去噪器作为先验来验证ASYNC-RED的图像恢复。
2020-10-03 cs.CV eess.IV
On Exact and Robust Recovery for Plug-and-Play Compressed Sensing
在即插即用(Plug-and-Play,PSTO)算法中,使用现成的去噪器进行图像正则化。PSTK产生了最先进的结果,但其理论方面还没有得到很好的理解。这项工作考虑的问题:类似于经典的压缩感知(CS),我们可以在理论上恢复地面真理通过PSNR在适当的条件下的去噪器和传感矩阵?其中一个障碍是,由于PINK是一个算法框架,它的解不需要是某个目标函数的最小值。最近的研究表明,一个凸正则化$Φ$可以与一类线性去噪器,使Pestrian的金额解决涉及$Φ$凸问题。受此启发,我们考虑CS的PdR类似物:最小化$Φ(x)$ s.t.其中$Ax=Aξ$是$m\times n$随机感测矩阵,$Φ$是与线性去噪器$W$相关联的正则化器,并且$ξ$是地面实况。我们证明了如果$A$是高斯的,并且$ξ$在$W$的范围内,那么极小元几乎必定是$ξ$,如果是$rank(W)\leq m$,并且几乎从不是,如果是$rank(W)> m$。因此,PSNR去噪器的范围充当信号先验,并且其维度标志着从精确恢复的失败到成功的急剧过渡。我们将结果扩展到亚高斯传感矩阵,除了准确的恢复仅具有高概率。对于噪声测量$b = A ξ+ η$,我们考虑一个鲁棒的公式:最小化$Φ(x)$ s. t. $\|Ax-b\|\leqδ$。我们证明了,对于最佳的解决方案$x^*$,以高概率的失真$\|x^*-ξ\|$是有界的$\|η\|$和$δ…
2022-11-27 eess.IV
DeepRED: Deep Image Prior Powered by RED
Technion(以色列理工学院);Google Research and Machine Intelligence(谷歌研究与机器学习智能部门)
成像中的逆问题被广泛研究,多年来积累了各种策略,工具和理论。最近,该领域受到深度学习技术的影响。其中一个贡献,这是本文的重点,是Ulyanov,Vedaldi和Lempitsky(2018)的深度图像先验(DIP)工作。DIP为逆问题的正则化提供了一种新的方法,通过强制从给定的深度架构合成恢复的图像来获得。虽然DIP已被证明是一种非常有效的无监督方法,但与最先进的替代方案相比,其结果仍然不足。在这项工作中,我们的目标是通过添加显式先验来提高DIP,这丰富了整体正则化效果,以获得更好的恢复图像。更具体地说,我们建议引入正则化去噪(RED)的概念,它利用现有的去噪器来正则化逆问题。我们的工作展示了这两个(DIP和RED)如何合并成一个高效的无监督恢复过程,同时避免了区分所选去噪器的需要,并产生了非常有效的结果,并在几个测试问题中得到了证明。
2019-10-24 cs.CV eess.IV
Learning Weakly Convex Regularizers for Convergent Image-Reconstruction Algorithms
本文学习具有弱凸模量上界的非凸正则化器,用于变分去噪和可收敛的逆问题重建,以少参数超越凸方法与BM3D,并在CT/MRI中实现性能与可解释性的良好平衡。
2023-12-20 cs.CV cs.LG eess.IV
Convergent Complex Quasi-Newton Proximal Methods for Gradient-Driven Denoisers in Compressed Sensing MRI Reconstruction
Department of ECE, INMC & IPAI, SNU(首尔大学电子电气计算机工程系、国家智能材料研究中心及人工智能研究所);EECS Department, University of Michigan(密歇根大学电气与计算机工程系)
本文提出一种复拟牛顿近端方法,用于压缩感知MRI重建中的梯度驱动去噪器,通过修正Hessian估计保证Hermitian正定性,实现非凸设置下的快速收敛,并在多种采样轨迹上验证了有效性。
2025-10-18 cs.NA eess.IV math.NA
Solving RED with Weighted Proximal Methods
正则化去噪(RED)是一个有吸引力的框架,通过将最先进的去噪算法作为先验来解决逆问题。这种方法的一个缺点是去噪器的计算复杂度高,这支配了计算时间。在本文中,我们应用一个通用的框架,称为加权邻近方法(WPMs),有效地解决RED。我们首先表明,最近推出的两个RED求解器(使用固定点和加速近端梯度方法)是特殊情况下的WPM。然后,我们通过数值实验表明,稍微更复杂的WPM的变体可以导致减少运行时间的RED需要一个显着更少的电话去噪。
2020-03-04 eess.IV eess.SP
Learning Maximally Monotone Operators for Image Recovery
我们介绍了一种新的范式来解决正则化变分问题。这些通常被制定为解决信号和图像处理中遇到的不适定逆问题。目标函数传统上通过将正则化函数添加到数据拟合项来定义,随后通过使用迭代优化算法来最小化数据拟合项。最近,有几个作品提出了一个更复杂的去噪器,以取代运营商有关的正则化。这些方法被称为即插即用(Plug-and-Play,PIPE)方法,表现出了出色的性能。虽然人们已经注意到,根据一些Lipschitz性质的去噪器,所得到的算法的收敛性得到保证,很少有人知道的特征渐近交付的解决方案。在本文中,我们建议解决这个限制。更具体地说,我们不采用函数正则化,而是执行算子正则化,其中以监督方式学习最大单调算子(MMO)。这种提法是灵活的,因为它允许的解决方案,其特征在于通过广泛的变分不等式,它包括凸正则化作为特殊情况。从算法的角度来看,所提出的方法包括由神经网络(NN)代替的MMO的解决方案。我们提出了一个通用的逼近定理证明,非扩张NN是合适的模型的预解的一个广泛的类MMO。因此,所提出的方法提供了一个良好的理论框架,分析一阶Pestrian算法的渐近行为。此外,我们提出了一个数值策略,训练神经网络对应的MMO的解决方案。我们将我们的方法应用于图像恢复问题,并证明其有效性的收敛性和质量。
2021-04-21 eess.IV math.OC
Plug-and-Play Regularization using Linear Solvers
多年来,人们对图像正则化器的设计进行了大量的研究,从简单的Tikhonov和Laplacian到复杂的稀疏性和基于CNN的正则化器。结合基于模型的损失函数,这些通常用于优化框架内的图像重建。技术上的挑战是开发一种正则化器,它可以准确地模拟真实图像,并与损失函数一起有效地优化。受最近图像正则化的即插即用范例的启发,我们构造了一个二次正则化器,其重建能力与最先进的正则化器具有竞争力。正则化的新颖之处在于,与经典正则化不同,二次目标函数是从观测数据中导出的。由于正则化是二次的,我们可以减少优化,以解决一个线性系统的应用,如超分辨率,去模糊,修复等,特别是,我们表明,使用迭代Krylov求解器,我们可以收敛到几次迭代的解决方案,其中每次迭代需要应用的前向算子和线性降噪。令人惊讶的发现是,我们可以在重建质量方面接近深度学习方法。据我们所知,使用线性求解器实现接近最先进性能的可能性是新颖的。
2022-09-16 eess.IV
Stabilizing Deep Reconstruction Operators with Contractive Anchoring
Indian Institute of Science(印度科学学院)
研究基于预训练深度去噪器的图像重建不稳定问题,提出数据驱动稳定框架,通过局部量形式化不稳定性并自适应正则化,引入可训练收缩算子控制不稳定IR算子,实验证明该方法提升了PnP和RED重建的性能与可靠性。
2026-07-31 cs.CV eess.IV
An Interpretation of Regularization by Denoising and its Application with the Back-Projected Fidelity Term
Tel Aviv University(特拉维夫大学)
绝大多数图像恢复任务都是不适定问题。因此,基于优化的方法使用由保真度和先验(正则化)项组成的代价函数。最近的一系列工作通过去噪正则化(RED)方法来施加先验,该方法利用了现有图像去噪引擎的良好性能。然而,RED与显式先验项的关系仍然没有得到很好的理解,因为以前的工作需要对去噪器进行太强的假设。在本文中,我们做了两个贡献。首先,我们证明了RED梯度可以被视为先验函数的(子)梯度-但在该点的去噪版本上进行。由于RED通常以相对较小的噪声水平应用,因此这种解释表明RED与传统梯度之间的相似性。这导致了我们的第二个贡献:我们建议将RED与反向投影(BP)保真度项相结合,而不是在以前的作品中使用的常见最小二乘(LS)项。我们证明了BP在图像去模糊和超分辨率方面优于LS的优势,这些优势已经在传统梯度中得到了证明,并继续采用RED方法。
2021-01-27 cs.CV eess.IV
Online Deep Equilibrium Learning for Regularization by Denoising
Washington University in St. Louis(圣路易斯华盛顿大学)
即插即用先验(Plug-and-Play Priors,PPENS)和去噪正则化(Regularization by Denoising,RED)是通过计算结合物理测量模型和学习的图像先验的算子的不动点来解决成像逆问题的广泛使用的框架。虽然传统的PnP/RED公式集中在使用图像降噪器指定的先验知识上,但人们对学习端到端最佳PnP/RED先验知识的兴趣越来越大。最近的深度均衡模型(DEQ)框架通过隐式差分定点方程,实现了PPENDIX/RED先验的存储高效的端到端学习,而无需存储中间激活值。然而,依赖的计算/存储器的复杂性的测量模型在PPENS/RED的测量总数离开DEQ不切实际的许多成像应用。我们提出ODER作为一种新的策略,通过随机近似的测量模型,提高效率的DEQ。我们从理论上分析了ODER,深入了解其收敛性和逼近传统DEQ方法的能力。我们的数值结果表明,由于ODER在三个不同的成像应用中的训练/测试复杂性的潜在改进。
2022-05-25 cs.CV cs.LG eess.IV
High Perceptual Quality Image Denoising with a Posterior Sampling CGAN
Technion(以色列理工学院);Google Research(谷歌研究院)
针对深度学习图像去噪中失真导向方案感知质量差的问题,提出在CGAN框架中训练后验采样随机去噪器,引入基于样本均值的理论惩罚项,在可接受失真下实现高感知质量去噪,高噪声下效果生动多样。
2021-10-11 cs.CV cs.LG eess.IV
Zero-shot Denoising via Neural Compression: Theoretical and algorithmic framework
Rutgers University(罗杰斯大学)
本文提出了一种无需训练样本的神经压缩去噪框架,通过直接优化单个噪声图像的补丁实现高效去噪,并在理论和实验上验证了其在多种噪声和图像类型上的优越性能。
2025-11-28 cs.CV cs.IT eess.IV
Infusing Learned Priors into Model-Based Multispectral Imaging
Washington University in St. Louis(圣路易斯华盛顿大学)
我们介绍了一种新的算法正则化重建的多光谱(MS)图像从噪声线性测量。与传统方法不同,该算法通过学习去噪函数使用事先指定的\emph{only}来正则化恢复问题。更具体地说,我们提出了一个新的加速梯度法(AGM)的正则化通过去噪(RED)的变种基于模型的MS图像重建。我们方法的关键成分是三维(3D)深度神经网络(DNN)去噪器,它可以充分利用MS图像中的空间光谱相关性。我们的研究结果表明了我们的MS-RED算法的可推广性,其中单个训练的DNN可以用于解决几个不同的MS成像问题。
2019-09-20 cs.CV eess.IV
Plug-and-Play Regularization on Magnitude with Deep Priors for 3D Near-Field MIMO Imaging
METU(中东技术大学)
本文提出一种基于深度先验的幅度即插即用正则化方法,通过ADMM框架和三维深度去噪器,实现快速高效的三维近场MIMO成像重建,性能优于传统方法。
2024-03-13 cs.LG eess.IV eess.SP
Unrolling Plug-and-Play Network for Hyperspectral Unmixing
针对深度学习解混可解释性不足、传统方法依赖人工正则化的问题,提出展开即插即用算法的深度网络,融合内外部先验并用动态卷积与注意力建模多尺度信息,实验性能优于对比方法。
2024-09-07 eess.IV
KRNET: Image Denoising with Kernel Regulation Network
University of Florida(佛罗里达大学);Sun Yat-Sen University(中山大学)
图像去噪的一种流行策略是设计一个广义正则化项,该项能够探索隐含的先验底层数据观测。卷积神经网络(CNN)已经显示出通过由输入上的内核(滤波器)的组合定义的层的堆栈来学习图像先验信息的强大能力。然而,现有的基于CNN的方法主要集中在合成灰度图像。这些方法在处理多通道彩色图像去噪时仍然表现出较低的性能。在本文中,我们通过开发核调节模块来优化CNN正则化能力。特别地,我们提出了一种核调节网络块,简称KR块,它综合了大核和小核的优点,可以有效地估计特征,解决图像去噪问题。我们通过连接多个KR块来构建一个基于CNN的深度去噪器,称为KRNET。我们评估KRNET加性高斯白噪声(AWGN),多通道(MC)噪声和现实噪声,其中KRNET获得显着的性能增益超过国家的最先进的方法在广泛的噪声水平。
2019-10-20 cs.CV cs.LG eess.IV
Spectro-spatial hyperspectral image reconstruction from interferometric acquisitions
针对干涉式高光谱成像逐像素反演忽略空间结构信息的问题,本研究结合光谱与空间正则化进行图像重建,提升了重建性能,且可与Plug-and-Play技术的去噪器引入策略无缝结合。
2023-10-03 eess.IV
RED-PSM: Regularization by Denoising of Factorized Low Rank Models for Dynamic Imaging
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出 RED-PSM,将部分可分低秩模型与去噪正则化结合,并通过变量分裂和 ADMM 求解,显著提升动态断层成像及心脏动态 MRI 的重建性能。
2024-05-07 cs.CV cs.LG eess.IV
Recovery Analysis for Plug-and-Play Priors using the Restricted Eigenvalue Condition
Washington University in St. Louis(圣路易斯华盛顿大学);University of California, Riverside(加州大学河滨分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
即插即用先验(PIPE)和去噪正则化(RED)方法已被广泛用于通过利用预训练的深度去噪器作为图像先验来解决逆问题。虽然这些算法的经验成像性能和理论收敛特性已被广泛研究,但它们的恢复特性以前没有进行过理论分析。我们解决这个差距,显示如何建立理论上的恢复保证PPENDIX/RED假设这些方法的解决方案位于一个深神经网络的固定点附近。我们还提出了数值结果比较的恢复性能的PPEND/RED压缩感知对最近的压缩感知算法的基础上生成模型。我们的数值结果表明,与现有的最先进的方法相比,具有预先训练的伪影去除网络的PSTIM提供了更好的结果。
2021-10-26 cs.CV cs.LG eess.IV
Analysis of Deep Image Prior and Exploiting Self-Guidance for Image Reconstruction
Michigan State University(密歇根州立大学);University of Michigan(密歇根大学)
本文分析深度图像先验(DIP)的过拟合与谱偏置问题,提出自引导重建方法,联合优化网络权重与输入并引入去噪正则化,在MRI重建和图像修复上超越原DIP及监督方法。
2024-02-08 cs.CV eess.IV
Proximal Algorithm Unrolling: Flexible and Efficient Reconstruction Networks for Single-Pixel Imaging
Westlake University(西湖大学);Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种近端算法展开网络,通过设计深度图像恢复器并引入近端轨迹损失训练HQS/ADMM展开网络,融合了PnP方法的CR灵活性与展开方法的高精度快推理优势。
2025-05-29 cs.CV eess.IV