Analysis Plug-and-Play Methods for Imaging Inverse Problems
Washington University in St. Louis(华盛顿大学圣路易斯分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出分析即插即用方法,将去噪先验从图像域迁移至梯度域,并基于HQS和ADMM设计两种重建算法,在去模糊和超分辨率上取得与图像域PnP相当的性能。
2025-09-18 cs.CV eess.IV
Plug-and-Play Deep Energy Model for Inverse problems
University of Iowa(爱荷华大学)
我们介绍了一种新的能量配方即插即用(PPERS)图像恢复。使用卷积神经网络(CNN)的传统PSNR方法不具有基于能量的公式。这项工作的主要重点是引入一种基于能量的Pestrian公式,该公式依赖于CNN,该CNN从训练数据中学习图像的对数。评分函数被评估为能量模型的梯度,其类似于具有共享编码器和解码器权重的UNET。因此,所提出的评分函数被约束到一个保守的向量场,这是与经典的Pestrian模型的关键区别。基于能量的公式提供了算法的收敛保证,即使当学习的分数模型不是一个收缩。收缩约束的放松允许所提出的模型学习更复杂的先验知识,从而提供了比传统的Pestrian方案更好的性能。我们在磁共振图像重建中的实验表明,所提出的能量模型比传统的PSNR方法提供了更好的性能。
2023-02-15 cs.CV cs.LG eess.IV
Block Coordinate Plug-and-Play Methods for Blind Inverse Problems
Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出块坐标即插即用(BC-PnP)方法,通过在图像和测量算子上同时引入去噪先验并建立非凸收敛理论,高效求解 MRI 线圈灵敏度估计和盲去模糊等盲逆问题。
2023-10-26 cs.CV cs.LG eess.IV
Generative Plug and Play: Posterior Sampling for Inverse Problems
Purdue University(普渡大学)
针对传统即插即用(PnP)方法仅能生成单一确定性重建图像的局限,提出生成式即插即用(GPnP)框架,将前向与去噪先验模型扩展为近端生成器以交替采样后验分布,经BM3D去噪器实验验证其在稀疏插值和断层重建任务中鲁棒易实现、采样结果合理。
2023-06-12 cs.CV eess.IV
Convergent Bregman Plug-and-Play Image Restoration for Poisson Inverse Problems
Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院);CNRS(法国国家科学研究中心);IMB(数学研究所);Washington University in St. Louis(圣路易斯华盛顿大学)
针对泊松逆问题,本文基于 BPG 提出收敛的 Bregman PnP 框架,设计 Bregman Score Denoiser 并证明两种算法收敛到显式全局泛函驻点。
2023-06-06 cs.LG eess.IV math.OC
PnP-CM: Consistency Models as Plug-and-Play Priors for Inverse Problems
University of Minnesota(明尼苏达大学)
本文提出PnP-CM,将一致性模型视为先验的近端算子,用于解决多种逆问题,通过改进的ADMM框架和噪声扰动,在低NFE情况下实现高质量重建。
2026-04-13 cs.AI cs.CV cs.LG
TFPnP: Tuning-free Plug-and-Play Proximal Algorithm with Applications to Inverse Imaging Problems
Beijing Institute of Technology(北京理工大学);University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学);Beijing Normal University(北京师范大学)
即插即用(Plug-and-Play,PADM)是一种非凸优化框架,它结合了近似算法,例如交替方向乘法器(ADMM)和先进的去噪先验。在过去的几年里,PSTK算法取得了巨大的经验成功,特别是对于那些集成了基于深度学习的去噪器的算法。然而,PNDT方法的一个关键挑战是需要手动参数调整,因为在成像条件和变化的场景内容的高度差异中获得高质量的结果是必不可少的。在这项工作中,我们提出了一类无调谐的Pestrian邻近算法,可以自动确定参数,如去噪强度,终止时间和其他优化特定的参数。我们方法的核心部分是用于自动参数搜索的策略网络,可以通过无模型和基于模型的深度强化学习策略的混合来有效地学习。我们证明,通过严格的数值和视觉实验,学习的政策可以自定义参数不同的设置,往往是更有效和更有效的比现有的手工制作的标准。此外,我们还讨论了几个实际的考虑,我们学到的政策一起产生国家的最先进的结果。这种先进的性能是普遍的线性和非线性范例逆成像问题,特别是压缩感知MRI,稀疏视图CT,单光子成像和相位恢复显示有前途的结果。
2021-09-18 cs.CV eess.IV
Solving Imaging Inverse Problems Using Plug-and-Play Denoisers: Regularization and Optimization Perspectives
University of Cambridge(剑桥大学);IIT Kharagpur(印度理工学院哈里科特分校);University of Birmingham(伯明翰大学)
本文从正则化与优化视角综述即插即用(PnP)成像逆问题求解方法,梳理其算法原理、收敛理论与设计要点。
2025-11-18 cs.LG eess.IV math.OC
PG-DPIR: An efficient plug-and-play method for high-count Poisson-Gaussian inverse problems
ISAE-Supaero(法国高等航空航天学院);CNES(法国国家空间研究中心);IRIT(图卢兹计算机科学研究所);Toulouse-INP(图卢兹国立综合理工学院)
针对高计数泊松-高斯逆问题,提出高效即插即用方法PG-DPIR,改编自DPIR,通过改进近端步骤梯度下降初始化加速收敛,在卫星图像任务中实现高效且先进的恢复性能。
2025-04-14 cs.CV cs.LG eess.IV
Principled Probabilistic Imaging using Diffusion Models as Plug-and-Play Priors
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
提出一种基于扩散模型作为即插即用先验的马尔可夫链蒙特卡洛算法,通过将逆问题后验采样简化为高斯去噪后验采样,实现无需近似的高质量成像重建,并在六个逆问题(含黑洞成像)上验证了其优越性。
2024-11-07 cs.CV eess.IV stat.ML
Equivariant plug-and-play image reconstruction
Université Paris-Saclay(巴黎-萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);ENSL(里昂高等师范学院)
本文提出一种等变即插即用算法,通过对去噪器施加随机变换强制等变性,提升逆成像重建的稳定性与质量,并在多种成像任务中验证了其优于非等变方法。
2024-05-23 cs.CV eess.IV
Investigating the Feasibility of Patch-based Inference for Generalized Diffusion Priors in Inverse Problems for Medical Images
Siemens Healthineers(西门子医疗);Siemens Industry Software(西门子工业软件)
本文探讨了在医学图像MRI反问题中,使用图像块进行扩散先验训练与推断的可行性,分析了其性能、内存效率及伪影避免方法,并验证了整图训练对分块评估的适应性。
2025-04-26 cs.CV cs.LG eess.IV
Bregman Plug-and-Play Priors
New York University(纽约大学);Washington University in St. Louis(圣路易斯华盛顿大学);Tandon School of Engineering(坦登工程学院);Department of Electrical and Computer Engineering(电子与计算机工程系);Department of Computer Science and Engineering(计算机科学与工程系);Department of Electrical and Systems Engineering(电气与系统工程系)
在过去的几年里,围绕深度学习网络和优化算法的集成来解决逆问题的活动激增。最近关于即插即用先验(PIPE),去噪正则化(RED)和深度展开的工作已经显示了这种集成在各种应用中的最新性能。然而,目前设计这种算法的范例本质上是欧几里德,由于使用的二次范数内的投影和邻近算子。我们建议通过考虑基于更一般的Bregman距离的非欧几里德设置来拓宽这一视角。我们的新Bregman Proximal Gradient Method变体PnP(PnP-BPGM)和Bregman Steepest Descent变体RED(RED-BSD)取代了PnP和RED中从二次范数到更一般Bregman距离的传统更新。我们给出了PnP-BPGM的理论收敛性结果,并证明了我们的算法对Poisson线性逆问题的有效性。
2022-02-04 cs.LG eess.IV
Stochastic Generative Plug-and-Play Priors
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Washington University in St. Louis(圣路易斯华盛顿大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出随机生成性插件式先验框架,通过引入噪声利用生成式扩散模型先验提升逆问题鲁棒性,实验显示在多通道MRI重建和大遮挡图像修复中优于传统方法。
2026-11-03 cs.CV cs.LG eess.IV
Preconditioned Plug-and-Play ADMM with Locally Adjustable Denoiser for Image Restoration
Inria Rennes – Bretagne-Atlantique(雷恩-布列塔尼大西洋国立信息与自动化研究所)
即插即用优化最近成为一种强大的技术,通过将去噪器插入到经典的优化算法中来解决逆问题。去噪器考虑了正则化,因此隐式地确定了数据的先验知识,从而取代了典型的手工先验。在本文中,我们扩展了即插即用优化的概念,使用降噪器,可以参数化的非恒定噪声方差。在这个目标中,我们介绍了一个预处理的ADMM算法,这在数学上证明了使用这样一个可调去噪。我们还提出了一个训练卷积神经网络的过程,用于高质量的非盲图像去噪,也允许逐像素控制噪声标准差。我们表明,我们的逐像素可调去噪器,以及一个合适的预处理策略,可以进一步提高即插即用的ADMM方法的几个应用程序,包括图像完成,插值,去马赛克和泊松去噪。
2021-10-01 cs.CV eess.IV
Ultrasound Elasticity Imaging Using Physics-based Models And Learning-based Plug-And-Play Priors
现有的基于物理模型的超声弹性重建成像方法利用固定的变分正则化器,其可能不适合于感兴趣的应用,或者可能不捕获关于底层组织的复杂空间先验信息。另一方面,基于端到端学习的方法仅依赖于训练数据,而没有利用成像系统的管理物理定律。将基于学习的先验知识与超声弹性成像的物理正向模型相结合,提出了一种联合重建框架,该框架保证了学习驱动的重建与底层物理相一致。为了将弹性逆问题作为正则化优化问题来解决,我们提出了一种即插即用(Pestival)重建方法,其中弹性图像估计过程的每次迭代都涉及单独的更新,包括数据保真度和基于学习的正则化。在这种方法中,数据保真度项是使用一个统计线性代数模型的准静态平衡方程揭示的关系,观察到的位移场\cmmnt{measured deformation data}的未观察到的弹性模量。正则化器包括基于卷积神经网络(CNN)的去噪器,其捕获底层组织的学习的先验结构。初步的仿真结果表明,所提出的方法的鲁棒性和有效性有限的训练数据集和噪声位移测量。
2021-03-25 eess.IV
Plug-and-Play image restoration with Stochastic deNOising REgularization
提出SNORE框架,仅在适当噪声水平图像上应用去噪器,结合随机正则化与梯度下降求解逆问题,在去模糊和修复任务上达到SOTA。
2026-06-12 cs.CV cs.LG eess.IV
Super-Resolution and Denoising of Corneal B-Scan OCT Imaging Using Diffusion Model Plug-and-Play Priors
Johns Hopkins University(约翰斯·霍普金斯大学);Data Science and AI Institute, Johns Hopkins University(约翰斯·霍普金斯大学数据科学与人工智能研究所)
本文提出利用扩散模型插件式先验提升角膜B扫OCT影像的分辨率和去噪能力,通过贝叶斯逆问题和预训练生成先验实现高保真成像。
2026-02-02 eess.IV
A relaxed proximal gradient descent algorithm for convergent plug-and-play with proximal denoiser
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立理工学院);CEREMADE(数学与决策研究中心);Université Paris-Dauphine, PSL(巴黎多芬大学(PSL大学))
本文提出一种收敛的松弛 PnP-αPGD 算法,通过在近端梯度下降中插入松弛近端去噪器,放宽了对去噪器和逆问题参数的假设,在更广的正则化参数范围内实现收敛,从而获得更准确的图像恢复效果。
2023-04-05 cs.CV cs.LG eess.IV
An Online Plug-and-Play Algorithm for Regularized Image Reconstruction
Washington University in St. Louis(圣路易斯华盛顿大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
即插即用先验(Plug-and-Play Priors,PAPH)是一个强大的框架,通过在迭代算法中使用先进的去噪器来正则化成像逆问题。最新的实验证据表明,PADER算法在一系列成像应用中实现了最先进的性能。本文提出了一种基于迭代收缩/阈值算法(ISTA)的在线PSNR算法。所提出的算法在每次迭代时仅使用测量值的子集,这使得它可以扩展到非常大的数据集。我们提出了一个新的理论收敛性分析,PnP-ISTA的批量和在线变体,去噪器不一定对应于邻近的运营商。我们还提出了模拟说明该算法在衍射层析成像图像重建的适用性。本文中的结果有可能将PADER框架的适用性扩展到非常大的冗余数据集。
2018-09-12 cs.CV eess.IV
Super-Resolution Optical Coherence Tomography Using Diffusion Model-Based Plug-and-Play Priors
Johns Hopkins University(约翰霍普金斯大学);Pomona College(波莫纳学院)
针对OCT稀疏测量图像重建问题,提出基于即插即用扩散模型的超分辨率框架,结合扩散先验与MCMC采样,在鱼眼角膜模型上表现优于2D-UNet,助力临床高速高保真OCT成像。
2025-05-20 cs.CV eess.IV
Plug-and-play ISTA converges with kernel denoisers
Indian Institute of Science(印度科学学院)
即插即用(Plug-and-Play,PAPK)方法是最近的图像正则化范例,其中迭代算法中的邻近算子(与某些给定的正则化器相关联)被替换为强大的去噪器。从数学上讲,这涉及(前向模型的)重复反演和去噪直到收敛。值得注意的是,Pestrian正则化为几个恢复应用程序产生了有希望的结果。然而,在这方面的一个基本问题是理论上的收敛性的Pestrian迭代,因为该算法不是严格地从优化框架。这一问题在最近的研究中得到了探讨,但仍有许多问题没有得到解决。例如,如果我们在ISTA框架(PnP-ISTA)内使用通用内核去噪器(例如非局部均值),则不知道是否可以保证收敛。我们证明,在合理的假设下,PnP-ISTA的不动点收敛确实保证了线性逆问题,如去模糊,修复和超分辨率(假设是可验证的修复)。我们比较我们的理论研究结果与现有的结果,验证它们的数值,并解释其实际意义。
2020-04-14 cs.CV eess.IV
Plug-and-Play Image Restoration with Deep Denoiser Prior
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学);Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学)
最近的工作,即插即用的图像恢复表明,一个去噪器可以隐式地作为基于模型的方法,以解决许多逆问题的图像之前。这样的性质对于即插即用图像恢复(例如,结合了基于模型的方法的灵活性和基于学习的方法的有效性)。然而,虽然更深和更大的CNN模型正在迅速普及,现有的即插即用图像恢复阻碍了其性能,由于缺乏合适的降噪先验。为了推动即插即用图像恢复的极限,我们通过训练高度灵活和有效的CNN去噪器来建立基准深度去噪器。然后,我们将深度去噪先验作为模块化部分插入到基于半二次分裂的迭代算法中,以解决各种图像恢复问题。同时,我们提供了一个深入的分析,参数设置,中间结果和经验收敛,以更好地理解工作机制。三个代表性的图像恢复任务,包括去模糊,超分辨率和去马赛克的实验结果表明,所提出的即插即用的图像恢复与深度去噪先验不仅显着优于其他国家的最先进的基于模型的方法,但也实现了竞争力,甚至优于性能对国家的最先进的基于学习的方法。源代码可在https://github.com/cszn/DPIR上获得。
2021-07-12 cs.CV eess.IV
Gradient Step Denoiser for convergent Plug-and-Play
Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院);CNRS(法国国家科学研究中心);IMB(波尔多数学研究所)
即插即用方法构成了一类迭代算法的成像问题,其中正则化是由现成的去噪。虽然即插即用的方法可以导致巨大的视觉性能的各种图像问题,现有的几个收敛保证是基于不切实际的(或次优的)假设的降噪,或限于强凸数据项。在这项工作中,我们提出了一种新的类型的即插即用的方法,基于半二次分裂,其中的去噪器实现为一个梯度下降步骤的功能参数化的深神经网络。利用近端梯度下降算法在非凸设置的收敛结果,我们表明,所提出的即插即用算法是一个收敛的迭代计划,目标是一个明确的全球功能的稳定点。此外,实验表明,与即插即用方案中使用的其他最先进的深度去噪器相比,可以学习这样的深度去噪器,同时不损害性能。我们将我们的近端梯度算法应用于各种不适定逆问题,例如去模糊、超分辨率和修复。对于所有这些应用程序,数值结果经验证实的收敛结果。实验结果表明,该算法在定量和定性上都达到了最佳性能。
2022-02-14 cs.CV eess.IV math.OC
PSI3D: Plug-and-Play 3D Stochastic Inference with Slice-wise Latent Diffusion Prior
Johns Hopkins University(约翰霍普金斯大学)
PSI3D通过切片式潜在扩散先验和总变分正则化,提升大规模3D随机推断在OCT超分辨率中的重建质量。
2026-08-06 cs.LG eess.IV
Linear Convergence of Plug-and-Play Algorithms with Kernel Denoisers
本研究针对带核去噪器的即插即用(PnP)算法求解线性逆问题的收敛性问题,构建统一框架证明对称与非对称核去噪器下PnP迭代的全局线性收敛性,推导多任务收敛速率量化界并通过数值实验验证。
2025-05-21 eess.IV math.OC
Multi Task Denoiser Training for Solving Linear Inverse Problems
Trinity College Dublin(都柏林三一学院)
本文提出通过多任务训练提升去噪器,使其在解决线性反问题时更高效,实现PSNR提升并减少迭代次数。
2025-12-04 eess.IV
Filtered Iterative Denoising for Linear Inverse Problems
迭代去噪算法(IDAs)在信号和图像处理中出现的一系列线性逆问题中取得了巨大的成功。这方面的经典例子是著名的迭代软阈值算法(ISTA),基于小波系数的软阈值。更现代的IDA方法用黑盒去噪器(如BM 3D或学习的深度神经网络去噪器)取代软阈值。这些方法通常被称为“即插即用”(Plug-and-Play)方法,因为原则上,现成的去噪器可用于各种不同的逆问题。使用PSNR方法的问题是,它们可能无法为特定的线性逆问题提供最佳解决方案;通常可以通过针对问题域定制的去噪器来获得更好的解决方案。然而,一个特定问题的去噪器需要昂贵的重新设计或重新学习,这就消除了使Pestrian方法具有吸引力的简单性和易用性。本文提出了一种新的IDA,它允许人们通过一个简单的线性滤波修改通常的梯度更新步骤,占特定的线性逆问题,更有效地使用一个一般的,黑盒去噪。滤波IDA(FIDA)是从经典的ISTA和小波去噪的观点数学推导出来的。我们的实验表明,FIDA可以产生优越的结果相比,现有的IDA方法与BM 3D。
2023-02-15 eess.IV
Inverse Problem of Ultrasound Beamforming with Denoising-Based Regularized Solutions
在过去的几年中,超声波束形成的逆问题公式已经吸引了越来越多的兴趣。他们通常将波束形成作为由测量模型产生的保真度项加上在所得图像上强制执行某个类别的正则化项的最小化问题。在这里,我们利用交替方向方法的乘数,提出了一个灵活的框架,其中每一项分别进行优化。此外,所提出的波束形成公式被扩展为通过去噪算法来替换正则化项,基于最近的称为即插即用(PIPE)和去噪正则化(RED)的方法。在这项工作中,这样的正则化,以更好地保留斑点纹理,超声成像中的一个重要特征,比以前提出的文献中基于稀疏的方法。所提出的方法的效率进行评估模拟,真正的幻影,和\textit{in vivo}数据可从一个平面波成像的挑战,在医疗超声。此外,还提供了与现有超声波束形成方法的全面比较。这些结果表明,RED算法给出了最好的图像质量方面的对比度指数,同时保留斑点统计。
2022-08-11 eess.IV
Saving Foundation Flow-Matching Priors for Inverse Problems
Department of Computer Science and Engineering, University of Minnesota, Minneapolis, Minnesota, USA(计算机科学与工程系,明尼苏达大学,明尼阿波利斯,明尼苏达州,美国)
本文提出FMPlug框架,通过实例引导和高斯性正则化提升基础流匹配模型在逆问题中的性能,尤其适用于样本少的科学问题。
2026-05-12 cs.CV cs.LG eess.IV
Denoising Diffusion Models for Plug-and-Play Image Restoration
ETH Zürich(苏黎世联邦理工学院);Nanyang Technological University(南洋理工大学);University of Würzburg(维尔茨堡大学);KU Leuven(鲁汶大学)
本文提出DiffPIR,将传统即插即用方法集成到扩散采样框架中,利用扩散模型的生成能力作为图像先验,在超分辨率、去模糊和修复任务上以不超过100次NFEs实现了最先进的重建保真度与感知质量。
2023-05-15 cs.CV eess.IV
Recovery Analysis for Plug-and-Play Priors using the Restricted Eigenvalue Condition
Washington University in St. Louis(圣路易斯华盛顿大学);University of California, Riverside(加州大学河滨分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
即插即用先验(PIPE)和去噪正则化(RED)方法已被广泛用于通过利用预训练的深度去噪器作为图像先验来解决逆问题。虽然这些算法的经验成像性能和理论收敛特性已被广泛研究,但它们的恢复特性以前没有进行过理论分析。我们解决这个差距,显示如何建立理论上的恢复保证PPENDIX/RED假设这些方法的解决方案位于一个深神经网络的固定点附近。我们还提出了数值结果比较的恢复性能的PPEND/RED压缩感知对最近的压缩感知算法的基础上生成模型。我们的数值结果表明,与现有的最先进的方法相比,具有预先训练的伪影去除网络的PSTIM提供了更好的结果。
2021-10-26 cs.CV cs.LG eess.IV
Deep Plug-and-Play HIO Approach for Phase Retrieval
针对相位恢复的非线性不适定性难题,本文推导了结合学习先验与Gerchberg-Saxton类算法的深度即插即用HIO方法的数学更新步骤,实验验证其在图像质量、效率及鲁棒性上均表现优异。
2025-01-17 cs.CV cs.LG eess.IV
REPNP: Plug-and-Play with Deep Reinforcement Learning Prior for Robust Image Restoration
Nanyang Technological University(南洋理工大学);Michigan State University(密歇根州立大学)
基于预训练深度模型的图像恢复方案由于其解决各种逆问题的独特灵活性而受到极大关注。特别是,即插即用(Plug-and-Play,简称PSTF)框架是一种流行且功能强大的工具,可以集成现成的深度去噪器,用于具有已知观测模型的不同图像恢复任务。然而,在实践中,获得与实际模型完全匹配的观测模型可能具有挑战性。因此,具有常规深度去噪器的PADER方案在一些现实世界的图像恢复任务中可能无法产生令人满意的结果。我们认为,使用现成的深度去噪器,通过确定性优化训练的PADER框架的鲁棒性在很大程度上是有限的。为此,我们提出了一种新的基于深度强化学习(DRL)的Pendash框架,称为RePNP,通过利用轻量级的基于DRL的去噪器来执行鲁棒的图像恢复任务。实验结果表明,该算法对PSNR方案中观测模型偏离实际观测模型的情况具有较好的鲁棒性.因此,RePNP可以为图像去模糊和超分辨率任务生成更可靠的恢复结果。与几种最先进的深度图像恢复基线相比,RePNP以较少的模型参数实现了更好的主观模型偏差结果。
2022-07-25 cs.CV eess.IV
From sparse recovery to plug-and-play priors, understanding trade-offs for stable recovery with generalized projected gradient descent
Univ. Bordeaux, Bordeaux INP, CNRS, IMB(波尔多大学,波尔多理工学院,法国国家科学研究中心,数学研究所)
本文提出了一种通用投影梯度下降框架,结合深度投影先验,以提高稀疏恢复和图像逆问题中的稳定性和鲁棒性。
2025-12-08 cs.NE eess.IV math.OC
Plug-and-Play Priors as a Score-Based Method
Washington University in St. Louis(华盛顿大学圣路易斯分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本研究提出将即插即用(PnP)方法视为基于分数的方法的新视角,通过数学关系将主流SBM适配为PnP先验,无需重训练即可复用SBM,还能实现两类重建方法的同先验直接比较。
2024-12-15 cs.CV eess.IV
Tuning-free Plug-and-Play Hyperspectral Image Deconvolution with Deep Priors
CNRS(法国国家科学研究中心);OCA(蔚蓝海岸天文台);Northwestern Polytechnical University(西北工业大学)
针对高光谱图像反卷积中手工设计正则项与调参困难的问题,提出基于ADMM分解、B3DDN深度先验和3D残差白度调参的无需调参PnP算法,在模拟与真实数据上表现更优。
2023-02-06 cs.CV eess.IV
Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction
Carnegie Mellon University(卡内基梅隆大学)
针对一般非线性逆问题,本文提出交替调用近端一致性采样器与扩散去噪采样器的DPnP框架,并给出渐近及非渐近鲁棒性保证。
2024-06-12 cs.CV cs.LG eess.IV
Overcoming Distribution Shifts in Plug-and-Play Methods with Test-Time Training
Washington University in St. Louis(圣路易斯华盛顿大学);University of California Riverside(加州大学河滨分校)
本文提出PnP-TTT方法,利用深度平衡学习在PnP迭代固定点优化自监督损失,以克服训练与测试数据分布偏移,并在足够测量下实现自然图像先验用于MRI重建。
2024-03-15 cs.CV eess.IV
Deep Distillation Gradient Preconditioning for Inverse Problems
Universidad Industrial de Santander(桑坦德工业大学)
本文提出了一种基于知识蒸馏的非线性预条件化方法,用于解决逆问题中的收敛性和重建质量问题,通过预条件神经网络实现梯度匹配,提升单像素成像、磁共振成像和超分辨率成像任务的性能。
2025-08-06 eess.IV
Robust plug-and-play methods for highly accelerated non-Cartesian MRI reconstruction
提出无监督预处理生成干净复数MRI信号训练去噪DNN,并引入退火HQS算法解决不稳定性,结合预条件技术实现高加速非笛卡尔MRI重建的最先进性能。
2024-11-04 cs.CV eess.IV
Equivariance Regularization for Image Reconstruction
University of Cambridge(剑桥大学)
在这项工作中,我们提出了正则化等方差(REV),一种新的结构自适应正则化方案解决成像逆问题下不完全测量。该正则化方案利用了测量物理学中的等变结构-这在许多逆问题(如断层图像重建)中很普遍-以减轻逆问题的病态。我们提出的方案可以应用在一个即插即用的方式与任何经典的一阶优化算法,如加速梯度下降/FISTA简单和快速收敛。稀疏视图X射线CT图像重建任务的数值实验证明了我们的方法的有效性。
2022-02-12 cs.CV cs.LG eess.IV
Fluctuation-based deconvolution in fluorescence microscopy using plug-and-play denoisers
UCA(蔚蓝海岸大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);University of Bath(巴斯大学)
由于可见光的衍射,通过荧光显微镜获得的活体样品图像的空间分辨率在物理上受到限制,这使得研究尺寸小于衍射屏障(x-y平面中约200 nm)的实体非常具有挑战性。为了克服这个限制,已经提出了几种去卷积和超分辨率技术。在逆问题的框架内,荧光显微镜的现代方法通过仔细设计合适的手工制作的稀疏促进调节剂,从帧的时间堆栈重建超分辨率图像。数值上,这种方法是解决了近端梯度为基础的迭代计划。为了获得更适合样本几何形状(例如细丝)的重建,我们采用了具有收敛保证的即插即用去噪方法,并将与显式图像正则化器相关的邻近算子替换为图像去噪器(即预先训练的网络),该去噪器在适当的训练后模仿隐式先验的动作。为了解释分子之间波动的独立性,该模型依赖于二阶统计。然后在来自表示具有细丝结构的波动荧光分子序列的数据的协方差图像上训练去噪器。模拟和真实的荧光显微镜图像上的方法进行评估,显示其能够正确地重建细丝结构与高值的峰值信噪比(PSNR)。
2023-03-20 cs.AI eess.IV math.OC
Practical Operator Sketching Framework for Accelerating Iterative Data-Driven Solutions in Inverse Problems
University of Birmingham(伯明翰大学);University of Cambridge(剑桥大学)
本文提出基于随机优化草图技术的通用算子草图框架,用于加速成像逆问题中的 PnP 与深度展开等迭代数据驱动重建方法,并给出理论保证与实验验证。
2024-12-05 cs.CV cs.LG eess.IV
Provable Probabilistic Imaging using Score-Based Generative Priors
California Institute of Technology(加州理工学院)
提出即插即用蒙特卡洛(PMC)框架,结合基于分数的生成先验,通过后验采样在求解逆问题中实现高质量图像重建与不确定性量化,并提供非渐近平稳性理论保证。
2024-08-28 cs.CV cs.LG eess.IV
The AIRI plug-and-play algorithm for image reconstruction in radio-interferometry: variations and robustness
本文提出AIRI即插即用算法的变体,通过引入原始-对偶骨干扩展受约束SARA算法,验证其对不同训练数据的鲁棒性,并开发模型不确定性量化功能,在仿真与真实射电干涉数据上表现优异。
2024-08-22 astro-ph.IM eess.IV
Frozen CLIP Priors for Robust Self-Supervised Poisson Inverse Problems
Universidad Industrial de Santander(桑坦德工业大学)
本文提出基于冻结CLIP RN50的即插即用求解器,结合GR2R重损坏与等变成像正则化,实现自监督泊松逆问题,在泊松CFA去马赛克等任务上性能接近监督训练且鲁棒性提升。
2026-08-24 cs.CV eess.IV
Instabilities in Plug-and-Play (PnP) algorithms from a learned denoiser
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
众所周知,反问题是不适定的,为了有意义地求解它们,必须采用正则化方法。传统上,流行的正则化方法是惩罚变分方法。近年来,经典的正则化方法已经被所谓的即插即用(Plug-and-Play,PSTA)算法所超越,PSTA算法复制了近似梯度最小化过程,如ADMM或FISTA,但具有任何通用的去噪器。然而,与传统的邻近梯度方法不同,这些PNP算法的理论基础、收敛性和稳定性结果都是不够的。因此,从这些算法获得的结果,虽然经验上很突出,但并不总是完全可信的,因为它们可能包含某些不稳定性或由去噪器产生的(幻觉)特征,特别是在使用预先训练的学习去噪器时。事实上,在本文中,我们证明了当使用预训练的基于深度学习(DnCNN)的去噪器时,PnP算法可以诱导幻觉特征。我们表明,这种不稳定性是完全不同的不稳定性固有的不适定问题。我们还提出了克服这些不稳定性和显着提高回收率的方法。我们比较了学习去噪器与经典去噪器(这里是BM 3D)的优缺点,以及FISTA-Pestra算法与ADMM-Pestra算法的有效性。此外,我们还提供了一个算法,结合这两个去噪,学习和经典,在加权的方式,以产生更好的结果。我们的结论与数值结果验证了发达国家的理论。
2021-08-17 cs.CV cs.NA eess.IV
CoSIGN: Few-Step Guidance of ConSIstency Model to Solve General INverse Problems
University of Michigan(密歇根大学)
本文提出CoSIGN框架,利用一致性模型作为先验,通过ControlNet软约束和优化硬约束实现1-2步的少步逆问题求解,在保持高质量的同时大幅减少采样步数,达到新的最先进水平。
2024-07-17 cs.CV eess.IV
Joint learning of variational representations and solvers for inverse problems with partially-observed data
IMT Atlantique(大西洋国立高等工业技术与矿业学校);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院)
设计适当的变分正则化方案是求解反问题的关键部分,使其更好地提出并保证相关优化问题的解满足期望的性质。最近,基于学习的策略似乎是非常有效的解决逆问题,通过学习直接反演方案或即插即用正则化器从可用的真状态和观测对。在本文中,我们更进一步,设计了一个端到端的框架,允许学习实际的变分框架,在这样的监督设置的反问题。变分成本和基于梯度的求解器都被称为神经网络,后者使用自动微分。我们可以联合学习两个分量,以最小化真实状态的数据重建误差。这导致了变分模型的数据驱动发现。我们考虑一个应用程序的反问题与不完整的数据集(图像修补和多元时间序列插值)。我们的实验表明,这个框架可以导致重建性能方面的显着增益,包括w.r.t.从已知生成模型导出的变分公式的直接最小化。
2020-06-05 cs.LG eess.IV eess.SP
Plug-and-Play Diffusion Meets ADMM: Dual-Variable Coupling for Robust Medical Image Reconstruction
ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学)
提出双耦合即插即用扩散(DC-PnPDP)框架,通过引入经典对偶变量提供积分反馈并采用频谱均匀化(SH)处理结构伪影,解决了现有PnP求解器的稳态偏差和幻觉问题,在CT和MRI重建中实现了最先进的保真度和加速收敛。
2026-06-03 cs.CV cs.LG eess.IV
Model-Aware Regularization For Learning Approaches To Inverse Problems
University College London(伦敦大学学院)
存在各种逆问题-包括医学成像中出现的重建问题-其中人们通常知道将感兴趣的变量映射到观察结果的正向算子。因此,很自然地会问,是否可以在越来越多地用于解决逆问题的深度学习方法中利用正向算子的这种知识。在本文中,我们通过分析适用于逆问题的深度学习方法的泛化误差来提供这样一种方法。特别是,通过建立在算法鲁棒性框架的基础上,我们提供了一个泛化误差界,它封装了与学习问题相关的关键因素,如数据空间的复杂性、训练集的大小、深度神经网络的雅可比矩阵以及前向算子与神经网络的组合的雅可比矩阵。然后,我们提出了一个“即插即用”的正则化器,它利用前向映射的知识来提高网络的泛化能力。我们同样也提出了一种新的方法,使我们能够严格上限的Lipschitz常数的相关功能,这是更有效的计算比现有的。我们证明了我们的模型感知正则化深度学习算法对其他最先进的方法的有效性,这些方法涉及各种子采样算子,例如经典压缩感知设置和加速磁共振成像(MRI)中使用的算子。
2020-06-18 cs.CV cs.LG eess.IV
Robustness of Deep Equilibrium Architectures to Changes in the Measurement Model
Washington University in St. Louis(圣路易斯华盛顿大学)
基于深度模型的体系结构(DMBA)广泛用于成像逆问题,以集成物理测量模型和学习的图像先验。即插即用先验模型(Plug-and-Play Priors,简称PPENS)和深度均衡模型(Deep Equilibrium Model,简称DEQ)是两个受到广泛关注的DMBA框架。两者之间的关键区别在于,DEQ中的图像先验是通过使用特定的测量模型来训练的,而PADQ中的图像先验是作为一般的图像去噪器来训练的。这种差异背后的一个共同假设是,与DEQ相比,PADQ对测量模型的变化更具鲁棒性。本文研究了DEQ先验对测量模型变化的鲁棒性。我们对两个成像逆问题的研究结果表明,在不匹配的测量模型下训练的DEQ先验优于图像去噪。
2022-11-01 cs.CV eess.IV
Plug-and-Play Regularization on Magnitude with Deep Priors for 3D Near-Field MIMO Imaging
METU(中东技术大学)
本文提出一种基于深度先验的幅度即插即用正则化方法,通过ADMM框架和三维深度去噪器,实现快速高效的三维近场MIMO成像重建,性能优于传统方法。
2024-03-13 cs.LG eess.IV eess.SP