PnP-3D: A Plug-and-Play for 3D Point Clouds
Data61, CSIRO (The Commonwealth Scientific and Industrial Research Organisation)（澳大利亚联邦科学与工业研究组织 Data61）；School of Engineering, Australian National University（澳大利亚国立大学工程学院）；School of Computing, Australian National University（澳大利亚国立大学计算机学院）
在深度学习范式的帮助下，许多点云网络被发明用于可视化分析。然而，这些网络的发展有很大的潜力，因为点云数据的给定信息尚未得到充分利用。为了提高现有网络在分析点云数据时的有效性，我们提出了一个即插即用的模块，PSTK-3D，旨在通过从显式3D空间和隐式特征空间引入更多的局部上下文和全局双线性响应来细化基本点云特征表示。为了彻底评估我们的方法，我们对三个标准点云分析任务进行实验，包括分类，语义分割和目标检测，我们从每个任务中选择三个最先进的网络进行评估。作为一个即插即用的模块，PPERT-3D可以显着提高已建立的网络的性能。除了在四个广泛使用的点云基准上实现最先进的结果外，我们还提出了全面的消融研究和可视化来证明我们方法的优势。该代码将在https://github.com/ShiQiu0419/pnp-3d上提供。
2021-12-17 cs.CV
Plug-and-Play Multi-Concept Adaptive Blending for High-Fidelity Text-to-Image Synthesis
PnP-MIX通过引导外观注意力和掩码引导噪声混合策略，实现高保真文本到图像合成中多概念的无缝整合，无需额外调优。
2025-11-18 cs.AI cs.CV
Beyond MMSE: Enhancing PnP Restoration with ProxiMAP
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家科学研究中心）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工大学）；LJK（实验室）；MaLGa Centre（MaLGa中心）；DIBRIS（DIBRIS研究所）；Università di Genova（热那亚大学）；MMS（MMS机构）；Italian Institute of Technology（意大利理工学院）
本文提出ProxiMAP，通过调整噪声调度使去噪器保持分布内，实现更稳定的图像重建，适用于去模糊、补全、超分辨率和相位恢复等任务。
2026-11-09 cs.CV cs.LG
A Unified Plug-and-Play Algorithm with Projected Landweber Operator for Split Convex Feasibility Problems
University of National University of Defense Technology（国防科技大学）
针对逆成像中 PnP 方法步长理论保证困难且仅限高斯噪声的问题，提出基于投影 Landweber 算子的自适应 PnP-PLO 算法，在图像去模糊等实验中优于 RED 等方法。
2024-08-22 cs.CV
$\mathrm{S}^3$-PnP: Plug-and-Play Denoising for Scientific Imaging with Self-Supervised Score Priors
Xi’an Jiaotong University（西安交通大学）；Northwestern Polytechnical University（西北工业大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Hong Kong Polytechnic University（香港理工大学）；ETH Zürich（苏黎世联邦理工学院）
针对科学成像中监督训练缺乏干净目标的问题，提出S³-PnP自监督即插即用复原框架，通过ADMM中间状态学习得分先验，在三类成像去噪任务中性能优于对比方法。
2026-10-14 cs.CV
A Fast Stochastic Plug-and-Play ADMM for Imaging Inverse Problems
University of Edinburgh（爱丁堡大学）
在这项工作中，我们提出了一个有效的随机即插即用（PPENS）成像逆问题的算法。最近提出了PSNR随机梯度下降法，并在某些成像应用中显示出比标准确定性PSNR方法更好的性能。然而，当前的随机PSNR方法需要频繁地计算图像去噪器，这在计算上是昂贵的。为了克服这个限制，我们提出了一个新的随机PnP-ADMM方法，它是基于引入随机梯度下降内循环内不精确的ADMM框架。在标准假设下，我们给出了算法不动点收敛的理论保证。我们的数值结果表明，我们的方法相比，国家的最先进的Pestrian方法的有效性。
2020-06-23 cs.CV math.OC
Plug-and-Play VQA: Zero-shot VQA by Conjoining Large Pretrained Models with Zero Training
Salesforce Research（Salesforce研究院）；Nanyang Technological University（南洋理工大学）
视觉问答是视觉和语言推理的一个重要标志，也是zero-shot情境下的一项具有挑战性的任务。我们提出了即插即用VQA（PNP-VQA），一个模块化的框架zero-shot VQA。与大多数现有的工程，这需要大量的适应预训练的语言模型（PLM）的视觉模态，PNP-VQA不需要额外的培训的PLM。相反，我们建议使用自然语言和网络解释作为中间表示，将预训练的模型粘合在一起。我们首先生成问题引导的信息图像标题，并将标题传递给PLM作为问答的上下文。PNP-VQA超越了端到端的训练基线，在zero-shot VQAv 2和GQA上实现了最先进的结果。使用11 B参数，它在VQAv 2上的性能比80 B参数Flamingo模型高出8.5%。在738 M PLM参数下，PNP-VQA比FewVLM在740 M PLM参数下的GQA提高了9.1%。代码发布于https://github.com/salesforce/LAVIS/tree/main/projects/pnp-vqa
2023-03-20 cs.CV
Plug and play methods for magnetic resonance imaging (long version)
The Ohio State University（俄亥俄州立大学）；Purdue University（普渡大学）
磁共振成像（MRI）是一种非侵入性诊断工具，可在不使用电离辐射的情况下提供出色的软组织对比。与其他临床成像模式（例如，CT或超声），然而，MRI的数据采集过程固有地慢，这激发了欠采样，从而驱动了对来自欠采样数据集的准确、高效重建方法的需求。在这篇文章中，我们描述了使用“即插即用”（PSTO）算法的MRI图像恢复。我们首先描述的线性近似的逆问题中遇到的MRI。然后，我们回顾了几个Pendash方法，其中统一的共性是迭代调用去噪子例程作为一个更大的优化启发算法的一个步骤。接下来，我们将描述如何将Pestrian方法的结果解释为平衡方程的解，从而从平衡的角度进行收敛性分析。最后，我们提出了说明性的例子，Pestrian方法应用于MRI图像恢复。
2019-12-10 cs.CV
You KAN Do It in a Single Shot: Plug-and-Play Methods with Single-Instance Priors
Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系）；University of Cambridge（剑桥大学）；Yau Mathematical Sciences Center（叶中伟数学科学中心）；Tsinghua University（清华大学）
提出 KAN-PnP 优化框架，将 KAN 作为去噪器融入即插即用范式解决单实例先验逆问题，证明了其 Lipschitz 连续性与收敛性，并在超分辨率等任务上以更少迭代实现高精度。
2025-05-02 cs.CV
Scene-Adapted Plug-and-Play Algorithm with Guaranteed Convergence: Applications to Data Fusion in Imaging
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
最近提出的即插即用（PIPE）框架允许利用图像去噪的最新发展来解决其他更复杂的成像逆问题。在Pestrian方法中，黑盒去噪器被插入到迭代算法中，代替对应于某些凸正则化器的邻近算子的正式去噪步骤。虽然这种方法提供了灵活性和优异的性能，但所得到的算法的收敛性可能很难分析，因为大多数最先进的去噪器缺乏明确的底层目标函数。在本文中，我们提出了一种Pestival方法，其中场景适应先验（即，其中去噪器针对被成像的特定场景）被插入到ADMM（交替方向乘法器方法）中，并证明所得到的算法的收敛性。最后，我们将该框架应用于两个不同的成像逆问题：高光谱锐化/融合和模糊/噪声图像对的图像去模糊。
2018-01-02 cs.CV
PnP-AdaNet: Plug-and-Play Adversarial Domain Adaptation Network with a Benchmark at Cross-modality Cardiac Segmentation
Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）；Department of Computing, Imperial College London（帝国理工学院计算机系）；Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系）；Imsight Medical Technology, Co, Ltd., China（中国医视医疗科技有限公司）；School of Data Science, Fudan University, China（复旦大学数据科学学院）
深度卷积网络已经在各种医学图像计算任务上展示了最先进的性能。利用来自不同模态的图像进行相同的分析任务具有临床益处。然而，深度模型对具有不同分布的测试数据的泛化能力仍然是一个主要挑战。在本文中，我们提出了PnPAdaNet（即插即用对抗性领域自适应网络），用于在不同模态的医学图像之间适应分割网络，例如，MRI和CT。我们建议通过以无监督的方式对齐源域和目标域的特征空间来解决显著的域偏移。具体地，领域自适应模块灵活地替换源网络的早期编码器层，并且较高层在域之间共享。通过对抗学习，我们构建了两个鉴别器，其输入分别是多级特征和预测的分割掩码。我们已经验证了我们的领域自适应方法对心脏结构分割在不成对的MRI和CT。综合消融研究的实验结果证明了我们提出的PnP-AdaNet的出色功效。此外，我们在心脏数据集上引入了一个新的基准，用于无监督的跨模态领域自适应任务。我们将公开我们的代码和数据库，旨在促进医学成像领域这一具有挑战性但重要的研究课题的未来研究。
2018-12-19 cs.CV
FlowADMM: Plug-and-play ADMM with Flow-based Renoise-Denoise Priors
Computer Vision Group, University of Siegen（Siegen大学计算机视觉组）
本文提出FlowADMM算法，通过将重噪-去噪操作整合到经典ADMM框架中，解决了基于流的即插即用方法的收敛性问题，并在逆问题中取得了最佳性能。
2026-05-09 cs.CV
PnP-Flow: Plug-and-Play Image Restoration with Flow Matching
ENS de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LIP（计算机并行实验室）
本文提出PnP-Flow算法，结合即插即用框架与流匹配模型，通过交替梯度下降、重投影和去噪解决成像逆问题，在去噪、超分、去模糊和修复任务上超越现有方法。
2025-09-09 cs.CV cs.LG
BiWM: Advancing Open-Source Interactive Video World Models with Bidirectional Autoregression
LynnReal AI；Shanghai Innovation Institute（上海创新研究院）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
提出BiWM框架，通过双向自回归范式将预训练视频骨干转化为交互式世界模型，仅需两阶段训练（微调+分布匹配蒸馏），支持多尺度模型和长程生成，优于现有因果流水线。
2026-07-27 cs.AI cs.CV
Overcoming Distribution Shifts in Plug-and-Play Methods with Test-Time Training
Washington University in St. Louis（圣路易斯华盛顿大学）；University of California Riverside（加州大学河滨分校）
本文提出PnP-TTT方法，利用深度平衡学习在PnP迭代固定点优化自监督损失，以克服训练与测试数据分布偏移，并在足够测量下实现自然图像先验用于MRI重建。
2024-03-15 cs.CV eess.IV
Plug-and-Play Methods Provably Converge with Properly Trained Denoisers
University of California, Los Angeles（加州大学洛杉矶分校）；Texas A&M University（得克萨斯农工大学）
即插即用（Plug-and-Play，PPENS）是一种非凸框架，它将现代去噪先验（如基于BM 3D或深度学习的去噪器）集成到ADMM或其他近似算法中。Pandem的一个优点是，当没有足够的数据进行端到端训练时，可以使用预先训练的去噪器。虽然最近对Pesticide进行了广泛的研究，并取得了巨大的经验成功，但即使是最基本的收敛问题的理论分析也是不够的。在本文中，我们从理论上建立收敛的PnP-FBS和PnP-ADMM，不使用递减步长，在一定的Lipschitz条件下的去噪。然后，我们提出了实谱归一化，这是一种用于训练基于深度学习的去噪器以满足所提出的Lipschitz条件的技术。最后，我们提出的实验结果验证了理论。
2019-05-14 cs.CV eess.IV
An Online Plug-and-Play Algorithm for Regularized Image Reconstruction
Washington University in St. Louis（圣路易斯华盛顿大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
即插即用先验（Plug-and-Play Priors，PAPH）是一个强大的框架，通过在迭代算法中使用先进的去噪器来正则化成像逆问题。最新的实验证据表明，PADER算法在一系列成像应用中实现了最先进的性能。本文提出了一种基于迭代收缩/阈值算法（ISTA）的在线PSNR算法。所提出的算法在每次迭代时仅使用测量值的子集，这使得它可以扩展到非常大的数据集。我们提出了一个新的理论收敛性分析，PnP-ISTA的批量和在线变体，去噪器不一定对应于邻近的运营商。我们还提出了模拟说明该算法在衍射层析成像图像重建的适用性。本文中的结果有可能将PADER框架的适用性扩展到非常大的冗余数据集。
2018-09-12 cs.CV eess.IV
Plug-and-Play Algorithm Convergence Analysis From The Standpoint of Stochastic Differential Equation
School of Electronic Electrical and Communication Engineering（电子电气与通信工程学院）；University of Chinese Academy of Science（中国科学院大学）
针对即插即用算法结合高级去噪器时的收敛性理论缺失，本文提出将其离散迭代转化为连续随机微分方程，并基于SDE可解性条件构建统一收敛框架，发现有界去噪器配合Lipschitz连续测量函数即可保证收敛。
2024-04-22 cs.CV math.PR
Plug-and-Play Image Restoration with Flow Matching: A Continuous Viewpoint
Department of Mathematics, University of Utah, Salt Lake City, UT 84112, USA（犹他大学数学系）；Los Alamos National Laboratory, Los Alamos, USA（洛斯阿拉莫斯国家实验室）；Department of Mathematics, University of California, Los Angeles, USA（加州大学洛杉矶分校数学系）
本文提出基于随机微分方程的即插即用流匹配模型，通过量化误差和加速模型来提升图像恢复性能。
2025-12-03 cs.CV cs.LG
Regularized Fourier Ptychography using an Online Plug-and-Play Algorithm
Washington University in St. Louis（圣路易斯华盛顿大学）；Boston University（波士顿大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
即插即用先验（PAPK）框架最近已被证明可以通过在迭代算法中利用复杂的去噪器来实现正则化图像重建中的最新结果。本文提出了一种基于快速迭代收缩/阈值算法（FISTA）的傅立叶重叠关联显微术（FPM）的在线PSTK算法。具体而言，所提出的算法只使用测量的一个子集，这使得它可扩展到一个大的测量集。我们验证了该算法，它可以导致显着的性能增益的模拟和实验数据。
2018-11-02 cs.CV
Deep End-to-End Posterior ENergy (DEEPEN) for image recovery
University of Virginia（弗吉尼亚大学）
针对现有图像重建算法无法兼顾后验采样与端到端训练的问题，提出DEEPEN框架，通过端到端最大似然优化学习后验参数，兼具MAP估计与采样能力，性能更优、采样更快且鲁棒性更强。
2025-03-21 cs.CV cs.LG eess.IV
Plug-and-Play Deep Energy Model for Inverse problems
University of Iowa（爱荷华大学）
我们介绍了一种新的能量配方即插即用（PPERS）图像恢复。使用卷积神经网络（CNN）的传统PSNR方法不具有基于能量的公式。这项工作的主要重点是引入一种基于能量的Pestrian公式，该公式依赖于CNN，该CNN从训练数据中学习图像的对数。评分函数被评估为能量模型的梯度，其类似于具有共享编码器和解码器权重的UNET。因此，所提出的评分函数被约束到一个保守的向量场，这是与经典的Pestrian模型的关键区别。基于能量的公式提供了算法的收敛保证，即使当学习的分数模型不是一个收缩。收缩约束的放松允许所提出的模型学习更复杂的先验知识，从而提供了比传统的Pestrian方案更好的性能。我们在磁共振图像重建中的实验表明，所提出的能量模型比传统的PSNR方法提供了更好的性能。
2023-02-15 cs.CV cs.LG eess.IV
Plug-and-Play Algorithms for Large-scale Snapshot Compressive Imaging
Bell Labs（贝尔实验室）；MIT（麻省理工学院）
快照压缩成像（SCI）旨在使用2D传感器（检测器）在单个快照中捕获高维（通常为3D）图像。尽管SCI具有低带宽、低功耗和低成本的优势，但将其应用于日常生活中的大规模问题（高清或超高清视频）仍然具有挑战性。瓶颈在于重建算法;它们要么太慢（迭代优化算法），要么对编码过程不灵活（基于深度学习的端到端网络）。在本文中，我们开发了快速和灵活的算法SCI的基础上，即插即用（PPENS）的框架。在广泛使用的PnP-ADMM算法的基础上，进一步提出了计算量较小的PnP-GAP（广义交替投影）算法，并证明了PnP-GAP算法在SCI硬件约束下的收敛性.通过采用深度去噪先验，我们首次表明PNDG可以从快照2D测量恢复UHD彩色视频（PNSR高于30 dB的$3840\times 1644\times 48$）。仿真和真实数据集上的大量结果验证了我们提出的算法的优越性。该代码可在https://github.com/liuyang12/PnP-SCI上获得。
2020-07-17 cs.CV eess.IV
Plug-and-play ISTA converges with kernel denoisers
Indian Institute of Science（印度科学学院）
即插即用（Plug-and-Play，PAPK）方法是最近的图像正则化范例，其中迭代算法中的邻近算子（与某些给定的正则化器相关联）被替换为强大的去噪器。从数学上讲，这涉及（前向模型的）重复反演和去噪直到收敛。值得注意的是，Pestrian正则化为几个恢复应用程序产生了有希望的结果。然而，在这方面的一个基本问题是理论上的收敛性的Pestrian迭代，因为该算法不是严格地从优化框架。这一问题在最近的研究中得到了探讨，但仍有许多问题没有得到解决。例如，如果我们在ISTA框架（PnP-ISTA）内使用通用内核去噪器（例如非局部均值），则不知道是否可以保证收敛。我们证明，在合理的假设下，PnP-ISTA的不动点收敛确实保证了线性逆问题，如去模糊，修复和超分辨率（假设是可验证的修复）。我们比较我们的理论研究结果与现有的结果，验证它们的数值，并解释其实际意义。
2020-04-14 cs.CV eess.IV
Free-breathing Cardiovascular MRI Using a Plug-and-Play Method with Learned Denoiser
The Ohio State University（俄亥俄州立大学）
心脏磁共振成像（CMR）是一种无创的成像方式，提供了一个全面的评价心血管系统。然而，CMR的临床应用受到长采集时间的阻碍。在这项工作中，我们提出并验证了一种即插即用（PSTO）方法，用于欠采样多线圈数据的CMR重建。为了充分利用CMR中固有的丰富图像结构，我们将Pandem框架与基于深度学习（DL）的去噪器配对，该去噪器使用来自高质量屏气心脏电影图像的时空补丁进行训练。由此产生的“PnP-DL”方法迭代数据一致性和去噪子例程。我们使用8个屏气和10个实时（RT）自由呼吸心脏电影数据集比较PnP-DL与压缩感知（CS）的重建性能。我们发现，对于屏气数据集，PnP-DL提供了超过一个dB的优势，常用的CS方法。对于RT自由呼吸数据集，其中地面实况不可用，PnP-DL在定性评价中获得更高的分数。结果突出了PnP-DL加速RT CMR的潜力。
2020-02-08 cs.CV cs.LG eess.IV
Proximal Denoiser for Convergent Plug-and-Play Optimization with Nonconvex Regularization
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；IMB（波尔多数学研究所）
即插即用（Plug-and-Play，PAPK）方法通过用去噪操作替换邻近算子，通过迭代邻近算法来解决不适定的逆问题。当与深度神经网络去噪器一起应用时，这些方法在图像恢复问题上表现出了最先进的视觉性能。然而，他们的理论趋同分析仍然是不完整的。大多数现有的收敛结果考虑非扩张去噪，这是不现实的，或限制他们的分析强凸数据保真度项的反问题来解决。最近，有人提出将去噪器训练为由深度神经网络参数化的泛函上的梯度下降步骤。使用这样的去噪器保证了半二次分裂（PnP-HQS）迭代算法的PnP版本的收敛性。在本文中，我们表明，这种梯度去噪实际上可以对应于另一个标量函数的邻近算子。给出了这个新结果，我们利用非凸条件下邻近算法的收敛性理论，得到了PnP-PGD（邻近梯度下降法）和PnP-ADMM（乘子的交替方向法）的收敛性结果.当建立在一个平滑梯度去噪器的顶部，我们表明，PnP-PGD和PnP-ADMM是收敛的，目标固定点的显式功能。这些收敛结果与去模糊，超分辨率和修补的数值实验证实。
2022-06-21 cs.CV math.OC
To what extent can Plug-and-Play methods outperform neural networks alone in low-dose CT reconstruction
University of California, Los Angeles（加州大学洛杉矶分校）
最近，低剂量CT重建引入了即插即用（Plug-and-Play，简称PSTO）框架，以利用基于模型的方法的可解释性和灵活性来整合各种插件，例如经过训练的深度学习（DL）神经网络。然而，PADER与最先进的DL方法的优势尚未得到明确证明。在这项工作中，我们提出了一个改进的PSTK框架，以解决以前的限制，并制定临床相关的分割指标的定量结果评估。与单独的DL方法相比，我们提出的PSNR框架在MSE和PSNR方面略差。然而，所得到的图像的功率谱更好地匹配全剂量图像比DL去噪图像。对于测试集中的所有10名患者，所得到的图像在气道分割方面比DL去噪图像支持更高的准确性，在横截面小于0.61 cm $^2$的气道上更显著，并且在肺叶分割中，50个肺叶中有45个优于DL去噪图像。事实证明，我们的Pestrian方法在保留图像纹理方面明显更好，这在自动结构分割和检测中转化为特定任务的好处。
2022-02-15 cs.CV eess.IV
Block Coordinate Plug-and-Play Methods for Blind Inverse Problems
Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出块坐标即插即用（BC-PnP）方法，通过在图像和测量算子上同时引入去噪先验并建立非凸收敛理论，高效求解 MRI 线圈灵敏度估计和盲去模糊等盲逆问题。
2023-10-26 cs.CV cs.LG eess.IV
LATINO-PRO: LAtent consisTency INverse sOlver with PRompt Optimization
CNRS（法国国家科学研究中心）；Univ. Bordeaux（波尔多大学）；INRIA（法国国家信息与自动化研究所）；Bordeaux INP（波尔多国立高等工程技术学院）；Heriot-Watt University（赫瑞瓦特大学）；Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）
针对文本到图像生成模型用于零样本PnP成像逆问题的提示适配难、计算成本高问题，提出嵌入LCM先验的LATINO框架及带提示自校准的LATINO-PRO，大幅提升重建质量与效率。
2025-09-03 cs.CV cs.LG
Generative Plug and Play: Posterior Sampling for Inverse Problems
Purdue University（普渡大学）
针对传统即插即用（PnP）方法仅能生成单一确定性重建图像的局限，提出生成式即插即用（GPnP）框架，将前向与去噪先验模型扩展为近端生成器以交替采样后验分布，经BM3D去噪器实验验证其在稀疏插值和断层重建任务中鲁棒易实现、采样结果合理。
2023-06-12 cs.CV eess.IV
Plug-and-Play: Improve Depth Estimation via Sparse Data Propagation
National Tsin Hua University（国立清华大学）；NEC Labs America（NEC美国实验室）；National Chiao Tung University（国立交通大学）
我们提出了一种新的即插即用（PAPK）模块，用于提高深度预测，以任意模式的稀疏深度作为输入。给定任何预先训练的深度预测模型，我们的Pestival模块更新中间特征图，以便模型输出与给定稀疏深度一致的新深度。我们的方法不需要额外的训练，并且可以应用于实际应用，例如利用RGB和稀疏LiDAR点来鲁棒地估计密集深度图。我们的方法实现了对室内（即，NYU-v2）和室外（即，KITTI）数据集。在实验中还合成了各种类型的激光雷达，以验证我们的PADAR模块在实践中的普遍适用性。有关项目页面，请参见https://zswang666.github.io/PnP-Depth-Project-Page/
2019-04-11 cs.CV eess.IV
PnP-ReG: Learned Regularizing Gradient for Plug-and-Play Gradient Descent
Inria Rennes – Bretagne-Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所）
即插即用（Plug-and-Play，PSTO）框架使得将先进的图像去噪先验集成到优化算法中成为可能，从而有效地解决了通常被公式化为最大后验概率（Maximum A Posteriori，MAP）估计问题的各种图像恢复任务。即插即用交替方向乘法器（ADMM）和去噪正则化（RED）算法是这类方法的两个例子，在图像恢复方面取得了突破。然而，虽然前一种方法只适用于近似算法，但最近已经表明，当去噪器缺乏雅可比对称性时，不存在解释RED算法的正则化，这恰好是大多数实际去噪器的情况。据我们所知，没有一种方法可以训练直接表示正则化器梯度的网络，这可以直接用于即插即用的基于梯度的算法。我们表明，它是可能的训练网络直接建模的MAP正则化梯度，同时共同训练相应的MAP去噪。我们使用这个网络在基于梯度的优化方法，并获得更好的结果相比，其他通用的即插即用的方法。我们还证明了正则化器可以用作展开梯度下降的预训练网络。最后，我们表明，由此产生的去噪器允许一个更好的收敛的即插即用ADMM。
2023-03-03 cs.CV cs.LG eess.IV
Analysis Plug-and-Play Methods for Imaging Inverse Problems
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出分析即插即用方法，将去噪先验从图像域迁移至梯度域，并基于HQS和ADMM设计两种重建算法，在去模糊和超分辨率上取得与图像域PnP相当的性能。
2025-09-18 cs.CV eess.IV
Instabilities in Plug-and-Play (PnP) algorithms from a learned denoiser
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
众所周知，反问题是不适定的，为了有意义地求解它们，必须采用正则化方法。传统上，流行的正则化方法是惩罚变分方法。近年来，经典的正则化方法已经被所谓的即插即用（Plug-and-Play，PSTA）算法所超越，PSTA算法复制了近似梯度最小化过程，如ADMM或FISTA，但具有任何通用的去噪器。然而，与传统的邻近梯度方法不同，这些PNP算法的理论基础、收敛性和稳定性结果都是不够的。因此，从这些算法获得的结果，虽然经验上很突出，但并不总是完全可信的，因为它们可能包含某些不稳定性或由去噪器产生的（幻觉）特征，特别是在使用预先训练的学习去噪器时。事实上，在本文中，我们证明了当使用预训练的基于深度学习（DnCNN）的去噪器时，PnP算法可以诱导幻觉特征。我们表明，这种不稳定性是完全不同的不稳定性固有的不适定问题。我们还提出了克服这些不稳定性和显着提高回收率的方法。我们比较了学习去噪器与经典去噪器（这里是BM 3D）的优缺点，以及FISTA-Pestra算法与ADMM-Pestra算法的有效性。此外，我们还提供了一个算法，结合这两个去噪，学习和经典，在加权的方式，以产生更好的结果。我们的结论与数值结果验证了发达国家的理论。
2021-08-17 cs.CV cs.NA eess.IV
REPNP: Plug-and-Play with Deep Reinforcement Learning Prior for Robust Image Restoration
Nanyang Technological University（南洋理工大学）；Michigan State University（密歇根州立大学）
基于预训练深度模型的图像恢复方案由于其解决各种逆问题的独特灵活性而受到极大关注。特别是，即插即用（Plug-and-Play，简称PSTF）框架是一种流行且功能强大的工具，可以集成现成的深度去噪器，用于具有已知观测模型的不同图像恢复任务。然而，在实践中，获得与实际模型完全匹配的观测模型可能具有挑战性。因此，具有常规深度去噪器的PADER方案在一些现实世界的图像恢复任务中可能无法产生令人满意的结果。我们认为，使用现成的深度去噪器，通过确定性优化训练的PADER框架的鲁棒性在很大程度上是有限的。为此，我们提出了一种新的基于深度强化学习（DRL）的Pendash框架，称为RePNP，通过利用轻量级的基于DRL的去噪器来执行鲁棒的图像恢复任务。实验结果表明，该算法对PSNR方案中观测模型偏离实际观测模型的情况具有较好的鲁棒性.因此，RePNP可以为图像去模糊和超分辨率任务生成更可靠的恢复结果。与几种最先进的深度图像恢复基线相比，RePNP以较少的模型参数实现了更好的主观模型偏差结果。
2022-07-25 cs.CV eess.IV
Provably Convergent Plug-and-Play Quasi-Newton Methods
University of Cambridge（剑桥大学）；University of Bath（巴斯大学）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；University of Birmingham（伯明翰大学）
本文提出一种基于近端去噪器的可证明收敛的拟牛顿即插即用方法，在宽松假设下加速收敛，实验显示比现有方法快2-8倍且重建质量相当。
2023-11-13 cs.CV cs.LG math.OC
Revisit Dictionary Learning for Video Compressive Sensing under the Plug-and-Play Framework
East China Normal University（华东师范大学）；The University of Hong Kong（香港大学）
快拍压缩成像（snapshot compressive imaging，SCI）是针对高维数据的数据采集和分析，利用光学成像系统获得高维数据的二维压缩测量值，并利用压缩感知算法进行数据重构。虽然Plug-and-Play（PIPE）框架为SCI重建提供了一种新兴的解决方案，但其固有的去噪过程仍然是一个具有挑战性的问题。不幸的是，现有的去噪器在PADER框架要么遭受有限的性能或需要大量的训练数据。在本文中，我们提出了一种高效和有效的基于浅层学习的视频SCI重建算法。重新审视字典学习方法，我们为Pandem框架提供了一种新的去噪器，即核奇异值分解（KSVD）。得益于KSVD的出现，我们的算法在质量、速度和训练难度之间保持了良好的平衡。在各种数据集上，我们的模拟结果的定量和定性评价证明了我们所提出的方法的有效性。与使用总变分的典型基线相比，我们的方法在PSNR和SSIM中实现了约$2$ dB的改进。我们希望我们提出的PnP-KSVD算法可以作为一个新的基线视频SCI重建。
2022-03-10 cs.CV eess.IV
Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems
Beijing Institute of Technology（北京理工大学）；University of Cambridge（剑桥大学）
即插即用（Plug-and-Play，PADM）是一种非凸框架，它将ADMM或其他近似算法与高级去噪先验相结合。最近，Penguin取得了巨大的经验成功，特别是在集成了基于深度学习的去噪器之后。然而，基于PADER的方法的一个关键问题是它们需要手动参数调整。有必要在成像条件和变化的场景内容方面的高差异上获得高质量的结果。在这项工作中，我们提出了一个免调谐的Pestrian邻近算法，它可以自动确定内部参数，包括惩罚参数，去噪强度和终端时间。我们方法的一个关键部分是开发一个用于自动搜索参数的策略网络，可以通过混合无模型和基于模型的深度强化学习来有效地学习。我们通过数值和视觉实验证明，学习的策略可以为不同的状态定制不同的参数，并且通常比现有的手工标准更高效和有效。此外，我们讨论了实际的考虑，堵塞的降噪，这与我们学到的政策产生国家的最先进的结果。这是普遍的线性和非线性的示例性逆成像问题，特别是，我们展示了有前途的结果压缩感知MRI和相位恢复。
2020-11-18 cs.CV eess.IV
Accelerating Plug-and-Play Image Reconstruction via Multi-Stage Sketched Gradients
University of Cambridge（剑桥大学）
在这项工作中，我们提出了一个新的范例，设计快速即插即用（PAPK）算法，使用降维技术。与现有的利用随机梯度迭代加速的方法不同，我们提出了新的多阶段草图梯度迭代，首先在图像空间中进行下采样降维，然后在低维空间中使用草图梯度有效地近似真实梯度。该梯度格式也可以与PnP-SGD方法自然地结合，以进一步改善计算复杂度。作为一个通用的加速方案，它可以应用于加速任何现有的PPEND/RED算法。X射线扇束CT上的数值实验表明了该方法的有效性，即在图像空间中使用这种降维可以获得计算免费午餐。
2022-03-14 cs.CV eess.IV math.OC
Recovery Analysis for Plug-and-Play Priors using the Restricted Eigenvalue Condition
Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Riverside（加州大学河滨分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
即插即用先验（PIPE）和去噪正则化（RED）方法已被广泛用于通过利用预训练的深度去噪器作为图像先验来解决逆问题。虽然这些算法的经验成像性能和理论收敛特性已被广泛研究，但它们的恢复特性以前没有进行过理论分析。我们解决这个差距，显示如何建立理论上的恢复保证PPENDIX/RED假设这些方法的解决方案位于一个深神经网络的固定点附近。我们还提出了数值结果比较的恢复性能的PPEND/RED压缩感知对最近的压缩感知算法的基础上生成模型。我们的数值结果表明，与现有的最先进的方法相比，具有预先训练的伪影去除网络的PSTIM提供了更好的结果。
2021-10-26 cs.CV cs.LG eess.IV
A relaxed proximal gradient descent algorithm for convergent plug-and-play with proximal denoiser
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；CEREMADE（数学与决策研究中心）；Université Paris-Dauphine, PSL（巴黎多芬大学（PSL大学））
本文提出一种收敛的松弛 PnP-αPGD 算法，通过在近端梯度下降中插入松弛近端去噪器，放宽了对去噪器和逆问题参数的假设，在更广的正则化参数范围内实现收敛，从而获得更准确的图像恢复效果。
2023-04-05 cs.CV cs.LG eess.IV
Performance Analysis of Plug-and-Play ADMM: A Graph Signal Processing Perspective
Purdue University（普渡大学）
即插即用（Plug-and-Play，PIMM）ADMM算法是一种功能强大的图像恢复框架，它允许将高级图像去噪先验集成到物理正向模型中，以生成高质量的图像恢复结果。然而，尽管有大量的应用程序和一些理论研究试图通过利用凸分析中的工具来证明收敛性，但很少有人知道为什么该算法做得这么好。本文的目标是通过讨论PADMM的性能来填补这一空白。通过将去噪器限制为线性假设下的图滤波器类，或者更具体地说，对称平滑滤波器，我们提供了三个贡献：（1）我们展示了存在等效最大后验概率（MAP）优化的条件，（2）我们给出了几何解释，并表明性能增益是由于PSNR先验的固有预去噪特性，（3）通过一致性均衡的概念引入了一种新的分析方法，并对涉及多个先验的问题给出了解释。
2019-05-17 cs.CV eess.IV
Single-Shot Plug-and-Play Methods for Inverse Problems
University of Cambridge（剑桥大学）；Hong Kong Polytechnic University（香港理工大学）；The University of Hong Kong（香港大学）；Lingnan University（岭南大学）；Tsinghua University（清华大学）；City University of Hong Kong（香港城市大学）
针对现有PnP方法依赖大型数据集预训练去噪器的局限，提出SS-PnP方法，通过集成单样本近端去噪器与保留相关频率的隐式神经先验，实现仅需单个实例即可解决反问题并获得更优近似。
2024-11-11 cs.CV eess.IV
NFCDS: A Plug-and-Play Noise Frequency-Controlled Diffusion Sampling Strategy for Image Restoration
Nanjing University of Science and Technology（南京理工大学）
NFCDS通过控制噪声频率提升图像修复的保真度与感知质量，无需额外训练。
2026-01-29 cs.CV
TFPnP: Tuning-free Plug-and-Play Proximal Algorithm with Applications to Inverse Imaging Problems
Beijing Institute of Technology（北京理工大学）；University of Cambridge（剑桥大学）；Shanghai Jiao Tong University（上海交通大学）；Beijing Normal University（北京师范大学）
即插即用（Plug-and-Play，PADM）是一种非凸优化框架，它结合了近似算法，例如交替方向乘法器（ADMM）和先进的去噪先验。在过去的几年里，PSTK算法取得了巨大的经验成功，特别是对于那些集成了基于深度学习的去噪器的算法。然而，PNDT方法的一个关键挑战是需要手动参数调整，因为在成像条件和变化的场景内容的高度差异中获得高质量的结果是必不可少的。在这项工作中，我们提出了一类无调谐的Pestrian邻近算法，可以自动确定参数，如去噪强度，终止时间和其他优化特定的参数。我们方法的核心部分是用于自动参数搜索的策略网络，可以通过无模型和基于模型的深度强化学习策略的混合来有效地学习。我们证明，通过严格的数值和视觉实验，学习的政策可以自定义参数不同的设置，往往是更有效和更有效的比现有的手工制作的标准。此外，我们还讨论了几个实际的考虑，我们学到的政策一起产生国家的最先进的结果。这种先进的性能是普遍的线性和非线性范例逆成像问题，特别是压缩感知MRI，稀疏视图CT，单光子成像和相位恢复显示有前途的结果。
2021-09-18 cs.CV eess.IV
Multilevel Stochastic Plug-and-Play for Sparse-View CT Reconstruction
提出多级随机即插即用方法，通过多分辨率分析近似空间加速稀疏视图CT重建，避免昂贵先验梯度估计，在保持重建质量的同时显著减少运行时间。
2026-10-26 cs.CV physics.med-ph
Convergent plug-and-play with proximal denoiser and unconstrained regularization parameter
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；IMB（波尔多数学研究所）；CEREMADE（巴黎多菲纳大学CEREMADE实验室）；Université Paris-Dauphine（巴黎多菲纳大学）；PSL（巴黎文理研究大学）
针对PnP图像逆问题中正则化参数受限影响复原的问题，本文证明无参数限制的PnP-DRS收敛性并提出宽参数范围收敛的松弛PGD，实验表明二者提升了复原精度。
2023-11-02 cs.CV math.OC
Plug-and-Play Posterior Sampling for Blind Inverse Problems
Washington University in St. Louis, MO, USA（华盛顿大学圣路易斯分校）
提出Blind-PnPDM框架，通过交替高斯去噪方案和双扩散模型先验解决盲逆问题，在盲图像去模糊任务上优于现有方法。
2025-05-28 cs.CV eess.IV
Video Restoration with a Deep Plug-and-Play Prior
MAP5（MAP5实验室）；GoPro Inc.（GoPro公司）；Meta Inc.（Meta公司）
本文提出了一种通过深度即插即用（Pestrian）方法恢复数字视频的新方法。在贝叶斯形式主义下，该方法包括使用深度卷积去噪网络代替交替优化方案中先验的邻近算子。我们区分自己从以前的Pestrian工作直接应用该方法来恢复从退化的视频观察的数字视频。通过这种方式，一次训练去噪的网络可以重新用于其他视频恢复任务。我们在视频去模糊，超分辨率和随机缺失像素插值方面的实验都显示出使用专门为视频去噪设计的网络的明显优势，因为它比使用相同Pestrian公式的具有类似去噪性能的单个图像网络具有更好的恢复性能和更好的时间稳定性。此外，我们的方法相比，有利地应用不同的国家的最先进的PSTK计划分别对每个帧的序列。这为视频恢复领域开辟了新的前景。
2022-09-15 cs.CV cs.LG eess.IV
Plug-and-play linear attention with provable guarantees for training-free image restoration
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
PnP-Nystra是一种无需训练的线性注意力模块，可作为图像恢复Transformer中的即插即用替代方案，提供高效的推理速度和高质量的恢复性能。
2026-02-05 cs.CV eess.IV
Efficient Bayesian Computation Using Plug-and-Play Priors for Poisson Inverse Problems
本文提出两种方法，利用插件式先验解决低光子泊松成像问题中的不确定性与约束挑战。
2026-01-09 cs.CV cs.NA math.NA
On Maximum-a-Posteriori estimation with Plug & Play priors and stochastic gradient descent
CNRS（法国国家科学研究中心）；University of Oxford（牛津大学）；Heriot-Watt University（赫瑞瓦特大学）；Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）
本文研究了基于 Plug & Play (PnP) 先验的贝叶斯模型的最大后验估计问题，探讨了其存在性、稳定性与适定性，并在现实假设下证明了 PnP 随机梯度下降算法的收敛性，通过成像实验验证了其有效性。
2022-01-16 cs.CV cs.LG eess.IV
MPISuperRes-PnP: A Super-Resolution Zero-Shot Plug-and-Play Reconstruction Algorithm for Magnetic Particle Imaging
Institute for the Protection of Terrestrial Infrastructures, German Aerospace Center (DLR)（德国航空航天中心陆地基础设施保护研究所）；Hochschule Darmstadt（达姆施塔特应用科学大学）；Data Science Institute, European University of Technology（欧洲技术大学数据科学研究所）；Technische Hochschule Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用技术大学）
本研究提出MPISuperRes-PnP算法，将超分辨率融入磁粒子成像的能量最小化重建任务，采用零样本预训练去噪器，无需MPI稀缺训练数据，在合成与真实数据上验证了通用性。
2026-08-11 cs.CV
On the Proof of Fixed-Point Convergence for Plug-and-Play ADMM
在大多数现有技术的图像恢复方法中，使用诸如ADMM（交替方向乘法）的迭代算法来优化数据保真度和正则化项的和。近年来，使用去噪器进行正则化的可能性已经在一些作品中进行了探索。一种流行的方法是用一些强大的去噪器正式取代ADMM框架中的邻近算子。然而，由于大多数国家的最先进的去噪器不能构成为一个邻近的运营商，不能保证这些所谓的即插即用（PSTO）算法的收敛。事实上，Pestrian算法的理论收敛性是一个活跃的研究课题。在这封信中，我们考虑了Chan等人的结果。（IEEE TCI，2017），其中为一类去噪器建立了基于ADMM的Pestrian算法的不动点收敛。我们认为，原来的证明是不完整的，因为收敛性没有分析的三种可能的情况之一，在文件中概述。此外，我们解释了为什么其他情况下的论点不适用于这种情况。我们给出了一个不同的分析来填补这个空白，它牢固地建立了原来的收敛定理。
2019-10-31 cs.CV eess.IV
