Beyond Uniform Restoration: Empowering All-in-One Restoration with Pixel-Level Multimodal Guidance
Xiaomi Corporation(小米公司)
针对全场景图像恢复现有方法采用统一策略忽略区域退化差异的问题,提出MGN-AIR框架,通过像素级多模态引导实现更精细恢复,在多任务基准上性能显著优于现有方法。
2026-08-11 cs.AI cs.CV
Zero-Shot Image Restoration Using Few-Step Guidance of Consistency Models (and Beyond)
Bar-Ilan University(巴伊兰大学)
本文提出了一种基于一致性模型(CM)的零样本图像恢复方案,通过结合更好的初始化、反投影引导和新颖的噪声注入机制,仅需4次神经函数评估即可在超分辨率、去模糊和图像修复任务中表现优异,且噪声注入技术还能缓解现有引导扩散模型在减少NFE时的性能下降。
2025-04-03 cs.CV
Improving Image Restoration through Removing Degradations in Textual Representations
Harbin Institute of Technology(哈尔滨工业大学);Huawei Cloud Computing Co., Ltd.(华为云计算技术有限公司)
本文提出通过去除退化图像的文本表示中的退化来改进图像恢复,结合图像细节与文本去退化优势,利用CLIP文本到图像模型生成引导,在去模糊、去雾、去雨和去噪等任务上超越现有方法。
2023-12-28 cs.CV
A Unified Conditional Framework for Diffusion-based Image Restoration
The Chinese University of Hong Kong(香港中文大学);Snap Research(Snap研究院)
本文提出基于扩散模型的统一条件图像复原框架,通过轻量UNet引导、残差学习、模块级条件注入及步间块切分,在低光去噪、去模糊和JPEG复原上显著提升感知质量并具备泛化性。
2023-05-31 cs.CV
Self-supervised Hyperspectral Image Restoration using Separable Image Prior
The University of Kitakyushu(北九州市立大学)
使用卷积神经网络的监督学习被认为是图像恢复的强大手段。然而,大多数这样的方法已被设计为应用于灰度和/或彩色图像,因此,它们具有有限的成功时,应用于高光谱图像恢复。这部分是由于难以收集大型数据集,以及与恢复具有许多光谱带的图像相关的繁重计算负荷。为了解决这个困难,我们提出了一种新的自监督学习策略应用于高光谱图像恢复。我们的方法从单个退化图像自动创建训练数据集,并在没有任何清晰图像的情况下训练去噪网络。我们方法的另一个显著特点是使用了可分离的卷积层。我们进行实验,以证明使用一个可分离的网络,使我们能够获得先验的高光谱图像,并实现有效的恢复。我们通过大量的实验证明了我们的方法的有效性,并表明我们的方法具有更好的特性比那些目前被认为是最先进的。
2019-07-01 cs.CV eess.IV
Hypernetwork-Based Adaptive Image Restoration
Ariel University(阿里埃勒大学)
自适应图像复原模型可以在推理时恢复具有不同退化水平的图像,而不需要重新训练模型。我们提出了一种方法,是高度准确的,并允许显着减少参数的数量。与现有方法相比,我们的方法可以使用单个固定大小的模型来恢复图像,而不管退化级别的数量。在流行的数据集上,我们的方法在各种图像复原任务(包括去噪、deJPEG和超分辨率)的大小和准确性方面都能产生最先进的结果。
2023-02-26 cs.CV eess.IV
CurvPnP: Plug-and-play Blind Image Restoration with Deep Curvature Denoiser
Tianjin University(天津大学)
由于基于深度学习的去噪器的发展,即插即用策略在图像恢复问题中取得了巨大成功。然而,现有的即插即用图像恢复方法被设计用于非盲高斯去噪,例如Zhang等人(2022),其性能对于未知噪声明显恶化。为了突破即插即用图像恢复的极限,我们提出了一个新的框架,盲高斯先验,它可以处理更复杂的图像恢复问题,在现实世界中。更具体地说,我们建立了一个新的图像恢复模型,把噪声水平作为一个变量,这是由一个两阶段的盲高斯去噪器组成的噪声估计子网络和去噪子网络,其中噪声估计子网络提供的噪声水平去噪子网络进行盲噪声去除。我们还将曲率映射引入到编码器-解码器架构和监督注意模块中,以实现高度灵活和有效的卷积神经网络。通过对图像去噪、去模糊和单幅图像超分辨率的实验结果,验证了该方法的有效性,并证明了该方法的有效性。我们的模型被证明是能够恢复的图像细节和微小的结构,即使在噪声水平是未知的不同的图像恢复任务。源代码可在https://github.com/Duanlab123/CurvPnP上获得。
2022-11-14 cs.CV eess.IV
EchoIR: Advancing Image Restoration with Echo Upsampling and Bi-Level Optimization
University of Sydney(悉尼大学)
针对图像复原中上采样造成特征退化的问题,提出类UNet的EchoIR,通过Echo-Upsampler学习双边中间特征并以AS-BLO联合建模上采样与复原,实验取得SOTA性能。
2024-12-10 cs.CV eess.IV
REPNP: Plug-and-Play with Deep Reinforcement Learning Prior for Robust Image Restoration
Nanyang Technological University(南洋理工大学);Michigan State University(密歇根州立大学)
基于预训练深度模型的图像恢复方案由于其解决各种逆问题的独特灵活性而受到极大关注。特别是,即插即用(Plug-and-Play,简称PSTF)框架是一种流行且功能强大的工具,可以集成现成的深度去噪器,用于具有已知观测模型的不同图像恢复任务。然而,在实践中,获得与实际模型完全匹配的观测模型可能具有挑战性。因此,具有常规深度去噪器的PADER方案在一些现实世界的图像恢复任务中可能无法产生令人满意的结果。我们认为,使用现成的深度去噪器,通过确定性优化训练的PADER框架的鲁棒性在很大程度上是有限的。为此,我们提出了一种新的基于深度强化学习(DRL)的Pendash框架,称为RePNP,通过利用轻量级的基于DRL的去噪器来执行鲁棒的图像恢复任务。实验结果表明,该算法对PSNR方案中观测模型偏离实际观测模型的情况具有较好的鲁棒性.因此,RePNP可以为图像去模糊和超分辨率任务生成更可靠的恢复结果。与几种最先进的深度图像恢复基线相比,RePNP以较少的模型参数实现了更好的主观模型偏差结果。
2022-07-25 cs.CV eess.IV
Enhanced Control for Diffusion Bridge in Image Restoration
School of Computer Science, Sun Yat-Sen University(中山大学计算机学院)
本文提出ECDB模型,通过将低质量图像作为条件增强扩散桥的控制,并引入条件融合调度处理不同模块的条件特征,在去雨、修复和超分辨率等任务上实现了最先进的图像修复效果。
2024-08-29 cs.CV eess.IV
Hybrid Agents for Image Restoration
University of Science and Technology of China(中国科学技术大学)
本文提出 HybridAgent,以快速、慢速和反馈智能体协作统一多种图像复原模式,并支持混合失真去除,从而提升交互效率与复杂场景复原能力。
2025-03-13 cs.CV eess.IV
Plug-and-Play Image Restoration with Deep Denoiser Prior
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学);Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学)
最近的工作,即插即用的图像恢复表明,一个去噪器可以隐式地作为基于模型的方法,以解决许多逆问题的图像之前。这样的性质对于即插即用图像恢复(例如,结合了基于模型的方法的灵活性和基于学习的方法的有效性)。然而,虽然更深和更大的CNN模型正在迅速普及,现有的即插即用图像恢复阻碍了其性能,由于缺乏合适的降噪先验。为了推动即插即用图像恢复的极限,我们通过训练高度灵活和有效的CNN去噪器来建立基准深度去噪器。然后,我们将深度去噪先验作为模块化部分插入到基于半二次分裂的迭代算法中,以解决各种图像恢复问题。同时,我们提供了一个深入的分析,参数设置,中间结果和经验收敛,以更好地理解工作机制。三个代表性的图像恢复任务,包括去模糊,超分辨率和去马赛克的实验结果表明,所提出的即插即用的图像恢复与深度去噪先验不仅显着优于其他国家的最先进的基于模型的方法,但也实现了竞争力,甚至优于性能对国家的最先进的基于学习的方法。源代码可在https://github.com/cszn/DPIR上获得。
2021-07-12 cs.CV eess.IV
Adversarial Purification and Fine-tuning for Robust UDC Image Restoration
针对UDC图像复原模型易受对抗攻击的问题,提出融合扩散对抗纯化与微调的防御框架,经实验验证可显著提升模型抗典型对抗攻击的鲁棒性。
2024-11-01 cs.CV eess.IV
Versatile Cataract Fundus Image Restoration Model Utilizing Unpaired Cataract and High-quality Images
Shenzhen-Platform and Carrier (International Science and Technology Information Center) & Shenzhen Bay Lab(深圳平台与载体(国际科技信息中心)及深圳湾实验室);Capital Medical University(首都医科大学);Beijing Tongren Hospital(北京同仁医院)
本文提出新型白内障眼底图像修复方法Catintell,包含合成模型Catintell-Syn与修复模型Catintell-Res,利用非配对数据生成真实图像并提升真实眼底图像质量,在PSNR和SSIM指标上优于其他方法,具备跨数据集通用修复能力。
2024-11-19 cs.CV eess.IV
Infrared Image Deturbulence Restoration Using Degradation Parameter-Assisted Wide & Deep Learning
Beihang University(北京航空航天大学);Image Processing Center(图像处理中心);The State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);Beijing Advanced Innovation Center for Biomedical Engineering(北京生物医学工程高精尖创新中心)
本文提出DparNet,一种参数辅助的宽深多帧网络,直接从退化图像中学习退化先验参数矩阵并调制复原过程,在红外去湍流和可见光去噪任务上以不到2%的额外开销将PSNR提升0.6-1.1 dB,显著优于现有SOTA方法。
2025-05-06 cs.CV eess.IV
Multi-level Encoder-Decoder Architectures for Image Restoration
Indian Institute of Technology Gandhinagar(甘地纳格尔印度理工学院)
许多真实世界的图像恢复解决方案是免学习的,并且基于手工制作的图像先验,如自相似性。最近,使用训练数据的深度学习方法已经在各种图像恢复任务(例如,超分辨率和修复)。Ulyanov等人弥合了这两类方法之间的差距(CVPR 18)。他们已经表明,免学习方法的性能接近最先进的基于学习的方法(大约1 PSNR)。他们的方法得益于编码器-解码器网络。在本文中,我们提出了一个基于编码器-解码器网络多层扩展的框架,以研究图像恢复和独立于学习的网络构建之间关系的有趣方面。我们的框架通过修改以下网络组件来允许各种网络结构:跳过链接,将网络输入级联到中间层,编码器-解码器子网络的组成以及网络深度。这些手工制作的网络结构说明了未经训练的网络的构建如何影响以下图像恢复任务:去噪,超分辨率和修复。我们还演示了使用闪光灯和无闪光灯图像对的图像重建。我们提供了性能比较与国家的最先进的方法,所有的恢复任务。
2019-05-06 cs.CV eess.IV
Learning Polarization Image Restoration with General Restoration Priors
Central South University(中南大学);Westlake University(西湖大学)
本文提出一个全合一偏振图像恢复框架,采用双分支架构分离强度与偏振建模,利用通用恢复先验和专家混合处理复合退化,并通过跨域特征变换蒸馏知识,建立基准并验证有效性。
2026-09-28 cs.CV eess.IV
Rank-One Network: An Effective Framework for Image Restoration
Fudan University(复旦大学)
图像的主秩一(RO)分量代表了图像的自相似性,这是图像恢复的一个重要特性。然而,通过图像去噪的过程,损坏的图像的RO分量可以被抽取。我们建议在图像恢复中应充分利用反渗透特性,避免抽取。为了实现这一点,我们提出了一个由两个模块组成的新框架,即,RO分解和RO重构。反渗透分解被开发用于将污染图像分解成反渗透分量和残差。这是通过连续地将RO投影应用于图像或其残差以提取RO分量来实现的。基于神经网络的RO投影提取图像的最接近的RO分量。RO重建的目的是分别从RO分量和残差中重建重要信息,以及从这些重建信息恢复图像。四个任务的实验结果,即,无噪声图像超分辨率、真实感图像超分辨率、灰度图像去噪和彩色图像去噪的实验结果表明,该方法是一种有效的图像恢复方法,对真实感图像超分辨率和彩色图像去噪都有较好的效果。
2020-11-25 cs.CV eess.IV
FDG-Diff: Frequency-Domain-Guided Diffusion Framework for Compressed Hazy Image Restoration
Sun Yat-sen University(中山大学);The Australian National University(澳大利亚国立大学)
针对雾霾与压缩联合退化问题,提出频域引导扩散框架FDG-Diff,结合高频补偿与自适应时间步预测,在多个数据集上超越现有方法。
2025-01-22 cs.CV eess.IV
Reversing Flow for Image Restoration
State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), CASIA(多模态人工智能系统国家重点实验室(MAIS),中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学);Ant Group(蚂蚁集团);PeopleAI Inc.(PeopleAI公司)
提出ResFlow框架,利用连续归一化流将退化过程建模为确定性路径,通过辅助过程消除不确定性并匹配速度场,实现少于四步采样的高效图像复原,在多个基准上达到最先进性能。
2025-06-20 cs.CV eess.IV
ConStyle v2: A Strong Prompter for All-in-One Image Restoration
University of Electronic Science and Technology of China(电子科技大学)
本文提出 ConStyle v2,一种即插即用提示器,通过两阶段训练和三项改进,能在不到两个 GPU 天内增强任意 U-Net 图像恢复模型以处理多种退化,且无需微调。
2024-06-26 cs.CV eess.IV
Variational Deep Image Restoration
Seoul National University(首尔国立大学);Samsung Electronics Co., Ltd.(三星电子株式会社)
本文提出了一种新的变分推理框架的图像恢复和卷积神经网络(CNN)的结构,可以解决所提出的框架所描述的恢复问题。早期的基于CNN的图像恢复方法主要集中在网络结构设计或训练策略,其中退化模型是已知或假设的。为了更接近真实世界的应用,CNN也是用整个数据集进行盲训练的,包括各种退化。然而,高质量图像的条件分布给定的dilemma退化的一个是太复杂了,由一个单一的CNN学习。因此,还存在一些提供附加先验信息以训练CNN的方法。与以前的方法不同,我们更注重基于贝叶斯观点的恢复目标以及如何重新制定目标。具体来说,我们的方法放松原来的后验推理问题,更好地管理的子问题,从而表现得像一个分而治之的计划。其结果是,所提出的框架提高了性能的几个恢复问题相比,以前的。具体来说,我们的方法在高斯去噪、真实世界降噪、盲图像超分辨率和JPEG压缩伪影减少方面具有最先进的性能。
2022-07-03 cs.CV eess.IV
Seeing Through the Rain: Resolving High-Frequency Conflicts in Deraining and Super-Resolution via Diffusion Guidance
本文提出DHGM模型,通过整合预训练扩散先验和高通滤波器,解决去雨和超分辨率中的高频冲突,实现高质量图像生成。
2025-12-11 cs.CV
DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出通用盲图像复原框架DiffBIR,将任务解耦为退化去除与信息再生两阶段,结合IRControlNet和区域自适应引导,在多项盲复原任务上性能超越现有最优方法。
2024-04-12 cs.CV
SPJFNet: Self-Mining Prior-Guided Joint Frequency Enhancement for Ultra-Efficient Dark Image Restoration
针对暗图像恢复方法效率低下的问题,提出SPJFNet,通过自挖掘内源先验和联合频域增强解耦高低频处理,在超越最先进性能的同时大幅降低计算复杂度。
2025-08-06 cs.CV
Generative Diffusion Prior for Unified Image Restoration and Enhancement
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);Nanyang Technological University(南洋理工大学)
本文提出无监督的生成式扩散先验(GDP),利用预训练DDPM解决线性、非线性和盲图像问题,通过条件引导和退化参数优化实现盲恢复,在多种任务上超越现有方法并支持任意分辨率泛化。
2023-04-03 cs.CV
InstructIR: High-Quality Image Restoration Following Human Instructions
University of Würzburg(维尔茨堡大学);Sony PlayStation(索尼 PlayStation)
本研究提出首个利用人类编写的自然语言指令引导图像恢复的方法InstructIR,在去噪、去雨、去模糊、去雾和低光照增强等多项任务上取得最先进结果,较以往方法提升1dB,并提供了新基准。
2024-09-25 cs.CV cs.LG eess.IV
Taming Generative Diffusion Prior for Universal Blind Image Restoration
Fudan University(复旦大学)
本文提出通用盲图像复原方法 BIR-D,通过可优化卷积核在扩散过程中动态模拟退化模型,并给出自适应引导尺度的经验公式,在真实与合成数据上验证了其优越的实用性和通用性。
2024-11-19 cs.CV cs.LG
Unified Diffusion Transformer for High-fidelity Text-Aware Image Restoration
KAIST AI(韩国科学技术院人工智能研究所);Samsung Electronics(三星电子)
UniT通过整合扩散变压器、视觉-语言模型和文本识别模块,实现高质量文本感知图像恢复,有效抑制文本幻觉并取得最佳性能。
2025-12-09 cs.CV
Compound Multi-branch Feature Fusion for Real Image Restoration
National Chung Hsing University(中兴大学);National Taichung University of Science and Technology(台中科技大学)
图像复原是一个具有挑战性的病态问题,也是一个长期存在的问题。然而,大多数基于学习的恢复方法都是针对一种退化类型提出的,这意味着它们缺乏泛化能力。在本文中,我们提出了一个多分支恢复模型的灵感来自人类视觉系统(即,视网膜神经节细胞),它可以在一个通用的框架内实现多个恢复任务。实验表明,所提出的多分支架构(称为CMFNet)在四个数据集上具有竞争力的性能结果,包括图像去雾、去噪和去模糊,这些都是自动驾驶汽车的常见应用。三个恢复任务的源代码和预训练模型可在https://github.com/FanChiMao/CMFNet上获得。
2022-06-02 cs.CV cs.LG eess.IV
Diffusion Restoration Adapter for Real-World Image Restoration
ByteDance(字节跳动)
本文提出一种轻量级扩散修复适配器,利用预训练扩散先验实现真实世界图像修复,适配UNet与DiT架构。
2025-02-28 cs.CV
Dynamic Image Restoration and Fusion Based on Dynamic Degradation
Northwestern Polytechnical University(西北工业大学)
基于深度学习的图像复原和融合方法取得了显著的效果。然而,现有的恢复和融合方法很少关注动态退化所带来的鲁棒性问题。本文提出了一种新的动态图像复原与融合神经网络,称为DDRF-Net,它能够解决两个问题,即,静态恢复与融合,动态退化。为了解决现有方法的静态融合问题,引入动态卷积学习动态恢复和融合权值。此外,提出了一种动态退化核,以提高图像复原和融合的鲁棒性。我们的网络框架可以有效地将图像退化与图像融合任务相结合,通过图像复原损失为图像融合任务提供更详细的信息,并通过图像融合损失优化图像复原任务。因此,图像融合中深度学习的绊脚石,例如,静态融合权重和专门设计的网络体系结构被大大减轻。大量的实验表明,我们的方法是更优越的国家的最先进的方法相比。
2021-04-30 cs.CV
Non-blind Image Restoration Based on Convolutional Neural Network
Tokyo Institute of Technology(东京工业大学);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所)
基于卷积神经网络(CNN)的盲图像复原处理器由于其良好的性能而得到了广泛的研究。然而,它们对退化模型的扰动过于敏感。它们很容易无法恢复退化模型与训练退化模型略有不同的图像。在本文中,我们提出了一个非盲的基于CNN的图像复原处理器,旨在对扰动的退化模型相比,盲恢复处理器是强大的。实验比较表明,所提出的基于非盲CNN的图像复原处理器可以鲁棒地恢复图像相比,现有的基于盲CNN的图像复原处理器。
2018-09-11 cs.CV
AdaQual-Diff: Diffusion-Based Image Restoration via Adaptive Quality Prompting
Fuzhou University(福州大学);University of Science and Technology of China(中国科学技术大学);University of the Chinese Academy of Sciences(中国科学院大学);Shandong Normal University(山东师范大学);Sun Yat-sen University(中山大学)
针对传统图像修复方法难以适应复杂真实退化的局限,提出AdaQual-Diff框架,通过自适应质量提示机制将感知质量评估与扩散模型结合,动态分配计算资源实现细粒度修复,在多数据集上取得更优视觉效果。
2025-04-17 cs.CV
Dynamic Exposure Burst Image Restoration
POSTECH
本文提出DEBIR框架,通过动态预测曝光时间提升burst图像修复质量,结合BAENet和三阶段训练策略实现最优曝光设置,实验表明其在实际相机系统中具有实用性。
2026-03-23 cs.CV
An Experimental-based Review of Image Enhancement and Image Restoration Methods for Underwater Imaging
Academy for Engineering & Technology, Fudan University(复旦大学工程与应用技术研究院);College of Information Technology, Shanghai Ocean University(上海海洋大学信息学院);University of Calabria(卡拉布里亚大学);School of Computer Science, Fudan University(复旦大学计算机科学学院);Napier Edinburgh University(爱丁堡龙比亚大学)
水下图像在海洋探测中起着重要的作用,但由于光在水介质中的吸收和散射,水下图像的质量会严重下降。虽然最近在图像增强和恢复的一般领域取得了重大突破,但用于改善水下图像质量的新方法的适用性还没有被具体捕获。在本文中,我们回顾了图像增强和恢复方法,解决典型的水下图像损伤,包括一些极端的退化和失真。首先,我们介绍了水下图像质量下降的主要原因,在水下成像模型(IFM)。然后,我们回顾了水下恢复方法,考虑IFM的自由和IFM为基础的方法。接下来,我们使用主观和客观分析,对最先进的无IFM和基于IFM的方法进行基于实验的比较评估,同时考虑基于IFM的方法的基于先验的参数估计算法(所使用的代码可在https://github.com/wangyanckxx/Single-Underwater-Image-Enhancement-and-Color-Restoration免费获得)。从这项研究开始,我们指出了现有方法的主要缺点,为这一领域的未来研究提出了建议。我们对水下图像增强和恢复的回顾为研究人员提供了必要的背景,以了解这一重要领域的挑战和机遇。
2019-07-07 cs.CV cs.MM eess.IV
Alternative design of DeepPDNet in the context of image restoration
Zhengzhou University(郑州大学);CNRS(法国国家科学研究中心);UCLouvain(鲁汶天主教大学)
这项工作设计了一个依赖于展开的Chambolle-Pock原始-对偶迭代的图像恢复深度网络。当指定最小化$\ell_2$范数数据项和分析稀疏先验的总和时,我们的网络的每一层都是从Chambolle-Pock迭代中构建的。我们的网络的参数是Chambolle-Pock方案的步长和基于稀疏性的惩罚中涉及的线性算子,包括隐式正则化参数。充分描述了反向传播过程。初步实验表明,这种深度原始-对偶网络在BSD 68数据库上的图像恢复中表现良好。
2022-02-20 cs.CV cs.LG eess.IV
Progressive Transfer Learning for Multi-Pass Fundus Image Restoration
Tampere University(坦佩雷大学)
针对糖尿病视网膜病变筛查中眼底图像质量差的问题,提出渐进式迁移学习(PTL)多通道修复方法,通过迭代修复提升图像质量,在DeepDRiD数据集上实现最先进性能,为可靠筛查提供支持。
2025-04-14 cs.AI cs.CV eess.IV
TPGDiff: Hierarchical Triple-Prior Guided Diffusion for Image Restoration
School of Computer Science, Northwestern Polytechnical University, Xi'an, China(西北工业大学计算机学院,西安,中国);Shenzhen Research Institute of Northwestern Polytechnical University, Shenzhen, China(西北工业大学深圳研究院,深圳,中国)
TPGDiff通过整合降质先验、结构先验和语义先验,实现图像修复的分层引导,提升严重降质区域的重建能力。
2026-10-14 cs.CV
ReLoc: A Restoration-Assisted Framework for Robust Image Tampering Localization
Shenzhen University(深圳大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);Alibaba Group(阿里巴巴集团)
随着篡改图像的传播,数字图像中篡改区域的定位越来越受到人们的关注。然而,现有的图像篡改定位方法在对篡改图像进行后处理时,由于篡改痕迹会被后处理操作扭曲,导致性能严重下降。对后处理的鲁棒性差已成为图像篡改定位技术实际应用的瓶颈。为了解决这个问题,本文提出了一种新的图像篡改定位框架(ReLoc)的验证辅助。ReLoc框架主要由图像复原模块和篡改定位模块组成。ReLoc算法的核心思想是利用恢复模块恢复出高质量的篡改图像,使得篡改痕迹能够被重新增强,便于篡改定位模块识别篡改区域。为了实现这一点,恢复模块不仅与传统的约束图像的视觉质量,但也与法医学为导向的目标函数进行优化。此外,恢复模块和定位模块交替训练,可以稳定训练过程,有利于提高性能。建议的框架进行评估,打击JPEG压缩,最常用的后处理。大量的实验结果表明,ReLoc可以显着提高对JPEG压缩的鲁棒性。经过良好训练的ReLoc模型中的恢复模块是可转移的。也就是说,当直接与另一篡改定位模块一起部署时,它仍然有效。
2022-11-08 cs.CV cs.MM eess.IV
ClassPruning: Speed Up Image Restoration Networks by Dynamic N:M Pruning
Zhejiang University(浙江大学)
随着深度神经网络的快速发展,图像复原任务的性能得到了巨大的提升。然而,大多数流行的深度学习模型静态地执行推理,忽略了不同图像具有不同的恢复难度,并且轻度退化的图像可以通过更细的子网络很好地恢复。为此,我们提出了一种名为ClassPruning的新解决方案管道,该管道利用具有不同功能的网络来处理具有不同恢复难度的图像。特别地,我们使用一个轻量级分类器来识别图像复原的难度,然后通过对基本复原网络进行动态N:M细粒度结构化剪枝,根据预测的难度对具有不同能力的稀疏子网络进行采样。我们进一步提出了一种新的训练策略,以及两个额外的损失项,以稳定训练和提高性能。实验表明,ClassPruning可以帮助现有的方法节省约40%的FLOPs,同时保持性能。
2022-11-10 cs.CV
Fine-grained Image Quality Assessment for Perceptual Image Restoration
本文提出细粒度图像质量评估数据集FGRestore,用于改进图像恢复任务中的质量评估,提出FGResQ模型在细粒度质量评估中表现优异。
2026-03-31 cs.CV cs.MM eess.IV
UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation
Northwestern Polytechnical University(西北工业大学);University of New South Wales(新南威尔士大学)
本文提出UIR-LoRA框架,利用预训练生成模型与多重低秩适配器,通过基于退化相似性的LoRA组合策略,实现多种及混合退化的通用图像恢复,在保真度、感知质量和泛化能力上优于现有统一模型。
2024-09-30 cs.CV
ATFaceGAN: Single Face Image Restoration and Recognition from Atmospheric Turbulence
在远距离拍摄图像时,由于大气湍流而导致的图像劣化是常见的。为了减轻退化由于湍流,其中包括变形和模糊,我们提出了一种生成式单帧恢复算法,解开的模糊和变形,由于湍流和重建恢复图像。通过分别使用去模糊生成器和变形校正生成器将湍流引起的失真分解为模糊和变形分量来实现解纠缠。两条路径的恢复实现正则化的解纠缠,并产生两个恢复图像从一个退化的图像。融合函数结合了恢复图像的特征,以重建具有丰富细节的清晰图像。对抗性和感知损失被添加到重建一个清晰的图像和抑制伪影分别。大量的实验表明,该算法的有效性,取得了令人满意的性能,在人脸恢复和人脸识别。
2020-05-08 cs.CV
A Preliminary Study on GPT-Image Generation Model for Image Restoration
Beijing Institute of Technology(北京理工大学);Australian National University(澳大利亚国立大学)
本研究探讨GPT图像生成模型在图像修复中的应用,发现其在感知上表现良好但缺乏像素级结构保真度,并展示其作为视觉先验提升修复质量的潜力。
2025-12-29 cs.CV
SANDFORMER: CNN and Transformer under Gated Fusion for Sand Dust Image Restoration
Xinjiang University(新疆大学);Shandong University of Technology(山东理工大学)
尽管卷积神经网络(CNN)在图像复原方面取得了很好的进展,但卷积的内在等价性和局部性仍然制约着图像质量的进一步提高。最近的视觉Transformer和自我注意力在各种计算机视觉任务上取得了可喜的成果。然而,直接利用Transformer进行图像复原是一项具有挑战性的任务。在本文中,我们介绍了一种有效的混合架构的沙子图像复原任务,它利用本地功能从CNN和远程依赖捕获的Transformer,以进一步改善结果。针对Transformer和CNN之间的特征不一致问题,提出了一种有效的沙尘图像复原混合结构。该框架通过调制基于CNN和基于Transformer的分支的特征来补充每个表示,而不是简单地添加或连接特征。实验表明,与以往的沙粒图像复原方法相比,SandFormer在合成和真实沙尘场景中的复原性能都有了显著的提高。
2023-03-08 cs.CV
Navigating Image Restoration with VAR's Distribution Alignment Prior
University of Science and Technology of China(中国科学技术大学)
提出VarFormer框架,利用VAR的分布对齐先验实现图像恢复,在泛化能力和计算效率上优于现有方法,且生成质量超扩散模型,符合多尺度恢复原理。
2025-04-13 cs.CV
Estimation and Restoration of Compositional Degradation Using Convolutional Neural Networks
Tokyo Institute of Technology(东京工业大学);Kadinche Corporation(Kadinche公司);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究所)
从单一图像退化类型(例如模糊、模糊、随机噪声和压缩)恢复图像复原已经研究了几十年。然而,实际上图像劣化通常是几种类型的劣化的混合。这种成分退化使恢复复杂化,因为它们需要区分不同的退化类型和程度。在本文中,我们提出了一个卷积神经网络(CNN)模型估计一个给定的退化图像的退化特性。此外,我们引入了一个图像复原CNN模型,采用估计的退化属性作为其输入。实验结果表明,所提出的退化估计模型可以成功地推断成分退化图像的退化特性。该模型可以利用退化特性估计对退化图像进行恢复,并可实现图像复原的盲恢复和非盲恢复。
2018-12-23 cs.CV
Restore Anything Pipeline: Segment Anything Meets Image Restoration
ETH Zurich(苏黎世联邦理工学院)
提出 Restore Anything Pipeline (RAP),结合 Segment Anything Model (SAM) 实现交互式逐对象级图像恢复,支持多结果选择,在去模糊、去噪和 JPEG 伪影去除任务中优于现有方法。
2023-07-02 cs.AI cs.CV cs.LG
Improving Image Restoration with Soft-Rounding
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
几种重要的图像类别,如文本、条形码和图案图像,具有像素只能取值的不同子集的属性。这些知识可以有益于这类图像的恢复,但它没有被广泛考虑在当前的恢复方法。在这项工作中,我们描述了一种有效和高效的方法,将知识的原始图像的不同像素值的一般正则化最小二乘恢复框架。我们引入了一个新的正则化,达到零,在指定的像素值,并成为一个二次惩罚函数之间的间隔。当被纳入正则化最小二乘恢复框架时,这个正则化器导致一个简单而有效的步骤,类似于并扩展了舍入操作,我们称之为软舍入。我们将软舍入增强解决方案应用于具有多个不同像素值的二进制文本/条形码图像和图案图像的恢复。实验结果表明,软舍入增强的恢复方法实现了显着改善的视觉质量和定量措施(PSNR和SSIM)。此外,我们表明,这种正则化也可以有利于恢复一般的自然图像。
2015-08-20 cs.CV
Deeply Aggregated Alternating Minimization for Image Restoration
Yonsei University(延世大学);Chungnam National University(忠南国立大学)
基于正则化的图像复原一直是计算机视觉和图像处理领域的研究热点。它通常利用在不同领域捕获的指导信号作为额外的提示。在这项工作中,我们提出了一个通用的框架图像复原,称为深度聚合交替最小化(DeepAM)。我们建议训练深度神经网络,以推进传统AM算法中的两个步骤:邻近映射和?延续。这两个步骤都是以端到端的方式从大型数据集中学习的。所提出的框架使得卷积神经网络(CNN)能够作为AM算法中的先验或正则化器来操作。我们表明,我们通过深度聚合学习的正则化器优于最近的数据驱动方法以及nonlocalbased方法。在多个图像复原任务中,包括单张图像去噪、RGB-NIR复原和深度超分辨率,证明了该框架的灵活性和有效性。
2016-12-20 cs.CV
Restorer: Removing Multi-Degradation with All-Axis Attention and Prompt Guidance
Hangzhou Dianzi University(杭州电子科技大学);UC Santa Cruz(加州大学圣克鲁兹分校)
本文提出基于Transformer的全能图像复原模型Restorer,通过全轴注意力同时建模空间与通道长程依赖,并利用文本提示注入任务先验,以单组参数在无额外训练的情况下有效处理真实场景中的复合退化,取得领先性能。
2024-09-03 cs.CV
LogicIR: Logic Gate Networks for Image Restoration
Korea University(高丽大学)
提出首个基于逻辑门网络的图像恢复模型LogicIR,采用UNet架构和可微位解码层及索引洗牌机制,在多个基准上以低计算成本实现强性能。
2026-06-26 cs.CV
Review Learning: Advancing All-in-One Ultra-High-Definition Image Restoration Training Method
Fuzhou University(福州大学);Sun Yat-sen University(中山大学);University of Science and Technology of China(中国科学技术大学)
针对一体化超高清图像复原训练中多退化目标杂乱导致的信息污染问题,提出Review Learning训练范式,结合顺序训练与回顾机制提升模型多退化处理能力,同时设计了可在消费级GPU上高效处理4K图像的轻量通用复原网络。
2024-08-13 cs.CV