ClassPruning: Speed Up Image Restoration Networks by Dynamic N:M Pruning
Zhejiang University(浙江大学)
随着深度神经网络的快速发展,图像复原任务的性能得到了巨大的提升。然而,大多数流行的深度学习模型静态地执行推理,忽略了不同图像具有不同的恢复难度,并且轻度退化的图像可以通过更细的子网络很好地恢复。为此,我们提出了一种名为ClassPruning的新解决方案管道,该管道利用具有不同功能的网络来处理具有不同恢复难度的图像。特别地,我们使用一个轻量级分类器来识别图像复原的难度,然后通过对基本复原网络进行动态N:M细粒度结构化剪枝,根据预测的难度对具有不同能力的稀疏子网络进行采样。我们进一步提出了一种新的训练策略,以及两个额外的损失项,以稳定训练和提高性能。实验表明,ClassPruning可以帮助现有的方法节省约40%的FLOPs,同时保持性能。
2022-11-10 cs.CV
Convolutional Nonlinear Dictionary with Cascaded Structure Filter Banks
Niigata Univ.(新潟大学)
本研究提出一种卷积非线性字典(CNLD)的图像复原使用级联滤波器组。通常,卷积神经网络(CNN)在图像复原应用中展示了它们的实用性;然而,现有的CNN在构造时没有考虑原子图像(卷积核)之间的关系。因此,仍然有讨论设计空间的作用的空间。为了提供一个构建有效的结构化卷积网络的框架,本研究提出了CNLD。通过一定的图像复原实验,推导出了反向传播学习过程,从而验证了CNLD的重要性。它表明,参数的数量减少,同时保持恢复性能。
2020-09-02 cs.CV
RouteWinFormer: A Route-Window Transformer for Middle-range Attention in Image Restoration
Faculty of Computing, Harbin Institute of Technology(计算机学院,哈尔滨工业大学)
针对图像恢复中长距离注意力计算开销大的问题,提出基于路由窗口的Transformer RouteWinFormer,动态选择邻近窗口建模中程上下文,并引入多尺度结构正则化,在9个数据集上超越现有方法。
2025-04-23 cs.CV
Causal-AgentIR: Self-Evolving Causal Memory for Adaptive Image Restoration Agents
Shanghai Jiao Tong University(上海交通大学);Harbin Institute of Technology(哈尔滨工业大学)
针对图像恢复智能体知识存储局限,提出Causal-AgentIR框架,通过构建结构化因果记忆图及协作系统,支持智能体进行因果推理,依质量变化和反馈调整恢复经验,有效提升图像恢复能力。
2026-07-24 cs.CV
Unsupervised Image Restoration Using Partially Linear Denoisers
University of Cambridge(剑桥大学)
基于深度神经网络的方法是各种图像恢复问题的最新技术。标准的监督学习框架需要一组噪声测量和干净图像对,对于这些图像对,恢复模型的输出与地面实况、干净图像之间的距离被最小化。然而,在现实世界的应用中,地面实况图像通常是不可用的或获取起来非常昂贵。我们规避这个问题,提出了一类结构化的降噪,可以分解为一个非线性图像相关的映射,线性噪声相关的长期和一个小的残留项的总和。我们表明,这些去噪器可以只训练噪声图像的条件下,噪声具有零均值和已知的方差。然而,噪声的确切分布并不假定是已知的。我们展示了我们的方法的优越性图像去噪,并证明其扩展到解决其他恢复问题,如盲去模糊的地面真理是不可用的。我们的方法优于一些最近的无监督和自监督深度去噪模型,这些模型不需要干净的图像进行训练。对于盲去模糊问题,该方法,每个图像只使用一个嘈杂和模糊的观察,达到了质量不远的基准数据集上的完全监督同行。
2021-03-30 cs.CV cs.LG eess.IV
SP$^3$: Spherical Priors for Plug-and-Play Restoration
Technion – Israel Institute of Technology(以色列理工学院);Independent Researcher(独立研究员)
提出SP$^3$算法,用球面编码器替代去噪器作为生成先验,通过半二次分裂实现快速图像恢复,速度比零样本扩散方法快3-630倍。
2026-06-16 cs.CV eess.IV
Restoring without Forgetting: Filter-Level Continual Image Restoration via Parameter-Space Integrated Gradients
University of Edinburgh(爱丁堡大学);Baidu Inc.(百度公司);Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
提出RwF,一种滤波器级连续图像恢复框架,通过参数空间积分梯度定位关键滤波器,生成任务特定滤波器,避免遗忘并以更少参数达到竞争性恢复质量。
2026-10-01 cs.CV
DORIS: Polarization Aware Multimodal Degradation Perception for Underwater Image Restoration
Northeastern University(东北大学)
针对水下图像混合退化问题,提出多模态语言驱动框架PolUR,构建MixPolar基准验证其能有效整合偏振与RGB信息,在退化感知、图像复原及下游任务中表现优异。
2026-11-11 cs.CV
Degradation-Guided Underwater Image Restoration with Task-Oriented Latent Control
针对水下图像退化信息双重作用被忽略的问题,提出PROTEUS模型,结合退化引导特征适应与面向任务的潜在控制,在多基准上实现了复原质量与计算成本的良好平衡。
2026-08-11 cs.CV
CoDe-SSM: Context-Detail Decoupled State Space Model for Efficient UHD Image Restoration
本研究提出CoDe-SSM模型,通过GCSM与LHFM双通路解耦处理UHD图像的上下文与细节,在5个基准5类退化任务上,实现了复原质量与效率的显著提升。
2026-08-03 cs.CV
MagnifiQ: Patch-aware Text Guided Progressive Upscaling for High-Resolution Image Restoration
Qualcomm AI Research(高通人工智能研究中心)
MagnifiQ是一种跨分辨率渐进式上采样的图像修复框架,替换扩散模型自注意力层为线性计算卷积,采用补丁文本提示,在4K图像修复中性能优于现有方法,实现速度与质量的实用权衡。
2026-08-17 cs.CV
DiNAT-IR: Exploring Dilated Neighborhood Attention for High-Quality Image Restoration
Texas A&M University(德克萨斯农工大学)
针对图像复原中自注意力计算成本高、通道注意力易忽略局部伪影的问题,本文提出DiNAT-IR,结合DiNA与通道感知模块,在多个基准上取得有竞争力的高质量复原结果。
2026-11-06 cs.CV
Real Image Restoration via Structure-preserving Complementarity Attention
Tencent PCG(腾讯平台与内容事业群)
由于卷积神经网络在从大规模数据中学习可概括的图像先验知识方面表现良好,因此这些模型已广泛用于图像去噪任务。然而,在复杂的模型上,计算复杂度也急剧增加。本文提出了一种新的轻量级互补注意力模块,该模块包括密度模块和稀疏模块,可以协同挖掘密集和稀疏特征,进行特征互补学习,构建高效的轻量级结构。此外,为了减少去噪带来的细节损失,本文构造了一种基于梯度的结构保持分支。我们利用基于梯度的分支来获得额外的结构先验进行去噪,并通过梯度损失优化使模型更加关注图像的几何细节。在此基础上,我们提出了一种高效的双分支Unet结构网络,可视化结果表明,该网络能够有效地保留原始图像的结构细节,我们评估了包括SIDD和DND在内的基准测试,SCANet在PSNR和SSIM方面实现了最先进的性能,同时显著降低了计算成本。
2022-07-28 cs.CV cs.LG eess.IV
All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation
Northwestern Polytechnical University(西北工业大学)
本文提出AMIRNet,通过聚类构建树结构表征未知退化并设计特征变换模块对齐域,实现多种退化图像的全能型复原。
2023-08-06 cs.CV
Defense against Unauthorized Distillation in Image Restoration via Feature Space Perturbation
Shandong Normal University(山东师范大学);Sun Yat-sen University(中山大学)
针对图像恢复模型未授权蒸馏攻击,提出运行时防御方法ASVP,通过SVD放大特征图前k个奇异值注入高频扰动破坏蒸馏对齐,在不影响教师性能前提下显著降低学生模型指标。
2025-10-10 cs.CV
Universal Image Restoration via Internalized Chain-of-Thought Reasoning
Hong Kong JC Lab of Smart City and Department of Computer Science, City University of Hong Kong(香港城市大学智慧城市香港联合实验室及计算机科学系);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);Computer Science and Information Engineering, National Taiwan University(国立台湾大学计算机科学与信息工程学系)
提出CoTIR框架,将思维链推理内化到单个预训练编辑模型中,通过可微拉格朗日优化实现混合退化下的通用图像恢复,在5.2M样本基准上优于现有方法。
2026-06-17 cs.CV
Degradation Frequency Curve: An Explicit Frequency-Quantified Representation for All-in-One Image Restoration
College of Electronic Science, National University of Defense Technology(国防科技大学电子科学学院);College of Electronic Engineering, Beihang University(北航电子工程学院);VCIP, School of Computer Science, Nankai University(南开大学计算机科学学院)
本文提出退化频率曲线(DFC),一种显式量化退化影响的频率域表示方法,通过测量频带内的残差到退化能量比来量化退化响应,从而为全能图像恢复提供有效的表示基础,提升了在复杂退化条件下的性能和泛化能力。
2026-05-17 cs.CV
Degradation-Aware All-in-One Image Restoration via Latent Prior Encoding
本文提出了一种考虑退化因素的统一图像修复方法,通过学习潜在先验推断,实现了自适应特征选择、空间定位和退化语义修复,提升了修复效果和效率。
2025-12-26 cs.CV
PRISM: Rethinking Atmospheric Scattering Reconstruction as a Unified Understanding and Restoration Model for Real-world Dehazing
Tsinghua University(清华大学);Duke University(杜克大学);CUHK(香港中文大学);HKUST(香港理工大学);HKUST(GZ)(香港理工大学(广州))
提出基于近端散射大气重建(PSAR)的物理结构化框架,结合在线非均匀雾合成和选择性自蒸馏适应(SSDA)方案,实现真实世界图像去雾的统一理解与恢复。
2026-06-02 cs.CV
Continuous Expert Assembly: Instance-Conditioned Low-Rank Residuals for All-in-One Image Restoration
Southern University of Science and Technology(南方科技大学);Shenzhen University(深圳大学);Shenzhen University of Advanced Technology(深圳大学先进技术学院);Xi’an Jiaotong University(西安交通大学)
本文提出连续专家装配框架,通过轻量级交叉注意力超适配器生成实例条件低秩路由基和残差方向,实现无需外部提示的密集残差更新,提升图像修复的适应性和效率。
2026-05-07 cs.AI cs.CV
MambaIR: A Simple Baseline for Image Restoration with State-Space Model
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);ByteDance Inc.(字节跳动公司);Peng Cheng Laboratory(鹏城实验室)
提出MambaIR基线,通过引入局部增强和通道注意力改进Mamba,解决图像复原中全局感受野与高效计算的困境,在图像SR上以相似计算成本优于SwinIR。
2024-10-15 cs.CV
What to Remove, What to Preserve: Dual-Ambiguity Rectification for All-in-One Image Restoration
University of Electronic Science and Technology of China(电子科技大学);Jiigan Technology(极感科技)
针对一体化图像恢复中退化与内容线索纠缠的双歧义问题,提出DAR-Net网络,经实验在多退化设置下较基准方法实现峰值信噪比提升,在多基准数据集表现优异。
2026-07-31 cs.AI cs.CV
NanoSD: Edge Efficient Foundation Model for Real Time Image Restoration
Samsung Research India, Bangalore(三星印度研究, 波哥达)
NanoSD通过网络手术、特征蒸馏和结构化扩展,构建了高效扩散基础模型家族,实现边缘设备上的实时图像修复与生成。
2026-01-16 cs.CV
M2Restore: Mixture-of-Experts-based Mamba-CNN Fusion Framework for All-in-One Image Restoration
School of Computer Science and Technology, Anhui University of Technology(安徽理工大学计算机科学与技术学院);School of Cyberspace Security, Sun Yat-sen University(中山大学网络安全学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);College of Artificial Intelligence, Taiyuan University of Technology(太原科技大学人工智能学院)
针对复杂复合退化下图像复原泛化不足及全局与局部建模难平衡的问题,提出 M2Restore,以 CLIP 引导 MoE、Mamba-CNN 双流和边缘感知动态门控实现高效鲁棒的一体化复原。
2025-06-09 cs.CV
Progressive Split Mamba: Effective State Space Modelling for Image Restoration
渐进式拆分Mamba通过拓扑感知的层次状态空间框架,在图像恢复中实现局部结构保持与高效全局传播的平衡。
2026-03-10 cs.CV
A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends
School of Computer Science and Technology, Harbin Institute of Technology(计算机科学与技术学院,哈尔滨工业大学)
本综述首次系统概述全能图像修复(AiOIR)领域,提供结构化分类法,整合数据集与评估协议,并总结开源模型以推动统一视觉修复系统的发展。
2025-08-12 cs.CV eess.IV
UniUIR: Considering Underwater Image Restoration as An All-in-One Learner
National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University(国家多媒体软件工程研究中心,计算机学院,武汉大学);School of Information Engineering, Guangdong University of Technology(信息工程学院,广东工业大学);Horizon Robotics
UniUIR通过全合一学习框架,综合处理水下图像中的多种退化问题,提升恢复精度和泛化能力。
2025-10-06 cs.CV
EndoIR: Degradation-Agnostic All-in-One Endoscopic Image Restoration via Noise-Aware Routing Diffusion
针对内窥镜图像多种退化共存且现有方法需先验知识的问题,提出一体化退化无关扩散框架EndoIR,通过双域提示器、自适应嵌入和噪声感知路由块,在少参数下实现多退化场景SOTA恢复性能并验证临床实用价值。
2025-11-11 cs.AI cs.CV cs.RO
TDiff: Thermal Plug-And-Play Prior with Patch-Based Diffusion
University of California, Riverside(加州大学河滨分校)
针对低成本热像仪图像的低分辨率、固定模式噪声等问题,提出基于补丁扩散的TDiff框架,通过局部训练和重叠补丁去噪混合实现统一恢复,在去噪、超分辨率和去模糊任务上表现优异。
2025-10-07 cs.CV
Structured Sparsity Learning for Efficient Video Super-Resolution
Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室);ETH Zürich(苏黎世联邦理工学院);ByteDance Inc(字节跳动公司);University of Texas at Dallas(德克萨斯大学达拉斯分校)
视频超分辨率(VSR)模型的高计算成本阻碍了它们在资源有限的设备(例如,智能手机和无人机)。现有的VSR模型包含大量的冗余过滤器,从而降低了推理效率。为了修剪这些不重要的过滤器,我们开发了一个结构化的修剪计划称为结构化稀疏学习(SSL)根据VSR的性质。在SSL中,我们为VSR模型中的几个关键组件设计了修剪方案,包括残差块,递归网络和上采样网络。具体来说,我们开发了一个剩余稀疏连接(RSC)计划的残留块的经常性网络,解放修剪限制和保留恢复信息。对于上采样网络,我们设计了一个像素重排剪枝方案来保证特征通道-空间转换的准确性。此外,我们观察到,修剪误差将被放大的隐藏状态传播与循环网络。为了缓解这个问题,我们设计了时间微调(TF)。大量的实验表明,SSL可以显着优于最近的方法定量和定性。
2023-03-25 cs.CV eess.IV
PhyRestore: Physics-Structured Latent-Factor Restoration
Adams State University(亚当斯州立大学)
针对物理因子受损时土壤流失变化估计困难的问题,提出物理结构化潜在因子恢复框架PhyRestore,通过恢复受损因子并利用RUSLE物理关系重建变化,在流域尺度评估中优于退化估计及多种模型,但联合损坏下优势减弱。
2026-09-18 cs.LG
Learned Image Compression and Restoration for Digital Pathology
Pusan National University(釜山大学);Seegene Medical Foundation(希吉尼医疗基金会)
针对数字病理学图像超高分辨率导致的存储与传输挑战,提出了基于深度学习的图像压缩框架CLERIC,通过可学习提升方案与并行编码器分解并处理高低频分量,实现了卓越的率失真性能并保持了高诊断图像质量。
2025-04-01 cs.AI cs.CV
CFSR: Geometry-Conditioned Shadow Removal via Physical Disentanglement
University of Science and Technology of China(科学技术大学);University of Michigan - Ann Arbor(密歇根大学安娜堡分校);Sun Yat-sen University(中山大学)
本文提出CFSR框架,通过物理约束恢复过程解决传统阴影去除网络缺乏物理可解释性的问题,结合3D几何信息与大规模基础模型语义,有效弥合2D-3D领域差距。
2026-04-20 cs.CV
A Robust Low-Rank Prior Model for Structured Cartoon-Texture Image Decomposition with Heavy-Tailed Noise
School of Mathematics and Statistics, Ningbo University(宁波大学数学与统计学院)
本文提出一种鲁棒低秩先验模型,采用Huber损失函数替代传统l2范数,结合总变分范数和核范数处理卡通和纹理成分,通过可实现的操作符分裂算法提升在厚尾噪声下的图像分解性能。
2026-03-29 cs.CV math.OC
Graph Convolutional Networks in Feature Space for Image Deblurring and Super-resolution
The University of Manchester(曼彻斯特大学)
图卷积网络(GCN)在处理非欧几里得结构数据方面取得了巨大成功。他们的成功直接归功于将图结构有效地拟合到社交媒体和知识数据库中的数据。对于图像处理应用,还没有充分探索图形结构和GCN的使用。在本文中,我们提出了一种新的编码器-解码器网络,通过将特征映射转换为预生成的图的顶点来综合构建图结构数据,从而增加了图卷积。通过这样做,我们非显式地将图拉普拉斯正则化应用于特征图,使它们更加结构化。实验表明,它显着提高了图像复原任务的性能,包括去模糊和超分辨率。我们相信它为基于GCN的方法在更多应用中开辟了机会。
2021-05-21 cs.CV
Localized Structured Prediction
Imperial College London(帝国理工学院);University College London(伦敦大学学院);INRIA(法国国家信息与自动化研究所);Ecole normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
结构化预测的关键是利用问题的结构来简化学习过程。当数据表现出局部结构(例如,由“部分”构成),其可以被利用以更好地近似输入(的部分)和输出(的部分)之间的关系。最近关于信号处理的文献,特别是计算机视觉,表明捕捉这些方面对于实现最先进的性能确实至关重要。虽然这种算法通常是在个案的基础上得出的,在这项工作中,我们提出了第一个理论框架,从一般的角度来处理基于部分的数据。我们得到了一个新的方法来处理这些问题,并研究其泛化性能的统计学习理论的设置。我们的分析是新颖的,因为它明确量化了利用基于部分的问题结构的好处,相对于建议的估计器的学习率。
2019-05-30 cs.LG stat.ML
Multi-frame Restoration for 10 Hz Lissajous Confocal Laser Endomicroscopy
POSTECH(POSTECH大学);VPIX Medical(VPIX医疗)
本文提出MIRA框架,通过特征重用和位移对齐实现多帧利萨如共聚焦激光内窥镜图像恢复,提升恢复质量和计算效率。
2026-08-11 cs.CV cs.LG eess.IV
Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
University of California, Los Angeles(加州大学洛杉矶分校)
提出局部化LoRA框架,通过结构化块上的低秩组合实现密集局部更新,在相同参数预算下降低近似误差,提升微调性能。
2025-09-23 cs.AI cs.CL cs.LG
Localized Iterative Methods for Interpolation in Graph Structured Data
University of Southern California(南加州大学)
在本文中,我们提出了两个局部图滤波为基础的方法内插图形信号定义在任意图形的顶点上,从一个部分的样本集。第一种方法是以前的工作重建带限图信号从部分观察到的样本的扩展。迭代图过滤方法非常接近在该工作中提出的解决方案,同时计算效率更高。作为替代方案,我们提出了一个基于正则化的框架,在该框架中,我们将重建的成本定义为图形信号的平滑度和相对于已知样本的重建误差的组合,并找到最小化此成本的解决方案。我们提供了一个封闭的形式解决方案和计算效率的迭代解的优化问题。在推荐系统数据集上的实验结果证明了所提方法的有效性。
2013-10-09 cs.LG
DiffPAD: Denoising Diffusion-based Adversarial Patch Decontamination
RISE Research Institutes of Sweden(瑞典RISE研究机构);KTH Royal Institute of Technology(KTH皇家理工学院);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心);Halmstad University(哈尔姆斯塔德大学)
提出DiffAD框架,利用扩散模型进行对抗补丁净化,通过超分辨率重建和图像修复技术实现最先进的对抗鲁棒性。
2024-11-14 cs.CV cs.LG