Seeing Through the Rain: Resolving High-Frequency Conflicts in Deraining and Super-Resolution via Diffusion Guidance
本文提出DHGM模型，通过整合预训练扩散先验和高通滤波器，解决去雨和超分辨率中的高频冲突，实现高质量图像生成。
2025-12-11 cs.CV
SD-PSFNet: Sequential and Dynamic Point Spread Function Network for Image Deraining
SD-PSFNet通过动态物理建模和顺序特征融合，实现了复杂场景下的高效图像去雨，取得最佳PSNR/SSIM指标。
2025-11-22 cs.CV
Derain-Agent: A Plug-and-Play Agent Framework for Rainy Image Restoration
Derain-Agent通过动态代理框架和智能规划网络，实现雨去除的即插即用式精炼，提升去雨性能并减少计算成本。
2026-03-12 cs.CV
Single Image Deraining via Scale-space Invariant Attention Neural Network
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
在户外视觉计算系统中，由雨像退化引起的图像增强起着关键作用。在本文中，我们解决的概念，规模处理视觉变化的外观雨牛排相对于相机。具体地说，我们重新审视多尺度表示的尺度空间理论，并提出表示的多尺度相关性的卷积特征域，这是更紧凑和鲁棒性比像素域。此外，为了提高网络的建模能力，我们没有对提取的多尺度特征一视同仁，而是设计了一种新的尺度空间不变的注意力机制，帮助网络集中于部分特征。通过这种方式，我们将特征图中最活跃的存在总结为显着特征。大量的实验结果表明，我们的计划在国家的最先进的合成和真实的下雨的场景优越的性能。
2020-06-11 cs.CV
Unpaired Deep Image Deraining Using Dual Contrastive Learning
Shenyang Aerospace University（沈阳航空航天大学）；Nanjing University of Science and Technology（南京理工大学）；Wuhan University（武汉大学）
从一组未配对的干净和下雨的图像中学习单个图像deraining（SID）网络是实用和有价值的，因为获取配对的真实世界数据几乎是不可行的。然而，如果没有成对的数据作为监督，学习SID网络是具有挑战性的。此外，只需使用现有的不成对学习方法（例如，在SID任务中的非配对对抗性学习和周期一致性约束）不足以学习从雨天输入到干净输出的潜在关系，因为在雨天图像和干净图像之间存在显著的域间隙。在本文中，我们开发了一个有效的非配对SID对抗框架，探索非配对样本的相互属性，通过一个双重的对比学习方式在深特征空间，命名为DCD-GAN。该方法主要包括两个协作分支：双向翻译分支（BTB）和对比引导分支（CGB）。具体而言，BTB充分利用对抗一致性的循环架构来生成丰富的样本对，并通过配备双向映射来挖掘两个域之间的潜在特征分布。同时，CGB隐式地约束不同样本在深特征空间的嵌入，鼓励相似的特征分布靠近，而不相似的特征分布远离，以更好地促进雨水去除，帮助图像复原。大量的实验表明，我们的方法在合成和真实世界数据集上对现有的非配对去重方法表现良好，并对几个全监督或半监督模型产生了相当的结果。
2022-03-24 cs.CV
Unpaired Image Deraining Using Reward-Guided Self-Reinforcement Strategy
National University of Defense Technology（国防科技大学）；National University of Singapore（新加坡国立大学）；Nanjing University of Science and Technology（南京理工大学）；Hefei University of Technology（合肥工业大学）；University of Trento（特伦斯大学）
本文提出RGSUD方法，通过奖励循环和自强化训练提升无监督去雨性能，通过IQA动态奖励机制优化去雨结果，实验表明在多种数据集上均优于现有方法。
2026-05-01 cs.CV
DRT: A Lightweight Single Image Deraining Recursive Transformer
Australian National University（澳大利亚国立大学）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
过度参数化是深度学习中的一种常见技术，可以帮助模型充分学习和泛化到给定的任务;尽管如此，这通常会导致巨大的网络结构，并在训练过程中消耗大量的计算资源。最近针对视觉任务的基于transformer的强大深度学习模型通常参数较多，训练难度较大。然而，许多密集预测的低级别计算机视觉任务，如雨条纹去除，通常需要在具有有限计算能力和存储器的设备上执行。因此，我们引入了一种基于递归局部窗口的带剩余连接的自注意结构，并提出了一种递归Transformer（DRT），它具有Transformer的优点，但需要少量的计算资源.特别是，通过递归架构，我们提出的模型只使用了当前性能最好的模型的参数数量的1.3%，同时超过了Rain 100 L基准测试中最先进的方法至少0.33 dB。消融研究还调查了复发对治疗结果的影响。此外，由于该模型不包含任何去噪的设计，它也可以应用于其他图像复原任务。实验结果表明，该方法能取得较好的去霜效果。源代码和预训练模型可以在https://github.com/YC-Liang/DRT上找到。
2022-04-25 cs.CV
Heavy Rain Image Restoration: Integrating Physics Model and Conditional Adversarial Learning
National University of Singapore（新加坡国立大学）；Yale-NUS College（耶鲁-新加坡国立大学学院）
大部分的去伪作品都是以去除雨痕为主，但对于大雨图像的去伪处理却显得力不从心。在大雨中，条纹是强烈可见的，密集的雨水积累或雨幕效果显着洗出的图像，进一步的场景是相对更模糊，在本文中，我们提出了一种新的方法来解决这些问题。我们提出了一个2阶段的网络：一个基于物理的骨干，其次是深度引导的GAN细化。第一阶段估计雨条纹，传输和大气光由基础物理。为了更可靠地梳理这些分量，使用引导滤波框架将图像分解为低频和高频分量。这种过滤由无雨残留图像引导-其内容用于以空间变化的方式设置两个通道的通带，以便背景细节不会与雨条纹混淆。对于第二阶段，细化阶段，我们提出了一个深度引导的GAN恢复的背景细节未能被检索的第一阶段，以及纠正该阶段引入的文物。我们已经评估了我们的方法对国家的最先进的方法。大量的实验表明，我们的方法优于他们对真实的雨图像数据，恢复视觉上干净的图像具有良好的细节。
2019-04-10 cs.CV
Simultaneous Fidelity and Regularization Learning for Image Restoration
Tianjin University（天津大学）；Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；University of California, Merced（加州大学默塞德分校）
大多数现有的非盲恢复方法都是基于精确退化模型已知的假设。由于退化过程只能部分已知或不准确建模，图像可能无法很好地恢复。雨条纹去除和图像去卷积与不准确的模糊内核是这样的任务的两个代表性的例子。对于雨条纹去除，虽然输入图像可以分解为场景层和雨条纹层，但没有明确的公式来建模雨条纹以及与场景层的组合。对于盲解卷积，由于模糊核的估计误差通常被引入，后续的非盲解卷积过程不能很好地恢复潜像。在本文中，我们提出了一个原则性的算法内的最大后验框架，以解决图像复原与部分已知或不准确的退化模型。具体地说，部分已知或不准确的退化模型所引起的残差是空间依赖的和复杂分布的。使用退化和地面实况图像对的训练集，我们以任务驱动的方式参数化并学习退化模型的保真度项。此外，正则化项也可以与保真度项一起学习，从而形成同时保真度和正则化学习模型。大量的实验结果表明，所提出的模型的有效性与不准确的模糊内核的图像反卷积，反卷积与多重退化和雨条纹去除。
2019-07-10 cs.CV
Single Image Deraining Network with Rain Embedding Consistency and Layered LSTM
Tokyo Institute of Technology（东京工业大学）
单图像去覆盖通常被称为残差学习，以从输入的下雨图像中预测降雨层。为此，编码器-解码器网络引起了广泛的关注，其中要求编码器对高质量的雨嵌入进行编码，这决定了后续解码阶段重建雨层的性能。然而，大多数现有的研究忽略了雨嵌入质量的重要性，从而导致有限的性能与过度/欠dereraining。在本文中，我们观察到的高雨层重建性能的雨到雨自动编码器，我们引入了“雨嵌入一致性”的想法，把编码的嵌入由自动编码器作为一个理想的雨嵌入，旨在通过提高理想的雨嵌入和雨嵌入之间的一致性派生的去盲网络的编码器，以提高去盲性能。为了实现这一点，一个雨嵌入损失被应用到直接监督编码过程中，与整流局部对比度归一化（RLCN）作为指导，有效地提取候选雨像素。我们还提出了分层LSTM，用于考虑不同尺度的递归去同步和细粒度编码器特征细化。定性和定量实验表明，我们提出的方法优于以前的国家的最先进的方法，特别是在现实世界的数据集。我们的源代码可以在http://www.ok.sc.e.titech.ac.jp/res/SIR/上找到。
2021-11-05 cs.CV eess.IV
I Can See Clearly Now : Image Restoration via De-Raining
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
我们提出了一种方法，用于改善受粘附雨滴和条纹影响的图像分割任务。我们介绍了一种新的立体数据集记录使用的系统，允许一个镜头受到真实的水滴，同时保持其他镜头清晰。我们使用该数据集训练一个去噪生成器，并表明在图像重建和道路标记分割的背景下，它可以有效地去除真实水滴的影响。为了进一步测试我们的去噪方法，我们描述了一种方法，添加计算机生成的粘附水滴和条纹的任何图像，并使用这种技术作为代理，以证明我们的模型在一般的语义分割的上下文中的有效性。我们使用CamVid道路标记分割数据集，Cityscapes语义分割数据集和我们自己的真实降雨数据集对我们的结果进行基准测试，并在所有任务上显示出显着的改进。
2019-01-03 cs.CV
Gradient Information Guided Deraining with A Novel Network and Adversarial Training
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）；University of Electronic Science and Technology of China（电子科技大学）
近年来，基于深度学习的方法在除雨方面取得了重大进展。然而，现有的方法通常不具有良好的泛化能力，这导致了几乎所有的现有方法都具有良好的性能去除特定类型的雨条纹，但可能有相对较差的性能对其他类型的雨条纹。针对单幅图像中多种雨纹的去除问题，提出了一种新的去噪框架（GRASPP-GAN），该框架具有更好的泛化能力。具体来说，一个修改后的ResNet-18，它提取了下雨图像的深层特征和一个修改后的ASPP结构，它适应于各种形状和大小的雨条纹组成在一起，形成我们的deraining网络的骨干。考虑到雨纹在梯度域中的特征更为突出，引入梯度损失来监督去噪训练过程，并构建Sobel卷积层灵活提取梯度信息。为了进一步提高性能，对抗学习计划首次采用训练建议的网络。在真实世界和合成数据集上的大量实验表明，我们的方法在定量和定性上都优于最先进的deraining方法。此外，在没有任何修改的情况下，我们提出的框架在去雾方面也取得了良好的视觉性能。
2019-10-09 cs.CV eess.IV
Physical Model Guided Deep Image Deraining
Dalian University of Technology（大连理工大学）；University of Chinese Academy of Sciences（中国科学院大学）；Guilin University of Electronic Technology（桂林电子科技大学）
单幅图像的降质是一个迫切的任务，因为降质的雨天图像会使许多计算机视觉系统无法工作，如视频监控和自动驾驶。因此，去盲变得非常重要，需要一种有效的去盲算法。本文提出了一种基于物理模型引导学习的单幅图像去噪网络，该网络由雨纹网络、无雨网络和引导学习网络三个子网络组成。将雨纹网络和无雨网络分别估计出的雨纹图像和无雨图像的拼接输入到引导学习网络中，引导学习网络进一步学习，并基于雨图像的物理模型，将两个估计图像的直接和与输入的雨图像约束。此外，我们进一步发展的多尺度残差块（MSRB），以更好地利用多尺度信息，它被证明是提高去盲性能。定量和定性的实验结果表明，该方法优于国家的最先进的dereraining方法。源代码将在\url{https://supercong94.wixsite.com/supercong94}上提供。
2020-03-30 cs.CV eess.IV
A Hybrid CNN-Transformer Architecture with Frequency Domain Contrastive Learning for Image Deraining
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）
本文提出一种融合频域对比学习的CNN-Transformer混合架构，用于解决图像去雨问题，以恢复受雨纹影响的退化图像。
2023-08-07 cs.CV eess.IV
Image Deraining via Self-supervised Reinforcement Learning
National Chengchi University（国立政治大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Qualcomm Technologies（高通技术公司）
本研究提出SRL-Derain，首次将自监督强化学习应用于图像去雨，通过字典学习定位雨条纹像素并利用像素级智能体执行多重修复动作逐步去雨，在多个基准数据集上表现优异。
2024-03-27 cs.CV eess.IV
Cross Paradigm Representation and Alignment Transformer for Image Deraining
Nanjing Agricultural University（南京农业大学）；Soochow University（苏州大学）；Xiangtan University（湘潭大学）；Shanghai University（上海大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Westlake University（西湖大学）
本文提出CPRAformer，通过整合全局-局部和空间-通道表征，解决单范式架构在不规则雨点和复杂几何重叠下的挑战，提升图像去雨性能。
2026-04-16 cs.CV
Not Just Streaks: Towards Ground Truth for Single Image Deraining
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；Yale University（耶鲁大学）
提出真实世界雨景-干净图像配对数据集与雨鲁棒损失深度网络，解决合成数据域差距，实现更优的去雨效果。
2024-07-29 cs.CV
A Coarse-to-Fine Multi-stream Hybrid Deraining Network for Single Image Deraining
Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
由于单图像的不适定性质，单图像去伪任务仍然是一个非常具有挑战性的任务。最近，研究人员试图通过训练基于CNN的端到端模型来解决这个问题，但他们仍然无法精确地从下雨的图像中提取负雨条纹，这通常会导致过度降雨或降雨不足的结果。为了解决这个问题，本文提出了一种新的由粗到细的单图像去盲框架，称为多流混合去盲网络（简称MH-DerainNet）。为了更准确地获取训练过程中的负雨纹，我们提出了一个新的模块，称为双路径剩余密集块，即，残差路径和稠密路径。残差路径用于重用以前层的共同特征，而稠密路径可以探索新的特征。此外，为了连接不同的缩放特征，我们还应用了多流的思想，在级联的双路径残差密集块流之间具有捷径。为了获得更清晰的去噪图像，我们结合了SSIM损失和感知损失，以保持每个像素的相似性，以及保持全局结构，使去噪结果更准确。对合成和真实降雨图像的广泛实验表明，我们的MH-DerainNet可以提供比最近几种最先进的方法显着的改进。
2019-08-28 cs.CV eess.IV
Uncertainty-Aware Cascaded Dilation Filtering for High-Efficiency Deraining
Nanyang Technological University（南洋理工大学）；Kyushu University（九州大学）；University of Alberta（阿尔伯塔大学）；Alibaba Group（阿里巴巴集团）；Tianjin University（天津大学）；University of South Carolina（南卡罗来纳大学）
去噪是计算机视觉的一项重要而基础的任务，其目的是去除在雨天拍摄的图像或视频中的雨条纹和累积物。现有的去重方法通常对降雨模型进行启发式假设，这迫使它们采用复杂的优化或迭代精化来获得高的恢复质量。然而，这会导致耗时的方法，并影响处理雨型偏离假设的有效性。在本文中，我们提出了一个简单而有效的deraining方法，制定deraining作为一个预测过滤问题，没有复杂的雨模型假设。具体来说，我们确定了空间变化预测滤波（SPFilt），它通过深度网络自适应地预测适当的内核，以过滤不同的单个像素。由于滤波可以通过良好加速的卷积来实现，因此我们的方法可以非常有效。我们进一步提出了EfDeRain+，它包含三个主要的贡献，以解决残留的雨迹，多尺度和不同的雨型，而不会损害效率。首先，我们提出了不确定性感知的级联预测滤波（UC-PFilt），它可以识别通过预测核重建干净像素的困难，并有效地去除残留的雨迹。其次，我们设计了一种多尺度加权扩张滤波器（WS-MS-DFilt），在不影响效率的情况下处理多尺度雨带。第三，为了消除不同雨型之间的差距，我们提出了一种新的数据增强方法（即，RainMix）来训练我们的深度模型。通过将所有贡献与对不同变体的复杂分析相结合，我们的最终方法在恢复质量和速度方面都优于四个单图像deraining数据集和一个视频deraining数据集的基线方法。
2022-01-07 cs.CV eess.IV
Multi-Scale Progressive Fusion Network for Single Image Deraining
Wuhan University（武汉大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；King’s College London（伦敦国王学院）；Harbin Institute of Technology（哈尔滨工业大学）
空中的雨条由于其位置到相机的距离不同，因此呈现出不同的模糊程度和分辨率。类似的雨图案是可见的雨图像，以及其多尺度（或多分辨率）的版本，这使得它有可能利用这种互补信息的雨条纹表示。在这项工作中，我们从输入图像尺度和分层深度特征的角度探索雨条纹的多尺度协作表示，在一个统一的框架中，称为多尺度渐进融合网络（MSPFN）用于单图像雨条纹去除。对于不同位置的相似雨纹，我们采用递归计算来捕获全局纹理，从而允许在空间维度上探索互补和冗余信息来表征目标雨纹。此外，我们还构建了多尺度金字塔结构，并进一步引入注意力机制来指导不同尺度的相关信息的精细融合。这种多尺度渐进式融合策略不仅促进了协同表示，而且也促进了端到端的训练。我们提出的方法在几个基准数据集上进行了广泛的评估，并取得了最先进的结果。此外，我们进行了联合的去盲，检测和分割任务的实验，并启发了视觉任务驱动的图像去盲的新的研究方向。源代码可从\url{https://github.com/kuihua/MSPFN}获得。
2020-03-28 cs.CV cs.LG eess.IV
Deep Single Image Deraining using An Asymetric Cycle Generative and Adversarial Framework
Wuhan Institute of Technology（武汉工程大学）；Texas A&M University（德州农工大学）
针对雨雾共存场景下无监督去雨方法性能差、样本缺乏多样性的问题，提出非对称循环生成对抗框架ACGF，通过R2C和C2R转换块及ARFE、RFDR网络同时提取雨雾特征并提升合成图像纹理细节，在基准数据集上优于现有方法。
2023-05-19 cs.CV eess.IV
SDNet: mutil-branch for single image deraining using swin
Xinjiang University（新疆大学）
雨条纹会降低图像质量，严重影响后续计算机视觉任务的性能，如自动驾驶、社会安全等，因此，从给定的雨天图像中去除雨条纹具有重要意义。卷积神经网络（CNN）已广泛应用于图像去卷积任务，但卷积运算的局部计算特性限制了图像去卷积任务的发展。最近，流行的Transformer具有全局计算特性，可以进一步促进图像去重任务的发展。本文首次将Swin变换器引入图像去噪领域，研究Swin变换器在图像去噪领域的性能和潜力。具体来说，我们改进了Swin-transformer的基本模块，设计了一个三分支模型来实现单图像的雨水去除。前者实现基本雨型特征提取，后者融合不同特征进一步提取和处理图像特征。此外，我们采用跳跃连接来融合深特征和浅特征。在实验方面，现有的公共数据集遭受图像重复和相对均匀的背景。因此，我们提出了一个新的数据集Rain 3000来验证我们的模型。因此，我们提出了一个新的数据集Rain 3000来验证我们的模型。在公开数据集Rain 100 L、Rain 100 H和我们的数据集Rain 3000上的实验结果表明，与目前主流的单图像雨纹去除模型相比，我们提出的方法具有性能和推理速度上的优势，源代码将在https://github.com/H-tfx/SDNet上提供。
2021-05-31 cs.CV cs.LG eess.IV
Clearing the Skies: A deep network architecture for single-image rain removal
Fujian Key Laboratory of Sensing and Computing for Smart City, School of Information Science and Engineering, Xiamen University（厦门大学信息科学与技术学院福建省智慧城市感知与计算重点实验室）；Columbia University（哥伦比亚大学）
我们引入了一种名为DerainNet的深度网络架构，用于从图像中去除雨纹。基于深度卷积神经网络（CNN），我们直接从数据中学习下雨和干净图像细节层之间的映射关系。因为我们不具备与真实世界的雨图像相对应的地面真实值，所以我们将雨图像合成用于训练。与其他增加网络深度或广度的常见策略相比，我们使用图像处理领域知识来修改目标函数，并使用中等大小的CNN来改进deraining。具体来说，我们在细节（高通）层而不是图像域上训练我们的DerainNet。虽然DerainNet是在合成数据上训练的，但我们发现学习过的网络可以非常有效地转换为真实世界的图像进行测试。此外，我们增加了CNN框架与图像增强，以改善视觉效果。与现有的单图像去雨方法相比，该方法在去雨效果上有了明显的改善，并且在训练后的计算时间上有了明显的提高。
2017-02-06 cs.CV
Single Image Deraining: From Model-Based to Data-Driven and Beyond
City University of Hong Kong（香港城市大学）；Yale-NUS College（耶鲁-新加坡国立大学学院）；National University of Singapore（新加坡国立大学）；Jiangxi University of Finance and Economics（江西财经大学）；Peking University（北京大学）
单图像去噪的目的是恢复因雨条纹和雨水积累而退化的图像的无雨背景场景。早期的单图像去噪方法采用代价函数，其中开发各种先验来表示雨和背景层的属性。自2017年以来，单图像去噪方法进入深度学习时代，并利用各种类型的网络，即卷积神经网络，递归神经网络，生成对抗网络等，展示了令人印象深刻的性能。鉴于目前的快速发展，在本文中，我们提供了一个全面的调查，在过去的十年中的deraining方法。我们总结了雨的外观模型，并讨论了两大类deraining方法：基于模型和数据驱动的方法。对于前者，我们根据其基本模型和先验知识对文献进行了整理。对于后者，我们讨论了与架构，约束，损失函数和训练数据集相关的开发思想。我们提出了单图像去重方法的里程碑，回顾了不同类别的广泛的先前作品，并提供了从基于模型到数据驱动方法的历史发展路线的见解。我们还总结了性能比较定量和定性。除了讨论脱雷宁方法的技术性之外，我们还讨论了未来的方向。
2019-12-27 cs.CV eess.IV
DerainCycleGAN: Rain Attentive CycleGAN for Single Image Deraining and Rainmaking
Zhengzhou University（郑州大学）；University of Technology Sydney（悉尼科技大学）
单图像去噪（SID）是新兴视觉应用中的一个重要且具有挑战性的主题，并且大多数新兴的去噪方法都依赖于地面实况（即，图片来源：近年来然而，在实践中，在真正的去重任务中没有未配对的图像是相当常见的，在这种情况下，如何以无监督的方式去除雨条纹将是一个非常具有挑战性的任务，由于缺乏图像之间的约束，因此遭受低质量的恢复结果。本文研究了使用非配对数据的无监督SID任务，并提出了一种新的基于约束CycleGAN的注意力引导的Deraining（或简称DerainCycleGAN）网络，它可以充分利用CycleGAN的约束迁移学习能力和循环结构。具体来说，我们设计了一个不受监督的注意引导雨条纹提取器（U-ARSE），利用内存提取雨条纹掩模与两个约束的循环一致性分支共同关注雨和雨免费的图像域。作为副产品，我们还贡献了一个新的成对雨图像数据集Rain 200 A，它是由我们的网络自动构建的。与现有的合成数据集相比，Rain 200 A中的雨条纹包含了更明显和多样的形状和方向。因此，在Rain 200 A上训练的现有监督方法可以更好地处理真实的雨天图像。在合成数据集和真实数据集上的大量实验表明，我们的网络优于现有的无监督去盲网络，并且与其他相关的有监督网络相比也非常有竞争力。
2021-04-07 cs.CV
Exploring Overcomplete Representations for Single Image Deraining using CNNs
Whiting School of Engineering, Johns Hopkins University（约翰斯·霍普金斯大学怀廷工程学院）
从单个图像中去除雨条纹是一个极具挑战性的问题，因为下雨的图像通常包含不同大小，形状，方向和密度的雨条纹。大多数最近的去重方法使用遵循通用“编码器-解码器”架构的深度网络，该架构捕获初始层的低级特征和更深层的高级特征。对于去噪任务，要去除的雨条纹相对较小，并且过多地关注全局特征不是解决问题的有效方法。为此，我们建议使用过完备卷积网络架构，该架构通过限制滤波器的感受野来特别注意学习局部结构。我们将其与U-Net相结合，以便它不会失去全局结构，同时更多地关注低级别特征，以计算derained图像。所提出的网络被称为上下完全去抑制网络（OUCD），由两个分支组成：过完全分支，其被限制于小的感受野大小以专注于局部结构;以及不完全分支，其具有较大的感受野以主要专注于全局结构。在合成数据集和真实数据集上的实验表明，该方法比现有的方法有了显著的改进。
2020-10-20 cs.CV eess.IV
Deep Image Deraining Via Intrinsic Rainy Image Priors and Multi-scale Auxiliary Decoding
University of Electronic Science and Technology of China（电子科技大学）；The Shanghai Jiaotong University（上海交通大学）
不同的雨模型和新颖的网络结构已被提出来消除雨条纹从单雨图像。在这项工作中，我们注意到雨图像的内在先验和多尺度特征，并开发了几个内在损失函数来训练一个CNN去盲网络。我们首先研究了稀疏先验的雨天图像，这已被验证，以保持完整的边缘在图像分解。然而，它的数学公式通常会导致一个棘手的解决方案，我们提出了准稀疏先验来降低复杂性，这样我们的网络就可以在下雨图像的稀疏属性的监督下进行训练。拟稀疏性在不同梯度域中监督网络训练，但将雨图像分解为雨层和背景层仍然是不适定的。我们开发了另一个$L_1$损失的基础上，雨层的内在低值属性恢复图像内容与常用的$L_1$相似性损失。通过多尺度辅助解码结构进一步探索多尺度特征，以显示哪种特征对去盲任务贡献最大，并且相应的多尺度辅助损失进一步提高去盲性能。在我们的网络中，更有效的组卷积和特征共享被用来获得一个数量级的网络运行速度的提高。所提出的去重方法对最先进的去重方法表现良好。
2019-11-25 cs.CV
Single Image Deraining using Scale-Aware Multi-Stage Recurrent Network
National University of Singapore（新加坡国立大学）；Yale-NUS（耶鲁-新加坡国立大学学院）
我们的目标是在给定的单输入雨图像，从视觉上消除雨条纹和雨条纹和雨滴的散射和传输所造成的面纱效应。我们特别关注大雨，不同大小和方向的雨带可以相互重叠，面纱效应严重降低了对比度。为了实现我们的目标，我们引入了一个尺度感知的多级卷积神经网络。我们的主要想法是，不同大小的雨条纹在视觉上以不同的方式降低场景。较大的近处条纹会遮挡较大的区域，并且可能比较小的远处条纹更显著地反射镜面反射高光。不同条纹的这些不同效果在其图像特征上各有特点，因而需要区别对待。为了实现这一点，我们创建了并行子网络，这些子网络经过训练并意识到这些不同尺度的雨纹。据我们所知，这种并行子网络的想法是新颖的，根据其独特的子类来处理同一类对象，特别是在除雨的背景下。为了验证我们的想法，我们在合成图像和真实图像上进行了实验，发现我们的方法是有效的，并且优于最先进的方法。
2017-12-19 cs.CV
Beyond Monocular Deraining: Parallel Stereo Deraining Network Via Semantic Prior
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Inception Institute of Artificial Intelligence（启元人工智能研究院）；Meituan Group（美团集团）；Australian National University（澳大利亚国立大学）；Tencent（腾讯）；Beijing Institute of Technology（北京理工大学）
下雨是一种常见的自然现象。然而，在雨中拍摄图像通常会导致图像质量下降，从而损害许多计算机视觉系统的性能。现有的大多数去雨算法只使用一幅输入图像，目的是恢复一幅干净的图像。很少有工作利用立体图像。此外，即使是基于单图像的单目去噪，目前的许多方法也不能令人满意地完成任务，因为它们大多依赖于每像素损失函数，而忽略了语义信息。在本文中，我们提出了一个成对的雨去除网络（PRRNet），它利用立体图像和语义信息。具体地说，我们开发了一个语义感知的脱层模块（SADM），它解决了语义分割和脱层的场景，语义融合网络（SFNet）和视图融合网络（VFNet），分别融合语义信息和多视图信息的任务。此外，我们还介绍了一个增强的成对雨去除网络（EPRRNet），利用语义之前，从立体图像中删除雨条纹。首先使用粗去噪网络去除输入图像上的雨纹，然后使用预先训练好的语义分割网络从粗去噪后的图像中提取语义特征。最后，一个并行的立体去盲网络融合语义和多视图信息，以恢复更精细的结果。我们还提出了新的立体声为基准的雨天数据集。在单目和新提出的立体雨天数据集上的实验表明，该方法达到了最先进的性能。
2021-05-09 cs.CV
RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining
Tencent Jarvis Lab（腾讯天衍实验室）；Xi’an Jiaotong University（西安交通大学）；Peng Cheng Laboratory（鹏城实验室）；Macau University of Science and Technology（澳门科技大学）
作为一种常见的天气，雨条纹不利地降低图像质量。因此，从图像中去除雨水已成为该领域的重要问题。为了处理这样一个病态的单图像去伪任务，在本文中，我们专门构建了一个新的深度架构，称为雨卷积字典网络（RCDNet），它嵌入了雨条纹的内在先验，具有清晰的可解释性。具体而言，我们首先建立了一个RCD模型来表示雨条纹，并利用近似梯度下降技术设计了一个迭代算法，只包含简单的操作来求解模型。通过展开，我们建立了RCDNet，其中每个网络模块具有明确的物理意义，并对应于算法中涉及的每个操作。这种良好的可解释性极大地促进了对网络内部发生的事情以及为什么它在推理过程中工作良好的可视化和分析。此外，考虑到在实际场景中的域间隙问题，我们进一步设计了一种新的动态RCDNet，其中的雨核可以动态推断对应于输入的下雨图像，然后帮助缩小空间的雨层估计与少量的雨地图，以确保良好的泛化性能，在训练和测试数据之间的降雨类型不一致的场景。通过端到端训练这样一个可解释的网络，可以自动提取所有涉及的雨核和邻近算子，忠实地表征雨和干净背景层的特征，从而自然地产生更好的去噪声性能。实验结果表明，该方法具有较好的通用性和可解释性。代码在\emph{\url{https://github.com/hongwang01/DRCDNet}}中可用。
2022-12-26 cs.CV eess.IV
Single Image Deraining via Feature-based Deep Convolutional Neural Network
Wuhan University of Science and Technology（武汉科技大学）；Naval University of Engineering（海军工程大学）
针对单幅图像去雨任务中雨痕空间变化、现有CNN方法数据依赖强且可解释性不足的问题，提出结合数据驱动与模型方法的去雨算法，通过iWGIF提取雨痕、特征域迁移及注意力机制网络恢复图像，性能优于现有最优方法。
2023-05-03 cs.CV eess.IV
An End-to-End Cascaded Image Deraining and Object Detection Neural Network
University of Chinese Academy of Sciences（中国科学院大学）
虽然近年来基于深度学习的图像去伪方法取得了很大的进展，但在现实世界中的应用中存在两个主要缺点。首先，以雨水去除为代表的低级视觉任务和以目标检测为代表的高级视觉任务之间的差距是显著的，低级视觉任务几乎不能对高级视觉任务做出贡献。第二，需要提高去噪数据集的质量。事实上，许多基线中的雨线与真实雨线有很大的差距，并且去噪数据集图像的分辨率通常不理想。同时，对于低级视觉任务和高级视觉任务，很少有共同的数据集。在本文中，我们探讨了低层次视觉任务与高层次视觉任务的结合。具体而言，我们提出了一个端到端的目标检测网络，以减少降雨的影响，它由两个级联的网络，一个改进的图像去噪网络和目标检测网络，分别。我们还设计了损失函数的组件，以适应不同的子网络的特性。然后，我们提出了一个基于KITTI数据集的数据集，用于降雨去除和目标检测，在此基础上，我们的网络超越了最先进的技术，在指标上有了显着的改进。此外，我们提出的网络在自动驾驶车辆收集的驾驶视频上进行了测量，并在除雨和目标检测方面显示出积极的结果。
2022-02-23 cs.CV eess.IV
NASNet: A Neuron Attention Stage-by-Stage Net for Single Image Deraining
在复杂的降雨条件下拍摄的图像往往会受到能见度明显下降的影响。降雨模式通常引入不同的能见度退化，包括雨条、雨滴和雨雾。现有的单图像去噪方法大多集中在单一的降雨模型上，泛化能力不强。在本文中，我们提出了一种新的端到端神经元注意力逐阶段网络（NASNet），它可以有效地解决所有类型的雨模型任务。一方面，我们更加关注神经元之间的关系，提出了一种轻量级的神经元注意力（NA）架构机制。它可以通过对神经元之间的相互依赖和相互影响进行建模，自适应地重新校准神经元的特征响应。我们的NA架构由DependentConv和Pointwise Conv组成，通过对比实验，与SE块相比，具有较小的计算成本和更高的性能。另一方面，我们提出了一种分阶段的统一模式网络结构，分阶段的策略通过整合前一阶段的有用信息来指导后一阶段。通过NA模块动态连接和融合阶段级信息。大量的实验表明，我们提出的NASNet显着优于国家的最先进的方法，在所有六个公共大规模数据集的三个雨模型任务的定量和定性措施方面的大幅度。
2020-05-28 cs.CV eess.IV
Towards Safer Transportation: a self-supervised learning approach for traffic video deraining
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
交通视频监控对于交通管理和控制、交通统计和交通执法都是有用的。然而，在恶劣天气如下雨期间的交通监控是一项具有挑战性的任务，因为视频质量被视频图像上的雨滴条纹破坏，这不仅阻碍了道路环境的可靠表征，而且也阻碍了在这种恶劣天气事件期间道路使用者行为的可靠表征。本研究提出一种两阶段自监督学习方法来去除交通视频中的雨纹。第一级和第二级分别处理帧内和帧间噪声。实验结果表明，该模型在图像视觉质量和峰值信噪比方面表现出令人满意的性能。
2021-10-11 cs.CV eess.IV
Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
雨强会严重降低能见度，导致现有的许多计算机视觉算法失效。因此，有必要从图像中去除雨水。我们提出了一种基于深度卷积和递归神经网络的新型深度网络架构，用于单图像去重。由于背景信息对雨水去除非常重要，我们首先采用扩张的卷积神经网络来获得大的感受野。为了更好地适应除雨任务，我们还修改了网络。在暴雨中，雨条具有不同的方向和形状，可以看作是多个雨条层的累积。我们分配不同的α值的各种雨条纹层的强度和透明度，通过纳入挤压和激发块。由于雨纹层彼此重叠，因此不容易在一个阶段中去除雨水。因此，我们进一步将雨水去除分解为多个阶段。采用递归神经网络，保留前一阶段的有用信息，有利于后一阶段的雨水去除。我们在合成和真实世界的数据集上进行了广泛的实验。我们提出的方法优于国家的最先进的方法下的所有评价指标。代码和补充材料可在我们的项目网页上找到：https://xialipku.github.io/RESCAN。
2018-07-28 cs.CV
RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；School of Computer Science and Technology, Harbin University of Science and Technology（哈尔滨理工大学计算机科学与技术学院）
研究针对视频去雨问题，提出RainDancer框架，基于分解-交互范式，在RGB和事件分支分别处理，分离雨和背景成分，进行组件级融合，并引入事件域监督，实验表明该方法在多方面性能优越。
2026-07-16 cs.CV
Dual Attention-in-Attention Model for Joint Rain Streak and Raindrop Removal
Australian National University（澳大利亚国立大学）；Tencent AI Laboratory（腾讯人工智能实验室）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
雨条纹和雨滴是两种自然现象，它们以不同的方式降低图像捕获。目前，大多数现有的深度去脱轨网络将它们视为两个不同的问题，并单独解决一个问题，因此无法同时充分处理这两个问题。为了解决这个问题，我们提出了一个双注意力模型（DAiAM），其中包括两个DAM删除雨条纹和雨滴。在DAM内，有两个注意地图-每个分别关注大雨和小雨区域，以指导适用区域的不同去化过程。此外，为了进一步细化结果，差分驱动的双注意力在注意力模型（D-DAiAM）提出了一个“重到轻”的计划，以消除雨通过解决不满意的deraining区域。在一个公共雨滴数据集、一个公共雨痕和我们合成的联合雨痕和雨滴（JRSRD）数据集上的大量实验表明，该方法不仅能够同时去除雨痕和雨滴，而且在两个任务上都达到了最先进的性能。
2021-10-19 cs.CV
DRD-Net: Detail-recovery Image Deraining via Context Aggregation Networks
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Microsoft（微软）；Education University of Hong Kong（香港教育大学）；Hefei University of Technology（合肥工业大学）
图像去伪是计算机视觉和图形学中的一个基本问题，至今尚未得到很好的解决。传统的图像去噪方法在去除中、大雨时往往效果不佳，而基于学习的去噪方法则会导致图像细节丢失、光晕伪影和/或颜色失真等图像质量下降。与现有的图像deraining方法，缺乏细节恢复机制，我们提出了一个端到端的细节恢复图像deraining网络（称为DRD-Net）的单一图像。我们首次引入了两个具有综合损失函数的子网络，它们协同作用，以消除和恢复因去盲而丢失的细节。我们有三个关键贡献。首先，我们提出了一种雨残差网络，以消除雨条纹从下雨的图像，它结合了挤压和激励（SE）操作与残差块，充分利用空间上下文信息。其次，我们设计了一个新的连接风格块，命名为结构细节上下文聚合块（SDCAB），它聚合上下文特征信息，并具有一个大的接收字段。第三，借鉴SDCAB，我们构建了一个细节修复网络，鼓励丢失的细节返回，消除图像退化。我们已经在四个公认的数据集（三个合成数据集和一个真实数据集）上验证了我们的方法。定量和定性的比较表明，我们的方法优于国家的最先进的去水印方法在去水印的鲁棒性和细节的准确性。源代码已在GitHub上公开评估和使用。
2019-08-28 cs.CV eess.IV
Single Image Deraining via Rain-Steaks Aware Deep Convolutional Neural Network
Wuhan University of Science and Technology（武汉科技大学）
由于雨带在雨图像中是空间变化的，因此从单个雨图像中去除雨带是具有挑战性的。本文通过结合传统的图像处理技术和基于深度学习的技术来研究这个问题。提出了一种改进的加权引导图像滤波器（iWGIF），用于从雨天图像中提取高频信息。高频信息主要包括雨串和噪声，可以引导雨串感知的深度卷积神经网络（RSADCNN）对雨串进行更多的关注。提高了RSADNN的效率和解释能力。实验表明，该算法显着优于国家的最先进的方法在合成和真实世界的图像在定性和定量的措施。这对于在雨天条件下的自主导航是有用的。
2022-09-20 cs.CV
Adversarial Rain Attack and Defensive Deraining for DNN Perception
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Singapore Management University（新加坡管理大学）；University of Alberta（阿尔伯塔大学）；Kyushu University（九州大学）；Tianjin University（天津大学）；Teesside University（提赛德大学）
降雨常常对基于深度神经网络（DNN）的感知系统造成不可避免的威胁，并且全面调查降雨对DNN的潜在风险是非常重要的。然而，要收集或合成能够代表真实世界中可能发生的所有降雨情况的降雨图像是相当困难的。为此，本文从一个新的视角出发，提出将两个完全不同的研究结合起来，即，雨图像合成和对抗攻击。我们首先提出了一个对抗性的雨攻击，通过它，我们可以在部署的DNN的指导下模拟各种降雨情况，并揭示降雨可能带来的潜在威胁因素。特别是，我们设计了一个因子感知的雨生成，根据相机曝光过程合成雨条纹和模型的对抗攻击的可学习的雨因子。使用该生成器，我们对图像分类和目标检测进行了对抗性雨攻击。为了保护DNN免受负面降雨效应的影响，我们还提出了一种防御性的去锚策略，为此我们设计了一种对抗性降雨增强，它使用混合对抗性降雨层来增强下游DNN感知的去锚模型。我们对各种数据集的大规模评估表明，我们合成的具有逼真外观的下雨图像不仅对DNN表现出强大的对抗能力，而且还增强了防御目的的deraining模型，为进一步的雨鲁棒感知研究奠定了基础。
2022-02-03 cs.CR cs.CV
UnfairGAN: An Enhanced Generative Adversarial Network for Raindrop Removal from A Single Image
Vietnam National Space Center（越南国家空间中心）；Vietnam Academy of Science and Technology（越南科学技术研究院）；Gachon University（嘉泉大学）
图像去伪是自动驾驶汽车等现实应用中的一个新的挑战性问题。在强降雨的恶劣天气条件下，雨滴，主要是打在眼镜或挡风玻璃上，会明显降低观察能力。此外，雨滴在玻璃上传播会产生折射的物理效应，这会严重阻碍视线或破坏机器学习系统。在本文中，我们提出了一个增强的生成对抗网络来处理雨滴的挑战性问题。UnfairGAN是一种增强的生成对抗网络，它可以利用边缘和降雨估计等先验高级信息来提高反训练性能。为了演示UnfairGAN，我们引入了一个大型数据集来训练雨水去除的深度学习模型。实验结果表明，我们提出的方法优于其他国家的最先进的方法deraining雨滴的定量指标和视觉质量。
2021-10-11 cs.CV eess.IV
Spatial Attentive Single-Image Deraining with a High Quality Real Rain Dataset
Dalian University of Technology（大连理工大学）；City University of Hong Kong（香港城市大学）
从单个图像中去除雨条纹引起了人们的广泛关注，因为雨条纹会严重降低图像质量并影响现有户外视觉任务的性能。虽然最近基于CNN的derainers报告了有希望的性能，但由于两个原因，deraining仍然是一个开放的问题。首先，现有的合成雨数据集只有有限的现实主义，在模拟真实的雨的特征，如雨的形状，方向和强度。其次，没有公开的基准对真实的降雨图像进行定量比较，这使得目前的评估不太客观。核心挑战是无法同时捕获真实世界的雨/干净图像对。在本文中，我们解决了单图像雨去除问题的两种方法。首先，我们提出了一个半自动的方法，结合时间先验和人类的监督，从每个输入序列的真实雨图像生成一个高质量的干净的图像。使用这种方法，我们构建了一个大规模的数据集的$\sim$ $29.5K$雨/雨免费的图像对，涵盖了广泛的自然雨场景。其次，为了更好地覆盖真实雨纹的随机分布，我们提出了一种新的空间注意网络（SPAN），以局部到全局的方式去除雨纹。大量的实验表明，我们的网络表现良好，对国家的最先进的dereraining方法。
2019-08-18 cs.CV
Residual Squeeze-and-Excitation Network for Fast Image Deraining
University of Science and Technology of China（中国科学技术大学）；KDDI Research, Inc.（KDDI研究所）
图像去伪是一项重要的图像处理任务，因为雨条纹不仅严重降低图像的视觉质量，而且显著影响高级视觉任务的性能。传统的方法通过不同的递归神经网络逐步去除雨痕。然而，这些方法不能以有效的方式产生合理的无雨图像。在本文中，我们提出了一个残留的挤压和激励网络称为RSEN快速图像去除以及优越的性能与国家的最先进的方法相比。具体来说，RSEN采用轻量级的编码器-解码器架构，在一个阶段中进行雨水去除。此外，编码器和解码器都采用了一种新的残余挤压和激励块作为特征提取的核心，它包含一个残余块产生层次特征，其次是挤压和激励块的通道明智地增强所产生的层次特征。实验结果表明，与现有方法相比，该方法不仅可以大大降低计算复杂度，而且可以显著提高去盲性能。
2020-06-01 cs.CV cs.LG eess.IV
Unsupervised Single Image Deraining with Self-supervised Constraints
University of Science and Technology of China（中国科学技术大学）
现有的大多数单图像去重方法需要从大量成对的合成训练数据中学习监督模型，这限制了它们在实际多媒体应用中的通用性、可扩展性和实用性。此外，由于缺乏标记监督约束，直接将现有的无监督框架应用于图像去伪任务将遭受低质量的恢复。因此，我们提出了一个无监督的Deraining生成对抗网络（UD-GAN）来解决上述问题，通过引入自监督约束的内在统计不成对的下雨和干净的图像。具体来说，我们首先设计了两个协同优化的模块，即雨引导模块（RGM）和背景引导模块（BGM），以充分利用雨天图像的特点：RGM的目的是区分真正的雨天图像与假的雨天图像，这是基于BGM生成器的输出创建的。同时，BGM利用分层高斯-模糊梯度误差来确保下雨输入和下雨输出之间的背景一致性。其次，一种新的亮度调节对抗损失被集成到清洁图像的平滑，考虑到真实清洁图像和derained图像之间的内在亮度差异。在各种基准数据集和不同训练环境下的综合实验结果表明，UD-GAN在定量和定性方面都优于现有的图像去重方法。
2018-11-21 cs.CV
TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining and Object Detection in Rain
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有降雨生成算法伪影多、失真大、雨量难控的问题，提出融合TPS约束与SeNCE策略的非配对图像翻译框架TPSeNCE，可生成高真实感雨天图像，提升去雨和雨中检测性能，还可扩展至雪景、夜景生成。
2023-11-08 cs.CV
Semi-Supervised Video Deraining with Dynamical Rain Generator
The Macau University of Science and Technology（澳门科技大学）
虽然基于深度学习（DL）的视频去盲方法最近取得了显著的成功，但它们仍然存在两个主要缺点。首先，他们中的大多数没有充分的模型下雨的视频的雨层的特性。事实上，雨水层表现出很强的物理性质（例如，方向、尺度和厚度）和时间维度上的自然连续性，因此通常可以通过统计学中的时空过程来建模。其次，现有的基于DL的方法严重依赖于标记的合成训练数据，其雨型往往偏离未标记的真实数据。合成数据集和真实数据集之间的这种差距导致在实际场景中应用它们时性能不佳。针对这些问题，本文提出了一种新的半监督视频去噪方法，在该方法中，采用动态降雨发生器拟合降雨层，以期更好地刻画降雨层的内在特征。具体地说，这种动态生成器由一个发射模型和一个过渡模型，同时编码的空间物理结构和时间连续变化的雨条纹，分别，这两者都是参数化的深度神经网络（DNN）。此外，为标记的合成数据和未标记的真实数据设计了不同的先验格式，以充分利用它们背后的共同知识。最后，我们还设计了一个Monte Carlo EM算法来求解这个模型。通过大量的实验验证了所提出的半监督去盲模型的优越性。
2021-04-14 cs.CV
RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Metropolitan University（香港都会大学）
针对传统视频去雨方法感受野有限、Transformer计算复杂度高且SSM一维处理破坏时空局部相关性的问题，提出带希尔伯特扫描机制与差异引导动态对比局部性学习的RainMamba网络，在多数据集上实现高效去雨。
2024-09-11 cs.CV
Latent Degradation Representation Constraint for Single Image Deraining
针对单幅图像去雨中潜在退化表示缺乏显式约束的问题，提出LDRCNet，通过方向感知编码、约束损失和多尺度交互实现复杂雨纹去除并达到最先进性能。
2024-01-18 cs.CV eess.IV
GT-Rain Single Image Deraining Challenge Report
本报告总结了 GT-Rain 单图像去雨挑战赛，该比赛基于新数据集，评估了 275 名注册者中 55 名决赛参与者的去雨方法性能。
2024-03-18 cs.CV cs.LG
Dynamic Association Learning of Self-Attention and Convolution in Image Restoration
Harbin Institute of Technology（哈尔滨工业大学）；Wuhan University（武汉大学）；Hubei University（湖北大学）；Hangzhou Lingban Technology Ltd.（杭州灵伴科技有限公司）
针对卷积神经网络感受野有限、权重静态的问题，提出自注意力与卷积的动态关联学习方法，通过多输入注意力模块关联雨纹去除与背景恢复，结合残差Transformer与编解码分支实现高质量图像去雨。
2023-11-09 cs.CV
Conditional Variational Image Deraining
University of Amsterdam（阿姆斯特丹大学）；Nankai University（南开大学）；Inception Institute of Artificial Intelligence（因ception人工智能研究院）
图像去伪是一项重要而又具有挑战性的图像处理任务。虽然确定性图像去重方法的发展与令人鼓舞的性能，他们是不可行的，学习灵活的表示概率推理和多样化的预测。此外，降雨强度在空间位置和颜色通道上都不同，这使得这项任务更加困难。在本文中，我们提出了一个条件变分图像去盲（CVID）网络，以获得更好的去盲性能，利用条件变分自动编码器（CVAE）的独家生成能力，为下雨图像提供多种预测。为了执行空间自适应去覆盖，我们提出了一个空间密度估计（SPIDESSION）模块来估计每个图像的雨密度图。由于雨密度在不同的颜色通道变化，我们还提出了一个通道（CW）的deraining计划。在合成数据集和真实数据集上的实验表明，该网络在图像去噪方面比以往的确定性方法有更好的性能。广泛的消融研究验证了我们的CVID网络中所提出的连续波模块和CW方案的有效性。代码可在\url{https://github.com/Yingjun-Du/VID}上获得。
2020-05-08 cs.CV
Rain Streak Removal in a Video to Improve Visibility by TAWL Algorithm
Charles Sturt University（查尔斯特大学）
在计算机视觉应用中，视频内容的可见性对于执行分析以提高准确性至关重要。在恶劣天气条件下，能见度会受到多种大气干扰的影响，其中之一就是出现雨带。近年来，雨带去除因其在自动驾驶汽车、智能交通监控系统、多媒体等方面的应用而引起了研究者的广泛兴趣。本文提出了一种新颖而简单的方法，该方法结合了三种新的特征，分别关注雨带的时间外观、宽度形状和相对位置，我们称之为TAWL（时间外观、宽度和位置）方法。所提出的TAWL方法自适应地使用来自不同分辨率和帧速率的特征。此外，它逐步处理来自即将到来的帧的特征，以便它可以实时去除雨水。实验已经进行了使用视频序列与真实的降雨和合成降雨的性能比较所提出的方法对相关的国家的最先进的方法。实验结果表明，该方法比现有的方法更好地去除了更多的雨条纹，同时保留了其他移动区域。
2020-07-10 cs.CV eess.IV
Semi-DerainGAN: A New Semi-supervised Single Image Deraining Network
Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Donghua University（东华大学）；City University of Hong Kong（香港城市大学）；Zhengzhou University（郑州大学）
由于合成数据集中雨条纹的形状和方向与真实图像有很大的不同，因此从单幅图像中去除雨条纹仍然是一项具有挑战性的任务。尽管有监督的深度去盲网络在合成数据集上取得了令人印象深刻的结果，但由于雨水去除能力的泛化能力较弱，它们仍然无法在真实图像上获得令人满意的结果，即，预先训练的模型通常不能处理可能导致过度偏离/偏离不足的结果的新形状和方向。在本文中，我们提出了一种新的半监督的基于GAN的deraining网络，称为Semi-DerainGAN，它可以使用两个监督和非监督过程在统一的网络中使用合成和真实的下雨图像。具体地说，一个半监督的雨纹学习者称为SSRML共享相同的参数的两个过程，这使得真实图像贡献更多的雨纹信息。为了提供更好的反欺骗结果，我们设计了一个成对的双样本来区分真实对和虚假对。请注意，我们还贡献了一个新的真实世界的雨图像数据集Real 200，以减轻合成和真实图像域之间的差异。在公共数据集上的大量实验结果表明，该模型可以获得有竞争力的性能，特别是在真实图像上。
2021-04-07 cs.CV
Detail-recovery Image Deraining via Dual Sample-augmented Contrastive Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）；Ryerson University（瑞尔森大学）；Hefei University of Technology（合肥工业大学）
雨图像内容的复杂性往往导致尖端的deraining模型图像退化，包括残留的雨，错误删除的细节，扭曲的外观。当将在合成数据上训练的模型应用于真实世界的下雨图像时，这种退化进一步加剧。我们观察到两种类型的域之间的差距合成和现实世界的下雨图像：一个存在于雨条纹图案，另一个是像素级外观的无雨图像。为了弥合这两个领域的差距，我们提出了一个半监督的细节恢复图像去盲网络（半DRDNet）与双样本增强对比学习。Semi-DRDNet由三个子网络组成：（1）为了去除雨痕，提出了一个基于挤压激励的雨痕残差网络;（2）为了鼓励丢失的细节回归，提出了一个基于结构细节上下文聚合的细节修复网络，据我们所知，这是第一次;以及iii）为了为雨条纹和干净背景两者建立有效的对比约束，我们采用了一种新的双样本增强对比正则化网络，Semi-DRDNet在模拟和真实降雨数据上都能顺利运行，具有良好的鲁棒性和细节精度。包括我们建立的Real 200在内的四个数据集的比较显示，Semi-DRDNet比十五种最先进的方法有明显的改进。代码和数据集可在https://github.com/syy-whu/DRD-Net上获得。
2023-02-14 cs.CV
