Subjective and Objective De-raining Quality Assessment Towards Authentic Rain Image
University of Electronic Science and Technology of China（电子科技大学）
户外视觉系统获取的图像易受阴雨天气的影响，能见度差，干扰干扰大，这给准确理解和描述视觉内容带来了很大的挑战。近年来的研究致力于去除雨水以提高图像的可见度。然而，去雨图像质量评价的研究却很少，而去雨图像质量评价对于准确衡量各种去雨算法的性能至关重要。在本文中，我们首先创建了一个去雨质量评估（DQA）数据库，收集了206个真实的雨图像和6个代表性的单图像去雨算法产生的去雨版本。然后，在我们的DQA数据库上进行主观研究，该数据库收集所有去雨图像的主观评分。为了定量地度量非均匀伪影的去噪图像质量，提出了一种结合全局感知和局部差异特征的双向特征嵌入网络（B-FEN）。实验结果表明，该方法明显优于许多现有的通用盲图像质量评估模型。为了帮助对感知偏好去雨算法的研究，我们将公开发布我们的DQA数据库和B-FEN源代码在https://github.com/wqb-uestc。
2019-10-06 cs.CV eess.IV
Morphological Networks for Image De-raining
Indian Statistical Institute（印度统计研究所）；The University of Adelaide（阿德莱德大学）
数学形态学方法已经成功地应用于过滤掉（强调或删除）图像的不同结构。然而，有人认为，这些方法可以适用于任务，只有当类型和阶数的滤波器（S）以及形状和大小的算子核的设计是正确的。因此，现有的过滤操作是特定于问题（实例）的，并且由领域专家设计。在这项工作中，我们提出了一个形态学网络，模拟经典的形态学滤波组成的一系列腐蚀和膨胀算子与可训练的结构元素。我们评估所提出的网络图像去训练任务的SSIM和平均绝对误差（MAE）损失对应的预测和地面真实干净的图像是通过网络反向传播训练的结构元素。我们观察到，单个形态学网络可以用任何形状的雨滴对图像进行去雨，并且在此任务中，用一小部分可训练参数（网络大小）实现与当代CNN相似的性能。所提出的形态学网络（MorphoN）不是专门为去雨而设计的，可以很容易地应用于类似的过滤/噪声清除任务。源代码可以在这里找到https://github.com/ranjanZ/2D-Morphological-Network
2019-01-08 cs.CV
A Prototype Unit for Image De-raining using Time-Lapse Data
Hyundai Motor Company（现代汽车公司）；Korea Aerospace University（韩国航空大学）
本文提出雨条纹原型单元RsPU，利用延时数据将雨条纹特征高效编码为实时原型，并结合编码器-解码器网络与特征原型损失，在降低计算和内存消耗的同时实现具有竞争力的单图像去雨性能。
2024-12-27 cs.CV eess.IV
Uncertainty Guided Multi-Scale Residual Learning-using a Cycle Spinning CNN for Single Image De-Raining
Johns Hopkins University（约翰斯·霍普金斯大学）
单图像去雨是一个极具挑战性的问题，因为下雨的图像可能包含雨条纹，可能会改变大小，方向和密度。以前的方法试图通过利用一些先验信息来从单个图像中去除雨条纹来解决这个问题。这些方法的主要局限之一是它们没有考虑图像中雨滴的位置信息。拟议的不确定性引导多尺度残差学习（UMRL）网络试图通过学习不同尺度的降雨量并使用它们来估计最终的降雨输出来解决这个问题。此外，我们引入了一种技术，该技术指导网络学习网络权重的基础上的估计的置信度。此外，我们引入了一个新的训练和测试程序的基础上的概念，循环纺纱，以提高最终的除雨性能。在合成数据集和真实数据集上进行的大量实验表明，该方法比最近的最先进的方法取得了显着的改进。代码可在：https://github.com/rajeevyasarla/UMRL--using-Cycle-Spinning
2019-06-12 cs.CV cs.LG eess.IV
Confidence Measure Guided Single Image De-raining
Whiting School of Engineering, Johns Hopkins University（约翰斯·霍普金斯大学怀廷工程学院）
单图像去雨是一个极具挑战性的问题，因为下雨的图像包含雨条纹，往往在大小，方向和密度变化。雨条纹的这种变化特征对图像的不同部分产生不同的影响。以前的方法试图通过利用一些先验信息来从单个图像中去除雨条纹来解决这个问题。这些方法的主要局限之一是它们没有考虑图像中雨滴的位置信息。提出的基于图像质量的单图像Deraining使用置信度度量（QuDeC），网络通过学习雨天图像中每个补丁的质量或失真水平来解决这个问题，并进一步处理这些信息以学习不同尺度的雨内容。此外，我们还介绍了一种技术，该技术指导网络学习网络权重的基础上，在每个位置的质量和剩余雨条纹信息（残差图）的估计的置信度。在合成数据集和真实数据集上的实验表明，该方法比现有的方法有了显著的改进。
2019-09-10 cs.CV eess.IV
I Can See Clearly Now : Image Restoration via De-Raining
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
我们提出了一种方法，用于改善受粘附雨滴和条纹影响的图像分割任务。我们介绍了一种新的立体数据集记录使用的系统，允许一个镜头受到真实的水滴，同时保持其他镜头清晰。我们使用该数据集训练一个去噪生成器，并表明在图像重建和道路标记分割的背景下，它可以有效地去除真实水滴的影响。为了进一步测试我们的去噪方法，我们描述了一种方法，添加计算机生成的粘附水滴和条纹的任何图像，并使用这种技术作为代理，以证明我们的模型在一般的语义分割的上下文中的有效性。我们使用CamVid道路标记分割数据集，Cityscapes语义分割数据集和我们自己的真实降雨数据集对我们的结果进行基准测试，并在所有任务上显示出显着的改进。
2019-01-03 cs.CV
Memory-guided Image De-raining Using Time-Lapse Data
Yonsei University（延世大学）；Korea University（高丽大学）
本文研究了单幅图像的去雨问题，即从被雨伪影遮挡的单幅图像中恢复出干净且无雨的背景场景。虽然最近的进展采用真实世界的时间推移数据，以克服需要成对的雨清洁图像，他们是有限的，充分利用时间推移数据。主要原因是，在网络架构方面，由于缺乏内存组件，它们无法在训练过程中捕获时移数据中的长期雨纹信息。为了解决这个问题，我们提出了一种新的网络架构的基础上的内存网络，明确有助于捕捉长期的雨条纹信息的时间推移数据。我们的网络包括编码器-解码器网络和存储器网络。从编码器中提取的特征在存储器网络中被读取和更新，该存储器网络包含若干存储器项以存储雨迹感知特征表示。通过读取/更新操作，存储器网络根据查询检索相关的存储器项，使得存储器项能够表示包括在时移数据中的各种雨带。为了提高记忆特征的鉴别能力，我们还提出了一种新的背景选择性白化（BSW）损失，通过擦除背景信息来捕获记忆网络中的雨条纹信息。标准基准测试的实验结果证明了该方法的有效性和优越性。
2022-01-06 cs.CV eess.IV
NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes
针对夜间雨天驾驶中RGB图像退化与单模态信息不足的问题，提出NiteDR框架，通过CleanNet与FusionNet实现可见光和红外图像的跨视角协同去雨融合。
2024-04-07 cs.CV
Towards Better De-raining Generalization via Rainy Characteristics Memorization and Replay
School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学）
本文提出一种受大脑互补学习系统启发的去雨框架，通过GAN捕获新数据特征、回放合成数据与知识蒸馏，实现跨数据集持续知识积累，并在新真实场景中超越现有方法。
2025-06-03 cs.CV
Multi-Task Learning Enhanced Single Image De-Raining
Dalian Maritime University（大连海事大学）
图像中的雨水去除是计算机视觉领域的一个重要课题，越来越受到人们的关注。在本文中，我们解决了一个不平凡的问题，从一个单一的图像中删除雨条纹的视觉效果。不同于现有的工作，我们的方法结合了各种语义约束的任务，在一个建议的多任务回归模型的雨水去除。这些任务分别从内容、边缘感知和局部纹理相似性方面加强了模型的能力。为了进一步提高多任务学习的性能，我们还提出了两个简单但功能强大的动态加权算法。提出的多任务增强网络（MENET）是一个强大的卷积神经网络的基础上，U-网的降雨去除研究，特别注重利用多个任务的约束，并利用它们之间的协同作用，以促进模型的降雨去除能力。值得注意的是，自适应加权方案进一步提高了网络能力。我们进行了几个实验的合成和真实的雨图像，并实现了优越的除雨性能超过几个选定的国家的最先进的（SOTA）的方法。我们的方法的整体效果是令人印象深刻的，即使在大雨和雨条纹积累的分解。源代码和一些结果可以在：https://github.com/SumiHui/MENET。
2020-05-11 cs.CV eess.IV
Non-locally Enhanced Encoder-Decoder Network for Single Image De-raining
Sun Yat-sen University（中山大学）；University of Electronic Science and Technology of China（电子科技大学）
由于深度卷积神经网络的发展，单图像雨条纹去除最近取得了实质性进展。然而，现有的基于深度学习的方法要么通过将输入图像分解为高频和低频信息并采用残差学习来减少映射范围来关注网络的入口和出口，要么专注于引入级联学习方案来将雨纹去除任务分解为多个阶段。这些方法将卷积神经网络视为封装的端到端映射模块，而没有深入研究神经网络设计的合理性和优越性。在本文中，我们深入研究了一种有效的端到端神经网络结构，用于更强的特征表达和空间相关性学习。具体来说，我们提出了一个非局部增强的编码器-解码器网络框架，它由一个池化索引嵌入的编码器-解码器网络组成，可以有效地学习越来越抽象的特征表示，以实现更准确的雨纹建模，同时完美地保留图像细节。所提出的编码器-解码器框架由一系列非局部增强的密集块组成，这些块被设计为不仅充分利用来自所有卷积层的分层特征，而且很好地捕获长距离依赖性和结构信息。在人工和真实数据集上的大量实验表明，该方法能有效去除不同密度的雨图像上的雨条纹，同时较好地保留了图像细节，与现有方法相比有了显著的改进.
2018-08-04 cs.CV
A De-raining semantic segmentation network for real-time foreground segmentation
Zhejiang University（浙江大学）；Henan University of Science and Technology（河南科技大学）
很少有研究已经提出了专门的实时的【形】语义分割在雨天环境。然而，这一领域的需求是巨大的，它是具有挑战性的轻量级网络。因此，本文提出了一种专门针对雨天环境下前景分割的轻量级网络--去雨语义分割网络（DRSNet）。通过对雨滴特性的分析，有针对性地设计了多尺度SE块对输入图像进行编码，采用多尺度扩张卷积增加接收野，并采用SE注意力机制学习各通道的权值。为了在不同的编码器和解码器层之间结合语义信息，提出了使用非对称跳跃（Asymmetric Skip），即编码器的高层语义层采用双线性插值，输出经过逐点卷积，然后逐元素添加到解码器的低层语义层。对比实验表明，MultiScaleSE Block和Asymmetric Skip算法在前景精度指标上分别比SEResNet 18和Symmetric Skip算法有一定程度的提高。DRSNet的参数仅为0.54M，浮点运算仅为0.20GFLOPs。在192*128、384*256和768*512的输入大小下，在电子科技大学全天场景加雨（UAS-add-rain）和百度人物细分加雨（BPS-add-rain）基准测试中均取得了最先进的结果和实时的【形】性能。DRSNet的速度超过了1GFLOPs以内的所有网络，前景精度指标也是同类网络中最好的。
2021-04-16 cs.CV
Is it Raining Outside? Detection of Rainfall using General-Purpose Surveillance Cameras
Visual Analysis of People Laboratory（视觉分析实验室）；Aalborg University（奥尔堡大学）
在基于视觉摄像机的综合监控系统中，缓解不利天气条件是一个活跃的研究课题。在该领域内，已经开发了人工地从图像或视频中去除雨条纹的雨去除算法。为了在监视设置中部署这样的雨去除算法，必须检测场景中是否存在雨。在本文中，我们设计了一个系统，通过使用监控摄像头的降雨检测。我们重新实现了以前最先进的雨检测方法，并通过利用3D卷积将其与现代基于CNN的方法进行比较。这两种方法进行了评估，我们新的AAU视觉雨数据集（VIRADA），包括215小时的通用监控视频从两个交通路口。结果表明，所提出的3D CNN优于以前的国家的最先进的方法的所有指标的大幅度，为两个交通路口。最后，它表明，区域的利益的选择有很大的影响性能时，试图推广的研究方法。AAU VIRADA数据集和我们对两种降雨检测算法的实现可在www.example.com上公开获得。
2021-09-03 cs.CV
Deep Single Image Deraining Via Estimating Transmission and Atmospheric Light in rainy Scenes
University of Electronic Science and Technology of China（电子科技大学）；The University of Adelaide（阿德莱德大学）；Shanghai Jiao Tong University（上海交通大学）；Beijing Jiao Tong University（北京交通大学）
图像/视频中的雨水去除仍然是计算机视觉领域的一个重要课题，受到越来越多人的关注。传统的方法通常采用不完全先验或滤波器（如引导滤波器）来消除降雨影响。深度学习提供了更多的概率来更好地解决这个任务。然而，它们要么直接从雨天图像中评估背景，要么先学习一个雨残差，然后减去残差，以获得清晰的背景。在基于深度学习的去雨方法中没有使用其他模型来去除雨水并获得关于下雨场景的其他信息。本文利用一种广泛应用的图像退化模型，从大气散射原理出发，对雨天图像的形成过程进行建模，并尝试了解雨天场景中大气光的传输情况，进而去除雨水。为了达到这一目标，我们提出了一个鲁棒的评估方法，全球大气光在下雨的场景。我们不是直接使用估计的大气光来学习网络来计算传输，而是利用它作为地面实况，并设计了一个简单但新颖的三角形网络结构来学习每一幅雨天图像的大气光，然后在传输网络的训练过程中对网络进行微调，以获得更好的大气光估计。在传输网络中利用更高效的ShuffleNet单元学习传输映射，并通过图像退化模型得到去雨图像。通过主观和客观的比较，我们的方法优于选定的国家的最先进的作品。
2019-06-22 cs.CV
Why current rain denoising models fail on CycleGAN created rain images in autonomous driving
University of Applied Sciences Technikum Wien（维也纳技术应用科学大学）；Johannes Kepler University（约翰内斯·开普勒大学）
本文通过GAN生成逼真雨图像并训练CNN与ViT去噪模型，发现现有模型在逼真雨图上质量提升仅约15%，揭示了当前去雨模型在自动驾驶中的局限性。
2023-05-22 cs.CV cs.LG eess.IV
Generating Clear Images From Images With Distortions Caused by Adverse Weather Using Generative Adversarial Networks
我们提出了一种方法来改善计算机视觉任务的图像受不利的天气条件，包括附着雨滴造成的失真。克服将计算机视觉应用于受恶劣天气条件影响的图像的挑战对于使用RGB摄像头的自动驾驶汽车至关重要。为此，我们训练了一个适当的生成对抗网络，并证明了它在图像重建和计算机视觉任务的背景下有效地消除了失真的影响。我们发现，物体识别是自动驾驶车辆的一项重要任务，它完全受到粘附雨滴造成的扭曲和遮挡的影响，并且可以通过我们的去雨模型恢复性能。本文所描述的方法可以适用于所有不利的天气条件。
2022-11-01 cs.CV
Single Image Deraining via Rain-Steaks Aware Deep Convolutional Neural Network
Wuhan University of Science and Technology（武汉科技大学）
由于雨带在雨图像中是空间变化的，因此从单个雨图像中去除雨带是具有挑战性的。本文通过结合传统的图像处理技术和基于深度学习的技术来研究这个问题。提出了一种改进的加权引导图像滤波器（iWGIF），用于从雨天图像中提取高频信息。高频信息主要包括雨串和噪声，可以引导雨串感知的深度卷积神经网络（RSADCNN）对雨串进行更多的关注。提高了RSADNN的效率和解释能力。实验表明，该算法显着优于国家的最先进的方法在合成和真实世界的图像在定性和定量的措施。这对于在雨天条件下的自主导航是有用的。
2022-09-20 cs.CV
GR-GAN: Gradual Refinement Text-to-image Generation
Beijing University of Posts and Telecommunications（北京邮电大学）
一个好的文本到图像模型不仅要生成高质量的图像，而且要保证文本和生成的图像之间的一致性。以前的模型未能同时很好地修复两侧。本文提出了一种渐进精化生成对抗网络（GR-GAN）来有效地解决该问题。GRG模块用于生成从低分辨率到高分辨率的图像，对应的文本约束从粗粒度（句子）到细粒度（单词）逐段生成，ITM模块用于提供相应阶段的文本-图像和单词-区域两级的图像-文本匹配损失。我们还引入了一个新的度量跨模型距离（CMD），同时评估图像质量和图像-文本的一致性。实验结果表明，GR-GAN显著优于以往的模型，并实现了新的国家的最先进的FID和CMD。详细的分析表明，在GR-GAN中的不同生成阶段的效率。
2022-06-21 cs.AI cs.CV
Few-shot Image Classification based on Gradual Machine Learning
Northwestern Polytechnical University（西北工业大学）
本文提出基于渐进式机器学习（GML）非独立同分布范式的小样本图像分类新方法，通过因子图迭代推断和特征因子构建，在准确率上提升1-5%且随查询集增大表现出更强鲁棒性。
2023-07-28 cs.AI cs.CV
Clearing the Skies: A deep network architecture for single-image rain removal
Fujian Key Laboratory of Sensing and Computing for Smart City, School of Information Science and Engineering, Xiamen University（厦门大学信息科学与技术学院福建省智慧城市感知与计算重点实验室）；Columbia University（哥伦比亚大学）
我们引入了一种名为DerainNet的深度网络架构，用于从图像中去除雨纹。基于深度卷积神经网络（CNN），我们直接从数据中学习下雨和干净图像细节层之间的映射关系。因为我们不具备与真实世界的雨图像相对应的地面真实值，所以我们将雨图像合成用于训练。与其他增加网络深度或广度的常见策略相比，我们使用图像处理领域知识来修改目标函数，并使用中等大小的CNN来改进deraining。具体来说，我们在细节（高通）层而不是图像域上训练我们的DerainNet。虽然DerainNet是在合成数据上训练的，但我们发现学习过的网络可以非常有效地转换为真实世界的图像进行测试。此外，我们增加了CNN框架与图像增强，以改善视觉效果。与现有的单图像去雨方法相比，该方法在去雨效果上有了明显的改善，并且在训练后的计算时间上有了明显的提高。
2017-02-06 cs.CV
Perceptual Adversarial Networks for Image-to-Image Transformation
University of Technology Sydney（悉尼科技大学）；University of Sydney（悉尼大学）；Université Paris-Est（巴黎东部大学）
在本文中，我们提出了一个原则性的感知对抗网络（PAN）的图像到图像的转换任务。与现有的特定于应用的算法不同，PAN提供了一个学习配对图像之间映射关系的通用框架（图1），例如将下雨图像映射到其去雨对应物，将对象边缘映射到其照片，将语义标签映射到场景图像等。通过结合生成对抗损失和提出的感知对抗损失，这两个网络可以交替训练来解决图像到图像的转换任务。其中，鉴别网络D的隐藏层和输出被升级，以连续且自动地发现变换图像与对应的地面实况之间的差异。同时，训练图像变换网络T以最小化由判别网络D探索的差异。通过对抗训练过程，图像变换网络T将不断缩小变换图像与地面实况图像之间的差距。在几个图像到图像转换任务上评估的实验（例如，图像去雨、图像修补等）结果表明，提出的PAN优于许多相关的国家的最先进的方法。
2019-04-03 cs.CV
Gradual Residuals Alignment: A Dual-Stream Framework for GAN Inversion and Image Attribute Editing
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Communication Content Cognition（通信内容认知国家重点实验室）
本文提出一种双流框架，通过多阶段由粗到细的方式逐步注入残差特征，并结合选择性注意力机制，解决GAN反演与属性编辑中细节丢失和可编辑性差的问题，在重建精度和编辑质量上优于现有方法。
2024-02-22 cs.AI cs.CV
GUN: Gradual Upsampling Network for Single Image Super-Resolution
Hefei University of Technology（合肥工业大学）
本文提出了一种基于深度卷积神经网络（CNN）的高效超分辨率（SR）方法，即渐进上采样网络（GUN）。最近的基于CNN的SR方法通常预先将低分辨率（LR）输入放大到高分辨率（HR），然后重建HR输入，或者直接重建LR输入，然后在最后一层恢复HR结果。拟议的GUN采用渐进的过程，而不是这两个常用的框架。GUN由一个输入层、多个上采样和卷积层以及一个输出层组成。通过渐进的过程，该网络可以简化直接SR问题的多步更容易的上采样任务，在每一步的放大因子非常小。最后，提出了一种渐进式火炮训练策略。在所提出的训练过程中，初始网络可以很容易地用边缘样样本训练，然后用更复杂的样本逐渐调整权重。该枪恢复效果好、逼真，训练方便。在多个图像集上的实验结果证明了该网络的有效性。
2018-07-04 cs.CV
Gradually Updated Neural Networks for Large-Scale Image Recognition
Johns Hopkins University（约翰霍普金斯大学）；Shanghai University（上海大学）；Hikvision Research（海康威视研究（Hikvision Research））
深度是神经网络在大规模图像识别中取得成功的关键之一。最先进的网络架构通常通过级联卷积层或构建块来增加深度。在本文中，我们提出了一种替代方法来增加深度。我们的方法是通过将计算排序引入卷积层或块内的通道，基于此，我们以通道方式逐渐计算输出。增加的排序不仅增加了网络的深度和学习能力，而没有任何额外的计算成本，而且还消除了重叠奇点，使网络能够更快地收敛，性能更好。实验表明，基于我们的方法的网络达到了最先进的性能CIFAR和ImageNet数据集。
2018-02-10 cs.CV
An Effective Two-Branch Model-Based Deep Network for Single Image Deraining
University of Electronic Science and Technology of China（电子科技大学）；The University of Adelaide（阿德莱德大学）
从图像中去除雨水效果对于自动驾驶、无人机驾驶和照片编辑等各种应用都很重要。传统的方法依赖于一些技巧来手工制作各种先验以从图像中移除或分离雨效果。最近的深度学习模型被提出来学习端到端的方法来完成这项任务。然而，在许多现实场景中，特别是当观测图像遭受大雨时，它们往往无法获得令人满意的结果。大雨除了带来雨带外，更会产生细小雨滴堆积而成的烟霞效应。与现有的深度学习方法主要集中在处理雨纹不同，我们设计了一个深度神经网络，通过结合物理降雨图像模型。具体而言，在所提出的模型中，两个分支的设计，以处理雨条纹和薄雾般的效果。一个额外的子模块被联合训练以最终细化结果，这使模型能够灵活地控制去除薄雾的强度。在多个数据集上的大量实验表明，我们的方法在客观评估和视觉质量方面都优于最先进的方法。
2019-09-17 cs.CV
xUnit: Learning a Spatial Activation Function for Efficient Image Restoration
Technion–Israel Institute of Technology（以色列理工学院）
近年来，深度神经网络（DNN）在许多低级视觉任务中取得了前所未有的性能。然而，最先进的结果通常是通过非常深的网络实现的，这些网络可以达到具有数千万个参数的数十层。为了使DNN能够在资源有限的平台上实现，有必要削弱性能和效率之间的权衡。在本文中，我们提出了一个新的激活单元，这是特别适合于图像复原的问题。与广泛使用的每像素激活单元（如ReLU和sigmoids）相比，我们的单元实现了一个具有空间连接的可学习非线性函数。这使得网络能够捕获更复杂的特征，因此需要更少的层数才能达到相同的性能。我们说明了我们的单位通过实验与国家的最先进的网络去噪，去雨，和超分辨率，这已经被认为是非常小的有效性。通过我们的方法，我们能够将这些模型进一步减少近50%，而不会导致性能下降。
2018-03-25 cs.CV cs.LG
NoiseBreaker: Gradual Image Denoising Guided by Noise Analysis
Univ. Rennes, INSA Rennes, IETR - UMR CNRS 6164（雷恩大学，雷恩国立应用科学学院，IETR - 法国国家科学研究中心联合研究单位 6164）；DGA-MI（法国国防采购局信息技术与通信处）
基于全监督深度学习的去噪器是目前性能最好的图像去噪解决方案。然而，它们需要干净的参考图像。当目标噪声是复杂的，例如由具有未知强度的主要噪声的未知混合物组成时，完全监督的解决方案受到难以为问题构建合适的训练集的限制。本文提出了一种渐进的去噪策略，迭代地检测图像中的主导噪声，并使用定制的去噪器去除它。该方法被证明是跟上最先进的混合噪声盲去噪。此外，噪声分析表明，有效地指导降噪不仅对噪声类型，而且对噪声强度。该方法提供了一个洞察所遇到的噪声的性质，它使得有可能扩展现有的降噪与新的噪声性质。这一特点使得该方法能够适应不同的去噪情况。
2020-07-31 cs.CV eess.IV
Estimation of Camera Response Function using Prediction Consistency and Gradual Refinement with an Extension to Deep Learning
National University of Singapore（新加坡国立大学）
大多数现有的方法CRF估计从一个单一的图像无法处理一般的真实图像。例如，基于从边缘提取的色块的EdgeCRF仅在噪声不明显时有效，而对于许多真实图像而言并非如此;以及CRFNet，一种基于完全监督深度学习的最新方法仅适用于训练数据中的CRF，因此无法处理训练数据之外的其他可能的CRF。为了解决这些问题，我们引入了一种使用预测一致性和逐步细化的非深度学习方法。首先，我们更多地依赖于输入图像的补丁，这些补丁提供了更一致的预测。如果从补丁的预测更一致，这意味着补丁可能受噪声或任何劣质颜色组合的影响较小，因此，它可以更可靠的CRF估计。其次，我们采用了一个渐进的细化方案，其中我们从一个简单的CRF模型开始生成一个结果，这是更强大的噪声，但不太准确，然后我们逐渐增加模型的复杂性，以改善结果。这是因为一个简单的模型，虽然不太准确，过拟合噪声比复杂的模型。实验结果表明，该方法在白天和夜间的真实图像中的识别效果优于现有的单图像方法。我们进一步提出了一个更有效的深度学习扩展，它对测试输入图像执行测试时训练（基于无监督损失）。这为我们的方法提供了比CRFNet更好的泛化性能，使其更实际地适用于一般真实图像的CRF估计。
2021-02-23 cs.CV
Iterative Flow Matching: Path Correction and Gradual Refinement for Enhanced Generative Modeling
The University of British Columbia（不列颠哥伦比亚大学）；University of Cambridge（剑桥大学）
本研究针对图像生成模型易产生幻觉的问题，提出可集成于各类生成建模技术的迭代流匹配方法，通过路径校正与渐进式优化提升图像合成的性能与鲁棒性。
2026-08-20 cs.AI cs.CV cs.LG
MaGGIe: Masked Guided Gradual Human Instance Matting
University of Maryland, College Park（马里兰大学学院公园分校）；Adobe Research（奥多比研究院）
提出新框架 MaGGIe，利用 transformer 注意力与稀疏卷积，在保持计算成本和恒定推理延迟的前提下，逐步预测多人体实例的 alpha 抠图，并引入新型多实例合成基准提升模型泛化能力。
2024-04-24 cs.AI cs.CV
Enhancing Deep Neural Network Saliency Visualizations with Gradual Extrapolation
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
在本文中，增强技术的类激活映射方法，如梯度加权类激活映射或激励反向传播提出了从卷积神经网络为基础的模型的决策的视觉解释。所提出的想法称为渐进外推，可以通过锐化输出来补充任何生成热图图片的方法。所提出的方法不是产生突出图像中的重要预测区域的粗略定位图，而是输出对模型输出贡献最大的特定形状。因此，所提出的方法提高了显著性图的准确性。这种效果是通过将在深层获得的原始图逐渐传播到所有前面的层来实现的。在选定的一组图像上进行的验证测试中，对该方法的忠实性、可解释性和适用性进行了评估。所提出的技术显着提高了本地化检测的神经网络注意力在低额外的计算成本。该方法适用于多种深度神经网络模型。该方法的代码可以在https://github.com/szandala/gradual-extrapolation上找到
2021-07-07 cs.AI cs.CV cs.NE
Generalized-Scale Object Counting with Gradual Query Aggregation
针对现有少样本计数方法在多尺度目标及密集小目标区域的不足，提出端到端方法GECO2，通过渐进式查询聚合生成高分辨率密集查询，提升计数和检测精度10%，速度快3倍且内存占用更小。
2025-11-11 cs.CV
CT-SRCNN: Cascade Trained and Trimmed Deep Convolutional Neural Networks for Image Super Resolution
Samsung Semiconductor Inc.（三星半导体公司）
我们提出了训练高度准确和高效的深度卷积神经网络（CNN）用于图像超分辨率（SR）的方法。提出了一种用于深度学习的级联训练方法，以提高神经网络的准确性，同时逐渐增加网络层数。接下来，我们探讨如何通过使网络更苗条来提高SR效率。提出了一次微调和级联微调两种方法。通过级联修剪，网络的大小逐层逐渐减小，而不会显着损失其区分能力。在基准图像数据集上的实验表明，我们提出的SR网络实现了最先进的超分辨率精度，同时比现有的深度超分辨率网络快4倍以上。
2017-11-11 cs.CV
Restormer-Plus for Real World Image Deraining: One State-of-the-Art Solution to the GT-RAIN Challenge (CVPR 2023 UG2+ Track 3)
Research Center for Applied Mathematics and Machine Intelligence（应用数学与机器智能研究中心）；Zhejiang Lab（之江实验室）
本文提出用于真实图像去雨的 Restormer-Plus 方法，通过结合 Restormer-X、中值滤波、加权平均与后处理模块缓解过拟合并提升亮度恢复，在 GT-RAIN 挑战赛中取得 PSNR 最优、SSIM 第 4 的成绩。
2024-10-11 cs.CV
Adaptive transfer learning for surgical tool presence detection in laparoscopic videos through gradual freezing fine-tuning
Institutes of Innovation for Future Society（未来社会创新研究所）；Nagoya University（名古屋大学）；Department of Micro-Nano Mechanical Science and Engineering（微纳米机械科学与工程系）
针对手术工具检测中标注数据稀缺问题，提出线性探测加渐进冻结的两阶段微调方法，在Cholec80上达到96.4% mAP，并在CATARACTS上验证了泛化性。
2025-10-17 cs.CV
MDeRainNet: An Efficient Macro-pixel Image Rain Removal Network
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机科学学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
针对光场图像去雨中全局相关性利用不足和子视图质量不均的问题，提出基于宏像素图像的多尺度编码器-解码器网络MDeRainNet，结合ESAI模块和半监督学习，显著提升去雨性能。
2025-06-24 cs.CV
GCI-ViTAL: Gradual Confidence Improvement with Vision Transformers for Active Learning on Label Noise
University of Hawai’i at Manoa（夏威夷大学马诺阿分校）
提出GCI-ViTAL主动学习算法，利用预测熵和注意力向量范数识别不确定且语义分歧的样本，结合标签平滑，在标签噪声下优于CNN和五种基线策略，ViT显著提升性能。
2024-11-08 cs.AI cs.CV cs.LG
Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image Synthesis
Soongsil University（崇实大学）；KAIST（韩国科学技术院）；Kakao Enterprise（Kakao企业）
近来，扩散模型通过逐渐去除噪声和放大信号在图像合成中显示出显著的结果。虽然简单的生成过程令人惊讶地工作得很好，但这是生成图像数据的最佳方式吗？例如，尽管人类感知对图像的低频更敏感，但扩散模型本身并不考虑每个频率分量的任何相对重要性。因此，为了将图像数据的归纳偏差，我们提出了一种新的生成过程，以粗到细的方式合成图像。首先，我们推广了标准的扩散模型，使扩散在旋转坐标系中具有不同的速度为每个组件的矢量。我们进一步提出了模糊扩散作为一种特殊情况，其中图像的每个频率分量以不同的速度扩散。具体地说，所提出的模糊扩散包括一个向前的过程，模糊的图像，并逐渐增加噪声，在此之后，相应的反向过程去模糊的图像，并逐步消除噪声。在LSUN卧室和教堂数据集上的实验表明，该模型在FID中的性能优于以前的方法。代码可在https://github.com/sangyun884/blur-diffusion上获得。
2022-11-21 cs.CV cs.LG
Progressive Feature Fusion Network for Enhancing Image Quality Assessment
Chongqing Changan Technology Co., Ltd.（重庆长安科技股份有限公司）
本文提出渐进式特征融合网络，通过细粒度多尺度特征提取、交叉相减模块和渐进式融合策略实现更准确的图像质量评估，并在CLIC图像感知模型赛道中排名第二。
2024-01-13 cs.AI cs.CV
SUMD: Super U-shaped Matrix Decomposition Convolutional neural network for Image denoising
在本文中，我们提出了一种新的和有效的基于CNN的框架，利用局部和全局上下文信息的图像去噪。由于卷积本身的局限性，基于CNN的方法通常无法构造有效的结构化全局特征表示，通常称为基于Transformer的方法中的长距离依赖。为了解决这个问题，我们在网络中引入矩阵分解模块（MD）来建立全局上下文特征，与基于Transformer的方法性能相当。受U型结构多阶段渐进恢复设计的启发，我们进一步将MD模块集成到多个分支中，以获得当前阶段斑块范围的相对全局特征表示。然后，阶段输入逐渐上升到整体范围，不断完善最终特征。在各种图像去噪数据集（SIDD，DND和合成高斯噪声数据集）上的实验结果表明，我们的模型（SUMD）可以产生与基于transformer的方法相当的视觉质量和准确性结果。
2022-04-11 cs.AI cs.CV
Gradual DropIn of Layers to Train Very Deep Neural Networks
Naval Research Laboratory（海军研究实验室）；University of Maryland（马里兰大学）
我们引入了在训练过程中动态增长神经网络的概念。特别是，不可训练的深度网络从可训练的浅网络开始，新添加的层在训练过程中缓慢、有机地添加，从而增加了网络的深度。这是通过一个新的层来完成的，我们称之为DropIn。DropIn层通过传递来自前一层的输出（有效地跳过新添加的层）开始，然后越来越多地包括来自新层的单元用于前馈和反向传播。我们表明，传统方法无法训练的深度网络将与散布在架构中的DropIn层融合。此外，我们证明了DropIn在训练过程中以类似于dropout的方式提供正则化。实验描述了MNIST数据集和各种扩展的LeNet架构，CIFAR-10数据集的架构从3层扩展到11层，以及AlexNet架构扩展到13层和VGG 16层架构的ImageNet数据集。
2015-11-22 cs.CV cs.LG cs.NE
Image Difficulty Curriculum for Generative Adversarial Networks (CuGAN)
University of Bucharest（布加勒斯特大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；University “Politehnica” of Bucharest（布加勒斯特理工大学）
尽管近年来取得了重大进展，但生成对抗网络（GANs）仍然非常难以训练。在本文中，我们提出了三种新的课程学习策略来训练GANs。所有的策略都是首先根据训练图像的难度分数对训练图像进行排名，这些难度分数是由最先进的图像难度预测器估计的。我们的第一个策略是将图像分成逐渐更难的批次。我们的第二个策略引入了一个新的课程损失函数，考虑到真实图像的难度分数的训练。我们的第三个策略是基于从一个不断发展的分布中进行采样，在初始训练阶段有利于更容易的图像，并逐渐收敛到一个均匀的分布，在这个分布中，样本的可能性是相等的，无论难度如何。我们比较了我们的课程学习策略与经典的培训过程中的两个任务：图像生成和图像翻译。我们的实验表明，所有的策略提供更快的收敛速度和优越的结果。例如，我们在频谱归一化GANs（SNGANs）上应用的最佳课程学习策略在25.0%的案例中欺骗了人类注释者，认为生成的CIFAR类图像是真实的，而使用经典过程训练的SNGANs仅在18.4%的案例中欺骗了注释者。同样，在图像翻译中，人类注释者在40.5%的情况下更喜欢使用课程学习训练的Cycle-consistent GAN（CycleGAN）生成的图像，而在19.8%的情况下，CycleGAN基于经典训练生成的图像，39.7%的情况下被标记为领带。
2019-10-22 cs.CV cs.LG stat.ML
UniRef-Image-Edit: Towards Scalable and Consistent Multi-Reference Image Editing
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）；Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；CUHK MMLab（香港中文大学MMLab）
UniRef-Image-Edit通过统一的输入表示和两阶段训练框架，提升多参考图像编辑的一致性和保真度。
2026-02-15 cs.CV
Tuning-Free Visual Customization via View Iterative Self-Attention Control
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Nanchang University（南昌大学）；Jiluan Academy, Nanchang University（南昌大学吉鸾学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对 LoRA 等方法依赖训练和多张参考图的问题，本文提出免训练的 VisCtrl，通过 DDIM 反演与迭代自注意力特征注入，实现单参考图的图像、视频及 3D 场景个性化编辑。
2024-06-11 cs.CV
Multi-Cell Multi-Task Convolutional Neural Networks for Diabetic Retinopathy Grading
ShanghaiTech University（上海科技大学）；Ningbo Institute of Materials Technology and Engineering（宁波材料技术与工程研究所）；Shanghai University（上海大学）
糖尿病视网膜病变（DiabeticRetinopathy，DR）是糖尿病患者中不可忽视的眼部疾病，对DR筛查的视网膜图像自动分析算法的需求很高。考虑到视网膜图像的分辨率非常高，其中小的病变组织只能用大分辨率图像来检测，并且需要大的局部感受野来识别那些晚期疾病，但是由于梯度消失/爆炸问题，直接训练具有非常深的结构和高分辨率图像的神经网络既时间计算昂贵又困难，我们提出了一种\textbf{Multi-Cell}结构，它逐渐增加深度神经网络的深度和输入图像的分辨率，这既增加了训练时间，又提高了分类精度。此外，考虑到DR的不同阶段实际上是逐渐进展的，这意味着不同阶段的标签是相关的。为了考虑不同阶段的图像之间的关系，我们提出了一种\textbf{Multi-Task}学习策略，该策略结合分类和回归来预测标签。在Kaggle数据集上的实验结果表明，该方法在测试集上的Kappa值为0.841，在所有最先进的方法中排名第4。此外，我们的多细胞多任务卷积神经网络（M $^2$ CNN）解决方案是一个通用框架，可以很容易地与许多其他深度神经网络架构集成。
2018-10-11 cs.CV eess.IV
Scale-recurrent Network for Deep Image Deblurring
The Chinese University of Hong Kong（香港中文大学）；Youtu Lab, Tencent（腾讯优图实验室）；Megvii Inc.（旷视科技有限公司）
在单帧图像去模糊中，“由粗到精”的方法，即在金字塔中逐渐恢复不同分辨率的清晰图像，在传统的基于优化的方法和最近的基于神经网络的方法中都是非常成功的。在本文中，我们研究了这种策略，并提出了一个规模递归网络（SRN-去模糊网络），这个去模糊任务。与[25]中的许多最近的基于学习的方法相比，它具有更简单的网络结构，更少的参数数量，更容易训练。我们评估我们的方法在大型去模糊数据集与复杂的运动。结果表明，我们的方法可以产生更好的质量结果比国家的最先进的，定量和定性。
2018-02-06 cs.CV
Model Learning: Primal Dual Networks for Fast MR imaging
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心）；University at Buffalo, the State University of New York（纽约州立大学布法罗分校）
已知磁共振成像（MRI）是一种缓慢的成像模态，并且k空间中的欠采样已被用于提高成像速度。然而，从欠采样的k空间数据进行图像重建是一个不适定逆问题。基于压缩感知的迭代算法已经被用来解决这个问题。在这项工作中，我们将原始-对偶混合梯度算法的迭代展开为可学习的深度网络架构，并逐渐放松约束，从高度欠采样的k空间数据中重建MR图像。该方法将优化方法的理论收敛保证与深度网络的强大学习能力相结合。随着约束条件的逐渐放松，重建模型最终通过在k空间和图像域交替更新来从训练数据中学习。在活体MR数据上的实验表明，所提出的方法从高度欠采样的k空间数据实现了优于其他最先进的图像重建方法的MR重建。
2019-08-07 cs.CV cs.LG eess.IV
Elastic Boundary Projection for 3D Medical Image Segmentation
Peking University（北京大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins Medical Institute（约翰斯·霍普金斯医学研究所）；Noah’s Ark Lab, Huawei Inc.（华为诺亚方舟实验室）
我们专注于一个重要但具有挑战性的问题：使用2D深度网络处理医学图像分析的3D分割。现有的方法要么应用多视图平面（2D）网络，要么直接使用体积（3D）网络，但这两种方法都不理想：2D网络不能有效地捕获3D上下文，3D网络既消耗内存又不稳定，这可能是由于缺乏预训练模型。在本文中，我们使用一种名为弹性边界投影（EBP）的新方法来弥合2D和3D之间的差距。关键的观察是，虽然对象是一个3D体积，但我们在分割中真正需要的是找到它的边界，这是一个2D表面。因此，我们在3D空间中放置一些枢轴点，对于每个枢轴，我们确定它沿着一组密集方向到对象边界的距离。这将在每个枢轴周围创建一个弹性壳，该壳初始化为一个完美球体。我们训练一个2D深度网络，判断每个端点是否落在物体内，并逐步调整外壳，使其逐渐收敛到边界的实际形状，从而达到分割的目的。EBP允许基于边界的分割，而无需将3D体积切割成切片或补丁，这与传统的2D和3D方法不同。EBP在腹部器官分割中达到了很好的精度。我们的代码已经开源https://github.com/twni2016/Elastic-Boundary-Projection。
2020-06-06 cs.CV
Discriminative Region Proposal Adversarial Networks for High-Quality Image-to-Image Translation
Ocean University of China（中国海洋大学）
随着生成对抗网络（GANs）的引入，图像到图像的翻译已经取得了很大的进展。然而，对于要求高质量的翻译任务，特别是在高分辨率和照片写实主义下，它仍然非常具有挑战性。在本文中，我们提出了区分区域建议对抗网络（DRPAN），用于高质量的图像到图像的翻译。我们将图像到图像的翻译任务分解为三个迭代步骤，第一步是生成具有全局结构但有一些局部伪影的图像（通过GAN），第二步是使用我们的DRPnet从生成的图像中提出最虚假的区域，第三步是通过修订器在最虚假的区域上实现“图像修补“以获得更真实的结果，使得系统（DRPAN）可以被逐渐优化以合成图像，其中更多地关注最伪影局部部分。在各种图像到图像翻译任务和数据集上的实验验证了我们的方法在人类感知研究和自动定量测量方面都优于最先进的方法，可以产生高质量的翻译结果。
2018-08-06 cs.CV
A Comparison for Patch-level Classification of Deep Learning Methods on Transparent Environmental Microorganism Images: from Convolutional Neural Networks to Visual Transformers
Northeastern University（东北大学）；Chengdu University of Information Technology（成都信息工程大学）；University of Luebeck（吕贝克大学）
目前，透明环境微生物图像（T-EM图像）的分析已逐渐成为计算机视觉领域的一个新的研究热点。针对T-EM图像分析具有挑战性的问题，本文比较了不同的深度学习分类性能。我们将T-EM图像以相同的比例裁剪成8 * 8和224 * 224像素块，然后根据地面真实值将两个不同的像素块划分为前景和背景。我们还使用了四个卷积神经网络和一个新的ViT网络模型来比较前景和背景分类实验。我们得出结论，ViT在分类8 * 8像素块时表现最差，但在分类224 * 224像素块时，它优于大多数卷积神经网络。
2021-07-21 cs.CV
Towards Understanding the Working Mechanism of Text-to-Image Diffusion Model
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Renmin University of China（中国人民大学）；Nanjing University（南京大学）
本文通过分析扩散去噪中间状态，揭示 T2I 模型早期由 EOS token 决定形状、后期自行补全细节的机制，并据此移除部分文本引导实现 25% 以上采样加速。
2024-10-27 cs.CV cs.LG
Structure and Progress Aware Diffusion for Medical Image Segmentation
School of Artificial Intelligence（人工智能学院）；School of Computer Science and Technology（计算机科学与技术学院）；State Key Laboratory of Opto-Electronic Information Acquisition and Protection Technology（光电信息采集与防护技术国家重点实验室）；Anhui Provincial Key Laboratory of Security Artificial Intelligence（安徽省安全人工智能重点实验室）；Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室）
本文提出SPAD方法，结合语义集中扩散和边界集中扩散，通过进展感知调度器实现医学图像分割的粗到细的扩散过程。
2026-03-09 cs.CV
Correlation Verification for Image Retrieval
Yonsei University（延世大学）
几何验证被认为是图像检索中重排序任务的事实上的解决方案。在这项研究中，我们提出了一种新的图像检索重排序网络命名为相关验证网络（CVNet）。我们提出的网络由深度堆叠的4D卷积层组成，逐渐将密集的特征相关性压缩为图像相似性，同时从各种图像对中学习不同的几何匹配模式。为了实现跨尺度匹配，它构建了特征金字塔，并在单个推理中构建了跨尺度特征相关性，取代了昂贵的多尺度推理。此外，我们使用课程学习与硬负挖掘和Hide-and-Seek策略来处理硬样本，而不失一般性。我们提出的重新排名网络在几个检索基准上显示出最先进的性能，与最先进的方法相比，具有显着的优势（ROxford-Hard+1 M集的mAP为+12.6%）。源代码和模型可以在线获得：https://github.com/sungonce/CVNet。
2022-04-04 cs.CV
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks
Purdue University（普渡大学）
深度神经网络的巨大推理成本可以通过网络压缩来缩小。修剪是用于深度网络压缩的主要方法之一。然而，现有的修剪技术具有以下限制中的一个或多个：1）由于修剪和微调阶段，在计算繁重的训练阶段之上的额外能量成本，2）基于特定的统计的逐层修剪，忽略网络中的误差传播的影响，3）缺乏用于全局地确定重要信道的有效估计，4）非结构化修剪需要专门的硬件来有效使用。为了解决上述所有问题，我们提出了一种简单而有效的渐进通道修剪，同时使用一种新的数据驱动的度量（称为特征相关性得分）进行训练。所提出的技术摆脱了额外的再训练周期，修剪最不重要的通道，在实际的训练阶段在固定的时间间隔，在一个结构化的方式。特征相关性分数有助于有效地评估每个通道对网络区分能力的贡献。我们使用CIFAR-10、CIFAR-100和ImageNet等数据集证明了所提出的方法在VGG和ResNet等架构上的有效性，并成功实现了显著的模型压缩，同时权衡了低于$1\%$的准确性。值得注意的是，在ResNet-110上训练的CIFAR-10数据集上，我们的方法实现了$2.4\times$压缩和FLOP中的$56\%$减少，与未修剪的网络相比，准确度下降了$0.01\%$。
2020-04-29 cs.CV cs.LG cs.NE
