Connecting Image Denoising and High-Level Vision Tasks via Deep Learning
Beckman Institute（贝克曼研究所）；Facebook Inc.（脸书公司）；Texas A&M University（德克萨斯农工大学）
在传统的计算机视觉实践中，图像去噪和高级视觉任务通常是独立处理的，并且它们的连接是脆弱的。在本文中，我们将两者结合起来，并探讨它们之间的相互影响，重点是两个问题，即（1）图像去噪如何帮助改善高级视觉任务，以及（2）如何使用高级视觉任务的语义信息来指导图像去噪。首先，对于图像去噪，我们提出了一个卷积神经网络，其中卷积通过下采样和上采样操作在各种空间分辨率下进行，以融合和利用不同尺度上的上下文信息。其次，我们提出了一种深度神经网络解决方案，该解决方案级联了两个模块，分别用于图像去噪和各种高级任务，并使用联合损失通过反向传播仅更新去噪网络。我们的实验表明，一方面，所提出的去噪器具有通用性，以克服不同的高层次的视觉任务的性能下降。另一方面，在高层视觉信息的指导下，去噪网络产生更具视觉吸引力的结果。大量的实验证明了通过深度学习同时利用图像语义进行图像去噪和高级视觉任务的好处。代码可在线获取：https://github.com/Ding-Liu/DeepDenoising
2018-09-06 cs.CV
Deep Semantic Statistics Matching (D2SM) Denoising Network
Johns Hopkins University（约翰斯·霍普金斯大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
图像复原的最终目的是找到清晰图像域和噪声域之间的精确相关性。但是端到端去噪学习的优化（如像素损失）是以样本到样本的方式进行的，这忽略了图像的内在相关性，特别是语义。本文介绍了深度语义统计匹配（D2SM）去噪网络。它利用预训练的分类网络的语义特征，然后隐式地匹配语义特征空间中清晰图像的概率分布。通过学习保持去噪图像的语义分布，我们根据经验发现我们的方法显着提高了网络的去噪能力，并且去噪结果可以被高级视觉任务更好地理解。在有噪声的Cityscapes数据集上进行的综合实验表明，该方法在去噪性能和语义分割准确性方面都具有优越性。此外，我们的扩展任务，包括超分辨率和去雾实验观察到的性能改善显示其作为一个新的通用即插即用组件的潜力。
2022-07-19 cs.CV
Identifying Recurring Patterns with Deep Neural Networks for Natural Image Denoising
Washington University in St. Louis（圣路易斯华盛顿大学）
图像去噪方法必须隐式或显式地有效地对自然图像中出现的各种图案和纹理进行建模。这是具有挑战性的，即使对于利用深度神经网络训练回归以从噪声输入中清除图像的现代方法。一种方法是依靠“内部”图像统计，通过在输入图像本身中搜索类似的模式。在这项工作中，我们提出了一种用于自然图像去噪的新方法，该方法训练深度神经网络来确定噪声图像输入中的补丁是否具有共同的潜在模式。给定一对有噪声的补丁，我们的网络预测原始无噪声补丁的不同子带系数是否相似。去噪算法然后聚合匹配的系数以获得干净图像的初始估计。最后，该估计值与原始噪声图像一起作为输入提供给标准的基于回归的去噪网络。实验表明，我们的方法实现了最先进的彩色图像去噪性能，包括一个盲版本，该版本针对一系列噪声水平训练一个通用模型，并且不需要了解输入图像中的噪声水平。我们的方法在使用有限的训练数据进行训练时也具有明显的优势。
2019-12-10 cs.CV
Deep Hyperspectral Prior: Denoising, Inpainting, Super-Resolution
The Norwegian Colour and Visual Computing Laboratory（挪威色彩与视觉计算实验室）；NTNU（挪威科技大学）
深度学习算法在图像复原的各种任务中表现出了最先进的性能。这是通过CNN从大型样本集学习的能力实现的。然而，后者成为高光谱图像处理的一个问题，其中数据集通常只包括几个图像。在这项工作中，我们提出了一种新的方法去噪，修复和超分辨率的高光谱图像数据使用的内在属性的CNN没有任何训练。给出的算法的性能被证明是训练网络的性能相媲美，而它的应用程序不受训练数据的可用性。这项工作是原始“深度先验”算法到HSI域和3D卷积网络的扩展。
2019-12-04 cs.CV
Masked Image Training for Generalizable Deep Image Denoising
Shanghai AI Lab（上海人工智能实验室）；The University of Sydney（悉尼大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Harvard University（哈佛大学）；The Hong Kong University of Science and Technology（香港科技大学）
在捕获和存储图像时，设备不可避免地会引入噪声。减少这种噪声是一项关键任务，称为图像去噪。深度学习已成为图像去噪的事实上的方法，特别是随着基于transformer的模型的出现，这些模型在各种图像任务上取得了显着的最先进的结果。然而，基于深度学习的方法通常缺乏泛化能力。例如，在高斯噪声上训练的深度模型在其他噪声分布上测试时可能表现不佳。为了解决这个问题，我们提出了一种新的方法来提高去噪网络的泛化性能，称为掩码训练。我们的方法包括屏蔽输入图像的随机像素，并在训练过程中重建丢失的信息。我们还屏蔽了自我注意层中的特征，以避免训练-测试不一致的影响。我们的方法比其他深度学习模型具有更好的泛化能力，并且直接适用于现实世界的场景。此外，我们的可解释性分析表明，我们的方法的优越性。
2023-03-23 cs.CV
Deep Universal Blind Image Denoising
Seoul National University（首尔国立大学）
由于图像采集过程中不可避免的噪声破坏，图像去噪是许多图像处理和计算机视觉任务的重要组成部分。传统上，许多研究人员已经研究了图像先验的去噪，在贝叶斯的角度来看，基于图像的属性和统计。最近，深度卷积神经网络（CNN）通过结合大规模合成数据集在图像去噪方面取得了巨大成功。然而，它们都有优点和缺点。虽然深度CNN在去除已知统计数据的噪声方面很强大，但它们往往缺乏灵活性和实用性。此外，他们不能轻易地使用明确的先验知识。另一方面，传统的非学习方法可能涉及显式图像先验，但它们需要相当长的计算时间，并且无法利用大规模的外部数据集。在本文中，我们提出了一种基于CNN的方法，利用这两种方法的优势，基于贝叶斯的观点。具体地说，我们将盲图像去噪问题分解为若干个子问题，分别求解每个子问题。由于CNN是一种强大的推理工具，我们的方法植根于CNN，并提出了一种新的网络设计，以实现高效的推理。利用我们提出的方法，我们可以成功地去除盲噪声和真实世界的噪声，并且具有中等数量的通用CNN参数。
2021-01-18 cs.CV
Score Priors Guided Deep Variational Inference for Unsupervised Real-World Single Image Denoising
Huazhong University of Science and Technology（华中科技大学）
本文提出ScoreDVI方法，通过分数先验引导的深度变分推断解决真实世界单图像去噪问题，利用非独立同分布高斯混合模型建模噪声，并引入噪声感知先验分配策略，在单图像去噪上超越同类方法并达到数据集级无监督方法的性能。
2023-08-09 cs.CV
Deep Graph Laplacian Regularization for Robust Denoising of Real Images
SenseTime Research（商汤科技研究院）；York University（约克大学）
深度学习的最新发展彻底改变了图像复原的范式。然而，由于其对训练数据的敏感性和真实图像噪声的复杂性，其在真实图像去噪中的应用仍然受到限制。在这项工作中，我们结合了基于模型的方法的鲁棒性优点和数据驱动方法的学习能力，用于真实图像去噪。具体来说，通过将图拉普拉斯正则化作为一个可训练模块集成到深度学习框架中，我们比纯粹的基于CNN的方法更不容易受到过拟合的影响，从而实现对小数据集和跨域去噪的更高鲁棒性。首先，从卷积神经网络（CNN）的输出构建稀疏邻域图。然后通过求解一个无约束二次规划问题来恢复图像，使用相应的图拉普拉斯正则化子作为先验项。所提出的恢复管道是完全可区分的，因此可以进行端到端训练。实验结果表明，我们的工作是不太容易过拟合给定的小训练数据。它也被赋予了强大的跨领域泛化能力，以显着的优势超过了国家的最先进的方法。
2019-05-03 cs.CV
Dilated Deep Residual Network for Image Denoising
卷积神经网络（CNN）等深度神经网络的变体已成功应用于图像去噪。目标是在给定由噪声图像和干净图像对组成的训练数据的情况下，自动学习从噪声图像到干净图像的映射。大多数现有的用于图像去噪的CNN模型具有许多层。在这种情况下，模型涉及大量的参数，并且对于训练来说在计算上是昂贵的。在本文中，我们开发了一个扩张的残差CNN高斯图像去噪。与最近提出的残差去噪方法相比，我们的方法可以以更少的计算成本达到相当的性能。具体地说，我们通过在残差网络中采用扩张卷积来扩大感受野，并将扩张因子设置为一定值。我们利用适当的零填充来使输出的维度与输入相同。实验证明，感受野的扩大可以提高CNN在图像分类中的性能，并且我们进一步证明，它也可以导致去噪问题的竞争性能。此外，我们提出了一个公式来计算感受野大小时，扩张卷积。因此，可以从数学上解释感受野的变化。为了验证我们的方法的有效性，我们进行了广泛的实验，灰度和彩色图像去噪特定或随机噪声水平。与最先进的基线相比，定量测量和去噪的视觉结果都是有希望的。
2017-09-27 cs.CV
Enhanced CNN for image denoising
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Guangdong University of Technology（广东工业大学）；Heilongjiang Academy of Sciences（黑龙江省科学院）
由于深度卷积神经网络（CNN）的灵活架构，CNN被成功地用于图像去噪。然而，它们具有以下缺点：（i）深度网络架构非常难以训练。(ii)深度网络面临性能饱和的挑战。在这项研究中，作者提出了一种名为增强型卷积神经去噪网络（ECNDNet）的新方法。具体来说，他们使用残差学习和批量归一化技术来解决训练困难的问题，并加速网络的收敛。此外，在所提出的网络中使用扩张卷积来扩大上下文信息并降低计算成本。大量的实验表明，ECNDNet优于最先进的图像去噪方法。
2019-03-04 cs.CV
Denoising Prior Driven Deep Neural Network for Image Restoration
深度神经网络（DNN）在各种图像复原（IR）任务中显示出非常有前途的结果。然而，网络架构的设计仍然是实现进一步改进的主要挑战。虽然大多数现有的基于DNN的方法通过直接将低质量图像映射到所需的高质量图像来解决IR问题，但表征图像退化过程的观察模型在很大程度上被忽视了。在本文中，我们首先提出了一个基于去噪的IR算法，其迭代步骤可以有效地计算。然后，迭代过程被展开为一个深度神经网络，该网络由多个去噪模块和反向投影（BP）模块组成，这些模块确保了观测的连续性。提出了一种基于卷积神经网络（CNN）的去噪器，它可以利用自然图像的多尺度冗余。因此，所提出的网络不仅利用了DNN强大的去噪能力，而且还利用了观测模型的先验知识。通过端到端的训练，去噪器和BP模块可以联合优化。几个IR任务的实验结果，例如，图像去噪、超分辨率和去模糊的实验结果表明，该方法在图像去噪、去模糊和超分辨率等多项红外任务中具有很强的竞争力，并且往往是最先进的。
2020-10-27 cs.CV
Hyperspectral Image Denoising Employing a Spatial-Spectral Deep Residual Convolutional Neural Network
Wuhan University（武汉大学）
高光谱图像去噪是提高高光谱图像解译和应用性能的关键预处理过程。在本文中，针对该任务提出了一种新的基于深度学习的方法，通过使用组合的空间-频谱深度卷积神经网络（HSID-CNN）来学习噪声和干净HSI之间的非线性端到端映射。空间和光谱信息同时分配给建议的网络。此外，分别采用多尺度特征提取和多层次特征表示来获取多尺度空间-光谱特征，并将不同层次的特征表示进行融合，最终实现图像的恢复。仿真和真实数据实验表明，该方法在量化评价指标、视觉效果和HSI分类准确率方面均优于许多主流方法。
2018-08-11 cs.CV
Deep Class Aware Denoising
Tel-Aviv University（特拉维夫大学）；Technion - IIT（以色列理工学院）
移动设备对高图像质量的需求日益增长，这就需要更好的计算增强技术，特别是图像去噪。同时，这些设备捕获的图像可以被分类为一小组语义类。尽管很简单，但直到现在，这一观察结果还没有被用于图像去噪。在本文中，我们演示了如何提高重建质量时，去噪器是知道的图像中的内容的类型。为此，我们首先提出了一种新的全卷积深度神经网络架构，该架构简单而强大，因为即使没有类感知，它也能实现最先进的性能。我们进一步表明，一个显着的性能提升高达$0.4$ dB PSNR可以实现通过使我们的网络类感知，即通过微调它属于一个特定的语义类的图像。依靠巨大的成功现有的图像分类器，这项研究主张在所有的图像增强任务中使用类感知的方法。
2017-02-27 cs.CV
Deep Parametric 3D Filters for Joint Video Denoising and Illumination Enhancement in Video Super Resolution
The Chinese University of Hong Kong（香港中文大学）；SmartMore
尽管最近的方法带来了质量的提高，视频超分辨率（SR）仍然是非常具有挑战性的，特别是对于低光和噪声的视频。目前最好的解决方案是随后采用视频SR、去噪和照明增强的最佳模型，但由于模型之间的不一致性，这样做通常会降低图像质量。本文提出了一种新的参数化表示，称为深度参数化3D滤波器（DP3DF），它结合了局部时空信息，可以在单个编码器和解码器网络中有效地同时进行去噪，照明增强和SR。此外，动态残留帧经由共享骨干与DP3DF联合学习，以进一步提高SR质量。我们进行了广泛的实验，包括大规模的用户研究，以显示我们的方法的有效性。我们的方法在所有具有挑战性的真实数据集上始终超过最先进的方法，具有最高的PSNR和用户评级，但具有非常快的运行时间。
2022-12-01 cs.CV
Deep Learning on Image Denoising: An overview
Bio-Computing Research Center, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）生物计算研究中心）；Shenzhen Key Laboratory of Visual Object Detection and Recognition（深圳市视觉目标检测与识别重点实验室）；School of Computers, Guangdong University of Technology（广东工业大学计算机学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；Department of Electrical Engineering and the Institute of Communications Engineering, National Tsing Hua University（台湾清华大学电机工程学系与通讯工程研究所）
深度学习技术在图像去噪领域备受关注。然而，处理图像去噪的各种类型的深度学习方法存在实质性差异。具体来说，基于深度学习的判别式学习可以巧妙地解决高斯噪声的问题。基于深度学习的优化模型在估计真实噪声方面是有效的。然而，到目前为止，很少有相关的研究来总结用于图像去噪的不同深度学习技术。本文对图像去噪中的深层技术进行了比较研究。我们首先对加性白噪声图像的深度卷积神经网络（CNN）进行分类;对真实噪声图像的深度CNN;用于盲去噪的深度CNN和用于混合噪声图像的深度CNN，混合噪声图像代表了噪声，模糊和低分辨率图像的组合。然后，我们分析了不同类型的深度学习方法的动机和原理。接下来，我们在定量和定性分析方面比较了公共去噪数据集上的最新方法。最后，我们指出了一些潜在的挑战和未来的研究方向。
2020-08-03 cs.CV eess.IV
Deep Encoder-Decoder Neural Network for Fingerprint Image Denoising and Inpainting
Chongqing Normal University（重庆师范大学）
指纹图像去噪是指纹识别中非常重要的一步。为了提高指纹图像的去噪效果，设计了一种基于深度编解码器网络的指纹去噪算法，编码器子网学习含噪图像的指纹特征，解码器子网根据特征重构原始指纹图像实现去噪，同时在网络中使用扩张卷积，在不增加复杂度的情况下增加受体场，改善网络推理速度此外，通过引入残差学习，实现了网络不同层次的特征融合，进一步还原了指纹的细节特征，提高了去噪效果。实验结果表明，该算法能较好地恢复指纹图像的边缘、直线和曲线特征，与其他方法相比，具有更好的视觉效果和更高的峰值信噪比（PSNR）。
2020-05-03 cs.CV eess.IV
Image denoising by Super Neurons: Why go deep?
Tampere University（坦佩雷大学）；Qatar University（卡塔尔大学）
经典的图像去噪方法利用非局部自相似原理有效地从噪声图像中恢复图像内容。当前最先进的方法使用深度卷积神经网络（CNN）来有效地学习从噪声图像到干净图像的映射。深度去噪CNN表现出很高的学习能力，并整合了非局部信息，这是由于大量级联的隐藏层产生了很大的感受野。然而，深度网络在计算上也很复杂，需要大量数据进行训练。为了解决这些问题，本研究的重点是自组织操作神经网络（Self-ONNs）授权的一种新的神经元模型，可以实现类似或更好的去噪性能与紧凑和浅的模型。最近，已经引入了超神经元的概念，其通过利用用于增强的感受野大小的非局部化核位置来增强生成神经元的非线性变换。这是需要深度网络配置的关键成就。由于非局部信息的整合有助于去噪，因此在这项工作中，我们研究了使用超级神经元进行合成和真实图像去噪。我们还讨论了在GPU上实现超神经元模型的实际问题，并提出了非本地化操作的异构性和计算复杂性之间的权衡。我们的研究结果表明，在相同的宽度和深度下，具有超级神经元的Self-ONNs在两个去噪任务中都比具有生成和卷积神经元的网络提供了显着的去噪性能提升。此外，结果表明，具有超级神经元的Self-ONNs可以分别在合成和真实世界去噪方面实现比众所周知的深度CNN去噪器具有竞争力和优越的合成去噪性能。
2021-11-29 cs.CV cs.LG
JPEG Information Regularized Deep Image Prior for Denoising
Preferred Networks, Inc.（优选网络公司）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
针对深度图像先验（DIP）去噪需提前停止但无干净参考图的难题，提出用复原图像的JPEG文件大小作为噪声水平代理指标实现提前停止，验证了该指标的有效性。
2023-10-02 cs.CV eess.IV
R3L: Connecting Deep Reinforcement Learning to Recurrent Neural Networks for Image Denoising via Residual Recovery
Nanyang Technological University（南洋理工大学）；Delft University of Technology（代尔夫特理工大学）
最先进的图像去噪器通过确定性训练利用各种类型的深度神经网络。另外，最近的工作利用深度强化学习来恢复具有不同或未知损坏的图像。虽然深度强化学习可以生成有效的策略网络，用于图像恢复中的操作员选择或架构搜索，但它如何与解决逆问题的经典确定性训练联系起来仍不清楚。在这项工作中，我们提出了一种新的图像去噪方案，通过残差恢复使用强化学习，被称为R3L。我们证明了R3L相当于一个使用随机奖励训练的深度递归神经网络，与许多使用具有确定性损失的监督学习的流行去噪器相反。为了对R3L中强化学习的有效性进行基准测试，我们使用确定性损失训练训练具有相同结构的递归神经网络进行残差恢复，从而分析两种不同的训练策略如何影响去噪性能。通过这样一个统一的基准测试系统，我们证明了所提出的R3L在估计的噪声水平变化时在图像去噪中具有更好的泛化性和鲁棒性，与使用确定性训练的同行以及各种最先进的图像去噪算法相比。
2021-07-12 cs.CV eess.IV
Details Preserving Deep Collaborative Filtering-Based Method for Image Denoising
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿业大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
尽管近年来的去噪算法取得了很大的进步，但许多算法在去噪后仍不能很好地保留图像的细节。这是由于他们对图像的平滑效果。大多数基于神经网络的算法都取得了比经典去噪算法更好的定量性能。然而，由于平滑效果，它们也会受到定性（视觉）性能的影响。在本文中，我们提出了一个算法来解决这个缺点。提出了一种基于深度协同滤波（Deep-CoFiB）的图像去噪算法。该算法使用一组优化的神经网络模型在稀疏域中对图像块进行协同去噪。这导致了一种快速算法，能够很好地获得噪声去除和细节保留之间的权衡。大量的实验表明，DeepCoFiB在定量（PSNR和SSIM）和定性（视觉）方面的表现优于许多最先进的去噪算法。
2021-07-14 cs.CV cs.LG eess.IV
Preventing Overfitting in Deep Image Prior for Hyperspectral Image Denoising
Robotics Institute, Athena Research and Innovation Center（雅典娜研究与创新中心机器人研究所）；School of Electrical and Computer Engineering, National Technical University of Athens（雅典国家技术大学电气与计算机工程学院）
本文提出结合鲁棒数据保真与显式敏感性正则化的深度图像先验方法，有效防止超光谱图像去噪中的过拟合问题，提升去噪性能。
2026-04-09 cs.CV eess.IV
Deep Reparametrization of Multi-Frame Super-Resolution and Denoising
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）
我们提出了一个深reparametrization的最大后验公式中常用的多帧图像恢复任务。我们的方法是通过引入一个学习的误差度量和目标图像的潜在表示，将MAP目标转换为深特征空间。深度重新参数化允许我们直接在潜在空间中对图像形成过程进行建模，并将学习到的图像先验信息整合到预测中。因此，我们的方法利用了深度学习的优势，同时也受益于经典MAP公式所提供的原则性多帧融合。我们通过对突发去噪和突发超分辨率数据集的综合实验来验证我们的方法。我们的方法设置了一个新的国家的最先进的这两项任务，展示了所提出的配方的一般性和有效性。
2021-08-18 cs.CV eess.IV
Image Denoising with Control over Deep Network Hallucination
School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）
深度图像去噪器实现了最先进的结果，但有隐藏的成本。正如最近的文献所证明的那样，这些深度网络能够过度拟合其训练分布，导致输出中添加不准确的幻觉，并且对不同数据的泛化能力很差。为了更好地控制和解释深度去噪器，我们提出了一个利用去噪网络的新框架。我们称之为可控的基于置信度的图像去噪（CCID）。在这个框架中，我们利用深度去噪网络的输出以及与可靠滤波器卷积的图像。这样的滤波器可以是简单的卷积核，其不冒添加幻觉信息的风险。我们建议使用频域方法融合这两个组件，该方法考虑了深度网络输出的可靠性。通过我们的框架，用户可以控制频域中两个分量的融合。我们还提供了一个用户友好的地图空间估计的信心，可能包含网络幻觉的输出。结果表明，我们的CCID不仅提供了更多的可解释性和控制，但甚至可以超越深度去噪器和可靠滤波器的定量性能，特别是当测试数据偏离训练数据。
2022-01-02 cs.CV eess.IV
Efficient Deep Image Denoising via Class Specific Convolution
SenseTime（商汤科技）
在过去的几年中，深度神经网络已被广泛用于图像去噪。尽管它们在这个问题上取得了巨大的成功，但它们的计算效率很低，这使得它们不适合在移动设备中实现。在本文中，我们提出了一种基于像素分类的高效深度神经网络用于图像去噪。尽管使用计算效率高的网络不能有效地从任何内容中去除噪声，但它仍然能够从特定类型的图案或纹理中去除噪声。所提出的方法遵循这样的分而治之的方案。我们首先使用一个有效的U-网像素明智的分类像素在噪声图像的基础上的局部梯度统计。然后，我们将现有去噪网络中的部分卷积层替换为建议的类特定卷积层（CSConv），该层对不同类别的像素使用不同的权重。在公共数据集上的定量和定性评估表明，与现有算法相比，该方法可以在不牺牲性能的情况下降低计算成本。
2021-08-04 cs.CV eess.IV
Unrolling of Deep Graph Total Variation for Image Denoising
York University（约克大学）；Weizmann Institute of Science（魏茨曼科学研究所）
虽然像卷积神经网络（CNN）这样的深度学习（DL）架构已经在图像去噪中实现了有效的解决方案，但通常它们的实现过度依赖于训练数据，缺乏可解释性，并且需要调整大的参数集。在本文中，我们将经典的图信号滤波与深度特征学习结合到一个有竞争力的混合设计中-一个利用可解释的分析低通图滤波器的设计，并且使用的网络参数比最先进的DL去噪方案DnCNN少80%。具体来说，为了构造一个合适的相似图进行图谱滤波，我们首先采用CNN来学习每个像素的特征表示，然后计算特征距离来建立边缘权重。给定一个构造的图，我们接下来使用图全变差（GTV）先验来制定去噪的凸优化问题。通过一个$l_1$图拉普拉斯变换，我们解释了它的解决方案，在一个迭代过程中作为一个图形低通滤波器，并得出其频率响应。对于快速滤波器的实现，我们使用Lanczos近似实现此响应。实验结果表明，在统计不匹配的情况下，我们的算法优于DnCNN高达3dB的PSNR。
2021-03-24 cs.CV eess.IV
Practical Deep Raw Image Denoising on Mobile Devices
Tsinghua University（清华大学）；Megvii Technology（旷视科技）
近年来，基于深度学习的图像去噪方法得到了广泛的研究，在许多公共基准数据集中盛行。然而，最先进的网络在计算上太昂贵而不能直接应用于移动设备。在这项工作中，我们提出了一个轻量级的，高效的基于神经网络的原始图像去噪器，在主流移动设备上运行流畅，并产生高质量的去噪结果。我们的关键见解有两个方面：（1）通过测量和估计传感器噪声水平，在合成传感器特定数据上训练的较小网络可以胜过在一般数据上训练的较大网络;（2）可以通过新颖的k-Sigma变换来消除不同ISO设置下的大噪声水平变化，从而允许小型网络有效地处理各种噪声水平。我们进行了大量的实验，以证明我们的方法的效率和准确性。我们提出的移动友好型去噪模型在Qualcomm Snapdragon 855芯片组上的运行速度为每百万像素约70毫秒，它是2019年发布的几款旗舰智能手机夜拍功能的基础。
2020-10-14 cs.CV eess.IV
Deep Joint Denoising and Detection for Enhanced Intracellular Particle Analysis
Erasmus University Medical Center（伊拉斯姆斯大学医学中心）；Utrecht University（乌得勒支大学）；University of New South Wales (UNSW)（新南威尔士大学）；NVIDIA Corporation（英伟达公司）；SURFsara
针对细胞内颗粒检测受噪声影响、现有深度学习检测方法未明确结合去噪的问题，提出可同步执行去噪与检测的DENODET网络，在公开挑战赛数据集和自制真实荧光数据上检测精度优于现有最优方法。
2024-08-15 cs.CV eess.IV
ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising
Harbin Institute of Technology（哈尔滨工业大学）
高光谱图像去噪对于高光谱图像的分类、解译等后续应用具有重要意义。在本文中，我们提出了一种基于注意力的深度残差网络，可以直接学习从噪声HSI到干净HSI的映射。为了联合利用空间-频谱信息，当前频带及其$K$相邻频带被同时利用作为输入。然后，我们采用不同滤波器大小的卷积层来融合多尺度特征，并使用快捷连接来合并多层次信息以更好地去除噪声。此外，采用通道注意机制，使网络集中在最相关的辅助信息和最有利于去噪过程的特征。为了简化训练过程，我们通过残差模式而不是直接预测来重建输出。实验结果表明，我们提出的ADRN计划优于国家的最先进的方法在定量和视觉评价。
2020-03-04 cs.CV eess.IV
CANDID: Correspondence AligNment for Deep-burst Image Denoising
University of Tübingen（图宾根大学）
针对深度连拍图像去噪问题，提出名为CANDID的方法，通过光流对应估计模块对齐帧、差异化预滤波、空间变化滤波核平滑后融合图像，实现了当前最优的去噪效果。
2023-06-16 cs.CV cs.LG
Evaluating Similitude and Robustness of Deep Image Denoising Models via Adversarial Attack
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）；School of Computer Science and Technology（计算机科学与技术学院）
本文通过对抗攻击方法评估深度图像去噪模型的相似性和鲁棒性，发现主流模型在灰度和彩色图像中共享对抗样本集，提出鲁棒性相似性指标，表明数据驱动的非盲去噪模型最鲁棒。
2023-07-07 cs.CV cs.LG eess.IV
Robust Deep Ensemble Method for Real-world Image Denoising
Harbin Institute of Technology（哈尔滨工业大学）；Megvii Inc（旷视科技有限公司）
最近，基于深度学习的图像去噪方法已经在具有与训练集相同分布的测试数据上取得了有希望的性能，其中已经学习了基于合成或收集的真实世界训练数据的各种去噪模型。然而，当处理真实世界的噪声图像时，去噪性能仍然有限。在本文中，我们提出了一种简单而有效的贝叶斯深度集成（BDE）方法用于现实世界的图像去噪，其中可以融合使用各种训练数据设置预先训练的几个代表性深度去噪器以提高鲁棒性。BDE的基础是真实世界的图像噪声是高度依赖于信号的，并且真实世界的噪声图像中的异质噪声可以由不同的去噪器分别处理。特别地，我们将经过良好训练的CBDNet，NBNet，HINet，Uformer和GMSNet纳入去噪池，并采用U-Net预测像素加权映射来融合这些去噪器。引入贝叶斯深度学习策略来预测加权不确定性和加权图，而不是单独学习像素加权图，通过该策略可以对预测方差进行建模，以提高对真实世界噪声图像的鲁棒性。大量的实验表明，通过融合现有的去噪器，而不是训练一个昂贵的大去噪器，可以更好地去除真实世界的噪声。在DND数据集上，我们的BDE比最先进的去噪方法获得了+0.28~dB的PSNR增益。此外，我们注意到，我们基于不同高斯噪声水平的BDE去噪器在应用于现实世界的噪声图像时，性能优于最先进的CBDNet。此外，该算法还可以扩展到其他图像复原任务中，在图像去模糊、图像去噪和单帧图像超分辨率的基准数据集上分别获得了+0.30…
2022-06-08 cs.CV eess.IV
Uncertainty Estimation in Medical Image Denoising with Bayesian Deep Image Prior
Leibniz Universität Hannover（汉诺威莱布尼茨大学）
利用深度学习的逆向医学成像任务中的不确定性量化很少受到关注。然而，在大型数据集上训练的深度模型往往会产生幻觉，并在重建的输出中产生解剖学上不存在的伪影。我们使用随机初始化的卷积网络作为重建图像的参数化，并执行梯度下降来匹配观察结果，这被称为深度图像先验。在这种情况下，重建不会遭受幻觉，因为没有执行先前的训练。我们扩展到一个贝叶斯方法与蒙特卡罗辍学量化任意和认知的不确定性。所提出的方法进行评估的任务去噪不同的医学成像模式。实验结果表明，我们的方法产生良好校准的不确定性。也就是说，预测不确定性与预测误差相关。这允许可靠的不确定性估计，并且可以解决逆医学成像任务中的幻觉和伪影的问题。
2020-08-20 cs.CV eess.IV
Learn to See Faster: Pushing the Limits of High-Speed Camera with Deep Underexposed Image Denoising
Kobe University（神户大学）
以高采集速率记录高保真视频的能力是研究快速运动现象的核心。快速移动场景成像的困难在于运动模糊和曝光不足噪声之间的权衡：一方面，长曝光时间的记录会受到记录场景中移动引起的运动模糊效果的影响。另一方面，到达相机光电传感器的光量随着曝光时间而减少，使得短曝光记录遭受曝光不足噪声。在本文中，我们建议通过将高速成像的问题视为曝光不足的图像去噪问题来解决这种权衡。我们使用深度学习结合曝光不足图像去噪的最新进展，并使这些方法适应高速成像问题的特殊性。利用具有传感器特定噪声模型的大型外部数据集，我们的方法能够将高速相机的采集速率加快一个数量级，同时保持相似的图像质量。
2022-11-29 cs.CV eess.IV
Image Denoising: The Deep Learning Revolution and Beyond -- A Survey Paper --
Technion – Israel Institute of Technology（以色列理工学院）
图像去噪（去除图像中的加性高斯白噪声）是图像处理中最古老和研究最多的问题之一。几十年来的广泛工作已经导致了数千篇关于这个主题的论文，以及许多性能良好的算法。事实上，10年前，这些成就使一些研究人员怀疑“去噪已死”，因为在这个领域可以实现的所有目标都已经实现了。然而，随着深度学习（DL）渗透到图像处理中，事实证明这远非事实。深度学习时代为图像去噪带来了一场革命，既领先于当今图像去噪的能力，又拓宽了去噪问题的处理范围。我们的论文首先描述了这一演变，特别强调了经典方法和现代基于DL的替代方案在图像去噪器设计中存在的张力和协同作用。最近在图像去噪领域的转变远远超出了设计更好的去噪器的能力。在本文的第二部分，我们集中在最近发现的图像去噪的能力和前景。我们暴露的可能性，使用去噪服务于其他问题，如正则化一般逆问题，并作为主要引擎在基于扩散的图像合成。我们还揭示了去噪和其他逆问题可能没有一个唯一的解决方案，因为常见的算法会让我们相信。相反，我们描述了建设性的方法来产生随机和多样化的高质量的结果，逆问题，所有的推动下，DL带来的进展，图像去噪。这篇综述论文旨在提供图像去噪的历史和密切相关的主题的广泛观点。我们的目标是为最近的发现提供一个更好的背景，以及DL在我们领域的影响。
2023-01-09 cs.CV eess.IV
The Devil is in the Upsampling: Architectural Decisions Made Simpler for Denoising with Deep Image Prior
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本研究从频率角度揭示未学习的上采样是DIP去噪的核心驱动因素，提出无需繁琐搜索的图像适配架构估计策略，实现更优去噪与纹理保留，参数量最多减95%且高噪声下鲁棒性更强。
2023-08-27 cs.CV eess.IV
Unpaired Learning of Deep Image Denoising
Harbin Institute of Technology（哈尔滨工业大学）；University of Tianjin（天津大学）；Peng Cheng Lab（鹏城实验室）
我们研究的任务学习盲目的图像去噪网络从一组不成对的干净和嘈杂的图像。考虑到在大多数现实世界应用中收集不成对的噪声和干净图像是可行的，这样的问题设置通常是实用和有价值的。我们进一步假设噪声可以是信号相关的，但空间上不相关。为了便于去噪网络的非配对学习，本文提出了一种结合自监督学习和知识蒸馏的两阶段方案。对于自监督学习，我们提出了一个扩张的盲点网络（D-BSN），只从真实的噪声图像中学习去噪。由于噪声的空间独立性，我们采用堆叠1x 1卷积层的网络来估计每个图像的噪声水平图。D-BSN和图像特定噪声模型（CNN\_est）两者可以通过最大化约束对数似然来联合训练。给定D-BSN的输出和估计的噪声水平图，可以基于贝叶斯规则进一步获得改进的去噪性能。在知识提取方面，我们首先将学习到的噪声模型应用于干净图像，以合成成对的训练图像集，并使用真实的噪声图像和第一阶段中相应的去噪结果来形成另一个成对集。然后，可以通过使用这两个配对集合训练现有的去噪网络来提取最终的去噪模型。实验表明，我们的非配对学习方法在定量和定性评价方面对合成噪声图像和真实世界的噪声照片都表现良好。
2020-08-31 cs.CV eess.IV
Learning Deep Image Priors for Blind Image Denoising
Shenzhen University（深圳大学）；The University of Nottingham Ningbo China（宁波诺丁汉大学）；The University of Nottingham（诺丁汉大学）
图像去噪是从含噪图像中去除噪声的过程，是一个图像域转移任务，即，从单个或几个噪声水平域到照片般逼真的域。本文从域对齐的角度出发，通过学习两个图像先验，提出了一种有效的图像去噪方法。我们在两个层面上处理域对齐。1)特征级先验用于学习具有不同噪声水平的受损图像的域不变特征; 2）像素级先验用于将去噪图像推到自然图像流形。这两种图像先验是基于$\mathcal{H}$ -发散理论，通过对抗训练方式学习分类器实现的。我们在多个数据集上评估我们的方法。结果表明，我们的方法的有效性强大的图像去噪合成和现实世界的噪声图像。此外，我们表明，特征级先验是能够减轻不同级别的噪声之间的差异。它可以用来改善盲去噪性能的失真措施（PSNR和SSIM），而像素级先验可以有效地提高感知质量，以确保真实的输出，这是进一步验证了主观评价。
2019-06-04 cs.CV eess.IV
Suppression of Correlated Noise with Similarity-based Unsupervised Deep Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算机断层扫描（CT）去噪可以在最小辐射剂量下优化诊断性能。有监督的深度去噪方法很受欢迎，但需要成对的干净或有噪声的样本，而这些样本在实践中通常是不可用的。受噪声独立性假设的限制，现有的无监督去噪方法无法处理CT图像中的相关噪声。在这里，我们提出了第一种基于相似性的无监督深度去噪方法，称为Noise2Sim，它以非局部和非线性的方式工作，不仅可以抑制独立噪声，还可以抑制相关噪声。从理论上讲，Noise2Sim在温和的条件下与监督学习方法是渐近等价的。在实验中，Nosie2Sim从噪声低剂量CT和光子计数CT图像中恢复固有特征，在视觉上，定量地和统计上与实际数据集上的监督学习方法一样有效，甚至更好。Noise2Sim是一种通用的无监督去噪方法，在各种应用中具有巨大的潜力。
2022-01-05 cs.CV cs.LG eess.IV
Hyperspectral Denoising Using Unsupervised Disentangled Spatio-Spectral Deep Priors
University of Electronic Science and Technology of China（电子科技大学）；Oregon State University（俄勒冈州立大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
图像去噪通常需要精确的先验信息。近年来，数据驱动的神经网络先验在RGB自然图像去噪方面表现出了良好的性能。与经典的手工制作的先验（例如，稀疏性和总变差），使用大量的训练样本来学习“深度先验”--这可以精确地对复杂的图像生成过程进行建模。然而，由于缺乏训练数据，数据驱动的先验知识很难获得高光谱图像（HSI）。一种补救方法是使用所谓的无监督深度图像先验（DIP）。在无监督DIP框架下，假设并实证证明了适当的神经网络结构是某些类型图像的合理先验，并且可以在没有训练数据的情况下学习网络权重。尽管如此，最有效的无监督DIP结构是针对自然图像而不是HSI提出的。无监督的基于DIP的HSI去噪的性能受到两个严重挑战的限制，即网络结构设计和网络复杂性。这项工作提出了一个无监督的DIP框架，是基于经典的空间谱分解的HSIs。利用所谓的HSI的线性混合模型，两种类型的无监督DIP，即，U-Net类网络和全连接网络，分别用于模拟丰度图和HSI中包含的端元。这样，自然图像的经验验证的无监督DIP结构可以很容易地用于HSI去噪。此外，分解也大大降低了网络的复杂性。提出了一种有效的交替优化算法来处理公式化的去噪问题。半真实和真实数据的实验，以展示所提出的方法的有效性。
2021-08-18 cs.CV eess.IV
Boltzmann Machines and Denoising Autoencoders for Image Denoising
Aalto University School of Science（阿尔托大学理学院）
基于局部图像块的概率模型的图像去噪已被各种研究人员采用，最近Burger等人[2012]和Xie等人[2012]提出了一种深度（去噪）自动编码器，作为一种很好的模型。在本文中，我们提出了深度学习领域中另一种流行的模型家族，称为玻尔兹曼机，可以执行图像去噪，或者在某些高噪声水平的情况下，比去噪自动编码器更好。我们经验性地评估了这两种模型在三组不同类型和噪声水平的图像上的效果。在整个实验中，我们还研究了模型深度的影响。实验证实了我们的说法，并表明，性能可以通过添加更多的隐藏层，特别是当噪声水平高。
2013-03-04 cs.CV cs.LG stat.ML
Connections between Deep Equilibrium and Sparse Representation Models with Application to Hyperspectral Image Denoising
University of Patras（帕特雷大学）
在这项研究中，计算多维视觉数据的稀疏表示的问题被认为是。一般来说，这些数据，例如，高光谱图像、彩色图像或视频数据由表现出强局部依赖性的信号组成。一个新的计算效率的稀疏编码优化问题是通过采用正则化项，适应感兴趣的信号的属性。利用可学习正则化技术的优点，神经网络被用来作为结构先验，并揭示潜在的信号依赖性。为了解决优化问题，开发了基于深度展开和深度平衡的算法，形成了高度可解释和简洁的基于深度学习的架构，以逐块的方式处理输入数据集。在高光谱图像去噪的背景下，提供了大量的仿真结果，这表明所提出的算法明显优于其他稀疏编码方法，并表现出优于最近最先进的基于深度学习的去噪模型的性能。从更广泛的角度来看，我们的工作在经典方法（即稀疏表示理论）和基于深度学习建模的现代表示工具之间提供了一个独特的桥梁。
2023-03-14 cs.CV cs.NE eess.IV
Deep Variation Prior: Joint Image Denoising and Noise Variance Estimation without Clean Data
University of Bristol（布里斯托大学）
随着最近基于深度学习的方法在从图像中去除噪声方面显示出有希望的结果，在监督学习设置中报告了最佳的去噪性能，该设置需要大量成对的噪声图像和地面实况进行训练。强大的数据需求可以通过无监督学习技术来缓解，然而，图像或噪声方差的准确建模对于高质量的解决方案仍然至关重要。对于未知的噪声分布，学习问题是不适定的。本文研究了图像去噪和噪声方差估计在一个单一的，联合学习框架的任务。为了解决这个问题的不适定性，我们提出了深度变化先验（DVP），它指出正确学习的去噪器相对于噪声变化的变化满足一些平滑特性，作为良好去噪器的关键标准。在DVP的基础上，开发了一个无监督的深度学习框架，可以同时学习去噪器和估计噪声方差。我们的方法不需要任何干净的训练图像或噪声估计的外部步骤，相反，近似的最小均方误差去噪只使用一组噪声图像。由于这两个基本任务在一个框架中被考虑，我们允许它们相互优化。实验结果表明，去噪质量与监督学习和准确的噪声方差估计相当。
2022-09-19 cs.CV cs.LG eess.IV
Deep Equilibrium Convolutional Sparse Coding for Hyperspectral Image Denoising
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；College of Computer Science, Zhejiang University（浙江大学计算机科学学院）
本文提出深度均衡卷积稀疏编码框架，通过统一局部空间-光谱相关性、非局部自相似性和全局一致性，提升超光谱图像去噪性能。
2025-12-22 cs.CV eess.IV
Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers
Nanyang Technological University（南洋理工大学）
针对配对视频数据获取难的问题，提出将可调时序模块集成到预训练图像去噪器的TAP无监督视频去噪框架，结合渐进式微调策略，在sRGB和原始视频数据集上实现更优去噪效果。
2024-09-17 cs.CV eess.IV
Noise2Inverse: Self-supervised deep convolutional denoising for tomography
Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究中心）；Leiden Institute of Advanced Computer Science, Leiden Universiteit（莱顿大学高级计算机科学研究所）
从有噪声的间接测量中恢复高质量的图像是许多应用中的重要问题。对于这样的逆问题，基于监督深度卷积神经网络（CNN）的去噪方法已经显示出了很好的结果，但这些监督方法的成功关键取决于类似测量的高质量训练数据集的可用性。对于图像去噪，通过假设两个不同像素中的噪声是不相关的，使得能够在没有单独的训练数据集的情况下进行训练的方法是可用的。然而，这个假设不适用于逆问题，导致现有方法产生的去噪图像中的伪影。在这里，我们提出了Noise2Inverse，这是一种基于CNN的深度去噪方法，用于线性图像重建算法，不需要任何额外的干净或嘈杂数据。训练基于CNN的去噪器是通过利用噪声模型来计算多个统计独立的重建来实现的。我们开发了一个理论框架，表明这种训练确实获得了去噪的CNN，假设测量的噪声是元素独立的和零均值的。在模拟CT数据集上，与最先进的图像去噪方法和传统重建方法（如总变差最小化）相比，Noise2Inverse在峰值信噪比和结构相似性指数方面有所改善。我们还证明了该方法能够显着降低具有挑战性的现实世界的实验数据集的噪声。
2020-09-15 cs.CV cs.LG eess.IV
Batch-less stochastic gradient descent for compressive learning of deep regularization for image denoising
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；IMB（波尔多数学研究所）
针对图像去噪中深度正则化学习计算负担大的问题，提出两种适配压缩学习框架的无批次SGD变体，可从高度压缩数据库恢复参数，性能优于原有低维方法且有收敛保证，可用于基于块的图像去噪。
2023-10-02 cs.CV cs.IT cs.LG
Deep Belief Networks for Image Denoising
Amirkabir University of Technology（阿米尔卡比尔理工大学）
深度信度网络是一种层次生成模型，是特征表示和提取的有效工具。此外，DBN可以用于机器学习的许多方面，例如图像去噪。在本文中，我们提出了一种新的方法，图像去噪依赖于DBNs的能力，在特征表示。这项工作是基于对噪声行为的学习。通常，使用DBN提取的特征被呈现为最后一层节点的值。我们训练DBN的方式是网络完全区分DBN的最后一层中呈现噪声的节点和呈现图像内容的节点，即训练的DBN的最后一层中的节点被分成两个不同的节点组。在检测出存在噪声的节点后，我们能够使噪声节点不活动并重建无噪声图像。在第4节中，我们探讨了应用这种方法的MNIST数据集的手写数字，这是破坏加性高斯白噪声（AWGN）的结果。平均均方误差（MSE）减少了65.9%，当所提出的方法用于噪声图像的重建。
2014-01-02 cs.CV cs.LG cs.NE
Deep Burst Denoising
University College London（伦敦大学学院）；Facebook
噪声是低光图像捕获的固有问题，由于移动设备的窄光圈和小传感器，这一问题在移动设备上加剧。在弱光环境下，一种减轻噪声的策略是增加相机的快门时间，从而允许每个感光点整合更多的光并降低噪声方差。然而，长时间曝光有两个缺点：（a）明亮区域可能超出传感器范围，（b）相机和场景运动会导致图像模糊。另一种收集更多光线的方法是在“突发”中捕获多个短（因此有噪声）帧，并智能地整合内容，从而避免上述缺点。在本文中，我们使用突发捕获策略，并通过循环全卷积深度神经网络（CNN）实现智能集成。我们构建了新颖的多帧架构，可以简单地添加到任何单帧去噪模型中，并设计用于处理任意数量的噪声输入帧。我们证明了它在我们的突发数据集上实现了最先进的去噪结果，改进了最好的多帧技术，如VBM4D和FlexISP。最后，我们通过整合多帧内容来探索图像增强的其他应用，并证明我们的DNN架构可以很好地推广到图像超分辨率。
2017-12-15 cs.CV cs.LG stat.ML
Self-supervised Dynamic CT Perfusion Image Denoising with Deep Neural Networks
Center for Advanced Medical Computing and Analysis（高级医学计算与分析中心）；Gordon Center for Medical Imaging（戈登医学成像中心）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
动态计算机断层成像灌注（CTP）成像是一种有前途的方法，急性缺血性卒中的诊断和评价。脑实质的血流动力学参数图是根据碘化造影剂第一次通过大脑的重复CT扫描计算的。由于重复扫描的高辐射暴露，有必要减少常规应用的CTP剂量，其中图像降噪是实现可靠诊断所必需的。在本文中，我们提出了一种用于CTP去噪的自监督深度学习方法，该方法不需要任何高剂量参考图像进行训练。通过将CTP的每个帧映射到来自其相邻帧的估计来训练网络。由于噪声在源和目标中是相互独立的，该方法可以有效地去除噪声。由于没有高剂量的训练图像，因此该方法更容易适应不同的扫描协议。该方法在模拟和公共真实数据集上进行了验证。与传统的去噪方法相比，该方法提高了图像质量。在实际数据上，与基于仿真数据训练的监督学习相比，该方法还提高了空间分辨率和对比度噪声比
2020-05-19 cs.CV cs.LG eess.IV
High-Quality Self-Supervised Deep Image Denoising
NVIDIA（英伟达）；Aalto University（阿尔托大学）
我们描述了一种新的方法，用于训练高质量的图像去噪模型的基础上无组织的收集损坏的图像。该训练不需要访问干净的参考图像或显式的损坏图像对，因此可以应用于这样的数据是不可接受的昂贵或不可能获得的情况。我们建立在最近的一项技术基础上，该技术通过采用在感受野中具有“盲点”的网络来消除对参考数据的需求，并显着提高了两个关键方面：图像质量和训练效率。我们的结果质量与最先进的神经网络去噪器在i.i.d.的情况下相当。加性高斯噪声，以及紧随其后的泊松和脉冲噪声。我们还成功地处理了噪声模型的参数在训练和评估数据中是可变的和/或未知的情况。
2019-10-28 cs.CV cs.LG cs.NE
ViDeNN: Deep Blind Video Denoising
Delft University of Technology（代尔夫特理工大学）
我们提出了ViDeNN：一个CNN的视频去噪没有先验知识的噪声分布（盲去噪）。CNN架构使用空间和时间滤波的组合，首先学习对帧进行空间降噪，同时学习如何组合它们的时间信息，处理对象运动、亮度变化、低光条件和时间不一致。我们证明了用于CNN训练的数据的重要性，为此目的创建了一个用于低光条件的特定数据集。我们在常见的基准测试和自我收集的数据上测试了ViDeNN，取得了与最先进水平相当的良好结果。
2019-04-24 cs.CV
On the Vulnerability of DeepFake Detectors to Attacks Generated by Denoising Diffusion Models
Faculty of electrical engineering, University of Ljubljana（卢布尔雅那大学电气工程学院）
本文研究单图像DeepFake检测器对去噪扩散模型黑盒攻击的脆弱性，在FaceForensics++上通过人脸复原引导重建生成攻击，发现单个去噪扩散步骤即可显著降低检测率且无可见图像变化，同时揭示基于扩散深度伪造训练的检测器泛化能力有限。
2023-10-29 cs.CV
Deep End-to-end Fingerprint Denoising and Inpainting
Fortia Financial Solutions（Fortia金融解决方案公司）
这项工作描述了我们为Chalearn In-painting Competition Track 3 - Fingerprint Denoising and In-painting获奖的解决方案。这项比赛的目的是减少噪音，去除背景图案和替换指纹图像的缺失部分，以简化人类或第三方软件的验证。在本文中，我们使用了一个类似于CNN的U-Net模型，该模型在以完全监督的方式对竞争数据进行训练后，端到端地执行所有这些步骤。这种架构和培训程序在比赛的所有三个指标上都取得了最好的结果。
2018-09-13 cs.CV
Image Reconstruction Using Deep Learning
The University of Hong Kong（香港大学）
本文提出了一种深度学习架构，该架构在泊松图像去噪方面，特别是在噪声较强的情况下，与传统算法相比，在统计上有显著的改进。泊松噪声通常发生在低光和光子限制的设置中，其中噪声可以通过泊松分布最准确地建模。泊松噪声传统上只在特定的领域，如天文成像。然而，随着监控摄像机（通常在低光环境下工作）或手机（由于低等级传感器而产生嘈杂的夜景图片）市场的蓬勃发展，高级泊松图像去噪算法的必要性已经增加。深度学习在图像分割和识别等其他成像问题上取得了惊人的突破，本文提出了一种深度学习去噪网络，该网络在泊松去噪方面优于传统算法，尤其是在噪声较强的情况下。该架构结合了卷积和解卷积层的混合以及对称连接。在图像峰值为4、2和1的实验中，去噪网络的平均PSNR增益分别为0.38dB、0.68dB和1.04dB，与基准传统算法相比具有统计学显著性。去噪网络还可以以更短的计算时间运行，同时通过调整重建步长大小仍然优于基准算法。
2018-09-27 cs.CV
