U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search
EPFL(洛桑联邦理工学院)
优化目标平台中的资源利用率是在DNN推理期间实现高性能的关键。虽然已经提出了针对推理延迟、内存占用和能耗的优化,但现有的硬件感知神经架构搜索(NAS)方法忽略了资源利用,从而阻止了DNN充分利用目标推理平台。有效和准确地建模资源利用率是一项挑战,特别是对于广泛使用的基于数组的推理加速器,如Google TPU。在这项工作中,我们提出了一种新的硬件感知的NAS框架,不仅优化任务的准确性和推理延迟,而且资源利用率。我们还提出并验证了一个新的计算模型的推理加速器的资源利用率。通过使用所提出的NAS框架和所提出的资源利用模型,与先前的硬件感知NAS方法相比,我们实现了DNN推理的2.8 - 4倍加速,同时在CIFAR-10和Imagenet-100数据集上实现了图像分类的相似或改进的准确性。
2022-03-23 cs.AI cs.CV cs.LG
GI-NAS: Boosting Gradient Inversion Attacks Through Adaptive Neural Architecture Search
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Shenzhen ShenNong Information Technology Co., Ltd.(深圳神农信息技术有限公司);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
提出GI-NAS方法,通过自适应神经架构搜索捕获隐式架构先验,在无需显式领域先验知识下提升梯度反演攻击性能,揭示联邦学习隐私漏洞。
2025-10-11 cs.AI cs.CV
CP-NAS: Child-Parent Neural Architecture Search for Binary Neural Networks
Beihang University(北京航空航天大学);University of Bonn(波恩大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University at Buffalo(布法罗大学)
神经结构搜索(NAS)被证明是许多任务的最佳方法之一,通过生成一个应用程序自适应的神经结构,这仍然是高计算成本和内存消耗的挑战。与此同时,具有二值化权重和激活的1位卷积神经网络(CNN)显示出其在资源有限的嵌入式设备中的潜力。一种自然的方法是使用1位CNN,通过利用统一框架中每个CNN的优势来降低NAS的计算和内存成本。为此,子-父(CP)模型被引入到可微NAS中,以在全精度模型(父)的监督下搜索二进制化结构(子)。在搜索阶段,Child-Parent模型使用由子模型和父模型准确性生成的指标来评估性能并放弃潜力较小的操作。在训练阶段,引入核级CP损失来优化二值化网络。大量的实验表明,所提出的CP-NAS实现了与传统NAS在CIFAR和ImageNet数据库上相当的准确性。它实现了CIFAR-10上的$95.27\%$的准确性,ImageNet上的$64.3\%$具有二值化权重和激活,以及比现有技术更快的$30\%$搜索。
2020-05-17 cs.CV
CoRA-NAS: Coarse Ranking and Anchor-Residual Refinement for Neural Architecture Search
University of New South Wales(新南威尔士大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
CoRA-NAS 提出两阶段框架,结合静态排序先验与低成本学习曲线细化,实现跨空间鲁棒且低成本的架构选择,在多个基准上取得高排序相关性。
2026-09-11 cs.CV cs.LG
GRASP-GCN: Graph-Shape Prioritization for Neural Architecture Search under Distribution Shifts
Free University of Bozen-Bolzano(博岑-博尔扎诺自由大学);Computer Vision Center(计算机视觉中心);Universitat de Barcelona(巴塞罗那大学)
针对传统NAS单数据集场景计算成本高、分布偏移下泛化差的问题,提出结合层形状输入的排序型图卷积网络GRASP-GCN,在Cifar-10上提升SOTA性能3.3%并增强分布偏移下的泛化能力。
2024-05-11 cs.CV cs.LG
NAS-Bench-360: Benchmarking Neural Architecture Search on Diverse Tasks
University of Toronto(多伦多大学);University of Wisconsin(威斯康星大学);Carnegie Mellon University(卡内基梅隆大学)
大多数现有的神经架构搜索(NAS)基准和算法优先考虑经过充分研究的任务,例如CIFAR或ImageNet上的图像分类。这使得NAS方法在更多样化领域的性能知之甚少。在本文中,我们提出了NAS-Bench-360,一个基准套件,以评估方法的领域超出了传统的研究架构搜索,并使用它来解决以下问题:做国家的最先进的NAS方法在不同的任务上表现良好?为了构建基准,我们策划了十个任务,这些任务跨越了不同的应用领域、数据集大小、问题维度和学习目标。每个任务都经过精心选择,以便与现代基于CNN的搜索方法进行互操作,同时可能远离其原始开发领域。为了加快和降低NAS研究的成本,对于其中两项任务,我们发布了包括标准CNN搜索空间的15,625个架构的预计算性能。在实验中,我们需要更强大的NAS评估的NAS-Bench-360,使几个现代NAS程序在10个任务中执行不一致,许多灾难性的差的结果。我们还展示了NAS-Bench-360及其相关的预计算结果将如何通过测试NAS文献中最近提出的几个假设是否适用于不同的任务来实现未来的科学发现。NAS-Bench-360托管于https://nb360.ml.cmu.edu。
2023-01-19 cs.CV cs.LG
Single-Path Mobile AutoML: Efficient ConvNet Design and NAS Hyperparameter Optimization
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Harbin Institute of Technology(哈尔滨工业大学)
本研究提出Single-Path NAS可微架构搜索方法,通过单路径过参数化卷积网络编码架构决策,将NAS搜索成本降至3小时内,在移动端延迟约束下取得ImageNet分类SOTA结果,并实现NAS超参数自动优化。
2019-07-01 cs.CV cs.LG stat.ML
Single-Path NAS: Device-Aware Efficient ConvNet Design
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Harbin Institute of Technology(哈尔滨工业大学)
我们能否在移动终端的延迟约束下自动设计具有最高图像分类精度的卷积网络(ConvNet)?用于ConvNet设计的神经架构搜索(NAS)是一个具有挑战性的问题,因为它的设计空间和搜索时间都很大(至少200 GPU小时)。为了减轻这种复杂性,我们提出了单路径NAS,这是一种新颖的可区分NAS方法,用于在不到4小时的时间内设计设备高效的ConvNets。1.新型NAS制剂:我们的方法引入了单路径、过参数化的ConvNet,以使用共享卷积核参数对所有架构决策进行编码。2. NAS效率:我们的方法将NAS搜索成本降低到8个时期(30 TPU-小时),即,与以前的工作相比,速度快了5,000倍。3.设备上的图像分类:单路径NAS在ImageNet上实现了74.96%的top-1准确率,在Pixel 1手机上的推理延迟为79 ms,与具有类似延迟(<80 ms)的NAS方法相比,这是最先进的准确率。
2019-05-10 cs.CV cs.LG stat.ML
NAS-LoRA: Empowering Parameter-Efficient Fine-Tuning for Visual Foundation Models with Searchable Adaptation
NAS-LoRA 通过引入可搜索适应的神经网络架构搜索块,提升视觉基础模型在特定领域中的参数高效微调性能,减少训练成本24.14%。
2025-12-03 cs.AI cs.CL cs.CV
Single-Path NAS: Designing Hardware-Efficient ConvNets in less than 4 Hours
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Harbin Institute of Technology(哈尔滨工业大学)
我们能否在移动终端的运行时间约束下自动设计具有最高图像分类精度的卷积网络(ConvNet)?神经架构搜索(NAS)通过自动化这个过程,彻底改变了硬件高效的ConvNets的设计。然而,NAS问题仍然具有挑战性,因为组合设计空间很大,导致搜索时间很长(至少200 GPU小时)。为了减轻这种复杂性,我们提出了单路径NAS,这是一种新颖的可区分NAS方法,用于在不到4小时的时间内设计硬件高效的ConvNets。我们的贡献如下:1.单路径搜索空间:与以前的可区分NAS方法相比,单路径NAS使用一个单路径过参数化ConvNet来使用共享卷积核参数对所有架构决策进行编码,从而大大减少了可训练参数的数量和搜索成本。2.硬件高效的ImageNet分类:单路径NAS在Pixel 1手机上以79 ms的延迟在ImageNet上实现了74.96%的top-1准确率,与具有类似约束(<80 ms)的NAS方法相比,这是最先进的准确率。3. NAS效率:单路径NAS搜索成本仅为8个epoch(30 TPU-小时),与之前的工作相比,速度快了5,000倍。4.复制:与所有最近的移动高效NAS方法不同,这些方法只发布预训练的模型,我们在https://github.com/dstamoulis/single-path-nas上开源了我们的整个代码库。
2019-04-05 cs.CV cs.LG stat.ML
GPT-NAS: Evolutionary Neural Architecture Search with the Generative Pre-Trained Model
College of Computer Science, Sichuan University(四川大学计算机学院);Stevens Institute of Technology(史蒂文斯理工学院)
针对NAS搜索空间巨大、效率低下的问题,本文提出GPT-NAS,利用GPT模型生成合理架构组件并结合进化算法搜索,显著提升架构性能与搜索效率。
2025-02-15 cs.AI cs.CV
NASIB: Neural Architecture Search withIn Budget
MIT Media Labs(麻省理工学院媒体实验室);Cisco Systems(思科系统公司);IIIT Sri City(斯里城印度信息技术学院)
神经网络架构搜索(NAS)代表了一类用于生成最优神经网络架构的方法,并且通常在候选架构上进行迭代直到收敛于某个特定度量(如验证损失)。它们受到可用计算资源的限制,特别是在企业环境中。在本文中,我们提出了一种新的NAS方法,称为NASIB,它通过改变探索与开发权衡来适应和调整可用的计算资源(预算)。我们减少了专家的偏见,通过搜索在一个扩大的搜索空间引起的超级核。所提出的方法可以提供架构搜索有用的不同的计算资源和不同的领域以外的自然图像的图像分类,我们缺乏定制的架构图案和领域的专业知识。在CIFAR10上,我们可以在仅1.5 GPU天内搜索比传统现有技术多12倍的候选操作的空间,同时达到接近最先进的精度。虽然我们的方法在指数级更大的搜索空间上搜索,但与大多数现有方法相比,它可能会导致需要较少领域专业知识的新架构。
2019-10-19 cs.CV cs.LG stat.ML
Towards a Robust Differentiable Architecture Search under Label Noise
The Australian National University(澳大利亚国立大学);Monash University(莫纳什大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织Data61)
神经架构搜索(NAS)是设计强大神经架构的游戏规则改变者。NAS设计的架构在准确性、大小、内存占用和FLOP方面优于最好的手动网络设计或与其竞争。也就是说,以前的研究集中在为干净的高质量数据开发NAS算法,这是一个限制性的和有些不切实际的假设。在本文中,专注于可区分的NAS算法,我们表明,香草NAS算法遭受的性能损失,如果类标签是嘈杂的。为了解决这个问题,我们利用信息瓶颈的原则作为正则化。这导致我们开发了一个噪声注入操作,该操作包括在学习过程中,防止网络从噪声样本中学习。我们的经验评估表明,噪声注入操作不会降低NAS算法的性能,如果数据确实是干净的。相比之下,如果数据是嘈杂的,我们的算法学习的架构舒适地优于专门配备了复杂机制的算法,在标签噪声的存在下学习。与许多设计用于在存在噪声标签的情况下工作的算法相比,我们的算法不需要关于噪声的属性及其特性的先验知识。
2021-10-23 cs.CV cs.LG
DeNAS-ViT: Data Efficient NAS-Optimized Vision Transformer for Ultrasound Image Segmentation
本文提出DeNAS-ViT,首次将神经架构搜索用于超声图像分割,通过令牌级搜索自动优化视觉Transformer,并结合NAS引导的半监督学习框架,在有限标注数据下实现最先进的分割性能与鲁棒性。
2025-11-10 cs.CV
DIP-GS: Deep Image Prior For Gaussian Splatting Sparse View Recovery
Rajaei Khatib(独立研究者);Raja Giryes(独立研究者)
提出DIP-GS方法,利用深度图像先验以由粗到细的方式增强3DGS在稀疏视图下的重建能力,无需预训练模型即达到SOTA性能。
2025-08-10 cs.CV
Unsupervised Hyperspectral Mixed Noise Removal Via Spatial-Spectral Constrained Deep Image Prior
University of Electronic Science and Technology of China(电子科技大学);Southwestern University of Finance and Economics(西南财经大学);Peng Cheng Laboratory(鹏城实验室)
近年来,基于卷积神经网络(CNN)的方法被提出用于高光谱图像(HSI)去噪。其中,深度图像先验(DIP)等无监督方法备受关注,因为这些方法不需要任何训练数据。然而,DIP遭受半收敛行为,即,DIP的迭代需要通过参考最佳迭代点处的地面实况图像来终止。在本文中,我们提出了空间谱约束的深度图像先验(S2 DIP)的HSI混合噪声去除。具体来说,我们将DIP与空间谱全变分(SSTV)项结合起来,以充分保留HSI的空间谱局部平滑性,并将$\ell_1$ -范数项结合起来,以捕获复杂的稀疏噪声。所提出的S2 DIP联合利用从深度CNN带来的表达能力,而无需任何训练数据,并通过手工制作的先验利用HSI和噪声结构。因此,我们的方法避免了半收敛行为,表现出比DIP更高的稳定性。同时,我们的方法大大提高了DIP的HSI去噪能力。为了解决所提出的去噪模型,我们开发了交替方向乘子法算法。大量的实验表明,所提出的S2 DIP优于基于优化和基于监督CNN的最先进的HSI去噪方法。
2021-06-10 cs.CV
Unsupervised Image Fusion Using Deep Image Priors
Visual Information Laboratory, University of Bristol(布里斯托大学视觉信息实验室)
大量研究人员将深度学习方法应用于图像融合。然而,大多数工作需要大量的训练数据或依赖于预先训练的模型或框架来从源图像中捕获特征。这不可避免地受到训练数据短缺或框架与实际问题之间不匹配的阻碍。深度图像先验(DIP)已经被引入以利用卷积神经网络的能力来合成输入图像中的“先验”。然而,DIP的原始设计很难推广到多图像处理问题,特别是图像融合。因此,我们提出了一种新的图像融合技术,扩展DIP融合任务制定为逆问题。此外,我们采用多通道的方法,以提高DIP的效果进一步。评价进行了几种常用的图像融合评价指标。结果进行了比较与国家的最先进的图像融合方法。我们的方法优于这些技术的一系列指标。特别是,它被证明是提供最好的客观结果,大多数指标时,应用于医学图像。
2022-02-22 cs.CV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
我们提出了一种新的方法,用于生成鲁棒的对抗性图像示例,该方法基于最近的“深度图像先验”(DIP),该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生,高频噪声引起图像误分类,但是对于随后的图像数字操作来说是脆弱的。我们表明,使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动,同时保持视觉上不可感知。此外,我们表明,我们的DIP方法也可以适应当地的对抗补丁(“对抗贴纸”)。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
Deep Image Prior using Stein's Unbiased Risk Estimator: SURE-DIP
The University of Iowa(爱荷华大学)
依赖于大量训练数据的深度学习算法正在彻底改变从不适定测量中恢复图像的方法。训练数据在许多成像应用中是稀缺的,包括超高分辨率成像。深度图像先验(DIP)算法被引入用于单次图像恢复,完全消除了对训练数据的需求。该方案的挑战是需要提前停止以最小化CNN参数对测量中的噪声的过拟合。我们引入了一个广义的斯坦的无偏风险估计(GSURE)损失度量,以尽量减少过拟合。我们的实验表明,SURE-DIP方法最大限度地减少了过拟合问题,从而提供了显着提高性能的经典DIP计划。我们还使用SURE-DIP方法与基于模型的展开架构,它提供了更好的性能直接反演方案。
2021-11-21 cs.CV eess.IV
MCDIP-ADMM: Overcoming Overfitting in DIP-based CT reconstruction
Shanghai Jiao Tong University(上海交通大学);Central South University(中南大学)
针对DIP用于CT重建时迭代过拟合的问题,提出MCDIP-ADMM,通过多潜码特征组合与PnP ADMM优化,在平行束和扇形束噪声投影中显著提升PSNR。
2023-06-01 cs.CV eess.IV
Image Restoration using Total Variation Regularized Deep Image Prior
Washington University in St. Louis(圣路易斯华盛顿大学)
在过去的十年中,稀疏驱动的正则化导致了图像重建的显着改善。传统的正则化器,如全变差(TV),依赖于稀疏性的分析模型。然而,越来越多的领域正在转向可训练的模型,灵感来自深度学习。深度图像先验(DIP)是最近的正则化框架,其使用卷积神经网络(CNN)架构,而没有数据驱动的训练。本文通过将DIP框架与传统的TV正则化相结合,扩展了DIP框架。我们表明,包括电视导致相当大的性能增益测试时,对几个传统的恢复任务,如图像去噪和去模糊。
2018-10-30 cs.CV
MetaDIP: Accelerating Deep Image Prior with Meta Learning
University of Maryland, College Park(马里兰大学帕克分校)
深度图像先验(DIP)是最近提出的一种通过将重建图像拟合到未经训练的卷积神经网络的输出来解决成像逆问题的技术。与预先训练的前馈神经网络不同,相同的DIP可以推广到任意的逆问题,从去噪到相位恢复,同时在每个任务上提供有竞争力的性能。DIP的主要缺点是,虽然前馈神经网络可以在单次通过中重建图像,但DIP必须在数百到数千次迭代中逐渐更新其权重,这需要大量的计算成本。在这项工作中,我们使用元学习来大规模加速基于DIP的重建。通过学习DIP权重的适当初始化,我们证明了在一系列逆成像任务中运行时间的10倍改进。此外,我们证明了一个网络训练,以快速重建人脸也推广到重建自然图像补丁。
2022-09-18 cs.CV eess.IV
Pooling-Based Context Modeling for Convolution-Free Deep Image Prior
Yonsei University(延世大学)
研究提出Pool-DIP,一种无卷积架构,通过基于池化的对比建模捕捉空间上下文,提升去噪性能,减少参数和计算复杂度,在多数据集表现良好,还能用于其他图像恢复任务。
2026-07-07 cs.AI cs.CV
Diffusion Image Prior
University of Bern(伯尔尼大学)
针对复杂未知退化,提出基于预训练扩散模型的扩散图像先验(DIIP),利用早停策略实现盲图像恢复,在多种任务上达到最先进效果。
2025-03-27 cs.CV
Hyperspectral Denoising Using Unsupervised Disentangled Spatio-Spectral Deep Priors
University of Electronic Science and Technology of China(电子科技大学);Oregon State University(俄勒冈州立大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
图像去噪通常需要精确的先验信息。近年来,数据驱动的神经网络先验在RGB自然图像去噪方面表现出了良好的性能。与经典的手工制作的先验(例如,稀疏性和总变差),使用大量的训练样本来学习“深度先验”--这可以精确地对复杂的图像生成过程进行建模。然而,由于缺乏训练数据,数据驱动的先验知识很难获得高光谱图像(HSI)。一种补救方法是使用所谓的无监督深度图像先验(DIP)。在无监督DIP框架下,假设并实证证明了适当的神经网络结构是某些类型图像的合理先验,并且可以在没有训练数据的情况下学习网络权重。尽管如此,最有效的无监督DIP结构是针对自然图像而不是HSI提出的。无监督的基于DIP的HSI去噪的性能受到两个严重挑战的限制,即网络结构设计和网络复杂性。这项工作提出了一个无监督的DIP框架,是基于经典的空间谱分解的HSIs。利用所谓的HSI的线性混合模型,两种类型的无监督DIP,即,U-Net类网络和全连接网络,分别用于模拟丰度图和HSI中包含的端元。这样,自然图像的经验验证的无监督DIP结构可以很容易地用于HSI去噪。此外,分解也大大降低了网络的复杂性。提出了一种有效的交替优化算法来处理公式化的去噪问题。半真实和真实数据的实验,以展示所提出的方法的有效性。
2021-08-18 cs.CV eess.IV
Tada-DIP: Input-adaptive Deep Image Prior for One-shot 3D Image Reconstruction
1 Dept. of Computational Mathematics, Science \& Engineering, Michigan State University, East Lansing, MI, USA 2 Dept. of Electrical Engineering;Computer Science, University of Michigan, Ann Arbor, MI, USA 3 Dept. of Biomedical Engineering, Michigan State University, East Lansing, MI, USA
Tada-DIP通过输入自适应和去噪正则化,实现高效3D图像重建,优于无训练数据基线并媲美大规模数据集训练的监督网络。
2025-12-03 cs.CV cs.LG eess.IV
Depth Completion Using a View-constrained Deep Prior
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
最近的研究表明,卷积神经网络(CNN)的结构诱导了有利于自然图像的强先验。这种先验被称为深度图像先验(DIP),是图像去噪和修复等逆问题中的有效正则化器。我们将DIP的概念扩展到深度图像。给定彩色图像和噪声和不完整的目标深度图,我们优化一个随机初始化的CNN模型,以重建深度图恢复凭借使用CNN网络结构作为先验结合视图约束的照片一致性损失。该损失是使用来自附近视点的几何校准相机的图像来计算的。我们应用此深度先验来修复和改进双目和多视图立体视觉管道内的不完整和有噪声的深度图。我们的定量和定性评估表明,我们改进的深度图更准确和完整,融合后,产生更高质量的密集3D模型。
2020-12-01 cs.CV
"Double-DIP": Unsupervised Image Decomposition via Coupled Deep-Image-Priors
The Weizmann Institute of Science(魏茨曼科学研究所)
许多看似无关的计算机视觉任务可以被视为图像分解为单独层的特殊情况。例如,图像分割(分离为前景层和背景层);透明层分离(分离为反射层和透射层);图像去雾(分离为清晰图像和雾度图)等等。在本文中,我们提出了一个统一的框架,一个单一的图像的无监督层分解,基于耦合的“深度图像先验”(DIP)网络。研究表明[Ulyanov等人],单个DIP生成器网络的结构足以捕获单个图像的低级统计数据。我们表明,耦合多个这样的DIP提供了一个强大的工具,分解成其基本组件的图像,为各种各样的应用程序。这种能力源于这样一个事实,即混合层的内部统计比其每个单独组件的统计更复杂。我们展示了这种方法在图像去雾,Fg/Bg分割,水印去除,图像和视频中的透明度分离等方面的强大功能。这些能力是以完全无监督的方式实现的,除了输入图像/视频本身之外没有训练样本。
2018-12-05 cs.CV cs.LG
Rethinking Deep Image Prior for Denoising
LG AI Research(LG AI研究院);Seoul National University(首尔大学);GIST(韩国科学技术院)
深度图像先验(DIP)作为一个很好的归纳偏置不同的反问题。其中,去噪对于DIP来说是特别具有挑战性的,因为噪声与早期停止的要求相匹配。为了解决这个问题,我们首先通过有效自由度(DF)的概念来分析DIP,以监控优化进度,并在拟合噪声之前提出了一个原则性的停止标准,而无需访问高斯噪声的成对地面真实图像。我们还提出了“随机时间集成(STE)”的方法,结合技术,以进一步提高DIP的性能去噪。我们还扩展我们的方法泊松噪声。我们的经验验证表明,给定一个单一的噪声图像,我们的方法去噪的图像,同时保留丰富的文本细节。此外,我们的方法在七个不同的数据集上具有可比的PSNR和SSIM,在LPIPS中大幅优于现有技术。
2021-08-29 cs.CV eess.IV
DeepRED: Deep Image Prior Powered by RED
Technion(以色列理工学院);Google Research and Machine Intelligence(谷歌研究与机器学习智能部门)
成像中的逆问题被广泛研究,多年来积累了各种策略,工具和理论。最近,该领域受到深度学习技术的影响。其中一个贡献,这是本文的重点,是Ulyanov,Vedaldi和Lempitsky(2018)的深度图像先验(DIP)工作。DIP为逆问题的正则化提供了一种新的方法,通过强制从给定的深度架构合成恢复的图像来获得。虽然DIP已被证明是一种非常有效的无监督方法,但与最先进的替代方案相比,其结果仍然不足。在这项工作中,我们的目标是通过添加显式先验来提高DIP,这丰富了整体正则化效果,以获得更好的恢复图像。更具体地说,我们建议引入正则化去噪(RED)的概念,它利用现有的去噪器来正则化逆问题。我们的工作展示了这两个(DIP和RED)如何合并成一个高效的无监督恢复过程,同时避免了区分所选去噪器的需要,并产生了非常有效的结果,并在几个测试问题中得到了证明。
2019-10-24 cs.CV eess.IV
Solving Inverse Problems with Hybrid Deep Image Priors: the challenge of preventing overfitting
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
主要分析和解决深度图像先验(DIP)的过拟合问题。深度图像先验可以解决超分辨率、修复和去噪等逆问题。与其他深度学习方法相比,DIP的主要优势在于它不需要访问大型数据集。然而,由于神经网络的大量参数和噪声数据,随着迭代次数的增加,DIP过拟合图像中的噪声。在本文中,我们使用混合深度图像先验来避免过拟合。混合先验将DIP与显式先验(如全变分)或隐式先验(如去噪算法)相结合。我们使用交替方向乘法器(ADMM),以纳入新的先验,并尝试不同形式的ADMM,以避免额外的计算所造成的ADMM步骤的内部循环。我们还研究了梯度下降的动力学之间的关系,和过拟合现象。数值结果表明,混合先验在防止过拟合方面发挥了重要作用。此外,我们尝试沿着一些方向来拟合图像,发现当噪声水平较大时,这种方法可以减少过拟合。当噪声水平较小时,它不会显著减少过拟合问题。
2023-02-17 cs.CV eess.IV
Analysis of Deep Image Prior and Exploiting Self-Guidance for Image Reconstruction
Michigan State University(密歇根州立大学);University of Michigan(密歇根大学)
本文分析深度图像先验(DIP)的过拟合与谱偏置问题,提出自引导重建方法,联合优化网络权重与输入并引入去噪正则化,在MRI重建和图像修复上超越原DIP及监督方法。
2024-02-08 cs.CV eess.IV
Preventing Overfitting in Deep Image Prior for Hyperspectral Image Denoising
Robotics Institute, Athena Research and Innovation Center(雅典娜研究与创新中心机器人研究所);School of Electrical and Computer Engineering, National Technical University of Athens(雅典国家技术大学电气与计算机工程学院)
本文提出结合鲁棒数据保真与显式敏感性正则化的深度图像先验方法,有效防止超光谱图像去噪中的过拟合问题,提升去噪性能。
2026-04-09 cs.CV eess.IV
Manifold Modeling in Embedded Space: A Perspective for Interpreting Deep Image Prior
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
深度图像先验(DIP)利用深度卷积网络(ConvNet)结构本身作为图像先验,在计算机视觉和机器学习社区中引起了关注。它经验性地显示了ConvNet结构对于各种图像复原应用的有效性。然而,为什么DIP工作得这么好仍然是未知的,为什么卷积运算是有用的图像重建或增强是不是很清楚。在这项研究中,我们解决了这些问题。该方法将卷积分解为“延迟嵌入”和"变换(\ie encoder-decoder)“,并提出了一种简单但必不可少的图像/张量建模方法,该方法与动力学系统和自相似性密切相关。提出的嵌入空间流形建模(MMES)方法是通过使用一种新的去噪自动编码器结合多路延迟嵌入变换来实现的。尽管它的简单性,图像/张量完成,超分辨率,反卷积,和去噪结果的MMES是非常相似的,甚至在我们广泛的实验中有竞争力的DIP,这些结果将有助于我们重新解释/表征DIP从“低维补丁流形先验”的角度。
2020-01-21 cs.CV cs.LG
SDIP: Self-Reinforcement Deep Image Prior Framework for Image Processing
Washington University in St Louis(圣路易斯华盛顿大学);Florida State University(佛罗里达州立大学)
针对深度图像先验(DIP)随机初始化导致的不稳定问题,提出自强化深度图像先验(SDIP)框架,利用迭代中输入输出变化的相关性以强化学习方式引导更新,在多个应用中优于原DIP及现有最先进方法。
2024-04-17 cs.CV cs.LG eess.IV
List-Mode PET Image Reconstruction Using Deep Image Prior
Hamamatsu Photonics K. K.(滨松光子学株式会社);Hamamatsu University School of Medicine(滨松医科大学)
本研究提出LM-DIPRecon方法,首次利用深度图像先验(DIP)结合交替方向乘子法交替迭代LM-DRAMA与MR-DIP,实现列表模式PET图像重建,在模拟与临床数据上获得更清晰图像及更优对比度噪声权衡。
2022-11-04 cs.CV cs.LG physics.med-ph
DIPPAS: A Deep Image Prior PRNU Anonymization Scheme
Politecnico di Milano(米兰理工大学)
源设备识别是图像取证中的一个重要课题,因为它允许追溯图像的来源。它的取证对应部分是源设备匿名化,也就是说,掩盖图像上任何可用于识别源设备的痕迹。用于源设备识别的典型迹线是光响应非均匀性(PRNU),即设备在所获取的图像上留下的噪声图案。在本文中,我们设计了一种方法来抑制这样的痕迹,从自然图像,而不会对图像质量产生显着影响。具体来说,我们将PRNU匿名化转化为深度图像先验(DIP)框架中的优化问题。简而言之,卷积神经网络(CNN)充当生成器并返回相对于源PRNU匿名的图像,仍然保持高视觉质量。关于广泛采用的深度学习范式,我们提出的CNN不是在一组输入-目标图像对上训练的。相反,它被优化以从分析中的原始图像本身重建无PRNU图像。这使得该方法特别适用于分析大型异构数据库的场景,并防止由于缺乏泛化而导致的任何问题。通过公开数据集上的数值例子,我们证明了我们的方法是有效的相比,国家的最先进的技术。
2021-10-18 cs.CV cs.MM
PIP: Positional-encoding Image Prior
Tel-Aviv University(特拉维夫大学)
本文从神经隐式表示视角重审 DIP,提出以 Fourier-Features 和像素级 MLP 构成的 PIP,在参数更少的情况下取得与 DIP 相近的图像重建效果,并可稳定扩展至视频。
2024-03-03 cs.AI cs.CV
Quantitative Susceptibility Mapping through Model-based Deep Image Prior (MoDIP)
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);The Third Xiangya Hospital, Central South University(中南大学湘雅三医院)
针对监督式QSM偶极子反演跨扫描参数泛化不足的问题,提出无需训练的MoDIP,融合未训练网络先验与数据保真度物理优化,显著提升病理脑重建精度、效率与速度。
2023-08-18 cs.CV eess.IV
Using Deep Image Priors to Generate Counterfactual Explanations
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
通过使用精心定制的卷积神经网络架构,可以使用深度图像先验(DIP)来从潜在表示编码获得前图像。虽然DIP反演已经被认为优于常规的正则化反演策略,如总变分,这种过参数化的生成器能够有效地重建甚至图像,不在原始数据分布。这种限制使得将这种先验用于诸如反事实推理的任务具有挑战性,其中目标是对图像产生小的、可解释的变化,从而系统地导致模型预测的变化。为此,我们提出了一种新的正则化策略,该策略基于与预测器联合训练的辅助损失估计器,该估计器有效地引导先验恢复自然前图像。我们的实证研究与现实世界的ISIC皮肤病变检测问题清楚地证明了所提出的方法在合成有意义的反事实的有效性。相比之下,我们发现,标准的DIP反演通常会对图像的不相关部分提出视觉上难以察觉的扰动,从而无法提供对模型行为的额外见解。
2020-10-22 cs.CV cs.LG
JPEG Information Regularized Deep Image Prior for Denoising
Preferred Networks, Inc.(优选网络公司);Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
针对深度图像先验(DIP)去噪需提前停止但无干净参考图的难题,提出用复原图像的JPEG文件大小作为噪声水平代理指标实现提前停止,验证了该指标的有效性。
2023-10-02 cs.CV eess.IV
Multi-dynamic deep image prior for cardiac MRI
Department Artificial Intelligence in Biomedical Engineering, Friedrich-Alexander-Universität Erlangen-Nürnberg(生物医学工程人工智能系,埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Department of Biomedical Engineering, The Ohio State University(生物医学工程系,俄亥俄州立大学);Research & Clinical Translation, Magnetic Resonance, Siemens Healthineers AG(研究与临床转化,磁共振,西门子医疗有限公司);Division of Cardiovascular Medicine, The Ohio State University(心血管医学系,俄亥俄州立大学)
针对传统屏气心脏MRI对部分患者的挑战,本文提出多动态深度图像先验(M-DIP)无监督重建框架,在自由呼吸下同时建模生理运动与内容变化,实现高质量实时成像,无需外部训练数据。
2025-07-09 cs.CV eess.IV physics.med-ph
Early Stopping for Deep Image Prior
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
针对DIP无真值时难以判断最佳停止点的问题,提出基于连续重建结果离散度的高效早停策略,可跨任务和变体检测近峰值性能。
2023-12-11 cs.CV cs.LG eess.IV
DIPLI: Deep Image Prior Lucky Imaging for Blind Astronomical Image Restoration
Skolkovo Institute of Science and Technology(斯克洛夫学院);AIRI;College of Computing and Informatics(计算与信息学院)
提出DIPLI框架,结合多帧反向投影、TVNet光流估计与朗之万蒙特卡洛估计,在盲天文图像恢复中优于幸运成像、DIP、RVRT和DiffIR2VR-Zero,且输入更少、鲁棒性更强。
2025-10-22 astro-ph.IM cs.AI cs.CV
A Zero-Shot Deep Image Prior Framework for Denoising and Deconvolution in Fluorescence Microscopy
Wenzhou Key Laboratory of Biomedical Imaging(温州生物医学成像重点实验室);Zhejiang Key Laboratory of Soft Matter Biomedical Materials(浙江软物质生物医学材料重点实验室);Wenzhou Institute, University of Chinese Academy of Sciences(中国科学院大学温州研究院);Postgraduate Training Base Alliance of Wenzhou Medical University(温州医学院研究生联合培养基地联盟)
提出SDIP零样本深度图像先验框架,通过顺序自编码正则化去噪和RLG-DIP模块去卷积,无需外部训练数据,在BioSR数据集上提升信噪比和分辨率。
2026-06-26 cs.CV cs.LG eess.IV
Automating Parameter Selection in Deep Image Prior for Fluorescence Microscopy Image Denoising via Similarity-Based Parameter Transfer
Institute for Applied Medical Informatics, Institute of Computational Neuroscience, Center for Biomedical Artificial Intelligence (bAIome), University Medical Center Hamburg-Eppendorf, Germany(应用医学信息学研究所、计算神经科学研究所、生物医学人工智能中心(bAIome)、汉堡-埃彭多夫大学医学中心,德国);Institute for Biomedical Imaging, Hamburg University of Technology, Hamburg, Germany(生物医学成像研究所、汉堡技术大学、汉堡,德国);Department of Biomedical Imaging, University Medical Center Hamburg-Eppendorf, Germany(生物医学成像系、汉堡-埃彭多夫大学医学中心,德国);Fraunhofer Research Institution for Individualized Medical Technology(弗劳恩霍夫个性化医疗技术研究机构);Institute of Medical Microbiology, Virology and Hygiene, University Medical Center Hamburg-Eppendorf, Germany(医学微生物学研究所、病毒学与卫生学、汉堡-埃彭多夫大学医学中心,德国);Institute of Biochemistry and Molecular Cell Biology, University Medical Center Hamburg-Eppendorf, Germany(生物化学与分子细胞生物学研究所、汉堡-埃彭多夫大学医学中心,德国)
本研究提出AUTO-DIP,通过基于相似性的参数转移自动化深度图像先验在荧光显微镜图像去噪中的参数选择,实现了无需优化的高效去噪性能。
2026-01-17 cs.AI cs.CV cs.LG
An Educated Warm Start For Deep Image Prior-Based Micro CT Reconstruction
University College London(伦敦大学学院);University of Bremen(不来梅大学);University of Oulu(奥卢大学);The Chinese University of Hong Kong(香港中文大学)
深度图像先验(DIP)最近被引入作为图像恢复任务的有效无监督方法。DIP将待恢复的图像表示为深度卷积神经网络的输出,并学习网络的参数,以便输出与损坏的观察结果相匹配。尽管其令人印象深刻的重建特性,但与监督学习或传统重建技术相比,该方法速度较慢。为了解决计算挑战,我们为DIP提供了一个两阶段的学习范式:(i)在模拟数据集上对网络进行监督预训练;(ii)微调网络参数以适应目标重建任务。我们提供了一个彻底的实证分析,以深入了解预训练在图像重建的背景下的影响。我们展示了预训练大大加快和稳定了后续的重建任务,从实际测量的2D和3D微计算机断层扫描数据的生物标本。代码和其他实验材料可在https://educateddip.github.io/docs.educated_deep_image_prior/上获得。
2023-02-08 cs.CV eess.IV
Deep Spectral Prior
University of Cambridge(剑桥大学);Qiuzhen College, Tsinghua University(清华大学求真学院);The Chinese University of Hong Kong(香港中文大学);YMSC, Tsinghua University(清华大学数学科学中心)
本文提出完全运行于复频域的无监督图像重建框架DSP,通过联合学习振幅与相位实现频谱模态分离,无需手动早停即可自正则化,在三类重建任务上性能优于DIP等基线。
2025-11-19 cs.CV cs.NA math.NA
Self-Supervised Pre-Training for Deep Image Prior-Based Robust PET Image Denoising
提出一种自监督预训练模型,通过从无标签PET图像中学习可泛化的视觉表示来提升基于深度图像先验(DIP)的PET图像去噪性能,在临床数据上实现了鲁棒且最先进的去噪效果,有助于减少扫描时间或示踪剂剂量。
2023-02-27 cs.CV cs.LG physics.med-ph
UGoDIT: Unsupervised Group Deep Image Prior Via Transferable Weights
Michigan State University(密歇根州立大学);University of Michigan(密歇根大学)
针对低数据逆成像问题,本文提出UGoDIT,通过共享编码器与多个解耦解码器学习可迁移DIP权重,并在测试时结合测量一致性优化,显著加速收敛、提升重建质量。
2025-05-16 cs.CV cs.LG eess.IV
A Baseline Method for Removing Invisible Image Watermarks using Deep Image Prior
Electrical and Computer Engineering University of Minnesota, Twin Cities(电气与计算机工程大学明尼苏达大学,双城分校);Computer Science and Engineering University of Minnesota, Twin Cities(计算机科学与工程大学明尼苏达大学,双城分校)
本文提出利用深度图像先验(DIP)作为黑盒基线方法,在无需数据集和水印系统知识的情况下,从单张图像中去除不可见水印并保持图像质量,同时讨论了其对可见水印防护的积极意义。
2025-07-02 cs.AI cs.CR cs.CV
Fully 3D Implementation of the End-to-end Deep Image Prior-based PET Image Reconstruction Using Block Iterative Algorithm
本文首次提出基于块迭代算法的端到端深度图像先验全三维PET图像重建方法,通过顺序学习块正弦图并加入相对差分惩罚项,在无先验训练数据条件下实现了高质量定量PET成像。
2022-12-22 cs.CV cs.LG eess.IV