Denoising Simulated Low-Field MRI (70mT) using Denoising Autoencoders (DAE) and Cycle-Consistent Generative Adversarial Networks (Cycle-GAN)
University of Calgary(卡尔加里大学);Schulich School of Engineering(舒利奇工程学院);Cumming School of Medicine(卡明医学院);Hotchkiss Brain Institute(霍奇基斯脑研究所)
本文提出去噪Cycle-GAN,将模拟低场低分辨率低SNR的70mT MRI转换为高场高质量图像,并在配对与非配对设置下证明其优于DAE且无需配对数据。
2023-07-12 cs.CV eess.IV
DRIFT: Derailing Denoising Trajectories of Flow-Matching VLAs with Adversarial Patch Attack
该研究提出DRIFT对抗性补丁攻击方法,针对流匹配VLA模型pi0等,通过攻击首个去噪步骤破坏其去噪轨迹,在LIBERO套件上高效破解原本可解决的机器人任务,效果优于相关基线攻击。
2026-10-12 cs.CV cs.LG
Towards Adversarial Denoising of Radar Micro-Doppler Signatures
University of Stuttgart(斯图加特大学);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA)
生成对抗网络(GANs)被认为是图像生成领域的最新技术。它们学习训练数据的联合分布,并尝试在高维空间中生成与输入相同分布的新数据样本。GANs最近的改进为许多其他计算机视觉应用开辟了领域,这些应用基于改进和改变输入图像的特征以遵循某些给定的训练要求。本文提出了一种基于GANs的行走人体微多普勒($\boldsymbolμ$)谱去噪和重建新技术。使用\unit [25]{GHz} CW雷达,对22名在跑步机上以中速行走的受试者进行了两组实验。在一组中,通过将雷达放置在离受试者近的距离处,为每个受试者收集干净的$\boldsymbolμ$ -D光谱。在另一组中,通过改变距离和在雷达与目标之间放置反射物体,在实验装置中引入变化,以引入不同的噪声和杂波对频谱的影响。合成成对的噪声和无噪声的光谱用于训练,而进行验证的实际噪声测量数据。最后,通过与其他经典雷达去噪方法的定性和定量比较,验证了所提出的GANs框架对不同噪声水平具有更好的鲁棒性。
2019-08-07 cs.CV
Plug-and-play Diffusion Models for Image Compressive Sensing with Data Consistency Projection
Zhejiang University(浙江大学);Westlake University(西湖大学)
探索PnP与DDIM联系,提出统一框架及混合数据一致性模块,提升单像素成像重建质量。
2025-09-11 cs.CV
Denoising of 3-D Magnetic Resonance Images Using a Residual Encoder-Decoder Wasserstein Generative Adversarial Network
Sichuan University(四川大学);Chengdu University of Information Technology(成都信息工程大学);Southeast University(东南大学);West China Hospital of Sichuan University(四川大学华西医院);Southern Medical University(南方医科大学)
三维磁共振成像(MRI)图像的结构保持去噪是医学图像分析的关键步骤。在过去的几年里,许多算法已经提出了令人印象深刻的性能。在本文中,受深度学习思想的启发,我们介绍了一种基于残差编码器-解码器Wasserstein生成对抗网络(RED-WGAN)的MRI去噪方法。具体地,为了探索相邻切片之间的结构相似性,利用3D配置作为基本处理单元。残差自编码器结合反卷积操作被引入到生成器网络中。此外,为了减轻传统的均方误差(MSE)损失函数的过度平滑的缺点,感知相似性,这是通过计算的距离在特征空间中提取的预训练的VGG-19网络,与MSE和对抗性损失,形成新的损失函数。大量的实验来评估所提出的方法的性能。实验结果表明,所提出的RED-WGAN实现性能优于几个国家的最先进的方法在模拟和真实的临床数据。特别是,我们的方法在噪声抑制和结构保持方面表现出强大的能力。
2019-05-05 cs.CV physics.med-ph
Towards One-step Causal Video Generation via Adversarial Self-Distillation
School of Computer Science, Wuhan University(武汉大学计算机学院);Tencent YouTu Lab(腾讯优图实验室);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院)
本文提出基于蒸馏的高效因果视频生成框架,通过对抗自蒸馏策略提升生成质量,结合首帧增强策略减少误差传播,实验表明在单步和双步视频生成中优于现有方法。
2026-03-18 cs.CV
Generalizable Denoising of Microscopy Images using Generative Adversarial Networks and Contrastive Learning
Universidad Politécnica de Madrid(马德里理工大学);Centre national de la recherche scientifique (CNRS)(法国国家科学研究中心);Interdisciplinary Institute for Neuroscience (IINS)(跨学科神经科学研究所);University of Bordeaux(波尔多大学);Mechanobiology Institute(机械生物学研究所);National University of Singapore(新加坡国立大学)
显微镜图像经常受到高水平的噪声的影响,这可能会阻碍进一步的分析和解释。内容感知图像恢复(CARE)方法已被提出来解决这个问题,但它们往往需要大量的训练数据,并遭受过拟合。为了克服这些挑战,我们提出了一种新的框架,用于Few-Shot显微图像去噪。我们的方法将通过对比学习(CL)训练的生成对抗网络(GAN)与两个结构保留损失项(结构相似性指数和总变差损失)相结合,以进一步提高使用少量数据的去噪图像的质量。我们在三个著名的显微成像数据集上证明了我们的方法的有效性,并表明我们可以在保持去噪质量的同时大幅减少训练数据量,从而减轻获取配对数据的负担,并实现Few-Shot学习。所提出的框架可以很容易地扩展到其他图像恢复任务,并有可能显着推进显微图像分析领域。
2023-03-29 cs.CV cs.LG eess.IV
Universal Adversarial Defense in Remote Sensing Based on Pre-trained Denoising Diffusion Models
Helmholtz Institute Freiberg for Resource Technology(亥姆霍兹弗莱贝格资源技术研究所);Helmholtz-Zentrum Dresden-Rossendorf (HZDR)(德累斯顿-罗森多夫亥姆霍兹中心);Linköping University(林雪平大学)
提出UAD-RS,利用预训练扩散模型净化对抗扰动,结合自适应噪声选择,实现遥感图像通用对抗防御,优于现有方法。
2024-05-27 cs.CV eess.IV
Multi-Cycle-Consistent Adversarial Networks for Edge Denoising of Computed Tomography Images
Guangdong Cardiovascular Institute(广东省心血管病研究所);Guangdong Academy of Medical Sciences(广东省医学科学院);University of Notre Dame(圣母大学)
作为最常见的成像检查之一,计算机断层扫描(CT)扫描不可避免地会暴露在辐射中,从而增加患者患癌症的风险。然而,CT图像质量与辐射剂量直接相关,因此期望以尽可能少的剂量获得高质量的CT图像。CT图像去噪试图从低剂量低质量CT图像(域Y)获得类似高剂量的高质量CT图像(域X),这可以被视为图像到图像转换任务,其中目标是学习源域X(噪声图像)和目标域Y(干净图像)之间的变换。在本文中,我们提出了一个多周期一致性对抗网络(MCCAN),建立中间域,并执行局部和全局的周期一致性CT图像的边缘去噪。全局循环一致性将所有发生器耦合在一起,对整个去噪过程进行建模,而局部循环一致性则对相邻域之间的过程进行有效监督。实验结果表明,局部和全局周期一致性对MCCAN算法的成功至关重要,MCCAN算法在去噪质量方面优于CCADN算法,且计算资源消耗略少。
2021-04-25 cs.CV cs.LG eess.IV
Gradient-Guided Conditional Diffusion Models for Private Image Reconstruction: Analyzing Adversarial Impacts of Differential Privacy and Denoising
School of Computer and Big Data, Minjiang University(闽江学院计算机与大数据学院);School of Information, Renmin University of China(中国人民大学信息学院);RMIT University(皇家墨尔本理工大学);Victoria University(维多利亚大学)
本研究提出两种梯度引导的条件扩散模型方法,无需先验知识即可从带差分隐私噪声的梯度重建私有图像,并通过理论分析与实验验证了噪声、模型架构与重建能力的关系,为隐私风险审计提供新方向。
2024-11-05 cs.AI cs.CV
SPIN: Image Immunization Against Diffusion Editing via Single-Step Projection in Stochastic Neighborhoods
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Imperial College London(伦敦帝国理工学院)
SPIN通过局部随机轨迹邻域上的单步投影优化有界扰动,在不展开全轨迹的情况下破坏多种扩散编辑结果,在已见与未见指令下均全面超越现有方法。
2026-10-06 cs.CV
BadWorld: Adversarial Attacks on World Models
The Hong Kong Polytechnic University(香港理工大学)
提出BadWorld框架,通过自监督速度攻击和轨迹自适应双层优化,对自回归视觉世界模型进行无标签对抗攻击,暴露其结构脆弱性。
2026-06-16 cs.CV
A Domain Translation Framework with an Adversarial Denoising Diffusion Model to Generate Synthetic Datasets of Echocardiography Images
GE Healthcare(通用电气医疗)
本研究提出结合GAN的对抗式去噪扩散模型域迁移框架,以引导图像保留解剖结构,生成高质量超声心动图合成图像,具备强泛化性,可用于临床研究。
2024-03-07 cs.AI cs.CV eess.IV
ScoreAdv: Score-based Targeted Generation of Natural Adversarial Examples via Diffusion Models
Nanjing University of Science and Technology(南京理工大学);Peking University(北京大学)
尽管深度学习在各个领域都取得了成功,但它仍然容易受到对抗攻击的影响。虽然许多现有的对抗攻击方法实现了高成功率,但它们通常依赖于$\ell_{p}$范数扰动约束,这与人类的感知能力不一致。因此,研究人员将重点转向生成自然的、无限制的对抗性示例(UAE)。基于GAN的方法受到固有限制,例如由于不稳定和模式坍塌导致的图像质量差。同时,扩散模型已被用于UAE生成,但它们仍然依赖于迭代PGD扰动注入,而没有充分利用其中央去噪能力。在本文中,我们介绍了一种新的方法来产生UAE的基础上扩散模型,名为ScoreAdv。该方法结合了一个可解释的对抗性指导机制,逐渐将采样分布向对抗性分布转移,同时使用一个可解释的显着图将参考图像的视觉信息注入到生成的样本中。值得注意的是,我们的方法能够生成无限数量的自然对抗性示例,不仅可以攻击分类模型,还可以攻击检索模型。我们在ImageNet和CelebA数据集上进行了广泛的实验,验证了ScoreAdv在黑盒和白盒设置下的十个目标模型上的性能。我们的研究结果表明,ScoreAdv实现了最先进的攻击成功率和图像质量,同时保持了推理效率。此外,去噪和对抗性扰动之间的动态平衡使ScoreAdv即使在防御措施下也能够保持稳健。
2025-10-30 cs.CV
3D Wasserstein generative adversarial network with dense U-Net based discriminator for preclinical fMRI denoising
School of Information Technology, Carleton University(卡尔顿大学信息技术学院);Northeastern University(东北大学);Tessellis Ltd.(泰塞利斯有限公司)
针对临床前fMRI数据去噪的挑战,提出基于3D密集U-Net判别器的3D Wasserstein生成对抗网络3D U-WGAN,通过4D配置处理时空噪声,引入对抗损失和特征空间距离优化,在模拟和真实数据上优于现有方法。
2024-11-28 cs.CV cs.LG eess.IV
DU-GAN: Generative Adversarial Networks with Dual-Domain U-Net Based Discriminators for Low-Dose CT Denoising
Fudan University(复旦大学);Sichuan University(四川大学);Shanghai Center for Brain Science and Brain-inspired Technology(上海脑科学与类脑研究中心)
由于CT相关的X射线辐射对患者的潜在健康风险,LDCT在医学成像领域引起了极大的关注。然而,减少辐射剂量会降低重建图像的质量,从而损害诊断性能。已经引入了各种深度学习技术,通过去噪来提高LDCT图像的图像质量。基于GANs的去噪方法通常利用额外的分类网络,即神经网络,来学习去噪图像和正常剂量图像之间最具区别的差异,因此相应地正则化去噪模型;它通常关注全局结构或局部细节。为了更好地正则化LDCT去噪模型,本文提出了一种新的方法,称为DU-GAN,它利用GANs框架中基于U-Net的鉴别器来学习图像和梯度域中去噪图像和正常剂量图像之间的全局和局部差异。这种基于U-Net的去噪器的优点在于,它不仅可以通过U-Net的输出向去噪网络提供每像素的反馈,而且还可以通过U-Net的中间层在语义级别上关注全局结构。除了在图像域中进行对抗训练外,我们还在图像梯度域中应用另一种基于U-Net的训练,以减轻光子饥饿引起的伪影并增强去噪CT图像的边缘。此外,CutMix技术使基于U-Net的图像处理器的每像素输出能够为放射科医生提供置信度图,以可视化去噪结果的不确定性,从而促进基于LDCT的筛查和诊断。在模拟和真实世界的数据集上进行的大量实验表明,该方法在定性和定量方面都优于最近发表的方法。
2021-11-07 cs.CV eess.IV physics.med-ph
DiffPAD: Denoising Diffusion-based Adversarial Patch Decontamination
RISE Research Institutes of Sweden(瑞典RISE研究机构);KTH Royal Institute of Technology(KTH皇家理工学院);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心);Halmstad University(哈尔姆斯塔德大学)
提出DiffAD框架,利用扩散模型进行对抗补丁净化,通过超分辨率重建和图像修复技术实现最先进的对抗鲁棒性。
2024-11-14 cs.CV cs.LG
Unsupervised Projection Networks for Generative Adversarial Networks
UC Berkeley(加州大学伯克利分校)
我们建议使用无监督学习来训练投影网络,投影到已经训练好的生成器的潜在空间上。我们将我们的方法应用于经过训练的StyleGAN,并使用我们的投影网络来执行图像超分辨率和图像聚类到语义可识别的组中。
2019-10-06 cs.CV cs.LG eess.IV
UNIT-DDPM: UNpaired Image Translation with Denoising Diffusion Probabilistic Models
Durham University(杜伦大学)
我们提出了一种新的不成对的图像到图像的翻译方法,使用去噪扩散概率模型,而不需要对抗训练。我们的方法,不成对的图像翻译与去噪扩散概率模型(UNIT-DDPM),训练生成模型来推断联合分布的图像在两个域作为马尔可夫链通过最小化的去噪得分匹配目标条件的其他域。特别是,我们同时更新两个域的翻译模型,我们生成的目标域图像的去噪马尔可夫链蒙特卡罗方法,条件是输入源域图像,基于朗之万动力学。我们的方法为图像到图像的翻译提供了稳定的模型训练,并生成了高质量的图像输出。这使得最先进的Fréchet Inception Distance(FID)在几个公共数据集上的性能,包括彩色和多光谱图像,显着优于当代对抗性图像到图像转换方法。
2021-04-12 cs.CV cs.LG eess.IV
Ambient Denoising Diffusion Generative Adversarial Networks for Establishing Stochastic Object Models from Noisy Image Data
Global Institute of Future Technology, Shanghai Jiao Tong University(上海交通大学未来技术研究院);University of Michigan-Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University(上海交通大学密歇根大学联合学院);University of Arizona(亚利桑那大学);Wyant College of Optical Sciences, University of Arizona(亚利桑那大学怀恩特光学科学学院)
提出环境去噪扩散生成对抗网络(ADDGAN),从含噪声医学图像中学习随机对象模型,在CT和DBT图像上优于AmbientGAN。
2025-02-24 cs.CV eess.IV
SSDD-GAN: Single-Step Denoising Diffusion GAN for Cochlear Implant Surgical Scene Completion
针对乳突切除术后手术场景补全问题,提出SSDD-GAN,结合扩散模型与GAN的对抗优化,通过真实手术数据集自监督训练,零样本应用于目标数据集,提升结构相似性6%,增强场景补全效果与数据集实用性。
2025-02-08 cs.CV
Adversarial score matching and improved sampling for image generation
University of Montreal(蒙特利尔大学);Microsoft Research Lab(微软研究院实验室)
去噪得分匹配与退火Langevin采样(DSM-ALS)最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数,然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服,但在Fréchet Inception Distance(生成模型的标准度量)下,这种方法的表现似乎比生成对抗网络(GANs)更差。我们表明,这种明显的差距消失时,使用分数网络去噪的最终Langevin样本。此外,我们提出了对DSM-ALS的两项改进:1)一致退火采样作为退火Langevin采样的更稳定的替代方案,以及2)混合训练公式,由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构,我们提升了分数匹配方法,并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
DiffGANPaint: Fast Inpainting Using Denoising Diffusion GANs
Iran University of Science and Technology(伊朗科技大学);McGill University(麦吉尔大学)
本文提出基于去噪扩散概率模型(DDPM)的DiffGANPaint图像修复方法,利用GAN生成器建模反向扩散过程以降低采样成本,实现快速填充缺失像素,实验表明其性能优于或与多数当代工作持平。
2023-08-03 cs.CV
SD-GAN: Structural and Denoising GAN reveals facial parts under occlusion
IIT Madras(印度理工学院马德拉斯分校)
某些面部部分在外观上是突出的(独特的),这实质上有助于对主体的整体识别。这些显著部分的遮挡会降低人脸识别算法的性能。在本文中,我们提出了一个生成模型来重建的面部被遮挡的缺失部分。建议的生成模型(SD-GAN)重建一个人脸保持光照变化和身份的脸。针对一种双模态互斥生成对抗网络(GAN)模型,设计了一种新的对抗训练算法,以加快收敛速度.还提出了一种新的对抗性“结构”损失函数,包括两个组成部分:整体和局部损失,其特征在于SSIM和补丁明智的MSE。对真实和合成遮挡人脸数据集的消融研究表明,我们提出的技术在相当大的范围内优于竞争方法,即使是在提高人脸识别性能方面。
2020-02-19 cs.CV cs.LG eess.IV
Synthetic Generation and Latent Projection Denoising of Rim Lesions in Multiple Sclerosis
提出一种生成合成定量磁化率图并利用生成网络投影能力进行边缘病变标签去噪的方法,有效缓解类别不平衡问题,提升多发性硬化中顺磁性边缘病变的检测性能。
2025-05-29 cs.AI cs.CV eess.IV
McCaD: Multi-Contrast MRI Conditioned, Adaptive Adversarial Diffusion Model for High-Fidelity MRI Synthesis
Monash University(莫纳什大学);Monash Biomedical Imaging, Monash University(莫纳什大学生物医学成像中心);Imperial College(帝国理工学院)
McCaD提出多对比度MRI条件化自适应对抗扩散模型,通过多尺度特征引导机制和空间特征注意力损失实现高保真MRI合成,在肿瘤和健康数据集上优于现有方法。
2024-09-01 cs.CV
DDRM-PR: Fourier Phase Retrieval using Denoising Diffusion Restoration Models
DTU(丹麦技术大学);METU(中东技术大学)
本文提出 DDRM-PR,将 DDRM 的无监督后验采样与交替投影结合,利用预训练无条件扩散先验从含噪 Fourier 强度等测量中求解非线性相位检索,并通过仿真与实验验证其潜力与局限。
2025-01-06 cs.CV eess.IV
Guided Diffusion Model for Adversarial Purification
Shanghai JiaoTong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
随着深度神经网络(DNN)在各种算法和框架中的广泛应用,安全威胁已成为人们关注的问题之一。对抗攻击干扰基于DNN的图像分类器,其中攻击者可以故意在输入图像上添加不可感知的对抗性扰动以欺骗分类器。在本文中,我们提出了一种新的净化方法,被称为引导扩散模型净化(GARCH),以帮助保护分类器免受对抗攻击。该方法的核心是将净化嵌入到去噪扩散概率模型(DDPM)的扩散去噪过程中,使其扩散过程可以用逐渐增加的高斯噪声来消除对抗性扰动,并且这两种噪声可以在引导去噪过程中同时去除。在我们对各种数据集进行的综合实验中,所提出的Gestival将对抗攻击引起的扰动减少到一个较浅的范围,从而显着提高分类的正确性。在CIFAR10数据集上,GARCH将鲁棒准确率提高了5%,在PGD攻击下达到90.1%。此外,Gandhi在具有挑战性的ImageNet数据集上实现了70.94%的鲁棒性。
2022-06-29 cs.AI cs.CV
Synthesizing 3D Shapes from Silhouette Image Collections using Multi-projection Generative Adversarial Networks
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);College of William & Mary(威廉与玛丽学院)
我们提出了一种新的弱监督学习为基础的方法,用于生成新的类别特定的3D形状从未遮挡的图像集。我们的方法是弱监督的,只需要从未遮挡的,特定类别的对象的轮廓注释。我们的方法不需要访问对象的3D形状,每个对象从不同的视图,图像内的像素对应,或任何视图注释的多个观察。我们的方法的关键是一种新型的多投影生成对抗网络(MP-GAN),它训练3D形状生成器与3D形状的多个2D投影保持一致,并且不需要直接存取这些3D形状。这是通过多个鉴别器来实现的,所述鉴别器对从不同视图看到的3D形状的2D投影的分布进行编码。此外,为了确定每个轮廓图像的视图信息,我们还训练了一个视图预测网络的生成器合成的3D形状的可视化。我们迭代地在训练生成器和训练视图预测网络之间交替。我们验证我们的多投影GAN在合成和真实图像数据集。此外,我们还表明,多投影GANs可以帮助从低维训练数据集学习其他高维分布,例如图像中特定于材料类别的空间变化反射特性。
2019-06-10 cs.CV cs.GR
TARO: Temporal Adversarial Rectification Optimization Using Diffusion Models as Purifiers
Department of Computer Science(计算机科学系);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
TARO通过构建时序引导的分数先验,结合多视角去噪,实现对抗样本的鲁棒修正与语义保留,提升零样本下的鲁棒性。
2026-05-08 cs.CV cs.LG
UVTomo-GAN: An adversarial learning based approach for unknown view X-ray tomographic reconstruction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
断层重建恢复一个未知的图像给定其从不同角度的投影。解决该问题的现有技术方法假设与投影相关联的角度是先验已知的。鉴于此知识,重建过程是简单的,因为它可以被公式化为凸问题。在这里,我们解决了一个更具挑战性的设置:1)投影角度是未知的,2)它们是从未知的概率分布中绘制的。在此设置中,我们的目标是使用无监督对抗学习方法恢复图像和投影角度分布。为此,我们制定的问题之间的分布匹配的真实投影线和生成的估计图像和投影分布。然后,通过在发电机和发电机之间的最小-最大博弈中达到均衡来解决这个问题。我们的新贡献是使用对抗学习同时恢复未知的投影分布和图像。为了适应这一点,我们使用Gumbel-softmax近似的样本分类分布近似发电机的损失作为未知图像和投影分布的函数。我们的方法可以推广到不同的反问题。我们的仿真结果表明,我们的方法在成功地恢复图像和投影分布在各种设置的能力。
2021-02-09 cs.CV cs.LG eess.IV
A Parameterized Generative Adversarial Network Using Cyclic Projection for Explainable Medical Image Classification
Faculty of Applied Sciences, Macao Polytechnic University(澳门理工大学应用科学学院);John Hopcroft Center (JHC) for Computer Science, Shanghai Jiao Tong University(上海交通大学约翰·霍普克罗夫特计算机科学中心);College of Physics and Information Engineering, Fuzhou University(福州大学物理与信息工程学院);Jiangsu JITRI Sioux Technologies Co., Ltd(江苏金智 Sioux 科技有限公司)
针对小规模医学图像数据增强的不确定性问题,提出在循环投影中引入距离参数的 ParaGAN,以控制跨域变化并生成类别差异图,实现优于现有方法的可解释分类。
2023-12-14 cs.CV cs.LG
Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling
University of Trento(特伦托大学)
本文提出Adv-KD方法,通过知识蒸馏结合扩散模型与GANs,将去噪阶段集成至模型架构中,显著减少参数和去噪步骤,提高采样速度,使扩散模型适用于资源受限设备。
2024-05-31 cs.AI cs.CV cs.LG
Ground Truth Free Denoising by Optimal Transport
University of Bremen(不来梅大学);University of Cambridge(剑桥大学)
我们为任意类型的数据提出了一种学习的无监督去噪方法,我们在图像和一维信号上进行了探索。训练完全基于噪声数据的样本和噪声的示例,关键是不需要成对出现。我们只需要假设噪声是独立的和可加的(尽管我们描述了如何扩展)。该方法依赖于Wasserstein生成对抗网络设置,该设置利用两个批评者和一个生成器。
2020-07-03 cs.CV cs.NE math.FA
ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models
Central University of Finance and Economics(中央财经大学)
针对VAE和GAN用于聚类时的局限,提出结合DDPM的创新EM聚类框架,通过E步推导高斯先验混合、M步学习聚类友好潜表示,经理论验证与实验证明在聚类等任务上性能优异。
2023-12-13 cs.CV cs.LG
Denoising Diffusion Implicit Models
Stanford University(斯坦福大学)
去噪扩散概率模型(DDPM)在没有对抗训练的情况下实现了高质量的图像生成,但是它们需要模拟马尔可夫链的许多步骤来产生样本。为了加速采样,我们提出了去噪扩散隐式模型(DDIM),这是一类更有效的迭代隐式概率模型,具有与DDPM相同的训练过程。在DDPM中,生成过程被定义为马尔可夫扩散过程的逆过程。我们构造了一类非马尔可夫扩散过程,导致相同的训练目标,但其逆过程可以更快地采样。我们的经验表明,DDIM可以产生高质量的样本$10 \times$到$50 \times$更快的挂钟时间相比,DDPM,让我们权衡计算样本质量,并可以执行语义有意义的图像插值直接在潜在的空间。
2022-10-05 cs.CV cs.LG
Noise Projection: Closing the Prompt-Agnostic Gap Behind Text-to-Image Misalignment in Diffusion Models
Zhejiang University(浙江大学)
针对扩散模型文本到图像错位问题,提出噪声投影器,通过文本条件细化初始噪声,无需修改模型,以低推理成本提升对齐性能。
2025-10-16 cs.CV cs.LG
Context-Aware Image Denoising with Auto-Threshold Canny Edge Detection to Suppress Adversarial Perturbation
Portland State University(波特兰州立大学)
本文提出了一种新的上下文感知的图像去噪算法,结合自适应图像平滑技术和颜色减少技术,以消除干扰,从敌对的图像。自适应图像平滑是使用自动阈值Canny边缘检测来实现的,以产生用于产生保留更多边缘特征的模糊图像的准确边缘图。该算法然后使用颜色减少技术来重建图像,只使用几个代表性的颜色。通过这种技术,该算法可以减少对抗性扰动对图像的影响。我们还讨论了分类精度的实验数据。我们的研究结果表明,该方法减少了对抗攻击中的对抗性扰动,提高了深度卷积神经网络模型的鲁棒性。
2021-01-14 cs.CV
Denoising Adversarial Autoencoders: Classifying Skin Lesions Using Limited Labelled Training Data
我们提出了一种新的深度学习模型,用于在有大量未标记的医学数据可用但标记数据供应有限的情况下对医学图像进行分类。我们考虑将皮肤病变分类为恶性或良性的具体情况。在这种情况下,所提出的方法-半监督,去噪对抗自动编码器-能够利用大量未标记的数据来学习皮肤病变的表示,以及少量标记的数据来基于学习的表示分配类别标签。我们分析了模型的对抗和去噪组件的贡献,并发现在有限的标记训练数据的设置中,组合产生优越的分类性能。
2018-01-02 cs.CV
Image Denoising via CNNs: An Adversarial Approach
Indian Institute of Science(印度科学理工学院)
有没有可能使用卷积神经网络从噪声版本中恢复图像?这是一个有趣的问题,因为卷积层通常用作分类,分割和目标检测等任务的特征检测器。我们提出了一种新的用于盲图像去噪的CNN架构,该架构协同结合了三个架构组件,一个多尺度特征提取层,有助于减少噪声对特征图的影响,一个l_p正则化器,有助于仅选择适当的特征图用于重建任务,最后是一个三步训练方法,该方法利用对抗训练来提高模型的最终性能。与最先进的方法相比,所提出的模型显示出具有竞争力的去噪性能。
2017-08-01 cs.CV
Denoising and compression in wavelet domain via projection onto approximation coefficients
Universidad de Buenos Aires(布宜诺斯艾利斯大学)
我们描述了一种新的滤波方法在小波域的图像去噪和压缩,基于细节子带系数(分裂过程的结果,典型的小波域)的投影到近似子带系数(少得多的噪音)。新算法被称为投影到近似系数(POAC)。作为该方法的结果,仅近似子带系数和三个标量被存储和/或发送到信道。此外,通过消除细节子带系数,我们获得了更大的压缩比。实验结果表明,我们的方法相比,更典型的方法在小波域的去噪和压缩。
2016-07-31 cs.CV
Feature Denoising for Improving Adversarial Robustness
Johns Hopkins University(约翰斯·霍普金斯大学);Facebook AI Research(Facebook人工智能研究院)
对图像分类系统的对抗攻击给卷积网络带来了挑战,也给理解它们带来了机会。这项研究表明,图像上的对抗性扰动会导致这些网络构建的特征中的噪声。受此观察的启发,我们开发了新的网络架构,通过执行特征去噪来提高对抗鲁棒性。具体来说,我们的网络包含使用非局部均值或其他过滤器对特征进行降噪的块;整个网络都是端到端训练的。当与对抗训练相结合时,我们的特征去噪网络在白盒和黑盒攻击设置中大大提高了对抗鲁棒性的最新水平。在ImageNet上,在10次迭代PGD白盒攻击下,现有技术的准确率为27.9%,我们的方法达到了55.7%;即使在极端的2000次迭代PGD白盒攻击下,我们的方法也能确保42.6%的准确率。我们的方法在2018年对抗攻击和防御竞赛(CAAD)中排名第一--它在一个秘密的、类似ImageNet的测试数据集上对48个未知攻击者实现了50.6%的分类准确率,超过了亚军方法约10%。代码可在https://github.com/facebookresearch/ImageNet-Adversarial-Training上获得。
2019-03-25 cs.CV
DAPAS : Denoising Autoencoder to Prevent Adversarial attack in Semantic Segmentation
KAIST(韩国科学技术院);Asan Medical Center(峨山医院)
目前,深度学习技术在计算机视觉领域表现出惊人的性能,甚至超过了人类。但它也容易受到一些称为对抗攻击的小干扰。这是一个与人工智能的安全性相结合的问题,最近研究了很多。这些攻击表明,它们可以欺骗图像分类、语义分割和目标检测模型。我们指出这种攻击可以通过去噪自动编码器来保护,该编码器用于去除扰动并恢复原始图像。我们用不同的噪声分布进行了实验,并验证了去噪自动编码器在语义分割中对抗对抗攻击的效果。
2020-04-07 cs.CV
HRTF upsampling with a generative adversarial network using a gnomonic equiangular projection
Imperial College London(帝国理工学院)
本文提出将HRTF数据变换后输入卷积超分辨率生成对抗网络(SRGAN)进行HRTF上采样,在稀疏测量条件下优于重心、球谐和HRTF选择三种基线方法。
2024-02-27 cs.CV cs.HC cs.LG
Adversarial Transferability in Deep Denoising Models: Theoretical Insights and Robustness Enhancement via Out-of-Distribution Typical Set Sampling
Harbin Institute of Technology(哈尔滨工业大学);Capital Normal University(首都师范大学)
针对深度去噪模型间对抗扰动高可迁移性问题,论文基于典型集与渐近等分性质揭示其失效机理,并提出 TS 训练策略以增强鲁棒性并改善去噪效果。
2024-12-08 cs.CV
Adversarial Contrastive Distillation with Adaptive Denoising
Fudan University(复旦大学)
对抗性鲁棒性蒸馏(ARD)是一种提高小模型鲁棒性的新方法。与一般的对抗训练不同,其强大的知识转移不太容易受到模型容量的限制。然而,提供知识鲁棒性的教师模型并不总是做出正确的预测,干扰了学生的鲁棒表现。此外,在以往的ARD方法中,鲁棒性完全来自于一对一的模仿,忽略了例子之间的关系。为此,我们提出了一种新的结构化ARD方法称为对比关系去噪蒸馏(CRDND)。我们设计了一个自适应补偿模块来模拟教师的不稳定性。此外,我们利用对比关系,探索多个例子之间隐含的鲁棒性知识。在多个攻击基准上的实验结果表明,CRDND可以有效地传递鲁棒知识,并达到最先进的性能。
2023-02-23 cs.CV
NBNet: Noise Basis Learning for Image Denoising with Subspace Projection
Megvii Technology(旷视科技);Kuaishou Technology(快手科技);University of Electronic Science and Technology of China(电子科技大学)
在本文中,我们介绍了NBNet,一种新的图像去噪框架。与以前的作品不同,我们建议从一个新的角度来解决这个具有挑战性的问题:图像自适应投影降噪。具体来说,我们建议训练一个网络,可以分离信号和噪声,通过学习一组重建基的特征空间。随后,通过选择信号子空间的相应基并将输入投影到这样的空间中,可以实现图像去噪。我们的关键见解是,投影可以自然地保持输入信号的局部结构,特别是对于低光或弱纹理的区域。为此,我们提出了SSA,一个非局部子空间注意模块,明确设计学习的基础生成以及子空间投影。我们进一步将SSA与NBNet结合起来,NBNet是一种为端到端图像降噪而设计的UNet结构化网络。我们对包括SIDD和DND在内的基准测试进行了评估,NBNet在PSNR和SSIM方面达到了最先进的性能,并且计算成本显著降低。
2021-05-11 cs.CV
Reversing Skin Cancer Adversarial Examples by Multiscale Diffusive and Denoising Aggregation Mechanism
Zhejiang University(浙江大学);Qilu Hospital of Shandong University(山东大学齐鲁医院);Shanghai Jiao Tong University School of Medicine(上海交通大学医学院)
针对皮肤癌诊断模型易受对抗攻击的问题,提出一种多尺度扩散与去噪聚合的防御框架,通过逆向工程对抗扰动,在ISIC 2019数据集上有效逆转多种攻击并优于现有方法。
2024-02-06 cs.CV
On the Limitations of Denoising Strategies as Adversarial Defenses
Nanjing University(南京大学);Tsinghua University(清华大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);JD AI Research(京东人工智能研究院)
针对机器学习模型的对抗攻击引起了越来越多的关注,许多基于去噪的防御方法已经被提出。本文总结和分析了基于数据去噪和重构的对称变换($F+$ inverse $F$,$F-IF$ Framework)形式的防御策略。特别地,我们从三个方面(即分别在空间域、频域和潜在空间中去噪)对这些去噪策略进行分类。通常,防御是在整个对抗性示例上执行的,图像和扰动都被修改,因此很难判断它如何防御扰动。为了直观地评估这些去噪策略的鲁棒性,我们直接应用它们来防御对抗性噪声本身(假设我们已经获得了所有的噪声),这使我们不必牺牲良性的准确性。令人惊讶的是,我们的实验结果表明,即使在每个维度上的大部分扰动被消除,它仍然很难获得令人满意的鲁棒性。基于上述发现和分析,我们提出了在特征域中对不同频段的自适应压缩策略,以提高鲁棒性。实验结果表明,自适应压缩策略使模型能够更好地抑制对抗性扰动,并提高鲁棒性与现有的去噪策略相比。
2020-12-17 cs.CV cs.LG
Evaluating Similitude and Robustness of Deep Image Denoising Models via Adversarial Attack
School of Mathematics, Harbin Institute of Technology(哈尔滨工业大学数学学院);School of Computer Science and Technology(计算机科学与技术学院)
本文通过对抗攻击方法评估深度图像去噪模型的相似性和鲁棒性,发现主流模型在灰度和彩色图像中共享对抗样本集,提出鲁棒性相似性指标,表明数据驱动的非盲去噪模型最鲁棒。
2023-07-07 cs.CV cs.LG eess.IV
Joint Denoising and Few-angle Reconstruction for Low-dose Cardiac SPECT Using a Dual-domain Iterative Network with Adaptive Data Consistency
Yale University(耶鲁大学)
针对低剂量和少角度心脏SPECT成像导致的噪声增加与重建精度降低问题,提出一种双域迭代网络,通过图像域先验估计、投影域渐进去噪与自适应数据一致性模块实现端到端联合去噪与重建,显著提升了临床数据的投影与重建精度。
2023-05-17 cs.CV
Learning Robust 3D Representation from CLIP via Dual Denoising
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院)
本文提出Dual Denoising框架,通过去噪代理任务与特征去噪网络从CLIP学习鲁棒三维表示,并结合并行噪声推理提升跨域泛化,在零样本下无需对抗训练即可增强表示性能与对抗鲁棒性。
2024-07-01 cs.CV
Denoising Adversarial Autoencoders
BICV Imperial College London(伦敦帝国理工学院BICV)
无监督学习越来越受到人们的关注,因为它释放了大量未标记数据中的潜力,以学习有用的表示进行推理。自动编码器是生成模型的一种形式,可以通过学习从潜在表示空间重建未标记的输入数据来训练。如果自动编码器学会从损坏的输入样本中恢复干净的输入样本,则它可以产生更鲁棒的表示。可以通过在训练期间引入正则化来进一步改进表示,以形成潜在空间中的编码数据的分布。我们建议去噪对抗性自动编码器,它结合了去噪和正则化,使用对抗性训练来塑造潜在空间的分布。我们引入了一种新的分析,展示了如何将去噪纳入对抗性自动编码器的训练和采样中。进行实验,以评估的贡献,去噪表示分类和样本合成的学习。我们的研究结果表明,使用去噪标准训练的自动编码器实现了更高的分类性能,并且可以合成与输入数据更一致的样本,而不是没有腐败过程的样本。
2018-01-04 cs.CV cs.LG stat.ML
Denoising Diffusion Probabilistic Models as a Defense against Adversarial Attacks
Harvard University(哈佛大学)
神经网络对输入中的小扰动非常敏感,这使得它们容易受到对抗攻击。该项目评估了去噪扩散概率模型(DDPM)作为一种净化技术来抵御对抗攻击的性能。它的工作原理是在通过扩散模型的逆过程去除噪声之前,向对抗性示例添加噪声。我们评估的方法上的PatchCamelyon数据集的淋巴结切片的组织病理学扫描,并找到了高达88%的原始模型的准确性,构成了相当大的改进香草模型和我们的基线的鲁棒准确性的提高。项目代码位于https://github.com/ankile/Adversarial-Diffusion。
2023-01-17 cs.CR cs.CV cs.LG