Autoencoding Video Latents for Adversarial Video Generation
Samsung Research Institute(三星研究院)
鉴于视频信号的三维复杂性,由于数据空间中涉及的大随机性,训练鲁棒且多样的基于GAN的视频生成模型是繁重的。学习数据的非纠缠表示有助于提高鲁棒性并提供采样过程中的控制。对于视频生成,通过将运动和外观视为正交信息并设计有效地解开它们的架构,在这一领域取得了最新进展。这些方法依赖于手工制作的架构,该架构在生成器上施加结构先验以分解潜在空间中的外观和运动代码。受基于自动编码器的图像生成的最新进展的启发,我们提出了AVLAE(对抗视频潜伏自动编码器),这是一个两流潜伏自动编码器,其中视频分布是通过对抗训练来学习的。特别是,我们建议在对抗环境中自动编码视频生成器的运动和外观特征向量。我们证明,我们的方法学会解开运动和外观代码,即使没有明确的结构组成的生成器。定性和定量的实验结果证明了我们的方法的有效性。
2022-01-18 cs.CV
Brand Label Albedo Extraction of eCommerce Products using Generative Adversarial Network
Zeg.AI Ltd(Zeg人工智能有限公司);University College London(伦敦大学学院)
在本文中,我们提出了我们的解决方案,以提取电子商务产品的品牌标签的冗余。为此,我们生成了一个大规模的照片般逼真的合成数据集,用于提取图像,然后训练生成模型,将具有不同光照条件的图像转换为图像。我们进行了广泛的评估,以测试我们的方法在野外图像的推广。从实验结果中,我们观察到,我们的解决方案概括以及现有的方法相比,在看不见的渲染图像,以及在野生图像。
2021-10-07 cs.CV cs.LG
Human Action Generation with Generative Adversarial Networks
Kyungpook National University(庆熙大学)
受生成模型的最新进展的启发,我们引入了一个人类动作生成模型,以生成一个连续的人类运动序列,制定新的行动。我们提出了一个自动编码器和生成对抗网络(GAN)的框架,以产生多个连续的人类动作的初始状态和给定的类标签的条件。所提出的模型以端到端的方式进行训练,其中自动编码器与GAN联合训练。该模型在NTU RGB+D数据集上进行了训练,我们证明了该模型可以生成不同风格的动作。此外,该模型可以成功地生成一系列新的动作给定不同的动作标签作为条件。传统的人类行为预测和生成模型缺乏这些功能,这是必要的实际应用。
2018-05-26 cs.CV
MoLA: Motion Generation and Editing with Latent Diffusion Enhanced by Adversarial Training
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团公司)
针对文本到动作生成的可控性、质量和速度问题,提出MoLA框架,通过激活变量实现可变长度生成,结合变分自动编码器、潜在扩散模型和对抗训练,还支持多种编辑任务,经实验验证有效。
2025-04-14 cs.CV
Improved Adversarial Systems for 3D Object Generation and Reconstruction
McGill University(麦吉尔大学)
本文描述了一种用于训练生成对抗网络(GAN)以理解物体的详细3D形状的新方法。虽然GANs以前曾在该领域使用过,但众所周知,它们很难训练,特别是对于许多类别和方向的3D对象上的复杂联合数据分布。我们的方法扩展了以前的工作,采用Wasserstein距离归一化梯度惩罚作为训练目标。这使得能够改进从关节对象形状分布的生成。我们的系统还可以从2D图像重建3D形状,并从遮挡的2.5D范围扫描执行形状完成。与现有基准相比,我们实现了显著的量化改进
2017-10-30 cs.CV
Artificial Generation of Big Data for Improving Image Classification: A Generative Adversarial Network Approach on SAR Data
German Aerospace Center (DLR)(德国航空航天中心);ETH Zurich(苏黎世联邦理工学院);Technische Universitaet Muenchen (TUM)(慕尼黑工业大学)
甚高空间分辨率(VHSR)大比例尺SAR图像数据库是遥感领域尚未解决的问题。在这项工作中,我们提出了这样一个数据集,并使用它来探索基于块的分类在城市和城郊地区,考虑7个不同的语义类。在这种情况下,我们调查的准确性大CNN分类模型和预训练网络的SAR成像系统。此外,我们提出了一个生成对抗网络(GAN)的SAR图像生成和测试,无论是合成数据实际上可以提高分类精度。
2017-11-06 cs.CV
ScoreAdv: Score-based Targeted Generation of Natural Adversarial Examples via Diffusion Models
Nanjing University of Science and Technology(南京理工大学);Peking University(北京大学)
尽管深度学习在各个领域都取得了成功,但它仍然容易受到对抗攻击的影响。虽然许多现有的对抗攻击方法实现了高成功率,但它们通常依赖于$\ell_{p}$范数扰动约束,这与人类的感知能力不一致。因此,研究人员将重点转向生成自然的、无限制的对抗性示例(UAE)。基于GAN的方法受到固有限制,例如由于不稳定和模式坍塌导致的图像质量差。同时,扩散模型已被用于UAE生成,但它们仍然依赖于迭代PGD扰动注入,而没有充分利用其中央去噪能力。在本文中,我们介绍了一种新的方法来产生UAE的基础上扩散模型,名为ScoreAdv。该方法结合了一个可解释的对抗性指导机制,逐渐将采样分布向对抗性分布转移,同时使用一个可解释的显着图将参考图像的视觉信息注入到生成的样本中。值得注意的是,我们的方法能够生成无限数量的自然对抗性示例,不仅可以攻击分类模型,还可以攻击检索模型。我们在ImageNet和CelebA数据集上进行了广泛的实验,验证了ScoreAdv在黑盒和白盒设置下的十个目标模型上的性能。我们的研究结果表明,ScoreAdv实现了最先进的攻击成功率和图像质量,同时保持了推理效率。此外,去噪和对抗性扰动之间的动态平衡使ScoreAdv即使在防御措施下也能够保持稳健。
2025-10-30 cs.CV
Red blood cell image generation for data augmentation using Conditional Generative Adversarial Networks
Noul Inc.(Noul公司)
在本文中,我们描述了如何将图像到图像的转换技术应用于医学血液涂片数据,以生成新的数据样本,并有意义地增加小数据集。具体而言,给定显微图像的分割掩模,我们能够生成血细胞的照片级真实感图像,这些图像在网络训练期间与真实数据一起进一步用于分割和目标检测任务。这种图像数据生成方法基于条件生成对抗网络,该网络具有高质量图像合成的能力。除了合成血液图像外,我们还合成了分割掩模,这导致了各种各样的生成样本。该技术的有效性进行了彻底的分析和量化,通过大量的实验,手动收集和注释的数据集下采取的显微镜下的血涂片。
2019-03-08 cs.CV
TextCLIP: Text-Guided Face Image Generation And Manipulation Without Adversarial Training
Peking University(北京大学)
本文提出TextCLIP统一框架,结合StyleGAN与CLIP,在无需对抗训练的情况下实现文本引导的人脸图像生成与编辑,并在Multi-modal CelebA-HQ上超越现有方法。
2023-09-21 cs.CV
Generation of Artificial CT Images using Patch-based Conditional Generative Adversarial Networks
J.J. Strossmayer University of Osijek(奥西耶克J.J.斯特罗斯迈尔大学)
深度学习在减轻各种临床程序的诊断和预后方面具有巨大的潜力。然而,缺乏足够数量的医学图像是使用深度学习进行基于图像的分析的最常见障碍。由于标注的稀缺性,半监督技术在自动医学分析中的应用越来越受到重视。人工数据增强和生成技术,如生成对抗网络(GANs),可能有助于克服这一障碍。在这项工作中,我们提出了一种图像生成方法,该方法使用具有条件约束的生成对抗网络,其中分割掩码用作图像生成的条件。我们验证了GAN增强医学图像生成在整个心脏计算机断层扫描(CT)图像及其七个子结构上的可行性,即:左心室,右心室,左心房,右心房,心肌,肺动脉和主动脉。所获得的结果表明,所提出的对抗方法的准确生成高质量的CT图像的适用性。该方法显示出巨大的潜力,以促进人工医学图像生成领域的进一步研究。
2022-05-19 cs.CV eess.IV
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明,以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外,我们还表明,通过强制深度神经网络(DNN)在变换后的输入和特征空间中保持线性,可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数,进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法,并在MNIST,CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中,我们还提出了一种新的对抗图像生成方法,该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
Generative Adversarial Network for Radar Signal Generation
University of Calgary(卡尔加里大学)
用于人体隐藏物体检测以及无缝集成到安全和访问控制系统中的基于雷达的方法中的主要障碍是难以收集高质量的雷达信号数据。生成对抗网络(GAN)在图像和音频处理领域的数据生成应用中显示出了良好的前景。因此,本文提出了一种应用于雷达信号产生的GAN的设计。使用时域有限差分法(FDTD)对三种隐藏对象类别(无对象、大对象和小对象)收集的数据被用作训练数据来训练GAN以生成每个类别的雷达信号样本。拟议的GAN生成的雷达信号数据是无法区分的训练数据的定性人类观察员。
2020-08-07 cs.CV eess.IV
LR-GAN: Layered Recursive Generative Adversarial Networks for Image Generation
Virginia Tech(弗吉尼亚理工大学);Facebook AI Research(Facebook人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了LR-GAN:一个考虑场景结构和上下文的对抗图像生成模型。与以前的生成对抗网络(GANs)不同,所提出的GAN学习分别递归地生成图像背景和前景,并以上下文相关的方式将前景缝合在背景上,以产生完整的自然图像。对于每个前景,模型学习生成其外观,形状和姿势。整个模型是无监督的,并采用梯度下降方法以端到端的方式进行训练。实验表明,LR-GAN可以生成更自然的图像,比DCGAN更容易识别的对象。
2017-08-02 cs.CV cs.LG
TAIGen: Training-Free Adversarial Image Generation via Diffusion Models
University at Buffalo(布法罗大学);IIT Jodhpur(印度理工学院乔浦尔)
TAIGen提出一种无训练黑盒对抗图像生成方法,仅用3-20步扩散采样并通过选择性RGB通道扰动策略,在保持图像质量的同时实现高效攻击,生成速度比现有扩散攻击快10倍。
2025-08-20 cs.AI cs.CV
Domain Generalisation via Domain Adaptation: An Adversarial Fourier Amplitude Approach
Samsung AI Center Cambridge(三星剑桥人工智能中心);University of Edinburgh(爱丁堡大学)
我们解决域泛化(DG)的问题,把它作为一个领域自适应(DA)的任务,我们adversarially合成最坏情况下的目标域和适应模型,最坏情况下的域,从而提高模型的鲁棒性。为了合成具有挑战性但保留语义的数据,我们生成傅立叶振幅图像并将其与源域相位图像相结合,利用信号处理中广泛认为的推测,即振幅谱主要决定图像风格,而相位数据主要捕获图像语义。为了合成最坏情况域以进行自适应,我们训练分类器和幅度发生器。具体来说,我们利用DA的最大分类器差异(MCD)原则,将目标域的性能与模型假设空间中分类器的差异联系起来。通过贝叶斯假设建模,我们将模型假设空间有效地表示为给定源域的分类器上的后验分布,使对抗性MCD最小化变得可行。在包括大规模DomainNet数据集的DomainBed基准测试中,所提出的方法比最先进的方法显著提高了域泛化性能。
2023-02-23 cs.CV cs.LG
Boosting Imperceptibility of Stable Diffusion-based Adversarial Examples Generation with Momentum
Fordham University(福特汉姆大学);Google(谷歌公司);Florida International University(佛罗里达国际大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Cisco Research(思科研究院)
提出SD-MIAE框架,利用Stable Diffusion操纵token嵌入并引入动量优化对抗扰动,在保持视觉不可感知性和语义相似性的同时,将误分类率提升至79%,较SOTA提高35%。
2024-10-17 cs.CV cs.LG
Recurrent Semi-supervised Classification and Constrained Adversarial Generation with Motion Capture Data
Polytechnique Montréal(蒙特利尔高等理工学院);The Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
我们探讨了半监督序列分类和重建的递归编码器多解码器神经网络架构。我们发现,当只有少量标记数据可用时,使用多个重建模块可以帮助模型在分类任务中进行概括,这在实践中经常出现。这样的模型提供了有用的运动的高级表示,允许聚类,搜索和更快地标记新的序列。我们还提出了一个新的,现实的分区一个众所周知的,高质量的运动捕捉数据集更好的评价。我们进一步探索了一种基于条件递归生成对抗网络的未来预测解码器的新配方,为此,我们提出了软约束和硬约束,用于从合成的未来运动和期望的动画目标的所需物理特性中产生的过渡生成。我们发现,使用这样的约束可以稳定用于动画生成的循环对抗架构的训练。
2018-07-11 cs.CV cs.LG
Minimum Noticeable Difference based Adversarial Privacy Preserving Image Generation
Nanyang Technological University(南洋理工大学)
深度学习模型被发现容易受到对抗性示例的影响,因为错误的预测可能由深度学习模型的输入中的小扰动引起。现有的对抗性图像生成方法大多试图实现对大多数模型的攻击,而很少有人致力于保证对抗性样本的感知质量。高质量的对抗性示例对于许多应用都很重要,特别是对于隐私保护。在这项工作中,我们开发了一个基于最小可注意差异(MND)概念的框架,以生成与干净图像具有最小感知差异但能够攻击深度学习模型的对抗性隐私保护图像。为了实现这一点,首先提出了一种对抗损失,使深度学习模型成功地被对抗图像攻击。然后,通过考虑扰动的大小以及扰动引起的结构和梯度变化来开发感知质量保持损失,其目的是为对抗图像生成保持高感知质量。据我们所知,这是第一个基于隐私保护的MND概念探索质量保持对抗图像生成的工作。为了评估其在感知质量方面的性能,在这项工作中,使用所提出的方法和几种锚点方法测试了图像分类和人脸识别的深度模型。大量的实验结果表明,所提出的MND框架能够生成具有显著改善的性能指标的对抗图像(例如,PSNR、SSIM和MOS)比用锚定方法生成的更好。
2022-06-17 cs.AI cs.CV cs.LG
Adversarial Attacks on Image Generation With Made-Up Words
Columbia University(哥伦比亚大学)
文本引导的图像生成模型可以被提示使用逆向设计的随机词来生成图像,以鲁棒地唤起特定的视觉概念。这种生成的两种方法介绍:macaronic提示,它涉及到通过连接来自不同语言的子字单元来设计神秘的混合词;和唤起提示,它涉及到设计其广泛的形态特征与现有单词足够相似的临时词,以触发强大的视觉联想。这两种方法也可以结合起来生成与更具体的视觉概念相关联的图像。这些技术的影响,为规避现有的方法,内容审核,特别是生成攻击性或有害的图像,进行了讨论。
2022-08-04 cs.CL cs.CR cs.CV
Diffusion Adversarial Post-Training for One-Step Video Generation
ByteDance Seed(字节跳动种子)
针对扩散模型迭代生成慢、现有图像单步蒸馏方法质量下降的问题,提出带架构与流程改进及近似R1正则的扩散对抗后训练APT方法,实现单步实时生成高清视频与媲美SOTA的单步图像生成。
2025-10-01 cs.AI cs.CV cs.LG
A Novel Wasserstein Quaternion Generative Adversarial Network for Color Image Generation
本文提出一种基于四元数Wasserstein距离的新型生成对抗网络,用于提升彩色图像生成的效率和质量。
2025-12-09 cs.AI cs.CV cs.NA
Logo Generation Using Regional Features: A Faster R-CNN Approach to Generative Adversarial Networks
CitAI Research Center(CitAI研究中心);University of London(伦敦大学)
在本文中,我们介绍了本地标志生成对抗网络(LL-GAN),它使用从Faster R-CNN中提取的区域特征来生成标志。我们展示了这种方法的优势,通过在一个风格丰富的小数据集上训练框架来生成新的重金属标志。LL-GAN实现了5.29的初始得分和223.94的Frechet初始距离,改进了最先进的模型StyleGAN 2和Self-Attention GAN。
2021-10-02 cs.AI cs.CV cs.GR
Adversarial Pixel-Level Generation of Semantic Images
Zuru Tech(祖鲁科技)
生成对抗网络(GANs)在生成逼真图像方面取得了非凡的成功,这是一个可以接受较低像素级精度的领域。我们研究的问题,尚未解决的文献中,从先验分布生成语义图像。直觉上,这个问题可以使用标准的方法和架构来解决。然而,需要一种更适合的方法来避免生成模糊、幻觉和因此不可用的图像,因为像语义分割这样的任务需要像素级的精确度。在这项工作中,我们提出了一种新的架构,用于学习生成像素级精确的语义图像,即语义生成对抗网络(SemGANs)。实验评估表明,我们的架构优于标准的从定量和定性的角度来看,在许多语义图像生成任务。
2019-06-27 cs.CV cs.LG eess.IV
Incorporating Reinforced Adversarial Learning in Autoregressive Image Generation
Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究院);Adobe Research(Adobe研究院)
自回归模型最近在矢量量化变分自编码器(VQ-VAE)的帮助下取得了与最先进的生成对抗网络(GANs)相当的结果。然而,自回归模型有几个局限性,如曝光偏差,其训练目标不能保证视觉保真度。为了解决这些限制,我们建议使用基于策略梯度优化的自回归模型的强化对抗学习(RAL)。通过应用RAL,我们可以实现类似的培训和测试过程,以解决暴露偏倚问题。此外,视觉保真度得到了进一步优化,对抗性损失受到其强大对手的启发:GANs。由于自回归模型的采样速度慢,我们建议使用部分生成来加快训练速度。RAL还支持VQ-VAE框架不同模块之间的协作。据我们所知,所提出的方法是第一个在自回归模型中实现对抗学习以生成图像的方法。在合成数据集和真实世界数据集上的实验表明,MLE训练的模型有所改进。所提出的方法改进了负对数似然(NLL)和Fréchet起始距离(FID),这表明在视觉质量和多样性方面的改进。所提出的方法实现了国家的最先进的结果Celeba为64 $\times$ 64图像分辨率,显示大规模图像生成的承诺。
2020-07-20 cs.CV cs.LG eess.IV
Dilated Spatial Generative Adversarial Networks for Ergodic Image Generation
Normandie Univ(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院)
生成模型最近由于对抗学习而重新受到关注。生成对抗网络由样本生成模型和能够区分真实样本和合成样本的判别模型组成。结合卷积(用于卷积)和去卷积(用于生成器)层,它们特别适合于图像生成,特别是自然场景。然而,全连接层的存在在生成的图像中增加了全局依赖性。对于输入噪声中的小局部变化,这可能导致所生成的样本中的高和全局变化。在这项工作中,我们建议使用基于全卷积网络(包括膨胀层等)的架构,这些架构专门设计用于生成全局遍历图像,即没有全局依赖关系的图像。进行的实验表明,这些架构非常适合生成自然纹理,如地质结构。
2019-05-15 cs.CV cs.LG eess.IV
Cross Domain Image Generation through Latent Space Exploration with Adversarial Loss
Carnegie Mellon University(卡内基梅隆大学)
条件域生成是交互控制深度生成模型样本生成过程的一种好方法。然而,一旦创建了条件生成模型,允许它适应新的条件控制通常是昂贵的,特别是网络结构相对较深。我们提出了一个条件的潜在域转移框架的潜在空间的无条件变分自编码器(VAE)。有了这个框架,我们可以允许无条件训练的VAE在它的域中生成图像,条件由另一个域的潜在表示提供。这个框架并不假设两个领域之间的共性。我们证明了我们的模型在广泛使用的图像数据集下的有效性和鲁棒性。
2018-05-24 cs.CV cs.LG stat.ML
Hierarchical Detail Enhancing Mesh-Based Shape Generation with 3D Generative Adversarial Network
University of California(加利福尼亚大学)
基于网格的形状自动生成在从工业设计到游戏、计算机图形学和各种其他形式的数字艺术的广泛学科中引起了极大的兴趣。虽然大多数传统方法都集中在基于图元的模型生成上,但深度学习的进步使得以端到端的方式学习三维几何形状表示成为可能。然而,目前大多数基于深度学习的框架专注于基于体素和点云的形状的表示和生成,使得其不能直接应用于设计和图形社区。本研究针对自动生成基于网格的几何体的需求,提出了一种新的框架,该框架利用符号距离函数表示,通过基于深度学习的方法生成细节保留的三维表面网格。
2017-09-22 cs.AI cs.CV cs.GR
MosaiQ: Quantum Generative Adversarial Networks for Image Generation on NISQ Computers
Northeastern University(东北大学);Rice University(莱斯大学)
针对现有量子图像生成技术质量差、鲁棒性弱的问题,提出可在NISQ计算机上运行的高质量量子图像生成GAN框架MosaiQ。
2023-08-22 cs.AR cs.CV quant-ph
Exocentric to Egocentric Image Generation via Parallel Generative Adversarial Network
Texas State University(德克萨斯州立大学);University of Trento(特伦托大学);Cisco(思科)
最近已经提出了跨视图图像生成,以从一个视图生成另一个显著不同的视图的图像。在本文中,我们研究了离心(第三人称)视图到自我中心(第一人称)视图的图像生成。这是一项具有挑战性的任务,因为自我中心的观点有时与离心观点截然不同。因此,在两个视图之间转换外观是一项重要的任务。为此,我们提出了一种新的并行生成对抗网络(P-GAN)与一种新的交叉循环损失,学习共享信息,从偏心视图生成自我中心的图像。我们还将一个新的上下文特征损失的学习过程中捕捉图像中的上下文信息。在Exo-Ego数据集上进行的大量实验表明,我们的模型优于最先进的方法。
2020-02-08 cs.CV cs.LG eess.IV
Adversarial Code Learning for Image Generation
eBay(易贝);SenseTime(商汤科技);Amazon(亚马逊)
我们引入了“对抗性代码学习”(ACL)模块,该模块可以提高几种类型的深度模型的整体图像生成性能。该算法不是在生成器的像素空间中进行后验分布建模,而是将先验噪声作为输入,与另一个图像编码器/推理网络联合学习潜在代码。我们在对抗学习过程中进行学习,这与原始的GAN非常相似,但再次将学习从图像空间转移到先验和潜在代码空间。ACL是一个便携式模块,在生成模型设计中带来了更多的灵活性和可能性。首先,它允许灵活地将非生成模型(如自动编码器和标准分类模型)转换为体面的生成模型。其次,它通过从先验的任何部分生成有意义的代码和图像来增强现有GANs的性能。我们已经将ACL模块与上述框架相结合,并在合成,MNIST,CIFAR-10和CelebA数据集上进行了实验。我们的模型已经取得了显着的改进,这表明了图像生成任务的一般性。
2020-01-30 cs.CV cs.LG eess.IV
Assessing Robustness via Score-Based Adversarial Image Generation
Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
提出基于分数的对抗生成框架ScoreAG,通过生成无限制对抗样本和净化图像,在多个基准上提升了最先进攻防方法的效果,推动更全面的语义鲁棒性评估。
2025-03-04 cs.AI cs.CV cs.LG
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
American University of Sharjah(沙迦美国大学)
“艺术是谎言,它使我们能够认识真理。- 巴勃罗·毕加索几个世纪以来,人类一直致力于创造艺术来表达他们的想象力。技术的进步,特别是深度学习,引起了许多研究人员的注意,他们试图研究计算机和算法是否可以产生艺术。使用生成对抗网络(GANs),实现了合成逼真的人脸和从图像自动创建字幕等应用。本调查全面介绍了最近使用GANs生成视觉艺术,音乐和文学文本的作品。各种GAN架构的性能比较和描述。最后,强调了使用GANs生成艺术的一些关键挑战,并对未来的工作提出了建议。
2021-08-14 cs.AI cs.CL cs.CV
Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks
DeNA Co., Ltd.(DeNA株式会社)
我们提出了渐进式结构条件生成对抗网络(PSGAN),这是一个新的框架,可以根据结构信息生成全身和高分辨率的字符图像。具有渐进式训练的生成对抗网络的最新进展使得生成高分辨率图像成为可能。然而,现有的方法在同时实现高图像质量和结构一致性方面具有局限性。我们的方法通过在训练过程中逐步提高生成图像和结构条件的分辨率来解决这些限制。在本文中,我们经验证明了这种方法的有效性,显示与现有的方法和视频生成结果的不同动漫人物在1024x1024的目标姿态序列的基础上的比较。我们还使用Unity 3D Avatar模型创建了一个包含全身1024x1024高分辨率图像和精确2D姿势关键点的新数据集。
2018-09-06 cs.CV cs.GR cs.LG
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
基于深度学习的视觉到声音生成系统本质上需要开发,特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中,我们引入了一个新的任务,指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列,从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集,以使用FoleyGAN进行训练,并通过人类调查评估我们的合成声音,该调查显示出值得注意的(平均81%)视听同步性能。与其他基线模型和视听数据集相比,我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
IsMo-GAN: Adversarial Learning for Monocular Non-Rigid 3D Reconstruction
University of Kaiserslautern(凯泽斯劳滕大学);DFKI(德国人工智能研究中心);MPI for Informatics(马克斯·普朗克信息学研究所)
大多数现有的方法从单目2D图像的非刚性3D表面回归需要一个对象模板或多个帧上的点轨迹作为输入,并且仍然远离实时处理速率。在这项工作中,我们提出了Isometry-Aware Monocular生成对抗网络(IsMo-GAN)-一种从单个图像直接进行3D重建的方法,在轻量级合成数据集上以对抗方式训练变形模型。IsMo-GAN在超过250 Hz的不同照明,相机姿势,纹理和阴影下从真实图像重建表面。在多个实验中,它始终优于几种方法在重建精度,运行时间,推广到未知的表面和鲁棒性闭塞。与现有技术相比,我们将重建误差减少了10-30%,包括无纹理的情况,并且我们的表面定性地显示出更少的伪影。
2021-06-21 cs.CV
Domain Generalisation for Apparent Emotional Facial Expression Recognition across Age-Groups
Facebook AI Applied Research(Facebook人工智能应用研究);University of Bristol(布里斯托大学);Imperial College London(帝国理工学院)
近年来,基于表情的表情识别技术引起了人们的广泛关注.然而,大多数方法忽略了年龄差异,并且训练针对所有年龄的通用模型。在这项工作中,我们研究了使用不同的年龄组训练明显的情绪面部表情识别模型的效果。为此,我们研究领域泛化的背景下,明显的情绪面部表情识别不同年龄组的面部图像。我们首先比较了几个领域的泛化算法的基础上的域外泛化,并观察到类条件域对抗神经网络(CDANN)算法具有最好的性能。然后,我们研究了训练过程中使用的年龄组的种类和数量对泛化到看不见的年龄组的影响,并观察到训练年龄组数量的增加往往会增加看不见的年龄组的明显情绪面部表情识别性能。我们还表明,排除在训练过程中的一个年龄组往往会影响更多的表现相邻的年龄组。
2021-10-18 cs.CV cs.LG
Adversarial Diversity and Hard Positive Generation
University of Colorado at Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
最先进的深度神经网络存在一个基本问题-它们对通过对输入施加小扰动而形成的对抗性示例进行错误分类。在本文中,我们提出了一种新的心理测量感知对抗相似性得分(PASS)的措施,量化对抗图像,引入硬积极生成的概念,并使用一组不同的对抗扰动-而不仅仅是最接近的-数据增强。我们引入了一种新的热/冷方法来生成对抗性示例,该方法为每个图像提供了多种可能的对抗性扰动。我们的新方法产生的扰动通常对应于语义上有意义的图像结构,并允许更大的灵活性来缩放扰动幅度,从而增加对抗图像的多样性。我们在几个网络拓扑和数据集上展示了对抗图像,包括MNIST数据集上的LeNet,以及ImageNet数据集上的GoogLeNet和ResidualNet。最后,我们在LeNet和GoogLeNet上证明,与使用先前生成对抗图像的方法进行训练相比,使用不同的硬阳性集进行微调可以提高这些网络的鲁棒性。
2016-05-17 cs.CV
Immune Defense: A Novel Adversarial Defense Mechanism for Preventing the Generation of Adversarial Examples
Nanjing University of Information Science and Technology(南京信息工程大学);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室);Qilu University of Technology(齐鲁工业大学)
深度神经网络(DNN)对对抗性样本的脆弱性已经得到证实。现有的对抗性防御主要旨在防止对抗性示例成功攻击DNN,而不是防止它们的生成。如果对抗性示例的生成不受监管,那么可及范围内的图像将不再安全,并对非鲁棒DNN构成威胁。虽然梯度混淆试图解决这个问题,但它已被证明是可以规避的。因此,我们提出了一种新的对抗性防御机制,称为免疫防御,是基于示例的预防御。这种机制将精心设计的准不可感知的扰动应用于原始图像,以防止生成原始图像的对抗性示例,从而保护图像和DNN。这些扰动图像被称为免疫示例(IE)。在白盒免疫防御中,我们分别提出了基于梯度和基于优化的方法。此外,还考虑了更复杂的黑盒免疫防御。我们提出了掩蔽梯度符号下降(MGSD),以减少近似误差和稳定的更新,以提高可转移性的IE,从而确保其有效性对黑盒对抗攻击。实验结果表明,基于优化的方法在白盒免疫防御中具有优越的性能和更好的视觉质量。相比之下,基于梯度的方法具有更强的可转移性,建议的MGSD显着改善基线的可转移性。
2023-03-08 cs.CV
Exploring Transferable and Robust Adversarial Perturbation Generation from the Perspective of Network Hierarchy
Beihang University(北京航空航天大学)
对抗样本的可移植性和鲁棒性是黑盒对抗攻击的两个重要特性。本文从网络层次结构的角度探讨了提高这两种能力的有效机制,典型的网络可分为输出阶段、中间阶段和输入阶段。由于源模型过于特殊化,在输出阶段很难提高对抗性扰动的可传递性和鲁棒性。因此,我们在本文中集中在中间和输入阶段,并提出了一个可转移的和强大的对抗扰动生成(TRAP)方法。具体来说,我们提出了动态引导机制,以不断计算精确的方向性指导扰动产生的中间阶段。在输入阶段,而不是在现有的方法中采用的单一形式的变换增广,我们利用多种形式的仿射变换增广,以进一步丰富输入的多样性和提高对抗扰动的鲁棒性和可转移性。大量的实验表明,我们的TRAP实现了令人印象深刻的可移植性和对某些干扰的高鲁棒性。
2021-08-16 cs.CV
Diffusion to Confusion: Naturalistic Adversarial Patch Generation Based on Diffusion Model for Object Detector
National Central University(中央大学);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
针对物理对抗补丁难以兼顾隐蔽性与攻击效果的问题,提出基于预训练扩散模型采样的自然对抗补丁生成方法,并通过实验验证其质量、自然性与攻击有效性。
2023-07-16 cs.CV
Efficient Generation of Targeted and Transferable Adversarial Examples for Vision-Language Models Via Diffusion Models
提出AdvDiffVLM,利用扩散模型和分数匹配生成自然、定向且可迁移的对抗样本,显著提升生成速度与迁移性,并能黑盒攻击商业VLM如GPT-4V。
2024-12-15 cs.CV
Adversarial example generation with AdaBelief Optimizer and Crop Invariance
深度神经网络容易受到对抗性样本的影响,这些样本是通过对原始图像施加人类无法感知的小扰动来制作的,从而误导深度神经网络输出不准确的预测。因此,对抗攻击可以是在安全关键应用中评估和选择鲁棒模型的重要方法。然而,在具有挑战性的黑盒设置下,大多数现有的对抗攻击在对抗训练的网络和高级防御模型上的成功率往往相对较低。在本文中,我们提出AdaBelief迭代快速梯度方法(ABI-FGM)和作物不变攻击方法(CIM),以提高对抗性的例子的可移植性。ABI-FGM和CIM可以很容易地集成,以构建强大的基于梯度的攻击,进一步提高黑盒攻击的对抗性示例的成功率。此外,我们的方法也可以自然地与其他基于梯度的攻击方法相结合,以构建更强大的攻击,从而生成针对防御模型的更具可转移性的对抗性示例。在ImageNet数据集上的大量实验证明了该方法的有效性。无论是在对抗训练的网络还是高级防御模型上,我们的方法都比最先进的基于梯度的攻击方法具有更高的成功率。
2021-02-07 cs.CV
MS-GAGA: Metric-Selective Guided Adversarial Generation Attack
Columbia University New York, USA(哥伦比亚大学);Singapore Institute of Technology Singapore(新加坡理工学院);Duke Kunshan University China(杜克-昆山大学)
MS-GAGA提出两阶段框架,通过双流攻击生成候选并用度量感知选择,在黑盒下生成可迁移且不可察觉的对抗样本,错误分类率提升高达27%。
2025-10-14 cs.CV
Cloud Adversarial Example Generation for Remote Sensing Image Classification
提出基于Perlin噪声的云生成攻击方法,通过PGGN网络和差分进化算法优化云参数向量,实现高查询效率的黑盒攻击,并验证了攻击能力、迁移性与防御鲁棒性。
2024-09-21 cs.CV
Contextual Fusion For Adversarial Robustness
University of California, San Diego(加州大学圣地亚哥分校)
哺乳动物的大脑以完形的方式处理复杂的推理任务,通过整合来自大脑区域的信息,这些区域专门用于个人的感觉方式。这允许改进的鲁棒性和更好的泛化能力。相比之下,深度神经网络通常被设计为处理一个特定的信息流,并且容易受到各种类型的对抗性扰动的影响。虽然有许多方法可以检测和防御对抗攻击,但它们不能概括一系列攻击,并且会对干净、未受干扰的数据的性能产生负面影响。我们使用从Places-CNN和Imagenet-CNN并行提取的背景和前景特征的组合开发了一个融合模型。我们测试了融合方法在保持人类可感知的对抗鲁棒性方面的益处(例如,高斯模糊)和网络可感知(例如,基于梯度的)攻击CIFAR-10和MS COCO数据集。对于基于梯度的攻击,我们的研究结果表明,融合可以显着改善分类,而不会降低未扰动数据的性能,也不需要进行对抗性再训练。我们的融合模型也显示了高斯模糊类型扰动的改进。融合方法的性能提高取决于图像上下文的可变性;对于上下文差异较大的图像类别,可以看到较大的增加。我们还展示了正则化的效果,在存在已知对手的情况下偏向分类器的决定。我们提出,这种生物启发的方法可以整合多种模式的信息,提供了一种新的方法来提高对抗鲁棒性,可以补充目前最先进的方法。
2020-11-18 cs.CV
Adversarial Bounding Boxes Generation (ABBG) Attack against Visual Object Trackers
Université Laval(拉瓦尔大学);Mila(米拉量子计算研究所)
针对Transformer跟踪器因预测特定边界框而非候选列表导致现有攻击适用性受限的问题,提出仅用一个边界框的白盒攻击方法ABBG,生成对抗性边界框列表并计算损失,在多个鲁棒Transformer跟踪器上优于现有攻击。
2024-11-26 cs.CV
Adversarial Generation of Continuous Implicit Shape Representations
TU Dortmund University(多特蒙德工业大学)
这项工作提出了一种生成对抗架构,用于基于符号距离表示生成三维形状。虽然形状的深层生成主要是通过体素和表面点云方法来解决的,但我们的生成器学习在给定先验潜在信息的情况下近似空间中任何点的符号距离。虽然在结构上类似于生成点云方法,但该公式可以在推理期间使用任意点密度进行评估,从而在生成的输出中产生细粒度的细节。此外,我们研究了使用逐步增长的体素或点处理网络作为鉴别器的效果,并提出了一个改进方案,以加强发电机的能力,在建模的零等值面决策边界的形状。我们训练我们的方法在ShapeNet基准数据集和验证,定量和定性,其性能生成逼真的3D形状。
2020-03-26 cs.CV
Are nuclear masks all you need for improved out-of-domain generalisation? A closer look at cancer classification in histopathology
University of Oslo(奥斯陆大学);Otto-von-Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);Singapore Institute of Technology(新加坡科技学院);Oslo University Hospital(奥斯陆大学医院);UiT The Arctic University of Norway(挪威北极大学)
针对计算组织病理学中因医院间差异导致的域泛化难题,提出结合核分割掩码与表征对齐正则化的方法,聚焦核形态等域不变特征,有效提升癌症检测的域外泛化性及抗损坏、抗攻击鲁棒性。
2024-11-14 cs.CV cs.LG eess.IV
Adversarially robust deepfake media detection using fused convolutional neural network predictions
CYENS Centre of Excellence(CYENS卓越中心);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
Deepfake是合成的图像,视频或音频,欺诈者使用它们来操纵合法信息。当前的深度造假检测系统难以应对看不见的数据。为了解决这个问题,我们采用了三种不同的深度卷积神经网络(CNN)模型,(1)VGG 16,(2)InceptionV 3和(3)XceptionNet来分类从视频中提取的假图像和真实图像。我们还构建了深度CNN模型的融合,以提高鲁棒性和泛化能力。当在公开的DeepFake检测挑战(DFDC)测试数据(包括400个视频)上进行测试时,所提出的技术以96.5%的准确率优于最先进的模型。该融合模型在较低质量的DeepFake-TIMIT数据集视频上达到99%的准确率,在较高质量的DeepFake-TIMIT视频上达到91.88%。此外,我们证明了预测融合对对抗攻击更鲁棒。如果一个模型受到对抗攻击的损害,预测融合不会让它影响整体分类。
2021-02-11 cs.CR cs.CV
Adaptive Gradient for Adversarial Perturbations Generation
深度神经网络在计算机视觉、自然语言处理和音频任务方面取得了显著的成功。
2019-05-20 cs.CR cs.CV
Iterative Adversarial Attack on Image-guided Story Ending Generation
Hefei University of Technology(合肥工业大学)
针对图像引导故事结尾生成任务,本文提出融合图像与文本扰动的 Iterative-attack 迭代对抗攻击方法,实验证明其优于单模态及非迭代多模态攻击。
2024-01-23 cs.AI cs.CV
Self-Supervised Generalisation with Meta Auxiliary Learning
辅助任务的学习可以提高主要任务的概括能力。然而,这是以手动标记辅助数据为代价的。我们提出了一种新的方法,自动学习适当的标签的辅助任务,这样任何监督学习任务可以得到改善,而不需要访问任何进一步的数据。该方法是训练两个神经网络:一个标签生成网络预测的辅助标签,和一个多任务网络训练的主要任务旁边的辅助任务。标签生成网络的损失包含了多任务网络的损失,因此两个网络之间的这种交互可以被视为具有双梯度的元学习的一种形式。我们表明,我们提出的方法,Meta辅助学习(MAXL),优于单任务学习7图像数据集,而不需要任何额外的数据。我们还表明,MAXL优于其他几个基线生成辅助标签,甚至是竞争力相比,人类定义的辅助标签。我们的方法的自我监督性质导致了一个有前途的新方向自动化的概括。源代码可以在https://github.com/lorenmt/maxl上找到。
2019-11-26 cs.CV cs.LG stat.ML
ASP:A Fast Adversarial Attack Example Generation Framework based on Adversarial Saliency Prediction
George Mason University(乔治梅森大学)
神经网络以其良好的准确性和可行性,在新型智能应用和系统中得到了广泛的应用。然而,随着对抗攻击的出现,基于神经网络的系统性能变得非常脆弱:图像分类结果可以被对抗样本任意误导,这些对抗样本是具有人类不可感知的像素级扰动的精心制作的图像。由于这提出了一个重大的系统安全问题,我们实施了一系列的调查对抗攻击在这项工作中:我们首先确定一个图像的像素的脆弱性的基础上的对抗显着性分析的对抗攻击。通过比较分析显著图和对抗扰动分布,提出了一种新的评估方案来综合评估对抗攻击的精度和效率。在此基础上,提出了一种新的对抗性显著性预测方法,并提出了一种快速对抗性示例生成框架ASP,该框架显著提高了攻击效率,降低了计算开销。实验结果表明,与已有方法相比,ASP的对抗性示例生成速度最多提高了12倍,扰动率降低了2倍,在MNIST和Cifar10上的攻击成功率均高达87%。ASP也可以很好地用于支持数据饥渴的NN对抗训练。通过降低高达90%的攻击成功率,ASP可以快速有效地增强基于神经网络的系统对对抗攻击的防御能力。
2018-06-12 cs.CR cs.CV cs.LG
Guided Diffusion-based Generation of Adversarial Objects for Real-World Monocular Depth Estimation Attacks
School of Automation and Intelligent Sensing, Institute of Medical Robotics, Shanghai Jiao Tong University(自动化与智能感知学院、医疗机器人研究院、上海交通大学)
本文提出一种无需训练的生成对抗攻击框架,通过扩散模型生成自然且场景一致的对抗性物体,以提升自动驾驶系统中单目深度估计的对抗攻击效果和实用性。
2025-12-30 cs.CV cs.RO