Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA(英伟达);Google(谷歌)
生成对抗网络(GAN)框架已经成为各种图像和视频合成任务的强大工具,允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频,这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中,我们提供了GANs的概述,特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练,这是出了名的困难。我们还讨论了它的应用,图像翻译,图像处理,视频合成,和神经渲染。
2020-11-30 cs.CV
Multiclass non-Adversarial Image Synthesis, with Application to Classification from Very Small Sample
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
合成图像的生成目前由生成对抗网络(GANs)主导。尽管它们在生成逼真的图像方面取得了杰出的成功,但它们仍然存在主要缺点,包括不稳定和高度敏感的训练过程,模式崩溃和模式混合,以及对大型训练集的依赖。在这项工作中,我们提出了一种新的非对抗性生成方法-潜在空间的优化(COLA),它克服了GANs的一些限制,并在训练数据稀缺时优于GANs。在完整的数据体系中,我们的方法能够在没有监督的情况下生成多样化的多类图像,在图像质量和多样性方面超越了之前的非对抗性方法。在小数据范围内,只有少量标记图像样本可用于训练,无法访问其他未标记数据,我们的结果超过了在相同数据量上训练的最先进的GAN模型。最后,当利用我们的模型来增强小数据集时,我们在具有挑战性的数据集上的小样本分类任务中超越了最先进的性能,包括CIFAR-10,CIFAR-100,STL-10和Tiny-ImageNet。理论分析支持的方法的本质。
2020-12-01 cs.CV cs.LG
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações(电信研究所);Universidade da Beira Interior(贝拉内陆大学);DeepNeuronic;NOVA LINCS(新里斯本大学计算机科学实验室);C4-Cloud Computing Competence Center(C4云计算能力中心)
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务,不仅在所生成的形状的质量方面,而且在它们的多样性方面,特别是合成特定动作(动作调节)的逼真身体运动。在本文中,我们提出了Kinetic-GAN,这是一种新的架构,它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作,同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的,其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法,同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
User-Controllable Multi-Texture Synthesis with Generative Adversarial Networks
Samsung AI Center Moscow(三星莫斯科人工智能中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);National Research University Higher School of Economics(高等经济大学)
提出了一种基于生成对抗网络(GANs)的多纹理合成模型,该模型具有用户可控机制。用户控制功能允许明确指定应该由模型生成的纹理。该属性来自于使用编码器部分,该编码器部分从数据集中学习每个纹理的潜在表示。为了确保数据集的覆盖率,我们使用了一个对抗性的损失函数,该函数对给定纹理的不正确再现进行惩罚。在实验中,我们证明了我们的模型可以学习大型数据集和原始数据(如高分辨率照片)的描述性纹理流形。此外,我们应用我们的方法来产生3D纹理,并表明它优于现有的基线。
2019-04-24 cs.CV cs.LG stat.ML
Adversarially Guided Diffusion for LiDAR Range Image Synthesis
School of Electrical and Computer Engineering, National Technical University of Athens(雅典国立技术大学电气与计算机工程学院);Industrial Systems Institute, Athena Research Center(雅典娜研究中心工业系统研究所)
研究针对二维距离图像分割的无限制对抗攻击,提出基于扩散并利用分割损失对抗引导的方法,在SemanticKITTI数据集实验,能跨架构转移,相比基线在有效性与现实性间有独特权衡,实现可控退化。
2026-07-14 cs.CV cs.LG
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz(美因茨大学信息学研究所)
本文提出了马尔可夫生成对抗网络(MGANs),一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果,但它们仍然具有相当大的计算成本(低分辨率图像的运行时间为几分钟)。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络,而不是以前工作中的数值解卷积,该网络捕获马尔可夫补丁的特征统计,并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理,或照片到艺术绘画。通过对抗训练,我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化,因此我们的运行时性能(25Hz下的0.25 M像素图像)远远超过了以前的神经纹理合成器(至少快500倍)。我们将这个想法应用到纹理合成,风格转移和视频风格化。
2016-04-15 cs.CV
Adversarial Pseudo Healthy Synthesis Needs Pathology Factorization
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
伪健康合成,即从病理图像创建对象特定的“健康”图像,可能有助于诸如异常检测、理解由病理和疾病引起的变化或甚至作为数据增强的任务。我们将此任务视为因子分解问题:我们的目标是将看起来健康的部分和疾病所在的部分(作为地图)分开。然后,这两个因素(通过网络)重组,以重建输入的疾病图像。我们使用配对或非配对设置以对抗的方式训练我们的模型,其中我们在可用时将疾病图像和地图(作为分割掩模)配对。我们定量地评估伪健康图像的质量。我们在ISLES和BraTS数据集上进行的一系列实验表明,我们的方法优于条件GAN和CycleGAN,突出了在伪健康图像生成的图像翻译任务中使用对抗方法的挑战。
2019-01-10 cs.CV cs.LG stat.ML
Geometry Guided Adversarial Facial Expression Synthesis
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
人脸表情合成是计算机图形学和模式识别领域的研究热点。它在人脸动画和人脸识别中得到了广泛的应用。然而,它仍然是具有挑战性的,由于高层次的语义存在的大和非线性的面部几何形状的变化。本文提出了一种几何引导的生成对抗网络(G2-GAN),用于照片级真实感和身份保持的面部表情合成。我们采用面部几何形状(基准点)作为可控条件来指导具有特定表情的面部纹理合成。一对生成对抗子网络被联合训练用于相反的任务:表达删除和表达合成。配对网络形成了中性表情和任意表情之间的映射循环,这也促进了其他应用,如人脸传输和表情不变人脸识别。实验结果表明,我们的方法可以产生令人信服的感知结果在各种面部表情合成数据库。一个表情不变的人脸识别实验也进一步显示我们所提出的方法的优点。
2017-12-10 cs.CV
You Only Need Adversarial Supervision for Semantic Image Synthesis
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Bonn(波恩大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
尽管最近取得了成功,但用于语义图像合成的GAN模型在仅使用对抗监督进行训练时仍然存在图像质量差的问题。从历史上看,另外采用基于VGG的感知损失有助于克服这个问题,显著提高合成质量,但同时限制了GAN模型用于语义图像合成的进展。在这项工作中,我们提出了一种新的,简化的GAN模型,它只需要对抗监督,以实现高质量的结果。我们重新设计了一个语义分割网络,直接使用给定的语义标签映射作为训练的基础事实。通过提供更强的监督,以及生成器通过空间和语义感知反馈,我们能够合成更高保真的图像,更好地对齐到他们的输入标签地图,使使用的感知损失多余的。此外,我们通过对注入到生成器中的3D噪声张量进行全局和局部采样来实现高质量的多模态图像合成,这允许完全或部分图像变化。我们表明,我们的模型合成的图像更加多样化,并遵循真实图像的颜色和纹理分布更密切。我们实现了$6$ FID和$5$ mIoU点的平均改进,超过了仅使用对抗监督的不同数据集的最新技术水平。
2021-03-19 cs.CV cs.LG eess.IV
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington(华盛顿大学);Institute of Systems Biology(系统生物学研究所);Islamic Azad University(伊斯兰阿扎德大学)
本文综述了生成对抗网络(GAN)在脑图像跨模态合成中的最新进展,涵盖CT、PET和MRI之间的相互转换,以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
SVS: Adversarial refinement for sparse novel view synthesis
University of Surrey(萨里大学);BBC R&D(英国广播公司研发部)
本文提出了稀疏视图合成。这是一个视图合成问题,其中参考视图的数量是有限的,并且目标视图和参考视图之间的基线是重要的。在这些条件下,当前的辐射场方法由于不可避免的伪像(诸如3D浮动斑点、模糊和结构重复)而灾难性地失败,每当参考视图的数量有限时,或者目标视图显著地偏离参考视图时。网络架构和损失规则化的进步无法令人满意地消除这些伪影。场景中的遮挡确保了这些区域的真实内容对模型不可用。在这项工作中,我们专注于在这些区域内产生幻觉的似是而非的场景内容。为此,我们统一辐射场模型与对抗学习和感知损失。由此产生的系统提供了高达60%的提高感知精度相比,目前国家的最先进的辐射场模型在这个问题上。
2022-11-14 cs.CV cs.GR cs.LG
Adversarial nets with perceptual losses for text-to-image synthesis
Harvard University(哈佛大学)
生成对抗网络(GANs)中的最新方法可以从描述性文本中自动合成逼真的图像。尽管整体质量尚可,但生成的图像通常暴露出缺乏感兴趣对象的结构定义的可见缺陷。在本文中,我们的目标是通过提高生成图像的感知质量来扩展基于GAN的文本到图像合成的最新技术水平。区别于以前的工作,我们的合成图像生成器优化感知损失函数,测量像素,功能激活,纹理差异对自然图像。我们提出了视觉上更引人注目的合成图像的鸟类和花卉产生的文字描述相比,一些最突出的现有工作。
2017-08-30 cs.CV
Towards Better Adversarial Synthesis of Human Images from Text
University of Bonn(波恩大学)
本文提出了一种从文本生成多个三维人体网格的方法。在SMPL模型的基础上,用三维网格表示人体形状。该模型的性能在COCO数据集上进行评估,该数据集包含具有挑战性的人体形状和个体之间复杂的交互。该模型能够捕获场景的动态和基于文本的个体之间的交互。我们进一步展示了如何使用这样的形状作为图像合成框架的输入,有助于约束网络以合成具有真实人类形状的人类。
2021-07-05 cs.CV
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
在本文中,我们提出了生成对抗网络(GAN)架构,使用胶囊网络进行图像合成。基于特征的位置等方差原理,胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络(CNN)更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多,因此,与使用CNN的GANs及其变体相比,可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外,我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Discriminator Synthesis: On reusing the other half of Generative Adversarial Networks
Computer Vision Center (CVC)(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
生成对抗网络早已彻底改变了计算机视觉的世界,并与之相联系,艺术的世界。人们付出了艰苦的努力来充分利用和稳定训练,以便生成器网络的输出具有最高的保真度,但很少在训练完成后使用判别器。在这项工作中,我们建议使用后者,并展示了一种使用它从训练数据集中学习到的特征来改变图像并从头开始生成图像的方法。我们将这种方法命名为Discriminator Dreaming,完整的代码可以在https://github.com/PDillis/stylegan3-fun上找到。
2021-11-12 cs.CV cs.LG eess.IV
Age-Oriented Face Synthesis with Conditional Discriminator Pool and Adversarial Triplet Loss
University of Warwick(华威大学);Deakin University(迪肯大学)
香草生成对抗网络(GAN)通常用于生成描绘衰老和年轻面孔的逼真图像。然而,这种普通GANs在面向年龄的人脸合成任务中的性能通常受到模式坍塌问题的影响,这可能导致生成具有最小变化的人脸和较差的合成精度。此外,最近的面向年龄的人脸合成方法使用的L1或L2约束,以保持合成的脸,这隐含地限制了身份持久性的能力时,这些约束与一个平凡的加权因子。在本文中,我们提出了一种面向年龄的人脸合成任务,实现了高的合成精度与强身份持久性的能力。具体来说,为了实现高的合成精度,我们的方法解决了模式坍塌的问题与一个新的条件判别池(CDP),其中包括多个判别器,每个针对一个特定的年龄类别。为了实现强大的身份持久性能力,我们的方法使用了一种新的对抗性三重损失。这种基于三重损失的损失增加了一个排名操作,以进一步将正嵌入拉向锚嵌入,从而显著降低了特征空间中的类内方差。通过大量的实验,我们表明,我们提出的方法优于国家的最先进的方法在合成精度和身份持久性的能力,定性和定量。
2020-07-03 cs.CV
Region Based Adversarial Synthesis of Facial Action Units
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
人脸表情合成或编辑在情感计算和人脸表情建模领域受到越来越多的关注。针对现有人脸表情合成方法存在训练数据成对、分辨率低、身份信息受损等问题,提出了一种基于人脸动作单元标注的局部注意条件生成对抗网络(LAC-GAN).给定期望的AU标签,LAC-GAN利用本地AU区域规则来控制每个AU的状态,并利用注意机制将其中的几个AU组合成整个照片般逼真的面部表情或任意面部表情。此外,在我们提出的方法中,利用不成对的训练数据来训练具有相应AU标签的操作模块,该操作模块学习面部表情流形之间的映射。在常用的BP 4D数据集上进行了广泛的定性和定量评估,以验证我们提出的AU合成方法的有效性。
2019-10-23 cs.CV
Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)
University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学);Royal Prince Alfred Hospital(皇家阿尔弗雷德王子医院)
正电子发射断层扫描(PET)图像合成是提高计算机辅助诊断系统训练数据质量的重要手段。然而,现有的图像合成方法在合成低分辨率PET图像时存在问题。为了解决这些局限性,我们提出了基于多通道生成对抗网络(M-GAN)的PET图像合成方法。与依赖于使用低级特征的现有方法不同,所提出的M-GAN能够基于对抗学习概念在高级语义中表示特征。此外,M-GAN能够从注释(标签)中获取输入,以合成高摄取区域,例如,从计算机断层摄影(CT)图像中提取合成的PET图像,以约束外观一致性并直接输出合成的PET图像。我们对50例肺癌PET-CT研究的结果表明,与现有方法相比,我们的方法更接近真实的PET图像。
2017-07-31 cs.CV
Generative Adversarial Synthesis of Radar Point Cloud Scenes
RWTH Aachen University(亚琛工业大学);Technische Universität Ilmenau(伊尔梅瑙工业大学);Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学)
本文提出基于PointNet++的GAN模型合成逼真雷达点云场景,以替代费力的真实数据采集与仿真方法,并通过二分类器验证其性能接近真实场景(约87%)。
2024-10-17 cs.CV cs.LG eess.IV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.(STAT创新私人有限公司)
将生成对抗神经网络(GANs)应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像,显示相同的技术可用于医疗领域,以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片,并使用尖端技术训练深度卷积生成对抗神经网络(DCGAN)。合成输出进行了比较,真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
High-Resolution Mammogram Synthesis using Progressive Generative Adversarial Networks
Kheiron Medical Technologies Ltd.(Kheiron医疗技术有限公司);Imperial College London(帝国理工学院)
生成合成医学图像的能力对于数据增强、域转移和分布外检测是有用的。然而,由于纹理异质性、精细结构细节和特定组织特性,生成逼真的高分辨率医学图像是具有挑战性的,特别是对于全视野数字乳腺X射线摄影(FFDM)。在本文中,我们探索使用渐进训练的生成对抗网络(GANs)来合成乳房X线照片,克服训练这种对抗模型时的潜在不稳定性。这项工作是第一个表明生成逼真的合成医学图像是可行的,高达1280x1024像素,医学图像合成达到的最高分辨率,使标准乳房摄影悬挂协议内的可视化。我们希望这项工作可以作为一个有用的指导和促进进一步的研究GANs在医学成像领域。
2019-09-03 cs.CV
SurfGen: Adversarial 3D Shape Synthesis with Explicit Surface Discriminators
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
深度生成模型的最新进展导致了3D形状合成的巨大进步。虽然现有的模型能够合成表示为体素,点云,或隐式函数的形状,这些方法只能间接地执行最终的三维形状表面的可扩展性。在这里,我们提出了一个3D形状合成框架(SurfGen),它直接将对抗训练应用于对象表面。我们的方法使用可微球面投影层来捕获和表示隐式3D生成器的显式零等值面作为单位球面上定义的函数。通过在对抗设置中使用球形CNN处理3D对象表面的球形表示,我们的生成器可以更好地学习自然形状表面的统计数据。我们在大规模形状数据集上评估了我们的模型,并证明了端到端训练模型能够生成具有不同拓扑结构的高保真3D形状。
2022-01-01 cs.CV
Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks
Marquette University(马凯特大学)
深度学习是计算机断层扫描(CT)图像处理(如器官分割)中流行且功能强大的工具,但其对大型训练数据集的要求仍然是一个挑战。尽管儿童在成长过程中存在很大的解剖变异性,但由于对儿童的辐射风险,儿科CT扫描的训练数据集尤其难以获得。在本文中,我们提出了一种方法,有条件地合成逼真的儿科CT图像,使用一个新的辅助分类器生成对抗网络(ACGAN)架构,考虑到年龄信息。所提出的网络生成年龄调节的高分辨率CT图像,以丰富儿科训练数据集。
2020-01-31 cs.CV cs.LG eess.IV
Adversarial Text-to-Image Synthesis: A Review
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心);Technische Universität Kaiserslautern(凯泽斯劳滕工业大学);Universität Hamburg(汉堡大学)
随着生成对抗网络的出现,从文本描述合成图像最近已成为一个活跃的研究领域。它是一种灵活直观的条件图像生成方法,在过去几年中,在视觉真实性,多样性和语义对齐方面取得了重大进展。然而,该领域仍然面临着一些挑战,需要进一步的研究工作,例如能够生成具有多个对象的高分辨率图像,以及开发与人类判断相关的合适且可靠的评估指标。在这篇综述中,我们介绍了对抗性文本到图像合成模型的最新发展状况,以及自五年前成立以来的发展情况,并提出了一种基于监督水平的分类法。我们批判性地研究了当前的策略,以评估文本到图像的合成模型,突出缺点,并确定新的研究领域,从更好的数据集和评估指标的开发,以可能的改进,在建筑设计和模型训练。这篇综述补充了以前对生成对抗网络的调查,重点是文本到图像的合成,我们相信这将有助于研究人员进一步推进该领域。
2021-10-06 cs.CV
Style Separation and Synthesis via Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Qihoo 360 Artificial Intelligence Institute(奇虎360人工智能研究院);University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
文体综合是近年来文体研究的热点,但对文体综合的双重问题“文体分离”却鲜有研究。在本文中,我们提出了风格分离和合成生成对抗网络(S3-GAN),以同时对特定类别的对象照片实现风格分离和风格合成。基于物体照片位于流形上且内容和风格独立的假设,采用S3-GAN建立流形与特征向量空间之间的映射,实现内容和风格的分离与合成. S3-GAN由编码器网络、生成器网络和对抗网络组成。编码器网络通过将对象照片映射到潜在向量来执行风格分离。隐向量的两半分别表示内容和样式。生成器网络通过将级联向量作为输入来执行风格合成。连接的向量包含样式目标图像的样式半向量和内容目标图像的内容半向量。一旦从生成器网络获得图像,就施加对抗网络以生成更逼真的图像。在CelebA和UT Zappos 50 K数据集上的实验表明,S3-GAN具有同时进行风格分离和合成的能力,可以在单个模型中捕获多种风格。
2018-11-07 cs.CV
Adversarial Synthesis of Human Pose from Text
University of Bonn(波恩大学);RWTH-Aachen University(亚琛工业大学)
这项工作的重点是从人类水平的文本描述合成人类构成。我们提出了一个基于条件生成对抗网络的模型。它的目的是生成2D人类构成人类书面文字描述的条件。该模型使用COCO数据集进行训练和评估,该数据集由捕获具有各种人类姿势的复杂日常场景的图像组成。我们通过定性和定量的结果表明,该模型是能够合成合理的构成匹配给定的文本,这表明它是可能的,以生成与给定的语义特征,特别是与独特的构成动作是一致的构成。
2020-10-16 cs.CV
Adversarial Open Domain Adaption Framework (AODA): Sketch-to-Photo Synthesis
本文旨在证明对抗性开放域自适应框架用于草图到照片合成的效率。用于从手绘草图生成逼真照片的无监督开放域适配是具有挑战性的,因为对于训练数据没有该类的草图。学习监督的缺失,以及手绘与绘画之间的巨大领域差距,使其难以实现。我们提出了一种方法,学习草图到照片和照片到草图生成合成从图片中丢失的手绘图。由于合成草图和真实草图之间的领域差距,在虚假图纸上训练的生成器在处理缺乏类的图纸时可能会产生不令人满意的结果。为了解决这个问题,我们提供了一个简单但有效的开放域采样和优化方法,欺骗生成器将虚假图纸视为真实。我们的方法概括了学习素描到照片和照片到素描的映射,从域内输入到开放域类别。在Scribble和SketchyCOCO数据集上,我们将我们的技术与当前最具竞争力的方法进行了比较。对于许多类型的开放域绘图,我们的模型在合成准确的颜色,物质和保留结构布局方面表现出色。
2021-08-19 cs.AI cs.CV cs.LG
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而,当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是,小的对象往往会逐渐消失,而大的对象通常会生成为补丁的拼贴。为了解决这个问题,我们提出了一个双金字塔生成对抗网络(DP-GAN),它在所有尺度上联合学习空间自适应归一化块的条件,使得尺度信息被双向使用,并且它在不同尺度上统一监督。我们的定性和定量的结果表明,所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey(罗格斯新泽西州立大学)
从真实照片及其逆合成人脸草图有许多应用。然而,照片/素描合成仍然是一个具有挑战性的问题,由于事实上,照片和素描有不同的特点。在这项工作中,我们将此任务视为图像到图像的翻译问题,并探索最近流行的生成模型(GANs),以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果,但是,众所周知,它们在生成高分辨率逼真图像方面的能力有限。为此,我们提出了一种新的合成框架,称为使用多对抗网络的照片草图合成(PS2-MAN),以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像,然后在网络中进行隐式细化以生成较高分辨率的图像。此外,由于照片草图合成是一个耦合/配对的翻译问题,我们利用对信息使用CycleGAN框架。图像质量评估(IQA)和照片草图匹配实验进行了比较,以证明我们的框架的优越性能,现有的国家的最先进的解决方案。代码可在:https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
Data synthesis and adversarial networks: A review and meta-analysis in cancer imaging
Universitat de Barcelona(巴塞罗那大学);Erasmus MC(伊拉斯姆斯医学中心);Imperial College London(帝国理工学院)
尽管技术和医学进步,但基于成像数据的癌症检测、解释和治疗继续构成重大挑战。这些因素包括观察者间变异性、类别不平衡、数据集变化、肿瘤间和肿瘤内异质性、恶性肿瘤确定和治疗效果不确定性。鉴于生成对抗网络(GANs)、数据合成和对抗训练的最新进展,我们评估了这些技术在解决癌症成像的一些关键挑战方面的潜力。我们将这些挑战分为:(a)数据稀缺和不平衡,(b)数据访问和隐私,(c)数据注释和分割,(d)癌症检测和诊断,以及(e)肿瘤分析,治疗计划和监测。基于我们对164篇在癌症成像背景下应用对抗训练技术的出版物的分析,我们强调了多个具有研究潜力的未充分探索的解决方案。我们进一步贡献的综合研究可信度测试(SynTRUST),一个荟萃分析框架,用于评估医学图像合成研究的验证严格性。SynTRUST基于26个具体的彻底性、可重复性、有用性、可扩展性和可持续性的衡量标准。基于SynTRUST,我们分析了16个最有前途的癌症成像挑战解决方案,并观察到总体上的高验证严格性,但也有一些可取的改进。通过这项工作,我们努力弥合临床癌症成像社区的需求与人工智能社区中数据合成和对抗网络的当前和前瞻性研究之间的差距。
2022-11-27 cs.AI cs.CV cs.LG
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong(香港中文大学);Texas A&M University(得克萨斯农工大学)
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力,但它的条件图像合成能力较弱,特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中,基于对图像及其条件的联合概率密度建模,我们提出了一种新的基于流的生成模型,称为条件对抗生成流(CAGlow)。而不是从潜在空间中解开属性,我们开辟了一条新的道路,学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$,CAGlow可以将其编码为采样的$z$,然后在复杂的情况下实现鲁棒的条件图像合成,例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现,因此可以合成具有条件信息的图像,如类别,属性,甚至一些未知属性。大量的实验表明,CAGlow确保了不同条件的独立性,并在很大程度上优于常规Glow。
2019-04-03 cs.CV
Image Synthesis in Multi-Contrast MRI with Conditional Generative Adversarial Networks
Bilkent University(比尔肯大学);National Magnetic Resonance Research Center (UMRAM), Bilkent University(比尔肯大学国家磁共振研究中心(UMRAM));Sabuncu Brain Research Center, Bilkent University(比尔肯大学Sabuncu脑研究中心);Hacettepe University(哈塞特佩大学)
采集具有多种不同对比度的相同解剖结构的图像增加了MR检查中可用的诊断信息的多样性。然而,扫描时间限制可能会阻止某些对比度的采集,并且某些对比度的图像可能会被噪声和伪影破坏。在这种情况下,从剩余的造影剂合成未获得的或损坏的造影剂的能力可以提高诊断效用。对于多对比度合成,当前方法经由非线性回归或确定性神经网络来学习源图像与目标图像之间的非线性强度变换。这些方法又可能遭受合成图像中的高空间频率信息的损失。本文提出了一种基于条件生成对抗网络的多对比度MRI合成新方法。所提出的方法通过对抗性损失保留高频细节;并且它通过注册多对比度图像的像素损失和未注册图像的周期一致性损失提供增强的合成性能。来自相邻截面的信息被用于进一步提高合成质量。来自健康受试者和患者的T1和T2加权图像的演示清楚地表明,与以前的最先进的方法相比,所提出的方法具有更好的性能。我们的合成方法可以帮助提高多对比MRI检查的质量和多功能性,而无需延长检查时间。
2018-02-05 cs.CV
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis
University of Technology Sydney(悉尼科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
3D感知图像合成旨在通过学习3D表示来从多个视图生成对象的图像。然而,一个关键的挑战仍然存在:现有的方法缺乏几何约束,因此通常无法生成多视图一致的图像。为了解决这一挑战,我们提出了多视图一致性生成对抗网络(MVCGAN)的高质量的三维感知图像合成与几何约束。通过利用所生成的图像的底层3D几何信息,即,深度和相机变换矩阵,我们显式地建立视图之间的立体对应关系,以执行多视图联合优化。特别是,我们加强了视图对之间的光度一致性,并将立体混淆机制集成到训练过程中,鼓励模型推理正确的3D形状。此外,我们设计了一个两阶段的训练策略与特征级多视角联合优化,以提高图像质量。在三个数据集上的大量实验表明,MVCGAN实现了3D感知图像合成的最先进的性能。
2022-04-13 cs.CV
High-Frequency Anti-DreamBooth: Robust Defense against Personalized Image Synthesis
The University of Tokyo(东京大学)
针对个性化图像合成滥用,提出在高频区域添加强扰动的对抗攻击方法,增强对对抗性净化的鲁棒性,有效阻碍恶意生成。
2024-11-03 cs.CV
Conditional Adversarial Synthesis of 3D Facial Action Units
Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学)
采用基于深度学习的方法进行细粒度面部表情分析(诸如涉及动作单元(AU)强度估计的那些)是困难的,这是由于缺乏具有足够多样化的AU标签的真实面部的大规模数据集以用于训练。在本文中,我们考虑如何使用AU级面部图像合成来大幅增强这样的数据集。我们提出了一个AU合成框架,结合了著名的3D变形模型(3DMM),它本质上解开其他面部属性的表达参数,与模型,对抗生成3DMM表达参数的条件下给定的目标AU标签,在对比更传统的方法直接生成面部图像。通过这种方式,我们能够从所需的AU标签合成表情参数和面部图像的新组合。在基准DISFA数据集上的大量定量和定性结果证明了我们的方法在基于深度学习的AU强度估计的3DMM面部表情参数合成和数据增强上的有效性。
2018-03-15 cs.CV
pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Stanford University(斯坦福大学)
我们见证了3D感知图像合成的快速进展,利用了生成视觉模型和神经渲染的最新进展。然而,现有的方法在两个方面存在不足:第一,它们可能缺乏底层3D表示或依赖于视图不一致的渲染,因此合成的图像不是多视图一致的;第二,它们通常依赖于表现力不够的表示网络架构,因此它们的结果缺乏图像质量。我们提出了一种新的生成模型,称为周期性隐式生成对抗网络($π$ -GAN或pi-GAN),用于高质量的3D感知图像合成。$π$ -GAN利用具有周期性激活函数和体积渲染的神经表示来将场景表示为具有精细细节的视图一致的3D表示。所提出的方法获得了国家的最先进的结果,三维感知图像合成与多个真实和合成数据集。
2021-04-05 cs.CV cs.GR
Robustness-via-Synthesis: Robust Training with Generative Adversarial Perturbations
LENS Inc.(LENS公司)
在发现对抗攻击后,鲁棒模型已成为基于深度学习的系统的必需品。到目前为止,一阶攻击的对抗性训练一直是对抗性扰动最有效的防御之一。大多数对抗性训练方法都集中在用损失函数相对于输入图像的梯度迭代地扰动每个像素。然而,基于梯度攻击的对抗训练缺乏多样性,并且不能很好地推广到自然图像和各种攻击。本研究提出一个强健的训练演算法,其中对抗性扰动是使用一个产生器网路从一个随机向量自动合成。分类器是用交叉熵损失进行训练的,交叉熵损失是用自然和合成对抗样本的表示之间的最佳传输距离进行正则化的。与目前流行的生成式防御不同,所提出的一步攻击生成框架在不利用分类器损失梯度的情况下合成了不同的扰动。实验结果表明,所提出的方法达到了相当的鲁棒性与各种基于梯度和生成鲁棒训练技术CIFAR 10,CIFAR 100,SVHN数据集。此外,与基线相比,所提出的鲁棒训练框架可以很好地推广到自然样本。代码和经过训练的模型将公开提供。
2021-08-22 cs.CV
Fine-grained Synthesis of Unrestricted Adversarial Examples
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院);Facebook AI(Facebook人工智能研究院)
我们提出了一种新的方法,通过操纵图像生成的细粒度方面来生成不受限制的对抗性示例。与现有的通常手工制作几何变换的无限制攻击不同,我们利用最先进的生成模型学习风格和随机修改。这使我们能够以受控的细粒度方式操作图像,而不受范数阈值的限制。我们的方法可以用于有针对性的和非有针对性的无限制的攻击分类,语义分割和目标检测模型。我们的攻击可以绕过经过认证的防御,但我们的对抗图像看起来与人类评估验证的自然图像无法区分。此外,我们证明了使用我们的示例进行对抗性训练可以提高模型在干净图像上的性能,而无需对架构进行任何修改。我们在LSUN,CelebA-HQ和COCO-Stuff作为高分辨率数据集进行实验,以验证我们所提出的方法的有效性。
2020-10-22 cs.CR cs.CV cs.LG
Three Dimensional MR Image Synthesis with Progressive Generative Adversarial Networks
Bilkent University(比尔肯大学)
用于三维MRI合成的主流深度模型是横截面的或体积的,这取决于输入。横截面模型可以降低模型的复杂性,但它们可能导致不连续伪影。另一方面,体积模型可以减轻不连续性伪影,但由于模型复杂性增加以及训练数据不足,它们可能会损失空间分辨率。为了减轻这两种方法的局限性,我们提出了一种新的模型,通过更简单的合成任务在各个方向上逐步恢复目标体积。
2020-12-18 cs.CV eess.IV
Generative Adversarial Networks for Realistic Synthesis of Hyperspectral Samples
ONERA, The French Aerospace Lab(法国航空航天实验室(ONERA));Univ. Bretagne-Sud(南布列塔尼大学)
这项工作解决了训练深度神经网络所需的注释高光谱数据的稀缺性。特别地,我们研究了生成对抗网络及其在一致性标记光谱合成中的应用。通过在公共数据集上训练这样的网络,我们证明了这些模型不仅能够捕获潜在的分布,而且还能够生成外观相似且物理上合理的光谱。此外,我们通过实验验证了合成样本可以作为一种有效的数据增强策略。我们使用各种深度分类器在几个公共高光谱数据集上验证了我们的方法。
2018-06-07 cs.CV cs.NE
Attention, Please! Adversarial Defense via Activation Rectification and Preservation
Beijing Jiaotong University(北京交通大学)
本研究通过考察对抗攻击与视觉注意变化之间的相关性,为对抗攻击问题提供了新的认识。特别地,我们观察到:(1)具有不完整注意区域的图像更容易受到对抗攻击的影响;(2)成功的对抗攻击导致偏离和分散的注意力地图。因此,基于注意力的对抗防御框架被设计为同时校正注意力地图以进行预测,并保留对抗图像和原始图像之间的注意力区域。在视觉注意力变化的背景下,增加迭代攻击样本的问题也进行了讨论。我们希望在这项研究中的注意力相关的数据分析和防御解决方案将揭示一些对抗攻击背后的机制,也有助于未来的对抗防御/攻击模型的设计。
2022-12-29 cs.CV
Photographic Text-to-Image Synthesis with a Hierarchically-nested Adversarial Network
University of Florida(佛罗里达大学)
本文提出了一种新的方法来处理具有挑战性的任务,生成摄影图像的语义图像描述的条件。我们的方法在网络层次结构中引入了伴随的层次嵌套对抗目标,这些目标规范了中间层表示,并帮助生成器训练捕获复杂的图像统计数据。我们提出了一个可扩展的单流生成器架构,以更好地适应联合鉴别器,并将生成的图像推到高分辨率。我们采用了多用途的对抗损失,以鼓励更有效的图像和文本信息的使用,以提高语义一致性和图像保真度的同时。此外,我们引入了一种新的视觉语义相似性度量来评估生成的图像的语义一致性。通过在三个公共数据集上进行广泛的实验验证,我们的方法在不同的评估指标上显着改善了所有数据集上的现有技术。
2018-04-06 cs.CV
McCaD: Multi-Contrast MRI Conditioned, Adaptive Adversarial Diffusion Model for High-Fidelity MRI Synthesis
Monash University(莫纳什大学);Monash Biomedical Imaging, Monash University(莫纳什大学生物医学成像中心);Imperial College(帝国理工学院)
McCaD提出多对比度MRI条件化自适应对抗扩散模型,通过多尺度特征引导机制和空间特征注意力损失实现高保真MRI合成,在肿瘤和健康数据集上优于现有方法。
2024-09-01 cs.CV
Synergistic Reconstruction and Synthesis via Generative Adversarial Networks for Accelerated Multi-Contrast MRI
Bilkent University(比尔肯特大学)
解剖结构的多重对比MRI采集丰富了可用于诊断的信息量。然而,与额外对比度相关联的过多扫描时间可能是限制因素。提高扫描效率的两种主流方法是欠采样采集的重建和缺失采集的合成。在重建中,性能随着采样密度的降低而向更高的加速因子下降,特别是在高空间频率下。在合成中,来自目标对比度的数据样本的缺失可导致对图像特征的伪像敏感性或不敏感性。本文提出了一种基于条件生成对抗网络的多对比度MRI协同重建合成新方法。所提出的方法保留高频细节的目标对比度依赖于共享的高频信息可从源对比度,并防止特征泄漏或损失依赖于欠采样采集的目标对比度。健康受试者和患者的脑MRI数据集上的演示表明,与以前的最先进的方法相比,所提出的方法的性能优越。所提出的方法可以帮助提高质量和扫描效率的多对比度MRI检查。
2018-05-27 cs.CV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee(田纳西大学)
在生成对抗网络(GANs)成功的基础上,条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发,本文提出了一种快速收敛的条件GAN(FC-GAN)。除了vanilla GANs中使用的真/假分类器之外,我们的鉴别器还有一个高级辅助分类器,可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合,这可能会像AC-GAN那样混淆真实数据的分类,并使高级辅助分类器表现为另一个真实/假分类器。因此,FC-GAN可以加速所有类别的区分过程,从而提高收敛速度。图像合成的实验结果表明,我们的模型是有竞争力的图像质量,同时实现了更快的收敛速度。
2018-05-05 cs.CV
Instance Map based Image Synthesis with a Denoising Generative Adversarial Network
College of Information Science and Engineering(信息科学与工程学院);Ocean University of China(中国海洋大学)
基于语义布局的图像合成技术近年来受到了广泛的关注,它得益于生成对抗网络(GAN)的成功。如何在保持GAN随机性的同时提高合成图像的均匀性仍然是一个挑战。我们提出了一种新的去噪框架来处理这个问题。当从语义布局合成图像到逼真的RGB照片时,重叠对象生成是另一项具有挑战性的任务。为了克服这一缺陷,我们包括一个单热语义标签地图,迫使生成器更加关注重叠对象的生成。在此基础上,通过引入扰动损失和级联层损失,改进了双稳态振荡器的损失函数,以指导振荡器的产生过程。我们将我们的方法应用于Cityscapes,Facades和NYU数据集,并展示了我们模型的图像生成能力。
2018-01-10 cs.CV
Logo Synthesis and Manipulation with Clustered Generative Adversarial Networks
ETH Zurich(苏黎世联邦理工学院);Merantix GmbH(Merantix 有限公司);KU Leuven(鲁汶大学)
为新品牌设计徽标是设计师和客户之间漫长而乏味的来回过程。在本文中,我们将探讨机器学习在多大程度上可以解决设计师的创造性任务。为此,我们建立了一个数据集- LLD -从万维网上抓取的600 k+徽标。在这种多模态数据上训练生成对抗网络(GANs)进行徽标合成并不简单,并且对于一些最先进的方法会导致模式坍塌。我们建议使用通过聚类获得的合成标签来解开和稳定GAN训练。我们能够产生一个高多样性的似是而非的标志,我们展示了潜在的空间探索技术,以减轻互动方式的标志设计任务。此外,我们在CIFAR 10上验证了所提出的聚类GAN训练,当使用通过对ImageNet分类器的特征进行聚类而获得的合成标签时,获得了最先进的Inception分数。GANs可以通过聚类实现的合成标签来处理多模态数据,我们的研究结果显示了这种技术在徽标合成和操作方面的创造性潜力。我们的数据集和模型将在https://data.vision.ee.ethz.ch/cvl/lld/上公开提供。
2017-12-12 cs.CV cs.LG stat.ML
Pseudo-healthy synthesis with pathology disentanglement and adversarial learning
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
伪健康合成是从病理图像创建特定对象的“健康”图像的任务。这种图像可以有助于异常检测和理解病理和疾病引起的变化等任务。在本文中,我们提出了一个模型,鼓励解开的病理信息从什么似乎是健康的。我们将看起来健康的东西和疾病所在的地方分解为分割图,然后通过网络重新组合以重建输入的疾病图像。我们使用配对或非配对设置对抗性地训练我们的模型,其中我们在可用时配对疾病图像和地图。我们定量和主观地,与人类的研究,使用几个标准来评估伪健康图像的质量。我们在ISLES,BraTS和Cam-CAN数据集上进行的一系列实验表明,我们的方法优于文献中的几种基线和方法。我们还表明,由于更好的训练过程,我们可以恢复由疾病引起的周围组织的变形。我们的实现可以在https://github.com/xiat0616/pseudo-healthy-synthesis上公开获得。本文已被医学图像分析接受:https://doi.org/10.1016/j.media.2020.101719。
2021-06-18 cs.CV cs.LG eess.IV
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research(IBM研究院)
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起,病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据,这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差,并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法,创建了一个允许直接驱动合成的框架。我们提供的定性结果表明,通过单独修改形状和密度的合成控制,和定量的结果表明,在发电机模型中嵌入的密度信息,有助于提高病变分割性能相比,单独使用的形状。
2021-06-01 cs.CV eess.IV
Navigating the Trade-off: A Synthesis of Defensive Strategies for Zero-Shot Adversarial Robustness in Vision-Language Models
本报告综合八篇论文,分析视觉语言模型零样本对抗鲁棒性中鲁棒性与泛化的权衡,对比对抗微调与免训练防御,并展望混合防御与对抗预训练方向。
2025-08-07 cs.AI cs.CV
Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation
Stability AI
本文提出潜在对抗性扩散蒸馏(LADD),利用预训练潜在扩散模型特征,简化训练并提升性能,应用于Stable Diffusion 3(8B)得到SD3-Turbo,仅需四步采样即可匹配最先进文本到图像生成器性能,并验证其在图像编辑和修复中的有效性。
2024-03-18 cs.CV
Adversarial Video Generation on Complex Datasets
DeepMind
自然图像的生成模型已经通过规模的强大杠杆作用向高保真样本发展。我们试图通过展示在复杂的Kinetics-600数据集上训练的大型生成对抗网络能够产生比以前工作更高复杂度和保真度的视频样本,将这一成功带到视频建模领域。我们提出的模型,双视频鉴别器GAN(DVD-GAN),规模更长,更高分辨率的视频,利用计算效率的分解,其分辨率。我们对视频合成和视频预测的相关任务进行了评估,并实现了用于Kinetics-600预测的最新Fréchet Inception Distance,以及用于UCF-101数据集合成的最新Inception Score,同时为Kinetics-600的合成建立了强大的基线。
2019-09-25 cs.CV cs.LG stat.ML
Adversarial cycle-consistent synthesis of cerebral microbleeds for data augmentation
Radboud UMC(拉德堡德大学医学中心);Erasmus MC(伊拉斯姆斯医学中心)
我们提出了一个新的框架,可控的病理图像合成数据增强。受CycleGAN的启发,我们在两个领域之间执行周期一致的图像到图像转换:健康和病理。在语义掩码的指导下,经过逆向训练的生成器在指定位置的健康图像上合成病理。我们证明了我们的方法在创伤性脑损伤患者脑微出血的机构数据集。我们利用我们的方法生成的合成图像进行脑微出血检测中的数据增强。用合成图像丰富训练数据集显示出提高创伤性脑损伤患者脑微出血检测性能的潜力。
2021-01-16 cs.CV eess.IV
Generative Adversarial Text to Image Synthesis
University of Michigan(密歇根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
从文本自动合成逼真的图像将是有趣和有用的,但目前的人工智能系统离这一目标还很远。然而,近年来,通用的和强大的递归神经网络架构已被开发用于学习判别式文本特征表示。与此同时,深度卷积生成对抗网络(GANs)已经开始生成特定类别的高度引人注目的图像,例如人脸、专辑封面和房间内部。在这项工作中,我们开发了一种新的深层架构和GAN公式,以有效地弥合文本和图像建模的这些进展,将视觉概念从字符转换为像素。我们证明了我们的模型生成合理的图像的鸟类和花卉从详细的文字描述的能力。
2016-06-05 cs.CV cs.NE