FVGen: Accelerating Novel-View Synthesis with Adversarial Video Diffusion Distillation
Institute for Creative Technologies(创意技术研究所);University of Southern California(南加州大学)
提出FVGen框架,利用GAN和软化反向KL散度将视频扩散模型蒸馏为四步采样,在保持视觉质量的同时将采样时间减少90%以上,显著提升稀疏视角下3D重建的效率。
2025-08-08 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA(英伟达);Google(谷歌)
生成对抗网络(GAN)框架已经成为各种图像和视频合成任务的强大工具,允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频,这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中,我们提供了GANs的概述,特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练,这是出了名的困难。我们还讨论了它的应用,图像翻译,图像处理,视频合成,和神经渲染。
2020-11-30 cs.CV
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington(华盛顿大学);Institute of Systems Biology(系统生物学研究所);Islamic Azad University(伊斯兰阿扎德大学)
本文综述了生成对抗网络(GAN)在脑图像跨模态合成中的最新进展,涵盖CT、PET和MRI之间的相互转换,以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
Direct Ascent Synthesis: Revealing Hidden Generative Capabilities in Discriminative Models
Independent Researcher
该研究挑战判别与生成模型的根本区别,提出直接上升合成(DAS)方法,通过多分辨率优化CLIP表示,在无额外训练下实现高质量图像合成,支持多样应用并揭示判别模型隐藏的生成能力。
2025-02-11 cs.CV
An Interpretable Generative Model for Handwritten Digit Image Synthesis
University of Southern California(南加州大学);IIIT(印度德里英迪拉·甘地信息技术学院(德里印度信息技术学院));IIT(印度理工学院)
本文提出了一个可解释的手写数字合成生成模型。现代图像生成模型,如生成对抗网络(GANs)和变分自编码器(VAE),通过反向传播(BP)进行训练。训练过程很复杂,基本机制很难解释。我们提出了一个可解释的多阶段PCA方法,以实现相同的目标,并使用手写数字图像合成作为一个说明性的例子。首先,我们在每个阶段根据其输入的协方差推导出基于主成分分析(PCA)的变换核。这导致将相关像素的输入图像转换为不相关分量的光谱向量的变换序列。换句话说,这是一个美白的过程。然后,我们可以通过着色过程合成基于随机向量和多级变换核的图像。生成模型是前馈(FF)设计,因为没有BP用于模型参数确定。它的设计复杂度明显降低,整个设计过程是可解释的。最后,我们使用MNIST数据集设计了一个FF生成模型,并将合成结果与最先进的GAN和VAE方法进行了比较,结果表明所提出的生成模型具有相当的性能。
2018-11-11 cs.CV
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz(美因茨大学信息学研究所)
本文提出了马尔可夫生成对抗网络(MGANs),一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果,但它们仍然具有相当大的计算成本(低分辨率图像的运行时间为几分钟)。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络,而不是以前工作中的数值解卷积,该网络捕获马尔可夫补丁的特征统计,并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理,或照片到艺术绘画。通过对抗训练,我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化,因此我们的运行时性能(25Hz下的0.25 M像素图像)远远超过了以前的神经纹理合成器(至少快500倍)。我们将这个想法应用到纹理合成,风格转移和视频风格化。
2016-04-15 cs.CV
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong(香港中文大学信息工程学系)
尽管生成对抗网络(GANs)在图像合成方面取得了成功,但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中,我们表明,高度结构化的语义层次出现的变化因素,从合成场景的生成表示在国家的最先进的GAN模型,如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示,我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明,由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义:早期层倾向于确定空间布局和配置,中间层控制分类对象,后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações(电信研究所);Universidade da Beira Interior(贝拉内陆大学);DeepNeuronic;NOVA LINCS(新里斯本大学计算机科学实验室);C4-Cloud Computing Competence Center(C4云计算能力中心)
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务,不仅在所生成的形状的质量方面,而且在它们的多样性方面,特别是合成特定动作(动作调节)的逼真身体运动。在本文中,我们提出了Kinetic-GAN,这是一种新的架构,它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作,同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的,其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法,同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Stanford University(斯坦福大学)
我们见证了3D感知图像合成的快速进展,利用了生成视觉模型和神经渲染的最新进展。然而,现有的方法在两个方面存在不足:第一,它们可能缺乏底层3D表示或依赖于视图不一致的渲染,因此合成的图像不是多视图一致的;第二,它们通常依赖于表现力不够的表示网络架构,因此它们的结果缺乏图像质量。我们提出了一种新的生成模型,称为周期性隐式生成对抗网络($π$ -GAN或pi-GAN),用于高质量的3D感知图像合成。$π$ -GAN利用具有周期性激活函数和体积渲染的神经表示来将场景表示为具有精细细节的视图一致的3D表示。所提出的方法获得了国家的最先进的结果,三维感知图像合成与多个真实和合成数据集。
2021-04-05 cs.CV cs.GR
User-Controllable Multi-Texture Synthesis with Generative Adversarial Networks
Samsung AI Center Moscow(三星莫斯科人工智能中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);National Research University Higher School of Economics(高等经济大学)
提出了一种基于生成对抗网络(GANs)的多纹理合成模型,该模型具有用户可控机制。用户控制功能允许明确指定应该由模型生成的纹理。该属性来自于使用编码器部分,该编码器部分从数据集中学习每个纹理的潜在表示。为了确保数据集的覆盖率,我们使用了一个对抗性的损失函数,该函数对给定纹理的不正确再现进行惩罚。在实验中,我们证明了我们的模型可以学习大型数据集和原始数据(如高分辨率照片)的描述性纹理流形。此外,我们应用我们的方法来产生3D纹理,并表明它优于现有的基线。
2019-04-24 cs.CV cs.LG stat.ML
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
在本文中,我们提出了生成对抗网络(GAN)架构,使用胶囊网络进行图像合成。基于特征的位置等方差原理,胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络(CNN)更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多,因此,与使用CNN的GANs及其变体相比,可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外,我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Discriminator Synthesis: On reusing the other half of Generative Adversarial Networks
Computer Vision Center (CVC)(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
生成对抗网络早已彻底改变了计算机视觉的世界,并与之相联系,艺术的世界。人们付出了艰苦的努力来充分利用和稳定训练,以便生成器网络的输出具有最高的保真度,但很少在训练完成后使用判别器。在这项工作中,我们建议使用后者,并展示了一种使用它从训练数据集中学习到的特征来改变图像并从头开始生成图像的方法。我们将这种方法命名为Discriminator Dreaming,完整的代码可以在https://github.com/PDillis/stylegan3-fun上找到。
2021-11-12 cs.CV cs.LG eess.IV
VoLux-GAN: A Generative Model for 3D Face Synthesis with HDRI Relighting
Google(谷歌);Simon Fraser University(西蒙弗雷泽大学)
我们提出了VoLux-GAN,这是一个生成框架,可以通过令人信服的重新照明来合成3D感知的人脸。我们的主要贡献是一个体积的HDRI重光照方法,可以有效地积累沿任何所需的HDR环境地图的每个3D射线的反射,漫反射和镜面反射照明的贡献。此外,我们显示了使用多个鉴别器监督图像分解过程的重要性。特别是,我们提出了一个数据增强技术,利用最新的进展,在单一图像的肖像重新照明,以执行一致的几何形状,反射,漫射和镜面反射组件。多个实验和与其他生成框架的比较表明,我们的模型是如何向逼真的reliightable 3D生成模型迈进了一步。
2022-01-13 cs.CV
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
Autonomous Vision Group(自主视觉小组);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
虽然2D生成对抗网络实现了高分辨率图像合成,但它们在很大程度上缺乏对3D世界和图像形成过程的理解。因此,它们不提供对相机视点或对象姿态的精确控制。为了解决这个问题,最近的几种方法利用中间体素为基础的表示与微分渲染相结合。然而,现有的方法要么产生低图像分辨率,要么在分离相机和场景属性(例如,对象身份可以随视点而变化。在本文中,我们提出了一个生成模型的辐射场,最近被证明是成功的一个单一的场景的新的视图合成。与基于体素的表示相反,辐射场不限于3D空间的粗略离散化,还允许解开相机和场景属性,同时在存在重建模糊性的情况下优雅地降级。通过引入一个多尺度的基于补丁的训练,我们展示了高分辨率图像的合成,同时训练我们的模型从unposed 2D图像单独。我们在几个具有挑战性的合成和真实世界的数据集上系统地分析了我们的方法。我们的实验表明,辐射场是生成图像合成的一个强大的代表,导致3D一致的模型,以高保真度渲染。
2021-03-30 cs.CV
FMRI data augmentation via synthesis
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个经验性的评价功能磁共振数据增强通过合成。为了进行合成,我们使用在真实神经成像数据上训练的生成模型来生成新的任务依赖性功能脑图像。分析的生成模型包括经典的方法,如高斯混合模型(GMM),和现代隐式生成模型,如生成对抗网络(GAN)和变分自动编码器(VAE)。特别地,所提出的GAN和VAE模型利用3维卷积,这使得能够对具有结构化空间相关性的高维脑图像张量进行建模。然后,合成的数据集用于增强分类器,这些分类器旨在预测认知和行为结果。我们的研究结果表明,所提出的模型能够生成高质量的合成脑图像,这是多样的和任务相关的。也许最重要的是,通过合成的数据增强的性能改进被证明是互补的预测模型的选择。因此,我们的研究结果表明,通过合成的数据增强是一种很有前途的方法,以解决有限的可用性的功能磁共振成像数据,并提高预测功能磁共振成像模型的质量。
2019-07-13 cs.CV cs.LG eess.IV
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong(香港中文大学);Texas A&M University(得克萨斯农工大学)
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力,但它的条件图像合成能力较弱,特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中,基于对图像及其条件的联合概率密度建模,我们提出了一种新的基于流的生成模型,称为条件对抗生成流(CAGlow)。而不是从潜在空间中解开属性,我们开辟了一条新的道路,学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$,CAGlow可以将其编码为采样的$z$,然后在复杂的情况下实现鲁棒的条件图像合成,例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现,因此可以合成具有条件信息的图像,如类别,属性,甚至一些未知属性。大量的实验表明,CAGlow确保了不同条件的独立性,并在很大程度上优于常规Glow。
2019-04-03 cs.CV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.(STAT创新私人有限公司)
将生成对抗神经网络(GANs)应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像,显示相同的技术可用于医疗领域,以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片,并使用尖端技术训练深度卷积生成对抗神经网络(DCGAN)。合成输出进行了比较,真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks
Marquette University(马凯特大学)
深度学习是计算机断层扫描(CT)图像处理(如器官分割)中流行且功能强大的工具,但其对大型训练数据集的要求仍然是一个挑战。尽管儿童在成长过程中存在很大的解剖变异性,但由于对儿童的辐射风险,儿科CT扫描的训练数据集尤其难以获得。在本文中,我们提出了一种方法,有条件地合成逼真的儿科CT图像,使用一个新的辅助分类器生成对抗网络(ACGAN)架构,考虑到年龄信息。所提出的网络生成年龄调节的高分辨率CT图像,以丰富儿科训练数据集。
2020-01-31 cs.CV cs.LG eess.IV
3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Massachusetts Institute of Technology(麻省理工学院);Univ. Lille(里尔大学);Inserm(法国国家健康与医学研究院);CHU Lille(里尔大学医院)
通过生成对抗网络(GANs)对三维(3D)医学图像进行图像合成具有巨大的潜力,可以扩展到许多医学应用,例如图像增强和疾病进展建模。然而,当前用于3D医学图像合成的GAN技术需要显著改进以易于适应现实世界的医学问题。在本文中,我们扩展了最先进的StyleGAN 2模型,该模型本身适用于二维图像,以实现3D图像合成。除了图像合成之外,我们还通过从原始StyleGAN 2继承的风格向量研究了3D-StyleGAN的可控性和可解释性,这些风格向量非常适合医学应用:(i)潜在空间投影和重建看不见的真实图像,以及(ii)风格混合。我们使用~ 12,000个三维全脑MR T1图像证明了3D-StyleGAN的性能和可行性,尽管它可以应用于任何3D体积图像。此外,我们探索了不同的超参数配置,以研究更大网络的图像合成的潜在改进。代码和预先训练的网络可在线获得:https://github.com/sh4174/3DStyleGAN。
2021-07-20 cs.CV cs.LG eess.IV
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research(IBM研究院)
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起,病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据,这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差,并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法,创建了一个允许直接驱动合成的框架。我们提供的定性结果表明,通过单独修改形状和密度的合成控制,和定量的结果表明,在发电机模型中嵌入的密度信息,有助于提高病变分割性能相比,单独使用的形状。
2021-06-01 cs.CV eess.IV
Generative Adversarial Networks in Human Emotion Synthesis:A Review
Eastern Mediterranean University(东地中海大学);University of São Paulo(圣保罗大学)
合成真实的数据样本对于学术界和工业界都具有重要价值。深度生成模型已经成为计算机视觉和信号处理等各个研究领域的新兴课题。情感计算是计算机视觉社会中一个广泛关注的话题,它也不例外,并受益于生成模型。事实上,在过去的二十年里,情感计算观察到生成模型的快速衍生。这些模型的应用包括但不限于情感识别和分类、单模态情感合成和跨模态情感合成。因此,我们通过研究现有的数据库,优点和缺点的生成模型以及相关的训练策略,考虑两个主要的人类交流方式,即音频和视频,在人类情感合成的最新进展进行了审查。在此背景下,人脸表情合成,语音情感合成,视听(跨模态)情感合成在不同的应用场景进行了广泛的审查。逐渐地,我们讨论开放的研究问题,以突破该研究领域的界限,以供未来的工作使用。
2020-11-07 cs.AI cs.CV cs.HC
Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
SenseTime Research(商汤科技研究院);Centre for Perceptual and Interactive Intelligence Limited(感知与交互智能中心有限公司)
利用图像生成模型的最新进展,现有的可控面部图像合成方法能够生成具有一定程度可控性的高保真图像,例如,控制所生成的面部图像的形状、表情、纹理和姿态。然而,这些方法集中在2D图像生成模型,这是容易产生不一致的面部图像下大的表情和姿态变化。在本文中,我们提出了一个新的NeRF为基础的有条件的三维人脸合成框架,它使三维可控性所产生的人脸图像施加明确的三维条件,从三维人脸先验。其核心是一个条件生成占用字段(cGOF),有效地强制生成的脸的形状提交给一个给定的3D变形模型(3DMM)网格。为了实现对合成图像的细粒度3D人脸形状的精确控制,我们还将3D地标损失以及体积扭曲损失纳入我们的合成算法中。实验验证了该方法的有效性,它能够生成高保真的人脸图像,并显示出更精确的三维可控性比最先进的基于二维可控人脸合成方法。在https://keqiangsun.github.io/projects/cgof上查找代码和演示。
2022-12-12 cs.CV
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而,当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是,小的对象往往会逐渐消失,而大的对象通常会生成为补丁的拼贴。为了解决这个问题,我们提出了一个双金字塔生成对抗网络(DP-GAN),它在所有尺度上联合学习空间自适应归一化块的条件,使得尺度信息被双向使用,并且它在不同尺度上统一监督。我们的定性和定量的结果表明,所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
A Biophysically-Conditioned Generative Framework for 3D Brain Tumor MRI Synthesis
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Imperial College London(伦敦帝国学院)
本文提出了一种基于生物物理条件的生成框架,用于生成高保真的3D脑肿瘤MRI,通过条件生成模型实现肿瘤合成和健康组织修复,实验结果显示在PSNR指标上取得良好效果。
2025-12-08 cs.CV cs.LG eess.IV
Dual Contradistinctive Generative Autoencoder
Carnegie Mellon University(卡内基梅隆大学);UC San Diego(加州大学圣地亚哥分校)
我们提出了一种新的生成式自动编码器模型,具有双对比度损失,以提高生成式自动编码器,同时进行推理(重建)和合成(采样)。我们的模型,命名为双对比生成自动编码器(DC-VAE),集成了实例级判别损失(保持重建/合成的实例级保真度)和集合级对抗损失(鼓励构建/合成的集合级保真度),两者都是对比的。报道了DC-VAE在不同分辨率(包括32 x32、64 x64、128 x128和512 x512)下的广泛实验结果。在DC-VAE中,VAE中的两种截然不同的损失和谐地工作,导致在没有架构变化的情况下,基线VAE的显著的定性和定量性能增强。国家的最先进的或有竞争力的结果之间的生成自动编码器的图像重建,图像合成,图像插值,和表示学习观察。DC-VAE是一种通用的VAE模型,适用于计算机视觉和机器学习中的各种下游任务。
2020-11-19 cs.CV
Enhanced Magnetic Resonance Image Synthesis with Contrast-Aware Generative Adversarial Networks
Friedrich-Alexander Universität Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校);Technical University of Applied Sciences Amberg-Weiden(安贝格-魏登应用技术大学);Siemens Healthcare GmbH(西门子医疗有限公司)
磁共振成像(MRI)检查通常包括采集多个MR脉冲序列,这是可靠诊断所需的。可以通过影响MR图像对比度、信噪比、分辨率或扫描时间的多个采集参数来参数化每个序列。随着生成式深度学习模型的兴起,开发了用于合成MR图像的方法,以合成额外的MR对比度、生成合成数据或增强现有数据以进行AI训练。然而,用于合成MR图像的当前生成方法仅在具有特定采集参数值集合的图像上训练,这限制了这些方法的临床价值,因为在临床实践中使用了各种采集参数设置集合。因此,我们训练了一个生成对抗网络(GAN),以生成以各种采集参数(重复时间、回波时间、图像方向)为条件的合成MR膝关节图像。这种方法使我们能够合成具有可调图像对比度的MR图像。在视觉图灵测试中,两位专家错误标记了40.5%的真实和合成MR图像,证明生成的合成和真实MR图像的图像质量相当。这项工作可以在MR序列参数化期间通过预览产生的MR对比度来支持放射科医生和技术人员,可以作为放射学培训的有价值的工具,并且可以用于定制数据生成以支持AI培训。
2021-03-01 cs.CV cs.LG eess.IV
A Multi-attribute Controllable Generative Model for Histopathology Image Synthesis
The Pennsylvania State University(宾夕法尼亚州立大学);Johns Hopkins University(约翰斯·霍普金斯大学);Upper Dublin High School(上达比高中)
生成模型已经应用于医学成像领域的各种图像识别和合成任务。然而,一个更可控的和可解释的图像合成模型仍然缺乏,但必要的重要应用,如协助医疗培训。在这项工作中,我们利用有效的自我注意和对比学习模块,并建立在最先进的生成对抗网络(GANs),以实现一个属性感知的图像合成模型,称为AttributeGAN,它可以基于多属性输入生成高质量的组织病理学图像。与现有的单属性条件生成模型相比,我们提出的模型更好地反映了输入属性,并使属性值之间的插值更平滑。我们在包含尿路上皮癌染色H&E图像的组织病理学数据集上进行实验,并通过与最先进的模型以及我们模型的不同变体进行全面的定量和定性比较来证明我们提出的模型的有效性。代码可在https://github.com/karenyyy/MICCAI2021AttributeGAN上获得。
2021-11-10 cs.CV eess.IV
Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)
University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学);Royal Prince Alfred Hospital(皇家阿尔弗雷德王子医院)
正电子发射断层扫描(PET)图像合成是提高计算机辅助诊断系统训练数据质量的重要手段。然而,现有的图像合成方法在合成低分辨率PET图像时存在问题。为了解决这些局限性,我们提出了基于多通道生成对抗网络(M-GAN)的PET图像合成方法。与依赖于使用低级特征的现有方法不同,所提出的M-GAN能够基于对抗学习概念在高级语义中表示特征。此外,M-GAN能够从注释(标签)中获取输入,以合成高摄取区域,例如,从计算机断层摄影(CT)图像中提取合成的PET图像,以约束外观一致性并直接输出合成的PET图像。我们对50例肺癌PET-CT研究的结果表明,与现有方法相比,我们的方法更接近真实的PET图像。
2017-07-31 cs.CV
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis
University of Technology Sydney(悉尼科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
3D感知图像合成旨在通过学习3D表示来从多个视图生成对象的图像。然而,一个关键的挑战仍然存在:现有的方法缺乏几何约束,因此通常无法生成多视图一致的图像。为了解决这一挑战,我们提出了多视图一致性生成对抗网络(MVCGAN)的高质量的三维感知图像合成与几何约束。通过利用所生成的图像的底层3D几何信息,即,深度和相机变换矩阵,我们显式地建立视图之间的立体对应关系,以执行多视图联合优化。特别是,我们加强了视图对之间的光度一致性,并将立体混淆机制集成到训练过程中,鼓励模型推理正确的3D形状。此外,我们设计了一个两阶段的训练策略与特征级多视角联合优化,以提高图像质量。在三个数据集上的大量实验表明,MVCGAN实现了3D感知图像合成的最先进的性能。
2022-04-13 cs.CV
High-Resolution Mammogram Synthesis using Progressive Generative Adversarial Networks
Kheiron Medical Technologies Ltd.(Kheiron医疗技术有限公司);Imperial College London(帝国理工学院)
生成合成医学图像的能力对于数据增强、域转移和分布外检测是有用的。然而,由于纹理异质性、精细结构细节和特定组织特性,生成逼真的高分辨率医学图像是具有挑战性的,特别是对于全视野数字乳腺X射线摄影(FFDM)。在本文中,我们探索使用渐进训练的生成对抗网络(GANs)来合成乳房X线照片,克服训练这种对抗模型时的潜在不稳定性。这项工作是第一个表明生成逼真的合成医学图像是可行的,高达1280x1024像素,医学图像合成达到的最高分辨率,使标准乳房摄影悬挂协议内的可视化。我们希望这项工作可以作为一个有用的指导和促进进一步的研究GANs在医学成像领域。
2019-09-03 cs.CV
Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank
School of Artificial Intelligence and Data Science, University of Science and Technology of China(人工智能与数据科学学院,中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);HKU(香港大学);CUHK(香港大学);Fudan University(复旦大学);Nanjing University(南京大学)
Repulsor通过对比记忆库机制,无需外部编码器,实现高效的生成建模,显著提升收敛速度和生成质量。
2025-12-13 cs.CV
LayeringDiff: Layered Image Synthesis via Generation, then Disassembly with Generative Knowledge
POSTECH(浦项科技大学);SHIFT UP(SHIFT UP公司)
LayeringDiff提出先利用现成生成模型合成整图,再借助预训练生成先验和高频对齐模块将其分解为前景与背景层,从而无需大规模训练即可实现高质量分层图像合成。
2025-01-02 cs.CV
Deep Generative Models for 3D Medical Image Synthesis
University of Basel(巴塞尔大学);Technical University Darmstadt(达姆施塔特工业大学)
本章系统综述了VAEs、GANs和DDMs三类深度生成模型在三维医学图像合成中的原理、优缺点、临床应用及评估指标,并指出当前挑战。
2024-10-23 cs.CV eess.IV
Three Dimensional MR Image Synthesis with Progressive Generative Adversarial Networks
Bilkent University(比尔肯大学)
用于三维MRI合成的主流深度模型是横截面的或体积的,这取决于输入。横截面模型可以降低模型的复杂性,但它们可能导致不连续伪影。另一方面,体积模型可以减轻不连续性伪影,但由于模型复杂性增加以及训练数据不足,它们可能会损失空间分辨率。为了减轻这两种方法的局限性,我们提出了一种新的模型,通过更简单的合成任务在各个方向上逐步恢复目标体积。
2020-12-18 cs.CV eess.IV
Realistic Hair Synthesis with Generative Adversarial Networks
T.C. EGE ÜNİVERSİTESİ(T.C. 埃格大学)
近年来生成建模的成功加速了这一课题的研究,并引起了研究者的关注。实现这一成功的最重要方法之一是生成对抗网络(GANs)。它有许多应用领域,如:虚拟现实(VR),增强现实(AR),超分辨率,图像增强。尽管最近在使用深度学习和生成建模的头发合成和风格转移方面取得了进展,但由于头发的复杂性质,仍然存在未解决的挑战。文献中提出的解决这个问题的方法通常集中在对图像进行高质量的头发编辑。在本论文中,我们提出一个生成对抗网络的方法来解决头发合成的问题。在开发这种方法的同时,它的目的是实现实时头发合成,同时实现与文献中最好的方法竞争的视觉输出。该方法使用FFHQ数据集进行训练,然后评估其在发型转换和头发重建任务中的结果。在这些任务中获得的结果和操作时间的方法进行了比较,在文献中最好的方法之一,ESPRIGAN。比较是在128x128的分辨率下进行的。作为比较的结果,它已被证明,所提出的方法实现了竞争力的结果与真实的头发合成方面,并执行更好的操作时间。
2022-09-13 cs.CV cs.GR
Generative Adversarial Networks for Realistic Synthesis of Hyperspectral Samples
ONERA, The French Aerospace Lab(法国航空航天实验室(ONERA));Univ. Bretagne-Sud(南布列塔尼大学)
这项工作解决了训练深度神经网络所需的注释高光谱数据的稀缺性。特别地,我们研究了生成对抗网络及其在一致性标记光谱合成中的应用。通过在公共数据集上训练这样的网络,我们证明了这些模型不仅能够捕获潜在的分布,而且还能够生成外观相似且物理上合理的光谱。此外,我们通过实验验证了合成样本可以作为一种有效的数据增强策略。我们使用各种深度分类器在几个公共高光谱数据集上验证了我们的方法。
2018-06-07 cs.CV cs.NE
Synergistic Reconstruction and Synthesis via Generative Adversarial Networks for Accelerated Multi-Contrast MRI
Bilkent University(比尔肯特大学)
解剖结构的多重对比MRI采集丰富了可用于诊断的信息量。然而,与额外对比度相关联的过多扫描时间可能是限制因素。提高扫描效率的两种主流方法是欠采样采集的重建和缺失采集的合成。在重建中,性能随着采样密度的降低而向更高的加速因子下降,特别是在高空间频率下。在合成中,来自目标对比度的数据样本的缺失可导致对图像特征的伪像敏感性或不敏感性。本文提出了一种基于条件生成对抗网络的多对比度MRI协同重建合成新方法。所提出的方法保留高频细节的目标对比度依赖于共享的高频信息可从源对比度,并防止特征泄漏或损失依赖于欠采样采集的目标对比度。健康受试者和患者的脑MRI数据集上的演示表明,与以前的最先进的方法相比,所提出的方法的性能优越。所提出的方法可以帮助提高质量和扫描效率的多对比度MRI检查。
2018-05-27 cs.CV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee(田纳西大学)
在生成对抗网络(GANs)成功的基础上,条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发,本文提出了一种快速收敛的条件GAN(FC-GAN)。除了vanilla GANs中使用的真/假分类器之外,我们的鉴别器还有一个高级辅助分类器,可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合,这可能会像AC-GAN那样混淆真实数据的分类,并使高级辅助分类器表现为另一个真实/假分类器。因此,FC-GAN可以加速所有类别的区分过程,从而提高收敛速度。图像合成的实验结果表明,我们的模型是有竞争力的图像质量,同时实现了更快的收敛速度。
2018-05-05 cs.CV
Instance Map based Image Synthesis with a Denoising Generative Adversarial Network
College of Information Science and Engineering(信息科学与工程学院);Ocean University of China(中国海洋大学)
基于语义布局的图像合成技术近年来受到了广泛的关注,它得益于生成对抗网络(GAN)的成功。如何在保持GAN随机性的同时提高合成图像的均匀性仍然是一个挑战。我们提出了一种新的去噪框架来处理这个问题。当从语义布局合成图像到逼真的RGB照片时,重叠对象生成是另一项具有挑战性的任务。为了克服这一缺陷,我们包括一个单热语义标签地图,迫使生成器更加关注重叠对象的生成。在此基础上,通过引入扰动损失和级联层损失,改进了双稳态振荡器的损失函数,以指导振荡器的产生过程。我们将我们的方法应用于Cityscapes,Facades和NYU数据集,并展示了我们模型的图像生成能力。
2018-01-10 cs.CV
Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);Amazon(亚马逊)
近年来,生成对抗网络在真实感图像合成方面取得了令人瞩目的成果。这一进展孕育了希望,有一天经典的渲染管道可以被直接从图像中学习的高效模型所取代。然而,当前的图像合成模型在2D域中操作,其中解开诸如相机视点或对象姿态的3D属性是具有挑战性的。此外,它们缺乏可解释和可控制的表示。我们的关键假设是,图像生成过程应该在3D空间中建模,因为我们周围的物理世界本质上是三维的。我们定义了新的任务3D可控图像合成,并提出了一种方法来解决它的推理在3D空间和2D图像域。我们证明,我们的模型是能够解开潜在的3D因素简单的多对象场景在一个无监督的方式从原始图像。与纯2D基线相比,它允许合成一致的场景。视点或对象姿势的变化。我们进一步评估各种3D表示在这一具有挑战性的任务的有用性。
2020-03-24 cs.CV
Two-phase Hair Image Synthesis by Self-Enhancing Generative Model
Megvii (Face++) USA(旷视(Face++)美国);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data, CUHK(SZ)(香港中文大学(深圳)深圳大数据研究院)
随着生成对抗网络(GANs)的兴起,在有限的指导下生成合理的头发图像,例如稀疏草图或低分辨率图像,已经成为可能。传统的图像到图像转换网络可以生成可识别的结果,但通常会丢失更精细的纹理,并且通常存在模糊伪影。在本文中,我们提出了一个高质量的头发图像合成的两阶段生成模型。两阶段流水线首先利用已有的图像平移模型生成粗图像,然后将具有自增强能力的再生网络应用于粗图像。自增强能力是通过一个建议的结构提取层,它提取的纹理和方向图从头发图像。在Sketch 2 Hair和Hair Super-Resolution两个任务上的大量实验表明,该方法能够合成具有更精细细节的合理头发图像,并且性能优于最先进的方法。
2019-02-28 cs.CV
Texture Synthesis with Spatial Generative Adversarial Networks
Zalando Research(Zalando 研究院)
生成对抗网络(GANs)是最近训练数据生成模型的方法,已被证明在图像数据上工作得特别好。本文提出了一种基于GAN学习的纹理合成模型。通过将输入噪声分布空间从单个向量扩展到整个空间张量,我们创建了一个具有非常适合纹理合成任务的属性的架构,我们称之为空间GAN(SGAN)。据我们所知,这是第一个成功的基于GANs的完全数据驱动的纹理合成方法。我们的方法具有以下特点,这使它成为一个国家的最先进的纹理合成算法:高图像质量的生成纹理,非常高的可扩展性w.r.t.输出纹理大小,快速实时向前生成,在复杂纹理中融合多个不同源图像的能力。为了说明这些功能,我们提出了不同类别的纹理图像和用例的多个实验。我们还讨论了我们的方法的一些限制,它可以合成的纹理图像的类型,并将其与其他神经技术的纹理生成。
2017-09-08 cs.CV stat.ML
MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis
近年来,生成对抗网络(GANs)的使用在生成图像建模中变得非常流行。虽然基于样式的GAN架构在高保真图像合成中产生最先进的结果,但在计算上,它们是高度复杂的。在我们的工作中,我们专注于基于风格的生成模型的性能优化。我们分析了StyleGAN 2中计算最困难的部分,并提出了对生成器网络的更改,以便在边缘设备中部署基于风格的生成网络。我们引入了MobileStyleGAN架构,它的参数比StyleGAN 2少3.5倍,计算复杂度比StyleGAN 2低9.5倍,同时提供相当的质量。
2021-09-09 cs.CV eess.IV
CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
Chinese University of Hong Kong(香港中文大学);University of Oxford(牛津大学);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
本文提出基于NeRF的条件3D人脸合成框架CGOF++,通过条件生成占用场、3D关键点损失和体积变形损失,实现比2D方法更精确的3D可控人脸生成。
2023-10-29 cs.CV
FastFlow: Accelerating The Generative Flow Matching Models with Bandit Inference
Indian Institute of Technology Bombay(印度理工学院孟买分校);Amazon(亚马逊)
FastFlow通过多臂老虎机推断方法,实现流匹配模型生成过程的加速,同时保持生成质量。
2026-02-11 cs.CV
Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis
Johannes Gutenberg University(约翰内斯·古腾堡大学)
本文研究了生成马尔可夫随机场(MRF)模型和区分训练的深度卷积神经网络(dCNN)的组合,用于合成2D图像。生成MRF作用于dCNN特征金字塔的更高级别,在抽象级别控制图像布局。我们将该方法应用于摄影和非照片真实感(艺术品)合成任务。MRF正则化器可防止过度激励伪影,并减少先前dCNN反演方法中常见的不可信特征混合,从而允许合成具有更高视觉可扩展性的摄影内容。与标准的基于MRF的纹理合成不同,组合系统可以匹配和适应具有相当大的可变性的局部特征,产生的结果远远超出了经典的生成MRF方法。
2016-01-18 cs.CV
Generative Adversarial Text to Image Synthesis
University of Michigan(密歇根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
从文本自动合成逼真的图像将是有趣和有用的,但目前的人工智能系统离这一目标还很远。然而,近年来,通用的和强大的递归神经网络架构已被开发用于学习判别式文本特征表示。与此同时,深度卷积生成对抗网络(GANs)已经开始生成特定类别的高度引人注目的图像,例如人脸、专辑封面和房间内部。在这项工作中,我们开发了一种新的深层架构和GAN公式,以有效地弥合文本和图像建模的这些进展,将视觉概念从字符转换为像素。我们证明了我们的模型生成合理的图像的鸟类和花卉从详细的文字描述的能力。
2016-06-05 cs.CV cs.NE
Driving View Synthesis on Free-form Trajectories with Generative Prior
Fudan University(复旦大学);University of Surrey(Surrey大学)
针对自由轨迹驾驶视角合成泛化难的问题,提出DriveX框架,通过将视频扩散模型的生成先验逐步蒸馏进3D高斯模型并相互增强,实现实时高质量的新轨迹视角合成。
2025-07-08 cs.CV
Image Synthesis in Multi-Contrast MRI with Conditional Generative Adversarial Networks
Bilkent University(比尔肯大学);National Magnetic Resonance Research Center (UMRAM), Bilkent University(比尔肯大学国家磁共振研究中心(UMRAM));Sabuncu Brain Research Center, Bilkent University(比尔肯大学Sabuncu脑研究中心);Hacettepe University(哈塞特佩大学)
采集具有多种不同对比度的相同解剖结构的图像增加了MR检查中可用的诊断信息的多样性。然而,扫描时间限制可能会阻止某些对比度的采集,并且某些对比度的图像可能会被噪声和伪影破坏。在这种情况下,从剩余的造影剂合成未获得的或损坏的造影剂的能力可以提高诊断效用。对于多对比度合成,当前方法经由非线性回归或确定性神经网络来学习源图像与目标图像之间的非线性强度变换。这些方法又可能遭受合成图像中的高空间频率信息的损失。本文提出了一种基于条件生成对抗网络的多对比度MRI合成新方法。所提出的方法通过对抗性损失保留高频细节;并且它通过注册多对比度图像的像素损失和未注册图像的周期一致性损失提供增强的合成性能。来自相邻截面的信息被用于进一步提高合成质量。来自健康受试者和患者的T1和T2加权图像的演示清楚地表明,与以前的最先进的方法相比,所提出的方法具有更好的性能。我们的合成方法可以帮助提高多对比MRI检查的质量和多功能性,而无需延长检查时间。
2018-02-05 cs.CV
DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK(香港中文大学);Snap Inc.(Snap公司);HKUST(香港科技大学);ZJU(浙江大学);KAUST(阿卜杜拉国王科技大学);UCLA(加州大学洛杉矶分校)
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象,并显示有限的能力,组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示(即,无语义标注的3D边界框)作为场景布局先验,其获得简单,通用于描述各种场景内容,并且还提供信息以解开对象和背景。此外,它还可以作为场景编辑的直观用户控件。基于这样的先验知识,该模型通过仅在具有全局-局部鉴别的2D图像上进行学习,将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性,同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能,包括具有挑战性的Waymo户外数据集。项目页面:https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
Generative Active Learning for Image Synthesis Personalization
Hong Kong Polytechnic University(香港理工大学);HKISI, CAS(中国科学院香港创新研究院);Sichuan University(四川大学);CASIA(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);The Hong Kong Polytechnic University(香港理工大学)
针对图像合成个性化,本文提出基于锚定方向和方向不确定性采样的生成式主动学习方法,以半开放查询缓解利用-探索困境,并证明开源模型可优于 Google StyleDrop。
2024-04-16 cs.CV
EscherNet: A Generative Model for Scalable View Synthesis
Imperial College London(帝国理工学院);The University of Hong Kong(香港大学)
EscherNet是一种多视图条件扩散模型,通过隐式3D表示和相机位置编码,实现可扩展的视图合成,并统一了单/多图像3D重建,在多个基准上达到最先进性能。
2024-03-19 cs.CV
Synthesis and Reconstruction of Fingerprints using Generative Adversarial Networks
Bar-Ilan University(巴伊兰大学)
基于深度学习的模型已被证明可以提高指纹识别的准确性。虽然这些算法表现出出色的性能,但它们需要大规模的指纹数据集进行训练和评估。在这项工作中,我们提出了一种新的指纹合成和重建框架的基础上的StyleGan 2架构,以解决与获取这样的大规模数据集的隐私问题。我们还推导出一种计算方法来修改所生成的指纹的属性,同时保留其身份。这允许每个手指合成多个不同的指纹图像。特别是,我们介绍了由100K图像对组成的SynFing合成指纹数据集,每对对应于相同的身份。实验表明,该框架优于当代国家的最先进的方法,指纹合成和重建。它大大提高了生成的指纹的真实性,无论是在视觉上还是在欺骗基于指纹的验证系统的能力方面。代码和指纹数据集是公开的:https://github.com/rafaelbou/fingerprint_generator。
2023-03-12 cs.CV
VeRi3D: Generative Vertex-based Radiance Fields for 3D Controllable Human Image Synthesis
Zhejiang University(浙江大学);Huazhong University of Science and Technology(华中科技大学)
提出VeRi3D,一种由SMPL顶点参数化的生成式人体辐射场,通过将3D点映射到局部坐标系实现颜色和密度预测,支持自由控制相机、姿态、体型及部件级编辑。
2023-09-09 cs.CV