VoLux-GAN: A Generative Model for 3D Face Synthesis with HDRI Relighting
Google(谷歌);Simon Fraser University(西蒙弗雷泽大学)
我们提出了VoLux-GAN,这是一个生成框架,可以通过令人信服的重新照明来合成3D感知的人脸。我们的主要贡献是一个体积的HDRI重光照方法,可以有效地积累沿任何所需的HDR环境地图的每个3D射线的反射,漫反射和镜面反射照明的贡献。此外,我们显示了使用多个鉴别器监督图像分解过程的重要性。特别是,我们提出了一个数据增强技术,利用最新的进展,在单一图像的肖像重新照明,以执行一致的几何形状,反射,漫射和镜面反射组件。多个实验和与其他生成框架的比较表明,我们的模型是如何向逼真的reliightable 3D生成模型迈进了一步。
2022-01-13 cs.CV
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
Autonomous Vision Group(自主视觉小组);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
虽然2D生成对抗网络实现了高分辨率图像合成,但它们在很大程度上缺乏对3D世界和图像形成过程的理解。因此,它们不提供对相机视点或对象姿态的精确控制。为了解决这个问题,最近的几种方法利用中间体素为基础的表示与微分渲染相结合。然而,现有的方法要么产生低图像分辨率,要么在分离相机和场景属性(例如,对象身份可以随视点而变化。在本文中,我们提出了一个生成模型的辐射场,最近被证明是成功的一个单一的场景的新的视图合成。与基于体素的表示相反,辐射场不限于3D空间的粗略离散化,还允许解开相机和场景属性,同时在存在重建模糊性的情况下优雅地降级。通过引入一个多尺度的基于补丁的训练,我们展示了高分辨率图像的合成,同时训练我们的模型从unposed 2D图像单独。我们在几个具有挑战性的合成和真实世界的数据集上系统地分析了我们的方法。我们的实验表明,辐射场是生成图像合成的一个强大的代表,导致3D一致的模型,以高保真度渲染。
2021-03-30 cs.CV
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong(香港中文大学);Texas A&M University(得克萨斯农工大学)
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力,但它的条件图像合成能力较弱,特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中,基于对图像及其条件的联合概率密度建模,我们提出了一种新的基于流的生成模型,称为条件对抗生成流(CAGlow)。而不是从潜在空间中解开属性,我们开辟了一条新的道路,学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$,CAGlow可以将其编码为采样的$z$,然后在复杂的情况下实现鲁棒的条件图像合成,例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现,因此可以合成具有条件信息的图像,如类别,属性,甚至一些未知属性。大量的实验表明,CAGlow确保了不同条件的独立性,并在很大程度上优于常规Glow。
2019-04-03 cs.CV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.(STAT创新私人有限公司)
将生成对抗神经网络(GANs)应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像,显示相同的技术可用于医疗领域,以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片,并使用尖端技术训练深度卷积生成对抗神经网络(DCGAN)。合成输出进行了比较,真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
SenseTime Research(商汤科技研究院);Centre for Perceptual and Interactive Intelligence Limited(感知与交互智能中心有限公司)
利用图像生成模型的最新进展,现有的可控面部图像合成方法能够生成具有一定程度可控性的高保真图像,例如,控制所生成的面部图像的形状、表情、纹理和姿态。然而,这些方法集中在2D图像生成模型,这是容易产生不一致的面部图像下大的表情和姿态变化。在本文中,我们提出了一个新的NeRF为基础的有条件的三维人脸合成框架,它使三维可控性所产生的人脸图像施加明确的三维条件,从三维人脸先验。其核心是一个条件生成占用字段(cGOF),有效地强制生成的脸的形状提交给一个给定的3D变形模型(3DMM)网格。为了实现对合成图像的细粒度3D人脸形状的精确控制,我们还将3D地标损失以及体积扭曲损失纳入我们的合成算法中。实验验证了该方法的有效性,它能够生成高保真的人脸图像,并显示出更精确的三维可控性比最先进的基于二维可控人脸合成方法。在https://keqiangsun.github.io/projects/cgof上查找代码和演示。
2022-12-12 cs.CV
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而,当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是,小的对象往往会逐渐消失,而大的对象通常会生成为补丁的拼贴。为了解决这个问题,我们提出了一个双金字塔生成对抗网络(DP-GAN),它在所有尺度上联合学习空间自适应归一化块的条件,使得尺度信息被双向使用,并且它在不同尺度上统一监督。我们的定性和定量的结果表明,所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
Dual Contradistinctive Generative Autoencoder
Carnegie Mellon University(卡内基梅隆大学);UC San Diego(加州大学圣地亚哥分校)
我们提出了一种新的生成式自动编码器模型,具有双对比度损失,以提高生成式自动编码器,同时进行推理(重建)和合成(采样)。我们的模型,命名为双对比生成自动编码器(DC-VAE),集成了实例级判别损失(保持重建/合成的实例级保真度)和集合级对抗损失(鼓励构建/合成的集合级保真度),两者都是对比的。报道了DC-VAE在不同分辨率(包括32 x32、64 x64、128 x128和512 x512)下的广泛实验结果。在DC-VAE中,VAE中的两种截然不同的损失和谐地工作,导致在没有架构变化的情况下,基线VAE的显著的定性和定量性能增强。国家的最先进的或有竞争力的结果之间的生成自动编码器的图像重建,图像合成,图像插值,和表示学习观察。DC-VAE是一种通用的VAE模型,适用于计算机视觉和机器学习中的各种下游任务。
2020-11-19 cs.CV
Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)
University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学);Royal Prince Alfred Hospital(皇家阿尔弗雷德王子医院)
正电子发射断层扫描(PET)图像合成是提高计算机辅助诊断系统训练数据质量的重要手段。然而,现有的图像合成方法在合成低分辨率PET图像时存在问题。为了解决这些局限性,我们提出了基于多通道生成对抗网络(M-GAN)的PET图像合成方法。与依赖于使用低级特征的现有方法不同,所提出的M-GAN能够基于对抗学习概念在高级语义中表示特征。此外,M-GAN能够从注释(标签)中获取输入,以合成高摄取区域,例如,从计算机断层摄影(CT)图像中提取合成的PET图像,以约束外观一致性并直接输出合成的PET图像。我们对50例肺癌PET-CT研究的结果表明,与现有方法相比,我们的方法更接近真实的PET图像。
2017-07-31 cs.CV
Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis
University of Technology Sydney(悉尼科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
3D感知图像合成旨在通过学习3D表示来从多个视图生成对象的图像。然而,一个关键的挑战仍然存在:现有的方法缺乏几何约束,因此通常无法生成多视图一致的图像。为了解决这一挑战,我们提出了多视图一致性生成对抗网络(MVCGAN)的高质量的三维感知图像合成与几何约束。通过利用所生成的图像的底层3D几何信息,即,深度和相机变换矩阵,我们显式地建立视图之间的立体对应关系,以执行多视图联合优化。特别是,我们加强了视图对之间的光度一致性,并将立体混淆机制集成到训练过程中,鼓励模型推理正确的3D形状。此外,我们设计了一个两阶段的训练策略与特征级多视角联合优化,以提高图像质量。在三个数据集上的大量实验表明,MVCGAN实现了3D感知图像合成的最先进的性能。
2022-04-13 cs.CV
High-Resolution Mammogram Synthesis using Progressive Generative Adversarial Networks
Kheiron Medical Technologies Ltd.(Kheiron医疗技术有限公司);Imperial College London(帝国理工学院)
生成合成医学图像的能力对于数据增强、域转移和分布外检测是有用的。然而,由于纹理异质性、精细结构细节和特定组织特性,生成逼真的高分辨率医学图像是具有挑战性的,特别是对于全视野数字乳腺X射线摄影(FFDM)。在本文中,我们探索使用渐进训练的生成对抗网络(GANs)来合成乳房X线照片,克服训练这种对抗模型时的潜在不稳定性。这项工作是第一个表明生成逼真的合成医学图像是可行的,高达1280x1024像素,医学图像合成达到的最高分辨率,使标准乳房摄影悬挂协议内的可视化。我们希望这项工作可以作为一个有用的指导和促进进一步的研究GANs在医学成像领域。
2019-09-03 cs.CV
LayeringDiff: Layered Image Synthesis via Generation, then Disassembly with Generative Knowledge
POSTECH(浦项科技大学);SHIFT UP(SHIFT UP公司)
LayeringDiff提出先利用现成生成模型合成整图,再借助预训练生成先验和高频对齐模块将其分解为前景与背景层,从而无需大规模训练即可实现高质量分层图像合成。
2025-01-02 cs.CV
Synergistic Reconstruction and Synthesis via Generative Adversarial Networks for Accelerated Multi-Contrast MRI
Bilkent University(比尔肯特大学)
解剖结构的多重对比MRI采集丰富了可用于诊断的信息量。然而,与额外对比度相关联的过多扫描时间可能是限制因素。提高扫描效率的两种主流方法是欠采样采集的重建和缺失采集的合成。在重建中,性能随着采样密度的降低而向更高的加速因子下降,特别是在高空间频率下。在合成中,来自目标对比度的数据样本的缺失可导致对图像特征的伪像敏感性或不敏感性。本文提出了一种基于条件生成对抗网络的多对比度MRI协同重建合成新方法。所提出的方法保留高频细节的目标对比度依赖于共享的高频信息可从源对比度,并防止特征泄漏或损失依赖于欠采样采集的目标对比度。健康受试者和患者的脑MRI数据集上的演示表明,与以前的最先进的方法相比,所提出的方法的性能优越。所提出的方法可以帮助提高质量和扫描效率的多对比度MRI检查。
2018-05-27 cs.CV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee(田纳西大学)
在生成对抗网络(GANs)成功的基础上,条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发,本文提出了一种快速收敛的条件GAN(FC-GAN)。除了vanilla GANs中使用的真/假分类器之外,我们的鉴别器还有一个高级辅助分类器,可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合,这可能会像AC-GAN那样混淆真实数据的分类,并使高级辅助分类器表现为另一个真实/假分类器。因此,FC-GAN可以加速所有类别的区分过程,从而提高收敛速度。图像合成的实验结果表明,我们的模型是有竞争力的图像质量,同时实现了更快的收敛速度。
2018-05-05 cs.CV
Instance Map based Image Synthesis with a Denoising Generative Adversarial Network
College of Information Science and Engineering(信息科学与工程学院);Ocean University of China(中国海洋大学)
基于语义布局的图像合成技术近年来受到了广泛的关注,它得益于生成对抗网络(GAN)的成功。如何在保持GAN随机性的同时提高合成图像的均匀性仍然是一个挑战。我们提出了一种新的去噪框架来处理这个问题。当从语义布局合成图像到逼真的RGB照片时,重叠对象生成是另一项具有挑战性的任务。为了克服这一缺陷,我们包括一个单热语义标签地图,迫使生成器更加关注重叠对象的生成。在此基础上,通过引入扰动损失和级联层损失,改进了双稳态振荡器的损失函数,以指导振荡器的产生过程。我们将我们的方法应用于Cityscapes,Facades和NYU数据集,并展示了我们模型的图像生成能力。
2018-01-10 cs.CV
Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);Amazon(亚马逊)
近年来,生成对抗网络在真实感图像合成方面取得了令人瞩目的成果。这一进展孕育了希望,有一天经典的渲染管道可以被直接从图像中学习的高效模型所取代。然而,当前的图像合成模型在2D域中操作,其中解开诸如相机视点或对象姿态的3D属性是具有挑战性的。此外,它们缺乏可解释和可控制的表示。我们的关键假设是,图像生成过程应该在3D空间中建模,因为我们周围的物理世界本质上是三维的。我们定义了新的任务3D可控图像合成,并提出了一种方法来解决它的推理在3D空间和2D图像域。我们证明,我们的模型是能够解开潜在的3D因素简单的多对象场景在一个无监督的方式从原始图像。与纯2D基线相比,它允许合成一致的场景。视点或对象姿势的变化。我们进一步评估各种3D表示在这一具有挑战性的任务的有用性。
2020-03-24 cs.CV
Two-phase Hair Image Synthesis by Self-Enhancing Generative Model
Megvii (Face++) USA(旷视(Face++)美国);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data, CUHK(SZ)(香港中文大学(深圳)深圳大数据研究院)
随着生成对抗网络(GANs)的兴起,在有限的指导下生成合理的头发图像,例如稀疏草图或低分辨率图像,已经成为可能。传统的图像到图像转换网络可以生成可识别的结果,但通常会丢失更精细的纹理,并且通常存在模糊伪影。在本文中,我们提出了一个高质量的头发图像合成的两阶段生成模型。两阶段流水线首先利用已有的图像平移模型生成粗图像,然后将具有自增强能力的再生网络应用于粗图像。自增强能力是通过一个建议的结构提取层,它提取的纹理和方向图从头发图像。在Sketch 2 Hair和Hair Super-Resolution两个任务上的大量实验表明,该方法能够合成具有更精细细节的合理头发图像,并且性能优于最先进的方法。
2019-02-28 cs.CV
CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields
Chinese University of Hong Kong(香港中文大学);University of Oxford(牛津大学);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
本文提出基于NeRF的条件3D人脸合成框架CGOF++,通过条件生成占用场、3D关键点损失和体积变形损失,实现比2D方法更精确的3D可控人脸生成。
2023-10-29 cs.CV
Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis
Johannes Gutenberg University(约翰内斯·古腾堡大学)
本文研究了生成马尔可夫随机场(MRF)模型和区分训练的深度卷积神经网络(dCNN)的组合,用于合成2D图像。生成MRF作用于dCNN特征金字塔的更高级别,在抽象级别控制图像布局。我们将该方法应用于摄影和非照片真实感(艺术品)合成任务。MRF正则化器可防止过度激励伪影,并减少先前dCNN反演方法中常见的不可信特征混合,从而允许合成具有更高视觉可扩展性的摄影内容。与标准的基于MRF的纹理合成不同,组合系统可以匹配和适应具有相当大的可变性的局部特征,产生的结果远远超出了经典的生成MRF方法。
2016-01-18 cs.CV
Driving View Synthesis on Free-form Trajectories with Generative Prior
Fudan University(复旦大学);University of Surrey(Surrey大学)
针对自由轨迹驾驶视角合成泛化难的问题,提出DriveX框架,通过将视频扩散模型的生成先验逐步蒸馏进3D高斯模型并相互增强,实现实时高质量的新轨迹视角合成。
2025-07-08 cs.CV
Image Synthesis in Multi-Contrast MRI with Conditional Generative Adversarial Networks
Bilkent University(比尔肯大学);National Magnetic Resonance Research Center (UMRAM), Bilkent University(比尔肯大学国家磁共振研究中心(UMRAM));Sabuncu Brain Research Center, Bilkent University(比尔肯大学Sabuncu脑研究中心);Hacettepe University(哈塞特佩大学)
采集具有多种不同对比度的相同解剖结构的图像增加了MR检查中可用的诊断信息的多样性。然而,扫描时间限制可能会阻止某些对比度的采集,并且某些对比度的图像可能会被噪声和伪影破坏。在这种情况下,从剩余的造影剂合成未获得的或损坏的造影剂的能力可以提高诊断效用。对于多对比度合成,当前方法经由非线性回归或确定性神经网络来学习源图像与目标图像之间的非线性强度变换。这些方法又可能遭受合成图像中的高空间频率信息的损失。本文提出了一种基于条件生成对抗网络的多对比度MRI合成新方法。所提出的方法通过对抗性损失保留高频细节;并且它通过注册多对比度图像的像素损失和未注册图像的周期一致性损失提供增强的合成性能。来自相邻截面的信息被用于进一步提高合成质量。来自健康受试者和患者的T1和T2加权图像的演示清楚地表明,与以前的最先进的方法相比,所提出的方法具有更好的性能。我们的合成方法可以帮助提高多对比MRI检查的质量和多功能性,而无需延长检查时间。
2018-02-05 cs.CV
DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK(香港中文大学);Snap Inc.(Snap公司);HKUST(香港科技大学);ZJU(浙江大学);KAUST(阿卜杜拉国王科技大学);UCLA(加州大学洛杉矶分校)
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象,并显示有限的能力,组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示(即,无语义标注的3D边界框)作为场景布局先验,其获得简单,通用于描述各种场景内容,并且还提供信息以解开对象和背景。此外,它还可以作为场景编辑的直观用户控件。基于这样的先验知识,该模型通过仅在具有全局-局部鉴别的2D图像上进行学习,将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性,同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能,包括具有挑战性的Waymo户外数据集。项目页面:https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
Generative Active Learning for Image Synthesis Personalization
Hong Kong Polytechnic University(香港理工大学);HKISI, CAS(中国科学院香港创新研究院);Sichuan University(四川大学);CASIA(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);The Hong Kong Polytechnic University(香港理工大学)
针对图像合成个性化,本文提出基于锚定方向和方向不确定性采样的生成式主动学习方法,以半开放查询缓解利用-探索困境,并证明开源模型可优于 Google StyleDrop。
2024-04-16 cs.CV
EscherNet: A Generative Model for Scalable View Synthesis
Imperial College London(帝国理工学院);The University of Hong Kong(香港大学)
EscherNet是一种多视图条件扩散模型,通过隐式3D表示和相机位置编码,实现可扩展的视图合成,并统一了单/多图像3D重建,在多个基准上达到最先进性能。
2024-03-19 cs.CV
Synthesis and Reconstruction of Fingerprints using Generative Adversarial Networks
Bar-Ilan University(巴伊兰大学)
基于深度学习的模型已被证明可以提高指纹识别的准确性。虽然这些算法表现出出色的性能,但它们需要大规模的指纹数据集进行训练和评估。在这项工作中,我们提出了一种新的指纹合成和重建框架的基础上的StyleGan 2架构,以解决与获取这样的大规模数据集的隐私问题。我们还推导出一种计算方法来修改所生成的指纹的属性,同时保留其身份。这允许每个手指合成多个不同的指纹图像。特别是,我们介绍了由100K图像对组成的SynFing合成指纹数据集,每对对应于相同的身份。实验表明,该框架优于当代国家的最先进的方法,指纹合成和重建。它大大提高了生成的指纹的真实性,无论是在视觉上还是在欺骗基于指纹的验证系统的能力方面。代码和指纹数据集是公开的:https://github.com/rafaelbou/fingerprint_generator。
2023-03-12 cs.CV
VeRi3D: Generative Vertex-based Radiance Fields for 3D Controllable Human Image Synthesis
Zhejiang University(浙江大学);Huazhong University of Science and Technology(华中科技大学)
提出VeRi3D,一种由SMPL顶点参数化的生成式人体辐射场,通过将3D点映射到局部坐标系实现颜色和密度预测,支持自由控制相机、姿态、体型及部件级编辑。
2023-09-09 cs.CV
A Survey on Future Frame Synthesis: Bridging Deterministic and Generative Approaches
Tsinghua University(清华大学);StepFun;Peking University(北京大学);Megvii Technology(旷视科技)
本综述全面分析了未来帧合成领域,引入基于算法随机性的新分类法,揭示了从确定性算法向生成式范式转变的驱动力,并指出实时预测与大规模世界模拟两条发展路径及关键挑战。
2025-07-14 cs.CV
Conditional Generative Adversarial Networks for Emoji Synthesis with Word Embedding Manipulation
本文提出一种优化训练的深度卷积GAN,通过整合Google的word2vec词嵌入,生成高度逼真、与真实表情符号几乎相同的合成表情符号。
2017-12-14 cs.CV
Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis
Peking University(北京大学);University of California, Merced(加州大学默塞德分校);Peng Cheng Laboratory(鹏城实验室);Google Cloud(谷歌云)
大多数条件生成任务在给定一个条件上下文的情况下期望不同的输出。然而,条件生成对抗网络(cGAN)往往专注于先验条件信息,而忽略了导致输出变化的输入噪声向量。最近尝试解决cGAN的模式坍塌问题通常是特定于任务的,并且计算成本很高。在这项工作中,我们提出了一个简单而有效的正则化项来解决cGAN的模式坍塌问题。所提出的方法显式地最大化生成的图像之间的距离相对于相应的潜在代码的比率,从而鼓励生成器在训练期间探索更多的次要模式。这种寻求模式的正则化项很容易适用于各种条件生成任务,而无需施加训练开销或修改原始网络结构。我们验证了所提出的算法上的三个条件图像合成任务,包括分类生成,图像到图像的翻译,和文本到图像的合成与不同的基线模型。定性和定量的结果表明,所提出的正则化方法的有效性,提高多样性,而不损失质量。
2019-05-04 cs.CV
Style Separation and Synthesis via Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Qihoo 360 Artificial Intelligence Institute(奇虎360人工智能研究院);University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
文体综合是近年来文体研究的热点,但对文体综合的双重问题“文体分离”却鲜有研究。在本文中,我们提出了风格分离和合成生成对抗网络(S3-GAN),以同时对特定类别的对象照片实现风格分离和风格合成。基于物体照片位于流形上且内容和风格独立的假设,采用S3-GAN建立流形与特征向量空间之间的映射,实现内容和风格的分离与合成. S3-GAN由编码器网络、生成器网络和对抗网络组成。编码器网络通过将对象照片映射到潜在向量来执行风格分离。隐向量的两半分别表示内容和样式。生成器网络通过将级联向量作为输入来执行风格合成。连接的向量包含样式目标图像的样式半向量和内容目标图像的内容半向量。一旦从生成器网络获得图像,就施加对抗网络以生成更逼真的图像。在CelebA和UT Zappos 50 K数据集上的实验表明,S3-GAN具有同时进行风格分离和合成的能力,可以在单个模型中捕获多种风格。
2018-11-07 cs.CV
DeepCalliFont: Few-shot Chinese Calligraphy Font Synthesis by Integrating Dual-modality Generative Models
Peking University(北京大学)
针对书法字形不满足传统字形一致性假设的问题,提出融合双模态生成模型的DeepCalliFont,通过双分支结构、特征重组与预训练策略,实现更优的少样本中国书法字体合成效果。
2023-12-16 cs.CV
Multimodal Image Synthesis and Editing: The Generative AI Era
Max Planck Institute for Informatics(马克斯·普朗克信息研究所);S-Lab, Nanyang Technological University(南洋理工大学S实验室);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该综述梳理生成式AI时代多模态图像合成与编辑的研究进展,按数据模态和模型类型分类,介绍方法、数据集、指标与实验,分析挑战并指明未来方向。
2023-08-24 cs.CV
pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Stanford University(斯坦福大学)
我们见证了3D感知图像合成的快速进展,利用了生成视觉模型和神经渲染的最新进展。然而,现有的方法在两个方面存在不足:第一,它们可能缺乏底层3D表示或依赖于视图不一致的渲染,因此合成的图像不是多视图一致的;第二,它们通常依赖于表现力不够的表示网络架构,因此它们的结果缺乏图像质量。我们提出了一种新的生成模型,称为周期性隐式生成对抗网络($π$ -GAN或pi-GAN),用于高质量的3D感知图像合成。$π$ -GAN利用具有周期性激活函数和体积渲染的神经表示来将场景表示为具有精细细节的视图一致的3D表示。所提出的方法获得了国家的最先进的结果,三维感知图像合成与多个真实和合成数据集。
2021-04-05 cs.CV cs.GR
NVComposer: Boosting Generative Novel View Synthesis with Multiple Sparse and Unposed Images
The Chinese University of Hong Kong(香港中文大学);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);Peking University(北京大学)
本文提出 NVComposer,通过图像-位姿双流扩散模型与几何感知特征对齐,隐式建模多张无位姿稀疏图像的空间关系,实现无需外部对齐的高质量生成式多视图新视角合成。
2024-12-06 cs.CV
CPGAN: Full-Spectrum Content-Parsing Generative Adversarial Networks for Text-to-Image Synthesis
Beihang University(北京航空航天大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
文本到图像合成的典型方法寻求设计有效的生成架构来直接建模文本到图像的映射。由于跨模态翻译的存在,翻译难度相当大。在本文中,我们绕过这个问题,专注于分析的输入文本和合成图像的内容彻底建模的文本到图像的一致性在语义层面。特别是,我们设计了一个内存结构来解析文本内容,通过探索语义对应词汇表中的每个单词之间的各种视觉上下文相关的图像在文本编码。同时,合成的图像进行解析,学习其语义的对象感知的方式。此外,我们自定义了一个条件映射模型来模拟文字和图像子区域之间的细粒度相关性,以推动文本-图像语义对齐。在COCO数据集上的大量实验表明,我们的模型显着提高了最先进的性能(从35.69到52.73的初始得分)。
2020-07-12 cs.CV
Generative Adversarial Frontal View to Bird View Synthesis
CUHK-SenseTime Joint Lab(香港中文大学-商汤科技联合实验室);CUHK(香港中文大学);SenseTime Research(商汤科技研究院)
环境感知是一项具有重要实用价值的工作,而鸟瞰是创造周围环境景观的重要组成部分。由于正视图和鸟瞰图之间的大间隙和严重变形,从单个正视图生成鸟瞰图图像是具有挑战性的。为了解决这个问题,我们提出了BridgeGAN,即,一种新的生成式鸟瞰图合成模型。首先,中间视图,即,单应性视图,以弥合这一巨大差距。接下来,在我们的任务中的三个视图(正视图,单应性视图和鸟瞰图)的条件下,提出了一个基于多GAN的模型来学习具有挑战性的跨视图翻译。在合成数据集上进行的大量实验表明,我们的模型生成的图像比现有方法生成的图像要好得多,具有更一致的全局外观和更清晰的细节。消融研究和讨论表明,在一些具有挑战性的情况下,它的可靠性和鲁棒性。
2019-04-02 cs.CV
Pose Guided Fashion Image Synthesis Using Deep Generative Model
North Carolina State University(北卡罗来纳州立大学);JD.com American Technologies(京东美国技术公司);OPPO US Research Center(OPPO美国研究中心)
生成具有预期人体姿态的真实感图像对于许多应用(例如智能照片编辑、电影制作、虚拟试穿和时装展示)来说是一个有前途但具有挑战性的研究课题。在本文中,我们提出了一种新的深度生成模型,将一个人的图像从给定的姿势转移到一个新的姿势,同时保持时尚项目的一致性。为了制定的框架,我们采用一个发生器和两个鉴别器的图像合成。所述产生器包含图像编码器、位姿编码器及解码器。这两个编码器提供了视觉和几何背景的良好表示,解码器将利用这些视觉和几何背景来生成真实感图像。与现有的姿势指导图像生成模型不同,我们利用两个鉴别器来指导合成过程,其中一个鉴别器区分生成的图像和真实图像(训练样本),另一个鉴别器验证目标姿势和生成的图像之间的外观一致性。我们对网络进行端到端训练,通过反向传播给定地面实况图像来学习参数。所提出的生成模型是能够合成一个逼真的图像的人给定的目标姿势。我们已经证明了我们的结果进行严格的实验,两个数据集,定量和定性。
2019-09-17 cs.CV
G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis
Carnegie Mellon University(卡内基梅隆大学);MetaAI(元人工智能研究院)
我们提出G-HOP,一种基于去噪扩散的生成式手-物交互先验,可联合建模手和物体,并作为通用指导,在视频重建和抓取合成任务中优于现有基线。
2024-04-18 cs.CV
PRG-Fusion: Orchestrating Generative Priors with Reconstruction Evidence for Driving View Synthesis
University of Science and Technology of China(中国科学技术大学);Yootta
提出PRG-Fusion框架,利用重建证据生成区域标签,编排3DGS保留、LiDAR修复和视频先验生成,实现高质量驾驶视角合成。
2026-11-17 cs.CV
Auto-Embedding Generative Adversarial Networks for High Resolution Image Synthesis
通过生成对抗网络(GAN)生成图像最近引起了人们的广泛关注。然而,大多数现有的基于GAN的方法只能产生质量有限的低分辨率图像。使用GANs直接生成高分辨率图像是不平凡的,并且通常会产生具有不完整对象的问题图像。为了解决这个问题,我们开发了一种新的GAN称为自动嵌入生成对抗网络(AEGAN),它同时编码全局结构特征并捕获细粒度细节。在我们的网络中,我们使用一个自动编码器来学习真实图像的内在高级结构,并设计一个新的去噪网络来为生成的图像提供照片般逼真的细节。在实验中,我们能够直接从输入噪声中生成512 x512的有希望质量的图像。所得到的图像表现出更好的感知照片真实性,即,与几个数据集上的其他基线相比,具有更清晰的结构和更丰富的细节,包括Oxford-102 Flowers,Caltech-UCSD Birds(CUB),High-Quality Large-scale CelebFaces Attributes(CelebA-HQ),Large-scale场景理解(LSUN)和ImageNet。
2019-03-29 cs.CV
Vision-Language Matching for Text-to-Image Synthesis via Generative Adversarial Networks
Fudan University(复旦大学)
文本到图像合成的目标是从特定的文本描述生成具有照片般真实感和语义一致的图像。与相应的图像和文本描述相比,现成的模型合成的图像通常包含有限的组件,这降低了图像质量和文本-视觉一致性。为了解决这个问题,我们提出了一种新的视觉语言匹配策略的文本到图像的合成,命名为VLMGAN*,它引入了双重视觉语言匹配机制,以加强图像质量和语义一致性。双视觉-语言匹配机制考虑了生成图像与相应文本描述之间的文本-视觉匹配,以及合成图像与真实图像之间的视觉-视觉一致性约束。给定一个特定的文本描述,VLMGAN* 首先将其编码为文本特征,然后将其馈送到基于双重视觉语言匹配的生成模型中,以合成照片般逼真和文本语义一致的图像。此外,目前流行的文本到图像合成的评价指标是从简单的图像生成中借鉴来的,主要评价合成图像的真实性和多样性。因此,我们引入了一个名为视觉-语言匹配分数(VLMS)的度量来评估文本到图像的合成性能,它可以同时考虑图像质量和合成图像和描述之间的语义一致性。所提出的双重多层次视觉语言匹配策略可以应用于其他文本到图像的合成方法。我们在两个流行的基线上实现了这个策略,这两个基线分别标记为${\text{VLMGAN}_{+\text{AttnGAN}}}$和${\text{VLMGAN}_{+\text{DFGAN}}}$。在两个广泛使用的数据集上的实验结果表明,该模型与其他最先进的方法相比取得了显着的改…
2022-08-20 cs.CV
FreeVS: Generative View Synthesis on Free Driving Trajectory
School of Future Technology, University of Chinese Academy of Sciences (UCAS)(中国科学院大学未来技术学院);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Center for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港智能科学中心人工智能与机器人中心)
FreeVS提出一种全生成式驾驶场景视图合成方法,通过伪图像视图先验控制生成过程,摆脱对记录轨迹的依赖,可在自由新轨迹上合成3D一致的相机视图,并在Waymo数据集上验证了其有效性。
2024-10-23 cs.CV
Pose-guided Generative Adversarial Net for Novel View Action Synthesis
CRCV, University of Central Florida(中佛罗里达大学计算机视觉研究中心);National University of Singapore(新加坡国立大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
我们关注的问题,新颖的观点人类的行动合成。给定一个动作视频,目标是从一个看不见的视点生成相同的动作。当然,新视角视频合成比图像合成更具挑战性。它需要合成一系列具有时间相干性的真实帧。此外,将不同的动作转换为新的目标视图需要同时意识到动作类别和视角变化。为了应对这些挑战,我们提出了一个新的框架,名为姿势引导的动作可分离生成对抗网络(PAS-GAN),它利用姿势来减轻这项任务的难度。首先,我们提出了一个经常性的姿势转换模块,从源视图到目标视图的动作转换,并在2D坐标空间中生成新的视图姿势序列。第二,一个良好的转换姿态序列使我们能够分离的目标视图中的动作和背景。我们采用了一种新的局部-全局空间变换模块,有效地生成序列的视频功能,在目标视图中使用这些动作和背景功能。最后,生成的视频特征被用来合成人体动作的帮助下的3D解码器。此外,针对视频中的动态动作,提出了一种新的多尺度动作可分离损失,进一步提高了视频质量。我们在两个大规模的多视角人体动作数据集NTU-RGBD和PKU-MMD上进行了大量的实验,证明了PAS-GAN的有效性,优于现有的方法。
2021-12-09 cs.CV
SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing
ByteDance Inc.(字节跳动公司)
最近的研究表明,StyleGAN为图像合成和编辑的下游任务提供了有前途的先验模型。然而,由于StyleGAN的潜在代码旨在控制全局样式,因此很难实现对合成图像的细粒度控制。我们提出了SemanticStyleGAN,其中一个生成器被训练为单独对局部语义部分进行建模,并以合成的方式合成图像。不同局部的结构和纹理由相应的潜码控制。实验结果表明,我们的模型提供了一个强大的解纠缠不同的空间区域之间。当与为StyleGAN设计的编辑方法相结合时,它可以实现更细粒度的控制来编辑合成或真实图像。该模型还可以通过迁移学习扩展到其他领域。因此,作为一个内置解纠缠的通用先验模型,它可以促进基于GAN的应用程序的开发,并实现更多潜在的下游任务。
2022-03-29 cs.CV
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research(IBM研究院)
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起,病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据,这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差,并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法,创建了一个允许直接驱动合成的框架。我们提供的定性结果表明,通过单独修改形状和密度的合成控制,和定量的结果表明,在发电机模型中嵌入的密度信息,有助于提高病变分割性能相比,单独使用的形状。
2021-06-01 cs.CV eess.IV
A Multi-attribute Controllable Generative Model for Histopathology Image Synthesis
The Pennsylvania State University(宾夕法尼亚州立大学);Johns Hopkins University(约翰斯·霍普金斯大学);Upper Dublin High School(上达比高中)
生成模型已经应用于医学成像领域的各种图像识别和合成任务。然而,一个更可控的和可解释的图像合成模型仍然缺乏,但必要的重要应用,如协助医疗培训。在这项工作中,我们利用有效的自我注意和对比学习模块,并建立在最先进的生成对抗网络(GANs),以实现一个属性感知的图像合成模型,称为AttributeGAN,它可以基于多属性输入生成高质量的组织病理学图像。与现有的单属性条件生成模型相比,我们提出的模型更好地反映了输入属性,并使属性值之间的插值更平滑。我们在包含尿路上皮癌染色H&E图像的组织病理学数据集上进行实验,并通过与最先进的模型以及我们模型的不同变体进行全面的定量和定性比较来证明我们提出的模型的有效性。代码可在https://github.com/karenyyy/MICCAI2021AttributeGAN上获得。
2021-11-10 cs.CV eess.IV
Deep Generative Models for 3D Medical Image Synthesis
University of Basel(巴塞尔大学);Technical University Darmstadt(达姆施塔特工业大学)
本章系统综述了VAEs、GANs和DDMs三类深度生成模型在三维医学图像合成中的原理、优缺点、临床应用及评估指标,并指出当前挑战。
2024-10-23 cs.CV eess.IV
Three Dimensional MR Image Synthesis with Progressive Generative Adversarial Networks
Bilkent University(比尔肯大学)
用于三维MRI合成的主流深度模型是横截面的或体积的,这取决于输入。横截面模型可以降低模型的复杂性,但它们可能导致不连续伪影。另一方面,体积模型可以减轻不连续性伪影,但由于模型复杂性增加以及训练数据不足,它们可能会损失空间分辨率。为了减轻这两种方法的局限性,我们提出了一种新的模型,通过更简单的合成任务在各个方向上逐步恢复目标体积。
2020-12-18 cs.CV eess.IV
Realistic Hair Synthesis with Generative Adversarial Networks
T.C. EGE ÜNİVERSİTESİ(T.C. 埃格大学)
近年来生成建模的成功加速了这一课题的研究,并引起了研究者的关注。实现这一成功的最重要方法之一是生成对抗网络(GANs)。它有许多应用领域,如:虚拟现实(VR),增强现实(AR),超分辨率,图像增强。尽管最近在使用深度学习和生成建模的头发合成和风格转移方面取得了进展,但由于头发的复杂性质,仍然存在未解决的挑战。文献中提出的解决这个问题的方法通常集中在对图像进行高质量的头发编辑。在本论文中,我们提出一个生成对抗网络的方法来解决头发合成的问题。在开发这种方法的同时,它的目的是实现实时头发合成,同时实现与文献中最好的方法竞争的视觉输出。该方法使用FFHQ数据集进行训练,然后评估其在发型转换和头发重建任务中的结果。在这些任务中获得的结果和操作时间的方法进行了比较,在文献中最好的方法之一,ESPRIGAN。比较是在128x128的分辨率下进行的。作为比较的结果,它已被证明,所提出的方法实现了竞争力的结果与真实的头发合成方面,并执行更好的操作时间。
2022-09-13 cs.CV cs.GR
Generative Adversarial Networks for Realistic Synthesis of Hyperspectral Samples
ONERA, The French Aerospace Lab(法国航空航天实验室(ONERA));Univ. Bretagne-Sud(南布列塔尼大学)
这项工作解决了训练深度神经网络所需的注释高光谱数据的稀缺性。特别地,我们研究了生成对抗网络及其在一致性标记光谱合成中的应用。通过在公共数据集上训练这样的网络,我们证明了这些模型不仅能够捕获潜在的分布,而且还能够生成外观相似且物理上合理的光谱。此外,我们通过实验验证了合成样本可以作为一种有效的数据增强策略。我们使用各种深度分类器在几个公共高光谱数据集上验证了我们的方法。
2018-06-07 cs.CV cs.NE
Texture Synthesis with Spatial Generative Adversarial Networks
Zalando Research(Zalando 研究院)
生成对抗网络(GANs)是最近训练数据生成模型的方法,已被证明在图像数据上工作得特别好。本文提出了一种基于GAN学习的纹理合成模型。通过将输入噪声分布空间从单个向量扩展到整个空间张量,我们创建了一个具有非常适合纹理合成任务的属性的架构,我们称之为空间GAN(SGAN)。据我们所知,这是第一个成功的基于GANs的完全数据驱动的纹理合成方法。我们的方法具有以下特点,这使它成为一个国家的最先进的纹理合成算法:高图像质量的生成纹理,非常高的可扩展性w.r.t.输出纹理大小,快速实时向前生成,在复杂纹理中融合多个不同源图像的能力。为了说明这些功能,我们提出了不同类别的纹理图像和用例的多个实验。我们还讨论了我们的方法的一些限制,它可以合成的纹理图像的类型,并将其与其他神经技术的纹理生成。
2017-09-08 cs.CV stat.ML
Generative Adversarial Networks in Human Emotion Synthesis:A Review
Eastern Mediterranean University(东地中海大学);University of São Paulo(圣保罗大学)
合成真实的数据样本对于学术界和工业界都具有重要价值。深度生成模型已经成为计算机视觉和信号处理等各个研究领域的新兴课题。情感计算是计算机视觉社会中一个广泛关注的话题,它也不例外,并受益于生成模型。事实上,在过去的二十年里,情感计算观察到生成模型的快速衍生。这些模型的应用包括但不限于情感识别和分类、单模态情感合成和跨模态情感合成。因此,我们通过研究现有的数据库,优点和缺点的生成模型以及相关的训练策略,考虑两个主要的人类交流方式,即音频和视频,在人类情感合成的最新进展进行了审查。在此背景下,人脸表情合成,语音情感合成,视听(跨模态)情感合成在不同的应用场景进行了广泛的审查。逐渐地,我们讨论开放的研究问题,以突破该研究领域的界限,以供未来的工作使用。
2020-11-07 cs.AI cs.CV cs.HC
MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis
近年来,生成对抗网络(GANs)的使用在生成图像建模中变得非常流行。虽然基于样式的GAN架构在高保真图像合成中产生最先进的结果,但在计算上,它们是高度复杂的。在我们的工作中,我们专注于基于风格的生成模型的性能优化。我们分析了StyleGAN 2中计算最困难的部分,并提出了对生成器网络的更改,以便在边缘设备中部署基于风格的生成网络。我们引入了MobileStyleGAN架构,它的参数比StyleGAN 2少3.5倍,计算复杂度比StyleGAN 2低9.5倍,同时提供相当的质量。
2021-09-09 cs.CV eess.IV
Generative Adversarial Text to Image Synthesis
University of Michigan(密歇根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
从文本自动合成逼真的图像将是有趣和有用的,但目前的人工智能系统离这一目标还很远。然而,近年来,通用的和强大的递归神经网络架构已被开发用于学习判别式文本特征表示。与此同时,深度卷积生成对抗网络(GANs)已经开始生成特定类别的高度引人注目的图像,例如人脸、专辑封面和房间内部。在这项工作中,我们开发了一种新的深层架构和GAN公式,以有效地弥合文本和图像建模的这些进展,将视觉概念从字符转换为像素。我们证明了我们的模型生成合理的图像的鸟类和花卉从详细的文字描述的能力。
2016-06-05 cs.CV cs.NE
Skin Lesion Synthesis with Generative Adversarial Networks
University of Campinas (Unicamp)(坎皮纳斯大学)
皮肤癌是迄今为止最常见的癌症类型。早期发现是显著增加成功治疗机会的关键。目前,深度神经网络是自动皮肤癌分类的最新成果。为了进一步推动结果,我们需要解决缺乏注释数据的问题,这是昂贵的,需要专家的大量努力。为了绕过这个问题,我们建议使用生成对抗网络来生成逼真的合成皮肤病变图像。据我们所知,我们的结果是第一个显示视觉上吸引人的合成图像,包括临床意义的信息。
2019-02-08 cs.CV cs.LG