Iterative Flow Matching: Path Correction and Gradual Refinement for Enhanced Generative Modeling
The University of British Columbia(不列颠哥伦比亚大学);University of Cambridge(剑桥大学)
本研究针对图像生成模型易产生幻觉的问题,提出可集成于各类生成建模技术的迭代流匹配方法,通过路径校正与渐进式优化提升图像合成的性能与鲁棒性。
2026-08-20 cs.AI cs.CV cs.LG
DECOR-GAN: 3D Shape Detailization by Conditional Refinement
Simon Fraser University(西蒙菲莎大学);Adobe Research(奥多比研究院);IIT Bombay(印度理工学院孟买分校)
我们为3D形状细节化引入了一个深度生成网络,类似于风格化,风格是几何细节。我们解决的挑战,创造大品种的高分辨率和详细的3D几何形状从一个小样本集的几何细节转移的问题。给定一个低分辨率的粗糙体素形状,我们的网络通过体素上采样将其细化为一个富含几何细节的高分辨率形状。输出形状保留了输入的整体结构(或内容),而其细节生成取决于与详细样本对应的输入“样式代码”。我们通过条件细化的3D细节化是由一个生成对抗网络(DECOR-GAN)实现的。该网络利用3D CNN生成器对粗体素进行上采样,并利用3D PatchGAN训练器强制生成模型的局部补丁与训练细节形状中的补丁相似。在测试过程中,样式代码被输入到生成器中以调节细化。我们证明,我们的方法可以细化成各种不同风格的详细形状的粗糙形状。生成的结果在内容保存,兼容性和多样性方面进行评估。进行全面的消融研究以验证我们的网络设计。代码可在https://github.com/czq142857/DECOR-GAN上获得。
2021-03-29 cs.CV cs.GR cs.LG
Collapse by Conditioning: Training Class-conditional GANs with Limited Data
ETH Zurich(苏黎世联邦理工学院)
类调节提供了一种基于离散输入变量控制生成对抗网络(GAN)的直接方法。虽然在许多应用中是必要的,但是由类别标签提供的附加信息甚至可以被期望有益于GAN本身的训练。相反,我们观察到,类条件导致模式坍塌在有限的数据设置,无条件的学习导致令人满意的生成能力。基于这一观察,我们提出了一种类条件GANs(cGANs)的训练策略,通过利用无条件学习有效地防止了观察到的模式崩溃。我们的训练策略从一个无条件的GAN开始,并逐渐将类调节注入生成器和目标函数。所提出的用有限数据训练cGAN的方法不仅可以实现稳定的训练,而且可以生成高质量的图像,这要归功于早期利用跨类共享信息。我们分析了观察到的模式坍塌的问题,在综合实验上的四个数据集。与最先进的方法和已建立的基线相比,我们的方法显示出出色的结果。代码可在https://github.com/mshahbazi72/transitional-cGAN上获得
2022-03-16 cs.AI cs.CV
Text-Driven Diverse Facial Texture Generation via Progressive Latent-Space Refinement
Zhejiang Gongshang University(浙江工商大学);State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Kuaishou Technology(快手科技)
针对现有3D面部纹理生成方法的局限,提出渐进式潜空间优化方法,结合自监督GAN与边缘感知SDS的互增强机制,生成高质量多样化的PBR面部纹理,性能优于现有方法。
2024-04-15 cs.CV
Fine-grained Cross-modal Fusion based Refinement for Text-to-Image Synthesis
Hefei University of Technology(合肥工业大学)
文本到图像合成是指从给定的文本描述生成视觉上逼真的和语义上一致的图像。以前的方法生成一个初始的低分辨率图像,然后将其细化为高分辨率。尽管取得了显著的进步,这些方法是有限的,在充分利用给定的文本,并可能产生文本不匹配的图像,特别是当文本描述是复杂的。提出了一种基于细粒度文本-图像融合的生成对抗网络(FF-GAN),它由两个模块组成:细粒度文本-图像融合模块(FF-Block)和全局语义细化模块(GSR)。FF-Block将注意力块和多个卷积层集成在一起,有效地将细粒度的词上下文特征融合到相应的视觉特征中,充分利用文本信息对初始图像进行更详细的细化。在细化过程中,提出了GSR来提高语言特征和视觉特征之间的全局语义一致性。在CUB-200和COCO数据集上进行的大量实验表明,FF-GAN在生成与给定文本语义一致的图像方面优于其他最先进的方法。代码可在www.example.com上获得。
2023-02-20 cs.CV
PUREVQ-GAN: Defending Data Poisoning Attacks through Vector-Quantized Bottlenecks
University of California, Los Angeles(加州大学洛杉矶分校);California Institute of Technology(加州理工学院)
提出 PureVQ-GAN,通过向量量化离散瓶颈和 GAN 判别器消除后门触发器,在 CIFAR-10 上以极低投毒成功率、高干净准确率和超过 50 倍加速实现数据投毒防御。
2025-09-30 cs.AI cs.CV
DAE-GAN: Dynamic Aspect-aware GAN for Text-to-Image Synthesis
Tencent AI Lab(腾讯AI实验室);University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学);Jilin University(吉林大学)
文本到图像合成是指从给定的文本描述生成图像,其关键目标在于照片真实感和语义一致性。以前的方法通常使用句子嵌入生成初始图像,然后使用细粒度的词嵌入对其进行细化。尽管取得了重大进展,但“方面”信息(例如,红眼睛),指的是几个词,而不是一个词,描绘'一个特定的部分或特征的东西',往往被忽略,这是非常有助于合成图像的细节。如何更好地利用文本到图像的合成方面的信息仍然是一个悬而未决的挑战。为了解决这个问题,在本文中,我们提出了一个动态AAE awarE GAN(DAE-GAN),表示文本信息全面从多个粒度,包括句子级,词级,方面级。此外,受人类学习行为的启发,我们开发了一种新的AAL-aware动态Re-drawer(ADR)的图像细化,其中一个参与的全球细化(AGR)模块和AAL-aware局部细化(ALR)模块交替使用。AGR利用词级嵌入来全局增强先前生成的图像,而ALR动态地采用方面级嵌入来从局部角度细化图像细节。最后,设计了相应的匹配损失函数,保证了文本与图像在不同层次上的语义一致性。在两个经过充分研究和公开可用的数据集上进行了广泛的实验(即,CUB-200和COCO)的实验结果表明了该方法的优越性和合理性。
2021-08-27 cs.CV cs.MM
Progressive Augmentation of GANs
Bosch Center for Artificial Intelligence(博世人工智能中心)
生成对抗网络(GANs)的训练是众所周知的脆弱,需要在生成器和神经网络之间保持谨慎的平衡,以便表现良好。为了缓解这个问题,我们引入了一种新的正则化技术-GANs的渐进增强(PA-GAN)。其关键思想是通过逐步增加其输入或特征空间来逐渐增加任务难度,从而使生成器能够持续学习。我们表明,建议的渐进增强保留了原来的GAN目标,不妥协的最优性,并鼓励发电机和发电机之间的健康竞争,导致性能更好的发电机。我们通过实验证明了PA-GAN在不同架构和图像合成任务的多个基准上的有效性,平均实现了FID分数的~3点改进。
2019-10-28 cs.CV
MGAN-CRCM: A Novel Multiple Generative Adversarial Network and Coarse-Refinement Based Cognizant Method for Image Inpainting
Bangladesh University of Professionals(孟加拉国专业大学);Jahangirnagar University(贾汉吉尔纳加尔大学);University of New South Wales (UNSW)(新南威尔士大学(UNSW));Charles Sturt University(查尔斯特大学)
本文提出MGAN-CRCM架构,结合多重GAN与ResNet进行图像修复,通过转置卷积GAN、FR-CNN和Co-Mod GAN分别实现盲修复、目标移除和细化,在多个基准数据集上取得优于现有方法的准确率。
2024-12-25 cs.CV cs.LG eess.IV
PPCD-GAN: Progressive Pruning and Class-Aware Distillation for Large-Scale Conditional GANs Compression
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
我们通过利用大规模条件生成对抗网络(GANs)压缩这一具有挑战性的新任务来推进神经网络压缩研究。为此,我们提出了一个逐渐缩小的GAN(PPCD-GAN),通过引入渐进修剪残留块(PP-Res)和类感知蒸馏。PP-Res是传统残差块的扩展,其中每个卷积层后面都有一个可学习的掩码层,以随着训练的进行逐步修剪网络参数。另一方面,类意识的蒸馏,提高了培训的稳定性,通过转移大量的知识,从一个训练有素的教师模型,通过指导性的注意力地图。我们以端到端的方式在一个众所周知的GAN架构上同时训练修剪和蒸馏过程。训练后,所有冗余参数和掩码层都将被丢弃,从而在保持性能的同时产生更轻的网络。在ImageNet 128 x128数据集上,PPCD-GAN在保持更好性能的同时,将参数减少了5.2倍(81%)。
2022-03-16 cs.CV
A Tiered GAN Approach for Monet-Style Image Generation
Kent State University(肯特州立大学);Rutgers University(罗格斯大学);West Chester University(西切斯特大学)
针对传统GAN在艺术图像生成中存在的训练不稳定、模式崩溃等问题,提出一种结合下采样与卷积技术的分层GAN模型,可逐步生成高质量莫奈风格图像,同时优化计算效率,为艺术风格生成提供了新的可行思路。
2024-12-07 cs.AI cs.CV
GANHopper: Multi-Hop GAN for Unsupervised Image-to-Image Translation
Simon Fraser University(西蒙弗雷泽大学);Brown University(布朗大学);Tel Aviv University(特拉维夫大学)
我们介绍GANHopper,这是一种无监督的图像到图像翻译网络,通过多跳在两个域之间逐渐转换图像。我们不是直接执行翻译,而是通过要求网络产生类似于输入域图像之间的加权混合的中间图像来引导翻译。我们的网络只在两个域的未配对图像上训练,没有任何中间图像。所有的跳跃都是使用一个单一的发生器沿每个方向产生的。除了标准的周期一致性和对抗性损失,我们引入了一个新的混合网络,该网络经过训练,可以将生成器生成的中间图像分类为加权混合图像,其权重基于预定的跳数。我们还添加了一个平滑项来约束每一跳的大小,进一步正则化平移。与以前的方法相比,GANHopper在涉及特定领域图像特征和几何变化的图像翻译方面表现出色,同时还保留了非特定领域的特征,如通用配色方案。
2020-07-29 cs.CV
Singular Value Scaling: Efficient Generative Model Compression via Pruned Weights Refinement
Laboratory of Advanced Imaging Technology (LAIT)(先进成像技术实验室(LAIT));Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院)
本文提出奇异值缩放(SVS)技术,通过最小化剪枝权重奇异值差异来优化权重初始化,提升GAN和Diffusion模型的微调效率与压缩性能,且无需额外训练成本。
2025-03-31 cs.AI cs.CV
MedGAN: Medical Image Translation using GANs
University of Stuttgart(斯图加特大学)
图像到图像的转换被认为是医学图像分析领域的一个新的前沿,具有许多潜在的应用。然而,最近的方法中有很大一部分提供了基于特定任务架构的个性化解决方案,或者需要通过非端到端培训进行改进。在本文中,我们提出了一个新的框架,名为MedGAN,用于医学图像到图像的翻译,它以端到端的方式在图像级别上运行。MedGAN建立在生成对抗网络(GANs)领域的最新进展基础上,将对抗框架与非对抗损失的新组合相结合。我们利用一个神经网络作为一个可训练的特征提取器,惩罚翻译的医学图像和所需的模式之间的差异。此外,风格转移损失被用来匹配所需的目标图像的纹理和精细结构的翻译图像。此外,我们提出了一种新的生成器架构,名为CasNet,它通过编码器-解码器对的渐进式改进来增强翻译后的医学输出的清晰度。在没有任何特定应用修改的情况下,我们将MedGAN应用于三个不同的任务:PET-CT翻译,MR运动伪影校正和PET图像去噪。放射科医生的感知分析和定量评估表明,MedGAN优于其他现有的翻译方法。
2019-04-04 cs.CV
ReStyle: A Residual-Based StyleGAN Encoder via Iterative Refinement
Tel Aviv University(特拉维夫大学)
最近,通过使用生成对抗网络(GANs),无条件图像合成的能力得到了显着提高。将图像转换为训练的GAN的相应潜在代码的任务至关重要,因为它允许操纵真实图像,利用网络学习的丰富语义。认识到目前的反演方法的局限性,在这项工作中,我们提出了一种新的反演方案,通过引入迭代细化机制,扩展当前基于编码器的反演方法。代替使用单次通过直接预测给定真实图像的潜码,编码器的任务是以自校正方式预测相对于反转的潜码的当前估计的残差。我们的基于残差的编码器,名为ReStyle,与当前最先进的基于编码器的方法相比,提高了准确性,推理时间的增加可以忽略不计。我们分析ReStyle的行为,以获得对其迭代性质的有价值的见解。然后,我们评估我们的残差编码器的性能,并分析其鲁棒性相比,基于优化的逆和国家的最先进的编码器。
2021-08-24 cs.CV
DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting
Kyungpook National University(庆北国立大学)
针对文本引导图像修复中的图文对齐与区域分布一致性问题,提出DAFT-GAN,通过双仿射变换逐步融合特征并分区编码以减少信息泄漏,在三个基准上取得优于现有GAN模型的效果。
2024-08-09 cs.CV
GAN2X: Non-Lambertian Inverse Rendering of Image GANs
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);MIT(麻省理工学院)
2D图像是用几何、材料和照明组件描绘的3D物理世界的观察结果。从2D图像中恢复这些潜在的内在组件,也称为逆渲染,通常需要从多个视点和照明条件收集成对图像的监督设置,这是资源需求。在这项工作中,我们提出了GAN2X,这是一种新的无监督逆渲染方法,只使用未配对的图像进行训练。与以前的形状从GAN的方法,主要集中在3D形状,我们采取了第一次尝试,也恢复非朗伯材料属性,利用伪配对数据生成的GAN。为了实现精确的逆渲染,我们设计了一种具有反射性感知的神经表面表示,该表示连续地对几何形状和材料属性进行建模。采用基于阴影的细化技术,进一步提取目标图像中的信息,恢复更多的细节。实验表明,GAN2X可以准确地将2D图像分解为不同对象类别的3D形状,反射和镜面属性,并实现了无监督单视图3D人脸重建的最新性能。我们还展示了它在下游任务中的应用,包括真实图像编辑和将2D GANs提升到分解的3D GANs。
2022-11-14 cs.CV
Adversarially-Refined VQ-GAN with Dense Motion Tokenization for Spatio-Temporal Heatmaps
University of Wyoming(怀俄明大学)
本文提出一种对抗精炼VQ-GAN与密集运动标记化方法,用于压缩时空热图并保留人体运动细粒度轨迹,在CMU Panoptic数据集上相比dVAE显著提升SSIM并降低时间不稳定性,同时揭示了2D与3D运动所需的最优码本规模。
2025-09-23 cs.AI cs.CV
Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement
Pinscreen
我们引入了一个高度鲁棒的基于GAN的框架,用于从一张不受约束的照片中数字化一个人的标准化3D头像。虽然输入图像可以是微笑的人或在极端光照条件下拍摄的,但我们的方法可以在漫射光照条件下可靠地产生中性表情和皮肤纹理的人脸的高质量纹理模型。尖端的3D人脸重建方法使用非线性变形人脸模型结合基于GAN的解码器来捕捉人物的相似性和细节,但无法生成具有无阴影纹理的中性头部模型,这对于创建可重配和动画友好的化身以集成到虚拟环境中至关重要。现有方法的主要挑战是缺乏包含标准化3D人脸的训练和地面真实数据。我们提出了一个两阶段的方法来解决这个问题。首先,我们通过将非线性变形人脸模型嵌入到StyleGAN2网络中来采用高度鲁棒的归一化3D人脸生成器。这使我们能够生成详细但标准化的面部资产。然后,在此推断之后是感知细化步骤,该步骤使用生成的资产作为正则化,以应对归一化面部的有限可用训练样本。我们进一步介绍了一个归一化的人脸数据集,它由摄影测量扫描,精心挑选的照片,并在漫射照明条件下生成中性表情的假人组成。虽然我们准备的数据集包含的主题比基于GAN的3D面部重建方法少两个数量级,但我们表明,可以为非常具有挑战性的无约束输入图像生成高质量的归一化面部模型,并表现出优于当前最先进技术的性能。
2021-06-21 cs.CV cs.GR
Cross-scale Aligned Supervision for Training GANs
Sungkyunkwan University(全北大学)
针对GAN多尺度生成中跨尺度轨迹未对齐问题,提出CAT(跨尺度对齐Transformer),通过生成器侧一致性正则化对齐中间输出与最终输出,在ImageNet-256上实现FID-50K为1.56。
2026-05-26 cs.AI cs.CV
Navigating the GAN Parameter Space for Semantic Image Editing
Yandex;Moscow Institute of Physics and Technology(莫斯科物理技术学院);HSE University(高等经济大学)
生成对抗网络(GANs)是目前视觉编辑不可或缺的工具,是图像到图像转换和图像复原管道的标准组件。此外,GANs对于可控生成特别有用,因为它们的潜在空间包含广泛的可解释方向,非常适合语义编辑操作。通过沿着这些方向逐渐改变潜在代码,可以产生令人印象深刻的视觉效果,这在没有GANs的情况下是无法实现的。在本文中,我们显着扩展了使用最先进的模型(如StyleGAN 2)可实现的视觉效果范围。在现有的作品,主要是操作的潜在代码相比,我们发现可解释的方向在空间中的生成器参数。通过几个简单的方法,我们探索这个空间,并证明它也包含了大量的可解释的方向,这是一个很好的来源,非平凡的语义操作。所发现的操作不能通过变换潜码来实现,并且可以用于编辑合成图像和真实图像。我们发布了我们的代码和模型,并希望它们能成为进一步基于GAN的图像编辑的方便工具。
2021-04-21 cs.CV cs.LG
Perceptual Evaluation of GANs and Diffusion Models for Generating X-rays
Pontificia Universidad Católica de Chile(智利天主教大学);iHealth - Instituto Milenio en Ingeniería e Inteligencia Artificial para la Salud(iHealth - 毫米级工程与人工智能健康研究所);CENIA – Centro Nacional de Inteligencia Artificial(国家人工智能中心)
本研究评估了GANs和Diffusion Models在合成四种异常胸部X光片时的有效性与保真度,通过放射科医生的读者研究发现两者在视觉真实感和特定条件准确性上具有互补优势,为生成模型可靠增强AI诊断训练数据提供了见解。
2025-08-10 cs.AI cs.CV
Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
可控制的语义图像编辑使得用户能够通过几次点击来改变整个图像属性,渐渐的让夏天的景色看起来像是冬天拍的。用于此任务的经典方法使用生成对抗网络(GAN)来学习潜在空间和合适的潜在空间变换。然而,当前的方法经常遭受纠缠的属性编辑、全局图像身份改变和减少的照片真实感。为了解决这些问题,我们同时学习多个属性转换,将属性回归集成到转换函数的训练中,并应用内容损失和对抗性损失,以鼓励维护图像身份和照片真实感。我们提出了定量评价策略,测量可控编辑性能,不像以前的工作,主要集中在定性评价。我们的模型允许更好地控制单属性和多属性编辑,同时保持图像的身份和现实主义在变换过程中。我们提供了自然和合成图像的经验结果,强调我们的模型实现了最先进的性能,有针对性的图像操作。
2021-03-28 cs.CV
LSAP: Rethinking Inversion Fidelity, Perception and Editability in GAN Latent Space
Beijing University of Posts and Telecommunications(北京邮电大学)
LSAP通过引入归一化风格空间和NSCD度量,提升GAN潜在空间中反向保真度、感知性和可编辑性的对齐性能。
2025-11-20 cs.AI cs.CV cs.LG
Proportional Sensitivity in Generative Adversarial Network (GAN)-Augmented Brain Tumor Classification Using Convolutional Neural Network
American International University-Bangladesh(美国国际大学-孟加拉国);Asian University of Bangladesh(孟加拉国亚洲大学);Information and Computer Science Department, King Fahd University of Petroleum and Minerals (KFUPM)(石油和矿物大学(KFUPM)信息与计算机科学系);SDAIA-KFUPM Joint Research Center for AI, King Fahd University of Petroleum and Minerals(人工智能联合研究中心(SDAIA-KFUPM), 石油和矿物大学);Interdisciplinary Research Center for Bio Systems and Machines, King Fahd University of Petroleum and Minerals(生物系统与机器交叉研究中心,石油和矿物大学);Independent University, Bangladesh(独立大学)
本研究探讨GAN生成与真实脑肿瘤MRI图像的不同比例对CNN分类性能的影响,发现少量合成数据(如900真实+100GAN)时准确率达95.2%,但比例过高会导致性能下降。
2025-06-20 cs.AI cs.CV eess.IV
Rapid Reconstruction of Extremely Accelerated Liver 4D MRI via Chained Iterative Refinement
University of California, San Francisco(加州大学旧金山分校);Siemens Healthineers(西门子医疗);University of California, Los Angeles(加州大学洛杉矶分校)
提出CIRNet,利用去噪扩散概率框架进行稀疏采样重建,在高达30倍加速下保持图像质量,推理时间11秒,优于CS和Re-Con-GAN。
2024-12-14 cs.AI cs.CV eess.IV
StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University(罗格斯大学);Lehigh University(理海大学);The Chinese University of Hong Kong(香港中文大学);Baidu Research(百度研究院)
从文本描述合成高质量图像是计算机视觉中的一个具有挑战性的问题,并且具有许多实际应用。现有的文本到图像的方法生成的样本可以大致反映给定的描述的含义,但他们不能包含必要的细节和生动的对象部分。在本文中,我们提出了堆叠生成对抗网络(StackGAN),以生成256 × 256的照片级真实感图像的文本描述为条件。我们通过草图细化过程将难题分解为更易于管理的子问题。第一阶段GAN根据给定的文本描述绘制对象的基本形状和颜色,产生第一阶段低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入,并生成具有照片般逼真细节的高分辨率图像。它能够纠正第一阶段结果中的缺陷,并通过细化过程添加引人注目的细节。为了提高合成图像的多样性并稳定条件GAN的训练,我们引入了一种新的条件增强技术,该技术鼓励潜在条件流形中的平滑性。在基准数据集上进行的大量实验和与最新技术的比较表明,该方法在生成基于文本描述的照片级真实感图像方面取得了显着的改进。
2017-08-05 cs.AI cs.CV stat.ML
Make Encoder Great Again in 3D GAN Inversion through Geometry and Occlusion-Aware Encoding
Hong Kong University of Science and Technology(香港科技大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA))
3D GAN反演旨在从单个图像输入同时实现高重建保真度和合理的3D几何形状。然而,现有的3D GAN反演方法依赖于针对每个单独情况的耗时优化。在这项工作中,我们介绍了一种新的基于编码器的反演框架的基础上EG3D,最广泛使用的三维GAN模型之一。我们利用EG3D的潜在空间的固有属性来设计一个正则化和一个背景深度正则化。这使得我们能够训练几何感知编码器能够将输入图像转换为相应的潜在代码。此外,我们探索EG3D的特征空间,并开发了一个自适应细化阶段,提高了EG3D中特征的表示能力,以增强细粒度纹理细节的恢复。最后,我们提出了一个遮挡感知融合操作,以防止在未观察到的区域失真。我们的方法取得了令人印象深刻的结果,可与基于优化的方法相媲美,同时运行速度快达500倍。我们的框架非常适合语义编辑等应用程序。
2023-03-22 cs.CV
Interpreting Galaxy Deblender GAN from the Discriminator's Perspective
Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
生成对抗网络(GANs)以其无监督学习能力而闻名。最近在天文学领域的一项成功是通过分支GAN模型对两个重叠的星系图像进行去混合。然而,理解网络如何工作仍然是一个重大挑战,这对于非专家用户来说尤其困难。这项研究的重点是网络的主要组件之一,鉴别器,它起着至关重要的作用,但往往被忽视的行为,具体来说,我们增强了分层相关传播(LRP)计划,以生成基于热图的可视化。我们称这种技术为极化LRP,它由两部分组成,即地面真实图像的正贡献热图和生成图像的负贡献热图。使用Galaxy Zoo数据集,我们证明了我们的方法在区分生成的星系图像与地面真实图像时清楚地揭示了鉴别器的注意区域。为了连接鉴别器对生成器的影响,我们可视化了生成器在训练过程中的逐渐变化。一个有趣的结果,我们已经取得了检测有问题的数据增强过程,否则将保持隐藏。我们发现,我们提出的方法作为一个有用的视觉分析工具,更深入地了解GAN模型。
2020-01-17 cs.CV eess.IV
Scene Graph to Image Generation with Contextualized Object Layout Refinement
Tel-Aviv University(特拉维夫大学)
从场景图生成图像是一项具有挑战性的任务,最近吸引了大量的兴趣。先前的工作已经通过生成目标图像的中间布局描述来完成该任务。然而,布局中每个对象的表示都是独立生成的,这导致了高重叠、低覆盖和整体模糊的布局。我们提出了一种新的方法,通过逐步生成整个布局描述来改善对象间的依赖性,从而解决了这些问题。我们在COCO-STUFF数据集上的经验表明,我们的方法提高了中间布局和最终图像的质量。我们的方法将布局覆盖率提高了近20个点,并将对象重叠降低到可以忽略的程度。
2022-10-10 cs.CV
LSC-GAN: Latent Style Code Modeling for Continuous Image-to-image Translation
East China Normal University(华东师范大学)
图像到图像(I2I)转换通常在离散域之间进行。然而,通常对应于物理值的图像域通常是连续的。换句话说,图像随着价值的变化而逐渐变化,不同领域之间不存在明显的差距。本文旨在建立连续变化域之间的I2I翻译模型。我们首先将整个域覆盖划分为离散的区间,并明确地为每个区间的中心建立潜在的风格代码模型。针对连续翻译的问题,设计了编辑模块,从两个方向改变潜在的风格代码。这些编辑模块有助于在训练过程中约束领域中心的代码,以便模型更好地理解它们之间的关系。为了具有不同的结果,潜在的风格代码进一步用随机噪声或来自参考图像的特征来多样化,将单独的风格代码提供给解码器用于基于标签或基于参考的合成。在年龄和视角平移方面的实验表明,该方法可以获得高质量的结果,并且对用户来说也是灵活的。
2021-10-11 cs.CV
Image Difficulty Curriculum for Generative Adversarial Networks (CuGAN)
University of Bucharest(布加勒斯特大学);Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);University “Politehnica” of Bucharest(布加勒斯特理工大学)
尽管近年来取得了重大进展,但生成对抗网络(GANs)仍然非常难以训练。在本文中,我们提出了三种新的课程学习策略来训练GANs。所有的策略都是首先根据训练图像的难度分数对训练图像进行排名,这些难度分数是由最先进的图像难度预测器估计的。我们的第一个策略是将图像分成逐渐更难的批次。我们的第二个策略引入了一个新的课程损失函数,考虑到真实图像的难度分数的训练。我们的第三个策略是基于从一个不断发展的分布中进行采样,在初始训练阶段有利于更容易的图像,并逐渐收敛到一个均匀的分布,在这个分布中,样本的可能性是相等的,无论难度如何。我们比较了我们的课程学习策略与经典的培训过程中的两个任务:图像生成和图像翻译。我们的实验表明,所有的策略提供更快的收敛速度和优越的结果。例如,我们在频谱归一化GANs(SNGANs)上应用的最佳课程学习策略在25.0%的案例中欺骗了人类注释者,认为生成的CIFAR类图像是真实的,而使用经典过程训练的SNGANs仅在18.4%的案例中欺骗了注释者。同样,在图像翻译中,人类注释者在40.5%的情况下更喜欢使用课程学习训练的Cycle-consistent GAN(CycleGAN)生成的图像,而在19.8%的情况下,CycleGAN基于经典训练生成的图像,39.7%的情况下被标记为领带。
2019-10-22 cs.CV cs.LG stat.ML
UWAT-GAN: Fundus Fluorescein Angiography Synthesis via Ultra-wide-angle Transformation Multi-scale GAN
Hangzhou Dianzi University(杭州电子科技大学);Jinan University(暨南大学);Shenzhen Eye Hospital(深圳眼科医院);Shenzhen University(深圳大学)
针对现有眼底跨模态图像生成方法分辨率低、难捕捉微小血管病变的问题,提出UWAT-GAN模型,通过多尺度生成器、注意力传输模块和多尺度加权损失,从UWF-SLO合成高分辨率UWF-FA,性能优于SOTA方法。
2023-07-21 cs.CV eess.IV
Cross-Domain Face Synthesis using a Controllable GAN
École de technologie supérieure(高等技术学院)
应用于视频监控的人脸识别(FR)系统的性能已被证明是通过合成人脸生成增强设计数据时,以提高。例如,对于成对匹配器(例如,深连体网络),其通常依赖于每个个体具有一个静止图像的参考图库。然而,在源域中生成合成图像可能由于域移位w.r.t.目标域。此外,尽管出现了用于真实合成生成的生成对抗网络(GANs),但通常难以控制生成合成人脸的条件。在本文中,跨域人脸合成方法,提出了一种新的可控GAN(C-GAN)集成。它采用了现成的三维人脸模型作为模拟器来生成各种姿态下的人脸图像。模拟的图像和噪声被输入到C-GAN进行真实感细化,该C-GAN采用额外的对抗游戏作为第三玩家,以保留细化图像的身份和特定面部属性。这允许在控制GAN输出以在期望的姿态条件下生成面部的同时生成反映目标域中的捕捉条件的真实合成面部图像。实验使用来自Chokepoint和COX-S2 V数据集的视频以及用于FR的深度暹罗网络进行,每个人具有单个参考静止。结果表明,所提出的方法可以提供更高的精度水平相比,目前国家的最先进的方法,合成数据增强。
2019-10-31 cs.CV
PFA-GAN: Progressive Face Aging with Generative Adversarial Network
Fudan University(复旦大学);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心)
人脸老化是对给定的人脸进行渲染以预测其未来的外观,由于人脸的外观通常随年龄而变化,因此在信息取证和安全领域中起着重要作用。虽然条件生成对抗网络(cGAN)已经取得了令人印象深刻的结果,但现有的基于cGAN的方法通常使用单个网络来学习任何两个不同年龄组之间的各种老化效应。然而,它们不能同时满足面部老化的三个基本要求-包括图像质量,老化精度和身份保护-并且当年龄差距变大时,通常会生成具有强烈鬼伪影的老化面部。受人脸随着时间的推移而逐渐老化的事实的启发,本文提出了一种新的基于生成对抗网络(PFA-GAN)的渐进式人脸老化框架来缓解这些问题。与现有的基于cGANs的方法不同,该框架包含几个子网络来模拟从年轻到年老的人脸老化过程,每个子网络只学习两个相邻年龄组之间的一些特定老化效应。所提出的框架可以以端到端的方式进行训练,以消除累积的伪影和模糊。此外,本文引入了一个年龄估计损失,考虑到年龄分布,以提高老化精度,并提出使用皮尔逊相关系数作为衡量人脸老化方法的老化平滑度的评价指标。广泛的实验结果表明,在两个基准数据集上,基于GAN的方法(包括最先进的方法)的性能优于现有的(c)GAN方法。源代码可在~ \url{https://github.com/Hzzone/PFA-GAN}上获得。
2020-12-07 cs.CV
DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion
Chung-Ang University(中央大学)
本文提出 DuDGAN,通过向判别器和分类器以不同方式注入高斯混合噪声的双重扩散机制,提升类别条件 GAN 的训练稳定性与图像生成质量。
2023-06-06 cs.CV eess.IV
Realistic River Image Synthesis using Deep Generative Adversarial Networks
Columbia University(哥伦比亚大学);University of Iowa(爱荷华大学)
在本文中,我们展示了使用深度学习生成真实河流图像的实际应用。具体而言,我们探索了一种生成对抗网络(GAN)模型,该模型能够生成高分辨率和逼真的河流图像,可用于支持地表水估计、河流弯曲、湿地损失和其他水文研究中的建模和分析。首先,我们创建了一个广泛的架空河流图像库,用于训练。其次,我们引入了渐进式增长GAN(PGGAN),这是一种网络架构,它迭代地训练较小分辨率的GANs,以逐渐提高到非常高的分辨率,从而生成高质量的(即,1024 x1024)合成河流图像。对于更简单的GAN架构,在训练时间的指数增长和梯度消失/爆炸问题方面出现了困难,PGGAN实现似乎显着减少了这些困难。本研究中提出的结果在生成高质量图像和捕获河流结构和流量的细节以支持水文研究方面显示出很大的希望,这通常需要大量的图像来实现模型性能。
2021-07-27 cs.CV cs.LG stat.ML
DM-GAN: Dynamic Memory Generative Adversarial Networks for Text-to-Image Synthesis
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Centre for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心);Baidu Research(百度研究院)
在本文中,我们专注于从文本描述生成逼真的图像。现有的方法首先生成一幅形状和颜色都比较粗糙的初始图像,然后对初始图像进行细化,得到高分辨率的图像。大多数现有的文本到图像的合成方法有两个主要问题。(1)这些方法在很大程度上依赖于初始图像的质量。如果初始图像没有很好地初始化,则以下过程很难将图像细化到令人满意的质量。(2)每个单词在描绘不同的图像内容时贡献不同的重要性水平,然而,在现有的图像细化过程中使用不变的文本表示。在本文中,我们提出了动态记忆生成对抗网络(DM-GAN)来生成高质量的图像。该方法引入动态记忆模块,在初始图像生成不充分的情况下,对模糊图像内容进行细化。设计了一个存储器写入门,根据初始图像内容选择重要的文本信息,使我们的方法能够准确地从文本描述中生成图像。我们还利用一个响应门,自适应地融合从存储器中读取的信息和图像特征。我们在Caltech-UCSD Birds 200数据集和Microsoft Common Objects in Context数据集上评估了DM-GAN模型。实验结果表明,我们的DM-GAN模型对最先进的方法表现良好。
2019-04-02 cs.CV
Improving Diversity in Zero-Shot GAN Adaptation with Semantic Variations
Yonsei University(延世大学);Microsoft Research Asia(微软亚洲研究院);SwatchOn
针对零样本GAN适配中因仅靠单文本特征引导导致的模式崩溃问题,提出在CLIP空间挖掘目标文本语义变化、设计方向矩损失并结合源域信息保留策略,在多样性和质量上均实现SOTA。
2023-08-21 cs.CV
A Simple and Effective Baseline for Attentional Generative Adversarial Networks
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Northwestern University(西北大学)
本文针对AttnGAN系列模型存在冗余的问题,通过去除冗余结构、改进主干网络并整合重构DAMSM损失,提出SEAttnGAN,在保持性能的同时显著降低模型规模并提升训练效率。
2023-07-06 cs.CV
Text-to-Image GAN with Pretrained Representations
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院)
本文提出TIGER,一种基于预训练表示的文本到图像GAN,通过视觉赋能的判别器堆叠多个预训练模型以增强场景理解与泛化,并设计高容量生成器及HFBlock实现高效文本-图像融合,在标准与零样本合成任务上取得领先性能。
2024-12-30 cs.AI cs.CV cs.LG
Soft-Di[M]O: Improving One-Step Discrete Image Generation with Soft Embeddings
LIX, École Polytechnique, CNRS, IPP(IX实验室,巴黎高等理工学院,法国国家科学研究中心,IPP);Inria at Univ. Grenoble Alpes, CNRS, LJK(里尔大学,法国国家科学研究中心,LJK)
本文提出Soft-Di[M]O框架,通过引入软嵌入解决一步生成器中离散token阻断梯度的问题,实现端到端训练并支持GAN精炼、可微奖励微调和TTEO。
2026-03-19 cs.AI cs.CV cs.LG
One-shot Ultra-high-Resolution Generative Adversarial Network That Synthesizes 16K Images On A Single GPU
Handong Global university(韩东全球大学)
本研究提出OUR-GAN框架,仅需单张训练图像和单张消费级GPU即可生成无重复16K超高分辨率图像,通过子区域超分辨率、垂直位置卷积等技术,在保真度、一致性和多样性上优于基线模型。
2023-08-28 cs.CV cs.LG eess.IV
Editable Stain Transformation Of Histological Images Using Unpaired GANs
Slovak University of Technology(斯洛伐克工业大学)
针对 P63 染色损伤组织且成本高的问题,提出兼具可解释性、结构保持与可编辑功能的 xAI-CycleGAN,将 H&E 乳腺组织图像转换为逼真的类 P63 图像。
2023-12-06 cs.CV cs.LG eess.IV
Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior
Tianjin University(天津大学);Tencent PCG(腾讯平台与内容事业群)
针对现有盲人脸恢复方法对姿态多变的严重退化人脸鲁棒性不足的问题,提出结合非对称编解码器(含可即插即用的MMRB模块)与StyleGAN2先验及自监督训练的恢复网络,在人脸恢复与超分任务上性能优于现有方法。
2023-06-15 cs.CV
Sequential Attention GAN for Interactive Image Editing
Microsoft Dynamics 365 AI Research(微软 Dynamics 365 人工智能研究院);Duke University(杜克大学);Microsoft Research(微软研究院)
大多数现有的文本到图像的合成任务是静态的单轮生成,基于预定义的文本描述的图像。为了探索更实用和交互式的现实生活中的应用程序,我们引入了一个新的任务-交互式图像编辑,用户可以引导代理通过多轮文本命令在飞行中编辑图像。在每个会话中,代理将用户的自然语言描述作为输入,并根据用户描述将前一轮生成的图像修改为新的设计。这种顺序和交互式图像生成任务中的主要挑战是双重的:1)生成的图像和所提供的文本描述之间的上下文一致性; 2)逐步区域级修改,以在每个会话中跨生成的图像序列保持视觉一致性。为了解决这些挑战,我们提出了一种新的顺序注意生成对抗网络(SeqAttn GAN),它应用神经状态跟踪器对序列的每一轮中的前一个图像和文本描述进行编码,并使用GAN框架来生成与前一个图像一致并与描述一致的图像的修改版本。为了实现更好的区域特定的细化,我们还引入了顺序注意力机制的模型。为了对新任务进行基准测试,我们引入了两个新的数据集,Zap-Seq和DeepFashion-Seq,它们包含时尚领域的图像描述序列的多轮会话。在两个数据集上的实验表明,所提出的SeqAttnGANmodel在交互式图像编辑任务上的所有评估指标(包括视觉质量、图像序列一致性和文本图像一致性)都优于最先进的方法。
2020-08-05 cs.AI cs.CV stat.ML
Finding the global semantic representation in GAN through Frechet Mean
Korea Institute for Advanced Study(韩国高等研究院);Seoul National University(首尔国立大学)
本文提出无监督 Fréchet 基方法,利用 Grassmann 流形和特殊正交群上的 Fréchet 均值,从 GAN 中间潜空间的局部语义扰动中发现全局语义基,提升语义分解与鲁棒性。
2023-04-23 cs.CV
Airway measurement by refinement of synthetic images improves mortality prediction in idiopathic pulmonary fibrosis
University College London(伦敦大学学院);KU Leuven(鲁汶大学);University Hospitals Leuven(鲁汶大学医院);University of Antwerp(安特卫普大学)
几种慢性肺部疾病,如特发性肺纤维化(IPF)的特征是气道异常扩张。在计算机断层扫描(CT)上对气道特征进行量化可以帮助预测疾病的进展。已经开发了基于物理学的气道测量算法,但是部分地由于在临床实践中看到的气道形态的绝对多样性而取得了有限的成功。由于获得精确气道注释的高成本,监督学习方法也不可行。我们建议通过使用感知损失的风格转移来合成气道,以训练我们的模型,气道转移网络(ATN)。我们比较了我们的ATN模型与最先进的基于GAN的网络(simGAN),使用a)定性评估; b)评估ATN和基于simGAN的CT气道指标预测113例IPF患者人群死亡率的能力。ATN被证明比simGAN更快、更容易训练。在IPF CT中,基于ATN的气道测量也被发现是比simGAN衍生的气道指标更强的死亡率预测指标。通过转换网络进行气道合成,使用感知损失细化合成数据,是基于GAN的方法用于特发性肺纤维化临床CT分析的现实替代方案。我们的源代码可以在https://github.com/ashkanpakzad/ATN上找到,它与现有的开源气道分析框架AirQuant兼容。
2022-08-30 cs.CV eess.IV physics.med-ph
Synthesis and Edition of Ultrasound Images via Sketch Guided Progressive Growing GANs
Shenzhen University(深圳大学);Guangzhou Medical University(广州医科大学)
超声(US)是临床上广泛接受的解剖结构检查。然而,由于缺乏资源来练习US扫描,新手往往很难学习操作技能。此外,在深度学习时代,自动化的美国图像分析受到缺乏注释样本的限制。有效地合成逼真的、可编辑的和高分辨率的US图像可以解决这些问题。这是一个具有挑战性的任务,以往的方法只能部分完成它。在本文中,我们设计了一个新的框架,US图像合成。特别地,我们首先采用草图生成对抗网络(Sgan)在条件生成对抗网络中的对象掩码上引入背景草图。通过丰富的草图线索,Sgan可以生成具有可编辑和细粒度结构细节的逼真US图像。虽然有效,但Sgan很难生成高分辨率的US图像。为了实现这一目标,我们进一步将Sgan植入渐进式生长计划(PGSgan)。通过平滑地增长发生器和放大器,PGSgan可以逐渐合成从低到高分辨率的US图像。通过合成卵巢和卵泡US图像,我们广泛的感知评估,用户研究和分割结果证明了所提出的PGSgan有前途的疗效和效率。
2020-04-01 cs.CV eess.IV
Multi-Tailed, Multi-Headed, Spatial Dynamic Memory refined Text-to-Image Synthesis
Robert Bosch Center for Data Science and Artificial Intelligence(罗伯特·博世数据科学与人工智能中心);Indian Institute of Technology Madras(马德拉斯印度理工学院)
从文本描述合成高质量、逼真的图像是一项具有挑战性的任务,当前的方法以多阶段的方式从文本合成图像,通常首先生成粗略的初始图像,然后在后续阶段细化图像细节。然而,遵循这种范式的现有方法受到三个重要限制。首先,它们合成初始图像,而不尝试在单词级别分离图像属性。因此,初始图像的对象属性(为后续细化提供基础)本质上是内在纠缠和模糊的。其次,通过对所有区域使用共同的文本表示,当前的方法防止我们在图像的不同部分以根本不同的方式解释文本。因此,不同的图像区域仅允许在每个细化阶段从文本中吸收相同类型的信息。最后,当前方法在每个细化阶段仅生成一次细化特征,并且尝试在Single Shot中解决所有图像方面。这种单次细化限制了每个细化阶段可以学习改进先前图像的精度。我们提出的方法引入了三个新的组件来解决这些缺点:(1)初始生成阶段,显式地为每个单词n-gram生成单独的图像特征集。(2)空间动态记忆模块,用于细化图像。(3)一个迭代的多头机制,使其更容易改善多个图像方面。实验结果表明,我们的多头空间动态记忆图像细化与我们的多尾字级初始生成(MSMT-GAN)表现良好,对CUB和COCO数据集上的现有技术。
2021-10-15 cs.CV
Conditional GAN for Enhancing Diffusion Models in Efficient and Authentic Global Gesture Generation from Audios
针对音频驱动手势生成中VAE方法不稳定、扩散模型效率低的问题,提出用条件GAN捕获音频信号并匹配多峰去噪分布,打破DDPM单峰小噪声假设,实现更少步数的高速高保真手势生成。
2024-11-01 cs.AI cs.CV cs.GR
Semantic Segmentation by Improved Generative Adversarial Networks
Shandong University of Science and Technology(山东科技大学);University of Florida(佛罗里达大学)
现有的分割方法通常将CNN强大的特征提取能力与条件随机场(CRFs)后处理相结合,但结果往往受到CRFs缺陷的限制。由于CRF计算速度慢、效率低,近年来CRF后处理已逐渐被淘汰。本文提出了一种用于图像语义分割任务(Semantic Segmentation by GANs,Seg-GAN)的改进的生成对抗网络(Generative Adversarial Networks,GANs)。此外,我们引入卷积CRF(ConvCRFs)作为图像语义分割任务的有效改进解决方案。为了将分割结果与地面真值分布区分开来并改善输出图像的细节,所提出的卷积神经网络以完全卷积的方式与级联ConvCRF相结合进行了专门设计。此外,对抗性损失积极鼓励输出图像接近地面真实的分布。我们的方法不仅学习从输入图像到相应输出图像的端到端映射,而且还学习损失函数来训练该映射。实验表明,我们的方法取得了更好的性能比国家的最先进的方法。
2021-04-20 cs.CV
DiffusionGAN3D: Boosting Text-guided 3D Generation and Domain Adaptation by Combining 3D GANs and Diffusion Priors
Alibaba Group(阿里巴巴集团)
针对文本引导3D人像生成与域适应存在的灵活性差、不稳定等问题,提出结合3D GAN与扩散先验的DiffusionGAN3D框架,通过多模块设计提升生成质量与效率。
2024-04-12 cs.CV
Sketch guided and progressive growing GAN for realistic and editable ultrasound image synthesis
Shenzhen University(深圳大学)
超声(US)成像广泛用于临床诊断中的解剖结构检查。培训新的超声医师和基于深度学习的US图像分析算法通常需要大量数据。然而,获取和标记大规模的US成像数据并不是一件容易的事情,特别是对于低发病率的疾病。真实感美国图像合成可以在很大程度上缓解这个问题。在本文中,我们提出了一个生成对抗网络(GAN)的图像合成框架。我们的主要贡献包括:1)我们提出了第一个可以合成具有高分辨率和定制纹理编辑功能的逼真B模式US图像的工作; 2)为了增强生成图像的结构细节,我们提出将辅助草图引导引入到条件GAN中。我们将边缘草图叠加到对象掩模上,并使用复合掩模作为网络输入; 3)为了生成高分辨率US图像,我们采用渐进式训练策略,从低分辨率图像逐渐生成高分辨率图像。此外,本文还提出了一种特征丢失算法,以最大限度地减少生成图像与真实图像之间的高层次特征差异,从而进一步提高了生成图像的质量; 4)本文提出的超声图像合成方法具有较强的通用性,除了本文所研究的三种超声图像外,还可以推广到其他解剖结构的超声图像(肺、髋关节和卵巢); 5)在三个大的US图像数据集上进行了广泛的实验以验证我们的方法。消融研究,定制的纹理编辑,用户研究和分割测试表明,我们的方法在合成逼真的US图像有前途的结果。
2022-05-25 cs.CV cs.LG eess.IV