Edge Heuristic GAN for Non-uniform Blind Deblurring
Beijing Jiaotong University（北京交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xpeng Motors（小鹏汽车）
非均匀模糊主要由相机抖动和多个物体的运动引起，是图像质量下降的最常见原因之一。然而，传统的基于模糊核估计的盲去模糊方法对复杂的非匀速运动模糊效果不佳。最近的研究表明，基于GAN的方法在去模糊任务上取得了令人印象深刻的性能。在这封信中，为了进一步提高基于GAN的方法在去模糊任务上的性能，我们提出了一种边缘启发式多尺度生成对抗网络（GAN），它使用“从粗到精”的方案以端到端的方式恢复清晰图像。特别地，边缘增强网络被设计为生成尖锐边缘作为辅助信息来指导去模糊过程。此外，我们提出了一个分层的内容损失函数去模糊任务。在不同数据集上的大量实验表明，该方法在动态场景去模糊方面取得了最好的效果。
2019-07-11 cs.CV eess.IV
PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
多光谱和全色图像的融合通常被称为全色锐化。大多数基于深度学习的泛锐化方法都是通过一步方案来锐化多光谱图像，这在很大程度上取决于网络的重建能力。然而，遥感图像往往具有较大的变化，这些一步法容易产生误差积累，不能很好地保留图像的空间细节和光谱信息。在本文中，我们提出了一种新的两步模型的泛锐化，锐化MS图像通过渐进补偿的空间和光谱信息。首先，使用深度多尺度引导的生成对抗网络来初步增强MS图像的空间分辨率。从粗域中的预锐化MS图像开始，我们的方法然后在具有反向架构的几个生成对抗网络（GANs）上逐步细化空间和光谱残差。整个模型由三重GANs组成，并基于具体架构设计了联合补偿损失函数，使三重GANs能够同时训练。此外，本文提出的空间-光谱残差补偿结构可以推广到其他全色锐化方法中，进一步提高其融合效果。在不同的数据集上进行了大量的实验，结果证明了我们提出的方法的有效性和效率。
2022-07-29 cs.CV eess.IV
Poly-GAN: Multi-Conditioned GAN for Fashion Synthesis
Rochester Institute of Technology（罗切斯特理工学院）
我们提出了多GAN，一种新的有条件的GAN架构，其动机是时装合成，服装自动放置在人体模型的图像上的应用程序在任意姿势。Poly-GAN允许对多个输入进行调节，适用于许多任务，包括图像对齐，图像拼接和修复。现有的方法具有类似的流水线，其中使用三个不同的网络来首先将服装与人体姿势对齐，然后执行对齐服装的拼接，并最终细化结果。Poly-GAN是第一个使用通用架构来执行所有三项任务的实例。我们的新架构在编码器的所有层强制执行的条件，并利用跳过从编码器的粗层的解码器的相应层的连接。Poly-GAN能够基于模型的RGB骨架以任意姿势执行服装的空间变换。此外，Poly-GAN可以执行图像拼接，无论服装方向如何，以及当服装面具包含不规则孔时，在服装面具上进行修补。我们的系统使用DeepFashion数据集在结构相似性指数指标和Inception Score指标上实现了最先进的定量结果。
2019-09-05 cs.CV cs.GR eess.IV
PMC-GANs: Generating Multi-Scale High-Quality Pedestrian with Multimodal Cascaded GANs
University of Electronic Science and Technology of China（电子科技大学）
最近，生成对抗网络（GANs）在合成图像方面表现出了巨大的优势，从而推动了使用伪造图像来增强数据的探索。本文提出了一种多模态级联生成对抗网络（PMC-GANs）来生成真实多样的行人图像并增强行人检测数据。我们的模型的生成器采用了残差U网结构，多尺度残差块编码的功能，并注意残差块，以帮助解码和重建行人图像。该模型采用由粗到细的方式构造，并采用级联结构，有利于产生高分辨率的行人。PMC-GAN的性能优于基线，当用于数据增强时，它可以改善行人检测结果。
2019-12-30 cs.CV
Contrastive Diffusion Model with Auxiliary Guidance for Coarse-to-Fine PET Reconstruction
Sichuan University（四川大学）；University of Sydney（悉尼大学）；Chengdu University of Information Technology（成都信息工程大学）；ShanghaiTech University（上海科技大学）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能科技有限公司）
针对低剂量 PET 重建中扩散模型采样慢、条件对应保持不足的问题，提出由 CPM 与 IRM 构成的由粗到细框架，并引入辅助引导和对比扩散策略，提升速度、重建质量及临床可靠性。
2023-08-20 cs.CV eess.IV
Controlled GAN-Based Creature Synthesis via a Challenging Game Art Dataset -- Addressing the Noise-Latent Trade-Off
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最先进的StyleGAN 2网络支持创建和编辑艺术的强大方法，包括生成随机图像，查找图像“喜欢”某些查询，以及修改内容或风格。此外，最近的进步使训练与小数据集。我们将这些方法应用于合成卡片艺术，通过在一个新的Yu-Gi-Oh数据集上进行训练。虽然StyleGAN 2的噪声输入对于良好的合成至关重要，但我们发现粗尺度噪声会干扰该数据集上的潜变量，因为两者都控制着长尺度图像效果。我们通过潜变量编辑观察到艺术中过度激进的变化，以及噪音和弱内容控制的变化。在这里，我们证明了训练一个修改后的StyleGAN 2，其中粗尺度噪声被抑制，消除了这些不必要的影响。我们获得了一个优越的FID;噪声的变化导致局部探索的风格;和身份控制显着改善。这些结果和分析为所有技能水平的数字艺术家提供了GAN辅助的艺术合成工具，可用于电影，游戏或任何创意产业的艺术构思。
2021-10-20 cs.CV
Editing Out-of-domain GAN Inversion via Differential Activations
South China University of Technology（华南理工大学）；Ocean University of China（中国海洋大学）；The Hong Kong Polytechnic University（香港理工大学）
尽管在预训练的GAN模型的潜在空间中展示了编辑能力，但反转真实世界图像陷入了重建无法忠实于原始输入的困境。其主要原因是训练数据和真实世界数据之间的分布不对齐，并且由于此，用于真实图像编辑的GAN反演不稳定。在本文中，我们提出了一种新的GAN事先基于编辑框架来解决域外反演问题的组合分解范式。特别是，在阶段的组成，我们引入了一个差分激活模块，从全球的角度来看，\ie，编辑和未编辑的图像的功能之间的相对差距检测语义变化。借助生成的Diff-CAM掩模，可以通过成对的原始图像和编辑图像直观地合成粗略重建。通过这种方式，属性无关区域可以几乎完整地保留下来，而这样的中间结果的质量仍然受到不可避免的重影效应的限制。因此，在分解阶段，我们进一步提出了一个基于GAN先验的去重影网络，用于将最终的精编辑图像与粗重建图像分离。广泛的实验表现出优于国家的最先进的方法，在定性和定量评价方面。我们的方法的鲁棒性和灵活性也验证了单属性和多属性操作的情况下。
2022-07-17 cs.CV
Drop the GAN: In Defense of Patches Nearest Neighbors as Single Image Generative Models
The Weizmann Institute of Science（魏茨曼科学研究所）；Weizmann Artificial Intelligence Center (WAIC)（魏茨曼人工智能中心）
单图像生成模型通过捕获单个图像内的补丁分布来执行合成和操作任务。这些任务的经典（前深度学习）流行方法基于最大化输入和生成的输出之间的补丁相似性的优化过程。然而，最近，单图像GANs被引入作为此类操作任务的高级解决方案，也用于显着的新颖生成任务。尽管它们令人印象深刻，但单个图像GANs需要很长的训练时间（通常是几个小时）来完成每个图像和每个任务。它们通常会出现伪影，并且容易出现优化问题，例如模式坍塌。在本文中，我们证明了所有这些任务都可以在几秒钟内在一个统一的，令人惊讶的简单框架中执行，而无需任何培训。我们重新审视和铸造的“好老”补丁为基础的方法到一个新的无优化的框架。我们从最初的粗略猜测开始，然后使用块最近邻搜索简单地细化细节。这允许比GANs更好更快地生成随机新颖图像。我们进一步展示了广泛的应用，如图像编辑和重组，重定向到不同的大小，结构类比，图像拼贴和新引入的条件修复任务。我们的方法不仅更快（$\times 10^3$ - $\times 10^4$比GAN更快），而且产生了更好的结果（通过定量和定性评估证实），更少的伪影和更真实的全局结构比以前的任何方法（无论是基于GAN还是基于经典补丁）。
2021-08-24 cs.CV
TBI-GAN: An Adversarial Learning Approach for Data Synthesis on Traumatic Brain Segmentation
Shanghai Jiao Tong University（上海交通大学）；Huashan Hospital, Shanghai Medical College, Fudan University（复旦大学上海医学院华山医院）；National Center for Neurological Disorders（国家神经疾病中心）；Fudan University（复旦大学）；ShanghaiTech University（上海科技大学）
脑网络分析是脑外伤患者意识水平评估和预后评估的重要手段，需要分割出与意识相关的脑区。然而，由于难以收集TBI患者的手动注释的MR扫描，因此难以构建TBI分割模型，可以应用数据增强技术来缓解数据稀缺的问题。然而，传统的数据增强策略，如空间和强度变换是无法模仿的变形和损伤的创伤性大脑，这限制了后续分割任务的性能。为了解决这些问题，我们提出了一种新的医学图像修复模型TBI-GAN合成TBI MR扫描与配对的大脑标签地图。我们的TBI-GAN方法的主要优点是它可以同时生成TBI图像和相应的标签图，这在以前的医学图像修复方法中还没有实现。该算法首先在边缘信息的指导下，按照由粗到精的方式生成修补图像，然后将合成后的强度图像作为先验信息进行标签修补。此外，我们引入了一个基于配准的模板增强流水线，以增加合成图像对的多样性，提高数据增强的能力。实验结果表明，所提出的TBI-GAN方法可以生成足够多的具有高质量和有效标签图的合成TBI图像，与其他方法相比，可以大大提高2D和3D创伤脑分割的性能。
2022-08-12 cs.CV eess.IV
DECOR-GAN: 3D Shape Detailization by Conditional Refinement
Simon Fraser University（西蒙菲莎大学）；Adobe Research（奥多比研究院）；IIT Bombay（印度理工学院孟买分校）
我们为3D形状细节化引入了一个深度生成网络，类似于风格化，风格是几何细节。我们解决的挑战，创造大品种的高分辨率和详细的3D几何形状从一个小样本集的几何细节转移的问题。给定一个低分辨率的粗糙体素形状，我们的网络通过体素上采样将其细化为一个富含几何细节的高分辨率形状。输出形状保留了输入的整体结构（或内容），而其细节生成取决于与详细样本对应的输入“样式代码”。我们通过条件细化的3D细节化是由一个生成对抗网络（DECOR-GAN）实现的。该网络利用3D CNN生成器对粗体素进行上采样，并利用3D PatchGAN训练器强制生成模型的局部补丁与训练细节形状中的补丁相似。在测试过程中，样式代码被输入到生成器中以调节细化。我们证明，我们的方法可以细化成各种不同风格的详细形状的粗糙形状。生成的结果在内容保存，兼容性和多样性方面进行评估。进行全面的消融研究以验证我们的网络设计。代码可在https://github.com/czq142857/DECOR-GAN上获得。
2021-03-29 cs.CV cs.GR cs.LG
A Novel Generator with Auxiliary Branch for Improving GAN Performance
Chungbuk National University Hospital（忠北国立大学医院）；Chungbuk National University College of Medicine（忠北国立大学医学院）；Korea University（高丽大学）
提出一种带辅助分支的生成器架构，通过门控特征融合模块结合主分支与辅助分支特征，缓解残差块信息流受阻问题，在多个数据集上显著提升GAN的FID和IS指标。
2024-02-03 cs.CV
Generative Adversarial Network based on Resnet for Conditional Image Restoration
Kunming University of Institute Technology（昆明大学理工学院）
该GANs促进了一个adversarive游戏，以近似复杂和联合的例子概率。由噪声驱动的网络生成假样本来近似真实的数据分布。随后，条件GAN合并先验条件作为输入，以便将属性向量转换为相应的数据。然而，CGAN并不是设计来处理高维情况，因为间接的学习指导是低效的。在本文中，我们提出了一个网络ResGAN来生成精细图像的极端退化图像。与属性对齐的粗图像被嵌入作为生成器输入和分类器标签。在生成网络中，类似于Resnet的直线路径被相干化，以直接将粗糙图像传输到更高层。对抗训练是循环实现的，以防止生成的图像退化。将ResGAN应用于MNIST、CIFAR 10/100和CELEBA数据集的实验结果表明，该算法比现有的GANs具有更高的精度。
2017-07-16 cs.CV
SRF-GAN: Super-Resolved Feature GAN for Multi-Scale Representation
Inha University（仁荷大学）
最近的卷积对象检测器利用添加了自上而下路径的多尺度特征表示，以检测不同尺度的对象并学习更强的语义特征响应。通常，在自顶向下的特征传播期间，较粗糙的特征图被上采样以与从自底向上路径转发的特征组合，并且组合的较强语义特征是检测器的头部的输入。然而，简单的插值方法（例如最近邻和双线性）仍然用于增加特征分辨率，尽管它们会导致噪声和模糊的特征。在本文中，我们提出了一种新的生成器的卷积对象检测器的超分辨率功能。为了实现这一点，我们首先设计了超分辨特征GAN（SRF-GAN），包括一个基于检测的生成器和一个特征补丁的生成器。此外，我们提出了SRF-GAN损失，用于生成高质量的超分辨特征并共同提高检测精度。我们的SRF发生器可以替代传统的插值方法，并很容易与其他传统的检测器相结合进行微调。为了证明这一点，我们已经实现了我们的SRF-GAN通过使用几个最近的一级和两级检测器，并提高了检测精度超过这些检测器。代码可在https://github.com/SHLee-cv/SRF-GAN上获得。
2020-11-17 cs.CV
FewGAN: Generating from the Joint Distribution of a Few Images
Tel Aviv University（特拉维夫大学）；University of Copenhagen（哥本哈根大学）
我们介绍FewGAN，一种生成模型，用于生成新颖，高质量和多样化的图像，其补丁分布位于少量N>1训练样本的联合补丁分布中。该方法本质上是一种分层的补丁GAN，它以类似于VQ-GAN的方式在第一个粗略尺度上应用量化，然后是在更精细尺度上的残留完全卷积GANs的金字塔。我们的关键思想是首先使用量化来学习训练图像的固定补丁嵌入集合。然后，我们使用一组单独的侧边图像，使用在训练图像的学习补丁嵌入上训练的自回归模型来对生成图像的结构进行建模。在粗尺度上使用量化允许模型生成有条件和无条件的新图像。随后，patch-GAN渲染细节，从而生成高质量的图像。在一组广泛的实验中，结果表明FewGAN在定量和定性方面都优于基线。
2022-07-18 cs.CV cs.LG
CM-GAN: Image Inpainting with Cascaded Modulation GAN and Object-Aware Training
Adobe Research（奥多比研究院）；University of Rochester（罗切斯特大学）
最近的图像修补方法取得了很大的进展，但往往难以产生合理的图像结构时，处理复杂图像中的大洞。这部分是由于缺乏有效的网络结构，可以捕获图像的远程依赖性和高级语义。我们提出了级联调制GAN（CM-GAN），一种新的网络设计，包括一个编码器与傅立叶卷积块，提取多尺度特征表示从输入图像与孔和双流解码器与一个新的级联全局空间调制块在每个尺度级别。在每个解码器块中，首先应用全局调制来执行粗略的和语义感知的结构合成，然后是空间调制，以空间自适应的方式进一步调整特征图。此外，我们设计了一个对象感知的训练方案，以防止网络在洞内产生新的对象，满足现实世界场景中对象移除任务的需求。大量的实验表明，我们的方法显着优于现有的方法在定量和定性评价。请参阅项目页面：\url{https://github.com/htzheng/CM-GAN-Inpainting}。
2022-07-21 cs.CV
PD-GAN: Probabilistic Diverse GAN for Image Inpainting
Huya Inc（虎牙公司）；City University of Hong Kong（香港城市大学）；Hunan University（湖南大学）；Tencent AI Lab（腾讯AI实验室）
我们提出了一种概率多样的GAN--PD-GAN，用于图像修补。给定具有任意孔洞区域的输入图像，PD-GAN会产生具有多样化和视觉逼真内容的多个修复结果。我们的PD-GAN是建立在一个香草GAN的基础上，它产生的图像的基础上随机噪声。在图像生成过程中，我们调制输入的随机噪声从粗到细的深度特征，通过注入初始恢复图像和多个尺度的孔区域。我们认为，在孔填充期间，孔边界附近的像素应该更具确定性（即，具有更高的概率信任上下文和初始恢复的图像以创建自然的修补边界），而位于孔中心的那些像素应当享有更多的自由度（即，更可能依赖于随机噪声来增强分集）。为此，我们提出了空间概率分集归一化（SPDNorm）内的调制模型的概率生成的上下文信息的条件下的像素。SPDNorm动态地平衡了孔洞区域内的真实性和多样性，使生成的内容朝着孔洞中心更加多样化，并且朝着孔洞边界更加类似于相邻的图像内容。同时，我们提出了一个感知多样性损失，以进一步授权PD-GAN的多样化内容生成。在CelebA-HQ、Places 2和Paris Street View等基准数据集上的实验表明，PD-GAN算法能够有效地实现多样性和视觉真实感的图像复原。
2021-05-05 cs.CV
Gradual Residuals Alignment: A Dual-Stream Framework for GAN Inversion and Image Attribute Editing
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Communication Content Cognition（通信内容认知国家重点实验室）
本文提出一种双流框架，通过多阶段由粗到细的方式逐步注入残差特征，并结合选择性注意力机制，解决GAN反演与属性编辑中细节丢失和可编辑性差的问题，在重建精度和编辑质量上优于现有方法。
2024-02-22 cs.AI cs.CV
Hierarchical Patch VAE-GAN: Generating Diverse Videos from a Single Sample
Tel Aviv University（特拉维夫大学）
我们认为，从一个单一的视频样本生成不同的和新颖的视频的任务。最近，提出了新的基于分层补丁GAN的方法来生成不同的图像，在训练时只给出一个样本。移动到视频，这些方法无法生成不同的样本，并且经常崩溃为生成类似于训练视频的样本。我们介绍了一种新的补丁为基础的变分自编码器（VAE），它允许一个更大的多样性的产生。使用这个工具，一个新的分层视频生成方案的构建：在粗尺度上，我们的补丁VAE，确保样本的高多样性。随后，在更精细的尺度上，patch-GAN渲染细节，从而生成高质量的视频。我们的实验表明，该方法产生不同的样本在图像域，更具有挑战性的视频域。
2020-10-22 cs.CV cs.LG
Cross-scale Aligned Supervision for Training GANs
Sungkyunkwan University（全北大学）
针对GAN多尺度生成中跨尺度轨迹未对齐问题，提出CAT（跨尺度对齐Transformer），通过生成器侧一致性正则化对齐中间输出与最终输出，在ImageNet-256上实现FID-50K为1.56。
2026-05-26 cs.AI cs.CV
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University（西北大学）
人工智能，特别是深度神经网络缺乏可解释性，仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射（Grad-CAM）之类的流行技术提供了图像中显著特征的粗略映射，这很少能讲述卷积神经网络（CNN）学习的全部内容。使用COVID-19胸部X射线，我们提出了一种方法，用于解释CNN通过利用生成对抗网络（GANs）学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN，我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡，这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
GR-GAN: Gradual Refinement Text-to-image Generation
Beijing University of Posts and Telecommunications（北京邮电大学）
一个好的文本到图像模型不仅要生成高质量的图像，而且要保证文本和生成的图像之间的一致性。以前的模型未能同时很好地修复两侧。本文提出了一种渐进精化生成对抗网络（GR-GAN）来有效地解决该问题。GRG模块用于生成从低分辨率到高分辨率的图像，对应的文本约束从粗粒度（句子）到细粒度（单词）逐段生成，ITM模块用于提供相应阶段的文本-图像和单词-区域两级的图像-文本匹配损失。我们还引入了一个新的度量跨模型距离（CMD），同时评估图像质量和图像-文本的一致性。实验结果表明，GR-GAN显著优于以往的模型，并实现了新的国家的最先进的FID和CMD。详细的分析表明，在GR-GAN中的不同生成阶段的效率。
2022-06-21 cs.AI cs.CV
Generative Adversarial Networks via a Composite Annealing of Noise and Diffusion
Chung-Ang University（中央大学）；University of Haifa（海法大学）
生成对抗网络（GAN）是一个使用一组真实示例生成虚假数据的框架。然而，GAN在训练阶段不稳定。为了稳定GANs，噪声注入被用来以增加方差为代价来扩大真实分布和伪分布的重叠。扩散（或平滑）可以降低数据的内在潜在维度，但它抑制了GANs在训练过程中学习高频信息的能力。基于这些观察结果，我们提出了一种用于GAN训练的数据表示，称为噪声尺度空间（NSS），它递归地将平衡噪声的平滑应用于数据，以便用随机数据替换高频信息，从而实现GANs的粗到细训练。我们基于基准数据集使用DCGAN和StyleGAN2对NSS进行了实验，其中基于NSS的GANs在大多数情况下都优于最先进的技术。
2022-08-01 cs.CV cs.LG
PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Carnegie Mellon University（卡内基梅隆大学）；UiT The Arctic University of Norway（挪威北极大学）；ByteDance（字节跳动）
基于图像的虚拟试穿是以人为中心的图像生成的最有前途的应用之一，由于其巨大的现实世界的潜力。在这项工作中，我们向前迈出了一步，探索多功能的虚拟试穿解决方案，我们认为应该具有三个主要属性，即它们应该支持无监督训练，任意服装类别和可控服装编辑。为此，我们提出了一种保持特征的端到端网络，即PAT路由的空间自适应GAN++（PASTA-GAN++），以实现高分辨率未配对虚拟试穿的多功能系统。具体来说，我们的PASTA-GAN++由创新的补丁路由解缠结模块组成，将完整的服装解耦为标准化的补丁，该方法能够保留服装款式信息，同时消除服装空间信息，从而减轻无监督训练期间的过拟合问题。此外，PASTA-GAN++引入了基于补丁的服装表示和补丁引导的解析合成块，使其能够处理任意服装类别并支持本地服装编辑。最后，为了获得具有真实纹理细节的试穿结果，PASTA-GAN++采用了一种新的空间自适应残差模块，将粗糙的扭曲服装特征注入到生成器中。在我们新收集的UnPaired虚拟试穿（UPT）数据集上进行的大量实验证明了PASTA-GAN++优于现有SOTA及其可控服装编辑的能力。
2022-07-27 cs.CV
PEPSI++: Fast and Lightweight Network for Image Inpainting
Korea University（高丽大学）
在各种基于生成对抗网络（GAN）的图像修补方法中，具有上下文注意力模块（CAM）的粗到细网络表现出了卓越的性能。然而，由于两个堆叠的生成网络，粗到细的网络需要大量的计算资源，如卷积运算和网络参数，这导致速度低。为了解决这个问题，我们提出了一种新的网络架构称为PEPSI：并行扩展解码器路径的语义修复网络，其目的是减少硬件成本，提高修复性能。PEPSI由一个共享的编码网络和并行解码网络组成，称为粗路径和修复路径。粗略路径产生初步修补结果以训练编码网络用于CAM的特征预测。同时，修复路径使用经由CAM重建的精细特征生成更高的修复质量。此外，我们提出了饮食PEPSI，大大降低了网络参数，同时保持性能。在Diet-PEPSI中，为了以低硬件成本捕获全局上下文信息，我们提出了新的速率自适应膨胀卷积层，该层采用共同的权重，但根据给定的膨胀率产生动态特征。与最先进的图像修补方法的性能比较的大量实验表明，PEPSI和Diet-PEPSI都提高了定性分数，即峰值信噪比（PSNR）和结构相似性（SSIM），以及显着降低硬件成本，如计算时间和网络参数的数量。
2020-03-06 cs.CV eess.IV
GD^2-NeRF: Generative Detail Compensation via GAN and Diffusion for One-shot Generalizable Neural Radiance Fields
Zhejiang University（浙江大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
针对单样本新视角合成中OG-NeRF的模糊问题和扩散方法需逐场景优化的缺陷，本文提出GD^2-NeRF框架，通过由粗到精地结合GAN与扩散模型实现推理时免微调的生成式细节补偿，在保持3D一致性的同时显著提升细节质量。
2024-03-29 cs.CV
Diagonal Attention and Style-based GAN for Content-Style Disentanglement in Image Generation and Translation
Korea Advanced Institute of Science & Technology (KAIST)（韩国高等科学技术研究院（KAIST））
图像生成模型的一个重要研究课题是将空间内容和空间风格分离，分别控制。虽然StyleGAN可以从随机噪声中生成内容特征向量，但由此产生的空间内容控制主要用于较小的空间变化，并且全局内容和样式的分离绝不是完全的。受归一化和注意力的数学理解的启发，在这里，我们提出了一种新的分层自适应对角线空间注意力（DAT）层，以分层的方式分别操纵空间内容的样式。使用DAT和AdaIN，我们的方法使粗到细的空间内容和风格的层次解开。此外，我们的生成器可以很容易地集成到GAN反演框架中，以便可以灵活地控制来自多域图像翻译任务的翻译图像的内容和风格。通过使用各种数据集，我们证实，所提出的方法不仅优于现有的模型在解纠缠分数，但也提供了更灵活的控制空间特征生成的图像。
2021-07-23 cs.CV
Learning Spatial Pyramid Attentive Pooling in Image Synthesis and Image-to-Image Translation
Department of ECE and the Visual Narrative Initiative, North Carolina State University（北卡罗来纳州立大学电气与计算机工程系及视觉叙事研究所）
图像合成和图像到图像的翻译是两个重要的生成学习任务。通过分别学习生成对抗网络（GANs）~ \cite{goodfellow2014generative}和周期一致性GANs（CycleGANs）~ \cite{zhu2017unpaired}，已经取得了显著的进展。本文提出了一种学习空间金字塔注意池（SPAP）的方法。SPAP是一种新的结构单元，可以很容易地集成到GANs和CycleGANs的生成器和鉴别器中。SPAP整合了Atrous空间金字塔\cite{chen2018deeplab}、级联注意力机制和剩余连接\cite{he2016deep}。它利用这三个组件的优点来促进有效的端到端生成学习：（i）通过ASPP融合多尺度信息的能力;（ii）通过注意力捕获空间位置（特别是多尺度上下文）或特征通道之间的相对重要性的能力;（iii）通过剩余连接保留信息并增强优化可行性的能力。粗到细和细到粗的SPAP进行了研究，并在这两个任务中观察到有趣的注意力地图。在实验中，所提出的SPAP在Celeba-HQ-128数据集~ \cite{karras2017progressive}上的GANs中进行了测试，并且在包括Cityscape数据集~ \cite{cordts2016cityscapes}、Facade和Aerial Maps数据集~ \cite{zhu2017unpaired}的图像…
2019-01-18 cs.CV cs.LG
Variational Hetero-Encoder Randomized GANs for Joint Image-Text Modeling
Xidian University（西安电子科技大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对于双向联合图像-文本建模，我们开发了变分异构编码器（VHE）随机生成对抗网络（GAN），这是一种通用的深度生成模型，将概率文本解码器，概率图像编码器和GAN集成到一个连贯的端到端多模态学习框架中。VHE随机化GAN（VHE-GAN）对图像进行编码以解码其相关联的文本，并且将变分后验作为随机性的源馈送到GAN图像生成器中。我们将三个现成的模块，包括深度主题模型，梯形结构的图像编码器和StackGAN++插入VHE-GAN，它已经达到了具有竞争力的性能。这进一步推动了VHE光栅扫描GAN的发展，VHE光栅扫描GAN不仅以多尺度低到高分辨率的方式生成照片级逼真的图像，而且还以分层语义粗到细的方式生成照片级逼真的图像。通过捕获分层语义和视觉概念并将其与端到端训练相关联，VHE-raster-scan-GAN在各种图像-文本多模态学习和生成任务中实现了最先进的性能。
2020-01-07 cs.CL cs.CV cs.LG
HealthiVert-GAN: A Novel Framework of Pseudo-Healthy Vertebral Image Synthesis for Interpretable Compression Fracture Grading
School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；National Engineering Research Center of Advanced Magnetic Resonance Technologies for Diagnosis and Therapy (NERC-AMRT)（先进磁共振诊断与治疗技术国家工程研究中心）；Med-X Research Institute, Shanghai Jiao Tong University（医-X研究院）；Kashi Prefecture Second People’s Hospital（喀什县第二人民医院）；Renji Hospital, Shanghai, China（仁济医院）；Shanghai Sixth People’s Hospital, Shanghai, China（上海第六人民医院）
本文提出HealthiVert-GAN框架，通过由粗到细的合成网络生成伪健康椎体图像，结合RHLV量化指标和SVM分类，实现可解释的OVCFs严重程度分级，并在Verse2019和内部数据集上取得最优性能。
2025-08-15 cs.CV eess.IV
Stabilizing GANs with Soft Octave Convolutions
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Heidelberg（海德堡大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Offenburg University（奥芬堡大学）
受最近发表的使用卷积频率分解的方法（例如Octave卷积）的启发，我们提出了一种新的卷积方案来稳定训练并降低模式坍塌的可能性。我们方法的基本思想是将卷积滤波器分为加性高频和低频部分，同时在训练过程中将权重更新从低到高。直观地说，这种方法迫使GANs在下降到精细（高频）细节之前学习低频粗略图像结构。我们还表明，所提出的软倍频程卷积的使用减少了常见的伪影在频域生成的图像。我们的方法与现有的稳定方法是正交和互补的，并且可以简单地插入到任何基于CNN的GAN架构中。在CelebA数据集上的实验表明了该方法的有效性。
2020-12-17 cs.CV cs.LG stat.ML
Cross-GAN Auditing: Unsupervised Identification of Attribute Level Similarities and Differences between Pretrained Generative Models
Oregon State University（俄勒冈州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对现有GAN审计工具仅支持粗粒度比较的局限，提出跨GAN审计（xGA）方法，可无监督识别预训练GAN间属性级的相似与差异，定量定性实验均验证其优于基线方法。
2023-05-02 cs.CV cs.LG
Fast and Accurate Cooperative Radio Map Estimation Enabled by GAN
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Pengcheng Lab（鹏城实验室）
本文提出GAN-CRME方法，利用生成对抗网络和深度神经网络估计器，在无发射机信息下快速准确估计无线电地图，降低数据采集成本，并能在地图信息不准确时进行误差校正。
2024-02-05 cs.CV cs.IT cs.LG
Semantic-guided Adversarial Diffusion Model for Self-supervised Shadow Removal
School of Artificial Intelligence, Nanjing Normal University（南京师范大学人工智能学院）
本文提出语义引导对抗扩散框架，通过SG-GAN生成粗略结果并构建合成配对数据，再用扩散恢复模块细化纹理细节，结合多模态语义提示器提升自监督阴影去除质量。
2024-07-01 cs.CV
Semantic Image Completion and Enhancement using Deep Learning
ABV-Indian Institute of Information Technology and Management, Gwalior（ABV-瓜廖尔印度信息技术与管理学院）
在实际应用中，某些图像被破坏，其中图像像素被损坏或丢失，这增加了计算机视觉任务的复杂性。在本文中，提出了一种深度学习架构来处理图像完成和增强。生成对抗网络（GAN）已被证明在图片完成任务中很有帮助。因此，在GANs中，Wasserstein GAN架构用于图像完成，其创建粗糙补丁以填充失真图像中的缺失区域，并且增强网络将利用残差学习过程额外地细化所得图像，从而为计算机视觉应用提供更好的完整图像。实验结果表明，所提出的方法提高了峰值信噪比和结构相似性指数值分别为2.45%和4%时，最近报道的数据相比。
2020-01-05 cs.CV cs.LG eess.IV
Multi-Channel Attention Selection GANs for Guided Image-to-Image Translation
ETH Zurich（苏黎世联邦理工学院）；University of Oxford（牛津大学）；University of Trento（特伦托大学）
我们提出了一个新的模型命名为多通道注意力选择生成对抗网络（SelectionGAN）引导图像到图像的翻译，在这里我们将输入图像翻译成另一个，同时尊重外部语义指导。所提出的SelectionGAN明确地利用语义指导信息，并由两个阶段组成。在第一阶段，输入图像和条件语义指导被送入一个循环的语义指导生成网络，以产生初始的粗糙结果。在第二阶段中，我们通过使用所提出的多尺度空间池化和通道选择模块以及多通道注意力选择模块来改进初始结果。此外，从注意力图自动学习的不确定性图用于指导像素丢失，以更好地进行网络优化。对四个具有挑战性的引导图像到图像翻译任务（面部，手部，身体和街景）的详尽实验表明，我们的SelectionGAN能够产生比最先进的方法更好的结果。同时，所提出的框架和模块是统一的解决方案，可以应用于解决其他生成任务，如语义图像合成。该代码可在https://github.com/Ha0Tang/SelectionGAN上获得。
2022-10-06 cs.CV cs.LG eess.IV
Unsupervised Homography Estimation with Coplanarity-Aware GAN
Megvii Technology（旷视科技）；Sichuan University（四川大学）；Beijing Jiaotong University（北京交通大学）；University of Electronic Science and Technology of China（电子科技大学）
从图像对中估计单应性是图像配准中的一个基本问题。无监督学习方法由于其良好的性能和无标签的训练方式而受到越来越多的关注。然而，现有的方法没有明确考虑平面诱导视差的问题，这将使预测的单应性妥协的多个平面。在这项工作中，我们提出了一种新的方法HomoGAN引导无监督单应性估计集中在主导平面。首先，设计了一个多尺度Transformer网络，以从粗到精的方式从输入图像的特征金字塔预测单应性。此外，我们提出了一个无监督的GAN施加共面约束的预测单应性，这是通过使用一个生成器来预测对齐区域的掩码，然后检查是否两个掩码特征映射是由一个单应性引起的。为了验证HomoGAN及其组件的有效性，我们在大规模数据集上进行了广泛的实验，结果表明，我们的匹配误差比以前的SOTA方法低22%。代码可在https://github.com/megvii-research/HomoGAN上获得。
2022-05-08 cs.CV
Lip to Speech Synthesis with Visual Context Attentional GAN
KAIST（韩国科学技术院）
在本文中，我们提出了一种新的唇到语音生成对抗网络，视觉上下文注意GAN（VCA-GAN），它可以在语音合成过程中联合建模局部和全局嘴唇运动。具体而言，建议VCA-GAN合成语音从本地唇视觉特征，通过找到一个映射函数的视位到音素，而全球视觉上下文被嵌入到中间层的生成器，以澄清的歧义引起的homopolymer映射。为了实现这一点，提出了一个视觉上下文注意模块，它从局部视觉特征编码全局表示，并提供所需的全局视觉上下文对应于给定的粗语音表示的生成器通过视听注意。除了局部和全局视觉表示的显式建模之外，同步学习被引入作为对比学习的一种形式，其引导生成器与给定的输入嘴唇运动同步地合成语音。大量的实验表明，所提出的VCA-GAN优于现有的国家的最先进的，能够有效地合成语音从多个扬声器，几乎没有处理在以前的作品。
2022-04-04 cs.AI cs.CV eess.AS
C2F-FWN: Coarse-to-Fine Flow Warping Network for Spatial-Temporal Consistent Motion Transfer
Zhejiang University（浙江大学）
人类视频运动传输（HVMT）的目的是合成视频，一个人模仿其他人的行动。虽然现有的基于GAN的HVMT方法已经取得了巨大的成功，但它们要么由于合成图像和示例图像之间的空间一致性的损失而无法保留外观细节，要么由于视频帧之间缺乏时间一致性而生成不连贯的视频结果。在本文中，我们提出了从粗到细流弯曲网络（C2F-FWN）的时空一致的HVMT。特别地，C2F-FWN利用由粗到细的流弯曲和布局约束可变形卷积（LC-DConv）来提高空间一致性，并且利用流时间一致性（FTC）损失来增强时间一致性。此外，C2F-FWN提供多源外观输入，可以支持外观属性编辑，具有很大的灵活性和效率。除了公共数据集，我们还收集了一个名为SoloDance的大规模HVMT数据集进行评估。在我们的SoloDance数据集和iPER数据集上进行的广泛实验表明，我们的方法在空间和时间一致性方面都优于最先进的HVMT方法。源代码和SoloDance数据集可在https://github.com/wswdx/C2F-FWN上获得。
2020-12-16 cs.CV
Cascaded Cross MLP-Mixer GANs for Cross-View Image Translation
University of Trento（特伦托大学）；ETH Zurich（苏黎世联邦理工学院）
以往的跨视点图像平移方法直接采用简单的编解码器或U-Net结构，很难在目标视点处生成图像，尤其是在视点差异大、变形严重的情况下。为了解决这个问题，我们提出了一种新的两阶段框架，在第一阶段中有一个新的级联交叉MLP混频器（CrossMLP）子网络，在第二阶段中有一个精细的像素级损失。在第一阶段，CrossMLP子网络通过我们新颖的CrossMLP块学习图像代码和语义映射代码之间的潜在转换线索。然后在这些线索的指导下逐步生成粗略的结果。此外，在第二阶段，我们设计了一个改进的像素级损失，以更紧凑的方式更合理地正则化，以更好地优化，从而缓解嘈杂的语义标签问题。在Dayton~ \cite{vo2016localizing}和CVUSA~ \cite{workman2015wide}数据集上的大量实验结果表明，该方法可以产生比现有方法更好的结果。源代码和训练模型可在https://github.com/Amazingren/CrossMLP上获得。
2021-10-19 cs.CV
PanoLAM: Large Avatar Model for Gaussian Full-Head Synthesis from One-shot Unposed Image
HKUST（香港科技大学）；Tongyi Lab, Alibaba Group（阿里云实验室）；Fudan University（复旦大学）
提出PanoLAM框架，通过双分支结构和从粗到细的流水线，利用合成数据训练，实现从单张无姿态图像快速前馈重建高保真高斯全头模型。
2026-10-14 cs.CV
Coarse-to-Fine Searching for Efficient Generative Adversarial Networks
Tsinghua University（清华大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
本文研究了开发高效生成器网络的神经结构搜索（NAS）问题。与用于视觉识别任务的深度模型相比，生成对抗网络（GAN）通常被设计用于进行各种复杂图像生成。我们首先发现一个完整的生成器网络的搜索空间，包括三个维度，即，充分挖掘网络性能的路径、运营商、渠道。为了降低搜索成本，我们探索了一种由粗到精的搜索策略，将整个搜索过程分为三个子优化问题。此外，一个公平的超网训练方法，以确保所有的子网络可以公平和稳定的更新。基准测试的实验结果表明，我们可以提供更好的图像质量和更低的计算成本比国家的最先进的方法的生成器网络。例如，使用我们的方法，在整个edges-to-shoes数据集上只需大约8个GPU小时即可获得2.56 MB的模型，FID得分为24.13，在整个Urban 100数据集上只需10个GPU小时即可获得1.49 MB的模型，PSNR得分为24.94。
2021-04-19 cs.CV
Improving the Stability and Efficiency of Diffusion Models for Content Consistent Super-Resolution
the Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
提出CCSR方法，将超分辨率过程分为DM重建结构和GAN增强细节两阶段，采用非均匀时间步采样和确定性微调，在1-2步扩散下实现高内容一致性与感知质量。
2024-09-25 cs.CV eess.IV
MOC-GAN: Mixing Objects and Captions to Generate Realistic Images
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime（商汤科技）
基于条件描述的图像生成技术近年来受到越来越多的关注。然而，现有的条件输入遭受非结构化形式（字幕）或有限的信息和昂贵的标签（场景图）。对于一个目标场景，核心项目，对象，通常是明确的，而它们的相互作用是灵活的，很难清楚地定义。因此，我们引入了一个更合理的设置，从对象和标题生成逼真的图像。在此设置下，对象显式定义目标图像中的关键角色，标题隐式描述其丰富的属性和连接。相应地，提出了一种MOC-GAN来混合两种模态的输入以生成逼真的图像。该方法首先从字幕中推断出对象对之间的隐含关系，建立隐藏状态场景图。因此，一个包含对象，关系和字幕的多层表示被构造，其中场景图提供场景的结构和字幕提供图像级的指导。然后设计了一个级联的注意生成网络，通过关注字幕中最相关的词来从粗到精生成短语补丁。此外，一个短语明智的DAMSM提出了更好地监督细粒度的短语补丁的一致性。在COCO数据集上，我们的方法在Inception Score和FID上都优于最先进的方法，同时保持高的视觉质量。大量的实验证明了我们所提出的方法的独特功能。
2021-06-06 cs.CV
3D-GOI: 3D GAN Omni-Inversion for Multifaceted and Multi-object Editing
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）；Aarhus University（奥胡斯大学）
针对现有GAN inversion方法忽略空间信息且仅限单对象编辑的局限，提出3D-GOI框架，通过反转GIRAFFE控制的属性码并采用分割、粗略编码提取与轮转优化算法，首次实现了多对象的多方面仿射信息编辑。
2024-07-23 cs.CV
GANFusion: Feed-Forward Text-to-3D with Diffusion in GAN Space
LIX, École Polytechnique, IPP Paris（巴黎综合理工学院LIX实验室、巴黎政治学院（IPP））；Adobe Research（奥多比研究院）；University College London (UCL)（伦敦大学学院）
GANFusion 结合 GAN 和扩散模型的优势，仅用单视图 2D 数据监督，先训练 GAN 生成 3D triplane 特征，再训练文本条件扩散模型从该特征空间采样，实现高保真的前馈文本到 3D 生成。
2024-12-21 cs.CV cs.LG
Copy and Paste GAN: Face Hallucination from Shaded Thumbnails
Southeast University（东南大学）；University of Technology Sydney（悉尼科技大学）；Huazhong University of Science and Technology（华中科技大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Australian National University（澳大利亚国立大学）
现有的基于卷积神经网络（CNN）的人脸超分辨率方法在正常光照条件下对低分辨率（LR）人脸取得了令人印象深刻的性能。然而，当LR面部在低或不均匀的照明条件下被捕获时，它们的性能显著降低。本文提出了一种复制和粘贴生成对抗网络（CPGAN）恢复真实的高分辨率（HR）的人脸图像，同时补偿低和不均匀的照明。为此，我们在CPGAN中开发了两个关键组件：内部和外部复制和粘贴网络（CPnets）。具体来说，我们的内部CPnet利用输入图像中的面部信息来增强面部细节;而我们的外部CPnet利用外部HR面部进行照明补偿。因此，开发了一种新的照明补偿损失，以有效地从外部引导的面部图像捕获照明。此外，我们的方法偏移照明和上采样面部细节交替在一个粗略到精细的方式，从而减轻LR输入和外部HR输入之间的对应模糊性。大量的实验表明，我们的方法体现了真实的HR人脸图像在均匀照明条件下，并优于国家的最先进的方法定性和定量。
2020-03-19 cs.CV
Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks
Courant Institute（库朗研究所）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
在本文中，我们介绍了一个生成参数模型能够产生高质量的自然图像样本。我们的方法使用拉普拉斯金字塔框架内的卷积网络级联，以粗到细的方式生成图像。在金字塔的每一层，使用生成对抗网络（GAN）方法（Goodfellow等人）训练单独的生成convnet模型。从我们的模型中提取的样本的质量明显高于其他方法。在人类评估人员的定量评估中，我们的CIFAR10样本在大约40%的时间内被误认为是真实图像，而从GAN基线模型中提取的样本只有10%。我们还展示了在LSUN场景数据集的高分辨率图像上训练的模型的样本。
2015-06-18 cs.CV
Spatial Steerability of GANs via Self-Supervision from Discriminator
University of Oxford（牛津大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Chinese University of Hong Kong（香港中文大学）；Ant Group（蚂蚁集团）；Australian National University（澳大利亚国立大学）
提出一种基于判别器自监督的方法，通过将高斯热图编码为空间归纳偏置并整合DragGAN，实现了无需额外标注的GANs空间可控性，支持多场景的细粒度编辑并提升合成质量。
2024-01-09 cs.CV
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
卷积神经网络的最新进展已经在3D形状完成中显示出有希望的结果。但由于GPU内存的限制，这些方法只能产生低分辨率的输出。为了用语义可扩展性和上下文细节来修补3D模型，我们引入了一个混合框架，该框架结合了3D编码器-解码器生成对抗网络（3D-ED-GAN）和长期递归卷积网络（LRCN）。3D-ED-GAN是一种3D卷积神经网络，采用生成对抗范式进行训练，以低分辨率填充缺失的3D数据。LRCN采用递归神经网络架构来最大限度地减少GPU内存使用，并将编码器-解码器对纳入长短期记忆网络。通过将3D模型处理为2D切片序列，LRCN将粗略的3D形状转换为更完整和更高分辨率的体积。虽然3D-ED-GAN捕获3D形状的全局上下文结构，但LRCN定位细粒度细节。在真实世界和合成数据上的实验结果表明，从损坏的模型重建得到完整和高分辨率的3D对象。
2017-11-17 cs.CV
Coarse-to-Fine Learning for Multi-Pipette Localisation in Robot-Assisted In Vivo Patch-Clamp
Imperial College London（帝国理工学院）；Imperial-X Initiative（Imperial-X计划）；Department of Bioengineering（生物工程系）
针对在体多微管膜片钳实时定位的挑战，提出基于GAN去噪与两阶段Transformer的粗到细学习方法，实现高精度多微管尖端定位。
2025-03-31 cs.CV cs.LG cs.RO
DSE-GAN: Dynamic Semantic Evolution Generative Adversarial Network for Text-to-Image Generation
University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对多阶段文生图中静态文本语义指导不足的问题，本文提出 DSE-GAN，通过 DSE 模块依据历史图文反馈动态重组语义，并结合 SAMA 架构提升生成质量。
2022-09-03 cs.CV
StyleSwin: Transformer-based GAN for High-resolution Image Generation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
尽管在广泛的视觉任务中取得了诱人的成功，但Transformers在高分辨率图像生成建模方面尚未表现出与ConvNets同等的能力。在本文中，我们试图探索使用纯Transformers建立一个生成对抗网络的高分辨率图像合成。为此，我们认为，本地注意力是至关重要的计算效率和建模能力之间的平衡。因此，建议发电机采用Swin Transformer在一个基于风格的架构。为了实现更大的感受野，我们提出了双重注意力，同时利用本地和移动窗口的上下文，从而提高生成质量。此外，我们表明，提供知识的绝对位置，已经失去了基于窗口的Transformers大大有利于生成质量。所提出的StyleSwin可扩展到高分辨率，粗几何和精细结构都受益于Transformers的强大表现力。然而，在高分辨率合成期间出现块伪像，因为以逐块方式执行局部注意可能破坏空间相干性。为了解决这个问题，我们经验性地研究了各种解决方案，其中我们发现，采用小波变换来检查光谱差异有效地抑制了文物。大量的实验显示了优于现有的基于变换器的GANs，特别是在高分辨率上，例如，1024x1024。StyleSwin没有复杂的训练策略，在CelebA-HQ 1024上优于StyleGAN，并在FFHQ-1024上实现了同等的性能，证明了使用Transformers生成高分辨率图像的承诺。代码和模型将在https://github.com/mic…
2022-07-21 cs.CV
Channel-Recurrent Autoencoding for Image Modeling
UvA-Bosch-Deltalab（阿姆斯特丹大学-博世-德尔塔实验室）；NEC Labs（日本电气实验室）；Facebook AI Research（脸书人工智能研究院）
尽管最近在合成人脸和卧室方面取得了成功，但现有的生成模型很难捕捉到更复杂的图像类型，这可能是由于其潜在空间结构的过度简化。为了解决这个问题，基于变分自编码器（VAE），我们将跨通道的循环连接集成到推理和生成步骤中，允许以全局到局部，粗到细的方式捕获高级特征。结合对抗性损失，我们的通道递归VAE-GAN（crVAE-GAN）在生成不同光谱的高分辨率图像方面优于VAE-GAN，同时保持相同的计算效率水平。我们的模型产生可解释和表达的潜在表示，以利于下游任务，如图像完成。此外，我们提出了两个新的正则化，即KL目标加权方案的时间步长和互信息最大化之间的转换的潜变量和输出，以加强训练。
2018-03-11 cs.CV cs.LG
Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion
Nanyang Technological University（南洋理工大学）；Shanghai AI Laboratory（上海人工智能实验室）
StyleGAN通过图像反转和潜在编辑在2D人脸重建和语义编辑方面取得了很大进展。虽然已经出现了将2D StyleGAN扩展到3D人脸的研究，但是仍然缺少相应的通用3D GAN反演框架，限制了3D人脸重建和语义编辑的应用。在本文中，我们研究了三维GAN反演的挑战性问题，其中潜在的代码是预测给定的单个人脸图像，忠实地恢复其三维形状和详细的纹理。这个问题是不适定的：无数的形状和纹理组合可以渲染到当前图像。此外，由于全局潜在代码的有限容量，当应用于3D模型时，2D反演方法不能同时保持忠实的形状和纹理。为了解决这个问题，我们设计了一个有效的自我训练计划，以限制学习的反演。学习是在没有任何真实世界的2D-3D训练对的情况下有效地完成的，而是从3D GAN生成的代理样本。此外，除了捕获粗糙形状和纹理信息的全局潜在代码之外，我们还使用局部分支来增强生成网络，其中添加了像素对齐特征以忠实地重建面部细节。我们进一步考虑了一个新的管道来执行3D视图一致性编辑。大量的实验表明，我们的方法优于国家的最先进的反演方法在形状和纹理重建质量。代码和数据将被释放。
2022-12-15 cs.AI cs.CV cs.GR
