JAS-GAN: Generative Adversarial Network Based Joint Atrium and Scar Segmentations on Unbalanced Atrial Targets
Sun Yat-sen University（中山大学）；Royal Brompton Hospital（皇家布朗普顿医院）；Imperial College London（帝国理工学院）
从晚期钆增强心脏磁共振（LGE CMR）图像中自动准确分割左心房（LA）和心房瘢痕对于量化心房瘢痕具有很高的需求。由于LA和心房瘢痕的体积差异较大（心房靶点不平衡），之前的心房瘢痕量化依赖于LA和心房瘢痕的两相分割。在本文中，我们提出了一个跨级联生成对抗网络，即JAS-GAN，以端到端的方式自动准确地从LGE CMR图像中分割不平衡的心房目标。首先，JAS-GAN研究了自适应注意级联，以自动关联不平衡心房目标的分割任务。自适应注意级联主要对两个不平衡心房目标的包含关系进行建模，其中估计的LA充当注意图以自适应地粗略地聚焦于小心房疤痕。然后，对抗正则化应用于不平衡心房目标的分割任务，以进行一致性优化。它主要迫使估计的LA和心房瘢痕的联合分布与真实的LA和心房瘢痕相匹配。我们评估了JAS-GAN在3D LGE CMR数据集上的性能，其中包含192次扫描。与最先进的方法相比，我们提出的方法产生了更好的分割性能（平均骰子相似系数（DSC）值为0.946和0.821的LA和心房疤痕，分别），这表明我们提出的方法分割不平衡的心房目标的有效性。
2021-05-01 cs.CV eess.IV
GANDALF: Generative Adversarial Networks with Discriminator-Adaptive Loss Fine-tuning for Alzheimer's Disease Diagnosis from MRI
NVIDIA Corporation（英伟达公司）；Seoul National University（首尔大学）
正电子发射断层扫描（PET）现在被认为是诊断阿尔茨海默病（AD）的金标准。然而，PET成像在成本和规划方面可能令人望而却步，并且也是辐射剂量最高的成像技术之一。相比之下，磁共振成像（MRI）更广泛，并且在设置所需图像分辨率时提供更大的灵活性。不幸的是，使用MRI诊断AD是困难的，这是由于在MRI上可见的健康和AD受试者之间的非常细微的生理差异。因此，为了能够从MR诊断AD，已经进行了许多尝试来使用生成对抗网络（GANs）从MR图像合成PET图像。关于从MRI合成PET的现有工作主要集中在条件GANs上，其中MR图像用于生成PET图像并随后用于AD诊断。没有端到端的培训目标。本文提出了一种替代方法，其中AD诊断被纳入GAN训练目标，以实现最佳的AD分类性能。不同的GAN损失是根据训练性能进行微调的，并且整体训练是稳定的。所提出的网络架构和训练制度显示出最先进的性能为三，四类AD分类任务。
2020-08-10 cs.CV cs.LG eess.IV
Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
生成对抗网络（GANs）通常需要大量的数据进行训练，以便合成高保真图像。最近的研究表明，由于过度拟合，用有限的数据训练GANs仍然很难，这是阻碍生成器收敛的根本原因。本文介绍了一种新的策略，称为自适应伪增强（APA），以鼓励健康的竞争之间的发电机和发电机。作为依赖于标准数据增强或模型正则化的现有方法的替代方法，APA通过使用生成器本身来用生成的图像来增强真实数据分布来消除过拟合，这自适应地欺骗了过拟合。大量的实验证明了APA在提高低数据区合成质量方面的有效性。我们提供了一个理论分析，以检查我们的新的培训策略的收敛性和合理性。APA简单有效。它可以无缝地添加到强大的当代GANs中，例如StyleGAN 2，计算成本可以忽略不计。
2021-11-12 cs.CV cs.LG
Uncertainty-aware GAN with Adaptive Loss for Robust MRI Image Enhancement
IIT-Bombay（印度理工学院孟买分校）；TCS Research（塔塔咨询服务研究中心）
图像到图像的转换是一个不适定的问题，因为在源图像和目标图像之间可能不存在唯一的一对一映射。在这种情况下提出的基于学习的方法通常评估测试数据的性能，这可能是不切实际的。这需要强大的方法，可以量化预测中的不确定性，以便做出明智的决策，特别是对于医学成像等关键领域。最近采用条件生成对抗网络（GANs）的工作在学习源图像和目标图像之间的照片级逼真图像到图像映射方面表现出了改进的性能。然而，这些方法不关注（i）模型对分布外（OOD）噪声数据的鲁棒性和（ii）不确定性量化。本文提出了一种基于GAN的框架，该框架（i）~对自适应损失函数进行建模，以实现对OOD噪声数据的鲁棒性，该自适应损失函数自动调整空间变化范数以惩罚残差，以及（ii）~估计预测中的每体素不确定性。我们在医学成像中的两个关键应用上证明了我们的方法：（i）欠采样磁共振成像（MRI）重建（ii）MRI模态传播。我们对两个不同的真实世界数据集的实验表明，所提出的方法（i）对OOD噪声测试数据具有鲁棒性，并提供了更高的准确性，（ii）量化了预测中的体素级不确定性。
2021-10-07 cs.CV cs.LG eess.IV
Adaptive Input-image Normalization for Solving the Mode Collapse Problem in GAN-based X-ray Images
Department of Computer Science, Munster Technological University, Cork, Ireland（计算机科学系，穆斯廷技术大学，科克，爱尔兰）
本文提出通过自适应输入图像归一化技术缓解GAN生成X射线图像中模式崩溃问题，提升图像多样性和分类性能。
2024-04-29 cs.CV cs.LG eess.IV
Learn distributed GAN with Temporary Discriminators
Rutgers University（罗格斯大学）；SenseTime Research（商汤科技研究院）；Stony Brook University（石溪大学）
在这项工作中，我们提出了一种方法来训练分布式GAN与顺序临时鉴别器。我们提出的方法解决了以联邦学习方式训练GAN的挑战：如何用临时鉴别器流更新生成器？我们应用我们提出的方法来学习一个自适应生成器与一系列的本地鉴别器从多个数据中心。我们证明了我们的损失函数设计确实学习了正确的分布，并有可证明的保证。实验结果表明，该方法能够生成合成数据，这对于训练分割模型等实际应用是实用的。
2020-07-17 cs.CV eess.IV
Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN
Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；UiT The Arctic University of Norway（挪威北极大学）；Peng Cheng Laboratory（鹏城实验室）
基于图像的虚拟试穿是以人为中心的图像生成的最有前途的应用之一，由于其巨大的现实世界的潜力。然而，由于大多数试穿方法都是将店内服装适合目标人物，因此它们需要费力且限制性地构建成对的训练数据集，严重限制了它们的可扩展性。虽然最近的一些作品试图将服装直接从一个人转移到另一个人身上，减轻了收集配对数据集的需要，但它们的性能受到缺乏配对（监督）信息的影响。特别是，解开服装的风格和空间信息成为一个挑战，现有的方法要么通过需要辅助数据或广泛的在线优化程序来解决，从而仍然抑制其可扩展性。为了实现一个\emph{scalable}虚拟试穿系统，可以在一个源和一个目标之间的任意服装在无人监督的方式，因此，我们提出了一个纹理保留的端到端网络，佩奇路由空间自适应GAN（PASTA-GAN），这有助于现实世界的不成对虚拟试穿。具体来说，为了解开每件衣服的风格和空间信息，PASTA-GAN包括一个创新的补丁路由解缠模块，成功地保留服装的纹理和形状特征。在源人物关键点的引导下，贴片路由解纠缠模块首先将服装拼接成归一化贴片，从而消除服装的固有空间信息，然后将归一化贴片重构为符合目标人物姿态的翘曲服装。鉴于扭曲的服装，PASTA-GAN进一步引入了新的空间自适应残差块，指导生成器合成更逼真的服装细节。
2021-11-20 cs.CV
Improving generative adversarial network inversion via fine-tuning GAN encoders
Chongqing University of Technology（重庆理工大学）；Macau University of Science and Technology（澳门科技大学）；University College London（伦敦大学学院）
针对现有GAN反演方法性能有限、泛化性差的问题，提出一种自监督预训练与微调GAN编码器的方法，通过自适应模块适配多架构，实现主流GAN上更优的高质量图像重建。
2024-12-12 cs.CV eess.IV
Domain Adaptive Person Search via GAN-based Scene Synthesis for Cross-scene Videos
Dalian Maritime University（大连海事大学）
本文针对真实监控视频中行人图像稀少且背景衣着单一导致特征判别性不足的问题，提出基于GAN的场景合成模型和辅助身份查询模块，通过在线学习协同合成与原始图像，在CUHK-SYSU和PRW上验证了行人搜索性能的提升。
2023-08-08 cs.CV
Improving GAN Training via Feature Space Shrinkage
Tencent（腾讯）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文从鲁棒图像分类的新视角解决GAN训练不稳定问题，提出AdaptiveMix模块，通过混合图像构建困难样本并缩小特征空间中训练数据区域，有效提升了GAN生成质量及图像分类和OOD检测性能。
2023-04-08 cs.AI cs.CV
Generative Adversarial Networks using Adaptive Convolution
University of Alberta（阿尔伯塔大学）
大多数现有的生成图像的GANs架构使用转置卷积或大小卷积作为其在生成器中从较低分辨率到较高分辨率特征图的上采样算法。我们认为，这种固定操作对于GANs对具有非常不同视觉外观的对象进行建模是有问题的。我们提出了一种新的自适应卷积方法，该方法基于每个位置的局部上下文来学习上采样算法，以解决这个问题。我们通过在生成器中用自适应卷积替换正常卷积来修改基线GANs架构。在CIFAR-10数据集上的实验表明，改进后的模型在很大程度上改善了基线模型。此外，我们的模型在无监督设置下在CIFAR-10和STL-10数据集上实现了最先进的性能。
2018-01-25 cs.CV stat.ML
Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
现有的GAN反转和编辑方法对于具有干净背景的对齐对象（例如肖像和动物面部）工作良好，但是对于具有复杂场景布局和对象遮挡的更困难的类别（例如汽车、动物和户外图像）通常很困难。我们提出了一种新的方法来反转和编辑GANs（如StyleGAN2）潜在空间中的复杂图像。我们的关键思想是探索反演与层的集合，空间适应反演过程的图像的难度。我们学习预测不同图像片段的“可逆性”，并将每个片段投影到潜在层中。较复杂的区域可以被反转到生成器的潜在空间中的较早层中，而更具挑战性的区域可以被反转到较晚的特征空间中。实验表明，我们的方法获得了更好的反演结果相比，最近的方法复杂的类别，同时保持下游的可编辑性。请参阅我们的项目页面https://www.cs.cmu.edu/~SAMInversion。
2022-06-16 cs.CV cs.GR cs.LG
On the effectiveness of GAN generated cardiac MRIs for segmentation
Université de Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Cardiac Simulation & Imaging Software（心脏模拟与成像软件公司）；University of Sherbrooke（舍布鲁克大学）；University Hospital of Dijon（第戎大学医院）
在这项工作中，我们提出了一个变分自动编码器（VAE）生成对抗网络（GAN）模型，可以产生高度逼真的MRI连同其像素精确的地面实况的电影MR图像心脏分割的应用。在我们模型的一侧是一个经过训练的变分自动编码器（VAE），用于学习心脏形状的潜在表示。另一侧是GAN，其使用“空间自适应（DE）归一化”（SPADE）模块来生成针对给定解剖图定制的逼真MR图像。在测试时间，VAE潜在空间的采样允许生成任意大量的心脏形状，其被馈送到GAN，GAN随后生成其心脏结构与心脏形状的心脏结构相匹配的MR图像。换句话说，我们的系统可以生成大量的真实但标记的心脏MR图像。我们表明，与传统技术相比，使用我们的合成注释图像训练的CNN进行分割可以获得有竞争力的结果。我们还表明，将数据增强与我们的GAN生成的图像相结合，可以使Dice得分提高高达12%，同时可以在其他数据集上实现更好的泛化能力。
2020-05-22 cs.CV eess.IV
A Unified Hyper-GAN Model for Unpaired Multi-contrast MR Image Translation
Pazhou Lab（琶洲实验室）
在临床诊断中，交叉对比图像平移是一项重要的任务，用于完成丢失的对比图像。然而，大多数现有的方法为每对对比学习单独的翻译器，这是效率低下的，由于许多可能的对比对在现实场景中。在这项工作中，我们提出了一个统一的Hyper-GAN模型，用于有效地在不同的对比度对之间进行翻译。Hyper-GAN由一对超编码器和超解码器组成，首先将源对比度映射到公共特征空间，然后进一步映射到目标对比度图像。为了便于不同对比度对之间的转换，对比度调制器被设计成调整超编码器和超解码器以适应不同的对比度。我们还设计了一个共同的空间损失，以强制执行的多对比度图像的主题共享一个共同的特征空间，隐式建模共享的基础解剖结构。在IXI和BraTS 2019两个数据集上的实验表明，我们的Hyper-GAN在准确性和效率方面都达到了最先进的结果，例如，在两个数据集上的PSNR提高超过1.47和1.09 dB，参数数量不到一半。
2021-07-26 cs.CV eess.IV
Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation
Xiamen University（厦门大学）；Tencent（腾讯）；Pinterest；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
生成对抗网络（GANs）在图像翻译中得到了广泛的应用，但其高计算和存储成本阻碍了在移动设备上的部署。由于GAN任务的特殊性和不稳定的对抗训练，用于CNN压缩的流行方法不能直接应用于GANs。为了解决这些问题，在本文中，我们介绍了一种新的GAN压缩方法，称为DMAD，提出了一个微分掩码和co-Attention蒸馏。前者以训练自适应的方式寻找轻量级的生成器架构。为了克服修剪残余连接时的信道不一致性，还结合了自适应跨块组稀疏性。后者同时从预训练模型的生成器和搜索器中提取信息性注意力地图，有效地稳定了我们轻量级模型的对抗训练。实验表明，DMAD可以将CycleGAN的乘法累加运算（MAC）减少13倍，将Pix 2 Pix的MAC减少4倍，同时保持与完整模型相当的性能。我们的代码可以在https://github.com/SJLeo/DMAD上获得。
2022-03-02 cs.CV
From source to target and back: symmetric bi-directional adaptive GAN
Sapienza University of Rome（罗马大学）；Italian Institute of Technology（意大利技术研究院）
生成对抗方法在根据特定风格或视觉域生成图像方面的有效性最近为解决无监督领域自适应问题开辟了新的方向。它已被证明，源标记的图像可以被修改，以模仿目标样本，使其有可能直接训练分类器在目标域中，尽管原来缺乏注释的数据。从目标到源域的逆映射也已经被评估，但是仅通过适应的特征空间，因此没有新的图像生成。在本文中，我们提出了更好地发挥潜力的生成对抗网络适应域之间引入一种新的对称映射。我们共同优化双向图像变换，将它们与目标自标记相结合。此外，我们定义了一个新的类一致性损失，对齐的两个方向施加到保存类身份的图像通过域映射的生成器。详细的定性和定量分析的重建图像证实了我们的方法的力量。通过整合我们的双向网络获得的两个特定领域的分类器，我们在四个不同的基准数据集上超过了以前最先进的无监督自适应结果。
2017-11-29 cs.CV
SQ-GAN: Semantic Image Communications Using Masked Vector Quantization
CNIT - National Inter-University Consortium for Telecommunications（CNIT-国家大学间电信联合体）；Sapienza University of Rome（罗马大学）；Technical University of Berlin（柏林技术大学）
SQ-GAN通过语义掩码向量量化生成对抗网络，在极低压缩率下实现优于JPEG2000、BPG和深度学习方法的图像压缩，兼顾感知质量与语义分割精度。
2025-10-10 cs.CV eess.IV
AdaWCT: Adaptive Whitening and Coloring Style Injection
Gearbox Studios AB（Gearbox工作室AB）
自适应实例规范化（AdaIN）已成为样式注入的标准方法：通过缩放和移位操作重新规范化特征，它已广泛用于样式传输，图像生成和图像到图像的翻译。在这项工作中，我们提出了一个泛化的AdaIN，它依赖于白化和着色变换（WCT），我们称之为AdaWCT，我们应用于大型GANs中的样式注入。我们通过对StarGANv2架构的实验表明，这种泛化虽然在概念上很简单，但会显著提高生成图像的质量。
2022-08-01 cs.CV eess.IV
BiAdam: Fast Adaptive Bilevel Optimization Methods
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
近年来，由于超参数最优化和Meta学习等多种应用，双层优化在机器学习领域引起了越来越多的关注。虽然最近已经提出了许多双层方法，这些方法没有考虑使用自适应学习率。众所周知，自适应学习率可以加速优化算法。为了填补这一空白，本文提出了一种新的快速自适应双层框架来求解外部问题可能为非凸而内部问题为强凸的随机双层最优化问题.我们的框架使用统一的自适应矩阵，包括多种类型的自适应学习率，并可以灵活地使用动量和方差减少技术。特别是，我们提供了一个有用的收敛性分析框架的双层优化。具体来说，我们提出了一个快速的单循环自适应双层优化（BiAdam）算法，它实现了一个样本的复杂度为$\tilde{O}(ε^{-4})$找到一个$ε$ -固定的解决方案。同时，我们提出了一种加速的BiAdam算法（VR-BiAdam），它达到了$\tilde{O}(ε^{-3})$的最佳样本复杂度.据我们所知，我们首先研究了自适应学习率的自适应双层最优化方法。在数据超清洗和超表示学习任务上的实验结果证明了算法的有效性。
2023-02-18 cs.CV cs.LG math.OC
PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Carnegie Mellon University（卡内基梅隆大学）；UiT The Arctic University of Norway（挪威北极大学）；ByteDance（字节跳动）
基于图像的虚拟试穿是以人为中心的图像生成的最有前途的应用之一，由于其巨大的现实世界的潜力。在这项工作中，我们向前迈出了一步，探索多功能的虚拟试穿解决方案，我们认为应该具有三个主要属性，即它们应该支持无监督训练，任意服装类别和可控服装编辑。为此，我们提出了一种保持特征的端到端网络，即PAT路由的空间自适应GAN++（PASTA-GAN++），以实现高分辨率未配对虚拟试穿的多功能系统。具体来说，我们的PASTA-GAN++由创新的补丁路由解缠结模块组成，将完整的服装解耦为标准化的补丁，该方法能够保留服装款式信息，同时消除服装空间信息，从而减轻无监督训练期间的过拟合问题。此外，PASTA-GAN++引入了基于补丁的服装表示和补丁引导的解析合成块，使其能够处理任意服装类别并支持本地服装编辑。最后，为了获得具有真实纹理细节的试穿结果，PASTA-GAN++采用了一种新的空间自适应残差模块，将粗糙的扭曲服装特征注入到生成器中。在我们新收集的UnPaired虚拟试穿（UPT）数据集上进行的大量实验证明了PASTA-GAN++优于现有SOTA及其可控服装编辑的能力。
2022-07-27 cs.CV
Real Image Super-Resolution using GAN through modeling of LR and HR process
Institute of AI for Health (AIH)（健康人工智能研究所）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；University of Udine（乌迪内大学）
当前现有的深度图像超分辨率方法通常假设低分辨率（LR）图像是高分辨率（HR）图像的双三次缩小。然而，这种理想的双三次下采样过程与真实的LR退化不同，真实的LR退化通常来自不同退化过程的复杂组合，例如相机模糊、传感器噪声、锐化伪影、JPEG压缩和进一步的图像编辑，以及通过互联网的多次图像传输和不可预测的噪声。这导致了逆尺度放大问题的高度不适定性质。为了解决这些问题，我们提出了一种基于GAN的SR方法，通过直接学习退化分布，然后合成成对的LR/HR训练数据来训练广义SR模型，从而在LR和SR模型中引入可学习的自适应正弦非线性。我们证明了我们提出的方法在定量和定性实验的有效性。
2022-10-19 cs.CV eess.IV
Generative Adversarial Network Based Synthetic Learning and a Novel Domain Relevant Loss Term for Spine Radiographs
Stanford Medicine（斯坦福医学院）
问题：在医学中，缺乏用于训练深度学习模型的大数据，其特点是数据收集的时间成本和隐私问题。生成对抗网络（GANs）提供了生成新数据的可能性，以及使用这些新生成的数据，而不包括患者的真实数据，用于下游应用。方法：训练一系列GANs，并将其应用于下游计算机视觉脊柱X射线照片异常分类任务。单独的分类器在访问或不访问原始成像的情况下进行训练。经过训练的GANs包括具有自适应增强功能的条件StyleGAN 2、具有自适应增强功能的条件StyleGAN 2，以根据病变类型生成脊柱X线照片，以及使用新的临床损失项生成器具有自适应增强功能的StyleGAN 2（SpineGAN）。最后，训练了一个具有异常条件的自适应增强的差分隐私施加StyleGAN2，并对其差分隐私施加进行了消融研究。关键结果：我们完成了合成脊柱X线照片的GAN生成，首次没有文献综述中有意义的输入。我们进一步证明了脊柱域的合成学习与下游临床分类任务的成功（使用合成数据的AUC为0.830，而使用真实数据的AUC为0.886）。重要的是，发现为发生器引入新的临床损失项可以增加代回忆并加速模型训练。最后，我们证明了，在有限大小的医疗数据集，差分隐私强加严重阻碍了GAN训练，发现这是特别是由于梯度扰动噪声的要求。
2022-05-05 cs.AI cs.CV cs.LG
On Leveraging Pretrained GANs for Generation with Limited Data
Duke University（杜克大学）
最近的工作表明，生成对抗网络（GANs）可以生成高度逼真的图像，这些图像通常无法（由人类）与真实图像区分开来。这样生成的大多数图像都不包含在训练数据集中，这表明有可能用GAN生成的数据来增强训练集。虽然当存在有限的可用数据时，该场景特别相关，但是仍然存在基于该有限数据训练GAN本身的问题。为了实现这一点，我们利用现有的在大规模数据集（如ImageNet）上预训练的GAN模型来引入额外的知识（这些知识可能不存在于有限的数据中），遵循迁移学习的概念。通过自然图像生成证明，我们揭示了预训练GANs的生成器和训练器的低级滤波器（接近观察值的滤波器）可以被转移，以便于在具有有限训练数据的感知不同的目标域中生成。为了进一步适应转移的滤波器的目标域，我们提出了自适应滤波器调制（AdaFM）。一组广泛的实验，以证明所提出的技术的有效性与有限的数据生成。
2020-08-08 cs.CV cs.LG eess.IV
Imbalance-Robust and Sampling-Efficient Continuous Conditional GANs via Adaptive Vicinal Learning and Auxiliary Regularization
School of Artificial Intelligence/School of Future Technology, Nanjing University of Information Science & Technology, Nanjing, China（人工智能学院/未来技术学院，南京信息科学技术大学）；Perceptual and Generative AI Lab, Nanjing University of Information Science & Technology, Nanjing, China（感知与生成人工智能实验室，南京信息科学技术大学）；College of Media, Zhejiang University, Hangzhou, China（传媒学院，浙江大学）；College of Computer Science and Technology, Zhejiang University, Hangzhou, China（计算机科学与技术学院，浙江大学）
研究针对CcGAN固定大小邻域训练对标签密度敏感及CCDM计算昂贵问题，提出结合软/混合自适应邻域与辅助判别器引导正则化的CcGAN-AVAR，实验表明其能保持GAN采样效率，提升生成质量和标签一致性，推理速度远超CCDM。
2026-07-08 cs.CV cs.LG
FDA-GAN: Flow-based Dual Attention GAN for Human Pose Transfer
Zhejiang University（浙江大学）
人体姿态转换的目的是将源人的外观转换为目标姿态。现有的方法利用基于流的扭曲的非刚性人体图像生成取得了很大的成功。然而，他们未能保持合成图像的外观细节，因为源和目标之间的空间相关性没有得到充分利用。为此，我们提出了基于流的双重注意力GAN（FDA-GAN）来应用遮挡和变形感知特征融合，以获得更高的生成质量。具体地说，可变形的局部注意力和流相似性注意力，构成了双重注意力机制，可以得到的输出功能，分别负责变形和遮挡感知融合。此外，为了保持姿态和全局位置在传输过程中的一致性，我们设计了一个姿态归一化网络，用于学习从目标姿态到源姿态的自适应归一化。定性和定量结果都表明，我们的方法在公共iPER和DeepFashion数据集中的性能优于最先进的模型。
2021-12-01 cs.CV
Towards Real-Time Advancement of Underwater Visual Quality with GAN
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Innovation Center for Engineering Science and Advanced Technology, Peking University（北京大学工程科学与先进技术北京创新中心）；Beihang University（北京航空航天大学）
低视觉质量阻碍了水下机器人视觉的广泛应用。虽然已经开发了几种算法，但实时的和自适应的方法对于现实世界的任务是不足的。在本文中，我们基于生成对抗网络（GAN）解决了这个困难，并提出了一种基于GAN的恢复方案（GAN-RS）。特别是，我们开发了一个多分支的神经网络，包括一个对抗分支和一个评论家分支的目的，同时保留图像内容和去除水下噪声。除了对抗性学习之外，一种新的暗通道先验损失也促进了生成器产生逼真的视觉。更具体地说，水下指数的水下研究描述的水下特性，和损失函数的基础上的水下指数设计的训练的关键分支，水下噪声抑制。通过视觉质量和特征恢复的广泛比较，我们证实了所提出的方法的优越性。因此，GAN-RS可以实时的自适应地改善水下视觉质量，并产生整体优越的恢复性能。最后，在海底进行了一个实际的实验，以抓取海产品，结果是相当有希望的。源代码可在https://github.com/SeanChenxy/GAN_RS上公开获得。
2020-03-25 cs.CV cs.RO
Adaptive Consensus Optimization Method for GANs
IIIT Hyderabad（海得拉巴国际信息技术学院）
提出一种融合ADAM与RMSprop的GAN二阶自适应共识优化方法，无需解线性系统或混合二阶导数项，收敛且在多个图像数据集上取得更优或相当性能。
2023-04-20 cs.CV cs.LG cs.NA
A New Perspective on Stabilizing GANs training: Direct Adversarial Training
University of Science and Technology of China（中国科学技术大学）
生成对抗网络（GANs）是最流行的图像生成模型，在各种计算机视觉任务上取得了显着进展。然而，训练不稳定性仍然是所有基于GAN算法的开放问题之一。目前已经提出了许多方法来稳定GANs的训练，其重点分别放在损失函数，正则化和归一化技术，训练算法和模型结构。与上述方法不同，本文提出了一种新的稳定GANs训练的视角。研究发现，有时生成器产生的图像在训练过程中表现得像是训练器的对抗样本，这可能是导致GANs训练不稳定的部分原因。有了这一发现，我们提出了直接对抗训练（DAT）方法来稳定GANs的训练过程。此外，我们证明了DAT方法是能够最小化的Lipschitz常数的自适应。DAT的先进性能在多个损失函数、网络架构、超参数和数据集上得到了验证。具体而言，DAT基于SSGAN在CIFAR-100无条件生成上实现了11.5%的FID，基于SSGAN在STL-10无条件生成上实现了10.5%的FID，基于SSGAN在LSUN-Bedroom无条件生成上实现了13.2%的FID。代码将在https://github.com/iceli1007/DAT-GAN上提供
2022-07-19 cs.CV cs.LG eess.IV
DCNGAN: A Deformable Convolutional-Based GAN with QP Adaptation for Perceptual Quality Enhancement of Compressed Video
Xidian University（西安电子科技大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种基于可变形卷积的生成对抗网络（DCNGAN），用于压缩视频的感知质量增强。DCNGAN也是自适应的量化参数（QP）。与光流相比，可变形卷积更有效和高效地对齐帧。可变形卷积可以对多个帧进行操作，从而利用更多的时间信息，这有利于增强压缩视频的感知质量。代替以成对方式对齐帧，可变形卷积可以同时处理多个帧，这导致较低的计算复杂度。实验结果表明，提出的DCNGAN优于其他国家的最先进的压缩视频质量增强算法。
2022-01-28 cs.CV cs.MM eess.IV
Few-Shot Learning with Adaptive Weight Masking in Conditional GANs
Tulane University（杜兰大学）；Northeastern University（东北大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；New York University（纽约大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对少样本场景下标注数据不足与过拟合问题，本文提出RWM-CGAN，通过残差生成器和权重掩码判别器进行受控数据增强，显著提升公开数据集上的检测与分类性能。
2024-12-04 cs.CV cs.LG
UGC: Unified GAN Compression for Efficient Image-to-Image Translation
ByteDance Inc（字节跳动公司）
本文提出统一GAN压缩（UGC）范式，通过半监督驱动的架构搜索与自适应在线蒸馏协同实现模型高效与标签高效学习，从而获得架构灵活且性能优异的图像到图像转换模型。
2023-09-17 cs.CV
Unsupervised Image Generation with Infinite Generative Adversarial Networks
Zhejiang University（浙江大学）；University of Leeds（利兹大学）；Clemson University（克莱姆森大学）
图像生成在计算机视觉中得到了广泛的研究，其中一个核心研究挑战是在很少监督的情况下从任意复杂分布生成图像。生成对抗网络（GANs）作为一种隐式方法在这方面取得了巨大的成功，因此得到了广泛的应用。然而，GANs被称为遭受的问题，如模式坍塌，非结构化的潜在空间，无法计算似然度等，在本文中，我们提出了一种新的无监督的非参数方法命名为混合的无限条件GANs或MIC-GANs，以解决几个GAN问题，旨在与简约的先验知识的图像生成。通过对不同数据集的综合评估，我们表明MIC-GAN在构建潜在空间和避免模式坍塌方面是有效的，并且优于最先进的方法。MICGAN具有自适应性、通用性和鲁棒性。它们为几个众所周知的GAN问题提供了一个有前途的解决方案。可用代码：github.com/yinghdb/MICGANs。
2021-08-18 cs.CV
CM-GAN: Image Inpainting with Cascaded Modulation GAN and Object-Aware Training
Adobe Research（奥多比研究院）；University of Rochester（罗切斯特大学）
最近的图像修补方法取得了很大的进展，但往往难以产生合理的图像结构时，处理复杂图像中的大洞。这部分是由于缺乏有效的网络结构，可以捕获图像的远程依赖性和高级语义。我们提出了级联调制GAN（CM-GAN），一种新的网络设计，包括一个编码器与傅立叶卷积块，提取多尺度特征表示从输入图像与孔和双流解码器与一个新的级联全局空间调制块在每个尺度级别。在每个解码器块中，首先应用全局调制来执行粗略的和语义感知的结构合成，然后是空间调制，以空间自适应的方式进一步调整特征图。此外，我们设计了一个对象感知的训练方案，以防止网络在洞内产生新的对象，满足现实世界场景中对象移除任务的需求。大量的实验表明，我们的方法显着优于现有的方法在定量和定性评价。请参阅项目页面：\url{https://github.com/htzheng/CM-GAN-Inpainting}。
2022-07-21 cs.CV
Image Processing Using Multi-Code GAN Prior
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但将训练好的GAN模型应用于真实的图像处理仍然具有挑战性。以前的方法通常通过反向传播或通过学习附加的编码器将目标图像反转回潜在空间。然而，这两种方法的重建都很不理想。在这项工作中，我们提出了一种新的方法，称为mGANprior，将训练有素的GANs作为有效的各种图像处理任务之前。特别是，我们采用多个潜在的代码，以产生多个特征映射在一些中间层的发生器，然后组合他们与自适应通道重要性恢复输入图像。这种潜在空间的过度参数化显著提高了图像重建质量，优于现有的竞争对手。所得到的高保真图像重建使训练的GAN模型能够在许多现实世界的应用之前，例如图像着色、超分辨率、图像修补和语义操作。我们进一步分析了由GAN模型学习的逐层表示的属性，并阐明了每层能够表示哪些知识。
2020-03-31 cs.CV
Adaptive Density Estimation for Generative Models
Inria（法国国家信息与自动化研究所）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
近年来，生成模型的无监督学习取得了巨大进展，特别是由于生成对抗网络（GANs），变分自编码器和基于流的模型。GANs显著地提高了样本质量，但存在两个缺点：（i）它们的模式下降，即，不涵盖对训练数据的完全支持，以及（ii）它们不允许对保留的数据进行可能性评估。相比之下，基于可能性的训练鼓励模型覆盖训练数据的全部支持，但产生较差的样本。这些相互的缺点原则上可以通过以混合对抗似然方式训练生成潜在变量模型来解决。然而，我们发现，通常的参数假设之间产生了冲突，成功的混合模型不平凡。作为解决方案，我们建议在潜在变量解码器中使用深度可逆变换。这种方法允许在图像空间中进行似然计算，比完全可逆模型更有效，并且可以充分利用对抗训练。我们表明，我们的模型比现有的混合模型有显着改进：提供类似GAN的样本，与完全对抗模型竞争的IS和FID分数，以及改进的似然分数。
2020-01-03 cs.CV cs.LG
Signature and Log-signature for the Study of Empirical Distributions Generated with GANs
Centre for Intelligent Multidimensional Data Analysis（智能多维数据分析中心）；Universitat Politècnica de València（瓦伦西亚理工大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；City University of Hong Kong（香港城市大学）
在本文中，我们提出了使用最近开发的签名变换作为一种方法来衡量图像分布之间的相似性，并提供详细的认识和广泛的评价。我们是第一个先驱RMSE和MAE签名，以及日志签名作为衡量GAN收敛的替代方案，这个问题已经得到了广泛的研究。我们也是引入基于统计的分析度量来研究GAN样本分布的拟合优度的先行者，既高效又有效。当前的GAN措施涉及通常在GPU上完成的大量计算，并且非常耗时。相比之下，我们将计算时间减少到秒的量级，并且在CPU上完成计算，以实现相同的良好水平。最后，PCA自适应t-SNE方法，这是在这种情况下，也提出了数据可视化。
2022-11-13 cs.CV
Self Sparse Generative Adversarial Networks
Harbin Institute of Technology（哈尔滨工业大学）
生成对抗网络（GANs）是一种无监督的生成模型，通过对抗训练来学习数据分布。然而，最近的实验表明，GANs是困难的训练由于优化的要求，在高维参数空间和零梯度问题。在这项工作中，我们提出了一个自稀疏生成对抗网络（自稀疏GAN），减少了参数空间，并简化了零梯度问题。在自稀疏GAN中，我们设计了一个自适应稀疏变换模块（SASTM），包括稀疏分解和特征图重组，它可以应用于多通道特征图，以获得稀疏特征图。自稀疏GAN的核心思想是在生成器中的每个反卷积层之后添加SASTM，它可以利用多通道特征映射的稀疏性自适应地减小参数空间。我们从理论上证明了SASTM不仅可以减少生成器卷积核权重的搜索空间，而且可以通过保持批量归一化层中有意义的特征并驱动反卷积层的权重远离负值来缓解零梯度问题。实验结果表明，在MNIST、Fashion-MNIST、CIFAR-10、STL-10、mini-ImageNet、CELEBA-HQ和LSUN卧室上，与WGAN-GP相比，该方法在图像生成方面获得了最好的FID分数，FID相对降低4.76% ~ 21.84%。
2021-01-26 cs.CV
ZK-GanDef: A GAN based Zero Knowledge Adversarial Training Defense for Neural Networks
New Jersey Institute of Technology（新泽西理工学院）
神经网络分类器已成功地应用于广泛的应用领域。然而，他们对无攻击环境的基本假设已经被对抗性的例子所挑战。研究人员试图开发防御措施;然而，现有的方法仍然远远不能为这个不断发展的问题提供有效的解决方案。在本文中，我们设计了一个基于生成对抗网（GAN）的零知识对抗训练防御，称为ZK-GanDef，它在训练过程中不消耗对抗样本。因此，ZK-GanDef不仅训练效率高，而且还能适应新的对抗性示例。与完全知识方法相比，这种优势是以测试精度的小降级为代价的。我们的实验表明，与零知识方法相比，ZK-GanDef将对抗性示例的测试准确率提高了49.17%。更重要的是，它的测试准确率接近最先进的全知识方法（最大降级为8.46%），同时训练时间更少。
2019-04-17 cs.CR cs.CV cs.LG
Make Encoder Great Again in 3D GAN Inversion through Geometry and Occlusion-Aware Encoding
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））
3D GAN反演旨在从单个图像输入同时实现高重建保真度和合理的3D几何形状。然而，现有的3D GAN反演方法依赖于针对每个单独情况的耗时优化。在这项工作中，我们介绍了一种新的基于编码器的反演框架的基础上EG3D，最广泛使用的三维GAN模型之一。我们利用EG3D的潜在空间的固有属性来设计一个正则化和一个背景深度正则化。这使得我们能够训练几何感知编码器能够将输入图像转换为相应的潜在代码。此外，我们探索EG3D的特征空间，并开发了一个自适应细化阶段，提高了EG3D中特征的表示能力，以增强细粒度纹理细节的恢复。最后，我们提出了一个遮挡感知融合操作，以防止在未观察到的区域失真。我们的方法取得了令人印象深刻的结果，可与基于优化的方法相媲美，同时运行速度快达500倍。我们的框架非常适合语义编辑等应用程序。
2023-03-22 cs.CV
Anycost GANs for Interactive Image Synthesis and Editing
MIT（麻省理工学院）；Adobe Research（奥多比研究院）；CMU（卡内基梅隆大学）
生成对抗网络（GANs）已经实现了照片级逼真的图像合成和编辑。然而，由于大规模生成器的高计算成本（例如，StyleGAN 2），在边缘设备上看到一次编辑的结果通常需要几秒钟，禁止交互式用户体验。在本文中，我们从现代渲染软件的启发，提出了Anycost GAN的交互式自然图像编辑。我们训练Anycost GAN以支持弹性分辨率和通道，从而以多种速度更快地生成图像。运行完整生成器的子集会产生在感知上与完整生成器相似的输出，使其成为预览的良好代理。通过使用基于采样的多分辨率训练、自适应通道训练和生成器条件训练，可以在各种配置下评估任意成本生成器，同时与单独训练的模型相比实现更好的图像质量。此外，我们开发了新的编码器训练和潜在代码优化技术，以鼓励图像投影过程中不同子生成器之间的一致性。Anycost GAN可以以各种成本预算执行（计算量减少高达10倍），并适应各种硬件和延迟要求。当部署在桌面CPU和边缘设备上时，我们的模型可以以6- 12倍的速度提供感知相似的预览，从而实现交互式图像编辑。代码和演示可在https://github.com/mit-han-lab/anycost-gan上公开获取。
2021-03-04 cs.CV
TL-GAN: Improving Traffic Light Recognition via Data Synthesis for Autonomous Driving
Shandong University（山东大学）；QCraft
交通灯识别作为自动驾驶汽车感知模块的关键组成部分，在智能交通系统中起着至关重要的作用。目前流行的基于深度学习的交通灯识别方法在很大程度上依赖于训练数据的大量性和丰富多样性。然而，在诸如闪光、停电或极端天气等各种罕见场景下收集数据是相当具有挑战性的，从而导致训练数据的不平衡分布，从而降低了识别罕见类别的性能。在本文中，我们试图提高交通灯识别利用数据合成。受生成对抗网络（GANs）的启发，提出了一种新的交通灯生成方法TL-GAN，用于合成稀有类数据，以提高自动驾驶中的交通灯识别能力。TL-GAN将交通信号灯序列生成分解为图像合成和序列拼接两部分。在图像合成阶段，我们的方法使有条件的生成，以允许完全控制所生成的交通灯图像的颜色。在序列拼接阶段，我们设计了风格混合和自适应模板，合成了逼真多样的交通灯序列。大量的实验表明，所提出的TL-GAN在不使用生成的数据的情况下对基线进行了显着的改进，与用于一般图像合成和数据不平衡处理的竞争算法相比，其性能达到了最先进的水平。
2022-03-28 cs.CV
Blur, Noise, and Compression Robust Generative Adversarial Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
生成对抗网络（GANs）由于其复制图像的能力而受到了相当大的关注。然而，它们可以忠实地重建训练图像，尽管图像以模糊，噪声和压缩的形式退化，生成类似的退化图像。为了解决这个问题，最近提出的噪声鲁棒性GAN（NR-GAN）提供了一个部分的解决方案，通过展示学习一个干净的图像生成器直接从噪声图像使用两个生成器模型，包括图像和噪声发生器的能力。然而，其应用仅限于噪声，由于其加性和可逆特性，噪声相对容易分解，并且其应用于不可逆图像退化，以模糊，压缩和所有组合的形式，仍然是一个挑战。为了解决这些问题，我们提出了模糊、噪声和压缩鲁棒的GAN（BNCR-GAN），它可以直接从退化图像中学习干净的图像生成器，而不需要知道退化参数（例如，模糊核类型、噪声量或质量因子值）。受NR-GAN的启发，BNCR-GAN使用由图像，模糊核，噪声和质量因子生成器组成的多生成器模型。然而，与NR-GAN相反，为了解决不可逆特性，我们引入了掩蔽架构，在降级之前和之后使用旁路以数据驱动的方式调整降级强度值。此外，为了抑制模糊，噪声和压缩的组合所造成的不确定性，我们引入了自适应一致性损失，根据退化强度在不可逆退化过程之间施加一致性。我们通过对CIFAR-10的大规模比较研究和对FFHQ的一般性分析，证明了BNCR-GAN的有效性。此外，我们证明了BNCR-GAN在图像复原中的适用性。
2021-06-23 cs.CV cs.LG eess.IV
Diagonal Attention and Style-based GAN for Content-Style Disentanglement in Image Generation and Translation
Korea Advanced Institute of Science & Technology (KAIST)（韩国高等科学技术研究院（KAIST））
图像生成模型的一个重要研究课题是将空间内容和空间风格分离，分别控制。虽然StyleGAN可以从随机噪声中生成内容特征向量，但由此产生的空间内容控制主要用于较小的空间变化，并且全局内容和样式的分离绝不是完全的。受归一化和注意力的数学理解的启发，在这里，我们提出了一种新的分层自适应对角线空间注意力（DAT）层，以分层的方式分别操纵空间内容的样式。使用DAT和AdaIN，我们的方法使粗到细的空间内容和风格的层次解开。此外，我们的生成器可以很容易地集成到GAN反演框架中，以便可以灵活地控制来自多域图像翻译任务的翻译图像的内容和风格。通过使用各种数据集，我们证实，所提出的方法不仅优于现有的模型在解纠缠分数，但也提供了更灵活的控制空间特征生成的图像。
2021-07-23 cs.CV
UnGANable: Defending Against GAN-based Face Manipulation
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Salesforce Research（赛富时研究院）；Microsoft Research（微软研究院）
Deepfakes对我们的社会构成了视觉错误信息的严重威胁。一个代表性的深度伪造应用是面部操纵，其修改图像中受害者的面部属性，例如，改变她的年龄或头发颜色最先进的人脸操纵技术依赖于生成对抗网络（GANs）。在本文中，我们提出了第一个防御系统，即UnGANable，以对抗基于GAN反转的人脸操作。具体来说，UnGANable专注于防御GAN反转，这是面部操纵的重要步骤。它的核心技术是在图像空间中寻找原始图像（称为目标图像）周围的替代图像（称为隐藏图像）。当发布到网上时，这些隐藏的图像可能会危及GAN反演过程。我们考虑两个国家的最先进的反演技术，包括优化为基础的反演和混合反演，并设计了五种不同的防御五种情况下，根据防御者的背景知识。在两个基准人脸数据集上训练的四个流行的GAN模型上进行的大量实验表明，UnGANable实现了显着的有效性和实用性能，并且优于多种基线方法。我们进一步研究了四种自适应对手来绕过UnGANable，并表明其中一些是稍微有效的。
2022-10-03 cs.CR cs.CV cs.LG
A Regularized Conditional GAN for Posterior Sampling in Image Recovery Problems
The Ohio State University（俄亥俄州立大学）
本文提出一种正则化条件Wasserstein GAN，通过ℓ1惩罚和自适应标准差奖励实现快速高质量的后验采样，在多线圈MRI和大规模图像修复任务中达到最先进性能。
2023-10-27 cs.CV
High-Fidelity GAN Inversion for Image Attribute Editing
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯AI实验室）
提出一种高保真GAN反演框架，通过失真咨询反演（DCI）和自适应失真对齐（ADA）模块，在保留图像细节的同时实现高质量属性编辑。
2024-09-27 cs.CV
Style and Content Disentanglement in Generative Adversarial Networks
West Virginia University（西弗吉尼亚大学）
解开数据中的变化因素已经成为图像生成任务的一个非常具有挑战性的问题。当前用于训练生成对抗网络（GAN）的框架学习以无监督的方式解开数据的表示，并捕获数据变化的最重要因素。然而，这些方法忽略了图像生成中的内容和风格分离原则，这意味着它们学习的潜在代码可能同时改变生成的图像的内容和风格。本文介绍了风格和内容分离GAN（SC-GAN），这是一种新的无监督算法，用于训练GANs，学习数据的分离风格和内容表示。我们假设图像的表示可以分解为表示数据的几何信息的内容代码和捕获纹理属性的样式代码。因此，通过固定潜表征的风格部分，我们可以生成特定风格的不同图像。因此，我们可以设置内容代码，并生成各种风格的特定场景。建议的SC-GAN有两个组件：一个内容代码，这是输入到生成器，和一个样式代码，通过修改自适应实例规范化（AdaIN）层的参数修改场景样式。我们在一组基线数据集上评估了所提出的SC-GAN框架。
2018-11-14 cs.CV
Exploring Sparse MoE in GANs for Text-conditioned Image Synthesis
Ant Group（蚂蚁集团）；CUHK（香港中文大学）；HKUST（香港科技大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出 Aurora，一种基于 GAN 的文本到图像生成器，通过引入稀疏激活的混合专家（MoE）和稀疏路由器，在有限计算资源下实现了高效的文本条件图像合成，并在 MS COCO 上取得了 6.2 的零样本 FID。
2023-09-07 cs.CV
MU-GAN: Facial Attribute Editing based on Multi-attention Mechanism
North China Electric Power University（华北电力大学）；Liaoning Shihua University（辽宁石油化工大学）；New Jersey Institute of Technology（新泽西理工学院）；Shandong University of Science and Technology（山东科技大学）
人脸属性编辑主要有两个目标：1）将图像从源域转换到目标域; 2）只改变与目标属性相关的人脸区域，并保留不包含属性的细节。在这项工作中，我们提出了一个多注意力U-网为基础的生成对抗网络（MU-GAN）。首先，我们在生成器中用对称的U-Net结构替换经典的卷积编码器-解码器，然后应用附加的注意力机制来构建基于注意力的U-Net连接，用于自适应地传输编码器表示，以补充具有属性排除细节的解码器，并增强属性编辑能力。第二，将自我注意力机制并入卷积层中，用于对跨图像区域的远程和多级依赖性进行建模。实验结果表明，该方法能够平衡属性编辑能力和细节保持能力，并能解耦属性间的相关性。它优于国家的最先进的方法在属性操作的准确性和图像质量。
2020-09-09 cs.CV cs.GR
CHAIN: Enhancing Generalization in Data-Efficient GANs via lipsCHitz continuity constrAIned Normalization
The Australian National University（澳大利亚国立大学）；Data61；CSIRO（联邦科学与工业研究组织）
针对数据受限 GAN 中 BN 导致梯度爆炸及判别器过拟合的问题，本文提出 CHAIN 归一化，通过零均值正则化、Lipschitz 约束和自适应特征插值提升稳定性与泛化，并在多个基准上达到 SOTA。
2025-03-15 cs.CV cs.LG
Text to Image Generation with Semantic-Spatial Aware GAN
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Twente（特温特大学）
文本到图像合成（T2 I）的目的是生成具有照片般真实感的图像，这些图像在语义上与文本描述一致。现有的方法通常建立在条件生成对抗网络（GANs）上，并通过句子嵌入从噪声中初始化图像，然后通过细粒度的词嵌入迭代地细化特征。仔细检查他们生成的图像会发现一个主要的局限性：即使生成的图像整体上与描述相匹配，但某些事物的个别图像区域或部分通常无法识别或与句子中的单词一致，例如“白色王冠”。为了解决这个问题，我们提出了一个新的框架语义空间感知GAN从输入文本合成图像。具体来说，我们引入了一个简单有效的语义空间感知块，它（1）学习以文本为条件的语义自适应变换，以有效地融合文本特征和图像特征，（2）以弱监督的方式学习语义掩码，该方式依赖于当前的文本-图像融合过程，以指导空间变换。在具有挑战性的COCO和CUB鸟类数据集上的实验证明了我们的方法在视觉保真度和与输入文本描述对齐方面优于最近的最先进方法。
2022-03-24 cs.CV cs.LG
DPN-GAN: Inducing Periodic Activations in Generative Adversarial Networks for High-Fidelity Audio Synthesis
Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所、东部技术研究所）
本文提出DPN-GAN，通过周期性ReLU激活与可变形卷积增强生成器和判别器，在五个语音及音乐数据集上实现优于现有GAN的高保真、鲁棒音频合成。
2025-05-14 cs.AI cs.CV cs.LG
Gradual Residuals Alignment: A Dual-Stream Framework for GAN Inversion and Image Attribute Editing
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Communication Content Cognition（通信内容认知国家重点实验室）
本文提出一种双流框架，通过多阶段由粗到细的方式逐步注入残差特征，并结合选择性注意力机制，解决GAN反演与属性编辑中细节丢失和可编辑性差的问题，在重建精度和编辑质量上优于现有方法。
2024-02-22 cs.AI cs.CV
PhonemeFake: Redefining Deepfake Realism with Language-Driven Segmental Manipulation and Adaptive Bilevel Detection
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对现有深度伪造数据集不够逼真的问题，提出PhonemeFake攻击与双层检测模型，显著降低人类感知和基准准确率，并实现高精度、低开销的检测。
2025-06-28 cs.AI cs.CL cs.CV
