Invertible Tabular GANs: Killing Two Birds with OneStone for Tabular Data Synthesis
Yonsei University（延世大学）；Samsung SDS（三星数据系统公司(Samsung SDS)）
表格数据综合在文献中得到了广泛的关注。这是因为可用的数据通常是有限的，不完整的，或者不能轻易获得，数据隐私变得越来越重要。在这项工作中，我们提出了一个广义的GAN框架，用于表格合成，它结合了GANs的对抗训练和可逆神经网络的负对数密度正则化。拟议的框架可用于两个不同的目标。首先，我们可以进一步提高合成质量，通过降低对抗训练过程中真实记录的负对数密度。另一方面，通过增加真实记录的负对数密度，可以合成真实的假记录，使它们不太接近真实记录，并减少潜在的信息泄漏的机会。我们使用真实世界的数据集进行分类，回归和隐私攻击的实验。一般来说，所提出的方法展示了最佳的合成质量（就面向任务的评估指标而言，例如，F1）在对抗训练期间降低负对数密度时。实验结果表明，如果增加负对数密度，真实记录和虚假记录之间的距离增加，增强了对隐私攻击的鲁棒性。
2022-02-08 cs.AI cs.LG
LTT-GAN: Looking Through Turbulence by Inverting GANs
Johns Hopkins University（约翰斯·霍普金斯大学）
提出LTT-GAN，利用GAN视觉先验和空间周期性上下文距离，结合分层伪连接，实现湍流退化图像的身份保持恢复，显著提升视觉质量与人脸验证精度。
2021-12-04 cs.CV
From Continuity to Editability: Inverting GANs with Consecutive Images
South China University of Technology（华南理工大学）；Ocean University of China（中国海洋大学）；Guangdong Provincial Key Lab of Computational Intelligence and Cyberspace Information（广东省计算智能与网络空间信息重点实验室）；State Key Laboratory of Subtropical Building Science（亚热带建筑科学国家重点实验室）；Ministry of Education Key Laboratory of Big Data and Intelligent Robot（大数据与智能机器人教育部重点实验室）
现有的GAN反编码方法存在一个矛盾，即反编码既不能实现高保真重建，又不能保留编辑能力。只有其中一个显然不能实现真正的图像编辑。在本文中，我们解决了这个矛盾，通过引入连续图像（\eg，视频帧或同一个人与不同的姿势）的反演过程。我们的解决方案背后的基本原理是，连续图像的连续性导致固有的可编辑方向。这种天生的属性用于两个独特的目的：1）正则化联合反转过程，使得每个反转代码在语义上可从另一个反转代码中的一个反转代码访问，并且固定在可编辑域中; 2）强制图像间相干性，使得每个反转代码的保真度可以通过其他图像的互补而最大化。大量的实验表明，我们的替代显着优于国家的最先进的方法重建保真度和可编辑性方面的真实图像数据集和合成数据集。此外，我们的方法提供了基于视频的GAN反演的第一个支持，以及从连续图像进行无监督语义转移的有趣应用。源代码可以在以下位置找到：\url{https://github.com/cnnlstm/InvertingGANs_with_ConsecutiveImgs}。
2021-08-13 cs.CV
Inverting The Generator Of A Generative Adversarial Network (II)
Imperial College London（伦敦帝国理工学院）
生成对抗网络（GANs）学习一种深度生成模型，该模型能够合成新颖的高维数据样本。新的数据样本是通过传递潜在样本合成的，从一个选定的先验分布，通过生成模型。一旦经过训练，潜在空间就会表现出有趣的特性，这可能对分类或检索等下游任务有用。不幸的是，GANs不提供“逆模型”，即从数据空间映射回潜在空间，这使得难以推断给定数据样本的潜在表示。在本文中，我们介绍了一种技术，反演，使用预训练的GAN将数据样本，特别是图像投影到潜在空间。使用我们提出的反演技术，我们能够识别训练的GAN能够基于重建损失来建模和量化GAN性能的数据集的哪些属性。我们演示了如何我们提出的反演技术可用于定量比较在三个图像数据集上训练的各种GAN模型的性能。我们提供了所有实验的代码，https://github.com/ToniCreswell/InvertingGAN。
2018-02-15 cs.CV
Spatially-Adaptive Multilayer Selection for GAN Inversion and Editing
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
现有的GAN反转和编辑方法对于具有干净背景的对齐对象（例如肖像和动物面部）工作良好，但是对于具有复杂场景布局和对象遮挡的更困难的类别（例如汽车、动物和户外图像）通常很困难。我们提出了一种新的方法来反转和编辑GANs（如StyleGAN2）潜在空间中的复杂图像。我们的关键思想是探索反演与层的集合，空间适应反演过程的图像的难度。我们学习预测不同图像片段的“可逆性”，并将每个片段投影到潜在层中。较复杂的区域可以被反转到生成器的潜在空间中的较早层中，而更具挑战性的区域可以被反转到较晚的特征空间中。实验表明，我们的方法获得了更好的反演结果相比，最近的方法复杂的类别，同时保持下游的可编辑性。请参阅我们的项目页面https://www.cs.cmu.edu/~SAMInversion。
2022-06-16 cs.CV cs.GR cs.LG
Out-of-domain GAN inversion via Invertibility Decomposition for Photo-Realistic Human Face Manipulation
HKUST (Guangzhou)（香港科技大学（广州））；HKUST（香港科技大学）；CUHK（香港中文大学）；SmartMore（思谋科技）
针对 GAN 人脸反演中 OOD 区域导致掩码不准的问题，提出联合学习可逆性检测与空间对齐的分解框架，提升反演和属性操控保真度。
2023-06-08 cs.CV
In-Domain GAN Inversion for Real Image Editing
The Chinese University of Hong Kong（香港中文大学）；Xiaomi AI Lab（小米人工智能实验室）
最近的工作表明，当被训练来合成图像时，生成对抗网络（GANs）的潜在空间中会出现各种语义。然而，很难将这些学习到的语义用于真实的图像编辑。将真实图像馈送到经训练的GAN生成器的常见做法是将其反转回潜在代码。然而，现有的反演方法通常侧重于通过像素值重建目标图像，但未能将反演代码降落在原始潜在空间的语义域中。结果，重建的图像不能很好地支持通过改变反转代码的语义编辑。为了解决这个问题，我们提出了一个域内GAN反演方法，它不仅忠实地重建输入图像，但也确保反演代码是语义上有意义的编辑。我们首先学习一种新的域引导编码器，将给定图像投影到GANs的本地潜在空间。然后，我们提出域正则化优化，通过将编码器作为正则化器来微调编码器产生的代码，并更好地恢复目标图像。大量的实验表明，我们的反演方法实现了令人满意的真实图像重建，更重要的是，方便了各种图像编辑任务，显着优于开始的艺术。
2020-07-16 cs.CV
Cycle-Consistent Inverse GAN for Text-to-Image Synthesis
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
本文探讨了一个开放的研究任务，文本到图像的合成自动生成或操纵图像的文本描述。现有的方法主要是以文本作为生成GAN的条件，并针对文本引导的图像生成和操作任务对不同的模型进行训练。在本文中，我们提出了一种新的统一框架的周期一致性逆GAN（CI-GAN）的文本到图像生成和文本引导的图像处理任务。具体来说，我们首先训练一个没有文本输入的GAN模型，旨在生成具有高多样性和高质量的图像。然后，我们学习一个GAN反演模型，将图像转换回GAN潜在空间，并获得每个图像的反演潜在代码，其中我们引入循环一致性训练来学习更鲁棒和一致的反演潜在代码。通过学习文本表示和潜在代码之间的相似性模型，我们进一步揭示了训练后的GAN模型的潜在空间语义。在文本引导的优化模块中，我们通过优化反转的潜在代码来生成具有所需语义属性的图像。在Recipe 1 M和CUB数据集上进行的大量实验验证了我们提出的框架的有效性。
2021-09-12 cs.CV
InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars
Tsinghua University（清华大学）
提出增量式3D GAN反演框架InvertAvatar，利用多帧输入提升头部虚拟形象重建保真度，通过可动画3D GAN先验和神经纹理编码器增强表情控制与细节，实现一次性及少样本动画任务的最先进性能。
2024-05-27 cs.CV
Invert and Defend: Model-based Approximate Inversion of Generative Adversarial Networks for Secure Inference
University of Maryland（马里兰大学）；Butterfly Network（蝴蝶网络公司）
在生成对抗网络（GANs）中，推断生成给定测试样本的潜在变量是一个具有挑战性的问题。在本文中，我们提出了InvGAN -一种用于解决GANs中推理问题的新框架，该框架涉及训练一个编码器网络，该编码器网络能够在不访问任何训练数据的情况下反转预先训练的生成器网络。在温和的假设下，我们从理论上证明，使用InvGAN，我们可以近似地反转训练GAN模型的任何潜在代码的生成。此外，我们经验证明了我们的推理方案的优越性与其他方法，执行类似的任务进行定量和定性比较。我们还展示了我们的框架在对抗性防御问题中的有效性，其中InvGAN可以成功地用作基于投影的防御机制。此外，我们还展示了InvGAN如何用于对基于投影的防御机制实施重新参数化白盒攻击。在几个基准数据集上的实验验证表明，我们的方法在几个白盒和黑盒攻击上实现了更好的性能。我们的代码可在https://github.com/yogeshbalaji/InvGAN上获得。
2019-11-23 cs.CV cs.LG stat.ML
Inverting The Generator Of A Generative Adversarial Network
Imperial College London（帝国理工学院）
生成对抗网络（GANs）通过将从潜在空间中提取的样本传递到生成网络来学习从高维分布中合成新样本。当高维分布描述特定数据集的图像时，网络应该学习为潜在空间中彼此接近的潜在变量生成视觉上相似的图像样本。对于诸如图像检索和图像分类之类的任务，通过将图像投影到潜在空间中并将其用作区分性任务的表示来利用潜在空间的布置可能是有用的。GANs通常由多层非线性计算组成，这使得它们很难反转。本文介绍了使用任何预训练的GAN将图像样本投影到潜在空间中的技术，前提是计算图可用。我们评估这些技术的MNIST数字和Omniglot手写字符。在MNIST数字的情况下，我们表明，投影到潜在的空间保持有关的风格和身份的数字的信息。在Omniglot字符的情况下，我们表明，即使是在训练过程中没有看到的字母表中的字符也可以很好地投射到潜在空间中;这表明这种方法可能在一次性学习中有应用。
2016-11-17 cs.CV cs.LG
GAN Inversion: A Survey
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；ETH Zürich（苏黎世联邦理工学院）；University College London（伦敦大学学院）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California at Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Google（谷歌）
GAN反演旨在将给定图像反演回预训练的GAN模型的潜在空间，以便由生成器从反演代码忠实地重建图像。GAN反演作为一种连接真实图像域和伪图像域的新兴技术，在使预训练的GAN模型（如StyleGAN GAN和BigGAN GAN）用于真实图像编辑应用方面起着至关重要的作用。同时，GAN反演也为解释GAN的潜在空间以及如何生成逼真的图像提供了见解。在本文中，我们提供了一个概述GAN反演，重点是其最近的算法和应用。我们涵盖了GAN反演的重要技术及其在图像复原和图像处理中的应用。我们进一步阐述了未来方向的一些趋势和挑战。
2022-03-22 cs.CV
How to GAN away Detector Effects
Universität Heidelberg（海德堡大学）；Universität Hamburg（汉堡大学）
直接比较数据和模拟事件的LHC分析承担了将第一原理预测仅作为事件模拟的黑箱部分的危险。我们展示了如何模拟，例如，检测器效应可以使用生成网络来反转。这使我们能够从测量的事件中重建部分子水平的信息。我们的研究结果说明了如何，在一般情况下，完全条件生成网络可以在统计上反转蒙特卡罗模拟。作为一个技术的副产品，我们展示了如何最大的平均差异损失可以错开或冷却。
2020-03-17 cs.LG hep-ph
Transforming Facial Weight of Real Images by Editing Latent Space of StyleGAN
Singapore Management University（新加坡管理大学）
我们提出了一个反转和编辑框架，通过利用生成对抗网络（GANs）的潜在空间中编码的语义面部属性，自动将输入人脸图像的面部权重转换为看起来更薄或更重。使用预训练的StyleGAN作为底层生成器，我们首先采用基于优化的嵌入方法将输入图像反转到StyleGAN潜在空间中。然后，通过监督学习确定人脸权重属性在潜在空间中的方向，并通过沿提取的特征轴正向或反向移动来编辑反转的潜在代码。经验表明，我们的框架可以产生高质量和逼真的面部权重转换，而不需要从头开始使用大量标记的面部图像训练GANs。最终，我们的框架可以作为干预措施的一部分，通过可视化他们的行为对外观的未来影响来激励个人做出更健康的食物选择。
2020-11-05 cs.AI cs.CV cs.LG
Diverse Inpainting and Editing with GAN Inversion
Bilkent University（比尔肯特大学）
本文提出一种基于GAN反演的编码器与混合网络方法，通过结合擦除图像特征与随机样本特征实现多样化图像修复与编辑，并利用高比率特征解决颜色不一致问题。
2023-07-27 cs.CV
In-Domain GAN Inversion for Faithful Reconstruction and Editability
Hong Kong University of Science and Technology（香港科技大学）；Ant Research（蚂蚁研究院）；Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出域内 GAN 反演，通过域引导编码器与域正则化优化器约束潜码，在保证真实图像忠实重建的同时提升语义可编辑性。
2023-09-25 cs.CV
Conditional Invertible Neural Networks for Diverse Image-to-Image Translation
Heidelberg University（海德堡大学）
我们引入了一个新的架构称为条件可逆神经网络（cINN），并使用它来解决不同的图像到图像的自然图像的翻译任务。由于一些基本的限制，这在现有的INN模型中是不容易实现的。cINN将纯生成INN模型与无约束前馈网络相结合，该网络有效地将调节图像预处理为最大信息特征。cINN的所有参数都通过稳定的、基于最大似然的训练过程进行联合优化。尽管基于INN的模型在文献中受到的关注远低于GANs，但它们已被证明具有GANs中不存在的一些显着特性，例如对模式坍塌的明显免疫力。我们发现，我们的cINN利用这些特性进行图像到图像的转换，在白天到夜晚的转换和图像着色上得到了证明。此外，我们利用我们的双向cINN架构来探索和操纵潜在空间的涌现属性，例如以直观的方式改变图像风格。
2021-05-05 cs.AI cs.CV
JoIN: Joint GANs Inversion for Intrinsic Image Decomposition
UIUC（伊利诺伊大学）；Adobe Research（Adobe研究）
JoIN通过联合反向求解多个GAN实现内在图像分解，利用合成数据训练GAN先验并微调生成器，以提高真实图像的泛化能力。
2026-01-10 cs.CV
Sem-GAN: Semantically-Consistent Image-to-Image Translation
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））
不成对图像到图像转换是将源域中的图像映射到目标域中的图像的问题，而不需要对应的图像对。为了确保翻译的图像是真实可信的，最近的作品，如Cycle-GAN，要求这种映射是可逆的。虽然这个要求在域是单峰的情况下展示了有希望的结果，但在多模态场景（例如图像分割任务）中，其性能是不可预测的。这是因为，可逆性不一定强制语义正确性。为此，我们提出了一个语义一致的GAN框架，被称为Sem-GAN，其中的语义定义的类身份的图像段在源域中产生的语义分割算法。我们提出的框架包括翻译任务的一致性约束，连同GAN损失和周期约束，强制执行翻译时的图像将继承目标域的外观，同时（近似）保持它们的身份从源域。我们在几个图像到图像的翻译任务上进行了实验，并证明Sem-GAN显着提高了翻译图像的质量，有时在FCN分数上提高了20%以上。此外，我们表明，语义分割模型，通过Sem-GAN翻译的合成图像训练，导致比其他变体更好的分割结果。
2018-07-12 cs.CV
Exploiting the Hidden Tasks of GANs: Making Implicit Subproblems Explicit
DisneyResearch|Studios（迪士尼研究|工作室）；Zurich, Switzerland（瑞士苏黎世（注意：根据提取规则，地址信息不应被提取为机构，此处原文本中“Zurich, Switzerland”为地址，不应作为机构提取，仅保留“DisneyResearch|Studios”为有效机构）}]} 修正：根据提取规则，地址信息不应被提取为机构，因此仅保留“DisneyResearch|Studios”为有效机构，修正后：{）
我们对生成对抗网络（GANs）的训练提出了另一种观点，表明GAN生成器的训练步骤分解为两个隐式子问题。在第一种方法中，该方法通过近似地反转分类器标签，以“逆例子”的形式向生成器提供新的目标数据。在第二个例子中，这些例子被用来作为目标，通过最小二乘回归更新发电机，而不管指定的训练网络的主要损失。我们通过实验验证了我们的主要理论结果，并证明了显着的改进标准的GAN培训，使这些子问题明确。
2021-05-12 cs.CV cs.LG
High-Fidelity Image Inpainting with GAN Inversion
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing Institute of Software Technology（南京软件技术研究院）；University of North Texas（北得克萨斯大学）
图像修补是根据图像中未被掩盖的内容，寻求一种语义一致的方法来恢复受损图像。以前的方法通常在使用GAN反演为丢失的孔生成真实的补丁之前重用训练良好的GAN作为有效的。然而，在这些算法中忽略硬约束可能会产生GAN反演和图像修补之间的差距。针对这一问题，本文提出了一种新的图像图像修补GAN反演模型，称为InvertFill，主要由一个带有预调制模块的编码器和一个带有F&W+潜在空间的GAN生成器组成。在编码器内，预调制网络利用多尺度结构将更具鉴别力的语义编码到样式向量中。为了弥补GAN反演与图像修补之间的差距，提出了F&W+潜空间来消除眩光颜色差异和语义不一致。为了重建逼真的图像，设计了一个简单而有效的软更新Mean Latent模块，用于捕获更多样化的域内模式，这些模式合成了高保真纹理，用于大的损坏。在Places 2、CelebA-HQ、MetFaces和Scenery等四个具有挑战性的数据集上进行的综合实验表明，我们的InvertFill在定性和定量上都优于先进的方法，并且很好地支持了域外图像的完成。
2022-08-25 cs.CV
Seeing What a GAN Cannot Generate
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
尽管生成对抗网络（GANs）取得了成功，但模式坍塌仍然是GAN训练期间的一个严重问题。到目前为止，很少有工作集中在理解和量化哪些模式已经被模型丢弃。在这项工作中，我们可视化的模式坍塌在分布水平和实例水平。首先，我们部署了一个语义分割网络，将生成的图像中分割对象的分布与训练集中的目标分布进行比较。统计信息的差异揭示了被GAN忽略的对象类。第二，给定所识别的省略对象类，我们直接可视化GAN的省略。特别是，我们比较具体的差异，个别照片和他们的近似反演的GAN。为此，我们放松了反演问题，并解决了反演GAN层而不是整个生成器的易处理问题。最后，我们使用这个框架来分析最近在多个数据集上训练的几个GANs，并识别它们的典型故障案例。
2019-10-24 cs.CV cs.GR cs.LG
Improved Input Reprogramming for GAN Conditioning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Daegu Gyeongbuk Institute of Science and Technology（大邱庆北科学技术院）；University of Hong Kong（香港大学）
我们研究了GAN条件化问题，其目标是使用标记数据将预训练的无条件GAN转换为条件GAN。我们首先确定并分析了解决这个问题的三种方法--从头开始的条件GAN训练、微调和输入重编程。我们的分析表明，当标记数据量很小时，输入重编程表现最好。受现实世界的场景与稀缺的标记数据，我们专注于输入重编程方法，仔细分析现有的算法。在确定了以前的输入重编程方法的一些关键问题后，我们提出了一个新的算法，称为InRep+。我们的算法InRep+解决了可逆神经网络和正未标记（PU）学习的新用途存在的问题。通过大量的实验，我们表明，InRep+优于所有现有的方法，特别是当标签信息是稀缺的，嘈杂的，和/或不平衡的。例如，对于使用1%标记数据调节CIFAR 10 GAN的任务，InRep+实现了76.24的平均Intra-FID，而次佳方法实现了114.51。
2022-02-07 cs.AI cs.LG
Style Generator Inversion for Image Enhancement and Animation
School of Computer Science and Engineering（计算机科学与工程学院）；Facebook AI Research（脸书人工智能研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
训练高质量图像生成模型的主要动机之一是它们作为图像操作工具的潜在用途。最近，生成对抗网络（GANs）已经能够生成质量卓越的图像。不幸的是，逆向训练的无条件生成器网络作为图像先验并不成功。网络作为生成图像先验的主要要求之一是能够从目标分布中生成每一个可能的图像。对抗性学习通常会经历模式崩溃，这表现在生成器无法生成目标分布的某些模式。通常不满足的另一个要求是可逆性，即，具有在给定所需输出图像的情况下找到有效输入潜码的有效方式。在这项工作中，我们表明，与早期的GANs不同，最近提出的样式生成器很容易反转。我们使用这个重要的观察，提出风格生成器作为通用的图像先验。我们表明，样式生成器优于其他GANs以及深度图像先验作为图像增强任务的先验。由风格生成器生成的潜空间满足线性身份-姿态关系。潜在的空间线性，加上可逆性，使我们能够在没有监督的情况下动画静态面部图像。进行了大量的实验，以支持本文的主要贡献。
2019-06-05 cs.CV cs.LG stat.ML
MDA GAN: Adversarial-Learning-based 3-D Seismic Data Interpolation and Reconstruction for Complex Missing
College of computer science and technology, China University of Petroleum (East China)（中国石油大学（华东）计算机科学与技术学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Shengli Oilfield Company, SINOPEC（中国石化胜利油田分公司）；Center on Frontiers of Computing Studies, Peking University（北京大学计算前沿研究中心）
本文提出三维 MDA GAN 框架，通过三判别器、特征拼接和 TCE 损失解决地震数据复杂缺失重建问题，在高比例随机缺失、连续缺失及富断层盐体场景中优于现有方法。
2023-01-04 cs.CV physics.geo-ph
When and How Can Deep Generative Models be Inverted?
Technion, Israel（以色列理工学院）
近年来，深度生成模型（例如GANs和VAE）得到了广泛的发展。最近，人们对这种模型的反演越来越感兴趣，即给定一个（可能损坏的）信号，我们希望恢复生成它的潜在向量。基于稀疏表示理论，我们定义了适用于任何反演算法（梯度下降，深度编码器等）的条件，在该条件下，这种生成模型是可逆的，具有唯一解。重要的是，所提出的分析适用于任何训练模型，并且不依赖于高斯i.i.d.。权重此外，我们为任意深度的训练生成网络引入了两种逐层反演追踪算法，并伴随着恢复保证。最后，我们验证了我们的理论结果数值，并表明我们的方法优于梯度下降时，反转这样的发电机，无论是干净的和损坏的信号。
2020-06-28 cs.CV cs.LG stat.ML
GAN Inversion for Out-of-Range Images with Geometric Transformations
POSTECH（浦项科技大学）
对于真实图像的成功语义编辑，GAN反演方法找到与预训练的GAN模型的域对齐的域内潜在代码是至关重要的。不幸的是，这种域内潜码只能在与GAN模型的训练图像对齐的范围内图像中找到。在本文中，我们提出了BDInvert，一种新的GAN反演方法，用于对与GAN模型的训练图像几何不对齐的范围外图像进行语义编辑。为了找到一个语义上可编辑的潜在代码，BDInvert将输入的超出范围的图像反转到一个替代潜在空间中，而不是原始潜在空间。我们还提出了一个正则化的反演方法，找到一个解决方案，支持语义编辑的替代空间。我们的实验表明，BDInvert有效地支持语义编辑的范围外的图像与几何变换。
2021-08-20 cs.CV
Video Coding Using Learned Latent GAN Compression
InterDigital（InterDigital公司）
本文提出了一种新的人脸视频压缩方法。我们利用StyleGAN等GANs的生成能力来表示和压缩视频，包括帧内和帧间压缩。每一帧都在StyleGAN的潜在空间中进行反转，从中学习最佳压缩。为此，使用归一化流模型来学习非对称潜在表示，其中熵模型可以针对图像编码进行优化。此外，我们提出了一个新的感知损失，比其他同行更有效。最后，还在先前构造的潜在表示中学习用于具有残差的视频帧间编码的熵模型。我们的方法（SGANC）简单，训练速度更快，与VTM，AV1和最近的深度学习技术等最先进的编解码器相比，图像和视频编码取得了更好的效果。特别是，它大大减少了在低比特率的感知失真。
2022-07-12 cs.CV eess.IV stat.ML
Revisiting Latent Space of GAN Inversion for Real Image Editing
The University of Tokyo（东京大学）；Microsoft Research（微软研究院）
针对GAN逆映射中重建质量与编辑质量的权衡难题，研究提出结合StyleGAN中间特征$\u2131$空间与扩展先验$\fancyscript{Z}^{+}$的组合空间，在保障重建效果的同时降低编辑失真，可替代常用的$\fancyscript{W}$系列潜在空间。
2023-07-18 cs.CV
3D-GOI: 3D GAN Omni-Inversion for Multifaceted and Multi-object Editing
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）；Aarhus University（奥胡斯大学）
针对现有GAN inversion方法忽略空间信息且仅限单对象编辑的局限，提出3D-GOI框架，通过反转GIRAFFE控制的属性码并采用分割、粗略编码提取与轮转优化算法，首次实现了多对象的多方面仿射信息编辑。
2024-07-23 cs.CV
Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
微分渲染为训练神经网络执行“逆图形”任务铺平了道路，例如从单目照片预测3D几何形状。为了训练高性能的模型，大多数当前的方法依赖于在实践中不容易获得的多视图图像。相比之下，最近合成图像的生成对抗网络（GANs）似乎在训练过程中隐式地获得了3D知识：可以通过简单地操纵潜在代码来操纵对象视点。然而，这些潜在代码通常缺乏进一步的物理解释，因此GANs不能轻易地被反转以执行显式3D推理。在本文中，我们的目标是通过利用可微渲染器提取和解开生成模型学习的3D知识。我们方法的关键是利用GANs作为多视图数据生成器，使用现成的可微分渲染器训练逆图形网络，并将训练的逆图形网络作为教师，将GAN的潜在代码分解为可解释的3D属性。整个架构使用循环一致性损失迭代地训练。我们表明，我们的方法在定量和用户研究方面都显着优于在现有数据集上训练的最先进的逆图形网络。我们进一步展示了解开GAN作为一个可控的3D“神经渲染器”，补充传统的图形渲染器。
2021-04-20 cs.CV cs.LG
Optimizing Retinal Prosthetic Stimuli with Conditional Invertible Neural Networks
Institute of Imaging & Computer Vision, RWTH Aachen University（亚琛工业大学成像与计算机视觉研究所）；Department of Ophthalmology, RWTH Aachen University（亚琛工业大学眼科系）
针对视网膜假体刺激受电极分辨率和细胞特异性限制效果不佳的问题，提出用基于归一化流的条件可逆神经网络以无监督方式优化刺激，在仿真测试中多项指标的视觉重建质量优于对比方法。
2024-07-15 cs.CV cs.LG
Cycle-free CycleGAN using Invertible Generator for Unsupervised Low-Dose CT Denoising
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近，CycleGAN被证明可以为低剂量X射线计算机断层扫描（CT）提供高性能，超快速的去噪，而无需配对的训练数据集。虽然由于周期一致性，这是可能的，但CycleGAN需要两个生成器和两个判别器来执行周期一致性，需要大量的GPU资源和技术技能进行培训。最近的一项建议是使用自适应实例规范化（AdaIN）的可调CycleGAN，通过使用单个生成器部分解决了这个问题。然而，仍然需要两个鉴别器和一个额外的AdaIN代码生成器用于训练。为了解决这个问题，在这里，我们提出了一种新的无周期的Cycle-GAN架构，它由一个单一的生成器和一个可编程逻辑控制器，但仍然保证周期的一致性。主要的创新来自于观察到可逆发生器的使用自动满足循环一致性条件，并消除了CycleGAN公式中的额外的冗余。为了使可逆发生器更有效，我们的网络实现在小波残差域。使用各种级别的低剂量CT图像进行的广泛实验证实，与传统的CycleGAN相比，我们的方法可以使用仅10%的可学习参数和更快的训练时间显着提高去噪性能。
2021-04-17 cs.CV cs.LG eess.IV
Source Generator Attribution via Inversion
Honeywell ACST（霍尼韦尔ACST）
随着生成对抗网络（GANs）的进步，合成图像和视频得到了极大的改进，对将传统取证扩展到这一新类别图像的算法的需求越来越大。虽然GANs已被证明在许多计算机视觉应用中很有帮助，但还有其他一些有问题的用途，例如“深度伪造”，这需要进行取证。使用各种线索的源相机归属算法已经解决了对相机捕获的图像的这种需求，但是合成图像的选项较少。我们解决的问题，归因于一个特定的生成器在白盒设置的合成图像，通过反转的过程中产生。这使我们能够同时确定生成器是否生成了图像，并恢复与合成图像密切匹配的输入。
2019-06-13 cs.CV cs.LG eess.IV
Image Processing Using Multi-Code GAN Prior
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但将训练好的GAN模型应用于真实的图像处理仍然具有挑战性。以前的方法通常通过反向传播或通过学习附加的编码器将目标图像反转回潜在空间。然而，这两种方法的重建都很不理想。在这项工作中，我们提出了一种新的方法，称为mGANprior，将训练有素的GANs作为有效的各种图像处理任务之前。特别是，我们采用多个潜在的代码，以产生多个特征映射在一些中间层的发生器，然后组合他们与自适应通道重要性恢复输入图像。这种潜在空间的过度参数化显著提高了图像重建质量，优于现有的竞争对手。所得到的高保真图像重建使训练的GAN模型能够在许多现实世界的应用之前，例如图像着色、超分辨率、图像修补和语义操作。我们进一步分析了由GAN模型学习的逐层表示的属性，并阐明了每层能够表示哪些知识。
2020-03-31 cs.CV
Face Attribute Invertion
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
在两个域之间操作人脸图像是一个重要而有趣的问题。大多数现有的方法通过应用两个生成器或具有额外条件输入的一个生成器来解决这个问题。本文提出了一种基于GANs的自感知人脸属性自动反演方法。该方法以人脸图像为输入，只使用一个单一的生成器，而不受其他输入的条件。由于采用了多重损失策略和改进的U网结构，该模型在训练过程中非常稳定，并且能够保留原始人脸图像的细节。
2020-01-14 cs.CV
Sample weighting as an explanation for mode collapse in generative adversarial networks
Norwegian Defence Research Establishment (FFI)（挪威国防研究机构（FFI））
生成对抗网络引入了逻辑最小最大成本公式，通常由于饱和而无法训练，以及非饱和重新公式。在解决饱和问题的同时，NS-GAN还反转了生成器的样本权重，在更新参数时隐式地将重点从得分较高的样本转移到得分较低的样本。我们提出的理论和实证结果表明，这使得NS-GAN容易模式下降。我们设计了MM-nsat，它保留了MM-GAN样本权重，同时通过重新缩放MM-GAN小批量梯度来避免饱和，使其幅度接近NS-GAN的梯度幅度。MM-nsat具有质的不同的训练动态，在MNIST和CIFAR-10上，它在模式覆盖、稳定性和FID方面更强。虽然MM-nsat的实证结果与LS-GAN和Hinge-GAN公式相比也是有希望和有利的，但我们的主要贡献是展示NS-GAN的样本加权如何以及为什么会导致模式下降和训练崩溃。
2020-10-05 cs.LG stat.ML
Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability
Sun Yat-sen University（中山大学）；Xiamen University（厦门大学）；City University of Hong Kong（香港城市大学）；Guangdong University of Technology（广东工业大学）；Hong Kong Polytechnic University（香港理工大学）
GAN反演旨在将输入图像反演到预先训练的GAN的潜在空间中。尽管最近在GAN反演中取得了进展，但仍然存在减轻失真和可编辑性之间的权衡的挑战，即准确地重建输入图像并以小的视觉质量下降编辑反演图像。最近提出的枢轴调整模型，通过使用两步的方法，首先将输入图像反转成一个潜在的代码，称为枢轴代码，然后改变生成器，使输入图像可以准确地映射到枢轴代码，使重建和可编辑性取得了重大进展。在这里，我们表明，重建和可编辑性可以通过适当的设计枢轴代码。我们提出了一个简单而有效的方法，命名为循环编码，高质量的枢轴代码。我们的方法的核心思想是逐步训练的编码器在不同的空间根据一个循环计划：W->W+->W。这种训练方法保留了W和W+空间的属性，即W的高可编辑性和W+的低失真。为了进一步减少失真，我们还建议使用基于优化的方法来改进枢轴代码，其中引入正则化项以减少可编辑性的退化。定性和定量比较几个国家的最先进的方法证明了我们的方法的优越性。
2022-07-19 cs.CV
dc-GAN: Dual-Conditioned GAN for Face Demorphing From a Single Morph
Michigan State University（密歇根州立大学）
本文提出dc-GAN（双重条件GAN），通过以合成图像及其嵌入为条件，克服现有去合成技术的身份依赖和合成复制问题，实现高保真原始图像重建，适用于参考和无参考场景。
2025-05-30 cs.CV
Generative Adversarial Learning via Kernel Density Discrimination
Institute of Computer Science（计算机科学研究所）；University of Bern（伯尔尼大学）
我们介绍了核密度判别GAN（KDD GAN），一种新的生成对抗学习方法。KDD GAN将训练公式化为似然比优化问题，其中数据分布通过（局部）核密度估计（KDE）显式写入。这是受到对比学习的最新进展及其与KDE关系的启发。我们直接在特征空间中定义KDE，并放弃了对核特征映射可逆性的要求。在我们的方法中，特征不再像在原始GAN公式中那样针对线性可分性进行优化，而是针对特征空间中分布的更一般的区分。我们分析了我们的损失相对于特征表示的梯度，并表明它比原来的铰链损失表现得更好。我们使用所提出的基于KDE的损失进行实验，无论是作为训练损失还是正则化项，都在CIFAR 10和缩放版本的ImageNet上进行。我们使用BigGAN/SA-GAN作为主干和基线，因为我们的重点不是设计网络的架构。与基线相比，我们显示出生成的样品的质量相对于FID从10%提高到40%。代码将提供。
2021-07-13 cs.CV cs.LG
Your Local GAN: Designing Two Dimensional Local Attention Mechanisms for Generative Models
National Technical University of Athens（雅典国立技术大学）；Google Brain（谷歌大脑）；UT Austin（德克萨斯大学奥斯汀分校）
我们引入了一个新的局部稀疏注意层，它保留了二维几何和局部性。我们表明，通过用我们的构造替换SAGAN的密集注意力层，我们获得了非常显着的FID，Inception分数和纯视觉改进。FID分数在ImageNet上从$18.65$提高到$15.94$，保持所有其他参数不变。稀疏注意模式，我们建议我们的新层的设计使用一种新的信息理论标准，使用信息流图。我们还提出了一种新的方法来反转生成对抗网络的注意力。我们的方法提取的注意层的显着图，我们使用它来构建一个新的损失函数的反演。这使我们能够可视化新引入的注意头，并表明它们确实捕捉到了真实图像的二维几何的有趣方面。
2019-12-02 cs.CV cs.LG stat.ML
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
Memorial University of Newfoundland（纽芬兰纪念大学）；Simon Fraser University（西蒙弗雷泽大学）
用于跨域图像到图像翻译的条件生成对抗网络（GANs）最近取得了很大进展。根据任务的复杂性，需要数千到数百万的标记图像对来训练条件GAN。然而，人工标记是昂贵的，甚至是不切实际的，并且大量的数据可能并不总是可用的。受自然语言翻译的双重学习的启发，我们开发了一种新的双重GAN机制，该机制使图像翻译器能够从两个领域的两组未标记图像中进行训练。在我们的架构中，原始GAN学习将图像从域U转换到域V中的图像，而双重GAN学习反转任务。由原始任务和双重任务形成的闭环允许来自任一域的图像被翻译，然后被重建。因此，可以使用考虑图像的重建误差的损失函数来训练翻译器。在多个未标记数据的图像翻译任务上的实验表明，DualGAN比单个GAN有相当大的性能增益。对于某些任务，DualGAN甚至可以实现与在完全标记数据上训练的条件GAN相当或略好的结果。
2018-10-09 cs.CV
Scaling-based Data Augmentation for Generative Models and its Theoretical Extension
Science Tokyo（科学东京）；RIKEN（理化学研究所）
本文研究生成模型稳定学习问题，揭示 Diffusion-GAN 中数据缩放的关键作用，提出结合方差正则化的 Scale-GAN，并理论证明其对误差界偏差—方差权衡的控制。
2024-10-28 cs.CV cs.LG stat.ML
High-fidelity GAN Inversion with Padding Space
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；CUHK（香港中文大学）；HKUST（香港科技大学）；University College London（伦敦大学学院）；ByteDance Inc.（字节跳动公司）
反转生成对抗网络（GAN）使用预训练的生成器促进了广泛的图像编辑任务。现有方法通常采用GANs的潜在空间作为反演空间，但观察到空间细节的恢复不足。在这项工作中，我们建议涉及生成器的填充空间，以补充空间信息的潜在空间。具体地，我们替换常量填充（例如，通常为零），其用于具有某些实例感知系数的卷积层。通过这种方式，预先训练的模型中假设的感应偏差可以适当地适应每个单独的图像。通过学习一个精心设计的编码器，我们设法提高反演质量的定性和定量，优于现有的替代品。然后，我们证明了这样的空间扩展几乎不影响原生GAN流形，因此我们仍然可以将GANs学习的先验知识用于各种下游应用。除了在现有技术中探索的编辑任务之外，我们的方法允许更灵活的图像操纵，例如面部轮廓和面部细节的单独控制，并且实现了用户可以高效地定制他们自己的操纵的新颖的编辑方式。
2022-07-27 cs.CV
Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models
Kyushu University（九州大学）
在本文中，我们提出了一个深度可逆的混合模型，它集成了半监督Few-Shot分类在潜在空间水平的判别和生成学习。从图像数据中分类新物种的各种任务可以建模为半监督的Few-Shot分类，其假设标记和未标记的训练样本和目标类的小支持集。预测目标类与几个支持的例子，每个类使得学习任务困难的现有的半监督分类方法，包括自训练，迭代地估计类标签的未标记的训练样本学习分类器的训练类。为了有效地利用未标记的训练样本，我们采用复合似然作为目标函数，它集成了判别式和生成式学习，比参数耦合先验更适合深度神经网络，另一种流行的集成学习方法。在我们提出的模型中，判别模型和生成模型分别是原型网络，它们在各种少样本学习中表现出出色的性能，而Normalizing Flow是一种深度可逆模型，它与其他三种主要方法不同，返回精确的边际似然，即，VAE、GAN和自回归模型。我们的主要创意在于我们在潜在的空间水平，这是有效地防止过度拟合这些组件的集成。使用mini-ImageNet和VGG-Face数据集的实验表明，我们的方法优于基于自训练的原型网络。
2021-05-22 cs.CV cs.LG
High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization
HKUST（香港科技大学）；SenseTime Research（商汤科技研究院）；Centre for Artificial Intelligence and Robotics（人工智能与机器人中心）
我们提出了一个高保真3D生成对抗网络（GAN）反演框架，可以合成照片般逼真的新视图，同时保留输入图像的特定细节。高保真3D GAN反演由于3D反演中的几何-纹理权衡而固有地具有挑战性，其中对单视图输入图像的过拟合经常在潜在优化期间损害估计的几何。为了解决这一挑战，我们提出了一种新的管道，建立在伪多视图估计与可见性分析。我们保留原始纹理的可见部分，并利用生成先验的遮挡部分。大量的实验表明，我们的方法实现了有利的重建和新的视图合成质量超过国家的最先进的方法，即使是图像的分布纹理。所提出的流水线还可以使用反转的潜在代码和3D感知的纹理修改来进行图像属性编辑。我们的方法可以从单个图像中实现高保真3D渲染，这对于AI生成的3D内容的各种应用都很有希望。
2022-11-29 cs.CV
Multi-Frame GAN: Image Enhancement for Stereo Visual Odometry in Low Light
Technical University of Munich（慕尼黑工业大学）；Artisense
我们提出了多帧GAN（MFGAN）的概念，并证明了其作为低光条件下立体视觉里程计的图像序列增强的潜力。我们的方法基于一个可逆的对抗网络，将明亮照明场景的有益特征转移到光照较差的序列中，而无需昂贵的配对数据集。为了保持平移序列的相干几何线索，我们提出了一种新的网络架构，以及一个新的损失项结合的时间和立体声基于光流估计。我们证明了增强序列提高了最先进的基于特征的直接立体视觉里程计方法在具有挑战性的照明中对合成和真实数据集的性能。我们还表明，MFGAN在视觉里程计方面优于其他最先进的图像增强和风格转移方法。
2019-10-15 cs.CV cs.RO
GAN Inversion for Data Augmentation to Improve Colonoscopy Lesion Classification
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Hospital（约翰斯·霍普金斯医院）
针对医学影像标注数据匮乏问题，提出基于GAN反演的数据增强方法，通过潜在空间操纵、模态转换与图像插值生成合成图像，使结肠镜息肉分类性能提升最高达6%。
2022-05-04 cs.CV eess.IV
Approximability of Discriminators Implies Diversity in GANs
Stanford University（斯坦福大学）；MIT（麻省理工学院）
虽然生成对抗网络（GANs）在学习复杂的现实世界分布方面取得了令人印象深刻的结果，但最近的研究表明，它们缺乏多样性或模式坍塌。Arora等人的理论工作表明了GANs统计特性的困境：强大的鉴别器导致过拟合，而弱鉴别器无法检测模式坍塌。相比之下，我们在本文中表明，如果GAN类对特定的生成器类（而不是对所有可能的生成器）具有很强的区分能力，则GANs原则上可以以多项式样本复杂度学习Wasserstein距离（或在许多情况下是KL发散）的分布。对于各种生成器类，如混合高斯，指数族，可逆和内射神经网络生成器，我们设计相应的鉴别器（通常是特定架构的神经网络），使得积分概率度量（IPM）诱导的鉴别器可以证明近似Wasserstein距离和/或KL-发散。这意味着如果训练成功，那么学习的分布接近Wasserstein距离或KL发散的真实分布，因此不能丢弃模式。我们的初步实验表明，在合成数据集上，测试IPM与KL散度或Wasserstein距离具有良好的相关性，这表明GANs中缺乏多样性可能是由优化中的次优性而不是统计效率低下引起的。
2019-07-01 cs.DS cs.LG stat.ML
Meta-Auxiliary Network for 3D GAN Inversion
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tianyi Traffic Technology（天翼交通科技）
提出一种基于3D GAN的元辅助框架，通过两阶段策略结合辅助网络与元学习，在保证快速推理的同时实现高重建质量与多视图一致性，提升了反演与编辑任务性能。
2023-05-18 cs.CV
Generative networks as inverse problems with Scattering transforms
École normale supérieure（巴黎高等师范学院）；Collège de France（法兰西公学院）；PSL Research University（PSL研究大学）；Paris, France（75005巴黎，法国）
生成对抗网络（GANs）和变分自动编码器（VAE）从高斯白噪声中生成令人印象深刻的图像，但底层数学还没有得到很好的理解。我们通过反转固定嵌入算子来计算深度卷积网络生成器。因此，它们不需要使用解码器或编码器进行优化。嵌入是Lipschitz连续的变形，使发电机转换输入白噪声向量之间的线性插值到输出图像之间的变形。这种嵌入是用小波散射变换计算的。数值实验表明，所得的散射发生器具有与GANs或VAE相似的特性，而无需学习判别网络或编码器。
2018-05-17 cs.AI cs.LG stat.ML
Balancing Reconstruction and Editing Quality of GAN Inversion for Real Image Editing with StyleGAN Prior Latent Space
The University of Tokyo（东京大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出将 StyleGAN 的超球面先验空间 $\mathcal{Z}$ 与 $\mathcal{Z}^+$ 引入 GAN 反演，在保证真实图像重建质量的同时沿 $\mathcal{Z}^+$ 进行语义编辑，显著降低编辑失真。
2023-05-31 cs.CV
Editing Out-of-domain GAN Inversion via Differential Activations
South China University of Technology（华南理工大学）；Ocean University of China（中国海洋大学）；The Hong Kong Polytechnic University（香港理工大学）
尽管在预训练的GAN模型的潜在空间中展示了编辑能力，但反转真实世界图像陷入了重建无法忠实于原始输入的困境。其主要原因是训练数据和真实世界数据之间的分布不对齐，并且由于此，用于真实图像编辑的GAN反演不稳定。在本文中，我们提出了一种新的GAN事先基于编辑框架来解决域外反演问题的组合分解范式。特别是，在阶段的组成，我们引入了一个差分激活模块，从全球的角度来看，\ie，编辑和未编辑的图像的功能之间的相对差距检测语义变化。借助生成的Diff-CAM掩模，可以通过成对的原始图像和编辑图像直观地合成粗略重建。通过这种方式，属性无关区域可以几乎完整地保留下来，而这样的中间结果的质量仍然受到不可避免的重影效应的限制。因此，在分解阶段，我们进一步提出了一个基于GAN先验的去重影网络，用于将最终的精编辑图像与粗重建图像分离。广泛的实验表现出优于国家的最先进的方法，在定性和定量评价方面。我们的方法的鲁棒性和灵活性也验证了单属性和多属性操作的情况下。
2022-07-17 cs.CV
MambaStyle: Efficient StyleGAN Inversion for Real Image Editing with State-Space Models
Universidad Industrial de Santander（圣安德烈大学）；KAUST（科威特科学与技术研究局）
本文提出MambaStyle，一种基于视觉状态空间模型的单阶段编码器方法，用于StyleGAN反演与编辑，在减少参数和计算复杂度的同时，实现了重建质量、编辑效果与效率的优越平衡，适用于实时应用。
2025-05-06 cs.CV cs.LG eess.IV
