Discovering Class-Specific GAN Controls for Semantic Image Synthesis
Bosch Center for AI（博世人工智能中心）；MPI for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
先前的工作已经广泛研究了用于无条件图像合成的GANs的潜在空间结构，通过无监督地发现可解释的潜在方向来实现对生成图像的全局编辑。然而，用于语义图像合成（SIS）的条件GANs的潜在方向的发现仍然未被探索。在这项工作中，我们特别关注解决这一差距。我们提出了一种新的优化方法，用于在预训练的SIS模型的潜在空间中找到空间解纠缠的类特定方向。我们表明，通过我们的方法发现的潜在方向可以有效地控制语义类的局部外观，例如，彼此独立地改变它们的内部结构、纹理或颜色。对各种数据集上发现的GAN控件的视觉检查和定量评估表明，我们的方法为特定于类的编辑发现了一组独特且语义上有意义的潜在方向。
2022-12-02 cs.CV
Closed-Form Factorization of Latent Semantics in GANs
The Chinese University of Hong Kong（香港中文大学）
在为合成图像而训练的生成对抗网络（GANs）的潜在空间中，已经出现了一组丰富的可解释维度。为了识别这样的潜在维度以用于图像编辑，先前的方法通常注释合成样本的集合并且在潜在空间中训练线性分类器。然而，它们需要明确的目标属性定义以及相应的手动注释，限制了它们在实践中的应用。在这项工作中，我们研究了GANs学习的内部表示，以无监督的方式揭示潜在的变化因素。特别是，我们仔细研究了GANs的生成机制，并进一步提出了一种通过直接分解预训练权重来进行潜在语义发现的封闭形式因子分解算法。通过闪电般的快速实现，我们的方法不仅能够找到语义上有意义的维度，而且能够在广泛的数据集上训练多个GAN模型，从而产生更通用的概念。
2021-04-03 cs.CV
Y-GAN: Learning Dual Data Representations for Efficient Anomaly Detection
Faculty of Electrical Engineering, University of Ljubljana（卢布尔雅那大学电气工程学院）
我们提出了一种新的基于重构的异常检测模型，称为Y-GAN。该模型由一个Y形的自动编码器，并表示在两个单独的潜在空间的图像。第一个捕获有意义的图像语义，用于表示（正常）训练数据的关键，而第二个编码低级别的残差图像特征。为了确保双重表示编码互斥的信息，解纠缠过程的设计围绕一个潜在的（代理）分类。此外，提出了一种新的一致性损失，以防止潜在空间之间的信息泄漏。该模型是在一个类的学习设置，只使用正常的训练数据训练。由于语义相关信息和残留信息的分离，Y-GAN能够导出信息丰富的数据表示，从而允许在各种异常检测任务中进行有效的异常检测。该模型在综合实验中评估了几个最近的异常检测模型，使用四个流行的数据集，即，MNIST、FMNIST和CIFAR 10以及PlantVillage。
2022-11-11 cs.CV
Adma-GAN: Attribute-Driven Memory Augmented GANs for Text-to-Image Generation
Zhejiang University（浙江大学）；Youtu Lab, Tencent（腾讯优图实验室）；Shanghai AI Laboratory（上海人工智能实验室）
文本到图像生成是一项具有挑战性的任务，其目标是根据给定的文本描述生成具有照片般真实感和语义一致的图像。现有的方法主要是从一个句子中提取文本信息来表示图像，文本的表示方式对生成图像的质量有很大的影响。然而，直接利用一句话中的有限信息，会遗漏一些关键属性描述，而这些关键属性描述是准确描述图像的关键因素。针对上述问题，本文提出了一种有效的文本表示方法。首先，我们建立一个属性记忆体，以共同控制文字到图像的生成与句子输入。其次，我们探讨了两种更新机制，样本感知和样本联合机制，动态优化广义属性记忆。此外，我们设计了一个属性-句子-联合条件生成器学习方案来对齐多个表示之间的特征嵌入，这促进了跨模态网络的训练。实验结果表明，该方法在CUB（FID从14.81到8.57）和COCO（FID从21.42到12.39）数据集上都获得了显著的性能改善。
2022-09-28 cs.CV
LT-GAN: Self-Supervised GAN with Latent Transformation Detection
Adobe（奥多比）；Birla Institute of Technology & Science, Pilani（皮拉尼博拉理工学院）
生成对抗网络（GANs）与自监督任务相结合，在无条件和半监督图像生成方面表现出了良好的效果。我们提出了一种自监督方法（LT-GAN），通过估计GAN诱导的变换（即通过扰动生成器的潜在空间在生成的图像中诱导的变换）来提高图像的生成质量和多样性。具体而言，给定两对图像，其中每对包括生成的图像及其变换版本，自我监督任务旨在识别在给定对中应用的潜在变换是否与另一对的潜在变换相同。因此，这种辅助损失鼓励生成器产生可由辅助网络区分的图像，这反过来又促进了关于潜在变换的语义一致的图像的合成。我们通过在CIFAR-10，CelebA-HQ和ImageNet数据集上的条件和无条件设置的最先进模型上提高FID的图像生成质量来证明这个借口任务的有效性。此外，我们的经验表明，LT-GAN有助于改善CelebA-HQ和ImageNet在基线模型上的受控图像编辑。我们的实验证明，我们提出的LT自我监督任务可以有效地与其他最先进的训练技术相结合，以获得额外的好处。因此，我们证明了我们的方法在条件CIFAR-10图像生成上实现了9.8的新的最先进的FID分数。
2020-10-19 cs.CV
High-Fidelity Image Inpainting with GAN Inversion
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing Institute of Software Technology（南京软件技术研究院）；University of North Texas（北得克萨斯大学）
图像修补是根据图像中未被掩盖的内容，寻求一种语义一致的方法来恢复受损图像。以前的方法通常在使用GAN反演为丢失的孔生成真实的补丁之前重用训练良好的GAN作为有效的。然而，在这些算法中忽略硬约束可能会产生GAN反演和图像修补之间的差距。针对这一问题，本文提出了一种新的图像图像修补GAN反演模型，称为InvertFill，主要由一个带有预调制模块的编码器和一个带有F&W+潜在空间的GAN生成器组成。在编码器内，预调制网络利用多尺度结构将更具鉴别力的语义编码到样式向量中。为了弥补GAN反演与图像修补之间的差距，提出了F&W+潜空间来消除眩光颜色差异和语义不一致。为了重建逼真的图像，设计了一个简单而有效的软更新Mean Latent模块，用于捕获更多样化的域内模式，这些模式合成了高保真纹理，用于大的损坏。在Places 2、CelebA-HQ、MetFaces和Scenery等四个具有挑战性的数据集上进行的综合实验表明，我们的InvertFill在定性和定量上都优于先进的方法，并且很好地支持了域外图像的完成。
2022-08-25 cs.CV
In-Domain GAN Inversion for Real Image Editing
The Chinese University of Hong Kong（香港中文大学）；Xiaomi AI Lab（小米人工智能实验室）
最近的工作表明，当被训练来合成图像时，生成对抗网络（GANs）的潜在空间中会出现各种语义。然而，很难将这些学习到的语义用于真实的图像编辑。将真实图像馈送到经训练的GAN生成器的常见做法是将其反转回潜在代码。然而，现有的反演方法通常侧重于通过像素值重建目标图像，但未能将反演代码降落在原始潜在空间的语义域中。结果，重建的图像不能很好地支持通过改变反转代码的语义编辑。为了解决这个问题，我们提出了一个域内GAN反演方法，它不仅忠实地重建输入图像，但也确保反演代码是语义上有意义的编辑。我们首先学习一种新的域引导编码器，将给定图像投影到GANs的本地潜在空间。然后，我们提出域正则化优化，通过将编码器作为正则化器来微调编码器产生的代码，并更好地恢复目标图像。大量的实验表明，我们的反演方法实现了令人满意的真实图像重建，更重要的是，方便了各种图像编辑任务，显着优于开始的艺术。
2020-07-16 cs.CV
Semantic-aware Grad-GAN for Virtual-to-Real Urban Scene Adaption
Carnegie Mellon University（卡内基梅隆大学）；Petuum, Inc.（Petuum公司）
视觉任务的最新进展（例如，分割）高度依赖于通过繁琐的人工劳动获得的大规模真实世界图像注释的可用性。此外，由于在有限和有偏见的注释上训练的模型的泛化能力差，感知性能通常会在新场景中显着下降。在这项工作中，我们采取转移知识自动渲染场景注释在虚拟世界中，以促进现实世界的视觉任务。虽然虚拟世界的注释可以是理想的多样性和无限的，虚拟和现实世界之间的差异数据分布使知识转移具有挑战性。因此，我们提出了一种新的语义感知的梯度GAN（SG-GAN）执行虚拟到真实的域适应的能力，保留重要的语义信息。除了以前的作品所实现的简单的整体颜色/纹理变换之外，SG-GAN成功地个性化了每个语义区域的外观适应，以保留它们的关键特征，从而更好地识别。它对传统的GANs提出了两个主要贡献：1）用于保持语义边界的软梯度敏感目标; 2）用于验证每个语义区域的个性化适应的保真度的语义感知模型。定性和定量的实验证明了我们的SG-GAN在场景自适应方面优于最先进的GANs。对Cityscapes上的语义分割的进一步评估表明，使用SG-GAN适配的虚拟图像比原始虚拟数据显著提高了分割性能。我们在https://github.com/Peilun-Li/SG-GAN上发布代码。
2018-07-14 cs.CV
CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs
Nvidia（英伟达）；UC San Diego（加州大学圣地亚哥分校）
最近的进展表明，生成对抗网络（GANs）可以沿着语义上有意义的潜在方向（如姿势，表情，布局等）合成具有平滑变化的图像，虽然这表明GANs隐式地学习图像之间的像素级对应关系，但很少有研究探索如何显式地提取它们。在这项工作中，我们介绍了坐标GAN（CoordGAN GAN），一个结构-纹理解纠缠的GAN，为每个生成的图像学习一个密集的对应映射。我们将不同图像的对应图表示为从规范坐标系变换的扭曲坐标系，即，对应映射，其描述结构（例如，面部的形状）通过变换来控制。因此，找到对应关系归结为在不同的对应映射中定位相同的坐标。在CoordGAN中，我们采样一个变换来表示合成实例的结构，而一个独立的纹理分支负责渲染与结构正交的外观细节。我们的方法还可以通过在生成器上添加编码器来提取真实图像的密集对应图。我们通过在多个数据集上的分割掩码转移定量地证明了所学习的密集对应的质量。我们还表明，该发电机实现了更好的结构和纹理解纠缠相比，现有的方法。项目页面：https://jitengmu.github.io/CoordGAN/
2022-03-30 cs.CV
Semantically Adaptive Image-to-image Translation for Domain Adaptation of Semantic Segmentation
University of Parma（帕尔马大学）
领域转移是语义分割中一个非常具有挑战性的问题。任何模型都可以在人工生成图像和标签的合成数据上轻松训练，但在真实环境中部署时性能会很差。在本文中，我们解决的问题领域自适应语义分割的街道场景。许多国家的最先进的方法集中在翻译的源图像，同时强加的结果应该是语义上与输入一致。然而，我们主张，图像语义也可以用来指导翻译算法。为此，我们重新考虑生成模型，以加强这一假设，并加强像素级和特征级域对齐之间的联系。我们进行了广泛的实验，通过训练常见的语义分割模型与我们的方法，并表明，我们得到的结果上的合成到真正的基准超越了最先进的。
2020-09-02 cs.CV
Interpreting the Latent Space of GANs for Semantic Face Editing
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
尽管最近生成对抗网络（GANs）在高保真图像合成方面取得了进展，但人们对GANs如何将从随机分布中采样的潜在代码映射到照片般逼真的图像缺乏足够的理解。以前的工作假设GANs学习的潜在空间遵循分布式表示，但观察到向量算术现象。在这项工作中，我们提出了一个新的框架，称为InterFaceGAN，通过解释GANs学习的潜在语义来进行语义人脸编辑。在这个框架中，我们进行了详细的研究如何不同的语义编码的潜在空间的GANs的人脸合成。我们发现，经过良好训练的生成模型的潜在代码实际上在线性变换后学习了一个解纠缠的表示。我们探讨了各种语义之间的解纠缠，并设法与子空间投影解耦一些纠缠的语义，从而更精确地控制面部属性。除了操纵性别、年龄、表情和眼镜的存在，我们甚至可以改变面部姿势，并修复GAN模型意外生成的伪影。当与GAN反演方法或一些编码器相关模型结合时，所提出的方法进一步应用于实现真实图像操作。大量的研究结果表明，学习合成脸自发地带来了一个解开和可控的面部属性表示。
2020-03-31 cs.CV
Region-Based Semantic Factorization in GANs
The Hong Kong University of Science and Technology（香港科技大学）；ByteDance（字节跳动）；The Chinese University of Hong Kong（香港中文大学）；Ant Research（蚂蚁研究院）
尽管生成对抗网络（GANs）的潜在空间中的语义发现快速发展，但现有方法要么限于查找全局属性，要么依赖于许多分割掩码来识别局部属性。在这项工作中，我们提出了一个高效的算法来分解GANs学习到的关于任意图像区域的潜在语义。具体地说，我们重新审视了使用预训练的GANs进行局部操作的任务，并将基于区域的语义发现公式化为双重优化问题。通过适当定义的广义瑞利商，我们设法解决这样的问题，没有任何注释或培训。各种国家的最先进的GAN模型上的实验结果表明，我们的方法的有效性，以及其优于现有技术的精确控制，区域鲁棒性，实现速度，和使用简单。
2022-08-24 cs.CV
Semantically Consistent Image-to-Image Translation for Unsupervised Domain Adaptation
University of Augsburg（奥格斯堡大学）
无监督领域自适应（UDA）旨在将在源域上训练的模型适应到没有标记数据可用的新目标域。在这项工作中，我们调查的问题UDA从一个合成的计算机生成的域到一个类似的，但现实世界的域学习语义分割。我们提出了一个语义一致的图像到图像的翻译方法结合一致性正则化方法的UDA。我们克服了以前的限制，将合成图像转换为真实的图像。我们利用伪标签来学习一个生成的图像到图像翻译模型，该模型从两个域上的语义标签接收额外的反馈。我们的方法在相关领域自适应基准上优于结合图像到图像转换和半监督学习的最先进方法，即，GTA5到Cityscapes和SYNTHIA到Cityscapes。
2021-11-25 cs.CV
Generative Semantic Manipulation with Contrasting GAN
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
生成对抗网络（GANs）最近在配对/非配对图像到图像的转换方面取得了显着的改进，例如照片$\rightarrow$草图和艺术家绘画风格的转换。然而，现有的模型只能传输低级信息（例如颜色或纹理变化），而不能编辑高级语义含义（例如，几何结构或内容）。另一方面，虽然一些研究可以合成令人信服的现实世界的图像，给定的类标签或标题，他们不能条件任意的形状或结构，这在很大程度上限制了他们的应用场景和模型结果的解释能力。在这项工作中，我们专注于一个更具挑战性的语义操作任务，其目的是修改对象的语义含义，同时保留其自身的特性（例如，观点和形状），如牛$\rightarrow$羊，汽车$\rightarrow$自行车，猫$\rightarrow$狗。为了解决这样大的语义变化，我们引入了一个对比GAN（对比GAN）与一个新的对抗性对比目标。与之前的GANs不同，我们的对抗对比目标优化了样本之间的距离比较，即强制操作数据在语义上更接近目标类别的真实数据，而不是输入数据。配备了新的对比度目标，提出了一种新的掩模条件对比度GAN架构，使解开图像背景与对象语义的变化。在ImageNet和MSCOCO数据集上进行的几个语义操作任务的实验表明，我们的对比GAN比其他条件GANs有相当大的性能提升。定量结果进一步证明了我们的模型在生成具有高视觉逼真度和合理对象语义的操作结果方面的优越性。
2017-08-01 cs.CV
Semantically Consistent Image Completion with Fine-grained Details
The Chinese University of Hong Kong（香港中文大学）
由于生成对抗网络（GANs）的进步，图像完成已经取得了重大进展。虽然看起来很自然，但合成的内容仍然缺乏细节，特别是对于具有复杂结构的场景或具有大孔的图像。这是因为在低水平的重建损失和高水平的对抗性损失之间存在差距。为了解决这个问题，我们引入了一个感知网络来提供中级指导，该网络在相似性增强的空间中测量合成内容和原始内容之间的语义相似性。我们对不同损失和不同水平的感知特征在图像补全中的作用进行了详细的分析，表明对抗训练和感知特征之间存在互补性。通过将它们组合在一起，我们的模型可以以端到端的方式实现近乎无缝的融合结果。此外，我们设计了一种有效的轻量级生成器架构，可以用更少的参数实现有效的图像修补。在CelebA Face和Paris StreetView数据集上进行评估，我们提出的方法显着优于现有方法。
2017-11-26 cs.CV
Diverse Inpainting and Editing with GAN Inversion
Bilkent University（比尔肯特大学）
本文提出一种基于GAN反演的编码器与混合网络方法，通过结合擦除图像特征与随机样本特征实现多样化图像修复与编辑，并利用高比率特征解决颜色不一致问题。
2023-07-27 cs.CV
Semantically Multi-modal Image Synthesis
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
在本文中，我们专注于语义多模态图像合成（SMIS）的任务，即在语义层次上生成多模态图像。以前的工作试图使用多个类特定的生成器，限制其在具有少量类的数据集中的使用。相反，我们提出了一种新的组递减网络（GroupDNet），它利用生成器中的组卷积，并逐渐减少解码器中卷积的组数。因此，GroupDNet在将语义标签转换为自然图像方面具有更大的可控性，并且对于具有许多类的数据集具有合理的高质量收益。在几个具有挑战性的数据集上的实验证明了GroupDNet在执行SMIS任务方面的优越性。我们还表明，GroupDNet能够执行广泛的有趣的合成应用。代码和模型可在https://github.com/Seanseattle/SMIS上获得。
2020-04-02 cs.CV
Faster Unsupervised Semantic Inpainting: A GAN Based Approach
IIT Kharagpur（印度理工学院卡拉格布尔分校）
在本文中，我们提出了提高推理速度和当代基线的视觉质量的生成对抗网络（GAN）基于无监督语义修复。通过更好地初始化框架中涉及的核心迭代优化，这是可能的。据我们所知，这也是第一次尝试基于GAN的视频修复考虑到时间线索。在单个图像修补上，与基线相比，我们在视频上实现了大约4.5-5 $\times$的加速比和80 $\times$。同时，我们的方法具有更好的空间和时间重建质量上发现三个图像和一个视频数据集。
2019-08-14 cs.CV
SGBANet: Semantic GAN and Balanced Attention Network for Arbitrarily Oriented Scene Text Recognition
East China Normal University（华东师范大学）；University of Malaya（马来亚大学）；iFLYTEK（科大讯飞）；Indian Statistical Institute（印度统计研究所）
场景文本识别是一项具有挑战性的任务，由于复杂的背景和多样的变化的文本实例。在本文中，我们提出了一种新的语义GAN和平衡注意力网络（SGBANet）识别场景图像中的文本。该方法首先利用语义GAN生成简单的语义特征，然后利用平衡注意模块识别场景文本。语义GAN的目标是匹配支持域和目标域之间的语义特征分布。与传统的图像到图像的翻译方法不同，语义GAN通过语义生成器模块（SGM）和语义鉴别器模块（SDM）在语义层面上进行生成和鉴别。对于目标图像（场景文本图像），语义生成器模块生成与支持图像（明文图像）共享相同特征分布的简单语义特征。语义判别模块用于区分支持域和目标域的语义特征。此外，还设计了一个平衡注意力模块来缓解注意力漂移的问题。平衡注意模块首先基于视觉一瞥向量和语义一瞥向量学习平衡参数，然后执行平衡操作以获得平衡的一瞥向量。在六个基准上进行了实验，包括常规数据集，即，IIIT5K、SVT、ICDAR 2013和不规则数据集，即，ICDAR2015、SVTP、CUTE80等算例验证了该方法的有效性。
2022-07-21 cs.CV
LatentSwap3D: Semantic Edits on 3D Image GANs
ETH Zürich（苏黎世联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Google Switzerland（谷歌瑞士）
提出LatentSwap3D，一种基于潜在空间发现和随机森林特征排序的3D GAN语义编辑方法，通过维度交换实现解耦编辑，在多个3D GAN和数据集上优于现有方法。
2023-09-04 cs.CV
Semantically-aware Mask CycleGAN for Translating Artistic Portraits to Photo-realistic Visualizations
Hong Kong University of Science and Technology（香港科技大学）
针对艺术领域图像到图像转换定制方法匮乏的问题，提出语义感知掩码CycleGAN架构，通过向判别器输入语义掩码伪造样本优化生成，实现艺术肖像到照片级真实图像的转换，真实感显著提升且内容损失极小。
2023-06-11 cs.CV
GAN "Steerability" without optimization
Habana Labs（哈瓦那实验室）；Technion–Israel Institute of Technology（以色列理工学院）
最近的研究表明，在揭示预先训练的GANs的潜在空间中的“转向”方向方面取得了显着的成功。这些方向对应于语义上有意义的图像变换，移位、缩放、颜色操作），并且在GAN可以生成的所有类别中具有类似的可解释效果。有些方法专注于用户指定的转换，而其他方法则以无监督的方式发现转换。然而，所有现有的技术都依赖于优化过程来暴露这些方向，并且不提供对不同转换之间允许的交互程度的控制。在本文中，我们表明，“转向”轨迹可以直接从发电机的权重计算在封闭的形式，没有任何形式的训练或优化。这适用于用户指定的几何变换，以及更复杂效果的无监督发现。我们的方法允许确定线性和非线性轨迹，并有许多优势，比以前的方法。特别是，我们可以控制是否允许一个变换以另一个变换为代价（例如，放大时允许或不允许平移以保持对象居中）。此外，我们可以确定轨迹的自然终点，这对应于在不引起退化的情况下可以应用变换的最大程度。最后，我们展示了如何在不优化的情况下实现图像之间的属性传输，即使是在不同的类别之间。
2021-01-24 cs.CV
Editing in Style: Uncovering the Local Semantics of GANs
EPFL（洛桑联邦理工学院）；Palo Alto Research Center（帕洛阿尔托研究中心）
虽然近年来GAN图像合成的质量有了很大的提高，但我们控制和调节输出的能力仍然有限。聚焦于StyleGAN，我们介绍了一种简单有效的方法，用于对目标输出图像进行局部，语义感知的编辑。这是通过经由样式向量的新颖操纵从源图像（也是GAN输出）借用元素来实现的。我们的方法既不需要外部模型的监督，也不涉及复杂的空间变形操作。相反，它依赖于StyleGAN在训练过程中学习到的语义对象的紧急解开。语义编辑在生成人脸、室内场景、猫和汽车的GANs上进行了演示。我们测量了我们的方法产生的编辑的局部性和照片真实性，并发现它实现了这两个。
2020-05-21 cs.CV cs.LG
Context-Aware Semantic Inpainting
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）
最近，由于生成对抗网络（GAN）能够合成逼真的内容，图像修复取得了快速进展。然而，大多数现有的基于GAN的语义修复方法应用具有完全连接层的自动编码器架构，无法准确地维护空间信息。此外，现有GANs中的嵌入式系统难以理解图像上下文中的高级语义，并产生语义一致的内容。现有的评价标准偏向于模糊结果，不能很好地表征图像修复结果中的边缘保留和视觉真实性。在本文中，我们提出了一种改进的生成对抗网络，以克服上述限制。我们提出的基于GAN的框架包括生成器的完全卷积设计，这有助于更好地保留空间结构和联合损失函数，其中修改了感知损失以捕获上下文中的高级语义。此外，我们还介绍了两种新的措施，以更好地评估质量的图像修补的结果。实验结果表明，我们的方法优于国家的最先进的在广泛的标准。
2017-12-21 cs.CV
Style Quantization for Data-Efficient GAN Training
College of Computer Science, Sichuan University（四川大学计算机学院）
提出SQ-GAN方法，通过将输入潜在空间映射至风格空间并利用可学习码本进行量化，结合最优传输距离嵌入外部知识，有效提升有限数据下GAN的一致性正则化效果、判别器鲁棒性和生成质量。
2025-03-31 cs.CV
Instance-Conditioned GAN
Facebook AI Research（Facebook人工智能研究院）；École Polytechnique de Montréal（蒙特利尔理工学院）；Mila, Quebec AI Institute（米拉-魁北克人工智能研究所）；Télécom Paris（巴黎电信学院）；McGill University（麦吉尔大学）
生成对抗网络（GANs）可以在人脸等狭窄的领域中生成近乎照片般逼真的图像。然而，对ImageNet和COCO-Stuff等数据集的复杂分布进行建模在无条件设置中仍然具有挑战性。在本文中，我们从核密度估计技术的启发，并介绍了一种非参数的方法来建模复杂数据集的分布。我们将数据流形划分为由数据点及其最近邻居描述的重叠邻域的混合物，并引入一个称为实例条件GAN（IC-GAN）的模型，该模型学习每个数据点周围的分布。在ImageNet和COCO-Stuff上的实验结果表明，IC-GAN在无条件模型和无监督数据划分基线上有显着改进。此外，我们证明了IC-GAN可以通过简单地改变条件实例毫不费力地转移到训练过程中看不到的数据集，并且仍然生成逼真的图像。最后，我们将IC-GAN扩展到类条件的情况下，并在ImageNet上显示语义可控的生成和有竞争力的定量结果;同时在ImageNet-LT上改进BigGAN。代码和训练模型可以重现报告的结果，请访问https://github.com/facebookresearch/ic_gan。
2021-11-04 cs.CV cs.LG
GAN-Tree: An Incrementally Learned Hierarchical Generative Framework for Multi-Modal Data Distributions
Indian Institute of Science（印度科学学院）
尽管生成对抗网络取得了显著的成功，但对于不同的训练集，它们的性能似乎不那么令人印象深刻，需要学习不连续的映射函数。虽然多模式先验或多发电机模型已被提出来缓解这个问题，这样的方法可能会失败，这取决于经验选择的初始模式分量。与这种自下而上的方法相反，我们提出了GAN-Tree，它遵循分层划分策略来处理这种不连续的多模态数据。GAN-Tree不需要对模式的数量做任何假设，它利用一种新的模式分裂算法将父模式有效地分裂为语义上有凝聚力的子模式，从而促进无监督聚类。此外，它还可以通过仅更新树结构的单个分支，将新的数据模式增量添加到已经训练好的GAN树中。与以前的方法相比，所提出的框架在选择称为GAN-Set的各种互斥和穷举树节点方面提供了更高的灵活性。在包括ImageNet在内的合成和自然图像数据集上进行的大量实验证明了GAN-Tree相对于现有技术的优越性。
2019-09-16 cs.CV cs.LG
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School（萨拉托加高中）
半监督学习已经获得关注，因为它允许执行图像分析任务，例如使用有限的标记数据进行分类。使用生成对抗网络（GANs）进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而，这可能需要模型为每个任务收敛到单独的数据分布，这可能会降低整体性能。虽然半监督学习已经取得了进展，但小规模的全监督任务却很少得到解决，即使是未标记的数据也无法获得。因此，我们提出了一种新的GAN模型，即外部分类器GAN（EC-GAN），它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说，我们将外部分类器（因此命名为EC-GAN）附加到GAN的生成器，而不是与GAN共享架构。我们的实验表明，EC-GAN的性能与共享架构方法相当，远优于标准的数据增强和基于正则化的方法，并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Semi-supervised learning based on generative adversarial network: a comparison between good GAN and bad GAN approach
University of California, Los Angeles（加州大学洛杉矶分校）
近年来，基于生成对抗网络（GANs）的半监督学习方法受到了广泛关注。其中，两种不同的方法已经在各种基准数据集上取得了有竞争力的结果。坏的GAN学习分类器，其中不现实的样本分布在输入数据的支持的补充上。相反，Triple GAN由三人游戏组成，试图利用良好的生成样本来提高分类结果。在本文中，我们在不同的基准数据集上对这两种方法进行了全面的比较。我们展示了它们在图像生成上的不同属性，以及对所提供的标记数据量的敏感性。通过对这两种方法的全面比较，我们希望能为基于GAN的半监督学习的未来指明方向。
2019-05-17 cs.CV cs.LG
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Yandex（扬德克斯）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
GAN模型的潜在空间通常具有语义上有意义的方向。在这些方向上移动对应于人类可解释的图像变换，例如缩放或缩放，从而实现更可控的生成过程。然而，这些方向的发现目前是以监督的方式执行的，需要人类标签，预训练模型或某种形式的自我监督。这些要求严重限制了现有方法可以发现的方向范围。在本文中，我们引入了一种无监督的方法来识别预训练的GAN模型的潜在空间中的可解释方向。通过一个简单的模型不可知的程序，我们发现方向对应于明智的语义操作，没有任何形式的（自我）监督。此外，我们揭示了几个非平凡的发现，这将是很难获得现有的方法，例如，对应于背景去除的方向。作为我们工作的直接实际好处，我们展示了如何利用这一发现来实现弱监督显着性检测的竞争性能。
2020-06-24 cs.CV cs.LG stat.ML
Repurposing GANs for One-shot Semantic Part Segmentation
VISTEC（泰国维斯特克科技学院）
虽然GANs在真实图像生成方面取得了成功，但将GANs用于与合成无关的其他任务的想法尚未得到充分探索。GANs在尝试复制对象的过程中是否学习了对象的有意义的结构部分？在这项工作中，我们测试了这一假设，并提出了一种简单有效的方法，基于GANs的语义部分分割，只需要一个标签的例子以及一个未标记的数据集。我们的关键思想是利用经过训练的GAN从输入图像中提取像素级表示，并将其用作分割网络的特征向量。我们的实验表明，GANs表示是“容易区分的”，并产生令人惊讶的良好结果，与使用更多标签训练的监督基线的结果相当。我们相信这种新颖的GANs再利用是一类新的无监督表示学习的基础，它适用于许多其他任务。更多结果请访问https://repurposegans.github.io/。
2021-07-05 cs.CV cs.LG
Featurized Bidirectional GAN: Adversarial Defense via Adversarially Learned Semantic Inference
Princeton University（普林斯顿大学）
深度神经网络已被证明容易受到对抗攻击的攻击，其中故意添加到原始输入的小扰动可以欺骗分类器。在本文中，我们提出了一种防御方法，特征化双向生成对抗网络（FBGAN），提取输入的语义特征和过滤非语义扰动。FBGAN以无监督的方式在干净的数据集上进行预训练，逆向学习高维数据空间和低维语义空间之间的双向映射;还应用互信息来解开语义上有意义的特征。在双向映射之后，对抗数据可以被重建为去噪数据，这些数据可以被馈送到任何预先训练的分类器中。我们经验显示重建图像的质量和防御的有效性。
2018-09-29 cs.CR cs.CV cs.LG
Linear Semantics in Generative Adversarial Networks
Columbia University（哥伦比亚大学）；Panzhihua University（攀枝花大学）
生成对抗网络（GANs）能够生成高质量的图像，但仍然难以明确指定合成图像的语义。在这项工作中，我们的目标是更好地理解GANs的语义表示，从而使语义控制在GAN的生成过程。有趣的是，我们发现一个训练有素的GAN以一种令人惊讶的简单方式在其内部特征映射中编码图像语义：特征映射的线性变换足以提取生成的图像语义。为了验证这种简单性，我们对各种GANs和数据集进行了广泛的实验;由于这种简单性，我们能够从少量（例如，8)标签图像。最后，利用我们的研究结果，我们提出了两种Few-Shot图像编辑方法，即语义条件采样和语义图像编辑。给定训练的GAN和少至八个语义注释，用户能够生成服从用户提供的语义布局的各种图像，并控制合成的图像语义。我们已经公开了代码。
2021-04-01 cs.AI cs.CV
Semantically Accurate Super-Resolution Generative Adversarial Networks
Nearmap（Nearmap公司）；University of Sydney（悉尼大学）；Australian Centre for Field Robotics（澳大利亚现场机器人中心）
这项工作解决了语义分割和图像超分辨率的问题，通过共同考虑两者在训练生成对抗网络（GAN）中的性能。我们提出了一种新的架构和特定于域的特征丢失，允许超分辨率作为预处理步骤来操作，以提高下游计算机视觉任务的性能，特别是语义分割。我们使用Nearmap的航拍图像数据集来演示这种方法，该数据集以每像素5-7厘米的分辨率覆盖了数百个城市地区。我们表明，所提出的方法提高了感知图像质量以及所有预测类的定量分割精度，与最先进的单网络方法相比，在4倍和32倍超分辨率下，平均精度提高了11.8%和108%。这项工作表明，联合考虑基于图像和特定于任务的损失可以提高两者的性能，并推进了航空图像的语义感知超分辨率的最新技术。
2022-05-17 cs.CV eess.IV
Vanishing Twin GAN: How training a weak Generative Adversarial Network can improve semi-supervised image classification
Institute of Medical Science, University of Toronto（多伦多大学医学科学研究所）；The Hospital for Sick Children（SickKids医院（多伦多病童医院））；Department of Mechanical and Industrial Engineering, University of Toronto（多伦多大学机械与工业工程系）
生成对抗网络可以在半监督框架中学习随机噪声到真实图像的映射。这种映射能力可以用于半监督图像分类，以检测未知类别的图像，其中不存在要用于监督分类的训练数据。然而，如果未知类与已知类具有相似的特征，则GANs可以学习泛化并生成看起来像两个类的图像。这种泛化能力会阻碍分类性能。在这项工作中，我们提出了消失的双GAN。通过训练弱GAN并将其生成的输出图像与常规GAN并行使用，Vanishing Twin训练改进了半监督图像分类，其中图像相似性可能会损害分类任务。
2021-03-03 cs.CV eess.IV
Assembling Semantically-Disentangled Representations for Predictive-Generative Models via Adaptation from Synthetic Domain
Mythic Inc.（Mythic公司）；Freeus, LLC.（Freeus有限责任公司）；University of Rochester（罗切斯特大学）
深度神经网络可以形成输入数据的高级分层表示。各种研究人员已经证明，这些表示可以用于实现各种有用的应用。然而，这样的表示通常基于数据内的统计，并且可能不符合应用可能需要的语义表示。条件模型通常用于克服这一挑战，但它们需要大量带注释的数据集，这些数据集很难获得，创建成本也很高。在本文中，我们表明，语义对齐表示可以生成，而不是与基于物理的引擎的帮助。这是通过创建具有解耦属性的合成数据集，学习合成数据集的编码器，以及用来自真实域的属性来扩充来自合成域的规定属性来实现的。结果表明，所提出的（SYNTH-VAE-GAN）方法可以构建一个条件预测生成模型的人脸属性，而不依赖于真实的数据标签。
2020-02-23 cs.CV cs.LG eess.IV
Recurrent Topic-Transition GAN for Visual Paragraph Generation
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
一幅自然的图像通常传达着丰富的语义内容，并且可以从不同的角度进行观察。现有的图像描述方法在很大程度上受到小的有偏见的视觉段落注释集的限制，并且不能覆盖丰富的底层语义。在本文中，我们研究了一个半监督的段落生成框架，能够通过推理局部语义区域和利用语言知识来合成多样化和语义连贯的段落描述。提出的循环话题转换生成对抗网络（RTT-GAN）在结构化段落生成器和多级段落判别器之间建立了一个对抗框架。段落生成器通过在每一步都结合基于区域的视觉和语言注意力机制来循环地生成句子。利用多层次对抗性判别器从句子层次的连贯性和段落层次的话题转换连贯性两个方面对生成的段落句进行质量评价。RTT-GAN的联合对抗训练驱动模型生成真实的段落，句子主题之间具有平滑的逻辑过渡。对图像和视频段落数据集进行的广泛定量实验证明了我们的RTT-GAN在监督和半监督环境中的有效性。定性的结果告诉不同的故事的图像也验证了RTT-GAN的可解释性。
2017-03-23 cs.AI cs.CV cs.LG
SemI2I: Semantically Consistent Image-to-Image Translation for Domain Adaptation of Remote Sensing Data
Inria（法国国家信息与自动化研究所）；LuxCarta Technology（LuxCarta科技公司）
虽然卷积神经网络已被证明是从遥感图像生成高质量地图的有效工具，但当训练数据和测试数据之间存在较大的域偏移时，其性能会显着恶化。为了解决这个问题，我们提出了一种新的数据增强方法，该方法使用生成对抗网络将测试数据的风格转移到训练数据。我们的语义分割框架包括首先从真实的训练数据中训练一个U网，然后在所提出的方法生成的测试风格化的假训练数据上对其进行微调。我们的实验结果证明，我们的框架优于现有的领域适应方法。
2020-02-21 cs.CV eess.IV
Extracting Semantic Knowledge from GANs with Unsupervised Learning
Panzhihua University（攀枝花学院）；Tsinghua University（清华大学）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究中心（CIBR））
最近，无监督学习在各种任务上取得了令人印象深刻的进展。尽管判别模型占主导地位，但越来越多的注意力被吸引到生成模型，特别是生成对抗网络（GANs）学习的表示上。先前关于GANs解释的工作表明，GANs以线性可分离的形式在特征图中编码语义。在这项工作中，我们进一步发现，GAN的功能，可以很好地聚类与线性可分性假设。我们提出了一种新的聚类算法，命名为KLiSH，它利用线性可分性聚类GAN的功能。KLiSH成功地提取了在各种对象的数据集上训练的GANs的细粒度语义，例如，汽车、肖像、动物等。使用KLiSH，我们可以从GANs中采样图像及其分割掩码，并合成成对的图像分割数据集。使用合成的数据集，我们启用两个下游应用程序。首先，我们在这些数据集上训练语义分割网络，并在真实图像上进行测试，实现无监督的语义分割。其次，我们在合成的数据集上训练图像到图像的翻译网络，从而实现无人工注释的语义条件图像合成。
2022-11-30 cs.AI cs.CV cs.LG
Semantic Map Injected GAN Training for Image-to-Image Translation
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城校区）；Indian Institute of Information Technology, Allahabad（印度信息技术学院阿拉哈巴德校区）；DRDO Young Scientist Laboratory - Artificial Intelligence (DYSL-AI)（印度国防研究与发展组织青年科学家实验室-人工智能）
图像到图像的转换是最近的趋势，将图像从一个域到另一个域使用生成对抗网络（GAN）。现有的GAN模型仅利用输入和输出的转换模态来执行训练。在本文中，我们执行的语义注入训练的GAN模型。具体来说，我们用原始的输入和输出模态进行训练，并为从输入到语义映射的翻译注入几个训练阶段。让我们将原始训练称为用于将输入图像转换到目标域的训练。在原始训练中注入语义训练提高了训练后的GAN模型的泛化能力。此外，它还保留了分类信息，在生成的图像中以更好的方式。语义图仅在训练时使用，在测试时不需要。实验使用最先进的GAN模型在CityScapes和RGB-NIR立体数据集上进行。与原始训练相比，我们观察到注入语义训练后SSIM，FID和KID分数的改善性能。
2021-12-03 cs.CV eess.IV
Semi-supervised Complex-valued GAN for Polarimetric SAR Image Classification
Xidian University（西安电子科技大学）
极化合成孔径雷达（PolSAR）图像在灾害探测、军事侦察等方面有着广泛的应用，但其解译面临着一些挑战，如：针对传统对抗网络中存在的标记数据不足、数据信息利用不充分等问题，提出了一种复值生成对抗网络（GAN）。复数形式的模型符合极化SAR数据的物理机制，有利于利用和保留极化SAR数据的幅相信息。结合GAN结构和半监督学习来处理标记数据的不足。GAN对训练数据进行扩展，利用生成的、标记的和未标记的数据进行半监督学习训练网络。在两个基准数据集上的实验结果表明，我们的模型优于现有的最先进的模型，特别是在标记数据较少的情况下。
2019-06-09 cs.CV eess.IV
Text to Image Generation with Semantic-Spatial Aware GAN
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Twente（特温特大学）
文本到图像合成（T2 I）的目的是生成具有照片般真实感的图像，这些图像在语义上与文本描述一致。现有的方法通常建立在条件生成对抗网络（GANs）上，并通过句子嵌入从噪声中初始化图像，然后通过细粒度的词嵌入迭代地细化特征。仔细检查他们生成的图像会发现一个主要的局限性：即使生成的图像整体上与描述相匹配，但某些事物的个别图像区域或部分通常无法识别或与句子中的单词一致，例如“白色王冠”。为了解决这个问题，我们提出了一个新的框架语义空间感知GAN从输入文本合成图像。具体来说，我们引入了一个简单有效的语义空间感知块，它（1）学习以文本为条件的语义自适应变换，以有效地融合文本特征和图像特征，（2）以弱监督的方式学习语义掩码，该方式依赖于当前的文本-图像融合过程，以指导空间变换。在具有挑战性的COCO和CUB鸟类数据集上的实验证明了我们的方法在视觉保真度和与输入文本描述对齐方面优于最近的最先进方法。
2022-03-24 cs.CV cs.LG
Semantic Image Synthesis with Semantically Coupled VQ-Model
University of Tübingen（图宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
语义图像合成通过允许对正在生成的内容进行指导来实现对无条件图像生成的控制。我们有条件地合成的潜在空间从矢量量化模型（VQ模型）预训练自动编码图像。我们发现，联合学习条件和图像潜伏期显著提高了Transformer模型的建模能力，而不是在单独学习的条件潜伏期和图像潜伏期上训练自回归Transformer。虽然我们联合训练的VQ模型在语义和图像潜在内容方面都实现了与普通VQ模型相似的重建性能，但在自动编码阶段将这两种模态联系起来被证明是提高自回归建模性能的重要因素。我们表明，我们的模型使用流行的语义图像数据集ADE 20 k，Cityscapes和COCO-Stuff上的自回归模型改进了语义图像合成。
2022-09-06 cs.AI cs.CV
Semantically Consistent Person Image Generation
University of Technology Sydney（悉尼科技大学）；IIT Kharagpur（印度理工学院卡拉格普尔分校）；ISI Kolkata（印度统计研究所加尔各答分部）
本文提出一种数据驱动的场景感知人物图像生成方法，通过 Pix2PixHD 粗掩码推断、精细掩码聚类选择和多尺度注意力外观迁移，生成可自然融入复杂场景且保持全局语义一致的逼真人物。
2025-02-18 cs.CV cs.MM
Exploring Semantic Variations in GAN Latent Spaces via Matrix Factorization
Innopolis University（Innopolis大学）；University of Hull（赫尔大学）
本文通过矩阵分解探索GAN潜在空间的语义变化，发现GANSpace方法虽能生成高质量图像操作但存在高度纠缠，用ICA替换PCA可提升操作质量与分离度，且GAN规模影响图像质量但不改变基本控制方向的存在。
2023-05-23 cs.CV cs.LG
AT-GAN: An Adversarial Generator Model for Non-constrained Adversarial Examples
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
尽管对抗机器学习发展迅速，但大多数对抗攻击和防御研究主要集中在受输入图像约束的基于扰动的对抗样本上。与现有的作品相比，我们提出了无约束的对抗示例，这些示例完全从头开始生成，对输入没有任何约束。与基于扰动的攻击或所谓的无限制对抗攻击不同，该攻击仍然受到输入噪声的约束，我们的目标是学习对抗示例的分布，以生成无约束但语义上有意义的对抗示例。遵循这一精神，我们提出了一个新的攻击框架，称为AT-GAN（生成对抗网络上的对抗转移）。具体来说，我们首先开发一个正常的GAN模型来学习良性数据的分布，然后转移预训练的GAN模型来估计目标模型的对抗性样本的分布。通过这种方式，AT-GAN可以学习非常接近真实数据分布的对抗性示例的分布。据我们所知，这是构建对抗生成器模型的第一项工作，该模型可以直接从任何输入噪声中生成对抗示例。大量的实验和可视化结果表明，所提出的AT-GAN可以非常有效地生成对人类感知更真实的各种对抗性示例。此外，AT-GAN在白盒攻击设置下对对抗训练模型产生更高的攻击成功率，并对黑盒模型表现出适度的可移植性。
2020-02-07 cs.CR cs.CV cs.LG
Navigating the GAN Parameter Space for Semantic Image Editing
Yandex；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（高等经济大学）
生成对抗网络（GANs）是目前视觉编辑不可或缺的工具，是图像到图像转换和图像复原管道的标准组件。此外，GANs对于可控生成特别有用，因为它们的潜在空间包含广泛的可解释方向，非常适合语义编辑操作。通过沿着这些方向逐渐改变潜在代码，可以产生令人印象深刻的视觉效果，这在没有GANs的情况下是无法实现的。在本文中，我们显着扩展了使用最先进的模型（如StyleGAN 2）可实现的视觉效果范围。在现有的作品，主要是操作的潜在代码相比，我们发现可解释的方向在空间中的生成器参数。通过几个简单的方法，我们探索这个空间，并证明它也包含了大量的可解释的方向，这是一个很好的来源，非平凡的语义操作。所发现的操作不能通过变换潜码来实现，并且可以用于编辑合成图像和真实图像。我们发布了我们的代码和模型，并希望它们能成为进一步基于GAN的图像编辑的方便工具。
2021-04-21 cs.CV cs.LG
Taking Control of Intra-class Variation in Conditional GANs Under Weak Supervision
Ecole Centrale de Lyon（里昂中央理工学院）；IDEMIA
生成对抗网络（GANs）能够学习简单，相对低维，随机分布和图像空间中真实图像流形上的点之间的映射。然而，这种映射的语义通常是纠缠在一起的，使得有意义的图像属性不能彼此独立地控制。条件GANs（cGANs）为这个问题提供了一个潜在的解决方案，允许在训练期间强制执行特定的语义。然而，这种解决方案取决于精确标签的可用性，这些标签有时难以或几乎不可能获得，例如表示照明条件或描述背景的标签。在本文中，我们介绍了一种新的cGAN公式，它能够学习语义上有意义的变化的解纠缠的多变量模型，并且具有只需要对二进制属性标签进行弱监督的优点。例如，仅给定环境/非环境照明的标签，我们的方法能够学习从身份和姿势等其他因素中解脱出来的多变量照明模型。我们提出了类内变异隔离（IVI）方法和IVI-GAN网络。我们在CelebA数据集和合成的3D变形模型数据上评估IVI-GAN，学习如何解开照明、姿势、表情甚至背景等属性。
2020-12-19 cs.AI cs.CV cs.LG
Surreal-GAN:Semi-Supervised Representation Learning via GAN for uncovering heterogeneous disease-related imaging patterns
University of Pennsylvania（宾夕法尼亚大学）
大量的机器学习方法已经应用于成像数据，使得能够构建神经系统和神经精神疾病的临床相关成像特征。通常情况下，这些方法没有明确地模拟疾病效应的异质性，或者通过不可解释的非线性模型来接近它。此外，无监督方法可以解析由影响大脑结构或功能的讨厌的混杂因素驱动的异质性，而不是与感兴趣的病理学相关的异质性。另一方面，半监督聚类方法试图得到一个二分法的亚型成员资格，忽略了疾病的异质性空间和时间上沿着一个连续体延伸的事实。为了解决上述限制，本文中，我们提出了一种新的方法，称为超GAN（通过GAN的半监督表示学习）。使用横截面成像数据，Surreal-GAN在半监督聚类（从正常对照到患者的聚类映射）的原则下剖析了潜在的疾病相关异质性，提出了一种连续的维度表示，并沿着每个维度推断出患者在个体水平上的疾病严重程度。该模型首先学习从正常控制（CN）域到患者（PT）域的转换函数，其中潜变量控制转换方向。还施加了逆映射函数以及函数连续性、图案正交性和单调性的正则化，以确保变换函数捕获具有临床意义的必要有意义的成像图案。我们首先通过广泛的半合成实验验证了该模型，然后证明了其在捕获阿尔茨海默病（AD）的生物学上合理的成像模式的潜力。
2022-05-09 cs.CV cs.LG eess.IV
Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain Exploration using Instance-Conditioned GANs
CerCo, CNRS UMR5549（法国国家科学研究中心 UMR5549 脑与认知研究中心）；Université de Toulouse（图卢兹大学）；IRIT, CNRS UMR5505（法国国家科学研究中心 UMR5505 图卢兹信息学研究所）；ANITI（人工智能与自然智能研究所）
从功能磁共振成像信号重建感知自然图像是神经解码研究中最吸引人的课题之一。先前的研究成功地重建了低级别的图像特征或语义/高级别方面，但很少两者兼而有之。在这项研究中，我们利用实例条件GAN（IC-GAN）模型重建图像的功能磁共振成像模式，既准确的语义属性和保留低层次的细节。IC-GAN模型将通过自监督学习模型（SwAV ResNet-50）从目标图像中提取的119-dim噪声向量和2048-dim实例特征向量作为输入;这些实例特征充当IC-GAN图像生成的条件，而噪声向量在样本之间引入可变性。我们训练岭回归模型来预测来自相应fMRI模式的刺激的实例特征，噪声向量和密集向量（IC-GAN生成器的第一个密集层的输出）。然后，我们使用IC-GAN生成器基于这些fMRI预测变量重建新的测试图像。所生成的图像在捕获原始测试图像的语义属性方面呈现出最先进的结果，同时保持对低级别图像细节的相对忠实。最后，我们使用学习的回归模型和IC-GAN生成器来系统地探索和可视化最大限度地驱动人脑中几个感兴趣区域中每个区域的语义特征。
2022-02-25 cs.CV eess.IV q-bio.NC
Twin-GAN -- Unpaired Cross-Domain Image Translation with Weight-Sharing GANs
Google（谷歌）
我们提出了一个框架，用于将未标记的图像从一个域转换为另一个域中的模拟图像。我们采用了一个逐步增长的跳跃连接的编码器-生成器结构，并训练它与GAN损失的现实输出，一个周期的一致性损失，以保持相同的域翻译身份，和语义一致性损失，鼓励网络保持输入的语义特征的输出。我们将我们的框架应用于翻译人脸图像的任务，并表明它能够学习人脸图像的语义映射，而无需监督的一对一图像映射。
2018-08-26 cs.AI cs.CV cs.LG
Eye In-Painting with Exemplar Generative Adversarial Networks
Facebook Inc.（Facebook公司）
本文介绍了一种新的图像修复方法，其中要删除或更改的对象的身份在推理时被保留和解释：示例GANs（ExGANs）。ExGAN是一种有条件的GAN，它利用样本信息来产生高质量的个性化绘画结果。我们建议使用样本信息的形式的参考图像的区域内绘画，或描述该对象的感知代码。与以前的条件GAN公式不同，这些额外的信息可以插入对抗网络中的多个点，从而提高其描述能力。我们表明，ExGANs可以产生照片般逼真的个性化绘画结果，这些结果在感知和语义上都是合理的，通过将它们应用于自然图片中的闭眼到睁眼绘画任务。还引入了一个新的基准数据集，用于未来比较的眼睛修复任务。
2017-12-11 cs.CV cs.LG stat.ML
Technical Report: Image Captioning with Semantically Similar Images
Brno University of Technology（布尔诺理工大学）
本报告介绍了我们提交给MS COCO字幕挑战赛2015。该方法使用卷积神经网络激活作为嵌入，以找到语义相似的图像。从这些图像中，基于单字频率选择最典型的字幕。虽然该方法在自动评估指标和人类评估的平均正确性方面得分较低，但它在通过图灵测试的字幕比例方面具有竞争力，并且被评估为更好或等于人类字幕。
2015-06-12 cs.CV
Self-Supervised Image-to-Point Distillation via Semantically Tolerant Contrastive Loss
University of Toronto（多伦多大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
一个有效的框架，学习三维表示的感知任务是通过对比学习提取丰富的自我监督的图像特征。然而，自动驾驶数据集的图像到点表示学习面临两个主要挑战：1）丰富的自相似性，这导致对比损失将语义相似的点和图像区域推开，从而干扰学习表示的局部语义结构，以及2）严重的类不平衡，因为预训练由过度表示的类主导。我们建议通过一种新的语义容忍图像到点的对比损失，考虑到积极和负像区域之间的语义距离，以尽量减少对比语义相似的点和图像区域，以减轻自相似性问题。此外，我们通过设计一个类不可知的平衡损失，通过一个总的样本到样本的语义相似性度量近似的程度的类不平衡，解决类的不平衡。我们证明了我们的语义容忍对比损失与类平衡，提高了最先进的2D到3D表示学习在所有评估设置的3D语义分割。我们的方法在广泛的2D自监督预训练模型中始终优于最先进的2D到3D表示学习框架。
2023-03-24 cs.CV
