Teaching GANs to Sketch in Vector Format
Sri Sathya Sai Institute of Higher Learning（斯里·萨提亚·赛高等教育学院）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
对于人类认知来说，素描比言语更重要。深度神经网络（DNN）在语音相关任务方面已经达到了最先进的水平，但在生成基于笔划的草图（也称为矢量格式的草图）方面还没有取得重大进展。虽然有可变自动编码器（VAE）用于生成矢量格式的草图，但没有生成对抗网络（GAN）架构。在本文中，我们提出了一个独立的GAN架构Ske GAN和一个VAE-GAN架构VASke GAN，用于矢量格式的草图生成。SkeGAN是强化学习（RL）中的一种随机策略，能够生成多维连续和离散输出。VASkeGAN混合了VAE和GAN，以便将VAE对数据的有效表示与GAN的强大生成能力相结合，以产生视觉上吸引人的草图。我们还提出了一个新的度量称为Ske分数量化矢量草图的质量。我们已经验证了SkeGAN和VASkeGAN通过使用人类图灵测试和Ske-score生成视觉上吸引人的草图。
2019-04-07 cs.GR cs.LG stat.ML
Semi-supervised Cycle-GAN for face photo-sketch translation in the wild
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Baidu Inc（百度公司）
针对人脸照片-素描转换中配对数据少、未配对训练的Cycle-GAN存在隐写术问题，提出带噪声注入的半监督Semi-Cycle-GAN，用伪配对结合自监督训练，在公开基准和自然场景照片上均取得良好效果。
2023-07-18 cs.CV
Extreme Face Inpainting with Sketch-Guided Conditional GAN
Rochester Institute of Technology（罗切斯特理工学院）
恢复严重受损的人脸图像是一项有用但具有挑战性的任务，特别是在被掩盖或受损区域非常大的极端情况下。其中一个主要挑战是系统在训练数据集之外的人脸上进行泛化的能力。我们建议使用条件生成对抗网络（GAN）来处理这种极端的修复任务，该网络利用结构信息（如边缘）作为先验条件。边缘信息可以从部分掩蔽的图像和结构相似的图像或手绘图中获得。在我们提出的条件GAN中，我们在编码器的每一层中传递条件输入，同时保持学习的权重和传入的条件输入之间的分布的一致性。我们证明了我们的方法的有效性与严重损坏的脸的例子。
2021-05-13 cs.CV
Sketch guided and progressive growing GAN for realistic and editable ultrasound image synthesis
Shenzhen University（深圳大学）
超声（US）成像广泛用于临床诊断中的解剖结构检查。培训新的超声医师和基于深度学习的US图像分析算法通常需要大量数据。然而，获取和标记大规模的US成像数据并不是一件容易的事情，特别是对于低发病率的疾病。真实感美国图像合成可以在很大程度上缓解这个问题。在本文中，我们提出了一个生成对抗网络（GAN）的图像合成框架。我们的主要贡献包括：1）我们提出了第一个可以合成具有高分辨率和定制纹理编辑功能的逼真B模式US图像的工作; 2）为了增强生成图像的结构细节，我们提出将辅助草图引导引入到条件GAN中。我们将边缘草图叠加到对象掩模上，并使用复合掩模作为网络输入; 3）为了生成高分辨率US图像，我们采用渐进式训练策略，从低分辨率图像逐渐生成高分辨率图像。此外，本文还提出了一种特征丢失算法，以最大限度地减少生成图像与真实图像之间的高层次特征差异，从而进一步提高了生成图像的质量; 4）本文提出的超声图像合成方法具有较强的通用性，除了本文所研究的三种超声图像外，还可以推广到其他解剖结构的超声图像（肺、髋关节和卵巢）; 5）在三个大的US图像数据集上进行了广泛的实验以验证我们的方法。消融研究，定制的纹理编辑，用户研究和分割测试表明，我们的方法在合成逼真的US图像有前途的结果。
2022-05-25 cs.CV cs.LG eess.IV
Synthesis and Edition of Ultrasound Images via Sketch Guided Progressive Growing GANs
Shenzhen University（深圳大学）；Guangzhou Medical University（广州医科大学）
超声（US）是临床上广泛接受的解剖结构检查。然而，由于缺乏资源来练习US扫描，新手往往很难学习操作技能。此外，在深度学习时代，自动化的美国图像分析受到缺乏注释样本的限制。有效地合成逼真的、可编辑的和高分辨率的US图像可以解决这些问题。这是一个具有挑战性的任务，以往的方法只能部分完成它。在本文中，我们设计了一个新的框架，US图像合成。特别地，我们首先采用草图生成对抗网络（Sgan）在条件生成对抗网络中的对象掩码上引入背景草图。通过丰富的草图线索，Sgan可以生成具有可编辑和细粒度结构细节的逼真US图像。虽然有效，但Sgan很难生成高分辨率的US图像。为了实现这一目标，我们进一步将Sgan植入渐进式生长计划（PGSgan）。通过平滑地增长发生器和放大器，PGSgan可以逐渐合成从低到高分辨率的US图像。通过合成卵巢和卵泡US图像，我们广泛的感知评估，用户研究和分割结果证明了所提出的PGSgan有前途的疗效和效率。
2020-04-01 cs.CV eess.IV
Learning via social awareness: Improving a deep generative sketching model with facial feedback
Massachusetts Institute of Technology（麻省理工学院）；Google Brain（谷歌大脑）
在对通用人工智能（AI）的探索中，研究人员已经探索开发损失函数，在没有外部奖励的情况下充当内在激励因素。本文认为，这样的研究忽略了一个重要的和有用的内在动机：社会互动。我们认为，让人工智能智能体意识到来自人类的隐性社会反馈，可以更快地学习更通用和有用的表示，并可能影响人工智能的安全性。我们以面部表情反应的形式收集社会反馈，这些反馈来自Sketch RNN，这是一种基于LSTM的变分自编码器（VAE），旨在生成草图。我们使用潜在约束GAN（LC-GAN）从一小群观众的面部反馈中学习，通过优化模型来生成草图，它预测将导致更积极的面部表情。我们在多个独立的评估中表明，用面部反馈训练的模型产生了更高评价的草图，并诱导了更积极的面部表情。因此，我们建立了隐式社会反馈可以提高深度学习模型的输出。
2018-08-27 cs.CV cs.HC cs.LG
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
从真实照片及其逆合成人脸草图有许多应用。然而，照片/素描合成仍然是一个具有挑战性的问题，由于事实上，照片和素描有不同的特点。在这项工作中，我们将此任务视为图像到图像的翻译问题，并探索最近流行的生成模型（GANs），以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果，但是，众所周知，它们在生成高分辨率逼真图像方面的能力有限。为此，我们提出了一种新的合成框架，称为使用多对抗网络的照片草图合成（PS2-MAN），以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像，然后在网络中进行隐式细化以生成较高分辨率的图像。此外，由于照片草图合成是一个耦合/配对的翻译问题，我们利用对信息使用CycleGAN框架。图像质量评估（IQA）和照片草图匹配实验进行了比较，以证明我们的框架的优越性能，现有的国家的最先进的解决方案。代码可在：https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
Semantic Text-to-Face GAN -ST^2FG
针对文本生成人脸研究不足的问题，提出基于ACM机制融合BERT文本嵌入与GAN潜在空间的ST²FG方法，可生成高对齐度的精细人脸图像并支持增量修改，可用于安防与刑事识别。
2023-12-13 cs.CV cs.LG
End-to-End Chinese Landscape Painting Creation Using Generative Adversarial Networks
Princeton University（普林斯顿大学）
目前基于GAN的艺术生成方法由于依赖于条件输入而产生非原创的艺术品。在这里，我们提出了素描和绘画GAN（SAPGAN），第一个模型，生成中国山水画从端到端，没有条件输入。SAPGAN由两个GANs组成：SketchGAN用于生成边缘映射，PaintGAN用于随后的边缘到绘画转换。我们的模型是在一个新的中国传统山水画数据集上训练的，这个数据集以前从未用于生成研究。一项242人的视觉图灵测试研究显示，SAPGAN绘画被误认为人类艺术品的频率为55%，明显优于基线GANs的绘画。我们的工作为真正的机器原创艺术创作奠定了基础。
2020-11-11 cs.CV cs.LG eess.IV
Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation
University of Oxford（牛津大学）；Adobe Research（奥多比研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了一种基于GAN的交互式草图到图像转换方法，可以帮助新手用户创建简单对象的图像。当用户开始绘制所需对象类型的草图时，网络交互式地推荐合理的完成，并向用户显示相应的合成图像。这就实现了一个反馈循环，用户可以根据网络的建议编辑他们的草图，在绘制时可视化完成的形状和最终渲染的图像。为了在各种对象类中使用单个训练模型，我们引入了一种基于门控的类调节方法，该方法允许我们从单个生成器网络生成不同的类，而不会混合特征。视频可在我们的网站：https://arnabgho.github.io/iSketchNFill/。
2019-09-25 cs.CV cs.LG eess.IV
Ownership Protection of Generative Adversarial Networks
University of Luxembourg（卢森堡大学）
针对现有GAN知识产权保护方法需改动训练流程且抗模型提取攻击鲁棒性差的问题，提出一种基于目标模型与被盗模型共有特征、无需重训练的所有权保护方法，经多场景实验验证其保护性能优于现有最优方法。
2023-06-08 cs.CR cs.CV cs.LG
SketchyGAN: Towards Diverse and Realistic Sketch to Image Synthesis
Georgia Institute of Technology（佐治亚理工学院）；Argo AI（Argo AI（公司））
从手绘草图合成真实感图像是计算机图形学和视觉领域的一个具有挑战性的问题。现有的方法要么需要精确的边缘图，或依赖于检索现有的照片。在这项工作中，我们提出了一种新的生成对抗网络（GAN）方法，该方法可以合成来自50个类别的合理图像，包括摩托车，马和沙发。我们展示了一个数据增强技术的草图，这是完全自动的，我们表明，增强的数据是有助于我们的任务。我们引入了一种新的网络构建块，适合于生成器和嵌入式系统，它通过在多个尺度上注入输入图像来改善信息流。与最先进的图像翻译方法相比，我们的方法生成了更逼真的图像，并获得了更高的初始分数。
2018-04-12 cs.CV
d-Sketch: Improving Visual Fidelity of Sketch-to-Image Translation with Pretrained Latent Diffusion Models without Retraining
University of Technology Sydney（悉尼科技大学）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Indian Statistical Institute Kolkata（印度统计研究所加尔各答分所）
针对草图到图像转换中形状一致性与真实感难平衡、重训练扩散模型成本高的问题，提出d-Sketch方法，通过轻量级映射网络利用预训练扩散模型特征泛化能力，无需重训练即可实现高保真转换，性能优于现有方法。
2025-02-19 cs.AI cs.CV cs.GR
Component-Aware Sketch-to-Image Generation Using Self-Attention Encoding and Coordinate-Preserving Fusion
本文提出了一种基于自注意力编码和坐标保持融合的组件意识框架，用于提升草图到图像生成的逼真度和一致性。
2026-03-10 cs.CV
GanFinger: GAN-Based Fingerprint Generation for Deep Neural Network Ownership Verification
Guangzhou University（广州大学）；Beijing Institute of Technology（北京理工大学）
提出GanFinger，利用GAN生成可协商对抗样本构建网络指纹，通过精度-鲁棒性距离验证所有权，在效率、隐蔽性和可区分性上显著优于现有方法。
2023-12-25 cs.CR cs.CV
Creative Sketch Generation
University of Maryland, College Park（马里兰大学学院公园分校）；Facebook AI Research（Facebook人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
素描或涂鸦是人们从事的一种流行的创造性活动。然而，大多数现有的工作，在自动草图理解或生成的草图是非常平凡的。在这项工作中，我们介绍了两个创意草图数据集-创意鸟类和创意生物-每个包含10 k草图以及部分注释。我们提出了Doodler GAN--一种基于零件的生成对抗网络（GAN）--来生成新零件外观的不可见组合。定量评估以及人体研究表明，我们的方法生成的草图比现有的方法更具创造性和更高的质量。事实上，在创意鸟中，受试者更喜欢DoodlerGAN生成的草图而不是人类绘制的草图！我们的代码可以在https://github.com/facebookresearch/DoodlerGAN上找到，演示可以在http://doodlergan.cloudcv.org上找到。
2021-03-03 cs.AI cs.CV
What can Discriminator do? Towards Box-free Ownership Verification of Generative Adversarial Network
Wuhan University（武汉大学）；Chongqing University（重庆大学）
本文提出一种无盒设置的GAN所有权验证方案，利用判别器学习捕获配对生成器分布的超球面，仅通过检查输出即可有效验证所有权，且对基于输入的移除攻击免疫。
2023-07-29 cs.CR cs.CV
Sketch-to-Art: Synthesizing Stylized Art Images From Sketches
Playform - Artrendex Inc.；Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）；Rutgers University（罗格斯大学）
我们提出了一种新的方法来合成充分详细的艺术风格化的图像从草图。给定一个草图，没有语义标记，以及一个特定风格的参考图像，模型可以合成有意义的细节与颜色和纹理。该模型由三个模块组成，旨在更好地捕捉和生成艺术风格。基于GAN框架，引入了双掩码机制来加强内容约束（来自草图），并开发了特征映射转换技术来加强风格一致性（到参考图像）。最后，提出了一种实例规范化的逆过程，以分离样式和内容信息，从而获得更好的合成性能。实验表明，基于拟议工艺采用的先前最先进技术，与基线相比，定性和定量都有显着提高。
2020-10-02 cs.CV eess.IV
DiffSketching: Sketch Control Image Synthesis with Diffusion Models
本文提出DiffSketching，利用扩散模型结合跨域约束和分类器引导实现草图到图像合成，在生成质量、多样性和人类评估上超越GAN方法，且无需大规模草图-图像数据集。
2023-05-30 cs.AI cs.CV
Mask Embedding in conditional GAN for Guided Synthesis of High Resolution Images
Duke University（杜克大学）；Duke University School of Medicine（杜克大学医学院）
条件生成对抗网络（cGAN）的最新进展在标签引导图像合成中显示出了希望。语义遮罩（如草图和标签图）是图像合成中另一种直观有效的指导形式。直接将语义掩码作为约束条件，大大降低了合成结果的可变性和质量。我们观察到这是由来自生成器的不同输入（例如掩码图像和潜在向量）的特征的不兼容性引起的。为了使用语义掩码作为指导，同时提供逼真的合成结果与细节，我们建议使用掩码嵌入机制，以允许在生成器中更有效的初始特征投影。我们通过使用CELEBA-HQ数据集训练掩模引导的人脸生成器来验证我们的方法的有效性。我们可以生成逼真的高分辨率面部图像，分辨率高达512*512，并带有遮罩引导。我们的代码是公开的。
2019-07-03 cs.CV cs.LG
Multimodal Conditional Image Synthesis with Product-of-Experts GANs
NVIDIA（英伟达）
现有的条件图像合成框架基于单个模态中的用户输入（诸如文本、分割、草图或样式参考）来生成图像。他们往往无法利用多模态用户输入时，这降低了他们的实用性。为了解决这一限制，我们提出了专家产品生成对抗网络（PoE-GAN）框架，它可以合成基于多个输入模态或其中任何子集（甚至是空集）的图像。PoE-GAN由一个专家乘积生成器和一个多模式多尺度投影映射器组成。通过我们精心设计的训练方案，PoE-GAN学会合成高质量和多样性的图像。除了推进多模态条件图像合成的最新技术外，在单峰设置中进行测试时，PoE-GAN还优于现有的最佳单峰条件图像合成方法。该项目的网站是https://deepimagination.github.io/PoE-GAN。
2021-12-09 cs.CV
Facial Synthesis from Visual Attributes via Sketch using Multi-Scale Generators
Johns Hopkins University（约翰霍普金斯大学）
从视觉属性自动合成人脸是计算机视觉中的一个重要问题，在执法和娱乐方面有着广泛的应用。随着深度生成卷积神经网络（CNN）的出现，已经尝试从属性和文本描述合成面部图像。在本文中，我们采取了一种不同的方法，我们将原始问题表述为阶段学习问题。我们首先合成与视觉属性相对应的人脸草图，然后基于合成的草图生成人脸图像。所提出的框架基于两种不同的生成对抗网络（GANs）的组合-（1）草图生成器网络，其从输入属性合成逼真的草图，以及（2）面部生成器网络，其在面部属性的帮助下从合成的草图图像合成面部图像。大量的实验和最近的方法进行比较，以验证所提出的基于属性的两阶段人脸合成方法的有效性。
2019-12-17 cs.CV
CoGS: Controllable Generation and Search from Sketch and Style
Georgia Institute of Technology（佐治亚理工学院）；University of Surrey（萨里大学）；Adobe Inc.（奥多比公司）
我们提出了CoGS，一种新的方法，风格条件，草图驱动的图像合成。CoGS允许探索给定草图对象的不同外观可能性，从而实现对输出的结构和外观的解耦控制。经由输入草图和范例“样式”调节图像到基于变换器的草图和样式编码器来实现对对象结构和外观的粗粒度控制，以生成离散码本表示。我们将码本表示映射到度量空间中，从而在通过矢量量化GAN（VQ GAN）解码器生成图像之前，能够对多个合成选项之间的选择和插值进行细粒度控制。因此，我们的框架统一了搜索和合成任务，因为草图和样式对可以用于运行初始合成，该初始合成可以通过与搜索语料库中的类似结果组合来细化，以产生更接近地匹配用户意图的图像。我们证明了我们的模型，在我们新创建的伪草图数据集的125个对象类上训练，能够产生各种各样的语义内容和外观风格。
2022-07-20 cs.CV
Text to Image Synthesis using Stacked Conditional Variational Autoencoders and Conditional Generative Adversarial Networks
Institute of Digital Technologies, Loughborough University（拉夫堡大学数字技术研究所）
从文本描述合成真实感图像是计算机视觉的一个主要挑战。当前的文本到图像合成方法不能产生表示文本描述符的高分辨率图像。大多数现有的研究依赖于生成对抗网络（GANs）或变分自动编码器（VAE）。GANs有能力产生更清晰的图像，但缺乏输出的多样性，而VAE擅长产生各种各样的输出，但生成的图像往往是模糊的。考虑到GANs和VAE的相对优势，我们提出了一种新的堆叠条件VAE（CVAE）和条件GAN（CGAN）网络架构，用于合成以文本描述为条件的图像。本研究使用条件VAE作为初始生成器来生成文本描述符的高级草图。第一阶段的高级草图输出和文本描述符用作条件GAN网络的输入。第二级GAN产生256 × 256高分辨率图像。所提出的架构受益于条件增强和条件GAN网络上的残差块来实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出的方法的结果与StackGAN等最先进的技术进行了比较。实验结果表明，该方法在文本描述的条件下生成高分辨率图像，并在使用两个数据集的Inception和Frechet Inception Score的基础上产生有竞争力的结果
2022-08-15 cs.CV eess.IV
Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
人脸素描合成与识别在数字娱乐和执法领域有着广泛的应用。最近，基于生成对抗网络（GANs）的方法显着提高了图像合成的质量，但它们没有明确考虑识别的目的。在本文中，我们首先提出了一种身份感知CycleGAN（IACycleGAN）模型，该模型应用了一种新的感知损失来监督图像生成网络。它改进了CycleGAN的照片素描合成，更加关注关键面部区域的合成，如眼睛和鼻子，这对身份识别很重要。此外，我们开发了合成模型和识别模型之间的相互优化过程，该过程通过IACycleGAN迭代合成更好的图像，并通过生成的和真实样本的三重丢失来增强识别模型。使用广泛使用的CUFS和CUFSF数据库上的photo-to-sketch和sketch-to-photo任务进行了广泛的实验。实验结果表明，该方法在合成图像质量和草图识别精度方面均优于现有的几种方法。
2021-03-30 cs.CV
Sketch2MinSurf: Vision-Language Guided Generation of Editable Minimal Surfaces from Hand-Drawn Sketches
School of Architecture, Tsinghua University（清华大学建筑学院）；Department of Architecture, National University of Singapore（新加坡国立大学建筑系）
本研究提出Sketch2MinSurf方法，结合视觉-语言引导和几何优化，从手绘草图生成平滑且可编辑的3D曲面，通过空间-拓扑编码和Sketch2MinSurf结构损失函数实现拓扑一致性与几何重建的联合约束。
2026-05-20 cs.CV
CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models
IIIT-Hyderabad（印度信息技术研究所海得拉巴分校）；Michigan State University（密歇根州立大学）
提出 CLIP4Sketch 方法，利用扩散模型结合 CLIP 和 Adaface 嵌入生成受控素描数据集，显著提升了法医素描与大头照匹配的准确率，并优于 GAN 方法。
2024-08-13 cs.CV
DLP-GAN: learning to draw modern Chinese landscape photos with generative adversarial network
School of Computer and Communication, Lanzhou University of Technology（兰州理工大学计算机与通信学院）；School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）
针对山水画转现代照片的研究空白，提出搭载非对称循环映射、密集融合模块生成器及双一致性损失的DLP-GAN无监督跨域翻译框架，实验证明其效果优于现有最优方法。
2024-03-07 cs.AI cs.CV
S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation
Australian National University（澳大利亚国立大学）；CSIRO（联邦科学与工业研究组织）；Curtin University（科廷大学）；North South University（北南大学）
交互式面部图像操作尝试使用照片级真实面部和/或语义掩码作为输入来编辑单个和多个面部属性。在没有照片级真实感图像的情况下（只有草图/掩模可用），以前的方法只检索原始面部，但忽略了在翻译过程中辅助模型可控性和多样性的潜力。本文提出了一个草图到图像的生成框架S2 FGAN，旨在提高用户从简单草图到人脸属性编辑的理解能力和灵活性。该框架修改了生成对抗网络（GANs）上训练的约束潜在空间语义。我们采用两个潜在的空间来控制人脸的外观和调整所需的属性生成的脸。代替通过使用参考图像来约束翻译过程，用户可以命令模型通过在生成过程中涉及语义信息来修饰生成的图像。通过这种方式，我们的方法可以通过仅指定要更改的属性来操作单个或多个面属性。在CelebAMask-HQ数据集上的大量实验结果经验性地显示了我们在这项任务上的卓越性能和有效性。我们的方法成功地优于国家的最先进的方法，属性操纵，利用更大的控制属性强度。
2021-10-11 cs.CV
Memory-efficient GAN-based Domain Translation of High Resolution 3D Medical Images
University of Lübeck（吕贝克大学）
生成对抗网络（GANs）目前很少应用于大尺寸的3D医学图像，由于其巨大的计算需求。本工作提出了一种基于多尺度块的GAN方法，用于通过以存储高效的方式生成高分辨率的3D医学图像体积来建立不成对域平移。实现内存高效图像生成的关键思想是首先生成图像的低分辨率版本，然后生成大小不变但分辨率不断增加的补丁。为了避免补丁文物，并纳入全球信息，补丁生成的条件是补丁从以前的分辨率尺度。这些多尺度GANs经过训练，可以从图像草图生成逼真的图像，以便执行不成对的域翻译。这允许保留测试数据的拓扑并生成训练域数据的外观。在尺寸为155x240x240的脑部MRI和尺寸高达512x512x512的胸部CT上执行域平移场景的评价。与常见的基于补丁的方法相比，多分辨率方案能够实现更好的图像质量并防止补丁伪影。此外，它还确保了与图像大小无关的恒定GPU内存需求，允许生成任意大的图像。
2020-10-06 cs.CV cs.LG eess.IV
All's well that FID's well? Result quality and metric scores in GAN models for lip-sychronization tasks
Lund University（隆德大学）
我们测试了GAN模型的唇同步性能。为此，我们在Pytorch中重新实现LipGAN，在数据集GRID上对其进行训练，并将其与我们自己的变体L1 WGAN-GP进行比较，后者适应LipGAN架构并在GRID上进行训练。
2022-12-28 cs.CV stat.ML
Wide Flat Minimum Watermarking for Robust Ownership Verification of GANs
Jinan University（暨南大学）；University of Siena（锡耶纳大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出一种多比特无框GAN水印方法，通过训练时加入水印损失并迫使模型收敛到宽平坦极小值，实现对微调、剪枝、量化和代理模型攻击的鲁棒所有权验证。
2023-10-25 cs.AI cs.CV
Decorating Your Own Bedroom: Locally Controlling Image Generation with Generative Adversarial Networks
Zhejiang University（浙江大学）；The Chinese University of Hong Kong（香港中文大学）
生成对抗网络（GANs）在合成高质量图像方面取得了巨大成功。然而，如何引导经过良好训练的GAN模型的生成过程并定制输出图像的探索要少得多。最近已经发现，调制GANs中使用的输入潜码可以合理地改变输出图像中的一些变化因子，但是这种操纵通常呈现为整体上改变整个图像。在这项工作中，我们提出了一种有效的方法，称为LoGAN，以支持本地编辑的输出图像。具体地，我们引入两个算子，即，内容调制和风格调制，以及优先级掩码，以便于精确控制中间生成功能。以卧室合成为例，我们能够无缝地删除，插入，移动和旋转房间内的单个对象。此外，我们的方法可以完全清除一个房间，然后用定制的家具和风格重新装修它。实验结果表明，引导预训练的GANs的图像生成的通用图像编辑的巨大潜力。
2021-05-18 cs.CV cs.GR
Breathing Life Into Sketches Using Text-to-Video Priors
Tel-Aviv University（特拉维夫大学）；NVIDIA（英伟达）；Reichman University（赖希曼大学）
本研究提出一种利用大型预训练文本到视频扩散模型运动先验的方法，仅需文本提示即可自动为单主体草图生成可编辑的向量动画，通过双组件建模实现自然平滑的运动。
2023-11-21 cs.CV cs.GR cs.LG
SkrGAN: Sketching-rendering Unconditional Generative Adversarial Networks for Medical Image Synthesis
University of Chinese Academy of Sciences（中国科学院大学）；Inception Institute of Artificial Intelligence（启元人工智能研究院）；UBTech Research（优必选研究院）；ShanghaiTech University（上海科技大学）；Southern University of Science and Technology（南方科技大学）
生成对抗网络（GANs）具有合成图像的能力，已成功应用于医学图像合成任务。然而，大多数现有的方法仅仅考虑全局上下文信息，而忽略了精细的前景结构，例如，血管、骨骼，其可以包含用于医学图像分析的诊断指示符。受人类绘画过程中笔画和颜色渲染步骤的启发，提出了一种无条件生成对抗网络生成对抗网络（SkrGAN），引入草图先验约束来指导医学图像生成。在我们的SkrGAN中，草图引导模块用于从随机噪声中生成高质量的结构草图，然后使用颜色渲染映射来嵌入基于草图的表示并类似于背景外观。实验结果表明，SkrGAN在合成各种图像模式（包括视网膜彩色眼底、X射线、计算机断层扫描（CT）和磁共振成像（MRI））的图像方面达到了最先进的效果。此外，我们还表明，使用我们的合成图像作为数据增强的医学图像分割方法的性能得到了改善。
2019-08-06 cs.CV eess.IV
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University（博阿齐奇大学）
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中，我们提出了一个新的框架，生成对抗网络与条件神经运动原语（GAN-CNMP），它结合了一种新的对抗损失CNMP，以提高草图的平滑性和一致性。通过实验，我们证明了该模型可以用较少的未标记样本进行训练，可以在潜在空间中自动构造分布，并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Systematic Analysis of Image Generation using GANs
MIT College of Engineering（MIT工程学院）；MIT-WPU（马哈拉施特拉邦理工大学世界和平大学）
生成对抗网络在最近无监督学习的发展中至关重要。作为从文本或其他图像合成图像的示例，这些网络在性能方面比传统方法有了显着的改进。在对抗训练理念的基础上，这些网络的目标是从真实数据中估计潜在分布，然后将其作为输入来生成合成数据。基于这个基本原理，可以生成几个框架，这些框架是几个现实应用中的典范实现，例如艺术合成，高分辨率输出的生成和从人类绘制的草图合成图像，仅举几例。虽然理论上GANs提供了更好的结果，并证明在许多因素上优于传统方法，但为专用应用程序实现这些框架仍然是一个挑战。本研究探讨并提出了这些框架的分类，以及它们在各种图像到图像合成和文本到图像合成应用程序中的使用。批判性地分析了基本的GANs以及各种不同的利基框架。介绍了GANs用于图像生成的优点以及它们在其他框架中的缺点。还讨论了GANs在医疗保健、艺术和娱乐等行业的未来应用。
2019-08-30 cs.CV cs.LG eess.IV
Semantic Photo Manipulation with a Generative Image Prior
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；The Chinese University of Hong Kong（香港中文大学）
尽管最近GANs在合成基于用户草图、文本或语义标签等输入的图像方面取得了成功，但由于两个原因，使用GANs操纵现有自然照片的高级属性具有挑战性。首先，GANs很难精确地再现输入图像。第二，在操作之后，新合成的像素通常不适合原始图像。在本文中，我们通过将GANs学习的图像先验适应于单个图像的图像统计来解决这些问题。我们的方法可以准确地重建输入图像和合成新的内容，与输入图像的外观一致。我们展示了我们的交互式系统上的几个语义图像编辑任务，包括合成新的对象与背景一致，删除不需要的对象，并改变对象的外观。对现有的几种方法的定量和定性比较表明，我们的方法的有效性。
2020-09-12 cs.CV cs.GR cs.LG
Domain Disentangled Generative Adversarial Network for Zero-Shot Sketch-Based 3D Shape Retrieval
Nanjing University of Science and Technology（南京理工大学）
基于草图的三维形状检索是一个具有挑战性的任务，由于草图和三维形状之间的大的领域差异。由于现有的方法是在相同的类别上训练和评估的，因此它们不能有效地识别在训练期间未使用的类别。在本文中，我们提出了一种新的域解纠缠生成对抗网络（DD-GAN）的zero-shot草图为基础的3D检索，它可以检索在训练过程中没有访问的不可见的类别。具体来说，我们首先通过分解草图和3D形状的学习特征来生成域不变特征和域特定特征，其中域不变特征用于与相应的词嵌入对齐。然后，我们开发了一个生成对抗网络，该网络将所见类别的特定领域特征与对齐的领域不变特征相结合来合成样本，其中未见类别的合成样本通过使用相应的词嵌入来生成。最后，我们使用合成的不可见类别的样本与真实的可见类别的样本相结合，训练网络进行检索，使不可见类别可以识别。为了减少域偏移问题，我们利用未标记的未见过的样本，以提高识别器的区分能力。通过将生成的样本与未标记的未见过样本区分开，生成器可以生成更真实的未见过样本。在SHREC'13和SHREC'14数据集上的大量实验表明，该方法显着提高了不可见类别的检索性能。
2022-06-30 cs.CV
Control3Diff: Learning Controllable 3D Diffusion Models from Single-view Images
Apple（苹果公司）；Shandong University（山东大学）；Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
Control3Diff提出一种结合扩散模型与3D GAN优势的三维扩散模型，通过显式建模潜在分布实现对单视图图像合成过程的直接控制，无需辅助监督即可支持图像、草图和文本等多种条件输入。
2023-10-26 cs.CV cs.LG
A review of Generative Adversarial Networks (GANs) and its applications in a wide variety of disciplines -- From Medical to Remote Sensing
New Jersey Institute of Technology（新泽西理工学院）
我们研究了生成对抗网络（GAN），它在许多领域的流行变体和应用。GANs结合了两个使用零和博弈理论相互竞争的神经网络，使它们能够创建许多关键和离散的输出。GANs可用于执行图像处理、视频生成和预测以及其他计算机视觉应用。GANs还可用于各种科学相关活动，包括蛋白质工程、天文数据处理、遥感图像去雾和晶体结构合成。GANs取得进展的其他值得注意的领域包括金融、营销、时装设计、体育和音乐。因此，在本文中，我们将全面概述GANs在各种学科中的应用。我们首先介绍支持GAN的理论、GAN变体以及评估GANs的指标。然后，我们介绍了GAN及其变体如何应用于12个领域，从STEM领域，如天文学和生物学，到商业领域，如市场营销和金融，以及艺术，如音乐。因此，其他领域的研究人员可以掌握GANs的工作原理，并将其应用于自己的研究。据我们所知，本文提供了最全面的调查GAN的应用在不同领域。
2021-10-01 cs.AI cs.CV cs.LG
Dual-Domain Image Synthesis using Segmentation-Guided GAN
University of Bristol（布里斯托大学）
我们引入了一种分割指导的方法来合成图像，集成了来自两个不同领域的功能。由我们的双领域模型合成的图像属于语义掩码内的一个领域，并且属于图像的其余部分中的另一个领域-平滑地集成。我们建立在Few-Shot StyleGAN和单镜头语义分割的成功基础上，以最大限度地减少利用两个域所需的训练量。该方法结合了一个Few-Shot的跨域StyleGAN与潜在的优化器，以实现包含两个不同领域的特征的图像。我们使用分割引导的感知损失，它比较特定领域和双域合成图像之间的像素级和激活。结果定性和定量地表明，我们的模型能够在各种对象（人脸，马，猫，汽车），域（自然，漫画，草图）和基于部分的面具（眼睛，鼻子，嘴，头发，汽车发动机罩）上合成双域图像。该代码可在https://github.com/denabazazian/Dual-Domain-Synthesis上公开获取。
2022-04-19 cs.CV
Generative Semantic Manipulation with Contrasting GAN
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
生成对抗网络（GANs）最近在配对/非配对图像到图像的转换方面取得了显着的改进，例如照片$\rightarrow$草图和艺术家绘画风格的转换。然而，现有的模型只能传输低级信息（例如颜色或纹理变化），而不能编辑高级语义含义（例如，几何结构或内容）。另一方面，虽然一些研究可以合成令人信服的现实世界的图像，给定的类标签或标题，他们不能条件任意的形状或结构，这在很大程度上限制了他们的应用场景和模型结果的解释能力。在这项工作中，我们专注于一个更具挑战性的语义操作任务，其目的是修改对象的语义含义，同时保留其自身的特性（例如，观点和形状），如牛$\rightarrow$羊，汽车$\rightarrow$自行车，猫$\rightarrow$狗。为了解决这样大的语义变化，我们引入了一个对比GAN（对比GAN）与一个新的对抗性对比目标。与之前的GANs不同，我们的对抗对比目标优化了样本之间的距离比较，即强制操作数据在语义上更接近目标类别的真实数据，而不是输入数据。配备了新的对比度目标，提出了一种新的掩模条件对比度GAN架构，使解开图像背景与对象语义的变化。在ImageNet和MSCOCO数据集上进行的几个语义操作任务的实验表明，我们的对比GAN比其他条件GANs有相当大的性能提升。定量结果进一步证明了我们的模型在生成具有高视觉逼真度和合理对象语义的操作结果方面的优越性。
2017-08-01 cs.CV
DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data
Indian Institute of Science（印度科学院）
最近的一类用于生成图像的方法，称为生成对抗网络（GAN），已被用于生成对象、卧室、手写数字和各种其他图像模态的令人印象深刻的逼真图像。然而，典型的基于GAN的方法需要大量的训练数据来捕获图像模态的多样性。在本文中，我们提出了DeLiGAN --一种新的基于GAN的架构，用于不同和有限的训练数据场景。在我们的方法中，我们将潜在生成空间重新参数化为混合模型，并学习混合模型的参数以及GAN的参数。对GAN框架的这种看似简单的修改是令人惊讶的有效的，并且导致模型在生成的样本中实现多样性，尽管使用有限的数据进行训练。在我们的工作中，我们证明了DeLiGAN可以生成手写数字，对象和手绘草图的图像，所有这些都使用有限的数据量。为了定量表征生成的样本的类内多样性，我们还引入了一个修改后的版本的“inception-score”，已被发现与人类评估生成的样本相关的措施。
2017-06-07 cs.CV
AniFaceDrawing: Anime Portrait Exploration during Your Sketching
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
针对从不完整粗糙草图生成高质量动漫肖像的难题，提出基于StyleGAN隐空间探索的两阶段笔画级解耦渐进式S2I系统，可在手绘过程中实时生成对应高质量动漫肖像，经评估和用户研究验证了艺术创作辅助的有效性。
2023-06-13 cs.CV cs.GR
M3D-GAN: Multi-Modal Multi-Domain Translation with Universal Attention
SUNY Buffalo（纽约州立大学布法罗分校）；Microsoft Research（微软研究院）；Microsoft Cognition（微软认知）
生成对抗网络在跨模态/域翻译方面取得了重大进展。然而，通常这些网络是为特定任务（例如，对话生成或图像合成，但不是两者）。我们提出了一个统一的模型，M3 D-GAN，它可以在广泛的模式（例如，文本、图像和语音）和域（例如，图像中的属性或语音中的情感）。我们的模型包括模态转换器，将来自不同模态的数据转换为统一的表示，以及一个统一的计算主体，来自不同模态的数据共享相同的网络架构。我们引入了一个通用注意力模块，该模块与整个网络联合训练，并学会将大范围的领域信息编码到高度结构化的潜在空间中。我们用它来控制合成的新方法，如从草图中产生不同的现实图片或改变合成语音的情感。我们在广泛的基准任务上评估我们的方法，包括图像到图像，文本到图像，图像描述，文本到语音，语音识别和机器翻译。我们的研究结果显示了一些任务的最先进的性能。
2019-07-09 cs.CL cs.CV cs.LG
Interpolating GANs to Scaffold Autotelic Creativity
MIT Media Lab（麻省理工学院媒体实验室）
生成对抗网络（GANs）建模的潜在空间代表了一个很大的可能性空间。通过内插由GANs生成的类别，可以创建新颖的混合图像。我们提出了“满足的动物”，一个休闲的创作者建立在BigGAN的插值，可以生成新颖的，杂交动物称为动物有效地搜索这个可能性空间。与传统的休闲创作者一样，该系统支持简单的创意流程，鼓励快速探索可能性空间。用户可以发现新的动物，创建自己的动物，并分享他们对动物的美学，情感和形态特征的反应。当用户向系统提供输入时，系统适应并改变生成动物的类别的分布。作为第一批基于GAN的休闲创作者之一，Meet the Glanimals是休闲创作者如何利用人类策展和公民科学在大的可能性空间内发现新奇文物的一个例子。
2020-07-21 cs.AI cs.HC cs.LG
An Infinite Parade of Giraffes: Expressive Augmentation and Complexity Layers for Cartoon Drawing
MIT Media Lab（麻省理工学院媒体实验室）
在本文中，我们探讨了小数据约束下的创意图像生成。为了部分自动化创建符合特定设计师风格的卡通草图，其中获取一个非常大的原始图像集是不可能的或成本高昂，我们利用特定领域的知识，大大减少了原始图像的要求，创建一个有效的无限数量的卡通长颈鹿从九个原始图纸。我们为卡通草图引入了“表达性增强”，这是一种数学变换，可以创建广泛的域适当的变化，远远超出了通常的仿射变换，并且我们表明，在绘图或“复杂性层”的时间阶段训练的链式GANs模型可以有效地添加角色适当的细节，并以设计师的风格完成新的绘图。我们讨论了这些工具在纺织品，图形，建筑元素和室内设计的设计过程中的应用。
2018-11-08 cs.CV cs.GR cs.LG
FrePGAN: Robust Deepfake Detection Using Frequency-level Perturbations
Samsung SDS（三星SDS）；Chung-Ang University（中央大学）
已经提出了各种deepfake检测器，但是在训练设置之外检测未知类别或GAN模型的图像仍然存在挑战。这些问题源于过拟合问题，我们从自己的分析和以前的研究中发现，过拟合问题源于生成图像中的频率级伪影。我们发现，忽略频率级伪影可以提高检测器在各种GAN模型中的泛化能力，但它会降低训练后的GAN模型的模型性能。因此，我们设计了一个框架来概括已知和未知GAN模型的deepfake检测器。我们的框架生成的频率级扰动映射，使生成的图像与真实图像难以区分。通过更新deepfake检测器以及扰动生成器的训练，我们的模型被训练为在初始迭代时检测频率级伪影，并在最后迭代时考虑图像级不规则性。对于实验，我们设计了新的测试场景，这些场景与GAN模型中的训练设置、颜色操作和对象类别不同。大量实验验证了我们的deepfake检测器的最先进性能。
2022-02-07 cs.CV cs.LG eess.IV
Cross-scale Aligned Supervision for Training GANs
Sungkyunkwan University（全北大学）
针对GAN多尺度生成中跨尺度轨迹未对齐问题，提出CAT（跨尺度对齐Transformer），通过生成器侧一致性正则化对齐中间输出与最终输出，在ImageNet-256上实现FID-50K为1.56。
2026-05-26 cs.AI cs.CV
Insta(nt) Pet Therapy: GAN-generated Images for Therapeutic Social Media Content
Stanford University（斯坦福大学）
本文提出用GAN框架大规模生成宠物图像并发布到Instagram，验证其用户参与度与传统宠物照片相当，证明其可用于宠物疗法社交媒体内容。
2023-04-17 cs.AI cs.CV
Supervised GAN Watermarking for Intellectual Property Protection
Nanjing University of Information Science and Technology（南京信息工程大学）；Jinan University（暨南大学）；University of Siena（锡耶纳大学）
提出了一种用于生成对抗网络（GANs）知识产权保护的水印算法。目的是对GAN模型加水印，以便GAN生成的任何图像都包含不可见的水印（签名），可以在稍后阶段检查图像中是否存在水印，以进行所有权验证。为了实现这一目标，在生成器的输出处插入预训练的CNN水印解码块。然后通过包括水印损失项来修改生成器损失，以确保可以从生成的图像中提取规定的水印。水印的嵌入是通过微调，降低了时间复杂度。实验结果表明，该方法可以有效地在生成的图像中嵌入不可见水印。此外，我们的方法是一个通用的，可以与不同的GAN架构，不同的任务，和不同分辨率的输出图像。我们还展示了良好的鲁棒性性能的嵌入式水印对几个后处理，其中，JPEG压缩，噪声添加，模糊，和颜色变换。
2022-09-07 cs.AI cs.CV
Train Sparsely, Generate Densely: Memory-efficient Unsupervised Training of High-resolution Temporal GAN
在视频数据集上训练生成对抗网络（GAN）是一个挑战，因为数据集的庞大规模和每个观察的复杂性。一般来说，训练GAN的计算成本与分辨率呈指数关系。在这项研究中，我们提出了一种新的内存有效的方法无监督学习的高分辨率视频数据集的计算成本仅与分辨率成线性比例。我们通过将生成器模型设计为一堆小型子生成器并以特定方式训练模型来实现这一点。我们用每个子生成器自己的特定参数来训练每个子生成器。在训练时，我们在每对连续的子生成器之间引入一个辅助子采样层，该层将帧速率降低一定比例。该过程可以允许每个子生成器学习视频在不同分辨率水平下的分布。我们也只需要几个GPU就可以训练一个高度复杂的生成器，它在初始得分方面远远超过了前代产品。
2020-06-01 cs.CV
High-fidelity GAN Inversion with Padding Space
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；CUHK（香港中文大学）；HKUST（香港科技大学）；University College London（伦敦大学学院）；ByteDance Inc.（字节跳动公司）
反转生成对抗网络（GAN）使用预训练的生成器促进了广泛的图像编辑任务。现有方法通常采用GANs的潜在空间作为反演空间，但观察到空间细节的恢复不足。在这项工作中，我们建议涉及生成器的填充空间，以补充空间信息的潜在空间。具体地，我们替换常量填充（例如，通常为零），其用于具有某些实例感知系数的卷积层。通过这种方式，预先训练的模型中假设的感应偏差可以适当地适应每个单独的图像。通过学习一个精心设计的编码器，我们设法提高反演质量的定性和定量，优于现有的替代品。然后，我们证明了这样的空间扩展几乎不影响原生GAN流形，因此我们仍然可以将GANs学习的先验知识用于各种下游应用。除了在现有技术中探索的编辑任务之外，我们的方法允许更灵活的图像操纵，例如面部轮廓和面部细节的单独控制，并且实现了用户可以高效地定制他们自己的操纵的新颖的编辑方式。
2022-07-27 cs.CV
