Styleformer: Transformer based Generative Adversarial Networks with Style Vector
mAy-I Inc.(mAy-I公司);MINDsLab Inc.(MINDsLab公司)
我们提出了Styleformer,这是一个基于风格的生成器的GAN架构,但卷积自由transformer为基础的发电机。在我们的论文中,我们解释了Transformer如何生成高质量的图像,克服了卷积运算难以捕获图像中全局特征的缺点。此外,我们改变了StyleGAN 2的解调并修改了现有的Transformer结构(例如,残余连接、层归一化)来创建具有无卷积结构的基于强样式的生成器。我们还通过应用Linformer使Styleformer更轻,使Styleformer能够生成更高分辨率的图像,并在速度和内存方面有所改进。我们使用CIFAR-10等低分辨率图像数据集以及LSUN-church等高分辨率图像数据集进行实验。Styleformer在CIFAR-10上记录了FID 2.82和IS 9.94,这是一个基准数据集,其性能与当前最先进的性能相当,并且优于所有基于GAN的生成模型,包括StyleGAN 2-ADA,无条件设置的参数较少。我们还分别在STL-10和CelebA上使用FID 15.17、IS 11.01和FID 3.66实现了新的最先进技术。我们在https://github.com/Jeeseung-Park/Styleformer上发布代码。
2022-04-05 cs.CV eess.IV
Generative Adversarial Networks for photo to Hayao Miyazaki style cartoons
Jönköping University(延雪平大学)
本文通过实现CartoonGAN的前期工作,将卡通图像的风格转换为现实生活中的摄影图像。我们在吉卜力工作室的宫崎骏作品中训练了一个生成对抗网络(GAN)超过60000张图像。为了评估我们的结果,我们进行了一项定性调查,将我们的结果与两种最先进的方法进行比较。117项调查结果表明,我们的模型在卡通形象方面的平均排名超过了最先进的方法。
2020-05-15 cs.GR cs.LG eess.IV
StyleGAN3: Generative Networks for Improving the Equivariance of Translation and Rotation
本研究比较StyleGAN2与两个StyleGAN3变体在FFHQ数据集上的性能,使用FID、EQ-T和EQ-R评估,发现StyleGAN3能更好改善平移和旋转等变性,对动画和视频创作有积极影响。
2024-02-06 cs.CV eess.IV
Deepfake Style Transfer Mixture: a First Forensic Ballistics Study on Synthetic Images
University of Catania(卡塔尼亚大学);iCTLab Spinoff of University of Catania(卡塔尼亚大学iCTLab衍生公司);Banca d’Italia(意大利银行)
最近基于生成架构的风格转移技术能够获得合成多媒体内容,或通常称为deepfakes,几乎没有伪影。研究人员已经证明,合成图像包含的模式不仅可以确定它是否是deepfake,还可以确定用于创建图像数据本身的生成架构。这些痕迹可以用来研究在deepfakes背景下从未解决过的问题。为此,本文提出了第一种方法来研究受风格转移操作影响的深度伪造图像的图像弹道学。具体来说,本文描述了一种研究,检测多少次的数字图像已处理的生成架构的风格转移。此外,为了准确地解决和研究deepfake图像上的法医弹道学,研究了样式转移操作的一些数学性质。
2022-03-18 cs.CV cs.LG eess.IV
LoGANv2: Conditional Style-Based Logo Generation with Generative Adversarial Networks
Maastricht University(马斯特里赫特大学)
像logo合成这样的领域,数据具有高度的多模态性,仍然对生成对抗网络(GANs)构成挑战。最近的研究表明,渐进式训练(ProGAN)和映射网络扩展(StyleGAN)可以提高高维问题的训练稳定性,并在嵌入的潜在空间内实现更好的特征分离。然而,这些架构对网络输出的整形控制有限,这在徽标合成的情况下是不期望的特性。本文探讨了StyleGAN架构的条件扩展,其目的是首先改进以前研究的低分辨率结果,其次通过使用合成类条件来提高输出的可控性。此外,提取类条件的方法进行了探索,重点是人类的可解释性,其中的挑战在于,从本质上讲,视觉标志的特点是很难定义的事实。引入的基于条件样式的生成器架构在两个实验中对提取的类条件进行训练,并相对于无条件模型的性能进行研究。结果表明,虽然无条件模型与训练分布更接近,但高质量的条件能够将更精细的细节嵌入到潜在空间中,从而产生更多样化的输出。
2019-09-22 cs.CV cs.LG eess.IV
MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis
近年来,生成对抗网络(GANs)的使用在生成图像建模中变得非常流行。虽然基于样式的GAN架构在高保真图像合成中产生最先进的结果,但在计算上,它们是高度复杂的。在我们的工作中,我们专注于基于风格的生成模型的性能优化。我们分析了StyleGAN 2中计算最困难的部分,并提出了对生成器网络的更改,以便在边缘设备中部署基于风格的生成网络。我们引入了MobileStyleGAN架构,它的参数比StyleGAN 2少3.5倍,计算复杂度比StyleGAN 2低9.5倍,同时提供相当的质量。
2021-09-09 cs.CV eess.IV
Stain Style Transfer of Histopathology Images Via Structure-Preserved Generative Learning
University of Toronto(多伦多大学);University of Alberta(阿尔伯塔大学)
计算机组织病理学图像诊断变得越来越流行和重要,其中图像被分割或分类用于疾病诊断。虽然病理学家不与幻灯片中的颜色变化作斗争,但计算解决方案通常会遇到这个关键问题。为了解决组织病理学图像中的颜色变化问题,本研究提出了两种基于生成对抗网络的染色风格转移模型,SSIM-GAN和DSCSI-GAN。通过合作的结构保存度量和反馈的辅助诊断网络在学习中,医学相关的信息所呈现的图像纹理,结构和色度对比度的功能被保留在颜色归一化的图像。特别是,我们的DSCSI-GAN模型中对彩色图像内容的智能处理有助于在由于组织物质共定位而导致染色混合的图像区域实现显着的标准化改进。对公共组织病理学图像集的广泛实验表明,我们的方法在生成更染色一致的图像,更好地保留图像中的组织学信息,并获得显着更高的学习效率方面优于现有技术。我们的python实现发布在https://github.com/hanwen0529/DSCSI-GAN上。
2020-07-24 cs.CV cs.LG eess.IV
Painting Style-Aware Manga Colorization Based on Generative Adversarial Networks
Tokyo University of Science(东京理科大学);The University of Tokyo(东京大学);Mantra Inc.(Mantra公司)
日本漫画(称为manga)传统上以单色格式创作。近年来,除了单色漫画外,还出现了更吸引人的媒介--全彩漫画。不幸的是,彩色漫画需要人工着色,这会产生很高的劳动力成本。虽然最近已经提出了自动着色方法,但大多数方法都是针对插图而设计的,而不是针对漫画。与插图不同,由于漫画是由许多连续的图像组成的,因此绘画风格必须一致。为了实现一致的彩色化,本文提出了一种基于生成对抗网络(GAN)的半自动彩色化方法,该方法从少量的训练数据中学习特定漫画的绘画风格。所提出的方法以一对屏幕色调图像和一个平面彩色图像作为输入,并输出一个彩色图像。实验结果表明,该方法取得了更好的性能比现有的替代品。
2021-07-16 cs.CV eess.IV
Unsupervised Discovery of Semantic Concepts in Satellite Imagery with Style-based Wavelet-driven Generative Models
The Cyprus Institute(塞浦路斯研究所);National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学)
近年来,生成对抗网络(GANs)领域取得了相当大的进步,特别是随着基于风格的架构的出现,这些架构解决了许多关键缺点-无论是在建模能力还是网络可解释性方面。尽管有这些改进,但在卫星图像领域采用这些方法并不容易。生成任务中使用的典型视觉数据集是对齐和注释良好的,并且表现出有限的可变性。相比之下,卫星图像具有很大的空间和光谱变化性,广泛存在精细的高频细节,而注释卫星图像的繁琐性质导致注释稀缺-进一步激励无监督学习的发展。有鉴于此,我们提出了第一个预先训练的风格和基于小波的GAN模型,该模型可以在各种设置和条件下轻松合成各种逼真的卫星图像,同时还保留了高频信息。此外,我们还表明,通过分析网络的中间激活,可以发现大量可解释的语义方向,这些方向有助于根据高级概念(例如,城市化),而不使用任何形式的监督。通过一组定性和定量实验,我们证明了我们的框架的有效性,在下游任务(例如,数据增强)、合成图像的质量以及对看不见的数据集的泛化能力。
2022-08-03 cs.CV cs.LG eess.IV
Efficient Hair Style Transfer with Generative Adversarial Networks
University of Ege(爱琴海大学);Syntonym;Huawei(华为)
尽管最近使用生成对抗网络(GANs)成功地实现了图像生成和风格转移,但由于人类头发在野外条件下的形状和风格可变性,头发合成和风格转移仍然具有挑战性。目前最先进的头发合成方法难以保持目标风格的全局组成,并且由于其在高分辨率肖像图像上的高运行成本而不能用于实时应用。因此,我们提出了一种新的发型转移方法,称为EHGAN,它降低了计算成本,使实时处理,同时提高了发型的转移与更好的全局结构相比,其他国家的最先进的头发合成方法。为了实现这一目标,我们训练编码器和低分辨率生成器来传输发型,然后使用预训练的超分辨率模型来提高结果的分辨率。我们利用自适应实例规范化(AdaIN)和设计我们的新的头发混合块(HBB),以获得最佳性能的生成器。EHGAN所需的时间消耗分别比最先进的EHGAN和LOHO方法少约2.7倍和超过10,000倍,同时获得比竞争对手更好的照片真实感和结构相似性。
2022-10-22 cs.CV eess.IV
Album cover art image generation with Generative Adversarial Networks
生成对抗网络(GANs)是由Goodfellow在2014年提出的,从那时起,它已经成为构建生成式人工智能模型的热门方法。然而,这样的网络的缺点是很多的,像它们的较长的训练时间,它们对超参数调整的敏感性,几种类型的损失和优化函数以及其他困难,如模式坍塌。GANs目前的应用包括生成照片般逼真的人脸、动物和物体。然而,我想通过使用现有的模型并从中学习,更详细地探索GANs的艺术能力。本论文涵盖了神经网络的基础知识,并致力于GANs的特定方面,以及对现有模型的实验和修改,从最不复杂到最复杂。我们的目的是看看最先进的GANs(特别是StyleGAN 2)是否可以生成专辑封面,以及是否可以根据流派对其进行定制。这是通过首先熟悉3个现有的GANs架构来尝试的,包括最先进的StyleGAN2。StyleGAN 2代码用于训练一个包含80K专辑封面图像的数据集的模型,然后通过挑选精选图像并混合它们的风格来设计图像。
2022-12-09 cs.AI cs.CV cs.LG
SWAGAN: A Style-based Wavelet-driven Generative Model
Tel-Aviv University(特拉维夫大学)
近年来,生成对抗网络(GANs)的视觉质量取得了相当大的进展。即便如此,这些网络仍然遭受来自频谱偏置架构的高频内容的质量降级,以及类似的不利损失函数。为了解决这个问题,我们提出了一种新型的通用风格和基于Wavelet的GAN(SWAGAN),它在频域中实现渐进生成。SWAGAN在其生成器和嵌入式架构中集成了小波,在每一步都实施了频率感知的潜在表示。这种方法产生增强的视觉质量的生成的图像,并大大提高了计算性能。我们通过将其集成到SyleGAN2框架中来展示我们的方法的优势,并验证小波域中的内容生成会产生具有更真实高频内容的更高质量图像。此外,我们验证了我们的模型的潜在空间保留了允许StyleGAN作为众多编辑任务的基础的质量,并表明我们的频率感知方法也提高了下游视觉质量。
2021-02-11 cs.CV eess.IV
Resolution enhancement in the recovery of underdrawings via style transfer by generative adversarial deep neural networks
University College London(伦敦大学学院);Oxia Palus(Oxia Palus公司);University of Cambridge(剑桥大学)
我们应用生成对抗卷积神经网络的风格转移到艺术绘画的x射线中的底画和重影图像的问题,特别注重提高其空间分辨率。我们建立在针对从语义标签映射合成高分辨率照片级真实图像的相关问题开发的神经架构的基础上。我们的神经架构通过生成器和子网络的层次结构实现了高分辨率,在一系列空间分辨率下工作。这种从粗到精的生成器架构可以在每个空间方向上将有效分辨率增加八倍,或者将像素数量总体增加64倍。我们还表明,即使只是几个例子,人类生成的图像分割可以大大提高-定性和定量-生成的图像。我们展示了我们的方法,如莱昂纳多的康乃馨的麦当娜和他的岩石圣母,其中提出了几个特殊的问题,在风格转移,包括缺乏代表性的作品,从中学习和转移风格信息的画。
2021-01-30 cs.CV eess.IV
Prior image-based medical image reconstruction using a style-based generative adversarial network
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
计算机医学成像系统需要用于图像形成的计算重建过程。为了在记录的测量不完整时恢复待成像物体的有用估计,必须利用关于物体性质的先验知识。为了改善不适定成像逆问题的条件,正在积极研究深度学习方法,以更好地表示对象先验和约束。这项工作提出了使用基于风格的生成对抗网络(StyleGAN),以约束图像重建问题的情况下,额外的信息在一个受追捧的对象的先验图像的形式是可用的。在StyleGAN的中间潜在空间中制定优化问题,该优化问题相对于有意义的图像属性或“样式”(诸如磁共振成像(MRI)中使用的对比度)被解开。在解纠缠的潜在空间中测量所寻求的图像和先前图像之间的离散性,并且用于以解纠缠的潜在空间的特定样式上的约束的形式来正则化逆问题。一个程式化的数值研究的灵感来自MR成像的设计,其中所追求的和以前的图像在结构上是相似的,但属于不同的对比机制。所提出的数值研究表明,所提出的方法相比,传统的度量形式的经典方法的优越性。
2022-02-17 cs.CV eess.IV physics.med-ph
Microstructure synthesis using style-based generative adversarial network
工作考虑使用StyleGAN架构的微观结构合成的任务。任务如下:给定结构的样本数量,我们尝试在保持其属性的同时生成类似的样本。由于所考虑的架构是不能产生的样本的大小大于训练图像,我们建议使用图像绗缝合并固定大小的样本。所考虑的架构的关键特征之一是,它使用多个图像分辨率。我们也探讨了这种做法的必要性。
2019-09-16 cs.NA eess.IV math.NA
3D Segmentation Guided Style-based Generative Adversarial Networks for PET Synthesis
Beihang University(北京航空航天大学);Tsinghua University(清华大学);Microsoft Research(微软研究院)
针对低剂量PET转全剂量问题,提出SGSGAN,通过风格调制生成器和分割任务联合引导提升图像纹理及感兴趣区域合成质量。
2022-05-18 cs.CV eess.IV
SMAPGAN: Generative Adversarial Network Based Semi-Supervised Styled Map Tiles Generating Method
Wuhan University(武汉大学);Central South University(中南大学)
在互联网上广泛使用的传统在线地图瓦片,如谷歌地图和百度地图,都是从矢量数据中渲染出来的。从矢量数据中及时更新在线地图瓦片是一项困难的任务,其生成是耗时的。利用遥感影像及时生成地图分块是一条捷径,它可以在不需要矢量数据的情况下实时获取。然而,这个任务曾经是具有挑战性的,甚至是不可能的。受基于生成对抗网络(GAN)的图像到图像转换(img2img)技术的启发,提出了一种基于生成对抗网络(SMAPGAN)模型的半监督风格化地图瓦片生成方法,直接从遥感图像生成风格化地图瓦片。在这个模型中,我们设计了一个半监督学习策略,在丰富的未配对样本上对SMAPGAN进行预训练,并在现实中有限的配对样本上对其进行微调。我们还设计了图像梯度L1损失和图像梯度结构损失,以生成具有全局拓扑关系和详细的对象的边缘曲线,这是重要的制图风格的地图瓦片。此外,我们提出了边缘结构相似性指数(ESSI)作为一个度量来评估生成的地图瓦片和地面实况之间的拓扑一致性的质量。实验结果表明,SMAPGAN优于国家的最先进的(SOTA)作品根据均方误差,结构相似性指数,和ESSI。此外,SMAPGAN赢得了更多的认可比SOTA在人类感知测试的视觉现实主义的地图。我们的工作表明,SMAPGAN是一个潜在的新范式,以产生风格的地图瓦片。我们的SMAPGAN实现可在https://github.com/imcsq/SMAPGAN上获得。
2021-04-01 cs.LG eess.IV stat.ML
Generative Joint Source-Channel Coding for Semantic Image Transmission
Imperial College London(帝国理工学院);Huawei Technologies Co., Ltd.(华为技术有限公司)
最近的工作表明,使用深度神经网络(DNN)的联合信源信道编码(JSCC)方案(称为DeepJSCC)在无线图像传输中提供了有希望的结果。然而,这些方法主要集中在相对于输入图像的重构信号的失真,而不是它们的感知由人类。然而,仅仅关注传统的失真度量不一定会导致高感知质量,特别是在极端的物理条件下,例如非常低的带宽压缩比(BCR)和低信噪比(SNR)状态。在这项工作中,我们提出了两种新的JSCC方案,利用深度生成模型(DGMs)的感知质量进行无线图像传输,即InverseJSCC和GenerativeJSCC。前者是DeepJSCC的逆问题方法,后者是端到端优化的JSCC方案。在这两种情况下,我们优化了加权和的均方误差(MSE)和学习感知图像补丁相似性(LPIPS)的损失,捕捉更多的语义相似性比其他失真指标。InverseJSCC通过使用基于样式的生成对抗网络(StyleGAN)解决逆优化问题,对DeepJSCC模型的失真重建进行去噪。我们的模拟结果表明,InverseJSCC在边缘情况下的感知质量方面显着提高了最先进的(SotA)DeepJSCC。在GenerativeJSCC中,我们对编码器和基于StyleGAN的解码器进行了端到端训练,并证明GenerativeJSCC在失真和感知质量方面都明显优于DeepJSCC。
2022-11-24 cs.AI cs.LG eess.IV
StyleGAN-induced data-driven regularization for inverse problems
University of Cambridge(剑桥大学)
生成对抗网络(GANs)的最新进展为生成以前不可能生成的高分辨率照片级逼真图像提供了可能性。GANs从高维分布中采样的能力自然促使研究人员利用它们的能力在逆问题中对图像进行建模。我们通过开发贝叶斯图像重建框架来扩展这一研究路线,该框架利用了预训练的StyleGAN 2生成器的全部潜力,该生成器是目前占主导地位的GAN架构,用于构建底层图像的先验分布。我们提出的方法,我们称之为学习贝叶斯重建与生成模型(L-BRGM),需要对样式代码和输入潜在代码进行联合优化,并通过允许样式代码对于不同的生成器层是不同的来增强预训练的StyleGAN 2生成器的表达能力。考虑到图像修补和超分辨率的逆问题,我们证明了所提出的方法与最先进的基于GAN的图像重建方法相比具有竞争力,有时甚至更优越。
2021-10-07 cs.CV eess.IV
Style transfer between Microscopy and Magnetic Resonance Imaging via Generative Adversarial Network in small sample size settings
Sano – Centre for Computational Personalised Medicine(Sano 个性化医学计算中心)
提出基于cGAN的框架,在小样本量下实现从人类胼胝体MRI扫描生成显微组织学图像的跨模态转换,可靠合成高分辨率组织学图像,为避免活检的教育目的提供新工具。
2025-08-12 cs.CV eess.IV