HistoGAN: Controlling Colors of GAN-Generated and Real Images via Color Histograms
York University(约克大学)
虽然生成对抗网络(GANs)可以成功地生成高质量的图像,但它们的控制可能具有挑战性。简化基于GAN的图像生成对于它们在平面设计和艺术作品中的采用至关重要。这一目标引起了人们对能够直观地控制由GANs生成的图像外观的方法的极大兴趣。在本文中,我们提出了HistoGAN,这是一种基于颜色直方图的方法,用于控制GAN生成的图像的颜色。我们专注于颜色直方图,因为它们提供了一种直观的方式来描述图像颜色,同时保持与特定领域的语义解耦。具体来说,我们引入了对最近StyleGAN架构的有效修改,以控制由目标颜色直方图特征指定的GAN生成的图像的颜色。然后,我们描述了如何扩展HistoGAN来重新着色真实图像。对于图像拼接,我们与HistoGAN一起联合训练编码器网络。ReHistoGAN模型是一种无监督的方法,用于鼓励网络保持原始图像的内容,同时根据给定的目标直方图改变颜色。我们表明,这种基于直方图的方法提供了一种更好的方法来控制GAN生成的和真实图像的颜色,同时与现有的替代策略相比,产生更引人注目的结果。
2021-03-27 cs.CV
General GAN-generated image detection by data augmentation in fingerprint domain
Jinan University(暨南大学);Nanjing University of Information Science and Technology(南京信息工程大学)
本文提出在指纹域进行数据增强以提升 GAN 生成图像检测器的泛化能力,通过自编码器分离图像指纹与内容并对指纹施加扰动,有效检测未知 GAN 生成的假图像。
2023-04-09 cs.CV
Level Up the Deepfake Detection: a Method to Effectively Discriminate Images Generated by GAN Architectures and Diffusion Models
University of Catania(卡塔尼亚大学);Banca d'Italia(意大利银行)
图像深度伪造检测任务已被科学界广泛解决,以区分真实图像与人工智能(AI)模型生成的图像:二进制分类任务。在这项工作中,通过收集由9种不同的生成对抗网络(GAN)架构和4种额外的扩散模型(DM)生成的原始图像和假图像的专用数据集来研究deepfake检测和识别任务。然后,引入了一种分层多层次方法来解决三种不同的深度伪造检测和识别任务:(i)生成的真实与AI;(ii)GANs与DM;(iii)AI特定架构识别。实验结果表明,在每种情况下,超过97%的分类准确率,优于最先进的方法。
2023-03-01 cs.CV
ForensicConcept: Transferable Forensic Concepts for AIGI Detection
University of Science and Technology of China(中国科学技术大学)
提出ForensicConcept框架,通过Transformer归因定位关键补丁、构建概念码本并利用扩散特征对齐,实现AI生成图像检测中可迁移取证概念的提取与跨骨干网络迁移。
2026-06-05 cs.CV
Stylized Projected GAN: A Novel Architecture for Fast and Realistic Image Generation
KAUST(阿卜杜拉国王科技大学)
针对Projected GANs生成图像存在伪影降低质量的问题,提出Stylized Projected GANs架构,将Style GANs映射网络与Fast GAN的Skip Layer Excitation集成于生成器中以消除伪影。
2023-07-30 cs.CV
Incremental learning for the detection and classification of GAN-generated images
University Federico II of Naples(那不勒斯费德里科二世大学);University of Trento(特伦托大学)
当前计算机视觉和深度学习的发展允许自动生成超现实图像,几乎无法与真实图像区分开来。特别是,人脸生成实现了惊人的真实感水平,为创意产业开辟了新的机会,但与此同时,这些内容可能被恶意滥用的新可怕场景。因此,它是必不可少的,以开发创新的方法来自动区分真正的计算机生成的多媒体,可能能够遵循的演变和不断改进的数据的质量和现实主义。在过去的几年里,已经针对这个问题提出了几种基于深度学习的解决方案,大多基于卷积神经网络(CNN)。尽管在受控条件下效果良好,但尚不清楚这些建议如何适应现实世界的场景,因为随着新类型的生成数据的出现,学习需要不断发展。在这项工作中,我们通过提出一种基于增量学习的方法来解决这个问题,以检测和分类GAN生成的图像。在由几种基于GAN的架构生成的图像组成的数据集上的实验表明,当新的GANs被提交给网络时,所提出的方法能够正确地执行区分
2019-10-06 cs.CV
Robust Attentive Deep Neural Network for Exposing GAN-generated Faces
University at Albany, State University of New York(纽约州立大学奥尔巴尼分校);University at Buffalo, State University of New York(纽约州立大学布法罗分校);Keya Medical(科亚医疗)
基于GAN的生成和合成真实人脸的技术已经引起了严重的社会关注和安全问题。现有的用于检测GAN生成的人脸的方法可以在有限的公共数据集上表现良好。然而,来自现有公共数据集的图像在视图变化和数据分布方面并不能很好地代表真实世界的场景(其中真实面孔的数量大大超过合成面孔)。现有的检测方法在实际问题中普遍性不好,检测结果缺乏可解释性。当面对不平衡的数据分布时,现有的GAN人脸检测模型的性能显着下降。为了解决这些缺点,我们提出了一个强大的,专注的,端到端的网络,可以通过分析他们的眼睛不一致来发现GAN生成的人脸。具体来说,我们的模型通过自动定位和比较两只眼睛之间的虹膜伪影来学习识别不一致的眼睛组件。我们的深度网络通过联合考虑AUC损失和传统的交叉熵损失来解决不平衡学习问题。FFHQ数据集的平衡和不平衡的情况下的综合评价证明了所提出的方法的优越性。
2022-02-12 cs.CV
GAN-generated Faces Detection: A Survey and New Perspectives
University at Buffalo, SUNY(纽约州立大学布法罗分校);University at Albany, SUNY(纽约州立大学奥尔巴尼分校);Indiana University–Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
针对GAN生成逼真人脸被用于虚假信息的问题,本文全面综述GAN人脸检测的最新进展,将现有方法分为四类并总结核心思路,同时探讨开放问题与未来研究方向。
2023-11-09 cs.CV
GAN-Control: Explicitly Controllable GANs
Amazon(亚马逊)
我们提出了一个训练GANs的框架,对生成的图像进行显式控制。我们能够通过设置确切的属性(如年龄,姿势,表情等)来控制生成的图像。大多数编辑GAN生成的图像的方法都是通过利用潜在的空间解纠缠属性来实现部分控制的,这些属性是在标准GAN训练后隐式获得的。这种方法能够改变某些属性的相对强度,但不显式地设置它们的值。最近提出的方法,旨在显式控制人脸,利用变形的3D人脸模型,以允许在GANs细粒度的控制能力。与这些方法不同的是,我们的控制是不受约束的变形三维人脸模型参数,并可扩展到人类面部以外的领域。使用对比学习,我们获得了具有显式解纠缠潜在空间的GANs。这种解纠缠被用来训练控制编码器,将人类可解释的输入映射到合适的潜在向量,从而允许显式控制。在人脸领域,我们展示了对身份,年龄,姿势,表情,头发颜色和照明的控制。我们还展示了我们的框架在绘画肖像和狗图像生成领域的控制能力。我们证明了我们的方法在定性和定量上都达到了最先进的性能。
2021-10-03 cs.CV
CADA-GAN: Context-Aware GAN with Data Augmentation
ETH Zurich(苏黎世联邦理工学院)
当前的儿童面部生成器受到可用数据集的有限大小的限制。此外,特征选择可以被证明是一个重大的挑战,特别是由于需要训练的大量特征。为了管理这些问题,我们提出了CADA-GAN,一个\textbf{C}上下文- \textbf{A}件GAN,允许最佳特征提取,具有来自额外\textbf{D}数据\textbf{A}增强的鲁棒性。CADA-GAN是从流行的StyleGAN 2-Ada模型改编而来的,关注于父图像的增强和分割。该模型具有最低的\textit{Mean Squared Error Loss}(MSEloss)的潜在特征表示和生成的子图像是强大的基线模型相比,从生成的。
2023-01-21 cs.CV
ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing
Adobe Research(奥多比研究院);Carnegie Mellon University(卡内基梅隆大学);Argo AI(阿尔戈人工智能公司)
我们解决的问题,找到现实的几何校正的前景对象,使它看起来自然合成到一个背景图像。为了实现这一目标,我们提出了一种新的生成对抗网络(GAN)架构,该架构利用空间Transformer网络(STNs)作为生成器,我们称之为空间Transformer GANs(ST-GANs)。ST-GAN通过在几何扭曲参数空间中操作来寻求图像真实感。特别是,我们利用了一个迭代的扭曲方案,并提出了一个顺序的训练策略,实现了更好的结果相比,一个单一的发电机天真的训练。ST-GAN的主要优点之一是其间接适用于高分辨率图像,因为预测的扭曲参数在参考帧之间是可转移的。我们在两个应用中展示了我们的方法:(1)可视化室内家具(例如,从产品图像)在房间中的感知方式,(2)当与真实肖像匹配时,眼镜等配件的外观会产生幻觉。
2018-03-05 cs.CV cs.LG
UQGAN: A Unified Model for Uncertainty Quantification of Deep Classifiers trained via Conditional GANs
TU Dortmund University(多特蒙德工业大学);EPFL(洛桑联邦理工学院);University of Wuppertal(伍珀塔尔大学)
我们提出了一种基于生成对抗网络(GANs)的方法,用于量化图像分类中深度神经网络的任意和认知不确定性。虽然文献中使用GANs生成分布外(OoD)示例的大多数作品仅关注OoD检测的评估,但我们提出了一种基于GAN的方法来学习分类器,该分类器为OoD示例以及假阳性(FP)产生适当的不确定性。我们不是用最先进的GAN生成的OoD示例屏蔽整个分布数据,而是用条件GAN生成的类外示例分别屏蔽每个类,并用一个对所有图像分类器对其进行补充。在我们的实验中,特别是在CIFAR10,CIFAR100和Tiny ImageNet上,我们改进了最先进的基于GAN训练的分类器的OoD检测和FP检测性能。此外,我们还发现生成的GAN示例不会显着影响分类器的校准误差,并导致模型准确性显着提高。
2023-01-09 cs.CV
APE-GAN: Adversarial Perturbation Elimination with GAN
Institute of Computing Technology Chinese Academy of Sciences(中国科学院计算技术研究所)
虽然神经网络在识别图像时可以实现最先进的性能,但它们经常遭受对抗性示例的巨大失败-通过利用不可察觉但故意的扰动来从数据集中清除样本而产生的输入。如何对对抗性实例进行防御是一个值得研究的重要问题。到目前为止,很少有方法能为对抗性示例提供有效的防御。本文提出了一种新的思想,并实现了一个有效的框架,基于生成的对抗网络命名为APE-GAN对抗的例子。在MNIST、CIFAR 10和ImageNet三个基准数据集上的实验结果表明,APE-GAN能够有效地抵抗由五种攻击生成的对抗性示例。
2017-09-26 cs.CV
Dynamics Transfer GAN: Generating Video by Transferring Arbitrary Temporal Dynamics from a Source Video to a Single Target Image
KAIST(韩国科学技术院)
在本文中,我们提出了动态传输GAN;一种基于生成对抗学习的视频序列生成新方法。从目标图像获取所生成的视频序列的空间构造。所生成的视频序列的动态从源视频序列导入,具有任意运动,并施加到目标图像上。为了保持目标图像的空间结构,源视频序列的外观被抑制,并且在被施加到目标图像上之前仅获得动态。这是使用所提出的外观抑制动态特征来实现的。此外,生成的视频序列的空间和时间的离散性通过两个离散性网络进行了验证。一个验证器验证所生成的帧外观的保真度,而另一个验证所生成的视频序列的动态一致性。通过实验验证了该方法生成的视频序列的质量。实验结果表明,动态转换GAN在生成输出视频序列时,成功地将源视频序列的任意动态特性转换到目标图像上。实验结果还表明,动态传输GAN保持目标图像的空间结构(外观),同时生成空间和时间一致的视频序列。
2017-12-10 cs.CV
Signature and Log-signature for the Study of Empirical Distributions Generated with GANs
Centre for Intelligent Multidimensional Data Analysis(智能多维数据分析中心);Universitat Politècnica de València(瓦伦西亚理工大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学);City University of Hong Kong(香港城市大学)
在本文中,我们提出了使用最近开发的签名变换作为一种方法来衡量图像分布之间的相似性,并提供详细的认识和广泛的评价。我们是第一个先驱RMSE和MAE签名,以及日志签名作为衡量GAN收敛的替代方案,这个问题已经得到了广泛的研究。我们也是引入基于统计的分析度量来研究GAN样本分布的拟合优度的先行者,既高效又有效。当前的GAN措施涉及通常在GPU上完成的大量计算,并且非常耗时。相比之下,我们将计算时间减少到秒的量级,并且在CPU上完成计算,以实现相同的良好水平。最后,PCA自适应t-SNE方法,这是在这种情况下,也提出了数据可视化。
2022-11-13 cs.CV
Unsupervisedly Training GANs for Segmenting Digital Pathology with Automatically Generated Annotations
RWTH Aachen University(亚琛工业大学);University Hospital Aachen(亚琛大学医院)
最近,生成对抗网络在半监督图像分析场景中表现出出色的性能。在本文中,我们更进一步,提出了一个完全无监督的方法,分割应用与先验知识的对象的形状。我们提出并研究了不同的策略来生成模拟标签数据,并使用对抗模型在图像和标签域之间执行图像到图像的翻译。具体来说,我们评估的注释模型的准确性的影响,以及模拟额外的低级别图像功能的效果。对于实验评估,我们考虑肾小球的分割,这是肾脏病理学的一个应用场景。实验提供了概念证明,并且还确认了用于创建模拟标签数据的策略在考虑到GAN训练的稳定性的情况下是特别相关的。
2018-08-01 cs.CV
RFDforFin: Robust Deep Forgery Detection for GAN-generated Fingerprint Images
Beihang University(北京航空航天大学)
本文提出首个针对GAN生成指纹图像的深度伪造检测方法RFDforFin,通过融合指纹脊线特征与GAN生成伪影特征进行真伪二分类,实验证明该方法有效、鲁棒且复杂度低。
2023-09-13 cs.CV
TAC-GAN - Text Conditioned Auxiliary Classifier Generative Adversarial Network
University of Kaiserslautern(凯泽斯劳滕大学);German Research Center for AI (DFKI)(德国人工智能研究中心 (DFKI));Insiders Technologies GmbH(Insiders Technologies有限公司);University of Fribourg(弗里堡大学)
在这项工作中,我们提出了文本条件辅助分类器生成对抗网络(TAC-GAN)的文本到图像生成对抗网络(GAN)从他们的文本描述合成图像。以前的方法都试图条件的文本数据的生成过程,但联盟它的使用类信息,已知多样化生成的样本,提高其结构的连贯性,还没有被探索。我们在Oxford-102花卉数据集上训练了TAC-GAN模型,并使用Inception-Score评估了生成图像的可分辨性,以及使用多尺度结构相似性指数(MS-SSIM)评估了它们的多样性。我们的方法优于最先进的模型,即,它的初始得分为3.45,与最近推出的StackGan相比,相对增加了7.8%。每个类的训练和生成样本的平均MS-SSIM分数的比较表明,我们的方法能够生成高度多样化的图像,在所有生成的类中平均MS-SSIM为0.14。
2017-03-26 cs.CV
Discovering Transferable Forensic Features for CNN-generated Images Detection
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学);Singapore Institute of Technology (SIT)(新加坡理工学院);University of Oslo (UIO)(奥斯陆大学)
随着神经图像合成方法的快速发展,视觉伪造越来越多地在主流媒体中引起存在主义难题。虽然这种伪造的检测一直是图像取证界的一个繁重的问题,最近一类的法医检测器-通用检测器-能够令人惊讶地发现伪造的图像,而不管生成器架构,损失函数,训练数据集和分辨率。这一有趣的性质表明,在通用检测器中可能存在可转移的法医特征(T-FF)。在这项工作中,我们进行了第一次分析研究,以发现和理解通用检测器中的T-FF。我们的贡献有两个方面:1)我们提出了一种新型的取证特征相关性统计(FF-RS)来量化和发现通用检测器中的T-FF,2)我们的定性和定量调查发现了一个意想不到的发现:颜色是关键的T-FF通用检测器中的FF。代码和模型可在https://keshik6.github.io/transferable-forensic-features/上获得
2022-08-24 cs.CR cs.CV cs.LG
Global Texture Enhancement for Fake Face Detection in the Wild
University of Oxford(牛津大学);The University of Hong Kong(香港大学)
生成对抗网络(GANs)可以生成逼真的假人脸图像,很容易欺骗人类,而普通的卷积神经网络(CNN)可以达到99.9%以上的真假图像识别准确率。在本文中,我们对假/真人脸进行了实证研究,并有两个重要的观察结果:首先,假人脸的纹理与真实人脸有很大的不同;其次,全局纹理统计对图像编辑更具鲁棒性,并且可以从不同的GANs和数据集转移到假人脸。受上述观察的启发,我们提出了一种新的架构,称为Gram-Net,它利用全局图像纹理表示进行鲁棒的假图像检测。在几个数据集上的实验结果表明,我们的Gram-Net优于现有的方法。特别是,我们的Gram-Netis更强大的图像编辑,如下采样,JPEG压缩,模糊和噪声。更重要的是,我们的Gram-Net在从训练阶段看不到的GAN模型中检测假面孔方面有更好的泛化能力,并且在检测假自然图像方面表现出色。
2020-03-19 cs.CV
Towards Discovery and Attribution of Open-world GAN Generated Images
University of Maryland, College Park(马里兰大学帕克分校)
随着生成对抗网络(GANs)的最新进展,媒体和视觉取证必须开发能够识别图像并将其归因于生成它们的模型的检测器。现有的工作表明,属性的图像,以其相应的GAN源具有高精度。然而,这些工作仅限于闭集场景,无法推广到在训练时间内看不见的GANs,因此无法随着新GANs的稳定涌入而扩展。我们提出了一种迭代算法,通过利用所有GANs在其生成的图像上留下不同指纹的事实,来发现从以前看不见的GANs生成的图像。我们的算法包括多个组件,包括网络训练,分布外检测,聚类,合并和细化步骤。通过大量的实验,我们表明,我们的算法发现看不见的GANs具有很高的准确性,也推广到GANs训练看不见的真实数据集。我们还将我们的算法应用于在线方式的GANs的归属和发现,以及更标准的真/假检测任务。我们的实验证明了我们的方法在发现新的GANs方面的有效性,并且可以在开放世界的设置中使用。
2021-09-20 cs.CV cs.LG
Black-Box Attack against GAN-Generated Image Detector with Contrastive Perturbation
Communication University of China(中国传媒大学)
视觉上逼真的GAN生成的面部图像引起了对潜在滥用的明显担忧。近年来,许多有效的取证算法已经被开发来检测这样的合成图像。评估这种法医检测器对对抗攻击的脆弱性具有重要意义。在本文中,我们提出了一种针对GAN生成的图像检测器的新的黑盒攻击方法。采用一种新的对比学习策略,在对比损失函数下对基于编解码器网络的反取证模型进行训练。GAN图像和它们的模拟真实对应物分别被构造为正样本和负样本。利用训练好的攻击模型,对输入的合成图像施加不可感知的对比扰动,在一定程度上去除GAN指纹。因此,现有的GAN生成的图像检测器预计会被欺骗。大量的实验结果验证了该攻击有效地降低了六种流行的GANs上的三种最先进的检测器的准确性。高的视觉质量的攻击图像也实现了。源代码将在https://github.com/ZXMMD/BAttGAND上提供。
2022-11-07 cs.CR cs.CV
Improving GAN with neighbors embedding and gradient matching
ST Electronics - SUTD Cyber Security Laboratory(新科电子-新加坡科技设计大学网络安全实验室);Singapore University of Technology and Design(新加坡科技设计大学)
我们提出了两种用于训练生成对抗网络(GANs)的新技术。我们的目标是减轻模式坍塌的GAN和提高所产生的样本的质量。首先,我们提出了邻域嵌入,这是一种基于流形学习的正则化,可以显式地保留生成样本中潜在样本的局部结构。这可防止发生器从不同的潜在样本中产生几乎相同的数据样本,并减少模式坍塌。我们提出了一个逆t-SNE正则化子来实现这一点。其次,我们提出了一种新的技术,梯度匹配,对齐生成的样本和真实样本的分布。由于使用高维样本分布具有挑战性,因此我们建议通过标量分数来对齐这些分布。我们限制真实样本和生成样本的最小值之间的差异。我们进一步约束这些梯度的梯度之间的差异。我们得到这些约束条件从泰勒近似的函数。我们进行实验,以证明我们提出的技术是计算简单,易于纳入现有的系统。当梯度匹配和邻域嵌入一起应用时,我们的GN-GAN在1D/2D合成、CIFAR-10和STL-10数据集上取得了出色的结果,例如STL-10数据集的FID得分为$30.80$。我们的代码可在:https://github.com/tntrung/gan
2018-11-04 cs.CV
Detection, Attribution and Localization of GAN Generated Images
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Mayachitra, Inc.(Mayachitra公司);University of California(加州大学)
生成对抗网络(GANs)的最新进展导致创建了逼真的数字图像,这对人类或计算机的检测构成了重大挑战。GANs用于各种任务,从修改图像的小属性(StarGAN [14]),在图像对之间传输属性(CycleGAN [91]),以及生成全新的图像(ProGAN [36],StyleGAN [37],SPADE/GauGAN [64])。在本文中,我们提出了一种新的方法来检测,属性和定位GAN生成的图像,结合图像特征与深度学习方法。对于每幅图像,在不同方向(水平、垂直和对角线)的RGB通道的邻域像素上计算共生矩阵。然后在这些特征上训练深度学习网络,以检测、归属和定位这些GAN生成/操纵的图像。在5个GAN数据集上对我们的方法进行了大规模评估,包括超过276万张图像(ProGAN,StarGAN,CycleGAN,StyleGAN和SPADE/GauGAN),在检测GAN生成的图像方面显示了有希望的结果。
2020-07-20 cs.CV eess.IV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee(田纳西大学)
在生成对抗网络(GANs)成功的基础上,条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发,本文提出了一种快速收敛的条件GAN(FC-GAN)。除了vanilla GANs中使用的真/假分类器之外,我们的鉴别器还有一个高级辅助分类器,可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合,这可能会像AC-GAN那样混淆真实数据的分类,并使高级辅助分类器表现为另一个真实/假分类器。因此,FC-GAN可以加速所有类别的区分过程,从而提高收敛速度。图像合成的实验结果表明,我们的模型是有竞争力的图像质量,同时实现了更快的收敛速度。
2018-05-05 cs.CV
X-Transfer: A Transfer Learning-Based Framework for GAN-Generated Fake Image Detection
Chengdu University of Information Technology(成都信息工程大学);Indiana University–Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校);Microsoft Research Asia(微软亚洲研究院);Tunghai University(东海大学);University at Albany, State University of New York (SUNY)(奥尔巴尼大学,纽约州立大学)
针对GAN生成伪造图像检测中迁移学习存在的知识遗忘、不平衡数据处理性能差的问题,提出结合交错并行梯度传输双神经网络与AUC+交叉熵损失的X-Transfer框架,在人脸数据集上指标达99.04%,通用性强。
2024-01-30 cs.CV
A Comparative Study of GAN-Generated Handwriting Images and MNIST Images using t-SNE Visualization
Izmir Institute of Technology(伊兹密尔理工学院)
本文使用 t-SNE 可视化方法对比 GAN 生成的 MNIST 手写图像与原始图像,发现两者相似但在特征分布上存在差异,为评估 GAN 生成图像质量提供了有用方法。
2023-05-04 cs.CV eess.IV
IRIS-GAN: Staged Specialist Detection of Deepfake Faces
Departamento de Física Teórica, Universitat de València, Burjassot, Spain(瓦伦西亚大学理论物理系,瓦伦西亚大学,西班牙Burjassot);Instituto de Física Corpuscular (IFIC), CSIC–Universitat de València, Valencia, Spain(物理微观粒子研究所(IFIC),西班牙-瓦伦西亚大学,瓦伦西亚,西班牙)
提出IRIS-GAN,一种通过分阶段暴露于不同GAN族来训练的专业伪造人脸检测器,在跨生成器迁移下实现高检测率,并通过Grad-CAM分析揭示生成器依赖的空间响应模式。
2026-06-03 cs.CV
Restricting Greed in Training of Generative Adversarial Network
Xidian University(西安电子科技大学)
生成对抗网络(GAN)在深度学习领域得到了广泛的研究兴趣。GAN的变体在特定任务上取得了有竞争力的结果。然而,训练的稳定性和生成的实例的多样性仍然值得进一步研究。GAN的训练可以被认为是一个贪婪的过程,其中生成网络试图在每次迭代中做出局部最优选择(最小化损失的损失函数)。不幸的是,这通常会使生成的数据仅与真实数据的几种模式相似,并在模式之间旋转。为了缓解这些问题,我们提出了一种新的训练策略来限制GAN训练中的贪婪。在该方法的帮助下,生成的样本可以覆盖更多的实例模式,具有更稳定的训练过程。在几个有代表性的数据集上对我们的方法进行了评估,我们证明了改进的训练策略在具有不同距离度量的典型GAN模型上的优越性。
2018-09-06 cs.CV
This Person (Probably) Exists. Identity Membership Attacks Against GAN Generated Faces
University of Caen Normandie(卡昂诺曼底大学);ENSI Caen(卡昂国立高等工程师学院)
最近,生成对抗网络(GANs)已经实现了惊人的现实主义,甚至愚弄了人类观察者。事实上,流行的开玩笑网站{ \small \url{ http://thispersondoesnotexist.com} }用GAN生成的图像嘲笑用户,这些图像看起来太真实了,令人难以置信。另一方面,GANs确实会泄漏有关其训练数据的信息,最近文献中的成员攻击证明了这一点。在这项工作中,我们挑战的假设,GAN面临着真的是新颖的创作,通过构建一个成功的成员攻击的一种新的。与以前的作品不同,我们的攻击可以准确地识别与训练样本共享相同身份的样本,而不是相同的样本。我们在几个流行的人脸数据集和GAN训练过程中展示了我们的攻击兴趣。值得注意的是,我们表明,即使存在显着的数据集的多样性,一个过度代表的人可以构成隐私问题。
2021-07-13 cs.AI cs.CV
On Detecting GANs and Retouching based Synthetic Alterations
IIIT Delhi(德里印度理工学院)
数字修饰图像已成为一种流行趋势,人们在社交媒体上发布修改后的图像,甚至杂志上发布名人的完美面部图像。此外,随着生成对抗网络(GANs)的进步,现在更改属性和修饰变得非常容易。这种合成的改变对人脸识别算法有不利影响。虽然研究人员已经提出检测图像篡改,但检测GANs生成的图像尚未被探索。本文提出了一种使用卷积神经网络(CNN)的有监督深度学习算法来检测合成更改图像。该算法在ND-IIITD数据集上检测修饰的准确率为99.65%。它优于先前的最新技术,后者在数据库上报告的准确率为87%。对于区分真实图像和使用GANs生成的图像,该算法的准确率为99.83%。
2019-01-26 cs.CV
ReGenMorph: Visibly Realistic GAN Generated Face Morphing Attacks by Attack Re-generation
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所IGD);TU Darmstadt(达姆施塔特工业大学);Norwegian University of Science and Technology(挪威科技大学)
人脸变形攻击旨在创建可验证为多个身份的人脸图像,这可能导致在边境检查等操作中建立错误的身份链接。在创建变形人脸检测器(MFD)时,对所有可能的攻击类型进行训练对于实现良好的检测性能至关重要。因此,研究创建变形攻击的新方法推动了MAD的推广。创建变形攻击是在图像级别上通过地标插值执行的,或者在潜在空间级别上通过在生成对抗网络中操纵潜在向量执行的。前者导致不同的混合伪影,后者导致类似合成的条带伪影。这项工作提出了新的变形管道,ReGenMorph,通过使用基于GAN的生成来消除LMA混合伪影,以及消除潜在空间中的操作,从而与以前的作品相比,产生了视觉上逼真的变形图像。生成的ReGenMorph外观与最近的变形方法进行比较,并评估人脸识别漏洞和攻击可检测性,无论是已知的还是未知的攻击。
2021-09-24 cs.CV
Regularizing Deep Hashing Networks Using GAN Generated Fake Images
最近,基于深度网络的哈希(deep hashing)已经成为大规模图像检索的主要方法。它的目标是通过深度网络学习图像的紧凑按位表示,以便将相似的图像映射到附近的哈希码。由于深度网络模型通常具有大量参数,因此对于我们拥有的训练数据来说,它可能过于复杂,导致模型过度拟合。为了解决这个问题,在本文中,我们提出了一个简单的两阶段流水线来学习深度哈希模型,通过使用假图像正则化深度哈希网络。第一阶段是通过生成对抗网络(GAN)从原始训练集生成假图像,而不需要额外的数据。在第二阶段,我们提出了一个深度架构来学习哈希函数,其中我们使用基于最大熵的损失来合并GAN新创建的假图像。我们表明,这种损失作为一个强大的正则化的深层架构,通过惩罚低熵输出哈希码。这种损失也可以解释为模型集成,通过同时训练具有大量权重共享但在不同训练集上的许多网络模型。在多个基准数据集上的实验结果表明,该方法比现有的散列方法具有更好的性能增益。
2018-09-02 cs.CV
ForensicsForest Family: A Series of Multi-scale Hierarchical Cascade Forests for Detecting GAN-generated Faces
College of Computer Science and Technology, Ocean University of China(中国海洋大学计算机科学与技术学院);Shenzhen University(深圳大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
本文提出基于森林模型的ForensicsForest Family系列方法,通过多尺度层级级联及CNN集成等技术,有效检测高真实度的GAN生成人脸,并降低训练内存开销。
2024-04-27 cs.CV
GAN-Supervised Dense Visual Alignment
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Facebook AI Research (FAIR)(脸书人工智能研究院)
我们提出了GAN-监督学习,这是一个用于端到端联合学习判别模型及其GAN生成的训练数据的框架。我们将我们的框架应用于密集的视觉对齐问题。受经典Congealing方法的启发,我们的GANgealing算法训练了一个空间Transformer,将来自未对齐数据训练的GAN的随机样本映射到一个共同的联合学习目标模式。我们展示了八个数据集的结果,所有这些都表明我们的方法成功地对齐了复杂的数据并发现了密集的对应关系。GANgealing显著优于过去的自监督对应算法,并在几个数据集上与最先进的监督对应算法相当(有时甚至超过)-而不使用任何对应监督或数据增强,尽管只在GAN生成的数据上进行训练。对于精确的对应关系,我们改进了最先进的监督方法多达$3\times$。我们展示了我们的方法在增强现实、图像编辑和图像数据集自动预处理中的应用,以用于下游GAN训练。
2022-04-05 cs.CV
A Transferable Anti-Forensic Attack on Forensic CNNs Using A Generative Adversarial Network
Drexel University(德雷塞尔大学)
随着深度学习的发展,卷积神经网络(CNN)已广泛用于多媒体取证,用于检测和识别图像伪造等任务。与此同时,反取证攻击已经被开发出来,以欺骗这些基于CNN的取证算法。以前的反取证攻击通常被设计为删除由单个操作而不是一组操作留下的伪造痕迹。此外,最近的研究表明,现有的针对法医CNN的反法医攻击具有很差的可转移性,即它们无法欺骗在训练期间未明确使用的其他法医CNN。在本文中,我们提出了一个新的反取证攻击框架,旨在消除各种操纵操作留下的取证痕迹。这种攻击是可转移的,也就是说,它可以用来攻击攻击者不知道的法医CNN,并且它只会引入人眼无法感知的最小失真。我们提出的攻击利用生成对抗网络(GAN)来构建一个可以攻击任何大小的彩色图像的生成器。我们通过使用一种新的训练策略和损失函数来实现攻击的可转移性。我们进行了广泛的实验,以证明我们的攻击可以欺骗许多最先进的法医CNN,攻击者可以获得不同程度的知识。
2021-01-23 cs.CV eess.IV
Generative Image Modeling using Style and Structure Adversarial Networks
Carnegie Mellon University(卡内基梅隆大学)
当前的生成框架使用端到端学习,并通过从均匀噪声分布中采样来生成图像。然而,这些方法忽略了图像形成的最基本原则:图像是以下因素的产物:(a)结构:底层3D模型;(b)风格:映射到结构上的纹理。在本文中,我们因式分解图像生成过程,并提出风格和结构生成对抗网络(S^2-GAN)。我们的S^2-GAN有两个组件:结构-GAN生成表面法线贴图;样式-GAN将表面法线贴图作为输入并生成2D图像。除了一个真实的与生成的损失函数,我们使用一个额外的损失与计算表面法线从生成的图像。这两个GANs首先独立训练,然后通过联合学习合并在一起。我们证明了我们的S^2-GAN模型是可解释的,可以生成更逼真的图像,并且可以用于学习无监督的RGBD表示。
2016-07-26 cs.CV
Generalized Visual Quality Assessment of GAN-Generated Face Images
City University of Hong Kong(香港城市大学);Tongji University(同济大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院)
近年来,人们对生成对抗网络(GANs)的人脸生成兴趣急剧增加。许多成功的GAN算法已经被开发出来,以产生针对不同应用场景的生动的人脸图像。然而,很少有工作致力于自动质量评估的GAN生成的人脸图像(GFI),更少有人致力于广义和鲁棒的质量评估的GFI生成的看不见的GAN模型。在此,我们第一次尝试研究的主观和客观质量的广义质量评价的GFI。更具体地说,我们建立了一个大规模的数据库,包括GFI从四个GAN算法,从图像质量评估(IQA)措施的伪标签,以及通过主观测试的人的意见分数。随后,我们开发了一个质量评估模型,能够提供准确的质量预测GFI从现有的和看不见的GAN算法的基础上元学习。特别是,为了从有限的GAN算法产生的GFI对中学习共享知识,我们开发了卷积块注意力(CBA)和基于面部属性的分析(ABA)模块,确保学习到的知识与人类视觉感知保持一致。大量的实验表明,该模型实现了更好的性能相比,国家的最先进的IQA模型,并能够保持有效性时,评估GFI从看不见的GAN算法。
2022-01-28 cs.CV eess.IV
On the use of Benford's law to detect GAN-generated images
Politecnico di Milano(米兰理工大学);University of Padova(帕多瓦大学)
生成对抗网络(GAN)架构的出现使任何人都能够生成令人难以置信的逼真合成图像。GAN生成的图像的恶意扩散可能导致严重的社会和政治后果(例如,假新闻传播、舆论形成等)。因此,必须制定能够探测合成图像的解决办法,对合成图像的广泛传播进行监管。在本文中,我们研究了使用Benford定律来区分GAN生成的图像与自然照片的可能性。本福德定律描述了量化离散余弦变换(DCT)系数的最高有效位的分布。扩展和概括这个属性,我们表明,它是可能的,从图像中提取一个紧凑的特征向量。这个特征向量可以被馈送到一个非常简单的分类器,用于GAN生成的图像检测目的。
2020-04-16 cs.CV cs.MM eess.IV
Exploring the Asynchronous of the Frequency Spectra of GAN-generated Facial Images
Sungkyunkwan University(成均馆大学)
生成对抗网络(GANs)的快速发展引起了人们对它们被滥用于恶意目的的担忧,特别是在创建虚假人脸图像方面。尽管许多提出的方法成功地检测了基于GAN的合成图像,但它们仍然受到需要大量训练假图像数据集的限制,以及检测器对未知面部图像的可推广性的挑战。在本文中,我们提出了一种探索颜色通道的异步频谱的新方法,该方法简单但有效地用于训练无监督和监督学习模型来区分基于GAN的合成图像。我们进一步研究了一个训练模型的可移植性,该模型从我们在一个源域中建议的特征中学习,并利用特征分布的先验知识在另一个目标域上进行验证。我们的实验结果表明,频域中的频谱差异是有效检测各种类型的基于GAN生成的图像的实际伪影。
2021-12-15 cs.CV cs.CY
LT-GAN: Self-Supervised GAN with Latent Transformation Detection
Adobe(奥多比);Birla Institute of Technology & Science, Pilani(皮拉尼博拉理工学院)
生成对抗网络(GANs)与自监督任务相结合,在无条件和半监督图像生成方面表现出了良好的效果。我们提出了一种自监督方法(LT-GAN),通过估计GAN诱导的变换(即通过扰动生成器的潜在空间在生成的图像中诱导的变换)来提高图像的生成质量和多样性。具体而言,给定两对图像,其中每对包括生成的图像及其变换版本,自我监督任务旨在识别在给定对中应用的潜在变换是否与另一对的潜在变换相同。因此,这种辅助损失鼓励生成器产生可由辅助网络区分的图像,这反过来又促进了关于潜在变换的语义一致的图像的合成。我们通过在CIFAR-10,CelebA-HQ和ImageNet数据集上的条件和无条件设置的最先进模型上提高FID的图像生成质量来证明这个借口任务的有效性。此外,我们的经验表明,LT-GAN有助于改善CelebA-HQ和ImageNet在基线模型上的受控图像编辑。我们的实验证明,我们提出的LT自我监督任务可以有效地与其他最先进的训练技术相结合,以获得额外的好处。因此,我们证明了我们的方法在条件CIFAR-10图像生成上实现了9.8的新的最先进的FID分数。
2020-10-19 cs.CV
The Detection of Distributional Discrepancy for Text Generation
Nanjing University(南京大学);Southwest Jiaotong University(西南交通大学);Leshan Normal University(乐山师范学院)
神经语言模型生成的文本不如真实文本。这意味着它们的分布是不同的。生成对抗网络(GAN)被用来缓解它。然而,一些研究人员认为,GAN变体根本不起作用。当同时考虑样本质量(如Bleu)和样本多样性(如self-Bleu)时,GAN变体甚至比调整良好的语言模型更差。但是,Bleu和self-Bleu不能精确地测量这种分布差异。事实上,如何度量真实文本和生成文本之间的分布差异仍然是一个悬而未决的问题。在本文中,我们从理论上提出了两个度量函数来衡量真实文本和生成文本之间的分布差异。此外,还提出了一种估算它们的方法。首先,我们用这两个函数对语言模型进行评估,发现两者的差异是巨大的。然后,我们尝试了几种方法来使用检测到的差异信号来改进发生器。然而,差距变得比以前更大了。在两种现有的语言GANs上进行实验,真实文本和生成文本之间的分布差异随着对抗性学习轮次的增加而增加。它证明了这两种语言GANs都失败了。
2019-11-24 cs.CV
CIT-GAN: Cyclic Image Translation Generative Adversarial Network With Application in Iris Presentation Attack Detection
Michigan State University(密歇根州立大学)
在这项工作中,我们提出了一种新的循环图像翻译生成对抗网络(CIT-GAN)的多域风格转移。为了实现这一点,我们引入了一个样式网络,它能够学习训练数据集中表示的每个域的样式特征。造型网络帮助生成器驱动图像从源域到参考域的转换,并生成具有参考域风格特征的合成图像。每个领域的学习风格特征取决于风格损失和领域分类损失。这导致了每个领域内风格特征的变化。建议的CIT-GAN用于虹膜呈现攻击检测(PAD)的背景下,生成合成呈现攻击(PA)样本的类,在训练集中代表不足。使用当前最先进的虹膜PAD方法的评估证明了使用这种合成生成的PA样本用于训练PAD方法的功效。此外,使用Frechet起始距离(FID)得分来评估合成生成的样本的质量。实验结果表明,该方法生成的合成图像质量优于其他竞争方法,包括StarGan。
2020-12-04 cs.CV
Detecting GAN generated errors
McGill University(麦吉尔大学)
尽管最新的GAN在生成超现实图像方面表现出色,但GAN鉴别器难以评估单个生成样本的质量。这是因为评估所生成图像的质量的任务不同于判定图像是真实的还是伪造的。生成的图像可能是完美的,除了在单个区域,但仍然被检测为假的。相反,我们提出了一种新的方法来检测生成图像中发生错误的位置。通过将真实图像与生成图像进行拼贴,我们计算每个像素是否属于真实分布或生成分布。此外,我们利用注意力模型的长期依赖性,这允许检测的错误,这是合理的本地,但不是整体。为了评估,我们表明,我们的检错可以作为一个单独的图像的质量指标,不像FID和IS。我们利用Improved Wasserstein、BigGAN和StyleGAN来显示基于我们的指标的排名与FID分数的相关性。我们的工作为更好地理解GAN和从GAN模型中选择最佳样本的能力打开了大门。
2019-12-02 cs.CV cs.LG eess.IV
Detecting GAN generated Fake Images using Co-occurrence Matrices
Mayachitra Inc.(Mayachitra公司);Naval Air Warfare Center Weapons Division(海军空战中心武器分部);University of California, Riverside(加州大学河滨分校)
生成对抗网络(GANs)的出现带来了全新的方法来转换和操纵数字图像中的像素。基于GAN的技术,如图像到图像翻译,DeepFakes和其他自动化方法在创建假图像方面越来越受欢迎。在本文中,我们提出了一种新的方法,使用共生矩阵和深度学习的组合来检测GAN生成的假图像。我们在像素域中的三个颜色通道上提取共生矩阵,并使用深度卷积神经网络(CNN)框架训练模型。在两个不同且具有挑战性的GAN数据集上的实验结果表明,我们的方法很有前途,在两个数据集上都达到了99%以上的分类准确率,其中两个数据集包括超过56,000张基于未配对图像到图像转换(cycleGAN [1])和面部属性/表情(StarGAN [2])的图像。此外,我们的方法在一个数据集上训练并在另一个数据集上测试时,也具有很好的泛化能力,并取得了良好的结果。
2019-10-03 cs.CV eess.IV
Selectively increasing the diversity of GAN-generated samples
Warsaw University of Technology(华沙理工大学);CERN(欧洲核子研究组织);Jagiellonian University(雅盖隆大学);Tooploox
针对GAN模式坍塌导致生成样本多样性不足的问题,提出一种通过正则化损失函数选择性增加多样性的方法,在合成基准和真实物理数据上验证了有效性。
2023-06-22 cs.CV cs.LG
MontageGAN: Generation and Assembly of Multiple Components by GANs
Kyushu University(九州大学)
从平面设计师的角度来看,多层图像比单层图像更有价值。然而,迄今为止,大多数提出的图像生成方法集中在单层图像。在本文中,我们提出了蒙太奇GAN,这是一个生成对抗网络(GAN)框架,用于生成多层图像。我们的方法采用了两步方法,包括局部GANs和全局GAN。每个局部GAN学习生成特定的图像层,全局GAN学习每个生成的图像层的放置。通过我们的实验,我们展示了我们的方法生成多层图像和估计生成的图像层的位置的能力。
2022-05-31 cs.CV eess.IV
On the effectiveness of GAN generated cardiac MRIs for segmentation
Université de Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);Cardiac Simulation & Imaging Software(心脏模拟与成像软件公司);University of Sherbrooke(舍布鲁克大学);University Hospital of Dijon(第戎大学医院)
在这项工作中,我们提出了一个变分自动编码器(VAE)生成对抗网络(GAN)模型,可以产生高度逼真的MRI连同其像素精确的地面实况的电影MR图像心脏分割的应用。在我们模型的一侧是一个经过训练的变分自动编码器(VAE),用于学习心脏形状的潜在表示。另一侧是GAN,其使用“空间自适应(DE)归一化”(SPADE)模块来生成针对给定解剖图定制的逼真MR图像。在测试时间,VAE潜在空间的采样允许生成任意大量的心脏形状,其被馈送到GAN,GAN随后生成其心脏结构与心脏形状的心脏结构相匹配的MR图像。换句话说,我们的系统可以生成大量的真实但标记的心脏MR图像。我们表明,与传统技术相比,使用我们的合成注释图像训练的CNN进行分割可以获得有竞争力的结果。我们还表明,将数据增强与我们的GAN生成的图像相结合,可以使Dice得分提高高达12%,同时可以在其他数据集上实现更好的泛化能力。
2020-05-22 cs.CV eess.IV
A Novel Measure to Evaluate Generative Adversarial Networks Based on Direct Analysis of Generated Images
George Washington University(乔治华盛顿大学)
生成对抗网络(GAN)是深度学习领域的最新技术。最近的一些论文涉及GANs在图像处理的各个领域中的理论和应用。然而,直接评价GAN输出的研究较少。已经进行的那些侧重于使用分类性能,例如,初始评分(IS)和统计指标,例如,Fréchet起始距离(FID)。在这里,我们考虑了一种通过直接分析它们生成的图像来评估GANs的基本方法,而不是将它们用作其他分类器的输入。我们根据三个方面来描述GAN作为图像生成器的性能:1)创造性:不重复真实图像。2)继承:生成的图像应该具有相同的风格,保留真实图像的关键特征。3)多样性:生成的图像彼此不同。GAN不应重复生成几个不同的图像。基于理想GANs的三个方面,设计了评价GAN性能的相似度得分(Likeness Score,LS),并应用LS对几种典型的GANs进行了评价。我们将我们提出的措施与两种常用的GAN评估方法:IS和FID以及四种额外的措施进行了比较。此外,我们还讨论了这些评估如何帮助我们加深对GANs的理解并提高其性能。
2021-04-07 cs.CV cs.LG eess.IV
Towards Robust GAN-generated Image Detection: a Multi-view Completion Representation
University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学);City University of Macau(澳门城市大学)
针对GAN图像检测器因过拟合频率伪影而在未知GAN或扰动攻击下失效的问题,提出基于多视图图像补全表示的鲁棒检测框架,通过学习视图到图像任务提取与频率无关的稳定特征,并结合视图内和视图间策略增强分类,显著提升了跨GAN泛化与抗扰动鲁棒性。
2023-06-02 cs.CR cs.CV
Visualize and Paint GAN Activations
University of Bremen(不来梅大学);Center for Industrial Mathematics(工业数学中心)
本文研究GAN隐藏层激活与生成结构的关系,提出可平铺特征概念,从而无需分割标注即可按语义分割图控制无条件GAN生成图像。
2024-08-07 cs.CV cs.LG
Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints
生成对抗网络(GANs)的最新进展表明,在生成逼真图像方面取得了越来越大的成功。但它们也对视觉取证和模型归属提出了挑战。我们提出了学习GAN指纹对图像属性的第一项研究,并使用它们将图像分类为真实或GAN生成的。对于GAN生成的图像,我们进一步识别它们的来源。我们的实验表明:(1)GANs携带不同的模型指纹,并在其生成的图像中留下稳定的指纹,这支持图像属性;(2)即使GAN训练中的微小差异也会导致不同的指纹,这使得能够进行细粒度的模型认证;(3)指纹在不同的图像频率和补丁中持续存在,并且不会受到GAN伪影的影响;(4)指纹微调可以有效地免疫五种类型的对抗性图像扰动;(5)比较还显示,我们学习的指纹在各种设置中始终优于几个基线。
2019-08-16 cs.CR cs.CV cs.CY
Insta(nt) Pet Therapy: GAN-generated Images for Therapeutic Social Media Content
Stanford University(斯坦福大学)
本文提出用GAN框架大规模生成宠物图像并发布到Instagram,验证其用户参与度与传统宠物照片相当,证明其可用于宠物疗法社交媒体内容。
2023-04-17 cs.AI cs.CV
An Architecture for the detection of GAN-generated Flood Images with Localization Capabilities
University of Siena(锡耶纳大学)
在本文中,我们解决了一个新的图像取证任务,即检测由ClimateGAN架构生成的假洪水图像。我们通过提出一种混合深度学习架构来实现这一点,该架构包括检测和定位分支,后者专门用于识别ClimateGAN操作的图像区域。即使我们的目标是检测假洪水图像,事实上,我们发现添加定位分支有助于网络专注于最相关的图像区域,在泛化能力和对图像处理操作的鲁棒性方面有显着改进。在从互联网下载的两个原始洪水图像数据集和ClimateGAN从大量不同的街道图像开始生成的三个假洪水图像数据集上验证了所提出的架构的良好性能。
2022-05-14 cs.CR cs.CV