Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints
生成对抗网络（GANs）的最新进展表明，在生成逼真图像方面取得了越来越大的成功。但它们也对视觉取证和模型归属提出了挑战。我们提出了学习GAN指纹对图像属性的第一项研究，并使用它们将图像分类为真实或GAN生成的。对于GAN生成的图像，我们进一步识别它们的来源。我们的实验表明：（1）GANs携带不同的模型指纹，并在其生成的图像中留下稳定的指纹，这支持图像属性;（2）即使GAN训练中的微小差异也会导致不同的指纹，这使得能够进行细粒度的模型认证;（3）指纹在不同的图像频率和补丁中持续存在，并且不会受到GAN伪影的影响;（4）指纹微调可以有效地免疫五种类型的对抗性图像扰动;（5）比较还显示，我们学习的指纹在各种设置中始终优于几个基线。
2019-08-16 cs.CR cs.CV cs.CY
Source Generator Attribution via Inversion
Honeywell ACST（霍尼韦尔ACST）
随着生成对抗网络（GANs）的进步，合成图像和视频得到了极大的改进，对将传统取证扩展到这一新类别图像的算法的需求越来越大。虽然GANs已被证明在许多计算机视觉应用中很有帮助，但还有其他一些有问题的用途，例如“深度伪造”，这需要进行取证。使用各种线索的源相机归属算法已经解决了对相机捕获的图像的这种需求，但是合成图像的选项较少。我们解决的问题，归因于一个特定的生成器在白盒设置的合成图像，通过反转的过程中产生。这使我们能够同时确定生成器是否生成了图像，并恢复与合成图像密切匹配的输入。
2019-06-13 cs.CV cs.LG eess.IV
Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation to Disease Detection and Localization
Arizona State University（亚利桑那州立大学）；Mila – Quebec Artificial Intelligence Institute（魁北克人工智能研究所（Mila））；Mayo Clinic（梅奥诊所）
生成式对抗网络（GANs）带来了图像到图像翻译的革命。GANs的发展和扩散提出了一个有趣的问题：我们能否训练一个GAN从图像中删除一个对象（如果存在），同时保留图像？具体来说，GAN是否可以通过将健康状况未知（患病或健康）的医学图像转换为健康图像，从而通过减去这两个图像来显示患病区域，从而“虚拟治愈”任何人？这样的任务需要GAN识别用于域平移的目标像素的最小子集，我们称之为定点平移的能力，GAN还没有配备。因此，我们提出了一种新的GAN，称为固定点GAN，通过以下方式进行训练：（1）通过有条件的身份丢失来监督同域翻译，以及（2）通过修订的对抗性，域分类和循环一致性丢失来正则化跨域翻译。基于固定点翻译，我们进一步推导出一个新的框架，疾病检测和定位，仅使用图像级注释。定性和定量的评价表明，该方法优于最先进的多域图像到图像的翻译，它超越了主要的弱监督定位方法在疾病检测和定位。可在https://github.com/jlianglab/Fixed-Point-GAN上获得实现。
2019-08-29 cs.CV eess.IV
Deepfake Forensic Analysis: Source Dataset Attribution and Legal Implications of Synthetic Media Manipulation
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Catania（卡塔尼亚大学）
本研究提出一种基于多特征分析的GAN生成图像源数据集归因取证框架，实现98%-99%的分类准确率，并探讨其在版权、隐私合规等法律场景的应用价值。
2025-05-16 cs.CV
CapST: Leveraging Capsule Networks and Temporal Attention for Accurate Model Attribution in Deep-fake Videos
Institute of Information Science, Academia Sinica（资讯研究所）；Social Networks and Human-Centred Computing, Taiwan International Graduate Program（人本计算与社交网络，台湾国际研究生计划）；Department of Computer Science, National Chengchi University（计算机科学系，国立成功大学）；Member IEEE, National Chengchi University（IEEE会员，国立成功大学）；Fellow IEEE, Institute of Information Science, Academia Sinica（IEEE会士，资讯研究所）；Dire Dawa University（迪雷达瓦大学）；Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）
针对深度伪造视频的模型归因需求，提出融合截断VGG19、胶囊网络与时空注意力的CapST模型，在两个数据集上实现了优于基线的归因准确率，且计算成本更低。
2025-06-12 cs.CV
Deepfake Network Architecture Attribution
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Renmin University of China（中国人民大学）
随着图像生成技术的飞速发展，对伪图像的来源进行分析已成为必要。现有的虚假图像属性研究工作在几种生成对抗网络（GAN）模型上进行多类分类，并获得了较高的准确率。虽然令人鼓舞，但这些工作仅限于模型级别的属性，只能处理具有特定种子，损失和数据集的可见模型生成的图像，这在真实场景中受到限制，因为私人训练的模型可能会生成假图像。这促使我们问是否有可能将假图像归因于源模型的架构，即使它们在不同的配置下进行了微调或重新训练。在这项工作中，我们提出了第一个关于Deepfake网络架构归因的研究，以在架构级别上对虚假图像进行属性化。基于GAN架构可能会留下全局一致的指纹，而模型权重在不同区域留下的痕迹不同的观察，我们为这个问题提供了一个简单而有效的解决方案，称为DNA-Det。在多个交叉测试设置和大规模数据集上的大量实验证明了DNA-Det的有效性。
2022-03-14 cs.CV
VLForgery Face Triad: Detection, Localization and Attribution via Multimodal Large Language Models
Nanchang University（南昌大学）；Shenzhen University（深圳大学）；University of North Texas（北得克萨斯大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出 VLForgery 框架，将多模态大语言模型用于扩散模型伪造人脸的检测、区域定位与生成器归因，并构建 VLF 数据集和 EkCot 描述方法，在检测准确率及定位归因能力上优于现有取证方法。
2025-03-08 cs.CV
Generative Adversarial Networks for Unsupervised Object Co-localization
Yonsei University（延世大学）
提出了一种基于生成对抗网络（GANs）的无监督目标协同定位方法。GAN是一种强大的工具，可以以无监督的方式隐式地学习未知数据分布。从观察到，GAN像素是高度影响的像素出现的对象，我们分析的内部层的像素和可视化的激活像素。我们的重要发现是，高图像多样性的GAN，这是GAN研究的主要目标，具有讽刺意味的是不利于对象定位，因为这样的鉴别器不仅关注于目标对象，而且关注于各种对象，如背景对象。基于大量的评估和实验研究，我们发现图像多样性和定位性能有负相关。此外，我们的方法使用公开的基准数据集实现了无监督对象协同定位的有意义的准确性，甚至可以与最先进的弱监督方法相媲美。
2018-07-08 cs.CV
ViFi-Loc: Multi-modal Pedestrian Localization using GAN with Camera-Phone Correspondences
Rutgers University（罗格斯大学）；Toyota Motor North America（丰田汽车北美公司）
在智慧城市和车联网（V2X）系统中，获取行人的准确位置对交通安全至关重要。目前的系统采用摄像头和无线传感器，通过传感器融合来检测和估计人的位置。然而，当多模态数据不相关联时，标准融合算法变得不适用。例如，行人在摄像机视野之外，或者来自摄像机模态的数据丢失。为了应对这一挑战，并为行人提供更准确的位置估计，我们提出了一种生成对抗网络（GAN）架构。在训练过程中，它学习行人的摄像头-手机数据对应之间的潜在联系。在推理过程中，它仅基于由GPS、IMU和FTM组成的行人电话数据生成精确的位置估计。结果表明，我们的GAN产生的三维坐标在1至2米的定位误差在5个不同的户外场景。我们进一步表明，该模型支持自学习。所生成的坐标可以与行人的限界框坐标相关联，以获得附加的相机-电话数据对应关系。这允许在推断期间自动收集数据汇集。在对扩展数据集进行微调后，定位精度提高了26%。
2022-11-22 cs.CV
Splicing Detection and Localization In Satellite Imagery Using Conditional GANs
Purdue University（普渡大学）；Politecnico di Milano（米兰理工大学）
图像编辑工具的广泛可用性和图像处理技术的改进使得图像操作变得非常容易。通常，易于使用但复杂的图像处理工具会产生人类观察者无法察觉的失真/变化。伪造图像的传播可能会产生严重的后果，特别是当与互联网的速度和广度相结合时。因此，验证图像的完整性对数字取证社区提出了巨大而重要的挑战。卫星图像可以通过多种方式进行修改，包括插入物体以隐藏现有场景和结构。在本文中，我们描述了使用条件生成对抗网络（cGAN）来识别卫星图像中这种拼接森林的存在。此外，我们还确定了它们的位置和形状。在原始图像和伪造图像上训练，我们的方法在这些检测和定位目标上取得了很高的成功。
2022-05-03 cs.CV cs.LG eess.IV
FakeLocator: Robust Localization of GAN-Based Face Manipulations
East China Normal University（华东师范大学）；Shanghai Industrial Control Safety Innovation Technology Co., LTD（上海工业控制安全创新科技有限公司）；Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）；Zhejiang Sci-Tech University（浙江理工大学）
基于生成对抗网络（GANs）及其变体的全脸合成和部分脸操作已经引起了广泛的关注。在多媒体取证领域，检测并最终定位伪造图像已成为一项迫切的任务。在这项工作中，我们研究了现有的基于GAN的人脸操作方法的体系结构，并观察到其中上采样方法的不完善性可以作为GAN合成的假图像检测和伪造定位的重要资产。基于这一基本观察，我们提出了一种新的方法，称为FakeObserver，以获得高定位精度，在全分辨率下，在操纵的面部图像。据我们所知，这是第一次尝试用灰度虚假图来解决基于GAN的虚假定位问题，该图保留了更多虚假区域的信息。为了提高Fakeprostry在各种面部属性上的通用性，我们引入了一个注意力机制来指导模型的训练。为了提高不同DeepFake方法之间的Faketranks的通用性，我们提出了部分数据增强和训练图像上的单样本聚类。在流行的FaceForensics++、DFFD数据集和七种不同的基于GAN的人脸生成方法上的实验结果表明了我们方法的有效性。与基线相比，我们的方法在各种指标上表现更好。此外，所提出的方法是对各种现实世界的人脸图像退化，如JPEG压缩，低分辨率，噪声和模糊鲁棒性。
2021-11-23 cs.CV cs.LG
An Architecture for the detection of GAN-generated Flood Images with Localization Capabilities
University of Siena（锡耶纳大学）
在本文中，我们解决了一个新的图像取证任务，即检测由ClimateGAN架构生成的假洪水图像。我们通过提出一种混合深度学习架构来实现这一点，该架构包括检测和定位分支，后者专门用于识别ClimateGAN操作的图像区域。即使我们的目标是检测假洪水图像，事实上，我们发现添加定位分支有助于网络专注于最相关的图像区域，在泛化能力和对图像处理操作的鲁棒性方面有显着改进。在从互联网下载的两个原始洪水图像数据集和ClimateGAN从大量不同的街道图像开始生成的三个假洪水图像数据集上验证了所提出的架构的良好性能。
2022-05-14 cs.CR cs.CV
Satellite Image Forgery Detection and Localization Using GAN and One-Class Classifier
Purdue University（普渡大学）；Politecnico di Milano（米兰理工大学）
目前的卫星成像技术能够拍摄地面的高分辨率照片。与其他类型的数字图像一样，高空照片也很容易伪造。然而，常见的图像取证技术通常是针对消费者相机图像开发的，消费者相机图像在其性质上与卫星图像有很大不同（例如，压缩方案、后处理、传感器等）。因此，如果盲目地应用于高空图像分析，许多精确的最先进的取证算法必然会失败。开发新的卫星图像取证工具对于评估其真实性和完整性至关重要。本文提出了一种卫星图像伪造检测与定位算法。具体来说，我们考虑的情况下，卫星图像的区域内的像素被替换，以添加或从场景中删除一个对象。我们的算法在没有伪造图像可用于训练的假设下工作。使用生成对抗网络（GAN），我们学习原始卫星图像的特征表示。一类支持向量机（SVM）训练这些功能，以确定其分布。最后，将图像轮廓检测为异常。针对不同类型的卫星图像，包括不同大小和形状的森林，所提出的算法进行了验证。
2018-02-13 cs.CV
Attention-Aware Generative Adversarial Networks (ATA-GANs)
University of Patras（帕特雷大学）
在这项工作中，我们提出了一种新的方法来训练生成对抗网络（GANs）。使用教师网络产生的注意力地图，我们能够提高生成的图像的质量，以及对生成的图像执行弱对象定位。为此，我们生成了用间接免疫荧光（IIF）捕获的HEp-2细胞的图像，并研究了我们的网络对细胞进行弱定位的能力。首先，我们证明了虽然GANs可以有效地学习输入域和目标分布之间的映射，但RBF网络无法检测到感兴趣的区域。其次，我们提出了一种新的注意力转移机制，它允许我们通过迁移学习来加强对感兴趣区域的强调。第三，我们表明，这会导致更逼真的图像，因为神经元学会把重点放在感兴趣的区域。第四，所提出的方法允许人们生成图像以及注意力图，这对于例如目标检测中的数据注释是有用的。
2018-02-25 cs.CV
Multi-task SAR Image Processing via GAN-based Unsupervised Manipulation
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；Kunshan Innovation Institute of Xidian University（西安电子科技大学昆山创新研究院）；University of Montenegro（黑山大学）
本文提出无监督框架GUE，通过训练专用网络解耦GAN潜空间语义方向，在单次无监督训练中实现SAR图像去斑、定位、辅助识别和旋转编辑等多任务处理。
2024-08-02 cs.CV eess.IV
A Siamese-based Verification System for Open-set Architecture Attribution of Synthetic Images
University of Siena（锡耶纳大学）
本文提出基于孪生网络的验证框架，解决合成图像开集架构归属问题，支持图像同源判断和架构声明验证，在闭集和开集场景下均表现优异且具强泛化能力。
2023-12-29 cs.CV
Are CLIP features all you need for Universal Synthetic Image Origin Attribution?
University of Florence（佛罗伦萨大学）；City, University of London（伦敦城市大学）；Queen Mary, University of London（伦敦大学Queen Mary）
针对合成图像滥用威胁，本文提出利用大型预训练基础模型特征的框架，在Open-Set场景下实现跨多种生成模型的合成图像溯源，在低数据量下性能超越现有方法且泛化性更好。
2024-08-17 cs.CV
Open Set Classification of GAN-based Image Manipulations via a ViT-based Hybrid Architecture
University of Siena（锡耶纳大学）
本文针对开集场景下GAN合成人脸操纵分类问题，提出结合ViT与定位分支的混合架构，通过多策略拒绝机制实现带拒识的分类，并在人脸属性编辑与GAN归因任务上验证有效性。
2023-04-11 cs.CV
Altered Fingerprints: Detection and Localization
Michigan State University（密歇根州立大学）
指纹篡改，也称为模糊呈现攻击，是指故意篡改或破坏真实的摩擦纹图案，以避免被自动指纹识别系统识别。本文提出了一种检测和定位指纹变化的方法。我们的主要贡献是：（i）设计和训练关于指纹图像和图像中以细节点为中心的局部块的CNN模型，以检测和定位指纹改变的区域，以及（ii）训练生成对抗网络（GAN），以合成改变的指纹，其特征类似于真实的改变的指纹。成功训练的GAN可以缓解用于研究的更改指纹图像的有限可用性。一个包含270个受试者的4，815个篡改指纹的数据库和相同数量的滚动指纹图像被用于训练和测试我们的模型。所提出的方法实现了99.24%的真检测率（TDR）的错误检测率（FDR）为2%，优于公布的结果。合成生成的更改指纹数据集将是开源的。
2018-09-18 cs.CV
Attacking Image Splicing Detection and Localization Algorithms Using Synthetic Traces
深度学习的最新进展使取证研究人员能够开发出一类新的图像拼接检测和定位算法。这些算法通过使用Siamese神经网络检测取证痕迹中的局部不一致来识别拼接内容，无论是在分析期间显式地还是在训练期间隐式地。与此同时，深度学习还实现了新形式的反取证攻击，例如对抗性示例和基于生成对抗网络（GAN）的攻击。然而，到目前为止，没有反取证攻击已被证明对图像拼接检测和定位算法。在本文中，我们提出了一种新的基于GAN的反取证攻击，能够欺骗最先进的拼接检测和定位算法，如EXIF-Net，Noiseprint和Forensic Similarity Graphs。这种攻击通过对抗一组暹罗神经网络来训练反取证生成器，以便它能够创建合成的取证痕迹。经过分析，这些合成痕迹看起来是真实的，并且在整个图像中是自洽的。通过一系列的实验，我们证明了我们的攻击是能够愚弄法医拼接检测和定位算法，而不会引入视觉上可检测的文物到攻击图像。此外，我们证明了我们的攻击优于现有的替代攻击方法。%
2022-11-22 cs.CV cs.LG eess.IV
RV-GAN: Segmenting Retinal Vascular Structure in Fundus Photographs using a Novel Multi-scale Generative Adversarial Network
University of Nevada, Reno（内华达大学里诺分校）；Houston Eye Associates（休斯顿眼科协会）
视网膜的宏观和微观血管结构的高保真分割在诊断视网膜变性疾病中起着关键作用，但这是一个难题。由于在编码阶段中的连续分辨率损失与在解码阶段中无法恢复该丢失的信息相结合，基于自动编码的分割方法在其提取视网膜微血管结构的能力方面受到限制。我们提出了RV-GAN，这是一种新的多尺度生成架构，用于精确的视网膜血管分割，以缓解这一问题。该架构使用两个发生器和两个多尺度自动编码鉴别器，以更好地进行微血管定位和分割。为了避免传统的基于GAN的分割系统所遭受的保真度损失，我们引入了一种新的加权特征匹配损失。这种新的损失合并和优先权的功能，从解码器的编码器。这样做结合了这样一个事实，即ESTA的解码器试图在像素级确定真实或虚假的图像更好地保留宏观和微血管结构。通过结合重建和加权特征匹配损失，所提出的体系结构在三个公开数据集（即DRIVE、CHASE-DB 1和STARE）的视网膜血管像素分割中实现了曲线下面积（AUC）分别为0.9887、0.9914和0.9887。此外，RV-GAN在两个额外的相关指标方面优于其他架构，即平均交集（Mean-IOU）和结构相似性度量（SSIM）。
2021-05-14 cs.CV eess.IV
Enhancing Generative Networks for Chest Anomaly Localization through Automatic Registration-Based Unpaired-to-Pseudo-Paired Training Data Translation
Samsung Medical Center（三星医疗中心）；Sungkyunkwan University School of Medicine（成均馆大学医学院）；SAIHST, Sungkyunkwan University（成均馆大学SAIHST）
针对非配对胸部X线数据导致异常定位不稳定的问题，提出结合深度学习配准与左右肺交换增强的两阶段GAN-IT框架，将非配对数据转为伪配对数据并在多模型上稳定提升AL-CXR性能。
2024-06-16 cs.CV cs.LG eess.IV
Unveiling Concept Attribution in Diffusion Models
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；VinUni-Illinois Smart Health Center, VinUniversity（VinUniversity伊利诺伊智能健康中心）
针对扩散模型黑箱特性及现有归因研究的局限，提出CAD框架揭示正向、负向概念组件，推出两种推理阶段编辑算法，为生成模型可解释性提供完整视角。
2025-10-28 cs.CV cs.LG
Generative Adversarial Networks for Image Augmentation in Agriculture: A Systematic Review
Mississippi State University（密西西比州立大学）；Michigan State University（密歇根州立大学）；United States Department of Agriculture, Agricultural Research Service（美国农业部农业研究局）
在农业图像分析中，为了更好地完成视觉识别任务（例如，图像分类、分割、目标检测和定位）。然而，大规模、平衡和地面真实的图像数据集往往难以获得，难以推动先进、高性能模型的开发。由于深度学习的人工智能正在影响农业图像的分析和建模，因此数据增强在提高模型性能方面发挥着至关重要的作用，同时通过算法扩展训练数据集来减少数据准备的手动工作。除了传统的数据增强技术，生成对抗网络（GAN）于2014年在计算机视觉社区发明，提供了一套新的方法，可以学习良好的数据表示并生成高度真实的样本。自2017年以来，对用于农业图像增强或合成的GANs的研究有所增长，以提高模型性能。本文概述了GAN架构的演变，然后对其在农业中的应用进行了系统的回顾（https：//github.com/Derekabc/GANs-Agriculture），涉及植物健康，杂草，水果，水产养殖，动物养殖，植物表型以及水果缺陷的采后检测的各种视觉任务。讨论了GANs的挑战和机遇，为未来的研究。
2022-04-12 cs.CV eess.IV
Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
基于单幅人脸图像的真实感正面图合成在人脸识别领域有着广泛的应用。尽管已经提出了数据驱动的深度学习方法来通过从大量的人脸数据中寻求解决方案来解决这个问题，但是这个问题仍然具有挑战性，因为它本质上是不适定的。本文提出了一种双通道生成对抗网络（TP-GAN），通过同时感知全局结构和局部细节来实现真实感正面视图的合成。除了常用的全局编码解码器网络之外，还提出了四个地标定位的补丁网络来处理局部纹理。除了新颖的架构，我们使这个不适定的问题，以及通过引入对抗损失，对称性损失和身份保持损失的组合约束。组合的损失函数利用正面面部分布和预先训练的区分性深度面部模型两者来引导从轮廓对正面视图的身份保持推断。与之前主要依赖中间特征进行识别的深度学习方法不同，我们的方法直接利用合成的身份保留图像进行人脸识别和属性估计等下游任务。实验结果表明，我们的方法不仅提出了令人信服的感知结果，但也优于国家的最先进的大姿态人脸识别的结果。
2017-08-04 cs.CV
Causal Fingerprints of AI Generative Models
Faculty of Data Science,City University of Macau（数据科学学院，澳门城市大学）；Nanjing University of Science and Technology（南京理工大学）；Zhejiang Cloudpeng Technology Co., Ltd.（浙江云鹏科技有限公司）
本文提出了一种基于因果解耦框架的方法，通过语义不变的潜在空间分离图像生成过程与模型痕迹，提升指纹的粒度，验证了因果关系在模型溯源和身份保护中的有效性。
2026-04-14 cs.CV
Complement Face Forensic Detection and Localization with FacialLandmarks
Imperial College London（帝国理工学院）；University of Oulu（奥卢大学）
最近，生成对抗网络（GANs）和图像处理方法变得越来越强大，可以产生超出人类识别的高度逼真的人脸图像，这引起了人们对数字媒体真实性的极大关注。虽然已经有一些先前的工作解决了面部法医分类问题，但从分类预测中估计编辑位置并不是微不足道的。在本文中，我们提出，据我们所知，第一个严格的人脸法医定位数据集，其中包括真正的，生成的，和操纵的人脸图像。特别是，原始部分包含来自CelebA和FFHQ数据集的人脸图像。假图像是由各种GANs方法生成的，即DCGAN，LSGAN，BEGAN，WGAN-GP，ProGANs和StyleGANs。最后，基于自由形式的掩码从StarGAN和SEFCGAN生成编辑的子集。总的来说，该数据集包含约130万张标有相应二进制掩码的面部图像。基于所提出的数据集，我们证明了除了输入图像外，显式添加面部标志信息可以提高性能。此外，我们提出的方法由两个分支组成，可以连贯地预测人脸法医检测和定位，在新提出的数据集以及faceforecsic++数据集上，特别是在低质量视频上，性能优于以前的最先进技术。
2019-10-12 cs.CV cs.LG
Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data
University of Maryland（马里兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
由于生成对抗网络（GANs）的突破，真实感图像生成已经达到了一个新的质量水平。然而，这种deepfakes的黑暗面，恶意使用生成的媒体，引起了人们对视觉错误信息的担忧。虽然现有的deepfake检测研究工作具有很高的准确性，但它受制于生成技术的进步和检测对策技术的对抗性迭代。因此，我们寻求一种主动和可持续的深度伪造检测解决方案，即通过将人工指纹引入模型，对生成模型的演变不可知。我们的方法简单而有效。我们首先将人工指纹嵌入到训练数据中，然后验证这种指纹从训练数据到生成模型的可转移性，这反过来又出现在生成的deepfake中。实验表明，我们的指纹识别解决方案（1）适用于各种尖端的生成模型，（2）对生成质量产生的副作用可以忽略不计，（3）对图像级和模型级扰动保持鲁棒性，（4）难以被对手检测到，（5）将deepfake检测和归因转换为琐碎的任务，并优于最近最先进的基线。我们的解决方案关闭了发布预训练的生成模型发明及其可能的滥用之间的责任循环，这使得它独立于当前的军备竞赛。代码和型号可在https://github.com/ningyu1991/ArtificialGANFingerprints上获得。
2022-03-17 cs.CR cs.CV cs.CY
Stain Style Transfer of Histopathology Images Via Structure-Preserved Generative Learning
University of Toronto（多伦多大学）；University of Alberta（阿尔伯塔大学）
计算机组织病理学图像诊断变得越来越流行和重要，其中图像被分割或分类用于疾病诊断。虽然病理学家不与幻灯片中的颜色变化作斗争，但计算解决方案通常会遇到这个关键问题。为了解决组织病理学图像中的颜色变化问题，本研究提出了两种基于生成对抗网络的染色风格转移模型，SSIM-GAN和DSCSI-GAN。通过合作的结构保存度量和反馈的辅助诊断网络在学习中，医学相关的信息所呈现的图像纹理，结构和色度对比度的功能被保留在颜色归一化的图像。特别是，我们的DSCSI-GAN模型中对彩色图像内容的智能处理有助于在由于组织物质共定位而导致染色混合的图像区域实现显着的标准化改进。对公共组织病理学图像集的广泛实验表明，我们的方法在生成更染色一致的图像，更好地保留图像中的组织学信息，并获得显着更高的学习效率方面优于现有技术。我们的python实现发布在https://github.com/hanwen0529/DSCSI-GAN上。
2020-07-24 cs.CV cs.LG eess.IV
Towards Large-Pose Face Frontalization in the Wild
NEC Laboratories America（NEC美国实验室）；Michigan State University（密歇根州立大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
尽管最近在使用深度学习的人脸识别方面取得了进展，但在不受约束的环境中，对于大的姿势变化，观察到严重的准确性下降。学习姿态不变特征是一种解决方案，但需要昂贵的标记大规模数据和精心设计的特征学习算法。在这项工作中，我们专注于在各种头部姿势下，包括极端的侧面视图下，在野外正面化面部。提出了一种新的基于深度3D变形模型（3DMM）的人脸正面化生成对抗网络（GAN），简称为FF-GAN，用于生成中性头部姿态人脸图像。我们的框架不同于传统的GANs和基于3DMM的建模。将3DMM扩展到GAN结构中提供了形状和外观先验，用于以更少的训练数据快速收敛，同时还支持端到端训练。3DMM条件下的GAN不仅采用了对称性和发生器损失，而且还采用了一种新的掩蔽对称性损失，以保持视觉质量的遮挡下，除了身份损失，以恢复高频信息。人脸识别，地标定位和三维重建的实验一致表明，我们的正面化方法的优势，在野生数据集的人脸。
2017-08-17 cs.CV
CSI4Free: GAN-Augmented mmWave CSI for Improved Pose Classification
University of Antwerp（安特卫普大学）；imec（微电子中心）；IDLab
本文提出CSI4Free方法，利用GAN在现有毫米波CSI数据集上生成3万个合成样本，以缓解数据稀缺问题，并通过增强训练提升姿态分类模型的泛化性能。
2024-06-28 cs.CV
Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs
实际环境深度的实时估计是各种自主系统任务（如定位、障碍物检测和位姿估计）的重要模块。在机器学习的最后十年中，深度学习方法在计算机视觉任务中的广泛部署产生了从简单RGB模态中进行逼真深度合成的成功方法。虽然这些模型大多依赖于成对的深度数据或视频序列和立体图像的可用性，但缺乏以无监督方式进行单图像深度合成的方法。因此，在这项研究中，生成神经网络领域的最新进展被用于完全无监督的单图像深度合成。更确切地说，实现了两个用于RGB到深度和深度到RGB传输的周期一致性生成器，并使用Wasserstein-1距离同时优化。为了确保所提出的方法的可扩展性，我们将模型应用到一个自我采集的工业数据集以及著名的纽约大学深度v2数据集，它允许与现有的方法进行比较。在这项研究中观察到的成功表明，在现实世界的应用中，不成对的单图像深度估计的潜力很大。
2022-07-08 cs.CV cs.LG eess.IV
PRISM: Phase-enhanced Radial-based Image Signature Mapping framework for fingerprinting AI-generated images
PRISM提出一种基于离散傅里叶变换径向降维、融合幅度与相位信息的频域指纹框架，结合线性判别分析实现AI生成图像溯源，在自建PRISM-36K数据集及多个基准上取得领先准确率。
2025-09-18 cs.AI cs.CV
Y-GAN: A Generative Adversarial Network for Depthmap Estimation from Multi-camera Stereo Images
School of Computing and Information Science（计算与信息科学学院）；Florida International University（佛罗里达国际大学）
深度感知是在现实世界中交互的自主系统的关键组成部分，例如送货机器人，仓库机器人和自动驾驶汽车。自主机器人中的任务，如3D物体识别，同时定位与地图构建（SLAM），路径规划和导航，需要某种形式的3D空间信息。深度感知是计算机视觉和机器人学中一个长期存在的研究问题，有着悠久的历史。许多使用深度学习的方法，包括从运动恢复运动恢复结构、从X轴恢复形状、单目、双目和多视图立体视觉，都产生了可接受的结果。然而，这些方法存在几个缺点，例如需要昂贵的硬件，需要监督的训练数据，没有用于比较的地面真实数据，以及忽视遮挡。为了解决这些缺点，这项工作提出了一种新的深度卷积生成对抗网络架构，称为Y-GAN，它使用来自三个摄像头的数据来估计多摄像头视频流中每帧的深度图。
2019-06-03 cs.CV cs.LG stat.ML
GANs for Biological Image Synthesis
École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；National Research University Higher School of Economics（俄罗斯国立高等经济学院）；LOB, École Polytechnique（光学与生物科学实验室，巴黎综合理工学院）；INSERM（法国国家健康与医学研究院）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；HSE（俄罗斯国立高等经济学院）；University of Bristol（布里斯托大学）；Amazon（亚马逊）
在本文中，我们提出了一种新的应用生成对抗网络（GAN）的合成细胞成像的荧光显微镜。与自然图像相比，细胞倾向于具有更简单和更几何的全局结构，这有助于图像生成。然而，不同荧光蛋白的空间模式之间的相关性反映了重要的生物学功能，合成图像必须捕获这些关系才能与生物学应用相关。我们使GANs适应手头的任务，并提出了图像通道之间具有因果依赖关系的新模型，这些模型可以生成多通道图像，这在实验上是不可能获得的。我们使用两种独立的技术来评估我们的方法，并将其与合理的基线进行比较。最后，我们证明，通过插值的潜在空间，我们可以模仿已知的变化，在细胞周期中发生的蛋白质定位，通过时间，使我们能够预测从静态图像的时间演变。
2017-09-12 cs.CV cs.LG stat.ML
Mask-FPAN: Semi-Supervised Face Parsing in the Wild With De-Occlusion and UV GAN
University of Copenhagen（哥本哈根大学）；University of Electronic Science and Technology of China（电子科技大学）
Mask-FPAN 框架通过半监督去遮挡模块、3D 可变形人脸模型与 UV GAN 提升野外遮挡和大幅姿态下的人脸解析精度，并发布两个新数据集，MIOU 从 0.7353 提升至 0.9013。
2023-05-30 cs.CV
Exploring the Relationship between Samples and Masks for Robust Defect Localization
Southeast University（东南大学）
本文提出一种单阶段缺陷定位框架，结合GAN、缩放模式损失和动态掩码循环一致辅助网络直接检测缺陷模式，在MVTec AD纹理类上F1-Score超越SOTA方法2.9%，并显著提升泛化能力。
2023-11-29 cs.CV
Born Identity Network: Multi-way Counterfactual Map Generation to Explain a Classifier's Decision
Korea University（高丽大学）
深度学习模型的性能和可解释性之间存在明显的负相关。为了减少这种负相关性，我们提出了一个天生的身份网络（BIN），这是一个事后的方法来产生多路反事实地图。反事实映射将输入样本转换为条件并分类为目标标签，这类似于人类如何通过反事实思维处理知识。例如，反事实映射可以从正常的大脑图像中定位假设的异常，这可能导致它被诊断患有疾病。具体来说，我们提出的BIN由两个核心组件组成：反事实地图生成器和目标归因网络。反事实地图生成器是条件GAN的一个变体，它可以合成一个以任意目标标签为条件的反事实地图。目标属性网络通过将目标标签调节到反事实地图生成器中来为生成合成地图提供足够的帮助。我们已经验证了我们提出的BIN在定性和定量分析MNIST，3D EQUIPMENT，和ADNI数据集，并显示了我们的方法从各种消融研究的可理解性和保真度。
2021-04-08 cs.AI cs.CV cs.LG
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford（牛津大学计算机科学系）
在过去的十年中，监督式深度学习方法已被广泛用于视觉里程计（VO）应用中，这在标记数据不丰富的环境中是不可行的。另一方面，无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射，在VO研究中受到的关注相对较少。在这项研究中，我们提出了一个生成式无监督学习框架，该框架使用深度卷积生成对抗网络（GANs）从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估，结果表明，所提出的方法优于现有的传统和无监督深度VO方法，为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
OffsetNet: Deep Learning for Localization in the Lung using Rendered Images
Auris Health Inc.（Auris Health公司）；Stanford University（斯坦福大学）
在肺气道的动态和曲折的解剖结构中导航手术工具需要相对于解剖结构的术前扫描准确、实时地定位工具。这样的定位可以通知人类操作员或通过自主智能体实现闭环控制，这将需要文献中尚未报道的准确性。在本文中，我们介绍了一种称为OffsetNet的深度学习架构，用于实时准确定位肺部的支气管镜。在对肺体模保守区域中仅记录30分钟的摄像机图像进行训练后，OffsetNet以47 Hz的更新速率和1.4 mm的平均位置误差通过这些相同区域跟踪支气管镜在保持记录上的运动。由于该模型在不太保守的区域中表现不佳，因此我们使用来自这些区域的模拟图像来增强训练数据集。为了弥合相机和模拟域之间的差距，我们实现了域随机化和生成对抗网络（GAN）。在模拟图像上进行训练后，OffsetNet以2.4 mm的平均位置误差在不太保守的区域中跟踪支气管镜的运动，这符合成功跟踪所需的保守阈值。
2018-09-15 cs.CV
DA-HFNet: Progressive Fine-Grained Forgery Image Detection and Localization Based on Dual Attention
National University of Defense Technology（国防科技大学）
本文提出DA-HFNet，通过构建伪造图像数据集，利用双重注意力机制和分层渐进网络融合多模态特征并捕获多尺度伪造痕迹，实现细粒度伪造图像检测与定位，性能显著优于现有方法。
2024-06-04 cs.CV
Image Splicing Detection, Localization and Attribution via JPEG Primary Quantization Matrix Estimation and Clustering
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京市先进信息科学与网络技术重点实验室）；Department of Information Engineering and Mathematics, University of Siena（锡耶纳大学信息工程与数学系）
跨不同图像区域的双JPEG伪影的不一致性的检测通常用于检测局部图像操纵，如图像拼接，并将其定位。在本文中，我们更进一步，提出了一个端到端的系统，除了检测和定位拼接区域，还可以区分来自不同供体图像的区域。我们假设拼接区域和背景图像都经历了双重JPEG压缩，并使用主量化矩阵的局部估计来区分来自不同来源的拼接区域。为此，我们根据估计的初级量化矩阵的图像块进行聚类，并通过形态学重建来细化结果。所提出的方法可以工作在各种各样的设置，包括对齐和非对齐的双JPEG压缩，无论第二次压缩是强还是弱于第一次。我们通过大量的实验验证了所提出的方法，表明其优越的性能相对于在类似条件下工作的基线方法。
2022-01-19 cs.CV eess.IV
SPN-CNN: Boosting Sensor-Based Source Camera Attribution With Deep Learning
Kitware, Inc.（Kitware公司）
我们探索在数据驱动的框架中基于传感器噪声推进源相机识别的方法。我们的重点是提高传感器模式噪声（SPN）提取从一个单一的图像在测试时。在现有的作品抑制滋扰内容与去噪过滤器，在很大程度上是不可知的特定的SPN信号的兴趣，我们证明了一个~深度学习的方法可以产生一个更合适的提取器，导致改进的源属性。在各种公开数据集上的一系列广泛实验证实了该方法的可行性及其在图像处理定位和视频源归属方面的适用性。对潜在陷阱的批判性讨论完成了文本。
2020-02-07 cs.CV cs.MM eess.IV
Improving Interpretability of Deep Neural Networks in Medical Diagnosis by Investigating the Individual Units
Korea University（高丽大学）
由于可解释性已被指出是采用深度神经网络（DNN）的障碍，因此人们越来越关注解决透明度问题以保证令人印象深刻的性能。在本文中，我们证明了最近的归因技术的效率，解释的诊断决策可视化的重要因素在输入图像。通过利用DNN已经学习的对象特性，充分分解网络预测，使靶病变的定位清晰可见。为了验证我们的工作，我们进行了胸部X射线诊断与公开访问的数据集的实验。作为一个直观的评价指标的解释，我们报告的性能之间的联合视觉解释和边界框的病变。实验结果表明，最近提出的属性方法可视化更准确的定位诊断决策相比，传统的CAM。此外，我们分析了人类和DNN之间的意图不一致，这很容易被高性能所掩盖。通过可视化相关因素，可以确认决策标准与学习策略一致。我们对机器智能的分析揭示了医疗诊断决策中可解释性的必要性。
2021-07-19 cs.CV eess.IV
ICAM: Interpretable Classification via Disentangled Representations and Feature Attribution Mapping
University of Oxford（牛津大学）
特征属性（FA），或将类别相关性分配给图像中的不同位置，对于许多分类问题很重要，但在神经科学领域中尤其重要，其中准确的行为或疾病的机械模型需要了解所有特征的特征。与此同时，从大脑图像预测类别相关性是具有挑战性的，因为表型通常是异质的，并且在显著的自然变化的背景下发生变化。在这里，我们提出了一个新的框架，通过图像到图像的翻译创建类特定的FA地图。我们建议使用一个VAE-GAN显式地解开类相关性的背景特征，以提高可解释性的属性，从而产生有意义的FA地图。我们验证了我们的方法在痴呆症（ADNI数据集），老龄化（英国生物银行）和（模拟）病变检测的2D和3D脑图像数据集。我们表明，我们的方法生成的FA地图优于基线FA方法时，对地面真相进行验证。更重要的是，我们的方法是第一个使用潜在空间采样来支持探索表型变异。我们的代码将在https://github.com/CherBass/ICAM在线提供。
2020-06-16 cs.LG eess.IV stat.ML
Real-time Image Enhancement for Vision-based Autonomous Underwater Vehicle Navigation in Murky Waters
经典的基于视觉的导航解决方案用于同步定位和地图绘制（SLAM）等算法，当水浑浊且记录图像质量较低时，通常无法在水下工作。这是因为大多数SLAM算法是基于特征的技术，并且通常不可能从模糊的水下图像中提取匹配特征。为了获得更多有用的特征，可以在将图像用于导航/定位算法之前使用图像处理技术来对图像进行去雾。图像复原的方法有很多，但各种方法的增强程度和资源消耗各不相同。在本文中，我们提出了一种新的视觉SLAM，专门为水下环境设计，使用生成对抗网络（GANs），以提高水下图像的质量与水下图像质量评价指标。该方法提高了SLAM的效率，并获得了较好的导航和定位精度。我们通过使用水中不同浊度水平的不同图像来评估所提出的GANs-SLAM组合。实验进行，并从普林斯顿的卡内基湖，和拉里坦河都在新泽西州，美国提取的数据。
2019-11-11 eess.IV
Interpreting Medical Image Classifiers by Optimization Based Counterfactual Impact Analysis
VRVis；AGFA HealthCare（爱克发医疗）
自动决策支持系统的临床适用性取决于一个强大的，良好理解的分类解释。人工神经网络虽然取得了领先的成绩，但在这方面却做不到。因此，已经提出了将图像的显著区域映射到诊断分类的许多方法。利用启发式方法，如模糊和噪声，它们往往会产生分散的，有时是误导性的结果，阻碍了它们的普遍采用。在这项工作中，我们克服了这些问题，提出了一个模型不可知的显着映射框架量身定制的医学成像。我们取代启发式技术与强大的邻域条件修复方法，避免解剖学上难以置信的文物。我们制定显着性归因为地图质量优化任务，强制约束和集中的属性。在公开的乳腺摄影数据上的实验表明，与现有的最先进的方法相比，该方法在定量和定性上都更精确地定位和更清晰的传达结果。
2020-04-03 cs.CV cs.LG eess.IV
Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）；Petrobras Research and Development Center（巴西石油公司研发中心）
本文针对相历史拟合中集成平滑器受高斯假设限制的问题，系统比较了七种深度生成网络参数化方法，并提出两种支持基于距离局部化的策略，以提升大规模河道化相历史拟合的适用性。
2020-05-08 cs.LG eess.IV stat.ML
