Visual Feature Attribution using Wasserstein GANs
ETH Zurich（苏黎世联邦理工学院）
在计算机视觉中，将输入图像的像素归属于某个类别是一个重要且研究得很好的问题，其应用范围从弱监督定位到理解数据中的隐藏效应。近年来，基于解释先前训练的神经网络分类器的方法已经成为事实上的最先进技术，并且通常用于医学以及自然图像数据集。在本文中，我们讨论了这些方法的局限性，这可能会导致只有一个子集的类别特定的功能被检测到。为了解决这个问题，我们开发了一种新的特征归因技术的基础上Wasserstein生成对抗网络（WGAN），不受此限制。我们表明，我们提出的方法在合成数据集和轻度认知障碍（MCI）和阿尔茨海默病（AD）患者的真实3D神经成像数据上的视觉归因方面的表现明显优于最先进的方法。对于AD患者的方法产生令人信服的现实的疾病影响地图是非常接近观察到的效果。
2018-06-26 cs.CV
Generalized Deepfake Attribution
Indian Institute of Technology Bhilai（印度比莱印度理工学院）
针对现有深度伪造溯源方法受种子依赖限制的问题，提出广义深度伪造溯源网络（GDA-Net），能跨种子和微调版本归属伪造图像至GAN架构，实验证明其高效性。
2024-06-26 cs.CV eess.IV
Source Generator Attribution via Inversion
Honeywell ACST（霍尼韦尔ACST）
随着生成对抗网络（GANs）的进步，合成图像和视频得到了极大的改进，对将传统取证扩展到这一新类别图像的算法的需求越来越大。虽然GANs已被证明在许多计算机视觉应用中很有帮助，但还有其他一些有问题的用途，例如“深度伪造”，这需要进行取证。使用各种线索的源相机归属算法已经解决了对相机捕获的图像的这种需求，但是合成图像的选项较少。我们解决的问题，归因于一个特定的生成器在白盒设置的合成图像，通过反转的过程中产生。这使我们能够同时确定生成器是否生成了图像，并恢复与合成图像密切匹配的输入。
2019-06-13 cs.CV cs.LG eess.IV
Copyright Protection and Accountability of Generative AI:Attack, Watermarking and Attribution
University of New South Wales（新南威尔士大学）；The Australian National University（澳大利亚国立大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61研究所）
生成式人工智能（例如，生成对抗网络（Generative Adversarial Networks，简称GANs）近年来越来越受欢迎。然而，生成式人工智能引入了对知识产权（IPR）保护的重大关切（分别为：模型责任）有关的图像（分别有毒图像）和模型（分别中毒模型）生成。在本文中，我们提出了一个评估框架，以全面概述GANs的版权保护措施的现状，评估它们在各种GAN架构中的性能，并确定影响其性能的因素和未来的研究方向。我们的研究结果表明，目前的输入图像，模型水印和属性网络的知识产权保护方法在很大程度上是令人满意的广泛的GANs。我们强调，必须进一步关注保护训练集，因为目前的方法无法提供强大的知识产权保护和对训练集的出处追踪。
2023-03-15 cs.CR cs.LG cs.MM
Deepfake Forensic Analysis: Source Dataset Attribution and Legal Implications of Synthetic Media Manipulation
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Catania（卡塔尼亚大学）
本研究提出一种基于多特征分析的GAN生成图像源数据集归因取证框架，实现98%-99%的分类准确率，并探讨其在版权、隐私合规等法律场景的应用价值。
2025-05-16 cs.CV
CapST: Leveraging Capsule Networks and Temporal Attention for Accurate Model Attribution in Deep-fake Videos
Institute of Information Science, Academia Sinica（资讯研究所）；Social Networks and Human-Centred Computing, Taiwan International Graduate Program（人本计算与社交网络，台湾国际研究生计划）；Department of Computer Science, National Chengchi University（计算机科学系，国立成功大学）；Member IEEE, National Chengchi University（IEEE会员，国立成功大学）；Fellow IEEE, Institute of Information Science, Academia Sinica（IEEE会士，资讯研究所）；Dire Dawa University（迪雷达瓦大学）；Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）
针对深度伪造视频的模型归因需求，提出融合截断VGG19、胶囊网络与时空注意力的CapST模型，在两个数据集上实现了优于基线的归因准确率，且计算成本更低。
2025-06-12 cs.CV
Deepfake Network Architecture Attribution
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Renmin University of China（中国人民大学）
随着图像生成技术的飞速发展，对伪图像的来源进行分析已成为必要。现有的虚假图像属性研究工作在几种生成对抗网络（GAN）模型上进行多类分类，并获得了较高的准确率。虽然令人鼓舞，但这些工作仅限于模型级别的属性，只能处理具有特定种子，损失和数据集的可见模型生成的图像，这在真实场景中受到限制，因为私人训练的模型可能会生成假图像。这促使我们问是否有可能将假图像归因于源模型的架构，即使它们在不同的配置下进行了微调或重新训练。在这项工作中，我们提出了第一个关于Deepfake网络架构归因的研究，以在架构级别上对虚假图像进行属性化。基于GAN架构可能会留下全局一致的指纹，而模型权重在不同区域留下的痕迹不同的观察，我们为这个问题提供了一个简单而有效的解决方案，称为DNA-Det。在多个交叉测试设置和大规模数据集上的大量实验证明了DNA-Det的有效性。
2022-03-14 cs.CV
Self-supervised Enhancement of Latent Discovery in GANs
TCS Research（塔塔咨询服务研究部）；Flytxt Mobile Solutions（Flytxt 移动解决方案公司）；Indian Institute of Space Science and Technology（印度空间科学技术研究所）
已经提出了几种用于在预训练的GANs的潜在空间中发现可解释方向的方法。由无监督方法发现的潜在语义比监督方法相对较少，因为它们不使用预先训练的属性分类器。我们提出了规模排名估计（SRE），这是使用自我监督训练。SRE增强了现有的无监督解缠技术获得的方向上的解缠。这些方向被更新以保持潜在空间中每个方向内的变化的顺序。定性和定量评估发现的方向表明，我们提出的方法显着提高了各种数据集的解纠缠。我们还表明，学习SRE可以用来执行基于属性的图像检索任务，而无需进一步的训练。
2021-12-16 cs.CV cs.LG
Object Discovery with a Copy-Pasting GAN
DeepMind（深度思维）；University of Oxford（牛津大学）
我们解决了对象发现的问题，其中对象针对给定的输入图像进行分割，并且系统在不使用任何直接监督的情况下进行训练。提出了一种新的复制-粘贴GAN框架，其中生成器通过将一个图像合成到另一个图像中来学习发现一个对象，从而使生成器不能分辨出所得到的图像是假的。在仔细解决了一些微妙的问题之后，比如防止生成器“作弊”，这个游戏的结果是生成器学习选择对象，因为复制粘贴对象最有可能欺骗生成器。该系统在四个非常不同的数据集上工作良好，包括在具有挑战性的杂乱背景中的大型物体外观变化。
2019-05-27 cs.AI cs.CV cs.LG
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Yandex（扬德克斯）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
GAN模型的潜在空间通常具有语义上有意义的方向。在这些方向上移动对应于人类可解释的图像变换，例如缩放或缩放，从而实现更可控的生成过程。然而，这些方向的发现目前是以监督的方式执行的，需要人类标签，预训练模型或某种形式的自我监督。这些要求严重限制了现有方法可以发现的方向范围。在本文中，我们引入了一种无监督的方法来识别预训练的GAN模型的潜在空间中的可解释方向。通过一个简单的模型不可知的程序，我们发现方向对应于明智的语义操作，没有任何形式的（自我）监督。此外，我们揭示了几个非平凡的发现，这将是很难获得现有的方法，例如，对应于背景去除的方向。作为我们工作的直接实际好处，我们展示了如何利用这一发现来实现弱监督显着性检测的竞争性能。
2020-06-24 cs.CV cs.LG stat.ML
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
GANzilla: User-Driven Direction Discovery in Generative Adversarial Networks
UCLA HCI Research（加州大学洛杉矶分校人机交互研究）
生成对抗网络（GAN）被广泛应用于数据预处理、图像编辑和创意支持等众多应用领域。然而，GAN的“黑匣子”性质阻止了非专家用户控制模型生成的数据，从而产生了大量先前的工作，这些工作集中在算法驱动的方法上，以提取编辑方向来控制GAN。作为补充，我们提出了一个GANzilla：一个用户驱动的工具，使用户能够使用经典的分散/聚集技术来迭代地发现方向，以满足他们的编辑目标。在一项有12名参与者的研究中，GANzilla用户能够发现（i）编辑图像以匹配提供的示例（封闭式任务）以及（ii）满足高级别目标的方向，例如，使面部更快乐，同时显示个体之间的多样性（开放式任务）。
2022-08-13 cs.AI cs.HC cs.LG
Causal SHAP: Feature Attribution with Dependency Awareness through Causal Discovery
College of Computing and Data Science（计算与数据科学学院）；Lee Kong Chian School of Medicine（李科钦医学院）；Nanyang Technological University（南洋理工大学）
针对SHAP无法区分因果与相关、高相关特征下归因错误的问题，提出融合PC因果发现与IDA因果强度量化的Causal SHAP框架，保留SHAP优良属性并降低纯相关特征的归因分数，为XAI提供实用因果感知解释方案。
2025-08-31 cs.AI cs.LG stat.ME
Enhancing Causal Reasoning in Large Language Models: A Causal Attribution Model for Precision Fine-Tuning
University of California, Irvine（加州大学尔湾分校）；North Carolina State University（北卡罗来纳州立大学）；Amazon（亚马逊公司）
本文提出一种因果归因模型，通过精确微调提升大语言模型的可解释性和因果推理能力，展示了模型在不同领域中的因果发现任务中的有效性。
2026-05-21 cs.AI cs.CL cs.LG
Unsupervised Discovery of Disentangled Manifolds in GANs
University of California at Merced（加州大学默塞德分校）
由于最近的生成模型可以生成照片般逼真的图像，人们试图了解生成过程背后的机制。可解释的生成过程有利于各种图像编辑应用。在这项工作中，我们提出了一个框架，发现潜在空间中的任意预训练的生成对抗网络可解释的方向。我们建议学习从表示不同属性的先前独热向量到预训练模型使用的潜在空间的转换。此外，我们应用一个质心损失函数，以提高一致性和平滑性，同时通过不同的方向遍历。我们证明了所提出的框架在广泛的数据集上的有效性。所发现的方向向量被示出为在视觉上对应于各种不同的属性，并且因此使得能够进行属性编辑。
2020-11-29 cs.CV
Mode matching in GANs through latent space learning and inversion
Indian Institute of Technology Delhi（德里印度理工学院）
生成对抗网络（GANs）在生成非结构化数据（如自然图像）方面取得了显着的成功。然而，在生成的空间中发现和分离模式，这对于天真数据生成之外的几项任务至关重要，仍然是一个挑战。在本文中，我们解决了使用根据真实数据分布的模态属性设计的潜在分布将所需的模态属性强加给生成空间的问题。这是通过训练潜在空间反演网络与使用发散损失的生成网络串联来实现的。潜空间遵循一个连续的多峰分布产生的一对连续和离散的随机变量的重新参数化。此外，模态先验的潜在分布的学习与真实的数据分布使用最小的监督与可忽略不计的增量的可学习参数。我们验证了我们的方法在多个任务，如模式分离，条件生成和属性发现多个真实世界的图像数据集，并证明其有效性超过其他国家的最先进的方法。
2019-03-24 cs.CV cs.LG
Generative Adversarial Networks for Synthetic Data Generation: A Comparative Study
School of Social Sciences, University of Manchester（曼彻斯特大学社会科学学院）；Alliance Manchester Business School, University of Manchester（曼彻斯特大学联盟曼彻斯特商学院）
生成对抗网络（GANs）作为一种合成数据的手段越来越受到关注。到目前为止，这项工作的大部分已经应用于数据保密领域之外的用例，其中一个常见的应用是人工图像的生成。在这里，我们考虑了GANs的潜在应用，以生成合成的人口普查微观数据。我们采用了一组效用度量和披露风险度量（目标正确归因概率）来比较表格GANs产生的数据与使用传统数据合成方法产生的数据。
2021-12-03 cs.LG
Region-Based Semantic Factorization in GANs
The Hong Kong University of Science and Technology（香港科技大学）；ByteDance（字节跳动）；The Chinese University of Hong Kong（香港中文大学）；Ant Research（蚂蚁研究院）
尽管生成对抗网络（GANs）的潜在空间中的语义发现快速发展，但现有方法要么限于查找全局属性，要么依赖于许多分割掩码来识别局部属性。在这项工作中，我们提出了一个高效的算法来分解GANs学习到的关于任意图像区域的潜在语义。具体地说，我们重新审视了使用预训练的GANs进行局部操作的任务，并将基于区域的语义发现公式化为双重优化问题。通过适当定义的广义瑞利商，我们设法解决这样的问题，没有任何注释或培训。各种国家的最先进的GAN模型上的实验结果表明，我们的方法的有效性，以及其优于现有技术的精确控制，区域鲁棒性，实现速度，和使用简单。
2022-08-24 cs.CV
Data augmentation and explainability for bias discovery and mitigation in deep learning
本文研究深度神经网络中的偏差识别与缓解，结合可解释性方法及风格迁移增强、定向增强和归因反馈三类技术，降低偏差对模型性能的影响。
2023-08-18 cs.CV cs.LG
Contrastive Pseudo Learning for Open-World DeepFake Attribution
Shanghai Jiao Tong University（上海交通大学）；Tencent YouTu Lab（腾讯优图实验室）；Shanghai Key Laboratory of Computer Software Testing & Evaluating（上海计算机软件测评重点实验室）
本文针对开放世界深度伪造归因问题提出OW-DFA基准和CPL框架，通过全局-局部投票与置信度软伪标签策略提升对未知伪造人脸攻击的溯源性能。
2023-09-20 cs.AI cs.CV cs.LG
Discovering Class-Specific GAN Controls for Semantic Image Synthesis
Bosch Center for AI（博世人工智能中心）；MPI for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
先前的工作已经广泛研究了用于无条件图像合成的GANs的潜在空间结构，通过无监督地发现可解释的潜在方向来实现对生成图像的全局编辑。然而，用于语义图像合成（SIS）的条件GANs的潜在方向的发现仍然未被探索。在这项工作中，我们特别关注解决这一差距。我们提出了一种新的优化方法，用于在预训练的SIS模型的潜在空间中找到空间解纠缠的类特定方向。我们表明，通过我们的方法发现的潜在方向可以有效地控制语义类的局部外观，例如，彼此独立地改变它们的内部结构、纹理或颜色。对各种数据集上发现的GAN控件的视觉检查和定量评估表明，我们的方法为特定于类的编辑发现了一组独特且语义上有意义的潜在方向。
2022-12-02 cs.CV
Who Does What in Deep Learning? Multidimensional Game-Theoretic Attribution of Function of Neural Units
Institute of Computational Neuroscience（计算神经科学研究所）；University Medical Center Eppendorf（埃本多夫大学医学中心）；International Max Planck Research School on Cognitive Neuroimaging（认知神经成像国际马克斯·普朗克研究学校）；MRC Cognition and Brain Sciences Unit（MRC认知与脑科学单位）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）；Learning in Machines & Brains（机器与大脑学习）；Departments of Bioengineering and Neuroscience（生物工程与神经科学系）；Department of Health Sciences（健康科学系）
提出多扰动Shapley值分析（MSA），一种模型无关的博弈论框架，通过损伤单元组合生成与输出同维的贡献图，揭示正则化集中计算、LLM语言专家及GAN倒置层级，助力网络解释、编辑与压缩。
2025-06-24 cs.AI cs.LG
Causal-discovery-based root-cause analysis and its application in time-series prediction error diagnosis
Graduate School of Interdisciplinary Science and Engineering in Health Systems（交叉学科科学与工程健康系统研究生院）；Toshiba Corporation（东芝公司）；System AI Laboratory（系统人工智能实验室）；Faculty of Data Science（数据科学学院）
针对机器学习模型预测误差诊断缺乏透明度且现有方法依赖预定义因果图的局限，提出无需预定义因果图的CD-RCA方法，通过估计因果关系和Shapley值识别变量对异常值的贡献，实验证明其优于现有启发式归因方法。
2025-04-26 cs.LG stat.ML
ICAM-reg: Interpretable Classification and Regression with Feature Attribution for Mapping Neurological Phenotypes in Individual Scans
医学成像的一个重要目标是能够精确地检测到特定于个体扫描的疾病模式;然而，这在脑成像中受到形状和外观异质性程度的挑战。传统的方法，基于图像配准到一个全球模板，历史上未能检测到疾病的可变特征，因为它们利用基于人群的分析，主要适合于研究组平均效应。因此，在本文中，我们利用生成式深度学习的最新发展，开发了一种同时进行分类或回归和特征归因（FA）的方法。具体来说，我们探索使用称为ICAM的VAE-GAN翻译网络，明确地将类别相关特征与背景混淆分离，以提高神经表型的可解释性和回归。我们验证了我们的方法对阿尔茨海默病神经影像学倡议（ADNI）队列的简易精神状态检查（MMSE）认知测试评分预测任务，以及神经发育和神经退行性变的脑年龄预测，使用开发中的人类连接组项目（dHCP）和英国生物银行数据集。我们表明，生成的FA地图可以用来解释离群预测，并表明，包括一个回归模块提高了潜在空间的解纠缠。我们的代码可以在Github https://github.com/CherBass/ICAM上免费获得。
2021-03-03 cs.CV cs.LG eess.IV
A Siamese-based Verification System for Open-set Architecture Attribution of Synthetic Images
University of Siena（锡耶纳大学）
本文提出基于孪生网络的验证框架，解决合成图像开集架构归属问题，支持图像同源判断和架构声明验证，在闭集和开集场景下均表现优异且具强泛化能力。
2023-12-29 cs.CV
Are CLIP features all you need for Universal Synthetic Image Origin Attribution?
University of Florence（佛罗伦萨大学）；City, University of London（伦敦城市大学）；Queen Mary, University of London（伦敦大学Queen Mary）
针对合成图像滥用威胁，本文提出利用大型预训练基础模型特征的框架，在Open-Set场景下实现跨多种生成模型的合成图像溯源，在低数据量下性能超越现有方法且泛化性更好。
2024-08-17 cs.CV
Open Set Classification of GAN-based Image Manipulations via a ViT-based Hybrid Architecture
University of Siena（锡耶纳大学）
本文针对开集场景下GAN合成人脸操纵分类问题，提出结合ViT与定位分支的混合架构，通过多策略拒绝机制实现带拒识的分类，并在人脸属性编辑与GAN归因任务上验证有效性。
2023-04-11 cs.CV
A Generative Adversarial Network for Climate Tipping Point Discovery (TIP-GAN)
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）；Duke University（杜克大学）
我们提出了一个新的临界点生成对抗网络（TIP-GAN），以更好地表征地球系统模型中潜在的气候临界点。我们描述了一个对抗游戏来探索这些模型的参数空间，检测即将到来的临界点，并发现临界点的驱动因素。在这种设置中，一组生成器学习构建将调用气候临界点的模型配置。该模型学习识别哪些生成器正在生成每个模型配置，以及给定的配置是否会导致临界点。使用oracle（替代气候模型）训练该模型，以测试生成的模型配置是否会导致临界点。我们演示了应用这个GAN调用大西洋经向翻转环流（AMOC）的崩溃。我们分享了修改损失函数和发电机数量的实验结果，以利用气候临界点附近模型状态空间中的不确定性区域。此外，我们还证明了我们训练的神经网络可以在不使用预言机的情况下以高度的准确度预测AMOC崩溃。这种方法可以推广到其他临界点，并可以通过将有兴趣研究临界点的用户引导到可能在其计算密集型气候模型中引起所述临界点的参数集来增强气候建模研究。
2023-02-16 cs.AI cs.LG
Affine Disentangled GAN for Interpretable and Robust AV Perception
TUV SUD Singapore（新加坡TUV南德意志集团）；Nanyang Technological University（南洋理工大学）
随着计算机视觉算法的发展，自动驾驶汽车（AV）发展迅速。深度卷积神经网络作为这一进步的主要贡献者，大大提高了分类精度。然而，对抗性例子的发现揭示了数据集和现实世界之间的泛化差距。此外，仿射变换还可能混淆基于计算机视觉的对象检测器。感知系统的退化对于诸如自主车辆的安全关键系统是不期望的。本文提出了一种深度学习系统：仿射解纠缠GAN（ADIS-GAN），它对仿射变换和对抗攻击具有鲁棒性。仿真结果表明，传统的仿射变换数据增强和对抗攻击数据增强是正交的，而ADIS-GAN可以同时处理这两种攻击。在ADIS-GAN中还生成有用的信息，如图像旋转角度和缩放因子。在MNIST数据集上，ADIS-GAN可以在30度旋转范围内达到98%以上的分类准确率，并且可以在FGSM和PGD对抗攻击时达到90%以上的分类准确率。
2019-07-06 cs.CV cs.LG eess.IV
Interpreting the Latent Space of GANs via Correlation Analysis for Controllable Concept Manipulation
University of Science and Technology of China（中国科学技术大学）
生成对抗网络（GANs）已成功应用于图像生成、修复、超分辨率和药物发现等领域，到目前为止，人们对GANs的内部过程还很不了解。为了更深入地理解GANs的内在机制，本文提出了一种通过分析生成图像中潜在变量与相应语义内容之间的相关性来解释GANs潜在空间的方法。与以往的方法，专注于解剖模型通过特征可视化，这项工作的重点放在潜在空间中的变量，即如何潜在变量影响生成的结果的定量分析。给定一个权重固定的预训练GAN模型，对潜变量进行干预，以分析它们对生成图像中语义内容的影响。针对特定的内容生成，可以导出一组控制潜变量，实现可控的语义内容操作。在Fashion-MNIST和UT Zappos 50 K数据集上进行了验证，实验结果表明了该方法的有效性。
2020-07-23 cs.CV cs.LG stat.ML
Weakly Supervised Object Discovery by Generative Adversarial & Ranking Networks
KU Leuven（鲁汶大学）；KIT（卡尔斯鲁厄理工学院）；ETH Zürich（苏黎世联邦理工学院）
深度生成对抗网络（GAN）最近已被证明在不同的计算机视觉应用中有前途，如图像编辑、合成高分辨率图像、生成视频等。这些网络和相应的学习方案可以处理各种视觉空间映射。我们使用一种新的训练方法和学习目标来接近GANs，以发现三种情况下的多个对象实例：1）在杂乱场景中合成特定对象的图片; 2）在弱监督目标检测的图像中定位不同类别; 3）在目标检测管道中改进对象发现。我们的方法的一个关键优势是它学习了一个新的深度相似性度量，以区分一个图像中的多个对象。我们证明了该网络可以作为编码器-解码器生成包含对象的图像的部分，或者作为修改后的深度CNN来表示图像，用于监督和弱监督方案中的目标检测。我们的排名GAN提供了一种新颖的方式来搜索图像中的对象特定模式。我们已经进行了不同的情况下的实验，并证明对象合成和弱监督目标检测和分类使用MS-COCO和PASCAL VOC数据集的方法性能。
2018-04-17 cs.CV
GANravel: User-Driven Direction Disentanglement in Generative Adversarial Networks
UCLA（加州大学洛杉矶分校）
生成对抗网络（GANs）有许多应用领域，包括图像编辑，域翻译，缺失数据填补和支持创造性工作。然而，GANs被认为是"黑匣子"。具体来说，最终用户几乎无法控制如何通过解纠缠来改进编辑方向。先前的工作集中在新的GAN架构上，以理清编辑方向。或者，我们提出GANravel用户驱动的方向解开工具，补充现有的GAN架构，并允许用户迭代地改进编辑方向。在两项各有16名参与者的用户研究中，GANravel用户能够解开方向，并且在解开性能方面优于最先进的方向发现基线。在第二项用户研究中，GANravel被用于创建狗模因的创造性任务，并能够创建高质量的编辑图像和GIF。
2023-01-31 cs.HC cs.LG
ICAM: Interpretable Classification via Disentangled Representations and Feature Attribution Mapping
University of Oxford（牛津大学）
特征属性（FA），或将类别相关性分配给图像中的不同位置，对于许多分类问题很重要，但在神经科学领域中尤其重要，其中准确的行为或疾病的机械模型需要了解所有特征的特征。与此同时，从大脑图像预测类别相关性是具有挑战性的，因为表型通常是异质的，并且在显著的自然变化的背景下发生变化。在这里，我们提出了一个新的框架，通过图像到图像的翻译创建类特定的FA地图。我们建议使用一个VAE-GAN显式地解开类相关性的背景特征，以提高可解释性的属性，从而产生有意义的FA地图。我们验证了我们的方法在痴呆症（ADNI数据集），老龄化（英国生物银行）和（模拟）病变检测的2D和3D脑图像数据集。我们表明，我们的方法生成的FA地图优于基线FA方法时，对地面真相进行验证。更重要的是，我们的方法是第一个使用潜在空间采样来支持探索表型变异。我们的代码将在https://github.com/CherBass/ICAM在线提供。
2020-06-16 cs.LG eess.IV stat.ML
Improved Molecular Generation through Attribute-Driven Integrative Embeddings and GAN Selectivity
Whiting School of Engineering EP Program（韦廷工程学院EP项目）；Johns Hopkins University（约翰霍普金斯大学）
本文提出结合基于transformer的属性驱动集成嵌入生成器与改进损失函数的GAN，实现高准确率且具特定属性的分子生成，成功验证于新型气味分子的定向生成。
2025-04-26 cs.AI cs.LG
Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data
University of Maryland（马里兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
由于生成对抗网络（GANs）的突破，真实感图像生成已经达到了一个新的质量水平。然而，这种deepfakes的黑暗面，恶意使用生成的媒体，引起了人们对视觉错误信息的担忧。虽然现有的deepfake检测研究工作具有很高的准确性，但它受制于生成技术的进步和检测对策技术的对抗性迭代。因此，我们寻求一种主动和可持续的深度伪造检测解决方案，即通过将人工指纹引入模型，对生成模型的演变不可知。我们的方法简单而有效。我们首先将人工指纹嵌入到训练数据中，然后验证这种指纹从训练数据到生成模型的可转移性，这反过来又出现在生成的deepfake中。实验表明，我们的指纹识别解决方案（1）适用于各种尖端的生成模型，（2）对生成质量产生的副作用可以忽略不计，（3）对图像级和模型级扰动保持鲁棒性，（4）难以被对手检测到，（5）将deepfake检测和归因转换为琐碎的任务，并优于最近最先进的基线。我们的解决方案关闭了发布预训练的生成模型发明及其可能的滥用之间的责任循环，这使得它独立于当前的军备竞赛。代码和型号可在https://github.com/ningyu1991/ArtificialGANFingerprints上获得。
2022-03-17 cs.CR cs.CV cs.CY
Fantastic Style Channels and Where to Find Them: A Submodular Framework for Discovering Diverse Directions in GANs
Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
在预训练的GAN模型的潜在空间中发现可解释的方向最近成为一个热门话题。特别是，StyleGAN 2由于其丰富和分离的潜在空间而实现了各种图像生成和操作任务。这样的方向的发现通常以监督的方式完成，这需要针对每个期望的操纵的注释数据，或者以无监督的方式完成，这需要手动努力来识别方向。因此，现有的工作通常只找到少数几个方向，其中可控的编辑可以进行。在这项研究中，我们设计了一个新的子模块框架，在StyleGAN 2的潜在空间中找到最具代表性和多样性的方向子集。我们的方法利用了通道风格参数的潜在空间，即所谓的风格空间，在该空间中，我们将执行类似操作的通道聚类成组。我们的框架通过使用集群的概念来促进多样性，并且可以使用贪婪优化方案来有效地解决。我们用定性和定量的实验来评估我们的框架，并表明我们的方法找到了更多样化和更清晰的方向。我们的项目页面可以在http://catlab-team.github.io/fantasticstyles上找到。
2022-03-31 cs.CV
Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
基于单幅人脸图像的真实感正面图合成在人脸识别领域有着广泛的应用。尽管已经提出了数据驱动的深度学习方法来通过从大量的人脸数据中寻求解决方案来解决这个问题，但是这个问题仍然具有挑战性，因为它本质上是不适定的。本文提出了一种双通道生成对抗网络（TP-GAN），通过同时感知全局结构和局部细节来实现真实感正面视图的合成。除了常用的全局编码解码器网络之外，还提出了四个地标定位的补丁网络来处理局部纹理。除了新颖的架构，我们使这个不适定的问题，以及通过引入对抗损失，对称性损失和身份保持损失的组合约束。组合的损失函数利用正面面部分布和预先训练的区分性深度面部模型两者来引导从轮廓对正面视图的身份保持推断。与之前主要依赖中间特征进行识别的深度学习方法不同，我们的方法直接利用合成的身份保留图像进行人脸识别和属性估计等下游任务。实验结果表明，我们的方法不仅提出了令人信服的感知结果，但也优于国家的最先进的大姿态人脸识别的结果。
2017-08-04 cs.CV
House-GAN++: Generative Adversarial Layout Refinement Networks
Simon Fraser University（西蒙菲莎大学）；Autodesk Research（欧特克研究中心）
本文提出了一种新的生成对抗布局优化网络的自动布图生成。我们的架构是一个图约束的关系GAN和条件GAN，其中以前生成的布局成为下一个输入约束，使迭代细化的集成。我们研究的一个令人惊讶的发现是，一个简单的非迭代训练过程，被称为组件式GT条件反射，在学习这样的生成器时是有效的。迭代生成器还通过在迭代布局细化期间控制何时通过哪些输入约束来创建经由元优化技术进一步改进选择度量的新机会。我们的定性和定量评估的基础上的三个标准的指标表明，该系统使显着的改进，目前国家的最先进的，甚至竞争对手的地面实况平面图，由专业建筑师设计。
2021-03-03 cs.CV
Closed-Form Factorization of Latent Semantics in GANs
The Chinese University of Hong Kong（香港中文大学）
在为合成图像而训练的生成对抗网络（GANs）的潜在空间中，已经出现了一组丰富的可解释维度。为了识别这样的潜在维度以用于图像编辑，先前的方法通常注释合成样本的集合并且在潜在空间中训练线性分类器。然而，它们需要明确的目标属性定义以及相应的手动注释，限制了它们在实践中的应用。在这项工作中，我们研究了GANs学习的内部表示，以无监督的方式揭示潜在的变化因素。特别是，我们仔细研究了GANs的生成机制，并进一步提出了一种通过直接分解预训练权重来进行潜在语义发现的封闭形式因子分解算法。通过闪电般的快速实现，我们的方法不仅能够找到语义上有意义的维度，而且能够在广泛的数据集上训练多个GAN模型，从而产生更通用的概念。
2021-04-03 cs.CV
Causal-driven attribution (CDA): Estimating channel influence without user-level data
School of Computer Science and Statistics（计算机科学与统计学学院）；Trinity College Dublin（三一学院都柏林）；Trinity Business School（三一商学院）
本文提出CDA框架，通过聚合印象数据推断渠道影响，无需用户级数据，实现可解释且隐私保护的归因分析。
2025-12-24 cs.LG stat.ML
Latent Transformations via NeuralODEs for GAN-based Image Editing
Yandex Skolkovo Institute of Science Technology (Skoltech)（亚斯科尔科沃科学技术研究所（斯科尔科沃科技学院））；National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）
高保真语义图像编辑的最新进展在很大程度上依赖于最先进的生成模型（如StyleGAN）的潜在空间。具体来说，最近的工作表明，通过线性位移和潜在方向可以实现人脸图像属性的良好可控性。最近的几种方法解决了这些方向的发现，隐含地假设最先进的GANs学习具有固有线性可分离属性分布和语义向量算术属性的潜在空间。在我们的工作中，我们表明，实现为可训练神经ODE流的非线性潜在代码操作对于许多具有更复杂的非纹理变化因素的实际非人脸图像域是有益的。特别是，我们调查了大量的数据集与已知的属性，并证明某些属性的操作是具有挑战性的，以获得线性移位。
2021-11-29 cs.CV cs.GR cs.LG
Exploring Latent Dimensions of Crowd-sourced Creativity
Bogazici University（海峡大学）
最近，在预训练的GANs的潜在空间中发现可解释的方向已经成为一个热门话题。虽然现有的作品主要考虑方向的语义图像操作，我们专注于一个抽象的属性：创造力。我们能操纵一个图像来增加或减少创造力吗？我们在最大的基于人工智能的创意平台Artbreeder上构建我们的工作，用户可以使用预先训练的GAN模型生成图像。我们探索了在这个平台上生成的图像的潜在维度，并提出了一个新的框架来操纵图像，使它们更具创造性。我们的代码和数据集可以在http://github.com/catlab-team/latentcreative上找到。
2021-12-13 cs.CV cs.LG
MD-GAN: Multi-Discriminator Generative Adversarial Networks for Distributed Datasets
Technicolor（特艺集团）；Inria Rennes（法国国家信息与自动化研究所雷恩中心）
机器学习领域最近的一项技术突破是生成对抗网络（GANs）的发现和多种应用。这些生成模型对计算要求很高，因为GAN由两个深度神经网络组成，而且它是在大型数据集上训练的。GAN通常在单个服务器上训练。在本文中，我们解决了分布GANs的问题，以便它们能够对分布在多个工人身上的数据集进行训练。MD-GAN是这个问题的第一个解决方案：我们为GANs提出了一个新的学习过程，使它们适合这种分布式设置。然后，我们使用MNIST和CIFAR 10数据集将MD-GAN的性能与联邦学习到GANs的适应版本进行比较。MD-GAN在每个工作节点上的学习复杂度降低了两倍，同时在两个数据集上提供了比联邦学习更好的性能。我们最后讨论了分布式GANs的实际意义。
2019-02-06 cs.LG stat.ML
Causal Fingerprints of AI Generative Models
Faculty of Data Science,City University of Macau（数据科学学院，澳门城市大学）；Nanjing University of Science and Technology（南京理工大学）；Zhejiang Cloudpeng Technology Co., Ltd.（浙江云鹏科技有限公司）
本文提出了一种基于因果解耦框架的方法，通过语义不变的潜在空间分离图像生成过程与模型痕迹，提升指纹的粒度，验证了因果关系在模型溯源和身份保护中的有效性。
2026-04-14 cs.CV
AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks
Rice University（莱斯大学）；Texas A&M University（德克萨斯农工大学）
本文提出AutoGAN-Distiller框架，将AutoML与知识蒸馏结合，在资源约束下端到端搜索高效生成器，实现通用、自动化且无需判别器的GAN压缩，在图像翻译和超分辨率任务上取得优于现有方法的轻量模型。
2025-01-04 cs.CV cs.LG eess.IV
On Predicting Generalization using GANs
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
对深度网络泛化边界的研究旨在提供仅使用训练数据集和网络参数预测测试误差的方法。虽然泛化边界可以提供关于架构设计、训练算法等的许多见解，他们目前没有做的是对实际测试误差产生良好的预测。最近推出的深度学习预测泛化竞赛~ \citep{jiang2020neurips}旨在鼓励发现更好地预测测试错误的方法。当前的论文研究了一个简单的想法：可以使用{ \em合成数据}预测测试错误吗？该数据是使用在相同训练数据集上训练的生成对抗网络（GAN）生成的。在研究了几种GAN模型和架构后，我们发现事实证明正是如此。事实上，使用在标准数据集上预训练的GANs，可以预测测试误差，而不需要任何额外的超参数调整。这个结果令人惊讶，因为GANs具有众所周知的局限性（例如模式坍塌），并且已知无法准确地学习数据分布。然而，生成的样本足以替代测试数据。几个额外的实验来探索为什么GANs在这项任务中表现出色的原因。除了预测泛化的新方法外，我们工作中提出的反直觉现象也可能需要更好地理解GANs的优势和局限性。
2022-03-17 cs.LG
BiasMap: Leveraging Cross-Attentions to Discover and Mitigate Hidden Social Biases in Text-to-Image Generation
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克琴court研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒尔研究实验室）；University of North Carolina at Charlotte（北卡罗来纳大学教堂山分校）；Utah State University（犹他州立大学）
提出模型无关框架BiasMap，利用交叉注意力归因图和IoU量化stable diffusion模型中人口统计与语义的概念纠缠，并通过能量引导扩散采样修改潜在噪声空间，有效缓解图像生成中的概念级偏见。
2025-09-16 cs.CV cs.LG
Born Identity Network: Multi-way Counterfactual Map Generation to Explain a Classifier's Decision
Korea University（高丽大学）
深度学习模型的性能和可解释性之间存在明显的负相关。为了减少这种负相关性，我们提出了一个天生的身份网络（BIN），这是一个事后的方法来产生多路反事实地图。反事实映射将输入样本转换为条件并分类为目标标签，这类似于人类如何通过反事实思维处理知识。例如，反事实映射可以从正常的大脑图像中定位假设的异常，这可能导致它被诊断患有疾病。具体来说，我们提出的BIN由两个核心组件组成：反事实地图生成器和目标归因网络。反事实地图生成器是条件GAN的一个变体，它可以合成一个以任意目标标签为条件的反事实地图。目标属性网络通过将目标标签调节到反事实地图生成器中来为生成合成地图提供足够的帮助。我们已经验证了我们提出的BIN在定性和定量分析MNIST，3D EQUIPMENT，和ADNI数据集，并显示了我们的方法从各种消融研究的可理解性和保真度。
2021-04-08 cs.AI cs.CV cs.LG
On Computation and Generalization of GANs with Spectrum Control
Georgia Tech（佐治亚理工学院）；Florida Atlantic University（佛罗里达大西洋大学）
生成对抗网络（GANs）虽然强大，但很难训练。最近的几项工作（brock 2016 neural，miyato 2018 spectral）表明，控制神经网络中权重矩阵的频谱可以显着改善GANs的训练。受他们的发现的启发，我们提出了一个新的训练GANs的框架，它允许更灵活的频谱控制（例如，使得所述矩阵的权重矩阵具有缓慢的奇异值衰减）。具体来说，我们提出了一种新的重新参数化方法的权重矩阵的权重矩阵的GANs，这使我们能够直接操纵的频谱的权重矩阵通过各种正则化和约束，而无需密集计算奇异值分解。理论上，我们进一步证明了频谱控制提高了GANs的泛化能力。我们在CIFAR-10，STL-10和ImageNet数据集上的实验证实，与其他方法相比，我们提出的方法能够通过利用光谱归一化和鼓励缓慢的奇异值衰减来生成具有竞争力质量的图像。
2019-03-03 cs.LG stat.ML
LARGE: Latent-Based Regression through GAN Semantics
Tel-Aviv University（特拉维夫大学）
我们提出了一种新的方法来解决回归任务使用Few-Shot或弱监督。我们方法的核心是基本观察，即GANs在其潜在空间内编码语义信息方面非常成功，即使在完全无监督的环境中也是如此。对于现代生成框架，这种语义编码表现为平滑的线性方向，以一种不纠缠的方式影响图像属性。这些方向已被广泛用于基于GAN的图像编辑。我们表明，这样的方向不仅是线性的，但在各自的属性上引起的变化的幅度是近似线性的，相对于沿它们行进的距离。通过利用这一观察结果，我们的方法将预训练的GAN转化为回归模型，使用少至两个标记样本。这使得能够解决难以产生质量监督的数据集和属性上的回归任务。此外，我们表明，即使在没有明确的监督，相同的潜在距离可以用来排序集合的图像的强度给定的属性。广泛的实验评估表明，我们的方法可以应用于广泛的领域，利用多个潜在的方向发现框架，并在Few-Shot和低监督设置中实现最先进的结果，即使与设计用于解决单个任务的方法相比。
2021-07-22 cs.CV cs.GR cs.LG
LatentSwap3D: Semantic Edits on 3D Image GANs
ETH Zürich（苏黎世联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Google Switzerland（谷歌瑞士）
提出LatentSwap3D，一种基于潜在空间发现和随机森林特征排序的3D GAN语义编辑方法，通过维度交换实现解耦编辑，在多个3D GAN和数据集上优于现有方法。
2023-09-04 cs.CV
GlassesGAN: Eyewear Personalization using Synthetic Appearance Discovery and Targeted Subspace Modeling
Clarkson University（克拉克森大学）；University of Ljubljana（卢布尔雅那大学）
我们提出了GlassesGAN，一种用于眼镜定制设计的新型图像编辑框架，它在图像质量，编辑真实性和连续多风格编辑能力方面设定了新的标准。为了便于眼镜GAN的编辑过程，我们提出了一个有针对性的子空间建模（TSM）过程，该过程基于一种新的机制，在预先训练的GAN生成器的潜在空间中进行（合成）外观发现，构建了一个眼镜特定的（潜在）子空间，编辑框架可以利用。此外，我们还引入了一种外观约束子空间初始化（SI）技术，该技术将给定输入图像的潜在表示集中在构造子空间的明确定义的部分中，以提高学习编辑的可靠性。我们在两个（不同的）高分辨率数据集（CelebA-HQ和SiblingsDB-HQf）上测试GlassesGAN，并将其与三个最先进的竞争对手进行比较，即，InterfaceGAN、GANSpace和MaskGAN。报告的结果表明，GlassesGAN令人信服地优于所有竞争技术，同时提供额外的功能（例如，细粒度的多样式编辑）不适用于任何竞争对手。源代码将免费提供。
2022-11-18 cs.CV eess.IV
Mask-Guided Discovery of Semantic Manifolds in Generative Models
BMO Lab for Creative Research（BMO创意研究实验室）；University of Toronto（多伦多大学）
生成对抗网络（GANs）领域的进步已经导致能够产生令人惊讶的逼真图像的架构，例如StyleGAN 2，当在FFHQ数据集上训练时，从低维潜在空间中的随机向量生成人脸图像。不幸的是，这个空间是纠缠的-沿着其轴平移潜在向量并不对应于输出空间中的有意义的变换（例如，微笑的嘴，眯起的眼睛）。该模型表现得像一个黑盒子，既不能控制其输出，也不能洞察它从数据中学习到的结构。我们提出了一种方法来探索流形的变化的空间局部区域的脸。我们的方法发现沿着这些流形的平滑变化的潜在向量序列适合于创建动画。与现有的解纠缠方法，要么需要标记的数据或明确改变内部模型参数，我们的方法是一个基于优化的方法指导下的自定义损失函数和手动定义的区域的变化。我们的代码是开源的，可以在我们的项目页面上找到，以及补充结果：https://github.com/bmolab/masked-gan-manifold
2021-05-15 cs.CV
Unsupervised Discovery of Semantic Concepts in Satellite Imagery with Style-based Wavelet-driven Generative Models
The Cyprus Institute（塞浦路斯研究所）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）
近年来，生成对抗网络（GANs）领域取得了相当大的进步，特别是随着基于风格的架构的出现，这些架构解决了许多关键缺点-无论是在建模能力还是网络可解释性方面。尽管有这些改进，但在卫星图像领域采用这些方法并不容易。生成任务中使用的典型视觉数据集是对齐和注释良好的，并且表现出有限的可变性。相比之下，卫星图像具有很大的空间和光谱变化性，广泛存在精细的高频细节，而注释卫星图像的繁琐性质导致注释稀缺-进一步激励无监督学习的发展。有鉴于此，我们提出了第一个预先训练的风格和基于小波的GAN模型，该模型可以在各种设置和条件下轻松合成各种逼真的卫星图像，同时还保留了高频信息。此外，我们还表明，通过分析网络的中间激活，可以发现大量可解释的语义方向，这些方向有助于根据高级概念（例如，城市化），而不使用任何形式的监督。通过一组定性和定量实验，我们证明了我们的框架的有效性，在下游任务（例如，数据增强）、合成图像的质量以及对看不见的数据集的泛化能力。
2022-08-03 cs.CV cs.LG eess.IV
