Online GANs for Automatic Performance Testing
Åbo Akademi University（奥博学术大学）
在本文中，我们提出了一种新的自动性能测试算法，使用生成对抗网络（GAN）的在线变体来优化测试生成过程。所提出的方法的目的是生成，对于一个给定的测试预算，一个测试套件包含大量的测试揭示性能缺陷。这是通过使用GAN来生成测试并预测其结果来实现的。该GAN在生成和执行测试时在线训练。所提出的方法不需要事先训练集或测试下的系统模型。我们提供了一个初步的评估算法使用一个例子测试系统，并比较所获得的结果与其他可能的方法。我们认为，所提出的算法作为一个概念的证明，我们希望它可以引发一个研究讨论的应用GANs的测试生成。
2021-04-21 cs.LG cs.PF cs.SE
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University（西北大学）
人工智能，特别是深度神经网络缺乏可解释性，仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射（Grad-CAM）之类的流行技术提供了图像中显著特征的粗略映射，这很少能讲述卷积神经网络（CNN）学习的全部内容。使用COVID-19胸部X射线，我们提出了一种方法，用于解释CNN通过利用生成对抗网络（GANs）学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN，我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡，这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
M2H-GAN: A GAN-based Mapping from Machine to Human Transcripts for Speech Understanding
ORKIS
深度学习是最近口语语言理解（SLU）相关任务的核心。更准确地说，深度神经网络（DNN）大大提高了SLU系统的性能，并且已经提出了许多架构。在电话会话的主题识别的现实生活背景中，通常保持会话的人工（TRS）和自动转录（ASR）版本。尽管如此，由于生产的限制，只有ASR成绩单被认为是建立自动分类。TRS成绩单仅用于衡量ASR系统的性能。此外，DNN相关系统在分类准确性方面的最新表现接近人类达到的表现，并且仅考虑ASR转录本难以进一步提高性能。本文提出了在ASR表示的训练阶段提取可用的TRS知识，通过使用一种新的称为M2 H-GAN的生成对抗网络来生成ASR文档的TRS类版本，以提高主题识别性能。
2019-04-13 cs.CL cs.LG stat.ML
Fully Automatic Electrocardiogram Classification System based on Generative Adversarial Network with Auxiliary Classifier
City University of Hong Kong（香港城市大学）
提出了一种基于生成对抗网络（GAN）的高性能全自动心电图（ECG）心律失常分类系统。我们的GAN中的发生器（G）设计用于生成以不同心律失常类别为条件的各种耦合矩阵输入，以用于数据增强。我们设计的ECG（D）在真实和生成的ECG耦合矩阵输入上进行训练，并且在完成我们的GAN的训练后被提取作为心律失常分类器。在通过包括使用无监督算法估计的患者特定正常搏动来微调D并通过G生成通常很少获得的异常搏动之后，我们的全自动系统在MIT-BIH心律失常数据库上显示出室上性异位搏动（SVEB或S搏动）和室性异位搏动（VEB或V搏动）的总体分类性能优越。它超越了几个最先进的自动分类器，可以在类似的水平上执行一些专家辅助方法。特别是，SVEB的F1分数比性能最好的自动系统提高了13%。此外，SVEB（87%）和VEB（93%）的检测灵敏度均达到较高水平，这对实际诊断具有重要价值。因此，我们建议我们的ACE-GAN（生成对抗网络与心电图辅助分类器）为基础的自动系统可以是一个有前途的和可靠的工具，高通量的临床筛选实践，而不需要任何人工干预或专家辅助标记。
2021-03-04 cs.LG eess.SP stat.ML
A self-adapting super-resolution structures framework for automatic design of GAN
Zhengzhou University（郑州大学）
随着深度学习的发展，单幅超分辨率图像重建网络模型变得越来越复杂。模型超参数的微小变化对模型性能的影响更大。在现有的工作中，专家们已经逐步探索出一套最佳的模型参数的基础上的经验值或执行蛮力搜索。本文提出了一种新的超分辨率图像重建生成对抗网络框架，并采用贝叶斯优化方法对生成器和生成器的超参数进行了优化。该发生器采用自校准卷积法，卷积层采用自校准卷积法。我们定义了超参数，如网络层数和神经元数量。我们的方法采用贝叶斯优化作为GAN在我们的模型中的优化策略。不仅可以自动寻找最优超参数解，而且可以构造超分辨率图像重建网络，减少人工工作量。实验表明，贝叶斯优化算法比其他两种优化算法更早地搜索到最优解。
2021-06-10 cs.CV cs.LG eess.IV
Generative Adversarial Networks (GANs): What it can generate and What it cannot?
International Institute of Information Technology（国际信息技术学院）
近年来，生成对抗网络（GANs）受到了研究界的极大关注。GANs具有简单的实现方式和出色的结果，已被用于许多应用。尽管取得了成功，但GANs缺乏适当的理论解释。这些模型在训练过程中存在模式坍塌、不收敛和不稳定等问题。为了解决这些问题，研究人员提出了理论上严格的框架，受到博弈论，统计理论，动力系统等不同领域的启发，在本文中，我们建议给出一个适当的结构来系统地研究这些贡献。我们基本上是根据论文提出的问题和它们为解决这些问题而引入的新颖性对它们进行分类。此外，我们还提供了深入了解所讨论的每一篇文章如何解决有关问题。我们比较和对比不同的结果，并提出了一个总结的理论贡献GANs的重点是图像/视觉应用。我们希望这篇总结论文能为希望了解GANs理论进展的人提供一个鸟瞰图。
2019-07-31 cs.LG stat.ML
Diverse Image Generation via Self-Conditioned GANs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Adobe Research（Adobe研究）
我们介绍了一种简单但有效的无监督方法，用于生成逼真和多样化的图像。我们训练类条件GAN模型，而不使用手动注释的类标签。相反，我们的模型是有条件的标签自动从聚类的特征空间。我们的聚类步骤自动发现不同的模式，并明确要求生成器覆盖它们。标准的模式坍塌基准测试的实验表明，我们的方法优于几个竞争的方法时，解决模式坍塌。与以前的方法相比，我们的方法在ImageNet和Places365等大规模数据集上也表现良好，提高了图像多样性和标准质量指标。
2022-02-10 cs.CV cs.LG
Explaining in Style: Training a GAN to explain a classifier in StyleSpace
Hebrew University（希伯来大学）；Google Research（谷歌研究院）；MIT（麻省理工学院）；Tel Aviv University（特拉维夫大学）；Weizmann Institute of Science（魏茨曼科学研究所）
图像分类模型可以依赖于图像的多个不同语义属性。分类器决策的解释需要发现和可视化这些属性。在这里，我们提出了一种方法StylEx，通过训练生成模型来专门解释分类器决策的多个属性。这些属性的一个自然来源是StyleGAN的StyleSpace，它可以在图像中生成语义上有意义的维度。然而，由于标准GAN训练不依赖于分类器，因此它可能无法表示这些对分类器决策很重要的属性，并且StyleSpace的维度可能表示不相关的属性。为了克服这一点，我们提出了一个StyleGAN的训练过程，它包含了分类器模型，以学习特定于分类器的StyleSpace。然后从该空间中选择解释属性。这些可用于可视化更改每个图像的多个属性的效果，从而提供特定于图像的解释。我们将StylEx应用于多个领域，包括动物，树叶，人脸和视网膜图像。对于这些，我们展示了如何以不同的方式修改图像以改变其分类器输出。我们的研究结果表明，该方法发现的属性，以及与语义一致，生成有意义的图像特定的解释，并在用户研究中测量的人类可解释的。
2021-09-01 cs.CV cs.LG cs.NE
Generate the corresponding Image from Text Description using Modified GAN-CLS Algorithm
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
自动合成图像或文本是当今人工智能的一个重要研究方向。Goodfellow在2014年提出的生成对抗网络（GANs）通过使用深度神经网络来更有效地完成这项任务。我们考虑使用GAN从输入文本描述生成相应的图像。在本文中，我们分析了GAN-CLS算法，这是Scott Reed在2016年提出的GAN的一种先进方法。首先，我们通过推理发现该算法存在的问题。然后根据推理结果对GAN-CLS算法进行修正，修正模型的目标函数。最后，我们在Oxford-102数据集和CUB数据集上进行了实验。因此，我们的改进算法可以生成在某些情况下比GAN-CLS算法更合理的图像。此外，一些生成的图像与输入的文本匹配得更好。
2018-06-29 cs.LG stat.ML
CellCycleGAN: Spatiotemporal Microscopy Image Synthesis of Cell Populations using Statistical Shape Models and Conditional GANs
RWTH Aachen University（亚琛工业大学）
时空显微图像的自动分析是生命科学研究的必然要求。深度学习的最新发展为自动分析此类图像数据提供了强大的工具，但在很大程度上取决于所提供的训练数据的数量和质量。为此，我们开发了一种新的方法，用于真实生成荧光标记细胞核的合成2D+t显微镜图像数据。该方法结合时空统计形状模型的不同细胞周期阶段的条件GAN产生的细胞群体的时间序列，并提供实例级控制的细胞周期阶段和荧光强度的产生的细胞。我们展示了GAN调节的效果，并创建了一组合成图像，这些图像可以很容易地用于细胞分割和跟踪方法的训练和基准测试。
2021-01-26 cs.CV cs.LG eess.IV
Efficient acoustic feature transformation in mismatched environments using a Guided-GAN
North-West University（西北大学）；Centre for Artificial Intelligence Research（人工智能研究中心）；National Institute for Theoretical and Computational Sciences（国家理论与计算科学研究所）；Saigen（Saigen公司）
我们提出了一个新的框架，以提高自动语音识别（ASR）系统在资源稀缺的环境中使用生成对抗网络（GAN）的声学输入功能。GAN用于在解码之前增强失配数据的特征，或者可以可选地用于微调声学模型。我们实现了与多风格训练（MTR）相当的改进，但计算成本更低。在不到一个小时的数据下，在高质量数据上训练并在不匹配的音频上评估的ASR系统的相对字出错率（WER）提高了11.5%到19.7%。实验表明，该框架可以是非常有用的资源不足的环境中，训练数据和计算资源有限。GAN不需要并行训练数据，因为它利用基线声学模型来提供额外的损失项，该损失项引导生成器创建通过基线更好地分类的声学特征。
2022-10-06 cs.LG cs.SD eess.AS
On the Discrimination-Generalization Tradeoff in GANs
Microsoft Research, Redmond（微软研究院（雷德蒙德））；Computer Science, Dartmouth College（达特茅斯学院计算机科学系）；Google（谷歌）；Computer Science, Lehigh University（利哈伊大学计算机科学系）
生成对抗训练通常可以理解为最小化由一组神经网络函数（通常是神经网络）定义的某些时刻匹配损失。样本集应该足够大，以便能够唯一地识别真实分布（区分性），并且还应该足够小，以便超出记忆样本（可推广）。本文证明了当一个有界连续函数集的线性跨距在有界连续函数集中稠密时，它保证是可判别的。这是一个非常温和的条件，即使是具有单个神经元的神经网络也能满足。此外，我们开发的学习分布和真实分布在不同的评价指标之间的泛化界限。当用神经距离进行评估时，我们的边界表明，只要样本集足够小，无论生成器或假设集的大小如何，泛化都是有保证的。当用KL散度进行评估时，我们的界提供了对GAN训练中测试似然性的反直觉行为的解释。我们的分析有助于理解GANs的实际性能。
2018-02-23 cs.LG stat.ML
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
American University of Sharjah（沙迦美国大学）
“艺术是谎言，它使我们能够认识真理。- 巴勃罗·毕加索几个世纪以来，人类一直致力于创造艺术来表达他们的想象力。技术的进步，特别是深度学习，引起了许多研究人员的注意，他们试图研究计算机和算法是否可以产生艺术。使用生成对抗网络（GANs），实现了合成逼真的人脸和从图像自动创建字幕等应用。本调查全面介绍了最近使用GANs生成视觉艺术，音乐和文学文本的作品。各种GAN架构的性能比较和描述。最后，强调了使用GANs生成艺术的一些关键挑战，并对未来的工作提出了建议。
2021-08-14 cs.AI cs.CL cs.CV
Exploring Speech Enhancement with Generative Adversarial Networks for Robust Speech Recognition
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
我们研究了生成对抗网络（GANs）用于语音增强的有效性，在提高自动语音识别（ASR）系统的噪声鲁棒性的背景下。先前的工作表明，GANs可以有效地抑制原始波形语音信号中的加性噪声，提高感知质量指标;然而，这种技术在ASR的背景下并不合理。在这项工作中，我们进行了详细的研究，以衡量GANs在增强受加性和混响噪声污染的语音的有效性。受图像处理最新进展的启发，我们提出在log-Mel滤波器组谱而不是波形上操作GANs，这需要更少的计算，并且对混响噪声更具鲁棒性。虽然GAN增强提高了干净训练的ASR系统对噪声语音的性能，但它达不到传统多风格训练（MTR）所实现的性能。通过将GAN增强功能附加到噪声输入和再训练，我们实现了相对于MTR系统7%的WER改善。
2018-10-31 cs.LG cs.NE cs.SD
Conditional Generative Models for Counterfactual Explanations
Seldon Technologies（塞尔登科技）
反事实实例为机器学习模型的本地行为提供了人类可解释的洞察力。我们提出了一个通用的框架来生成稀疏的，分布中的反事实模型解释，该解释将所需的目标预测与条件生成模型相匹配，允许用单个向前传递生成批量反事实实例。该方法相对于所使用的生成模型的类型以及底层预测模型的任务是灵活的。这允许将框架直接应用于不同的模态，如图像，时间序列或表格数据，以及生成模型范例，如GANs或自动编码器和预测任务，如分类或回归。我们说明了我们的方法对图像（CelebA），时间序列（ECG）和混合型表格（成人普查）数据的有效性。
2021-01-25 cs.LG stat.ML
To GAN or Not To GAN: Segmentation Analysis on Mars DEM
University of Passau（帕绍大学）
使用监督语义分割和生成对抗方法自动检测火星上的土丘，并比较两种方法，发现添加人工生成数据并未改善结果。
2026-06-12 cs.LG
Which Training Methods for GANs do actually Converge?
MPI Tübingen（图宾根马克斯·普朗克研究所）；ETH Zürich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
最近的工作表明，局部收敛的GAN训练绝对连续的数据和发电机分布。在本文中，我们证明了绝对连续性的要求是必要的：我们描述了一个简单但典型的反例，表明在更现实的情况下，分布不是绝对连续的，非正则化的GAN训练并不总是收敛的。此外，我们还讨论了最近提出的稳定GAN训练的正则化策略。我们的分析表明，使用实例噪声或零中心梯度惩罚的GAN训练收敛。另一方面，我们证明了Wasserstein-GAN和WGAN-GP在每次生成器更新时具有有限数量的重复更新并不总是收敛到平衡点。我们讨论了这些结果，使我们对GAN训练的稳定性问题有了新的解释。基于我们的分析，我们将我们的收敛结果扩展到更一般的GANs，并证明了简化梯度惩罚的局部收敛性，即使生成器和数据分布位于低维流形上。我们发现这些惩罚在实践中效果很好，并使用它们来学习各种数据集的高分辨率生成图像模型，几乎没有超参数调整。
2018-07-31 cs.AI cs.GT cs.LG
Learning Graph Topological Features via GAN
University of Electronic Science and Technology of China（中国电子科技大学）；IBM Watson Research Center（IBM沃森研究中心）；Columbia University（哥伦比亚大学）；Boston University（波士顿大学）
受图像领域生成对抗网络（GANs）生成能力的启发，我们引入了一种新的分层架构，用于通过GANs从单个任意输入图中学习特征拓扑特征。由多个GANs组成的分层架构保留了局部和全局拓扑特征，并自动将输入图划分为代表性阶段以进行特征学习。这些阶段有助于重建，并可用作相关拓扑结构重要性的指标。实验表明，我们的方法产生的子图保留了广泛的拓扑特征，即使在早期重建阶段（不像一个单一的GAN，它不能很容易地识别这些功能，更不用说重建原始图）。本文是将GANs与图拓扑分析相结合的研究。
2019-10-08 cs.LG cs.SI
Grayscale Image Colorization with GAN and CycleGAN in Different Image Domain
Carnegie Mellon University（卡内基梅隆大学）
本文针对灰度图像自动着色问题，复现基于 GAN 的着色模型并实验其变体，同时提出基于 CycleGAN 的模型，在多数据集上验证其在人脸和漫画着色上效果良好但多样性不足。
2024-01-21 cs.CV cs.LG
GAN-Aimbots: Using Machine Learning for Cheating in First Person Shooters
University of Eastern Finland（东芬兰大学）；National University of Singapore（新加坡国立大学）
与作弊者一起玩游戏并不有趣，在拥有数亿玩家的数十亿美元的视频游戏行业中，游戏开发商旨在通过防止作弊来提高安全性，从而提高游戏的用户体验。传统的基于软件的方法和统计系统在防止作弊方面都取得了成功，但最近在自动生成内容（如图像或语音）方面的进展威胁到了视频游戏行业;它们可能被用来生成与合法人类玩家无法区分的人工游戏。为了更好地理解这种威胁，我们首先回顾了多人视频游戏作弊的现状，然后继续构建概念验证方法GAN-Aimbot。通过从第一人称射击游戏中的各个玩家收集数据，我们表明该方法提高了玩家的性能，同时保持隐藏的自动和手动保护机制。通过分享这项工作，我们希望提高人们对这个问题的认识，并鼓励进一步研究保护游戏社区。
2022-05-14 cs.AI cs.CR cs.LG
TOP-GAN: Label-Free Cancer Cell Classification Using Deep Learning with a Small Training Set
Tel Aviv University（特拉维夫大学）
我们提出了一种新的医学成像深度学习方法，解决了小训练集的问题，这是深度学习的主要瓶颈，并将其应用于通过定量相位成像获得的健康和癌细胞的分类。所提出的方法称为预训练生成对抗网络的转移（TOP-GAN），是转移学习和生成对抗网络（GANs）之间的混合。利用低相干离轴全息术对健康细胞和不同转移潜能的癌细胞进行了成像。在采集之后，提取细胞的光路延迟图，并直接用作深度网络的输入。为了处理少量的分类图像，我们使用了GANs来训练大量来自另一种细胞类型（精子细胞）的未分类图像。经过初步训练，并将网络的最后一层转换为新的网络后，我们设计了一个正确细胞类型（健康/原发性癌症/转移性癌症）的自动分类器，准确率为90-99%，尽管使用了小训练集，但只有几张图像。这些结果是更好的相比，其他经典的方法，旨在应对同样的问题，一个小的训练集。我们相信，我们的方法使全息显微镜和深度学习网络的结合更容易进入医疗领域，通过实现快速，自动和准确的分类免染色成像流式细胞术。此外，我们的方法预计将适用于许多其他医学图像分类任务，从一个小的训练集。
2018-12-17 cs.CV cs.LG eess.IV
Lessons Learned from the Training of GANs on Artificial Datasets
School of Information Science & Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，生成对抗网络（GANs）在合成逼真图像方面取得了很大进展。然而，它们通常是在样本太少或属于不同数据分布的类别太多的图像数据集上训练的。因此，GANs容易欠拟合或过拟合，使得对它们的分析变得困难和受限。因此，为了对GANs进行深入研究，同时避免数据集引入的不必要的干扰，我们在人工数据集上对它们进行训练，人工数据集有无限多个样本，并且真实的数据分布是简单的，高维的，并且具有结构化的流形。此外，发电机的设计，使最佳的参数集存在。经验上，我们发现，在各种距离措施，发电机未能学习这些参数与GAN的训练过程。我们还发现，当模型复杂度足够高时，与增加网络深度或宽度相比，训练混合GANs会带来更多的性能增益。我们的实验结果表明，混合的发电机可以发现不同的模式或不同的类自动在无监督的设置，我们归因于分布的生成和歧视任务在多个发电机和歧视。作为我们的结论对现实数据集的可推广性的一个例子，我们在CIFAR-10数据集上训练了GANs的混合，我们的方法在流行的指标方面显着优于最先进的方法，即，起始分数（IS）和Fréchet起始距离（FID）。
2020-07-14 cs.LG stat.ML
Towards resilient machine learning for ransomware detection
Intel Labs（英特尔研究院）
人们对使用机器学习（ML）通过动态行为自动检测恶意软件的兴趣激增。与传统的恶意软件分析方法相比，这些方法在大规模的检测率和更低的误报率方面取得了显着的提高。威胁检测中的ML已被证明是保护平台安全的好警察。然而，必须评估-ML驱动的安全性是否足够弹性？在本文中，我们通过一个案例研究，通过生成对抗网络（GAN）评估勒索软件检测的弹性，将ML算法的弹性和可信度并列起来。在本案例研究中，我们建议使用GAN自动生成动态特征，这些特征表现出广义的恶意行为，可以降低黑盒勒索软件分类器的功效。我们通过比较这些样本与真实勒索软件和良性软件的统计相似性来检查GAN生成的样本的质量。此外，我们还研究了GAN生成的样本所在的潜在子空间，并探讨了这些样本导致某类勒索软件分类器性能下降的原因。我们的重点是强调在部署到野外之前，对基于ML的勒索软件检测方法进行必要的防御改进。我们的研究结果和发现应该为捍卫者提出相关问题，例如如何使ML模型更具弹性，以实现安全目标的强大执行。
2019-05-16 cs.CR cs.LG stat.ML
AGAN: Towards Automated Design of Generative Adversarial Networks
Baidu Research（百度研究院）
生成对抗网络（GANs）的最新进展显示出通过架构变化改善GAN训练的有希望的迹象。尽管取得了一些早期的成功，但目前GAN架构的设计需要人类的专业知识，艰苦的试错测试，并且经常从其图像分类对应物中汲取灵感。在本文中，我们提出了第一个神经架构搜索算法，深度生成模型的自动神经架构搜索，或缩写为AGAN，专门适用于GAN训练。对于CIFAR-10上的无监督图像生成任务，我们的算法在相同的正则化技术下找到了优于最先进模型的架构。对于有监督的任务，自动搜索的架构也实现了极具竞争力的性能，在分辨率$32\times32$上优于人类发明的最佳架构。此外，我们的经验表明，AGAN学习的模块可转移到其他图像生成任务，如STL-10。
2019-06-25 cs.AI cs.LG stat.ML
IG-GAN: A Generative Adversarial Network for Aerodynamic Data Generation Based on Intrinsic Geometry
School of Information Science and Engineering, Hebei University of Science and Technology（信息科学与工程学院，河北科技大学）
针对现实世界多数数据是嵌入高维欧几里得空间流形的情况，提出基于内在几何的生成对抗网络IG-GAN用于空气动力学数据生成。其生成器用贝塞尔曲面构建流形，判别器为RBF-D。实验显示该方法相比基线能显著降低预测均方误差。
2026-07-14 cs.AI cs.LG
End-to-End Conditional GAN-based Architectures for Image Colourisation
BBC Research & Development（英国广播公司研究与发展部）；Dublin City University（都柏林城市大学）
在这项工作中，研究了条件对抗网络的最新进展，以开发一种基于卷积神经网络（CNN）的端到端架构，将逼真的颜色直接映射到输入的灰度图像。观察到现有的着色方法有时表现出缺乏色彩，本文提出了一种方法来改善着色结果。特别是，该方法使用生成对抗神经网络（GANs），并专注于提高训练稳定性，以在大型多类图像数据集中实现更好的泛化。此外，在流行的U-Net架构中引入了generator和tags中的实例和批量规范化层的集成，提高了网络概括内容风格变化的能力。该方法已使用ILSVRC 2012数据集进行了测试，与基于GANs的其他方法相比，实现了改进的自动着色结果。
2019-09-05 cs.CV cs.LG eess.IV
Few-Features Attack to Fool Machine Learning Models through Mask-Based GAN
Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；Hunan University（湖南大学）
GAN是一种基于深度学习的生成方法，用于生成图像、语言和语音等内容。最近，研究表明，GAN也可以应用于生成对抗攻击示例，以欺骗机器学习模型。与以往的非学习对抗样本攻击方法相比，基于GAN的对抗攻击攻击方法在每次训练后面对新的样本时，都可以利用GAN架构快速生成对抗样本，但同时需要对攻击样本进行大量扰动，导致实际应用中的不实用性。为了解决这个问题，我们提出了一种新的方法，命名为少特征攻击GAN（FFA-GAN）。FFA-GAN比非学习对抗样本方法具有显着的耗时优势，并且比基于GAN的对抗样本方法具有更好的非零特征性能。FFA-GAN通过GAN的体系结构自动生成黑盒攻击中的攻击样本，而不是采用进化算法或其他非学习方法。此外，我们在GAN结构的生成器网络中引入掩码机制来优化约束问题，这也可以看作是重要特征的稀疏性问题。在训练过程中，在不同的训练阶段设置不同的发电机损耗权重，以确保发电机的上述两个并联网络的发散。分别在数据维数相对较低的结构化数据集KDD-Cup 1999和CIC-IDS 2017上进行了实验，在数据维数相对较高的非结构化数据集MNIST和CIFAR-10上进行了实验.实验结果证明了该方法的有效性和鲁棒性。
2019-11-12 cs.LG
Applications of Generative Adversarial Networks in Neuroimaging and Clinical Neuroscience
University of Pennsylvania（宾夕法尼亚大学）；Center for AI and Data Science for Integrated Diagnostics（综合诊断人工智能与数据科学中心）；Center for Biomedical Image Computing and Analytics（生物医学图像计算与分析中心）
生成对抗网络（GANs）是一种强大的深度学习模型，已成功应用于许多领域。它们属于一个更广泛的家族，称为生成方法，它通过从真实示例中学习样本分布来生成具有概率模型的新数据。在临床背景下，与传统的生成方法相比，GANs在捕获空间复杂、非线性和潜在微妙的疾病影响方面表现出了增强的能力。这篇综述评估了现有文献中的应用GANs在各种神经系统疾病的成像研究，包括阿尔茨海默病，脑肿瘤，脑老化，多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经成像中利用GANs的主要挑战，开放性问题和有前途的未来方向。我们的目标是通过强调如何利用GANs来支持临床决策，并有助于更好地理解大脑疾病的结构和功能模式，来弥合先进的深度学习方法和神经学研究之间的差距。
2023-01-29 cs.CV cs.LG eess.IV
Hierarchical Deep Learning with Generative Adversarial Network for Automatic Cardiac Diagnosis from ECG Signals
The University of Tennessee（田纳西大学）；University of Oklahoma Health Sciences Center（俄克拉荷马大学健康科学中心）
心脏病是美国人死亡的主要原因。准确的心脏病检测对于及时治疗以挽救患者的生命至关重要。常规使用心电图（ECG）是医生评估心脏电活动和检测可能的异常心脏状况的最常用方法。充分利用ECG数据进行可靠的心脏病检测取决于开发有效的分析模型。在本文中，我们提出了一个两级分层深度学习框架与生成对抗网络（GAN）的ECG信号的自动诊断。第一级模型由带GAN的内存增强深度自动编码器（MadeGAN）组成，旨在区分异常信号和正常ECG，以进行异常检测。第二级学习的目标是针对不同心律失常识别的鲁棒多类分类，这是通过将迁移学习技术与多分支结构相结合来实现的，以处理数据缺乏和不平衡的数据问题。我们使用来自MIT-BIH心律失常数据库的真实医疗数据来评估所提出的框架的性能。实验结果表明，我们提出的模型优于现有的方法，通常在当前的实践中使用。
2022-10-19 cs.LG eess.SP
EAGAN: Efficient Two-stage Evolutionary Architecture Search for GANs
University of Southern California（南加州大学）；Hong Kong Baptist University（香港浸会大学）；National University of Singapore（新加坡国立大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
生成对抗网络（GANs）已被证明在图像生成任务中是成功的。然而，GAN训练本质上不稳定。虽然许多作品试图通过手动修改GAN架构来稳定它，但它需要很多专业知识。神经结构搜索（NAS）已经成为自动搜索GANs的一种有吸引力的解决方案。早期的NAS-GAN只搜索发电机以降低搜索复杂度，但会导致次优的GAN。最近的一些工作试图同时搜索生成器（G）和子空间（D），但是它们受到GAN训练的不稳定性的影响。为了缓解这种不稳定性，我们提出了一种高效的基于两阶段进化算法的NAS框架来搜索GANs，即EAGAN。我们将G和D的搜索解耦为两个阶段，第一阶段以固定的D搜索G，并采用多对一的训练策略;第二阶段以第一阶段找到的最优G搜索D，并采用一对一的训练和权重重置策略，以增强GAN训练的稳定性。这两个阶段都使用非支配排序方法来产生多个目标下的帕累托前沿架构（例如，模型尺寸、初始评分（IS）和Fréchet初始距离（FID））。EAGAN应用于无条件图像生成任务，可以在1.2 GPU天内高效地完成对CIFAR-10数据集的搜索。我们搜索的GANs在CIFAR-10数据集上实现了具有竞争力的结果（IS=8.81 $\pm$ 0.10，FID=9.91），并超过了STL-10数据集上的先前NAS-GANs（IS=10.44 $\pm$ 0.087，FID=22.18）。源代码：https://github.co…
2022-07-12 cs.CV cs.LG cs.NE
MCL-GAN: Generative Adversarial Networks with Multiple Specialized Discriminators
Seoul National University（首尔大学）；ECE（电子工程学院）；ASRI（先进科学技术研究院）；IPAI（人工智能研究院）
本文提出MCL-GAN，通过多个共享骨干、各自专精数据子集的判别器协同约束生成器，在无需额外监督下缓解模式崩溃，且训练开销很小。
2024-04-03 cs.LG
Generating Sparse Counterfactual Explanations For Multivariate Time Series
Hertie Institute for Clinical Brain Research（赫蒂临床脑研究所）；Centre for Integrative Neuroscience（整合神经科学中心）；University of Tübingen（图宾根大学）
由于神经网络在关键领域发挥着越来越重要的作用，解释网络预测已成为一个关键的研究课题。反事实解释可以帮助理解为什么分类器模型决定特定的类分配，以及如何修改相应的输入样本以使类预测发生变化。以前的方法主要集中在图像和表格数据。在这项工作中，我们提出了SPARCE，生成对抗网络（GAN）的架构，生成SPARse反事实推理的多元时间序列。我们的方法提供了一个自定义的稀疏层和规则化的反事实损失函数的相似性，稀疏性和平滑的轨迹。我们评估我们的方法在现实世界中的人体运动数据集以及合成时间序列可解释性基准。虽然我们做了比其他方法更稀疏的修改，但我们在所有指标上都实现了相当或更好的性能。此外，我们还证明，我们的方法主要修改了显着的时间步骤和特征，而不影响非显着的输入。
2022-07-04 cs.AI cs.LG
GAN-based generative modelling for dermatological applications -- comparative study
Sahlgrenska University Hospital（萨尔格伦斯卡大学医院）；AI Sweden（瑞典人工智能研究院）
本文在集中式和去中心化设置下比较了无条件与条件GAN在皮肤病变数据集上的生成效果，评估了保真度、多样性等性能，并通过潜在空间探索验证了模型的真实性与泛化能力。
2022-08-24 cs.AI cs.CV cs.LG
AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks
Rice University（莱斯大学）；Texas A&M University（德克萨斯农工大学）
本文提出AutoGAN-Distiller框架，将AutoML与知识蒸馏结合，在资源约束下端到端搜索高效生成器，实现通用、自动化且无需判别器的GAN压缩，在图像翻译和超分辨率任务上取得优于现有方法的轻量模型。
2025-01-04 cs.CV cs.LG eess.IV
GANExplainer: GAN-based Graph Neural Networks Explainer
University of Technology Sydney（悉尼科技大学）
随着基于图神经网络（GNN）的技术在诸如链接预测、节点分类和图分类等广泛应用中的快速部署，GNN的可解释性已成为预测性和可信决策的不可或缺的组成部分。因此，关键是要解释为什么图神经网络（GNN）作出特定的预测，他们相信在许多应用。最近提出了一些GNN解释器。然而，他们缺乏准确和真实的解释。为了减轻这些限制，我们提出了GANExplainer，基于生成对抗网络（GAN）架构。GANExplainer由一个生成器和一个解释器组成，生成器用于创建解释，解释器用于协助生成器的开发。我们通过比较GANExplainer与其他最先进方法的性能来研究我们模型的解释准确性。我们在合成数据集上的实证结果表明，GANExplainer与其替代品相比，解释准确率提高了35%。
2022-12-30 cs.LG
CKGAN: Training Generative Adversarial Networks Using Characteristic Kernel Integral Probability Metrics
Osaka University（大阪大学）；Shenzhen University（深圳大学）；Shenzhen Institute of Computing Sciences（深圳计算机科学研究院）；Nagoya University（名古屋大学）
本文提出 CKGAN，利用特征核积分概率度量优化 MMD 下界训练 GAN，并通过将生成图像映射回噪声缓解模式坍塌，同时引入软选择方法自动学习核函数，在多个图像基准上优于其他基于 MMD 的 GAN。
2025-04-08 cs.AI cs.CV cs.LG
GANDA: A deep generative adversarial network predicts the spatial distribution of nanoparticles in tumor pixelly
The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院）
肿瘤内纳米颗粒（NPs）分布对于纳米医学在成像和治疗中的成功至关重要，但是由于复杂的肿瘤-纳米相互作用，描述NPs分布的计算模型仍然不可用。在这里，我们开发了一个用于分布分析的生成对抗网络（GANDA）来描述和有条件地生成静脉注射后的肿瘤内量子点（QD）分布。这个深度生成模型由27775块肿瘤血管和细胞核自动训练，这些肿瘤血管和细胞核是从4 T1乳腺癌切片的全载玻片图像中分解出来的。GANDA模型可以在给定肿瘤血管和细胞核通道的约束下有条件地生成具有相同空间分辨率（像素到像素）、最小损失（均方误差，MSE = 1.871）和优异可靠性（组内相关性，ICC = 0.94）的肿瘤内QD分布的图像。在不知道真实QD分布的情况下，允许对生成的图像进行QD外渗距离（ICC = 0.95）和分区分布（ICC = 0.99）的定量分析。我们相信这种深度生成模型可以提供机会来研究影响因素如何影响单个肿瘤中的NPs分布，并指导分子成像和个性化治疗的纳米医学优化。
2021-07-03 cs.CV cs.LG eess.IV
Towards Automatic Concept-based Explanations
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
随着越来越多的机器学习（ML）模型被部署并广泛用于做出重要决策，可解释性已成为一个重要的研究课题。目前的大多数解释方法通过特征重要性分数来提供解释，该分数识别对每个输入重要的特征。然而，如何系统地总结和解释这样的每样本特征重要性分数本身是具有挑战性的。在这项工作中，我们提出了原则和必要的\emph{concept}为基础的解释，它超越了每个样本的功能，以确定更高层次的人类可理解的概念，适用于整个数据集。我们开发了一个新的算法，ACE，自动提取视觉概念。我们的系统实验表明，\alg发现的概念是人类有意义的，连贯的和重要的神经网络的预测。
2019-10-08 cs.CV cs.LG stat.ML
Knowledge Distillation-Based Model Extraction Attack using GAN-based Private Counterfactual Explanations
Faculty of Informatics（信息学学院）；Università della Svizzera italiana（瑞士意大利语大学）
本文研究如何利用反事实解释对MLaaS平台实施模型提取攻击，提出基于知识蒸馏的高效攻击方法，并引入差分隐私生成私有反事实解释以缓解攻击，同时分析其对解释质量的影响。
2024-10-22 cs.AI cs.CR cs.CY
Generalization of GANs and overparameterized models under Lipschitz continuity
Hanoi University of Science and Technology（河内科技大学）
生成对抗网络（GANs）非常复杂，现有的学习理论无法对GANs在实践中取得巨大成功的原因提供令人满意的解释。深度神经网络也面临同样的情况。为了填补这一空白，我们引入了Lipschitz理论来分析泛化。我们通过分析过参数化神经网络的泛化性和一致性证明了它的简单性。然后，我们使用这个理论推导出基于Lipschitz的GANs的泛化界。我们的边界表明，惩罚GAN损失的Lipschitz常数可以提高泛化能力。这一结果回答了长期以来的谜团，即为什么在没有坚实理论的情况下，对GANs普遍使用Lipschitz约束往往会取得巨大成功。最后但令人惊讶的是，我们表明，当使用Dropout或谱归一化时，\emph{truly deep}神经网络和GANs都可以很好地泛化，而不会出现维数灾难。
2022-02-14 cs.LG
Explanations for Automatic Speech Recognition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
针对基于神经网络的自动语音识别，提出通过解释来提升系统理解和信任，采用统计故障定位和因果方法生成最小且充分的音频帧子集作为转录解释。
2026-06-23 cs.AI cs.CL cs.LG
Understanding Convolutional Networks with APPLE : Automatic Patch Pattern Labeling for Explanation
Carnegie Mellon University（卡内基梅隆大学）
随着深度学习的成功，最近的努力集中在分析学习网络如何进行分类。我们感兴趣的是基于网络结构和通过网络层的信息流来分析网络输出。我们贡献了一种算法，用于1）分析深度网络以找到在网络分类结果方面“重要”的神经元，以及2）自动标记激活这些重要神经元的输入图像的补丁。我们提出了几个衡量神经元重要性的指标，并证明了我们的技术可以用来深入了解和解释网络如何分解图像以进行最终分类。
2018-02-11 cs.CY cs.LG stat.ML
Towards Automated Evaluation of Explanations in Graph Neural Networks
IIT Madras（印度理工学院马德拉斯分校）；IBM Research（IBM研究院）；IBM（国际商业机器公司）；IBM Data and AI（IBM数据与人工智能部门）
以易于理解的术语向AI应用程序的最终用户解释图神经网络预测仍然是一个未解决的问题。特别是，我们没有很好的自动评估解释的方法，更接近用户如何消费这些解释。基于最近的应用趋势和我们自己的经验，在现实世界中的问题，我们提出了自动评估方法的GNN解释。
2021-06-22 cs.AI cs.LG
Automatic Generation of Natural Language Explanations
Aalborg Universitet（奥尔堡大学）；Insight Centre for Data Analytics（数据分析洞察中心）；University College Dublin（都柏林大学学院）
推荐系统的一个重要任务是根据用户的偏好生成解释。目前大多数用于可解释推荐的方法使用结构化句子来提供描述以及它们产生的推荐。然而，这些方法忽略了以评论为导向的文本写作方式，尽管我们知道这些评论对用户的决策有很大的影响。在本文中，我们提出了一种自动生成的自然语言的解释，预测用户将如何写一个项目，根据用户的评级，从不同的项目的功能。我们设计了一个字符级递归神经网络（RNN）模型，该模型使用长短期记忆（LSTM）生成项目的评论解释。该模型生成文本评论，给出评论和评级分数的组合，表达对项目的不同因素或方面的意见。我们的网络是在来自大型真实世界数据集BeerAdvocate的子样本上训练的。我们使用自然语言处理指标的实证评估显示，生成的文本的质量接近真实的用户书面评论，识别否定，拼写错误，和特定领域的词汇。
2017-07-04 cs.CL cs.LG
Automatic explanation of the classification of Spanish legal judgments in jurisdiction-dependent law categories with tree estimators
University of Vigo（维戈大学）
本文提出结合NLP、ML与可解释AI的法律文本分类系统，通过分析树模型决策特征和阈值并以自然语言解释，在西班牙法律判决分类中准确率超90%，且解释易于理解。
2024-03-30 cs.AI cs.CL cs.LG
PnPXAI: A Universal XAI Framework Providing Automatic Explanations Across Diverse Modalities and Models
KAIST（韩国科学技术院）
针对现有 XAI 框架受限于模型架构、数据模态、方法数量及解释优化不足的问题，本文提出 PnPXAI，以即插即用方式自动检测架构、推荐解释方法并优化超参数。
2025-05-15 cs.AI cs.LG
Automatic Concept Embedding Model (ACEM): No train-time concepts, No issue!
University of Cambridge（剑桥大学）
针对概念嵌入模型（CEM）需要大量概念标注训练数据导致成本高昂的问题，提出自动概念嵌入模型（ACEM），通过自动学习概念标注来克服可解释性与性能的权衡。
2023-09-07 cs.LG
Power of Explanations: Towards automatic debiasing in hate speech detection
Freie Universität Berlin（柏林自由大学）；University of Southern Denmark（南丹麦大学）；Universität der Bundeswehr München（慕尼黑联邦国防军大学）
仇恨语音检测是现实世界中自然语言处理（NLP）的常见下游应用。尽管准确性越来越高，但目前的数据驱动方法很容易从人类的不平衡数据分布中学习到偏见。偏见模型的部署可能会进一步加强现有的社会偏见。但与处理表格数据不同，定义和减轻处理非结构化数据的文本分类器中的偏见更具挑战性。在NLP中提高机器学习公平性的一个流行的解决方案是使用人类注释者给出的潜在歧视词列表进行去偏置过程。除了遭受忽视有偏见的术语的风险之外，用人类注释者彻底识别偏见是不可持续的，因为歧视在不同的数据集之间是可变的，并且可能随着时间的推移而演变。为此，我们提出了一个自动误用检测器（MiD）依赖于一个解释的方法来检测潜在的偏见。并在此基础上，提出了一个端到端的去偏框架与建议的阶段性校正设计的文本分类器，无需任何外部资源。
2022-09-07 cs.CL cs.LG
Mixture GAN For Modulation Classification Resiliency Against Adversarial Attacks
University of Houston（休斯顿大学）
使用深度神经网络（DNN）方法的自动调制分类（AMC）优于传统分类技术，即使在存在挑战性的无线信道环境的情况下也是如此。然而，对抗攻击通过向无线信道注入精心设计的扰动而导致基于DNN的AMC的准确性损失。在本文中，我们提出了一种新的基于生成对抗网络（GAN）的对策方法，以保护基于DNN的AMC系统免受对抗攻击的例子。基于GAN的目标是在馈送到基于DNN的分类器之前消除对抗攻击示例。具体来说，我们已经展示了我们提出的防御GAN对快速梯度符号方法（FGSM）算法的弹性，该算法是最有效的攻击算法之一，可以制造扰动信号。现有的防御GAN已经被设计用于图像分类，并且在考虑上述通信系统的情况下不工作。因此，我们提出的对策方法部署GANs与混合的发电机，以克服模式崩溃的问题，在一个典型的GAN面临的无线电信号分类问题。仿真结果表明，我们提出的防御GAN的有效性，使它可以提高基于DNN的AMC下对抗攻击的准确性，约81%。
2022-05-29 cs.AI cs.LG cs.NI
Interpretable Question Answering on Knowledge Bases and Text
iteratec GmbH（iteratec有限公司）；LMU Munich（慕尼黑大学）
机器学习（ML）模型的可解释性随着其越来越多的采用而变得更加相关。在这项工作中，我们解决了基于ML的问答（QA）模型的知识库（KB）和文本文档的组合的可解释性。我们采用LIME和输入扰动（IP）等事后解释方法，并将其与模型的自解释注意力机制进行比较。为此，我们提出了一个自动评估范例的解释方法的背景下，QA。我们还与人类注释者进行了一项研究，以评估解释是否有助于他们识别更好的QA模型。我们的研究结果表明，IP提供了更好的解释比石灰或注意，根据自动和人类的评价。我们在两个实验中获得了相同的方法排名，这支持了我们的自动评估范式的有效性。
2019-06-26 cs.AI cs.CL cs.LG
Accurate Detection of Paroxysmal Atrial Fibrillation with Certified-GAN and Neural Architecture Search
Tarbiat Modares University（塔比亚特·莫达雷斯大学）；Shiraz University of Medical Science（设拉子医科大学）；Mälardalen University（梅拉达伦大学）；Halmstad University（哈尔姆斯塔德大学）
本文提出了一种新的机器学习框架，用于检测阵发性房颤（PxAF），这是心电图（ECG）的一种病理特征，可能导致心脏病发作等致命疾病。为了增强学习过程，该框架在数据准备和分类器优化阶段涉及生成对抗网络（GAN）以及神经架构搜索（NAS）。创新性地调用GAN以通过以认证的方式产生PxAF类的合成ECG来克服训练数据的类不平衡。经认证的GAN的效果在统计学上得到验证。NAS不使用通用分类器，而是自动设计为PxAF分类任务定制的高度准确的卷积神经网络架构。实验结果表明，该框架的准确率高达99%，不仅将最新技术提高了5.1%，而且将两种广泛接受的基线方法ResNet-18和Auto-Sklearn的分类性能提高了2.2%和6.1%。
2023-01-17 cs.LG eess.SP
Is visual explanation with Grad-CAM more reliable for deeper neural networks? a case study with automatic pneumothorax diagnosis
Concordia University（康考迪亚大学）
本研究通过自动气胸诊断案例，系统评估Grad-CAM在不同深度和类型神经网络中的稳健性与有效性，发现更深网络不必然提升诊断准确性，且Grad-CAM效果因架构而异。
2023-08-29 cs.CV cs.LG eess.IV
Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing
Rutgers University, New Brunswick（罗格斯大学新布朗斯维克分校）；Tencent America（腾讯美国）
本文提出NLP分类任务基准DEIM与切片检测模型Edisa，自动发现并解释表现不佳的数据点群体，在不调整模型参数的情况下直接提升模型性能。
2023-09-10 cs.AI cs.CL cs.LG
