Training Federated GANs with Theoretical Guarantees: A Universal Aggregation Approach
Rutgers University(罗格斯大学);Stony Brook University(石溪大学)
最近,生成对抗网络(GANs)已经证明了它们在联邦学习中的潜力,即,从多个站点私有托管的数据中学习集中式模型。联合GAN联合训练集中式生成器和托管在不同站点的多个私有鉴别器。联邦GAN的一个主要理论挑战是本地数据分布的异质性。传统的方法不能保证学习目标分布,这是一个高度不同的本地分布的混合。本文解决了这一理论挑战,并首次为联邦GAN提供了一个可证明的正确框架。我们提出了一种新的方法,称为通用聚合,它模拟了一个集中式的鉴别器通过仔细聚合的所有私人的混合物。我们证明了用这种模拟的集中式神经网络训练的生成器可以学习所需的目标分布。通过合成和真实数据集,我们表明,我们的方法可以学习现有联邦GAN方法失败的大部分不同分布的混合。
2021-02-09 cs.AI cs.LG
Student's t-Generative Adversarial Networks
Ocean University of China(中国海洋大学)
生成对抗网络(GANs)在图像生成方面具有很好的性能,但它们需要大规模的数据来训练整个框架,并且经常导致无意义的结果。我们提出了一种新的方法,参考条件GAN,装备的潜在噪声与学生的t-分布的混合物与注意力机制除了类信息。学生t分布具有长尾,可以为潜在噪声提供更多的多样性。同时,该模型中的聚类分析器同时执行两个任务,判断图像是否来自真实数据分布,并识别每个生成图像的类别。混合模型的参数可以与GANs的参数一起学习。此外,我们在数学上证明,任何多元学生的t-分布可以通过一个正常的多元学生的t-分布的线性变换。实验结果表明,该方法与典型的GAN、Deli GAN和DCGAN方法相比,在数据量有限的情况下,具有生成多样性和清晰度高的对象的能力。
2018-11-06 cs.LG stat.ML
Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples
University of Toronto(多伦多大学);University of California, Irvine(加州大学欧文分校);Mila, Université de Montréal(米拉-蒙特利尔大学);Google Brain(谷歌大脑)
我们对生成对抗网络(GAN)训练算法进行了一个简单的(一行代码)修改,该算法在不增加计算成本的情况下显著改善了结果:当更新生成器参数时,我们只需将来自批处理中被评论家评为“最不真实”的元素的梯度贡献归零。通过对许多不同的GAN变体的实验,我们表明,这种“top-k更新”过程是一个普遍适用的改进。为了理解改进的本质,我们对一个简单的混合高斯数据集进行了广泛的分析,发现了几个有趣的现象。其中之一是,当梯度更新使用最差评分的批处理元素计算时,样本实际上可以被推到离它们最近的模式更远的地方。我们还将我们的方法应用于最近的GAN变体,并在CIFAR-10上将最先进的FID条件生成从9.21提高到8.57。
2020-10-22 cs.LG stat.ML
A domain agnostic measure for monitoring and evaluating GANs
ETH Zurich(苏黎世联邦理工学院);Technion-Israel Institute of Technology(以色列理工学院);Swiss Data Science Center(瑞士数据科学中心)
生成对抗网络(GANs)在复杂分布建模方面表现出了显着的效果,但其评估仍然是一个悬而未决的问题。评价对于以下方面至关重要:(i)不同模型的相对评估;(ii)在整个培训过程中监测单一模型的进展。后者不能通过简单地检查发电机和损耗曲线来确定,因为它们的行为是非直观的。我们利用博弈论中的二元差距的概念,提出了一种以低计算成本解决(i)和(ii)的措施。大量的实验表明,该措施的有效性,排名不同的GAN模型,并捕捉典型的GAN故障的情况下,包括模式坍塌和非收敛行为。该评估指标还提供了对训练期间损失进展的有意义的监控。它与自然图像数据集上的FID高度相关,并且与FID不直接适用的文本,声音和宇宙学数据的特定领域得分高度相关。特别是,我们提出的指标不需要标签或预训练的分类器,使其与领域无关。
2020-07-15 cs.LG stat.ML
BourGAN: Generative Networks with Metric Embeddings
Columbia University(哥伦比亚大学)
本文讨论了生成对抗网络(GANs)的模式崩溃。我们把模式看作是度量空间中数据分布的几何结构。在这种几何透镜下,我们将数据集的子样本从任意度量空间嵌入到l2空间中,同时保持它们的成对距离分布。该度量嵌入不仅自动确定潜在空间的维度,还使我们能够构建高斯混合来绘制潜在空间随机向量。我们使用高斯混合模型与目标函数的简单增强相结合来训练GANs。我们的方法的每一个主要步骤都得到了理论分析的支持,我们对真实和合成数据的实验证实,生成器能够产生分布在大多数模式上的样本,同时避免不需要的样本,在许多指标上优于最近的几个GAN变体,并提供新的功能。
2018-12-03 cs.LG stat.ML
MIXGAN: Learning Concepts from Different Domains for Mixture Generation
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Big Data Analysis and Processing(广东省大数据分析与处理重点实验室);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(机器智能与先进计算教育部重点实验室);NUDT(国防科技大学)
在这项工作中,我们提出了一个有趣的尝试混合生成:吸收不同的图像概念(例如,内容和风格),从而生成具有学习概念的新领域。特别地,我们提出了一种混合生成对抗网络(MIXGAN)。MIXGAN分别从两个领域学习内容和风格的概念,因此可以将它们加入新领域中的混合生成,即,生成具有来自一个域的内容和来自另一个域的样式的图像。MIXGAN克服了当前基于GAN的模型的局限性,这些模型要么在训练阶段观察到的相同域中生成新图像,要么需要现成的内容模板进行传输或翻译。大量的实验结果证明了MIXGAN与相关的最先进的基于GAN的模型相比的有效性。
2018-07-04 cs.AI cs.LG stat.ML
Towards GAN Benchmarks Which Require Generalization
Google Brain(谷歌大脑)
对于通常用作无条件图像生成基准的许多评估指标,简单地记忆训练集可以获得比被认为是最先进的模型更好的分数;我们认为这是有问题的。我们澄清了一个评估指标不这样做的必要条件:估计函数必须需要模型的大样本。为了寻找这样一个度量,我们转向神经网络分歧(NND),它是根据训练来区分分布的神经网络定义的。由此产生的基准不能通过训练集记忆来“获胜”,同时仍然是感知相关的,并且只能从样本中计算。我们调查过去的工作,使用NND进行评估,并实现了一个例子黑盒指标的基础上,这些想法。通过实验验证,我们表明,它可以有效地衡量多样性,样本质量和泛化。
2020-01-10 cs.LG stat.ML
Venn GAN: Discovering Commonalities and Particularities of Multiple Distributions
School of Electrical and Electronics Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Institute for Infocomm Research, A*STAR(新加坡资讯通信研究院(A*STAR));School of Computing, National University of Singapore(新加坡国立大学计算机学院);Engineering Systems and Design, Singapore University of Technology and Design(新加坡科技设计大学工程系统与设计学院);School of Electrical and Electronics Engineering, Nanyang Technological University, Singapore(南洋理工大学电气与电子工程学院)
我们提出了一个GAN设计,有效地模拟多种分布,并发现它们的共性和特殊性。每个数据分布都使用$K$生成器分布的混合来建模。由于生成器在不同真实数据分布的建模之间部分共享,因此共享的生成器捕获分布的共性,而非共享的生成器捕获它们的独特方面。我们展示了我们的方法在各种数据集(MNIST,Fashion MNIST,CIFAR-10,Omniglot,CelebA)上的有效性,结果令人信服。
2019-02-09 cs.LG stat.ML
GAN-EM: GAN based EM learning framework
University of Rochester(罗切斯特大学);Tsinghua University(清华大学)
期望最大化(EM)算法是求具有潜在变量的模型的最大似然解.一个典型的例子是高斯混合模型(GMM),它需要高斯假设,然而,自然图像是高度非高斯的,使得GMM不能应用于执行像素空间上的聚类任务。为了克服这种限制,我们提出了一个基于GAN的EM学习框架,可以最大限度地提高图像的可能性和估计的潜在变量,只有约束的L-Lipschitz连续性。我们称这个模型为GAN-EM,它是一个图像聚类、半监督分类和降维的框架。在M步中,我们设计了一个新的损失函数,用于GAN的最大似然估计(MLE)的数据与软类标签分配。具体来说,条件生成器捕获$K$类的数据分布,而条件生成器告诉每个类的样本是真的还是假的。由于该模型是无监督的,因此将真实数据的类别标签作为潜在变量,在E步中通过一个附加网络(E-net)进行估计。所提出的GAN-EM在MNIST、SVHN和CelebA上实现了最先进的聚类和半监督分类结果,并且生成的图像质量与其他最近开发的生成模型相当。
2018-12-02 cs.LG stat.ML
Ensembles of Generative Adversarial Networks for Disconnected Data
Rice University(莱斯大学)
大多数当前的计算机视觉数据集由不连通的集合组成,例如来自不同类别的图像。我们证明了这种类型的数据的分布不能用连续生成网络表示而没有错误。它们可以用两种方式表示:用一个网络集合或用一个具有截断潜在空间的单个网络。我们表明,合奏是更可取的比截断分布在实践中。我们构造了一个正则化优化问题,该问题建立了单个连续GAN、GANs的集合、条件GANs和高斯混合GANs之间的关系。这种正则化可以有效地计算,我们的经验表明,我们的框架有一个性能的甜蜜点,可以找到超参数调整。这种集成框架允许比单个连续GAN或cGAN更好的性能,同时保持更少的总参数。
2020-06-25 cs.LG stat.ML
Training Generative Adversarial Networks via Primal-Dual Subgradient Methods: A Lagrangian Perspective on GAN
Northwestern University(西北大学);Google Inc.(谷歌公司)
我们将生成对抗网络(GANs)的极大极小博弈与寻找凸优化问题的拉格朗日函数的鞍点联系起来,其中生成器输出和生成器输出的分布分别扮演原始变量和对偶变量的角色。该公式显示了标准GAN训练过程和凸优化的原始-对偶次梯度方法之间的联系。这种内在联系不仅为在函数空间中训练GANs提供了理论上的收敛性证明,而且还启发了一种新的训练目标函数。修正后的目标函数迫使发电机输出的分布根据原始-对偶次梯度方法沿方向更新。一个玩具的例子表明,所提出的方法是能够解决模式坍塌,在这种情况下,不能避免的标准GAN或Wasserstein GAN。在高斯混合合成数据和真实图像数据集上的实验证明了该方法在生成不同样本时的性能。
2018-02-06 cs.LG stat.ML
Multi-Generator Generative Adversarial Nets
University of Massachusetts-Amherst(马萨诸塞大学阿默斯特分校);PRaDA Centre, Deakin University(迪肯大学PRaDA中心)
我们提出了一种新的方法来训练生成对抗网络(GANs)的混合发电机,以克服模式崩溃的问题。主要的直觉是采用多个生成器,而不是像原始GAN中那样使用单个生成器。这个想法很简单,但在覆盖不同的数据模式方面被证明是非常有效的,可以轻松克服模式坍塌并提供最先进的结果。极小极大公式能够以与GAN类似的精神在分类器、分类器和一组生成器之间建立。生成器创建旨在来自与训练数据相同的分布的样本,而分类器确定样本是真实数据还是由生成器生成的,并且分类器指定样本来自哪个生成器。其区别在于,内部样本是从多个生成器中创建的,然后其中一个将被随机选择作为最终输出,类似于概率混合模型的机制。我们称我们的方法混合GAN(MGAN)。通过理论分析证明,在平衡态下,各源分布的混合分布与经验分布之间的Jensen-Shannon散度(JSD)最小,而各源分布之间的JSD最大,从而有效地避免了模式坍塌.通过利用参数共享,我们提出的模型增加了最小的计算成本的标准GAN,因此也可以有效地扩展到大规模的数据集。我们对合成2D数据和自然图像数据库(CIFAR-10,STL-10和ImageNet)进行了广泛的实验,以证明我们的MGAN在最新基线上实现最先进的Inception分数方面的卓越性能,以不同的分辨率生成多样化和吸引人的可识别对象,并专门通过生成器捕获不同类型的对象。
2017-10-27 cs.AI cs.LG stat.ML
Expected Information Maximization: Using the I-Projection for Mixture Density Estimation
KIT(卡尔斯鲁厄理工学院);Bosch Center for Artificial Intelligence(博世人工智能中心);TU Darmstadt(达姆施塔特工业大学);University of Tübingen(蒂宾根大学)
高度多模态数据建模是机器学习中的一个具有挑战性的问题。大多数算法是基于最大化的可能性,这对应于M(矩)-投影的数据分布的模型分布。M投影强制模型对它不能表示的模式求平均。相比之下,I(信息)投影忽略了数据中的这些模式,并集中在模型可以表示的模式上。当我们处理高度多模态的数据时,这种行为是有吸引力的,其中正确地建模单个模式比覆盖所有模式更重要。尽管有这个优点,但由于缺乏可以基于数据有效优化它的算法,I投影在实践中很少使用。在这项工作中,我们提出了一种新的算法,称为预期信息最大化(EIM)计算I-投影仅基于样本的一般潜变量模型,我们专注于高斯混合模型和高斯混合专家。我们的方法适用于变分上界的I-投影目标分解成单个目标的每个混合物成分,以及系数,允许有效的优化。与GANs类似,我们的方法使用鉴别器,但使用更稳定的优化过程,使用严格的上限。我们表明,我们的算法是更有效地计算的I-投影比最近的GAN方法,我们说明了我们的方法的有效性,对两个行人和交通预测数据集的多模态行为建模。
2020-01-23 cs.LG stat.ML
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University(首尔大学)
具有聚类潜在空间的生成对抗网络(GANs)可以以完全无监督的方式执行条件生成。在现实世界中,未标记数据的显著属性可能是不平衡的。然而,大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性,因为它们假设属性的均匀分布。为了解决这个问题,我们从理论上推导出Stein潜在优化,该优化提供了潜在分布参数的可重新参数化的梯度估计,假设在连续潜在空间中存在高斯混合。在结构上,我们引入了一个编码器网络和新的无监督条件对比损失,以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认,所提出的方法,命名为斯坦潜在优化GANs(SLOGAN),成功地学习平衡或不平衡的属性,并实现了最先进的无监督条件生成性能,即使在没有属性信息的情况下(例如,不平衡度)。此外,我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
Diffusion-GAN: Training GANs with Diffusion
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Azure AI(微软Azure人工智能)
针对GAN训练不稳定的问题,提出利用自适应前向扩散链生成实例噪声的Diffusion-GAN框架,通过时间步依赖判别器指导生成器,理论和实验均证明其在图像生成质量、稳定性和数据效率上优于现有最优GANs。
2023-08-25 cs.LG stat.ML
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st(哈桑一世大学);University of Abdelmalek Essaâdi(阿卜杜勒马利克·埃萨迪大学)
混合模型已被广泛用于聚类中,由于其概率框架,其基础,然而,对于现代数据库,其特点是其规模大,这些模型的行为dispromisingly在设置模型,使必要的相关变量的选择,这种类型的聚类。在回顾了基于模型的聚类的基础知识之后,本文将研究基于模型的聚类的变量选择方法,并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Non-Exhaustive Learning Using Gaussian Mixture Generative Adversarial Networks
Indiana University-Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
监督学习,而部署在现实生活中的场景,经常遇到未知类的实例。用于训练监督学习模型的传统算法不提供检测此类实例的选项,因此它们以100%的概率对此类实例进行误分类。开集识别(OSR)和非穷举学习(NEL)是克服这个问题的潜在解决方案。大多数现有的OSR方法首先对现有类的成员进行分类,然后识别新类的实例。然而,许多现有的OSR方法只进行二元决策,即,它们只识别未知类的存在。因此,这样的方法不能区分属于增量不可见类的测试实例。另一方面,大多数NEL方法通常对数据分布进行参数假设,由于现实生活中复杂的数据集可能不遵循众所周知的数据分布,因此无法返回良好的结果。本文提出了一种新的在线非穷举学习模型,即非穷举高斯混合生成对抗网络(NE-GM-GAN)。我们提出的模型在深度生成模型(如GAN)上合成基于高斯混合的潜在表示,用于增量检测测试数据中新兴类的实例。在多个基准数据集上的大量实验结果表明,NE-GM-GAN在检测流数据中新类实例方面的性能明显优于现有方法.
2021-07-02 cs.LG
Pseudo-Random Number Generation using Generative Adversarial Networks
Queen Mary University of London(伦敦玛丽女王大学)
伪随机数发生器(PRNG)是许多安全算法的基本元素。我们引入了一种新的方法来实现它们,通过提出使用生成对抗网络(GAN)来训练一个神经网络,使其表现为PRNG。此外,我们展示了一些有趣的修改标准GAN架构。最重要的是部分隐藏GAN的生成器的输出,并训练对手发现从公开部分到隐藏部分的映射。因此,生成器学习生成对手无法预测的值,而不是近似显式的参考分布。我们证明了一个GAN可以有效地训练,即使是一个小的前馈全连接神经网络产生伪随机数序列具有良好的统计特性。在NIST测试套件中,经过训练的生成器通过了大约99%的测试实例和98%的总体测试,优于许多标准的非加密PRNG。
2018-09-30 cs.LG stat.ML
Graphical Generative Adversarial Networks
Tsinghua University(清华大学);University of Amsterdam(阿姆斯特丹大学);Canadian Institute for Advanced Research(加拿大高等研究院)
我们提出了图形生成对抗网络(Graphical-GAN)来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播(EP)算法学习的生成模型和识别模型联合。最后,我们提出了两个重要的图形-GAN的实例,即高斯混合GAN(GM GAN)和状态空间GAN(SS GAN),它们可以成功地学习离散和时间结构的视觉数据集,分别。
2018-12-12 cs.CV cs.LG stat.ML
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于生成对抗网络(GAN)、对抗自动编码器及其变体的教程和调查论文。我们从解释对抗学习和普通GAN开始。然后,我们解释了条件GAN和DCGAN。介绍了模式崩溃问题,介绍了解决模式崩溃问题的各种方法,包括minibatch GAN、unrolled GAN、BourGAN、mixture GAN、D2 GAN和Wasserstein GAN。然后,解释了GAN中的最大似然估计以及f-GAN、对抗变分贝叶斯和贝叶斯GAN。然后,我们涵盖了GAN,InfoGAN,GRAN,LSGAN,基于能量的GAN,Cat GAN、MMD GAN、LapGAN、渐进式GAN、三重GAN、LAG、GMAN、Ada GAN、CoGAN、逆GAN、双GAN、ALI,SA GAN、Few-Shot GAN、SinGAN、以及GAN的插值和评价。然后,我们介绍了GAN的一些应用,如图像到图像的翻译(包括PatchGAN,CycleGAN,DeepFaceDrawing,模拟GAN,交互式GAN),文本到图像的翻译(包括StackGAN),以及混合图像特征(包括FineGAN和MixNMatch)。最后,我们解释了基于对抗学习的自动编码器,包括对抗自动编码器,PixelGAN和隐式自动编码器。
2021-11-26 cs.CV cs.LG eess.IV
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
本文提出MGMD-GAN框架,通过多生成器与多判别器结合不相交训练数据分区学习混合分布,缩小泛化差距,从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Models
Stanford University(斯坦福大学)
概率模型的对抗学习最近已经成为最大似然的一种有前途的替代方案。与通过最大似然训练的显式模型相比,生成对抗网络(GAN)等隐式模型通常会生成更好的样本。然而,GANs回避了显式密度的表征,这使得定量评估具有挑战性。为了弥合这一差距,我们提出了Flow-GAN,这是一种生成对抗网络,我们可以对其进行精确的似然评估,从而支持对抗和最大似然训练。当进行逆向训练时,Flow-GAN生成高质量的样本,但获得极差的对数似然分数,甚至不如记忆训练数据的混合模型;当通过最大似然训练时,情况正好相反。MNIST和CIFAR-10上的结果表明,混合训练可以获得高的保持概率,同时保持生成的样本的视觉保真度。
2018-01-03 cs.AI cs.LG cs.NE
Unbiased Auxiliary Classifier GANs with MINE
Rutgers University(罗格斯大学)
辅助分类器GANs(AC-GANs)是广泛使用的条件生成模型,并且能够生成高质量的图像。以前的工作已经指出,AC-GAN学习有偏的分布。为了解决这个问题,Twin Auxiliary Classifier GAN(TAC-GAN)将一个孪生分类器引入到最小-最大博弈中。然而,据报道,使用双辅助分类器可能会导致训练不稳定。为此,我们提出了一种无偏辅助GANs(UAC-GAN),它利用互信息神经估计(MINE)来估计生成的数据分布和标签之间的互信息。为了进一步提高性能,我们还提出了一种新的基于投影的统计网络结构的MINE。在混合高斯(MoG)、MNIST和CIFAR 10数据集上的实验结果表明,UAC-GAN的性能优于AC-GAN和TAC-GAN。代码可以在项目网站上找到。
2020-06-13 cs.CV cs.LG
GAN Memory with No Forgetting
Duke University(杜克大学)
灾难性遗忘是终身学习中的一个基本问题,它是由不可获取的历史数据直接引起的,因此,如果数据(信息)被完美地记住,就不应该期望遗忘。受此启发,我们提出了一种用于终身学习的GAN存储器,它能够通过生成过程记住数据集流,并具有\emph{no}遗忘。我们的GAN记忆是基于认识到人们可以调节GAN模型的“风格”以形成感知距离的目标生成。因此,我们建议在行为良好的基础GAN模型上进行顺序样式调制,以形成顺序目标生成模型,同时受益于传输的基础知识。因此,GAN记忆--由终身学习激发--本身就表现为一种终身学习的形式,通过前向转移和调节先前任务的信息。实验表明,我们的方法优于现有的方法和它的有效性,在减轻终身分类问题的灾难性遗忘。代码可在https://github.com/MiaoyunZhao/GANmemory_LifelongLearning上获得。
2020-11-12 cs.CV cs.LG
Coupled IGMM-GANs for deep multimodal anomaly detection in human mobility data
University of Colorado at Boulder(科罗拉多大学博尔德分校);University of Maryland, College Park(马里兰大学帕克分校);IUPUI(印第安纳大学与普渡大学印第安纳波利斯联合分校)
检测人类移动数据中的异常活动具有许多应用,包括道路危险感测、基于远程信息处理的保险以及出租车服务和乘车共享中的欺诈检测。在本文中,我们解决了异常人类轨迹研究中出现的两个挑战:1)缺乏关于异常定义的地面真实数据,2)现有方法对重要预处理和特征工程的依赖。虽然生成对抗网络似乎很适合解决这些挑战,但我们发现现有的基于GAN的异常检测算法由于无法处理多模态模式而表现不佳。为此,我们引入了一个无限高斯混合模型与(双向)生成对抗网络,IGMM-GAN,这是能够生成合成的,但现实的,人类移动数据,同时有利于多模态异常检测。通过估计人类轨迹空间上的生成概率密度,我们能够生成逼真的合成数据集,这些数据集可用于对现有的异常检测方法进行基准测试。估计的多峰密度还允许我们用于检测异常轨迹的离群值的自然定义。我们说明了我们的方法及其改进现有的GAN异常检测几个人类移动数据集,随着MNIST。
2018-09-08 cs.LG stat.ML
The Unusual Effectiveness of Averaging in GAN Training
Nanyang Technological University (NTU)(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);National University of Singapore (NUS)(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
我们研究了GAN训练中参数平均的两种不同技术。移动平均(MA)计算参数的时间平均值,而指数移动平均(EMA)计算指数折扣和。虽然MA是已知的,导致收敛在双线性设置,我们提供了-据我们所知-第一理论参数,支持EMA。我们发现,EMA收敛到极限环周围的平衡与消失的振幅作为折扣参数接近一个简单的双线性游戏,也提高了一般的GAN训练的稳定性。我们建立实验,这两种技术是非常有效的非凹凸GAN设置以及。这两种方法都可以提高不同架构和不同GAN目标的初始和FID分数。我们在一系列数据集上提供了全面的实验结果-Gaussians,CIFAR-10,STL-10,CelebA和ImageNet的混合物-以证明其有效性。我们在CIFAR-10上实现了最先进的结果,并生成了干净的CelebA面部图像。\footnote{~The code is available at \url{https://github.com/yasinyazici/EMA_GAN}}
2019-02-26 cs.CV cs.LG stat.ML
The GAN is dead; long live the GAN! A Modern GAN Baseline
Brown University(布朗大学);Cornell University(康奈尔大学)
本文提出具有局部收敛保证的正则化相对 GAN 损失,去除经验技巧并现代化 StyleGAN2,构建极简基线 R3GAN,在多个数据集上超越 StyleGAN2 并媲美先进 GAN 与扩散模型。
2025-01-09 cs.CV cs.LG
Probabilistic Generative Adversarial Networks
Johannes Kepler University(约翰内斯·开普勒大学)
我们介绍了概率生成对抗网络(PGAN),一个新的GAN变种基于一种新的目标函数。核心思想是将概率模型(在我们的情况下是高斯混合模型)集成到GAN框架中,该框架支持一种新的损失函数(基于似然而不是分类损失),同时给出了对网络生成的输出质量的有意义的度量。MNIST的实验表明,该模型可以学习生成逼真的图像,同时计算与生成图像质量相关的似然度。我们表明,PGAN是能够更好地应付不稳定的问题,通常观察到的GAN训练过程。我们从三个方面来研究这个问题:生成器的概率分布,生成器的梯度,以及完美的生成问题。
2017-08-06 cs.LG stat.ML
On the approximation of posterior laws in compound loss models by conditional Wasserstein GANs
ETH Zürich(苏黎世联邦理工学院);Vienna University of Economics and Business(维也纳经济与商业大学);Macquarie University(麦考瑞大学);Heriot-Watt University(赫瑞-瓦特大学)
该研究将复合损失模型的贝叶斯后验近似转化为摊销问题,构建条件Wasserstein GAN,通过模拟校准等方法验证,成功近似多参数后验并应用于巨灾损失尾部风险分析。
2026-08-28 q-fin.RM stat.ML
Guiding GANs: How to control non-conditional pre-trained GANs for conditional image generation
La Salle - Universitat Ramon Llull(拉蒙·柳利大学拉萨尔学院)
生成对抗网络(GANs)是由两个神经网络--生成器和神经网络--组成的一种结构,它们被联合训练,从随机输入中生成人工数据,如图像。这些生成的图像的质量最近已经达到了这样的水平,经常会导致机器和人类将假的误认为真实的例子。然而,当我们想要调节网络以从特定类别的子类别生成图像时,GAN的生成器执行的过程有一些限制。最近的一些方法通过在训练过程之前引入额外的信息(例如图像语义分割或文本描述)来解决该\textit{conditional generation}。虽然成功,这些技术仍然需要预先定义所需的子类别,并收集表示它们的大型标记图像数据集,以从头开始训练GAN。在本文中,我们提出了一种新的替代方法,用于指导通用的非条件GANs表现为条件GANs。我们的方法不是重新训练GAN,而是将编码器网络添加到混合中以生成高维随机输入向量,这些向量被馈送到非条件GAN的生成器网络,以使其从特定子类别生成图像。在我们的实验中,与从头开始训练条件GAN相比,我们的引导式GAN能够在训练编码器后生成感知质量与非条件GANs相当的人工图像,这大大加快了过程,并能够无缝添加新的子类别。
2021-01-04 cs.CV cs.LG eess.IV
Instance-Conditioned GAN
Facebook AI Research(Facebook人工智能研究院);École Polytechnique de Montréal(蒙特利尔理工学院);Mila, Quebec AI Institute(米拉-魁北克人工智能研究所);Télécom Paris(巴黎电信学院);McGill University(麦吉尔大学)
生成对抗网络(GANs)可以在人脸等狭窄的领域中生成近乎照片般逼真的图像。然而,对ImageNet和COCO-Stuff等数据集的复杂分布进行建模在无条件设置中仍然具有挑战性。在本文中,我们从核密度估计技术的启发,并介绍了一种非参数的方法来建模复杂数据集的分布。我们将数据流形划分为由数据点及其最近邻居描述的重叠邻域的混合物,并引入一个称为实例条件GAN(IC-GAN)的模型,该模型学习每个数据点周围的分布。在ImageNet和COCO-Stuff上的实验结果表明,IC-GAN在无条件模型和无监督数据划分基线上有显着改进。此外,我们证明了IC-GAN可以通过简单地改变条件实例毫不费力地转移到训练过程中看不到的数据集,并且仍然生成逼真的图像。最后,我们将IC-GAN扩展到类条件的情况下,并在ImageNet上显示语义可控的生成和有竞争力的定量结果;同时在ImageNet-LT上改进BigGAN。代码和训练模型可以重现报告的结果,请访问https://github.com/facebookresearch/ic_gan。
2021-11-04 cs.CV cs.LG
GANalyzer: Analysis and Manipulation of GANs Latent Space for Controllable Face Synthesis
Ritchie School of Engineering and Computer Science, University of Denver(丹佛大学里奇工程与计算机科学学院);Department of Psychology, University of Tennessee(田纳西大学心理学系);College of Arts, Humanities and Social Sciences, University of Denver(丹佛大学艺术、人文与社会科学学院)
生成对抗网络(GANs)能够合成高质量的面部图像。尽管取得了成功,但GANs并没有提供任何关于输入向量和生成图像之间关系的信息。目前,面部GANs是在不平衡的数据集上训练的,这会产生不太多样化的图像。例如,我们使用StyleGAN 3随机合成的10万张图像中,超过77%被归类为快乐,只有大约3%被归类为愤怒。当需要混合面部属性时,问题甚至变得更糟:生成的样本中只有不到1%是愤怒的女人,只有大约2%是快乐的黑人。为了解决这些问题,本文提出了一个名为GANalyzer的框架,用于分析和操纵训练有素的GANs的潜在空间。GANalyzer由一组转换函数组成,旨在操作特定面部属性(如面部表情,年龄,性别和种族)的潜在向量。我们分析了GANs的潜在空间中的面部属性纠缠,并应用所提出的变换来编辑解纠缠的面部属性。我们的实验结果证明了GANalyzer在编辑面部属性和生成任何所需面部方面的优势。我们还创建并发布了一个平衡的照片逼真的人脸数据集。我们的代码在GitHub上公开。
2023-02-02 cs.CV cs.LG
$(α_D,α_G)$-GANs: Addressing GAN Training Instabilities via Dual Objectives
Arizona State University(亚利桑那州立大学);IIIT Hyderabad(印度国际信息技术学院海得拉巴分校)
本研究提出双目标$(α_D,α_G)$-GANs框架,通过为生成器和判别器设置基于$α$-损失的不同目标,在理论上证明其可简化为$f$-散度最小化并推导估计误差上界,实验验证其能有效缓解GAN训练不稳定性。
2023-05-03 cs.IT cs.LG math.IT
Modeling Feature Representations for Affective Speech using Generative Adversarial Networks
University of Maryland, College Park(马里兰大学帕克分校)
情感识别是一个经典的研究领域,典型的设置是提取特征并通过分类器进行预测。另一方面,生成模型共同捕捉情感和特征配置文件之间的分布关系。最近,生成对抗网络(GANs)作为一类新的生成模型出现,并在计算机视觉和自然语言理解领域的分布建模方面取得了相当大的成功。在这项工作中,我们用GAN架构的变体进行实验,以两种方式生成与情感相对应的特征向量:(i)用来自混合先验的样本训练生成器。每个混合成分对应于一个情感类,并且可以被采样以从对应的情感生成特征。(ii)对应于情感的独热向量可以明确地用于生成特征。我们对这些模型进行分析,并提出了不同的指标,用于衡量GAN模型的性能,在他们的能力,以产生现实的合成样本。除了对给定的感兴趣的数据集进行评估外,我们还进行了跨语料库研究,其中我们研究了在低资源条件下合成样本作为额外训练数据的实用性。
2019-10-31 cs.LG cs.SD eess.AS
Variational Mixture of Normalizing Flows
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所)
在过去的几年里,深度生成模型,如生成对抗网络\autocite{GAN}、变分自编码器\autocite{vaepaper}及其变体,已经被广泛用于复杂数据分布建模的任务。尽管这些早期的方法取得了出色的样本质量,但它们对目标分布\emph{implicitly}进行建模,因为它们诱导的概率密度函数无法明确获得。这一事实使得这些方法不适合需要例如用学习的分布对数据的新实例进行评分的任务。规范化流通过利用概率密度函数的变量变化公式,并通过使用设计为具有易处理且易于计算的雅可比矩阵的变换,克服了这一限制。虽然灵活,这个框架缺乏(直到最近\autocites{semisuplearning_nflows, RAD})一种方法来引入离散结构(如在混合物中发现的)的模型,它允许构建,在无监督的情况下。本工作克服了这一点,通过使用归一化流作为混合模型中的组件,并为这样的模型设计了一个端到端的训练过程。该过程基于变分推断,并使用由神经网络参数化的变分后验。正如将变得清楚的那样,该模型自然地适用于(多模态)密度估计、半监督学习和聚类。该模型在两个合成数据集和一个真实数据集上进行了说明。关键词:深度生成模型,规范化流,变分推断,概率建模,混合模型。
2020-09-01 cs.LG stat.ML
SVSGAN: Singing Voice Separation via Generative Adversarial Network
National Taiwan University(国立台湾大学)
从音频混合中分离两个源是具有许多应用的重要任务。这是一个具有挑战性的问题,因为只有一个信号通道可用于分析。在本文中,我们提出了一种新的框架,歌唱声音分离使用生成对抗网络(GAN)的时频掩蔽功能。混合光谱被认为是一个分布,并被映射到干净的光谱,这也被认为是一个distribtution。在对抗训练过程中,对混合光谱和干净光谱之间的分布进行近似。与当前用于声源分离的深度学习方法相比,所提出的框架的参数首先在监督设置中初始化,然后在无监督设置中通过GAN的训练过程进行优化。在三个数据集(MIR-1 K、iKala和DSD 100)上的实验结果表明,由传统网络组成的框架可以提高性能。
2017-11-13 cs.LG cs.SD eess.AS
Generalization and Memorization: The Bias Potential Model
Princeton University(普林斯顿大学)
用于学习概率分布的模型,如生成模型和密度估计器,其行为与用于学习函数的模型完全不同。一个例子是记忆现象,即最终收敛到经验分布,发生在生成对抗网络(GANs)中。因此,泛化的问题比监督学习的问题更微妙。对于偏置势模型,我们表明,如果采用早期停止,则可以实现与维度无关的泛化精度,尽管从长远来看,模型要么记住样本,要么发散。
2021-03-02 cs.LG stat.ML
Dictionary-Transform Generative Adversarial Networks
字典-变换生成对抗网络通过稀疏合成结构实现对抗学习的可解释性和理论稳定性。
2025-12-25 cs.LG
Addressing GAN Training Instabilities via Tunable Classification Losses
Arizona State University(亚利桑那州立大学);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
本文通过可调CPE损失重新表述GAN目标,提出(α_D,α_G)-GAN双目标框架,将训练稳定问题转化为f-散度最小化,并在多个数据集上验证其缓解训练不稳定的效果。
2023-10-27 cs.IT cs.LG math.IT
Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN
Institute of Computational Perception (CP-JKU) Johannes Kepler University Linz, Austria(计算感知研究所(CP-JKU)约翰· Kepler大学林茨,奥地利)
本文提出多阶段音乐源修复方法,结合BandSplit-RoFormer分离与HiFi++ GAN修复,实现高质量音乐声部恢复。
2026-03-04 cs.LG cs.SD eess.AS
Discriminator Rejection Sampling
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
我们提出了一种拒绝抽样方案,使用GAN的采样近似校正GAN生成器分布中的误差。我们表明,在相当严格的假设下,这将使我们能够准确地恢复数据分布。然后,我们研究这些严格的假设打破,并设计一个实用的算法-称为鉴别器拒绝抽样(DRS)-可用于真实的数据集。最后,我们证明了DRS对高斯混合模型和SAGAN模型的有效性,这是开发这项工作时图像生成任务的最新技术。在ImageNet上,我们训练了一个改进的基线,将Inception Score从52.52提高到62.36,并将Frechet Inception Distance从18.65降低到14.79。然后,我们使用DRS来进一步改善这个基线,将Inception Score提高到76.08,FID提高到13.75。
2019-02-26 cs.LG stat.ML
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
高斯混合模型(GMM)是一种强大的参数化工具,在机器学习和计算机视觉中有着广泛的应用。期望最大化(EM)是估计GMM参数的最流行的算法。然而,EM仅保证收敛到对数似然函数的稳定点,这可能比最优解更差。受负对数似然函数和Kullback-Leibler(KL)散度之间的关系的启发,我们提出了一种替代配方,用于估计GMM参数使用切片Wasserstein距离,这产生了一个新的算法。具体来说,我们建议最小化混合模型和数据分布之间的切片Wasserstein距离相对于GMM参数。与KL发散相比,切片Wasserstein距离的能量景观更好,因此更适合于随机梯度下降方案以获得最佳GMM参数。我们表明,我们的配方结果的参数估计是更强大的随机初始化,并证明它可以估计高维数据分布更忠实于EM算法。
2017-11-16 cs.CV cs.LG stat.ML
AdaGAN: Boosting Generative Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Brain(谷歌大脑)
生成对抗网络(GAN)(Goodfellow等人,2014)是用于训练复杂数据(例如自然图像)的生成模型的有效方法。然而,他们是出了名的难以训练,并可能遭受丢失模式的问题,其中模型不能在空间的某些区域中产生示例。我们提出了一个迭代过程,称为Ada GAN,在每一步中,我们通过在重新加权的样本上运行GAN算法将新的组件添加到混合模型中。这是受到提升算法的启发,其中许多潜在的弱个体预测器被greatly聚合以形成强复合预测器。我们证明了这样一个增量过程导致收敛到真正的分布在有限的步骤,如果每一步是最佳的,否则以指数速度收敛。我们还说明了实验,这个过程解决了丢失模式的问题。
2017-05-24 cs.LG stat.ML
Clustering Mixture Models in Almost-Linear Time via List-Decodable Mean Estimation
University of Wisconsin, Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);Microsoft Research(微软研究院);Stanford University(斯坦福大学)
我们研究了列表可解码的均值估计问题,其中对手可以损坏大部分数据集。具体地,我们给出$\mathbb{R}^d$中的$n$点的集合$T$和参数$0< α<\frac 1 2$,使得$T$中的点的$α$分数是i.i.d.来自行为良好的分布$\mathcal{D}$的样本和剩余的$(1-α)$ -分数是任意的。目标是输出一个小的向量列表,其中至少有一个接近$\mathcal{D}$的平均值。我们开发了新的算法列表解码的均值估计,实现接近最佳的统计保证,与运行时间$O(n^{1 + ε_0} d)$,任何固定的$ε_0 > 0$。在$\frac 1 α$中,此问题的所有先前算法都具有额外的多项式因子。我们利用这一结果,再加上额外的技术,以获得第一个几乎线性的时间算法,用于聚类混合物的$k$分离良好的分布,几乎匹配的统计保证谱方法。现有的聚类算法固有地依赖于$k$-PCA的应用,从而导致$Ω(n d k)$的运行时间。这标志着近二十年来这个基本统计问题的第一次运行时改进。我们的方法的出发点是一种新的和更简单的近线性时间鲁棒均值估计算法在$α\to 1$制度,基于一个一次性矩阵乘法权重启发的潜在减少。我们在Diakonikolas等人的迭代多滤波技术的背景下关键地利用这种新的算法框架,提供了一种使用一维投影同时聚类和下采样点的方法-因此,绕过了先前算法所需的$k$-PCA子例程。
2021-11-12 cs.DS cs.LG stat.ML
System-reliability based multi-ensemble of GAN and one-class joint Gaussian distributions for unsupervised real-time structural health monitoring
Virginia Tech University(弗吉尼亚理工大学);K. N. Toosi University of Technology(K. N. 图西理工大学)
无监督健康监测作为最实用的实时的【形】结构健康监测方法,在过去的十年中得到了广泛的关注。在文献中提出的无监督技术中,仍然存在鲁棒和实时的【形】健康监测的障碍。这些障碍包括特征提取步骤中的降维信息丢失、这些步骤的案例依赖性、缺乏动态聚类以及检测结果对用户定义的参数的敏感性。本研究介绍一种无监督的实时的【形】SHM方法,该方法具有低维和高维特征的混合物,而不需要依赖于案例的提取方案。这两个特征都用于训练生成对抗网络(GAN)和一类联合高斯分布模型(1-CG)的多集合。基于GAN和1-CG模型的检测得分,构造了极限状态函数的新颖性检测系统。这些极限状态函数(检测阈值)的电阻通过基于可靠性的分析采用Monte Carlo直方图采样来调整到具有GAN生成的数据对象的用户定义的参数。该调整使得该方法对用户定义的参数具有鲁棒性,这是至关重要的,因为在实时的【形】SHM中没有选择这些参数的规则。提出的新颖性检测框架被应用到两个标准的SHM数据集,以说明其通用性:黄色框架(20个损伤类)和Z24桥(15个损伤类)。所有不同的损害类别的识别与低敏感性的用户定义的参数的初始选择与引入动态和静态基线方法很少或没有假警报。
2021-02-01 cs.LG
MMGAN: Generative Adversarial Networks for Multi-Modal Distributions
Institute for Informatics(信息学研究所);LMU Munich(慕尼黑大学)
在过去的几年里,生成对抗网络(GANs)已经显示出显着的生成性能,特别是在图像合成。不幸的是,它们还以具有不稳定的训练过程而闻名,并且可能会丢失异构输入数据的数据分布的部分。在本文中,我们提出了一种新的GAN扩展多模态分布学习(MM GAN)。在我们的方法中,我们将潜在空间建模为高斯混合模型,其中多个聚类是指观察空间中断开的数据流形的数量,并包括聚类网络,该网络将每个数据流形与一个高斯聚类相关联。因此,训练更加稳定。此外,MMGAN允许根据潜在空间中的学习数据流形对真实数据进行聚类。通过一系列的基准实验,我们表明,MMGAN优于竞争国家的最先进的模型在聚类性能。
2019-11-15 cs.CV cs.LG stat.ML
Leveraging Contaminated Datasets to Learn Clean-Data Distribution with Purified Generative Adversarial Networks
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Big Data Analysis and Processing(广东省大数据分析与处理重点实验室)
生成对抗网络(GANs)以其强大的捕获训练实例底层分布的能力而闻名。自从GAN的开创性工作以来,已经提出了GAN的许多变体。然而,现有的GANs几乎都是建立在训练数据集是干净的假设之上的。但在许多现实世界的应用中,这可能不成立,也就是说,训练数据集可能被一部分不需要的实例污染。当在这样的数据集上训练时,现有的GANs将学习期望和污染实例的混合分布,而不是仅期望数据的期望分布(目标分布)。为了从污染数据集中学习目标分布,开发了两个纯化的生成对抗网络(PuriGAN),其中鉴别器通过利用仅由污染实例组成的额外数据集来增强区分目标和污染实例的能力。我们证明,在一些温和的条件下,提出的PuriGAN保证收敛到所需实例的分布。在几个数据集上的实验结果表明,当在受污染的数据集上训练时,所提出的PuriGAN能够从所需的分布中生成比可比基线更好的图像。此外,我们还通过将其应用于污染数据集和PU学习的半监督异常检测任务,证明了PuriGAN在下游应用中的有用性。实验结果表明,PuriGAN能够在这两个任务上提供超过可比基线的最佳性能。
2023-02-03 cs.LG
Partition-Guided GANs
Texas A&M University(德州农工大学);University of Florida(佛罗里达大学);Microsoft Research(微软研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
尽管生成对抗网络(GANs)取得了成功,但它们的训练存在几个众所周知的问题,包括模式坍塌和学习不连通流形集的困难。在本文中,我们将学习复杂的高维分布,支持不同的数据样本的挑战性任务分解为更简单的子任务。我们的解决方案依赖于设计一个分区器,将空间分成更小的区域,每个区域具有更简单的分布,并为每个分区训练不同的生成器。这是以无监督的方式完成的,不需要任何标签。我们为空间划分器制定了两个期望的标准,以帮助训练我们的生成器混合:1)产生连接的分区,2)提供分区和数据样本之间的距离代理,以及减少该距离的方向。制定这些标准是为了避免从数据密度不高的地方产生样本,并通过向生成器提供额外指导来促进培训。我们开发的空间分割器,以满足上述标准的理论约束。我们的理论分析的指导下,我们设计了一个有效的神经结构的空间分割器,经验上保证这些条件。在各种标准基准上的实验结果表明,所提出的无监督模型优于最近的几种方法。
2021-06-18 cs.CV cs.LG
Mixtures of g-Priors for Generalised Additive Model Selection with Penalised Splines
我们提出了一个客观的贝叶斯方法来选择协变量和惩罚样条变换广义加性模型。为模型参数指定一个合理的默认先验,并结合模型本身的多重性校正先验,对于这项任务至关重要。在这里,我们使用了良好的研究和良好的行为连续混合的g先验作为默认先验。我们在正态模型中引入该方法,并将其推广到非正态指数族。仿真研究和文献中的应用说明了所提出的方法。一个有效的实现是在R-包“hypergsplines”。
2012-08-20 stat.ME
Multiclass non-Adversarial Image Synthesis, with Application to Classification from Very Small Sample
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
合成图像的生成目前由生成对抗网络(GANs)主导。尽管它们在生成逼真的图像方面取得了杰出的成功,但它们仍然存在主要缺点,包括不稳定和高度敏感的训练过程,模式崩溃和模式混合,以及对大型训练集的依赖。在这项工作中,我们提出了一种新的非对抗性生成方法-潜在空间的优化(COLA),它克服了GANs的一些限制,并在训练数据稀缺时优于GANs。在完整的数据体系中,我们的方法能够在没有监督的情况下生成多样化的多类图像,在图像质量和多样性方面超越了之前的非对抗性方法。在小数据范围内,只有少量标记图像样本可用于训练,无法访问其他未标记数据,我们的结果超过了在相同数据量上训练的最先进的GAN模型。最后,当利用我们的模型来增强小数据集时,我们在具有挑战性的数据集上的小样本分类任务中超越了最先进的性能,包括CIFAR-10,CIFAR-100,STL-10和Tiny-ImageNet。理论分析支持的方法的本质。
2020-12-01 cs.CV cs.LG
The Effect of Data Augmentation on Classification of Atrial Fibrillation in Short Single-Lead ECG Signals Using Deep Neural Networks
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所);Friedrich-Alexander University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);University of Leeds(利兹大学)
心血管疾病是全世界最常见的死亡原因。在无症状阶段检测心房颤动(AF)有助于预防中风。它还通过及时提供适当的治疗(如抗凝治疗)来改善临床决策。近年来,心电图(ECG)信号中AF的早期检测的临床意义激发了许多研究,其中许多研究旨在通过利用机器学习算法来解决这一任务。然而,包含AF样本的ECG数据集通常遭受严重的类不平衡,如果不考虑,会影响分类算法的性能。数据增强是解决这个问题的一个流行的解决方案。在这项研究中,我们调查了各种数据增强算法的影响,例如,过采样,高斯混合模型(GANs)和生成对抗网络(GANs),解决类不平衡问题。这些算法进行了定量和定性的评价,比较和详细讨论。结果表明,基于深度学习的AF信号分类方法比过采样更受益于使用GANs和GARCH的数据增强。此外,GAN导致平均约$3\%$更好的AF分类准确度,同时在f1分数方面执行GMM的验证。
2020-02-13 cs.LG eess.SP stat.ML
Mixture GAN For Modulation Classification Resiliency Against Adversarial Attacks
University of Houston(休斯顿大学)
使用深度神经网络(DNN)方法的自动调制分类(AMC)优于传统分类技术,即使在存在挑战性的无线信道环境的情况下也是如此。然而,对抗攻击通过向无线信道注入精心设计的扰动而导致基于DNN的AMC的准确性损失。在本文中,我们提出了一种新的基于生成对抗网络(GAN)的对策方法,以保护基于DNN的AMC系统免受对抗攻击的例子。基于GAN的目标是在馈送到基于DNN的分类器之前消除对抗攻击示例。具体来说,我们已经展示了我们提出的防御GAN对快速梯度符号方法(FGSM)算法的弹性,该算法是最有效的攻击算法之一,可以制造扰动信号。现有的防御GAN已经被设计用于图像分类,并且在考虑上述通信系统的情况下不工作。因此,我们提出的对策方法部署GANs与混合的发电机,以克服模式崩溃的问题,在一个典型的GAN面临的无线电信号分类问题。仿真结果表明,我们提出的防御GAN的有效性,使它可以提高基于DNN的AMC下对抗攻击的准确性,约81%。
2022-05-29 cs.AI cs.LG cs.NI
Generation of synthetic data using breast cancer dataset and classification with resnet18
Ankara University(安卡拉大学)
本研究利用乳腺癌数据集通过MSG-GAN生成合成图像,并用ResNet18迁移学习分类,以评估合成数据与真实数据的相似性,辅助癌症识别。
2024-05-25 cs.LG
A Controlled Benchmark of Quantum-Latent GAN Augmentation for Brain MRI
Department of Mathematics(数学系);Department of Political and Social Sciences(政治与社会科学系)
通过受控基准测试,比较量子与经典生成器在脑MRI数据增强中的性能,发现两者均未显著优于仅用真实数据训练,且量子生成器无额外优势。
2026-06-19 cs.AI cs.CV cs.LG