JGAN: A Joint Formulation of GAN for Synthesizing Images and Labels
Intel Corporation(英特尔公司)
使用显式条件或标签的图像生成通常比无条件方法更好。在现代的GAN框架中,生成器和卷积器都被公式化来对给定标签的图像的条件分布进行建模。在本文中,我们提供了一个替代配方的GAN模型的图像和标签的联合分布。与条件方法相比,这种联合公式有两个优点。第一个优点是,联合制定是更强大的标签噪声,如果它的正确建模。这减轻了制作无噪声标签的负担,并允许在图像生成中使用弱监督标签。第二,我们可以使用与原始图像数据相关的任何类型的弱标签或图像特征来增强无条件图像生成。我们将展示我们的联合制定CIFAR10,CIFAR100和STL数据集与最先进的GAN架构的有效性。
2020-10-21 cs.CV cs.LG
HI-GAN: Hierarchical Inpainting GAN with Auxiliary Inputs for Combined RGB and Depth Inpainting
New Jersey Institute of Technology(新泽西理工学院)
提出HI-GAN,一种由三个GAN分层组成的端到端RGBD修复方法,通过引入边缘和分割标签图像作为辅助输入显著提升修复性能。
2024-02-15 cs.AI cs.CV cs.LG
How Does GAN-based Semi-supervised Learning Work?
Qian Xuesen Laboratory of Space Technology(钱学森空间技术实验室);China Academy of Space Technology(中国空间技术研究院)
生成对抗网络(GANs)已被广泛使用,并在半监督学习中取得了有竞争力的成绩。本文从理论上分析了基于GAN的半监督学习(GAN-SSL)的工作原理。我们首先证明,给定一个固定的生成器,优化GAN-SSL的优化等价于优化监督学习。因此,GAN-SSL中的最佳匹配预计在标记数据上是完美的。然后,如果完美的随机数可以进一步使优化目标达到其理论最大值,则最优生成器将匹配真实的数据分布。由于在实践中不可能达到理论上的最大值,因此不能期望获得用于生成数据的完美生成器,这显然与GANs的目标不同。此外,如果标记的数据可以遍历数据流形的所有连接子域,这在半监督分类中是合理的,我们还期望GAN-SSL中的最优分类在未标记的数据上也是完美的。总之,GAN-SSL中的极大极小优化理论上将通过意外地学习不完美的生成器,即,GAN-SSL通过利用未标记的信息,可以有效地提高神经网络的泛化能力。
2020-07-11 cs.LG stat.ML
Generative Adversarial Networks for Electronic Health Records: A Framework for Exploring and Evaluating Methods for Predicting Drug-Induced Laboratory Test Trajectories
Columbia University(哥伦比亚大学)
生成对抗网络(GANs)代表了一类将神经网络与博弈论相结合的有前途的生成网络。从生成逼真的图像和视频到辅助音乐创作,GANs正在改变许多艺术和科学领域。然而,它们在医疗保健方面的应用尚未完全实现,更具体地说,在生成电子健康记录(EHR)数据方面。在本文中,我们提出了一个框架,用于在连续实验室时间序列数据的背景下探索GANs的价值。我们设计了一个无监督的评估方法,衡量合成实验室测试时间序列的预测能力。此外,我们表明,在预测药物暴露对实验室测试数据的影响时,在训练GAN模型之前结合训练队列的表示学习是有益的。
2017-12-01 cs.LG stat.ML
Album cover art image generation with Generative Adversarial Networks
生成对抗网络(GANs)是由Goodfellow在2014年提出的,从那时起,它已经成为构建生成式人工智能模型的热门方法。然而,这样的网络的缺点是很多的,像它们的较长的训练时间,它们对超参数调整的敏感性,几种类型的损失和优化函数以及其他困难,如模式坍塌。GANs目前的应用包括生成照片般逼真的人脸、动物和物体。然而,我想通过使用现有的模型并从中学习,更详细地探索GANs的艺术能力。本论文涵盖了神经网络的基础知识,并致力于GANs的特定方面,以及对现有模型的实验和修改,从最不复杂到最复杂。我们的目的是看看最先进的GANs(特别是StyleGAN 2)是否可以生成专辑封面,以及是否可以根据流派对其进行定制。这是通过首先熟悉3个现有的GANs架构来尝试的,包括最先进的StyleGAN2。StyleGAN 2代码用于训练一个包含80K专辑封面图像的数据集的模型,然后通过挑选精选图像并混合它们的风格来设计图像。
2022-12-09 cs.AI cs.CV cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center(帕洛阿尔托研究中心);Verizon Labs(威瑞森实验室)
我们引入了一种新的模型,用于在半监督设置中建立条件生成模型,通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN(SS-GAN)模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中,边缘分布(通常更难学习)是从标记+未标记的数据中学习的,而条件分布纯粹是从标记数据中学习的。我们的实验结果表明,该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Learning from Label Proportions with Generative Adversarial Networks
University of Chinese Academy of Sciences(中国科学院大学);University of International Business and Economics(对外经济贸易大学)
在本文中,我们利用生成对抗网络(GANs)来推导一个有效的算法LLP-GAN,用于从标签比例(LLP)中学习,其中只有标签中的袋级比例信息可用。LLP-GAN具有端到端的结构,根据对抗学习机制进行近似,而不会对分布进行限制性假设。因此,我们可以直接在实例级分类器上进行归纳。在适度的假设下,我们给出了显式的生成表示,并证明了LLP-GAN的全局最优性。此外,与现有的方法相比,我们的工作赋予LLP求解器从深层模型继承能力的可扩展性。基准数据集上的几个实验证明了所提出的方法的生动的优势。
2019-12-02 cs.LG stat.ML
Self-Supervised GAN to Counter Forgetting
University of California, Los Angeles(加州大学洛杉矶分校);Google Brain(谷歌大脑)
GANs涉及在对抗游戏中训练两个网络,其中每个网络的任务取决于其对手。最近,一些作品将GAN训练框定为在线或持续学习问题。我们专注于分类器,它必须在(相反)移动的数据分布下执行分类。当在顺序任务上训练时,神经网络表现出\emph{forgetting}。对于GANs,遗忘导致训练不稳定。为了防止遗忘,我们鼓励学习者通过增加自我监督来保持有用的表示。条件GANs使用标签也有类似的效果。然而,我们的自监督GAN不需要标签,并缩小了条件和无条件模型之间的性能差距。我们表明,在这样做的过程中,自监督的神经网络比常规的GANs学习更好的表示。
2018-11-29 cs.CV cs.LG stat.ML
SSI-GAN: Semi-Supervised Swin-Inspired Generative Adversarial Networks for Neuronal Spike Classification
Deakin University(迪肯大学);CSIRO Health and Biosecurity(联邦科学与工业研究组织健康与生物安全部);University of Southern Queensland(南昆士兰大学)
SSI-GAN通过半监督学习方法,利用Swin启发式架构实现神经元尖峰分类,仅用1-3%的标记数据即可达到99.93%的准确率,显著降低手动标注工作量。
2026-01-01 cs.AI cs.LG
General-to-Detailed GAN for Infrequent Class Medical Images
RIKEN(理化学研究所);University of Tsukuba(筑波大学)
深度学习在医学成像方面具有巨大的潜力。然而,由于每种疾病的发病率变化很大,医学图像数据集中的类的频率是不平衡的,导致这种不频繁的类的准确性差。一种可能的解决方案是使用生成对抗网络(GANs)创建的合成图像对不常见的类别进行数据增强,但传统的GANs也需要一定数量的图像来学习。为了克服这一限制,在这里我们提出了一般到详细的GAN(GD GAN),串联连接两个GANs,一个用于一般标签,另一个用于详细标签。GDGAN生成了各种医学图像,并且使用增强数据集训练的网络在受试者工作特征(ROC)曲线的曲线下面积(AUC)方面优于使用现有方法的其他网络。
2018-11-28 cs.CV cs.LG stat.ML
Relaxation Labeling Meets GANs: Solving Jigsaw Puzzles with Missing Borders
Università Ca’ Foscari(威尼斯大学);Istituto Italiano di Tecnologia(意大利技术研究院)
本文提出了JiGAN,一种基于GAN的方法,用于解决具有侵蚀或丢失边界的拼图。丢失边界是现实世界中常见的情况,例如,在处理破碎的文物或毁坏的壁画的重建时。在这种特殊情况下,由于边界的间隙,拼图的碎片不会完全对齐;在这种情况下,由于缺乏颜色和线条连续性,补丁的直接匹配是不可行的。JiGAN是解决这个问题的两个步骤:首先,我们使用基于GAN的图像扩展模型修复被侵蚀的边界,并测量碎片之间的对齐亲和力;然后,我们使用松弛标记算法解决难题,以加强碎片定位的一致性,从而重建难题。我们测试的方法在一个大的数据集上的小难题和三个常用的基准数据集,以证明所提出的方法的可行性。
2022-03-28 cs.CV cs.LG
GAN-EM: GAN based EM learning framework
University of Rochester(罗切斯特大学);Tsinghua University(清华大学)
期望最大化(EM)算法是求具有潜在变量的模型的最大似然解.一个典型的例子是高斯混合模型(GMM),它需要高斯假设,然而,自然图像是高度非高斯的,使得GMM不能应用于执行像素空间上的聚类任务。为了克服这种限制,我们提出了一个基于GAN的EM学习框架,可以最大限度地提高图像的可能性和估计的潜在变量,只有约束的L-Lipschitz连续性。我们称这个模型为GAN-EM,它是一个图像聚类、半监督分类和降维的框架。在M步中,我们设计了一个新的损失函数,用于GAN的最大似然估计(MLE)的数据与软类标签分配。具体来说,条件生成器捕获$K$类的数据分布,而条件生成器告诉每个类的样本是真的还是假的。由于该模型是无监督的,因此将真实数据的类别标签作为潜在变量,在E步中通过一个附加网络(E-net)进行估计。所提出的GAN-EM在MNIST、SVHN和CelebA上实现了最先进的聚类和半监督分类结果,并且生成的图像质量与其他最近开发的生成模型相当。
2018-12-02 cs.LG stat.ML
Activation Maximization Generative Adversarial Nets
Shanghai Jiao Tong University(上海交通大学);Yitu Tech(依图科技);University College London(伦敦大学学院)
经验表明,类标签在提高生成对抗网络(GANs)的样本质量方面很有用。在本文中,我们从数学上研究了利用类标签信息的GANs当前变体的特性。通过类感知梯度和交叉熵分解,我们揭示了类标签和相关损失如何影响GAN的训练。在此基础上,我们提出了激活最大化生成对抗网络(AM-GAN)作为一种先进的解决方案。已经进行了全面的实验来验证我们的分析并评估我们的解决方案的有效性,其中AM-GAN优于其他强大的基线,并在CIFAR-10上实现了最先进的Inception Score(8.91)。此外,我们还证明,使用Inception ImageNet分类器,Inception Score主要跟踪生成器的多样性,但是没有可靠的证据表明它可以反映真实的样本质量。因此,我们提出了一个新的度量,称为AM分数,提供一个更准确的估计样本质量。我们提出的模型在新的度量中也优于基线方法。
2018-11-16 cs.AI cs.CV cs.LG
Stain Style Transfer of Histopathology Images Via Structure-Preserved Generative Learning
University of Toronto(多伦多大学);University of Alberta(阿尔伯塔大学)
计算机组织病理学图像诊断变得越来越流行和重要,其中图像被分割或分类用于疾病诊断。虽然病理学家不与幻灯片中的颜色变化作斗争,但计算解决方案通常会遇到这个关键问题。为了解决组织病理学图像中的颜色变化问题,本研究提出了两种基于生成对抗网络的染色风格转移模型,SSIM-GAN和DSCSI-GAN。通过合作的结构保存度量和反馈的辅助诊断网络在学习中,医学相关的信息所呈现的图像纹理,结构和色度对比度的功能被保留在颜色归一化的图像。特别是,我们的DSCSI-GAN模型中对彩色图像内容的智能处理有助于在由于组织物质共定位而导致染色混合的图像区域实现显着的标准化改进。对公共组织病理学图像集的广泛实验表明,我们的方法在生成更染色一致的图像,更好地保留图像中的组织学信息,并获得显着更高的学习效率方面优于现有技术。我们的python实现发布在https://github.com/hanwen0529/DSCSI-GAN上。
2020-07-24 cs.CV cs.LG eess.IV
RCC-Dual-GAN: An Efficient Approach for Outlier Detection with Few Identified Anomalies
Hefei University of Technology(合肥工业大学)
离群点检测是数据采掘中的一项重要任务,在各种应用中,人们已经探索了许多技术。然而,由于离群值是非集中的默认假设,无监督离群值检测可能无法正确检测具有较高密度水平的组异常。对于有监督的离群点检测,虽然通常可以获得较高的检测率和最佳参数,但获得足够的正确标签是一项耗时的任务。为了解决这些问题,我们专注于半监督离群点检测与少数识别异常,希望使用有限的标签,以实现高检测精度。首先,我们提出了一种新的检测模型Dual-GAN,它可以直接利用已识别异常中的潜在信息来同时检测离散离群点和部分识别的群体异常。然后,考虑到在复杂的数据结构中,具有相似输出值的实例并不都是相似的,我们用RCC和M-GAN的组合(RCC-Dual-GAN)代替Dual-GAN中的两个MO-GAN组件。另外,为了处理纳什均衡的评价和最优模型的选择,在两个模型中引入了两个评价指标,使检测过程更加智能化。在基准数据集和两个实际任务上的广泛实验表明,我们提出的方法(即,Dual-GAN和RCC-Dual-GAN)可以显著提高离群值检测的准确性,即使只有少数识别出的异常。此外,与Dual-GAN中的两个MO-GAN组件相比,RCC和M-GAN组合的网络结构在各种情况下具有更大的稳定性。
2020-03-07 cs.LG stat.ML
XCAT-GAN for Synthesizing 3D Consistent Labeled Cardiac MR Images on Anatomically Variable XCAT Phantoms
Eindhoven University of Technology(埃因霍温理工大学);Philips Research Laboratories(飞利浦研究实验室);Philips Healthcare(飞利浦医疗)
生成对抗网络(GANs)通过合成高保真图像提供了有前途的数据丰富解决方案。然而,生成具有新的解剖变化的标记图像的大集合仍然未被探索。我们提出了一种新的方法,用于合成心脏磁共振(CMR)图像上的人口与一个大的解剖变化,介绍了使用4D扩展的心脏和躯干(XCAT)的计算机人体模型的虚拟主体。我们研究了两种基于语义一致的掩码引导图像生成技术的条件图像合成方法:4类和8类XCAT-GAN。4类技术仅依赖于心脏的注释;而8类技术采用心脏周围器官的预测多组织标记图,并为我们的条件图像合成提供更好的指导。对于这两种技术,我们训练我们的条件XCAT-GAN与对应的标签配对的真实图像,随后在推理时间,我们用XCAT派生的标签替换标签。因此,经过训练的网络可以准确地将组织特定的纹理转移到新的标签映射中。通过在舒张末期和收缩末期创建33个虚拟受试者的合成CMR图像,我们评估了这些数据在不同增强策略下的下游心腔分割任务中的有用性。结果表明,即使在训练过程中只看到20%的真实图像(40个体积),添加合成CMR图像也能保持分割性能。此外,利用合成图像增强真实数据的改进是显而易见的,Hausdorff距离减少了28%,Dice分数增加了5%,表明在所有维度上与地面真实值的相似性更高。
2020-07-31 cs.CV cs.LG eess.IV
Transferable Class-Modelling for Decentralized Source Attribution of GAN-Generated Images
Monash University Malaysia(莫纳什大学马来西亚分校);Monash University(莫纳什大学)
作为一种数字图像类型,GAN生成的deepfake作为艺术表达和恶意欺骗形式的催化剂正在获得越来越多的支持,因此要求系统强制执行和认可其道德使用。用于合成图像的源属性的现有技术使用功能和可扩展性有限的多类分类神经网络来识别微妙的内在指纹。因此,我们将deepfake检测和源属性问题重新定义为一系列相关的二进制分类任务。我们利用迁移学习快速适应伪造检测网络的多个独立的属性问题,通过提出一个半分散的模块化设计,以解决他们同时和有效地。类激活映射也被证明是一种有效的方法,模型解释的功能本地化。我们的模型是通过实验确定的,与当前的基准相比具有竞争力,并且能够在理想条件下在人体肖像上表现出色。分散的指纹为基础的归因被发现在新的来源的存在下保留有效性,但更容易受到II型错误,加剧与图像扰动和属性的不确定性。我们描述了我们的概念框架和模型原型,以便在调查反应式deepfake归因的技术限制时进一步增强。
2022-03-18 cs.CV cs.LG
Local Label-Informed Feature Transfer for Generating Ground-Truth Medical Images: A Comparison of GAN- and Diffusion-Based Approaches
研究针对医学成像中验证XAI方法缺少真实数据的问题,提出LLIFT框架,用GAN和扩散两种范式实现,能生成含真实病变的半合成脑磁共振图像,为评估XAI方法提供了可控真实数据,且评估效果良好。
2026-07-22 cs.CV cs.LG
PetroGAN: A novel GAN-based approach to generate realistic, label-free petrographic datasets
Universidad Nacional de Colombia(哥伦比亚国立大学);King Fahd University of Petroleum and Minerals(法赫德国王石油与矿业大学)
深度学习架构丰富了地球科学中的数据分析,补充了解决地质问题的传统方法。尽管深度学习在地球科学中的应用显示出令人鼓舞的迹象,但实际潜力仍未开发。这主要是因为地质数据集,特别是岩相学,是有限的,耗时的,昂贵的获得,需要深入的知识,以提供高质量的标记数据集。我们通过开发一种基于生成对抗网络(GANs)的新型深度学习框架来解决这些问题,以创建第一个真实的合成岩相数据集。选择StyleGAN2架构是为了实现统计和美学特征的稳健复制,并改善岩相学数据的内部差异。训练数据集由10070张平面和交叉偏振光下的岩石薄切片图像组成。该算法训练了264个GPU小时,并达到了最先进的Fréchet Inception Distance(FID)分数12.49。我们进一步观察到FID值随岩性类型和图像分辨率而变化。我们的调查确定,主题专家发现生成的图像与真实图像无法区分。这项研究强调,GANs是一种强大的方法,用于生成逼真的合成数据,试验潜在空间,并作为未来的自我标记工具,减少创建地质数据集的工作。
2022-04-07 cs.CV cs.LG eess.IV
Class-Splitting Generative Adversarial Networks
CIFASIS, French Argentine International Center for Information and Systems Sciences, UNR-CONICET(法阿信息与系统科学国际中心(CIFASIS),国立罗萨里奥大学-阿根廷国家科学技术研究委员会)
生成对抗网络(GANs)在提供类别标签信息时系统地产生更好质量的样本。即在条件GAN设置中。最近提出的Wasserstein GAN公式仍然可以观察到这一点,该公式稳定了对抗训练,并允许考虑高容量网络架构,如ResNet。在这项工作中,我们展示了如何通过增加可用的类标签来增强条件GAN。新的类来自通过相同的GAN模型学习的表示空间中的聚类。所提出的策略也是可行的,当没有类信息是可用的,即在无监督设置。我们生成的样本在监督和非监督设置中均达到了CIFAR-10和STL-10数据集的最先进的Inception分数。
2018-05-17 cs.CV cs.LG stat.ML
City-GAN: Learning architectural styles using a custom Conditional GAN architecture
生成对抗网络(GANs)是一种众所周知的技术,它在样本(例如水果图片)上进行训练,并且在训练后能够生成逼真的新样本。条件GANs(CGAN)还为子类(例如苹果、橙子、梨)提供标签信息,这使得GAN能够更容易地学习并提高其输出样本的质量。我们使用GANs来学习主要城市的建筑特征,并生成不存在的建筑物的图像。我们表明,目前可用的GAN和CGAN架构不适合这项任务,并提出了一个自定义的架构,并证明我们的架构具有优越的性能,这项任务,并验证其功能与广泛的实验。
2020-05-26 cs.CV cs.GR cs.LG
TOP-GAN: Label-Free Cancer Cell Classification Using Deep Learning with a Small Training Set
Tel Aviv University(特拉维夫大学)
我们提出了一种新的医学成像深度学习方法,解决了小训练集的问题,这是深度学习的主要瓶颈,并将其应用于通过定量相位成像获得的健康和癌细胞的分类。所提出的方法称为预训练生成对抗网络的转移(TOP-GAN),是转移学习和生成对抗网络(GANs)之间的混合。利用低相干离轴全息术对健康细胞和不同转移潜能的癌细胞进行了成像。在采集之后,提取细胞的光路延迟图,并直接用作深度网络的输入。为了处理少量的分类图像,我们使用了GANs来训练大量来自另一种细胞类型(精子细胞)的未分类图像。经过初步训练,并将网络的最后一层转换为新的网络后,我们设计了一个正确细胞类型(健康/原发性癌症/转移性癌症)的自动分类器,准确率为90-99%,尽管使用了小训练集,但只有几张图像。这些结果是更好的相比,其他经典的方法,旨在应对同样的问题,一个小的训练集。我们相信,我们的方法使全息显微镜和深度学习网络的结合更容易进入医疗领域,通过实现快速,自动和准确的分类免染色成像流式细胞术。此外,我们的方法预计将适用于许多其他医学图像分类任务,从一个小的训练集。
2018-12-17 cs.CV cs.LG eess.IV
InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
解纠缠生成模型将潜在代码向量映射到目标空间,同时强制学习的潜在代码的子集是可解释的并且与目标分布的不同属性相关联。最近的进展主要是基于变分自编码器(VAE)的方法,而训练解纠缠生成对抗网络(GANs)仍然具有挑战性。在这项工作中,我们表明,可以通过使用自我监督来缓解解开GANs所面临的主要挑战。我们做了两个主要贡献:首先,我们设计了一种新的方法来训练具有自我监督的解纠缠GANs。我们提出了对比正则化,这是一个自然的概念的启发解开:潜在的遍历。这比最先进的基于VAE和GAN的方法获得了更高的解纠缠分数。其次,我们提出了一个无监督的模型选择方案,称为ModelCentrality,它使用生成的合成样本来计算一组模型的medoid(多维泛化中位数)。目前超参数调整的常见做法需要使用地面实况样本,每个样本都标记有已知的完美解纠缠潜码。由于真实的数据集没有配备这样的标签,我们提出了一个无监督的模型选择方案,并表明它找到了一个接近最好的模型,对于VAE和GANs。将对比正则化与ModelCentrality相结合,我们显着提高了最先进的解纠缠分数,而无需访问监督数据。
2020-08-07 cs.LG stat.ML
Anonymization of labeled TOF-MRA images for brain vessel segmentation using generative adversarial networks
Charité Universitätsmedizin Berlin(柏林夏里特医学院);Technical University Berlin(柏林工业大学);Birmingham City University(伯明翰城市大学);Fraunhofer MEVIS(弗劳恩霍夫医学图像计算研究所);Beuth University of Applied Sciences(拜伊特应用科学大学)
数据的匿名化和共享是隐私保护和医学图像分析大数据集获取的关键。这是一个很大的挑战,尤其是对神经成像。在这里,大脑的独特结构允许重新识别,因此需要非传统的匿名化。生成对抗网络(GANs)有可能在保持预测特性的同时提供匿名图像。分析脑血管分割,我们在飞行时间(TOF)磁共振血管造影(MRA)贴片上训练了3个GANs,用于图像标签生成:1)深度卷积GAN,2)具有梯度惩罚的Wasserstein-GAN(WGAN-GP)和3)具有谱归一化的WGAN-GP(WGAN-GP-SN)。从每个GAN生成的图像标签被用于训练用于分割的U-网络,并在真实数据上进行测试。此外,我们使用迁移学习在第二个数据集上应用了我们的合成补丁。对于越来越多的多达15名患者,我们评估了有和没有预训练的真实数据的模型性能。通过Dice相似系数(DSC)和Hausdorff距离的第95百分位数(95 HD)评估所有模型的性能。比较3个GANs,在WGAN-GP-SN生成的合成数据上训练的U-网络显示出最高的预测血管的性能(DSC/95 HD 0.82/28.97),这是由在真实数据上训练的U-网络(0.89/26.61)进行基准测试的。对于相同的GAN,迁移学习方法显示出优于无预训练的性能,特别是对于仅一名患者(0.91/25.68 vs. 0.85/27.36)。在这项工作中,合成图像标签对保留了可推广的信息,并表现出…
2020-11-16 cs.LG eess.IV
Multi-Label Clinical Time-Series Generation via Conditional GAN
Stevens Institute of Technology(史蒂文斯理工学院);Virginia Tech(弗吉尼亚理工大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
提出MTGAN模型,利用条件GAN和GRU生成多标签临床时间序列数据,通过Wasserstein距离和稳定训练策略,有效提升罕见疾病数据的生成质量。
2023-08-31 cs.LG
Context-free Self-Conditioned GAN for Trajectory Forecasting
Knut and Alice Wallenberg Foundation(瓦伦贝格基金会)
本文提出了一种无上下文自条件GAN方法,用于从轨迹中学习不同模式,从而提升轨迹预测的准确性。
2026-03-09 cs.LG
TCGAN: Convolutional Generative Adversarial Network for Time Series Classification and Clustering
Tsinghua University(清华大学)
针对标注时间序列数据获取成本高的问题,提出TCGAN,通过一维CNN生成器和判别器的对抗博弈学习表示并构建编码器,赋能线性分类与聚类,在速度和准确度上优于现有方法且适用于少标签及不平衡场景。
2023-09-09 cs.AI cs.LG
Conditional GANs with Auxiliary Discriminative Classifier
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Jiao Tong University(上海交通大学)
条件生成模型旨在学习数据和标签的潜在联合分布,以实现条件数据生成。其中,辅助分类器生成对抗网络(AC-GAN)得到了广泛的应用,但存在生成样本类内多样性低的问题。本文指出的根本原因是AC-GAN的分类器是生成器不可知的,因此不能为生成器提供信息指导以接近联合分布,从而导致条件熵最小化,从而降低了类内多样性。出于这种理解,我们提出了一种新的条件GAN与辅助判别分类器(ADC-GAN),以解决上述问题。具体来说,所提出的辅助判别分类器成为发电机知道通过识别的类标签的真实数据和生成的数据有区别地。我们的理论分析表明,该生成器可以忠实地学习的联合分布,即使没有原来的卷积,使建议的ADC-GAN的系数超参数的值和选择的GAN损失的鲁棒性,并在训练过程中稳定。在合成和真实世界数据集上的大量实验结果表明,与最先进的基于分类器和基于投影的条件GANs相比,ADC-GAN在条件生成建模方面具有优越性。
2022-06-17 cs.CV cs.LG
Class Conditional Time Series Generation with Structured Noise Space GAN
University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学);IAV GmbH(IAV有限公司);DFKI GmbH(德国人工智能研究中心有限公司)
本文提出SNS-GAN,通过将类条件嵌入生成器噪声空间,实现无需结构修改的类条件图像与时间序列生成,并在时间序列生成上优于基线模型。
2023-12-20 cs.LG stat.ML
Triple Generative Adversarial Networks
Tsinghua University(清华大学)
我们提出了一个统一的博弈理论框架进行分类和有条件的图像生成有限的监督。它被公式化为由生成器、分类器和搜索器组成的三人极大极小博弈,因此被称为三重生成对抗网络(Triple-GAN)。生成器和分类器表征图像和标签之间的条件分布,以分别执行条件生成和分类。该工具只专注于识别虚假的图像标签对。在非参数假设下,我们证明了博弈的唯一均衡是由生成器和分类器表征的分布收敛到数据分布。作为三人机制的副产品,Triple-GAN可以灵活地结合不同的半监督分类器和GAN架构。我们在两个具有挑战性的环境中评估Triple-GAN,即半监督学习和极低数据制度。在这两种设置中,Triple-GAN都可以实现出色的分类结果,并同时在特定类别中生成有意义的样本。特别地,使用通常采用的13层CNN分类器,Triple-GAN在10个以上的基准测试上显著优于广泛的半监督学习方法,无论是否应用数据增强。
2020-09-14 cs.CV cs.LG stat.ML
Disentanglement based Active Learning
Flytxt Mobile Solutions(Flytxt移动解决方案公司);TCS Research(塔塔咨询服务研究中心);Indian Institute of Space Science and Technology(印度空间科学与技术研究所)
我们提出了基于解纠缠的主动学习(DAL),一种新的基于自我监督的主动学习技术,它利用了解纠缠的概念。我们的方法不是从人类预言机请求标签,而是自动标记大多数数据点,从而大大减少了基于生成对抗网络(GAN)的主动学习方法中的人类标记预算。该方法使用信息最大化生成对抗网(InfoGAN)来学习解纠缠的类类别表示。主动学习者预测和InfoGAN标签之间的不一致决定了数据点是否需要人工标记。我们还介绍了一个标签校正机制,旨在过滤掉标签噪音,由于自动标注。图像分类任务的三个基准数据集上的结果表明,与现有的基于GAN的主动学习方法相比,我们的方法具有更好的性能。
2021-09-25 cs.LG stat.ML
Fake detection in imbalance dataset by Semi-supervised learning with GAN
本文提出利用自编码器结合半监督生成对抗网络SGAN,在仅100个有标签样本的不平衡数据集上实现81%准确率的虚假账户检测,高效应对少数类和大数据挑战。
2025-02-08 cs.AI cs.CR cs.LG
CA-GAN: Weakly Supervised Color Aware GAN for Controllable Makeup Transfer
L’Oréal Research and Innovation(欧莱雅研发与创新中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信巴黎理工高等通信学院LTCI实验室)
虽然现有的化妆风格转移模型执行图像合成,其结果不能被显式地控制,但是连续修改化妆颜色的能力是虚拟试穿应用的期望属性。我们提出了一个新的配方的化妆风格转移的任务,目的是学习一个颜色可控的化妆风格合成。我们引入了CA-GAN,这是一种生成模型,可以学习将图像中特定对象(例如嘴唇或眼睛)的颜色修改为任意目标颜色,同时保留背景。由于颜色标签很少见,而且获取成本很高,因此我们的方法利用了条件GANs的弱监督学习。这使得能够学习复杂对象的可控合成,并且只需要我们想要修改的图像属性的弱代理。最后,我们首次提出了定量分析的化妆风格转移和色彩控制性能。
2020-08-24 cs.AI cs.CV cs.LG
3N-GAN: Semi-Supervised Classification of X-Ray Images with a 3-Player Adversarial Framework
Saratoga High School(萨拉托加高中)
深度学习在医学成像任务(如分类)中的成功在很大程度上依赖于大规模数据集的可用性。然而,获取具有大量标记数据的数据集具有挑战性,因为标记是昂贵且耗时的。半监督学习(SSL)是完全监督学习的一种日益增长的替代方案,但需要未标记的样本进行训练。在医学成像中,许多数据集完全缺乏未标记的数据,因此SSL无法常规使用。我们提出了3 N-GAN或3网络生成对抗网络,以在全监督设置中执行医学图像的半监督分类。我们将一个分类器纳入对抗关系中,这样生成器就可以对抗分类器和分类器进行训练。我们的初步结果表明,改进的分类性能和GAN代各种算法。我们的工作可以与许多其他医学成像模型架构和SSL方法无缝集成,以获得更高的性能。
2021-09-22 cs.CV cs.LG eess.IV
Unbiased Auxiliary Classifier GANs with MINE
Rutgers University(罗格斯大学)
辅助分类器GANs(AC-GANs)是广泛使用的条件生成模型,并且能够生成高质量的图像。以前的工作已经指出,AC-GAN学习有偏的分布。为了解决这个问题,Twin Auxiliary Classifier GAN(TAC-GAN)将一个孪生分类器引入到最小-最大博弈中。然而,据报道,使用双辅助分类器可能会导致训练不稳定。为此,我们提出了一种无偏辅助GANs(UAC-GAN),它利用互信息神经估计(MINE)来估计生成的数据分布和标签之间的互信息。为了进一步提高性能,我们还提出了一种新的基于投影的统计网络结构的MINE。在混合高斯(MoG)、MNIST和CIFAR 10数据集上的实验结果表明,UAC-GAN的性能优于AC-GAN和TAC-GAN。代码可以在项目网站上找到。
2020-06-13 cs.CV cs.LG
Consistency Regularization with Generative Adversarial Networks for Semi-Supervised Learning
North Carolina State University(北卡罗来纳州立大学)
基于生成对抗网络(GANs)的半监督学习(SSL)方法通过利用大量未标记样本和有限的标记样本来提高分类性能。然而,它们的性能仍然落后于最先进的基于非GAN的SSL方法。我们确定,这是因为缺乏一致性的类概率预测在同一图像下局部扰动的主要原因。根据一般文献,我们通过标签一致性正则化来解决这个问题,该正则化强制输入图像的类概率预测在各种语义保持扰动下保持不变。在这项工作中,我们将一致性正则化引入到vanilla semi-GAN中,以解决这一关键限制。特别是,我们提出了一种新的复合一致性正则化方法,在精神上,利用局部一致性和插值一致性。我们证明了我们的方法在两个SSL图像分类基准数据集SVHN和CIFAR-10上的有效性。我们的实验表明,这种新的基于复合一致性正则化的半GAN显着提高了其性能,并在基于GAN的SSL方法中实现了新的最先进的性能。
2020-09-15 cs.CV cs.LG stat.ML
ScoreGAN: A Fraud Review Detector based on Multi Task Learning of Regulated GAN with Data Augmentation
University of Western Australia(西澳大学)
深度神经网络(DNN)在文本分类中的良好性能吸引了研究人员将其用于欺诈评论检测。然而,缺乏可信的标记数据限制了当前解决方案在检测欺诈评论方面的性能。生成对抗网络(GAN)作为一种半监督方法已被证明是有效的数据增强的目的。最先进的解决方案利用GANs来克服数据稀缺问题。然而,他们未能将行为线索在欺诈产生。此外,最先进的方法忽略了数据集中可能的机器人生成的评论。最后,它们还受到GAN的可扩展性和稳定性的共同限制,从而减慢了训练过程。在这项工作中,我们提出了Scoregan欺诈审查检测,利用审查文本和审查评级分数的生成和检测过程。通过信息增益最大化(IGM)将分数并入损失函数中有三个原因。一种是根据给生成器的分数生成分数相关的评论。其次,生成的评论被用来训练机器人,因此机器人可以通过从从文本和分数中提取的单词表示的全球向量(GLoVe)的级联中学习的联合表示来正确地标记可能的机器人生成的评论。最后,它可以用于提高GAN的稳定性和可扩展性。结果表明,该框架优于现有的最先进的框架,即FakeGAN,在AP方面的7%,和5%的Yelp和TripAdvisor数据集,分别。
2021-03-17 cs.CR cs.LG stat.ML
A Conditional GAN for Tabular Data Generation with Probabilistic Sampling of Latent Subspaces
School of Science and Technology, International Hellenic University(国际希腊大学科学与技术学院)
本文提出ctdGAN,通过概率采样策略和新损失函数缓解表格数据类别不平衡问题,生成高质量样本并提升分类准确率。
2026-09-01 cs.LG
Semi-supervised learning based on generative adversarial network: a comparison between good GAN and bad GAN approach
University of California, Los Angeles(加州大学洛杉矶分校)
近年来,基于生成对抗网络(GANs)的半监督学习方法受到了广泛关注。其中,两种不同的方法已经在各种基准数据集上取得了有竞争力的结果。坏的GAN学习分类器,其中不现实的样本分布在输入数据的支持的补充上。相反,Triple GAN由三人游戏组成,试图利用良好的生成样本来提高分类结果。在本文中,我们在不同的基准数据集上对这两种方法进行了全面的比较。我们展示了它们在图像生成上的不同属性,以及对所提供的标记数据量的敏感性。通过对这两种方法的全面比较,我们希望能为基于GAN的半监督学习的未来指明方向。
2019-05-17 cs.CV cs.LG
Triple Generative Adversarial Nets
Tsinghua University(清华大学)
生成对抗网络(GANs)在图像生成和半监督学习(SSL)中显示出了希望。然而,SSL中现有的GANs存在两个问题:(1)生成器和分类器(即分类器)可能不会同时是最优的;(2)生成器无法控制生成样本的语义。这些问题本质上是由两个玩家的公式产生的,其中一个单一的神经网络共享识别假样本和预测标签的不兼容的角色,它只估计数据而不考虑标签。为了解决这些问题,我们提出了三重生成对抗网络(Triple-GAN),它由三个参与者组成-生成器,分类器和分类器。生成器和分类器描述图像和标签之间的条件分布,而分类器只专注于识别虚假的图像标签对。我们设计兼容的实用程序,以确保分布特征的分类器和发电机都收敛到数据分布。我们在各种数据集上的结果表明,Triple-GAN作为一个统一的模型可以同时(1)在深度生成模型中实现最先进的分类结果,(2)通过在潜在空间类条件下插值,在数据空间中解开输入的类和样式并平滑地传输。
2017-11-05 cs.CV cs.LG
Self-Supervised GANs via Auxiliary Rotation Loss
University of California, Los Angeles(加州大学洛杉矶分校);Google Brain(谷歌大脑)
条件GANs处于自然图像合成的最前沿。这种模型的主要缺点是需要标记数据。在这项工作中,我们利用了两种流行的无监督学习技术,对抗训练和自我监督,并朝着弥合有条件和无条件GANs之间的差距迈出了一步。特别是,我们允许网络在表示学习任务上进行合作,同时与经典的GAN游戏对抗。自我监督的作用是鼓励学习者学习有意义的特征表示,这些特征表示在训练过程中不会忘记。我们凭经验测试学习的图像表示的质量和合成图像的质量。在相同的条件下,自监督GAN达到了与最先进的条件对应物相似的性能。最后,我们证明了这种完全无监督学习的方法可以扩展到无条件ImageNet生成的FID为23.4。
2019-04-09 cs.CV cs.LG stat.ML
Augmenting High-dimensional Nonlinear Optimization with Conditional GANs
Stanford University(斯坦福大学)
由于维数灾难的存在,许多数学优化算法不能充分挖掘高维非线性优化问题的解空间。本文提出生成模型作为优化算法的补充,以提高性能的问题,高维。为了证明这种方法,一个条件生成对抗网络(C-GAN)是用来增强的解决方案所产生的遗传算法(GA)的311维非凸多目标混合整数非线性优化。C-GAN由具有三个完全连接的隐藏层的两个网络组成,在GA生成的解决方案上进行训练,然后给出所需标签的集合(即,目标函数值)生成对应于这些标签的互补解。六个实验进行了评估所提出的方法的能力。生成的互补的解决方案相比,原始的解决方案的最优性和多样性。生成模型生成的解决方案的目标函数比原始解决方案好100%,超体积比原始解决方案高100%。这些发现表明,即使是具有简单训练方法和架构的C-GAN,也可以在更短的运行时间内,极大地提高高维非线性优化问题的优化算法所找到的解决方案的多样性和最优性。[Link到GitHub存储库:https://github.com/PouyaREZ/GAN_GA]
2021-05-04 cs.LG cs.NE
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School(萨拉托加高中)
半监督学习已经获得关注,因为它允许执行图像分析任务,例如使用有限的标记数据进行分类。使用生成对抗网络(GANs)进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而,这可能需要模型为每个任务收敛到单独的数据分布,这可能会降低整体性能。虽然半监督学习已经取得了进展,但小规模的全监督任务却很少得到解决,即使是未标记的数据也无法获得。因此,我们提出了一种新的GAN模型,即外部分类器GAN(EC-GAN),它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说,我们将外部分类器(因此命名为EC-GAN)附加到GAN的生成器,而不是与GAN共享架构。我们的实验表明,EC-GAN的性能与共享架构方法相当,远优于标准的数据增强和基于正则化的方法,并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Generative Adversarial Networks and Conditional Random Fields for Hyperspectral Image Classification
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);Xiamen University(厦门大学)
在本文中,我们使用基于生成对抗网络和条件随机场(GAN-CRF)的框架来解决高光谱图像(HSI)分类任务,该框架集成了半监督深度学习和概率图形模型,并做出了三个贡献。首先,我们设计了四种类型的卷积层和转置卷积层,这些卷积层考虑了HSI的特征,以帮助从有限数量的标记HSI样本中提取区分特征。其次,我们构建了半监督GANs,通过向它们添加标签来缓解训练样本的不足,并通过对抗训练隐式地重建真实的HSI数据分布。第三,我们在随机变量之上构建密集条件随机场(CRF),这些随机变量被初始化为训练GANs的softmax预测,并以HSI为条件来细化分类图。这种半监督框架通过博弈论方法利用了判别模型和生成模型的优点。此外,尽管我们使用了来自两个最具挑战性和广泛研究的数据集的非常少量的标记训练HSI样本,但实验结果表明,频谱空间GAN-CRF(SS-GAN-CRF)模型在半监督HSI分类中达到了最高的准确性。
2019-05-12 cs.CV cs.LG eess.IV
Exploiting the Hidden Tasks of GANs: Making Implicit Subproblems Explicit
DisneyResearch|Studios(迪士尼研究|工作室);Zurich, Switzerland(瑞士苏黎世(注意:根据提取规则,地址信息不应被提取为机构,此处原文本中“Zurich, Switzerland”为地址,不应作为机构提取,仅保留“DisneyResearch|Studios”为有效机构)}]} 修正:根据提取规则,地址信息不应被提取为机构,因此仅保留“DisneyResearch|Studios”为有效机构,修正后:{)
我们对生成对抗网络(GANs)的训练提出了另一种观点,表明GAN生成器的训练步骤分解为两个隐式子问题。在第一种方法中,该方法通过近似地反转分类器标签,以“逆例子”的形式向生成器提供新的目标数据。在第二个例子中,这些例子被用来作为目标,通过最小二乘回归更新发电机,而不管指定的训练网络的主要损失。我们通过实验验证了我们的主要理论结果,并证明了显着的改进标准的GAN培训,使这些子问题明确。
2021-05-12 cs.CV cs.LG
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
人工智能中最有趣的挑战之一是训练条件生成器,这些条件生成器能够提供从特定分布中提取的标记对抗样本。在这项工作中,提出了一种新的框架,通过将分类器与鉴别器并行放置来训练深度条件生成器,并通过生成器网络反向传播分类误差。该方法是通用的,适用于生成对抗网络(GAN)实现的任何变化,并且与类似方法相比也给出了优越的结果。
2018-06-18 cs.CV cs.LG eess.IV
A Usable GAN-Based Tool for Synthetic ECG Generation in Cardiac Amyloidosis Research
Affiliation, address, email.(所属机构、地址、邮箱)
本文提出了一种基于GAN的可使用工具,用于生成合成ECG波形,以支持心肌脂肪变的早期诊断和患者分层。
2026-01-13 cs.LG
Mask Embedding in conditional GAN for Guided Synthesis of High Resolution Images
Duke University(杜克大学);Duke University School of Medicine(杜克大学医学院)
条件生成对抗网络(cGAN)的最新进展在标签引导图像合成中显示出了希望。语义遮罩(如草图和标签图)是图像合成中另一种直观有效的指导形式。直接将语义掩码作为约束条件,大大降低了合成结果的可变性和质量。我们观察到这是由来自生成器的不同输入(例如掩码图像和潜在向量)的特征的不兼容性引起的。为了使用语义掩码作为指导,同时提供逼真的合成结果与细节,我们建议使用掩码嵌入机制,以允许在生成器中更有效的初始特征投影。我们通过使用CELEBA-HQ数据集训练掩模引导的人脸生成器来验证我们的方法的有效性。我们可以生成逼真的高分辨率面部图像,分辨率高达512*512,并带有遮罩引导。我们的代码是公开的。
2019-07-03 cs.CV cs.LG
Conditional Generative Adversarial Networks for Data Augmentation and Adaptation in Remotely Sensed Imagery
NVIDIA(英伟达);CACI;NGA Research(NGA研究院)
获取与给定任务相关的标记数据的困难是将深度学习技术应用于新的或甚至稍微修改的领域的最常见和众所周知的实际障碍之一。当前一代监督学习算法所需的数据量通常远远超过人类学习和完成给定任务所需的数据量。我们研究如何使用生成对抗网络(GANs)将给定的标记遥感图像语料库扩展为更大的语料库。然后,我们测量这些额外的合成数据如何影响目标检测任务上的监督机器学习性能。我们的数据驱动策略是训练GANs以(1)生成合成分割掩模和(2)生成与这些分割掩模对应的合理合成遥感图像。这些GANs按顺序运行,可以生成带有分割标签的合成遥感图像。我们将此策略应用于ISPRS的2D语义标注大赛-波茨坦的数据集,并进行了车辆检测任务。我们发现,在有限的训练数据的情况下,增加可用的数据与这样的综合生成的数据可以提高检测器的性能。
2019-08-10 cs.CV cs.LG eess.IV
Crowd Sensing and Living Lab Outdoor Experimentation Made Easy
使用普适计算的户外实验室提供了新的机会:更高的真实性,外部有效性和大规模的社会时空观察。然而,“野外”试验既复杂又昂贵。噪音、偏见、隐私问题、遵守道德审查委员会的标准、远程调节、对实验条件和设备的控制,使收集高质量数据进行因果推理变得困难。本文介绍了Smart Agora,这是一种用于严格系统户外实验的新型开源软件平台。无需编写一行代码,高度复杂的实验场景就可以可视化设计并自动部署到智能手机上。收集新的地理定位调查和传感器数据,参与者验证所需的实验条件,例如,他们在某些城市景点的定位。这种新方法大大提高了人群感知的质量和目的性,适合于确认/拒绝假设的条件。支持这一创新功能的特点和广泛的适用性进行了演示。
2021-10-15 cs.CY cs.HC cs.IR
Citizen Social Lab: A digital platform for human behaviour experimentation within a citizen science framework
合作是定义人类的行为特征之一,但我们仍在试图理解人类为什么合作。行为实验主要是为了揭示合作和其他行为特征背后的机制。然而,这些实验中的大多数都是在实验室中进行的,具有高度受控的实验方案,但具有各种限制,这些限制了所获得的结果的再现性和通用性。为了克服这些局限性,一些实验方法将人类行为实验从实验室转移到行为自然发生的公共空间,并在公民科学框架内向公众开放参与。鉴于这些环境的开放性,至关重要的是要建立适当的协议,以保持相同的数据质量,人们可以在实验室中获得。在这里,我们介绍公民社会实验室,一个软件平台,旨在在野外使用公民科学的做法。该平台允许研究人员在更现实的环境中收集数据,同时保持科学的严谨性,并且它以模块化和可扩展的方式构建,因此它也可以轻松地适应在线或实体实验室。根据公民科学准则,该平台旨在激励更广泛的人群参与,同时也促进参与和学习科学研究过程。我们还回顾了到目前为止使用该平台进行的实验的主要结果,以及每个实验包括的游戏集。最后,我们评估了平台的一些属性,如实验样本的异质性及其满意度,以及展示平台鲁棒性和收集数据质量的参数。
2018-06-26 cs.CY cs.GT cs.HC