AD-GAN: End-to-end Unsupervised Nuclei Segmentation with Aligned Disentangling Training
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Duke Kunshan University(昆山杜克大学)
本文考虑无监督的细胞核分割。利用最近提出的细胞核图像和随机合成掩模之间的不成对图像到图像转换,现有方法,例如,CycleGAN取得了令人鼓舞的成果。然而,这些方法通常需要两个阶段的管道,并且无法在细胞核图像中进行端到端的学习。更严重的是,它们可能导致有损变换问题,即,原始图像和相应的分割输出之间的内容不一致。为了解决这些限制,我们提出了一种新的端到端无监督框架,称为Aligned Disentangling Generative Adversarial Network(AD-GAN)。与众不同的是,AD-GAN引入了表示解纠缠,将内容表示(底层空间结构)与风格表示(结构的渲染)分开。有了这个框架,空间结构可以显式地保留,从而大大减少了宏观级的有损变换。我们还提出了一种新的训练算法,能够在潜在空间中对齐未纠缠的内容,以减少微观层面的有损变换。对真实世界的2D和3D数据集的评估表明,AD-GAN在定量和定性方面都大大优于其他比较方法和专业软件。具体来说,所提出的AD-GAN导致了比当前最好的无监督方法平均17.8%的显著改进(相对于W.R.T.度量DICE)在四个细胞核数据集上。作为一种无监督的方法,AD-GAN甚至可以与最好的监督模型竞争,朝着端到端无监督细胞核分割的方向又迈进了一步。
2022-03-10 cs.CV cs.LG eess.IV
Enhancing Unsupervised Speech Recognition with Diffusion GANs
NVIDIA(英伟达)
我们通过扩散GAN增强了无监督自动语音识别(ASR)的香草对抗训练方法。我们的模型(1)将各种强度的实例噪声注入到生成器的输出和未标记的参考文本中,这些参考文本是从具有长度约束的预训练音素语言模型中采样的,(2)要求扩散时间步长相关的鉴别器将它们分离,以及(3)反向传播梯度以更新生成器。单词/音素出错率比较与wav 2 vec-U在Librispeech(3.1%的测试清洁和5.6%的测试其他),TIMIT和MLS数据集,表明我们的增强策略有效地工作。
2023-03-23 cs.CL cs.LG cs.SD
Cross-GAN Auditing: Unsupervised Identification of Attribute Level Similarities and Differences between Pretrained Generative Models
Oregon State University(俄勒冈州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对现有GAN审计工具仅支持粗粒度比较的局限,提出跨GAN审计(xGA)方法,可无监督识别预训练GAN间属性级的相似与差异,定量定性实验均验证其优于基线方法。
2023-05-02 cs.CV cs.LG
Generating Synthetic Mixed-type Longitudinal Electronic Health Records for Artificial Intelligent Applications
Zhejiang University(浙江大学);University of Oxford(牛津大学)
最近电子健康记录(EHR)的可用性为开发人工智能(AI)算法提供了巨大的机会。然而,患者隐私已成为一个主要问题,限制了医院环境中的数据共享,从而阻碍了人工智能的进步。合成数据受益于生成模型的发展和扩散,已成为真实患者EHR数据的有前途的替代品。然而,当前的生成模型是有限的,因为它们仅为合成患者生成单一类型的临床数据,即,连续值或离散值。为了模拟包含各种数据类型/来源的临床决策的性质,在这项研究中,我们提出了一个生成对抗网络(GAN),名为EHR-M-GAN,它同时合成混合类型的时间序列EHR数据。EHR-M-GAN能够捕获患者轨迹中的多维、异构和相关的时间动态。我们在三个公开的重症监护病房数据库上验证了EHR-M-GAN,这些数据库共有141,488名独特患者的记录,并对所提出的模型进行了隐私风险评估。EHR-M-GAN已经证明了其在高保真度合成临床时间序列方面优于最先进的基准,同时解决了当前生成模型中有关数据类型和维度的限制。值得注意的是,当训练数据增加EHR-M-GAN生成的时间序列时,重症监护结果的预测模型表现得更好。EHR-M-GAN可用于在资源有限的环境中开发AI算法,降低数据采集的障碍,同时保护患者隐私。
2023-01-31 cs.LG
PandA: Unsupervised Learning of Parts and Appearances in the Feature Maps of GANs
Queen Mary University of London(伦敦玛丽女王大学);University of Athens(雅典大学);The Cyprus Institute(塞浦路斯研究所)
对生成对抗网络(GANs)的理解的最新进展已经在视觉编辑和合成任务方面取得了显着进展,利用了嵌入在预训练的GANs的潜在空间中的丰富语义。然而,现有的方法通常是针对特定的GAN架构定制的,并且局限于发现不便于本地化控制的全局语义方向,或者需要通过手动提供的区域或分割掩码进行某种形式的监督。在这种情况下,我们提出了一个架构不可知论的方法,共同发现的因素,代表空间的部分和它们的外观在一个完全无监督的方式。这些因素是通过在特征图上应用半非负张量因式分解来获得的,这反过来又使上下文感知的局部图像编辑具有像素级控制。此外,我们发现的外观因素对应的显着性地图,本地化感兴趣的概念,而不使用任何标签。在广泛的GAN架构和数据集上的实验表明,与现有技术相比,我们的方法在训练时间方面更有效,最重要的是,提供了更准确的本地化控制。我们的代码可在https://github.com/james-oldfield/PandA上获取。
2023-02-06 cs.CV cs.LG
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Yandex(扬德克斯);National Research University Higher School of Economics(国立研究型大学高等经济学院)
GAN模型的潜在空间通常具有语义上有意义的方向。在这些方向上移动对应于人类可解释的图像变换,例如缩放或缩放,从而实现更可控的生成过程。然而,这些方向的发现目前是以监督的方式执行的,需要人类标签,预训练模型或某种形式的自我监督。这些要求严重限制了现有方法可以发现的方向范围。在本文中,我们引入了一种无监督的方法来识别预训练的GAN模型的潜在空间中的可解释方向。通过一个简单的模型不可知的程序,我们发现方向对应于明智的语义操作,没有任何形式的(自我)监督。此外,我们揭示了几个非平凡的发现,这将是很难获得现有的方法,例如,对应于背景去除的方向。作为我们工作的直接实际好处,我们展示了如何利用这一发现来实现弱监督显着性检测的竞争性能。
2020-06-24 cs.CV cs.LG stat.ML
Unsupervised Enhancement of Real-World Depth Images Using Tri-Cycle GAN
Technion – Israel Institute of Technology(以色列理工学院)
低质量深度对计算机视觉算法提出了相当大的挑战。在这项工作中,我们的目标是提高高度退化,现实世界的深度图像获得的低成本传感器,分析噪声模型是不可用的。在没有干净的地面实况的情况下,我们将任务作为低质量传感器域和高质量传感器域之间的无监督域转换,使用两个不成对的训练集表示。我们使用非常成功的Cycle-GAN来完成这项任务,但发现它在这种情况下表现不佳。识别失败的来源,我们引入了几个修改的框架,包括一个更大的发电机架构,深度特定的损失,考虑到丢失的像素,和一个新的三周期损失,促进信息保存,同时解决域之间的不对称性。我们表明,由此产生的框架在视觉上和定量上都大大改善了原始的Cycle-GAN,将其适用性扩展到更具挑战性和不对称的翻译任务。
2020-01-11 cs.CV cs.LG eess.IV
TSI-GAN: Unsupervised Time Series Anomaly Detection using Convolutional Cycle-Consistent Generative Adversarial Networks
Missouri University of Science and Technology(密苏里科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
异常检测被广泛应用于网络入侵检测、自动驾驶、医疗诊断、信用卡欺诈等领域,然而,几个关键的挑战仍然存在,例如缺乏地面真值标签,存在复杂的时间模式,以及在不同数据集上的泛化。本文提出了TSI-GAN,一种无监督的时间序列异常检测模型,可以自动学习复杂的时间模式,并具有良好的泛化能力,即,无需选择特定于以太网的参数,无需对底层数据进行统计假设,也无需更改模型架构。为了实现这些目标,我们使用两种编码技术将每个输入时间序列转换为二维图像序列,其目的是捕获时间模式和各种类型的偏差。此外,我们设计了一个重建的GAN,它在编码器-解码器网络中使用卷积层,并在训练过程中使用循环一致性损失,以确保逆映射也是准确的。此外,我们还在后处理中使用Hodrick-Prescott滤波器来减少误报。我们使用250个精心策划和比平常更难的数据集来评估TSI-GAN,并与8种最先进的基线方法进行比较。结果表明,TSI-GAN优于所有基线,与第二名的MERLIN和第三名的LSTM-AE相比,TSI-GAN的整体性能分别提高了13%和31%。
2023-03-22 cs.CR cs.LG
Distributed Conditional GAN (discGAN) For Synthetic Healthcare Data Generation
University of Virginia(弗吉尼亚大学);School of Data Science(数据科学学院)
本文提出分布式生成对抗网络discGAN,用于生成医疗领域的合成表格数据,实验证明其能有效建模非高斯多模态数据并生成分布高度相似于真实数据的合成记录。
2023-04-09 cs.AI cs.LG
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford(牛津大学计算机科学系)
在过去的十年中,监督式深度学习方法已被广泛用于视觉里程计(VO)应用中,这在标记数据不丰富的环境中是不可行的。另一方面,无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射,在VO研究中受到的关注相对较少。在这项研究中,我们提出了一个生成式无监督学习框架,该框架使用深度卷积生成对抗网络(GANs)从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估,结果表明,所提出的方法优于现有的传统和无监督深度VO方法,为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
Unsupervised Video Summarization via Iterative Training and Simplified GAN
Northwestern University(西北大学);Allstate Insurance Company(好事达保险公司)
本文提出一种移除判别器的简化GAN无监督视频摘要方法,结合迭代训练策略与可训练掩码向量,在多数据集上验证了其在性能、稳定性和训练效率上的优势。
2024-11-25 cs.CV cs.LG
Pix2NeRF: Unsupervised Conditional $π$-GAN for Single Image to Neural Radiance Fields Translation
ETH Zürich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所);KU Leuven(鲁汶大学)
我们提出了一个管道来生成神经辐射场~(NeRF)的对象或场景的特定类,在一个单一的输入图像的条件。这是一项具有挑战性的任务,因为训练NeRF需要同一场景的多个视图,再加上相应的姿势,这是很难获得的。我们的方法是基于$π$ -GAN,生成模型无条件的三维感知图像合成,映射随机潜码的一类对象的辐射场。我们共同优化(1)$π$ -GAN目标,以利用其高保真3D感知生成和(2)精心设计的重建目标。后者包括与$π$ -GAN生成器耦合以形成自动编码器的编码器。与以前的Few-Shot NeRF方法不同,我们的管道是无监督的,能够在没有3D,多视图或姿势监督的情况下使用独立图像进行训练。我们的管道应用包括3D化身生成、使用单个输入图像的以对象为中心的新颖视图合成以及3D感知超分辨率等。
2022-02-26 cs.AI cs.CV cs.GR
A review of Generative Adversarial Networks for Electronic Health Records: applications, evaluation measures and data sources
University of Oxford(牛津大学)
本文综述了生成对抗网络在电子健康记录中的应用进展,梳理了方法、评估指标和数据集,并讨论了挑战与推荐实践,为医疗与机器学习交叉研究提供参考。
2022-12-14 cs.LG
Recycle-GAN: Unsupervised Video Retargeting
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Lab(Facebook现实实验室)
我们介绍了一种用于无监督视频重定向的数据驱动方法,该方法将内容从一个域转换到另一个域,同时保留域的本地风格,即,如果约翰·奥利弗的演讲的内容要被传送给斯蒂芬·科尔伯特,则所生成的内容/演讲应当是斯蒂芬·科尔伯特的风格。我们的方法结合了空间和时间信息以及内容翻译和风格保存的对抗性损失。在这项工作中,我们首先研究的优势,使用时空约束的空间约束有效重定向。然后,我们展示了所提出的方法,在空间和时间的问题,如面对面的翻译,花到花,风和云的合成,日出和日落的信息。
2018-08-15 cs.CV cs.GR cs.LG
Generative Adversarial Networks for Electronic Health Records: A Framework for Exploring and Evaluating Methods for Predicting Drug-Induced Laboratory Test Trajectories
Columbia University(哥伦比亚大学)
生成对抗网络(GANs)代表了一类将神经网络与博弈论相结合的有前途的生成网络。从生成逼真的图像和视频到辅助音乐创作,GANs正在改变许多艺术和科学领域。然而,它们在医疗保健方面的应用尚未完全实现,更具体地说,在生成电子健康记录(EHR)数据方面。在本文中,我们提出了一个框架,用于在连续实验室时间序列数据的背景下探索GANs的价值。我们设计了一个无监督的评估方法,衡量合成实验室测试时间序列的预测能力。此外,我们表明,在预测药物暴露对实验室测试数据的影响时,在训练GAN模型之前结合训练队列的表示学习是有益的。
2017-12-01 cs.LG stat.ML
Bt-GAN: Generating Fair Synthetic Healthdata via Bias-transforming Generative Adversarial Networks
Linköping University(林雪平大学)
提出Bt-GAN,一种基于GAN的医疗合成数据生成器,通过信息约束生成过程解决虚假相关性,利用基于分数的加权采样保留子群体密度,在保持SOTA准确率的同时显著提升公平性。
2024-04-26 cs.AI cs.LG
Gaussian Mixture Generative Adversarial Networks for Diverse Datasets, and the Unsupervised Clustering of Images
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
生成对抗网络(GANs)已被证明可以生成逼真的合成图像,并取得了显着的成功,但当训练集高度多样化时,它们的性能似乎不那么令人印象深刻。当数据集包含许多不同的类时,为了更好地拟合目标数据分布,我们提出了一种基本GAN模型的变体,称为高斯混合GAN(GM-GAN),其中潜在空间上的概率分布是高斯的混合。我们还提出了一个有监督的变体,它能够有条件的样本合成。为了评估模型的性能,我们提出了一种新的评分方法,它分别考虑到两个(通常是冲突的)措施-多样性与质量的生成数据。通过一系列的实证实验,使用合成和真实世界的数据集,我们定量地表明,GM-GAN在使用常用的Inception Score进行评估时,以及使用我们自己的替代评分方法进行评估时,都优于基线。此外,我们定性地演示了如何的\textit{unsupervised}变体的GM-GAN倾向于映射从不同的高斯在潜在空间中的样本的数据空间中的不同类别的样本的潜在向量。我们展示了如何利用这种现象进行无监督聚类的任务,并提供定量评价,显示我们的方法的图像数据集的无监督聚类的优越性。最后,我们展示了一个功能,它进一步将我们的模型与其他GAN模型区分开来:通过改变潜在空间的概率分布来控制质量多样性权衡的选项。这允许人们根据自己的需要对更高质量和更低多样性的样本进行采样,反之亦然。
2018-08-30 cs.CV cs.LG stat.ML
Interpreting Latent Spaces of Generative Models for Medical Images using Unsupervised Methods
University of Copenhagen(哥本哈根大学);Rigshospitalet(哥本哈根大学国立医院)
生成对抗网络(GANs)和变分自编码器(VAE)等生成模型在医学图像分析中发挥着越来越重要的作用。这些模型的潜在空间通常显示与人类可解释的图像变换相对应的语义上有意义的方向。然而,到目前为止,由于监督数据的要求,他们对医学图像的探索受到了限制。在GAN潜在空间中无监督发现可解释方向的几种方法在自然图像上显示出有趣的结果。这项工作探讨了将这些技术应用于医学图像的潜力,通过在胸部CT扫描上训练GAN和VAE,并使用无监督的方法来发现由此产生的潜在空间中的可解释方向。我们发现几个方向对应于非平凡的图像变换,如旋转或乳房大小。此外,这些方向表明,生成模型捕捉3D结构,尽管只呈现2D数据。结果表明,在GANs中发现可解释方向的无监督方法可推广到VAE,并可应用于医学图像。这打开了一个广泛的未来的工作,使用这些方法在医学图像分析。
2022-07-20 cs.CV cs.LG eess.IV
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University(克莱姆森大学)
条件生成模型在过去几年中取得了相当大的成功,但通常需要大量的标记数据。最近,聚类器GAN将GAN与编码器相结合,通过无监督条件生成来实现显著的聚类性能。然而,它忽略了数据的真实条件分布,这导致为每个类生成较少多样性的样本,并使编码器只能实现次优聚类性能。在这里,我们提出了一个新的无监督条件生成框架,双循环一致的条件GAN(DC 3-GAN),它可以生成不同的类条件样本。除了生成器-编码器对之外,我们还强制GAN的编码器和生成器形成编码器-生成器对,这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对,它可以间接估计真实的条件分布。同时,该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配,从而将潜在空间分解为两部分:独热离散和连续潜在变量。前者可以直接表示为簇,后者表示剩余的未指定因子。这项工作表明,增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明,该方法优于现有的基于生成模型的聚类方法,同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
NVAE-GAN Based Approach for Unsupervised Time Series Anomaly Detection
近年来,人们利用变分自动编码器(VAE)进行了大量的时间序列异常检测研究。时间序列异常检测在网络监控、设备维护、信息安全等领域有着重要的作用,但由于时间序列中存在大量的噪声数据和复杂的异常模式,很难对时间序列进行高精度的异常检测。从最近的研究中,我们受到新VAE(NVAE)的启发,并提出了我们的异常检测模型:时间序列图像VAE(T2IVAE),一个无监督的模型,基于单变量序列的NVAE,将一维时间序列转换为二维图像作为输入,并采用重建误差来检测异常。此外,我们还将基于生成对抗网络的技术应用于T2IVAE训练策略,旨在减少过拟合。我们在三个数据集上评估了模型的性能,并使用F1得分将其与其他几种流行的模型进行了比较。T2IVAE在Numenta Anomaly Benchmark上达到0.639,在NASA的公共数据集上达到0.651,在我们收集的真实场景数据集上达到0.504,优于其他比较模型。
2021-01-08 cs.LG stat.ML
Towards Unsupervised Training of Matching-based Graph Edit Distance Solver via Preference-aware GAN
University of New South Wales(新南威尔士大学);University of Technology Sydney(技术与科学大学);Shanghai Jiaotong University(上海交通大学)
本文提出GEDRanker,一种基于GAN的无监督框架,通过引入偏好感知判别器利用编辑路径长度的偏好信号,引导匹配型GED求解器在无真实监督下生成高质量节点匹配,实现接近最优的解质量。
2025-10-13 cs.AI cs.LG
Linear Discriminant Generative Adversarial Networks
我们开发了一种新的方法来训练GANs,用于无监督和类条件生成图像,称为线性判别GAN(LD-GAN)。LD-GAN的递归被训练以最大化生成样本和目标样本的隐藏表示的分布之间的线性可分性,而生成器基于通过对隐藏表示执行LDA而计算的决策超平面进行更新。LD-GAN提供了一个具体的分离能力的度量标准,我们的实验表明,在无监督的情况下,通过校准生成器和鉴别器之间的更新频率,可以简单地稳定LD-GAN的训练,而无需使用归一化方法和对权重的约束。在类条件生成任务中,与采用辅助分类器的WGAN相比,所提出的方法显示出更好的训练稳定性以及更好的泛化性能。
2017-07-25 cs.LG stat.ML
On Unsupervised Image-to-image translation and GAN stability
The University of Georgia(佐治亚大学)
本研究分析CycleGAN的失败案例,提出其与GAN稳定性相关,并设计两个通用模型以缓解问题,同时确认该任务不适定性。
2023-10-18 cs.AI cs.CV cs.LG
S2cGAN: Semi-Supervised Training of Conditional GANs with Fewer Labels
Microsoft Research India(微软印度研究院)
生成对抗网络(GANs)在学习复杂的高维实数分布和生成真实样本方面非常成功。但是,它们对生成过程的控制有限。条件GANs(cGANs)提供了一种通过根据用户定义的输入调节输出来控制生成过程的机制。虽然训练GANs只需要无监督的数据,但训练cGANs需要标记的数据,这可能非常昂贵。我们提出了一个cGAN的半监督训练框架,它利用稀疏标签来学习条件映射,同时利用大量的无监督数据来学习无条件分布。我们证明了我们的方法在多个数据集和不同的条件任务的有效性。
2020-10-23 cs.CV cs.LG stat.ML
Synthetic Observational Health Data with GANs: from slow adoption to a boom in medical research and ultimately digital twins?
Radboud University(拉德堡德大学);The Hyve
在收集用于患者护理之后,观察性健康数据(OHD)可以通过维持健康信息学和医学研究的发展来进一步有益于患者的健康。由于患者相关数据的隐私性和保护法规,巨大的潜力尚未开发。生成对抗网络(GANs)最近成为一种突破性的学习生成模型的方法,可以生成逼真的合成数据。他们已经彻底改变了多个领域的实践,如自动驾驶汽车,欺诈检测,工业部门的数字孪生模拟和医学成像。数字孪生概念可以很容易地应用于建模和量化疾病进展。此外,GANs还具有许多与医疗保健中常见问题相关的功能:缺乏数据,类别不平衡,罕见疾病和保护隐私。开启开放获取以保护隐私的OHD可能会对科学研究产生变革性影响。在COVID-19疫情中,医疗保健系统正面临前所未有的挑战,其中许多挑战与上述原因有关。考虑到这些事实,关于GAN应用于OHD的出版物似乎严重缺乏。为了揭示这种缓慢采用的原因,我们广泛回顾了有关该主题的已发表文献。我们的研究结果表明,OHD的属性最初对现有的GAN算法具有挑战性(与医学成像不同,最先进的模型可直接转移),并且评估合成数据缺乏明确的指标。我们发现关于这个主题的出版物比预期的要多,从2017年开始缓慢,从那时起以越来越快的速度增长。OHD的困难仍然存在,我们讨论有关的问题,评估,一致性,基准,数据建模和再现性。
2020-11-19 cs.LG q-bio.QM stat.ML
Xp-GAN: Unsupervised Multi-object Controllable Video Generation
Faculty of Computer Engineering Amirkabi University of Technology Tehran, Iran
视频生成是机器学习中一个相对较新且受欢迎的主题,这是由于其广泛的潜在应用和众多的挑战。视频生成中的当前方法为用户提供了对所生成的视频中的对象将如何移动和定位在每个帧处的确切规范的很少或没有控制,也就是说,用户不能明确地控制视频中的每个对象应该如何移动。在本文中,我们提出了一种新的方法,允许用户移动任何数量的对象的一个单一的初始帧,只是通过绘制边界框在这些对象,然后移动这些框在所需的path. We模型利用两个自动编码器,以充分分解的运动和内容信息的视频,并实现了结果相媲美的知名基线和国家的最先进的方法。
2021-11-19 cs.CV cs.LG eess.IV
Asymmetric GANs for Image-to-Image Translation
ETH Zurich(苏黎世联邦理工学院);University of Trento(特伦托大学)
针对现有对称GAN图像翻译模型存在的双向不对等、模型易崩溃等问题,提出采用非对称架构和优化损失的AsymmetricGAN,在8个数据集的有监督和无监督任务中性能更优,为首款研究该类非对称结构的模型。
2024-07-12 cs.CV cs.LG eess.IV
f-GAN: A frequency-domain-constrained generative adversarial network for PPG to ECG synthesis
Amazon(亚马逊公司)
本文提出f-GAN,一种频域约束的生成对抗网络,通过从PPG信号合成ECG信号以实现便捷的心血管监测,频域约束提升了模型稳定性和心率估计性能。
2024-05-15 cs.LG eess.SP
Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis
Korea Advanced Institute of Science Technology(韩国科学技术院);I-BRICKS
本文提出TESGAN,通过GAN生成连续文本嵌入空间并进行无监督学习,解决文本生成中的梯度反向传播与训练数据记忆问题。
2023-10-17 cs.CL cs.LG
Explainable AI for Mental Health Prediction in Drug-Affected Populations with Dragonfly Algorithm and GAN Oversampling
George Mason University(乔治梅森大学);American International University-Bangladesh(美国国际大学-孟加拉);Dhaka University of Engineering and Technology(达卡工程技术大学)
提出结合PCA-IG特征选择、GAN过采样和蜻蜓算法优化XGBoost的可解释机器学习模型,用于药物影响人群的多类心理健康预测,准确率达94.17%。
2026-06-23 cs.AI cs.LG
Bilingual-GAN: A Step Towards Parallel Text Generation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于潜在空间的GAN方法和基于注意力的序列到序列模型分别在文本生成和无监督机器翻译中取得了令人印象深刻的结果。利用这两个领域,我们提出了一个基于对抗潜在空间的模型,能够同时生成两种语言的并行句子并进行双向翻译。双语生成的目标是通过从两种语言之间共享的潜在空间中采样来实现的。首先训练两个去噪自动编码器,使用共享编码器和反向翻译来强制两种语言之间的共享潜在状态。两个平移方向共享解码器。接下来,训练GAN来生成模仿语言共享潜在空间的合成“代码”。然后将此代码输入解码器,以生成两种语言的文本。我们在Europarl和Multi 30 k数据集上进行了实验,在英语-法语语言对上进行了实验,并使用监督和无监督机器翻译记录了我们的性能。
2019-05-14 cs.CL cs.LG
Self-Supervised GANs via Auxiliary Rotation Loss
University of California, Los Angeles(加州大学洛杉矶分校);Google Brain(谷歌大脑)
条件GANs处于自然图像合成的最前沿。这种模型的主要缺点是需要标记数据。在这项工作中,我们利用了两种流行的无监督学习技术,对抗训练和自我监督,并朝着弥合有条件和无条件GANs之间的差距迈出了一步。特别是,我们允许网络在表示学习任务上进行合作,同时与经典的GAN游戏对抗。自我监督的作用是鼓励学习者学习有意义的特征表示,这些特征表示在训练过程中不会忘记。我们凭经验测试学习的图像表示的质量和合成图像的质量。在相同的条件下,自监督GAN达到了与最先进的条件对应物相似的性能。最后,我们证明了这种完全无监督学习的方法可以扩展到无条件ImageNet生成的FID为23.4。
2019-04-09 cs.CV cs.LG stat.ML
AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural Images with Aperture Rendering Neural Radiance Fields
NTT Communication Science Laboratories, NTT Corporation(NTT株式会社NTT通信科学实验室)
完全无监督的三维表示学习由于其在数据汇集方面的优势而受到关注。成功的方法涉及基于生成模型(例如,生成对抗网络(GANs))同时基于3D感知模型(例如,神经辐射场(NeRF))。然而,它们需要具有各种视图的图像进行训练,因此,将其应用于具有很少或有限视点的数据集仍然是一个挑战。作为一种补充方法,提出了一种采用散焦提示的孔径渲染GAN(AR-GAN)。然而,AR-GAN是一种基于CNN的模型,尽管具有高相关性,但它独立于视点变化表示散焦,这是其性能的原因之一。作为AR-GAN的替代方案,我们提出了一种孔径渲染NeRF(AR-NeRF),它可以通过在一个共同的光线跟踪框架中表示这两个因素,以统一的方式利用视点和散焦线索。此外,为了以一种解脱的方式学习散焦感知和散焦独立的表示,我们提出了孔径随机化训练,我们学习在独立随机化孔径大小和潜在代码的同时生成图像。在我们的实验中,我们将AR-NeRF应用于各种自然图像数据集,包括花卉,鸟类和人脸图像,其结果证明了AR-NeRF用于深度和散焦效果的无监督学习的实用性。
2022-06-13 cs.AI cs.CV cs.GR
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University(首尔大学)
具有聚类潜在空间的生成对抗网络(GANs)可以以完全无监督的方式执行条件生成。在现实世界中,未标记数据的显著属性可能是不平衡的。然而,大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性,因为它们假设属性的均匀分布。为了解决这个问题,我们从理论上推导出Stein潜在优化,该优化提供了潜在分布参数的可重新参数化的梯度估计,假设在连续潜在空间中存在高斯混合。在结构上,我们引入了一个编码器网络和新的无监督条件对比损失,以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认,所提出的方法,命名为斯坦潜在优化GANs(SLOGAN),成功地学习平衡或不平衡的属性,并实现了最先进的无监督条件生成性能,即使在没有属性信息的情况下(例如,不平衡度)。此外,我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
Unsupervised Panoptic Interpretation of Latent Spaces in GANs Using Space-Filling Vector Quantization
Aalto University(阿尔托大学)
本文提出空间填充向量量化(SFVQ)方法,以无监督方式建模并解释 GAN 潜在空间,在 StyleGAN2 和 BigGAN 上验证其可识别生成因素、发现可解释变换方向并支持可控数据增强。
2025-07-02 cs.AI cs.CV cs.LG
A Spectral Regularizer for Unsupervised Disentanglement
OpenAI(开放人工智能研究中心);New York University(纽约大学);Yale University(耶鲁大学)
一个生成模型与解纠缠表示允许独立控制输出的不同方面。学习非纠缠表征一直是最近的一个非常感兴趣的话题,但它仍然知之甚少。我们表明,即使对于不具有解纠缠表示的GANs,也可以在潜在空间中找到局部解纠缠发生的弯曲轨迹。这些轨迹是通过迭代地跟随生成器相对于其输入的雅可比矩阵的前导右奇异向量来找到的。基于这一见解,我们描述了一个有效的正则化器,将这些向量与坐标轴对齐,并表明它可以用于以完全无监督的方式在GANs中诱导解纠缠表示。
2019-02-06 cs.AI cs.LG stat.ML
CD-GAN: a robust fusion-based generative adversarial network for unsupervised remote sensing change detection with heterogeneous sensors
Southwest Minzu University(西南民族大学);University of Toulouse(图卢兹大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出CD-GAN,将异构光学传感器变化检测转化为鲁棒融合问题,通过把预训练融合网络嵌入对抗框架实现无监督变化检测,实验证明其通用有效。
2023-11-29 cs.CV cs.LG eess.IV
MISS GAN: A Multi-IlluStrator Style Generative Adversarial Network for image to illustration translation
Tel Aviv University(特拉维夫大学)
在计算机视觉中,仅使用一个经过训练的生成器来支持不同输入风格的无监督风格转换是一项具有挑战性和有趣的任务。本文提出了一种多插图风格生成对抗网络(MISS GAN),这是一个多风格的框架,用于无监督的图像到插图的翻译,它可以生成风格化但内容保留的图像。插图数据集是一个具有挑战性的数据集,因为它由七种不同插图的插图组成,因此包含不同的风格。现有的方法需要训练多个生成器(如插图的数量)来处理不同的插图风格,这限制了它们的实际使用,或者需要训练图像特定的网络,这忽略了插图的其他图像中提供的风格信息。MISS GAN是特定于输入图像的,并且仅使用一个训练模型来使用其他图像的信息。
2021-08-12 cs.CV cs.LG eess.IV
Unsupervised Learning of Solutions to Differential Equations with Generative Adversarial Networks
IACS(应用计算科学研究所);Harvard University(哈佛大学)
微分方程的解具有重要的科学和工程意义。近年来,人们对用神经网络求解微分方程的兴趣越来越大。本文提出了一种利用无监督神经网络求解微分方程的新方法,该方法将生成对抗网络(GANs)应用于\emph{learn the loss function},以优化神经网络。我们目前的实证结果表明,我们的方法,我们称之为微分方程GAN(DEQ GAN),可以获得多个数量级的均方误差比替代的无监督神经网络方法的基础上(平方)$L_2$,$L_1$,和Huber损失函数。此外,我们表明,DEQGAN实现的解决方案的精度是有竞争力的传统数值方法。最后,我们分析了我们的方法的稳定性,发现它对超参数的选择很敏感,我们在附录中提供了这些参数。代码可在https://github.com/dylanrandle/denn获得。请将任何电子邮件发送至dylanrandle@alumni.harvard.edu。
2020-07-21 cs.LG stat.ML
Class-Splitting Generative Adversarial Networks
CIFASIS, French Argentine International Center for Information and Systems Sciences, UNR-CONICET(法阿信息与系统科学国际中心(CIFASIS),国立罗萨里奥大学-阿根廷国家科学技术研究委员会)
生成对抗网络(GANs)在提供类别标签信息时系统地产生更好质量的样本。即在条件GAN设置中。最近提出的Wasserstein GAN公式仍然可以观察到这一点,该公式稳定了对抗训练,并允许考虑高容量网络架构,如ResNet。在这项工作中,我们展示了如何通过增加可用的类标签来增强条件GAN。新的类来自通过相同的GAN模型学习的表示空间中的聚类。所提出的策略也是可行的,当没有类信息是可用的,即在无监督设置。我们生成的样本在监督和非监督设置中均达到了CIFAR-10和STL-10数据集的最先进的Inception分数。
2018-05-17 cs.CV cs.LG stat.ML
GANspection
University of California, San Diego(加州大学圣地亚哥分校)
生成对抗网络(GANs)已被广泛使用,并非常成功地用于无监督学习。由于GANs不近似显式的概率分布,因此检查GANs学习的潜在空间表示是一项有趣的研究。目前的工作旨在推动这种检查方法的边界,以进一步更详细地了解GANs正在学习的流形。各种内插和外推技术以及矢量运算用于理解学习的流形。我们通过实验表明,GANs确实学习数据概率分布,而不是记忆图像/数据。此外,我们证明了GANs在学习的概率分布中编码语义相关的信息。实验已经在两个公开可用的数据集-大规模场景理解(LSUN)和CelebA上进行。
2019-10-21 cs.CV cs.LG
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
University of Washington(华盛顿大学)
生成对抗网络(GANs)在许多无监督学习任务中取得了显著的成功,聚类无疑是一个重要的无监督学习问题。虽然人们可以潜在地利用GANs中的潜在空间反向投影来聚类,但我们证明了聚类结构不会保留在GAN潜在空间中。在本文中,我们提出了一种新的机制,使用GANs聚类的ChipterGAN。通过从独热编码变量和连续潜变量的混合物中采样潜变量,再加上一个逆网络(将数据投影到潜空间),并使用聚类特定损失进行联合训练,我们能够在潜空间中实现聚类。我们的研究结果显示了一个显着的现象,即GANs可以保持跨类别的潜在空间插值,即使神经网络从未暴露于此类向量。我们将我们的结果与各种聚类基线进行比较,并在合成和真实数据集上表现出卓越的性能。
2019-01-26 cs.LG stat.ML
Unsupervised Learning of Depth and Depth-of-Field Effect from Natural Images with Aperture Rendering Generative Adversarial Networks
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Corporation(NTT集团)
从2D投影的自然图像理解3D世界是计算机视觉和图形学中的一个基本挑战。近年来,无监督学习方法由于其在数据汇集方面的优势而引起了广泛的关注。然而,为了减轻训练限制,典型的方法需要对视点分布施加假设(例如,包含各种视点图像的数据集)或对象形状(例如,对称对象)。这些假设通常限制应用;例如,应用于从相似视点捕获的非刚性对象或图像(例如,花或鸟图像)仍然是一个挑战。为了补充这些方法,我们提出了孔径渲染生成对抗网络(AR-GANs),它在GANs之上装备孔径渲染,并采用焦点线索来学习未标记自然图像的景深和景深(DoF)效果。为了解决由无监督设置触发的模糊性(即,平滑纹理和散焦模糊之间以及前景和背景模糊之间的模糊性),我们开发了DoF混合学习,这使得生成器能够在生成不同DoF图像的同时学习真实图像分布。此外,我们设计了一个中心焦点之前,指导学习方向。在实验中,我们证明了AR-GANs在各种数据集(如花卉,鸟类和人脸图像)中的有效性,通过将其整合到其他3D表示学习GANs中来证明其可移植性,并验证了其在浅自由度渲染中的适用性。
2021-06-24 cs.CV cs.LG eess.IV
Preserving Semantic Consistency in Unsupervised Domain Adaptation Using Generative Adversarial Networks
Queensland University of Technology(昆士兰科技大学)
无监督领域自适应是在给定源域的标记样本和目标域的未标记样本的情况下,寻求缓解源域和目标域之间的分布差异。生成对抗网络(GANs)通过生成特定于训练领域的图像,在领域自适应方面表现出了显着的改进。然而,大多数现有的基于GAN的无监督领域自适应技术在领域匹配过程中不考虑语义信息,因此当源和目标领域数据在语义上不同时,这些方法降低了性能。在本文中,我们提出了一个端到端的新的语义一致的生成对抗网络(SCGAN)。该网络可以通过在特征级捕获语义信息并从源域和目标域生成用于无监督领域自适应的图像来实现源域到目标域的匹配。我们证明了我们提出的方法的鲁棒性,它超过了国家的最先进的性能,在无监督的领域自适应设置进行数字和对象分类任务的实验。
2021-04-28 cs.AI cs.CV cs.LG
Information Compensation for Deep Conditional Generative Networks
近年来,无监督/弱监督条件生成对抗网络(GANs)在建模和生成数据方面取得了许多成功。然而,它们的弱点之一在于它们分离或解开表征编码在其潜在空间中的表征的不同因素的能力很差。为了解决这个问题,我们提出了一种新的无监督条件GANs结构,该结构由一种新的信息补偿连接(IC-连接)驱动。所提出的IC连接使GANs能够补偿在去卷积操作期间发生的信息损失。此外,为了量化离散和连续潜变量的解纠缠程度,我们设计了一个新的评估程序。我们的实证结果表明,与有条件生成设置中的最先进的GANs相比,我们的方法实现了更好的解纠缠。
2022-03-06 cs.CV cs.LG stat.ML
Data-level hybrid strategy selection for disk fault prediction model based on multivariate GAN
针对磁盘SMART数据类别不平衡问题,提出用多元GAN合成数据并在数据级混合,结合遗传算法为特定分类模型选择最佳平衡数据集,提升磁盘故障分类预测精度。
2023-10-10 cs.LG stat.ML
D-GAN: Deep Generative Adversarial Nets for Spatio-Temporal Prediction
The Hong Kong Polytechnic University(香港理工大学)
出租车需求、交通流量、区域降雨等城市应用的时空数据具有内在的随机性和不可预测性。最近,提出了基于深度学习的ST预测模型来学习数据的ST特征。然而,仍然非常具有挑战性的是:(1)充分地学习复杂的和非线性的ST关系;(2)对ST数据量中的高变化进行建模,因为它固有地是动态的,随时间变化(即,不规则),并受到许多外部因素的高度影响,如恶劣天气,事故,交通管制,PoI等;以及(3)由于可能存在许多复杂的外部因素可以影响准确性,并且不可能明确地列出它们。为了解决上述问题,在本文中,我们提出了一种新的基于深度生成对抗网络的模型(命名为D-GAN),通过以无监督的方式隐式学习ST特征表示来进行更准确的ST预测。D-GAN采用基于GAN的结构,联合学习数据的生成和变分推理。更具体地说,D-GAN由两个主要部分组成:(1)一个深度ST特征学习网络,用于通过隐式分布建模来对ST相关性和语义变化以及数据中的变化和不规则性的潜在因素进行建模;(2)一个融合模块,用于合并外部因素以实现更好的推理。据我们所知,没有先前的工作研究ST预测问题,通过深层隐式生成模型和在无监督的方式。在两个真实世界数据集上进行的大量实验表明,D-GAN比传统的以及基于深度学习的ST预测方法获得了更准确的结果。
2021-05-29 cs.LG stat.ML
Unsupervised Controllable Generation with Self-Training
EPFL(洛桑联邦理工学院);NVIDIA(英伟达);Caltech(加州理工学院)
最近的生成对抗网络(GANs)能够生成令人印象深刻的照片般逼真的图像。然而,利用GANs实现可控发电仍然是一个具有挑战性的研究问题。实现可控生成需要语义上可解释和分离的变化因素。使用简单的固定分布(如高斯分布)实现这一目标具有挑战性。相反,我们提出了一个无监督的框架来学习通过自我训练控制生成器的潜在代码的分布。自训练在GAN训练中提供从训练器到生成器的迭代反馈,并且随着训练的进行而逐步改进潜在码的建议。潜在代码是从一个潜在的变量模型,是在学习的特征空间的特征空间的编码。我们考虑了一个归一化的独立分量分析模型,并通过高阶矩的张量分解来学习其参数。我们的框架表现出更好的解纠缠相比,其他变种,如变分自编码器,并能够发现语义有意义的潜在代码,而无需任何监督。我们在汽车和人脸数据集上以经验证明,学习代码中的每组元素控制着具有语义含义的变化模式,例如姿势或背景变化。我们还用定量指标证明,与其他方法相比,我们的方法产生了更好的结果。
2021-05-02 cs.CV cs.LG stat.ML
Robust Conditional GAN from Uncertainty-Aware Pairwise Comparisons
Rutgers University(罗格斯大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校);Tencent YouTu Lab(腾讯优图实验室);JD Finance America Corporation(京东金融美国公司)
在过去的几年里,条件生成对抗网络表现出了卓越的生成性能。然而,它们需要大量的注释。为了解决这个问题,我们提出了一种新的生成对抗网络,利用成对比较(PC-GAN)形式的弱监督进行图像属性编辑。通过贝叶斯不确定性估计和抗噪对抗训练,PC-GAN能够有效地估计属性等级,并具有较强的抗噪能力。通过大量的实验,我们定性和定量地证明了PC-GAN在完全监督的方法下表现出色,并且优于无监督的基线。
2020-03-05 cs.CV cs.LG
Unsupervised Image Translation using Adversarial Networks for Improved Plant Disease Recognition
Chonbuk National University(韩国全北国立大学);Mokpo National University(韩国木浦国立大学)
在机器学习的特定任务应用(如植物病害识别)中获取数据是一项昂贵的工作,这是由于专业人员勤奋和时间限制的要求。在本文中,我们提出了一个简单的流水线,在无监督图像翻译环境中使用GANs来改善植物疾病数据集中数据分布的学习,减少由严重的类不平衡引入的错误,从而将分类决策边界向更好的性能转移。我们的方法的实证分析证明了有限的数据集的2789番茄植物病害图像,高度腐败的9种疾病类别的不平衡。首先,我们通过增强生成图像的感知质量和保留语义来扩展基于GAN的图像到图像翻译方法的最新技术水平。我们引入了AR-GAN,除了对抗性损失之外,我们的合成图像生成器还优化了激活重建损失(ARL)函数,该函数优化了针对自然图像的特征激活。我们提出了视觉上更引人注目的合成图像相比,最突出的现有模型,并评估我们的GAN框架的性能方面的各种数据集和指标。其次,我们评估的基线卷积神经网络分类器的性能,以提高识别使用所得的合成样本,以增加我们的训练集,并将其与经典的数据增强计划。我们观察到使用生成的合成样本的分类准确性显著提高(+5.2%),而在等类分布环境中使用经典增强的分类准确性提高(+0.8%)。
2019-09-26 cs.CV cs.LG eess.IV
LR-GAN: Layered Recursive Generative Adversarial Networks for Image Generation
Virginia Tech(弗吉尼亚理工大学);Facebook AI Research(Facebook人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了LR-GAN:一个考虑场景结构和上下文的对抗图像生成模型。与以前的生成对抗网络(GANs)不同,所提出的GAN学习分别递归地生成图像背景和前景,并以上下文相关的方式将前景缝合在背景上,以产生完整的自然图像。对于每个前景,模型学习生成其外观,形状和姿势。整个模型是无监督的,并采用梯度下降方法以端到端的方式进行训练。实验表明,LR-GAN可以生成更自然的图像,比DCGAN更容易识别的对象。
2017-08-02 cs.CV cs.LG
Mitigating Health Data Poverty: Generative Approaches versus Resampling for Time-series Clinical Data
Fondazione Bruno Kessler Research Institute(布鲁诺·凯斯勒基金会研究院);University of Trento(特伦托大学);University of Manchester(曼彻斯特大学)
已经开发了几种方法来减轻由于健康数据贫乏而产生的算法偏见,其中少数群体在训练数据集中代表性不足。由于算法的简单性,使用RESTRUCTURE(如SMOTE)来增加少数类是一种广泛使用的方法。然而,这些算法降低了数据的可变性,并可能引入样本之间的相关性,从而导致使用基于GAN的生成方法。生成高维的、时间序列的、真实的数据,提供真实数据的广泛分布覆盖,对于基于RESISTANCE和GAN的方法来说仍然是一项具有挑战性的任务。在这项工作中,我们提出了CA-GAN架构,解决了当前方法的一些缺点,我们使用3343名白人和黑人患者的高维时间序列真实数据集,与SMOTE和WGAN-GP* 进行了详细的比较。我们表明,我们的方法更好地生成少数类的真实数据,并保持在真实数据的原始分布范围内。
2022-10-26 cs.CY cs.LG stat.ML
Medical Image Generation using Generative Adversarial Networks
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰亚大学)
生成对抗网络(GANs)是计算机视觉领域的无监督深度学习方法,在过去几年中,它在识别多模态医学成像数据的内部结构方面获得了极大的关注。对抗网络同时生成逼真的医学图像和相应的注释,这在许多情况下被证明是有用的,例如图像增强,图像配准,医学图像生成,图像重建和图像到图像的翻译。这些特性引起了医学图像分析领域研究人员的注意,我们见证了许多新颖和传统应用的快速适应。本章提供了基于GANs的临床应用在医学图像生成和跨模态合成方面的最新进展。已经讨论了在医学图像解释中获得普及的各种GANs框架,例如深度卷积GAN(DCGAN)、拉普拉斯GAN(LAPGAN)、pix2pix、CycleGAN和无监督图像到图像转换模型(UNIT),这些框架通过结合额外的混合架构来继续提高其性能。此外,这些框架的图像重建和合成,以及在该领域的未来研究方向的一些最新的应用已经涵盖。
2020-05-19 cs.CV cs.LG eess.IV
Generating Synthetic Health Sensor Data for Privacy-Preserving Wearable Stress Detection
ScaDS.AI Dresden/Leipzig, Leipzig University(ScaDS.AI 德累斯顿/莱比锡,莱比锡大学)
本文提出一种利用GAN和差分隐私生成隐私保护的智能手表健康传感器数据,用于提升可穿戴压力检测的模型性能。
2024-05-14 cs.AI cs.CR cs.LG