Mode Penalty Generative Adversarial Network with adapted Auto-encoder
Kyung hee University(庆熙大学)
生成对抗网络(GAN)被训练来生成感兴趣分布的样本图像。为此,GAN的生成器网络从具有候选生成样本的分类中学习真实数据集的隐式分布。最近,各种GANs提出了稳定优化其网络的新想法。然而,在实际实现中,有时它们仍然只代表真实分布的一小部分或不能收敛。我们假设这个不适定问题来自于目标函数的梯度差,这很容易使生成器陷入不利的境地。为了解决这个问题,我们提出了一种模式惩罚GAN结合预训练的自动编码器,用于在编码空间中显式表示生成的和真实的数据样本。在这个空间中,我们通过寻找目标分布的全部模式,使生成流形跟随一个实流形。此外,对未覆盖的目标分布模式给予惩罚,以鼓励生成器找到总体目标分布。我们证明,将所提出的方法应用于GANs,有助于发电机的优化变得更加稳定,并通过实验评估具有更快的收敛速度。
2020-11-16 cs.CV cs.LG eess.IV
Improving Generalization and Stability of Generative Adversarial Networks
生成对抗网络(GANs)是学习复杂高维分布的最流行工具之一。然而,GANs的泛化特性还没有得到很好的理解。在本文中,我们分析了GANs在实际环境中的泛化能力。我们发现,在具有原始GAN损失的离散数据集上训练的鉴别器具有较差的泛化能力,并且不近似于理论上的最优分类。我们提出了一个零中心的梯度惩罚,通过将其推向最佳的梯度来提高泛化的梯度。惩罚保证了GANs的泛化和收敛。在合成数据集和大规模数据集上的实验验证了我们的理论分析。
2019-02-11 cs.AI cs.LG stat.ML
Conditional Independence Testing using Generative Adversarial Networks
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);University of California Los Angeles(加州大学洛杉矶分校)
我们考虑检测条件依赖的假设检验问题,重点是高维特征空间。我们的贡献是一个新的检验统计量,基于生成对抗网络的样本,旨在直接近似编码原假设的条件分布,以最大化功率(真阴性率)的方式。我们表明,这样的方法只需要密度近似是可行的,以确保我们控制第一类错误(误报率),特别是,没有假设需要作出的形式的分布或功能依赖。使用合成模拟与高维数据,我们证明了显着的收益,在竞争的方法的权力。此外,我们还说明了使用我们的测试来发现遗传数据中疾病的因果标记。
2019-12-18 cs.LG stat.ML
Estimation with Uncertainty via Conditional Generative Adversarial Networks
Korea University(高丽大学)
传统的预测人工神经网络(ANN)通常采用确定性权重矩阵;因此,它们的预测是点估计。人工神经网络的这种确定性性质导致了将人工神经网络用于医疗诊断、法律问题和投资组合管理的局限性,其中不仅需要发现预测,而且还需要发现预测的不确定性。为了解决这个问题,我们提出了一个预测概率神经网络模型,它对应于一个不同的方式使用的发电机在条件生成对抗网络(cGAN),已被常规用于条件样本生成。通过反转普通cGAN的输入和输出,该模型可以成功地用作预测模型;此外,由于采用对抗训练,该模型对噪声具有鲁棒性。此外,为了度量预测的不确定性,我们分别为回归问题和分类问题引入了熵和相对熵。该框架适用于股票市场数据和图像分类任务。结果表明,该框架具有优越的估计性能,特别是在噪声数据上;此外,它表明,该框架可以正确地估计预测的不确定性。
2020-07-01 cs.LG stat.ML
Gradient penalty from a maximum margin perspective
University of Montreal(蒙特利尔大学)
在生成对抗网络(GANs)中,一种用于提高性能的流行启发式方法是在节点上使用某种形式的梯度惩罚。这种梯度惩罚最初是由Wasserstein距离公式激发的。然而,在其他GAN公式中使用梯度惩罚并没有很好的动机。我们提出了一个统一的框架,期望利润最大化,并表明,广泛的梯度惩罚GANs(例如,Wasserstein、Standard、Least-Squares和Hinge GANs)可以从这个框架中导出。我们的研究结果表明,采用梯度惩罚会导致大间隔分类器(因此,GANs中的大间隔分类器)。我们描述了期望的边缘最大化如何帮助减少伪(生成)样本的消失梯度,这是GANs中的一个已知问题。从这个框架中,我们导出了一个新的具有铰链损失的$L^\infty$梯度范数惩罚,它通常在GANs中产生与$L^2$ -范数惩罚(基于Fréchet Inception Distance)相同(或更好)的生成输出。
2020-11-24 cs.LG stat.ML
Enhancing the Robustness of Deep Neural Networks by Boundary Conditional GAN
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院);Shanghai Jiaotong University(上海交通大学)
深度神经网络已被广泛部署在各种机器学习任务中。然而,最近的研究表明,它们容易受到对抗性例子的影响:精心制作的小扰动会导致网络的错误分类。在这项工作中,我们提出了一种新的防御机制,称为边界条件GAN,以增强深度神经网络对对抗性示例的鲁棒性。边界条件GAN是条件GAN的一个改进版本,可以在预训练分类器的决策边界附近生成具有真实标签的边界样本。这些边界样本被馈送到预先训练的分类器作为数据增强,以使决策边界更鲁棒。我们的经验表明,我们的方法改进的模型一致地成功抵御各种类型的对抗攻击。进一步的定量调查的鲁棒性和可视化的决策边界的改善也提供了证明我们的策略的有效性。这种利用边界样本增强网络鲁棒性的新防御机制为一致防御对抗攻击开辟了一条新途径。
2019-02-28 cs.LG stat.ML
T-CGAN: Conditional Generative Adversarial Network for Data Augmentation in Noisy Time Series with Irregular Sampling
Politecnico Milano(米兰理工大学);Harvard University(哈佛大学)
本文提出了一种适用于不规则采样时间序列的数据增强方法--时间条件生成对抗网络(T-CGAN)。我们的方法是基于条件生成对抗网络(CGAN),其中生成步骤是由一个去卷积神经网络和卷积神经网络的判别步骤。生成器和时间序列生成器都以采样时间戳为条件,学习数据和时间戳之间的隐藏关系,从而生成新的时间序列。我们用合成和真实世界的数据集来评估我们的模型。对于合成数据,我们比较了用T-CGAN生成的数据训练的分类器的性能,以及用原始数据训练的相同分类器的性能。结果表明,在T-CGAN生成的数据上训练的分类器与在真实数据上训练的分类器的性能相同,即使是非常短的时间序列和小的训练集。对于现实世界的数据集,我们比较我们的方法与其他技术的数据增强的时间序列,如时间分片和时间扭曲,在分类问题与不平衡的数据集。结果表明,我们的方法总是优于其他方法,在规则采样和不规则采样的时间序列的情况下。我们实现了特别好的性能的情况下,一个小的训练集和短,噪声,不规则采样的时间序列。
2019-02-01 cs.LG stat.ML
Mode-Aware Continual Learning for Conditional Generative Adversarial Networks
Duke University(杜克大学)
针对条件GAN持续学习中新模式样本有限且易遗忘旧模式的问题,提出基于模式亲和度与标签加权生成、记忆回放的方法,在更少样本下优于现有方法。
2023-09-23 cs.LG stat.ML
ECG-Adv-GAN: Detecting ECG Adversarial Examples with Conditional Generative Adversarial Networks
University of Nevada, Reno(内华达大学雷诺分校);Deakin University(迪肯大学)
心电图(ECG)采集需要一个自动化系统和分析管道,以了解特定的心律失常。深度神经网络已经成为追踪ECG信号的流行技术,其性能超过了人类专家。尽管如此,卷积神经网络容易受到对抗性样本的影响,这些样本可能会对ECG信号进行错误分类,并降低模型的精度。此外,它们在分布外数据集上的推广效果不好。GAN架构已在最近的工作中被用于合成对抗性ECG信号以增加现有的训练数据。然而,他们使用一个脱节的基于CNN的分类架构来检测心律失常。到目前为止,还没有提出可以同时检测对抗性样本和分类心律失常的通用架构。为了缓解这一问题,我们提出了一种新的条件生成对抗网络,以同时生成不同类别的ECG信号并检测心脏异常。此外,该模型以特定类别的ECG信号为条件,以合成现实的对抗性示例。因此,我们比较了我们的架构,并通过对真实世界和对抗性信号进行基准测试,展示了它在正常/异常ECG信号检测中优于其他分类模型。
2021-10-19 cs.LG
Imputation of Missing Data with Class Imbalance using Conditional Generative Adversarial Networks
缺失数据是现实世界数据集面临的一个常见问题。插补是一种广泛使用的估计缺失数据的技术。最先进的插补方法,如生成对抗插补网络(GAIN),对观察数据的分布进行建模,以近似缺失值。这种方法通常为整个数据集建模单个分布,忽略了数据的类特定特征。当存在类不平衡时,类特定的特征特别有用。我们提出了一种新的方法,通过适应流行的条件生成对抗网络(CGAN)的基础上,其类特定的特征,填补缺失数据。我们的条件生成对抗插补网络(CGAIN)使用特定于类的分布来插补缺失数据,这可以为缺失值产生最佳估计。我们在基准数据集上测试了我们的方法,并与最先进和流行的插补方法相比,取得了优异的性能。
2020-12-01 cs.LG
Towards Recovery of Conditional Vectors from Conditional Generative Adversarial Networks
条件生成对抗网络允许生成以某些外部信息为条件的样本。能够从条件GAN恢复潜在和条件向量在各种应用中可能是有价值的,从用于娱乐目的的图像操纵到用于安全目的的神经网络的诊断。在这项工作中,我们表明,它是可能的,以恢复潜在的和条件向量从生成的图像给定的生成器的条件生成对抗网络。由于深度神经网络通常具有多层非线性,因此这种恢复并非微不足道。此外,这种恢复应用于实际的自然图像的效果进行了研究。我们发现,生成的图像和真实图像的恢复性能之间存在差距,我们认为这是由于生成的数据分布和真实数据分布之间的差异。实验进行了评估恢复的条件向量和重建图像从这些恢复的矢量定量和定性,显示出可喜的成果。
2017-12-06 cs.CV cs.LG
Cross Domain Image Generation through Latent Space Exploration with Adversarial Loss
Carnegie Mellon University(卡内基梅隆大学)
条件域生成是交互控制深度生成模型样本生成过程的一种好方法。然而,一旦创建了条件生成模型,允许它适应新的条件控制通常是昂贵的,特别是网络结构相对较深。我们提出了一个条件的潜在域转移框架的潜在空间的无条件变分自编码器(VAE)。有了这个框架,我们可以允许无条件训练的VAE在它的域中生成图像,条件由另一个域的潜在表示提供。这个框架并不假设两个领域之间的共性。我们证明了我们的模型在广泛使用的图像数据集下的有效性和鲁棒性。
2018-05-24 cs.CV cs.LG stat.ML
Anomaly Detection of Adversarial Examples using Class-conditional Generative Adversarial Networks
Pennsylvania State University(宾夕法尼亚州立大学)
深度神经网络(DNN)已被证明容易受到测试时规避攻击(TTE或对抗性示例)的影响,这些攻击通过对输入进行微小的更改,改变DNN的决策。我们提出了一种基于类条件生成对抗网络(GANs)的DNN分类器的无监督攻击检测器。我们通过辅助分类器GAN(AC-GAN)对预测类标签条件下的干净数据的分布进行建模。给定测试样本及其预测类,基于AC-GAN生成器和鉴别器计算三个检测统计量。在各种TTE攻击下的图像分类数据集上的实验表明,该方法优于以往的检测方法。我们还研究了使用不同DNN层(输入特征或内部层特征)进行异常检测的有效性,并证明,正如人们所料,使用更接近DNN输出层的特征更难检测到异常。
2022-05-12 cs.LG eess.IV
Continuous Conditional Generative Adversarial Networks (cGAN) with Generator Regularization
University of California, Berkeley(加州大学伯克利分校)
已知条件生成对抗网络难以训练,特别是当条件是连续的和高维的时。为了部分缓解这一困难,我们提出了一个简单的发电机正则化项的GAN发电机损失的形式Lipschitz惩罚。因此,当生成器被馈送有连续空间中的相邻条件时,正则化项将利用相邻信息并推动生成器生成对于每个相邻条件具有类似条件分布的样本。我们分析了所提出的正则化项的效果,并在一系列合成和现实世界的任务上证明了其鲁棒性能。
2021-03-27 cs.CV cs.LG
Improving brain computer interface performance by data augmentation with conditional Deep Convolutional Generative Adversarial Networks
脑机接口领域的一个很大的限制是训练样本非常有限,很难用这样有限的数据建立一个可靠的可用系统。为了提高卷积神经网络在脑机接口领域中的性能,克服训练数据集小的问题,受生成对抗网络的启发,提出了一种条件深度卷积生成对抗网络(cDCGAN)方法,自动生成更多的人工脑电信号用于数据增强。我们在运动想象的BCI竞争数据集上评估了所提出的cDCGAN方法。实验结果表明,从高斯噪声中生成的人工脑电数据能够学习到原始脑电数据的特征,并且在测试数据集中具有不低于原始脑电数据的分类精度。同时,在训练数据有限的情况下,利用生成的人工数据可以有效地提高同一模型的分类精度。
2018-12-27 cs.HC cs.LG q-bio.NC
Robust Conditional Generative Adversarial Networks
Imperial College London(帝国理工学院)
条件生成对抗网络(cGAN)已经在条件图像生成任务方面取得了很大的改进,这是计算机视觉的核心。到目前为止,主要的重点是性能改进,而在使cGAN对噪声更具鲁棒性方面几乎没有做出任何努力。(发生器的)回归可能会导致输出中的任意大的误差,这使得cGAN对于现实世界的应用程序不可靠。在这项工作中,我们引入了一种新的条件GAN模型,称为RoCGAN,它利用模型的目标空间中的结构来解决这个问题。我们的模型用一个无监督的路径来增强生成器,即使在存在强烈噪声的情况下,它也会促进生成器的输出跨越目标流形。我们证明了RoCGAN具有与GAN相似的理论特性,并通过实验验证了我们的模型在包括自然场景和人脸图像在内的各种领域中的性能都大大优于现有的最先进的cGAN架构。
2019-03-13 cs.AI cs.CV cs.LG
On the Effectiveness of Least Squares Generative Adversarial Networks
City University of Hong Kong(香港城市大学);The Education University of Hong Kong(香港教育大学);Northwestern Polytechnical University(西北工业大学);CodeHatch Corp.(CodeHatch公司)
使用生成对抗网络(GANs)的无监督学习已被证明是非常成功的。常规的GANs假设将神经网络作为具有S形交叉熵损失函数的分类器。然而,我们发现这个损失函数可能会导致学习过程中的梯度消失问题。为了克服这个问题,我们在本文中提出的最小二乘生成对抗网络(LSGANs),采用最小二乘损失的最小二乘为双方的代理和发电机。我们表明,最小化的目标函数的LSGAN产量最小化皮尔逊$χ^2$分歧。我们还表明,派生的目标函数,产生最小化皮尔逊$χ^2$分歧比经典的使用最小二乘分类。与常规GANs相比,LSGAN有两个好处。首先,LSGAN能够生成比常规GANs更高质量的图像。其次,LSGAN在学习过程中表现得更稳定。为了评价图像质量,我们进行了定性和定量的实验,实验结果表明,LSGAN可以生成更高质量的图像比常规的GANs。此外,我们评估了两组LSGAN的稳定性。一个是比较LSGAN和没有梯度惩罚的常规GANs。我们进行了三个实验,包括高斯混合分布,困难的架构,和一个新提出的方法-数据集具有小的变化,以说明LSGAN的稳定性。另一个是对带梯度惩罚的LSGANs-GP和带梯度惩罚的WGANs-GP进行比较。实验结果表明,LSGANs-GP成功地训练了WGANs-GP中使用的所有困难架构,包括101层ResNet。
2018-09-21 cs.CV cs.LG stat.ML
Phase Retrieval Using Conditional Generative Adversarial Networks
Heinrich Heine University Düsseldorf(海因里希·海涅大学)
在本文中,我们提出了应用条件生成对抗网络来解决各种相位恢复问题。我们表明,包括在训练时的测量过程的知识,导致在测试时的优化,是更强大的初始化比现有的方法,涉及生成模型。此外,根据测量值调节发电机网络使我们能够获得更详细的结果。我们的经验表明,这些优势提供了有意义的解决方案的傅立叶和压缩相位恢复问题,我们的方法优于完善的基于投影的方法,以及现有的方法是基于神经网络。与其他深度学习方法一样,我们的方法对噪声非常鲁棒,因此对于现实世界的应用非常有用。
2020-07-08 cs.CV cs.LG eess.IV
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University(克莱姆森大学)
条件生成模型在过去几年中取得了相当大的成功,但通常需要大量的标记数据。最近,聚类器GAN将GAN与编码器相结合,通过无监督条件生成来实现显著的聚类性能。然而,它忽略了数据的真实条件分布,这导致为每个类生成较少多样性的样本,并使编码器只能实现次优聚类性能。在这里,我们提出了一个新的无监督条件生成框架,双循环一致的条件GAN(DC 3-GAN),它可以生成不同的类条件样本。除了生成器-编码器对之外,我们还强制GAN的编码器和生成器形成编码器-生成器对,这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对,它可以间接估计真实的条件分布。同时,该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配,从而将潜在空间分解为两部分:独热离散和连续潜在变量。前者可以直接表示为簇,后者表示剩余的未指定因子。这项工作表明,增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明,该方法优于现有的基于生成模型的聚类方法,同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
Creative Portraiture: Exploring Creative Adversarial Networks and Conditional Creative Adversarial Networks
本文研究DCGAN创意生成局限,探索CAN并提出CCAN,利用WikiArt生成新颖肖像,并支持按风格标签条件化生成,以更贴近人类创作过程。
2024-12-10 cs.CV cs.LG
Token Manipulation Generative Adversarial Network for Text Generation
MaskGAN通过填充给定标记之间的空白来打开条件语言模型的查询。在本文中,我们专注于解决必须指定要填充的空白所造成的限制。我们将条件文本生成问题分解为两个任务,使一个空白和填写空白,并扩展前者处理更复杂的操作给定的令牌。我们将这些任务作为一个分层的多代理RL问题,并引入了一个条件对抗学习,允许代理达到一个目标,在合作环境中产生现实的文本。我们表明,该模型不仅解决了局限性,但也提供了良好的结果,而不影响性能的质量和多样性。
2020-05-11 cs.AI cs.LG stat.ML
Hybrid Adversarial Spectral Loss Conditional Generative Adversarial Networks for Signal Data Augmentation in Ultra-precision Machining Surface Roughness Prediction
The Hong Kong Polytechnic University(香港理工大学)
本文提出HAS-CGAN,通过混合对抗谱损失和傅里叶域优化生成高质量一维力信号,结合加工参数将表面粗糙度预测误差从31.4%降至约9%,有效缓解超精密加工中小数据集带来的数据稀缺问题。
2025-07-07 cs.LG
Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks
DeNA Co., Ltd.(DeNA株式会社)
我们提出了渐进式结构条件生成对抗网络(PSGAN),这是一个新的框架,可以根据结构信息生成全身和高分辨率的字符图像。具有渐进式训练的生成对抗网络的最新进展使得生成高分辨率图像成为可能。然而,现有的方法在同时实现高图像质量和结构一致性方面具有局限性。我们的方法通过在训练过程中逐步提高生成图像和结构条件的分辨率来解决这些限制。在本文中,我们经验证明了这种方法的有效性,显示与现有的方法和视频生成结果的不同动漫人物在1024x1024的目标姿态序列的基础上的比较。我们还使用Unity 3D Avatar模型创建了一个包含全身1024x1024高分辨率图像和精确2D姿势关键点的新数据集。
2018-09-06 cs.CV cs.GR cs.LG
Adversarially Contrastive Estimation of Conditional Neural Processes
The University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
条件神经过程~(CNP)用精确的条件似然来表示函数上的分布并生成函数观测值.然而,CNP对于高维观测具有有限的表达性,因为它们的预测分布被分解为无约束(通常)高斯输出的乘积。以前,这可以使用潜变量或自回归似然来处理,但代价是难以处理的训练和二次增加的复杂性。相反,我们建议除了常规的最大似然估计外,还使用对抗性训练方案来校准CNP。具体来说,我们训练一个基于能量的模型(EBM)与噪声对比估计,它强制EBM从CNP的代识别真实的观察。通过这种方式,CNP必须生成更接近地面实况的预测以欺骗EBM,而不仅仅是相对于固定形式的可能性进行优化。从生成函数重构到下游回归和分类任务,我们证明了我们的方法适合主流CNP成员,在定义无约束高斯似然时显示出有效性,需要最小的计算开销,同时保留CNP的基础属性。
2023-03-23 cs.LG
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University(博阿齐奇大学)
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中,我们提出了一个新的框架,生成对抗网络与条件神经运动原语(GAN-CNMP),它结合了一种新的对抗损失CNMP,以提高草图的平滑性和一致性。通过实验,我们证明了该模型可以用较少的未标记样本进行训练,可以在潜在空间中自动构造分布,并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Crash Data Augmentation Using Conditional Generative Adversarial Networks (CGAN) for Improving Safety Performance Functions
University of Waterloo(滑铁卢大学)
本文提出了一种基于条件生成对抗网络的碰撞频率数据增强方法,以改进碰撞频率模型。所提出的方法进行评估,通过比较性能的基本SPF(使用原始数据开发)和增强SPF(使用原始数据加上合成数据开发)的热点识别性能,模型预测精度,和分散参数估计精度。使用模拟和真实世界的碰撞数据集进行实验。结果表明,CGAN合成的碰撞数据与原始数据具有相同的分布,增强的SPFs在几乎所有方面都优于基本SPFs,特别是当分散参数较低时。
2021-12-21 cs.LG stat.AP
PcDGAN: A Continuous Conditional Diverse Generative Adversarial Network For Inverse Design
Massachusetts Institute of Technology(麻省理工学院);Siemens Corporate Technology(西门子企业技术部)
工程设计任务通常需要综合满足所需性能要求的新设计。传统的设计过程需要迭代优化和性能评估,速度慢,并且依赖于初始设计。过去的工作使用条件生成对抗网络(cGAN)来实现给定目标性能的直接设计合成。然而,大多数现有的cGAN仅限于分类条件。连续条件GAN(Cc GAN)的最新研究试图解决这个问题,但仍然面临两个挑战:1)它在非均匀性能分布上表现不佳,以及2)生成的设计可能无法覆盖整个设计空间。我们提出了一个新的模型,命名为性能条件多样性生成对抗网络(PcDGAN),它引入了一个奇异的邻域损失相结合的一个决定性点过程(DPP)的损失函数,以提高多样性。PcDGAN使用一种新的自我强化评分,称为Lambert对数指数转换评分(LLETS),以改善条件反射。综合问题和真实世界的翼型设计问题的实验表明,PcD GAN优于国家的最先进的GAN模型,并提高了69%,在翼型生成任务和合成条件生成任务的调节可能性高达78%,并实现更大的设计空间覆盖。所提出的方法使有效的设计综合和设计空间探索的应用范围从CAD模型生成到超材料的选择。
2021-06-07 cs.LG
Designing nanophotonic structures using conditional-deep convolutional generative adversarial networks
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
基于深度学习的数据驱动设计方法已被引入纳米光子学,以减少耗时的迭代模拟,这一直是一个重大挑战。在这里,我们报告了第一次使用条件深度卷积生成对抗网络来设计不受预定义形状约束的纳米光子天线。对于给定的输入反射光谱,网络生成图像形式的理想设计;这种形式允许建议不能由结构参数表示的新结构。从生成的设计得到的仿真结果与输入反射谱吻合得很好。这种方法通过提供一种快速方便的方法来设计具有所需光学特性的复杂纳米光子结构,为纳米光子学的发展开辟了新的途径。
2019-03-20 cs.LG physics.optics
A Conditional Adversarial Network for Scene Flow Estimation
深度视频中的场景流估计问题因其在机器人领域的潜在应用而受到机器人视觉研究者的关注。传统的场景流方法由于计算量大而难以应用于实际应用。我们提出了一个用于场景流量估计的条件对抗网络SceneFlowGAN。所提出的SceneFlowGAN在两端使用损失函数:生成器和描述符端。该网络是首次尝试使用生成对抗网络来估计场景流,并且能够同时从输入立体图像中估计光流和视差。该方法在一个大型RGB-D基准场景流数据集上进行了实验。
2019-04-25 cs.CV cs.LG cs.RO
Occluded object reconstruction for first responders with augmented reality glasses using conditional generative adversarial networks
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
消防员遭受各种危及生命的风险,包括执勤死亡,受伤和暴露于危险物质。支持减少这些风险是重要的。我们建立了一个部分闭塞的对象重建方法的增强现实眼镜的第一反应。我们使用基于条件生成对抗网络的深度学习来训练易燃和危险物体的各种图像与其部分遮挡的对应物之间的关联。然后,我们的系统重建了新易燃物体的图像。最后,将重建图像叠加在输入图像上以提供“透明度”。该系统通过学习易燃物体的形状和火焰特性,模仿人类通过经验学习物理定律。
2018-04-20 cs.CV cs.LG
Supervised Anomaly Detection via Conditional Generative Adversarial Network and Ensemble Active Learning
Southwestern University of Finance and Economics(西南财经大学);Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学)
异常检测在机器智能中有着广泛的应用,但仍然是一个尚未解决的难题。主要的挑战包括标记异常的罕见性,这是一类高度不平衡的问题。传统的无监督异常检测器是次优的,而监督模型可以很容易地对正常数据进行有偏的预测。本文通过引入新型集成主动学习生成对抗网络(EAL-GAN),提出了一种新的有监督异常检测器。EAL-GAN是一种条件GAN,具有唯一的一个生成器对多个鉴别器架构,其中异常检测由鉴别器的辅助分类器实现。除了使用条件GAN生成类平衡的补充训练数据外,还设计了一种创新的集成学习损失函数,确保每个类的学习都能弥补其他类的学习不足,以克服类不平衡问题,并引入主动学习算法,以显著降低标注真实世界数据的成本。我们提出了广泛的实验结果表明,新的异常检测器始终优于各种SOTA方法的显着利润率。代码可以在Github上找到。
2021-04-24 cs.LG
Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.(三星半导体公司)
本文提出了一种新的不使用训练数据训练条件生成对抗网络(CGAN)的方法,称为CGAN的零样本学习(Z-CGAN)。条件生成器的零样本学习只需要预先训练的判别(分类)模型,而不需要任何训练数据。具体地,条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比,通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
Painting on Placement: Forecasting Routing Congestion using Conditional Generative Adversarial Nets
Cornell University(康奈尔大学)
对于大型设计,物理设计过程通常需要花费数小时到数天的时间,而布线被认为是最关键的步骤。对精确路由质量预测的需求提高到一个新的水平,以加速先进技术节点的硬件创新。这项工作提出了一种方法,预测密度的所有路由通道在整个平面图,功能收集到放置,使用条件GANs。具体地说,预测路由拥塞被构造为一个图像翻译(着色)问题。所提出的方法被应用到a)最小拥塞的布局探索,b)受约束的布局探索和c)在增量布局过程中实时预测拥塞,使用八个设计针对一个固定的FPGA架构。
2019-04-15 cs.CV cs.LG
Deep Learning Convective Flow Using Conditional Generative Adversarial Networks
Carnegie Mellon University(卡内基梅隆大学)
本文提出FluidGAN,一个数据驱动的条件生成对抗网络框架,用于学习和预测与能量传输耦合的对流流动,无需物理先验知识,并捕捉速度、压力与温度场的耦合。
2023-06-18 cs.LG physics.comp-ph physics.flu-dyn
Image Manipulation with Natural Language using Two-sidedAttentive Conditional Generative Adversarial Network
Saarland University(萨尔大学)
使用照片编辑工具更改图像的内容对于没有经验的用户来说是一项繁琐的任务。特别是,当修改图像中的特定对象的视觉属性而不影响其他成分,如背景等,以简化图像操作的过程,并提供更多的控制给用户,最好是利用一个更简单的接口,如自然语言。因此,在本文中,我们解决的挑战,操纵图像使用自然语言描述。我们提出了双边缘注意条件生成对抗网络(TEA-cGAN)来生成语义操纵的图像,同时保留其他内容,如背景完整。TEA-cGAN在基于生成对抗网络(GAN)的框架的生成器和搜索引擎中以不同的尺度使用细粒度注意力。实验结果表明,TEA-cGAN生成的128 x128和256 x256分辨率图像在CUB和Oxford-102数据集上的定量和定性性能均优于现有方法。
2019-12-16 cs.CL cs.CV cs.LG
Procedural content generation of puzzle games using conditional generative adversarial networks
IT University of Copenhagen(哥本哈根信息技术大学)
本文提出使用参数化GANs为益智游戏Lily's Garden生成关卡,通过提取两个条件向量控制输出细节,发现GANs能较好近似地图形状但难以近似棋子分布,并建议尝试替代架构以改善此问题。
2023-06-26 cs.AI cs.LG
Normative Modeling via Conditional Variational Autoencoder and Adversarial Learning to Identify Brain Dysfunction in Alzheimer's Disease
Lehigh University(利哈伊大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院)
规范模型是一种新兴的和有前途的方法,有效地研究个体参与者的障碍异质性。在这项研究中,我们提出了一种新的规范建模方法,结合条件变分自编码器与对抗学习(ACVAE),以识别阿尔茨海默病(AD)的脑功能障碍。具体而言,我们首先对健康对照(HC)组进行条件VAE训练,以创建以年龄、性别和颅内体积等协变量为条件的规范模型。然后,我们结合了一个对抗性训练过程来构建一个可以更好地推广到未知数据的判别特征空间。最后,我们在患者水平上计算与正常标准的偏差,以确定哪些大脑区域与AD相关。我们在OASIS-3数据库上的实验表明,与其他深度规范模型相比,我们的模型生成的偏差图对AD表现出更高的敏感性,并且能够更好地识别AD和HC组之间的差异。
2022-11-13 cs.AI cs.LG q-bio.QM
Emotion Detection Using Conditional Generative Adversarial Networks (cGAN): A Deep Learning Approach
本文提出基于条件生成对抗网络(cGAN)的多模态情感检测方法,整合文本、音频和面部表情,生成合成数据提升分类准确性,显著优于基线模型,增强人机交互的情感理解。
2025-08-06 cs.HC cs.LG cs.NE
Re-designing cities with conditional adversarial networks
University College London (UCL)(伦敦大学学院)
本文介绍了一种条件生成对抗网络,通过生成1)城市干预政策,2)需要干预的地方的注意力地图,3)实施干预后的高分辨率街道级图像(1024 X 1024或1536 X 1536)来重新设计城市场景的街道级图像。我们还介绍了一个新的数据集,其中包括对齐的街道级图像之前和之后的城市干预措施,从现实生活中的场景,使这项研究成为可能。所介绍的方法已在应用于逼真图像的不同范围的城市干预上进行了训练。经过训练的模型在重新建模城市方面表现出强大的性能,优于在单个GPU中计算的其他领域中应用图像到图像转换的现有方法。这项研究为机器智能在基于对抗学习的重新思考和重新设计城市的不同属性方面发挥作用打开了大门,超越了面部地标操作或语义分割图像合成的主流。
2021-04-14 cs.AI cs.CV cs.LG
A Progressive Conditional Generative Adversarial Network for Generating Dense and Colored 3D Point Clouds
University of Texas at Arlington(得克萨斯大学阿灵顿分校)
在本文中,我们介绍了一种新的条件生成对抗网络,它可以以无监督的方式为各类对象创建密集的3D点云。为了克服在高分辨率下捕获复杂细节的困难,我们提出了一个点Transformer,它通过使用图形卷积来逐步增长网络。该网络由一个叶输出层和一组初始分支组成。每次训练迭代都将点向量演化为分辨率不断提高的点云。在固定次数的迭代之后,通过复制最后一个分支来增加分支的数量。实验结果表明,我们的网络能够学习和模仿3D数据分布,并在多个分辨率下生成具有精细细节的彩色点云。
2020-10-12 cs.AI cs.CV cs.LG
Conditional Generative Adversarial Networks for Speech Enhancement and Noise-Robust Speaker Verification
Aalborg University(奥尔堡大学)
提高语音系统在噪声环境中的性能一直是一个具有挑战性的课题,而语音增强(SE)是解决这一问题的有效技术之一。受生成对抗网络(GANs)在各种图像处理任务中的良好结果的启发,我们探索了条件GANs(cGANs)用于SE的潜力,特别是,我们利用Isola等人提出的图像处理框架。[1]学习从噪声语音的频谱图到增强对应物的映射。SE cGAN由两个网络组成,以对抗的方式进行训练:一个生成器试图增强输入的噪声频谱图,另一个生成器试图区分生成器提供的增强频谱图和使用噪声频谱图作为条件的数据库中的干净频谱图。我们在语音质量的感知评估(PESQ),短时客观可懂度(STOI)和说话人验证的等错误率(EER)(示例应用)方面评估了cGAN方法的性能。实验结果表明,cGAN方法的整体性能优于经典的短时谱幅度最小均方误差(STSA-MMSE)SE算法,并且与基于深度神经网络的SE方法(DNN-SE)相当。
2017-09-07 cs.LG cs.SD eess.AS
Toward Generating Synthetic CT Volumes using a 3D-Conditional Generative Adversarial Network
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);National Institutes of Health Clinical Center(美国国立卫生研究院临床中心);Networking Health;OpenKneck Inc(OpenKneck公司)
我们提出了一种新的条件生成对抗网络(cGAN)架构,该架构能够从噪声和/或像素化近似中生成体素中的3D计算机断层扫描,并有可能生成完整的合成3D扫描体积。我们认为条件cGAN是一种生成3D CT体积的易处理方法,尽管由于GPU内存限制,生成全分辨率深度伪影的问题目前是不切实际的。我们提出了自动编码器,去噪和去像素化任务的结果,这些任务在两个新的COVID 19 CT数据集上进行了训练和测试。我们的评估指标,峰值信噪比(PSNR)范围从12.53 - 46.46 dB,结构相似性指数(SSIM)范围从0.89到1。
2021-04-02 cs.CV cs.LG eess.IV
Conditional Progressive Generative Adversarial Network for satellite image generation
CERN(欧洲核子研究组织);United Nations Satellite Centre (UNOSAT)(联合国卫星中心)
由于机器学习算法能够真实地替换丢失的像素,图像生成和图像完成是快速发展的领域。然而,生成具有大量细节的大的高分辨率图像提出了重要的计算挑战。在这项工作中,我们制定的图像生成任务完成的三个角之一是失踪的图像。然后,我们扩展了这种方法,以迭代方式构建具有相同细节水平的更大图像。我们的目标是获得一个可扩展的方法来生成高分辨率的样本通常在卫星图像数据集。我们引入了一个条件渐进生成对抗网络(GAN),它使用Wasserstein自动编码器在潜在向量中编码的三个初始相邻瓦片作为输入,生成图像中丢失的瓦片。我们专注于一组图像使用的联合国卫星中心(联合国组织卫星)的训练洪水探测工具,并验证合成图像的质量在现实的设置。
2022-11-28 cs.CV cs.LG
RADIOGAN: Deep Convolutional Conditional Generative adversarial Network To Generate PET Images
General Electric Healthcare(通用电气医疗集团);University of Rouen(鲁昂大学);Henri Becquerel Center(亨利·贝克勒尔中心)
医学成像最大的挑战之一是缺乏数据。事实证明,经典的数据增强方法是有用的,但仍然有限,由于图像中的巨大变化。使用生成对抗网络(GAN)是解决这个问题的一种有前途的方法,然而,训练一个模型来生成不同类别的病变是具有挑战性的。在本文中,我们提出了一种深度卷积条件生成对抗网络来生成MIP正电子发射断层扫描图像(PET),这是一种表示3D体积的2D图像,可根据不同的病变或非病变(正常)进行快速解释。我们所提出的方法的优点包括一个模型,该模型能够生成不同类别的病变,并显示出非常有前途的结果。此外,我们表明,步行通过一个潜在的空间可以被用来作为一种工具来评估所生成的图像。
2020-03-19 cs.CV cs.LG eess.IV
CDCGen: Cross-Domain Conditional Generation via Normalizing Flows and Adversarial Training
University of California, Berkeley(加州大学伯克利分校)
如何为一个域生成有条件的合成数据,而不利用关于其标签/属性的信息?我们的工作为上述问题提供了一个解决方案。我们提出了一个基于迁移学习的框架,利用归一化流,再加上最大似然和对抗训练。我们用单独的归一化流对源域(标签可用)和目标域(标签不可用)进行建模,并使用对抗性鉴别器对公共潜在空间进行域对齐。由于流模型的可逆性,该映射具有精确的循环相容性。我们还通过采用编码器将属性映射到潜在空间来学习源域中数据样本和属性的联合分布。在合成阶段,给定任何属性组合,我们的方法可以在目标域中生成以它们为条件的合成样本。实证研究证实了我们的方法对基准数据集的有效性。我们设想我们的方法是特别有用的合成数据生成标签稀缺系统通过生成非平凡的扩增通过属性转换。这些合成样本将比它们的几何和光度变换对应物向标签稀缺域引入更多的熵,这有助于稳健的下游任务。
2021-08-25 cs.CV cs.LG
Generative Adversarial Networks and Conditional Random Fields for Hyperspectral Image Classification
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);Xiamen University(厦门大学)
在本文中,我们使用基于生成对抗网络和条件随机场(GAN-CRF)的框架来解决高光谱图像(HSI)分类任务,该框架集成了半监督深度学习和概率图形模型,并做出了三个贡献。首先,我们设计了四种类型的卷积层和转置卷积层,这些卷积层考虑了HSI的特征,以帮助从有限数量的标记HSI样本中提取区分特征。其次,我们构建了半监督GANs,通过向它们添加标签来缓解训练样本的不足,并通过对抗训练隐式地重建真实的HSI数据分布。第三,我们在随机变量之上构建密集条件随机场(CRF),这些随机变量被初始化为训练GANs的softmax预测,并以HSI为条件来细化分类图。这种半监督框架通过博弈论方法利用了判别模型和生成模型的优点。此外,尽管我们使用了来自两个最具挑战性和广泛研究的数据集的非常少量的标记训练HSI样本,但实验结果表明,频谱空间GAN-CRF(SS-GAN-CRF)模型在半监督HSI分类中达到了最高的准确性。
2019-05-12 cs.CV cs.LG eess.IV
Conditional Generative Adversarial Networks Based Inertial Signal Translation
Institute of Radioelectronics(无线电电子学研究所);Warsaw University of Technology(华沙技术大学)
本研究提出基于条件生成对抗网络的惯性信号转换方法,将腕戴传感器信号转为鞋载传感器信号,验证了不同GAN与生成器架构的效果,实现精准转换以支持日常步态分析。
2025-08-16 cs.LG eess.SP
Enhancing Stability in Training Conditional Generative Adversarial Networks via Selective Data Matching
Pusan National University(釜山大学);NHN Cloud(NHN云);Sogang University(西江大学)
本文提出选择性聚焦学习,通过按判别器条件项得分选择样本,仅对高分样本应用条件匹配,其余用联合匹配,在多个数据集上显著提升cGAN训练稳定性(FID最高改善35.18%)。
2024-09-19 cs.AI cs.LG
Motion Generation Considering Situation with Conditional Generative Adversarial Networks for Throwing Robots
Saitama University(埼玉大学);Preferred Networks(Preferred Networks公司)
当机器人在杂乱的环境中工作时,运动的约束经常变化,即使对于相同的任务,所需的动作也会发生变化。然而,从直接计算规划复杂的运动具有导致性能差的局部最优的风险。此外,机器学习方法通常需要针对新情况进行重新学习。在本文中,我们提出了一种通过使用条件生成对抗网络(cGAN)来搜索适当运动的方法,cGAN可以通过模仿训练数据集来生成基于条件的运动。通过为任务训练具有各种运动的cGAN,其潜在空间由任务的有效运动来实现。通过搜索训练cGAN的潜在空间而不是运动空间,可以有效地找到合适的运动,同时避免不良的局部最优。我们证明了所提出的方法成功地工作在数值模拟和真实的机器人实验中的对象投掷任务给定的目标位置。该方法比直接搜索动作空间的精度高3倍,计算时间快2.5倍。
2019-10-08 cs.LG cs.RO
Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
条件生成对抗网络(cGAN)被设计为基于所提供的条件\eg、类级分布来生成图像。然而,现有的方法对所有类使用相同的生成架构。本文提出了一种新的思想,采用NAS为每个类找到一个不同的体系结构。搜索空间包含规则卷积和类调制卷积,其中后者被设计为引入类特定信息,同时避免减少每个类生成器的训练数据。搜索算法遵循混合架构优化的权重共享流水线,使得搜索成本不会随着类的数量而增长。为了学习采样策略,将马尔可夫决策过程嵌入到搜索算法中,并应用移动平均以获得更好的稳定性。我们在CIFAR10和CIFAR100上评估我们的方法。除了在FID分数方面实现更好的图像生成质量外,我们还发现了一些有助于设计cGAN模型的见解。代码可在https://github.com/PeterouZh/NAS_cGAN上获得。
2021-04-06 cs.CV cs.LG
Robust Conditional GAN from Uncertainty-Aware Pairwise Comparisons
Rutgers University(罗格斯大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校);Tencent YouTu Lab(腾讯优图实验室);JD Finance America Corporation(京东金融美国公司)
在过去的几年里,条件生成对抗网络表现出了卓越的生成性能。然而,它们需要大量的注释。为了解决这个问题,我们提出了一种新的生成对抗网络,利用成对比较(PC-GAN)形式的弱监督进行图像属性编辑。通过贝叶斯不确定性估计和抗噪对抗训练,PC-GAN能够有效地估计属性等级,并具有较强的抗噪能力。通过大量的实验,我们定性和定量地证明了PC-GAN在完全监督的方法下表现出色,并且优于无监督的基线。
2020-03-05 cs.CV cs.LG
Parallel waveform synthesis based on generative adversarial networks with voicing-aware conditional discriminators
1 LINE Corp., Tokyo, Japan 2 NAVER Corp., Seongnam, Korea 3 Search Solutions Inc., Seongnam, Korea
本文提出了基于并行WaveGAN的波形合成系统中的感知条件鉴别器。在这个框架中,我们采用了一种基于投影的条件反射方法,可以显着提高神经网络的性能。此外,传统的波形鉴别器被分成两个波形鉴别器,用于建模有声和无声语音。随着每个训练器分别学习谐波和噪声分量的独特特征,对抗训练过程变得更加有效,使生成器能够产生更逼真的语音波形。主观测试结果表明,该方法优于传统的并行Wavegan和WaveNet系统。特别是,我们在基于FastSpeech 2的文本到语音框架内独立于说话者训练的模型分别为四名日语发言者获得了4.20,4.18,4.21和4.31的平均意见得分。
2021-04-26 cs.LG cs.SD eess.AS
Semantic Segmentation of Medium-Resolution Satellite Imagery using Conditional Generative Adversarial Networks
Radiant Earth Foundation(Radiant Earth基金会);Benson Hill(Benson Hill公司);Sunbird AI(Sunbird AI公司)
卫星图像的语义分割是识别模式和检测地球周围变化的常用方法。大多数最先进的语义分割模型都是使用卷积神经网络(CNN)以完全监督的方式进行训练的。对于卫星图像,CNN的泛化性能较差,因为数据在景观类型、图像分辨率以及不同地理和季节的标签稀缺性方面可能非常多样化。因此,CNN的性能并不能很好地转化为来自看不见的地区或季节的图像。受基于条件生成对抗网络(CGAN)的高分辨率卫星影像图像间转换方法的启发,提出了一种基于CGAN的中分辨率Sentinel-2影像土地覆盖分类框架。我们发现,CGAN模型优于CNN模型的相似的复杂性的显着保证金上看不见的不平衡的测试数据集。
2020-12-05 cs.CV cs.LG eess.IV
HumanACGAN: conditional generative adversarial network with human-based auxiliary classifier and its evaluation in phoneme perception
The University of Tokyo(东京大学);National Institute of Technology, Tokuyama College(德山工业高等专门学校);University of Tsukuba(筑波大学)
我们提出了一个条件生成对抗网络(GAN),结合人类的感知评价。基于深度神经网络(DNN)的GAN生成器可以准确地表示真实数据分布,但永远无法表示人类可接受的分布,这些分布是人类接受自然性的数据范围,而不管数据是否真实。提出了一个HumanGAN来模拟人类可接受的分布。基于DNN的生成器使用基于人类的训练器来训练,即,人类的感知评估,而不是GAN的基于DNN的评估。但是,HumanGAN不能表示条件分布。本文提出了HumanACGAN,HumanGAN的理论扩展,处理条件人类可接受的分布。我们的HumanACGAN通过将人类不仅视为机器人,而且还视为辅助分类器来训练基于DNN的条件生成器。该生成器通过欺骗基于人类的分类器和基于人类的分类器来训练,其中基于人类的分类器对无条件自然性进行评分,基于人类的分类器对类条件感知可接受性进行评分。训练可以使用涉及人类感知评估的反向传播算法来执行。我们在音素感知上的实验结果表明,我们的HumanACGAN可以成功地训练这个条件生成器。
2021-02-08 cs.HC cs.LG cs.SD