Towards Recovery of Conditional Vectors from Conditional Generative Adversarial Networks
条件生成对抗网络允许生成以某些外部信息为条件的样本。能够从条件GAN恢复潜在和条件向量在各种应用中可能是有价值的,从用于娱乐目的的图像操纵到用于安全目的的神经网络的诊断。在这项工作中,我们表明,它是可能的,以恢复潜在的和条件向量从生成的图像给定的生成器的条件生成对抗网络。由于深度神经网络通常具有多层非线性,因此这种恢复并非微不足道。此外,这种恢复应用于实际的自然图像的效果进行了研究。我们发现,生成的图像和真实图像的恢复性能之间存在差距,我们认为这是由于生成的数据分布和真实数据分布之间的差异。实验进行了评估恢复的条件向量和重建图像从这些恢复的矢量定量和定性,显示出可喜的成果。
2017-12-06 cs.CV cs.LG
Generating Adversarial Examples With Conditional Generative Adversarial Net
近年来,深度神经网络在各个领域都取得了重大进展和成功应用,但发现它们容易受到攻击实例的攻击,例如,敌对的例子。现有的攻击方法可以通过向源图像添加小的扰动来生成攻击图像。这些攻击图像可以欺骗分类器,但对人的影响很小。因此,这样的攻击实例难以通过搜索特征空间来生成。如何设计一种有效的、鲁棒的生成方法已成为研究的热点。受对抗实例的启发,本文提出了两种新的生成模型,采用条件生成对抗网络,设计了不同的训练策略,直接生成自适应攻击实例。与常用的方法如快速梯度符号法相比,该模型可以降低生成成本,提高鲁棒性,并且生成攻击实例的运行时间约为五分之一。
2019-03-18 cs.LG stat.ML
Anomaly Detection of Adversarial Examples using Class-conditional Generative Adversarial Networks
Pennsylvania State University(宾夕法尼亚州立大学)
深度神经网络(DNN)已被证明容易受到测试时规避攻击(TTE或对抗性示例)的影响,这些攻击通过对输入进行微小的更改,改变DNN的决策。我们提出了一种基于类条件生成对抗网络(GANs)的DNN分类器的无监督攻击检测器。我们通过辅助分类器GAN(AC-GAN)对预测类标签条件下的干净数据的分布进行建模。给定测试样本及其预测类,基于AC-GAN生成器和鉴别器计算三个检测统计量。在各种TTE攻击下的图像分类数据集上的实验表明,该方法优于以往的检测方法。我们还研究了使用不同DNN层(输入特征或内部层特征)进行异常检测的有效性,并证明,正如人们所料,使用更接近DNN输出层的特征更难检测到异常。
2022-05-12 cs.LG eess.IV
Continuous Conditional Generative Adversarial Networks (cGAN) with Generator Regularization
University of California, Berkeley(加州大学伯克利分校)
已知条件生成对抗网络难以训练,特别是当条件是连续的和高维的时。为了部分缓解这一困难,我们提出了一个简单的发电机正则化项的GAN发电机损失的形式Lipschitz惩罚。因此,当生成器被馈送有连续空间中的相邻条件时,正则化项将利用相邻信息并推动生成器生成对于每个相邻条件具有类似条件分布的样本。我们分析了所提出的正则化项的效果,并在一系列合成和现实世界的任务上证明了其鲁棒性能。
2021-03-27 cs.CV cs.LG
Creative Portraiture: Exploring Creative Adversarial Networks and Conditional Creative Adversarial Networks
本文研究DCGAN创意生成局限,探索CAN并提出CCAN,利用WikiArt生成新颖肖像,并支持按风格标签条件化生成,以更贴近人类创作过程。
2024-12-10 cs.CV cs.LG
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University(博阿齐奇大学)
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中,我们提出了一个新的框架,生成对抗网络与条件神经运动原语(GAN-CNMP),它结合了一种新的对抗损失CNMP,以提高草图的平滑性和一致性。通过实验,我们证明了该模型可以用较少的未标记样本进行训练,可以在潜在空间中自动构造分布,并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Hybrid Adversarial Spectral Loss Conditional Generative Adversarial Networks for Signal Data Augmentation in Ultra-precision Machining Surface Roughness Prediction
The Hong Kong Polytechnic University(香港理工大学)
本文提出HAS-CGAN,通过混合对抗谱损失和傅里叶域优化生成高质量一维力信号,结合加工参数将表面粗糙度预测误差从31.4%降至约9%,有效缓解超精密加工中小数据集带来的数据稀缺问题。
2025-07-07 cs.LG
Adversarially Contrastive Estimation of Conditional Neural Processes
The University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
条件神经过程~(CNP)用精确的条件似然来表示函数上的分布并生成函数观测值.然而,CNP对于高维观测具有有限的表达性,因为它们的预测分布被分解为无约束(通常)高斯输出的乘积。以前,这可以使用潜变量或自回归似然来处理,但代价是难以处理的训练和二次增加的复杂性。相反,我们建议除了常规的最大似然估计外,还使用对抗性训练方案来校准CNP。具体来说,我们训练一个基于能量的模型(EBM)与噪声对比估计,它强制EBM从CNP的代识别真实的观察。通过这种方式,CNP必须生成更接近地面实况的预测以欺骗EBM,而不仅仅是相对于固定形式的可能性进行优化。从生成函数重构到下游回归和分类任务,我们证明了我们的方法适合主流CNP成员,在定义无约束高斯似然时显示出有效性,需要最小的计算开销,同时保留CNP的基础属性。
2023-03-23 cs.LG
Crash Data Augmentation Using Conditional Generative Adversarial Networks (CGAN) for Improving Safety Performance Functions
University of Waterloo(滑铁卢大学)
本文提出了一种基于条件生成对抗网络的碰撞频率数据增强方法,以改进碰撞频率模型。所提出的方法进行评估,通过比较性能的基本SPF(使用原始数据开发)和增强SPF(使用原始数据加上合成数据开发)的热点识别性能,模型预测精度,和分散参数估计精度。使用模拟和真实世界的碰撞数据集进行实验。结果表明,CGAN合成的碰撞数据与原始数据具有相同的分布,增强的SPFs在几乎所有方面都优于基本SPFs,特别是当分散参数较低时。
2021-12-21 cs.LG stat.AP
PcDGAN: A Continuous Conditional Diverse Generative Adversarial Network For Inverse Design
Massachusetts Institute of Technology(麻省理工学院);Siemens Corporate Technology(西门子企业技术部)
工程设计任务通常需要综合满足所需性能要求的新设计。传统的设计过程需要迭代优化和性能评估,速度慢,并且依赖于初始设计。过去的工作使用条件生成对抗网络(cGAN)来实现给定目标性能的直接设计合成。然而,大多数现有的cGAN仅限于分类条件。连续条件GAN(Cc GAN)的最新研究试图解决这个问题,但仍然面临两个挑战:1)它在非均匀性能分布上表现不佳,以及2)生成的设计可能无法覆盖整个设计空间。我们提出了一个新的模型,命名为性能条件多样性生成对抗网络(PcDGAN),它引入了一个奇异的邻域损失相结合的一个决定性点过程(DPP)的损失函数,以提高多样性。PcDGAN使用一种新的自我强化评分,称为Lambert对数指数转换评分(LLETS),以改善条件反射。综合问题和真实世界的翼型设计问题的实验表明,PcD GAN优于国家的最先进的GAN模型,并提高了69%,在翼型生成任务和合成条件生成任务的调节可能性高达78%,并实现更大的设计空间覆盖。所提出的方法使有效的设计综合和设计空间探索的应用范围从CAD模型生成到超材料的选择。
2021-06-07 cs.LG
Diversity-Sensitive Conditional Generative Adversarial Networks
University of Michigan(密歇根大学);Google Brain(谷歌大脑)
我们提出了一种简单而高效的方法,解决了条件生成对抗网络(cGAN)中的模式崩溃问题。虽然条件分布是多模态的(即,在实践中,大多数cGAN方法倾向于学习过度简化的分布,其中输入总是被映射到单个输出,而不管潜在代码的变化。为了解决这个问题,我们建议显式地正则化生成器,以根据潜在代码产生不同的输出。所提出的正则化是简单的,一般的,并且可以很容易地集成到大多数条件GAN目标。此外,生成器上的显式正则化允许我们的方法控制视觉质量和多样性之间的平衡。我们证明了我们的方法在三个条件生成任务:图像到图像的翻译,图像修补,和未来的视频预测的有效性。我们表明,简单地将我们的正则化添加到现有模型中会导致令人惊讶的多样化生成,大大优于以前在每个单独任务中专门设计的多模态条件生成方法。
2019-01-25 cs.LG stat.ML
Mixture Density Conditional Generative Adversarial Network Models (MD-CGAN)
University of Oxford(牛津大学);Oxford-Man Institute of Quantitative Finance(牛津-曼量化金融研究所)
生成对抗网络(GANs)近年来受到了极大的关注,特别是在计算机视觉中的应用令人印象深刻。然而,与这些例子相比,GANs在时间序列建模(包括预测)方面的应用更为有限。在这项工作中,我们提出了混合密度条件生成对抗模型(MD-CGAN),重点是时间序列预测。我们表明,我们的模型是能够估计的概率后验分布的预测,并在一组基准方法相比,MD-CGAN模型表现良好,特别是在噪声是一个重要组成部分的情况下观察到的时间序列。此外,通过使用高斯混合模型作为输出分布,MD-CGAN提供了非高斯的后验预测。
2020-12-04 cs.LG stat.ML
Bidirectional Conditional Generative Adversarial Networks
USC Information Sciences Institute(南加州大学信息科学研究所)
条件生成对抗网络(cGAN)是生成模型,其可以产生以潜在变量($z$)和已知辅助信息($c$)为条件的数据样本($x$)。我们提出了双向cGAN(BiCoGAN),其在生成过程中有效地解开$z$和$c$,并提供了一个编码器,该编码器学习从$x$到$z$和$c$的逆映射,与生成器和训练器联合训练。我们提出了训练BiCoGAN的关键技术,其中涉及外在因素损失以及相关的动态调整的重要性权重。与其他基于编码器的cGAN相比,BiCoGAN更准确地编码$c$,并且更有效地利用$z$和$c$,并且以更不纠缠的方式生成样本。
2018-11-03 cs.LG stat.ML
A Conditional Adversarial Network for Scene Flow Estimation
深度视频中的场景流估计问题因其在机器人领域的潜在应用而受到机器人视觉研究者的关注。传统的场景流方法由于计算量大而难以应用于实际应用。我们提出了一个用于场景流量估计的条件对抗网络SceneFlowGAN。所提出的SceneFlowGAN在两端使用损失函数:生成器和描述符端。该网络是首次尝试使用生成对抗网络来估计场景流,并且能够同时从输入立体图像中估计光流和视差。该方法在一个大型RGB-D基准场景流数据集上进行了实验。
2019-04-25 cs.CV cs.LG cs.RO
Designing nanophotonic structures using conditional-deep convolutional generative adversarial networks
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
基于深度学习的数据驱动设计方法已被引入纳米光子学,以减少耗时的迭代模拟,这一直是一个重大挑战。在这里,我们报告了第一次使用条件深度卷积生成对抗网络来设计不受预定义形状约束的纳米光子天线。对于给定的输入反射光谱,网络生成图像形式的理想设计;这种形式允许建议不能由结构参数表示的新结构。从生成的设计得到的仿真结果与输入反射谱吻合得很好。这种方法通过提供一种快速方便的方法来设计具有所需光学特性的复杂纳米光子结构,为纳米光子学的发展开辟了新的途径。
2019-03-20 cs.LG physics.optics
Causal Adversarial Network for Learning Conditional and Interventional Distributions
Arizona State University(亚利桑那州立大学);Army Research Lab(陆军研究实验室)
我们提出了一个生成式因果对抗网络(CAN),用于从条件和干预分布中学习和采样。与需要给出因果图的现有CauseGAN相比,我们提出的框架从数据中学习因果关系并相应地生成样本。建议的CAN包括一个双重的过程,即标签生成网络(LGN)和条件图像生成网络(CIGN)。LGN是一种基于GAN的架构,它通过标签从因果模型中学习和采样。然后将采样的标签馈送到CIGN,CIGN是一种条件GAN架构,它学习标签和像素以及像素本身之间的关系,并基于它们生成样本。该框架配备了干预机制,可以实现。该模型用于从介入分布生成样本。我们定量和定性地评估CAN的性能,并根据经验表明,我们的模型能够生成干预性和条件性样本,而无需访问CelebA数据上人脸生成应用的因果图。
2020-09-21 cs.LG stat.ML
Segmentation-guided Domain Adaptation and Data Harmonization of Multi-device Retinal Optical Coherence Tomography using Cycle-Consistent Generative Adversarial Networks
Simon Fraser University(西蒙弗雷泽大学);Wake Forest University School of Medicine(维克森林大学医学院);Wake Forest School of Medicine(维克森林大学医学院);University of Nottingham(诺丁汉大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Memorial University of Newfoundland(纽芬兰纪念大学);University of British Columbia(不列颠哥伦比亚大学);The University of British Columbia(不列颠哥伦比亚大学);University College London(伦敦大学学院)
光学相干断层扫描(OCT)是一种以微米级分辨率捕获视网膜横截面积的非侵入性技术。它已被广泛用作检测眼部相关病理和预测疾病特征纵向进展的辅助成像参考。视网膜层分割是关键的特征提取技术之一,其中视网膜层厚度的变化和由于流体的存在而导致的视网膜层变形与多种流行性眼病如糖尿病视网膜病变(DR)和视网膜相关黄斑变性(AMD)高度相关。然而,这些图像是从具有不同强度分布的不同设备获取的,或者换句话说,属于不同的成像域。本文提出了一种分割引导的域自适应方法,将来自多个设备的图像适应到单个图像域,其中最先进的预训练分割模型可用。它避免了为即将到来的新数据集手动标记和重新训练现有网络的时间消耗。网络的语义一致性和全局特征一致性将最大限度地减少许多研究人员报告的关于循环一致生成对抗网络(CycleGAN)架构的幻觉效应。
2022-08-31 cs.CV cs.LG eess.IV
Occluded object reconstruction for first responders with augmented reality glasses using conditional generative adversarial networks
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
消防员遭受各种危及生命的风险,包括执勤死亡,受伤和暴露于危险物质。支持减少这些风险是重要的。我们建立了一个部分闭塞的对象重建方法的增强现实眼镜的第一反应。我们使用基于条件生成对抗网络的深度学习来训练易燃和危险物体的各种图像与其部分遮挡的对应物之间的关联。然后,我们的系统重建了新易燃物体的图像。最后,将重建图像叠加在输入图像上以提供“透明度”。该系统通过学习易燃物体的形状和火焰特性,模仿人类通过经验学习物理定律。
2018-04-20 cs.CV cs.LG
Conditional Independence Testing using Generative Adversarial Networks
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);University of California Los Angeles(加州大学洛杉矶分校)
我们考虑检测条件依赖的假设检验问题,重点是高维特征空间。我们的贡献是一个新的检验统计量,基于生成对抗网络的样本,旨在直接近似编码原假设的条件分布,以最大化功率(真阴性率)的方式。我们表明,这样的方法只需要密度近似是可行的,以确保我们控制第一类错误(误报率),特别是,没有假设需要作出的形式的分布或功能依赖。使用合成模拟与高维数据,我们证明了显着的收益,在竞争的方法的权力。此外,我们还说明了使用我们的测试来发现遗传数据中疾病的因果标记。
2019-12-18 cs.LG stat.ML
Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.(三星半导体公司)
本文提出了一种新的不使用训练数据训练条件生成对抗网络(CGAN)的方法,称为CGAN的零样本学习(Z-CGAN)。条件生成器的零样本学习只需要预先训练的判别(分类)模型,而不需要任何训练数据。具体地,条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比,通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
Supervised Anomaly Detection via Conditional Generative Adversarial Network and Ensemble Active Learning
Southwestern University of Finance and Economics(西南财经大学);Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学)
异常检测在机器智能中有着广泛的应用,但仍然是一个尚未解决的难题。主要的挑战包括标记异常的罕见性,这是一类高度不平衡的问题。传统的无监督异常检测器是次优的,而监督模型可以很容易地对正常数据进行有偏的预测。本文通过引入新型集成主动学习生成对抗网络(EAL-GAN),提出了一种新的有监督异常检测器。EAL-GAN是一种条件GAN,具有唯一的一个生成器对多个鉴别器架构,其中异常检测由鉴别器的辅助分类器实现。除了使用条件GAN生成类平衡的补充训练数据外,还设计了一种创新的集成学习损失函数,确保每个类的学习都能弥补其他类的学习不足,以克服类不平衡问题,并引入主动学习算法,以显著降低标注真实世界数据的成本。我们提出了广泛的实验结果表明,新的异常检测器始终优于各种SOTA方法的显着利润率。代码可以在Github上找到。
2021-04-24 cs.LG
Estimation with Uncertainty via Conditional Generative Adversarial Networks
Korea University(高丽大学)
传统的预测人工神经网络(ANN)通常采用确定性权重矩阵;因此,它们的预测是点估计。人工神经网络的这种确定性性质导致了将人工神经网络用于医疗诊断、法律问题和投资组合管理的局限性,其中不仅需要发现预测,而且还需要发现预测的不确定性。为了解决这个问题,我们提出了一个预测概率神经网络模型,它对应于一个不同的方式使用的发电机在条件生成对抗网络(cGAN),已被常规用于条件样本生成。通过反转普通cGAN的输入和输出,该模型可以成功地用作预测模型;此外,由于采用对抗训练,该模型对噪声具有鲁棒性。此外,为了度量预测的不确定性,我们分别为回归问题和分类问题引入了熵和相对熵。该框架适用于股票市场数据和图像分类任务。结果表明,该框架具有优越的估计性能,特别是在噪声数据上;此外,它表明,该框架可以正确地估计预测的不确定性。
2020-07-01 cs.LG stat.ML
Painting on Placement: Forecasting Routing Congestion using Conditional Generative Adversarial Nets
Cornell University(康奈尔大学)
对于大型设计,物理设计过程通常需要花费数小时到数天的时间,而布线被认为是最关键的步骤。对精确路由质量预测的需求提高到一个新的水平,以加速先进技术节点的硬件创新。这项工作提出了一种方法,预测密度的所有路由通道在整个平面图,功能收集到放置,使用条件GANs。具体地说,预测路由拥塞被构造为一个图像翻译(着色)问题。所提出的方法被应用到a)最小拥塞的布局探索,b)受约束的布局探索和c)在增量布局过程中实时预测拥塞,使用八个设计针对一个固定的FPGA架构。
2019-04-15 cs.CV cs.LG
Deep Learning Convective Flow Using Conditional Generative Adversarial Networks
Carnegie Mellon University(卡内基梅隆大学)
本文提出FluidGAN,一个数据驱动的条件生成对抗网络框架,用于学习和预测与能量传输耦合的对流流动,无需物理先验知识,并捕捉速度、压力与温度场的耦合。
2023-06-18 cs.LG physics.comp-ph physics.flu-dyn
Image Manipulation with Natural Language using Two-sidedAttentive Conditional Generative Adversarial Network
Saarland University(萨尔大学)
使用照片编辑工具更改图像的内容对于没有经验的用户来说是一项繁琐的任务。特别是,当修改图像中的特定对象的视觉属性而不影响其他成分,如背景等,以简化图像操作的过程,并提供更多的控制给用户,最好是利用一个更简单的接口,如自然语言。因此,在本文中,我们解决的挑战,操纵图像使用自然语言描述。我们提出了双边缘注意条件生成对抗网络(TEA-cGAN)来生成语义操纵的图像,同时保留其他内容,如背景完整。TEA-cGAN在基于生成对抗网络(GAN)的框架的生成器和搜索引擎中以不同的尺度使用细粒度注意力。实验结果表明,TEA-cGAN生成的128 x128和256 x256分辨率图像在CUB和Oxford-102数据集上的定量和定性性能均优于现有方法。
2019-12-16 cs.CL cs.CV cs.LG
Emotion Detection Using Conditional Generative Adversarial Networks (cGAN): A Deep Learning Approach
本文提出基于条件生成对抗网络(cGAN)的多模态情感检测方法,整合文本、音频和面部表情,生成合成数据提升分类准确性,显著优于基线模型,增强人机交互的情感理解。
2025-08-06 cs.HC cs.LG cs.NE
Normative Modeling via Conditional Variational Autoencoder and Adversarial Learning to Identify Brain Dysfunction in Alzheimer's Disease
Lehigh University(利哈伊大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院)
规范模型是一种新兴的和有前途的方法,有效地研究个体参与者的障碍异质性。在这项研究中,我们提出了一种新的规范建模方法,结合条件变分自编码器与对抗学习(ACVAE),以识别阿尔茨海默病(AD)的脑功能障碍。具体而言,我们首先对健康对照(HC)组进行条件VAE训练,以创建以年龄、性别和颅内体积等协变量为条件的规范模型。然后,我们结合了一个对抗性训练过程来构建一个可以更好地推广到未知数据的判别特征空间。最后,我们在患者水平上计算与正常标准的偏差,以确定哪些大脑区域与AD相关。我们在OASIS-3数据库上的实验表明,与其他深度规范模型相比,我们的模型生成的偏差图对AD表现出更高的敏感性,并且能够更好地识别AD和HC组之间的差异。
2022-11-13 cs.AI cs.LG q-bio.QM
Improving brain computer interface performance by data augmentation with conditional Deep Convolutional Generative Adversarial Networks
脑机接口领域的一个很大的限制是训练样本非常有限,很难用这样有限的数据建立一个可靠的可用系统。为了提高卷积神经网络在脑机接口领域中的性能,克服训练数据集小的问题,受生成对抗网络的启发,提出了一种条件深度卷积生成对抗网络(cDCGAN)方法,自动生成更多的人工脑电信号用于数据增强。我们在运动想象的BCI竞争数据集上评估了所提出的cDCGAN方法。实验结果表明,从高斯噪声中生成的人工脑电数据能够学习到原始脑电数据的特征,并且在测试数据集中具有不低于原始脑电数据的分类精度。同时,在训练数据有限的情况下,利用生成的人工数据可以有效地提高同一模型的分类精度。
2018-12-27 cs.HC cs.LG q-bio.NC
Procedural content generation of puzzle games using conditional generative adversarial networks
IT University of Copenhagen(哥本哈根信息技术大学)
本文提出使用参数化GANs为益智游戏Lily's Garden生成关卡,通过提取两个条件向量控制输出细节,发现GANs能较好近似地图形状但难以近似棋子分布,并建议尝试替代架构以改善此问题。
2023-06-26 cs.AI cs.LG
Robust Conditional Generative Adversarial Networks
Imperial College London(帝国理工学院)
条件生成对抗网络(cGAN)已经在条件图像生成任务方面取得了很大的改进,这是计算机视觉的核心。到目前为止,主要的重点是性能改进,而在使cGAN对噪声更具鲁棒性方面几乎没有做出任何努力。(发生器的)回归可能会导致输出中的任意大的误差,这使得cGAN对于现实世界的应用程序不可靠。在这项工作中,我们引入了一种新的条件GAN模型,称为RoCGAN,它利用模型的目标空间中的结构来解决这个问题。我们的模型用一个无监督的路径来增强生成器,即使在存在强烈噪声的情况下,它也会促进生成器的输出跨越目标流形。我们证明了RoCGAN具有与GAN相似的理论特性,并通过实验验证了我们的模型在包括自然场景和人脸图像在内的各种领域中的性能都大大优于现有的最先进的cGAN架构。
2019-03-13 cs.AI cs.CV cs.LG
Re-designing cities with conditional adversarial networks
University College London (UCL)(伦敦大学学院)
本文介绍了一种条件生成对抗网络,通过生成1)城市干预政策,2)需要干预的地方的注意力地图,3)实施干预后的高分辨率街道级图像(1024 X 1024或1536 X 1536)来重新设计城市场景的街道级图像。我们还介绍了一个新的数据集,其中包括对齐的街道级图像之前和之后的城市干预措施,从现实生活中的场景,使这项研究成为可能。所介绍的方法已在应用于逼真图像的不同范围的城市干预上进行了训练。经过训练的模型在重新建模城市方面表现出强大的性能,优于在单个GPU中计算的其他领域中应用图像到图像转换的现有方法。这项研究为机器智能在基于对抗学习的重新思考和重新设计城市的不同属性方面发挥作用打开了大门,超越了面部地标操作或语义分割图像合成的主流。
2021-04-14 cs.AI cs.CV cs.LG
A Progressive Conditional Generative Adversarial Network for Generating Dense and Colored 3D Point Clouds
University of Texas at Arlington(得克萨斯大学阿灵顿分校)
在本文中,我们介绍了一种新的条件生成对抗网络,它可以以无监督的方式为各类对象创建密集的3D点云。为了克服在高分辨率下捕获复杂细节的困难,我们提出了一个点Transformer,它通过使用图形卷积来逐步增长网络。该网络由一个叶输出层和一组初始分支组成。每次训练迭代都将点向量演化为分辨率不断提高的点云。在固定次数的迭代之后,通过复制最后一个分支来增加分支的数量。实验结果表明,我们的网络能够学习和模仿3D数据分布,并在多个分辨率下生成具有精细细节的彩色点云。
2020-10-12 cs.AI cs.CV cs.LG
Phase Retrieval Using Conditional Generative Adversarial Networks
Heinrich Heine University Düsseldorf(海因里希·海涅大学)
在本文中,我们提出了应用条件生成对抗网络来解决各种相位恢复问题。我们表明,包括在训练时的测量过程的知识,导致在测试时的优化,是更强大的初始化比现有的方法,涉及生成模型。此外,根据测量值调节发电机网络使我们能够获得更详细的结果。我们的经验表明,这些优势提供了有意义的解决方案的傅立叶和压缩相位恢复问题,我们的方法优于完善的基于投影的方法,以及现有的方法是基于神经网络。与其他深度学习方法一样,我们的方法对噪声非常鲁棒,因此对于现实世界的应用非常有用。
2020-07-08 cs.CV cs.LG eess.IV
Toward Generating Synthetic CT Volumes using a 3D-Conditional Generative Adversarial Network
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);National Institutes of Health Clinical Center(美国国立卫生研究院临床中心);Networking Health;OpenKneck Inc(OpenKneck公司)
我们提出了一种新的条件生成对抗网络(cGAN)架构,该架构能够从噪声和/或像素化近似中生成体素中的3D计算机断层扫描,并有可能生成完整的合成3D扫描体积。我们认为条件cGAN是一种生成3D CT体积的易处理方法,尽管由于GPU内存限制,生成全分辨率深度伪影的问题目前是不切实际的。我们提出了自动编码器,去噪和去像素化任务的结果,这些任务在两个新的COVID 19 CT数据集上进行了训练和测试。我们的评估指标,峰值信噪比(PSNR)范围从12.53 - 46.46 dB,结构相似性指数(SSIM)范围从0.89到1。
2021-04-02 cs.CV cs.LG eess.IV
Computerized Tomography Pulmonary Angiography Image Simulation using Cycle Generative Adversarial Network from Chest CT imaging in Pulmonary Embolism Patients
National Yang Ming Chiao Tung University(阳明交通大学);National Cheng Kung University Hospital(成功大学附属医院);National Cheng Kung University(成功大学)
本研究的目的是开发一个系统,产生模拟计算机断层扫描肺血管造影(CTPA)图像临床肺栓塞诊断。目前,CTPA图像是确定和识别肺栓塞(PE)症状的金标准计算机化检测方法,尽管执行CTPA对患者有害且昂贵。因此,我们的目标是通过CT图像检测可能的PE患者。该系统将使用深度学习模型模拟CTPA图像,用于识别PE患者的症状,为医生确定PE患者提供另一种参考。本研究模拟CTPA图像生成系统采用生成式对抗网络增强CT图像中肺血管的特征,增强图像的参考价值,为医院判断PE患者提供依据。我们使用的22例患者的CT图像,从国立成功大学医院和相应的CTPA图像作为训练数据的任务,模拟CTPA图像,并生成它们使用两套生成对策网络。这项研究有望提出一种新的肺栓塞临床诊断方法,其中使用深度学习网络来辅助复杂的筛查过程,并审查生成的模拟CTPA图像,使医生能够评估患者是否需要接受详细的CTPA测试,提高肺栓塞的检测速度,并显著减少未被检测到的患者数量。
2022-05-17 cs.CV cs.LG eess.IV
Conditional Progressive Generative Adversarial Network for satellite image generation
CERN(欧洲核子研究组织);United Nations Satellite Centre (UNOSAT)(联合国卫星中心)
由于机器学习算法能够真实地替换丢失的像素,图像生成和图像完成是快速发展的领域。然而,生成具有大量细节的大的高分辨率图像提出了重要的计算挑战。在这项工作中,我们制定的图像生成任务完成的三个角之一是失踪的图像。然后,我们扩展了这种方法,以迭代方式构建具有相同细节水平的更大图像。我们的目标是获得一个可扩展的方法来生成高分辨率的样本通常在卫星图像数据集。我们引入了一个条件渐进生成对抗网络(GAN),它使用Wasserstein自动编码器在潜在向量中编码的三个初始相邻瓦片作为输入,生成图像中丢失的瓦片。我们专注于一组图像使用的联合国卫星中心(联合国组织卫星)的训练洪水探测工具,并验证合成图像的质量在现实的设置。
2022-11-28 cs.CV cs.LG
Enhancing the Robustness of Deep Neural Networks by Boundary Conditional GAN
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院);Shanghai Jiaotong University(上海交通大学)
深度神经网络已被广泛部署在各种机器学习任务中。然而,最近的研究表明,它们容易受到对抗性例子的影响:精心制作的小扰动会导致网络的错误分类。在这项工作中,我们提出了一种新的防御机制,称为边界条件GAN,以增强深度神经网络对对抗性示例的鲁棒性。边界条件GAN是条件GAN的一个改进版本,可以在预训练分类器的决策边界附近生成具有真实标签的边界样本。这些边界样本被馈送到预先训练的分类器作为数据增强,以使决策边界更鲁棒。我们的经验表明,我们的方法改进的模型一致地成功抵御各种类型的对抗攻击。进一步的定量调查的鲁棒性和可视化的决策边界的改善也提供了证明我们的策略的有效性。这种利用边界样本增强网络鲁棒性的新防御机制为一致防御对抗攻击开辟了一条新途径。
2019-02-28 cs.LG stat.ML
RADIOGAN: Deep Convolutional Conditional Generative adversarial Network To Generate PET Images
General Electric Healthcare(通用电气医疗集团);University of Rouen(鲁昂大学);Henri Becquerel Center(亨利·贝克勒尔中心)
医学成像最大的挑战之一是缺乏数据。事实证明,经典的数据增强方法是有用的,但仍然有限,由于图像中的巨大变化。使用生成对抗网络(GAN)是解决这个问题的一种有前途的方法,然而,训练一个模型来生成不同类别的病变是具有挑战性的。在本文中,我们提出了一种深度卷积条件生成对抗网络来生成MIP正电子发射断层扫描图像(PET),这是一种表示3D体积的2D图像,可根据不同的病变或非病变(正常)进行快速解释。我们所提出的方法的优点包括一个模型,该模型能够生成不同类别的病变,并显示出非常有前途的结果。此外,我们表明,步行通过一个潜在的空间可以被用来作为一种工具来评估所生成的图像。
2020-03-19 cs.CV cs.LG eess.IV
Cross Domain Image Generation through Latent Space Exploration with Adversarial Loss
Carnegie Mellon University(卡内基梅隆大学)
条件域生成是交互控制深度生成模型样本生成过程的一种好方法。然而,一旦创建了条件生成模型,允许它适应新的条件控制通常是昂贵的,特别是网络结构相对较深。我们提出了一个条件的潜在域转移框架的潜在空间的无条件变分自编码器(VAE)。有了这个框架,我们可以允许无条件训练的VAE在它的域中生成图像,条件由另一个域的潜在表示提供。这个框架并不假设两个领域之间的共性。我们证明了我们的模型在广泛使用的图像数据集下的有效性和鲁棒性。
2018-05-24 cs.CV cs.LG stat.ML
Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks
DeNA Co., Ltd.(DeNA株式会社)
我们提出了渐进式结构条件生成对抗网络(PSGAN),这是一个新的框架,可以根据结构信息生成全身和高分辨率的字符图像。具有渐进式训练的生成对抗网络的最新进展使得生成高分辨率图像成为可能。然而,现有的方法在同时实现高图像质量和结构一致性方面具有局限性。我们的方法通过在训练过程中逐步提高生成图像和结构条件的分辨率来解决这些限制。在本文中,我们经验证明了这种方法的有效性,显示与现有的方法和视频生成结果的不同动漫人物在1024x1024的目标姿态序列的基础上的比较。我们还使用Unity 3D Avatar模型创建了一个包含全身1024x1024高分辨率图像和精确2D姿势关键点的新数据集。
2018-09-06 cs.CV cs.GR cs.LG
T-CGAN: Conditional Generative Adversarial Network for Data Augmentation in Noisy Time Series with Irregular Sampling
Politecnico Milano(米兰理工大学);Harvard University(哈佛大学)
本文提出了一种适用于不规则采样时间序列的数据增强方法--时间条件生成对抗网络(T-CGAN)。我们的方法是基于条件生成对抗网络(CGAN),其中生成步骤是由一个去卷积神经网络和卷积神经网络的判别步骤。生成器和时间序列生成器都以采样时间戳为条件,学习数据和时间戳之间的隐藏关系,从而生成新的时间序列。我们用合成和真实世界的数据集来评估我们的模型。对于合成数据,我们比较了用T-CGAN生成的数据训练的分类器的性能,以及用原始数据训练的相同分类器的性能。结果表明,在T-CGAN生成的数据上训练的分类器与在真实数据上训练的分类器的性能相同,即使是非常短的时间序列和小的训练集。对于现实世界的数据集,我们比较我们的方法与其他技术的数据增强的时间序列,如时间分片和时间扭曲,在分类问题与不平衡的数据集。结果表明,我们的方法总是优于其他方法,在规则采样和不规则采样的时间序列的情况下。我们实现了特别好的性能的情况下,一个小的训练集和短,噪声,不规则采样的时间序列。
2019-02-01 cs.LG stat.ML
CDCGen: Cross-Domain Conditional Generation via Normalizing Flows and Adversarial Training
University of California, Berkeley(加州大学伯克利分校)
如何为一个域生成有条件的合成数据,而不利用关于其标签/属性的信息?我们的工作为上述问题提供了一个解决方案。我们提出了一个基于迁移学习的框架,利用归一化流,再加上最大似然和对抗训练。我们用单独的归一化流对源域(标签可用)和目标域(标签不可用)进行建模,并使用对抗性鉴别器对公共潜在空间进行域对齐。由于流模型的可逆性,该映射具有精确的循环相容性。我们还通过采用编码器将属性映射到潜在空间来学习源域中数据样本和属性的联合分布。在合成阶段,给定任何属性组合,我们的方法可以在目标域中生成以它们为条件的合成样本。实证研究证实了我们的方法对基准数据集的有效性。我们设想我们的方法是特别有用的合成数据生成标签稀缺系统通过生成非平凡的扩增通过属性转换。这些合成样本将比它们的几何和光度变换对应物向标签稀缺域引入更多的熵,这有助于稳健的下游任务。
2021-08-25 cs.CV cs.LG
Generative Adversarial Networks and Conditional Random Fields for Hyperspectral Image Classification
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);Xiamen University(厦门大学)
在本文中,我们使用基于生成对抗网络和条件随机场(GAN-CRF)的框架来解决高光谱图像(HSI)分类任务,该框架集成了半监督深度学习和概率图形模型,并做出了三个贡献。首先,我们设计了四种类型的卷积层和转置卷积层,这些卷积层考虑了HSI的特征,以帮助从有限数量的标记HSI样本中提取区分特征。其次,我们构建了半监督GANs,通过向它们添加标签来缓解训练样本的不足,并通过对抗训练隐式地重建真实的HSI数据分布。第三,我们在随机变量之上构建密集条件随机场(CRF),这些随机变量被初始化为训练GANs的softmax预测,并以HSI为条件来细化分类图。这种半监督框架通过博弈论方法利用了判别模型和生成模型的优点。此外,尽管我们使用了来自两个最具挑战性和广泛研究的数据集的非常少量的标记训练HSI样本,但实验结果表明,频谱空间GAN-CRF(SS-GAN-CRF)模型在半监督HSI分类中达到了最高的准确性。
2019-05-12 cs.CV cs.LG eess.IV
Parallel waveform synthesis based on generative adversarial networks with voicing-aware conditional discriminators
1 LINE Corp., Tokyo, Japan 2 NAVER Corp., Seongnam, Korea 3 Search Solutions Inc., Seongnam, Korea
本文提出了基于并行WaveGAN的波形合成系统中的感知条件鉴别器。在这个框架中,我们采用了一种基于投影的条件反射方法,可以显着提高神经网络的性能。此外,传统的波形鉴别器被分成两个波形鉴别器,用于建模有声和无声语音。随着每个训练器分别学习谐波和噪声分量的独特特征,对抗训练过程变得更加有效,使生成器能够产生更逼真的语音波形。主观测试结果表明,该方法优于传统的并行Wavegan和WaveNet系统。特别是,我们在基于FastSpeech 2的文本到语音框架内独立于说话者训练的模型分别为四名日语发言者获得了4.20,4.18,4.21和4.31的平均意见得分。
2021-04-26 cs.LG cs.SD eess.AS
HumanACGAN: conditional generative adversarial network with human-based auxiliary classifier and its evaluation in phoneme perception
The University of Tokyo(东京大学);National Institute of Technology, Tokuyama College(德山工业高等专门学校);University of Tsukuba(筑波大学)
我们提出了一个条件生成对抗网络(GAN),结合人类的感知评价。基于深度神经网络(DNN)的GAN生成器可以准确地表示真实数据分布,但永远无法表示人类可接受的分布,这些分布是人类接受自然性的数据范围,而不管数据是否真实。提出了一个HumanGAN来模拟人类可接受的分布。基于DNN的生成器使用基于人类的训练器来训练,即,人类的感知评估,而不是GAN的基于DNN的评估。但是,HumanGAN不能表示条件分布。本文提出了HumanACGAN,HumanGAN的理论扩展,处理条件人类可接受的分布。我们的HumanACGAN通过将人类不仅视为机器人,而且还视为辅助分类器来训练基于DNN的条件生成器。该生成器通过欺骗基于人类的分类器和基于人类的分类器来训练,其中基于人类的分类器对无条件自然性进行评分,基于人类的分类器对类条件感知可接受性进行评分。训练可以使用涉及人类感知评估的反向传播算法来执行。我们在音素感知上的实验结果表明,我们的HumanACGAN可以成功地训练这个条件生成器。
2021-02-08 cs.HC cs.LG cs.SD
Semantic Segmentation of Medium-Resolution Satellite Imagery using Conditional Generative Adversarial Networks
Radiant Earth Foundation(Radiant Earth基金会);Benson Hill(Benson Hill公司);Sunbird AI(Sunbird AI公司)
卫星图像的语义分割是识别模式和检测地球周围变化的常用方法。大多数最先进的语义分割模型都是使用卷积神经网络(CNN)以完全监督的方式进行训练的。对于卫星图像,CNN的泛化性能较差,因为数据在景观类型、图像分辨率以及不同地理和季节的标签稀缺性方面可能非常多样化。因此,CNN的性能并不能很好地转化为来自看不见的地区或季节的图像。受基于条件生成对抗网络(CGAN)的高分辨率卫星影像图像间转换方法的启发,提出了一种基于CGAN的中分辨率Sentinel-2影像土地覆盖分类框架。我们发现,CGAN模型优于CNN模型的相似的复杂性的显着保证金上看不见的不平衡的测试数据集。
2020-12-05 cs.CV cs.LG eess.IV
Many-to-Many Voice Conversion using Conditional Cycle-Consistent Adversarial Networks
语音转换是指在不改变说话人语言内容的前提下,对说话人的特征进行转换。语音转换的许多工作需要具有并行的训练数据,这是非常昂贵的获取。最近,周期一致对抗网络(CycleGAN),它不需要并行训练数据,已被应用于语音转换,显示出最先进的性能。然而,基于CycleGAN的语音转换只能用于一对扬声器,即,两个扬声器之间的一对一语音转换。在本文中,我们通过在扬声器上调节网络来扩展CycleGAN。因此,该方法可以使用单个生成对抗网络(GAN)在多个说话者之间执行多对多语音转换。与为每对扬声器构建多个CycleGAN相比,所提出的方法显著降低了计算和空间成本,而不会影响转换后语音的音质。在VCC2018语料库上的实验结果验证了该方法的有效性。
2020-02-15 cs.LG cs.SD eess.AS
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology(东京工业大学)
基于i向量的文本无关说话人确认(SV)系统在短话语下通常具有较差的性能,因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络(GAN)的i向量补偿方法,其中生成器网络被训练为从短话语i向量生成补偿的i向量,而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外,我们还为GAN分配了另外两个学习任务,以稳定其训练,并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明,该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University(克莱姆森大学)
条件生成模型在过去几年中取得了相当大的成功,但通常需要大量的标记数据。最近,聚类器GAN将GAN与编码器相结合,通过无监督条件生成来实现显著的聚类性能。然而,它忽略了数据的真实条件分布,这导致为每个类生成较少多样性的样本,并使编码器只能实现次优聚类性能。在这里,我们提出了一个新的无监督条件生成框架,双循环一致的条件GAN(DC 3-GAN),它可以生成不同的类条件样本。除了生成器-编码器对之外,我们还强制GAN的编码器和生成器形成编码器-生成器对,这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对,它可以间接估计真实的条件分布。同时,该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配,从而将潜在空间分解为两部分:独热离散和连续潜在变量。前者可以直接表示为簇,后者表示剩余的未指定因子。这项工作表明,增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明,该方法优于现有的基于生成模型的聚类方法,同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
Ambient Lighting Generation for Flash Images with Guided Conditional Adversarial Networks
Universidad Católica San Pablo(圣巴勃罗天主教大学);Université Paris-Est(巴黎东部大学)
为了应对低光条件下在图像中产生的挑战,摄影师倾向于使用相机闪光灯提供的光线来获得更好的照明。然而,使用相机闪光灯可能会产生强烈的阴影和不均匀的照明,特别是在弱光条件下。以前的研究主要集中在闪光灯图像上的照明规范化;然而,据我们所知,没有以前的研究已经检查了侧面阴影去除,过度曝光区域的重建,以及合成环境阴影或场景对象的自然色调的生成。为了在闪光灯图像上提供更自然的照明并确保高频细节,我们提出了一种引导条件模式的生成对抗网络。我们表明,这种方法不仅产生自然照明,但也衰减苛刻的阴影,同时产生合成环境阴影。我们的方法在自定义FAID数据集上取得了令人鼓舞的结果,优于我们的基线研究。我们还分析了我们的提案的组成部分,以及它们如何影响整体性能,并讨论了未来工作的机会。
2020-02-20 cs.CV cs.LG eess.IV
Stable Parallel Training of Wasserstein Conditional Generative Adversarial Neural Networks
Oak Ridge National Laboratory(橡树岭国家实验室)
我们提出了一个稳定的,并行的方法来训练Wasserstein条件生成对抗神经网络(W-CGANs)的约束下,一个固定的计算预算。与以前的分布式GANs训练技术不同,我们的方法避免了进程间通信,降低了模式坍塌的风险,并通过使用多个生成器来增强可扩展性,每个生成器都同时在单个数据标签上进行训练。Wasserstein度量的使用还通过稳定每个生成器的训练来降低骑自行车的风险。我们在CIFAR 10,CIFAR 100和ImageNet 1 k数据集上说明了该方法,这三个标准的基准图像数据集保持了每个数据集图像的原始分辨率。在有限的固定计算时间和计算资源内的可扩展性和最终精度方面评估性能。为了测量准确性,我们使用初始分数,Frechet初始距离和图像质量。与通过在深度卷积条件生成对抗神经网络(DC-CGAN)上执行并行方法获得的先前结果相比,初始分数和Frechet初始距离有所改善,以及通过GANs方法创建的新图像的图像质量有所改善。在OLCF超级计算机Summit上使用多达2,000个NVIDIA V100 GPU在两个数据集上实现弱缩放。
2022-07-25 cs.AI cs.CV cs.DC
No-Collapse Accurate Quantum Feedback Control via Conditional State Tomography
本研究提出“条件状态层析”方法,通过实时随机状态估计在单条量子轨迹内实现无噪声监测完整密度矩阵,从而克服测量噪声限制,开发精确的基于测量的反馈控制策略,并特别适用于强化学习智能体快速准确学习控制策略。
2023-11-22 quant-ph
Conditional Spectroscopy via Non-Stationary Optical Homodyne Quantum State Tomography
连续变量量子态层析术是量子光学中研究光场性质的最有力的技术之一。然而,需要一个固定的相位参考,到目前为止,阻止了广泛使用的其他领域,如半导体光谱。在这里,我们介绍了非稳态量子态层析成像,它适应了超快光谱的特殊要求的技术。详细地说,我们获得了访问的振幅和相位的光场的时间分辨率约为100\,fs,而不需要一个固定的相位参考。此外,我们展示了我们的技术如何使我们能够进行有条件的随机动力学的研究,是无法通过传统的手段实验,并通过监测的随机动力学的热光场的亚ps尺度上的实验证明的能力。最后,我们讨论了更多的标准的Hanbury Brown-Twiss光子相关实验,这可能被认为是我们的技术的离散变量模拟的差异和相似之处。
2020-02-04 physics.optics quant-ph
Error mitigated quantum circuit cutting
我们研究了一种误差减轻的断层方法,在门和测量噪声的存在下的量子线路切割问题。我们探讨了两种断层扫描特定的错误缓解技术;读出错误缓解条件片段断层扫描,它使用的所有切割和条件量子位测量的断层扫描重建过程中的读出错误的知识;和主导特征值截断(DEVT),其目的是提高性能的电路切割执行截断的个别条件断层扫描重建中使用的片段。我们发现,在存在对称测量误差的情况下,读出误差减轻断层扫描和DEVT断层扫描的性能对于电路切割是相当的。对于门误差,我们的数值结果表明,概率估计为原始电路使用DEVT获得优于一般电路切割测量,去极化和弱偏置泡利噪声模型,但并没有提高性能的幅度阻尼和相干误差,并可以大大降低性能的高偏置泡利噪声。在DEVT有效的情况下,还发现使用至少50%的完整断层扫描数据与条件最小二乘断层扫描拟合器来改善部分断层扫描重建的性能,而具有或不具有DEVT缓解的线性反演断层扫描被发现与部分数据一起表现不佳。
2022-11-24 quant-ph