Learning to Generate Time Series Conditioned Graphs with Generative Adversarial Nets
Xidian University（西安电子科技大学）
针对现有图生成方法缺乏节点级语义上下文条件的问题，本文提出TSGG-GAN模型，实现以多变量时间序列为条件生成对应关系图，经合成与真实基因调控网络实验验证了其有效性与泛化性。
2023-08-27 cs.LG cs.SI stat.ML
Generating Diverse Programs with Instruction Conditioned Reinforced Adversarial Learning
Georgia Tech（佐治亚理工学院）；DeepMind（深度思维）
深度强化学习的进步已经导致代理在各种感觉运动领域表现良好。在这项工作中，我们研究的设置中，代理必须学会生成程序的不同场景的条件下，一个给定的符号指令。最终目标通过场景的图像指定给我们的代理。与目标图像一致的符号指令被用作我们策略的条件输入。由于单个指令对应于一组不同但仍然一致的最终目标图像，因此代理需要学习在给定指令的程序上生成分布。我们证明，通过对强化对抗学习目标的简单改变，我们可以学习指令条件政策，以实现相应的不同目标。最重要的是，我们的代理的随机政策，更准确地捕捉目标分布的多样性比一个固定的基于像素的奖励函数基线。我们在两个领域证明了我们的方法的有效性：（1）使用基于指令的绘制软件绘制MNIST数字，以及（2）在满足特定指令的3D编辑器中构建场景。
2018-12-03 cs.CL cs.CV cs.LG
Probabilistic forecasting for geosteering in fluvial successions using a generative adversarial network
NORCE Norwegian Research Centre（NORCE挪威研究中心）；Heriot-Watt University（赫瑞-瓦特大学）
利用实时数据约束钻头前不确定性的定量工作流程有可能显著改善地质导向。在钻前模型具有高度不确定性的复杂储层中钻井时，基于实时数据的快速更新至关重要。然而，实时数据的实际同化需要有效的地质建模和数学上稳健的参数化。我们提出了一个生成对抗性深度神经网络（GAN），经过训练可以重现河流序列的地质一致的2D截面。离线训练产生了一个快速的基于GAN的复杂地质近似值，参数化为60维模型向量，每个分量都具有标准高斯分布。概率预测使用等概率模型向量实现的集合生成。包括GAN的前向建模序列将实现的初始（先前）集合转换成EM日志预测。集成平滑器最大限度地减少预测和实时数据之间的统计失配，从而更新模型向量并降低井周围的不确定性。然后，可以将更新转化为相和折射率的概率预测。本文演示了一个工作流程地质导向在露头为基础，合成河流序列。在我们的例子中，该方法降低了不确定性，并正确预测了钻头前方500米处的大多数主要地质特征。
2022-07-04 cs.LG physics.geo-ph stat.AP
Generating Geological Facies Models with Fidelity to Diversity and Statistics of Training Images using Improved Generative Adversarial Networks
Schlumberger-Doll Research（斯伦贝谢-多尔研究中心）
本文提出了一种方法和工作流程，克服了传统的生成对抗网络（GANs）的地质相建模的局限性。它试图通过可解释的潜在向量来提高训练的稳定性，并保证生成的地质的多样性。确保所得样本具有与训练数据集相等的概率（或无偏分布）。这在应用GANs生成无偏和有代表性的地质模型时至关重要，这些模型可进一步用于促进油田勘探和开发中的客观不确定性评估和最佳决策。我们提出并实现了一种新的GANs变体，称为Info-WGAN，用于地质相建模，该变体将信息最大化生成对抗网络（InfoGAN）与Wasserstein距离和梯度惩罚（GP）相结合，用于学习可解释的潜在代码，并从训练数据中生成稳定且无偏的分布。与原有的GAN设计不同，InfoGAN可以使用带有完整、部分或无标签的训练图像，对训练数据集中表现出的复杂沉积类型进行解缠，实现生成样本的多样性和多样性。这是通过添加额外的分类变量来实现的，这些变量除了在原始GANs中使用的仅仅是随机化的潜在向量之外，还提供了分离的语义表示。通过这种方式，正则化项被用于最大化这种潜在分类代码与损失函数中的生成的地质相之间的互信息。此外，通过Info-WGAN得到的无偏采样使得在地质建模中的数据调节比传统的GANs容易得多，因为多样性和多样性以及生成器的无条件采样的等概率。
2019-09-23 cs.LG eess.IV physics.comp-ph
Modeling EEG data distribution with a Wasserstein Generative Adversarial Network to predict RSVP Events
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
由于复杂的实验设置和长时间佩戴的舒适度降低，难以获得脑电图（EEG）数据。这对利用有限的EEG数据训练强大的深度学习模型提出了挑战。能够通过计算生成EEG数据可以解决这一限制。我们提出了一种新的Wasserstein生成对抗网络与梯度惩罚（WGAN-GP）合成EEG数据。该网络解决了模拟时间序列EEG数据的几个建模挑战，包括频率伪影和训练不稳定性。我们进一步将该网络扩展到一个类条件变体，该变体还包括一个分类分支来执行事件相关分类。我们训练所提出的网络生成一个和64个通道的数据，类似于在快速串行视觉呈现（RSVP）实验中经常看到的EEG信号，并证明了所生成的样本的有效性。我们还测试了主题内跨会话分类性能，用于分类RSVP目标事件，并表明类条件WGAN-GP可以在EEGNet上实现更好的事件分类性能。
2020-07-01 cs.LG eess.IV stat.AP
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training
University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练已被证明可以有效地强化网络对抗性示例。然而，所获得的鲁棒性受到网络容量和训练样本数量的限制。因此，为了构建更鲁棒的模型，通常的做法是在具有更多参数的加宽网络上进行训练。为了提高鲁棒性，我们提出了一个条件归一化模块，以适应网络在输入样本的条件。我们的自适应网络，一旦经过对抗训练，就可以在干净的验证准确性和鲁棒性方面胜过非自适应网络。我们的方法是客观不可知的，并且始终如一地改进了传统的对抗训练目标和TRADES目标。我们的自适应网络的性能也优于更大的加宽非自适应架构，这些架构具有1.5倍的参数。我们进一步介绍了对抗训练中的几个实用“技巧”，以提高鲁棒性并实证验证其效率。
2020-05-30 cs.LG stat.ML
Conditional Generative Adversarial Nets
Université de Montréal（蒙特利尔大学）；Flickr / Yahoo Inc.（Flickr / 雅虎公司）
生成对抗网[8]最近被引入作为训练生成模型的一种新方法。在这项工作中，我们介绍了生成对抗网的条件版本，它可以通过简单地将数据y馈送到生成器和生成器来构建。我们表明，该模型可以产生MNIST数字类标签的条件。我们还说明了如何使用该模型来学习多模态模型，并提供了图像标记应用程序的初步示例，其中我们演示了这种方法如何生成不属于训练标签的描述性标签。
2014-11-06 cs.AI cs.CV cs.LG
Bidirectional Conditional Generative Adversarial Networks
USC Information Sciences Institute（南加州大学信息科学研究所）
条件生成对抗网络（cGAN）是生成模型，其可以产生以潜在变量（$z$）和已知辅助信息（$c$）为条件的数据样本（$x$）。我们提出了双向cGAN（BiCoGAN），其在生成过程中有效地解开$z$和$c$，并提供了一个编码器，该编码器学习从$x$到$z$和$c$的逆映射，与生成器和训练器联合训练。我们提出了训练BiCoGAN的关键技术，其中涉及外在因素损失以及相关的动态调整的重要性权重。与其他基于编码器的cGAN相比，BiCoGAN更准确地编码$c$，并且更有效地利用$z$和$c$，并且以更不纠缠的方式生成样本。
2018-11-03 cs.LG stat.ML
Conditioning of three-dimensional generative adversarial networks for pore and reservoir-scale models
Imperial College London（帝国理工学院）
岩石物性地质统计学建模是现代油气藏综合研究的关键环节。最近，生成对抗网络（GAN）已被证明是一种成功的方法，用于生成无条件模拟的孔隙和孔隙尺度模型。这一贡献利用了神经网络的可微性，将GANs扩展到三维孔隙和孔隙尺度模型的条件模拟。基于Yeh等人（2016）之前的工作，我们使用内容损失来约束条件数据和从GAN神经网络的评估中获得的感知损失。该技术的测试上产生的三维微CT图像的Ketton石灰岩约束的二维横截面，并在模拟的Maules溪冲积含水层约束的一维部分。我们的研究结果表明，GANs代表了一种强大的方法，用于对随机储层评价工作流程的条件孔隙和储层样本进行采样。
2018-02-15 cs.CV physics.geo-ph stat.ML
StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University（罗格斯大学）；Lehigh University（理海大学）；The Chinese University of Hong Kong（香港中文大学）；Baidu Research（百度研究院）
从文本描述合成高质量图像是计算机视觉中的一个具有挑战性的问题，并且具有许多实际应用。现有的文本到图像的方法生成的样本可以大致反映给定的描述的含义，但他们不能包含必要的细节和生动的对象部分。在本文中，我们提出了堆叠生成对抗网络（StackGAN），以生成256 × 256的照片级真实感图像的文本描述为条件。我们通过草图细化过程将难题分解为更易于管理的子问题。第一阶段GAN根据给定的文本描述绘制对象的基本形状和颜色，产生第一阶段低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入，并生成具有照片般逼真细节的高分辨率图像。它能够纠正第一阶段结果中的缺陷，并通过细化过程添加引人注目的细节。为了提高合成图像的多样性并稳定条件GAN的训练，我们引入了一种新的条件增强技术，该技术鼓励潜在条件流形中的平滑性。在基准数据集上进行的大量实验和与最新技术的比较表明，该方法在生成基于文本描述的照片级真实感图像方面取得了显着的改进。
2017-08-05 cs.AI cs.CV stat.ML
Cross Domain Image Generation through Latent Space Exploration with Adversarial Loss
Carnegie Mellon University（卡内基梅隆大学）
条件域生成是交互控制深度生成模型样本生成过程的一种好方法。然而，一旦创建了条件生成模型，允许它适应新的条件控制通常是昂贵的，特别是网络结构相对较深。我们提出了一个条件的潜在域转移框架的潜在空间的无条件变分自编码器（VAE）。有了这个框架，我们可以允许无条件训练的VAE在它的域中生成图像，条件由另一个域的潜在表示提供。这个框架并不假设两个领域之间的共性。我们证明了我们的模型在广泛使用的图像数据集下的有效性和鲁棒性。
2018-05-24 cs.CV cs.LG stat.ML
Constructing Unrestricted Adversarial Examples with Generative Models
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
对抗性示例通常通过在小矩阵范数内扰动现有数据点来构建，当前的防御方法主要集中在防范这种类型的攻击。在本文中，我们提出了无限制的对抗性示例，这是一种新的威胁模型，其中攻击者不限于小的范数有界扰动。与基于扰动的攻击不同，我们建议使用条件生成模型完全从头开始合成不受限制的对抗性示例。具体来说，我们首先训练一个辅助分类器生成对抗网络（AC-GAN）来对数据样本上的类条件分布进行建模。然后，以所需类别为条件，我们在AC-GAN潜在空间中搜索，以找到可能在生成模型下并且被目标分类器错误分类的图像。我们通过人工评估证明，以这种方式生成的不受限制的对抗性示例是合法的，并且属于所需的类。我们在MNIST、SVHN和CelebA数据集上的实证结果表明，不受限制的对抗性示例可以绕过针对传统对抗攻击设计的强对抗性训练和认证防御方法。
2018-12-02 cs.AI cs.CR cs.CV
Anime Style Space Exploration Using Metric Learning and Generative Adversarial Networks
University of Southern California（南加州大学）；Pinscreen；USC Institute for Creative Technologies（南加州大学创意技术研究所）
基于深度学习的图像之间的风格转移最近已经成为一个热门的研究领域。对“风格”进行编码的常见方式是通过基于由某种预训练的神经网络或某种其他形式的特征统计提取的特征的格拉姆矩阵的特征表示。这样的定义是基于人为的武断决定，可能无法最好地捕捉风格的真正含义。为了更好地理解“风格”，我们提出了一种基于度量学习的方法来显式编码艺术品的风格。特别是，我们的风格的定义捕捉艺术家之间的差异，如分类性能所示，这样的风格表示可以解释，操纵和可视化通过风格调节图像生成通过生成对抗网络。我们运用这种方法来探索动漫肖像插图的风格空间。
2018-05-21 cs.CV stat.ML
Adversarial Generation of Natural Language
MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔理工学院）
生成对抗网络（GANs）已经引起了计算机视觉社区的广泛关注，在图像生成方面取得了令人印象深刻的成果。然而，从噪声中对抗性地生成自然语言的进展与生成图像的进展不相称，并且仍然远远落后于基于似然的方法。在本文中，我们向仅使用GAN目标生成自然语言迈出了一步。我们引入了一个简单的基线，解决了离散输出空间问题，而不依赖于梯度估计，并表明它能够在中国诗歌生成数据集上实现最先进的结果。我们提出了从上下文无关和概率上下文无关文法生成句子的定量结果和定性语言建模结果。还描述了一种条件版本，其可以生成以句子特征为条件的序列。
2017-05-31 cs.AI cs.CL cs.NE
Multi-turn Dialogue Response Generation in an Adversarial Learning Framework
Capital One Conversation Research（第一资本对话研究部）
我们提出了一种对抗性学习方法来生成多回合对话响应。我们提出的框架hredGAN基于条件生成对抗网络（GANs）。GAN的生成器是一个改进的分层递归编码器-解码器网络（HRED），而RNN是一个与生成器共享上下文和词嵌入的词级双向RNN。在推理过程中，以对话历史为条件的噪声样本用于扰动生成器的潜在空间以生成几种可能的响应。最后一个答案是最好的一个排名的。hredGAN显示出比现有方法更好的性能：（1）它比仅使用对数似然标准训练的网络更好地泛化，（2）即使在有限的训练数据下，它也能生成更长、更丰富、更多样化的响应，具有高的话语和主题相关性。这种改进在Movie三元组和Ubuntu对话数据集上使用自动和人工评估进行了演示。
2019-06-26 cs.AI cs.CL cs.LG
GAIN: Missing Data Imputation using Generative Adversarial Nets
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
我们提出了一种新的方法，通过适应著名的生成对抗网（GAN）框架来填补缺失数据。因此，我们称我们的方法为生成对抗性填补网络（GAIN）。生成器（G）观察真实数据向量的一些分量，根据实际观察到的情况来估算缺失的分量，并输出完整的向量。然后，计算器（D）获取一个完整的向量，并试图确定实际观察到哪些分量，哪些分量进行了插补。为了确保D迫使G学习所需的分布，我们以提示向量的形式向D提供一些额外的信息。该提示向D揭示了关于原始样本缺失的部分信息，D使用该信息来将其注意力集中在特定分量的插补质量上。这个提示确保了G实际上确实学会了根据真实的数据分布进行生成。我们在各种数据集上测试了我们的方法，发现GAIN显著优于最先进的插补方法。
2018-06-07 cs.LG stat.ML
PeerNets: Exploiting Peer Wisdom Against Adversarial Attacks
USI（瑞士意大利语大学）；NNAISENSE；Imperial College London（帝国理工学院）；Intel Perceptual Computing（英特尔感知计算）；Fabula AI（Fabula人工智能）；Stanford University（斯坦福大学）
深度学习系统已经在我们生活的许多方面变得无处不在。不幸的是，已经表明，这种系统容易受到对抗攻击的攻击，使它们容易被潜在的非法使用。设计对对抗攻击具有鲁棒性的深度神经网络是使此类系统更安全并可在更广泛的应用中部署的基本步骤（例如自动驾驶），但更重要的是设计基于新计算范式而不是在现有范式上构建的新颖和更先进的架构的必要步骤。在本文中，我们介绍了PeerNets，这是一种新颖的卷积网络家族，它将经典的欧几里得卷积与图卷积交替使用，以利用来自对等样本图的信息。这导致模型中的非局部前向传播形式，其中潜在特征取决于由图引起的全局结构，与传统架构相比，对各种白盒和黑盒对抗攻击的鲁棒性高出3倍，准确性几乎没有下降。
2018-05-31 cs.CR cs.CV cs.LG
Improving Robustness of Deep-Learning-Based Image Reconstruction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对不同应用的基于深度学习的方法已被证明容易受到对抗性示例的影响。这些例子使得在安全关键任务中部署此类模型成为问题。使用深度神经网络作为逆问题求解器已经为包括CT和MRI在内的医学成像带来了很多兴奋，但最近这些任务也出现了类似的漏洞。我们表明，这样的逆问题求解器，应该分析和研究的效果，在测量空间的对手，而不是在以前的工作中的信号空间。在本文中，我们建议修改基于端到端深度学习的逆问题求解器的训练策略，以提高鲁棒性。我们引入了一个辅助网络来生成对抗性的例子，它被用于最小-最大公式来构建鲁棒的图像重建网络。从理论上讲，我们证明了线性重建方案的最小-最大公式导致奇异值滤波器正则化解决方案，它抑制了由于测量矩阵中的病态而发生的对抗性示例的影响。我们发现，使用所提出的最小-最大学习方案的线性网络确实收敛到相同的解决方案。此外，对于使用深度网络的非线性压缩感知（CS）重建，我们使用所提出的方法比其他方法在鲁棒性方面有显着提高。我们通过在两个不同数据集上进行CS实验来补充理论，并评估增加扰动对训练网络的影响。我们发现病态和良好条件的测量矩阵的行为是定性不同的。
2020-02-26 cs.CV cs.LG stat.ML
Stacked Generative Adversarial Networks
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
在本文中，我们提出了一种新的生成模型称为堆叠生成对抗网络（SGAN），它被训练为反转自底向上的判别网络的层次表示。我们的模型由一个自上而下的GANs堆栈组成，每个GAN都学会了以高级表示为条件生成低级表示。在每个特征层次结构中引入一个表示鉴别器，以鼓励生成器的表示流形与自下而上的鉴别网络的表示流形对齐，从而利用强大的鉴别表示来指导生成模型。此外，我们引入了一个条件损失，鼓励使用的条件信息从上面的层，和一个新的熵损失，最大限度地提高了发电机输出的条件熵的变化下限。我们首先独立地训练每个堆栈，然后端到端地训练整个模型。与使用单个噪声向量来表示所有变化的原始GAN不同，我们的SGAN将变化分解为多个级别，并逐步解决自上而下生成过程中的不确定性。基于视觉检查，Inception分数和视觉图灵测试，我们证明了SGAN能够生成比GANs更高质量的图像，而无需堆叠。
2017-04-12 cs.CV cs.LG cs.NE
