Learning Structural Causal Models through Deep Generative Models: Methods, Guarantees, and Challenges
Ekimetrics（埃基梅特里克公司）；INRIA Saclay（法国国家信息与自动化研究所萨克雷分所）；TAU（特拉维夫大学）；LISN（巴黎第十一大学科学与工业技术实验室）
本文综述了深度结构因果模型（DSCMs）在已知因果结构下利用观测数据回答反事实查询的能力，分析了其假设、保证与应用，并指出了该领域的挑战与未来方向。
2024-05-08 cs.LG stat.ML
LIC-GAN: Language Information Conditioned Graph Generative GAN Model
Carnegie Mellon University（卡内基梅隆大学）
本研究提出语言信息条件化的图生成GAN模型LIC-GAN，以自然语言查询为输入生成匹配图，结合奖励网络优化属性，性能与ChatGPT相当且具备一定鲁棒性。
2023-06-02 cs.AI cs.CL cs.LG
MMGAN: Generative Adversarial Networks for Multi-Modal Distributions
Institute for Informatics（信息学研究所）；LMU Munich（慕尼黑大学）
在过去的几年里，生成对抗网络（GANs）已经显示出显着的生成性能，特别是在图像合成。不幸的是，它们还以具有不稳定的训练过程而闻名，并且可能会丢失异构输入数据的数据分布的部分。在本文中，我们提出了一种新的GAN扩展多模态分布学习（MM GAN）。在我们的方法中，我们将潜在空间建模为高斯混合模型，其中多个聚类是指观察空间中断开的数据流形的数量，并包括聚类网络，该网络将每个数据流形与一个高斯聚类相关联。因此，训练更加稳定。此外，MMGAN允许根据潜在空间中的学习数据流形对真实数据进行聚类。通过一系列的基准实验，我们表明，MMGAN优于竞争国家的最先进的模型在聚类性能。
2019-11-15 cs.CV cs.LG stat.ML
FaultFace: Deep Convolutional Generative Adversarial Network (DCGAN) based Ball-Bearing Failure Detection Method
University of California, Merced（加州大学默塞德分校）；Beijing University of Chemical Technology（北京化工大学）
在工业中采用故障检测来提高系统性能并降低由于意外故障事件而导致的成本。因此，一个好的数据集的系统是理想的设计自动故障检测系统。然而，工业过程数据集是不平衡的，并且由于这些事件的唯一性以及仅仅为了获得关于不期望的行为的信息而运行系统的高成本而包含关于故障行为的信息很少。因此，对自动故障检测方法进行正确的训练和验证具有挑战性。本文提出了一种名为FaultFace的方法，用于使用深度学习技术创建平衡数据集来检测旋转轴的球轴承关节的故障。FaultFace方法使用通过时频变换技术获得的名为faceportraits的振动信号的2D表示。从获得的人脸画像中，使用深度卷积生成对抗网络来生成标称和故障行为的新人脸画像，以获得平衡的数据集。采用平衡数据集训练卷积神经网络进行故障检测。将FaultFace方法与其他深度学习技术进行比较，以评估其在不平衡数据集故障检测中的性能。实验结果表明，FaultFace方法对于不平衡数据集的故障检测具有良好的性能.
2020-07-30 cs.CV cs.LG eess.IV
AeGAN: Time-Frequency Speech Denoising via Generative Adversarial Networks
University of Stuttgart（斯图加特大学）
自动语音识别（ASR）系统在诸如语音到文本处理和语言翻译的常见任务中是至关重要的。这就需要一个能够在现实拥挤环境中运行的ASR系统。因此，语音增强是ASR系统和诸如助听器、智能电话和电话会议系统的其他应用中的有价值的构建块。在本文中，生成对抗网络（GAN）为基础的框架进行了研究的语音增强的任务，更具体地说，语音去噪的音轨。基于CasNet生成器的新架构和额外的基于特征的损失被合并以获得逼真的去噪语音。最后，所提出的框架被证明优于其他学习和传统的基于模型的语音增强方法。
2020-06-06 cs.LG cs.NE cs.SD
Generative Adversarial Networks for Labeled Acceleration Data Augmentation for Structural Damage Detection
University of Central Florida（中佛罗里达大学）；West Virginia University（西弗吉尼亚大学）
在过去的几十年里，数据科学领域取得了重大进展，这些进展已被用于不同的工程学科和应用。人工智能（AI）、机器学习（ML）和深度学习（DL）算法已被用于土木结构健康监测（SHM），特别是用于使用传感器数据的损伤检测应用。虽然ML和DL方法显示出对复杂数据结构的卓越学习技能，但它们需要大量的数据进行训练。然而，在SHM中，从土木结构收集数据汇集可能是昂贵的和耗时的;特别是获得有用的数据（损伤相关数据）可能是具有挑战性的。本研究的目的是解决数据稀缺的问题，损伤检测应用。本文采用使用梯度惩罚的1-D Wasserstein深度卷积生成对抗网络（1-D WDCGAN-GP）来生成合成标记加速度数据。然后，生成的数据与不同的比率增加的1-D深度卷积神经网络（1-D DCNN）的损伤检测应用的训练数据集。损伤检测结果表明，一维WDCGAN-GP可以成功地用于解决土木结构基于振动的损伤检测应用中的数据不足问题。保留字：结构健康监测（SHM）、结构损伤检测、1-D深度卷积神经网络（1-D DCNN）、1-D生成对抗网络（1-D GAN）、Wasserstein生成对抗网络与梯度惩罚（WGAN-GP）
2022-07-22 cs.AI cs.LG stat.ML
Generative Trees: Adversarial and Copycat
Google Research（谷歌研究院）
虽然生成对抗网络（GANs）在图像等非结构化数据上取得了惊人的结果，但在表格数据上仍然存在差距，最先进的监督学习仍然在很大程度上支持基于决策树（DT）的模型。本文提出了一种新的生成表格数据的方法，利用几十年来对DT归纳的监督任务最佳组件的理解，从损失（正确性），模型（基于树）到算法（提升）。监督损失的\textit{properness}条件-假设贝叶斯规则的最优性-使我们得到一个变分GAN风格的损失公式，当鉴别器满足DT平凡满足的校准属性时，它是\textit{tight}，并且在关于监督损失的常见假设下，生成器：$χ^2$产生“一个损失，以训练对抗所有人”。然后，我们介绍了基于树的生成模型，\textit{generative trees}（GT），这意味着在生成方面反映了DT用于分类表格数据的良好特性，并为GT提供了一个增强兼容的\textit{adversarial}训练算法。我们还介绍了\textit{copycat training}，其中生成器在运行时复制的底层树（图）的CDRDT和完成它的最难的判别任务，提高兼容的收敛。我们在任务上测试了我们的算法，包括假/真区分，假数据训练和缺失数据填补。这些任务中的每一个都表明，GT可以提供相对简单的-和可解释的-竞争者，以先进的数据生成方法（使用神经网络模型）或缺失数据填补（依赖于多重填补链式方程与复杂的基于树的建模）。
2022-02-11 cs.LG
Cascading Denoising Auto-Encoder as a Deep Directed Generative Model
最近的工作（Bengio等人，2013）已经展示了去噪自动编码器（DAE）如何成为生成模型作为密度估计器。然而，在实际应用中，MCMC抽样过程中存在混合问题，并且没有直接的方法来估计测试对数似然，我们考虑一个带有随机恒等映射（简单腐败过程）的有向模型作为推理模型，一个DAE作为生成模型。通过级联这些模型，我们提出了级联去噪自动编码器（CDAE），它可以从易处理的先验分布中产生数据分布的样本，假设损坏数据的概率分布随着损坏程度的增加而接近易处理的先验分布。一方面，深度有向模型是否可以成功训练，而不需要在推理和生成模型中对非常深的神经网络进行难以处理的后验推理和困难的优化？当最近成功的有向模型如VAE（Kingma &Welling，2014）在复杂的数据集上训练时，这些是不可避免的。另一方面，DAE能不能从远离数据流形的可被认为是易处理的先验分布的严重损坏的样本中获得数据分布的干净样本？我们的研究结果显示了这些方程的积极响应，并且这项工作可以为非常复杂的数据集的生成模型提供相当简单的框架。
2017-01-27 cs.LG
Class-Prototype Conditional Diffusion Model with Gradient Projection for Continual Learning
VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
提出基于生成重放的梯度投影类原型条件扩散模型（GPPDM），通过可学习类原型提升旧任务图像生成质量，并利用针对交叉注意力层的梯度投影技术保留旧数据表示，有效缓解分类器与扩散模型的灾难性遗忘。
2024-03-21 cs.LG
Diffusing the Optimal Topology: A Generative Optimization Approach
Massachusetts Institute of Technology（麻省理工学院）；Technical University of Denmark（丹麦技术大学）
拓扑优化旨在找到满足一组约束条件的最佳设计，同时最大限度地提高系统性能。传统的迭代优化方法（如SIMP）可能计算量很大，并且陷入局部极小值，限制了它们对复杂或大规模问题的适用性。已经开发了基于学习的方法来加速拓扑优化过程，但是这些方法在受到分布约束配置的挑战时可以生成具有浮动材料和低性能的设计。最近，以约束和物理场为条件的深度生成模型，如生成对抗网络和扩散模型，已经显示出了希望，但它们需要大量的预处理和代理模型来提高性能。为了解决这些问题，我们提出了一种生成优化方法，该方法集成了SIMP等经典优化，作为深度生成模型生成的拓扑结构的细化机制。我们还删除了需要使用一个计算成本低廉的近似经典ODE解决方案的启发物理场的条件，并减少了生成一个可行的和高性能的拓扑结构所需的步骤的数量。我们的方法使我们能够有效地生成良好的拓扑结构，并明确地将它们引导到具有高可制造性和高性能的区域，而不需要外部辅助模型或额外的标记数据。我们相信，我们的方法可以导致显着的进步，在工程应用中的结构设计和优化，并可以应用到更广泛的性能感知工程设计问题。
2023-03-17 cs.CE cs.LG
Progressive Generative Adversarial Binary Networks for Music Generation
D. J. Sanghvi College of Engineering（D.J.桑格维工程学院）
生成对抗网络（GAN）训练技术的最新改进证明，渐进式训练GAN大大稳定了训练并提高了输出的质量。事实证明，在前一层收敛之后添加层有助于提高模型的整体收敛性和稳定性，并充分减少训练时间。因此，我们使用这种训练技术在时间和音高域中逐步训练模型，即从非常小的时间值和音高范围开始，我们逐渐扩大矩阵大小，直到最终结果是完全训练的模型，给出具有张量大小[4（bar）x 96（时间步长）x 84（音高值）x 8（音轨）]的输出。正如先前提出的模型所证明的那样，确定性二进制神经元也有助于改善结果。因此，我们在生成器的末尾使用一层确定性二进制神经元来获得二进制值输出，而不是存在于0和1之间的分数值。
2019-03-12 cs.CV cs.LG cs.SD
Voice Aging with Audio-Visual Style Transfer
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；UMD College Park（马里兰大学帕克分校）
面部老化技术使用生成对抗网络（GANs）和风格迁移学习来改变一个人的外观，使其看起来更年轻/更老。通过将这些生成网络调节到源内容的学习向量表示上来保持身份。在这项工作中，我们采用了类似的方法来年龄扬声器的声音，称为语音老化。我们首先通过在来自Common Voice和VoxCeleb数据集的说话者的语音和面部数据上训练卷积神经网络（CNN）来分析说话者年龄的分类。我们从风格转换中生成老年人的声音，将输入的频谱图转换为不同的年龄，并在移动应用程序上演示我们的方法。
2021-10-05 cs.CL cs.LG cs.SD
G-IDS: Generative Adversarial Networks Assisted Intrusion Detection System
Florida International University（佛罗里达国际大学）
网络物理系统（CPS）和物联网（IoT）的边界正在日益融合，以在混合系统上引入通用平台。此外，人工智能（AI）与CPS的结合创造了技术进步的新维度。所有这些连接性和可靠性都为攻击者发动网络攻击创造了巨大的空间。为了抵御这些攻击，入侵检测系统（IDS）得到了广泛的应用。然而，新兴的CPS技术遭受不平衡和缺失的样本数据，这使得入侵检测系统的训练困难。在本文中，我们提出了一个生成对抗网络（GAN）的入侵检测系统（G-IDS），其中GAN生成合成样本，和IDS得到训练，他们与原始的。G-IDS还解决了不平衡或丢失数据的问题。我们使用NSL KDD-99数据集为一个新兴的CPS网络安全数据集建模，并使用不同的指标评估我们提出的模型的性能。我们发现，我们提出的G-IDS模型在训练过程中的攻击检测和模型稳定性比一个独立的IDS更好。
2020-06-01 cs.CR cs.LG
Generative Negative Replay for Continual Learning
University of Bologna（博洛尼亚大学）；University of Pisa（比萨大学）
持续学习是智力的一个重要方面，也是解决许多现实问题的必要能力。控制灾难性遗忘（持续学习的阿喀琉斯之踵）的最有效策略之一是存储部分旧数据，并与新经验交叉重放（也称为重放方法）。生成式重放（Generative replay）使用生成模型按需提供重放模式，特别有趣，然而，它主要在简化的假设下被证明是有效的，例如简单的场景和低维数据。在本文中，我们表明，虽然生成的数据通常不能提高旧类的分类精度，但它们可以有效地作为负例（或拮抗剂），以更好地学习新类，特别是当学习经验很小时，包含一个或几个类的例子。所提出的方法在复杂的类增量和数据增量持续学习场景（CORe 50和ImageNet-1000）上进行了验证，这些场景由高维数据和大量训练经验组成：现有的生成重放方法通常会失败。
2022-04-12 cs.CV cs.LG stat.ML
Gradient Layer: Enhancing the Convergence of Adversarial Training for Generative Models
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们提出了一种新技术，可以提高生成对抗网络的训练收敛性。通常，在多次迭代之后，训练深度模型的速率会严重降低。这种现象的一个关键原因是，深度网络是使用高度非凸的有限维模型来表示的，因此参数会陷入局部最优。正因为如此，方法往往不仅受到退化的收敛速度，但也从训练网络的代表性的权力的限制。为了克服这个问题，我们提出了一个称为梯度层的附加层，以在无限维空间中寻找下降方向。由于该层是在无限维空间中构造的，因此我们不受有限维模型的特定模型结构的限制。这样，我们就可以在有限维模型中摆脱局部最优，更直接地向全局最优函数移动。本文从梯度层的功能梯度法角度对这一现象进行了解释。有趣的是，使用梯度层的优化过程自然地构建了网络的深层结构。此外，我们证明，这个过程可以被视为一个离散化方法的梯度流，自然减少了目标函数。最后，通过数值实验验证了该方法的快速收敛性.
2018-06-14 cs.LG stat.ML
Defending Neural Backdoors via Generative Distribution Modeling
Duke University（杜克大学）
神经后门攻击是深度学习面临的一个严重安全威胁，而现有的防御方法能力有限，特别是对于复杂的后门触发器。在这项工作中，我们探索了所有可能的后门触发器的像素值所形成的空间。攻击者用来构建后门模型的原始触发器仅表示空间中的一个点。然后将其推广为有效触发器的分布，所有这些触发器都可以影响后门模型。因此，仅对触发分布的一个点进行建模的先前方法是不够的。获取整个触发器分布，例如，通过生成建模，是有效防御的关键。然而，现有的生成建模技术的图像生成不适用于后门的情况下，触发分布是完全未知的。在这项工作中，我们提出了最大熵阶梯近似器（MESA），一个算法的高维无采样生成建模，并使用它来恢复触发分布。我们还开发了一种防御技术，从后门模型中删除触发器。我们在Cifar 10/100数据集上的实验证明了MESA在建模触发分布方面的有效性和所提出的防御方法的鲁棒性。
2019-11-06 cs.LG stat.ML
Low Distortion Block-Resampling with Spatially Stochastic Networks
Latent Space；École Normale Supérieure（巴黎高等师范学院）
我们形式化并解决了从旧图像生成新图像的问题，这些图像尽可能多样化，只允许它们在图像的某些部分不受限制地改变，同时保持全局一致。这包含了生成建模中的典型情况，我们对生成的部分数据感到满意，但希望对其他数据进行重新采样（“我喜欢这个生成的城堡，但这个塔看起来不现实，我想要一个新的”）。为了解决这个问题，我们从最好的条件和无条件生成模型中构建，引入一种新的网络架构，训练过程和算法，用于根据需要重新生成图像的部分。
2020-12-10 cs.LG stat.ML
Compiling Stan to Generative Probabilistic Languages and Extension to Deep Probabilistic Programming
INRIA Paris（法国国家信息与自动化研究所巴黎）；École normale supérieure – PSL University（巴黎高等师范学院 – PSL大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
Stan是一种概率程序设计语言，在统计学社区中很流行，具有用于表达概率模型的高级语法。Stan在本质上不同于Church、Anglican或Pyro等生成概率程序设计语言。本文提出了一种将任意Stan模型编译成生成语言的综合编译方案，并证明了其正确性。我们使用我们的编译方案为Stanc3编译器构建两个新的后端，目标是Pyro和NumPyro。实验结果表明，NumPyro后端在26个基准测试中的几何平均值比Stan提高了2.3倍。在Pyro的基础上，我们扩展了Stan，支持显式变分推理指南和深度概率模型。这样，熟悉Stan的用户就可以访问新功能，而无需学习一门全新的语言。
2021-04-11 cs.AI cs.LG cs.PL
