Deep Convolutional Generative Modeling for Artificial Microstructure Development of Aluminum-Silicon Alloy
SRM Institute of Science and Technology（SRM科学技术学院）
机器学习是人工智能的一个子领域，在制造业和材料科学领域有着各种应用。本研究采用无监督机器学习技术中的深度生成建模方法构建了硅铝合金的人工显微组织。深度生成对抗网络已被用于开发给定微观结构图像数据集的人工微观结构。所获得的结果表明，所开发的模型已经学会了在微观结构的某些图像附近复制衬里。
2021-09-06 cs.CV cs.LG eess.IV
Learning Consistent Deep Generative Models from Sparse Data via Prediction Constraints
UC Irvine（加州大学欧文分校）；Nazarbayev University（纳扎尔巴耶夫大学）；Tufts University（塔夫茨大学）
我们开发了一个新的框架，用于学习变分自编码器和其他深度生成模型，以平衡生成和区分目标。我们的框架优化了模型参数，以最大限度地提高观测数据可能性的变化下限，并受到特定于任务的预测约束，以防止模型错误指定导致不准确的预测。我们进一步强制执行一个一致性约束，该约束自然来自生成模型，需要对重建数据进行预测以匹配原始数据。我们表明，这两个贡献-预测约束和一致性约束-导致有前途的图像分类性能，特别是在半监督的情况下，类别标签稀疏，但未标记的数据是丰富的。我们的方法使生成建模的进步能够直接提高半监督分类性能，我们通过使用捕获空间变换的潜变量来增强深度生成模型来证明这一能力。
2020-12-12 cs.CV cs.LG stat.ML
Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data
University of Maryland（马里兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
由于生成对抗网络（GANs）的突破，真实感图像生成已经达到了一个新的质量水平。然而，这种deepfakes的黑暗面，恶意使用生成的媒体，引起了人们对视觉错误信息的担忧。虽然现有的deepfake检测研究工作具有很高的准确性，但它受制于生成技术的进步和检测对策技术的对抗性迭代。因此，我们寻求一种主动和可持续的深度伪造检测解决方案，即通过将人工指纹引入模型，对生成模型的演变不可知。我们的方法简单而有效。我们首先将人工指纹嵌入到训练数据中，然后验证这种指纹从训练数据到生成模型的可转移性，这反过来又出现在生成的deepfake中。实验表明，我们的指纹识别解决方案（1）适用于各种尖端的生成模型，（2）对生成质量产生的副作用可以忽略不计，（3）对图像级和模型级扰动保持鲁棒性，（4）难以被对手检测到，（5）将deepfake检测和归因转换为琐碎的任务，并优于最近最先进的基线。我们的解决方案关闭了发布预训练的生成模型发明及其可能的滥用之间的责任循环，这使得它独立于当前的军备竞赛。代码和型号可在https://github.com/ningyu1991/ArtificialGANFingerprints上获得。
2022-03-17 cs.CR cs.CV cs.CY
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
深度生成模型是一类训练深度神经网络以对训练样本的分布进行建模的技术。研究已经分裂成各种相互关联的方法，其中每一种方法都需要权衡包括运行时、多样性和架构限制。特别是，本概要涵盖了基于能量的模型，变分自编码器，生成对抗网络，自回归模型，规范化流，以及许多混合方法。这些技术进行了比较和对比，解释了每个背后的前提以及它们是如何相互关联的，同时回顾了当前最先进的进展和实现。
2022-03-28 cs.CV cs.LG stat.ML
CreativeGAN: Editing Generative Adversarial Networks for Creative Design Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Universiti Teknologi PETRONAS（马来西亚石油科技大学）
现代机器学习技术，如深度神经网络，通过发现大数据中的模式并做出准确的预测，正在改变从图像识别到语言理解的许多学科。它们在合成新设计方面也取得了可喜的成果，这对于创造产品和实现创新至关重要。生成模型，包括生成对抗网络（GANs），已被证明是有效的设计综合与应用范围从产品设计到超材料设计。这些自动化计算设计方法可以支持人类设计师，他们通常通过使用经验和知识反复探索想法的耗时过程来创建设计。然而，在自动合成“创意”设计方面仍然存在挑战。然而，GAN模型无法生成独特的设计，这是创新的关键，也是基于AI的设计自动化应用的主要差距。本文提出了一种自动化的方法，命名为CreativeGAN，用于生成新颖的设计。它通过识别使设计独特的组件并修改GAN模型来实现这一点，以便更有可能生成具有识别出的独特组件的设计。该方法结合了最先进的新颖性检测，分割，新颖性本地化，重写和生成模型的创意设计合成。使用自行车设计的数据集，我们证明了该方法可以创建新的自行车设计与独特的框架和处理，并推广到广泛的设计罕见的新奇。我们的自动化方法不需要人为干预，并展示了一种重新思考创意设计合成和探索的方法。
2021-03-10 cs.LG
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM（国际商业机器公司）
潜在表征是深层生成模型的本质，决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用，它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模，包括潜变量模型，潜表示和潜空间，特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
When and How Can Deep Generative Models be Inverted?
Technion, Israel（以色列理工学院）
近年来，深度生成模型（例如GANs和VAE）得到了广泛的发展。最近，人们对这种模型的反演越来越感兴趣，即给定一个（可能损坏的）信号，我们希望恢复生成它的潜在向量。基于稀疏表示理论，我们定义了适用于任何反演算法（梯度下降，深度编码器等）的条件，在该条件下，这种生成模型是可逆的，具有唯一解。重要的是，所提出的分析适用于任何训练模型，并且不依赖于高斯i.i.d.。权重此外，我们为任意深度的训练生成网络引入了两种逐层反演追踪算法，并伴随着恢复保证。最后，我们验证了我们的理论结果数值，并表明我们的方法优于梯度下降时，反转这样的发电机，无论是干净的和损坏的信号。
2020-06-28 cs.CV cs.LG stat.ML
Concept-Oriented Deep Learning: Generative Concept Representations
IBM（IBM（国际商业机器公司））
与判别式概念表示相比，生成式概念表示具有三大优势：能够表示不确定性，支持学习和推理的集成，有利于无监督和半监督学习。我们讨论了生成概念表示所基于的概率和生成深度学习，以及使用变分自编码器和生成对抗网络来学习生成概念表示，特别是对于数据是序列，结构化数据或图形的概念。
2018-11-15 cs.AI cs.LG stat.ML
KernelNet: A Data-Dependent Kernel Parameterization for Deep Generative Modeling
State University of New York at Buffalo（纽约州立大学布法罗分校）
核学习是机器学习中的一个重要概念。内核方法的标准方法通常使用预定义的内核，需要仔细选择超参数。为了减轻这一负担，我们在本文中提出了一个框架，以构建和学习一个数据依赖的内核的基础上，随机特征和隐式谱分布参数化的深度神经网络。构建的网络（称为KernelNet）可以应用于各种场景中的深度生成建模，包括深度生成模型中两种流行的学习范式，MMD-GAN和隐式变分自编码器（VAE）。我们表明，我们提出的内核确实存在于应用程序中，并保证是正定的。此外，诱导的最大平均离散（MMD）可以通过简单的正则化赋予弱拓扑的连续性。广泛的实验表明，与相关方法相比，我们提出的KernelNet始终获得更好的性能。
2020-06-25 cs.CV cs.LG stat.ML
A survey of multimodal deep generative models
The University of Tokyo（东京大学）
多模态学习是一个用于构建模型的框架，该模型基于不同类型的模态进行预测。多模态学习中的重要挑战是从任意模态中推断共享表示并通过这些表示生成跨模态;然而，实现这一目标需要考虑多模态数据的异构性。近年来，深度生成模型，即，其中分布由深度神经网络参数化的生成模型已经吸引了很多关注，特别是变分自编码器，其适合于完成上述挑战，因为它们可以考虑异质性并推断数据的良好表示。因此，近年来已经提出了各种基于变分自编码器的多模态生成模型，称为多模态深度生成模型。在本文中，我们对多模态深度生成模型的研究进行了分类调查。
2022-07-05 cs.LG stat.ML
Generative Deep Learning for Virtuosic Classical Music: Generative Adversarial Networks as Renowned Composers
UW - Whitewater（威斯康星大学白水分校）
目前人工智能生成的音乐缺乏良好作曲技术的基本原则。通过在编程和音乐上缩小实现问题，我们可以更好地理解生成的作品所需的参数，这些参数几乎与大师级作曲家的作品无法区分。
2021-11-13 cs.LG cs.NE cs.SD
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
Deep Generative Design: Integration of Topology Optimization and Generative Models
Sookmyung Women’s University（淑明女子大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
深度学习最近已被应用于设计优化的各个研究领域。本研究提出了采用深度学习进行生成式设计（或设计探索）研究的必要性和有效性。这项工作提出了一个基于人工智能（AI）的设计自动化框架，该框架能够生成许多设计选项，这些选项不仅美观，而且还针对工程性能进行了优化。所提出的框架集成了拓扑优化和深度生成模型（例如，生成对抗网络（GANs））以迭代方式探索新的设计选项，从而从有限的先前设计数据开始生成大量设计。此外，异常检测可以评估所生成的设计的新颖性，从而帮助设计师在设计选项中进行选择。二维车轮设计问题作为一个案例研究，验证所提出的框架。该框架体现了更好的美学，多样性和鲁棒性的生成设计比以前的生成设计方法。
2019-05-20 cs.CE cs.LG cs.NE
Exploring the Power of Generative Deep Learning for Image-to-Image Translation and MRI Reconstruction: A Cross-Domain Review
Center for Translational Research in Neuroimaging and Data Science (TReNDS)（神经影像与数据科学转化研究中心（TReNDS））
近年来，深度学习已经成为计算机视觉和图像处理领域中的重要计算建模工具。本研究全面分析了自然和医学成像领域用于图像到图像翻译和重建的不同深度学习方法。我们研究了著名的深度学习框架，如卷积神经网络和生成对抗网络及其变体，深入研究了每个框架的基本原理和难点。在自然计算机视觉领域，我们研究了各种深度学习生成模型的开发和扩展。相比之下，我们研究了深度学习在生成医学成像问题中的可能应用，包括医学图像翻译、MRI重建和多对比度MRI合成。这篇全面的综述为生成计算机视觉和医学成像领域的学者和从业者提供了有用的见解，以总结过去的工作并深入了解未来的研究路径。
2023-03-16 cs.CV eess.IV
Deep generative models as the probability transformation functions
Cherkasy State Technological University（切尔卡西国立技术大学）；Cherkasy Bohdan Khmelnytsky National University（切尔卡斯比多曼·赫梅尔尼茨基国立大学）
本文提出统一理论视角，将深度生成模型视为概率变换函数，揭示不同架构（自编码器、自回归模型、生成对抗网络、归一化流、扩散模型和流匹配）本质上均通过将简单预定义分布变换为复杂目标数据分布来运作。
2025-06-20 cs.LG
Deep Generative Models for Geometric Design Under Uncertainty
Northwestern University（西北大学）
深度生成模型在学习紧凑和富有表现力的设计表示方面表现出了有效性，这些设计表示显着改善了几何设计优化。然而，这些模型不考虑制造或制造引入的不确定性。过去量化这种不确定性的工作往往对几何变化进行简化假设，而“真实世界”的不确定性及其对设计性能的影响由于高维数而难以量化。为了解决这个问题，我们提出了一个基于生成对抗网络的不确定性框架下的设计（GAN-DUF），它包含一个深度生成模型，可以同时学习标称（理想）设计的紧凑表示和给定任何标称设计的制造设计的条件分布。我们在两个实际的工程设计实例中展示了该框架，并展示了其在制造后找到具有更好性能的解决方案的能力。
2022-03-09 cs.LG
Reducing the Computational Cost of Deep Generative Models with Binary Neural Networks
University College London（伦敦大学学院）
深度生成模型提供了一套强大的工具来理解真实世界的数据。但随着这些模型的改进，它们的大小和复杂性也会增加，因此它们在内存和执行时间上的计算成本也会增加。在神经网络中使用二进制权重是一种有望降低这种成本的方法。然而，二进制神经网络是否可以用于生成模型是一个悬而未决的问题。在这项工作中，我们表明，第一次，我们可以成功地训练生成模型，利用二进制神经网络。这大大降低了模型的计算成本。我们开发了一类新的二进制权重归一化，并为这些二进制生成模型的架构设计提供了见解。我们证明了两个最先进的深度生成模型，ResNet VAE和Flow++模型，可以使用这些技术有效地二进制化。我们训练二进制模型，使其损失值接近常规模型的损失值，但大小要小90%-94%，并且还允许显著加快执行时间。
2021-05-03 cs.LG
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.（STAT创新私人有限公司）
将生成对抗神经网络（GANs）应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像，显示相同的技术可用于医疗领域，以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片，并使用尖端技术训练深度卷积生成对抗神经网络（DCGAN）。合成输出进行了比较，真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
Geodesic Clustering in Deep Generative Models
University of Science and Technology Beijing（北京科技大学）；Technical University of Denmark（丹麦技术大学）
深度生成模型在学习能够很好地描述数据的低维潜在表示方面非常成功。然而，这些表示往往会扭曲点之间的关系，即成对距离往往不能很好地反映语义相似性。这使得无监督的任务，如聚类，在使用潜在表示时变得困难。我们证明，考虑到生成模型的几何形状是足够的，使简单的聚类算法的工作以及潜在的表示。依靠最近的发现，深生成模型构成随机浸入黎曼流形，我们提出了一个有效的算法，用于计算测地线（最短路径）和计算潜在空间中的距离，同时考虑到它的失真。我们进一步提出了一种新的架构，用于对变分自编码器中的不确定性进行建模，这对于理解深度生成模型的几何结构至关重要。实验表明测地线距离很有可能反映数据的内部结构。
2018-09-13 cs.LG stat.ML
Design Target Achievement Index: A Differentiable Metric to Enhance Deep Generative Models in Multi-Objective Inverse Design
Massachusetts Institute of Technology（麻省理工学院）
深度生成机器学习模型在设计界越来越受欢迎，这要归功于它们学习和模拟复杂数据分布的能力。虽然早期的工作是有希望的，进一步的进步将取决于解决几个关键的考虑因素，如设计质量，可行性，新颖性和有针对性的逆向设计。我们提出了设计目标实现指数（DTAI），一个可区分的，可调的指标，得分设计的能力，实现设计师指定的最低性能目标。我们证明了DTAI在直接用作深度生成模型中的训练损失时可以大大提高生成设计的性能。我们将DTAI损失应用于性能增强的多样性GAN（PaD GAN），并与一组基线深度生成模型（包括多目标PaD GAN和专用表格生成算法，如条件表格GAN（CT GAN））相比，表现出卓越的生成性能。我们进一步增强PaDGAN与辅助可行性分类器，以鼓励可行的设计。为了评估方法，我们提出了一套全面的评估指标的生成方法，专注于可行性，多样性和满意度的设计性能目标。方法进行测试的一个具有挑战性的基准问题：FRAMED自行车车架设计数据集具有混合数据类型的参数数据，严重偏斜和多模态分布，和十个竞争的性能目标。
2022-05-06 cs.LG
DeepFlow: History Matching in the Space of Deep Generative Models
Imperial College London（帝国理工学院）
利用观测到的流体压力和速率的瞬态数据校准储层模型是获得地球地下的流动和输运行为的预测模型的关键任务。模型校准任务，通常被称为“历史匹配”，可以被形式化为一个不适定的逆问题，我们的目标是找到解释所观察到的动态数据的岩石物理性质的基本空间分布。我们使用在基于地质统计对象的模型上预训练的生成对抗网络来表示油气藏合成模型的岩石性质分布。油藏流体的动态行为是使用瞬态两相不可压缩达西公式建模。我们首先使用预训练的生成模型对属性分布进行建模，然后使用正问题的伴随方程对控制生成模型输出的潜变量执行梯度下降，从而反演底层储层属性。除了动态观测数据，我们包括井岩石类型的限制，通过引入一个额外的目标函数。我们的贡献表明，对于合成测试用例，我们能够通过在深层生成模型的潜变量空间中进行优化来获得反问题的解决方案，给出了一组非线性正问题的瞬态观测。
2019-06-12 cs.CV cs.LG physics.comp-ph
Generating and designing DNA with deep generative models
University of Toronto（多伦多大学）
我们提出了生成神经网络方法来生成DNA序列，并调整它们具有所需的属性。我们提出三种方法：使用生成对抗网络创建合成DNA序列;基于DNA的激活最大化（“深梦”）设计方法的变体;以及将这两种方法结合在一起的联合程序。我们发现，这些工具捕捉到的数据的重要结构，当应用于设计探针的蛋白质结合微阵列，使我们能够产生新的序列，其属性估计是优于那些发现在训练数据。我们相信，这些结果为应用深度生成模型推进基因组学研究打开了大门。
2017-12-17 cs.LG q-bio.GN stat.ML
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）
基于变分自编码器（VAE）的深层潜变量生成模型在视听语音增强（AVSE）中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据，然后将其与统计噪声模型，以恢复一个语音信号从嘈杂的音频记录和视频（嘴唇图像）的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质，这阻止了它们完全结合视觉数据的力量。在本文中，我们提出了一个视听深度卡尔曼滤波器（AV-DKF）生成模型，假设一阶马尔可夫链模型的潜在变量，并有效地融合视听数据。此外，我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验，比较不同的语音增强生成模型的变体。结果表明，AV-DKF模型的优越性相比，它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
VAEM: a Deep Generative Model for Heterogeneous Mixed Type Data
University of Cambridge（剑桥大学）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）
由于自然数据集的异质性，深度生成模型在现实世界的应用中通常表现不佳。异质性来自于包含不同类型特征的数据（分类、有序、连续等）。并且相同类型的特征具有不同的边缘分布。我们提出了一个扩展的变分自编码器（VAE）称为VAEM处理这样的异构数据。VAEM是一种深度生成模型，它以两阶段的方式进行训练，使得第一阶段为第二阶段提供更统一的数据表示，从而避免了异构数据引起的问题。我们提供了扩展VAEM处理部分观察到的数据，并证明其在数据生成，丢失的数据预测和顺序特征选择任务的性能。我们的研究结果表明，VAEM拓宽了可以成功部署深度生成模型的现实世界应用范围。
2020-06-21 cs.LG stat.ML
Roundtrip: A Deep Generative Neural Density Estimator
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
密度估计是统计学和机器学习中的一个基本问题。在这项研究中，我们提出了Roundtrip作为基于深度生成模型的通用神经密度估计器。Roundtrip保留了生成对抗网络（GANs）的生成能力，但也提供了密度值的估计。与以前的神经密度估计器不同，它对从潜在空间到数据空间的转换提出了严格的条件，Roundtrip允许使用更一般的映射。在一系列实验中，Roundtrip在各种密度估计任务中实现了最先进的性能。
2020-09-04 cs.LG stat.ME stat.ML
Deep Structured Generative Models
Tsinghua University（清华大学）
深度生成模型在生成逼真图像方面表现出了良好的效果，但生成具有复杂结构的图像仍然是不平凡的。其主要原因是目前的生成模型大多未能探索图像中的结构，包括空间布局和对象之间的语义关系。为了解决这个问题，我们提出了一种新的深度结构化生成模型，该模型在结构信息的帮助下增强生成对抗网络（GANs）。特别地，场景的布局或结构由随机与或图（sAOG）编码，其中终端节点表示单个对象，边缘表示对象之间的关系。通过适当地利用sAOG，我们的模型可以成功地捕获场景中的内在结构，并相应地生成复杂场景的图像。此外，引入检测网络来从图像中推断场景结构。实验结果表明，我们提出的方法的有效性的建模的内在结构，并产生真实感的图像。
2018-07-10 cs.LG stat.ML
Deep Generative Models for 3D Medical Image Synthesis
University of Basel（巴塞尔大学）；Technical University Darmstadt（达姆施塔特工业大学）
本章系统综述了VAEs、GANs和DDMs三类深度生成模型在三维医学图像合成中的原理、优缺点、临床应用及评估指标，并指出当前挑战。
2024-10-23 cs.CV eess.IV
Latent Space Refinement for Deep Generative Models
Heidelberg University（海德堡大学）；Université catholique de Louvain（鲁汶天主教大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型正在科学和工业中广泛用于各种目的。一个常见的挑战是实现数据概率密度的精确隐式或显式表示。最近的提案建议使用分类器权重来改进深度生成模型的学习密度。我们将这一想法扩展到所有类型的生成模型，并展示如何通过迭代生成建模进行潜在空间细化来规避拓扑障碍并提高精度。这种方法也适用于目标模型是不可微的，并且具有许多内部潜在维度的情况，这些维度必须在细化之前被边缘化。我们在各种示例上展示了我们的潜在空间细化（LaSeR）协议，重点是规范化流和生成对抗网络的组合。
2021-11-03 cs.LG hep-ex hep-ph
Improving Missing Data Imputation with Deep Generative Models
University of Luxembourg（卢森堡大学）
缺失值的数据集在行业应用中非常常见，它们可能对机器学习模型产生负面影响。最近的研究介绍了基于深度生成模型的缺失值估算问题的解决方案。以前使用生成对抗网络和变分自编码器的实验在这个领域显示了有趣的结果，但目前还不清楚哪种方法更适合不同的用例。这项工作的目标是双重的：我们提出了基于深度生成模型的缺失数据填补解决方案之间的比较，并提出了对这些方法的改进。我们使用具有不同特征的已知现实生活数据集运行我们的实验，随机删除值并使用几种插补技术重建它们。我们的研究结果表明，分类变量的存在或不存在可以改变最佳模型的选择，并且在使用不同的随机数生成器种子进行类似运行后，某些模型比其他模型更稳定。
2019-02-27 cs.LG stat.ML
On Memorization in Probabilistic Deep Generative Models
The Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
深度生成模型的最新进展在各种应用领域取得了令人印象深刻的结果。由于深度学习模型可能会记住部分输入数据，人们越来越多地努力了解记忆是如何产生的。在这项工作中，我们将最近提出的监督学习记忆措施（Feldman，2019）扩展到无监督密度估计问题，并使其在计算上更有效。接下来，我们提出了一项研究，展示了记忆如何发生在概率深度生成模型中，如变分自编码器。这表明，这些模型所受的记忆形式与模式坍塌和过拟合有着根本的不同。此外，我们表明，建议的记忆分数措施的现象，是没有捕获常用的最近邻测试。最后，我们讨论了几个策略，可以用来限制记忆在实践中。因此，我们的工作提供了一个框架，理解有问题的记忆概率生成模型。
2021-12-29 cs.LG stat.ML
A comparative study of stochastic and deep generative models for multisite precipitation synthesis
IBM Research（IBM研究院）
未来的气候变化情景通常是使用天气发生器的模拟来假设的。然而，只有少数作品比较和评估有前途的深度学习模型与经典方法的天气生成。这项研究显示了初步的结果，使这样的评价多点沉淀合成任务。我们比较了两个开源天气生成器：IBMWeathergen（Weathergen库的扩展）和RGeneratePrec，以及两个深度生成模型：GAN和VAE。我们的初步结果可以作为改进多位点沉淀合成任务的深度学习架构和算法设计的指导。
2021-07-16 cs.AI cs.LG physics.ao-ph
Generative Deep Learning Techniques for Password Generation
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；Federal Criminal Police Office（联邦刑事警察局）
最近已经研究了通过深度学习的密码猜测方法，其在生成新颖的、现实的密码候选者的能力方面具有重大突破。在目前的工作中，我们研究了广泛的深度学习和基于概率的模型，根据密码猜测：基于注意力的深度神经网络，自动编码机制和生成对抗网络。我们在变分自编码器方面提供了新的生成式深度学习模型，表现出最先进的采样性能，产生额外的潜在空间特征，如插值和目标采样。最后，我们在一个统一的控制框架中对知名数据集（RockYou，LinkedIn，Youku，Zomato，Pwnd）进行了全面的实证分析。我们的研究结果不仅确定了由深度神经网络驱动的最有前途的方案，而且还说明了每种方法在生成变异性和样本唯一性方面的优势。
2020-12-16 cs.AI cs.CL cs.CR
Competency Assessment for Autonomous Agents using Deep Generative Models
University of Colorado Boulder（科罗拉多大学博尔德分校）；The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
对于自主智能体来说，作为人类用户值得信赖的合作伙伴，它们必须能够可靠地传达它们被要求执行的任务的能力。为了实现这一目标，我们开发了基于深度生成建模的概率世界模型，该模型允许模拟代理轨迹和精确计算任务结果概率。通过将条件变分自编码器的优势与递归神经网络相结合，深度生成世界模型可以概率地预测长期任务完成的轨迹。我们展示了这些预测的轨迹如何用于计算结果概率分布，从而能够精确评估特定任务和初始设置的代理能力。
2022-03-23 cs.AI cs.HC cs.LG
Study of Deep Generative Models for Inorganic Chemical Compositions
Panasonic Corporation（松下公司）
基于生成对抗网络（GANs）和变分自编码器（VAE）的生成模型在图像生成、语音生成和药物发现领域得到了广泛的研究，但是，只有少数研究关注无机材料的生成。这些研究使用材料的晶体结构，但材料研究人员很少存储这些信息。因此，我们在不使用晶体信息的情况下生成化学组成。我们使用一个条件VAE（CondVAE）和一个条件GAN（CondGAN），并表明CondGAN使用袋的原子表示与物理描述符生成更好的组合物比其他生成模型。此外，我们评估的有效性的Metropolis-Hastings为基础的原子价修改和外推性能，这是重要的材料发现。
2019-10-25 cond-mat.mtrl-sci cs.LG physics.comp-ph
On the Statistical Capacity of Deep Generative Models
Stanford University（斯坦福大学）；Duke University（杜克大学）
本研究构建统一框架，证明含VAE、GAN、扩散模型的大类深度生成模型非通用生成器，在多种潜变量分布下仅能生成轻尾集中样本，揭示其处理重尾分布的容量局限，并用模拟和金融数据验证。
2025-01-14 cs.AI cs.LG math.ST
DeepCAD: A Deep Generative Network for Computer-Aided Design Models
Columbia University（哥伦比亚大学）
3D形状的深度生成模型已经引起了大量的研究兴趣。然而，几乎所有的方法都生成离散的形状表示，如体素、点云和多边形网格。我们提出了第一个3D生成模型的一个完全不同的形状表示-描述一个形状作为一个序列的计算机辅助设计（CAD）操作。与网格和点云不同，CAD模型对3D形状的用户创建过程进行编码，广泛用于许多工业和工程设计任务。然而，CAD操作的顺序和不规则结构对现有的3D生成模型提出了重大挑战。通过类比CAD操作和自然语言，我们提出了一个基于Transformer的CAD生成网络。我们证明了我们的模型的形状自动编码和随机形状生成的性能。为了训练我们的网络，我们创建了一个由178，238个模型及其CAD构造序列组成的新CAD数据集。我们已经公开了这个数据集，以促进未来对这个主题的研究。
2021-08-16 cs.CV cs.GR cs.LG
Max-margin Deep Generative Models
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
深度生成模型（DGMs）在学习复杂数据的多层表示和通过探索生成能力来执行输入数据的推理方面是有效的。然而，很少有工作已经做了检查或授权的判别能力的DGMs作出准确的预测。本文提出了最大间隔深度生成模型（mmDGMs），该模型探索了最大间隔学习的强区分原则，以提高DGMs的区分能力，同时保留生成能力。针对分段线性目标，提出了一种有效的双随机次梯度算法。在MNIST和SVHN数据集上的实验结果表明，（1）最大间隔学习可以显着提高DGMs的预测性能，同时保持生成能力;（2）通过采用深度卷积神经网络（CNN）作为识别和生成模型，mmDGMs与最先进的完全判别网络相比具有竞争力。
2015-12-15 cs.CV cs.LG
Network Bending: Expressive Manipulation of Deep Generative Models
Goldsmiths, University of London（伦敦大学金史密斯学院）；University of The Arts London（伦敦艺术大学）
我们引入了一个新的框架，用于操纵和与深度生成模型交互，我们称之为网络弯曲。我们提出了一套全面的确定性转换，可以插入到一个训练有素的生成神经网络的计算图，并在推理过程中应用的不同层。此外，我们提出了一种新的算法，用于分析深度生成模型和基于空间激活图的聚类特征。这允许以无监督的方式基于空间相似性将特征分组在一起。这导致对对应于生成的图像的大量语义上显著的特征的生成的特征集的有意义的操纵。我们概述了这个框架，展示了我们在几个图像数据集上训练的最先进的深度生成模型的结果。我们展示了它如何允许直接操纵语义有意义的方面的生成过程，以及允许广泛的表达结果。
2021-03-12 cs.CV cs.LG
Fast and Flexible Indoor Scene Synthesis via Deep Convolutional Generative Models
Brown University（布朗大学）
我们提出了一种新的，快速和灵活的室内场景合成管道，该管道基于深度卷积生成模型。我们的方法操作在一个自上而下的基于图像的表示，并插入对象迭代到场景中预测其类别，位置，方向和大小与单独的神经网络模块。我们的流水线自然支持部分场景的自动完成，以及完整场景的合成。我们的方法比以前的基于图像的方法快得多，并且在对训练数据的忠诚度和感知的视觉质量方面，生成的结果优于它和其他最先进的深度生成场景模型。
2018-11-29 cs.CV cs.GR
Theory of Generative Deep Learning : Probe Landscape of Empirical Error via Norm Based Capacity Control
University of Chinese Academy of Sciences（中国科学院大学）
尽管深度学习作为人工智能的一个极具竞争力的分支，在经验上取得了显著的成功，但它经常因其广为人知的低解释性和缺乏坚实严谨的数学基础而受到指责。然而，大多数理论研究都集中在判别式深度学习的情况下，其补充部分是生成式深度学习。据我们所知，我们首先突出景观的经验错误生成的情况下，完成完整的图片，通过精致的设计图像超分辨率下基于范数的容量控制。我们在解释训练动态方面的理论进展是从数学和生物学两个方面实现的。
2018-10-03 cs.CV cs.LG
Deep Generative Classifiers for Thoracic Disease Diagnosis with Chest X-ray Images
Northwestern University（西北大学）
胸部疾病是非常严重的健康问题，困扰着大量的人。胸部X射线是目前最流行的诊断胸部疾病的方法之一，在医疗保健工作流程中发挥着重要作用。然而，阅读胸部X射线图像并给出准确的诊断仍然是放射科专家的挑战性任务。随着深度学习在计算机视觉中的成功，越来越多的深度神经网络架构被应用于胸部X射线图像分类。然而，大多数以前的深度神经网络分类器都是基于确定性架构的，这些架构通常对噪声非常敏感，并且可能会加剧过拟合问题。在本文中，为了使深度架构对噪声更具鲁棒性并减少过拟合，我们提出使用深度生成分类器从胸部X射线图像中自动诊断胸部疾病。与传统的确定性分类器不同，深度生成式分类器在深度神经网络中具有分布中间层。然后，采样层从分布层中抽取随机样本，并将其输入到下一层进行分类。分类器是生成的，因为类标签是从相关分布的样本中生成的。通过训练具有一定随机性的模型，深度生成分类器有望对噪声具有鲁棒性，并可以减少过拟合，从而获得良好的性能。我们基于许多众所周知的确定性神经网络架构实现了我们的深度生成分类器，并在胸部X射线14数据集上测试了我们的模型。结果表明，与相应的深度确定性分类器相比，深度生成分类器的优越性。
2018-11-08 cs.AI cs.CV cs.LG
Continual Learning with Deep Generative Replay
Massachusetts Institute of Technology（麻省理工学院）；SK T-Brain
训练一个能够解决多项任务的综合性人工智能的尝试一直受到一个被称为灾难性遗忘的慢性问题的阻碍。虽然简单地重放所有以前的数据可以解决这个问题，但它需要大量内存，甚至更糟的是，在对过去数据的访问有限的现实世界应用程序中通常是不可行的。受海马体作为灵长类动物大脑中短期记忆系统的生成本质的启发，我们提出了深度生成重播，这是一种新颖的框架，具有合作双模型架构，由深度生成模型（“生成器”）和任务求解模型组成（“求解器”）。只有这两个模型，以前任务的训练数据可以很容易地被采样，并与新任务的数据交织。我们测试我们的方法在几个连续的学习设置涉及图像分类任务。
2017-12-12 cs.AI cs.CV cs.LG
DeepInterestGR: Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation
Southeast University（东南大学）
提出DeepInterestGR框架，通过多LLM兴趣挖掘、奖励标记深度兴趣和兴趣增强物品离散化，解决生成式推荐中的浅层兴趣问题，在三个Amazon数据集上显著提升推荐性能。
2026-10-30 cs.CV cs.CY cs.LG
Predicting Landsat Reflectance with Deep Generative Fusion
Cervest Ltd.（Cervest有限公司）
公共卫星任务通常必须在空间分辨率和时间分辨率之间进行权衡，因为没有一个传感器能够提供频繁覆盖的细粒度采集。这就妨碍了它们协助植被监测或人道主义行动的潜力，因为这需要探测快速和详细的地表变化。在这项工作中，我们探索了深度生成模型通过融合具有不同空间和时间特征的产品来生成高分辨率光学图像的潜力。我们介绍了一个数据集的共同注册的中分辨率成像光谱仪（MODIS）和陆地卫星表面反射率的时间序列，并证明了我们的生成模型的能力，将粗糙的日常反射率信息融合到低节奏的更精细的收购。我们基准我们提出的模型对国家的最先进的反射率融合算法。
2020-11-09 cs.CV cs.LG eess.IV
Fully-Trainable Deep Matching
University of Oxford（牛津大学）
深度匹配（DM）是一种流行的高质量准密集图像匹配方法。然而，尽管它的名字，原始的DM公式并没有产生一个可以通过反向传播进行端到端训练的深度神经网络。在本文中，我们通过将完整的DM算法重写为卷积神经网络来消除这一限制。这导致了一种用于图像匹配的新型深度架构，该架构涉及许多新的层类型，并且与最近的图像分割网络类似，具有U拓扑结构。我们证明了该方法的实用性，通过学习它端到端的图像匹配任务，提高DM的性能。
2016-09-12 cs.CV
Generative Counterfactual Introspection for Explainable Deep Learning
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在这项工作中，我们提出了一种用于深度神经网络的内省技术，该技术依赖于生成模型来煽动对输入图像进行显着编辑以进行模型解释。这种修改提供了基本的干预操作，使我们能够获得反事实调查的答案，即，可以对输入图像进行什么有意义的改变以改变预测。我们演示了如何通过利用MNIST和CelebA数据集上提出的内省方法来揭示给定分类器的有趣特性。
2019-07-06 cs.AI cs.CV cs.LG
Factorized Deep Generative Models for Trajectory Generation with Spatiotemporal-Validity Constraints
George Mason University（乔治梅森大学）
弹道数据生成是机动数据生成过程的一个重要方面。传统的方法严重依赖于预定义的几何学和分布，并且在学习未知机制方面很弱。受图像和文本深度生成神经网络成功的启发，一个快速发展的研究课题是轨迹数据的深度生成模型，它可以学习复杂潜在模式的表达性解释模型。这是一个新生的，但有前途的许多应用领域。我们首先提出了新型的深度生成模型，对分别表征全局和局部语义的时变和时不变潜变量进行因子分解。然后，我们开发了新的推理策略的基础上变分推理和约束优化封装的时空有效性。已经开发了新的深度神经网络架构来实现具有新广义潜变量先验的推理和生成模型。在大量的实验中，所提出的方法在定量和定性评价方面取得了显着的改善。
2020-09-20 cs.AI cs.CV
Deep Verifier Networks: Verification of Deep Discriminative Models with Deep Generative Models
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce Research（赛富时研究院）；Harvard Medical School, Harvard University（哈佛医学院（哈佛大学））；Fanhan Tech.（泛函科技）
AI安全是自动驾驶等许多深度学习应用中的主要问题。给定一个经过训练的深度学习模型，一个重要的自然问题是如何可靠地验证模型的预测。在本文中，我们提出了一种新的框架-深度验证器网络（DVN），以验证深度生成模型的深度判别模型的输入和输出。我们提出的模型是基于条件变分自动编码器与解纠缠约束。我们给出了直观和理论的理由模型。我们的验证者网络是独立于预测模型进行训练的，这消除了为新模型重新训练验证者网络的需要。我们测试了验证器网络的分布外检测和对抗性示例检测问题，以及结构化预测任务（如图像标题生成）中的异常检测问题。我们在所有这些问题上都取得了最先进的成果。
2021-01-01 cs.AI cs.CV cs.LG
Blind Image Deconvolution using Deep Generative Priors
Information Technology University（信息技术大学）
本文提出了一种新的方法来正则化\textit{ill-posed}和\textit{non-linear}盲图像反卷积（盲去模糊）使用深度生成网络作为先验。我们采用了两个独立的生成模型-一个被训练来生成清晰的图像，而另一个被训练来从低维参数生成模糊核。为了去模糊，我们提出了一个交替的梯度下降方案，该方案在每个预训练生成模型的潜在低维空间中运行。我们的实验表明，即使在大的模糊和严重的噪声图像上的去模糊效果很好。为了解决生成模型的缺点，如模式坍塌，我们增加了我们的生成先验与经典的图像先验和复杂的图像数据集上的性能提高报告。去模糊性能取决于生成器的范围如何跨越图像类。有趣的是，我们的实验表明，即使是未经训练的结构化（卷积）生成网络也可以在图像去模糊上下文中充当图像先验，从而使我们能够将结果扩展到更多样化的自然图像数据集。
2019-02-26 cs.CV
Deep Quantization: Encoding Convolutional Activations with Deep Generative Model
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
深度卷积神经网络（CNN）已被证明对视觉识别非常有效，其中从卷积层的激活中学习通用表示是一个基本问题。在本文中，我们提出了Fisher Vector encoding with Variational Auto-Encoder（FV-VAE），这是一种新型的深度架构，通过以端到端的方式训练卷积层，在深度生成模型中量化卷积层的局部激活。为了将FV编码策略整合到深度生成模型中，我们引入了变分自动编码器模型，该模型在神经网络中引导变分推理和学习，可以使用标准随机梯度方法直接优化。与传统生成模型（例如，与高斯混合模型（Gaussian Mixture Model）对数据分布的稀疏拟合相比，FV-VAE更能灵活地反映数据的自然属性，具有更好的泛化能力。在三个公共数据集上进行了广泛的实验，即，UCF 101、ActivityNet和CUB-200-2011分别在视频动作识别和细粒度图像分类的上下文中进行。优越的结果相比，国家的最先进的表示。最值得注意的是，我们提出的FV-VAE在UCF 101上达到了迄今为止最好的94.2%的准确率。
2016-11-29 cs.CV
Generative ScatterNet Hybrid Deep Learning (G-SHDL) Network with Structural Priors for Semantic Image Segmentation
University of Cambridge（剑桥大学）
本文提出了一种用于语义图像分割的生成式ScatterNet混合深度学习（G-SHDL）网络。所提出的生成架构是能够训练迅速从相对较小的标记数据集使用引入的结构先验。此外，在架构的每一层中的过滤器的数量被优化，从而产生计算上高效的架构。G-SHDL网络在两个图像数据集上对无监督和半监督学习产生最先进的分类性能。G-SHDL网络的监督方法的优势，证明了与训练数据集的大小减少进行实验。
2018-02-13 cs.CV
Deep Generative Modeling for Scene Synthesis via Hybrid Representations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Snapchat Inc.（Snapchat公司）
我们提出了一种用于室内环境的深度生成场景建模技术。我们的目标是使用前馈神经网络来训练生成模型，该前馈神经网络映射先验分布（例如，正态分布）到室内场景中的主要对象的分布。我们介绍了一个三维对象排列表示模型的位置和方向的对象，根据它们的大小和形状属性。此外，我们的场景表示适用于从数据库中选择的具有不同多重性（重复计数）的3D对象。我们展示了一个原则性的方法来训练这个模型，通过结合3D对象排列表示和基于2D图像的表示的损失。我们在基准数据集上展示了我们的场景表示和深度学习方法的有效性。我们还展示了这种生成模型在场景插值和场景完成中的应用。
2018-08-06 cs.CV
Deep Generative Models in the Real-World: An Open Challenge from Medical Imaging
ETH Zurich（苏黎世联邦理工学院）；Imperial College London（帝国理工学院）
深度学习的最新进展导致了新的生成建模技术，这些技术在生成的样本中实现了前所未有的质量，并在学习成像数据中的复杂分布时实现了性能。这些新的模型在医学图像计算中有重要的应用，形成临床相关的和非常具有挑战性的无监督学习问题。在本文中，我们探索了使用最先进的基于自动编码器的深度生成模型（如变分和对抗自动编码器）的可行性，用于这样一个任务：医学成像中的异常检测。我们利用典型的、公开可用的数据集，包括健康受试者和患有中风病变和脑肿瘤的患者的脑部扫描。我们使用来自健康受试者的数据来训练不同的基于自动编码器的模型，以学习健康图像的分布并将病理检测为异常值。能够更好地学习数据分布的模型应该能够更准确地检测离群值。我们评估了深度生成模型的检测性能，并将其与基于非深度学习的方法进行比较，以提供当前研究状态的基准。我们的结论是，异常检测对于深度生成模型来说是一项具有挑战性的任务，并且存在很大的改进空间。为了促进进一步的研究，我们的目标是提供精心预处理的成像数据提供给研究界。
2018-06-14 cs.CV
FermiNets: Learning generative machines to generate efficient neural networks via generative synthesis
Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；University of Waterloo（滑铁卢大学）；DarwinAI Corp.（达尔文人工智能公司）
深度学习展现出的巨大潜力往往被架构和计算复杂性所抵消，这使得广泛部署成为移动和其他消费设备等边缘场景的挑战。为了应对这一挑战，我们探索了以下想法：我们能否学习生成机器来自动生成具有高效网络架构的深度神经网络？在这项研究中，我们引入了生成合成的思想，这是建立在生成器-查询器对之间复杂的相互作用上的，生成器-查询器对协同工作，以获得洞察力，并学习生成最能满足操作要求的高效深度神经网络。最有趣的是，一旦通过生成合成学习了一个生成器，它就可以用来生成不仅仅是一个，而是大量不同的、独特的、满足操作要求的高效深度神经网络。图像分类、语义分割和目标检测任务的实验结果说明了生成合成在生成自动生成高效深度神经网络的生成器方面的功效（我们称之为费米网）具有更高的模型效率和更低的计算成本（比几个测试过的最先进的网络效率高出10倍以上，乘法累加运算更少），以及更高的能源效率（在Nvidia Tegra X2移动处理器上，每焦耳消耗的图像推理性能提高> 4倍）。因此，生成合成可以是一种强大的通用方法，用于加速和改进设备上边缘场景的深度神经网络的构建。
2018-11-13 cs.AI cs.CV cs.NE
