Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM（国际商业机器公司）
潜在表征是深层生成模型的本质，决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用，它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模，包括潜变量模型，潜表示和潜空间，特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Concept-Oriented Deep Learning: Generative Concept Representations
IBM（IBM（国际商业机器公司））
与判别式概念表示相比，生成式概念表示具有三大优势：能够表示不确定性，支持学习和推理的集成，有利于无监督和半监督学习。我们讨论了生成概念表示所基于的概率和生成深度学习，以及使用变分自编码器和生成对抗网络来学习生成概念表示，特别是对于数据是序列，结构化数据或图形的概念。
2018-11-15 cs.AI cs.LG stat.ML
Latent-Space No-Arbitrage Geometry of Generative Models for Implied Volatility Surfaces
Delft University of Technology（代尔夫特理工大学）；Delft Institute of Applied Mathematics（代尔夫特应用数学研究所）
本研究在隐空间分析生成隐含波动率曲面的模型的无套利约束，建立可接受隐集的边界条件，将分析推广至多种生成模型架构，实验验证了边界的有效性并揭示隐先验的分布特征。
2026-09-02 cs.AI cs.LG cs.NA
Generating and Aligning from Data Geometries with Generative Adversarial Networks
Yale University（耶鲁大学）
近年来，由于基于循环一致性假设的模型的成功，无监督域映射吸引了大量的关注。这些模型通过欺骗概率分布图在两个域之间进行映射，从而匹配真实数据和生成数据的概率分布。而不是这种概率的方法，我们投的问题对齐的几何形状的流形的两个域。我们引入了流形几何匹配生成对抗网络（MGM GAN），它增加了两种新的机制来促进GANs从流形的几何而不是密度采样，然后对齐两个流形几何：（1）重要性采样技术，其基于点在流形上的密度对点重新加权，使得流形只能辨别几何形状，以及（2）从传统流形对准文献中修改的惩罚，其明确地强制几何形状被保留。MGM GAN利用预先训练的自动编码器产生的流形来弥合正式流形对齐文献和现有GAN工作之间的差距，并展示了在其密度上建模流形几何形状的优势。
2019-01-24 cs.LG stat.ML
Curved Diffusion: A Generative Model With Optical Geometry Control
Google（谷歌公司）；Tel Aviv University（特拉维夫大学）
针对现有扩散模型忽略相机光学几何影响的问题，研究提出Curved Diffusion框架，通过逐像素坐标条件融合文本到图像扩散模型与镜头几何，实现曲率控制及多种视觉效果生成。
2024-07-15 cs.CV cs.GR cs.LG
A survey of multimodal deep generative models
The University of Tokyo（东京大学）
多模态学习是一个用于构建模型的框架，该模型基于不同类型的模态进行预测。多模态学习中的重要挑战是从任意模态中推断共享表示并通过这些表示生成跨模态;然而，实现这一目标需要考虑多模态数据的异构性。近年来，深度生成模型，即，其中分布由深度神经网络参数化的生成模型已经吸引了很多关注，特别是变分自编码器，其适合于完成上述挑战，因为它们可以考虑异质性并推断数据的良好表示。因此，近年来已经提出了各种基于变分自编码器的多模态生成模型，称为多模态深度生成模型。在本文中，我们对多模态深度生成模型的研究进行了分类调查。
2022-07-05 cs.LG stat.ML
NeRF-VAE: A Geometry Aware 3D Scene Generative Model
DeepMind
我们提出了NeRF-VAE，一个3D场景生成模型，通过NeRF和可微分体绘制结合几何结构。与NeRF相比，我们的模型考虑了场景之间的共享结构，并且能够使用摊销推理来推断新场景的结构-而无需重新训练。NeRF-VAE的显式3D渲染过程进一步将以前的生成模型与缺乏几何结构的基于卷积的渲染进行了对比。我们的模型是一个VAE，学习辐射场的分布，通过调节它们的潜在场景表示。我们表明，一旦训练，NeRF-VAE能够使用很少的输入图像从以前看不见的3D环境中推断和渲染几何一致的场景。我们进一步证明了NeRF-VAE可以很好地推广到分布式相机，而卷积模型则不能。最后，我们介绍和研究了NeRF-VAE的解码器，它提高了模型的性能基于注意力的条件反射机制。
2021-04-01 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
The Geometry of Phase Transitions in Generative Dynamics via Projection Caustics
Institute for the Advanced Study of Human Biology, Institute for Advanced Study, Kyoto University（京都大学高等研究院人类生物学高等研究所）；Graduate School of Engineering, The University of Tokyo（东京大学大学院工学系研究科）
本文通过投影焦散几何解释生成动力学中的相变行为，提出临界边界检测器（CBD）诊断分数方向不稳定性，定位模式承诺并支持敏感区域控制。
2026-06-12 cs.LG
Synergizing Transport-Based Generative Models and Latent Geometry for Stochastic Closure Modeling
Department of Mechanical Engineering, University of Wisconsin–Madison, Madison, WI 53706（威斯康星大学麦迪逊分校机械工程系）
本文提出通过融合基于传输的生成模型与潜在几何，实现随机闭合模型的高效采样与学习。
2026-02-19 cs.LG math.DS physics.comp-ph
IG-GAN: A Generative Adversarial Network for Aerodynamic Data Generation Based on Intrinsic Geometry
School of Information Science and Engineering, Hebei University of Science and Technology（信息科学与工程学院，河北科技大学）
针对现实世界多数数据是嵌入高维欧几里得空间流形的情况，提出基于内在几何的生成对抗网络IG-GAN用于空气动力学数据生成。其生成器用贝塞尔曲面构建流形，判别器为RBF-D。实验显示该方法相比基线能显著降低预测均方误差。
2026-07-14 cs.AI cs.LG
Competency Assessment for Autonomous Agents using Deep Generative Models
University of Colorado Boulder（科罗拉多大学博尔德分校）；The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
对于自主智能体来说，作为人类用户值得信赖的合作伙伴，它们必须能够可靠地传达它们被要求执行的任务的能力。为了实现这一目标，我们开发了基于深度生成建模的概率世界模型，该模型允许模拟代理轨迹和精确计算任务结果概率。通过将条件变分自编码器的优势与递归神经网络相结合，深度生成世界模型可以概率地预测长期任务完成的轨迹。我们展示了这些预测的轨迹如何用于计算结果概率分布，从而能够精确评估特定任务和初始设置的代理能力。
2022-03-23 cs.AI cs.HC cs.LG
Deep Convolutional Generative Modeling for Artificial Microstructure Development of Aluminum-Silicon Alloy
SRM Institute of Science and Technology（SRM科学技术学院）
机器学习是人工智能的一个子领域，在制造业和材料科学领域有着各种应用。本研究采用无监督机器学习技术中的深度生成建模方法构建了硅铝合金的人工显微组织。深度生成对抗网络已被用于开发给定微观结构图像数据集的人工微观结构。所获得的结果表明，所开发的模型已经学会了在微观结构的某些图像附近复制衬里。
2021-09-06 cs.CV cs.LG eess.IV
Deep generative models as the probability transformation functions
Cherkasy State Technological University（切尔卡西国立技术大学）；Cherkasy Bohdan Khmelnytsky National University（切尔卡斯比多曼·赫梅尔尼茨基国立大学）
本文提出统一理论视角，将深度生成模型视为概率变换函数，揭示不同架构（自编码器、自回归模型、生成对抗网络、归一化流、扩散模型和流匹配）本质上均通过将简单预定义分布变换为复杂目标数据分布来运作。
2025-06-20 cs.LG
Generating and designing DNA with deep generative models
University of Toronto（多伦多大学）
我们提出了生成神经网络方法来生成DNA序列，并调整它们具有所需的属性。我们提出三种方法：使用生成对抗网络创建合成DNA序列;基于DNA的激活最大化（“深梦”）设计方法的变体;以及将这两种方法结合在一起的联合程序。我们发现，这些工具捕捉到的数据的重要结构，当应用于设计探针的蛋白质结合微阵列，使我们能够产生新的序列，其属性估计是优于那些发现在训练数据。我们相信，这些结果为应用深度生成模型推进基因组学研究打开了大门。
2017-12-17 cs.LG q-bio.GN stat.ML
Geodesic Clustering in Deep Generative Models
University of Science and Technology Beijing（北京科技大学）；Technical University of Denmark（丹麦技术大学）
深度生成模型在学习能够很好地描述数据的低维潜在表示方面非常成功。然而，这些表示往往会扭曲点之间的关系，即成对距离往往不能很好地反映语义相似性。这使得无监督的任务，如聚类，在使用潜在表示时变得困难。我们证明，考虑到生成模型的几何形状是足够的，使简单的聚类算法的工作以及潜在的表示。依靠最近的发现，深生成模型构成随机浸入黎曼流形，我们提出了一个有效的算法，用于计算测地线（最短路径）和计算潜在空间中的距离，同时考虑到它的失真。我们进一步提出了一种新的架构，用于对变分自编码器中的不确定性进行建模，这对于理解深度生成模型的几何结构至关重要。实验表明测地线距离很有可能反映数据的内部结构。
2018-09-13 cs.LG stat.ML
Deep Generative Models for Geometric Design Under Uncertainty
Northwestern University（西北大学）
深度生成模型在学习紧凑和富有表现力的设计表示方面表现出了有效性，这些设计表示显着改善了几何设计优化。然而，这些模型不考虑制造或制造引入的不确定性。过去量化这种不确定性的工作往往对几何变化进行简化假设，而“真实世界”的不确定性及其对设计性能的影响由于高维数而难以量化。为了解决这个问题，我们提出了一个基于生成对抗网络的不确定性框架下的设计（GAN-DUF），它包含一个深度生成模型，可以同时学习标称（理想）设计的紧凑表示和给定任何标称设计的制造设计的条件分布。我们在两个实际的工程设计实例中展示了该框架，并展示了其在制造后找到具有更好性能的解决方案的能力。
2022-03-09 cs.LG
Reducing the Computational Cost of Deep Generative Models with Binary Neural Networks
University College London（伦敦大学学院）
深度生成模型提供了一套强大的工具来理解真实世界的数据。但随着这些模型的改进，它们的大小和复杂性也会增加，因此它们在内存和执行时间上的计算成本也会增加。在神经网络中使用二进制权重是一种有望降低这种成本的方法。然而，二进制神经网络是否可以用于生成模型是一个悬而未决的问题。在这项工作中，我们表明，第一次，我们可以成功地训练生成模型，利用二进制神经网络。这大大降低了模型的计算成本。我们开发了一类新的二进制权重归一化，并为这些二进制生成模型的架构设计提供了见解。我们证明了两个最先进的深度生成模型，ResNet VAE和Flow++模型，可以使用这些技术有效地二进制化。我们训练二进制模型，使其损失值接近常规模型的损失值，但大小要小90%-94%，并且还允许显著加快执行时间。
2021-05-03 cs.LG
Learning Consistent Deep Generative Models from Sparse Data via Prediction Constraints
UC Irvine（加州大学欧文分校）；Nazarbayev University（纳扎尔巴耶夫大学）；Tufts University（塔夫茨大学）
我们开发了一个新的框架，用于学习变分自编码器和其他深度生成模型，以平衡生成和区分目标。我们的框架优化了模型参数，以最大限度地提高观测数据可能性的变化下限，并受到特定于任务的预测约束，以防止模型错误指定导致不准确的预测。我们进一步强制执行一个一致性约束，该约束自然来自生成模型，需要对重建数据进行预测以匹配原始数据。我们表明，这两个贡献-预测约束和一致性约束-导致有前途的图像分类性能，特别是在半监督的情况下，类别标签稀疏，但未标记的数据是丰富的。我们的方法使生成建模的进步能够直接提高半监督分类性能，我们通过使用捕获空间变换的潜变量来增强深度生成模型来证明这一能力。
2020-12-12 cs.CV cs.LG stat.ML
Roundtrip: A Deep Generative Neural Density Estimator
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
密度估计是统计学和机器学习中的一个基本问题。在这项研究中，我们提出了Roundtrip作为基于深度生成模型的通用神经密度估计器。Roundtrip保留了生成对抗网络（GANs）的生成能力，但也提供了密度值的估计。与以前的神经密度估计器不同，它对从潜在空间到数据空间的转换提出了严格的条件，Roundtrip允许使用更一般的映射。在一系列实验中，Roundtrip在各种密度估计任务中实现了最先进的性能。
2020-09-04 cs.LG stat.ME stat.ML
Latent Space Refinement for Deep Generative Models
Heidelberg University（海德堡大学）；Université catholique de Louvain（鲁汶天主教大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型正在科学和工业中广泛用于各种目的。一个常见的挑战是实现数据概率密度的精确隐式或显式表示。最近的提案建议使用分类器权重来改进深度生成模型的学习密度。我们将这一想法扩展到所有类型的生成模型，并展示如何通过迭代生成建模进行潜在空间细化来规避拓扑障碍并提高精度。这种方法也适用于目标模型是不可微的，并且具有许多内部潜在维度的情况，这些维度必须在细化之前被边缘化。我们在各种示例上展示了我们的潜在空间细化（LaSeR）协议，重点是规范化流和生成对抗网络的组合。
2021-11-03 cs.LG hep-ex hep-ph
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
深度生成模型是一类训练深度神经网络以对训练样本的分布进行建模的技术。研究已经分裂成各种相互关联的方法，其中每一种方法都需要权衡包括运行时、多样性和架构限制。特别是，本概要涵盖了基于能量的模型，变分自编码器，生成对抗网络，自回归模型，规范化流，以及许多混合方法。这些技术进行了比较和对比，解释了每个背后的前提以及它们是如何相互关联的，同时回顾了当前最先进的进展和实现。
2022-03-28 cs.CV cs.LG stat.ML
VAEM: a Deep Generative Model for Heterogeneous Mixed Type Data
University of Cambridge（剑桥大学）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）
由于自然数据集的异质性，深度生成模型在现实世界的应用中通常表现不佳。异质性来自于包含不同类型特征的数据（分类、有序、连续等）。并且相同类型的特征具有不同的边缘分布。我们提出了一个扩展的变分自编码器（VAE）称为VAEM处理这样的异构数据。VAEM是一种深度生成模型，它以两阶段的方式进行训练，使得第一阶段为第二阶段提供更统一的数据表示，从而避免了异构数据引起的问题。我们提供了扩展VAEM处理部分观察到的数据，并证明其在数据生成，丢失的数据预测和顺序特征选择任务的性能。我们的研究结果表明，VAEM拓宽了可以成功部署深度生成模型的现实世界应用范围。
2020-06-21 cs.LG stat.ML
Deep Structured Generative Models
Tsinghua University（清华大学）
深度生成模型在生成逼真图像方面表现出了良好的效果，但生成具有复杂结构的图像仍然是不平凡的。其主要原因是目前的生成模型大多未能探索图像中的结构，包括空间布局和对象之间的语义关系。为了解决这个问题，我们提出了一种新的深度结构化生成模型，该模型在结构信息的帮助下增强生成对抗网络（GANs）。特别地，场景的布局或结构由随机与或图（sAOG）编码，其中终端节点表示单个对象，边缘表示对象之间的关系。通过适当地利用sAOG，我们的模型可以成功地捕获场景中的内在结构，并相应地生成复杂场景的图像。此外，引入检测网络来从图像中推断场景结构。实验结果表明，我们提出的方法的有效性的建模的内在结构，并产生真实感的图像。
2018-07-10 cs.LG stat.ML
Grassmannian Geometry Meets Dynamic Mode Decomposition in DMD-GEN: A New Metric for Mode Collapse in Time Series Generative Models
LIX, École Polytechnique（巴黎综合理工学院 LIX 实验室）；Institute Polytechnique de Paris（巴黎理工学院）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
针对时间序列生成模型模式崩溃问题，提出基于动态模式分解和最优传输的度量DMD-GEN，首次定义时间序列模式崩溃，可量化并解释崩溃模式，在合成与真实数据上验证有效。
2024-12-15 cs.LG
Design Target Achievement Index: A Differentiable Metric to Enhance Deep Generative Models in Multi-Objective Inverse Design
Massachusetts Institute of Technology（麻省理工学院）
深度生成机器学习模型在设计界越来越受欢迎，这要归功于它们学习和模拟复杂数据分布的能力。虽然早期的工作是有希望的，进一步的进步将取决于解决几个关键的考虑因素，如设计质量，可行性，新颖性和有针对性的逆向设计。我们提出了设计目标实现指数（DTAI），一个可区分的，可调的指标，得分设计的能力，实现设计师指定的最低性能目标。我们证明了DTAI在直接用作深度生成模型中的训练损失时可以大大提高生成设计的性能。我们将DTAI损失应用于性能增强的多样性GAN（PaD GAN），并与一组基线深度生成模型（包括多目标PaD GAN和专用表格生成算法，如条件表格GAN（CT GAN））相比，表现出卓越的生成性能。我们进一步增强PaDGAN与辅助可行性分类器，以鼓励可行的设计。为了评估方法，我们提出了一套全面的评估指标的生成方法，专注于可行性，多样性和满意度的设计性能目标。方法进行测试的一个具有挑战性的基准问题：FRAMED自行车车架设计数据集具有混合数据类型的参数数据，严重偏斜和多模态分布，和十个竞争的性能目标。
2022-05-06 cs.LG
Geometry-aware Latent Autoregressive Generative Model for PDEs in Complex Domains
Stanford University（斯坦福大学）
本文针对复杂几何下PDE求解难题，提出GeoLAMP模型，通过双编码器、流匹配Transformer与灵活解码器实现稳定预测，构建多物理场基准数据集并取得最优性能。
2026-10-01 cs.AI cs.LG
Hessian Geometry of Latent Space in Generative Models
Artificial Neural Computing Corp.（人工神经计算公司）；School of Digital Technologies, Tallinn University（数字技术学院，塔林大学）
本研究提出一种通过重构Fisher信息度量分析生成模型隐空间几何的新方法，经理论证明与物理模型验证，应用于扩散模型时揭示了隐空间相变的分形结构，为理解扩散模型隐空间特性提供了新视角。
2025-06-12 cond-mat.stat-mech cs.CV cs.LG
A comparative study of stochastic and deep generative models for multisite precipitation synthesis
IBM Research（IBM研究院）
未来的气候变化情景通常是使用天气发生器的模拟来假设的。然而，只有少数作品比较和评估有前途的深度学习模型与经典方法的天气生成。这项研究显示了初步的结果，使这样的评价多点沉淀合成任务。我们比较了两个开源天气生成器：IBMWeathergen（Weathergen库的扩展）和RGeneratePrec，以及两个深度生成模型：GAN和VAE。我们的初步结果可以作为改进多位点沉淀合成任务的深度学习架构和算法设计的指导。
2021-07-16 cs.AI cs.LG physics.ao-ph
When and How Can Deep Generative Models be Inverted?
Technion, Israel（以色列理工学院）
近年来，深度生成模型（例如GANs和VAE）得到了广泛的发展。最近，人们对这种模型的反演越来越感兴趣，即给定一个（可能损坏的）信号，我们希望恢复生成它的潜在向量。基于稀疏表示理论，我们定义了适用于任何反演算法（梯度下降，深度编码器等）的条件，在该条件下，这种生成模型是可逆的，具有唯一解。重要的是，所提出的分析适用于任何训练模型，并且不依赖于高斯i.i.d.。权重此外，我们为任意深度的训练生成网络引入了两种逐层反演追踪算法，并伴随着恢复保证。最后，我们验证了我们的理论结果数值，并表明我们的方法优于梯度下降时，反转这样的发电机，无论是干净的和损坏的信号。
2020-06-28 cs.CV cs.LG stat.ML
Generative Deep Learning Techniques for Password Generation
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；Federal Criminal Police Office（联邦刑事警察局）
最近已经研究了通过深度学习的密码猜测方法，其在生成新颖的、现实的密码候选者的能力方面具有重大突破。在目前的工作中，我们研究了广泛的深度学习和基于概率的模型，根据密码猜测：基于注意力的深度神经网络，自动编码机制和生成对抗网络。我们在变分自编码器方面提供了新的生成式深度学习模型，表现出最先进的采样性能，产生额外的潜在空间特征，如插值和目标采样。最后，我们在一个统一的控制框架中对知名数据集（RockYou，LinkedIn，Youku，Zomato，Pwnd）进行了全面的实证分析。我们的研究结果不仅确定了由深度神经网络驱动的最有前途的方案，而且还说明了每种方法在生成变异性和样本唯一性方面的优势。
2020-12-16 cs.AI cs.CL cs.CR
Improving Missing Data Imputation with Deep Generative Models
University of Luxembourg（卢森堡大学）
缺失值的数据集在行业应用中非常常见，它们可能对机器学习模型产生负面影响。最近的研究介绍了基于深度生成模型的缺失值估算问题的解决方案。以前使用生成对抗网络和变分自编码器的实验在这个领域显示了有趣的结果，但目前还不清楚哪种方法更适合不同的用例。这项工作的目标是双重的：我们提出了基于深度生成模型的缺失数据填补解决方案之间的比较，并提出了对这些方法的改进。我们使用具有不同特征的已知现实生活数据集运行我们的实验，随机删除值并使用几种插补技术重建它们。我们的研究结果表明，分类变量的存在或不存在可以改变最佳模型的选择，并且在使用不同的随机数生成器种子进行类似运行后，某些模型比其他模型更稳定。
2019-02-27 cs.LG stat.ML
Hybrid VAE: Improving Deep Generative Models using Partial Observations
Snap Research（Snap 研究院）；Microsoft Research（微软研究院）
在大型标记数据集上训练的深度神经网络模型是各种计算机视觉任务的最新技术。然而，在许多应用中，标记数据的获取成本很高，或者需要耗时的手动注释过程。相比之下，未标记的数据通常是丰富的，并且可以大量获得。我们提出了一个原则性的框架，通过在标记和未标记数据上训练深度生成模型来利用未标记数据。我们证明了这样的组合是有益的，因为未标记的数据作为一种数据驱动的正则化形式，允许在很少的标记样本上训练的生成模型达到在更大的数据集上训练的全监督生成模型的性能。我们称我们的方法为混合VAE（H-VAE），因为它包含生成和判别部分。我们在三个不同模态的大规模数据集上验证了H-VAE：两个人脸数据集：（MultiPIE，CelebA）和一个手部姿势数据集（NYU Hand Pose）。我们的定性可视化进一步支持通过使用部分观测实现的改进。
2017-11-30 cs.CV cs.LG
On Memorization in Probabilistic Deep Generative Models
The Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
深度生成模型的最新进展在各种应用领域取得了令人印象深刻的结果。由于深度学习模型可能会记住部分输入数据，人们越来越多地努力了解记忆是如何产生的。在这项工作中，我们将最近提出的监督学习记忆措施（Feldman，2019）扩展到无监督密度估计问题，并使其在计算上更有效。接下来，我们提出了一项研究，展示了记忆如何发生在概率深度生成模型中，如变分自编码器。这表明，这些模型所受的记忆形式与模式坍塌和过拟合有着根本的不同。此外，我们表明，建议的记忆分数措施的现象，是没有捕获常用的最近邻测试。最后，我们讨论了几个策略，可以用来限制记忆在实践中。因此，我们的工作提供了一个框架，理解有问题的记忆概率生成模型。
2021-12-29 cs.LG stat.ML
KernelNet: A Data-Dependent Kernel Parameterization for Deep Generative Modeling
State University of New York at Buffalo（纽约州立大学布法罗分校）
核学习是机器学习中的一个重要概念。内核方法的标准方法通常使用预定义的内核，需要仔细选择超参数。为了减轻这一负担，我们在本文中提出了一个框架，以构建和学习一个数据依赖的内核的基础上，随机特征和隐式谱分布参数化的深度神经网络。构建的网络（称为KernelNet）可以应用于各种场景中的深度生成建模，包括深度生成模型中两种流行的学习范式，MMD-GAN和隐式变分自编码器（VAE）。我们表明，我们提出的内核确实存在于应用程序中，并保证是正定的。此外，诱导的最大平均离散（MMD）可以通过简单的正则化赋予弱拓扑的连续性。广泛的实验表明，与相关方法相比，我们提出的KernelNet始终获得更好的性能。
2020-06-25 cs.CV cs.LG stat.ML
Deformable Deep Convolutional Generative Adversarial Network in Microwave Based Hand Gesture Recognition System
传统的基于视觉的手势识别系统在黑暗环境下具有局限性。本文构建了一个基于微波收发器和深度学习算法的手势识别系统。采用5.8GHz双接收通道多普勒雷达传感器采集大量手势信号。然后对接收到的手势信号进行时频分析。基于这些大的手势数据库，我们提出了一种新的机器学习架构，称为可变形深度卷积生成对抗网络。实验结果表明，新的结构可以提高识别率10%，变形核可以减少测试时间成本30%。
2017-11-22 cs.LG stat.ML
Differentiable Gaussianization Layers for Inverse Problems Regularized by Deep Generative Models
ExxonMobil Technology & Engineering Company（埃克森美孚技术与工程公司）
针对深度生成模型在反演中潜在张量偏离高斯分布导致低保真度的问题，提出可微数据相关层进行重新参数化和高斯化，在MRI等任务上实现最先进性能。
2024-07-29 cs.CV cs.LG
On the Statistical Capacity of Deep Generative Models
Stanford University（斯坦福大学）；Duke University（杜克大学）
本研究构建统一框架，证明含VAE、GAN、扩散模型的大类深度生成模型非通用生成器，在多种潜变量分布下仅能生成轻尾集中样本，揭示其处理重尾分布的容量局限，并用模拟和金融数据验证。
2025-01-14 cs.AI cs.LG math.ST
Study of Deep Generative Models for Inorganic Chemical Compositions
Panasonic Corporation（松下公司）
基于生成对抗网络（GANs）和变分自编码器（VAE）的生成模型在图像生成、语音生成和药物发现领域得到了广泛的研究，但是，只有少数研究关注无机材料的生成。这些研究使用材料的晶体结构，但材料研究人员很少存储这些信息。因此，我们在不使用晶体信息的情况下生成化学组成。我们使用一个条件VAE（CondVAE）和一个条件GAN（CondGAN），并表明CondGAN使用袋的原子表示与物理描述符生成更好的组合物比其他生成模型。此外，我们评估的有效性的Metropolis-Hastings为基础的原子价修改和外推性能，这是重要的材料发现。
2019-10-25 cond-mat.mtrl-sci cs.LG physics.comp-ph
Rewriting a Deep Generative Model
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Adobe Research（Adobe 研究院）
像GAN这样的深度生成模型学习对关于目标分布的一组丰富的语义和物理规则进行建模，但到目前为止，这些规则如何在网络中编码，或者如何改变规则，还不清楚。在本文中，我们介绍了一个新的问题设置：操纵由深度生成模型编码的特定规则。为了解决这个问题，我们提出了一个公式，其中所需的规则是通过操纵一层深度网络作为线性联想记忆来改变的。我们推导出一个算法，用于修改一个条目的联想记忆，我们证明了几个有趣的结构规则可以定位和修改层内的国家的最先进的生成模型。我们提出了一个用户界面，使用户能够交互式地改变生成模型的规则，以达到预期的效果，我们展示了几个概念验证的应用程序。最后，多个数据集上的结果表明，我们的方法对标准的微调方法和编辑传输算法的优势。
2020-07-30 cs.CV cs.GR cs.LG
Efficient Geometry-aware 3D Generative Adversarial Networks
Stanford University（斯坦福大学）；NVIDIA（英伟达）
仅使用单视图2D照片的集合来无监督地生成高质量的多视图一致的图像和3D形状一直是一个长期的挑战。现有的3D GANs要么是计算密集型的，要么是不具有3D一致性的近似;前者限制了生成图像的质量和分辨率，后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GANs的计算效率和图像质量，而不过度依赖于这些近似。我们引入了一种表现力强的混合显式-隐式网络架构，与其他设计选择一起，不仅可以实时的合成高分辨率多视图一致的图像，而且还可以生成高质量的3D几何图形。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，如StyleGAN 2，并继承它们的效率和表现力。我们展示了最先进的3D感知合成与FFHQ和AFHQ猫，以及其他实验。
2022-04-27 cs.AI cs.CV cs.GR
Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data
University of Maryland（马里兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
由于生成对抗网络（GANs）的突破，真实感图像生成已经达到了一个新的质量水平。然而，这种deepfakes的黑暗面，恶意使用生成的媒体，引起了人们对视觉错误信息的担忧。虽然现有的deepfake检测研究工作具有很高的准确性，但它受制于生成技术的进步和检测对策技术的对抗性迭代。因此，我们寻求一种主动和可持续的深度伪造检测解决方案，即通过将人工指纹引入模型，对生成模型的演变不可知。我们的方法简单而有效。我们首先将人工指纹嵌入到训练数据中，然后验证这种指纹从训练数据到生成模型的可转移性，这反过来又出现在生成的deepfake中。实验表明，我们的指纹识别解决方案（1）适用于各种尖端的生成模型，（2）对生成质量产生的副作用可以忽略不计，（3）对图像级和模型级扰动保持鲁棒性，（4）难以被对手检测到，（5）将deepfake检测和归因转换为琐碎的任务，并优于最近最先进的基线。我们的解决方案关闭了发布预训练的生成模型发明及其可能的滥用之间的责任循环，这使得它独立于当前的军备竞赛。代码和型号可在https://github.com/ningyu1991/ArtificialGANFingerprints上获得。
2022-03-17 cs.CR cs.CV cs.CY
DeepFlow: History Matching in the Space of Deep Generative Models
Imperial College London（帝国理工学院）
利用观测到的流体压力和速率的瞬态数据校准储层模型是获得地球地下的流动和输运行为的预测模型的关键任务。模型校准任务，通常被称为“历史匹配”，可以被形式化为一个不适定的逆问题，我们的目标是找到解释所观察到的动态数据的岩石物理性质的基本空间分布。我们使用在基于地质统计对象的模型上预训练的生成对抗网络来表示油气藏合成模型的岩石性质分布。油藏流体的动态行为是使用瞬态两相不可压缩达西公式建模。我们首先使用预训练的生成模型对属性分布进行建模，然后使用正问题的伴随方程对控制生成模型输出的潜变量执行梯度下降，从而反演底层储层属性。除了动态观测数据，我们包括井岩石类型的限制，通过引入一个额外的目标函数。我们的贡献表明，对于合成测试用例，我们能够通过在深层生成模型的潜变量空间中进行优化来获得反问题的解决方案，给出了一组非线性正问题的瞬态观测。
2019-06-12 cs.CV cs.LG physics.comp-ph
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）
基于变分自编码器（VAE）的深层潜变量生成模型在视听语音增强（AVSE）中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据，然后将其与统计噪声模型，以恢复一个语音信号从嘈杂的音频记录和视频（嘴唇图像）的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质，这阻止了它们完全结合视觉数据的力量。在本文中，我们提出了一个视听深度卡尔曼滤波器（AV-DKF）生成模型，假设一阶马尔可夫链模型的潜在变量，并有效地融合视听数据。此外，我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验，比较不同的语音增强生成模型的变体。结果表明，AV-DKF模型的优越性相比，它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
Latent Geometry and Memorization in Generative Models
Sentient Technologies
很难判断一个经过训练的生成模型是已经学会生成新的示例，还是仅仅记住了一组特定的输出。在已发表的工作中，通常尝试在视觉上解决这个问题，例如通过显示生成的示例及其在训练集中的最近邻居（例如，在L2度量中）。由于任何生成模型都会在其输出域上引入概率密度，因此我们建议直接研究这个密度。我们首先研究了潜在表示和生成器的几何形状，将其与输出密度联系起来，然后开发计算和检查输出密度的技术。作为一个应用程序，我们证明了“记忆”往往是一个密度的δ函数集中在记忆的例子。我们注意到，如果不首先理解几何形状，基本上不可能进行测量。
2017-05-25 cs.LG stat.ML
A Generative Model for Molecular Distance Geometry
University of Cambridge（剑桥大学）
在使用例如马尔可夫链蒙特卡罗产生分子系统的平衡态方面投入了大量的计算工作。我们提出了一个概率模型，从分子的图形表示生成统计独立的样本。我们的模型通过基于欧几里得距离几何的原则性学习表示来学习一个低维流形，该流形保留了局部原子邻域的几何结构。在分子构象生成的新基准中，我们通过实验表明，我们的生成模型达到了最先进的精度。最后，我们展示了如何使用我们的模型作为一个重要性抽样计划的建议分布计算分子的性质。
2020-08-13 cs.LG stat.ML
A Likely Geometry of Generative Models
DTU Compute, Technical University of Denmark, Kongens Lyngby, Denmark（丹麦技术大学计算机系）；Department of Computer Science, University of Virginia, Charlottesville (VA), USA（弗吉尼亚大学计算机科学系）；Department of Electrical and Computer Engineering, University of Virginia, Charlottesville (VA), USA（弗吉尼亚大学电气与计算机工程系）
本文提出了一种通用几何结构，用于分析生成模型，通过定义新的度量和微分方程，以高效计算最短路径和广义均值，并展示其在高密度区域的优越性。
2026-10-21 cs.LG
Geometry-Aware Generative Autoencoders for Warped Riemannian Metric Learning and Generative Modeling on Data Manifolds
Yale University（耶鲁大学）；New York University（纽约大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文提出几何感知生成自编码器GAGA，通过结合流形学习与生成建模，学习扭曲黎曼度量以刻画数据流形几何，实现均匀采样、测地线生成和群体插值，在单细胞轨迹推断上比现有最优方法提升30%。
2025-04-07 cs.LG math.DG stat.ML
A Generative Model for Deep Convolutional Learning
Duke University（杜克大学）
为深度（多层）卷积字典学习开发了一个生成模型。一种新的概率池化操作被集成到深度模型中，产生了高效的自底向上（预训练）和自顶向下（细化）的概率学习。实验结果表明，该模型具有强大的能力，从图像中学习多层特征，并在MNIST和Caltech 101数据集上获得了良好的分类结果。
2015-04-15 cs.LG cs.NE stat.ML
What Secrets Do Your Manifolds Hold? Understanding the Local Geometry of Generative Models
Google Research（谷歌研究院）；Rice University（莱斯大学）；McGill University（麦吉尔大学）；Google Deepmind（谷歌DeepMind）
本文通过缩放、秩和复杂度三个局部几何描述符刻画深度生成模型流形，揭示其与生成美学、多样性及记忆化的关系，并提出基于几何奖励的引导方法以自提升Stable Diffusion的生成质量。
2025-02-06 cs.CV cs.LG
Probabilistic Generative Deep Learning for Molecular Design
IBM（国际商业机器公司）
用于分子设计的概率生成深度学习涉及使用深度学习方法通过概率生成模型发现和设计新分子并分析其结构、性质和活性。它利用现有的庞大数据库和实验结果的出版物，以及量子力学计算，来学习和探索分子结构，性质和活动。讨论了分子设计概率生成深度学习的主要内容，包括分子结构、分子表征、深度生成模型、分子潜在表征和潜在空间、分子结构-性质和结构-活性关系、分子相似性和分子设计。我们强调了最近使用或适用于这种新方法的重要工作。
2019-02-11 cs.LG
Layer-wise learning of deep generative models
当使用深层多层架构来构建数据的生成模型时，很难同时训练所有层。我们提出了一个分层的培训过程承认的性能保证相比，全球最佳。它是基于未来业绩的乐观代理，即最佳潜在边际。我们解释自动编码器在此设置为生成模型，通过显示他们训练这个标准的下限。我们测试了新的学习过程对最先进的方法（堆叠RBM），并发现它可以提高性能。理论和实验都强调了在训练深度架构时，使用比生成模型（从隐变量到数据）更丰富的推理模型（从数据到隐变量）的重要性。
2013-02-16 cs.LG cs.NE stat.ML
Geometry of Score Based Generative Models
Northeastern University（东北大学）
在这项工作中，我们从几何角度来看待基于得分的生成模型（也称为扩散生成模型）。从一个新的角度证明了在概率测度空间中，加噪声和由噪声生成的前向过程和后向过程都是Wasserstein梯度流。我们是第一个证明这种联系的人。我们对基于分数（和扩散）的生成模型的理解已经成熟，并通过借鉴贝叶斯推理，控制理论，随机微分方程和薛定谔桥等不同领域的思想变得更加完整。然而，许多悬而未决的问题和挑战依然存在。例如，一个问题是如何减少采样时间？我们证明，从几何的角度来看，使我们能够回答许多这些问题，并提供新的解释，一些已知的结果。此外，几何角度使我们能够设计一个直观的几何解决方案的问题，更快的采样。通过对传统的基于得分的生成模型增加投影步骤，我们证明了我们可以用更少的采样步骤生成高质量的图像。
2023-02-09 cs.AI cs.LG
The Riemannian Geometry of Deep Generative Models
University of Utah（犹他大学）；IBM Research AI（IBM人工智能研究院）
深度生成模型学习从低维潜在空间到高维数据空间的映射。在一定的正则性条件下，这些模型参数化数据空间中的非线性流形。在本文中，我们研究这些生成流形的黎曼几何。首先，我们开发了高效的算法计算测地线曲线，它提供了一个内在的概念点之间的距离流形。其次，我们开发了一个算法的平行平移的切向量沿路径上的流形。我们展示了如何并行翻译可以用来生成类比，即，以将一个数据点中的改变传送到另一个数据点的语义上类似的改变。我们在真实图像数据上的实验表明，深度生成模型学习的流形虽然是非线性的，但令人惊讶地接近零曲率。实际的含义是，在潜在的空间中的线性路径密切近似的测地线上生成的流形。然而，对这种现象的进一步调查是必要的，以确定是否有其他架构或数据集，其中曲率发挥更突出的作用。我们相信，使用本文开发的工具探索深层生成模型的黎曼几何，将是理解这些模型学习的高维非线性空间的重要一步。
2017-11-21 cs.CV cs.LG stat.ML
