DiffRenderGAN: Addressing Training Data Scarcity in Deep Segmentation Networks for Quantitative Nanomaterial Analysis through Differentiable Rendering and Generative Modelling
Department Artificial Intelligence in Biomedical Engineering（人工智能生物医学工程部门）；Friedrich-Alexander-University Erlangen-Nürnberg（埃朗根-纽伦堡弗里德里希-亚历山大大学）；Pattern Recognition Lab（模式识别实验室）；Institute for Nanotechnology and Correlative Microscopy（纳米技术与相关显微镜研究所）；Lucid Concepts AG（Lucid Concepts公司）；Fraunhofer Institute for Ceramic Technologies and Systems（弗劳恩霍夫陶瓷技术与系统研究所）；Freie Universität Berlin（柏林自由大学）；Max Planck Institute for the Science of Light（马克斯·普朗克光科学研究所）；Julius-Maximilians-University Würzburg（乌尔姆-马克斯·普朗克大学）
针对定量纳米材料分析中深度分割网络训练数据稀缺问题，提出集成可微分渲染器的DiffRenderGAN生成模型，从无标注真实显微图像生成带标注合成数据，提升分割性能并弥合合成与真实数据差距。
2025-02-13 cond-mat.mtrl-sci cs.CV cs.LG
LEGO-MOF: Equivariant Latent Manipulation for Editable, Generative, and Optimizable MOF Design
School of Data Science (SDS), The Chinese University of Hong Kong, Shenzhen (CUHKSZ), Shenzhen, China（香港中文大学深圳校区数据科学学院）
本文提出LEGO-MOF框架，通过LinkerVAE将离散3D化学图映射到连续SE(3)等价潜空间，实现连续结构操控，结合测试时优化策略提升MOF性能，实现碳捕获性能提升147.5%。
2026-04-15 cs.LG
Differentiable Perturb-and-Parse: Semi-Supervised Parsing with a Structured Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
用于句法分析的人工注释是昂贵的，并且大量资源仅可用于一小部分语言。我们提出的一个问题是，除了使用文本来获得更一般化的词汇特征（即超越词嵌入）之外，是否可以利用大量未标记的文本来改进句法分析器。为此，我们提出了一种新的潜在变量生成模型的半监督句法依存句法分析。由于精确推理是棘手的，我们引入了一个可微松弛获得近似样本和计算梯度相对于解析器参数。我们的方法（微分扰动和解析）依赖于可微的动态规划随机扰动的边缘分数。我们证明了我们的方法与英语，法语和瑞典语的实验的有效性。
2019-02-20 cs.CL cs.LG
Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
微分渲染为训练神经网络执行“逆图形”任务铺平了道路，例如从单目照片预测3D几何形状。为了训练高性能的模型，大多数当前的方法依赖于在实践中不容易获得的多视图图像。相比之下，最近合成图像的生成对抗网络（GANs）似乎在训练过程中隐式地获得了3D知识：可以通过简单地操纵潜在代码来操纵对象视点。然而，这些潜在代码通常缺乏进一步的物理解释，因此GANs不能轻易地被反转以执行显式3D推理。在本文中，我们的目标是通过利用可微渲染器提取和解开生成模型学习的3D知识。我们方法的关键是利用GANs作为多视图数据生成器，使用现成的可微分渲染器训练逆图形网络，并将训练的逆图形网络作为教师，将GAN的潜在代码分解为可解释的3D属性。整个架构使用循环一致性损失迭代地训练。我们表明，我们的方法在定量和用户研究方面都显着优于在现有数据集上训练的最先进的逆图形网络。我们进一步展示了解开GAN作为一个可控的3D“神经渲染器”，补充传统的图形渲染器。
2021-04-20 cs.CV cs.LG
EBM-Fold: Fully-Differentiable Protein Folding Powered by Energy-based Models
Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
从氨基酸序列准确预测蛋白质结构对于更好地理解蛋白质功能至关重要。这一领域的最新进展在很大程度上受益于更精确的残基间距离和方向预测，由深度神经网络提供动力。然而，结构优化过程仍然由传统工具主导，例如Rosetta，其中通过最小化预定义的统计能量函数（具有可选的基于预测的约束）来求解结构。这样的能量函数可能不是最佳的，在制定整个构象空间的蛋白质。在本文中，我们提出了一种完全可微的蛋白质结构优化方法，由数据驱动的生成网络指导。该网络以去噪的方式进行训练，试图从Ca原子之间的损坏的距离矩阵预测校正信号。一旦网络被很好地训练，基于Langevin动力学的采样被采用以从随机初始化逐渐优化结构。大量的实验表明，与传统的基于Rosetta的结构优化程序相比，我们的EBM折叠方法可以有效地产生高质量的诱饵。
2021-05-31 cs.LG
Power of Quantum Generative Learning
JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）；Peking University（北京大学）
量子力学固有的概率本质引发了设计量子生成学习模型（QGLM）的努力。尽管取得了经验性的成就，基础和潜在的优势QGLM仍然在很大程度上模糊。为了缩小这种知识差距，我们在这里探索QGLM的泛化特性，将模型从学习数据扩展到未知数据的能力。我们考虑了两种典型的量子广义线性模型：量子线路玻恩机和量子生成对抗网络，并明确给出了它们的推广界。结果表明，当量子器件可以直接访问目标分布和采用量子核时，QGLM优于经典方法。我们进一步利用这些推广的界限，表现出潜在的优势，量子态制备和哈密顿学习。QGLM在加载高斯分布和参数化哈密顿量的基态估计方面的数值结果与理论分析一致。我们的工作为定量理解量子生成学习模型的力量开辟了道路。
2022-08-05 cs.LG quant-ph
Leveraging Intrinsic Gradient Information for Further Training of Differentiable Machine Learning Models
University of Bath（巴斯大学）
设计能够产生准确预测的模型是机器学习（ML）的基本目标。这项工作提出的方法表明，当目标变量（输出）相对于输入的导数可以从感兴趣的过程中提取时，例如，基于神经网络（NN）的代理模型，可以利用它们来进一步提高可微ML模型的准确性。本文概括了这一想法，并提供了实用的方法，可用于在各种应用中利用梯度信息（GI），包括：（1）提高生成对抗网络（GANs）的性能;（2）有效地调整NN模型复杂性;（3）正则化线性回归。数值结果表明，GI可以有效地增强ML模型与现有的数据集，证明了它的各种应用的价值。
2022-01-13 cs.LG stat.ML
Generative Adversarial Network with Soft-Dynamic Time Warping and Parallel Reconstruction for Energy Time Series Anomaly Detection
Indian Institute of Science（印度科学研究所）；FLAME University（FLAME大学）
本文提出一种结合一维DCGAN与Soft-DTW的能源时间序列异常检测方法，通过并行重建加速检测并提升建筑能耗异常识别能力。
2024-02-22 cs.LG
Trinity: One Differentiable Physics for Training, Refining and Scoring Generative Floorplanners
National Tsing Hua University（国立清华大学）；Kohaku Lab（Kohaku 实验室）；Karolinska Institutet（卡罗林斯卡学院）；Stockholm University（斯德哥尔摩大学）；National Taiwan University（国立台湾大学）
提出Trinity流匹配布局规划器，用六个可微分函数统一训练、精炼和评分，无需引导，显著降低软硬成本并加速精炼。
2026-10-06 cs.AR cs.LG
Beyond Statistical Similarity: Rethinking Metrics for Deep Generative Models in Engineering Design
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文针对工程设计场景下深度生成模型传统统计评估指标的适配性缺陷，梳理经典指标局限，整理设计专属评估指标集，通过两类工程设计案例验证指标有效性并公开相关代码。
2025-11-17 cs.LG
DEGAS: Differentiable Efficient Generator Search
Tel Aviv University（特拉维夫大学）
网络架构搜索（NAS）在分类和语义分割等各种任务中实现了最先进的结果。最近，一种基于强化学习的方法被提出用于生成对抗网络（GANs）搜索.在这项工作中，我们提出了一种替代策略，GAN搜索使用的方法称为DEGAS（微分有效的生成器搜索），其重点是有效地找到生成器中的GAN。我们的搜索算法的灵感来自差分架构的搜索策略和全球潜在的优化（GLO）过程。这导致高效且稳定的GAN搜索。找到生成器架构后，可以将其插入到任何现有的框架中进行GAN训练。对于我们在这项工作中使用的CTGAN，新模型的性能优于CIFAR-10和STL的初始得分结果分别为0.25和0.77。与基于强化学习的GAN搜索方法相比，该方法在更短的搜索时间内得到了更好的结果。
2020-12-29 cs.CV cs.LG
Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data
Microsoft Research（微软研究院）
最近的工作表明，只有非结构化的2D图像学习生成模型的3D形状的能力。然而，训练这样的模型需要通过渲染过程的光栅化步骤进行区分，因此过去的工作集中在开发定制的渲染模型，这些模型以各种方式平滑这种不可区分的过程。因此，这些模型无法利用游戏和图形行业构建的照片般逼真，功能齐全的工业渲染器。在本文中，我们介绍了第一个可扩展的训练技术，从2D数据，利用现成的不可微渲染器的3D生成模型。为了解释不可微性，我们引入代理神经渲染器来匹配不可微渲染器的输出。我们还提出了一种新的输出匹配方法，以确保神经渲染器学会适当地平滑光栅化。我们在从我们生成的3D形状渲染的图像上评估了我们的模型，并表明我们的模型可以在使用专门的非结构化2D图像进行训练时始终学习生成比现有模型更好的形状。
2020-02-28 cs.CV cs.LG
GenPANIS: A Latent-Variable Generative Framework for Forward and Inverse PDE Problems in Multiphase Media
Technical University of Munich, Professorship of Data-driven Materials Modeling, School of Engineering and Design（慕尼黑技术大学，数据驱动材料建模教授职位，工程与设计学院）；Munich Data Science Institute (MDSI - Core member)（慕尼黑数据科学研究所（MDSI—核心成员））
GenPANIS通过统一生成框架实现多相介质正反PDE问题的高效求解，保留离散微结构并支持梯度推断，适用于复杂外推场景。
2026-02-16 cs.LG stat.ML
PCA-VAE: Differentiable Subspace Quantization without Codebook Collapse
Wake Forest University School of Medicine（威克森林大学医学院）
PCA-VAE通过在线PCA瓶颈替代VQ，实现无需码本的可微子空间量化，提升重建质量并减少潜在位数，同时产生可解释的维度特征。
2026-02-21 cs.CV cs.LG
Diversity-Driven Generative Dataset Distillation Based on Diffusion Model with Self-Adaptive Memory
Hokkaido University（北海道大学）；The University of Tokyo（东京大学）
本文提出一种基于扩散模型与自适应记忆的多样性驱动生成式数据集蒸馏方法，通过对齐蒸馏与真实数据分布并评估代表性，引导生成更多样化数据集，在多数情况下优于现有最先进方法。
2025-05-26 cs.AI cs.CV cs.LG
Language Modeling with Generative Adversarial Networks
Stanford University（斯坦福大学）
生成对抗网络（GANs）在图像生成领域有着广阔的应用前景，但在语言生成方面却存在着难以训练的问题。GANs最初被设计为输出可微值，因此离散语言生成对它们来说是具有挑战性的，这导致了训练GANs的高度不稳定性。因此，过去的工作采用了最大似然的预训练或没有预训练的GANs训练，其中WGAN目标具有梯度惩罚。在这项研究中，我们提出了这些方法的比较。此外，我们提出了一些实验的结果，表明更好的训练和收敛的Wasserstein GANs（WGANs）时，较弱的正则化项是强制执行Lipschitz约束。
2018-04-08 cs.CL cs.LG stat.ML
DGSAN: Discrete Generative Self-Adversarial Network
Sharif University of Technology（谢里夫理工大学）
虽然基于GAN的方法在过去几年中取得了许多成就，但它们在生成离散数据方面并不完全成功。这些方法最关键的挑战是当发生器输出是离散的时，难以将梯度从振荡器传递到发生器。尽管已经提出了一些方法来缓解这个问题，但与最大似然方法相比，现有的基于GAN的方法在质量和多样性方面都没有提高文本生成的性能。在本文中，我们提出了一个新的框架，用于生成离散数据的对抗方法，其中没有必要传递梯度的发生器。所提出的方法具有迭代的方式，其中每个新的生成器是基于上一个迭代来定义的。它利用数据的离散性和最后一次迭代隐式地对真实的数据分布进行建模。此外，该方法是支持与理论保证，和实验结果一般表明，所提出的DGSAN方法的优越性相比，其他流行的或最近的方法在生成离散的序列数据。
2020-10-15 cs.LG stat.ML
Inferring 3D Shapes from Image Collections using Adversarial Networks
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
我们研究的问题，学习概率分布的三维形状给定的二维视图的多个对象从未知的观点。我们的方法称为投影生成对抗网络（PrGAN），它训练了一个3D形状的深度生成模型，其投影（或渲染）与所提供的2D分布的分布相匹配。可微分投影模块的添加允许我们在学习阶段不访问任何显式3D或视点注释的情况下推断底层3D形状分布。我们表明，我们的方法产生的3D形状的质量相当的GANs直接在3D数据上训练。%，包括椅子、飞机和汽车在内的许多形状类别。实验还表明，将二维形状分解为几何和视点的表示导致了良好的二维形状生成模型。我们的模型的主要优点是它可以估计3D形状，视点，并以完全无监督的方式从输入图像生成新视图。我们进一步研究如何生成模型可以得到改善，如果额外的信息，如深度，视点或部分分割在训练时可用。为此，我们提出了新的可微投影算子，PrGAN可以使用这些算子来学习更好的3D生成模型。我们的实验表明，我们的方法可以成功地利用额外的视觉线索，以创建更多样化和准确的形状。
2019-06-11 cs.CV cs.GR cs.LG
Lyapunov Exponents for Diversity in Differentiable Games
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）；Radboud University（拉德堡德大学）；Google Research, Brain Team（谷歌研究院大脑团队）
Ridge Rider（RR）是一种通过跟踪Hessian（“脊”）的特征向量来寻找优化问题的不同解决方案的算法。RR设计用于保守梯度系统（即，涉及单个损失函数的设置），其中它在鞍点处分支-容易找到的分叉点。我们推广这个想法，非保守的，多智能体梯度系统，提出了一种方法-表示广义岭骑士（GRR）-寻找任意分歧点。我们给我们的方法的理论动机，利用动力系统领域的机械。我们构建新的玩具问题，在那里我们可以可视化新的现象，同时深入了解感兴趣的高维问题。最后，我们通过在迭代囚徒困境和相关机器学习问题（包括生成对抗网络）中找到不同的解决方案来实证评估我们的方法。
2021-12-24 cs.GT cs.LG cs.MA
NeRF-VAE: A Geometry Aware 3D Scene Generative Model
DeepMind
我们提出了NeRF-VAE，一个3D场景生成模型，通过NeRF和可微分体绘制结合几何结构。与NeRF相比，我们的模型考虑了场景之间的共享结构，并且能够使用摊销推理来推断新场景的结构-而无需重新训练。NeRF-VAE的显式3D渲染过程进一步将以前的生成模型与缺乏几何结构的基于卷积的渲染进行了对比。我们的模型是一个VAE，学习辐射场的分布，通过调节它们的潜在场景表示。我们表明，一旦训练，NeRF-VAE能够使用很少的输入图像从以前看不见的3D环境中推断和渲染几何一致的场景。我们进一步证明了NeRF-VAE可以很好地推广到分布式相机，而卷积模型则不能。最后，我们介绍和研究了NeRF-VAE的解码器，它提高了模型的性能基于注意力的条件反射机制。
2021-04-01 cs.LG stat.ML
Latent Space Refinement for Deep Generative Models
Heidelberg University（海德堡大学）；Université catholique de Louvain（鲁汶天主教大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型正在科学和工业中广泛用于各种目的。一个常见的挑战是实现数据概率密度的精确隐式或显式表示。最近的提案建议使用分类器权重来改进深度生成模型的学习密度。我们将这一想法扩展到所有类型的生成模型，并展示如何通过迭代生成建模进行潜在空间细化来规避拓扑障碍并提高精度。这种方法也适用于目标模型是不可微的，并且具有许多内部潜在维度的情况，这些维度必须在细化之前被边缘化。我们在各种示例上展示了我们的潜在空间细化（LaSeR）协议，重点是规范化流和生成对抗网络的组合。
2021-11-03 cs.LG hep-ex hep-ph
Differentiable Augmentation for Data-Efficient GAN Training
Tsinghua University（清华大学）；MIT（麻省理工学院）；Adobe（奥多比）；CMU（卡内基梅隆大学）
生成对抗网络（GANs）的性能在有限的训练数据下严重恶化。这主要是因为机器人记住了确切的训练集。为了解决这个问题，我们提出了微分增强（DiffAugment），这是一种简单的方法，通过对真实和虚假样本施加各种类型的微分增强来提高GANs的数据效率。以前的尝试直接增加训练数据操纵真实图像的分布，产生的好处很少; DiffAugment使我们能够采用可微增强生成的样本，有效地稳定训练，并导致更好的收敛。实验表明，我们的方法在各种GAN架构和损失函数的无条件和类条件生成一致的收益。使用DiffAugment，我们在ImageNet 128 x128上实现了最先进的FID 6.80，IS 100.8，并在FFHQ和LSUN上减少了2- 4倍的FID。此外，仅用20%的训练数据，我们就可以在CIFAR-10和CIFAR-100上达到最高性能。最后，我们的方法可以生成高保真图像，只使用100张图像，而无需预训练，同时与现有的迁移学习算法。代码可在https://github.com/mit-han-lab/data-efficient-gans上获得。
2020-12-07 cs.CV cs.GR cs.LG
xAI-GAN: Enhancing Generative Adversarial Networks via Explainable AI Systems
University of Waterloo（滑铁卢大学）
生成对抗网络（GANs）是一类革命性的深度神经网络（DNN），已成功用于生成逼真的图像，音乐，文本和其他数据。然而，GAN培训提出了许多挑战，特别是它可能非常资源密集型。GANs的一个潜在弱点是，它需要大量的数据来进行成功的训练，而数据汇集可能是一个昂贵的过程。通常情况下，从DNN到生成器DNN的校正反馈（即，DNN对生成的示例的评估）仅使用一个实数值（损失）来计算。相比之下，我们提出了一类新的GAN，我们称之为xAI-GAN，它利用可解释AI（xAI）系统的最新进展，从鉴别器到生成器提供“更丰富”形式的纠正反馈。具体来说，我们使用xAI系统修改了梯度下降过程，该系统指定了为什么分类器进行分类的原因，从而提供了“更丰富”的纠正反馈，帮助生成器更好地欺骗分类器。使用我们的方法，我们观察到xAI-GANs在MNIST和FMNIST数据集上生成的图像质量比标准GANs提高了23.18%，如Frechet Inception Distance（FID）所测量的。我们进一步比较了在20%的数据上训练的xAI-GAN与在CIFAR 10数据集上100%的数据上训练的标准GAN，发现xAI-GAN仍然显示出FID分数的改善。此外，我们将我们的工作与微分增强进行比较-这已被证明可以使GANs数据高效-并表明xAI-GANs优于在微分增强上训练的GANs。此外，这两种技术可以结合起来，以产生更好的结…
2022-03-29 cs.LG stat.ML
MolGAN: An implicit generative model for small molecular graphs
University of Amsterdam（阿姆斯特丹大学）
图结构数据的深度生成模型为化学合成问题提供了一个新的角度：通过优化直接生成分子图的可微模型，可以在离散和巨大的化学结构空间中避开昂贵的搜索程序。我们引入MolGAN，一个隐式的，无可能性的生成模型的小分子图，避免了昂贵的图匹配程序或节点排序算法以前的可能性为基础的方法的需要。我们的方法适应生成对抗网络（GANs）直接对图结构数据进行操作。我们将我们的方法与强化学习目标相结合，以鼓励生成具有特定所需化学性质的分子。在QM9化学数据库上的实验中，我们证明了我们的模型能够生成接近100%的有效化合物。MolGAN与最近提出的使用基于字符串（SMILES）的分子表示和直接生成图形的基于可能性的方法相比都很有利，尽管容易受到模式崩溃的影响。代码https://github.com/nicola-decao/MolGAN
2022-09-27 cs.LG stat.ML
Boundary-Seeking Generative Adversarial Networks
MILA（蒙特利尔学习算法研究所）；University of Montréal（蒙特利尔大学）；IVADO（魁北克人工智能研究所）；MSR（微软研究院）；University of Waterloo（滑铁卢大学）；New York University（纽约大学）；CIFAR（加拿大高级研究所）
生成对抗网络（GANs）是一种学习框架，它依赖于训练一个神经网络来估计目标分布和生成分布之间的差异度量。GANs，如通常公式化的那样，依赖于生成的样本是相对于r.t.生成参数，因此不适用于离散数据。我们介绍了一种用离散数据训练GANs的方法，该方法使用来自神经网络的估计差异度量来计算生成样本的重要性权重，从而为训练生成器提供策略梯度。重要性权重与神经网络的决策边界有很强的联系，我们称我们的方法为边界搜索GANs（BGANs）。我们证明了该算法的有效性与离散图像和字符为基础的自然语言生成。此外，边界搜索目标扩展到连续数据，可用于提高训练的稳定性，我们在Celeba，大规模场景理解（LSUN）卧室和Imagenet上证明了这一点。
2018-02-21 cs.LG stat.ML
Differentiable and Scalable Generative Adversarial Models for Data Imputation
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；Information Hub, The Hong Kong University of Science and Technology（香港科技大学信息枢纽）；College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）
数据填补已被广泛探讨，以解决缺失数据的问题。不完整数据量的急剧增加使得在许多实际应用中，插补模型在计算上是不可行的。在本文中，我们提出了一个有效的可扩展插补系统SCIS，以显着加快大规模不完整数据的准确性保证下的可微生成对抗性插补模型的训练。SCIS包括两个模块，可微插补建模（DIM）和样本量估计（SSE）。DIM利用新的掩蔽Sinkhorn发散函数使任意生成对抗性插补模型可微，而对于这种可微插补模型，SSE可以估计适当的样本量，以确保最终模型的用户指定插补精度。在几个现实生活中的大规模数据集上进行的广泛实验表明，我们提出的系统可以将生成对抗模型训练速度提高7.1倍。使用大约7.6%的样本，SCIS在更短的计算时间内产生了与最先进的插补方法竞争的准确性。
2022-01-10 cs.DB cs.LG
CardioComposer: Leveraging Differentiable Geometry for Compositional Control of Anatomical Diffusion Models
Massachusetts Institute of Technology（麻省理工学院）；Brigham and Women’s Hospital（布里奇沃特医院）；American University in Cairo（开罗美国大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
CardioComposer通过可微几何实现对解剖扩散模型的组合控制，利用可解释的椭球体原语生成多类解剖标签图，通过可微测量函数实现几何属性的约束与控制。
2026-03-16 cs.AI cs.CV cs.LG
Learning Generative Models of Textured 3D Meshes from Real-World Images
ETH Zurich（苏黎世联邦理工学院）
微分渲染的最新进展引发了人们对从图像集合中学习纹理3D网格生成模型的兴趣。这些模型原生地解开姿势和外观，使计算机图形学中的下游应用成为可能，并提高生成模型理解图像形成概念的能力。虽然之前已经有从2D图像集合中学习此类模型的工作，但这些方法需要利用注释关键点的精细姿态估计步骤，从而将其适用性限制在少数特定数据集上。在这项工作中，我们提出了一个GAN框架生成纹理三角形网格，而不依赖于这样的注释。我们表明，我们的方法的性能与依赖于地面实况关键点的先前工作相当，更重要的是，我们通过在ImageNet的更大类别集上设置新基线来证明我们方法的通用性-关键点不可用-没有任何类特定的超参数调整。我们在https://github.com/dariopavllo/textured-3d-gan上发布代码
2021-08-17 cs.CV cs.GR cs.LG
A Convenient Infinite Dimensional Framework for Generative Adversarial Learning
University of Wuppertal（伍珀塔尔大学）；Institute of Mathematical Modelling, Analysis and Computational Mathematics（数学建模、分析与计算数学研究所）；Interdisciplinary Center for Machine Learning and Data Analytics（机器学习与数据分析跨学科中心）
近年来，生成对抗网络（GANs）已经展示了令人印象深刻的实验结果，而只有少数作品为GANs培养统计学习理论。在这项工作中，我们提出了一个生成对抗学习的无限维理论框架。我们假设基本测度的概率密度函数是一致有界的，$k$ -倍$α$ -Hölder可微的（$C^{k,α}$），并且一致有界远离零。在这些假设下，我们证明了Rosenblatt变换诱导出一个最优生成元，该最优生成元在$C^{k,α}$ -生成元的假设空间中是可实现的.通过对判别器的假设空间的一致定义，我们进一步证明了由对抗学习过程中的生成器诱导的分布与数据生成分布之间的Jensen-Shannon散度收敛到零。在数据生成过程的密度上的某些规律性假设下，我们还提供了基于链接和集中的收敛速率。
2023-01-19 cs.LG math.ST stat.TH
Improving Movement Predictions of Traffic Actors in Bird's-Eye View Models using GANs and Differentiable Trajectory Rasterization
Uber Advanced Technologies Group（优步先进技术集团）
自动驾驶难题中最关键的部分之一是预测周围交通参与者的未来运动，这使得自动驾驶汽车能够在复杂的世界中安全有效地规划其未来路线。最近，已经提出了一些算法来解决这个重要的问题，受到来自工业界和学术界的研究人员越来越大的兴趣的刺激。一方面基于自上而下的场景光栅化的方法和另一方面基于生成对抗网络（GANs）的方法已被证明是特别成功的，在交通运动预测任务上获得了最先进的精度。在本文中，我们建立在这两个方向，并提出了一个基于光栅的条件GAN架构，由一个新的可微光栅化模块在输入的条件下，将生成的轨迹映射到光栅空间中的可微的方式。这简化了任务，因为不符合场景的轨迹更容易识别，并允许梯度回流，迫使生成器输出更好，更真实的轨迹。我们在一个大规模的真实数据集上评估了所提出的方法，结果表明它的性能优于最先进的基于GAN的基线。
2020-06-12 cs.LG cs.RO eess.IV
Distributionally Robust Chance Constrained Programming with Generative Adversarial Networks (GANs)
College of Engineering, Cornell University（康奈尔大学工程学院）
提出了一种基于深度学习的数据驱动最优化方法。提出了一种基于数据驱动的分布式鲁棒机会约束规划框架的生成对抗网络（GAN）。GAN是应用于充分提取分布信息的历史数据中的非参数和无监督的方式，没有先验近似或假设。由于GAN利用深度神经网络，可以学习复杂的数据分布和模式，并且可以高效准确地建模不确定性。分布鲁棒机会约束规划考虑了不确定参数的模糊概率分布。为了解决计算上的挑战，采用样本平均近似方法，所需的数据样本由GAN通过可微网络以端到端的方式生成。然后将该框架应用于需求不确定条件下的供应链优化问题。所提出的方法的适用性说明通过一个县一级的空间明确的生物燃料供应链在伊利诺伊州的案例研究。
2020-02-28 cs.LG math.OC stat.ML
Latent Constraints: Learning to Generate Conditionally from Unconditional Generative Models
Google Brain（谷歌大脑）；Google Inc.（谷歌公司）
深度生成神经网络已被证明在复杂数据分布的条件和无条件建模方面都是有效的。条件生成支持交互式控件，但创建新控件通常需要昂贵的再培训。在本文中，我们开发了一种方法，条件生成无需重新训练的模型。通过事后学习潜在约束，即识别潜在空间中生成具有所需属性的输出的区域的价值函数，我们可以使用基于梯度的优化或摊销的演员函数从这些区域中有条件地采样。结合属性约束与一个普遍的“现实主义”的约束，这强制相似的数据分布，我们产生现实的条件图像从一个无条件的变分自编码器。此外，使用基于梯度的优化，我们展示了保持身份的变换，使潜在空间中的最小调整，以修改图像的属性。最后，与离散序列的音符，我们展示了zero-shot条件生成，学习潜在的约束条件下的标记数据或可微的奖励函数。具有专用云实例的代码已公开提供（https：//goo.gl/STGMGx）。
2017-12-21 cs.LG cs.NE stat.ML
A Loss Function for Generative Neural Networks Based on Watson's Perceptual Model
University of Copenhagen（哥本哈根大学）；University College London（伦敦大学学院）
为了训练变分自编码器（VAE）生成逼真的图像，需要一个损失函数，反映人类对图像相似性的感知。我们提出了这样一个损失函数的基础上沃森的感知模型，计算加权距离在频率空间和帐户的亮度和对比度掩蔽。我们将模型扩展到彩色图像，通过使用傅立叶变换来增加其对平移的鲁棒性，消除由于将图像分割成块而产生的伪影，并使其可区分。在实验中，用新的损失函数训练的VAE生成了逼真的高质量图像样本。与使用欧几里得距离和结构相似性指数相比，图像不那么模糊;与基于深度神经网络的损失相比，新方法需要更少的计算资源，生成的图像具有更少的伪影。
2021-01-06 cs.CV cs.LG eess.IV
CoT: Cooperative Training for Generative Modeling of Discrete Data
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
本文研究了序列离散数据的生成模型。为了解决最大似然估计（MLE）中固有的暴露偏差问题，引入生成对抗网络（GANs）来惩罚不切实际的生成样本。为了充分利用来自数据库的监督信号，大多数以前的模型利用REINFORCE来解决连续离散数据的不可微问题。然而，由于在对抗训练的动态过程中训练信号的不稳定性，在这种情况下，REINFORCE的有效性很难得到保证。为了解决这样的问题，我们提出了一种名为协作训练（CoT）的新方法来改进序列生成模型的训练。CoT将GANs的最小-最大博弈转换为联合最大化框架，并设法显式估计和优化Jensen-Shannon散度。此外，CoT的工作不需要通过MLE进行预训练，这对以前的方法的成功至关重要。在实验中，与现有的最先进的方法相比，CoT在样本质量，多样性以及训练稳定性方面表现出优越或至少具有竞争力的性能。
2019-05-13 cs.AI cs.CL cs.LG
Towards Multi-Task Multi-Modal Models: A Video Generative Perspective
Google（谷歌）；UC Merced（加州大学默塞德分校）
本文从视频生成视角构建多任务多模态模型，提出高保真潜在表示与掩码多任务Transformer，实现语言模型超越扩散模型及视频分词器优于标准编解码器，并支持多模态生成。
2024-05-26 cs.AI cs.CV cs.LG
Improving Differentiable Architecture Search with a Generative Model
UC San Diego（加州大学圣地亚哥分校）
在DARTS等可微神经架构搜索（NAS）算法中，用于更新模型权重的训练集和用于更新模型架构的验证集是从相同的数据分布中采样的。因此，数据集中不常见的特征在训练过程中没有得到足够的关注。在本文中，我们没有引入更复杂的NAS算法，而是探索了将高质量的合成数据集添加到训练中可以帮助分类模型识别其弱点并提高识别精度的想法。我们引入了一种训练策略，称为“具有生成模型的可区分体系结构搜索（DASGM）”。在DASGM中，训练集用于更新分类模型权重，而合成数据集用于训练其架构。生成的图像具有与训练集不同的分布，这可以帮助分类模型学习更好的特征以识别其弱点。本文将DASGM构造成一个多层次的优化框架，并设计了一个有效的算法来求解，在CIFAR-10、CIFAR-100和ImageNet上的实验证明了DASGM的有效性。代码将提供。
2021-11-30 cs.CV cs.LG
Hacking Generative Models with Differentiable Network Bending
University of Amsterdam（阿姆斯特丹大学）；IST Austria（奥地利科学技术研究所）
本研究提出一种通过在生成模型中间层注入小型可训练模块、冻结其余网络并少量迭代训练的“黑入”方法，可将模型输出偏离原分布推向新目标，生成的带诡异质感的图像可用于艺术创作。
2023-12-12 cs.AI cs.CV cs.LG
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis（泰勒与弗朗西斯出版集团）
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励，而模仿学习试图提取关于专家演示的轨迹的一般知识，即，示威者因为它们中的每一个都有自己的缺点，所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而，许多方法都是启发式的，没有坚实的理论基础。在本文中，我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架，强化学习，{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放（pMDP-MO）。此外，我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架，比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明，我们的框架成功地集成了模仿和强化学习，即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Learning Implicit Generative Models Using Differentiable Graph Tests
ETH Zürich（苏黎世联邦理工学院）
最近，人们对学习丰富的隐式模型的问题越来越感兴趣-这些模型我们可以从中采样，但不能评估其密度。这些模型将一些参数函数（例如深度网络）应用于基本度量，并且使用随机最优化进行端到端学习。设计损失函数的一个策略是通过两个样本测试的统计数据-如果我们可以欺骗统计测试，那么学习的分布应该是真实数据的良好模型。然而，并不是所有的测试都可以很容易地适应这个框架，因为它们可能无法相对于数据点进行区分，因此也无法相对于隐式模型的参数进行区分。出于这个问题，在本文中，我们将展示如何两个这样的经典测试，弗里德曼-拉夫斯基和k-最近邻测试，可以有效地平滑使用无向图形模型的思想-矩阵树定理和势。此外，正如我们的实验表明，平滑可以显着提高功率的测试，这可能是独立的利益。最后，我们应用我们的方法来学习隐式模型。
2017-09-04 cs.LG stat.ML
Deep generative modelling of canonical ensemble with differentiable thermal properties
Department of Physics, The Hong Kong University of Science and Technology（香港科技大学物理系）；Department of Chemistry, The Hong Kong University of Science and Technology（香港科技大学化学系）
本文提出了一种基于可微温度的变分方法，用于计算 canonical 集合的热力学量，实现了高效准确的直接采样模拟。
2025-12-09 cond-mat.stat-mech cs.LG
DEFactor: Differentiable Edge Factorization-based Probabilistic Graph Generation
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
产生具有最佳特性的新型分子是许多行业（如药物发现）的关键步骤。最近，深度生成模型已经显示出进行从头分子设计的有前途的方式。尽管图形生成模型目前可用，但它们在其参数数量上具有图形大小依赖性，将其使用限制为仅非常小的图形，或者被公式化为构建图形所需的离散动作序列，使得输出图形相对于模型参数不可微，因此防止它们在诸如条件图形生成的场景中使用。在这项工作中，我们提出了一个模型的条件图生成，计算效率高，使直接优化的图形。我们展示了我们的模型基于原型的分子图条件生成任务的良好性能。
2018-11-24 cs.AI cs.LG
Generative Neural Reparameterization for Differentiable PDE-constrained Optimization
Ergodic LLC（Ergodic有限责任公司）；Pasteur Labs（巴斯德实验室）；Institute for Simulation Intelligence（仿真智能研究所）
本文提出将可微 PDE 约束优化中的自由参数重参数化为神经网络输出，使其学习从概率分布到最优参数分布的映射，从而在一次优化中生成多组多样化的最优解，并成功应用于降低激光聚变中的等离子体不稳定性。
2024-10-16 cs.AI cs.LG cs.NA
Differentiable Stochastic Traffic Dynamics: Physics-Informed Generative Modelling in Transportation
Caliper Corporation（Caliper公司）
本文提出了一种基于物理约束的生成模型，用于随机交通流的动力学建模，通过引入分布性的物理约束和概率流ODE，实现交通密度分布的生成与预测。
2026-03-10 cs.AI cs.LG cs.SY
Generalized Radius and Integrated Codebook Transforms for Differentiable Vector Quantization
Columbia University（哥伦比亚大学）；South China Normal University（南方科技大学）；University of Warwick（沃里克大学）；The City College of New York（纽约城市学院）；Hebei Institute of Communications（河北通信学院）
GRIT-VQ通过统一的可微框架提升向量量化性能，实现稳定梯度和高效代码本利用。
2026-02-01 cs.LG
Towards Goal, Feasibility, and Diversity-Oriented Deep Generative Models in Design
Deparment of Mechanical Engineering Massachussetts Institute of Technology
深度生成机器学习模型（DGMs）由于其学习和模拟复杂数据分布的能力，在设计社区中越来越受欢迎。DGM通常被训练以最小化在生成的数据上的分布与在它们被训练的数据集上的分布之间的统计分歧。虽然对于生成“真实”假数据的任务来说是足够的，但是对于设计合成任务来说，这个目标通常是不够的。相反，设计问题通常要求遵守设计要求，如性能目标和约束。推进工程设计中的DGMs需要新的培训目标，以促进工程设计目标。在本文中，我们提出了第一个深度生成模型，同时优化性能，可行性，多样性和目标实现。我们对所提出的方法的性能进行了基准测试，这些方法针对八个评估指标的几个深度生成模型，这些指标侧重于设计性能目标的可行性，多样性和满意度。方法进行了测试，具有挑战性的多目标自行车车架设计问题，不同的datashees的偏斜，多模态数据。我们发现，所提出的框架在八个指标中的六个指标上优于所有深度生成模型。
2022-06-14 cs.LG
Differentiable free energy surface: a variational approach to directly observing rare events using generative deep-learning models
Department of Physics, The Hong Kong University of Science and Technology（香港科技大学物理系）；Department of Chemistry, The Hong Kong University of Science and Technology（香港科技大学化学系）；IAS Center for AI for Scientific Discoveries, Hong Kong University of Science and Technology（香港科技大学人工智能科学发现中心）
本文提出变分自由能面（VaFES），通过生成深度学习模型直接建模自由能面，无需数据集，实现稀有事件的快速识别和生成，适用于复杂多体系统的研究。
2026-04-10 cond-mat.stat-mech cs.LG physics.comp-ph
Model-based Adversarial Imitation Learning
Technion - Israel Institute of Technology（以色列理工学院）
生成对抗学习是训练生成模型的一种流行的新方法，它在其他相关问题上也被证明是成功的。一般的想法是维护一个oracle $D$，它区分专家的数据分布和生成模型$G$的数据分布。生成模型被训练成通过最大化$D$对其生成的数据进行错误分类的概率来捕获专家的分布。总的来说，该系统是端到端的\emph{differentiable}，并使用基本的反向传播进行训练。这种类型的学习被成功地应用于无模型设置中的政策模仿问题。然而，无模型方法不允许系统是可微的，这需要使用高方差梯度估计。在本文中，我们介绍了基于模型的对抗性模仿学习（MAIL）算法。对抗性模仿学习问题的基于模型的方法。我们展示了如何使用前向模型，使系统完全可微，这使我们能够训练政策使用（随机）梯度的$D$。此外，我们的方法需要相对较少的环境交互，以及更少的超参数来调整。我们在MuJoCo物理模拟器上测试了我们的方法，并报告了超过当前最先进水平的初步结果。
2016-12-07 cs.LG stat.ML
AnyLoss: Transforming Classification Metrics into Loss Functions
University of Notre Dame（圣母大学）
本文提出AnyLoss，一种将任何基于混淆矩阵的指标转化为可微损失函数的通用方法，通过近似函数实现，有效处理不平衡数据并保持高效学习速度。
2024-05-23 cs.LG
How a Bit Becomes a Story: Semantic Steering via Differentiable Fault Injection
University of Maine（缅因大学）；Illinois State University（伊利诺伊州立大学）
通过可微分故障注入分析，研究比特级扰动对生成模型语义的影响，揭示低级变化如何引导高层语义。
2025-12-09 cs.AI cs.LG
Spatiotemporal Forecasting as Planning: A Model-Based Reinforcement Learning Approach with Generative World Models
Tsinghua University（清华大学）；Boson AI（玻色人工智能）；Tencent Hunyuan（腾讯混元）；SLAI；CUHK（香港中文大学）；Tencent Jarvis Lab（腾讯贾维斯实验室）；UCLA（加利福尼亚大学洛杉矶分校）；Nanyang Technological University（南洋理工大学）
针对物理时空预测的随机性与不可微指标问题，提出基于模型强化学习的SFP范式，利用生成式世界模型和束搜索规划，以领域指标为奖励，通过自训练优化预测策略，显著降低误差并提升极端事件捕捉能力。
2025-10-10 cs.AI cs.LG
Black-Box Optimization with Local Generative Surrogates
Imperial College London（帝国理工学院）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；University of Oxford（牛津大学）
我们提出了一种新的方法，基于梯度优化的黑盒模拟器使用可微的本地代理模型。在物理学和工程学等领域，许多过程都是用不可微的模拟器建模的，具有难以处理的可能性。这些正演模型的优化是特别具有挑战性的，特别是当模拟器是随机的。为了解决这种情况，我们引入了深度生成模型的使用，以在参数空间的局部邻域中迭代地近似模拟器。我们证明，这些本地代理人可以用来近似模拟器的梯度，从而使基于梯度的优化模拟器参数。在模拟器对参数空间的依赖被约束到低维子流形的情况下，我们观察到我们的方法比基线方法更快地达到最小值，包括贝叶斯优化，数值优化和使用得分函数梯度估计的方法。
2020-06-15 cs.LG hep-ex physics.data-an
GLUE: Coordinating Pre-Trained Generative Models for System-Level Design
Department of Engineering, University of [REDACTED]（[已编辑]大学工程系）；Department of Mechanical and Process Engineering, ETH Zurich（苏黎世联邦理工学院机械与过程工程系）
本文提出GLUE方法，通过协调预训练生成模型生成可行、多样且高性能的系统设计，对比了数据驱动和无数据方法的性能与效率。
2026-04-07 cs.CE cs.LG
Generative Tomography Reconstruction
University of Pisa（比萨大学）
我们提出了一个端到端的可微分架构的断层扫描重建，直接映射到一个去噪重建的噪声正弦图。与现有的方法相比，我们的端到端架构可以在使用更少的参数和时间的同时产生更准确的重建。我们还提出了一个生成模型，给出了一个嘈杂的正弦图，可以采样现实的重建。该生成模型可以在迭代过程中用作先验，通过考虑物理模型，可以减少重建中的伪影和错误。
2020-11-25 cs.CV cs.LG cs.NA
DDSP: Differentiable Digital Signal Processing
Google Research（谷歌研究院）
大多数音频生成模型直接在两个域之一生成样本：时间或频率。虽然足以表达任何信号，但这些表示是低效的，因为它们没有利用关于声音如何产生和感知的现有知识。第三种方法（声码器/合成器）成功地结合了信号处理和感知的强大领域知识，但由于有限的表达性和与现代基于自动微分的机器学习方法集成的困难，研究较少。在本文中，我们介绍了可微分数字信号处理（DDSP）库，它可以直接集成经典信号处理元素与深度学习方法。专注于音频合成，我们实现了高保真的生成，而不需要大的自回归模型或对抗性损失，这表明DDSP能够利用强归纳偏差，而不会失去神经网络的表达能力。此外，我们表明，结合可解释的模块允许操纵每个单独的模型组件，与应用程序，如独立控制的音高和响度，现实的外推到训练过程中看不到的音高，室内声学的盲去混响，提取的室内声学转移到新的环境中，和不同来源之间的音色的转换。简而言之，DDSP实现了可解释和模块化的生成建模方法，而不会牺牲深度学习的优势。该库在https://github.com/magenta/ddsp上公开，我们欢迎社区和领域专家的进一步贡献。
2020-01-14 cs.LG cs.SD eess.AS
