Losing dimensions: Geometric memorization in generative diffusion
Computing Sciences Department, Bocconi University（博科尼大学计算科学系）；Bocconi Institute for Data Science and Analytics (BIDSA)（博科尼数据科学与分析研究所）；Donders Institute, Radboud University（拉德堡德大学多纳尔斯研究所）；OnePlanet Research Center, Wageningen（瓦赫宁根大学OnePlanet研究中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Jheronimus Academy of Data Science (JADS)（杰霍尼穆斯数据科学学院）；IBM Research, Cambridge（IBM研究院，剑桥）
本文提出几何记忆理论，揭示扩散模型在低维流形上逐渐记忆训练数据的现象，通过分析学习到的分数场发现生成行为集中在少数例子上，形成一般化与精确复制之间的独特阶段。
2026-03-11 cs.LG stat.ML
Generative Audio Synthesis with a Parametric Model
IIT Bombay（印度理工学院孟买分校）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）
使用音频的参数化表示来训练生成模型，以获得对所生成的声音的更灵活的控制。
2019-11-15 cs.LG cs.SD eess.AS
Generative One-Shot Learning (GOL): A Semi-Parametric Approach to One-Shot Learning in Autonomous Vision
Elektrobit Automotive（Elektrobit汽车公司）；Transilvania University of Brasov（布拉索夫特兰西瓦尼亚大学）
高度自动驾驶（HAD）系统依赖于深度神经网络来实现驾驶环境的视觉感知。这种网络是在大型手动注释数据库上训练的。在这项工作中，提出了一种单次学习的半参数方法，目的是绕过自动驾驶中训练感知系统所需的手动注释步骤。所提出的生成框架称为生成单次学习（GOL），它将单个单次对象或通用模式作为输入，并使用一小部分所谓的正则化样本来驱动生成过程。新的合成数据生成为Pareto最优解从单次对象使用一组泛化功能内置到泛化生成器。GOL已经在自主视觉中遇到的环境感知挑战上进行了评估。
2018-12-19 cs.CV cs.LG cs.RO
Quasi-random sampling for multivariate distributions via generative neural networks
University of Waterloo（滑铁卢大学）
为了计算方差约减下的估计，引入了生成矩匹配网络（GMMN），用于从具有任何底层copula的多变量模型中生成准随机样本。到目前为止，多元分布的准随机抽样需要仔细设计，利用隐含参数copula或基础准蒙特卡罗（QMC）点集的特定属性（例如条件分布），并且仅适用于少数模型。利用GMMN允许一个构建准随机样本的多变量分布的种类要多得多，没有这样的限制，包括经验的依赖结构，没有很好地捕捉参数copula的真实数据。一旦在来自参数模型的伪随机样本上或在真实数据上训练，这些神经网络仅需要多变量标准均匀随机化QMC点集作为输入，并且因此在方差减少的依赖下快速估计感兴趣的期望。数值例子被认为是证明的方法，包括应用程序的风险管理实践的启发。所有结果都可以通过演示GMMN_QMC_paper、GMMN_QMC_data和GMMN_QMC_timing作为R包gnn的一部分重现。
2020-04-02 cs.LG stat.ML
Image Restoration from Parametric Transformations using Generative Models
Rutgers University（罗格斯大学）；University of Patras（帕特雷大学）
当图像统计描述的生成模型，我们可以使用这些信息来开发各种图像修复问题的最佳技术，如修补，超分辨率，图像着色，生成模型反演等的生成模型的帮助下，它是可能的制定，在一个自然的方式，这些恢复问题的统计估计问题。我们的方法，通过最大后验概率与最大似然估计相结合，是能够恢复图像的变形，即使当后者包含未知参数。由此产生的优化是完全定义的，没有需要调整的参数。这必须与目前的技术水平进行比较，目前的技术水平需要确切的变换知识，并且包含具有必须正确定义的权重的正则化项。最后，我们必须提到的是，我们扩展了我们的方法，以适应多个图像的混合，其中每个图像都由自己的生成模型描述，我们能够成功地将每个参与图像从单个混合物中分离出来。
2020-06-16 cs.CV cs.LG eess.IV
CGAN-EB: A Non-parametric Empirical Bayes Method for Crash Hotspot Identification Using Conditional Generative Adversarial Networks: A Real-world Crash Data Study
University of Waterloo（滑铁卢大学）
基于负二项分布（NB）等参数统计模型的经验贝叶斯（EB）方法已被广泛应用于道路网安全筛选过程中的站点排序。本文是作者先前研究的延续，提出了一种基于条件生成对抗网络（CGAN）的碰撞频率数据建模的新的非参数EB方法，并在几个模拟碰撞数据集上进行了评估。与参数方法不同，在拟议的CGAN-EB中，不需要预先指定因变量和自变量之间的潜在关系，并且它们能够对任何类型的分布进行建模。所提出的方法现在被应用于从2012年到2017年在华盛顿州的路段收集的真实世界的数据集。CGAN-EB在模型拟合、预测性能和网络筛选结果方面的性能与传统方法（NB-EB）作为基准进行了比较。实验结果表明，CGAN-EB方法在预测能力和热点识别测试方面优于NB-EB方法。
2021-12-16 cs.LG
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong（统计与精算科学系香港大学）
本文提出一种基于贝叶斯非参数框架的生成模型，整合VAE、GAN及CGAN，采用Wasserstein距离和最大均值差异损失，以解决过拟合和噪声样本问题，提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
Zebra: In-Context Generative Pretraining for Solving Parametric PDEs
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR研究所）；Naver Labs Europe（Naver欧洲实验室）；Critéo AI Lab（Critéo人工智能实验室）
提出Zebra，一种生成式自回归Transformer，通过上下文学习在无需梯度适应的情况下求解参数化PDEs，展现出优越的适应性、鲁棒性和性能。
2025-06-26 cs.LG
Vitruvion: A Generative Model of Parametric CAD Sketches
Princeton University（普林斯顿大学）；New York University（纽约大学）；Flatiron Institute（熨斗研究院）
参数化计算机辅助设计（CAD）工具是工程师指定物理结构的主要方式，从自行车踏板到飞机到印刷电路板。参数化CAD的关键特征是设计意图不仅通过几何图元进行编码，而且通过元素之间的参数化约束进行编码。这种关系规范可以被看作是约束程序的构造，允许编辑连贯地传播到设计的其他部分。机器学习提供了一种有趣的可能性，即通过对这些结构进行生成式建模来加速设计过程，从而启用自动完成、约束推理和条件合成等新工具。在这项工作中，我们提出了这样一种方法生成建模的参数化CAD草图，构成了现代机械设计的基本计算模块。我们的模型在SketchGraphs数据集的真实世界设计上进行了训练，自回归地将草图合成为图元序列，具有初始坐标和引用回采样图元的约束。由于来自模型的样本与标准CAD软件中使用的约束图表示相匹配，因此可以根据下游设计任务直接导入、求解和编辑它们。此外，我们还根据各种上下文来调整模型，包括部分草图（初级读本）和手绘草图的图像。评估所提出的方法表明，它能够合成逼真的CAD草图和它的潜力，以帮助机械设计工作流程。
2022-04-28 cs.LG
Exemplar VAE: Linking Generative Models, Nearest Neighbor Retrieval, and Data Augmentation
University of Toronto（多伦多大学）；Vector Institute（向量学院）；Google Research（谷歌研究院）
我们介绍示例VAE，一个家庭的生成模型，弥合参数和非参数，基于示例的生成模型之间的差距。示例VAE是VAE的变体，其基于Parzen窗口估计器在潜在空间中具有非参数先验。为了从中采样，首先从训练集中抽取一个随机样本，然后随机地将该样本转换为潜在代码和新的观察结果。我们提出检索增强训练（RAT）作为一种方式，以加快示例VAE训练，通过使用近似最近邻搜索在潜在空间中定义一个下限的对数边际似然。为了提高泛化能力，模型参数的学习使用样本留一法和子采样。实验证明了Exemplar VAE在密度估计和表示学习上的有效性。重要的是，在置换不变MNIST和时尚MNIST上使用Exemplar VAE的生成数据增强将分类误差从1.17%降低到0.69%和从8.56%降低到8.16%。
2020-11-24 cs.CV cs.LG stat.ML
The Null Is the Hard Part: Exact Tests for Memorization in Generative Models
George Washington University（乔治·华盛顿大学）
针对生成模型记忆性审计缺乏空假设的问题，提出两种精确置换检验方法，并推荐尺度限制统计量，在MemBench上实现精确认证。
2026-10-02 cs.LG
DP-GP-LVM: A Bayesian Non-Parametric Model for Learning Multivariate Dependency Structures
University of Bath（巴斯大学）；University of Bristol（布里斯托尔大学）
我们提出了一个非参数贝叶斯潜变量模型，能够在多变量环境中学习跨维度的依赖结构。我们的方法是基于灵活的高斯过程先验的生成映射和可互换的狄利克雷过程先验学习的结构。引入狄利克雷过程作为一个特定的结构先验，使我们的模型，以规避与以前的高斯过程潜变量模型的问题。推导出一个有效的变分边界上的边际对数似然模型进行推理。
2018-07-12 cs.LG stat.ML
Online Kernel based Generative Adversarial Networks
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在过去五年中，深度学习的重大突破之一是生成对抗网络（GAN），这是一种基于神经网络的生成模型，旨在模拟给定样本数据集的一些底层分布。与许多有监督的问题不同，在这些问题中，人们试图最小化参数的简单目标函数，GAN训练被公式化为一对网络参数上的最小-最大问题。虽然经验上GANs在几个领域取得了令人印象深刻的成功，但研究人员一直对不寻常的训练行为感到困惑，包括循环所谓的模式坍塌。在本文中，我们首先提供了一种定量方法来探索GAN训练中的一些挑战，并以经验的方式展示了这与神经网络的参数性质之间的关系。我们提出了一种新的方法，解决了许多这些问题，依赖于一个基于内核的非参数神经网络，是非常适合在线培训-我们称之为在线基于内核的生成对抗网络（OKGAN）。我们的经验表明，OKGAN减轻了一些训练问题，包括模式坍塌和循环，并且更符合理论保证。在合成数据上，OKGAN在反向KL发散方面的经验表现明显优于其他GAN公式;在MNIST、SVHN和CelebA等经典视觉数据集上，表现出相当的性能。
2020-06-19 cs.LG stat.ML
Parametric generation of conditional geological realizations using generative neural networks
Heriot-Watt University（赫瑞-瓦特大学）
深度学习技术越来越多地被考虑用于地质应用，其中-就像计算机视觉一样-挑战的特点是由多点统计主导的高维空间数据。特别是，最近研究了一种称为生成对抗网络的新技术，用于地质参数化和合成，获得了非常令人印象深刻的结果，至少在定性上与以前的方法具有竞争力。该方法获得地质学的神经网络参数化--所谓的生成器--其能够再现具有几个数量级的维度减少的非常复杂的地质图案。随后的工作已经解决了条件反射任务，即使用生成器生成尊重空间观测（硬数据）的实现。然而，当前的方法不提供条件生成过程的参数化。在这项工作中，我们提出了一种方法来获得直接生成的条件实现的参数化。其主要思想是通过堆叠第二个推理网络来简单地扩展现有的生成器网络，该推理网络学习执行调节。该推理网络是一种神经网络，其被训练为对使用条件作用任务的贝叶斯公式推导出的后验分布进行采样。由此得到的扩展神经网络提供了条件参数化。我们的方法进行评估的基准图像的二进制通道化的地下，获得非常有前途的结果，各种各样的空调配置。
2019-07-15 cs.LG physics.comp-ph stat.ML
Non-Parametric Priors For Generative Adversarial Networks
Arizona State University（亚利桑那州立大学）；Intel Corporation（英特尔公司）
生成对抗网络（GAN）的出现使合成、插值和数据增强方面的新能力成为可能，迄今为止这些能力被认为是非常具有挑战性的。然而，大多数GAN架构中的一个常见假设是简单参数潜在空间分布的假设。虽然易于实现，但简单的潜在空间分布对于插值等用途可能存在问题。这是由于样本在潜在空间中插值时的分布失配。我们提出了一个简单的形式化这个问题，使用概率论和现成的优化工具的基本结果，我们开发的方法来达到适当的非参数先验。所获得的先验表现出不寻常的定性性质，在其形状方面，和定量的好处，在较低的分歧与其中点分布。我们证明，我们设计的先验有助于提高图像生成沿任何欧几里德直线插值过程中，定性和定量，没有任何额外的培训或架构修改。拟议的提法相当灵活，为对潜在空间统计施加新的限制铺平了道路。
2019-05-16 cs.CV cs.LG
Generative adversarial framework to calibrate excursion set models for the 3D morphology of all-solid-state battery cathodes
Institute of Stochastics, Ulm University（乌尔姆大学随机研究所）；Center for Materials Research (ZfM), Justus Liebig University Giessen（吉森尤斯图斯·比格大学材料研究中心）；Math2Market GmbH（Math2Market有限公司）
本研究提出将生成对抗网络与低参数随机几何偏移集模型结合的框架，仅用二维显微图像校准生成全固态电池阴极三维形态数字孪生，支持结构参数化探索与虚拟材料测试，也适用于同类结构材料。
2025-03-21 cs.LG stat.ML
CGAN-EB: A Non-parametric Empirical Bayes Method for Crash Hotspot Identification Using Conditional Generative Adversarial Networks: A Simulated Crash Data Study
University of Waterloo（滑铁卢大学）
在本文中，提出了一种新的非参数经验贝叶斯方法，称为CGAN-EB，用于近似交通位置（例如，路段），其受益于深度神经网络的建模优势，并在仿真研究中将其性能与基于负二项模型（NB-EB）的传统方法进行了比较。NB-EB使用负二项模型来模拟碰撞数据，这是实践中最常用的方法。为了在所提出的CGAN-EB中对碰撞数据进行建模，使用了条件生成对抗网络，这是一种功能强大的基于深度神经网络的方法，可以对任何类型的分布进行建模。设计并进行了大量的模拟实验，以评估CGAN-EB在不同条件下的性能，并将其与NB-EB进行比较。结果表明，CGAN-EB表现以及NB-EB的条件下，有利于NB-EB模型（即数据符合NB模型的假设），并优于NB-EB在实验中经常遇到的条件下，在实践中，特别是低样本均值，当碰撞频率不遵循对数线性关系与协变量。
2021-12-13 cs.LG
ShipHullGAN: A generic parametric modeller for ship hull design using deep convolutional generative model
University of Strathclyde（思克莱德大学）；University of California, Berkeley（加州大学伯克利分校）；Nazarbayev University（纳扎尔巴耶夫大学）
针对现有船舶参数化建模器仅适配单一船型的局限，研究提出基于深度卷积GAN的通用建模器ShipHullGAN，经大规模多船型数据集训练后可生成几何有效、形式多样的船体设计。
2023-04-29 cs.LG
Parametric and Generative Forecasts of EPEX Day-Ahead Energy Market Curves
New York University Abu Dhabi（纽约大学阿布扎克分校）；CREST, ENSAE, Institut Polytechnique de Paris（CREST、ENSAE、巴黎理工学院）
研究EPEX日前能源市场曲线预测，提出参数化和生成式两种方法，参数方法用极端梯度提升，生成方法用条件去噪扩散概率模型，通过曲线重建和存储优化问题评估，生成式方法在存储应用中有更好表现。
2026-08-19 cs.LG cs.SY eess.SY
Generative Learning of the Solution of Parametric Partial Differential Equations Using Guided Diffusion Models and Virtual Observations
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
本文提出一种生成学习框架，通过梯度引导和虚拟观测建模高维参数系统，通过两个案例研究展示其在无结构网格和有结构网格上的有效性，减少计算成本，提高流体动力学预测效率。
2024-07-31 cs.LG physics.comp-ph physics.flu-dyn
Implicit Generative Copulas
TU Darmstadt（达姆施塔特工业大学）
Copula是一个强大的工具，用于建模多元分布，因为它们允许单独估计单变量边缘分布和联合依赖结构。然而，已知的参数copula提供有限的灵活性，特别是在高维，而常用的非参数方法遭受的灾难的维度。一种流行的补救方法是构造一个基于树的条件二元copula层次结构。在本文中，我们提出了一个灵活的，但概念上简单的替代隐式生成神经网络的基础上。关键的挑战是确保估计的copula分布的边缘均匀性。我们通过学习具有未指定边缘但具有所需依赖结构的多变量潜在分布来实现这一点。通过应用概率积分变换，我们可以从高维copula分布中获得样本，而无需依赖于参数假设或需要找到合适的树结构。在金融、物理和图像生成等领域的合成数据和真实数据上的实验证明了该方法的有效性。
2021-11-10 cs.LG q-fin.CP stat.AP
Bayesian Graph Convolutional Neural Networks Using Non-Parametric Graph Learning
McGill University（麦吉尔大学）
图卷积神经网络（GCNN）已经成功地应用于许多不同的基于图的学习任务，包括节点和图分类、矩阵完成和节点嵌入的学习。尽管他们令人印象深刻的性能，技术有一个有限的能力，将不确定性的下划线图形结构。为了解决这个问题，最近提出了贝叶斯GCNN（BGCN）框架。在这个框架中，观察到的图被认为是一个随机实现的参数随机图模型和联合贝叶斯推理的图形和GCNN的权重进行。在本文中，我们提出了一个非参数生成模型的图形，并将其纳入BGCN框架。除了观察到的图，我们的方法有效地使用节点的功能和训练标签在后验推理的图，并达到卓越的或可比的性能在基准节点分类任务。
2019-10-26 cs.LG stat.ML
Parametric Prior Mapping Framework for Non-stationary Probabilistic Time Series Forecasting
School of Computer Science and Engineering（计算机科学与工程学院）
提出参数先验映射（PPM）框架，通过将参数化结构先验注入生成模型，结合混合目标训练，在非平稳概率多变量时间序列预测中实现精度与计算效率的平衡。
2026-05-22 cs.AI cs.LG
How Well Generative Adversarial Networks Learn Distributions
University of Chicago, Booth School of Business（芝加哥大学布斯商学院）
本文使用对抗框架和生成对抗网络（GANs）隐式研究学习分布的收敛速度，其中将Wasserstein、Sobolev、MMD GAN和广义/模拟矩量法（GMM/SMM）作为特例。我们研究了广泛的参数和非参数目标分布下的主机的客观评价指标。我们研究如何通过正则化的镜头获得GANs的有效统计保证。在非参数端，我们得到了最优的极小极大率分布估计下的对抗框架。在参数端，我们建立了一个一般神经网络类（包括深度泄漏ReLU网络）的理论，该理论描述了生成器和搜索对选择的相互作用。我们发现并隔离了一个新的正则化概念，称为生成器-正则对正则化，它揭示了GANs与经典的参数和非参数方法相比显式分布估计的优势。我们开发了新的预言不等式作为分析GANs的主要技术工具，这是独立的兴趣。
2021-09-07 cs.LG math.ST stat.ML
GPT-PINN: Generative Pre-Trained Physics-Informed Neural Networks toward non-intrusive Meta-learning of parametric PDEs
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
针对物理 informed 神经网络（PINN）训练耗时、参数冗余的问题，提出生成式预训练 PINN（GPT-PINN），通过超精简元网络结合预训练 PINN 激活函数，实现参数化 PDE 全参数域高效准确的代理解生成。
2023-06-08 cs.LG cs.NA math.NA
A comparison of linear and non-linear calibrations for speaker recognition
AGNITIO Research（AGNITIO研究院）；Radboud University（拉德堡德大学）
在最近的工作生成和判别评分对数似然比校准，它表明，线性变换给出良好的准确性，只有在有限的范围内的操作点。此外，这些方法需要定制校准训练目标函数，以便瞄准最佳精度的期望区域。在这里，我们将线性配方推广到非线性配方。我们实验了一个非线性，非参数，歧视PAV解决方案，以及参数，生成，最大似然解决方案，使用高斯，学生T和正常逆高斯分数分布。对NIST SRE'12分数的实验表明，非线性方法提供了更宽范围的最佳准确度，并且可以在不必求助于目标函数剪裁的情况下进行训练。
2014-04-09 cs.LG stat.ML
DYSANOS Generative Dynamic Smooth Arbitrage-free Non-parametric Option Surfaces
University of Oxford（牛津大学）；McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）
本文提出首个无静态套利的DYSANOS生成式市场模型，采用AR(1)基线隐状态模型，在IvyDB S&P指数2020-2025数据上验证性能，与纯隐含波动率PCA模型对比，可生成未来数年的期权价格路径。
2026-10-16 cs.LG q-fin.MF
Beyond Mode Collapse: Generating Diverse Synthetic Expert Conversations via Generative Flow Networks
University of Michigan（密歇根大学）
本文提出用生成流网络生成多样化合成专家对话，解决数据模式坍缩问题，在辅导和情感支持领域优于强化学习和端到端LLM基线，提升下游任务训练信号。
2026-10-01 cs.AI cs.CL cs.LG
Parametric Generative Schemes with Geometric Constraints for Encoding and Synthesizing Airfoils
Shanghai Aircraft Design and Research Institute（上海飞机设计研究院）；Shanghai Jiao Tong University（上海交通大学）
针对传统翼型参数化技术难以兼顾直观性、灵活性与精度的问题，本文提出软约束（CVAE直接训练约束）和硬约束（VAE生成加FFD投影）两种深度学习生成方案，后者在严格满足约束的同时兼具多样性，可提升优化设计效率。
2023-05-04 cs.LG physics.flu-dyn
Generator Reversal
ETH Zurich（苏黎世联邦理工学院）
我们考虑用深度神经网络作为生成器来训练生成模型的问题，即将潜在代码映射到数据点。而占主导地位的范例结合了简单的先验代码与复杂的确定性模型，我们建议，而不是使用更灵活的代码分布。这些分布是通过在训练期间反转生成器映射来非参数化地估计的。好处包括：更强大的生成模型，更好的潜在结构建模和显式控制的泛化程度。
2017-07-28 cs.LG stat.ML
Information Theoretic Structured Generative Modeling
University of Florida（佛罗里达大学）；UiT - The Arctic University of Norway（特罗姆瑟大学-挪威北极大学）；Xi’an Jiaotong University（西安交通大学）
Rényi的信息提供了一个理论基础，为易处理和数据有效的非参数密度估计，基于成对评估的再生核希尔伯特空间（RKHS）。本文将这一框架扩展到参数概率建模，其动机是雷尼的信息可以估计在封闭形式的高斯混合。基于这种特殊的连接，提出了一种新的生成模型框架，称为结构化生成模型（SGM），使直接优化成为可能，因为成本是尺度不变的，避免了高梯度方差，同时对绝对连续性施加较少的限制，这在参数信息论优化中是一个巨大的优势。该实现采用由附加到单个白噪声源的正交归一化输入驱动的单个神经网络，该单个白噪声源适于学习无限高斯混合模型（IMoG），该IMoG提供低维度的经验上易处理的模型分布。为了训练SGM，我们提供了三个新的变分成本函数，基于Rényi的二阶熵和发散，实现最小化交叉熵，最小化变分表示的$f$ -发散，最大化的证据下限（条件概率）。我们测试的框架估计的互信息和比较的结果与互信息神经估计（MINE），密度估计，条件概率估计马尔可夫模型以及训练对抗网络。我们的初步结果表明，SGM显着提高了MINE估计的数据效率和方差，传统和变分高斯混合模型，以及生成对抗网络的性能。
2022-03-07 cs.IT cs.LG math.IT
Mono-to-stereo through parametric stereo generation
Dolby Laboratories（杜比实验室）
本文提出利用最近邻和深度网络预测参数化立体声(PS)参数，并结合自回归和掩码令牌等生成式建模方法，实现单声道到立体声的上混转换，实验证明该模型优于经典基线且生成式方法表现更佳。
2023-06-26 cs.LG cs.SD eess.AS
Generative adversarial network-based glottal waveform model for statistical parametric speech synthesis
Aalto University（阿尔托大学）
最近的研究表明，使用声门声码可以提高文本到语音合成的质量。这是指声码器，参数化语音分为两个部分，声门兴奋和声道，发生在人类的语音生产设备。当前的声门声码器通过使用深度神经网络（DNN）来生成声门激励波形。然而，目前声门激励模型的基于平方误差的训练仅限于生成条件平均波形，其未能捕获波形的随机变化。因此，作为后处理添加了整形噪声。在这项研究中，我们提出了一种新的方法来预测声门波形的生成对抗网络（GANs）。GANs是生成模型，旨在将数据分布嵌入潜在空间中，通过随机采样潜在分布来生成与原始实例非常相似的新实例。由GANs产生的声门脉冲显示出类似于自然声门脉冲的随机分量。在我们的实验中，我们比较了使用DNN和GANs产生的声门波形生成的合成语音。结果表明，新提出的GANs实现了与广泛使用的DNN相当的合成质量，而不使用加性噪声分量。
2019-03-14 cs.CL cs.LG cs.SD
TabPFN for Zero-shot Parametric Engineering Design Generation
Simon Fraser University（西蒙弗雷泽大学）；Massachusetts Institute of Technology（麻省理工学院）
基于TabPFN的零样本生成方法，通过少量参考样本实现高效参数化工程设计生成，减少计算和数据需求，提升设计灵活性和实用性。
2026-02-02 cs.LG
Statistical Parametric Speech Synthesis Incorporating Generative Adversarial Networks
The University of Tokyo（东京大学）
提出了一种结合生成对抗网络（GANs）的统计参数语音合成方法。虽然强大的深度神经网络（DNN）技术可以应用于人工合成语音波形，但是与自然语音相比，合成语音质量较低。导致质量下降的问题之一是在生成的语音参数中经常观察到的过平滑效应。本文介绍的GAN由两个神经网络组成：一个用于区分自然样本和生成样本的鉴别器和一个用于欺骗鉴别器的生成器。在所提出的框架中，结合了GANs，训练语音识别器以区分自然和生成的语音参数，而训练声学模型以最小化传统的最小生成损失和用于欺骗语音识别器的对抗性损失的加权和。由于GANs的目标是最小化发散（即，该方法利用自然语音参数与生成语音参数之间的差异（即语音参数的分布差异），有效地消除了过平滑对生成语音参数的影响。我们评估了文本到语音和语音转换的有效性，发现所提出的方法可以产生更自然的频谱参数和$F_0$比传统的最小生成误差训练算法，无论其超参数设置。此外，我们研究了各种GANs的发散的影响，发现最小化地球移动器距离的Wasserstein GAN在提高合成语音质量方面效果最好。
2017-09-23 cs.LG cs.SD eess.AS
ENMA: Tokenwise Autoregression for Generative Neural PDE Operators
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR）；Criteo AI Lab（Criteo人工智能实验室）
ENMA通过生成掩码自回归变压器和时空卷积编码器，实现时间依赖参数PDEs的生成式建模与泛化。
2025-12-11 cs.LG
PAGE: Parametric Generative Explainer for Graph Neural Network
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；iWudao Tech（悟道科技）
提出参数化生成式解释框架 PAGE，利用自动编码器、潜在因果特征和判别器为任意图神经网络生成样本级解释子结构，并在合成与真实数据集上取得更高忠实度、准确率和效率。
2024-09-06 cs.AI cs.LG
HpRNet : Incorporating Residual Noise Modeling for Violin in a Variational Parametric Synthesizer
Indian Institute of Technology Bombay（印度理工学院孟买分校）
音频合成的生成模型在过去几年中获得了发展势头。最近，音频信号的参数表示已经被并入以便于合成输出的更好的音乐控制。在这项工作中，我们研究了小提琴音调的参数模型，特别是生成建模的残余弓噪声，使更自然的音质。为了帮助我们的分析，我们介绍了一个数据集的Carnatic小提琴录音，其中弓噪声是一个组成部分的演奏风格的高音音符在特定的手势上下文。我们获得的见解，每个谐波和残留成分的信号，以及它们的相互依存关系，通过观察的潜在空间中的持续的声音的频谱包络的变分编码的过程中得出的。
2020-08-19 cs.LG cs.SD eess.AS
Adapting Noise to Data: Generative Flows from 1D Processes
University of Cambridge（剑桥大学）
提出一个通用框架，通过一维分位数函数学习数据自适应的参数化先验分布（潜在噪声），利用噪声与数据之间的Wasserstein距离进行优化，以改善生成流模型对重尾等分布的学习能力。
2026-06-02 cs.LG math.AP stat.ML
Generative vs. Discriminative modeling under the lens of uncertainty quantification
SAMOVAR（萨莫瓦尔（实验室））；Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；CEA-List（原子能与替代能源委员会- LIST研究所）；Université Paris-Saclay（巴黎萨克雷大学）
本文比较生成式与判别式建模在认知不确定性量化、先验作用、半监督学习及后验预测采样上的差异，并提出兼容两类方法的通用采样方案。
2024-06-13 cs.LG stat.ME stat.ML
Amortized Multi-Objective Optimization Across Tasks with Generative Solution Modeling
College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院，新加坡）；School of Mechanical Sciences, Indian Institute of Technology, Goa, India（印度理工学院Goa分校机械科学学院，印度）；Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore（新加坡科技研究局前沿人工智能研究中心）；Singapore Institute of Manufacturing Technology, Agency for Science, Technology and Research, Singapore（新加坡制造技术研究所，新加坡科技研究局）
本文提出一种新型参数化多目标贝叶斯优化器，通过生成解采样和跨任务协同搜索，实现连续任务偏好空间中的解预测，避免重复昂贵评估。
2026-05-08 cs.LG
A Parametric Memory Head for Continual Generative Retrieval
University of Amsterdam（阿姆斯特丹大学）
本文提出PAMT方法，通过参数化内存头解决连续生成检索中稳定性和可塑性之间的权衡问题，提升早期文档检索性能且对新增文档影响小。
2026-04-25 cs.AI cs.CL cs.IR
Learning Discriminative Metrics via Generative Models and Kernel Learning
University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
指定数据点之间的距离的距离可以以区别性方式或从生成模型中学习。在本文中，我们展示了如何通过一个内核学习框架来统一度量的生成学习和判别学习。具体来说，我们学习从参数生成模型优化的局部度量。然后，这些被用作基本内核，以构建一个全局内核，最大限度地减少一个歧视性的训练标准。我们考虑局部度量核的线性和非线性组合。我们的实证结果表明，这些组合显着提高分类任务的性能。所提出的学习算法也是非常有效的，实现了数量级的训练时间相比，以前的判别基线方法的加速。
2011-09-19 cs.AI cs.LG stat.ME
Few-Shot Non-Parametric Learning with Deep Latent Variable Model
University of Waterloo（滑铁卢大学）
大多数期望机器学习算法解决的现实问题都面临着以下情况：1）未知的数据分布; 2）很少的特定领域知识; 3）具有有限注释的数据集。我们提出了通过潜在变量压缩的非参数学习（NPC-LV），这是一个学习框架，适用于任何具有大量未标记数据但很少有标记数据的数据集。通过仅以无监督的方式训练生成模型，该框架利用数据分布来构建压缩器。使用从Kolmogorov复杂度导出的基于压缩器的距离度量，加上少量标记数据，NPC-LV无需进一步训练即可进行分类。我们表明，NPC-LV在低数据区域的图像分类上优于所有三个数据集上的监督方法，甚至优于CIFAR-10上的半监督学习方法。我们演示了如何以及何时可以使用负证据下限（nELBO）作为分类的近似压缩长度。通过揭示压缩率和分类精度之间的相关性，我们说明了在NPC-LV下，生成模型的改进可以提高下游分类精度。
2022-09-17 cs.AI cs.LG
Bridging Design Gaps: A Parametric Data Completion Approach With Graph Guided Diffusion Models
Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究所）
本研究提出结合图注意力网络与表格扩散模型的生成式参数数据补全模型，可作为AI设计副驾驶补全CAD设计，在准确性与多样性上优于现有方法，能助力设计决策与创意探索。
2024-06-17 cs.AI cs.CE cs.HC
Metrics for Parametric Families of Networks
本文提出基于Gromov-Wasserstein最优传输的参数化网络距离框架，用于比较时变网络和随机图模型，建立理论保证与可计算下界，并通过数值实验验证其有效性。
2025-09-26 cs.LG math.MG stat.ML
On the Quantitative Analysis of Decoder-Based Generative Models
OpenAI
在过去的几年里，生成模型取得了显着的进展，它产生了令人信服的图像样本和其他模式。许多强大的生成模型的一个共享组件是解码器网络，这是一种定义生成分布的参数化深度神经网络。例子包括变分自编码器、生成对抗网络和生成矩匹配网络。不幸的是，由于对数似然估计的棘手性，很难量化这些模型的性能，并且检查样本可能会产生误导。我们建议使用退火重要性采样评估对数似然解码器为基础的模型，并验证其准确性，使用双向蒙特卡罗。评估代码提供在https://github.com/tonywu95/eval_gen。使用这种技术，我们分析解码器为基础的模型的性能，现有的对数似然估计的有效性，过拟合的程度，以及这些模型错过重要的数据分布模式的程度。
2017-06-06 cs.LG
Parametrization of stochastic inputs using generative adversarial networks with application in geology
Heriot-Watt University（赫瑞-瓦特大学）
我们研究人工神经网络作为一个参数化工具的随机输入数值模拟。我们从模拟数据生成过程的角度来处理参数化，而不是显式地构建参数化形式来保留数据的预定义统计。这是通过训练神经网络来完成的，以使用最近的一种称为生成对抗网络的深度学习技术从数据分布中生成样本。通过模拟数据生成过程，复制数据的相关统计信息。该方法是在地下水流问题，有效的参数化的地下性能，如渗透率是重要的，由于高维度和高空间相关性的存在下进行评估。我们的实验与实现二进制通道地下渗透率和执行不确定性量化和参数估计。结果表明，使用生成对抗网络的参数化是非常有效的，在保持视觉真实感以及高阶统计的流动响应，同时实现了两个数量级的降维。
2019-04-09 cs.LG physics.comp-ph stat.ML
When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting
Georgia Institute of Technology（佐治亚理工学院）
准确可靠的流行病预测是影响公共卫生规划和疾病缓解的重要问题。大多数现有的流行病预测模型忽略不确定性量化，导致错误校准的预测。最近在用于不确定性感知时间序列预测的深度神经模型方面的工作也有一些局限性;例如，很难在贝叶斯神经网络中指定有意义的先验，而像深度集成这样的方法在实践中计算成本很高。在本文中，我们填补了这一重要空白。我们将预测任务建模为概率生成过程，并提出了一个功能性神经过程模型EPIFNP，它直接模拟预测值的概率密度。EPIFNP利用动态随机相关图以非参数的方式对序列之间的相关性进行建模，并设计不同的随机潜变量从不同的角度捕捉函数的不确定性。我们在实时流感预测环境中进行的大量实验表明，EPIFNP在准确性和校准指标方面都显着优于以前的最先进模型，准确性高达2.5倍，校准高达2.4倍。此外，由于其生成过程的特性，EPIFNP可以学习当前季节与历史季节相似模式之间的关系，从而实现可解释的预测。除了流行病预测之外，EPIFNP还可以独立用于推进预测分析的深度序列模型中的原则性不确定性量化
2021-11-15 cs.AI cs.LG
A Bayesian Gaussian Process-Based Latent Discriminative Generative Decoder (LDGD) Model for High-Dimensional Data
Isfahan University of Technology（伊斯法罕理工大学）；Boston University（波士顿大学）；University of Minnesota（明尼苏达大学）；Worcester Polytechnic University（伍斯特理工大学）
提出基于贝叶斯高斯过程的潜在判别生成解码器（LDGD）模型，通过将高维数据映射到低维流形并利用诱导点降低计算复杂度，实现了高精度标签预测与高效可扩展的高维数据表征。
2024-05-07 cs.LG
Generative models-based data labeling for deep networks regression: application to seed maturity estimation from UAV multispectral images
INSA CVL（法国国立应用科学学院中央-卢瓦尔河谷分校）；University of Orléans（奥尔良大学）；PRISME（PRISME研究所）
针对无人机多光谱影像种子成熟度估计中真值标注困难的问题，提出基于参数与非参数生成模型的自动弱标签方法，提升深度回归网络的泛化与鲁棒性。
2022-08-09 cs.CV cs.LG
Deep Generative Neural Embeddings for High Dimensional Data Visualization
Siemens Medical Solutions USA（美国西门子医疗系统公司）
我们提出了一种可视化技术，利用神经网络嵌入和生成网络重建原始数据。该方法允许通过其非参数结构独立操作各个图像嵌入，比传统的自动编码器方法提供更大的灵活性。我们已经评估了这种技术在数据可视化中的有效性，并将其与t-SNE和VAE方法进行了比较。此外，我们还通过ImageNet数据集上的可视化展示了我们方法的可扩展性。我们的技术在人在环训练中具有潜在的应用，因为它允许独立编辑嵌入位置而不影响优化过程。
2023-01-25 cs.CV cs.HC cs.LG
Expressivity of Parameterized and Data-driven Representations in Quality Diversity Search
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用科学大学）；Queen Mary University of London（伦敦玛丽女王大学）；SensiLab, Monash University（莫纳什大学SensiLab）
我们认为多解决方案的优化和生成模型的生成不同的文物和发现新的解决方案。在域的变化因素未知或太复杂而无法手动编码的情况下，生成模型可以提供学习的潜在空间来近似这些因素。然而，当用作搜索空间时，可能输出的范围和多样性受限于学习模型的表达能力和生成能力。我们比较了在两个不同的搜索空间中进行的质量多样性进化搜索的输出多样性：1）预定义的参数化空间和2）变分自编码器模型的潜在空间。我们发现，搜索一个明确的参数编码创建更多样化的工件集比搜索潜在的空间。一个学习过的模型更擅长在已知数据点之间进行插值，而不是外推或扩展到看不见的例子。我们建议使用生成模型的潜在空间主要用于度量工件之间的相似性，而不是用于搜索和生成。只要可以获得参数编码，它就应该优于学习的表示，因为它产生更高多样性的解决方案。
2021-05-10 cs.LG cs.NE
Towards Theoretical Understandings of Self-Consuming Generative Models
University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）；College of Control Science and Engineering, China University of Petroleum (East China)（中国石油大学（华东）控制科学与工程学院）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center, China（合肥综合性国家科学中心人工智能研究院）；Nanyang Technological University（南洋理工大学）
该研究构建理论框架分析自消耗循环训练对生成模型学习分布的影响，推导了扩散模型的TV距离界，揭示合成数据量引发的相变现象，并给出核密度估计的相关结果。
2024-06-24 cs.AI cs.LG
