Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network
Intel Labs(英特尔实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的工作表明,对递归神经网络(RNN)的拓扑增强可以提高其表达能力和代表能力。两种流行的增强是堆叠RNN,它增加了学习非线性函数的能力,以及双向处理,它利用序列中的因果信息。在这项工作中,我们探索了延迟RNN,这是一个单层RNN,在输入和输出之间有延迟。我们证明了延迟RNN的权重约束版本等价于堆叠RNN。我们还表明,延迟引起的部分因果关系,很像双向网络。合成实验证实,延迟RNN可以模拟双向网络,类似地解决一些因果任务,并在其他方面优于它们。此外,我们在现实世界的自然语言处理任务中表现出与双向网络相似的性能。这些结果表明,延迟RNN可以近似拓扑结构,包括堆叠RNN,双向RNN和堆叠双向RNN-但延迟RNN的运行时间相同或更快。
2020-06-18 cs.CL cs.LG cs.NE
Approximating Human Judgment of Generated Image Quality
Stanford University(斯坦福大学)
近年来,生成模型取得了巨大的进步,特别是在生成高质量图像的能力方面。然而,这种质量很难进行严格的评估,评估主要是启发式方法,这些方法与人类的判断没有很好的相关性,例如Inception Score和Fréchet Inception Distance。真实的人类标签也被用于评估,但为每个图像收集是低效和昂贵的。在这里,我们提出了一种新的方法来自动评估图像的基础上,其质量由人类感知。通过不仅从Inception网络激活生成图像嵌入并将其与真实图像的激活进行比较,其他方法执行变体,而且还回归激活统计数据以匹配黄金标准人类标签,我们在预测人类图像真实性得分方面表现出66%的准确性,匹配人类评分员之间的一致率。我们的方法还概括了生成模型,这表明捕获图像质量的模型不可知测量的潜力。我们开源了我们的人类标签数据集,以促进这一领域的研究和技术。
2019-11-30 cs.CV cs.LG stat.ML
Self-recovery of memory via generative replay
University of Pennsylvania(宾夕法尼亚大学)
大脑的一个非凡能力是它在离线期间自主重组记忆的能力。记忆重放是一种被假设为生物离线学习的基础的机制,它激发了在持续学习环境中减少人工神经网络遗忘的离线方法。一个记忆效率和神经合理的方法是生成重放,它在持续学习基准上实现了最先进的性能。然而,与大脑不同的是,标准的生成回放在离线训练自己的回放样本时不会自我重组记忆。我们提出了一种新的架构,增强了自适应的,类似大脑的能力,自主恢复记忆的生成重放。我们在几个持续学习任务和环境中展示了该架构的这种能力。
2023-01-15 cs.AI cs.LG cs.NE
The Variational Homoencoder: Learning to learn high capacity generative models from few examples
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
分层贝叶斯方法可以将许多相关的任务(例如,k-shot分类,条件和无条件生成)统一为单个生成模型中的推理。然而,当这种生成模型被表示为一个强大的神经网络,如PixelCNN,我们表明,现有的学习技术通常无法有效地使用潜在变量。为了解决这个问题,我们开发了一个修改的变分自编码器,其中编码的意见被解码为新的元素从同一个类。这种技术,我们称之为变分同伦编码器(VHE),产生一个层次的潜变量模型,更好地利用潜变量。我们使用VHE框架在Omniglot数据集上学习分层PixelCNN,它在测试集似然性上优于所有现有模型,并在一次性生成和分类任务上实现了强大的性能。我们还验证了来自YouTube Faces数据库的自然图像上的VHE。最后,我们开发扩展的模型,适用于更丰富的数据集结构,如阶乘和层次类别。
2018-07-24 cs.AI cs.LG stat.ML
Approximating exponential family models (not single distributions) with a two-network architecture
Dept. of Neuroscience Columbia University(哥伦比亚大学神经科学系);Dept. of Statistics Columbia University(哥伦比亚大学统计系);Columbia University(哥伦比亚大学)
最近,深度生成模型受到了很多关注,因为它们已经在变分推断、复杂数据类型的生成等方面取得了巨大成功。在大多数这些设置中,目标一直是找到该模型家族的特定成员:优化参数索引(通过发散或分类度量)接近目标分布的分布。然而,很少有人关注学习模型本身的问题。在这里,我们介绍了一个双网络架构和优化过程,用于学习棘手的指数族模型(而不是来自这些模型的单一分布)。这些指数族被准确地学习,允许像后验推理这样的操作直接和一般地使用自然参数的输入选择来执行,而不是通过对该模型中的每个特定分布进行优化来执行推理。
2019-03-18 cs.LG stat.ML
Generative Ornstein-Uhlenbeck Markets via Geometric Deep Learning
McMaster University(麦克马斯特大学);Concordia University(康考迪亚大学)
我们考虑用一个机器学习模型同时逼近市场价格及其对数收益的条件分布的问题。我们证明了Kratsios和Papon(2022)的GDN模型的一个实例解决了这个问题,而没有对市场的“修剪”日志回报进行事先假设,除了它们遵循具有先验未知动态的广义Ornstein-Uhlenbeck过程。我们为这些条件分布和具有Lipschitz支付函数的未定权益提供了普遍近似保证。
2023-02-17 cs.LG cs.NE q-fin.CP
DPPNet: Approximating Determinantal Point Processes with Deep Networks
Massachusetts Institute of Technology(麻省理工学院);Google Brain(谷歌大脑)
确定性点过程(DPPs)提供了一种优雅而通用的方法来对项目集进行采样,该方法平衡了所选项目的逐点质量和逐集多样性。由于这个原因,它们在许多依赖子集选择的机器学习应用中获得了突出地位。然而,在大小为$N$的基集上从DPP采样是昂贵的操作,通常需要$O(N^3)$预处理成本和大小为$k$的子集的$O(Nk^3)$采样成本。我们通过引入DPPNets来解决这个问题:生成深度模型,为任意基集生成类似DPP的样本。我们开发了一个抑制注意力机制的基础上,Transformer网络,捕捉特征向量之间的相异性的概念。我们从理论上表明,这样的近似是明智的,因为它保持了抑制或相异性,使DPP如此强大和独特的保证。从经验上讲,我们证明了我们的模型中的样本在更昂贵的DPP替代方案下获得了很高的可能性。
2019-01-07 cs.LG stat.ML
Direct-Inverse Prompting: Analyzing LLMs' Discriminative Capacity in Self-Improving Generation
The Pennsylvania State University(宾夕法尼亚州立大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
本文提出并分析直接、逆和混合三种判别提示,利用LLMs的判别能力减少生成不确定性,实现自我改进,并在两个基准数据集上验证其效果。
2024-06-27 cs.AI cs.CL cs.LG
Approximations to the Fisher Information Metric of Deep Generative Models for Out-Of-Distribution Detection
University of Edinburgh(爱丁堡大学);University of Oxford(牛津大学);The Alan Turing Institute(阿兰·图灵研究所)
本文提出一种基于深度生成模型参数梯度范数(近似Fisher信息度量)的模型无关、无超参数的OOD检测方法,利用逐层梯度范数的联合密度估计,优于Typicality检验。
2024-05-25 cs.CV cs.LG stat.ML
Toward a Generalization Metric for Deep Generative Models
Deakin University(迪肯大学)
由于维数灾难,测量深度生成模型(DGMs)的泛化能力是困难的。DGMs的评估指标,如初始分数,Fréchet初始距离,精确召回和神经网络发散,试图使用多项式样本数估计生成的分布和目标分布之间的距离。这些指标是研究人员在设计新模型时的目标。尽管有这些说法,但仍然不清楚他们能在多大程度上衡量生成模型的泛化能力。在本文中,我们调查的能力,这些指标在衡量泛化能力。我们介绍了一个框架,比较评估指标的鲁棒性。我们表明,在这些指标更好的分数并不意味着更好的泛化。它们很容易被记住训练集的一小部分的生成器欺骗。我们建议修复NND度量,使其对生成的数据中的噪声更具鲁棒性。为了建立一个强大的度量泛化,我们建议将最小描述长度原则应用于评估DGMs的问题。我们开发了一种有效的方法来估计生成潜变量模型(GLVMs)的复杂性。实验结果表明,该度量可以有效地检测训练集记忆,区分不同泛化能力的GLVM。源代码可在https://github.com/htt210/GeneralizationMetricGAN上获得。
2021-05-24 cs.LG
Generative Modeling via Hierarchical Tensor Sketching
Committee on Computational and Applied Mathematics, University of Chicago(计算与应用数学委员会,芝加哥大学);Center for Computational Quantum Physics, Flatiron Institute(计算量子物理中心,Flatiron研究所);Department of Statistics, University of Chicago(统计学系,芝加哥大学)
本文提出了一种基于分层张量网络的生成建模方法,通过随机SVD技术实现高维概率密度的近似,通过数值实验验证了其有效性。
2026-01-11 cs.LG cs.NA math.NA
Finding Solutions to Generative Adversarial Privacy
Stanford University(斯坦福大学)
我们提出了解决线性和卷积神经网络(CNN)对手的生成对抗隐私设置引起的最大最小问题的算法。在线性对手设置,我们提出了一个贪心算法的私有化,表现更好的情况下,增加的数量接近最优解。我们还提供了对该算法的分析,以表明它不仅首先删除了与私有标签最相关的特征,而且还保留了与私有标签相关的特征充分独立的公共标签的预测准确性。在CNN对手设置,我们提出了一种方法,隐藏选定的信息从对手,同时保留其他通过交替优化私有化和对手的目标,使用神经网络反向传播。我们的实验表明,我们的方法成功地对一个固定的对手。
2018-10-04 cs.LG stat.ML
Exponential capacity scaling of classical GANs compared to hybrid latent style-based quantum GANs
Center for Quantum Computing(量子计算中心);Quantum Coherence (QC2), University of Basel(量子相干性(QC2),巴塞尔大学)
本文研究了混合潜在风格量子GAN在图像生成中的指数容量优势,发现经典GAN与量子GAN在参数规模上呈指数级增长关系。
2026-01-08 cs.AI cs.LG quant-ph
VAEs and GANs: Implicitly Approximating Complex Distributions with Simple Base Distributions and Deep Neural Networks -- Principles, Necessity, and Limitations
HKPU(香港理工大学)
本教程探讨VAE和GAN如何利用简单分布与神经网络非线性变换隐式逼近复杂分布,并分析了高斯先验等简单隐变量选择在计算便利性与模型表达能力间带来的局限。
2025-02-28 cs.LG stat.ML
Understanding Diffusion Models via Ratio-Based Function Approximation with SignReLU Networks
本文通过基于比率的函数近似与SignReLU网络,研究扩散模型的理论框架,推导了生成模型的KL风险界限及收敛性保证。
2026-08-25 cs.AI cs.LG
Deep Generative Model for Efficient 3D Airfoil Parameterization and Generation
Siemens Corporate Technology(西门子中央研究院)
在气动外形优化设计中,设计空间的表示能力和紧致性对收敛性和计算量有很大影响。先前的研究已经表明,使用深度生成模型来参数化二维(2D)翼型实现了高表示能力/紧凑性,这显著有利于形状优化。在本文中,我们提出了一种深度生成模型,自由形式变形生成对抗网络(FFD-GAN),它为三维(3D)空气动力学/流体动力学形状(如飞机机翼,涡轮叶片,车身和船体)提供了有效的参数化。学习的模型将一组紧凑的设计变量映射到表示形状的3D表面点。我们通过将FFD层合并到生成模型中来确保生成的几何形状的表面平滑度和连续性。我们展示了FFD-GAN的性能使用机翼形状的设计例子。结果表明,FFD-GAN可以生成逼真的设计,并形成合理的参数化。通过测试FFD-GAN的设计空间覆盖率、设计空间的可行性比率以及设计优化性能,进一步证明了FFD-GAN的高表示紧凑性和容量。我们证明了FFD-GAN随机生成的机翼之间的可行性比率超过94%,而FFD和B样条仅达到不到31%。我们还表明,FFD-GAN导致一个数量级更快的收敛在机翼形状优化问题,相比FFD和B样条参数化。
2021-01-07 cs.CE cs.CG cs.LG
Airfoil Design Parameterization and Optimization using Bézier Generative Adversarial Networks
University of Maryland(马里兰大学)
由于设计空间的高维性,气动外形的全局优化通常需要大量昂贵的计算流体动力学模拟。解决这个问题的一种方法是通过获得新的表示来减少设计空间维度。这就需要一个参数函数,它能充分地描述形状的有用变化。我们提出了一个深度生成模型Bézier-GAN,通过从现有数据库中的形状变化中学习来参数化空气动力学设计。由此产生的新的参数化可以加快设计优化收敛,提高表示紧凑性,同时保持足够的表示能力。以翼型设计为例,分析了Bézier-GAN的表达能力和紧致性。结果表明,Bézier-GAN(1)学习了各种机翼的光滑且真实的形状表示,(2)与最先进的参数化方法相比,根据经验将优化收敛速度至少加快了两倍。
2020-06-27 cs.CE cs.LG stat.ML
Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks
Google Research(谷歌研究院)
我们研究生成对抗网络(GANs)中的欠拟合和过拟合,使用生成器看不到的鉴别器来测量泛化。我们发现,模型的容量的控制器有一个显着的影响,对发电机的模型质量,和发电机的性能差相吻合的控制器欠拟合。与我们的预期相反,我们发现,相对于CIFAR10,CIFAR100和CelebA,具有大模型容量的发电机没有表现出过拟合的证据。
2019-10-30 cs.LG stat.ML
Procedural content generation of puzzle games using conditional generative adversarial networks
IT University of Copenhagen(哥本哈根信息技术大学)
本文提出使用参数化GANs为益智游戏Lily's Garden生成关卡,通过提取两个条件向量控制输出细节,发现GANs能较好近似地图形状但难以近似棋子分布,并建议尝试替代架构以改善此问题。
2023-06-26 cs.AI cs.LG
Modeling stochastic eye tracking data: A comparison of quantum generative adversarial networks and Markov models
OsloMet – Oslo Metropolitan University(奥斯陆都会大学);Simula Research Laboratory(西穆拉研究实验室)
本文比较QGANs与马尔可夫模型在随机眼动速度数据建模中的表现,发现QGANs具分布逼近潜力,但马尔可夫模型复现真实分布更准确。
2024-08-01 cs.LG cs.NE quant-ph
Learning Variable-Length Tokenization for Generative Recommendation
University of Science and Technology of China(中国科学技术大学)
本文提出VarLenRec框架,通过Popularity-Weighted Information Budget Allocation方法解决生成推荐中可变长度分词问题,提升推荐准确性和效率。
2026-06-15 cs.LG
The Variational InfoMax AutoEncoder
University of Stirling(斯特灵大学)
变分自编码器(VAE)同时学习推理和生成模型,但这些模型中只有一个可以在最佳情况下学习,该行为与ELBO学习目标相关联,该ELBO学习目标由非信息生成器优化。为了解决这个问题,我们提供了一个学习目标,学习一个最大的信息生成器,同时保持有界的网络容量:变分InfoMax(VIM)。VIM推导的贡献是双重的:一个目标学习的最佳推理和生成模型和网络容量的明确定义,网络鲁棒性的估计。
2020-11-08 cs.LG stat.ML
Do ReLU Networks Have An Edge When Approximating Compactly-Supported Functions?
McMaster University(麦克马斯特大学)
研究了用前向神经网络实现紧支撑可积函数的支撑集的同时逼近紧支撑可积函数的问题。我们的第一个主要结果转录这个“结构化”的近似问题成为一个普遍性问题。我们这样做,通过构建一个细化的空间$L^1_{\operatorname{loc}}(\mathbb{R}^d,\mathbb{R}^D)$的局部可积函数,其中紧支持的功能只能近似在$L^1$ -范数的功能与匹配的离散支持的通常的拓扑。我们在这个改进的拓扑结构中建立了具有双线性池层的ReLU前馈网络的通用性。因此,我们发现具有双线性池的ReLU前馈网络可以逼近紧支持函数,同时实现其离散化支持。我们得到了一个定量的统一版本,我们的普遍逼近定理的稠密子类紧支持Lipschitz功能。这个定量结果表达了通过目标函数的正则性,其基本支持的度量容量和直径以及输入和输出空间的维度来构建这个ReLU网络所需的深度,宽度和双线性池层的数量。相反,我们证明了多项式回归和解析前馈网络在这个空间中并不普遍。
2022-08-01 cs.AI cs.LG cs.NA
Growing Visual Generative Capacity for Pre-Trained MLLMs
University of Maryland, College Park(马里兰大学学院公园分校);CUHK MMLab(香港大学MMLab);ByteDance(字节跳动)
针对统一多模态大语言模型构建中自回归范式打破或语义与像素保真度难兼顾的问题,提出纯自回归模型Bridge,通过混合Transformer架构和语义到像素离散表示,以更少训练成本实现理解与生成性能的提升。
2025-10-02 cs.CV cs.LG
Bayesian Structure Learning with Generative Flow Networks
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Technical University of Munich(慕尼黑工业大学);KTH Stockholm(斯德哥尔摩KTH皇家理工学院)
在贝叶斯结构学习中,我们感兴趣的是从数据中推断贝叶斯网络的有向无环图(DAG)结构上的分布。定义这样的分布是非常具有挑战性的,由于组合大的样本空间,并且通常需要基于MCMC的近似。最近,一类新的概率模型,称为生成流网络(GFlowNets),已被引入作为离散和复合对象(如图)的生成建模的一般框架。在这项工作中,我们建议使用GFlowNet作为MCMC的替代方案,用于近似贝叶斯网络结构上的后验分布,给定观测数据集。从这个近似分布生成样本DAG被视为顺序决策问题,其中基于学习的转移概率,一次构造一个边。通过对模拟数据和真实数据的评估,我们表明,我们的方法,称为DAG-GFlowNet,提供了一个准确的近似后验的DAG,它优于基于MCMC或变分推理的其他方法相比。
2022-06-28 cs.LG stat.ML
Flow-based generative models for Markov chain Monte Carlo in lattice field theory
Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of Cambridge(剑桥大学);University of Waterloo(滑铁卢大学);Massachusetts Institute of Technology(麻省理工学院)
针对格点场论中的蒙特卡罗采样问题,提出了一种基于机器学习流生成模型的马尔可夫链更新方案。生成模型可以被优化(训练)以从近似由所研究的理论的晶格作用确定的期望玻尔兹曼分布的分布产生样本。训练该模型系统地改善了马尔可夫链中的自相关时间,即使在标准马尔可夫链蒙特卡罗算法在产生去相关更新时表现出临界减慢的参数空间区域中也是如此。此外,可以在没有来自期望分布的现有样本的情况下训练模型。将该算法与$ϕ^4$理论的HMC和局部Metropolis抽样算法在二维空间进行了比较。
2019-09-09 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Embedding-reparameterization procedure for manifold-valued latent variables in generative models
Neural Networks and Deep Learning Lab(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
变分自动编码器(VAE)的传统先验是高斯分布。最近的工作表明,先验分布的选择影响VAE模型的学习能力。本文提出了一种在VAE模型中引入任意流形变量的通用方法(嵌入-重新参数化过程,简称ER)。我们比较我们的技术与传统的VAE的玩具基准问题。这是正在进行的工作。
2018-12-06 cs.LG stat.ML
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab(腾讯人工智能实验室);The Pennsylvania State University(宾夕法尼亚州立大学)
离线强化学习(RL)试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括:1)生成建模,即,使用固定数据近似策略;以及2)学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分,通过减少由训练数据的分布偏移引起的价值函数近似的自举误差,但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL(动作条件Q学习),一个剩余生成模型,以减少离线RL的策略近似误差。我们表明,我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外,我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场(MOBA)游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Stochastic WaveNet: A Generative Latent Variable Model for Sequential Data
Carnegie Mellon University(卡内基梅隆大学)
如何对包括但不限于语音和人体运动的序列数据的分布进行建模是一个重要的正在进行的研究问题。已经证明,通过在递归神经网络的隐状态中引入随机潜变量,可以显着提高模型容量。同时,WaveNet,配备了膨胀卷积,在自然语音生成任务中取得了惊人的经验表现。在本文中,我们结合了随机潜变量和扩张卷积的思想,并提出了一种新的体系结构来建模序列数据,称为随机WaveNet,其中随机潜变量被注入到WaveNet结构中。我们认为,随机WaveNet具有强大的分布建模能力和扩张卷积并行训练的优势。为了有效地推断潜变量的后验分布,基于WaveNet体系结构的特点,设计了一种新的推理网络结构。Stochastic WaveNet在自然语音建模方面获得了基准数据集上的最先进性能,并且还可以生成高质量的人类笔迹样本。
2018-06-15 cs.LG stat.ML
Group Equivariant Generative Adversarial Networks
New York University(纽约大学);Merck & Co., Inc.(默克公司)
生成对抗视觉合成的最新改进在自我监督的环境中结合了真实和虚假图像变换,从而提高了稳定性和感知保真度。然而,这些方法通常涉及通过GAN目标中的附加正则化器进行图像增强,因此将宝贵的网络容量用于近似变换等方差,而不是其期望的任务。在这项工作中,我们明确地将归纳对称先验通过群等变卷积网络纳入网络架构。群卷积具有更高的表达能力,具有更少的样本,并导致更好的梯度反馈之间的生成器和卷积。我们表明,组等方差无缝集成与最近的技术,GAN训练的正则化,架构和损失函数。我们证明了我们的方法的实用性条件合成,通过改进生成在有限的数据制度在对称成像数据集,甚至发现自然图像的优势与首选方向。
2021-03-30 cs.CV cs.LG eess.IV
Generative Adversarial Reduced Order Modelling
SISSA(国际高等研究学院)
本文提出GAROM,一种基于生成对抗网络的降阶建模新方法,通过将判别器建模为自编码器并引入条件机制,学习参数微分方程的解,并验证了其推断能力、泛化性和收敛性。
2025-01-30 cs.LG cs.NA math.NA
Capacity of Continuous Channels with Memory via Directed Information Neural Estimator
Ben Gurion University(本·古里安大学);Cornell University(康奈尔大学)
计算具有记忆和连续字母表的通道的容量(有或没有反馈)是一项具有挑战性的任务。它需要在所有信道输入分布上优化有向信息(DI)速率。目标是一个多字母的表达式,其解析解仅在少数特定情况下已知。当没有解析解或信道模型未知时,没有统一的框架来计算甚至近似容量。这项工作提出了一种新的容量估计算法,把信道作为一个“黑盒子”,无论是当反馈或不存在。该算法有两个主要成分:(i)神经分布Transformer(NDT)模型,它将噪声变量整形为信道输入分布,我们能够对其进行采样,以及(ii)DI神经估计器(DINE),它估计当前NDT模型的通信速率。这些模型通过交替最大化过程来训练,以估计信道容量并获得最佳输入分布的NDT。该方法被证明在移动平均加性高斯噪声信道,其中它示出的容量和反馈容量估计没有知识的信道过渡内核。建议的估计框架打开了大门,无数的容量近似结果连续字母表通道,到现在为止是无法访问的。
2020-05-16 cs.IT cs.LG math.IT
Improved Analysis of Score-based Generative Modeling: User-Friendly Bounds under Minimal Smoothness Assumptions
Peking University(北京大学);Johns Hopkins University(约翰斯·霍普金斯大学);Duke University(杜克大学)
我们给出了一个改进的基于分数的生成式建模的理论分析。在分数估计与小$L^2$错误(平均跨时间步),我们提供了有效的收敛保证任何数据分布的二阶矩,通过采用提前停止或假设光滑条件的分数函数的数据分布。我们的结果不依赖于任何对数不等式或函数不等式的假设,并有一个对数依赖的光滑性。特别是,我们表明,只有在有限的二阶矩条件下,近似以下在$ε$ -准确性的反向KL发散可以在$\tilde O\left(\frac{d \log (1/δ)}ε\right)$步骤:1)方差- $δ$高斯扰动的任何数据分布; 2)数据分布与$1/δ$ -平滑得分函数。我们的分析还提供了不同的离散近似之间的定量比较,并可能指导在实践中的离散点的选择。
2023-02-02 cs.LG
Bayesian Inversion Of Generative Models For Geologic Storage Of Carbon Dioxide
Total(道达尔)
碳捕获和储存(CCS)可以帮助大气脱碳,以限制全球气温的进一步上升。利用无监督学习的框架用于生成一系列地下地质体,以调查长期储存二氧化碳的潜在地点。生成对抗网络用于创建地质体,另一个神经网络用于对经过训练的生成器的后验分布进行采样,以稀疏采样的物理测量为条件。这些生成模型通过贝叶斯反演进一步调节历史动态流体流量数据,以提高注入的二氧化碳的储存容量的预测的分辨率。
2020-01-08 cs.LG stat.ML
Powering Hidden Markov Model by Neural Network based Generative Models
KTH Royal Institute of Technology(KTH皇家理工学院);Karolinska Institute(卡罗林斯卡学院)
隐马尔可夫模型(HMM)已成功地用于序列数据建模问题。在这项工作中,我们提出了权力的建模能力的HMM引入神经网络为基础的生成模型。该模型被称为GenHMM。在建议的GenHMM中,每个HMM隐藏状态与基于神经网络的生成模型相关联,该生成模型具有精确似然的可处理性,并提供有效的似然计算。GenHMM中的生成模型由流模型实现的生成器的混合组成。在期望最大化框架下提出了一种GenHMM的学习算法。分析了学习后的GenHMM的收敛性。我们证明了GenHMM的有效性,通过实际的序列数据的分类任务。代码可在https://github.com/FirstHandScientist/genhmm获得。
2020-05-24 cs.LG stat.ML
Generalizing Dataset Distillation via Deep Generative Prior
Massachusetts Institute of Technology(麻省理工学院);UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
针对现有数据集蒸馏方法跨架构泛化差、难适配高分辨率数据集的问题,提出利用预训练深度生成模型先验,通过新优化算法将图像蒸馏为潜在空间特征向量,显著提升跨架构泛化能力。
2023-05-03 cs.AI cs.CV cs.LG
On Generalization for Generative Flow Networks
Mila, Université de Montréal(米拉研究所,蒙特利尔大学)
本文形式化研究了生成式流网络的泛化性,将其与稳定性关联,并通过长度泛化实验评估模型发现奖励函数中未见状态的能力。
2024-07-03 cs.LG
Learning Neural Generative Dynamics for Molecular Conformation Generation
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Peking University(北京大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);HEC Montréal(蒙特利尔高等商学院)
我们研究如何产生分子构象(即,3D结构)。传统的方法,如分子动力学,样品构象通过计算昂贵的模拟。最近,机器学习方法通过在大量构象数据集合上进行训练而显示出巨大的潜力。挑战来自于有限的模型容量来捕捉复杂的构象分布,以及难以对原子之间的长程依赖关系进行建模。受深度生成模型的最新进展的启发,在本文中,我们提出了一种新的概率框架,以生成给定分子图的有效和多样的构象。我们提出了一种结合基于流和基于能量的模型的优点的方法,享受:(1)高模型容量来估计多峰构象分布;(2)明确地捕获观察空间中原子之间的复杂长程依赖关系。大量的实验表明,所提出的方法在几个基准,包括构象生成和距离建模任务的优越性能,与现有的生成模型的分子构象采样显着改善。
2021-03-31 cs.LG physics.chem-ph
Adversarial Regression. Generative Adversarial Networks for Non-Linear Regression: Theory and Assessment
SLAC National Accelerator Laboratory(SLAC国家加速器实验室);University of Neuchâtel(纳沙泰尔大学)
对抗性回归是一种进行高维非线性回归的不确定性估计的方法。我们使用条件生成对抗网络来获得新观察的完整预测分布的估计。生成对抗网络(GAN)是一种隐式生成模型,它从近似数据分布的分布中产生样本。它的条件版本(CGAN)采用以下表达式:$\min\limits_G \max\limits_D V(D, G) = \mathbb{E}_{x\sim p_{r}(x)} [log(D(x, y))] + \mathbb{E}_{z\sim p_{z}(z)} [log (1-D(G(z, y)))]$。可以通过同时训练两个神经网络来对D和G进行建模并向G馈送随机噪声向量$z$来找到近似解。经过训练,我们有了那个$G(z, y)\mathrel{\dot\sim} p_{data}(x, y)$。通过修复$y$,我们得到了$G(z|y) \mathrel{\dot\sim} p{data}(x|y)$。因此,通过对$z$进行采样,我们可以获得近似遵循$p(x|y)$的样本,这是新$y$的$x$的预测分布。我们运行实验来测试各种损失函数,数据分布,样本大小,噪声向量的大小等,即使我们观察到差异,也没有实验始终优于其他实验。CGAN回归的质量依赖于微调一系列超参数。从更广的角度来看,结果表明,CGAN是非常有前途的方法来执行高维非线性回归的不确定性估计。
2019-10-18 cs.LG stat.ML
Approximating $f$-Divergences with Rank Statistics
Department of Mathematics, Technical University of Munich \& Munich Center for Machine Learning, Germany. The majority of the work was conducted while at the Institute of Mathematics at the Technical University of Berlin, Germany \& the Berlin Mathematical School.;Department of Signal Theory
提出一种基于秩统计量的 $f$-散度近似方法,通过直接处理秩分布避免显式密度比估计,并证明其单调性、下界性质及收敛速率,同时扩展到高维数据的切片版本。
2026-06-01 cs.LG stat.ML
Feature Alignment as a Generative Process
Federal University of Santa Maria(圣玛丽亚联邦大学)
人工神经网络中的可逆性允许我们在给定输出的情况下检索输入。我们提出的特征对齐,在任意神经网络的近似可逆性的方法。我们训练一个网络,通过最小化一个数据点的输出和相对于一个随机输入的随机输出之间的距离。我们将该技术应用于MNIST,CIFAR-10,CelebA和STL-10图像数据集。我们证明,这种方法可以粗略地恢复图像,而不需要解码器的潜在代表。通过利用制定的变分自编码器,我们证明,它是可能的,以产生新的图像,统计上可比的训练数据。此外,我们证明了图像的质量可以通过耦合一个发生器和一个并行处理器一起提高。此外,我们展示了这种方法,有一些小的修改,可以用来训练网络本地,这有可能节省计算内存资源。
2023-01-17 cs.CV cs.LG
Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance
Google Research(谷歌研究)
提出T3-Unlearning方法,通过退火使分布平滑,再用轻量分类器倾斜分布,实现生成模型中的原则性遗忘,理论保证有限样本下的遗忘效果。
2026-06-23 cs.LG
Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds
National University of Singapore(国立新加坡大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(RIKEN高级智能项目中心);Agency for Science, Technology and Research (A ⋆ \star STAR)(科技研究局);Nanyang Technological University(南洋理工大学)
本文研究了在光滑流形上基于分数布朗运动的生成模型的内在Wasserstein速率,证明了在满足一定条件的流形上,变差保持的SGM估计器能达到特定的样本指数,且分析了分数近似在不同噪声 regime 下的表现。
2026-05-15 cs.LG stat.ML
Gradient Normalization for Generative Adversarial Networks
National Yang Ming Chiao Tung University(阳明交通大学)
在本文中,我们提出了一种新的归一化方法,称为梯度归一化(GN),以解决由尖锐的梯度空间引起的生成对抗网络(GANs)的训练不稳定性。与现有的工作,如梯度惩罚和谱归一化,建议GN只施加了一个硬1-Lipschitz约束上的卷积函数,这增加了容量的卷积。此外,所提出的梯度归一化可以应用于不同的GAN架构,几乎没有修改。在四个数据集上进行的大量实验表明,用梯度归一化训练的GANs在Frechet Inception Distance和Inception Score方面都优于现有方法。
2021-10-10 cs.LG
Bayesian Inverse Problems with Conditional Sinkhorn Generative Adversarial Networks in Least Volume Latent Spaces
University of Maryland(马里兰大学);General Electric Vernova Advanced Research(通用电气维诺瓦先进研究院)
本文提出一种基于最小体积降维的潜条件Sinkhorn生成对抗网络框架,用于高效训练并解决高维非线性贝叶斯逆问题,在ODE参数反演和地下水流高维水力传导率反演中验证了其有效性。
2024-05-22 cs.LG
On the Approximation of Bi-Lipschitz Maps by Invertible Neural Networks
The Chinese University of Hong Kong(香港中文大学);Rutgers University(罗格斯大学)
本文分析基于耦合的 INN 对紧域上双 Lipschitz 映射的正、逆映射同时逼近能力,并结合模型约简、PCA 与 INN 提出无限维情形的逼近方法及误差分析,数值验证其可用于参数化二阶椭圆问题解算子。
2023-08-18 cs.LG cs.NA math.NA
PI-VEGAN: Physics Informed Variational Embedding Generative Adversarial Networks for Stochastic Differential Equations
Yantai University(烟台大学)
该研究提出新型物理信息神经网络PI-VEGAN,结合自动微分与变分编码器,通过编码器、生成器、判别器交替更新,可有效求解随机微分方程的正、逆及混合问题,相比PI-WGAN具备更优的稳定性与准确性。
2023-07-21 cs.LG
Class-Splitting Generative Adversarial Networks
CIFASIS, French Argentine International Center for Information and Systems Sciences, UNR-CONICET(法阿信息与系统科学国际中心(CIFASIS),国立罗萨里奥大学-阿根廷国家科学技术研究委员会)
生成对抗网络(GANs)在提供类别标签信息时系统地产生更好质量的样本。即在条件GAN设置中。最近提出的Wasserstein GAN公式仍然可以观察到这一点,该公式稳定了对抗训练,并允许考虑高容量网络架构,如ResNet。在这项工作中,我们展示了如何通过增加可用的类标签来增强条件GAN。新的类来自通过相同的GAN模型学习的表示空间中的聚类。所提出的策略也是可行的,当没有类信息是可用的,即在无监督设置。我们生成的样本在监督和非监督设置中均达到了CIFAR-10和STL-10数据集的最先进的Inception分数。
2018-05-17 cs.CV cs.LG stat.ML
Markov-Chain Monte Carlo Approximation of the Ideal Observer using Generative Adversarial Networks
Department of Bioengineering, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校生物工程系)
理想观测器(IO)的性能一直提倡在优化医学成像系统的信号检测任务。然而,IO检验统计量的分析计算通常是棘手的。为了近似IO检验统计量,已经开发了采用马尔可夫链蒙特卡罗(MCMC)技术的基于抽样的方法。然而,MCMC技术的当前应用已被限制到几个对象模型,例如亮度对象模型和二进制纹理模型,并且仍然不清楚MCMC方法如何可以与其他更复杂的对象模型一起实现。采用生成对抗网络(GANs)的深度学习方法在从图像数据中学习随机对象模型(SOM)方面前景广阔。在这项研究中,我们描述了一种方法来近似IO通过应用MCMC技术的SOM使用GANs学习。所提出的方法可以用于任意对象模型,可以通过使用GANs学习,从而扩展了MCMC技术用于近似IO性能的适用范围。在这项研究中,两个信号已知的确切(SKE)和信号已知的统计(SKS)的二进制信号检测任务。将该方法计算的IO性能与传统MCMC方法计算的IO性能进行了比较。所提出的方法的优点进行了讨论。
2020-01-26 cs.CV cs.LG eess.SP
Learning Distributions by Generative Adversarial Networks: Approximation and Generalization
The Hong Kong University of Science and Technology(香港科技大学)
我们通过分析这些模型的收敛速度来研究生成对抗网络(GAN)如何从有限样本中学习概率分布。我们的分析是基于一个新的预言不等式,该不等式将GAN的估计误差分解为迭代和生成逼近误差,泛化误差和优化误差。为了估计近似误差,我们通过ReLU神经网络建立近似Hölder函数的误差界,并对网络的Lipschitz常数或权值进行范数约束。对于发生器逼近误差,我们证明了神经网络可以近似地将低维源分布转换为高维目标分布,并通过神经网络的宽度和深度约束这种逼近误差.将近似结果与统计学习理论中神经网络的泛化界相结合,我们建立了GANs在各种设置中的收敛速度,当误差由通过Hölder类定义的积分概率度量集合来测量时,包括Wasserstein距离作为特殊情况。特别是,对于集中在低维集合周围的分布,我们证明了GANs的收敛速率不依赖于高环境维度,而是依赖于较低的内在维度。
2022-05-25 cs.LG cs.NA math.NA
Deep Generative Crystal Structure Prediction: A Benchmark Study and a Controlled Test of Prototype Dependence
University of South Carolina(南卡罗来纳大学);University of North Georgia(北佐治亚大学)
本研究基准测试12种深度生成晶体结构预测模型,发现其性能高度依赖模板原型,真正从头预测能力有限,扩大残余预测能力是核心挑战。
2026-10-20 cond-mat.mtrl-sci cs.LG
Approximating DTW with a convolutional neural network on EEG data
Saagie(萨吉公司);LITIS(LITIS实验室);Rouen(鲁昂大学);Paris(巴黎大学)
动态时间包络(DTW)是一种广泛使用的算法,用于测量两个时间序列之间的相似性。它在各种各样的应用中特别有价值,例如聚类,异常检测,分类或视频分割,其中时间序列具有不同的时间尺度,不规则采样或移位。然而,由于其不可微性和二次时间复杂性,它不容易被认为是端到端学习框架中的损失函数。虽然社区已经引入了DTW的可微变体,但它们仍然存在一些缺点:计算距离仍然很昂贵,并且这种相似性往往会模糊时间序列中的一些差异。在本文中,我们提出了一个快速和可微的近似DTW通过比较两种架构:第一个学习嵌入的欧几里得距离模仿DTW,第二个直接预测DTW输出使用回归。前者通过训练一个连体神经网络来回归两个时间序列之间的DTW值。根据激活函数的性质,这种近似自然支持微分,并且计算效率很高。我们表明,在EEG数据集的时间序列检索上下文中,我们的方法至少达到了与其他DTW主要近似相同的精度水平,具有更高的计算效率。我们还表明,它可以用来学习在一个端到端的设置长时间序列,提出生成模型的EEG。
2023-01-30 cs.AI cs.LG
CGAN-EB: A Non-parametric Empirical Bayes Method for Crash Hotspot Identification Using Conditional Generative Adversarial Networks: A Simulated Crash Data Study
University of Waterloo(滑铁卢大学)
在本文中,提出了一种新的非参数经验贝叶斯方法,称为CGAN-EB,用于近似交通位置(例如,路段),其受益于深度神经网络的建模优势,并在仿真研究中将其性能与基于负二项模型(NB-EB)的传统方法进行了比较。NB-EB使用负二项模型来模拟碰撞数据,这是实践中最常用的方法。为了在所提出的CGAN-EB中对碰撞数据进行建模,使用了条件生成对抗网络,这是一种功能强大的基于深度神经网络的方法,可以对任何类型的分布进行建模。设计并进行了大量的模拟实验,以评估CGAN-EB在不同条件下的性能,并将其与NB-EB进行比较。结果表明,CGAN-EB表现以及NB-EB的条件下,有利于NB-EB模型(即数据符合NB模型的假设),并优于NB-EB在实验中经常遇到的条件下,在实践中,特别是低样本均值,当碰撞频率不遵循对数线性关系与协变量。
2021-12-13 cs.LG
Generating unrepresented proportions of geological facies using Generative Adversarial Networks
Heriot-Watt University(赫瑞-瓦特大学);TotalEnergies(道达尔能源);SSE plc(南苏格兰电力公司)
在这项工作中,我们研究了生成对抗网络(GANs)在地质数据集中内插和外推相比例的能力。新生成的实现与unrepresented(又名。缺失)比例被假定属于相同的原始数据分布。具体来说,我们设计了一个条件GANs模型,它可以将生成的相驱动到训练集中没有发现的新比例。所提出的研究包括各种培训设置和模型架构的调查。此外,我们设计了新的调理程序,以改进缺失样本的生成。在二元和多相图像上的数值实验显示出良好的地质一致性以及与目标条件的强相关性。
2022-03-17 cs.LG