BayesNDE: Bayesian Generative Modeling for Neural Density Estimation
Yale University(耶鲁大学)
BayesNDE提出基于贝叶斯生成建模的神经密度估计方法,无需可逆网络,通过样本特定后验构建自适应提议并利用桥接采样估计密度,在合成和真实数据集上提升了密度估计与异常检测性能。
2026-10-01 cs.AI cs.LG stat.ME
Generative Neural Samplers for the Quantum Heisenberg Chain
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
生成神经采样器为统计物理和量子场论中的问题提供了蒙特卡罗方法的补充方法。这项工作测试生成神经采样器估计现实世界的低维自旋系统的观测量的能力。它描绘了自回归模型如何通过基于Suzuki-Trotter变换的经典近似来采样量子海森堡链的配置。我们目前的结果的能量,比热和磁化率的各向同性XXX和各向异性的XY链,在相同的近似方案与Monte Carlo结果吻合得很好。
2020-12-18 cond-mat.stat-mech cs.LG stat.ML
Multivariate time-series modeling with generative neural networks
University of Waterloo(滑铁卢大学)
提出了一种基于生成矩匹配网络的多变量时间序列联合新息分布相关模型。针对MTS数据相关性建模的Copula-Gestival方法,提出了一种基于GMMN-Gestival方法的建模框架。首先,ARMA-GARCH模型被用来捕捉每个单变量边际时间序列内的序列相关性。其次,如果边缘时间序列的数量是大的,主成分分析(PCA)被用作降维步骤。最后,其余的横截面依赖性是通过GMMN建模,这项工作的主要贡献。GMMN是高度灵活的,易于模拟,这是一个主要的优势,copula-Gesthem方法。涉及收益率曲线建模和外汇汇率收益率分析的应用表明了GMMN-Gestern方法的实用性,特别是在产生更好的经验预测分布和做出更好的概率预测方面。
2021-10-01 cs.LG stat.ME stat.ML
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization
University of Oxford(牛津大学);University of Warwick(华威大学)
贝叶斯似然自由推理方法产生后验近似的模拟器模型与棘手的可能性。近年来,许多工作训练神经网络来逼近难以处理的似然或后验。大多数建议使用归一化流,即神经网络参数化可逆映射,用于从底层基本度量转换样本;然后可以访问转换样本的概率密度,并且可以通过模拟参数-观测对的极大似然训练归一化流。最近的一项工作[拉梅什等人,2022]用生成网络近似后验,这降低了可逆性要求,因此是一类更灵活的分布,可以扩展到高维和结构化数据。然而,生成网络只允许从参数化分布中采样;因此,Ramesh et al.[2022]遵循对抗训练的常见解决方案,其中生成网络与"批评者"网络进行最小-最大游戏。这个过程是不稳定的,可能导致一个学习的分布低估了不确定性-在极端情况下崩溃到一个点。在这里,我们建议使用通过评分规则最小化训练的生成网络来近似后验,这是一种被忽视的无对抗方法,可以实现平滑训练和更好的不确定性量化。在模拟研究中,评分规则方法在对抗框架方面具有更短的训练时间,从而产生更好的性能。
2022-05-31 cs.LG stat.CO stat.ME
Generative Modeling by Inclusive Neural Random Fields with Applications in Image Generation and Anomaly Detection
Tsinghua University(清华大学)
神经随机场(NRF),是指一类使用神经网络来实现随机场中的势函数的生成模型(也称为基于能源的模式)并不是新的,但由于进展缓慢而受到的关注较少。与生成对抗网络(GANs)等各种有向图模型不同,NRF为生成建模提供了一系列有趣的无向图模型。在本文中,我们提出了一种新的方法,包括NRF的方法,学习NRF连续数据(如图像),通过引入包括发散最小化辅助生成器和发展随机梯度采样在增广空间。基于新的方法,具体的包容性NRF模型的开发和深入评估两个重要的生成建模应用程序-图像生成和异常检测。所提出的模型在这两个应用程序中始终改善了最先进的结果。值得注意的是,除了卓越的样本生成之外,我们的包容性NRF方法的另一个好处是,与GANs不同,它可以直接为样本评估提供(非归一化)密度估计。这些贡献和成果,本文显着推进NRFs的学习和应用到一个新的水平,在理论和实证,这是从来没有得到过的。
2020-07-22 cs.LG stat.ML
Algorithms that get old : the case of generative deep neural networks
CEREMADE(CEREMADE(巴黎多芬大学数学与决策研究中心));Université Paris Dauphine - PSL(巴黎多芬大学-PSL);CNRS(法国国家科学研究中心)
机器学习中使用的生成式深度神经网络,如变分自动编码器(VAE)和生成式对抗网络(GANs),每次被要求这样做时都会产生新对象,约束条件是新对象与作为输入的一些示例列表保持相似。然而,这种行为与人类艺术家的行为不同,人类艺术家会随着时间的推移改变他们的风格,很少回到最初的创作风格。我们调查的情况下,VAE是用来从一些经验数据集描述的概率测度的样本。基于最近的工作Radon-Sobolev统计距离,我们提出了一个数值范例,与生成算法结合使用,满足以下两个要求:创建的对象不重复和发展,以填补整个目标概率分布。
2022-09-29 cs.LG stat.ML
ODE$^2$VAE: Deep generative second order ODEs with Bayesian neural networks
Aalto University(阿尔托大学)
提出了一种高维序列数据的隐二阶常微分方程变分自动编码器(ODE $^2$ VAE)。利用深度生成模型的进步,ODE $^2$ VAE可以同时学习高维轨迹的嵌入并推断任意复杂的连续时间潜在动态。我们的模型显式地将潜在空间分解为动量和位置分量,并解决了二阶常微分方程系统,这是在基于递归神经网络(RNN)的时间序列模型和最近提出的黑盒常微分方程技术。为了考虑不确定性,我们提出了由深度贝叶斯神经网络参数化的概率潜在ODE动力学。我们展示了我们的方法上的运动捕捉,图像旋转和弹跳球数据集。我们在长期运动预测和插补任务中实现了最先进的性能。
2019-10-24 cs.LG stat.ML
Neural Networks with Recurrent Generative Feedback
California Institute of Technology(加州理工学院);NVIDIA(英伟达);Rice University(莱斯大学)
神经网络易受输入扰动的影响,如加性噪声和对抗攻击。相比之下,人类的感知对这种扰动的鲁棒性要强得多。贝叶斯大脑假说指出,人类大脑使用内部生成模型来更新感官输入的后验信念。这种机制可以解释为内部生成模型的最大后验概率(MAP)估计与外部环境之间的自一致性。受这一假设的启发,我们通过引入生成循环反馈来增强神经网络的自一致性。我们在卷积神经网络(CNN)上实例化这种设计。所提出的框架,被称为卷积神经网络与反馈(CNN-F),引入了一个生成反馈与潜在变量现有的CNN架构,其中一致的预测是通过交替MAP推理贝叶斯框架下。在实验中,CNN-F在标准基准测试中显示出比传统前馈CNN显著提高的对抗鲁棒性。
2020-11-10 cs.CV cs.LG cs.NE
HyperGAN: A Generative Model for Diverse, Performant Neural Networks
Oregon State University(俄勒冈州立大学)
标准的神经网络在面对训练分布之外的数据时往往过于自信。我们介绍了HyperGAN,一个新的生成模型学习分布的神经网络参数。HyperGAN不需要对先验知识进行限制性假设,从中采样的网络可用于快速创建非常大且多样化的集合。HyperGAN采用一种新的混合器将先前的样本投影到具有相关维度的潜在空间,然后使用潜在空间的样本为深度神经网络的每一层生成权重。我们表明,HyperGAN可以学习生成参数,这些参数将MNIST和CIFAR-10数据集标记为具有完全监督学习的竞争性能,同时学习有效参数的丰富分布。我们还表明,HyperGAN还可以通过评估分布数据以及对抗性示例来提供比标准集成更好的不确定性估计。
2020-07-14 cs.LG stat.ML
Generative and Discriminative Text Classification with Recurrent Neural Networks
DeepMind
我们以经验为基础描述了用于文本分类的判别式和生成式LSTM模型的性能。我们发现,尽管基于RNN的生成模型比它们的词袋祖先更强大(例如,它们考虑了文档中单词之间的条件依赖性),它们具有比区分训练的RNN模型更高的渐近错误率。然而,我们也发现生成模型比它们的判别模型更快地接近它们的渐近错误率--Ng & Jordan(2001)证明的模式同样适用于做出更天真的条件独立假设的线性分类模型。基于这一发现,我们假设基于RNN的生成分类模型对数据分布的变化更鲁棒。这一假设在zero-shot和连续学习设置中的一系列实验中得到了证实,这些实验表明生成模型的性能大大优于判别模型。
2017-05-26 cs.CL cs.LG stat.ML
Causal Generative Neural Networks
我们提出了因果生成神经网络(CGNNs)从观测数据中学习函数因果模型。CGNN利用条件独立性和分布不对称性来发现二元和多元因果结构。CGNNs不假设缺乏混杂因素,并通过使用反向传播来学习数据的可微生成模型。大量的实验表明,他们的良好的表现相对于最先进的观测因果发现的模拟和真实数据,相对于因果推理,v-结构识别,和多元因果发现。
2018-02-05 stat.ML
Monte Carlo Filtering Objectives: A New Family of Variational Objectives to Learn Generative Model and Neural Adaptive Proposal for Time Series
Royal Institute of Technology(皇家理工学院);Volvo Car Corporation(沃尔沃汽车公司);Chalmers University of Technology(查尔姆斯理工大学)
学习生成模型和推断潜在的轨迹已被证明是具有挑战性的时间序列,由于灵活的生成模型的棘手的边缘可能性。它可以通过优化的替代目标来解决。我们提出了蒙特卡洛过滤目标(MCFO),一个家庭的变分目标,共同学习参数生成模型和摊销的时间序列的自适应重要性建议。MCFO扩展了最新目标中的顺序蒙特卡罗方法之外的似然估计量的选择,具有重要的属性,揭示了目标紧密性的因素,并允许较少的偏差和变化梯度估计。我们证明了所提出的MCFO和梯度估计导致有效和稳定的模型学习,并且学习的生成模型很好地解释了数据,并且重要性建议在各种时间序列数据上更具样本效率。
2021-05-20 cs.LG stat.ML
Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate
Northwestern University(西北大学);Princeton University(普林斯顿大学)
生成对抗模仿学习(GAIL)在实践中取得了巨大的成功,特别是当与神经网络相结合时。与强化学习不同,GAIL从专家(人)演示中学习策略和奖励函数。尽管其经验上的成功,它仍然不清楚是否GAIL与神经网络收敛到全局最优解。主要困难来自于非凸-非凹极小极大优化结构。为了弥合实践和理论之间的差距,我们分析了基于梯度的算法与交替更新,并建立其次线性收敛到全局最优解。据我们所知,我们的分析建立了全局最优性和收敛速度的GAIL与神经网络的第一次。
2020-06-25 cs.LG math.OC stat.ML
Generative Neural Machine Translation
University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
我们介绍了生成神经机器翻译(GNMT),一个潜在的变量架构,旨在模拟源和目标句子的语义。我们修改的编码器-解码器的翻译模型,通过添加一个潜在的变量作为一个语言不可知论的表示,鼓励学习的句子的含义。GNMT在纯翻译任务中获得了有竞争力的BLEU分数,并且在源句子中有遗漏单词时表现出色。我们增强了模型,以促进多语言翻译和半监督学习,而不添加参数。当配对数据有限时,该框架可以显着减少过拟合,并且对于在训练期间未看到的语言对之间进行翻译是有效的。
2018-06-13 cs.CL cs.LG stat.ML
Generative Models for Stochastic Processes Using Convolutional Neural Networks
本文旨在演示卷积神经网络作为随机过程生成模型的使用,使来自广泛领域(如定量金融和物理)的研究人员能够开发一种通用的预测和模拟工具,而无需识别/假设特定的系统结构或估计其参数。
2018-01-09 cs.NE physics.comp-ph q-fin.CP
Defending Neural Backdoors via Generative Distribution Modeling
Duke University(杜克大学)
神经后门攻击是深度学习面临的一个严重安全威胁,而现有的防御方法能力有限,特别是对于复杂的后门触发器。在这项工作中,我们探索了所有可能的后门触发器的像素值所形成的空间。攻击者用来构建后门模型的原始触发器仅表示空间中的一个点。然后将其推广为有效触发器的分布,所有这些触发器都可以影响后门模型。因此,仅对触发分布的一个点进行建模的先前方法是不够的。获取整个触发器分布,例如,通过生成建模,是有效防御的关键。然而,现有的生成建模技术的图像生成不适用于后门的情况下,触发分布是完全未知的。在这项工作中,我们提出了最大熵阶梯近似器(MESA),一个算法的高维无采样生成建模,并使用它来恢复触发分布。我们还开发了一种防御技术,从后门模型中删除触发器。我们在Cifar 10/100数据集上的实验证明了MESA在建模触发分布方面的有效性和所提出的防御方法的鲁棒性。
2019-11-06 cs.LG stat.ML
Deep Involutive Generative Models for Neural MCMC
MIT(麻省理工学院)
我们介绍了深度对合生成模型,一种用于深度生成建模的新架构,并使用它们来定义对合神经MCMC,一种快速神经MCMC的新方法。对合生成模型将概率核$G(ϕ\mapsto ϕ')$表示为对合(即,自反相)确定性函数$f(ϕ, π)$在包含辅助变量$π$的扩大状态空间上。我们展示了如何使这些模型保持体积,以及如何使用深度保持体积的对合生成模型来基于具有易于计算的接受率的辅助变量方案进行有效的Metropolis-Hastings更新。我们证明了深度对合生成模型及其保体积特殊情况是概率核的通用逼近器。这个结果意味着,有足够的网络容量和训练时间,它们可以用来学习任意复杂的MCMC更新。我们定义了一个损失函数和优化算法的训练参数给定的模拟数据。我们还提供了初步的实验表明,对合神经MCMC可以有效地探索混合蒙特卡罗难以处理的多模态分布,并且可以比最近引入的神经MCMC技术A-NICE-MC更快地收敛。
2020-07-02 cs.LG cs.NE math.ST
A Generative Adversarial Network-based Selective Ensemble Characteristic-to-Expression Synthesis (SE-CTES) Approach and Its Applications in Healthcare
Oklahoma State University(俄克拉荷马州立大学);University of Houston(休斯顿大学)
调查特征和表达之间的因果关系在医疗保健分析中发挥着关键作用。利用给定的特征对表达式进行有效的综合可以为健康风险管理和医疗决策做出巨大贡献。例如,从给定的治疗特征预测患者产生的生理症状有助于疾病预防和个性化治疗策略设计。因此,本研究的目的是有效地合成基于给定特征的表达式。然而,从特征到表达式的映射通常是从一个相对低维的空间到一个高维的空间,而大多数现有的方法,如回归模型不能有效地处理这种映射。此外,特征与表达之间的关系既可能包含确定性模式,也可能包含随机性模式。为了解决这些问题,本文提出了一种受生成对抗网络(GAN)启发的选择性集成特征-表达合成(SE-CTES)方法。该方法的创新之处可以概括为三个方面:(1)引入了基于GAN的深度神经网络架构,以学习包含确定性和随机性模式的相对低维映射到高维映射;(2)提出了基于GAN的架构中两个失配误差的权重不同,以减少训练过程中的学习偏差;(3)提出了一种选择性集成学习框架,以减小预测偏差,提高综合稳定性。为了验证所提出的方法的有效性,广泛的数值模拟研究和现实世界的医疗保健案例研究,结果表明,该方法是非常有前途的。
2022-05-29 cs.LG stat.ML
Neural Stochastic Differential Equations with Change Points: A Generative Adversarial Approach
J.P. Morgan AI Research(摩根大通人工智能研究院);University at Buffalo(布法罗大学)
针对存在分布偏移的时间序列,本文提出在GAN框架下联合学习多个神经SDE及其变点,并以交替优化和判别器前向输出实现检测。
2024-01-22 cs.LG stat.ML
Inverse design of 3d molecular structures with conditional generative neural networks
Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Korea University(高丽大学);Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所)
合理设计具有所需性质的分子是化学中的一个长期挑战。生成神经网络已经成为一种强大的方法来从学习的分布中采样新分子。在这里,我们提出了一个条件生成神经网络的三维分子结构与指定的化学和结构特性。这种方法是不可知的化学键合,并使有针对性的采样的新分子的条件分布,即使在域中的参考计算是稀疏的。我们证明了我们的方法的实用性,通过生成具有指定图案或组成的分子,发现特别稳定的分子,并共同针对多个电子特性超出了训练制度。
2021-12-22 cs.LG physics.chem-ph physics.comp-ph
Continuous Generative Neural Networks: A Wavelet-Based Architecture in Function Spaces
MaLGa Center, Department of Mathematics, University of Genoa(马尔加中心,数学系,热那亚大学)
本文提出连续生成神经网络(CGNNs),利用紧支撑小波的多分辨率分析尺度替代层维度,构建输出在无限维函数空间的生成模型,并推导了保证单射性的条件及其在无限维反问题中的Lipschitz稳定性应用。
2024-11-22 cs.LG stat.ML
Modeling Global Dynamics from Local Snapshots with Deep Generative Neural Networks
Yale University(耶鲁大学);Utah State University(犹他州立大学);Princeton University(普林斯顿大学);Université de Montréal(蒙特利尔大学)
复杂高维随机动力系统在自然科学特别是生物学中有着广泛的应用。然而,虽然这些系统很难分析描述,“快照”测量采样系统的输出往往是可用的。为了对给定快照数据或局部转换的此类系统的动态进行建模,我们提出了一个深度神经网络框架,我们称之为动态建模网络或DyMoN。DyMoN是一个神经网络框架,被训练为深度生成马尔可夫模型,其下一个状态是基于当前状态的概率分布。DyMoN使用当前和下一状态对的样本进行训练,因此不需要纵向测量。我们展示了DyMoN在浅层模型(如卡尔曼滤波器和隐马尔可夫模型)和其他深层模型(如递归神经网络)中体现动态(可以通过神经网络的扰动进行研究)并生成纵向假设轨迹的能力的优势。我们进行了三个案例研究,在这些案例中,我们将DyMoN应用于不同类型的生物系统,并通过检查学习模型来提取每种情况下的动态特征。
2019-06-10 cs.LG stat.ML
Out-of-Distribution Detection Using Neural Rendering Generative Models
California Institute of Technology(加州理工学院);Rice University(莱斯大学)
分布外(OoD)检测是深度生成模型的自然下游任务,因为它们能够学习输入概率分布。主要有两类使用深度生成模型的OoD检测方法,即,基于似然测度和重建损失。然而,这两种方法都不能有效地进行OoD检测,特别是当OoD样本的方差小于训练样本时。例如,当在CIFAR-10图像上训练时,基于流的模型和VAE模型都为来自SVHN的图像分配了更高的可能性。我们使用最近提出的生成模型称为神经渲染模型(NRM)和OoD的指标。我们表明,NRM统一了这两种方法,因为它提供了一个可能性估计,也进行重建的神经网络的每一层。在各种措施中,我们发现潜在变量的联合可能性是最有效的OoD检测。我们的研究结果表明,当在CIFAR-10上训练时,SVHN图像的潜在变量的可能性较低。此外,我们还表明,这个指标在其他OoD数据集上是一致的。据我们所知,这是第一个显示OoD数据的可能性始终较低的工作,具有更小的深度生成模型方差。
2019-07-10 cs.CV cs.LG stat.ML
Open Set Recognition Through Deep Neural Network Uncertainty: Does Out-of-Distribution Detection Require Generative Classifiers?
Goethe University(歌德大学)
我们提出了一个基于预测不确定性的分析分布外检测的不同方法来估计各种模型的认知不确定性,并将其与基于极值理论的开集识别。虽然前者似乎不足以克服这一挑战,我们证明,不确定性与后者的方法齐头并进。这似乎特别反映在生成模型方法中,我们表明基于后验的开集识别优于判别模型和基于预测不确定性的离群值拒绝,提出了一个问题,即分类器是否需要生成,以便知道他们没有看到什么。
2019-08-26 cs.CV cs.LG stat.ML
Measuring global properties of neural generative model outputs via generating mathematical objects
Norwegian Defence Research Establishment (FFI)(挪威国防研究机构(FFI))
我们在自反多面体的数据集上训练深度生成模型。这使我们能够比较模型在生成样本的各种全局属性上的表现。我们的数据集是完整的,因为每一个例子,直到坐标的变化,都包含在数据集中。使用这个属性,我们还可以执行测试,检查模型在多大程度上只是记忆数据。我们还在以两种不同方式表示的同一数据集上训练模型,使我们能够衡量哪种形式最容易学习。我们使用这些实验来证明,深度生成模型可以学习生成具有非平凡全局属性的几何对象,并且模型可以学习对象的一些底层属性,而不是简单地记忆数据。
2021-05-28 cs.LG math.CO stat.ML
Generative Conditional Distributions by Neural (Entropic) Optimal Transport
The Chinese University of Hong Kong(香港中文大学);VinUniversity(范大大学);National University of Singapore(新加坡国立大学);VinAI Research(VinAI研究院)
提出一种神经熵最优传输方法,通过双网络最小最大化训练和Lipschitz正则化,有效解决小样本下的条件分布生成问题。
2024-06-04 cs.AI cs.LG stat.ML
Biosignal Generation and Latent Variable Analysis with Recurrent Generative Adversarial Networks
在我们之前的论文中,我们已经证明了基于生成对抗网络(GANs)的生物信号生成模型的生物信号生成和数据增强的有效性,这是一种深度学习技术。基于GAN的生成模型只学习作为输入数据的随机分布与训练数据分布之间的投影,因此输入和生成数据之间的关系不清楚,并且无法控制该模型生成的数据的特性。本研究提出了一种基于GANs生成时间序列数据的方法,并探讨了它们生成具有特定类别和特征的生物信号的能力。此外,在所提出的方法中,潜变量进行分析,使用典型相关分析(CCA)表示输入和生成的数据之间的关系作为典型负载。使用这些负载,我们可以控制所提出的方法生成的数据的特性。通过将两个类标签之间的数据插值到所提出的GANs的生成器中,分析了类标签对生成数据的影响。CCA的潜变量被证明是一种有效的方法来控制生成的数据特性。我们能够建模的时间序列数据的分布,而不需要域相关的知识,使用所提出的方法。此外,通过分析使用所提出的方法训练的模型,可以控制这些数据的特性。据我们所知,这项工作是第一次使用GANs生成生物信号,同时控制生成数据的特征。
2019-05-17 cs.LG eess.SP stat.ML
Exemplar-based synthesis of geology using kernel discrepancies and generative neural networks
Heriot-Watt University(赫瑞-瓦特大学)
我们提出了一个框架,地质图像的合成的基础上,一个样本图像。我们合成新的实现,使实现和样本图像之间的补丁分布的差异最小化。这种差异是量化使用核方法的两个样本测试称为最大平均差异。为了实现快速合成,我们在离线阶段训练生成神经网络,以在部署期间有效地对实现进行采样,同时还提供合成过程的参数化。我们评估一个经典的二进制图像表示渠道地下油藏的框架,发现该方法再现的视觉模式和空间统计学(图像直方图和两点概率函数)的范例图像。
2018-09-21 cs.CV cs.LG stat.AP
A Characteristic Function Approach to Deep Implicit Generative Modeling
National University of Singapore(新加坡国立大学)
隐式生成模型(IGM),如GANs,已经成为有效的数据驱动模型,用于生成样本,特别是图像。在本文中,我们制定了学习IGM的问题,最小化特征函数之间的期望距离。具体来说,我们最小化的真实和生成的数据分布的特征函数之间的距离下适当选择的加权分布。这种距离度量,我们称之为特征函数距离(CFD),可以(近似)计算线性时间复杂度的样本数,与二次最大平均离散(MMD)。通过用计算流体力学代替GAN评价中的差异度量,我们得到了一个易于实现且对训练稳定的模型。所提出的度量具有理想的理论性质,包括连续性和可微性的发电机参数,和连续性的弱拓扑结构。我们还提出了一种CFD的变体,其中加权分布参数也在训练过程中进行了优化;这消除了手动调整的需要,并导致了相对于CFD的测试能力的提高。我们通过实验证明,我们提出的方法在各种无监督图像生成基准上优于WGAN和MMD-GAN变体。
2020-06-16 cs.LG cs.NE stat.ML
Verification of Neural Networks: Specifying Global Robustness using Generative Models
CNRS(法国国家科学研究中心);LaBRI(波尔多计算机研究实验室);Université de Bordeaux(波尔多大学);The Alan Turing Institute(艾伦·图灵研究所);Indian Institute of Technology Bombay(印度理工学院孟买分校)
神经网络在大多数机器学习任务中的成功以及对抗性示例的持久性使得对此类模型的验证成为一项重要的探索。已经成功开发了几种技术来验证鲁棒性,并且现在能够评估具有数千个节点的神经网络。这种方法的主要弱点在于规范:鲁棒性是在由有限的示例集组成的验证集上断言的,即局部的。我们提出了一个基于生成模型的全局鲁棒性的概念,该模型在一个非常大的和有代表性的例子集上断言鲁棒性。我们展示了如何使用它来验证神经网络。在本文中,我们通过实验探索了这种方法的优点,并展示了如何使用它来构建真实的对抗性示例。
2019-10-11 cs.FL cs.LG cs.NE
Generative and Discriminative Voxel Modeling with Convolutional Neural Networks
Heriot-Watt University(赫瑞-瓦特大学);Renishaw plc(雷尼绍公司)
在处理三维数据时,表示的选择是关键。我们探索基于体素的模型,并提出证据的可行性体素表示的应用程序,包括形状建模和对象分类。我们的主要贡献是用于训练基于体素的变分自编码器的方法,用于探索自动编码器学习的潜在空间的用户界面,以及用于对象分类的深度卷积神经网络架构。我们解决了基于体素的表示所特有的挑战,并在ModelNet基准上对我们的模型进行了经验评估,在该基准上,我们展示了对象分类的最新技术水平的51.5%的相对改进。
2016-08-16 cs.CV cs.HC cs.LG
Generative Neural Network based Spectrum Sharing using Linear Sum Assignment Problems
Big data Institute(大数据研究所);School of Computer Science(计算机学院);Shenzhen University(深圳大学);Benha University(本哈大学);Peng Cheng Laboratory(鹏城实验室)
频谱管理和资源分配(RA)问题在诸如无线通信和计算机网络的大量研究领域中是具有挑战性和关键性的。传统的方法求解此类问题通常需要耗费大量的时间和内存,尤其是对于大规模的问题。近年来,不同的机器学习方法被认为是解决组合优化问题的潜在技术,特别是深层神经网络的生成模型。在这项工作中,我们提出了一个资源分配深自动编码器网络,作为一个有前途的生成模型,使频谱共享的无线设备到设备(D2 D)通信通过解决线性和分配问题(LSAP)。具体来说,我们研究了三种不同的架构的条件变分自编码器(CVAE)的性能。提出的三种架构是卷积神经网络(CVAE-CNN)自动编码器、前馈神经网络(CVAE-FNN)自动编码器和混合(H-CVAE)自动编码器。仿真结果表明,该方法可以用来作为传统的RA技术,如匈牙利算法的替代,由于其能够找到不同大小的LASP的解决方案,具有高精度和非常快的执行时间。此外,仿真结果表明,所提出的混合自动编码器架构的准确性优于其他提出的架构和最先进的DNN技术。
2019-10-12 cs.LG cs.NI stat.ML
Universality Theorems for Generative Models
尽管生成模型在实践中非常成功,但这种现象背后的理论才刚刚开始赶上实践。在这项工作中,我们解决的问题的普遍性生成模型:这是真的,神经网络可以近似任何数据流形任意?我们提供了一个积极的回答这个问题,并表明,在温和的假设下的激活函数,人们总是可以找到一个前馈神经网络的潜在空间映射到一组位于指定的Hausdorff距离所需的数据流形。我们还证明了类似的定理的情况下,多类生成模型和循环生成模型,训练映射样本从一个流形到另一个,反之亦然。
2020-12-13 cs.AI cs.LG stat.ML
GPT-GNN: Generative Pre-Training of Graph Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Microsoft Research(微软研究院)
图神经网络(GNN)已被证明是强大的建模图结构的数据。然而,训练GNN通常需要大量特定于任务的标记数据,而获得这些数据通常非常昂贵。减少标记工作的一种有效方法是在具有自我监督的未标记数据上预训练表达性GNN模型,然后将学习到的模型转移到只有几个标签的下游任务。在本文中,我们提出了GPT-GNN框架,通过生成预训练来初始化GNN。GPT-GNN引入了一个自监督的属性图生成任务来预训练GNN,以便它可以捕获图的结构和语义属性。我们将图生成的可能性分解为两个部分:1)属性生成和2)边生成。通过对这两个组件进行建模,GPT-GNN在生成过程中捕获了节点属性和图结构之间的固有依赖关系。在十亿规模的开放学术图谱和亚马逊推荐数据上进行的综合实验表明,GPT-GNN在各种下游任务中的性能明显优于没有预训练的最先进的GNN模型,最高可达9.1%。
2020-06-27 cs.LG cs.SI stat.ML
A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models
UCLA(加州大学洛杉矶分校)
该综述从逼近、训练动力学、生成模型三个维度梳理深度学习统计理论研究,总结各方向核心结论与范式,为领域理论研究提供系统参考。
2024-09-16 cs.LG math.ST stat.ML
Jointly Discriminative and Generative Recurrent Neural Networks for Learning from fMRI
Yale University(耶鲁大学);Yale School of Medicine(耶鲁医学院)
递归神经网络(RNN)被设计用于处理时间序列数据,最近已被用于从功能性磁共振成像(fMRI)数据创建预测模型。然而,收集用于学习的大型fMRI数据集是一项艰巨的任务。此外,网络的可解释性尚不清楚。为了解决这些问题,我们利用多任务学习并设计了一种新的基于RNN的模型,该模型可以学习区分类别,同时学习生成fMRI时间序列数据。采用长短期记忆(LSTM)结构,我们开发了一个基于隐藏状态的判别模型和一个基于细胞状态的生成模型。生成模型的添加限制了网络学习由LSTM节点表示的函数社区,这些社区既与数据生成一致,又对分类任务有用。我们将我们的方法应用于自闭症与健康对照受试者的分类,使用自闭症脑成像数据交换的几个数据集。实验表明,我们的联合判别和生成模型改进了分类学习,同时也产生了强大而有意义的功能社区,以更好地理解模型。
2019-10-15 cs.LG eess.IV q-bio.NC
The Gaussian equivalence of generative models for learning with shallow neural networks
International School of Advanced Studies (SISSA)(国际高等研究学院(SISSA));Duke University(杜克大学);Université PSL(巴黎文理研究大学);Sorbonne Université(索邦大学);Université Paris-Diderot(巴黎第七大学)
理解数据结构对学习的计算易处理性的影响是神经网络理论的一个关键挑战。许多理论工作没有明确地对训练数据进行建模,或者假设输入是独立于一些简单的概率分布而绘制的。在这里,我们超越了这个简单的范例,通过研究神经网络的性能来训练从预训练的生成模型中提取的数据。这是可能的,因为高斯等价性表明,感兴趣的关键指标,如训练和测试误差,可以通过适当选择的高斯模型完全捕获。我们提供了三条严格的,分析和数值证据证实了这种等价性。首先,我们建立严格的条件,高斯等价的情况下,单层生成模型,以及确定性的速度分布依分布收敛。其次,我们利用这种等价性推导出一组封闭的方程,描述了两个广泛研究的机器学习问题的泛化性能:使用单次随机梯度下降训练的双层神经网络,以及全批预学习特征或核方法。最后,我们进行了实验,展示了我们的理论如何应用于深度,预训练的生成模型。这些结果为基于真实数据的机器学习模型的理论研究开辟了一条可行的道路。
2021-05-21 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Converting Cascade-Correlation Neural Nets into Probabilistic Generative Models
McGill University(麦吉尔大学)
人类不仅善于识别输入实例属于什么类(即,分类任务),但也许更值得注意的是,他们可以想象(即,生成)所需类的合理实例。受此启发,我们提出了一个框架,它允许将级联相关神经网络(CCNNs)转换为概率生成模型,从而使CCNNs能够从感兴趣的类别中生成样本。CCNN是一类著名的确定性判别神经网络,它们自主地构建拓扑结构,并成功地解释了各种心理现象。我们提出的框架是基于马尔可夫链蒙特卡罗(MCMC)方法,称为大都会调整的朗之万算法,它利用目标分布的梯度信息,直接探索高概率区域,从而实现良好的混合性能。通过大量的模拟,我们证明了我们提出的框架的有效性。
2017-01-18 cs.AI cs.NE q-bio.NC