Tractable loss function and color image generation of multinary restricted Boltzmann machine
Seoul National University(首尔大学);Clova AI, NAVER Corp.(NAVER公司Clova AI)
受限玻尔兹曼机(RBM)是一种基于统计力学概念的有代表性的生成模型。尽管具有很强的可解释性,但反向传播的不可用性使其比其他生成模型更具竞争力。在这里,我们推导出可微的损失函数的二元和多元RBM。然后,我们通过生成彩色人脸图像来展示它们的可学习性和性能。
2020-11-27 cs.CV cs.LG
Deep Restricted Boltzmann Networks
Carnegie Mellon University(卡内基梅隆大学)
建立一个良好的图像生成模型一直是计算机视觉和机器学习领域的重要课题。受限玻尔兹曼机(RBM)就是其中一种简单但功能强大的模型。然而,它的限制形式也对模型的表示能力和可扩展性提出了很大的限制。基于RBM的许多扩展已经被发明出来,以便产生具有更大功能的更深层次的架构。其中最著名的是深度信念网络,它将多层预训练的RBM堆叠起来形成混合模型,以及深度玻尔兹曼机,它允许隐藏单元之间的连接形成多层结构。本文提出了一种新的RBM组合方法,形成一个多层网络式的体系结构,并提出了一种联合训练各层的训练方法。我们称这种结构为深度限制玻尔兹曼网络。我们进一步探索卷积RBM与正常全连接RBM的组合,这在我们的组合框架下变得微不足道。实验表明,我们的模型可以生成下降的图像,并在图像质量和特征质量方面显着优于正常的RBM,而不会损失太多的训练效率。
2016-11-15 cs.LG
A Robust Unsupervised Ensemble of Feature-Based Explanations using Restricted Boltzmann Machines
University of Tübingen(图宾根大学)
理解深度神经网络的结果是深度学习算法获得更广泛接受的重要一步。许多方法解决了解释人工神经网络的问题,但往往提供不同的解释。此外,解释方法的不同超参数可能导致相互冲突的解释。在本文中,我们提出了一种技术,用于聚合不同解释算法的特征属性,使用受限玻尔兹曼机(RBM)来实现更可靠和鲁棒的深度神经网络解释。在真实数据集上的几个具有挑战性的实验表明,所提出的RBM方法优于流行的特征属性方法和基本集成技术。
2021-11-14 cs.LG
Training a Restricted Boltzmann Machine for Classification by Labeling Model Samples
Johannes Gutenberg-University Mainz(美因茨约翰内斯·古腾堡大学)
我们提出了一种训练分类模型的替代方法。使用MNIST手写数字集和受限玻尔兹曼机,如果我们首先仅在未标记的数据上以无监督的方式训练模型,然后在GUI的帮助下手动将标签添加到模型样本而不是训练数据样本,则可以达到与半监督学习竞争的分类性能。这种方法可以受益于这样一个事实,即模型样本可以以类似视频的方式呈现给人类标记者,从而产生更多数量的标记示例。此外,经过一些初始训练后,难以分类的示例可以自动与容易的示例区分开来,节省了手动工作。
2015-09-03 cs.LG
Rapid mixing in positively weighted restricted Boltzmann machines
School of Informatics, University of Edinburgh, Informatics Forum, UK(爱丁堡大学信息学院);School of Computing and Data Science, The University of Hong Kong, HK(香港大学计算与数据科学学院)
本文通过分析铁磁双自旋系统的Glauber动力学,证明了正权重受限玻尔兹曼机的交替扫描采样器具有多对数混合时间界,并得到了临界阈值内的新混合时间界。
2026-05-25 cs.DS cs.LG math.PR
Elastic regularization in restricted Boltzmann machines: Dealing with $p\gg N$
受限玻尔兹曼机(RBM)被赋予了建模(二进制)联合分布的通用能力。同时,由于其局限的网络结构,训练RBM面临的困难较少(与更复杂的模型相比,例如,玻尔兹曼机)处理近似和推理问题时。然而,在某些计算生物学场景中,例如癌症数据分析,采用RBM来建模数据特征可能由于“$p\gg N$“问题而失去其功效,其中特征/预测因子的数量远大于样本大小。在设计统计学习方法时,“$p\gg N$”问题将偏差-方差权衡置于更关键的位置。在这篇手稿中,我们试图解决这个问题,提出了一种新的RBM模型,称为弹性限制玻尔兹曼机(eRBM),它将弹性正则化项的似然/成本函数。我们提供了一些理论分析我们的模型的优越性。此外,由于经典的对比发散(CD)算法,eRBM可以有效地训练。我们的新模型是未来癌症数据分析的一种有前途的方法。
2015-10-21 cs.LG
Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
ALBERT Inc.(阿尔伯特公司);Graduate School of Science and Engineering, Yamagata University(山形大学理工学研究生院)
泛化是机器学习中最重要的问题之一。在这项研究中,我们考虑在限制玻尔兹曼机(RBM)的推广。我们提出了一个多值隐变量的RBM,这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型,通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
2020-01-08 cs.LG stat.ML
Advanced Mean Field Theory of Restricted Boltzmann Machine
RIKEN Brain Science Institute(理化学研究所脑科学研究所)
由于对数似然函数的梯度计算,限制玻尔兹曼机的学习通常是困难的。为了描述受限玻尔兹曼机的网络状态统计特性,我们在Bethe近似的基础上发展了一种改进的平均场论。我们的理论提供了一个有效的消息传递为基础的方法,不仅评估的配分函数(自由能),但它的梯度,而不需要统计采样。计算昂贵的采样为基础的方法所获得的结果进行了比较。
2015-05-02 cond-mat.stat-mech cs.LG q-bio.NC
Prediction of breast cancer recurrence using Classification Restricted Boltzmann Machine with Dropping
Wrocław University of Technology(弗罗茨瓦夫理工大学)
在本文中,我们应用分类限制玻尔兹曼机(ClassRBM)的预测乳腺癌复发的问题。根据波兰国家癌症登记处的数据,仅在2010年,乳腺癌就占波兰所有癌症诊断病例的近25%。我们提出了如何使用ClassRBM来预测乳腺癌复发并发现疾病复发的相关输入(症状)。接下来,我们概述了一个用于学习带有掩码的玻尔兹曼机的一般概率框架,我们称之为Dropping。生成掩码的方式导致不同的学习方法,即,DropOut、DropConnect。我们提出了一种新的方法称为DropPart,这是一个推广的DropConnect。在DropPart中,使用Beta分布而不是DropConnect中的Bernoulli分布。最后,我们使用由卢布尔雅那肿瘤研究所提供的949例病例组成的真实数据集进行了实验。
2013-10-30 cs.LG
Exploiting Restricted Boltzmann Machines and Deep Belief Networks in Compressed Sensing
American Family Mutual Insurance Company(美国家庭互助保险公司);University of Delaware(特拉华大学)
本文提出了一种CS方案,该方案利用受限玻尔兹曼机和深度学习架构的表示能力来对属于同一类的信号的稀疏模式的先验分布进行建模。所确定的概率分布,然后使用在最大后验概率(MAP)的方法进行重建。先验分布的参数从训练数据中学习。这种方法背后的动机是对稀疏表示的系数之间的高阶统计依赖关系进行建模,最终目标是改善重建。在Berkeley分割数据集和MNIST手写体数字数据库上验证了该方法的性能。
2017-05-30 cs.LG
An Infinite Restricted Boltzmann Machine
Université de Sherbrooke(舍布鲁克大学)
我们提出了一个数学结构的限制玻尔兹曼机(RBM),不需要指定的隐藏单元的数量。事实上,隐藏层的大小是自适应的,可以在训练过程中增长。这是通过首先将RBM扩展到对其隐藏单元的排序敏感来获得的。然后,由于精心选择的能量函数的定义,我们表明,无限多个隐藏单位的限制是很好的定义。与RBM一样,可以执行近似最大似然训练,从而产生在学习期间自然且自适应地添加训练的隐藏单元的算法。我们实证研究这种无限的RBM的行为,表明它的性能是有竞争力的RBM,而不需要调整隐藏层的大小。
2016-03-18 cs.LG
Minimax formula for the replica symmetric free energy of deep restricted Boltzmann machines
Institute of Mathematics, University of Zurich(苏黎世大学数学研究所)
我们研究的自由能最常用的深度架构限制玻尔兹曼机,其中层被设置在系列。假设独立的高斯分布的随机权重,我们表明,在所谓的副本对称和规则的误差项可以优化为鞍点。这使我们猜想,在副本对称近似的自由能是由一个最小的最大公式,它平行的两层的情况下实现的。
2022-07-07 cond-mat.dis-nn cs.LG math.PR
Feature Learning with Gaussian Restricted Boltzmann Machine for Robust Speech Recognition
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-香港中文大学媒体科学、技术与系统联合研究中心);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
本文首先提出了高斯限制玻尔兹曼机(GRBM)的一种新变体--多元高斯限制玻尔兹曼机(MGRBM),给出了它的定义和学习算法。然后,我们建议使用一个学习GRBM或MGRBM提取更好的鲁棒语音识别的功能。我们在Aurora 2上的实验表明,无论是HMM-GMM还是混合HMM-深度神经网络(DNN)声学模型,GRBM提取的特征和MGRBM提取的特征都比Mel频率倒谱系数(MFCC)好得多,MGRBM提取的特征略好。
2013-09-23 cs.CL cs.LG cs.SD
Restricted Boltzmann Machines: Introduction and Review
University of California, Los Angeles(加州大学洛杉矶分校)
受限玻尔兹曼机是一个随机单元网络,在成对的可见和隐藏单元之间具有无向相互作用。该模型作为深度学习架构的构建块得到推广,并在应用和理论机器学习中继续发挥重要作用。受限玻尔兹曼机具有丰富的结构,与几何、应用代数、概率、统计、机器学习和其他领域有联系。对这些模型的分析本身就很有吸引力,也是一个平台,可以将数学工具与隐变量图形模型相结合并加以推广。本文介绍了限制玻尔兹曼机的数学分析,回顾了最近的结果的几何集合的概率分布所代表的这些模型,并提出了一些进一步研究的方向。
2018-06-19 cs.IT cs.LG math.IT
Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
Sapienza, University of Rome(罗马大学(萨皮恩扎))
在这项工作中,提出了一种基于无监督学习的迭代算法,特别是在限制玻尔兹曼机(RBM)上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $,并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例,说明了该算法的有效性.
2019-05-02 cs.LG math.OC stat.ML
Temporal Autoencoding Restricted Boltzmann Machine
Freie Universität Berlin(柏林自由大学);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心);Berlin Institute of Technology(柏林工业大学)
人们已经做了很多工作来改进和表征深度学习算法所学习的感受野。很多工作都集中在开发在自然图像数据集上实施稀疏约束时学习的类似Gabor的过滤器。然而,很少有工作研究这些过滤器如何扩展到时间域,即通过对自然电影的训练。在这里,我们在已建立的时间深度学习算法中研究了这个问题,以及这里提出的一种新的学习范式,时间自动编码限制玻尔兹曼机(TARBM)。
2012-10-31 cs.AI cs.LG stat.ML
Spectral Classification Using Restricted Boltzmann Machine
Tongji University(同济大学);Shandong University(山东大学)
在这项研究中,一个新的机器学习算法,限制玻尔兹曼机(RBM),介绍。该算法被应用于天文学中的光谱分类。RBM是一种二分生成图模型,具有两个单独的层(一个可见层和一个隐藏层),可以提取更高级别的特征来表示原始数据。尽管具有生成性,但当使用自由能和软最大函数进行修改时,RBM可以用于分类。在光谱分类之前,对原始数据按照一定的规则进行二值化。然后,我们求助于二进制RBM来分类灾难性变量(CV)和非CV(所有给定数据的一半用于训练,另一半用于测试)。实验结果表明,最新的准确率为100%,这表明了二进制RBM算法的效率。
2013-10-13 cs.LG
Generalising the Discriminative Restricted Boltzmann Machine
City University London(伦敦城市大学)
我们提出了一个新的理论结果,概括的歧视性限制玻尔兹曼机(DRBM)。虽然最初定义的DRBM假设{0,1}-伯努利分布在其每个隐藏单元,这个结果使得它可以推导出成本函数的DRBM的变体,利用其他分布,包括一些经常在文献中遇到的。这里用二项式和{-1,+1}-伯努利分布来说明这一点。我们评估了这两个DRBM变体,并将其与三个基准数据集(即MNIST和USPS数字分类数据集以及20个新闻组文档分类数据集)上的原始变体进行比较。结果表明,三个比较的模型中的每一个都优于其余两个在三个数据集之一,从而表明,所提出的理论概括的DRBM可能是有价值的实践。
2016-04-06 cs.LG
Geometry and Expressive Power of Conditional Restricted Boltzmann Machines
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Leipzig University(莱比锡大学);Santa Fe Institute(圣塔菲研究所)
条件限制玻尔兹曼机是一种无向随机神经网络,其输入和输出单元层与隐藏单元层两部分相连。这些网络定义了给定输入设备状态的输出设备状态的条件概率分布模型,由交互权重和偏置参数化。我们解决这些模型的代表性的权力,证明结果的能力,以表示条件马尔可夫随机场和条件分布的限制支持,最小尺寸的通用逼近器,最大模型近似误差,并在一组可表示的条件分布的维度。我们贡献了新的工具,调查条件概率模型,这使我们能够改善的结果,可以从现有的工作限制玻尔兹曼机概率模型。
2015-03-12 cs.LG cs.NE stat.ML
Perception-Distortion Trade-off with Restricted Boltzmann Machines
Duke University(杜克大学);University of Minnesota(明尼苏达大学);University of Utah(犹他大学)
在这项工作中,我们引入了一个新的程序应用限制玻尔兹曼机(RBM)丢失的数据推理任务,基于线性化的有效能量函数的分布观测。我们比较我们提出的程序的性能与使用现有的重建程序训练不完整的数据。我们把这些性能比较的感知失真权衡观察到的其他数据重建任务,到目前为止,仍然是未开发的任务依赖于不完整的训练数据的上下文中。
2019-10-21 cs.CV cs.LG stat.ML
Restricted Boltzmann Machine for Classification with Hierarchical Correlated Prior
State University of New York at Buffalo(纽约州立大学布法罗分校)
受限玻尔兹曼机(RBM)及其变体是近年来的研究热点,广泛应用于字符识别、文档分类等分类问题。通常,分类RBM忽略了类间关系或类间共享信息的先验知识。在本文中,我们感兴趣的RBM与层次先验类。我们假设附近节点的参数在层次树中是相关的,并且树的每个节点处的参数与其祖先处的参数正交。本文提出了一种层次相关RBM分类方法,该方法是对RBM分类方法的推广,并在不同类之间实现了信息共享。为了减少层次结构中节点参数之间的冗余,我们还引入正交限制我们的目标函数。我们在挑战数据集上测试了我们的方法,并与竞争基线相比显示了有希望的结果。
2015-04-20 cs.LG
Classification of Sets using Restricted Boltzmann Machines
A2iA SA(A2iA股份公司);University of Toronto(多伦多大学)
我们考虑的问题时,输入对应的向量集的分类。此设置出现在许多问题中,例如包含多个页面的邮件的分类,具有多个部分的网站或已预先分割成较小区域的图像的分类。我们提出了广义的限制玻尔兹曼机(RBM)是适当的,在这种情况下,并探讨如何将不同的假设之间的关系的输入集和目标类内的RBM。在标准的多实例学习数据集上的实验中,我们展示了基于RBM的方法的竞争力,并将所提出的变体应用于传入邮件分类问题。
2011-03-25 cs.LG stat.ML
Crime incidents embedding using restricted Boltzmann machines
Georgia Tech Institute of People and Technology(佐治亚理工学院人与技术研究所)
我们提出了一种新的方法来检测相关的犯罪系列,通过高斯-伯努利限制玻尔兹曼机(RBM)的犯罪记录的叙述通过无监督学习的潜在特征嵌入。这是一种与以前的犯罪分析工作截然不同的方法,以前的犯罪分析工作通常只考虑时间和地点,最多考虑类别信息。在嵌入之后,相关案例在欧几里得特征空间中彼此更接近,而不相关案例彼此远离,这是一个很好的性质,可以使相关案例的检测和聚类等后续分析成为可能。亚特兰大警察局手工标记的几个系列的相关犯罪事件的实验揭示了我们的嵌入方法的承诺。
2018-02-14 cs.LG stat.ML
A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines
Technische Universität Berlin(柏林工业大学)
我们定义了一个消息传递算法计算磁化在受限玻尔兹曼机,这是伊辛模型的二分图上引入的神经网络模型的概率分布自旋配置。为了模拟自旋耦合之间的非平凡统计依赖关系,我们假设矩形耦合矩阵是从任意双旋转不变随机矩阵系综中提取的。利用统计力学中的动力泛函方法,对算法在大系统极限下的动力学行为进行了精确的分析。我们证明了该算法的全局收敛性的稳定性准则下,计算渐近收敛速度表现出良好的协议与数值模拟。
2020-05-04 cond-mat.dis-nn cs.LG stat.ML
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School(孝感高级中学)
在这篇文章中,我们扩展了卷积限制玻尔兹曼机的传统框架,通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征,该乘法单元捕捉输入之间的关系。在许多情况下,两个以上的映射是强相关的,所以明智的做法是让乘法单元学习更多输入映射之间的关系,换句话说,找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序,我们开发了一种学习方法,其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Non-Parametric Learning of Lifted Restricted Boltzmann Machines
The University of Texas at Dallas(得克萨斯大学达拉斯分校)
我们考虑在关系数据的存在下,有区别地学习受限玻尔兹曼机的问题。与以前的方法,采用规则学习器(结构学习)和权重学习器(参数学习)顺序,我们开发了一个梯度提升的方法,同时执行。我们的方法学习一组弱关系回归树,其从根到叶的路径是合取子句并表示结构,其叶值表示参数。当学习的关系回归树被转换为提升的RBM时,其隐藏节点正是从关系回归树导出的合取子句。这导致了一个更可解释和解释的模型。我们的实证评估清楚地证明了这一点,同时显示学习模型的有效性没有损失。
2020-01-09 cs.AI cs.LG
Learning from multivariate discrete sequential data using a restricted Boltzmann machine model
Escuela Superior Politecnica del Litoral (ESPOL)(埃斯波莱大学(ESPOL))
受限玻尔兹曼机(RBM)是一种生成式神经网络模型,具有许多新颖的应用,如协同滤波和声学建模。成果管理制缺乏保持记忆的能力,因此不适合于动态数据建模,如时间序列分析。在本文中,我们解决这个问题,提出了p-RBM模型,一个推广的常规RBM模型,能够保留记忆的p过去的状态。我们进一步展示了如何使用对比散度对p-RBM模型进行训练,并在考虑NASDAQ-100指数的100只股票的股票市场方向预测问题上对我们的模型进行了测试。结果表明,p-RBM提供了有前途的预测潜力。
2018-04-28 cs.LG stat.ML
Collaborative Filtering with Label Consistent Restricted Boltzmann Machine
IIIT Delhi(德里英德拉普拉斯塔信息技术学院)
采用受限玻尔兹曼机(RBM)进行协同过滤的可能性已经知道了大约十年。然而,自2007年以来,几乎没有关于这一专题的任何工作。这项工作回顾了RBM在推荐系统中的应用。基于RBM的协同过滤只使用评分信息,这是一个无监督的架构。这项工作通过利用用户人口统计信息和项目元数据来增加监督。网络是从表示层到标签(元数据)学习的。建议的标签一致的RBM制定显着改善现有的RBM为基础的方法和产量的结果与国家的最先进的潜在因素为基础的模型。
2019-10-17 cs.IR cs.LG cs.NE
Learning State Transition Rules from Hidden Layers of Restricted Boltzmann Machines
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所)
理解系统的动力学在许多科学和工程领域中是重要的。这个问题可以通过使用机器学习技术从观察中学习状态转换规则来解决。这种观测到的时间序列数据通常由许多具有噪声和模糊性的连续变量的序列组成,但我们通常需要可以用几个基本变量建模的动态规则。在这项工作中,我们提出了一种方法,从高维时间序列数据中提取少量的基本隐变量,并学习这些隐变量之间的状态转换规则。所提出的方法是基于限制玻尔兹曼机(RBM),在可见层和隐藏层中的潜在功能,可观察到的数据。然而,真实世界的数据,如视频和音频,包括离散和连续变量,这些变量具有时间关系。因此,我们提出了递归时间GaussianBernoulli限制玻尔兹曼机(RTGB-RBM),它结合了Gaussian-Bernoulli限制玻尔兹曼机(GB-RBM)来处理连续的可见变量,和递归时间限制玻尔兹曼机(RT-RBM)来捕获离散隐变量之间的时间依赖性。我们还提出了一个基于规则的方法,提取必要的信息作为隐藏变量,并表示状态转换规则的可解释的形式。我们在弹跳球和移动MNIST数据集上进行实验,以评估我们提出的方法。实验结果表明,该方法可以学习这些物理系统的动力学行为作为隐变量之间的状态转换规则,并可以从观测到的状态转换中预测未观测到的未来状态。
2022-12-07 cs.AI cs.LG
Using Restricted Boltzmann Machines to Model Molecular Geometries
Yale University(耶鲁大学)
分子的精确物理描述可以通过求解薛定谔方程来获得;然而,这些计算是棘手的,甚至近似也是麻烦的。基于经验数据估计原子间势的力场也很耗时。本文提出了一种新的方法来建模的一组物理参数,利用有限玻尔兹曼机的快速学习能力和代表性的权力。通过在从头算数据上训练机器,我们可以预测与从头算分布相匹配的分子构型分布中的新数据。在本文中,我们介绍了一种新的基于Tanh激活函数的RBM,并对具有不同激活函数的RBM进行了比较,包括sigmoid,Gaussian和(Leaky)ReLU。最后,我们证明了高斯RBM模型的能力,如水和乙烷的小分子。
2020-12-13 cs.LG physics.chem-ph
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.(Stel计算机系统有限公司)
提出了一种基于高斯-二元限制玻尔兹曼机(GRBM)的说话人子空间建模方法。该模型基于概率线性判别分析(PLDA)中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子,其中扬声器因子在扬声器的所有向量上共享。然后,最大似然参数估计(MLE)的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
From Monte Carlo to Las Vegas: Improving Restricted Boltzmann Machine Training Through Stopping Sets
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Purdue University(普渡大学)
我们提出了一个拉斯维加斯变换的马尔可夫链蒙特卡罗(MCMC)估计的限制玻尔兹曼机(RBM)。我们表示我们的方法马尔可夫链拉斯维加斯(MCLV)。MCLV提供统计保证,以换取随机运行时间。MCLV使用从训练数据构建的停止集,并且具有最大马尔可夫链步骤数K(称为MCLV-K)。我们提出了RBM的MCLV-K梯度估计器(LVS-K),并探讨了LVS-K和对比发散(CD-K)之间的对应关系和差异,LVS-K在MNIST数据集上显著优于CD-K训练RBM,表明MCLV是学习生成模型的一个有前途的方向。
2017-11-22 cs.LG stat.ML
Multi-layered Discriminative Restricted Boltzmann Machine with Untrained Probabilistic Layer
Yamagata University(山形大学)
极限学习机(ELM)是具有未训练参数的三层前馈神经网络,所述未训练参数在训练之前随机确定。受ELM思想的启发,提出了一种称为概率ELM(probabilistic-ELM,PELM)层的概率未训练层,并将其与判别限制玻尔兹曼机(discriminative restricted Boltzmann machine,DRBM)相结合,DRBM是一种用于解决分类问题的概率三层神经网络。所提出的模型是通过在PELM层上堆叠DRBM而获得的。所得到的模型(即,多层DRBM(MDRBM))形成概率四层神经网络。在MDRBM中,PELM层中的参数可以使用Gaussian-Bernoulli限制Boltzmann机来确定。由于PELM层,MDRBM获得了对输入噪声的强免疫力,这是MDRBM最重要的优点之一。使用一些基准数据集,MNIST,时尚MNIST,城市土地覆盖,和CIFAR-10的数值实验表明,MDRBM优于其他现有的模型,特别是在噪声鲁棒性(或,换句话说,泛化属性)。
2022-10-27 cs.AI cs.LG stat.ML
Spectral Dynamics of Learning Restricted Boltzmann Machines
Inria Saclay(法国国家信息与自动化研究所萨克雷中心)
限制玻尔兹曼机(RBM),一个重要的工具,用于机器学习,特别是无监督学习任务,从它的频谱特性的角度进行了研究。从经验观察,我们提出了一个通用的统计合奏的权重矩阵的RBM和表征其平均演变。这让我们展示了在线性区域中,RBM是如何在训练开始时运行的,数据的统计特性驱动权重矩阵的不稳定模式的选择。然后推导出一组表征非线性制度的方程,以某种方式揭示了所选模式在学习过程的后期阶段如何相互作用,并为RBM定义了确定性的学习曲线。
2017-11-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于Boltzmann Machine(BM)、Restricted Boltzmann Machine(RBM)和Deep Belief Network(DBN)的教程和综述论文。我们从概率图模型,马尔可夫随机场,吉布斯抽样,统计物理,伊辛模型和Hopfield网络的必要背景开始。然后,我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布,RBM中用于生成变量的Gibbs抽样,通过最大似然估计训练BM和RBM,以及对比发散。然后,我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后,我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Graph Signal Recovery Using Restricted Boltzmann Machines
University of Southern California(南加州大学)
我们提出了一个模型不可知的管道恢复图形信号的专家系统,利用限制玻尔兹曼机的内容可寻址存储器属性和神经网络的代表性能力。所提出的管道需要在具有干净数据的向下机器学习任务上训练的深度神经网络,该数据没有任何形式的损坏或不完整。我们表明,对深度神经网络学习的表示进行去噪通常比对数据本身进行去噪更有效。虽然这个管道可以处理任何数据集中的噪声,但它对图结构数据集特别有效。
2020-11-20 cs.AI cs.LG cs.NE
Nonnegative Restricted Boltzmann Machines for Parts-based Representations Discovery and Predictive Model Stabilization
Center for Pattern Recognition and Data Analytics, Deakin University(迪肯大学模式识别与数据分析中心)
任何机器学习系统的成功关键取决于数据的有效表示。在许多情况下,需要一个表示方案来揭示数据的基于部件的、可加性的本质。在当前的表示学习方案中,限制玻尔兹曼机(RBM)已被证明在无监督环境中非常有效。然而,当涉及到基于部件的发现时,RBM通常不会产生令人满意的结果。我们通过在模型权重中引入非负性来增强RBM的这种能力,从而产生一种称为非负限制玻尔兹曼机(NRBM)的变体。NRBM不仅可以将数据可控地分解为可解释的部分,而且还提供了一种估计数据内在非线性维数的方法,并有助于稳定线性预测模型。我们证明了我们的模型的应用程序,如手写数字识别,人脸识别,文件分类和病人再入院预后的能力。图像的分解质量与非负矩阵分解(NMF)产生的质量相当或更好,并且从文本中发现的主题特征可以以与潜在狄利克雷分配(LDA)类似的方式定性解释。特征选择在医学数据上的稳定性性能优于RBM,与NMF相当。当用于分类时,学习的特征比NMF和LDA发现的特征更具鉴别力,并且与RBM发现的特征具有可比性。
2017-08-18 cs.LG
Explainable Restricted Boltzmann Machines for Collaborative Filtering
University of Louisville(路易斯维尔大学)
大多数精确的推荐系统都是黑盒模型,隐藏了推荐背后的推理。然而,解释已经被证明可以增加用户对系统的信任,除了提供其他好处,如可感知性,这意味着能够验证推荐的有效性。准确性和透明度或可解释性之间的这种差距产生了对自动解释生成方法的兴趣。受限玻尔兹曼机(RBM)是CF的精确模型,也缺乏可解释性。在本文中,我们专注于基于RBM的协同过滤推荐,并进一步假设没有任何额外的数据源,如项目内容或用户属性。因此,我们提出了一个新的可解释的RBM技术,计算的前n个推荐列表的项目是可解释的。实验结果表明,我们的方法是有效的,在生成准确和可解释的建议。
2016-06-22 cs.LG stat.ML
Fraud detection in credit card transactions using Quantum-Assisted Restricted Boltzmann Machines
Quantum Technology Department, The Netherlands Organization for Applied Scientific Research, TNO, The Netherlands(量子技术系,荷兰应用科学研究院,荷兰)
本文提出利用量子辅助受限玻尔兹曼机进行信用卡欺诈检测,实验表明该方法在性能指标上优于经典方法,为金融系统故障检测提供了新途径。
2025-12-19 cs.LG quant-ph
Cumulative Restricted Boltzmann Machines for Ordinal Matrix Data Analysis
Deakin University(迪肯大学);Curtin University(科廷大学)
序数数据是无所不在的,几乎所有的多用户生成的反馈-问卷,偏好等。本文研究了有序数据建模与高斯限制玻尔兹曼机(RBM)。特别是,我们提出的模型架构,学习和推理过程的向量变量和矩阵变量有序数据。我们表明,我们的模型是能够捕捉潜在的意见配置文件的公民在世界各地,是竞争对手的最先进的协同过滤技术在大规模的公共数据集。因此,该模式有可能将成果管理制的应用扩展到不同的领域,如推荐系统、产品审查和专家评估。
2014-07-31 cs.IR cs.LG stat.AP
Restricted Boltzmann Machines for Robust and Fast Latent Truth Discovery
SCHUFA Holding AG, Innovation Lab(SCHUFA控股公司创新实验室)
我们解决的问题,潜在的真理发现,有限责任公司的简称,其目标是发现潜在的真实价值的实体属性存在的噪音,冲突或不完整的信息。尽管可以在文献中找到大量的算法来解决LTD问题,但对于它们在有效性(在真相发现能力方面)、效率和鲁棒性方面的整体性能知之甚少。一个实用的LTD方法应该满足所有这些特征,以便它可以应用于不同质量和清洁度的异构数据集。我们提出了一种新的算法有限责任公司,满足上述要求。该模型是基于限制玻尔兹曼机,因此创造了LTD-RBM。在各种异构和公开可用的数据集上进行的广泛实验中,LTD-RBM在有效性,效率和鲁棒性的综合考虑方面优于最先进的LTD技术。
2017-12-31 cs.LG stat.ML
Emergence of Compositional Representations in Restricted Boltzmann Machines
Ecole Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);Sorbonne Universités UPMC(索邦大学)
自动提取组成真实高维数据的复杂特征集对于实现机器学习任务的高性能至关重要。限制玻尔兹曼机(RBM)在经验上已知对于此目的是有效的,并且能够生成数据的分布式和分级表示。我们表征的结构条件(稀疏的权重,低有效温度,非线性的激活功能的隐藏单元,和适应领域保持活动在可见层)允许RBM在这样的组成阶段。证据提供了一个足够的随机RBM的统计合奏的副本分析和手写数字数据集MNIST上训练的RBM。
2017-03-02 cond-mat.dis-nn cs.LG physics.data-an
Inferring Sparsity: Compressed Sensing using Generalized Restricted Boltzmann Machines
École Normale Supérieure, PSL Research University(巴黎高等师范学院,PSL研究大学);Université Pierre et Marie Curie, Sorbonne Universités(皮埃尔和玛丽·居里大学,索邦大学);INRIA Paris(法国国家信息与自动化研究所巴黎中心)
在这项工作中,我们认为压缩感知重建$M$测量的$K$稀疏结构的信号,不具有可写的相关模型。假设一个生成的统计模型,如玻尔兹曼机,可以在一个无监督的方式对示例信号进行训练,我们演示了如何在贝叶斯信号重建框架内使用这个信号模型。通过推导出一般分布限制玻尔兹曼机的消息传递推断,我们能够将这些推断的信号模型集成到压缩感知重构的近似消息传递中。最后,我们证明了MNIST数据集,这种方法可以是非常有效的,即使是$M < K$。
2016-06-13 cond-mat.dis-nn cs.IT cs.LG
Fundamental operating regimes, hyper-parameter fine-tuning and glassiness: towards an interpretable replica-theory for trained restricted Boltzmann machines
Sapienza University of Roma(罗马第一大学);Radboud University(拉德堡德大学);Saddle Point Science Europe(鞍点科学欧洲研究院)
本文针对在单一含噪模式上训练的受限玻尔兹曼机,利用副本技巧构建统计力学框架,刻画其生成能力、控制参数导致的不同运行机制及副本对称性破缺区域。
2024-06-14 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Unifying the Stochastic Spectral Descent for Restricted Boltzmann Machines with Bernoulli or Gaussian Inputs
Duke University(杜克大学)
基于随机梯度下降的算法通常用作大多数深度学习模型的通用优化工具。受限玻尔兹曼机(RBM)是一种概率生成模型,可以堆叠以构建深度架构。对于具有Bernoulli输入的RBM,已经专门设计了诸如随机谱下降(SSD)的非欧几里德算法,以通过改进使用采样方法的梯度估计来加速收敛。然而,现有的算法和相应的理论依据依赖于假设,可能的配置的输入是有限的,像二进制变量。本文的目的是推广SSD的高斯RBM能够建模连续数据,而不管前面的假设。在非欧参数空间中,通过推导基于Schatten无穷范数的RBM的对数配分函数的上界,提出了梯度下降法.我们的经验表明,SSD的优势和改进随机梯度下降(SGD)。
2017-03-28 cs.LG stat.ML
Parallelized Training of Restricted Boltzmann Machines using Markov-Chain Monte Carlo Methods
受限玻尔兹曼机(RBM)是一种生成式随机神经网络,可以应用于推荐系统中的协同过滤技术。在推荐系统中,RBM模型的预测精度通常优于其他模型。然而,训练RBM模型涉及马尔可夫链蒙特卡罗(MCMC)方法,这是计算昂贵的。在本文中,我们已经成功地应用了分布式并行训练使用Horovod框架,以提高RBM模型的训练时间。我们的测试表明,RBM模型的分布式训练方法具有良好的扩展效率。我们还表明,这种方法有效地减少了训练时间略超过12分钟64个CPU节点相比,5个小时的单个CPU节点。这将使成果管理制模式更实际地适用于推荐系统。
2019-10-14 cs.DC cs.LG stat.ML
Learning Restricted Boltzmann Machines with greedy quantum search
Southwest Jiaotong University(西南交通大学);National University of Singapore(新加坡国立大学);Centre for Quantum Technologies(量子科技中心)
针对铁磁性和局部一致性RBM的结构学习问题,提出基于贪婪量子搜索的量子算法,利用可见节点样本推断两跳邻居并恢复图结构,相较经典算法获得多项式加速。
2023-09-25 cs.LG quant-ph
Discriminative conditional restricted Boltzmann machine for discrete choice and latent variable modelling
Ryerson University(瑞尔森大学);Polytechnique Montréal(蒙特利尔高等理工学院)
估计潜在行为的传统方法通常使用主观的态度问题,并且这些调查问题可能并不总是可用的。我们假设,另一种方法可以用于潜变量估计通过无向图形模型。例如,非参数人工神经网络。在这项研究中,我们探索使用生成非参数建模方法来估计潜变量的先验选择分布,而无需传统的使用测量指标。一个受限制的玻尔兹曼机被用来表示潜在的行为因素,通过分析观察到的选择和解释变量之间的关系信息。该算法适用于离散选择场景中的潜在行为分析,我们使用一种图形化的方法来评估和理解估计参数向量值的语义含义。我们说明了我们的方法在金融工具选择数据集上,并对参数的敏感性和稳定性进行统计分析。我们的研究结果表明,通过非参数统计检验,我们可以提取有用的潜在信息的行为的潜在结构,通过机器学习方法,并提出强大的和显着的影响选择过程。此外,我们的建模框架通过采样和验证显示了输入可变性的鲁棒性。
2017-06-01 cs.LG
Learning Restricted Boltzmann Machines with Arbitrary External Fields
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究了带有隐变量的图模型的学习问题。我们给出了第一个算法学习局部一致(铁磁或反铁磁)限制玻尔兹曼机(或RBM)与{ \em任意}外场。我们的算法在样本复杂度和运行时间上具有对维度的最佳依赖性,但是它对RBM的底层参数具有次优依赖性。先前的结果仅针对具有{\em一致}外部场(符号必须相同)\cite{bresler2018learning}的{ \em铁磁} RBM建立。所提出的算法强烈依赖于磁化强度,这在我们的设置中不成立。我们证明了以下关键的结构性质:即使在任意外场的存在下,对于共享一个共同潜在邻居的任何两个观察到的节点,协方差是高的。这使我们能够设计一个简单的贪心算法,最大化协方差迭代地建立每个顶点的邻域。
2019-06-15 cs.DS cs.LG stat.ML
A Generative Restricted Boltzmann Machine Based Method for High-Dimensional Motion Data Modeling
Rensselaer Polytechnic Institute(伦斯勒理工学院)
许多计算机视觉应用涉及在高维运动数据中建模复杂的时空模式。最近,限制玻尔兹曼机(RBM)已被广泛用于捕获和表示空间模式在一个单一的图像或时间模式在几个时间片。为了模拟全局动态和局部空间相互作用,我们建议在理论上扩展传统的RBM,通过在能量函数中引入另一项来明确地模拟输入数据中的局部空间相互作用。然后,提出了一种学习方法来执行所提出的模型的有效学习。我们进一步介绍了一种新的多类分类方法,可以有效地估计不可行的分区功能的不同RBM,使RBM被视为一个生成模型的分类目的。改进的RBM模型在两个计算机视觉应用:面部表情识别和人体动作识别上进行了评估。在基准数据库上的实验结果证明了该算法的有效性。
2017-10-21 cs.CV cs.LG
Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Department of Physics, University of California, San Diego(加利福尼亚大学圣地亚哥分校物理系)
受限玻尔兹曼机(RBM)是一类功能强大的生成模型,但它们的训练需要计算梯度,与典型损失函数上的监督反向传播不同,甚至难以近似。在这里,我们证明了将标准梯度更新与从RBM基态(模式)的样本构建的偏离梯度的方向适当地结合起来,与传统的梯度方法相比,大大提高了它们的训练。这种方法,我们称之为模式训练,除了较低的收敛相对熵(KL发散)外,还可以促进更快的训练和稳定性。随着这种方法的稳定性和收敛性的证明,我们还证明了它的有效性,在合成数据集,我们可以计算KL分歧,以及一个更大的机器学习标准,MNIST。我们建议的模式训练是非常通用的,因为它可以与任何给定的梯度方法结合应用,并且很容易扩展到更一般的基于能量的神经网络结构,如深度,卷积和不受限制的玻尔兹曼机。
2020-01-19 cs.LG stat.ML
Phase transitions in Restricted Boltzmann Machines with generic priors
Università del Salento(萨伦托大学);Universität Zürich(苏黎世大学);King College London(伦敦国王学院);Scuola Normale Superiore(比萨高等师范学校)
我们研究广义限制玻尔兹曼机与通用先验的单位和权重,布尔和高斯变量之间的插值。我们提出了一个完整的分析,这些系统的副本对称相图,这可以被视为广义Hopfield模型。我们强调检索阶段的推理和学习过程中的作用,我们表明,检索是强大的一大类的重量和单位先验,超出了标准的Hopfield方案。此外,我们展示了顺磁相界如何直接关系到良好的泛化在教师-学生的情况下,无监督学习所需的训练集的最佳大小。
2017-09-06 cond-mat.dis-nn cs.LG physics.data-an
Statistical mechanics of unsupervised feature learning in a restricted Boltzmann machine with binary synapses
RIKEN Brain Science Institute(理化学研究所脑科学研究所)
揭示未标记数据中隐藏的特征被称为无监督特征学习,它在预训练深度神经网络中起着重要作用。在这里,我们提供了一个统计力学分析的无监督学习的限制玻尔兹曼机与二进制突触。推导了一个用于推断隐藏特征的消息传递方程,并分析了该方程的各种变形。通过复型理论的统计分析描述了模型的热力学性质。我们的分析证实了熵危机之前的消息传递方程的不收敛,这表明一个不连续的相变作为一个关键特征的限制玻尔兹曼机。连续相变也被确认取决于嵌入的特征强度的数据。副本对称假设下的平均场结果与通过在有限大小的单个实例上运行消息传递算法获得的结果一致。有趣的是,在近似的Hopfield模型中,熵危机是不存在的,而是观察到连续的相变。我们还开发了一个迭代方程来推断隐藏在数据中的超参数(温度),这在物理上相当于迭代地施加西森条件。我们的研究为理解受限玻尔兹曼机器学习的热力学性质提供了新的见解,也为构建简化的深度网络提供了重要的理论基础。
2017-03-07 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Fast Ensemble Learning Using Adversarially-Generated Restricted Boltzmann Machines
São Paulo State University(圣保罗州立大学)
在过去的几年里,机器学习已被应用于各种任务,从图像分类到自动驾驶和自然语言处理。受限玻尔兹曼机(RBM)最近受到关注,并依赖于基于能量的结构来建模数据概率分布。尽管如此,这种技术容易受到对抗性操纵,即,轻微或深刻修改的数据。克服对抗问题的另一种方法是生成对抗网络(GAN),它能够对数据分布进行建模,并生成类似于原始数据的对抗数据。因此,这项工作提出使用对抗学习人工生成RBM,其中预训练的权重矩阵作为GAN输入。此外,它还建议对大量的矩阵进行采样,并将它们组合成集合,从而减轻训练新模型的负担。实验结果证明了所提出的方法在图像重建和图像分类任务下的适用性,并描述了人工集成是如何替代预训练大量RBM的。
2021-01-04 cs.CV cs.LG