Restricted Boltzmann Machines: Introduction and Review
University of California, Los Angeles（加州大学洛杉矶分校）
受限玻尔兹曼机是一个随机单元网络，在成对的可见和隐藏单元之间具有无向相互作用。该模型作为深度学习架构的构建块得到推广，并在应用和理论机器学习中继续发挥重要作用。受限玻尔兹曼机具有丰富的结构，与几何、应用代数、概率、统计、机器学习和其他领域有联系。对这些模型的分析本身就很有吸引力，也是一个平台，可以将数学工具与隐变量图形模型相结合并加以推广。本文介绍了限制玻尔兹曼机的数学分析，回顾了最近的结果的几何集合的概率分布所代表的这些模型，并提出了一些进一步研究的方向。
2018-06-19 cs.IT cs.LG math.IT
Geometry of the restricted Boltzmann machine
限制玻尔兹曼机是一个二进制随机变量的图形模型。基于一个完全的二分图分离隐藏和观察变量，它是因子分析模型的二进制模拟。我们从代数统计和热带几何的角度研究这个图形模型，首先观察到它的Zagliki闭包是一个Hadamard权力的第一割线品种的Segre品种的投影线。我们推导出的热带模型的尺寸公式，我们用它来表明，限制玻尔兹曼机在许多情况下是可识别的。我们的方法包括编码理论和线性阈值函数的几何。
2009-08-30 math.AG math.MG stat.ML
Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
ALBERT Inc.（阿尔伯特公司）；Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究生院）
泛化是机器学习中最重要的问题之一。在这项研究中，我们考虑在限制玻尔兹曼机（RBM）的推广。我们提出了一个多值隐变量的RBM，这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型，通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
2020-01-08 cs.LG stat.ML
Advanced Mean Field Theory of Restricted Boltzmann Machine
RIKEN Brain Science Institute（理化学研究所脑科学研究所）
由于对数似然函数的梯度计算，限制玻尔兹曼机的学习通常是困难的。为了描述受限玻尔兹曼机的网络状态统计特性，我们在Bethe近似的基础上发展了一种改进的平均场论。我们的理论提供了一个有效的消息传递为基础的方法，不仅评估的配分函数（自由能），但它的梯度，而不需要统计采样。计算昂贵的采样为基础的方法所获得的结果进行了比较。
2015-05-02 cond-mat.stat-mech cs.LG q-bio.NC
Accelerate Monte Carlo Simulations with Restricted Boltzmann Machines
尽管蒙特卡罗方法具有特殊的灵活性和流行性，但在解决具有挑战性的统计物理问题时，它往往会遇到混合时间慢的问题。我们提出了一个通用策略，通过采用机器学习社区的思想和技术来克服这一困难。我们将物理模型的非归一化概率拟合到前馈神经网络中，并将其重新解释为受限玻尔兹曼机。然后，利用其特征检测能力，我们利用限制玻尔兹曼机进行有效的蒙特卡罗更新，并加快模拟原始的物理系统。我们实现了Falicov-Kimball模型的这些想法，并证明了在相变点附近改进的接受率和自相关时间。
2016-10-13 cond-mat.str-el physics.comp-ph stat.ML
Sparse Group Restricted Boltzmann Machines
由于玻尔兹曼机的学习通常非常缓慢，因此需要限制隐藏层内的连接。然而，隐藏单元的结果状态表现出统计依赖性。基于这一观察，我们建议使用$l_1/l_2$正则化的激活可能性的限制玻尔兹曼机的隐藏单元，以捕捉本地的依赖关系之间的隐藏单元。这种正则化不仅鼓励许多组中的隐藏单元在给定观测数据的情况下不活动，而且还使组内的隐藏单元相互竞争以建模观测数据。因此，RBM上的$l_1/l_2$正则化在组和隐藏单元级别上都产生稀疏性。我们将用正则化器\emph{sparse group}训练的RBM称为RBM。所提出的稀疏组RBM被应用于三个任务：自然图像的补丁建模，手写数字建模和预处理用于分类任务的深度网络。此外，我们说明正则化也可以应用于深度玻尔兹曼机，这导致稀疏群深度玻尔兹曼机。当适应的MNIST数据集，一个两层稀疏群玻尔兹曼机实现了$0.84\%$，这是，据我们所知，最好的公布结果的置换不变版本的MNIST任务的错误率。
2010-08-30 stat.ML
Refinements of Universal Approximation Results for Deep Belief Networks and Restricted Boltzmann Machines
我们改进了最近发表的关于限制玻尔兹曼机（RBM）和深度信念网络（DBN）的资源的结果，使它们成为通用近似器。我们证明了长度为n的二进制向量集上的任何分布p都可以被具有k-1个隐藏单元的RBM任意地很好地近似，其中k是只有一个条目不同的二进制向量对的最小数量，使得它们的并集包含p的支持集。在重要的情况下，这个数量是p的支持集的基数的一半。我们构造了具有2^n/2（n-b）的DBN，b ~ log（n），宽度为n的隐藏层，能够任意好地逼近{0，1}^n上的任何分布。这证实了Le Roux和Bengio 2010提出的一个猜想。
2010-07-26 stat.ML
Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
Sapienza, University of Rome（罗马大学（萨皮恩扎））
在这项工作中，提出了一种基于无监督学习的迭代算法，特别是在限制玻尔兹曼机（RBM）上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $，并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例，说明了该算法的有效性.
2019-05-02 cs.LG math.OC stat.ML
Temporal Autoencoding Restricted Boltzmann Machine
Freie Universität Berlin（柏林自由大学）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Berlin Institute of Technology（柏林工业大学）
人们已经做了很多工作来改进和表征深度学习算法所学习的感受野。很多工作都集中在开发在自然图像数据集上实施稀疏约束时学习的类似Gabor的过滤器。然而，很少有工作研究这些过滤器如何扩展到时间域，即通过对自然电影的训练。在这里，我们在已建立的时间深度学习算法中研究了这个问题，以及这里提出的一种新的学习范式，时间自动编码限制玻尔兹曼机（TARBM）。
2012-10-31 cs.AI cs.LG stat.ML
Perception-Distortion Trade-off with Restricted Boltzmann Machines
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）；University of Utah（犹他大学）
在这项工作中，我们引入了一个新的程序应用限制玻尔兹曼机（RBM）丢失的数据推理任务，基于线性化的有效能量函数的分布观测。我们比较我们提出的程序的性能与使用现有的重建程序训练不完整的数据。我们把这些性能比较的感知失真权衡观察到的其他数据重建任务，到目前为止，仍然是未开发的任务依赖于不完整的训练数据的上下文中。
2019-10-21 cs.CV cs.LG stat.ML
Classification of Sets using Restricted Boltzmann Machines
A2iA SA（A2iA股份公司）；University of Toronto（多伦多大学）
我们考虑的问题时，输入对应的向量集的分类。此设置出现在许多问题中，例如包含多个页面的邮件的分类，具有多个部分的网站或已预先分割成较小区域的图像的分类。我们提出了广义的限制玻尔兹曼机（RBM）是适当的，在这种情况下，并探讨如何将不同的假设之间的关系的输入集和目标类内的RBM。在标准的多实例学习数据集上的实验中，我们展示了基于RBM的方法的竞争力，并将所提出的变体应用于传入邮件分类问题。
2011-03-25 cs.LG stat.ML
Crime incidents embedding using restricted Boltzmann machines
Georgia Tech Institute of People and Technology（佐治亚理工学院人与技术研究所）
我们提出了一种新的方法来检测相关的犯罪系列，通过高斯-伯努利限制玻尔兹曼机（RBM）的犯罪记录的叙述通过无监督学习的潜在特征嵌入。这是一种与以前的犯罪分析工作截然不同的方法，以前的犯罪分析工作通常只考虑时间和地点，最多考虑类别信息。在嵌入之后，相关案例在欧几里得特征空间中彼此更接近，而不相关案例彼此远离，这是一个很好的性质，可以使相关案例的检测和聚类等后续分析成为可能。亚特兰大警察局手工标记的几个系列的相关犯罪事件的实验揭示了我们的嵌入方法的承诺。
2018-02-14 cs.LG stat.ML
A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines
Technische Universität Berlin（柏林工业大学）
我们定义了一个消息传递算法计算磁化在受限玻尔兹曼机，这是伊辛模型的二分图上引入的神经网络模型的概率分布自旋配置。为了模拟自旋耦合之间的非平凡统计依赖关系，我们假设矩形耦合矩阵是从任意双旋转不变随机矩阵系综中提取的。利用统计力学中的动力泛函方法，对算法在大系统极限下的动力学行为进行了精确的分析。我们证明了该算法的全局收敛性的稳定性准则下，计算渐近收敛速度表现出良好的协议与数值模拟。
2020-05-04 cond-mat.dis-nn cs.LG stat.ML
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School（孝感高级中学）
在这篇文章中，我们扩展了卷积限制玻尔兹曼机的传统框架，通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征，该乘法单元捕捉输入之间的关系。在许多情况下，两个以上的映射是强相关的，所以明智的做法是让乘法单元学习更多输入映射之间的关系，换句话说，找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序，我们开发了一种学习方法，其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Learning from multivariate discrete sequential data using a restricted Boltzmann machine model
Escuela Superior Politecnica del Litoral (ESPOL)（埃斯波莱大学（ESPOL））
受限玻尔兹曼机（RBM）是一种生成式神经网络模型，具有许多新颖的应用，如协同滤波和声学建模。成果管理制缺乏保持记忆的能力，因此不适合于动态数据建模，如时间序列分析。在本文中，我们解决这个问题，提出了p-RBM模型，一个推广的常规RBM模型，能够保留记忆的p过去的状态。我们进一步展示了如何使用对比散度对p-RBM模型进行训练，并在考虑NASDAQ-100指数的100只股票的股票市场方向预测问题上对我们的模型进行了测试。结果表明，p-RBM提供了有前途的预测潜力。
2018-04-28 cs.LG stat.ML
Self-regularizing restricted Boltzmann machines
针对普通限制玻尔兹曼机的巨正则扩展，我们提出了一种基于能量的特征提取模型，该模型使用一层大小不等的隐藏单元。通过适当地选择化学势和给定足够大数量的隐藏资源，生成模型能够以极小的泛化误差有效地推导出学习目标数据所需的最佳隐藏单元数量。巨正则系综形式上的简单性与平均场论中快速收敛的近似性相结合，使我们能够在训练过程中重复使用成熟的数值算法，如对比发散，只需进行微小的修改。作为一个原则的证明，并展示了巨正则玻尔兹曼机的新功能，我们训练我们的生成模型的数据从伊辛理论和MNIST。
2019-12-09 cond-mat.dis-nn cond-mat.stat-mech hep-th
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.（Stel计算机系统有限公司）
提出了一种基于高斯-二元限制玻尔兹曼机（GRBM）的说话人子空间建模方法。该模型基于概率线性判别分析（PLDA）中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子，其中扬声器因子在扬声器的所有向量上共享。然后，最大似然参数估计（MLE）的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
From Monte Carlo to Las Vegas: Improving Restricted Boltzmann Machine Training Through Stopping Sets
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Purdue University（普渡大学）
我们提出了一个拉斯维加斯变换的马尔可夫链蒙特卡罗（MCMC）估计的限制玻尔兹曼机（RBM）。我们表示我们的方法马尔可夫链拉斯维加斯（MCLV）。MCLV提供统计保证，以换取随机运行时间。MCLV使用从训练数据构建的停止集，并且具有最大马尔可夫链步骤数K（称为MCLV-K）。我们提出了RBM的MCLV-K梯度估计器（LVS-K），并探讨了LVS-K和对比发散（CD-K）之间的对应关系和差异，LVS-K在MNIST数据集上显著优于CD-K训练RBM，表明MCLV是学习生成模型的一个有前途的方向。
2017-11-22 cs.LG stat.ML
Multi-layered Discriminative Restricted Boltzmann Machine with Untrained Probabilistic Layer
Yamagata University（山形大学）
极限学习机（ELM）是具有未训练参数的三层前馈神经网络，所述未训练参数在训练之前随机确定。受ELM思想的启发，提出了一种称为概率ELM（probabilistic-ELM，PELM）层的概率未训练层，并将其与判别限制玻尔兹曼机（discriminative restricted Boltzmann machine，DRBM）相结合，DRBM是一种用于解决分类问题的概率三层神经网络。所提出的模型是通过在PELM层上堆叠DRBM而获得的。所得到的模型（即，多层DRBM（MDRBM））形成概率四层神经网络。在MDRBM中，PELM层中的参数可以使用Gaussian-Bernoulli限制Boltzmann机来确定。由于PELM层，MDRBM获得了对输入噪声的强免疫力，这是MDRBM最重要的优点之一。使用一些基准数据集，MNIST，时尚MNIST，城市土地覆盖，和CIFAR-10的数值实验表明，MDRBM优于其他现有的模型，特别是在噪声鲁棒性（或，换句话说，泛化属性）。
2022-10-27 cs.AI cs.LG stat.ML
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于Boltzmann Machine（BM）、Restricted Boltzmann Machine（RBM）和Deep Belief Network（DBN）的教程和综述论文。我们从概率图模型，马尔可夫随机场，吉布斯抽样，统计物理，伊辛模型和Hopfield网络的必要背景开始。然后，我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布，RBM中用于生成变量的Gibbs抽样，通过最大似然估计训练BM和RBM，以及对比发散。然后，我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后，我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Explainable Restricted Boltzmann Machines for Collaborative Filtering
University of Louisville（路易斯维尔大学）
大多数精确的推荐系统都是黑盒模型，隐藏了推荐背后的推理。然而，解释已经被证明可以增加用户对系统的信任，除了提供其他好处，如可感知性，这意味着能够验证推荐的有效性。准确性和透明度或可解释性之间的这种差距产生了对自动解释生成方法的兴趣。受限玻尔兹曼机（RBM）是CF的精确模型，也缺乏可解释性。在本文中，我们专注于基于RBM的协同过滤推荐，并进一步假设没有任何额外的数据源，如项目内容或用户属性。因此，我们提出了一个新的可解释的RBM技术，计算的前n个推荐列表的项目是可解释的。实验结果表明，我们的方法是有效的，在生成准确和可解释的建议。
2016-06-22 cs.LG stat.ML
Cumulative Restricted Boltzmann Machines for Ordinal Matrix Data Analysis
Deakin University（迪肯大学）；Curtin University（科廷大学）
序数数据是无所不在的，几乎所有的多用户生成的反馈-问卷，偏好等。本文研究了有序数据建模与高斯限制玻尔兹曼机（RBM）。特别是，我们提出的模型架构，学习和推理过程的向量变量和矩阵变量有序数据。我们表明，我们的模型是能够捕捉潜在的意见配置文件的公民在世界各地，是竞争对手的最先进的协同过滤技术在大规模的公共数据集。因此，该模式有可能将成果管理制的应用扩展到不同的领域，如推荐系统、产品审查和专家评估。
2014-07-31 cs.IR cs.LG stat.AP
Approximate Message Passing with Restricted Boltzmann Machine Priors
近似消息传递（AMP）已被证明是一个很好的信号推断和压缩感知问题的统计方法。AMP框架在信号先验的选择中提供了模块化;在这里，我们提出了高斯-伯努利先验的分层形式，它利用在信号支持上训练的受限玻尔兹曼机（RBM）来推动重建性能超越简单的iid先验的信号，其支持可以很好地由训练的二进制RBM表示。我们提出并分析了两种RBM分解方法，并演示了这些方法如何影响我们提出的算法中的信号重建性能。最后，使用MNIST手写数字数据集，我们通过实验表明，使用RBM允许AMP接近Oracle支持性能。
2015-12-10 cond-mat.dis-nn cs.IT math.IT
Restricted Boltzmann Machines for Robust and Fast Latent Truth Discovery
SCHUFA Holding AG, Innovation Lab（SCHUFA控股公司创新实验室）
我们解决的问题，潜在的真理发现，有限责任公司的简称，其目标是发现潜在的真实价值的实体属性存在的噪音，冲突或不完整的信息。尽管可以在文献中找到大量的算法来解决LTD问题，但对于它们在有效性（在真相发现能力方面）、效率和鲁棒性方面的整体性能知之甚少。一个实用的LTD方法应该满足所有这些特征，以便它可以应用于不同质量和清洁度的异构数据集。我们提出了一种新的算法有限责任公司，满足上述要求。该模型是基于限制玻尔兹曼机，因此创造了LTD-RBM。在各种异构和公开可用的数据集上进行的广泛实验中，LTD-RBM在有效性，效率和鲁棒性的综合考虑方面优于最先进的LTD技术。
2017-12-31 cs.LG stat.ML
Restricted Boltzmann Machine Flows and The Critical Temperature of Ising models
我们探索了通过神经网络温度计映射到正方形晶格伊辛模型温度空间上的限制玻尔兹曼机（RBM）迭代采样（流）的替代实验设置。引入这个框架是为了探索基于RBM的深度神经网络和重整化群（RG）之间的联系。已经发现，在一定条件下，用伊辛自旋组态训练的RBM的流动在温度空间中接近临界值$ k_B T_c / J \approx 2.269$附近的值。在本文中，我们考虑没有模型拓扑信息的数据集，认为神经网络温度计不是检测RBM是否学习了尺度不变性的准确方法。
2022-03-29 cond-mat.dis-nn cond-mat.stat-mech physics.comp-ph
Emergence of Compositional Representations in Restricted Boltzmann Machines
Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；Sorbonne Universités UPMC（索邦大学）
自动提取组成真实高维数据的复杂特征集对于实现机器学习任务的高性能至关重要。限制玻尔兹曼机（RBM）在经验上已知对于此目的是有效的，并且能够生成数据的分布式和分级表示。我们表征的结构条件（稀疏的权重，低有效温度，非线性的激活功能的隐藏单元，和适应领域保持活动在可见层）允许RBM在这样的组成阶段。证据提供了一个足够的随机RBM的统计合奏的副本分析和手写数字数据集MNIST上训练的RBM。
2017-03-02 cond-mat.dis-nn cs.LG physics.data-an
Inferring Sparsity: Compressed Sensing using Generalized Restricted Boltzmann Machines
École Normale Supérieure, PSL Research University（巴黎高等师范学院，PSL研究大学）；Université Pierre et Marie Curie, Sorbonne Universités（皮埃尔和玛丽·居里大学，索邦大学）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）
在这项工作中，我们认为压缩感知重建$M$测量的$K$稀疏结构的信号，不具有可写的相关模型。假设一个生成的统计模型，如玻尔兹曼机，可以在一个无监督的方式对示例信号进行训练，我们演示了如何在贝叶斯信号重建框架内使用这个信号模型。通过推导出一般分布限制玻尔兹曼机的消息传递推断，我们能够将这些推断的信号模型集成到压缩感知重构的近似消息传递中。最后，我们证明了MNIST数据集，这种方法可以是非常有效的，即使是$M < K$。
2016-06-13 cond-mat.dis-nn cs.IT cs.LG
Unifying the Stochastic Spectral Descent for Restricted Boltzmann Machines with Bernoulli or Gaussian Inputs
Duke University（杜克大学）
基于随机梯度下降的算法通常用作大多数深度学习模型的通用优化工具。受限玻尔兹曼机（RBM）是一种概率生成模型，可以堆叠以构建深度架构。对于具有Bernoulli输入的RBM，已经专门设计了诸如随机谱下降（SSD）的非欧几里德算法，以通过改进使用采样方法的梯度估计来加速收敛。然而，现有的算法和相应的理论依据依赖于假设，可能的配置的输入是有限的，像二进制变量。本文的目的是推广SSD的高斯RBM能够建模连续数据，而不管前面的假设。在非欧参数空间中，通过推导基于Schatten无穷范数的RBM的对数配分函数的上界，提出了梯度下降法.我们的经验表明，SSD的优势和改进随机梯度下降（SGD）。
2017-03-28 cs.LG stat.ML
Parallelized Training of Restricted Boltzmann Machines using Markov-Chain Monte Carlo Methods
受限玻尔兹曼机（RBM）是一种生成式随机神经网络，可以应用于推荐系统中的协同过滤技术。在推荐系统中，RBM模型的预测精度通常优于其他模型。然而，训练RBM模型涉及马尔可夫链蒙特卡罗（MCMC）方法，这是计算昂贵的。在本文中，我们已经成功地应用了分布式并行训练使用Horovod框架，以提高RBM模型的训练时间。我们的测试表明，RBM模型的分布式训练方法具有良好的扩展效率。我们还表明，这种方法有效地减少了训练时间略超过12分钟64个CPU节点相比，5个小时的单个CPU节点。这将使成果管理制模式更实际地适用于推荐系统。
2019-10-14 cs.DC cs.LG stat.ML
Learning Restricted Boltzmann Machines with Arbitrary External Fields
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了带有隐变量的图模型的学习问题。我们给出了第一个算法学习局部一致（铁磁或反铁磁）限制玻尔兹曼机（或RBM）与{ \em任意}外场。我们的算法在样本复杂度和运行时间上具有对维度的最佳依赖性，但是它对RBM的底层参数具有次优依赖性。先前的结果仅针对具有{\em一致}外部场（符号必须相同）\cite{bresler2018learning}的{ \em铁磁} RBM建立。所提出的算法强烈依赖于磁化强度，这在我们的设置中不成立。我们证明了以下关键的结构性质：即使在任意外场的存在下，对于共享一个共同潜在邻居的任何两个观察到的节点，协方差是高的。这使我们能够设计一个简单的贪心算法，最大化协方差迭代地建立每个顶点的邻域。
2019-06-15 cs.DS cs.LG stat.ML
Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Physics, University of California, San Diego（加利福尼亚大学圣地亚哥分校物理系）
受限玻尔兹曼机（RBM）是一类功能强大的生成模型，但它们的训练需要计算梯度，与典型损失函数上的监督反向传播不同，甚至难以近似。在这里，我们证明了将标准梯度更新与从RBM基态（模式）的样本构建的偏离梯度的方向适当地结合起来，与传统的梯度方法相比，大大提高了它们的训练。这种方法，我们称之为模式训练，除了较低的收敛相对熵（KL发散）外，还可以促进更快的训练和稳定性。随着这种方法的稳定性和收敛性的证明，我们还证明了它的有效性，在合成数据集，我们可以计算KL分歧，以及一个更大的机器学习标准，MNIST。我们建议的模式训练是非常通用的，因为它可以与任何给定的梯度方法结合应用，并且很容易扩展到更一般的基于能量的神经网络结构，如深度，卷积和不受限制的玻尔兹曼机。
2020-01-19 cs.LG stat.ML
Phase transitions in Restricted Boltzmann Machines with generic priors
Università del Salento（萨伦托大学）；Universität Zürich（苏黎世大学）；King College London（伦敦国王学院）；Scuola Normale Superiore（比萨高等师范学校）
我们研究广义限制玻尔兹曼机与通用先验的单位和权重，布尔和高斯变量之间的插值。我们提出了一个完整的分析，这些系统的副本对称相图，这可以被视为广义Hopfield模型。我们强调检索阶段的推理和学习过程中的作用，我们表明，检索是强大的一大类的重量和单位先验，超出了标准的Hopfield方案。此外，我们展示了顺磁相界如何直接关系到良好的泛化在教师-学生的情况下，无监督学习所需的训练集的最佳大小。
2017-09-06 cond-mat.dis-nn cs.LG physics.data-an
Conditional Restricted Boltzmann Machines for Cold Start Recommendations
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；School of Information Science and Engineering, University of Chinese Academy of Sciences（中国科学院大学信息科学与工程学院）
受限玻尔兹曼机（RBM）已经成功地应用于推荐系统中。然而，与大多数其他协同过滤技术一样，它不能解决冷启动问题，因为没有对新项目的评级。本文首先应用条件RBM（CRBM），它可以考虑额外的信息，并表明CRBM可以很好地解决冷启动问题，特别是额定值预测任务。CRBM自然地将内容和协作数据结合在一个可以有效适应的框架下。实验表明，CRBM可以媲美矩阵分解模型，而从前一个模型学习的隐藏特征更容易被解释。
2014-08-01 cs.IR cs.LG stat.ML
Effectively Trainable Semi-Quantum Restricted Boltzmann Machine
Russian Quantum Center（俄罗斯量子中心）；National University of Science and Technology MISiS（国立科学技术大学MISiS）；National Research Nuclear University MEPhI（国立研究型核大学MEPhI）
我们提出了一个新的量子模型的限制玻尔兹曼机（RBM），其中可见的单位仍然是经典的，而隐藏的单位被量化为非相互作用的费米子。费米子的自由运动与可见光单位的经典信号参数耦合。该模型具有量子行为，例如隐藏单元之间的相干性。数值实验表明，这一事实使它比经典的RBM具有相同数量的隐藏单元更强大。与此同时，与量子玻尔兹曼机（QBM）的其他方法相比，所提出的模型的一个显着优点是它在经典计算机上是完全可解和有效可训练的：对数似然梯度相对于其参数有一个封闭的表达式。这一事实使它不仅作为一个假设的量子模拟器的模型，而且作为一个量子启发的经典机器学习算法。
2021-02-11 cond-mat.dis-nn cs.LG stat.ML
Enhanced Factored Three-Way Restricted Boltzmann Machines for Speech Detection
在这封信中，我们提出了增强因子三路限制玻尔兹曼机（EFTW-RBM）的语音检测。所提出的模型通过乘以第三单元的动态状态来结合条件特征学习，这允许对可见-隐藏节点对进行调制。代替以递归方式将语音的先前帧堆叠为第三单元，相关加权系数被分配给上下文相邻帧。具体而言，阈值函数被设计为捕获长期特征并混合全局存储的语音结构。引入因子化的低秩近似来降低三维相互作用张量的参数，并对该参数施加非负约束以解决稀疏特性。通过ROC曲线下面积（AUC）和信号失真率（SDR）的验证表明，我们的方法优于几种现有的1D和2D（即，时域和时频域）语音检测算法。
2017-04-20 cs.LG cs.SD stat.ML
Gaussian-binary Restricted Boltzmann Machines on Modeling Natural Image Statistics
Ruhr-Universität Bochum（波鸿鲁尔大学）
本文从密度模型的角度对高斯-二元限制玻尔兹曼机进行了理论分析。该分析的关键方面是表明GRBM可以被制定为高斯的约束混合，这使得更好地了解模型的能力和局限性。我们表明，GRBM能够学习有意义的功能，在一个二维的盲声源分离任务和自然图像建模。此外，我们发现，在训练GRBM报告的困难是由于训练算法的失败，而不是模型本身。基于我们的分析，我们能够提出几个训练配方，这使得我们的实验中成功和快速的训练。最后，我们讨论了GRBMs的关系，已提出了几个修改，以改善模型。
2014-01-23 cs.LG cs.NE stat.ML
Conditional Restricted Boltzmann Machines for Structured Output Prediction
University of Toronto（多伦多大学）
条件限制玻尔兹曼机（CRBM）是一种丰富的概率模型，最近已被应用于广泛的问题，包括协同过滤，分类和建模运动捕捉数据。虽然在训练非条件RBM方面取得了很大进展，但这些算法不适用于条件模型，并且几乎没有关于训练和生成结构化输出问题的条件RBM预测的工作。我们首先认为，标准的基于对比发散的学习可能不适合训练CRBM。然后，我们确定两种不同类型的结构化输出预测问题，并提出了一种改进的学习算法。第一种问题类型是输出空间具有任意结构但可能的输出配置集合相对较小的问题，例如在多标签分类中。第二个问题是输出空间是任意结构的，但输出空间的可变性要大得多，例如在图像去噪或像素标记中。我们表明，新的学习算法可以更好地工作比对比发散这两种类型的问题。
2012-02-14 cs.LG stat.ML
Training Restricted Boltzmann Machines on Word Observations
University of Toronto（多伦多大学）；Harvard University（哈佛大学）；Université de Sherbrooke（舍布鲁克大学）
受限玻尔兹曼机（RBM）是一种灵活的工具，复杂的数据建模，但有显着的计算困难，使用RBM模型高维多项式观测。在自然语言处理应用中，单词自然地由K元离散分布建模，其中K由词汇大小确定并且可以很容易地以数十万计。传统的基于单词观测训练RBM的方法是有限的，因为它需要在块吉布斯更新期间对K路softmax可见单元的状态进行采样，这是一种在K中进行时间线性的操作。在这项工作中，我们解决这个问题，采用更一般的一类马尔可夫链蒙特卡罗算子的可见单位，产生更新的计算复杂性独立于K。我们证明了我们的方法的成功，通过使用比以前可行的更大的词汇表在数亿个单词n-gram上训练RBM，并使用学习的功能来提高分块和情感分类任务的性能，在后者上实现最先进的结果。
2012-07-05 cs.LG stat.ML
Combining Restricted Boltzmann Machines with Neural Networks for Latent Truth Discovery
SCHUFA Holding AG（SCHUFA控股股份公司）
潜在真理发现（Latent truth discovery，LTD）是指将来自不同来源的多个断言聚合起来，以估计关于实体的断言的可信度的问题。在缺乏基础事实的情况下，这个问题是非常具有挑战性的，当一些来源提供相互矛盾的主张，而另一些来源根本没有主张时。在这项工作中，我们提供了一个无监督的随机推理过程上的模型，结合限制玻尔兹曼机与前馈神经网络，以准确地推断来源的可靠性，以及对实体的陈述的可验证性。与先前的工作相比，我们的方法突出了（1）通过允许并入关于源和声明的任意特征，（2）通过从每个源的可靠性向可靠性函数进行概括，并且因此（3）即使对于没有提供或很少提供声明的源，也能够估计源可靠性，（4）通过建立在高效和可扩展的随机推理算法上，和（5）通过以相当大的幅度超过最新技术水平。
2018-07-27 cs.AI cs.LG stat.ML
Properties and Bayesian fitting of restricted Boltzmann machines
Duke University（杜克大学）；Iowa State University（爱荷华州立大学）
受限玻尔兹曼机（RBM）是为离散或连续随机变量构造的无向图模型，具有两层，一层隐藏，一层可见，并且层内没有条件依赖。近年来，RBM由于与深度学习的联系而变得突出。通过将一个RBM的隐藏层视为第二RBM中的可见层，可以创建深层架构。RBM因此被认为有能力在数据中编码非常复杂和丰富的结构，使它们对监督学习具有吸引力。然而，RBM的生成行为在很大程度上是未开发的，典型的拟合方法不容易允许不确定性量化，除了点估计。在本文中，我们讨论了在二元情况下的RBM参数指定和模型的性质，如退化，不稳定性和不可解释性之间的关系。我们还描述了相关的困难，可能会出现基于似然的推理，并进一步讨论潜在的贝叶斯拟合等（高度灵活的）模型，特别是吉布斯抽样（准贝叶斯）的方法往往主张的RBM模型结构。
2018-09-25 cs.LG stat.ML
Training Restricted Boltzmann Machines with Binary Synapses using the Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能项目中心）；Institute for Physics of Intelligence（智能物理研究所）；The University of Tokyo（东京大学）
具有低精度突触的受限玻尔兹曼机（RBM）具有高能量效率。然而，由于突触的离散性质，训练具有二元突触的RBM是具有挑战性的。最近Huang提出了一种在变分推理框架下结合梯度上升和消息传递算法来训练具有二元突触的RBM的有效方法。然而，需要额外的启发式裁剪操作。在本技术说明中，受Huang工作的启发，我们提出了一种使用贝叶斯学习规则的替代优化方法，这是一种自然梯度变分推理方法。与Huang的方法相反，我们更新变分对称Bernoulli分布的自然参数而不是期望参数。由于自然参数在整个实域中取值，因此不需要额外的裁剪。有趣的是，\cite{huang2019data}中的算法可以被视为所提出的算法的一阶近似，这证明了其启发式裁剪的有效性。
2020-07-09 cond-mat.dis-nn cs.LG stat.ML
Training and Classification using a Restricted Boltzmann Machine on the D-Wave 2000Q
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
受限玻尔兹曼机（RBM）是一种基于能量的无向图模型。它通常用于无监督和有监督的机器学习。通常，RBM使用对比发散（CD）进行训练。然而，使用CD的训练是缓慢的，并且不能估计对数似然代价函数的精确梯度。在这项工作中，使用量子退火器（D-Wave 2000 Q）计算了RBM梯度学习的模型期望值，这比CD中使用的马尔可夫链蒙特卡罗（MCMC）快得多。训练和分类结果与CD进行了比较。分类精度的结果表明，这两种方法的性能相似。图像重建以及对数似然计算被用来比较量子和经典算法的RBM训练的性能。结果表明，从量子退火机获得的样本可以用来训练一个RBM上的64位“酒吧和条纹”的数据集与分类性能类似的RBM训练CD。虽然基于CD的训练显示出改进的学习性能，但使用量子退火器的训练消除了CD的计算昂贵的MCMC步骤。
2020-05-07 cs.LG stat.ML
Linear-Time Sequence Classification using Restricted Boltzmann Machines
The Australian E-Health Research Centre, CSIRO（澳大利亚电子健康研究中心（联邦科学与工业研究组织））；City University London（伦敦城市大学）
序列数据的分类是动态贝叶斯模型和递归神经网络（RNN）感兴趣的主题。虽然前者可以显式地建模类变量之间的时间依赖关系，后者具有学习表示的能力。已经进行了几次尝试，通过结合这两种方法或增加RNN中隐藏单元的处理能力来提高性能。这通常会导致具有大量学习参数的复杂模型。在本文中，提出了一个紧凑的模型，它提供了表示学习和类变量的时间推断滚动限制玻尔兹曼机（RBM）和类变量随着时间的推移。我们通过优化条件分布而不是联合分布来解决RBM这种变体中的棘手问题。在旋律建模和光学字符识别上的实验结果表明，该模型的性能优于现有技术;在光学字符识别、词性标注和文本组块识别上的实验结果表明，该模型与具有复杂记忆门的递归神经网络相比，所需参数少得多。
2018-03-08 cs.LG stat.ML
Effective Method for Inverse Ising Problem under Missing Observations in Restricted Boltzmann Machines
Graduate School of Science and Engineering, Yamagata University, Japan（山形大学科学工程研究院，日本）
针对 RBM 逆 Ising 问题中数据缺失及模型期望组合爆炸的困难，提出融合平均场近似或持续对比散度与空间蒙特卡洛积分的期望近似框架，以更准确地调节模型参数。
2025-04-09 cond-mat.dis-nn cs.LG physics.data-an
Logically Synthesized, Hardware-Accelerated, Restricted Boltzmann Machines for Combinatorial Optimization and Integer Factorization
University of California, Berkeley（加州大学伯克利分校）
受限玻尔兹曼机（RBM）是一种随机神经网络，能够解决各种困难的任务，如NP-Hard组合优化问题和整数分解。RBM架构也非常紧凑;需要很少的权重和偏差。这一点，连同其简单的，并行化的采样算法，寻找基态的这些问题，使RBM适合硬件加速。然而，在这些问题上训练RBM可能会带来重大挑战，因为训练算法往往会在大问题大小时失败，并且很难找到有效的映射。在这里，我们提出了一种将RBM结合在一起的方法，避免了以完整形式训练大问题的需要。我们还提出了使RBM更适合硬件的方法，使算法能够有效地映射到基于FPGA的加速器。使用该加速器，我们能够以高精度显示16位数字的硬件加速因式分解，速度提高10000倍，功率提高32倍。
2020-10-14 cs.LG cs.NE stat.ML
Training Restricted Boltzmann Machines via the Thouless-Anderson-Palmer Free Energy
Laboratoire de Physique Statistique（统计物理实验室）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；International Centre for Fundamental Physics and its interfaces at Ecole normale supérieure（巴黎高等师范学院基础物理及其交叉学科国际中心）；Sorbonne Universités（索邦大学联盟）；UPMC Univ Paris 06（巴黎第六大学（皮埃尔和玛丽·居里大学））
受限玻尔兹曼机是一种无向神经网络，在许多应用中已经被证明是有效的，包括作为训练深度多层神经网络的初始化。他们成功的主要原因之一是存在有效和实用的随机算法，如对比发散，用于无监督训练。我们提出了一种替代的确定性迭代过程的基础上改进的平均场方法，从统计物理称为Thouless-Anderson-Palmer方法。我们证明，我们的算法提供的性能等于，有时优于，持久的对比发散，同时也提供了一个清晰，易于评估的目标函数。我们相信，这种策略可以很容易地推广到其他模型以及更准确的高阶近似，为系统地改进训练具有隐藏单元的玻尔兹曼机铺平了道路。
2015-06-15 cond-mat.dis-nn cs.LG cs.NE
Multi Label Restricted Boltzmann Machine for Non-Intrusive Load Monitoring
Indrapratha Institute of Information Technology, Delhi（德里印德拉普拉斯塔信息技术学院）
人口增长表明，需要在住宅部门管理能源需求。先前的研究表明，如果向客户提供电器级反馈，客户往往会减少大量的能源消耗。这一发现增加了负载监控在当今技术娴熟的世界中的相关性。大多数以前提出的解决方案都声称可以在没有入侵的情况下执行负载监控，但它们并不是完全非入侵的。这些方法需要历史设备级数据来训练每个设备的模型。这些数据是通过在家中的每个电器上放置传感器来收集的，这会导致建筑物的入侵。最近的一些研究提出，如果我们将非侵入式负载监控（NILM）框架为多标签分类问题，则可以避免对设备级数据的需求。在本文中，我们提出了多标签限制玻尔兹曼机（ML-RBM）的NILM和报告的实验评估建议和国家的最先进的技术。
2019-10-17 cs.LG cs.NE eess.SP
Mixed-Variate Restricted Boltzmann Machines
Deakin University（迪肯大学）；Curtin University（科廷大学）
现代数据集正在变得异构。为此，我们在本文中提出了混合变量限制玻尔兹曼机，用于同时建模多种类型和模式的变量，包括二进制和连续响应，分类选项，多类别选择，顺序评估和类别排序偏好。变量之间的相关性是使用潜在的二进制变量建模的，每个变量都可以被解释为数据的一个特定的隐藏方面。建议的模型，类似于标准的RBM，允许快速评估后的潜变量。因此，它自然适合于许多常见的任务，包括但不限于：（a）作为预处理步骤，通过潜在后验子将复杂的输入数据转换为更方便的矢量表示，从而提供降维能力，（b）作为分类器，支持二进制，多类，多标签和标签排名输出，或用于连续输出的回归工具，以及（c）作为用于多模态和异构数据的数据完成工具。我们使用三项任务的世界民意调查结果在大规模数据集上评估了所提出的模型：特征提取和可视化、数据完成和预测。
2014-08-06 cs.LG stat.ME stat.ML
A Deterministic and Generalized Framework for Unsupervised Learning with Restricted Boltzmann Machines
OWKIN, Inc.（OWKIN公司）；École Normale Supérieure, PSL University（巴黎文理研究大学巴黎高等师范学院）；Snips（Snips公司）；Université Pierre et Marie Curie, Sorbonne Universités（索邦大学皮埃尔与玛丽·居里大学）；LightOn（LightOn公司）
受限玻尔兹曼机（RBM）是基于能量的神经网络，通常用作深度架构神经架构的构建块。在这项工作中，我们得出一个确定性的框架，培训，评估和使用RBM的Thouless-Anderson-Palmer（TAP）的平均场近似的广泛连接的系统与弱相互作用来自自旋玻璃理论的基础上。虽然TAP方法已被广泛研究的完全可见的二进制自旋系统，我们的建设推广到潜变量模型，以及任意分布的实值自旋系统有界支持。在我们的数值实验中，我们证明了我们提出的模型的有效的确定性训练，并能够显示出有趣的无监督学习的特点，不能直接观察到采样。此外，我们演示了如何利用我们的TAP为基础的框架，利用训练有素的RBM联合先验去噪问题。
2018-10-09 cond-mat.dis-nn cs.LG cs.NE
Structural Restricted Boltzmann Machine for image denoising and classification
Intelligent Systems Group（智能系统组）
针对传统受限玻尔兹曼机参数过多的问题，提出基于图像像素空间邻域约束隐藏单元连接的结构化RBM，在图像去噪和分类任务上实现了更快更稳定的训练和更优性能。
2023-06-16 cs.CV stat.ML
Improving Interpretability of Scores in Anomaly Detection Based on Gaussian-Bernoulli Restricted Boltzmann Machine
Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究科）
针对GBRBM异常检测中分数不可解释导致阈值难以设定的问题，提出基于累积分布的可解释性度量与阈值设定准则，并利用模拟退火算法解决最小分数值的计算不可行评估。
2024-03-19 cs.AI cs.LG stat.ML
Conditional probability calculation using restricted Boltzmann machine with application to system identification
Departamento de Control Automatico CINVESTAV-IPN (National Polytechnic Institute)（自动控制系 CINVESTAV-IPN（国家理工学院））
本文利用受限玻尔兹曼机计算条件概率用于非线性系统辨识，通过二进制编码和连续值方法改进模型，提出通用逼近分析，验证在噪声大和系统动态复杂时方法优势。
2018-06-07 cs.LG cs.SY eess.SY
Robust Multi-Output Learning with Highly Incomplete Data via Restricted Boltzmann Machines
Laboratoire de Recherche en Informatique（计算机研究实验室）；Université Paris-Sud（巴黎南大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Symmantec
在标准的多输出分类场景中，训练数据的特征和标签都被部分地观察到。由于传感器或数据库故障、众包和工业数据分析服务中的嘈杂通信渠道，这个具有挑战性的问题被广泛目睹。处理监督信息不完整的多输出分类的经典方法通常将问题分解为重建缺失训练信息的插补阶段和基于插补训练集构建分类器的学习阶段。这些方法无法充分利用特征和标签之间的依赖关系。为了充分利用这些依赖关系，我们考虑一个纯粹的概率设置，其中的功能插补和多标签分类问题联合解决。事实上，我们证明了一个简单的限制玻尔兹曼机可以用一个基于平均场方程的自适应算法来训练，以有效地解决归纳和转换学习的问题，其中特征和标签都是随机缺失的。该方法的有效性在各种数据集上得到了实证证明，特别关注现实世界的物联网安全数据集。
2019-12-19 cond-mat.dis-nn cs.LG stat.ML
Equivalence of restricted Boltzmann machines and tensor network states
受限玻尔兹曼机（RBM）是深度学习的基本构建块之一。RBM通过对自然图像、语音信号和客户评分等各种输入数据的概率分布进行建模，在降维、特征提取和推荐系统中得到了广泛的应用。我们在RBM和量子多体物理研究中广泛使用的张量网络态（TNS）之间建立了一座桥梁。我们设计了有效的算法来翻译成常用的TNS的RBM。相反，我们给出了充分和必要的条件，以确定是否TNS可以转化为给定架构的RBM。揭示这些普遍和建设性的联系可以使深度学习和量子多体物理学相互促进。值得注意的是，通过利用TNS的纠缠熵界，我们可以严格量化RBM在复杂数据集上的表达能力。深入了解TNS及其纠缠能力可以指导更强大的深度学习架构的设计。另一方面，与TNS相比，RBM可以用更少的参数表示量子多体态，这可以允许更有效的经典模拟。
2018-02-05 cond-mat.str-el quant-ph stat.ML
