Learning from multivariate discrete sequential data using a restricted Boltzmann machine model
Escuela Superior Politecnica del Litoral (ESPOL)（埃斯波莱大学（ESPOL））
受限玻尔兹曼机（RBM）是一种生成式神经网络模型，具有许多新颖的应用，如协同滤波和声学建模。成果管理制缺乏保持记忆的能力，因此不适合于动态数据建模，如时间序列分析。在本文中，我们解决这个问题，提出了p-RBM模型，一个推广的常规RBM模型，能够保留记忆的p过去的状态。我们进一步展示了如何使用对比散度对p-RBM模型进行训练，并在考虑NASDAQ-100指数的100只股票的股票市场方向预测问题上对我们的模型进行了测试。结果表明，p-RBM提供了有前途的预测潜力。
2018-04-28 cs.LG stat.ML
From Monte Carlo to Las Vegas: Improving Restricted Boltzmann Machine Training Through Stopping Sets
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Purdue University（普渡大学）
我们提出了一个拉斯维加斯变换的马尔可夫链蒙特卡罗（MCMC）估计的限制玻尔兹曼机（RBM）。我们表示我们的方法马尔可夫链拉斯维加斯（MCLV）。MCLV提供统计保证，以换取随机运行时间。MCLV使用从训练数据构建的停止集，并且具有最大马尔可夫链步骤数K（称为MCLV-K）。我们提出了RBM的MCLV-K梯度估计器（LVS-K），并探讨了LVS-K和对比发散（CD-K）之间的对应关系和差异，LVS-K在MNIST数据集上显著优于CD-K训练RBM，表明MCLV是学习生成模型的一个有前途的方向。
2017-11-22 cs.LG stat.ML
Rademacher Complexity of the Restricted Boltzmann Machine
玻尔兹曼机作为深度信念网络和深度玻尔兹曼机的基本构造模块，在深度学习领域得到了广泛的应用，并取得了巨大的成功。然而，理论界对它的许多方面的认识还远未明晰。本文研究了渐近限制玻尔兹曼机的Rademacher复杂性和用单步对比发散（CD-1）方法实现的Rademacher复杂性。我们的研究结果揭示了一个事实，即实际的实施培训过程确实增加了限制玻尔兹曼机的Rademacher复杂性。进一步的研究方向可能是调查的VC维的CD-1程序中使用的组成功能。
2015-12-07 cs.LG
Explainable Restricted Boltzmann Machines for Collaborative Filtering
University of Louisville（路易斯维尔大学）
大多数精确的推荐系统都是黑盒模型，隐藏了推荐背后的推理。然而，解释已经被证明可以增加用户对系统的信任，除了提供其他好处，如可感知性，这意味着能够验证推荐的有效性。准确性和透明度或可解释性之间的这种差距产生了对自动解释生成方法的兴趣。受限玻尔兹曼机（RBM）是CF的精确模型，也缺乏可解释性。在本文中，我们专注于基于RBM的协同过滤推荐，并进一步假设没有任何额外的数据源，如项目内容或用户属性。因此，我们提出了一个新的可解释的RBM技术，计算的前n个推荐列表的项目是可解释的。实验结果表明，我们的方法是有效的，在生成准确和可解释的建议。
2016-06-22 cs.LG stat.ML
Restricted Boltzmann Machines for Robust and Fast Latent Truth Discovery
SCHUFA Holding AG, Innovation Lab（SCHUFA控股公司创新实验室）
我们解决的问题，潜在的真理发现，有限责任公司的简称，其目标是发现潜在的真实价值的实体属性存在的噪音，冲突或不完整的信息。尽管可以在文献中找到大量的算法来解决LTD问题，但对于它们在有效性（在真相发现能力方面）、效率和鲁棒性方面的整体性能知之甚少。一个实用的LTD方法应该满足所有这些特征，以便它可以应用于不同质量和清洁度的异构数据集。我们提出了一种新的算法有限责任公司，满足上述要求。该模型是基于限制玻尔兹曼机，因此创造了LTD-RBM。在各种异构和公开可用的数据集上进行的广泛实验中，LTD-RBM在有效性，效率和鲁棒性的综合考虑方面优于最先进的LTD技术。
2017-12-31 cs.LG stat.ML
Unifying the Stochastic Spectral Descent for Restricted Boltzmann Machines with Bernoulli or Gaussian Inputs
Duke University（杜克大学）
基于随机梯度下降的算法通常用作大多数深度学习模型的通用优化工具。受限玻尔兹曼机（RBM）是一种概率生成模型，可以堆叠以构建深度架构。对于具有Bernoulli输入的RBM，已经专门设计了诸如随机谱下降（SSD）的非欧几里德算法，以通过改进使用采样方法的梯度估计来加速收敛。然而，现有的算法和相应的理论依据依赖于假设，可能的配置的输入是有限的，像二进制变量。本文的目的是推广SSD的高斯RBM能够建模连续数据，而不管前面的假设。在非欧参数空间中，通过推导基于Schatten无穷范数的RBM的对数配分函数的上界，提出了梯度下降法.我们的经验表明，SSD的优势和改进随机梯度下降（SGD）。
2017-03-28 cs.LG stat.ML
Geometry and Expressive Power of Conditional Restricted Boltzmann Machines
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
条件限制玻尔兹曼机是一种无向随机神经网络，其输入和输出单元层与隐藏单元层两部分相连。这些网络定义了给定输入设备状态的输出设备状态的条件概率分布模型，由交互权重和偏置参数化。我们解决这些模型的代表性的权力，证明结果的能力，以表示条件马尔可夫随机场和条件分布的限制支持，最小尺寸的通用逼近器，最大模型近似误差，并在一组可表示的条件分布的维度。我们贡献了新的工具，调查条件概率模型，这使我们能够改善的结果，可以从现有的工作限制玻尔兹曼机概率模型。
2015-03-12 cs.LG cs.NE stat.ML
Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
Sapienza, University of Rome（罗马大学（萨皮恩扎））
在这项工作中，提出了一种基于无监督学习的迭代算法，特别是在限制玻尔兹曼机（RBM）上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $，并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例，说明了该算法的有效性.
2019-05-02 cs.LG math.OC stat.ML
Temporal Autoencoding Restricted Boltzmann Machine
Freie Universität Berlin（柏林自由大学）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Berlin Institute of Technology（柏林工业大学）
人们已经做了很多工作来改进和表征深度学习算法所学习的感受野。很多工作都集中在开发在自然图像数据集上实施稀疏约束时学习的类似Gabor的过滤器。然而，很少有工作研究这些过滤器如何扩展到时间域，即通过对自然电影的训练。在这里，我们在已建立的时间深度学习算法中研究了这个问题，以及这里提出的一种新的学习范式，时间自动编码限制玻尔兹曼机（TARBM）。
2012-10-31 cs.AI cs.LG stat.ML
Perception-Distortion Trade-off with Restricted Boltzmann Machines
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）；University of Utah（犹他大学）
在这项工作中，我们引入了一个新的程序应用限制玻尔兹曼机（RBM）丢失的数据推理任务，基于线性化的有效能量函数的分布观测。我们比较我们提出的程序的性能与使用现有的重建程序训练不完整的数据。我们把这些性能比较的感知失真权衡观察到的其他数据重建任务，到目前为止，仍然是未开发的任务依赖于不完整的训练数据的上下文中。
2019-10-21 cs.CV cs.LG stat.ML
Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Physics, University of California, San Diego（加利福尼亚大学圣地亚哥分校物理系）
受限玻尔兹曼机（RBM）是一类功能强大的生成模型，但它们的训练需要计算梯度，与典型损失函数上的监督反向传播不同，甚至难以近似。在这里，我们证明了将标准梯度更新与从RBM基态（模式）的样本构建的偏离梯度的方向适当地结合起来，与传统的梯度方法相比，大大提高了它们的训练。这种方法，我们称之为模式训练，除了较低的收敛相对熵（KL发散）外，还可以促进更快的训练和稳定性。随着这种方法的稳定性和收敛性的证明，我们还证明了它的有效性，在合成数据集，我们可以计算KL分歧，以及一个更大的机器学习标准，MNIST。我们建议的模式训练是非常通用的，因为它可以与任何给定的梯度方法结合应用，并且很容易扩展到更一般的基于能量的神经网络结构，如深度，卷积和不受限制的玻尔兹曼机。
2020-01-19 cs.LG stat.ML
Advanced Mean Field Theory of Restricted Boltzmann Machine
RIKEN Brain Science Institute（理化学研究所脑科学研究所）
由于对数似然函数的梯度计算，限制玻尔兹曼机的学习通常是困难的。为了描述受限玻尔兹曼机的网络状态统计特性，我们在Bethe近似的基础上发展了一种改进的平均场论。我们的理论提供了一个有效的消息传递为基础的方法，不仅评估的配分函数（自由能），但它的梯度，而不需要统计采样。计算昂贵的采样为基础的方法所获得的结果进行了比较。
2015-05-02 cond-mat.stat-mech cs.LG q-bio.NC
Subspace Restricted Boltzmann Machine
Wroclaw University of Technology（弗罗茨瓦夫理工大学）
子空间限制玻尔兹曼机（SubspaceBBM）是一种三阶玻尔兹曼机，其中一个可见单元和两个隐藏单元之间存在乘法相互作用。有两种类型的隐藏单元，即门单元和子空间单元。子空间单元反映数据中模式的变化，门单元负责激活子空间单元。此外，门单元可以被视为池化特征。我们通过MNIST数字识别任务的实验、测量重建误差和分类误差来评估子空间RBM的行为。
2014-07-16 cs.LG
A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines
Technische Universität Berlin（柏林工业大学）
我们定义了一个消息传递算法计算磁化在受限玻尔兹曼机，这是伊辛模型的二分图上引入的神经网络模型的概率分布自旋配置。为了模拟自旋耦合之间的非平凡统计依赖关系，我们假设矩形耦合矩阵是从任意双旋转不变随机矩阵系综中提取的。利用统计力学中的动力泛函方法，对算法在大系统极限下的动力学行为进行了精确的分析。我们证明了该算法的全局收敛性的稳定性准则下，计算渐近收敛速度表现出良好的协议与数值模拟。
2020-05-04 cond-mat.dis-nn cs.LG stat.ML
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School（孝感高级中学）
在这篇文章中，我们扩展了卷积限制玻尔兹曼机的传统框架，通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征，该乘法单元捕捉输入之间的关系。在许多情况下，两个以上的映射是强相关的，所以明智的做法是让乘法单元学习更多输入映射之间的关系，换句话说，找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序，我们开发了一种学习方法，其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Training Restricted Boltzmann Machines on Word Observations
University of Toronto（多伦多大学）；Harvard University（哈佛大学）；Université de Sherbrooke（舍布鲁克大学）
受限玻尔兹曼机（RBM）是一种灵活的工具，复杂的数据建模，但有显着的计算困难，使用RBM模型高维多项式观测。在自然语言处理应用中，单词自然地由K元离散分布建模，其中K由词汇大小确定并且可以很容易地以数十万计。传统的基于单词观测训练RBM的方法是有限的，因为它需要在块吉布斯更新期间对K路softmax可见单元的状态进行采样，这是一种在K中进行时间线性的操作。在这项工作中，我们解决这个问题，采用更一般的一类马尔可夫链蒙特卡罗算子的可见单位，产生更新的计算复杂性独立于K。我们证明了我们的方法的成功，通过使用比以前可行的更大的词汇表在数亿个单词n-gram上训练RBM，并使用学习的功能来提高分块和情感分类任务的性能，在后者上实现最先进的结果。
2012-07-05 cs.LG stat.ML
Composite Likelihood Estimation for Restricted Boltzmann machines
Yamagata University（山形大学）；Tohoku University（东北大学）
使用最大似然估计学习图形模型的参数通常是困难的，这需要近似。最大复合似然估计是最大似然估计的统计近似，是最大伪似然估计的高阶推广。本文提出了一种复合似然方法，并研究了它的性质。此外，我们将我们的复合似然方法限制玻尔兹曼机。
2014-06-24 cs.LG
Properties and Bayesian fitting of restricted Boltzmann machines
Duke University（杜克大学）；Iowa State University（爱荷华州立大学）
受限玻尔兹曼机（RBM）是为离散或连续随机变量构造的无向图模型，具有两层，一层隐藏，一层可见，并且层内没有条件依赖。近年来，RBM由于与深度学习的联系而变得突出。通过将一个RBM的隐藏层视为第二RBM中的可见层，可以创建深层架构。RBM因此被认为有能力在数据中编码非常复杂和丰富的结构，使它们对监督学习具有吸引力。然而，RBM的生成行为在很大程度上是未开发的，典型的拟合方法不容易允许不确定性量化，除了点估计。在本文中，我们讨论了在二元情况下的RBM参数指定和模型的性质，如退化，不稳定性和不可解释性之间的关系。我们还描述了相关的困难，可能会出现基于似然的推理，并进一步讨论潜在的贝叶斯拟合等（高度灵活的）模型，特别是吉布斯抽样（准贝叶斯）的方法往往主张的RBM模型结构。
2018-09-25 cs.LG stat.ML
Training and Classification using a Restricted Boltzmann Machine on the D-Wave 2000Q
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
受限玻尔兹曼机（RBM）是一种基于能量的无向图模型。它通常用于无监督和有监督的机器学习。通常，RBM使用对比发散（CD）进行训练。然而，使用CD的训练是缓慢的，并且不能估计对数似然代价函数的精确梯度。在这项工作中，使用量子退火器（D-Wave 2000 Q）计算了RBM梯度学习的模型期望值，这比CD中使用的马尔可夫链蒙特卡罗（MCMC）快得多。训练和分类结果与CD进行了比较。分类精度的结果表明，这两种方法的性能相似。图像重建以及对数似然计算被用来比较量子和经典算法的RBM训练的性能。结果表明，从量子退火机获得的样本可以用来训练一个RBM上的64位“酒吧和条纹”的数据集与分类性能类似的RBM训练CD。虽然基于CD的训练显示出改进的学习性能，但使用量子退火器的训练消除了CD的计算昂贵的MCMC步骤。
2020-05-07 cs.LG stat.ML
Linear-Time Sequence Classification using Restricted Boltzmann Machines
The Australian E-Health Research Centre, CSIRO（澳大利亚电子健康研究中心（联邦科学与工业研究组织））；City University London（伦敦城市大学）
序列数据的分类是动态贝叶斯模型和递归神经网络（RNN）感兴趣的主题。虽然前者可以显式地建模类变量之间的时间依赖关系，后者具有学习表示的能力。已经进行了几次尝试，通过结合这两种方法或增加RNN中隐藏单元的处理能力来提高性能。这通常会导致具有大量学习参数的复杂模型。在本文中，提出了一个紧凑的模型，它提供了表示学习和类变量的时间推断滚动限制玻尔兹曼机（RBM）和类变量随着时间的推移。我们通过优化条件分布而不是联合分布来解决RBM这种变体中的棘手问题。在旋律建模和光学字符识别上的实验结果表明，该模型的性能优于现有技术;在光学字符识别、词性标注和文本组块识别上的实验结果表明，该模型与具有复杂记忆门的递归神经网络相比，所需参数少得多。
2018-03-08 cs.LG stat.ML
Multi-layered Discriminative Restricted Boltzmann Machine with Untrained Probabilistic Layer
Yamagata University（山形大学）
极限学习机（ELM）是具有未训练参数的三层前馈神经网络，所述未训练参数在训练之前随机确定。受ELM思想的启发，提出了一种称为概率ELM（probabilistic-ELM，PELM）层的概率未训练层，并将其与判别限制玻尔兹曼机（discriminative restricted Boltzmann machine，DRBM）相结合，DRBM是一种用于解决分类问题的概率三层神经网络。所提出的模型是通过在PELM层上堆叠DRBM而获得的。所得到的模型（即，多层DRBM（MDRBM））形成概率四层神经网络。在MDRBM中，PELM层中的参数可以使用Gaussian-Bernoulli限制Boltzmann机来确定。由于PELM层，MDRBM获得了对输入噪声的强免疫力，这是MDRBM最重要的优点之一。使用一些基准数据集，MNIST，时尚MNIST，城市土地覆盖，和CIFAR-10的数值实验表明，MDRBM优于其他现有的模型，特别是在噪声鲁棒性（或，换句话说，泛化属性）。
2022-10-27 cs.AI cs.LG stat.ML
Tractable loss function and color image generation of multinary restricted Boltzmann machine
Seoul National University（首尔大学）；Clova AI, NAVER Corp.（NAVER公司Clova AI）
受限玻尔兹曼机（RBM）是一种基于统计力学概念的有代表性的生成模型。尽管具有很强的可解释性，但反向传播的不可用性使其比其他生成模型更具竞争力。在这里，我们推导出可微的损失函数的二元和多元RBM。然后，我们通过生成彩色人脸图像来展示它们的可学习性和性能。
2020-11-27 cs.CV cs.LG
Deep Restricted Boltzmann Networks
Carnegie Mellon University（卡内基梅隆大学）
建立一个良好的图像生成模型一直是计算机视觉和机器学习领域的重要课题。受限玻尔兹曼机（RBM）就是其中一种简单但功能强大的模型。然而，它的限制形式也对模型的表示能力和可扩展性提出了很大的限制。基于RBM的许多扩展已经被发明出来，以便产生具有更大功能的更深层次的架构。其中最著名的是深度信念网络，它将多层预训练的RBM堆叠起来形成混合模型，以及深度玻尔兹曼机，它允许隐藏单元之间的连接形成多层结构。本文提出了一种新的RBM组合方法，形成一个多层网络式的体系结构，并提出了一种联合训练各层的训练方法。我们称这种结构为深度限制玻尔兹曼网络。我们进一步探索卷积RBM与正常全连接RBM的组合，这在我们的组合框架下变得微不足道。实验表明，我们的模型可以生成下降的图像，并在图像质量和特征质量方面显着优于正常的RBM，而不会损失太多的训练效率。
2016-11-15 cs.LG
A Robust Unsupervised Ensemble of Feature-Based Explanations using Restricted Boltzmann Machines
University of Tübingen（图宾根大学）
理解深度神经网络的结果是深度学习算法获得更广泛接受的重要一步。许多方法解决了解释人工神经网络的问题，但往往提供不同的解释。此外，解释方法的不同超参数可能导致相互冲突的解释。在本文中，我们提出了一种技术，用于聚合不同解释算法的特征属性，使用受限玻尔兹曼机（RBM）来实现更可靠和鲁棒的深度神经网络解释。在真实数据集上的几个具有挑战性的实验表明，所提出的RBM方法优于流行的特征属性方法和基本集成技术。
2021-11-14 cs.LG
Parallelized Training of Restricted Boltzmann Machines using Markov-Chain Monte Carlo Methods
受限玻尔兹曼机（RBM）是一种生成式随机神经网络，可以应用于推荐系统中的协同过滤技术。在推荐系统中，RBM模型的预测精度通常优于其他模型。然而，训练RBM模型涉及马尔可夫链蒙特卡罗（MCMC）方法，这是计算昂贵的。在本文中，我们已经成功地应用了分布式并行训练使用Horovod框架，以提高RBM模型的训练时间。我们的测试表明，RBM模型的分布式训练方法具有良好的扩展效率。我们还表明，这种方法有效地减少了训练时间略超过12分钟64个CPU节点相比，5个小时的单个CPU节点。这将使成果管理制模式更实际地适用于推荐系统。
2019-10-14 cs.DC cs.LG stat.ML
Restricted Boltzmann Machines: Introduction and Review
University of California, Los Angeles（加州大学洛杉矶分校）
受限玻尔兹曼机是一个随机单元网络，在成对的可见和隐藏单元之间具有无向相互作用。该模型作为深度学习架构的构建块得到推广，并在应用和理论机器学习中继续发挥重要作用。受限玻尔兹曼机具有丰富的结构，与几何、应用代数、概率、统计、机器学习和其他领域有联系。对这些模型的分析本身就很有吸引力，也是一个平台，可以将数学工具与隐变量图形模型相结合并加以推广。本文介绍了限制玻尔兹曼机的数学分析，回顾了最近的结果的几何集合的概率分布所代表的这些模型，并提出了一些进一步研究的方向。
2018-06-19 cs.IT cs.LG math.IT
Learning Restricted Boltzmann Machines with Arbitrary External Fields
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了带有隐变量的图模型的学习问题。我们给出了第一个算法学习局部一致（铁磁或反铁磁）限制玻尔兹曼机（或RBM）与{ \em任意}外场。我们的算法在样本复杂度和运行时间上具有对维度的最佳依赖性，但是它对RBM的底层参数具有次优依赖性。先前的结果仅针对具有{\em一致}外部场（符号必须相同）\cite{bresler2018learning}的{ \em铁磁} RBM建立。所提出的算法强烈依赖于磁化强度，这在我们的设置中不成立。我们证明了以下关键的结构性质：即使在任意外场的存在下，对于共享一个共同潜在邻居的任何两个观察到的节点，协方差是高的。这使我们能够设计一个简单的贪心算法，最大化协方差迭代地建立每个顶点的邻域。
2019-06-15 cs.DS cs.LG stat.ML
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.（Stel计算机系统有限公司）
提出了一种基于高斯-二元限制玻尔兹曼机（GRBM）的说话人子空间建模方法。该模型基于概率线性判别分析（PLDA）中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子，其中扬声器因子在扬声器的所有向量上共享。然后，最大似然参数估计（MLE）的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
Diluting Restricted Boltzmann Machines
Group of Complex Systems and Statistical Physics, Department of Theoretical Physics, Physics Faculty, University of Havana（复杂系统与统计物理组，理论物理系，物理系，哈瓦那大学）
本文研究极端剪枝下的受限玻尔兹曼机，发现训练前剪枝80%连接仍保持高性能，但训练后剪枝无法恢复，建议早期实施剪枝以构建高效稀疏网络。
2025-11-01 cs.LG stat.ML
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于Boltzmann Machine（BM）、Restricted Boltzmann Machine（RBM）和Deep Belief Network（DBN）的教程和综述论文。我们从概率图模型，马尔可夫随机场，吉布斯抽样，统计物理，伊辛模型和Hopfield网络的必要背景开始。然后，我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布，RBM中用于生成变量的Gibbs抽样，通过最大似然估计训练BM和RBM，以及对比发散。然后，我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后，我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Training a Restricted Boltzmann Machine for Classification by Labeling Model Samples
Johannes Gutenberg-University Mainz（美因茨约翰内斯·古腾堡大学）
我们提出了一种训练分类模型的替代方法。使用MNIST手写数字集和受限玻尔兹曼机，如果我们首先仅在未标记的数据上以无监督的方式训练模型，然后在GUI的帮助下手动将标签添加到模型样本而不是训练数据样本，则可以达到与半监督学习竞争的分类性能。这种方法可以受益于这样一个事实，即模型样本可以以类似视频的方式呈现给人类标记者，从而产生更多数量的标记示例。此外，经过一些初始训练后，难以分类的示例可以自动与容易的示例区分开来，节省了手动工作。
2015-09-03 cs.LG
Neural Boltzmann Machines
本文提出神经玻尔兹曼机（NBMs），通过将条件受限玻尔兹曼机的参数转化为神经网络，增强表达力，并有效处理正态分布数据，可用随机梯度下降训练。
2023-05-15 cond-mat.dis-nn cs.LG stat.ML
Rapid mixing in positively weighted restricted Boltzmann machines
School of Informatics, University of Edinburgh, Informatics Forum, UK（爱丁堡大学信息学院）；School of Computing and Data Science, The University of Hong Kong, HK（香港大学计算与数据科学学院）
本文通过分析铁磁双自旋系统的Glauber动力学，证明了正权重受限玻尔兹曼机的交替扫描采样器具有多对数混合时间界，并得到了临界阈值内的新混合时间界。
2026-05-25 cs.DS cs.LG math.PR
Conditional Restricted Boltzmann Machines for Cold Start Recommendations
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；School of Information Science and Engineering, University of Chinese Academy of Sciences（中国科学院大学信息科学与工程学院）
受限玻尔兹曼机（RBM）已经成功地应用于推荐系统中。然而，与大多数其他协同过滤技术一样，它不能解决冷启动问题，因为没有对新项目的评级。本文首先应用条件RBM（CRBM），它可以考虑额外的信息，并表明CRBM可以很好地解决冷启动问题，特别是额定值预测任务。CRBM自然地将内容和协作数据结合在一个可以有效适应的框架下。实验表明，CRBM可以媲美矩阵分解模型，而从前一个模型学习的隐藏特征更容易被解释。
2014-08-01 cs.IR cs.LG stat.ML
Effectively Trainable Semi-Quantum Restricted Boltzmann Machine
Russian Quantum Center（俄罗斯量子中心）；National University of Science and Technology MISiS（国立科学技术大学MISiS）；National Research Nuclear University MEPhI（国立研究型核大学MEPhI）
我们提出了一个新的量子模型的限制玻尔兹曼机（RBM），其中可见的单位仍然是经典的，而隐藏的单位被量化为非相互作用的费米子。费米子的自由运动与可见光单位的经典信号参数耦合。该模型具有量子行为，例如隐藏单元之间的相干性。数值实验表明，这一事实使它比经典的RBM具有相同数量的隐藏单元更强大。与此同时，与量子玻尔兹曼机（QBM）的其他方法相比，所提出的模型的一个显着优点是它在经典计算机上是完全可解和有效可训练的：对数似然梯度相对于其参数有一个封闭的表达式。这一事实使它不仅作为一个假设的量子模拟器的模型，而且作为一个量子启发的经典机器学习算法。
2021-02-11 cond-mat.dis-nn cs.LG stat.ML
Enhanced Factored Three-Way Restricted Boltzmann Machines for Speech Detection
在这封信中，我们提出了增强因子三路限制玻尔兹曼机（EFTW-RBM）的语音检测。所提出的模型通过乘以第三单元的动态状态来结合条件特征学习，这允许对可见-隐藏节点对进行调制。代替以递归方式将语音的先前帧堆叠为第三单元，相关加权系数被分配给上下文相邻帧。具体而言，阈值函数被设计为捕获长期特征并混合全局存储的语音结构。引入因子化的低秩近似来降低三维相互作用张量的参数，并对该参数施加非负约束以解决稀疏特性。通过ROC曲线下面积（AUC）和信号失真率（SDR）的验证表明，我们的方法优于几种现有的1D和2D（即，时域和时频域）语音检测算法。
2017-04-20 cs.LG cs.SD stat.ML
Gaussian-binary Restricted Boltzmann Machines on Modeling Natural Image Statistics
Ruhr-Universität Bochum（波鸿鲁尔大学）
本文从密度模型的角度对高斯-二元限制玻尔兹曼机进行了理论分析。该分析的关键方面是表明GRBM可以被制定为高斯的约束混合，这使得更好地了解模型的能力和局限性。我们表明，GRBM能够学习有意义的功能，在一个二维的盲声源分离任务和自然图像建模。此外，我们发现，在训练GRBM报告的困难是由于训练算法的失败，而不是模型本身。基于我们的分析，我们能够提出几个训练配方，这使得我们的实验中成功和快速的训练。最后，我们讨论了GRBMs的关系，已提出了几个修改，以改善模型。
2014-01-23 cs.LG cs.NE stat.ML
Elastic regularization in restricted Boltzmann machines: Dealing with $p\gg N$
受限玻尔兹曼机（RBM）被赋予了建模（二进制）联合分布的通用能力。同时，由于其局限的网络结构，训练RBM面临的困难较少（与更复杂的模型相比，例如，玻尔兹曼机）处理近似和推理问题时。然而，在某些计算生物学场景中，例如癌症数据分析，采用RBM来建模数据特征可能由于“$p\gg N$“问题而失去其功效，其中特征/预测因子的数量远大于样本大小。在设计统计学习方法时，“$p\gg N$”问题将偏差-方差权衡置于更关键的位置。在这篇手稿中，我们试图解决这个问题，提出了一种新的RBM模型，称为弹性限制玻尔兹曼机（eRBM），它将弹性正则化项的似然/成本函数。我们提供了一些理论分析我们的模型的优越性。此外，由于经典的对比发散（CD）算法，eRBM可以有效地训练。我们的新模型是未来癌症数据分析的一种有前途的方法。
2015-10-21 cs.LG
Prediction of breast cancer recurrence using Classification Restricted Boltzmann Machine with Dropping
Wrocław University of Technology（弗罗茨瓦夫理工大学）
在本文中，我们应用分类限制玻尔兹曼机（ClassRBM）的预测乳腺癌复发的问题。根据波兰国家癌症登记处的数据，仅在2010年，乳腺癌就占波兰所有癌症诊断病例的近25%。我们提出了如何使用ClassRBM来预测乳腺癌复发并发现疾病复发的相关输入（症状）。接下来，我们概述了一个用于学习带有掩码的玻尔兹曼机的一般概率框架，我们称之为Dropping。生成掩码的方式导致不同的学习方法，即，DropOut、DropConnect。我们提出了一种新的方法称为DropPart，这是一个推广的DropConnect。在DropPart中，使用Beta分布而不是DropConnect中的Bernoulli分布。最后，我们使用由卢布尔雅那肿瘤研究所提供的949例病例组成的真实数据集进行了实验。
2013-10-30 cs.LG
Efficient Learning of Restricted Boltzmann Machines Using Covariance Estimates
Indian Institute of Science（印度科学学院）
使用诸如CD（k）的标准算法学习RBM涉及负对数似然的梯度下降。梯度中的一项，涉及期望w.r.t.模型分布是棘手的，并且通过MCMC估计获得。在这项工作中，我们表明，Hessian的对数似然可以写在隐藏和可见的单位的协方差，因此，所有元素的Hessian也可以使用相同的MCMC样本估计与小的额外计算成本。由于逆海森可能是计算昂贵的，我们提出了一种算法，使用逆的对角近似的海森，而不是。与标准方法相比，这本质上导致了梯度下降过程的参数特定自适应学习率，并提高了学习RBM的效率。具体来说，我们表明，使用逆的对角逼近的Hessian的随机DC（凸函数的差异）程序的方法，结果在非常有效的学习RBM。
2019-10-01 cs.LG stat.ML
Exploiting Restricted Boltzmann Machines and Deep Belief Networks in Compressed Sensing
American Family Mutual Insurance Company（美国家庭互助保险公司）；University of Delaware（特拉华大学）
本文提出了一种CS方案，该方案利用受限玻尔兹曼机和深度学习架构的表示能力来对属于同一类的信号的稀疏模式的先验分布进行建模。所确定的概率分布，然后使用在最大后验概率（MAP）的方法进行重建。先验分布的参数从训练数据中学习。这种方法背后的动机是对稀疏表示的系数之间的高阶统计依赖关系进行建模，最终目标是改善重建。在Berkeley分割数据集和MNIST手写体数字数据库上验证了该方法的性能。
2017-05-30 cs.LG
Emergence of Compositional Representations in Restricted Boltzmann Machines
Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；Sorbonne Universités UPMC（索邦大学）
自动提取组成真实高维数据的复杂特征集对于实现机器学习任务的高性能至关重要。限制玻尔兹曼机（RBM）在经验上已知对于此目的是有效的，并且能够生成数据的分布式和分级表示。我们表征的结构条件（稀疏的权重，低有效温度，非线性的激活功能的隐藏单元，和适应领域保持活动在可见层）允许RBM在这样的组成阶段。证据提供了一个足够的随机RBM的统计合奏的副本分析和手写数字数据集MNIST上训练的RBM。
2017-03-02 cond-mat.dis-nn cs.LG physics.data-an
An Infinite Restricted Boltzmann Machine
Université de Sherbrooke（舍布鲁克大学）
我们提出了一个数学结构的限制玻尔兹曼机（RBM），不需要指定的隐藏单元的数量。事实上，隐藏层的大小是自适应的，可以在训练过程中增长。这是通过首先将RBM扩展到对其隐藏单元的排序敏感来获得的。然后，由于精心选择的能量函数的定义，我们表明，无限多个隐藏单位的限制是很好的定义。与RBM一样，可以执行近似最大似然训练，从而产生在学习期间自然且自适应地添加训练的隐藏单元的算法。我们实证研究这种无限的RBM的行为，表明它的性能是有竞争力的RBM，而不需要调整隐藏层的大小。
2016-03-18 cs.LG
Combining Restricted Boltzmann Machines with Neural Networks for Latent Truth Discovery
SCHUFA Holding AG（SCHUFA控股股份公司）
潜在真理发现（Latent truth discovery，LTD）是指将来自不同来源的多个断言聚合起来，以估计关于实体的断言的可信度的问题。在缺乏基础事实的情况下，这个问题是非常具有挑战性的，当一些来源提供相互矛盾的主张，而另一些来源根本没有主张时。在这项工作中，我们提供了一个无监督的随机推理过程上的模型，结合限制玻尔兹曼机与前馈神经网络，以准确地推断来源的可靠性，以及对实体的陈述的可验证性。与先前的工作相比，我们的方法突出了（1）通过允许并入关于源和声明的任意特征，（2）通过从每个源的可靠性向可靠性函数进行概括，并且因此（3）即使对于没有提供或很少提供声明的源，也能够估计源可靠性，（4）通过建立在高效和可扩展的随机推理算法上，和（5）通过以相当大的幅度超过最新技术水平。
2018-07-27 cs.AI cs.LG stat.ML
Minimax formula for the replica symmetric free energy of deep restricted Boltzmann machines
Institute of Mathematics, University of Zurich（苏黎世大学数学研究所）
我们研究的自由能最常用的深度架构限制玻尔兹曼机，其中层被设置在系列。假设独立的高斯分布的随机权重，我们表明，在所谓的副本对称和规则的误差项可以优化为鞍点。这使我们猜想，在副本对称近似的自由能是由一个最小的最大公式，它平行的两层的情况下实现的。
2022-07-07 cond-mat.dis-nn cs.LG math.PR
Feature Learning with Gaussian Restricted Boltzmann Machine for Robust Speech Recognition
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文首先提出了高斯限制玻尔兹曼机（GRBM）的一种新变体--多元高斯限制玻尔兹曼机（MGRBM），给出了它的定义和学习算法。然后，我们建议使用一个学习GRBM或MGRBM提取更好的鲁棒语音识别的功能。我们在Aurora 2上的实验表明，无论是HMM-GMM还是混合HMM-深度神经网络（DNN）声学模型，GRBM提取的特征和MGRBM提取的特征都比Mel频率倒谱系数（MFCC）好得多，MGRBM提取的特征略好。
2013-09-23 cs.CL cs.LG cs.SD
Cumulative Restricted Boltzmann Machines for Ordinal Matrix Data Analysis
Deakin University（迪肯大学）；Curtin University（科廷大学）
序数数据是无所不在的，几乎所有的多用户生成的反馈-问卷，偏好等。本文研究了有序数据建模与高斯限制玻尔兹曼机（RBM）。特别是，我们提出的模型架构，学习和推理过程的向量变量和矩阵变量有序数据。我们表明，我们的模型是能够捕捉潜在的意见配置文件的公民在世界各地，是竞争对手的最先进的协同过滤技术在大规模的公共数据集。因此，该模式有可能将成果管理制的应用扩展到不同的领域，如推荐系统、产品审查和专家评估。
2014-07-31 cs.IR cs.LG stat.AP
Training Restricted Boltzmann Machines with Binary Synapses using the Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能项目中心）；Institute for Physics of Intelligence（智能物理研究所）；The University of Tokyo（东京大学）
具有低精度突触的受限玻尔兹曼机（RBM）具有高能量效率。然而，由于突触的离散性质，训练具有二元突触的RBM是具有挑战性的。最近Huang提出了一种在变分推理框架下结合梯度上升和消息传递算法来训练具有二元突触的RBM的有效方法。然而，需要额外的启发式裁剪操作。在本技术说明中，受Huang工作的启发，我们提出了一种使用贝叶斯学习规则的替代优化方法，这是一种自然梯度变分推理方法。与Huang的方法相反，我们更新变分对称Bernoulli分布的自然参数而不是期望参数。由于自然参数在整个实域中取值，因此不需要额外的裁剪。有趣的是，\cite{huang2019data}中的算法可以被视为所提出的算法的一阶近似，这证明了其启发式裁剪的有效性。
2020-07-09 cond-mat.dis-nn cs.LG stat.ML
Phase transitions in Restricted Boltzmann Machines with generic priors
Università del Salento（萨伦托大学）；Universität Zürich（苏黎世大学）；King College London（伦敦国王学院）；Scuola Normale Superiore（比萨高等师范学校）
我们研究广义限制玻尔兹曼机与通用先验的单位和权重，布尔和高斯变量之间的插值。我们提出了一个完整的分析，这些系统的副本对称相图，这可以被视为广义Hopfield模型。我们强调检索阶段的推理和学习过程中的作用，我们表明，检索是强大的一大类的重量和单位先验，超出了标准的Hopfield方案。此外，我们展示了顺磁相界如何直接关系到良好的泛化在教师-学生的情况下，无监督学习所需的训练集的最佳大小。
2017-09-06 cond-mat.dis-nn cs.LG physics.data-an
Inferring Sparsity: Compressed Sensing using Generalized Restricted Boltzmann Machines
École Normale Supérieure, PSL Research University（巴黎高等师范学院，PSL研究大学）；Université Pierre et Marie Curie, Sorbonne Universités（皮埃尔和玛丽·居里大学，索邦大学）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）
在这项工作中，我们认为压缩感知重建$M$测量的$K$稀疏结构的信号，不具有可写的相关模型。假设一个生成的统计模型，如玻尔兹曼机，可以在一个无监督的方式对示例信号进行训练，我们演示了如何在贝叶斯信号重建框架内使用这个信号模型。通过推导出一般分布限制玻尔兹曼机的消息传递推断，我们能够将这些推断的信号模型集成到压缩感知重构的近似消息传递中。最后，我们证明了MNIST数据集，这种方法可以是非常有效的，即使是$M < K$。
2016-06-13 cond-mat.dis-nn cs.IT cs.LG
Spectral Classification Using Restricted Boltzmann Machine
Tongji University（同济大学）；Shandong University（山东大学）
在这项研究中，一个新的机器学习算法，限制玻尔兹曼机（RBM），介绍。该算法被应用于天文学中的光谱分类。RBM是一种二分生成图模型，具有两个单独的层（一个可见层和一个隐藏层），可以提取更高级别的特征来表示原始数据。尽管具有生成性，但当使用自由能和软最大函数进行修改时，RBM可以用于分类。在光谱分类之前，对原始数据按照一定的规则进行二值化。然后，我们求助于二进制RBM来分类灾难性变量（CV）和非CV（所有给定数据的一半用于训练，另一半用于测试）。实验结果表明，最新的准确率为100%，这表明了二进制RBM算法的效率。
2013-10-13 cs.LG
Logically Synthesized, Hardware-Accelerated, Restricted Boltzmann Machines for Combinatorial Optimization and Integer Factorization
University of California, Berkeley（加州大学伯克利分校）
受限玻尔兹曼机（RBM）是一种随机神经网络，能够解决各种困难的任务，如NP-Hard组合优化问题和整数分解。RBM架构也非常紧凑;需要很少的权重和偏差。这一点，连同其简单的，并行化的采样算法，寻找基态的这些问题，使RBM适合硬件加速。然而，在这些问题上训练RBM可能会带来重大挑战，因为训练算法往往会在大问题大小时失败，并且很难找到有效的映射。在这里，我们提出了一种将RBM结合在一起的方法，避免了以完整形式训练大问题的需要。我们还提出了使RBM更适合硬件的方法，使算法能够有效地映射到基于FPGA的加速器。使用该加速器，我们能够以高精度显示16位数字的硬件加速因式分解，速度提高10000倍，功率提高32倍。
2020-10-14 cs.LG cs.NE stat.ML
Generalising the Discriminative Restricted Boltzmann Machine
City University London（伦敦城市大学）
我们提出了一个新的理论结果，概括的歧视性限制玻尔兹曼机（DRBM）。虽然最初定义的DRBM假设{0，1}-伯努利分布在其每个隐藏单元，这个结果使得它可以推导出成本函数的DRBM的变体，利用其他分布，包括一些经常在文献中遇到的。这里用二项式和{-1，+1}-伯努利分布来说明这一点。我们评估了这两个DRBM变体，并将其与三个基准数据集（即MNIST和USPS数字分类数据集以及20个新闻组文档分类数据集）上的原始变体进行比较。结果表明，三个比较的模型中的每一个都优于其余两个在三个数据集之一，从而表明，所提出的理论概括的DRBM可能是有价值的实践。
2016-04-06 cs.LG
Restricted Boltzmann Machine for Classification with Hierarchical Correlated Prior
State University of New York at Buffalo（纽约州立大学布法罗分校）
受限玻尔兹曼机（RBM）及其变体是近年来的研究热点，广泛应用于字符识别、文档分类等分类问题。通常，分类RBM忽略了类间关系或类间共享信息的先验知识。在本文中，我们感兴趣的RBM与层次先验类。我们假设附近节点的参数在层次树中是相关的，并且树的每个节点处的参数与其祖先处的参数正交。本文提出了一种层次相关RBM分类方法，该方法是对RBM分类方法的推广，并在不同类之间实现了信息共享。为了减少层次结构中节点参数之间的冗余，我们还引入正交限制我们的目标函数。我们在挑战数据集上测试了我们的方法，并与竞争基线相比显示了有希望的结果。
2015-04-20 cs.LG
