Relaxations for inference in restricted Boltzmann machines
Stanford University（斯坦福大学）
我们提出了一种基于松弛的近似推理算法，采样近MAP配置的二进制成对马尔可夫随机场。我们在几个限制玻尔兹曼机上进行MAP推理任务的实验。我们还使用我们的底层采样器来估计限制玻尔兹曼机的对数配分函数，并与其他基于采样的方法进行比较。
2014-01-02 cs.LG stat.ML
Decreasing the size of the Restricted Boltzmann machine
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）
我们提出了一种方法，以减少限制玻尔兹曼机的隐藏单元的数量，同时避免降低的Kullback-Leibler发散测量的性能。然后，我们证明了我们的算法，使用数值模拟。
2018-12-12 cs.LG stat.ML
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School（孝感高级中学）
在这篇文章中，我们扩展了卷积限制玻尔兹曼机的传统框架，通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征，该乘法单元捕捉输入之间的关系。在许多情况下，两个以上的映射是强相关的，所以明智的做法是让乘法单元学习更多输入映射之间的关系，换句话说，找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序，我们开发了一种学习方法，其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Multi-layered Discriminative Restricted Boltzmann Machine with Untrained Probabilistic Layer
Yamagata University（山形大学）
极限学习机（ELM）是具有未训练参数的三层前馈神经网络，所述未训练参数在训练之前随机确定。受ELM思想的启发，提出了一种称为概率ELM（probabilistic-ELM，PELM）层的概率未训练层，并将其与判别限制玻尔兹曼机（discriminative restricted Boltzmann machine，DRBM）相结合，DRBM是一种用于解决分类问题的概率三层神经网络。所提出的模型是通过在PELM层上堆叠DRBM而获得的。所得到的模型（即，多层DRBM（MDRBM））形成概率四层神经网络。在MDRBM中，PELM层中的参数可以使用Gaussian-Bernoulli限制Boltzmann机来确定。由于PELM层，MDRBM获得了对输入噪声的强免疫力，这是MDRBM最重要的优点之一。使用一些基准数据集，MNIST，时尚MNIST，城市土地覆盖，和CIFAR-10的数值实验表明，MDRBM优于其他现有的模型，特别是在噪声鲁棒性（或，换句话说，泛化属性）。
2022-10-27 cs.AI cs.LG stat.ML
Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
ALBERT Inc.（阿尔伯特公司）；Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究生院）
泛化是机器学习中最重要的问题之一。在这项研究中，我们考虑在限制玻尔兹曼机（RBM）的推广。我们提出了一个多值隐变量的RBM，这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型，通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
2020-01-08 cs.LG stat.ML
Combining Restricted Boltzmann Machines with Neural Networks for Latent Truth Discovery
SCHUFA Holding AG（SCHUFA控股股份公司）
潜在真理发现（Latent truth discovery，LTD）是指将来自不同来源的多个断言聚合起来，以估计关于实体的断言的可信度的问题。在缺乏基础事实的情况下，这个问题是非常具有挑战性的，当一些来源提供相互矛盾的主张，而另一些来源根本没有主张时。在这项工作中，我们提供了一个无监督的随机推理过程上的模型，结合限制玻尔兹曼机与前馈神经网络，以准确地推断来源的可靠性，以及对实体的陈述的可验证性。与先前的工作相比，我们的方法突出了（1）通过允许并入关于源和声明的任意特征，（2）通过从每个源的可靠性向可靠性函数进行概括，并且因此（3）即使对于没有提供或很少提供声明的源，也能够估计源可靠性，（4）通过建立在高效和可扩展的随机推理算法上，和（5）通过以相当大的幅度超过最新技术水平。
2018-07-27 cs.AI cs.LG stat.ML
Rademacher Complexity of the Restricted Boltzmann Machine
玻尔兹曼机作为深度信念网络和深度玻尔兹曼机的基本构造模块，在深度学习领域得到了广泛的应用，并取得了巨大的成功。然而，理论界对它的许多方面的认识还远未明晰。本文研究了渐近限制玻尔兹曼机的Rademacher复杂性和用单步对比发散（CD-1）方法实现的Rademacher复杂性。我们的研究结果揭示了一个事实，即实际的实施培训过程确实增加了限制玻尔兹曼机的Rademacher复杂性。进一步的研究方向可能是调查的VC维的CD-1程序中使用的组成功能。
2015-12-07 cs.LG
Classification of Sets using Restricted Boltzmann Machines
A2iA SA（A2iA股份公司）；University of Toronto（多伦多大学）
我们考虑的问题时，输入对应的向量集的分类。此设置出现在许多问题中，例如包含多个页面的邮件的分类，具有多个部分的网站或已预先分割成较小区域的图像的分类。我们提出了广义的限制玻尔兹曼机（RBM）是适当的，在这种情况下，并探讨如何将不同的假设之间的关系的输入集和目标类内的RBM。在标准的多实例学习数据集上的实验中，我们展示了基于RBM的方法的竞争力，并将所提出的变体应用于传入邮件分类问题。
2011-03-25 cs.LG stat.ML
Advanced Mean Field Theory of Restricted Boltzmann Machine
RIKEN Brain Science Institute（理化学研究所脑科学研究所）
由于对数似然函数的梯度计算，限制玻尔兹曼机的学习通常是困难的。为了描述受限玻尔兹曼机的网络状态统计特性，我们在Bethe近似的基础上发展了一种改进的平均场论。我们的理论提供了一个有效的消息传递为基础的方法，不仅评估的配分函数（自由能），但它的梯度，而不需要统计采样。计算昂贵的采样为基础的方法所获得的结果进行了比较。
2015-05-02 cond-mat.stat-mech cs.LG q-bio.NC
Crime incidents embedding using restricted Boltzmann machines
Georgia Tech Institute of People and Technology（佐治亚理工学院人与技术研究所）
我们提出了一种新的方法来检测相关的犯罪系列，通过高斯-伯努利限制玻尔兹曼机（RBM）的犯罪记录的叙述通过无监督学习的潜在特征嵌入。这是一种与以前的犯罪分析工作截然不同的方法，以前的犯罪分析工作通常只考虑时间和地点，最多考虑类别信息。在嵌入之后，相关案例在欧几里得特征空间中彼此更接近，而不相关案例彼此远离，这是一个很好的性质，可以使相关案例的检测和聚类等后续分析成为可能。亚特兰大警察局手工标记的几个系列的相关犯罪事件的实验揭示了我们的嵌入方法的承诺。
2018-02-14 cs.LG stat.ML
Improving Interpretability of Scores in Anomaly Detection Based on Gaussian-Bernoulli Restricted Boltzmann Machine
Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究科）
针对GBRBM异常检测中分数不可解释导致阈值难以设定的问题，提出基于累积分布的可解释性度量与阈值设定准则，并利用模拟退火算法解决最小分数值的计算不可行评估。
2024-03-19 cs.AI cs.LG stat.ML
Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
Sapienza, University of Rome（罗马大学（萨皮恩扎））
在这项工作中，提出了一种基于无监督学习的迭代算法，特别是在限制玻尔兹曼机（RBM）上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $，并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例，说明了该算法的有效性.
2019-05-02 cs.LG math.OC stat.ML
Geometry and Expressive Power of Conditional Restricted Boltzmann Machines
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
条件限制玻尔兹曼机是一种无向随机神经网络，其输入和输出单元层与隐藏单元层两部分相连。这些网络定义了给定输入设备状态的输出设备状态的条件概率分布模型，由交互权重和偏置参数化。我们解决这些模型的代表性的权力，证明结果的能力，以表示条件马尔可夫随机场和条件分布的限制支持，最小尺寸的通用逼近器，最大模型近似误差，并在一组可表示的条件分布的维度。我们贡献了新的工具，调查条件概率模型，这使我们能够改善的结果，可以从现有的工作限制玻尔兹曼机概率模型。
2015-03-12 cs.LG cs.NE stat.ML
Perception-Distortion Trade-off with Restricted Boltzmann Machines
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）；University of Utah（犹他大学）
在这项工作中，我们引入了一个新的程序应用限制玻尔兹曼机（RBM）丢失的数据推理任务，基于线性化的有效能量函数的分布观测。我们比较我们提出的程序的性能与使用现有的重建程序训练不完整的数据。我们把这些性能比较的感知失真权衡观察到的其他数据重建任务，到目前为止，仍然是未开发的任务依赖于不完整的训练数据的上下文中。
2019-10-21 cs.CV cs.LG stat.ML
Non-Parametric Learning of Lifted Restricted Boltzmann Machines
The University of Texas at Dallas（得克萨斯大学达拉斯分校）
我们考虑在关系数据的存在下，有区别地学习受限玻尔兹曼机的问题。与以前的方法，采用规则学习器（结构学习）和权重学习器（参数学习）顺序，我们开发了一个梯度提升的方法，同时执行。我们的方法学习一组弱关系回归树，其从根到叶的路径是合取子句并表示结构，其叶值表示参数。当学习的关系回归树被转换为提升的RBM时，其隐藏节点正是从关系回归树导出的合取子句。这导致了一个更可解释和解释的模型。我们的实证评估清楚地证明了这一点，同时显示学习模型的有效性没有损失。
2020-01-09 cs.AI cs.LG
Learning from multivariate discrete sequential data using a restricted Boltzmann machine model
Escuela Superior Politecnica del Litoral (ESPOL)（埃斯波莱大学（ESPOL））
受限玻尔兹曼机（RBM）是一种生成式神经网络模型，具有许多新颖的应用，如协同滤波和声学建模。成果管理制缺乏保持记忆的能力，因此不适合于动态数据建模，如时间序列分析。在本文中，我们解决这个问题，提出了p-RBM模型，一个推广的常规RBM模型，能够保留记忆的p过去的状态。我们进一步展示了如何使用对比散度对p-RBM模型进行训练，并在考虑NASDAQ-100指数的100只股票的股票市场方向预测问题上对我们的模型进行了测试。结果表明，p-RBM提供了有前途的预测潜力。
2018-04-28 cs.LG stat.ML
Subspace Restricted Boltzmann Machine
Wroclaw University of Technology（弗罗茨瓦夫理工大学）
子空间限制玻尔兹曼机（SubspaceBBM）是一种三阶玻尔兹曼机，其中一个可见单元和两个隐藏单元之间存在乘法相互作用。有两种类型的隐藏单元，即门单元和子空间单元。子空间单元反映数据中模式的变化，门单元负责激活子空间单元。此外，门单元可以被视为池化特征。我们通过MNIST数字识别任务的实验、测量重建误差和分类误差来评估子空间RBM的行为。
2014-07-16 cs.LG
Learning State Transition Rules from Hidden Layers of Restricted Boltzmann Machines
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
理解系统的动力学在许多科学和工程领域中是重要的。这个问题可以通过使用机器学习技术从观察中学习状态转换规则来解决。这种观测到的时间序列数据通常由许多具有噪声和模糊性的连续变量的序列组成，但我们通常需要可以用几个基本变量建模的动态规则。在这项工作中，我们提出了一种方法，从高维时间序列数据中提取少量的基本隐变量，并学习这些隐变量之间的状态转换规则。所提出的方法是基于限制玻尔兹曼机（RBM），在可见层和隐藏层中的潜在功能，可观察到的数据。然而，真实世界的数据，如视频和音频，包括离散和连续变量，这些变量具有时间关系。因此，我们提出了递归时间GaussianBernoulli限制玻尔兹曼机（RTGB-RBM），它结合了Gaussian-Bernoulli限制玻尔兹曼机（GB-RBM）来处理连续的可见变量，和递归时间限制玻尔兹曼机（RT-RBM）来捕获离散隐变量之间的时间依赖性。我们还提出了一个基于规则的方法，提取必要的信息作为隐藏变量，并表示状态转换规则的可解释的形式。我们在弹跳球和移动MNIST数据集上进行实验，以评估我们提出的方法。实验结果表明，该方法可以学习这些物理系统的动力学行为作为隐变量之间的状态转换规则，并可以从观测到的状态转换中预测未观测到的未来状态。
2022-12-07 cs.AI cs.LG
From Monte Carlo to Las Vegas: Improving Restricted Boltzmann Machine Training Through Stopping Sets
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Purdue University（普渡大学）
我们提出了一个拉斯维加斯变换的马尔可夫链蒙特卡罗（MCMC）估计的限制玻尔兹曼机（RBM）。我们表示我们的方法马尔可夫链拉斯维加斯（MCLV）。MCLV提供统计保证，以换取随机运行时间。MCLV使用从训练数据构建的停止集，并且具有最大马尔可夫链步骤数K（称为MCLV-K）。我们提出了RBM的MCLV-K梯度估计器（LVS-K），并探讨了LVS-K和对比发散（CD-K）之间的对应关系和差异，LVS-K在MNIST数据集上显著优于CD-K训练RBM，表明MCLV是学习生成模型的一个有前途的方向。
2017-11-22 cs.LG stat.ML
Composite Likelihood Estimation for Restricted Boltzmann machines
Yamagata University（山形大学）；Tohoku University（东北大学）
使用最大似然估计学习图形模型的参数通常是困难的，这需要近似。最大复合似然估计是最大似然估计的统计近似，是最大伪似然估计的高阶推广。本文提出了一种复合似然方法，并研究了它的性质。此外，我们将我们的复合似然方法限制玻尔兹曼机。
2014-06-24 cs.LG
Explainable Restricted Boltzmann Machines for Collaborative Filtering
University of Louisville（路易斯维尔大学）
大多数精确的推荐系统都是黑盒模型，隐藏了推荐背后的推理。然而，解释已经被证明可以增加用户对系统的信任，除了提供其他好处，如可感知性，这意味着能够验证推荐的有效性。准确性和透明度或可解释性之间的这种差距产生了对自动解释生成方法的兴趣。受限玻尔兹曼机（RBM）是CF的精确模型，也缺乏可解释性。在本文中，我们专注于基于RBM的协同过滤推荐，并进一步假设没有任何额外的数据源，如项目内容或用户属性。因此，我们提出了一个新的可解释的RBM技术，计算的前n个推荐列表的项目是可解释的。实验结果表明，我们的方法是有效的，在生成准确和可解释的建议。
2016-06-22 cs.LG stat.ML
Restricted Boltzmann Machines: Introduction and Review
University of California, Los Angeles（加州大学洛杉矶分校）
受限玻尔兹曼机是一个随机单元网络，在成对的可见和隐藏单元之间具有无向相互作用。该模型作为深度学习架构的构建块得到推广，并在应用和理论机器学习中继续发挥重要作用。受限玻尔兹曼机具有丰富的结构，与几何、应用代数、概率、统计、机器学习和其他领域有联系。对这些模型的分析本身就很有吸引力，也是一个平台，可以将数学工具与隐变量图形模型相结合并加以推广。本文介绍了限制玻尔兹曼机的数学分析，回顾了最近的结果的几何集合的概率分布所代表的这些模型，并提出了一些进一步研究的方向。
2018-06-19 cs.IT cs.LG math.IT
Restricted Boltzmann Machines for Robust and Fast Latent Truth Discovery
SCHUFA Holding AG, Innovation Lab（SCHUFA控股公司创新实验室）
我们解决的问题，潜在的真理发现，有限责任公司的简称，其目标是发现潜在的真实价值的实体属性存在的噪音，冲突或不完整的信息。尽管可以在文献中找到大量的算法来解决LTD问题，但对于它们在有效性（在真相发现能力方面）、效率和鲁棒性方面的整体性能知之甚少。一个实用的LTD方法应该满足所有这些特征，以便它可以应用于不同质量和清洁度的异构数据集。我们提出了一种新的算法有限责任公司，满足上述要求。该模型是基于限制玻尔兹曼机，因此创造了LTD-RBM。在各种异构和公开可用的数据集上进行的广泛实验中，LTD-RBM在有效性，效率和鲁棒性的综合考虑方面优于最先进的LTD技术。
2017-12-31 cs.LG stat.ML
Tractable loss function and color image generation of multinary restricted Boltzmann machine
Seoul National University（首尔大学）；Clova AI, NAVER Corp.（NAVER公司Clova AI）
受限玻尔兹曼机（RBM）是一种基于统计力学概念的有代表性的生成模型。尽管具有很强的可解释性，但反向传播的不可用性使其比其他生成模型更具竞争力。在这里，我们推导出可微的损失函数的二元和多元RBM。然后，我们通过生成彩色人脸图像来展示它们的可学习性和性能。
2020-11-27 cs.CV cs.LG
Rapid mixing in positively weighted restricted Boltzmann machines
School of Informatics, University of Edinburgh, Informatics Forum, UK（爱丁堡大学信息学院）；School of Computing and Data Science, The University of Hong Kong, HK（香港大学计算与数据科学学院）
本文通过分析铁磁双自旋系统的Glauber动力学，证明了正权重受限玻尔兹曼机的交替扫描采样器具有多对数混合时间界，并得到了临界阈值内的新混合时间界。
2026-05-25 cs.DS cs.LG math.PR
Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Physics, University of California, San Diego（加利福尼亚大学圣地亚哥分校物理系）
受限玻尔兹曼机（RBM）是一类功能强大的生成模型，但它们的训练需要计算梯度，与典型损失函数上的监督反向传播不同，甚至难以近似。在这里，我们证明了将标准梯度更新与从RBM基态（模式）的样本构建的偏离梯度的方向适当地结合起来，与传统的梯度方法相比，大大提高了它们的训练。这种方法，我们称之为模式训练，除了较低的收敛相对熵（KL发散）外，还可以促进更快的训练和稳定性。随着这种方法的稳定性和收敛性的证明，我们还证明了它的有效性，在合成数据集，我们可以计算KL分歧，以及一个更大的机器学习标准，MNIST。我们建议的模式训练是非常通用的，因为它可以与任何给定的梯度方法结合应用，并且很容易扩展到更一般的基于能量的神经网络结构，如深度，卷积和不受限制的玻尔兹曼机。
2020-01-19 cs.LG stat.ML
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.（Stel计算机系统有限公司）
提出了一种基于高斯-二元限制玻尔兹曼机（GRBM）的说话人子空间建模方法。该模型基于概率线性判别分析（PLDA）中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子，其中扬声器因子在扬声器的所有向量上共享。然后，最大似然参数估计（MLE）的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于Boltzmann Machine（BM）、Restricted Boltzmann Machine（RBM）和Deep Belief Network（DBN）的教程和综述论文。我们从概率图模型，马尔可夫随机场，吉布斯抽样，统计物理，伊辛模型和Hopfield网络的必要背景开始。然后，我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布，RBM中用于生成变量的Gibbs抽样，通过最大似然估计训练BM和RBM，以及对比发散。然后，我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后，我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Graph Signal Recovery Using Restricted Boltzmann Machines
University of Southern California（南加州大学）
我们提出了一个模型不可知的管道恢复图形信号的专家系统，利用限制玻尔兹曼机的内容可寻址存储器属性和神经网络的代表性能力。所提出的管道需要在具有干净数据的向下机器学习任务上训练的深度神经网络，该数据没有任何形式的损坏或不完整。我们表明，对深度神经网络学习的表示进行去噪通常比对数据本身进行去噪更有效。虽然这个管道可以处理任何数据集中的噪声，但它对图结构数据集特别有效。
2020-11-20 cs.AI cs.LG cs.NE
Minimax formula for the replica symmetric free energy of deep restricted Boltzmann machines
Institute of Mathematics, University of Zurich（苏黎世大学数学研究所）
我们研究的自由能最常用的深度架构限制玻尔兹曼机，其中层被设置在系列。假设独立的高斯分布的随机权重，我们表明，在所谓的副本对称和规则的误差项可以优化为鞍点。这使我们猜想，在副本对称近似的自由能是由一个最小的最大公式，它平行的两层的情况下实现的。
2022-07-07 cond-mat.dis-nn cs.LG math.PR
Conditional Restricted Boltzmann Machines for Structured Output Prediction
University of Toronto（多伦多大学）
条件限制玻尔兹曼机（CRBM）是一种丰富的概率模型，最近已被应用于广泛的问题，包括协同过滤，分类和建模运动捕捉数据。虽然在训练非条件RBM方面取得了很大进展，但这些算法不适用于条件模型，并且几乎没有关于训练和生成结构化输出问题的条件RBM预测的工作。我们首先认为，标准的基于对比发散的学习可能不适合训练CRBM。然后，我们确定两种不同类型的结构化输出预测问题，并提出了一种改进的学习算法。第一种问题类型是输出空间具有任意结构但可能的输出配置集合相对较小的问题，例如在多标签分类中。第二个问题是输出空间是任意结构的，但输出空间的可变性要大得多，例如在图像去噪或像素标记中。我们表明，新的学习算法可以更好地工作比对比发散这两种类型的问题。
2012-02-14 cs.LG stat.ML
Deep Restricted Boltzmann Networks
Carnegie Mellon University（卡内基梅隆大学）
建立一个良好的图像生成模型一直是计算机视觉和机器学习领域的重要课题。受限玻尔兹曼机（RBM）就是其中一种简单但功能强大的模型。然而，它的限制形式也对模型的表示能力和可扩展性提出了很大的限制。基于RBM的许多扩展已经被发明出来，以便产生具有更大功能的更深层次的架构。其中最著名的是深度信念网络，它将多层预训练的RBM堆叠起来形成混合模型，以及深度玻尔兹曼机，它允许隐藏单元之间的连接形成多层结构。本文提出了一种新的RBM组合方法，形成一个多层网络式的体系结构，并提出了一种联合训练各层的训练方法。我们称这种结构为深度限制玻尔兹曼网络。我们进一步探索卷积RBM与正常全连接RBM的组合，这在我们的组合框架下变得微不足道。实验表明，我们的模型可以生成下降的图像，并在图像质量和特征质量方面显着优于正常的RBM，而不会损失太多的训练效率。
2016-11-15 cs.LG
A Robust Unsupervised Ensemble of Feature-Based Explanations using Restricted Boltzmann Machines
University of Tübingen（图宾根大学）
理解深度神经网络的结果是深度学习算法获得更广泛接受的重要一步。许多方法解决了解释人工神经网络的问题，但往往提供不同的解释。此外，解释方法的不同超参数可能导致相互冲突的解释。在本文中，我们提出了一种技术，用于聚合不同解释算法的特征属性，使用受限玻尔兹曼机（RBM）来实现更可靠和鲁棒的深度神经网络解释。在真实数据集上的几个具有挑战性的实验表明，所提出的RBM方法优于流行的特征属性方法和基本集成技术。
2021-11-14 cs.LG
Feature Learning with Gaussian Restricted Boltzmann Machine for Robust Speech Recognition
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文首先提出了高斯限制玻尔兹曼机（GRBM）的一种新变体--多元高斯限制玻尔兹曼机（MGRBM），给出了它的定义和学习算法。然后，我们建议使用一个学习GRBM或MGRBM提取更好的鲁棒语音识别的功能。我们在Aurora 2上的实验表明，无论是HMM-GMM还是混合HMM-深度神经网络（DNN）声学模型，GRBM提取的特征和MGRBM提取的特征都比Mel频率倒谱系数（MFCC）好得多，MGRBM提取的特征略好。
2013-09-23 cs.CL cs.LG cs.SD
Training Restricted Boltzmann Machines on Word Observations
University of Toronto（多伦多大学）；Harvard University（哈佛大学）；Université de Sherbrooke（舍布鲁克大学）
受限玻尔兹曼机（RBM）是一种灵活的工具，复杂的数据建模，但有显着的计算困难，使用RBM模型高维多项式观测。在自然语言处理应用中，单词自然地由K元离散分布建模，其中K由词汇大小确定并且可以很容易地以数十万计。传统的基于单词观测训练RBM的方法是有限的，因为它需要在块吉布斯更新期间对K路softmax可见单元的状态进行采样，这是一种在K中进行时间线性的操作。在这项工作中，我们解决这个问题，采用更一般的一类马尔可夫链蒙特卡罗算子的可见单位，产生更新的计算复杂性独立于K。我们证明了我们的方法的成功，通过使用比以前可行的更大的词汇表在数亿个单词n-gram上训练RBM，并使用学习的功能来提高分块和情感分类任务的性能，在后者上实现最先进的结果。
2012-07-05 cs.LG stat.ML
Parallelized Training of Restricted Boltzmann Machines using Markov-Chain Monte Carlo Methods
受限玻尔兹曼机（RBM）是一种生成式随机神经网络，可以应用于推荐系统中的协同过滤技术。在推荐系统中，RBM模型的预测精度通常优于其他模型。然而，训练RBM模型涉及马尔可夫链蒙特卡罗（MCMC）方法，这是计算昂贵的。在本文中，我们已经成功地应用了分布式并行训练使用Horovod框架，以提高RBM模型的训练时间。我们的测试表明，RBM模型的分布式训练方法具有良好的扩展效率。我们还表明，这种方法有效地减少了训练时间略超过12分钟64个CPU节点相比，5个小时的单个CPU节点。这将使成果管理制模式更实际地适用于推荐系统。
2019-10-14 cs.DC cs.LG stat.ML
Emergence of Compositional Representations in Restricted Boltzmann Machines
Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；Sorbonne Universités UPMC（索邦大学）
自动提取组成真实高维数据的复杂特征集对于实现机器学习任务的高性能至关重要。限制玻尔兹曼机（RBM）在经验上已知对于此目的是有效的，并且能够生成数据的分布式和分级表示。我们表征的结构条件（稀疏的权重，低有效温度，非线性的激活功能的隐藏单元，和适应领域保持活动在可见层）允许RBM在这样的组成阶段。证据提供了一个足够的随机RBM的统计合奏的副本分析和手写数字数据集MNIST上训练的RBM。
2017-03-02 cond-mat.dis-nn cs.LG physics.data-an
Properties and Bayesian fitting of restricted Boltzmann machines
Duke University（杜克大学）；Iowa State University（爱荷华州立大学）
受限玻尔兹曼机（RBM）是为离散或连续随机变量构造的无向图模型，具有两层，一层隐藏，一层可见，并且层内没有条件依赖。近年来，RBM由于与深度学习的联系而变得突出。通过将一个RBM的隐藏层视为第二RBM中的可见层，可以创建深层架构。RBM因此被认为有能力在数据中编码非常复杂和丰富的结构，使它们对监督学习具有吸引力。然而，RBM的生成行为在很大程度上是未开发的，典型的拟合方法不容易允许不确定性量化，除了点估计。在本文中，我们讨论了在二元情况下的RBM参数指定和模型的性质，如退化，不稳定性和不可解释性之间的关系。我们还描述了相关的困难，可能会出现基于似然的推理，并进一步讨论潜在的贝叶斯拟合等（高度灵活的）模型，特别是吉布斯抽样（准贝叶斯）的方法往往主张的RBM模型结构。
2018-09-25 cs.LG stat.ML
Cumulative Restricted Boltzmann Machines for Ordinal Matrix Data Analysis
Deakin University（迪肯大学）；Curtin University（科廷大学）
序数数据是无所不在的，几乎所有的多用户生成的反馈-问卷，偏好等。本文研究了有序数据建模与高斯限制玻尔兹曼机（RBM）。特别是，我们提出的模型架构，学习和推理过程的向量变量和矩阵变量有序数据。我们表明，我们的模型是能够捕捉潜在的意见配置文件的公民在世界各地，是竞争对手的最先进的协同过滤技术在大规模的公共数据集。因此，该模式有可能将成果管理制的应用扩展到不同的领域，如推荐系统、产品审查和专家评估。
2014-07-31 cs.IR cs.LG stat.AP
Training a Restricted Boltzmann Machine for Classification by Labeling Model Samples
Johannes Gutenberg-University Mainz（美因茨约翰内斯·古腾堡大学）
我们提出了一种训练分类模型的替代方法。使用MNIST手写数字集和受限玻尔兹曼机，如果我们首先仅在未标记的数据上以无监督的方式训练模型，然后在GUI的帮助下手动将标签添加到模型样本而不是训练数据样本，则可以达到与半监督学习竞争的分类性能。这种方法可以受益于这样一个事实，即模型样本可以以类似视频的方式呈现给人类标记者，从而产生更多数量的标记示例。此外，经过一些初始训练后，难以分类的示例可以自动与容易的示例区分开来，节省了手动工作。
2015-09-03 cs.LG
Conditional Restricted Boltzmann Machines for Cold Start Recommendations
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；School of Information Science and Engineering, University of Chinese Academy of Sciences（中国科学院大学信息科学与工程学院）
受限玻尔兹曼机（RBM）已经成功地应用于推荐系统中。然而，与大多数其他协同过滤技术一样，它不能解决冷启动问题，因为没有对新项目的评级。本文首先应用条件RBM（CRBM），它可以考虑额外的信息，并表明CRBM可以很好地解决冷启动问题，特别是额定值预测任务。CRBM自然地将内容和协作数据结合在一个可以有效适应的框架下。实验表明，CRBM可以媲美矩阵分解模型，而从前一个模型学习的隐藏特征更容易被解释。
2014-08-01 cs.IR cs.LG stat.ML
Effectively Trainable Semi-Quantum Restricted Boltzmann Machine
Russian Quantum Center（俄罗斯量子中心）；National University of Science and Technology MISiS（国立科学技术大学MISiS）；National Research Nuclear University MEPhI（国立研究型核大学MEPhI）
我们提出了一个新的量子模型的限制玻尔兹曼机（RBM），其中可见的单位仍然是经典的，而隐藏的单位被量化为非相互作用的费米子。费米子的自由运动与可见光单位的经典信号参数耦合。该模型具有量子行为，例如隐藏单元之间的相干性。数值实验表明，这一事实使它比经典的RBM具有相同数量的隐藏单元更强大。与此同时，与量子玻尔兹曼机（QBM）的其他方法相比，所提出的模型的一个显着优点是它在经典计算机上是完全可解和有效可训练的：对数似然梯度相对于其参数有一个封闭的表达式。这一事实使它不仅作为一个假设的量子模拟器的模型，而且作为一个量子启发的经典机器学习算法。
2021-02-11 cond-mat.dis-nn cs.LG stat.ML
Enhanced Factored Three-Way Restricted Boltzmann Machines for Speech Detection
在这封信中，我们提出了增强因子三路限制玻尔兹曼机（EFTW-RBM）的语音检测。所提出的模型通过乘以第三单元的动态状态来结合条件特征学习，这允许对可见-隐藏节点对进行调制。代替以递归方式将语音的先前帧堆叠为第三单元，相关加权系数被分配给上下文相邻帧。具体而言，阈值函数被设计为捕获长期特征并混合全局存储的语音结构。引入因子化的低秩近似来降低三维相互作用张量的参数，并对该参数施加非负约束以解决稀疏特性。通过ROC曲线下面积（AUC）和信号失真率（SDR）的验证表明，我们的方法优于几种现有的1D和2D（即，时域和时频域）语音检测算法。
2017-04-20 cs.LG cs.SD stat.ML
Gaussian-binary Restricted Boltzmann Machines on Modeling Natural Image Statistics
Ruhr-Universität Bochum（波鸿鲁尔大学）
本文从密度模型的角度对高斯-二元限制玻尔兹曼机进行了理论分析。该分析的关键方面是表明GRBM可以被制定为高斯的约束混合，这使得更好地了解模型的能力和局限性。我们表明，GRBM能够学习有意义的功能，在一个二维的盲声源分离任务和自然图像建模。此外，我们发现，在训练GRBM报告的困难是由于训练算法的失败，而不是模型本身。基于我们的分析，我们能够提出几个训练配方，这使得我们的实验中成功和快速的训练。最后，我们讨论了GRBMs的关系，已提出了几个修改，以改善模型。
2014-01-23 cs.LG cs.NE stat.ML
Elastic regularization in restricted Boltzmann machines: Dealing with $p\gg N$
受限玻尔兹曼机（RBM）被赋予了建模（二进制）联合分布的通用能力。同时，由于其局限的网络结构，训练RBM面临的困难较少（与更复杂的模型相比，例如，玻尔兹曼机）处理近似和推理问题时。然而，在某些计算生物学场景中，例如癌症数据分析，采用RBM来建模数据特征可能由于“$p\gg N$“问题而失去其功效，其中特征/预测因子的数量远大于样本大小。在设计统计学习方法时，“$p\gg N$”问题将偏差-方差权衡置于更关键的位置。在这篇手稿中，我们试图解决这个问题，提出了一种新的RBM模型，称为弹性限制玻尔兹曼机（eRBM），它将弹性正则化项的似然/成本函数。我们提供了一些理论分析我们的模型的优越性。此外，由于经典的对比发散（CD）算法，eRBM可以有效地训练。我们的新模型是未来癌症数据分析的一种有前途的方法。
2015-10-21 cs.LG
Inferring Sparsity: Compressed Sensing using Generalized Restricted Boltzmann Machines
École Normale Supérieure, PSL Research University（巴黎高等师范学院，PSL研究大学）；Université Pierre et Marie Curie, Sorbonne Universités（皮埃尔和玛丽·居里大学，索邦大学）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）
在这项工作中，我们认为压缩感知重建$M$测量的$K$稀疏结构的信号，不具有可写的相关模型。假设一个生成的统计模型，如玻尔兹曼机，可以在一个无监督的方式对示例信号进行训练，我们演示了如何在贝叶斯信号重建框架内使用这个信号模型。通过推导出一般分布限制玻尔兹曼机的消息传递推断，我们能够将这些推断的信号模型集成到压缩感知重构的近似消息传递中。最后，我们证明了MNIST数据集，这种方法可以是非常有效的，即使是$M < K$。
2016-06-13 cond-mat.dis-nn cs.IT cs.LG
Training and Classification using a Restricted Boltzmann Machine on the D-Wave 2000Q
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
受限玻尔兹曼机（RBM）是一种基于能量的无向图模型。它通常用于无监督和有监督的机器学习。通常，RBM使用对比发散（CD）进行训练。然而，使用CD的训练是缓慢的，并且不能估计对数似然代价函数的精确梯度。在这项工作中，使用量子退火器（D-Wave 2000 Q）计算了RBM梯度学习的模型期望值，这比CD中使用的马尔可夫链蒙特卡罗（MCMC）快得多。训练和分类结果与CD进行了比较。分类精度的结果表明，这两种方法的性能相似。图像重建以及对数似然计算被用来比较量子和经典算法的RBM训练的性能。结果表明，从量子退火机获得的样本可以用来训练一个RBM上的64位“酒吧和条纹”的数据集与分类性能类似的RBM训练CD。虽然基于CD的训练显示出改进的学习性能，但使用量子退火器的训练消除了CD的计算昂贵的MCMC步骤。
2020-05-07 cs.LG stat.ML
Linear-Time Sequence Classification using Restricted Boltzmann Machines
The Australian E-Health Research Centre, CSIRO（澳大利亚电子健康研究中心（联邦科学与工业研究组织））；City University London（伦敦城市大学）
序列数据的分类是动态贝叶斯模型和递归神经网络（RNN）感兴趣的主题。虽然前者可以显式地建模类变量之间的时间依赖关系，后者具有学习表示的能力。已经进行了几次尝试，通过结合这两种方法或增加RNN中隐藏单元的处理能力来提高性能。这通常会导致具有大量学习参数的复杂模型。在本文中，提出了一个紧凑的模型，它提供了表示学习和类变量的时间推断滚动限制玻尔兹曼机（RBM）和类变量随着时间的推移。我们通过优化条件分布而不是联合分布来解决RBM这种变体中的棘手问题。在旋律建模和光学字符识别上的实验结果表明，该模型的性能优于现有技术;在光学字符识别、词性标注和文本组块识别上的实验结果表明，该模型与具有复杂记忆门的递归神经网络相比，所需参数少得多。
2018-03-08 cs.LG stat.ML
Prediction of breast cancer recurrence using Classification Restricted Boltzmann Machine with Dropping
Wrocław University of Technology（弗罗茨瓦夫理工大学）
在本文中，我们应用分类限制玻尔兹曼机（ClassRBM）的预测乳腺癌复发的问题。根据波兰国家癌症登记处的数据，仅在2010年，乳腺癌就占波兰所有癌症诊断病例的近25%。我们提出了如何使用ClassRBM来预测乳腺癌复发并发现疾病复发的相关输入（症状）。接下来，我们概述了一个用于学习带有掩码的玻尔兹曼机的一般概率框架，我们称之为Dropping。生成掩码的方式导致不同的学习方法，即，DropOut、DropConnect。我们提出了一种新的方法称为DropPart，这是一个推广的DropConnect。在DropPart中，使用Beta分布而不是DropConnect中的Bernoulli分布。最后，我们使用由卢布尔雅那肿瘤研究所提供的949例病例组成的真实数据集进行了实验。
2013-10-30 cs.LG
Phase transitions in Restricted Boltzmann Machines with generic priors
Università del Salento（萨伦托大学）；Universität Zürich（苏黎世大学）；King College London（伦敦国王学院）；Scuola Normale Superiore（比萨高等师范学校）
我们研究广义限制玻尔兹曼机与通用先验的单位和权重，布尔和高斯变量之间的插值。我们提出了一个完整的分析，这些系统的副本对称相图，这可以被视为广义Hopfield模型。我们强调检索阶段的推理和学习过程中的作用，我们表明，检索是强大的一大类的重量和单位先验，超出了标准的Hopfield方案。此外，我们展示了顺磁相界如何直接关系到良好的泛化在教师-学生的情况下，无监督学习所需的训练集的最佳大小。
2017-09-06 cond-mat.dis-nn cs.LG physics.data-an
The Accuracy of Restricted Boltzmann Machine Models of Ising Systems
University of Waterloo（滑铁卢大学）
受限玻尔兹曼机（RBM）为物理系统建模提供了一个通用框架，但其行为依赖于超参数，如学习率、隐节点数和阈值函数的形式。因此，本文详细研究了这些参数对伊辛自旋系统计算的影响。一个权衡之间的准确性的统计量，如比热和能量和磁化的联合分布。因此，成果管理制的最佳结构本质上取决于它所适用的物理问题。
2020-04-27 cond-mat.stat-mech cs.LG physics.app-ph
Exploiting Restricted Boltzmann Machines and Deep Belief Networks in Compressed Sensing
American Family Mutual Insurance Company（美国家庭互助保险公司）；University of Delaware（特拉华大学）
本文提出了一种CS方案，该方案利用受限玻尔兹曼机和深度学习架构的表示能力来对属于同一类的信号的稀疏模式的先验分布进行建模。所确定的概率分布，然后使用在最大后验概率（MAP）的方法进行重建。先验分布的参数从训练数据中学习。这种方法背后的动机是对稀疏表示的系数之间的高阶统计依赖关系进行建模，最终目标是改善重建。在Berkeley分割数据集和MNIST手写体数字数据库上验证了该方法的性能。
2017-05-30 cs.LG
An Infinite Restricted Boltzmann Machine
Université de Sherbrooke（舍布鲁克大学）
我们提出了一个数学结构的限制玻尔兹曼机（RBM），不需要指定的隐藏单元的数量。事实上，隐藏层的大小是自适应的，可以在训练过程中增长。这是通过首先将RBM扩展到对其隐藏单元的排序敏感来获得的。然后，由于精心选择的能量函数的定义，我们表明，无限多个隐藏单位的限制是很好的定义。与RBM一样，可以执行近似最大似然训练，从而产生在学习期间自然且自适应地添加训练的隐藏单元的算法。我们实证研究这种无限的RBM的行为，表明它的性能是有竞争力的RBM，而不需要调整隐藏层的大小。
2016-03-18 cs.LG
Energy-based Dropout in Restricted Boltzmann Machines: Why not go random
São Paulo State University（圣保罗州立大学）；ARMTEC Tecnologia em Robótica（ARMTEC机器人技术公司）
深度学习架构在过去几年中得到了广泛的发展，被广泛应用于对象识别、图像重建和信号处理等领域。然而，这些模型存在一个常见的问题，称为过拟合，这限制了网络有效预测看不见的数据。正则化方法的出现是为了解决这一缺陷。其中，人们可以参考著名的Dropout，它通过根据一定的概率随机关闭一组神经元及其连接来解决问题。因此，这种方法不考虑任何额外的知识来决定哪些单元应该断开。在本文中，我们提出了一种基于能量的Dropout（E-Dropout），它可以有意识地决定是否应该丢弃一个神经元。具体来说，我们通过将神经元和模型的能量相关作为重要性级别来设计这种正则化方法，以便进一步将其应用于基于能量的模型，例如受限玻尔兹曼机（RBM）。在几个基准数据集上的实验结果表明，与传统的Dropout和标准的RBM相比，该方法的适用性。
2021-01-17 cs.AI cs.LG
