Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
Sapienza, University of Rome（罗马大学（萨皮恩扎））
在这项工作中，提出了一种基于无监督学习的迭代算法，特别是在限制玻尔兹曼机（RBM）上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $，并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例，说明了该算法的有效性.
2019-05-02 cs.LG math.OC stat.ML
Modelling conditional probabilities with Riemann-Theta Boltzmann Machines
Università degli Studi di Milano（米兰大学）；INFN Sezione di Milano（意大利国家核物理研究所米兰分部）；University of Lausanne（洛桑大学）
黎曼-θ玻尔兹曼机的可见扇区的概率密度函数可以以可见单元的子集为条件。我们推导出相应的条件密度函数是由黎曼-θ玻尔兹曼机建模的原始概率密度函数的重新参数化。因此，条件密度可以直接从Riemann-Theta Boltzmann机推导出来。
2019-05-27 cs.LG hep-ph stat.ML
Learning Boltzmann Machine with EM-like Method
Tsinghua University（清华大学）
提出了一种类期望最大化（EM like）方法来训练具有无约束连通性的Boltzmann机.该算法在E步中采用Monte Carlo近似，在M步中用有效计算的目标代替难处理的似然目标或直接逼近似然目标的梯度。类EM方法是交替极小化的一种改进。本文证明了在限制玻尔兹曼机中，如果类EM方法的M步采用特殊的近似，则该方法与对比发散完全相同。我们还提出了一种新的度量方法来评价玻尔兹曼机作为数据生成模型的性能，其计算复杂性为O（Rmn）.最后，我们通过数值实验证明了EM类方法的性能。
2016-09-07 cs.LG stat.ML
Deep Narrow Boltzmann Machines are Universal Approximators
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
我们表明，深窄玻尔兹曼机的概率分布的活动，其可见的单位是普遍的近似，只要他们有足够多的隐藏层，每个包含相同数量的单位作为可见层。我们表明，在某些参数域，深度玻尔兹曼机可以作为前馈网络进行研究。我们提供了上界和下界的充分的深度和宽度的通用逼近。这些结果解决了关于无向网络的各种直觉，特别是，它们表明，深窄玻尔兹曼机至少与窄S形信念网络和限制玻尔兹曼机一样紧凑的通用逼近器，相对于这些模型的当前可用边界。
2015-04-10 cs.LG math.PR stat.ML
Rademacher Complexity of the Restricted Boltzmann Machine
玻尔兹曼机作为深度信念网络和深度玻尔兹曼机的基本构造模块，在深度学习领域得到了广泛的应用，并取得了巨大的成功。然而，理论界对它的许多方面的认识还远未明晰。本文研究了渐近限制玻尔兹曼机的Rademacher复杂性和用单步对比发散（CD-1）方法实现的Rademacher复杂性。我们的研究结果揭示了一个事实，即实际的实施培训过程确实增加了限制玻尔兹曼机的Rademacher复杂性。进一步的研究方向可能是调查的VC维的CD-1程序中使用的组成功能。
2015-12-07 cs.LG
Learning Feature Hierarchies with Centered Deep Boltzmann Machines
Korea University（高丽大学）
深度玻尔兹曼机原则上是提取数据层次结构的强大模型。不幸的是，联合训练层的尝试（没有贪婪的逐层预训练）在很大程度上是不成功的。我们提出了一个修改的学习算法，最初重新中心的激活函数的输出为零。这种修改导致更好的条件海森，从而使学习更容易。我们在真实数据上测试了该算法，并证明了我们的建议，即中心深度玻尔兹曼机，学习了一个越来越抽象的表示层次和一个更好的数据生成模型。
2012-03-16 cs.AI cs.LG stat.ML
Complex Amplitude-Phase Boltzmann Machines
Intel Labs（英特尔实验室）；University of California Berkeley（加州大学伯克利分校）
我们将玻尔兹曼机的框架扩展到具有可变振幅的复值神经元网络，称为复振幅相位玻尔兹曼机（CAP-BM）。该模型能够对复杂数据中的幅度和相对相位分布进行无监督学习。给出了Gibbs分布的采样规则和模型的学习规则。学习在一个复杂的幅度-相位限制玻尔兹曼机（CAP-RBM）证明合成复值图像，手写MNIST数字变换的复小波变换。具体来说，我们展示了一个新的振幅振幅耦合项在我们的模型的必要性。所提出的模型是潜在的有价值的机器学习任务，涉及复值数据的振幅变化，并为开发新的计算硬件，如耦合振荡器和神经形态硬件，玻尔兹曼采样可以在复杂的域中执行的算法。
2020-05-04 cs.LG cs.NE stat.ML
Boltzmann machines as two-dimensional tensor networks
Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hangzhou Institute for Advanced Study, UCAS（国科大杭州高等研究院）；International Centre for Theoretical Physics Asia-Pacific（国际理论物理中心亚太地区分中心）
限制玻尔兹曼机（RBM）和深度玻尔兹曼机（DBM）是机器学习中的重要模型，最近在量子多体物理中发现了许多应用。我们证明了它们与张量网络之间存在着根本的联系。特别是，我们证明了任何RBM和DBM都可以精确地表示为二维张量网络。这种表示方法利用张量网络的纠缠结构来理解RBM和DBM的表达能力，并为计算RBM和DBM的配分函数提供了一种有效的张量网络收缩算法.通过数值实验，我们证明了该算法在估计受限玻尔兹曼机和深度玻尔兹曼机的配分函数方面比现有的机器学习方法准确得多，并且在训练深度玻尔兹曼机以完成一般机器学习任务方面具有潜在的应用价值.
2021-05-10 cond-mat.stat-mech cs.LG physics.comp-ph
Boltzmann Encoded Adversarial Machines
Unlearn.AI, Inc.（Unlearn.AI公司）
受限玻尔兹曼机（RBM）是一类生成神经网络，其通常被训练以最大化对数似然目标函数。我们认为，基于似然的训练策略可能会失败，因为目标没有充分惩罚那些在训练数据分布概率较低的区域中放置高概率的模型。为了克服这个问题，我们引入了玻尔兹曼编码对抗机器（BEAM）。BEAM是针对对手训练的RBM，对手使用RBM的隐藏层激活来区分训练数据和模型生成的概率分布。我们提出的实验表明，BEAM在多个基准测试中优于RBM和GANs。
2018-04-23 cs.LG stat.ML
Can Boltzmann Machines Discover Cluster Updates ?
Beijing National Lab for Condensed Matter Physics and Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所北京凝聚态物理国家实验室）
玻尔兹曼机是一种物理生成模型，在机器学习中有着广泛的应用。它们可以从输入数据集中学习概率分布，并相应地生成新的样本。将玻尔兹曼机应用于物理学，由于其灵活性和有效性，玻尔兹曼机是加速物理系统的蒙特卡罗模拟的理想推荐系统。更有趣的是，我们证明了玻尔兹曼机的生成采样甚至可以发现未知的簇蒙特卡罗算法。创造力来自玻尔兹曼机器的潜在表现，它学会调解复杂的相互作用并识别物理系统的集群。我们证明了这些发现与经典的伊辛模型的具体例子和没有四个自旋元格相互作用。我们的研究结果支持了一种新的研究范式，即智能机器旨在创造或激发人类发现创新算法。
2017-02-28 cond-mat.stat-mech cs.LG physics.comp-ph
Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
ALBERT Inc.（阿尔伯特公司）；Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究生院）
泛化是机器学习中最重要的问题之一。在这项研究中，我们考虑在限制玻尔兹曼机（RBM）的推广。我们提出了一个多值隐变量的RBM，这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型，通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
2020-01-08 cs.LG stat.ML
Product Jacobi-Theta Boltzmann machines with score matching
TIF Lab, Dipartimento di Fisica, Università degli Studi di Milano and INFN Sezione di Milano（米兰大学物理系TIF实验室及意大利国家核物理研究所米兰分部）；Quantum Research Center, Technology Innovation Institute（技术创新研究所量子研究中心）；Department of Computational Biology, University of Lausanne（洛桑大学计算生物学系）；CERN, Theoretical Physics Department（欧洲核子研究中心理论物理系）；Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
本文提出乘积雅可比-西塔玻尔兹曼机（pJTBM），作为RTBM的受限版本，并证明基于Fisher散度的分数匹配能以更高效率拟合概率密度。
2024-01-12 cs.LG stat.ML
Boltzmann Machine Learning with the Latent Maximum Entropy Principle
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；University of Missouri（密苏里大学）
我们提出了一个新的统计学习范式玻尔兹曼机的基础上，我们提出了一个新的推理原则：潜在的最大熵原则（LME）。LME既不同于Jaynes最大熵原理，也不同于标准的极大似然估计。本文通过导出Boltzmann机参数估计的新算法来证明LME原理，并展示如何发展新的EM算法的鲁棒性和快速性。我们的实验表明，基于LME的估计通常比极大似然估计产生更好的结果。特别是当从少量数据推断隐藏单元时。
2012-10-19 cs.LG stat.ML
Advanced Mean Field Theory of Restricted Boltzmann Machine
RIKEN Brain Science Institute（理化学研究所脑科学研究所）
由于对数似然函数的梯度计算，限制玻尔兹曼机的学习通常是困难的。为了描述受限玻尔兹曼机的网络状态统计特性，我们在Bethe近似的基础上发展了一种改进的平均场论。我们的理论提供了一个有效的消息传递为基础的方法，不仅评估的配分函数（自由能），但它的梯度，而不需要统计采样。计算昂贵的采样为基础的方法所获得的结果进行了比较。
2015-05-02 cond-mat.stat-mech cs.LG q-bio.NC
Learning Thermodynamics with Boltzmann Machines
Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University of Waterloo（滑铁卢大学）
玻尔兹曼机是一种随机神经网络，已广泛用于现代机器学习应用的深层架构层。在本文中，我们开发了一个玻尔兹曼机，能够模拟物理系统的热力学观测值在热平衡。通过无监督学习，我们训练Boltzmann机的自旋配置重要性采样的伊辛哈密顿量的配分函数在不同温度下使用蒙特卡罗（MC）方法构建的数据集。然后，训练的玻尔兹曼机用于生成自旋状态，我们比较热力学观测值的直接MC采样计算。我们证明了玻尔兹曼机可以忠实地再现物理系统的可观测量。此外，我们观察到，获得准确的结果所需的神经元的数量随着系统接近临界状态而增加。
2016-06-08 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Restricted Boltzmann Machines: Introduction and Review
University of California, Los Angeles（加州大学洛杉矶分校）
受限玻尔兹曼机是一个随机单元网络，在成对的可见和隐藏单元之间具有无向相互作用。该模型作为深度学习架构的构建块得到推广，并在应用和理论机器学习中继续发挥重要作用。受限玻尔兹曼机具有丰富的结构，与几何、应用代数、概率、统计、机器学习和其他领域有联系。对这些模型的分析本身就很有吸引力，也是一个平台，可以将数学工具与隐变量图形模型相结合并加以推广。本文介绍了限制玻尔兹曼机的数学分析，回顾了最近的结果的几何集合的概率分布所代表的这些模型，并提出了一些进一步研究的方向。
2018-06-19 cs.IT cs.LG math.IT
Modeling Documents with Deep Boltzmann Machines
University of Toronto（多伦多大学）
我们介绍了一个深度玻尔兹曼机模型，适用于建模和提取潜在的语义表示，从一个大型的非结构化的文档集合。我们克服了明显的困难，训练DBM与明智的参数绑定。该参数绑定实现了有效的预训练算法和辅助推理的状态初始化方案。该模型可以像标准的受限玻尔兹曼机一样有效地训练。我们的实验表明，该模型分配更好的日志概率看不见的数据比复制Softmax模型。从我们的模型中提取的特征在文档检索和文档分类任务上优于LDA，Replicated Softmax和DocNADE模型。
2013-09-26 cs.IR cs.LG stat.ML
Subspace Restricted Boltzmann Machine
Wroclaw University of Technology（弗罗茨瓦夫理工大学）
子空间限制玻尔兹曼机（SubspaceBBM）是一种三阶玻尔兹曼机，其中一个可见单元和两个隐藏单元之间存在乘法相互作用。有两种类型的隐藏单元，即门单元和子空间单元。子空间单元反映数据中模式的变化，门单元负责激活子空间单元。此外，门单元可以被视为池化特征。我们通过MNIST数字识别任务的实验、测量重建误差和分类误差来评估子空间RBM的行为。
2014-07-16 cs.LG
Sampling the Riemann-Theta Boltzmann Machine
Università degli Studi di Milano（米兰大学）；INFN Sezione di Milano（意大利国家核物理研究院米兰分部）；University of Lausanne（洛桑大学）
我们发现，可见扇区的概率密度函数的黎曼-θ玻尔兹曼机对应于一个高斯混合模型组成的无限多个组件的多变量高斯。混合物的权重由隐藏状态空间上的离散多变量高斯函数给出。这使我们能够以直接的方式对可见扇区密度函数进行采样。此外，我们证明了可见扇区概率密度函数具有仿射变换性质，类似于多变量高斯密度。
2020-06-30 cs.LG stat.ML
Wasserstein Training of Boltzmann Machines
Korea University（高丽大学）；Technische Universität Berlin（柏林工业大学）；Kyoto University（京都大学）
玻尔兹曼机提供了一个有用的框架来学习现实世界中发生的高度复杂，多模态和多尺度的数据分布。学习其参数的默认方法包括最小化从训练样本到玻尔兹曼模型的Kullback-Leibler（KL）发散。在这项工作中，我们提出了一种新的方法玻尔兹曼训练，假设观察之间的一个有意义的度量。该度量可以由分布之间的瓦瑟斯坦距离表示，我们推导出相对于模型参数的梯度。这个新的Wasserstein目标的最小化导致生成模型在考虑度量时更好，并且具有类簇结构。我们展示了这些模型在数据完成和去噪方面的实际潜力，其中观测之间的度量起着至关重要的作用。
2015-07-07 cs.LG stat.ML
Temporal Autoencoding Restricted Boltzmann Machine
Freie Universität Berlin（柏林自由大学）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Berlin Institute of Technology（柏林工业大学）
人们已经做了很多工作来改进和表征深度学习算法所学习的感受野。很多工作都集中在开发在自然图像数据集上实施稀疏约束时学习的类似Gabor的过滤器。然而，很少有工作研究这些过滤器如何扩展到时间域，即通过对自然电影的训练。在这里，我们在已建立的时间深度学习算法中研究了这个问题，以及这里提出的一种新的学习范式，时间自动编码限制玻尔兹曼机（TARBM）。
2012-10-31 cs.AI cs.LG stat.ML
Metric-Free Natural Gradient for Joint-Training of Boltzmann Machines
Université de Montréal（蒙特利尔大学）
本文介绍了用于训练玻尔兹曼机的无度量自然梯度（MFNG）算法。与Martens [8]的Hessian-Free方法的精神相似，我们的算法属于截断牛顿方法家族，并利用有效的矩阵向量积来避免显式存储自然梯度度量$L$。该度量被示出为对数配分函数的预期二阶导数（在模型分布下），或者等价地，能量函数的偏导数的向量的方差。我们在联合训练3层深度玻尔兹曼机的任务上评估了我们的方法，并表明MFNG确实比具有中心的随机最大似然函数具有更快的每历元收敛，尽管挂钟性能目前没有竞争力。
2013-03-16 cs.LG cs.NE stat.ML
On Training Deep Boltzmann Machines
Université de Montréal（蒙特利尔大学）
深度玻尔兹曼机（DBM）是寻求强大的“深度”概率模型的重要发展。迄今为止，DBM的所有层的同时或联合训练在很大程度上是不成功的与现有的训练方法。我们引入了一个简单的正则化方案，鼓励与每个隐藏单元相关联的权重向量具有相似的范数。我们证明，这种正则化可以很容易地与标准的随机最大似然相结合，产生一个有效的训练策略，同时训练的所有层的深度玻尔兹曼机。
2012-03-20 cs.AI cs.LG cs.NE
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于Boltzmann Machine（BM）、Restricted Boltzmann Machine（RBM）和Deep Belief Network（DBN）的教程和综述论文。我们从概率图模型，马尔可夫随机场，吉布斯抽样，统计物理，伊辛模型和Hopfield网络的必要背景开始。然后，我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布，RBM中用于生成变量的Gibbs抽样，通过最大似然估计训练BM和RBM，以及对比发散。然后，我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后，我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Perception-Distortion Trade-off with Restricted Boltzmann Machines
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）；University of Utah（犹他大学）
在这项工作中，我们引入了一个新的程序应用限制玻尔兹曼机（RBM）丢失的数据推理任务，基于线性化的有效能量函数的分布观测。我们比较我们提出的程序的性能与使用现有的重建程序训练不完整的数据。我们把这些性能比较的感知失真权衡观察到的其他数据重建任务，到目前为止，仍然是未开发的任务依赖于不完整的训练数据的上下文中。
2019-10-21 cs.CV cs.LG stat.ML
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School（孝感高级中学）
在这篇文章中，我们扩展了卷积限制玻尔兹曼机的传统框架，通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征，该乘法单元捕捉输入之间的关系。在许多情况下，两个以上的映射是强相关的，所以明智的做法是让乘法单元学习更多输入映射之间的关系，换句话说，找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序，我们开发了一种学习方法，其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Neural Boltzmann Machines
本文提出神经玻尔兹曼机（NBMs），通过将条件受限玻尔兹曼机的参数转化为神经网络，增强表达力，并有效处理正态分布数据，可用随机梯度下降训练。
2023-05-15 cond-mat.dis-nn cs.LG stat.ML
Classification of Sets using Restricted Boltzmann Machines
A2iA SA（A2iA股份公司）；University of Toronto（多伦多大学）
我们考虑的问题时，输入对应的向量集的分类。此设置出现在许多问题中，例如包含多个页面的邮件的分类，具有多个部分的网站或已预先分割成较小区域的图像的分类。我们提出了广义的限制玻尔兹曼机（RBM）是适当的，在这种情况下，并探讨如何将不同的假设之间的关系的输入集和目标类内的RBM。在标准的多实例学习数据集上的实验中，我们展示了基于RBM的方法的竞争力，并将所提出的变体应用于传入邮件分类问题。
2011-03-25 cs.LG stat.ML
A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines
Technische Universität Berlin（柏林工业大学）
我们定义了一个消息传递算法计算磁化在受限玻尔兹曼机，这是伊辛模型的二分图上引入的神经网络模型的概率分布自旋配置。为了模拟自旋耦合之间的非平凡统计依赖关系，我们假设矩形耦合矩阵是从任意双旋转不变随机矩阵系综中提取的。利用统计力学中的动力泛函方法，对算法在大系统极限下的动力学行为进行了精确的分析。我们证明了该算法的全局收敛性的稳定性准则下，计算渐近收敛速度表现出良好的协议与数值模拟。
2020-05-04 cond-mat.dis-nn cs.LG stat.ML
Crime incidents embedding using restricted Boltzmann machines
Georgia Tech Institute of People and Technology（佐治亚理工学院人与技术研究所）
我们提出了一种新的方法来检测相关的犯罪系列，通过高斯-伯努利限制玻尔兹曼机（RBM）的犯罪记录的叙述通过无监督学习的潜在特征嵌入。这是一种与以前的犯罪分析工作截然不同的方法，以前的犯罪分析工作通常只考虑时间和地点，最多考虑类别信息。在嵌入之后，相关案例在欧几里得特征空间中彼此更接近，而不相关案例彼此远离，这是一个很好的性质，可以使相关案例的检测和聚类等后续分析成为可能。亚特兰大警察局手工标记的几个系列的相关犯罪事件的实验揭示了我们的嵌入方法的承诺。
2018-02-14 cs.LG stat.ML
Riemann-Theta Boltzmann Machine
CERN（欧洲核子研究组织）；Tsinghua University（清华大学）
介绍了一种具有连续可见和离散整数值隐态的一般玻尔兹曼机。在关于连接矩阵的温和假设下，可见单元的概率密度函数可以解析地求解，产生一种新的参数密度函数，涉及Riemann-Theta函数的比率。对于给定的可见状态，隐藏状态的条件期望也可以解析计算，得到对数黎曼-θ函数的导数。条件期望可用作前馈神经网络的激活函数，从而提高网络的建模能力。玻尔兹曼机和衍生的前馈神经网络都可以通过标准的基于梯度和基于非梯度的优化技术成功地训练。
2020-01-28 cs.LG hep-ph hep-th
Composite Likelihood Estimation for Restricted Boltzmann machines
Yamagata University（山形大学）；Tohoku University（东北大学）
使用最大似然估计学习图形模型的参数通常是困难的，这需要近似。最大复合似然估计是最大似然估计的统计近似，是最大伪似然估计的高阶推广。本文提出了一种复合似然方法，并研究了它的性质。此外，我们将我们的复合似然方法限制玻尔兹曼机。
2014-06-24 cs.LG
Tractable loss function and color image generation of multinary restricted Boltzmann machine
Seoul National University（首尔大学）；Clova AI, NAVER Corp.（NAVER公司Clova AI）
受限玻尔兹曼机（RBM）是一种基于统计力学概念的有代表性的生成模型。尽管具有很强的可解释性，但反向传播的不可用性使其比其他生成模型更具竞争力。在这里，我们推导出可微的损失函数的二元和多元RBM。然后，我们通过生成彩色人脸图像来展示它们的可学习性和性能。
2020-11-27 cs.CV cs.LG
Sparse Boltzmann Machines with Structure Learning as Applied to Text Analysis
Hong Kong University of Science and Technology（香港科技大学）
我们有兴趣探索深度模型结构学习的可能性和好处。作为第一步，本文研究了限制玻尔兹曼机（RBM）的问题。我们使用Replicated Softmax进行研究，这是一种用于无监督文本分析的RBM变体。我们提出了一种学习稀疏玻尔兹曼机的方法，其中每个隐藏单元连接到可见单元的子集，而不是所有可见单元。实证结果表明，该方法产生的模型与显着提高模型拟合和解释性相比，RBM每个隐藏单元连接到所有可见的单元。
2018-08-05 cs.LG
Geometry and Expressive Power of Conditional Restricted Boltzmann Machines
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
条件限制玻尔兹曼机是一种无向随机神经网络，其输入和输出单元层与隐藏单元层两部分相连。这些网络定义了给定输入设备状态的输出设备状态的条件概率分布模型，由交互权重和偏置参数化。我们解决这些模型的代表性的权力，证明结果的能力，以表示条件马尔可夫随机场和条件分布的限制支持，最小尺寸的通用逼近器，最大模型近似误差，并在一组可表示的条件分布的维度。我们贡献了新的工具，调查条件概率模型，这使我们能够改善的结果，可以从现有的工作限制玻尔兹曼机概率模型。
2015-03-12 cs.LG cs.NE stat.ML
Rapid mixing in positively weighted restricted Boltzmann machines
School of Informatics, University of Edinburgh, Informatics Forum, UK（爱丁堡大学信息学院）；School of Computing and Data Science, The University of Hong Kong, HK（香港大学计算与数据科学学院）
本文通过分析铁磁双自旋系统的Glauber动力学，证明了正权重受限玻尔兹曼机的交替扫描采样器具有多对数混合时间界，并得到了临界阈值内的新混合时间界。
2026-05-25 cs.DS cs.LG math.PR
Generative modeling using evolved quantum Boltzmann machines
School of Electrical and Computer Engineering, Cornell University（电气与计算机工程学院，康奈尔大学）
本文提出了一种训练量子玻尔兹曼机进行Born规则生成建模的方法，结合了变分表示和梯度估计器，并展示了四种混合算法及其收敛保证。
2025-12-02 cs.LG math.OC quant-ph
A Metaheuristic-Driven Approach to Fine-Tune Deep Boltzmann Machines
Federal University of São Carlos（圣卡洛斯联邦大学）；São Paulo State University（圣保罗州立大学）
深度学习技术，如深度玻尔兹曼机（DBMs），在过去的几年里，由于在不同领域的出色结果，受到了相当大的关注。这些技术的主要缺点之一涉及其超参数的选择，因为它们对最终结果有显着影响。这项工作解决了使用具有不同背景的元启发式优化技术，如群体智能，基于记忆和进化的方法微调深度玻尔兹曼机的超参数的问题。在三个公开的二值图像数据集上进行的实验表明，元启发式技术可以获得合理的结果。
2021-01-14 cs.LG
Restricted Boltzmann Machines with Gaussian Visible Units Guided by Pairwise Constraints
Southwest Jiaotong University（西南交通大学）；Leshan Normal University（乐山师范学院）
限制玻尔兹曼机（RBM）及其变体通常通过对比发散（CD）学习来训练，但训练过程是无监督学习方法，没有任何背景知识的指导。为了提高传统RBM的表达能力，提出了一种成对约束高斯可见单元玻尔兹曼机（pcGRBM）模型，该模型的学习过程由成对约束指导，编码过程在成对约束指导下进行.成对约束被编码在pcGRBM的隐藏层特征中。然后，pcGRBM的一些成对隐藏特征聚集在一起，另一部分被引导分离。在pcGRBM模型中，为了处理实值数据，用带有高斯噪声的线性单元代替二进制可见单元。在pcGRBM的学习过程中，成对约束是在CD学习过程中可见和隐藏单元之间的迭代转换。然后，利用近似梯度下降法对模型进行推导，并设计了相应的学习算法。为了比较pcGRBM和传统RBM与高斯可见单元的可用性，pcGRBM和RBM隐藏层的特征分别用作K-均值、谱聚类（SP）和亲和传播（AP）算法的输入“数据”。一个彻底的实验评估进行了16个图像数据集的微软亚洲研究院多媒体（MSRA-MM）。实验结果表明，基于pcGRBM模型的K-means算法、SP算法和AP算法的聚类性能明显优于传统的RBM算法。此外，pcGRBM模型的聚类任务表现出更好的性能比一些半监督聚类算法。
2018-12-05 cs.LG
Multi-layered Discriminative Restricted Boltzmann Machine with Untrained Probabilistic Layer
Yamagata University（山形大学）
极限学习机（ELM）是具有未训练参数的三层前馈神经网络，所述未训练参数在训练之前随机确定。受ELM思想的启发，提出了一种称为概率ELM（probabilistic-ELM，PELM）层的概率未训练层，并将其与判别限制玻尔兹曼机（discriminative restricted Boltzmann machine，DRBM）相结合，DRBM是一种用于解决分类问题的概率三层神经网络。所提出的模型是通过在PELM层上堆叠DRBM而获得的。所得到的模型（即，多层DRBM（MDRBM））形成概率四层神经网络。在MDRBM中，PELM层中的参数可以使用Gaussian-Bernoulli限制Boltzmann机来确定。由于PELM层，MDRBM获得了对输入噪声的强免疫力，这是MDRBM最重要的优点之一。使用一些基准数据集，MNIST，时尚MNIST，城市土地覆盖，和CIFAR-10的数值实验表明，MDRBM优于其他现有的模型，特别是在噪声鲁棒性（或，换句话说，泛化属性）。
2022-10-27 cs.AI cs.LG stat.ML
Generative training of quantum Boltzmann machines with hidden units
Microsoft Research（微软研究院）；University College London（伦敦大学学院）；Rahko
在这篇文章中，我们提供了一种方法，完全量子生成训练量子玻尔兹曼机的可见和隐藏的单位，同时使用量子相对熵作为目标。这是重要的，因为先前的方法由于梯度评估所带来的数学挑战而无法做到这一点。我们提出了两种新的方法来解决这个问题。第一个建议解决了它，对于一类限制量子玻尔兹曼机与相互交换的哈密顿的隐藏单位，通过使用变分上界的量子相对熵。第二种方法利用高阶差分方法和幺正的线性组合来近似一般量子玻尔兹曼机的相对熵的精确梯度。这两种方法都是有效的假设下，吉布斯状态的准备是有效的，哈密顿量是由一个稀疏的行可计算矩阵。
2019-05-23 cs.LG quant-ph
Empirical Bayes Method for Boltzmann Machines
Yamagata University（山形大学）；Tokyo Institute of Technology（东京工业大学）
在这项研究中，我们考虑了一个经验贝叶斯方法的玻尔兹曼机，并提出了一个算法。经验贝叶斯方法允许估计的超参数的玻尔兹曼机的值最大化一个特定的似然函数称为经验贝叶斯似然函数在这项研究中。然而，最大化在计算上是困难的，因为经验贝叶斯似然函数涉及配分函数的难处理的积分。该算法通过使用副本方法和Plefka展开避免了这个计算问题。我们的方法不需要任何迭代过程，并且非常简单和快速，尽管它引入了估计偏差，这表现出相对于数据集大小的不自然行为。这种特殊的行为被认为是由于Plefka展开的近似处理。一个可能的扩展，以克服这种行为也进行了讨论。
2019-09-07 cond-mat.dis-nn cs.LG stat.ML
Reinforcement Learning Using Quantum Boltzmann Machines
QB Information Technologies (1QBit)（1QB信息技术公司（1QBit））；University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙弗雷泽大学）；University of Waterloo（滑铁卢大学）
我们研究具有选择芯片布局的量子退火机是否可以在强化学习任务中优于经典计算机。我们将横向场伊辛自旋哈密顿量与类似于深玻尔兹曼机（DBM）的量子位布局相关联，并使用模拟量子退火（SQA）来数值模拟从该系统进行量子采样。我们设计了一种强化学习算法，其中代表最优策略的状态和动作的可见节点集是深度网络的第一层和最后一层。在没有横向场的情况下，我们的模拟表明，DBMs比具有相同节点数的受限玻尔兹曼机（RBM）更有效地训练。然后，我们开发了一个框架，用于在强化学习的显著横向场存在下将网络训练为量子玻尔兹曼机（QBM）。这种方法也优于使用RBM的强化学习方法。
2019-01-03 cs.AI cs.LG cs.NE
Learning from multivariate discrete sequential data using a restricted Boltzmann machine model
Escuela Superior Politecnica del Litoral (ESPOL)（埃斯波莱大学（ESPOL））
受限玻尔兹曼机（RBM）是一种生成式神经网络模型，具有许多新颖的应用，如协同滤波和声学建模。成果管理制缺乏保持记忆的能力，因此不适合于动态数据建模，如时间序列分析。在本文中，我们解决这个问题，提出了p-RBM模型，一个推广的常规RBM模型，能够保留记忆的p过去的状态。我们进一步展示了如何使用对比散度对p-RBM模型进行训练，并在考虑NASDAQ-100指数的100只股票的股票市场方向预测问题上对我们的模型进行了测试。结果表明，p-RBM提供了有前途的预测潜力。
2018-04-28 cs.LG stat.ML
Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Physics, University of California, San Diego（加利福尼亚大学圣地亚哥分校物理系）
受限玻尔兹曼机（RBM）是一类功能强大的生成模型，但它们的训练需要计算梯度，与典型损失函数上的监督反向传播不同，甚至难以近似。在这里，我们证明了将标准梯度更新与从RBM基态（模式）的样本构建的偏离梯度的方向适当地结合起来，与传统的梯度方法相比，大大提高了它们的训练。这种方法，我们称之为模式训练，除了较低的收敛相对熵（KL发散）外，还可以促进更快的训练和稳定性。随着这种方法的稳定性和收敛性的证明，我们还证明了它的有效性，在合成数据集，我们可以计算KL分歧，以及一个更大的机器学习标准，MNIST。我们建议的模式训练是非常通用的，因为它可以与任何给定的梯度方法结合应用，并且很容易扩展到更一般的基于能量的神经网络结构，如深度，卷积和不受限制的玻尔兹曼机。
2020-01-19 cs.LG stat.ML
L_1-regularized Boltzmann machine learning using majorizer minimization
Kyoto University（京都大学）
我们提出了一种推理方法，估计稀疏的相互作用和偏见，根据玻尔兹曼机器学习。该方法的基础是$L_1$正则化，该正则化常用于压缩感知，这是一种用于从欠采样输出重建稀疏输入信号的技术。$L_1$正则化阻碍了梯度法的简单应用，由于代价函数缺乏平滑性，梯度法优化了导致精确估计的代价函数。在这项研究中，我们利用优化器最小化方法，这是一个众所周知的技术实现优化问题，以避免非光滑的成本函数。通过使用优化器最小化方法，我们阐明了本质上相关的偏见和相互作用，从给定的数据与看似强相关的组件。
2015-03-11 cond-mat.dis-nn cs.LG stat.ML
Temperature-Based Deep Boltzmann Machines
Federal University of São Carlos（圣卡洛斯联邦大学）；São Paulo State University（圣保罗州立大学）
深度学习技术在过去几年中一直是最重要的，主要是由于它们在从语音识别到基于面部的用户识别的许多应用中取得了出色的成果。尽管有其他用于此类目的的技术，但深度玻尔兹曼机是最常用的技术之一，其由堆叠在彼此顶部的受限玻尔兹曼机（RBM）层组成。在这项工作中，我们评估DBMs中的温度的概念，这在玻尔兹曼相关的分布中起着关键作用，但它从来没有被认为是在这方面的最新。因此，本文的主要贡献是考虑到这些信息，并考虑到二进制图像重建的任务，评估其在DBMs的影响。我们希望这项工作可以促进未来的研究，考虑在DBMs学习过程中使用不同的温度。
2016-09-04 cs.LG
Minimax formula for the replica symmetric free energy of deep restricted Boltzmann machines
Institute of Mathematics, University of Zurich（苏黎世大学数学研究所）
我们研究的自由能最常用的深度架构限制玻尔兹曼机，其中层被设置在系列。假设独立的高斯分布的随机权重，我们表明，在所谓的副本对称和规则的误差项可以优化为鞍点。这使我们猜想，在副本对称近似的自由能是由一个最小的最大公式，它平行的两层的情况下实现的。
2022-07-07 cond-mat.dis-nn cs.LG math.PR
Feature Learning with Gaussian Restricted Boltzmann Machine for Robust Speech Recognition
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文首先提出了高斯限制玻尔兹曼机（GRBM）的一种新变体--多元高斯限制玻尔兹曼机（MGRBM），给出了它的定义和学习算法。然后，我们建议使用一个学习GRBM或MGRBM提取更好的鲁棒语音识别的功能。我们在Aurora 2上的实验表明，无论是HMM-GMM还是混合HMM-深度神经网络（DNN）声学模型，GRBM提取的特征和MGRBM提取的特征都比Mel频率倒谱系数（MFCC）好得多，MGRBM提取的特征略好。
2013-09-23 cs.CL cs.LG cs.SD
Inferring Sparsity: Compressed Sensing using Generalized Restricted Boltzmann Machines
École Normale Supérieure, PSL Research University（巴黎高等师范学院，PSL研究大学）；Université Pierre et Marie Curie, Sorbonne Universités（皮埃尔和玛丽·居里大学，索邦大学）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）
在这项工作中，我们认为压缩感知重建$M$测量的$K$稀疏结构的信号，不具有可写的相关模型。假设一个生成的统计模型，如玻尔兹曼机，可以在一个无监督的方式对示例信号进行训练，我们演示了如何在贝叶斯信号重建框架内使用这个信号模型。通过推导出一般分布限制玻尔兹曼机的消息传递推断，我们能够将这些推断的信号模型集成到压缩感知重构的近似消息传递中。最后，我们证明了MNIST数据集，这种方法可以是非常有效的，即使是$M < K$。
2016-06-13 cond-mat.dis-nn cs.IT cs.LG
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.（Stel计算机系统有限公司）
提出了一种基于高斯-二元限制玻尔兹曼机（GRBM）的说话人子空间建模方法。该模型基于概率线性判别分析（PLDA）中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子，其中扬声器因子在扬声器的所有向量上共享。然后，最大似然参数估计（MLE）的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
Effectively Trainable Semi-Quantum Restricted Boltzmann Machine
Russian Quantum Center（俄罗斯量子中心）；National University of Science and Technology MISiS（国立科学技术大学MISiS）；National Research Nuclear University MEPhI（国立研究型核大学MEPhI）
我们提出了一个新的量子模型的限制玻尔兹曼机（RBM），其中可见的单位仍然是经典的，而隐藏的单位被量化为非相互作用的费米子。费米子的自由运动与可见光单位的经典信号参数耦合。该模型具有量子行为，例如隐藏单元之间的相干性。数值实验表明，这一事实使它比经典的RBM具有相同数量的隐藏单元更强大。与此同时，与量子玻尔兹曼机（QBM）的其他方法相比，所提出的模型的一个显着优点是它在经典计算机上是完全可解和有效可训练的：对数似然梯度相对于其参数有一个封闭的表达式。这一事实使它不仅作为一个假设的量子模拟器的模型，而且作为一个量子启发的经典机器学习算法。
2021-02-11 cond-mat.dis-nn cs.LG stat.ML
Emergence of Compositional Representations in Restricted Boltzmann Machines
Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；Sorbonne Universités UPMC（索邦大学）
自动提取组成真实高维数据的复杂特征集对于实现机器学习任务的高性能至关重要。限制玻尔兹曼机（RBM）在经验上已知对于此目的是有效的，并且能够生成数据的分布式和分级表示。我们表征的结构条件（稀疏的权重，低有效温度，非线性的激活功能的隐藏单元，和适应领域保持活动在可见层）允许RBM在这样的组成阶段。证据提供了一个足够的随机RBM的统计合奏的副本分析和手写数字数据集MNIST上训练的RBM。
2017-03-02 cond-mat.dis-nn cs.LG physics.data-an
From Monte Carlo to Las Vegas: Improving Restricted Boltzmann Machine Training Through Stopping Sets
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Purdue University（普渡大学）
我们提出了一个拉斯维加斯变换的马尔可夫链蒙特卡罗（MCMC）估计的限制玻尔兹曼机（RBM）。我们表示我们的方法马尔可夫链拉斯维加斯（MCLV）。MCLV提供统计保证，以换取随机运行时间。MCLV使用从训练数据构建的停止集，并且具有最大马尔可夫链步骤数K（称为MCLV-K）。我们提出了RBM的MCLV-K梯度估计器（LVS-K），并探讨了LVS-K和对比发散（CD-K）之间的对应关系和差异，LVS-K在MNIST数据集上显著优于CD-K训练RBM，表明MCLV是学习生成模型的一个有前途的方向。
2017-11-22 cs.LG stat.ML
