Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于Boltzmann Machine（BM）、Restricted Boltzmann Machine（RBM）和Deep Belief Network（DBN）的教程和综述论文。我们从概率图模型，马尔可夫随机场，吉布斯抽样，统计物理，伊辛模型和Hopfield网络的必要背景开始。然后，我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布，RBM中用于生成变量的Gibbs抽样，通过最大似然估计训练BM和RBM，以及对比发散。然后，我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后，我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Geometry and Expressive Power of Conditional Restricted Boltzmann Machines
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
条件限制玻尔兹曼机是一种无向随机神经网络，其输入和输出单元层与隐藏单元层两部分相连。这些网络定义了给定输入设备状态的输出设备状态的条件概率分布模型，由交互权重和偏置参数化。我们解决这些模型的代表性的权力，证明结果的能力，以表示条件马尔可夫随机场和条件分布的限制支持，最小尺寸的通用逼近器，最大模型近似误差，并在一组可表示的条件分布的维度。我们贡献了新的工具，调查条件概率模型，这使我们能够改善的结果，可以从现有的工作限制玻尔兹曼机概率模型。
2015-03-12 cs.LG cs.NE stat.ML
Linear-Nonlinear-Poisson Neuron Networks Perform Bayesian Inference On Boltzmann Machines
The Ohio State University（俄亥俄州立大学）
深度学习和经典连接主义观点中的一个猜想是，生物大脑实现了某些类型的深度网络作为其后端。然而，据我们所知，尚未建立详细的对应关系，如果我们想在神经科学和机器学习之间架起桥梁，这一点很重要。最近的研究强调了线性-非线性-泊松（Linear-Nonlinear-Poisson，LNP）神经元模型的生物相容性。我们表明，神经合理的设置，整个网络是能够代表任何玻尔兹曼机和执行半随机贝叶斯推理算法之间的吉布斯采样和变分推理。
2013-01-27 cs.AI cs.NE q-bio.NC
Collaborative Filtering with Label Consistent Restricted Boltzmann Machine
IIIT Delhi（德里英德拉普拉斯塔信息技术学院）
采用受限玻尔兹曼机（RBM）进行协同过滤的可能性已经知道了大约十年。然而，自2007年以来，几乎没有关于这一专题的任何工作。这项工作回顾了RBM在推荐系统中的应用。基于RBM的协同过滤只使用评分信息，这是一个无监督的架构。这项工作通过利用用户人口统计信息和项目元数据来增加监督。网络是从表示层到标签（元数据）学习的。建议的标签一致的RBM制定显着改善现有的RBM为基础的方法和产量的结果与国家的最先进的潜在因素为基础的模型。
2019-10-17 cs.IR cs.LG cs.NE
Graph Signal Recovery Using Restricted Boltzmann Machines
University of Southern California（南加州大学）
我们提出了一个模型不可知的管道恢复图形信号的专家系统，利用限制玻尔兹曼机的内容可寻址存储器属性和神经网络的代表性能力。所提出的管道需要在具有干净数据的向下机器学习任务上训练的深度神经网络，该数据没有任何形式的损坏或不完整。我们表明，对深度神经网络学习的表示进行去噪通常比对数据本身进行去噪更有效。虽然这个管道可以处理任何数据集中的噪声，但它对图结构数据集特别有效。
2020-11-20 cs.AI cs.LG cs.NE
Reinforcement Learning Using Quantum Boltzmann Machines
QB Information Technologies (1QBit)（1QB信息技术公司（1QBit））；University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙弗雷泽大学）；University of Waterloo（滑铁卢大学）
我们研究具有选择芯片布局的量子退火机是否可以在强化学习任务中优于经典计算机。我们将横向场伊辛自旋哈密顿量与类似于深玻尔兹曼机（DBM）的量子位布局相关联，并使用模拟量子退火（SQA）来数值模拟从该系统进行量子采样。我们设计了一种强化学习算法，其中代表最优策略的状态和动作的可见节点集是深度网络的第一层和最后一层。在没有横向场的情况下，我们的模拟表明，DBMs比具有相同节点数的受限玻尔兹曼机（RBM）更有效地训练。然后，我们开发了一个框架，用于在强化学习的显著横向场存在下将网络训练为量子玻尔兹曼机（QBM）。这种方法也优于使用RBM的强化学习方法。
2019-01-03 cs.AI cs.LG cs.NE
Soft-Deep Boltzmann Machines
The University of Tokyo（东京大学）
我们提出了一个分层玻尔兹曼机（BM），可以更好地利用分布式表示的优势。人们普遍认为，深BM（DBM）具有比其浅对应物，限制玻尔兹曼机（RBM）更大的代表性能力。然而，这种关于DBM优于RBM的期望从未在理论上得到验证。在本文中，我们提供了理论和经验证据，DBMs的代表性的权力，实际上是相当有限的，在利用分布式表示。我们提出了一个近似的衡量代表性的权力BM关于分布式表示的效率。通过这种措施，我们发现了一个令人惊讶的事实，DBMs可以使分布式表示的效率低下。基于这些观察，我们提出了一种替代BM架构，我们称之为软深BM（sDBMs）。我们表明，sDBMs可以更有效地利用分布式表示的措施。实验表明，sDBMs优于几个国家的最先进的模型，包括DBMs，在生成任务的二进制MNIST和加州理工学院-101轮廓。
2015-06-21 cs.LG cs.NE stat.ML
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.（Stel计算机系统有限公司）
提出了一种基于高斯-二元限制玻尔兹曼机（GRBM）的说话人子空间建模方法。该模型基于概率线性判别分析（PLDA）中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子，其中扬声器因子在扬声器的所有向量上共享。然后，最大似然参数估计（MLE）的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
Learning dynamic Boltzmann machines with spike-timing dependent plasticity
IBM Research - Tokyo（IBM研究院-东京）；IBM Japan, Ltd.（日本IBM有限公司）
我们提出了一个特别结构化的玻尔兹曼机，我们称之为动态玻尔兹曼机（DyBM），作为一个随机模型的多维时间序列。DyBM可以有无限多层单元，但当其参数具有建议的结构时，可以进行精确和有效的推理和学习。这种提议的结构的动机是来自生物神经网络的假设和观察，即突触权重根据尖峰的时间而增强或减弱（即，尖峰时间依赖性可塑性或STDP）。我们发现，在最大化给定时间序列的可能性的方向上更新DyBM的参数的学习规则可以被解释为STDP与长时程增强和长时程抑制。该学习规则具有收敛的保证并且可以在分布式事务中执行（即，在空间中本地）具有有限的存储器（即，当地时间）。
2015-09-29 cs.AI cs.LG cs.NE
Regularized Dynamic Boltzmann Machine with Delay Pruning for Unsupervised Learning of Temporal Sequences
IBM Research - Tokyo（IBM研究院 - 东京）
我们介绍延迟修剪，一个简单而强大的技术来规范动态玻尔兹曼机（DyBM）。最近推出的DyBM提供了一个特别结构化的玻尔兹曼机，作为多维时间序列的生成模型。这种玻尔兹曼机可以有无限多层的单元，但允许基于其生物动机结构的精确推理和学习。DyBM使用固定长度的先进先出（FIFO）队列形式的传导延迟的思想，其中神经元经由该FIFO队列连接到另一个神经元，并且来自突触前神经元的尖峰以恒定的延迟周期沿着队列行进到突触后神经元。在这里，我们提出延迟修剪作为一种机制，通过将一些延迟长度设置为具有固定概率的1，并最终选择具有固定延迟的最佳性能模型，来修剪FIFO队列的长度（使其为零）。DyBM中结构的独特性和基于非采样的学习规则使得先前提出的正则化技术（如Dropout或DropConnect）的应用变得困难，导致泛化能力差。首先，我们评估延迟修剪的性能，让DyBM学习由马尔可夫链生成的多维时间序列。最后，我们使用移动MNIST数据集证明了延迟修剪在学习高维序列中的有效性，并将其与Dropout和DropConnect方法进行了比较。
2016-09-22 cs.LG cs.NE stat.ML
Statistical mechanics of unsupervised feature learning in a restricted Boltzmann machine with binary synapses
RIKEN Brain Science Institute（理化学研究所脑科学研究所）
揭示未标记数据中隐藏的特征被称为无监督特征学习，它在预训练深度神经网络中起着重要作用。在这里，我们提供了一个统计力学分析的无监督学习的限制玻尔兹曼机与二进制突触。推导了一个用于推断隐藏特征的消息传递方程，并分析了该方程的各种变形。通过复型理论的统计分析描述了模型的热力学性质。我们的分析证实了熵危机之前的消息传递方程的不收敛，这表明一个不连续的相变作为一个关键特征的限制玻尔兹曼机。连续相变也被确认取决于嵌入的特征强度的数据。副本对称假设下的平均场结果与通过在有限大小的单个实例上运行消息传递算法获得的结果一致。有趣的是，在近似的Hopfield模型中，熵危机是不存在的，而是观察到连续的相变。我们还开发了一个迭代方程来推断隐藏在数据中的超参数（温度），这在物理上相当于迭代地施加西森条件。我们的研究为理解受限玻尔兹曼机器学习的热力学性质提供了新的见解，也为构建简化的深度网络提供了重要的理论基础。
2017-03-07 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Comparing Information-Theoretic Measures of Complexity in Boltzmann Machines
在过去的三十年里，许多复杂性的理论度量被提出来帮助理解复杂系统。在这项工作中，我们第一次将这些措施放在一个公平的竞争环境中，探讨它们之间的质的相似性和差异，以及它们的缺点。具体来说，使用具有均匀分布权重的玻尔兹曼机架构（一种完全连接的递归神经网络）作为我们的研究模型，我们在数值上测量复杂性如何随网络动态和网络参数而变化。我们应用这样一个信息理论的复杂性措施的扩展，以了解增量赫布学习Hopfield网络，一个完全经常性的自联想记忆的架构模型。在赫布学习过程中，随着网络试图学习越来越多的模式，总的信息流反映了复杂性的自然上升趋势。
2017-07-30 cs.IT cs.NE math.IT
Learning Criticality in an Embodied Boltzmann Machine
许多生物和认知系统并不深入到一个或另一个活动机制中。相反，他们利用临界表面在其参数空间中的过渡。临界性在自然系统中的普遍性表明，可能存在诱导这种行为的一般原则。然而，缺乏概念模型来解释具体的代理人如何推动自己走向这些临界点。在本文中，我们提出了一个学习模型，通过最大化网络的热容来驱动一个具体的玻尔兹曼机走向临界行为。我们测试和证实的模型实现一个具体的代理在山地车基准，根据模型调整其权重的玻尔兹曼机控制。我们发现，神经控制器达到临界点，这正好与两个制度的行为之间的代理的行为的过渡点，最大限度地提高其传感器和隐藏和运动神经元之间的协同信息。最后，我们讨论了我们的学习模型的潜力，以研究的贡献，体现生活系统的行为的关键性的情况下，不一定受到生物限制的例子，我们在自然界中发现的关键性。
2017-02-02 cond-mat.dis-nn cond-mat.stat-mech cs.NE
Training Restricted Boltzmann Machines via the Thouless-Anderson-Palmer Free Energy
Laboratoire de Physique Statistique（统计物理实验室）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；International Centre for Fundamental Physics and its interfaces at Ecole normale supérieure（巴黎高等师范学院基础物理及其交叉学科国际中心）；Sorbonne Universités（索邦大学联盟）；UPMC Univ Paris 06（巴黎第六大学（皮埃尔和玛丽·居里大学））
受限玻尔兹曼机是一种无向神经网络，在许多应用中已经被证明是有效的，包括作为训练深度多层神经网络的初始化。他们成功的主要原因之一是存在有效和实用的随机算法，如对比发散，用于无监督训练。我们提出了一种替代的确定性迭代过程的基础上改进的平均场方法，从统计物理称为Thouless-Anderson-Palmer方法。我们证明，我们的算法提供的性能等于，有时优于，持久的对比发散，同时也提供了一个清晰，易于评估的目标函数。我们相信，这种策略可以很容易地推广到其他模型以及更准确的高阶近似，为系统地改进训练具有隐藏单元的玻尔兹曼机铺平了道路。
2015-06-15 cond-mat.dis-nn cs.LG cs.NE
