Joint Training of Deep Boltzmann Machines
Ian Goodfellow, Aaron Courville, Yoshua Bengio
我们介绍了一种新的方法来训练深度玻尔兹曼机联合。先前的方法需要初始学习遍次，该初始学习遍次一次一层地训练深度玻尔兹曼机，或者在分类任务上表现不佳。
We introduce a new method for training deep Boltzmann machines jointly. Prior methods require an initial learning pass that trains the deep Boltzmann machine greedily, one layer at a time, or do not perform well on classifi- cation tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Relaxations for inference in restricted Boltzmann machines
我们提出了一种基于松弛的近似推理算法，采样近MAP配置的二进制成对马尔可夫随机场。我们在几个限制玻尔兹曼机上进行MAP推理任务的实验。我们还使用我们的底层采样器来估计限制玻尔兹曼机的对数配分函数，并与其他基于采样的方法进行比较。
Decreasing the size of the Restricted Boltzmann machine
我们提出了一种方法，以减少限制玻尔兹曼机的隐藏单元的数量，同时避免降低的Kullback-Leibler发散测量的性能。然后，我们证明了我们的算法，使用数值模拟。
Transductive Boltzmann Machines
我们提出了转导玻尔兹曼机（TBMs），它首先实现了吉布斯分布的转导学习。虽然由于样本空间的组合爆炸，现有玻尔兹曼机家族不可能精确学习吉布斯分布，但TBMs通过自适应地从数据构造所需的最小样本空间以避免不必要的泛化来克服该问题。从理论上对TBMs中的库尔贝克-莱布勒散度进行了偏差-方差分解，分析了TBMs的可学习性，并从实验上证明了TBMs在效率和有效性方面优于完全可见的玻尔兹曼机和常用的受限玻尔兹曼机.
Learning Boltzmann Machine with EM-like Method
提出了一种类期望最大化（EM like）方法来训练具有无约束连通性的Boltzmann机.该算法在E步中采用Monte Carlo近似，在M步中用有效计算的目标代替难处理的似然目标或直接逼近似然目标的梯度。类EM方法是交替极小化的一种改进。本文证明了在限制玻尔兹曼机中，如果类EM方法的M步采用特殊的近似，则该方法与对比发散完全相同。我们还提出了一种新的度量方法来评价玻尔兹曼机作为数据生成模型的性能，其计算复杂性为O（Rmn）.最后，我们通过数值实验证明了EM类方法的性能。
Boltzmann Encoded Adversarial Machines
受限玻尔兹曼机（RBM）是一类生成神经网络，其通常被训练以最大化对数似然目标函数。我们认为，基于似然的训练策略可能会失败，因为目标没有充分惩罚那些在训练数据分布概率较低的区域中放置高概率的模型。为了克服这个问题，我们引入了玻尔兹曼编码对抗机器（BEAM）。BEAM是针对对手训练的RBM，对手使用RBM的隐藏层激活来区分训练数据和模型生成的概率分布。我们提出的实验表明，BEAM在多个基准测试中优于RBM和GANs。
Joint Training Deep Boltzmann Machines for Classification
我们介绍了一种新的方法来训练深度玻尔兹曼机联合。训练DBM的现有方法需要初始学习通道，该初始学习通道一次一层地训练模型，或者在分类任务上表现不佳。在我们的方法中，我们同时训练DBM的所有层，使用一种新的训练过程称为多预测训练。由此产生的模型可以被解释为一个单一的生成模型训练，以最大限度地提高变分近似的广义pseudolikket，或作为一个家庭的经常性网络，共享参数，并可以近似平均在一起使用一种新的技术，我们称之为多推理技巧。我们表明，我们的方法进行竞争力的分类，并优于以前的方法在精度的近似推理和分类与丢失的输入。
Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
泛化是机器学习中最重要的问题之一。在这项研究中，我们考虑在限制玻尔兹曼机（RBM）的推广。我们提出了一个多值隐变量的RBM，这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型，通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
Product Jacobi-Theta Boltzmann machines with score matching
本文提出乘积雅可比-西塔玻尔兹曼机（pJTBM），作为RTBM的受限版本，并证明基于Fisher散度的分数匹配能以更高效率拟合概率密度。
Boltzmann Machine Learning with the Latent Maximum Entropy Principle
我们提出了一个新的统计学习范式玻尔兹曼机的基础上，我们提出了一个新的推理原则：潜在的最大熵原则（LME）。LME既不同于Jaynes最大熵原理，也不同于标准的极大似然估计。本文通过导出Boltzmann机参数估计的新算法来证明LME原理，并展示如何发展新的EM算法的鲁棒性和快速性。我们的实验表明，基于LME的估计通常比极大似然估计产生更好的结果。特别是当从少量数据推断隐藏单元时。
Sampling the Riemann-Theta Boltzmann Machine
我们发现，可见扇区的概率密度函数的黎曼-θ玻尔兹曼机对应于一个高斯混合模型组成的无限多个组件的多变量高斯。混合物的权重由隐藏状态空间上的离散多变量高斯函数给出。这使我们能够以直接的方式对可见扇区密度函数进行采样。此外，我们证明了可见扇区概率密度函数具有仿射变换性质，类似于多变量高斯密度。
Metric-Free Natural Gradient for Joint-Training of Boltzmann Machines
本文介绍了用于训练玻尔兹曼机的无度量自然梯度（MFNG）算法。与Martens [8]的Hessian-Free方法的精神相似，我们的算法属于截断牛顿方法家族，并利用有效的矩阵向量积来避免显式存储自然梯度度量$L$。该度量被示出为对数配分函数的预期二阶导数（在模型分布下），或者等价地，能量函数的偏导数的向量的方差。我们在联合训练3层深度玻尔兹曼机的任务上评估了我们的方法，并表明MFNG确实比具有中心的随机最大似然函数具有更快的每历元收敛，尽管挂钟性能目前没有竞争力。
Wasserstein Training of Boltzmann Machines
玻尔兹曼机提供了一个有用的框架来学习现实世界中发生的高度复杂，多模态和多尺度的数据分布。学习其参数的默认方法包括最小化从训练样本到玻尔兹曼模型的Kullback-Leibler（KL）发散。在这项工作中，我们提出了一种新的方法玻尔兹曼训练，假设观察之间的一个有意义的度量。该度量可以由分布之间的瓦瑟斯坦距离表示，我们推导出相对于模型参数的梯度。这个新的Wasserstein目标的最小化导致生成模型在考虑度量时更好，并且具有类簇结构。我们展示了这些模型在数据完成和去噪方面的实际潜力，其中观测之间的度量起着至关重要的作用。
Modelling conditional probabilities with Riemann-Theta Boltzmann Machines
黎曼-θ玻尔兹曼机的可见扇区的概率密度函数可以以可见单元的子集为条件。我们推导出相应的条件密度函数是由黎曼-θ玻尔兹曼机建模的原始概率密度函数的重新参数化。因此，条件密度可以直接从Riemann-Theta Boltzmann机推导出来。
Deep Narrow Boltzmann Machines are Universal Approximators
我们表明，深窄玻尔兹曼机的概率分布的活动，其可见的单位是普遍的近似，只要他们有足够多的隐藏层，每个包含相同数量的单位作为可见层。我们表明，在某些参数域，深度玻尔兹曼机可以作为前馈网络进行研究。我们提供了上界和下界的充分的深度和宽度的通用逼近。这些结果解决了关于无向网络的各种直觉，特别是，它们表明，深窄玻尔兹曼机至少与窄S形信念网络和限制玻尔兹曼机一样紧凑的通用逼近器，相对于这些模型的当前可用边界。
Classification of Sets using Restricted Boltzmann Machines
我们考虑的问题时，输入对应的向量集的分类。此设置出现在许多问题中，例如包含多个页面的邮件的分类，具有多个部分的网站或已预先分割成较小区域的图像的分类。我们提出了广义的限制玻尔兹曼机（RBM）是适当的，在这种情况下，并探讨如何将不同的假设之间的关系的输入集和目标类内的RBM。在标准的多实例学习数据集上的实验中，我们展示了基于RBM的方法的竞争力，并将所提出的变体应用于传入邮件分类问题。
Crime incidents embedding using restricted Boltzmann machines
我们提出了一种新的方法来检测相关的犯罪系列，通过高斯-伯努利限制玻尔兹曼机（RBM）的犯罪记录的叙述通过无监督学习的潜在特征嵌入。这是一种与以前的犯罪分析工作截然不同的方法，以前的犯罪分析工作通常只考虑时间和地点，最多考虑类别信息。在嵌入之后，相关案例在欧几里得特征空间中彼此更接近，而不相关案例彼此远离，这是一个很好的性质，可以使相关案例的检测和聚类等后续分析成为可能。亚特兰大警察局手工标记的几个系列的相关犯罪事件的实验揭示了我们的嵌入方法的承诺。
Learning Feature Hierarchies with Centered Deep Boltzmann Machines
深度玻尔兹曼机原则上是提取数据层次结构的强大模型。不幸的是，联合训练层的尝试（没有贪婪的逐层预训练）在很大程度上是不成功的。我们提出了一个修改的学习算法，最初重新中心的激活函数的输出为零。这种修改导致更好的条件海森，从而使学习更容易。我们在真实数据上测试了该算法，并证明了我们的建议，即中心深度玻尔兹曼机，学习了一个越来越抽象的表示层次和一个更好的数据生成模型。
Complex Amplitude-Phase Boltzmann Machines
我们将玻尔兹曼机的框架扩展到具有可变振幅的复值神经元网络，称为复振幅相位玻尔兹曼机（CAP-BM）。该模型能够对复杂数据中的幅度和相对相位分布进行无监督学习。给出了Gibbs分布的采样规则和模型的学习规则。学习在一个复杂的幅度-相位限制玻尔兹曼机（CAP-RBM）证明合成复值图像，手写MNIST数字变换的复小波变换。具体来说，我们展示了一个新的振幅振幅耦合项在我们的模型的必要性。所提出的模型是潜在的有价值的机器学习任务，涉及复值数据的振幅变化，并为开发新的计算硬件，如耦合振荡器和神经形态硬件，玻尔兹曼采样可以在复杂的域中执行的算法。
Learning from multivariate discrete sequential data using a restricted Boltzmann machine model
受限玻尔兹曼机（RBM）是一种生成式神经网络模型，具有许多新颖的应用，如协同滤波和声学建模。成果管理制缺乏保持记忆的能力，因此不适合于动态数据建模，如时间序列分析。在本文中，我们解决这个问题，提出了p-RBM模型，一个推广的常规RBM模型，能够保留记忆的p过去的状态。我们进一步展示了如何使用对比散度对p-RBM模型进行训练，并在考虑NASDAQ-100指数的100只股票的股票市场方向预测问题上对我们的模型进行了测试。结果表明，p-RBM提供了有前途的预测潜力。
Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines
受限玻尔兹曼机（RBM）是一类功能强大的生成模型，但它们的训练需要计算梯度，与典型损失函数上的监督反向传播不同，甚至难以近似。在这里，我们证明了将标准梯度更新与从RBM基态（模式）的样本构建的偏离梯度的方向适当地结合起来，与传统的梯度方法相比，大大提高了它们的训练。这种方法，我们称之为模式训练，除了较低的收敛相对熵（KL发散）外，还可以促进更快的训练和稳定性。随着这种方法的稳定性和收敛性的证明，我们还证明了它的有效性，在合成数据集，我们可以计算KL分歧，以及一个更大的机器学习标准，MNIST。我们建议的模式训练是非常通用的，因为它可以与任何给定的梯度方法结合应用，并且很容易扩展到更一般的基于能量的神经网络结构，如深度，卷积和不受限制的玻尔兹曼机。
From Monte Carlo to Las Vegas: Improving Restricted Boltzmann Machine Training Through Stopping Sets
我们提出了一个拉斯维加斯变换的马尔可夫链蒙特卡罗（MCMC）估计的限制玻尔兹曼机（RBM）。我们表示我们的方法马尔可夫链拉斯维加斯（MCLV）。MCLV提供统计保证，以换取随机运行时间。MCLV使用从训练数据构建的停止集，并且具有最大马尔可夫链步骤数K（称为MCLV-K）。我们提出了RBM的MCLV-K梯度估计器（LVS-K），并探讨了LVS-K和对比发散（CD-K）之间的对应关系和差异，LVS-K在MNIST数据集上显著优于CD-K训练RBM，表明MCLV是学习生成模型的一个有前途的方向。
Modeling Documents with Deep Boltzmann Machines
我们介绍了一个深度玻尔兹曼机模型，适用于建模和提取潜在的语义表示，从一个大型的非结构化的文档集合。我们克服了明显的困难，训练DBM与明智的参数绑定。该参数绑定实现了有效的预训练算法和辅助推理的状态初始化方案。该模型可以像标准的受限玻尔兹曼机一样有效地训练。我们的实验表明，该模型分配更好的日志概率看不见的数据比复制Softmax模型。从我们的模型中提取的特征在文档检索和文档分类任务上优于LDA，Replicated Softmax和DocNADE模型。
Explainable Restricted Boltzmann Machines for Collaborative Filtering
大多数精确的推荐系统都是黑盒模型，隐藏了推荐背后的推理。然而，解释已经被证明可以增加用户对系统的信任，除了提供其他好处，如可感知性，这意味着能够验证推荐的有效性。准确性和透明度或可解释性之间的这种差距产生了对自动解释生成方法的兴趣。受限玻尔兹曼机（RBM）是CF的精确模型，也缺乏可解释性。在本文中，我们专注于基于RBM的协同过滤推荐，并进一步假设没有任何额外的数据源，如项目内容或用户属性。因此，我们提出了一个新的可解释的RBM技术，计算的前n个推荐列表的项目是可解释的。实验结果表明，我们的方法是有效的，在生成准确和可解释的建议。
Can Boltzmann Machines Discover Cluster Updates ?
玻尔兹曼机是一种物理生成模型，在机器学习中有着广泛的应用。它们可以从输入数据集中学习概率分布，并相应地生成新的样本。将玻尔兹曼机应用于物理学，由于其灵活性和有效性，玻尔兹曼机是加速物理系统的蒙特卡罗模拟的理想推荐系统。更有趣的是，我们证明了玻尔兹曼机的生成采样甚至可以发现未知的簇蒙特卡罗算法。创造力来自玻尔兹曼机器的潜在表现，它学会调解复杂的相互作用并识别物理系统的集群。我们证明了这些发现与经典的伊辛模型的具体例子和没有四个自旋元格相互作用。我们的研究结果支持了一种新的研究范式，即智能机器旨在创造或激发人类发现创新算法。
Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
在这项工作中，提出了一种基于无监督学习的迭代算法，特别是在限制玻尔兹曼机（RBM）上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $，并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例，说明了该算法的有效性.
Temporal Autoencoding Restricted Boltzmann Machine
人们已经做了很多工作来改进和表征深度学习算法所学习的感受野。很多工作都集中在开发在自然图像数据集上实施稀疏约束时学习的类似Gabor的过滤器。然而，很少有工作研究这些过滤器如何扩展到时间域，即通过对自然电影的训练。在这里，我们在已建立的时间深度学习算法中研究了这个问题，以及这里提出的一种新的学习范式，时间自动编码限制玻尔兹曼机（TARBM）。
Perception-Distortion Trade-off with Restricted Boltzmann Machines
在这项工作中，我们引入了一个新的程序应用限制玻尔兹曼机（RBM）丢失的数据推理任务，基于线性化的有效能量函数的分布观测。我们比较我们提出的程序的性能与使用现有的重建程序训练不完整的数据。我们把这些性能比较的感知失真权衡观察到的其他数据重建任务，到目前为止，仍然是未开发的任务依赖于不完整的训练数据的上下文中。
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
在这篇文章中，我们扩展了卷积限制玻尔兹曼机的传统框架，通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征，该乘法单元捕捉输入之间的关系。在许多情况下，两个以上的映射是强相关的，所以明智的做法是让乘法单元学习更多输入映射之间的关系，换句话说，找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序，我们开发了一种学习方法，其最优性被证明可以训练网络。
Boltzmann machines as two-dimensional tensor networks
限制玻尔兹曼机（RBM）和深度玻尔兹曼机（DBM）是机器学习中的重要模型，最近在量子多体物理中发现了许多应用。我们证明了它们与张量网络之间存在着根本的联系。特别是，我们证明了任何RBM和DBM都可以精确地表示为二维张量网络。这种表示方法利用张量网络的纠缠结构来理解RBM和DBM的表达能力，并为计算RBM和DBM的配分函数提供了一种有效的张量网络收缩算法.通过数值实验，我们证明了该算法在估计受限玻尔兹曼机和深度玻尔兹曼机的配分函数方面比现有的机器学习方法准确得多，并且在训练深度玻尔兹曼机以完成一般机器学习任务方面具有潜在的应用价值.
Advanced Mean Field Theory of Restricted Boltzmann Machine
由于对数似然函数的梯度计算，限制玻尔兹曼机的学习通常是困难的。为了描述受限玻尔兹曼机的网络状态统计特性，我们在Bethe近似的基础上发展了一种改进的平均场论。我们的理论提供了一个有效的消息传递为基础的方法，不仅评估的配分函数（自由能），但它的梯度，而不需要统计采样。计算昂贵的采样为基础的方法所获得的结果进行了比较。
Neural Boltzmann Machines
本文提出神经玻尔兹曼机（NBMs），通过将条件受限玻尔兹曼机的参数转化为神经网络，增强表达力，并有效处理正态分布数据，可用随机梯度下降训练。
A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines
我们定义了一个消息传递算法计算磁化在受限玻尔兹曼机，这是伊辛模型的二分图上引入的神经网络模型的概率分布自旋配置。为了模拟自旋耦合之间的非平凡统计依赖关系，我们假设矩形耦合矩阵是从任意双旋转不变随机矩阵系综中提取的。利用统计力学中的动力泛函方法，对算法在大系统极限下的动力学行为进行了精确的分析。我们证明了该算法的全局收敛性的稳定性准则下，计算渐近收敛速度表现出良好的协议与数值模拟。
Sparse Group Restricted Boltzmann Machines
由于玻尔兹曼机的学习通常非常缓慢，因此需要限制隐藏层内的连接。然而，隐藏单元的结果状态表现出统计依赖性。基于这一观察，我们建议使用$l_1/l_2$正则化的激活可能性的限制玻尔兹曼机的隐藏单元，以捕捉本地的依赖关系之间的隐藏单元。这种正则化不仅鼓励许多组中的隐藏单元在给定观测数据的情况下不活动，而且还使组内的隐藏单元相互竞争以建模观测数据。因此，RBM上的$l_1/l_2$正则化在组和隐藏单元级别上都产生稀疏性。我们将用正则化器\emph{sparse group}训练的RBM称为RBM。所提出的稀疏组RBM被应用于三个任务：自然图像的补丁建模，手写数字建模和预处理用于分类任务的深度网络。此外，我们说明正则化也可以应用于深度玻尔兹曼机，这导致稀疏群深度玻尔兹曼机。当适应的MNIST数据集，一个两层稀疏群玻尔兹曼机实现了$0.84\%$，这是，据我们所知，最好的公布结果的置换不变版本的MNIST任务的错误率。
Geometry and Expressive Power of Conditional Restricted Boltzmann Machines
条件限制玻尔兹曼机是一种无向随机神经网络，其输入和输出单元层与隐藏单元层两部分相连。这些网络定义了给定输入设备状态的输出设备状态的条件概率分布模型，由交互权重和偏置参数化。我们解决这些模型的代表性的权力，证明结果的能力，以表示条件马尔可夫随机场和条件分布的限制支持，最小尺寸的通用逼近器，最大模型近似误差，并在一组可表示的条件分布的维度。我们贡献了新的工具，调查条件概率模型，这使我们能够改善的结果，可以从现有的工作限制玻尔兹曼机概率模型。
Multi-layered Discriminative Restricted Boltzmann Machine with Untrained Probabilistic Layer
极限学习机（ELM）是具有未训练参数的三层前馈神经网络，所述未训练参数在训练之前随机确定。受ELM思想的启发，提出了一种称为概率ELM（probabilistic-ELM，PELM）层的概率未训练层，并将其与判别限制玻尔兹曼机（discriminative restricted Boltzmann machine，DRBM）相结合，DRBM是一种用于解决分类问题的概率三层神经网络。所提出的模型是通过在PELM层上堆叠DRBM而获得的。所得到的模型（即，多层DRBM（MDRBM））形成概率四层神经网络。在MDRBM中，PELM层中的参数可以使用Gaussian-Bernoulli限制Boltzmann机来确定。由于PELM层，MDRBM获得了对输入噪声的强免疫力，这是MDRBM最重要的优点之一。使用一些基准数据集，MNIST，时尚MNIST，城市土地覆盖，和CIFAR-10的数值实验表明，MDRBM优于其他现有的模型，特别是在噪声鲁棒性（或，换句话说，泛化属性）。
Empirical Bayes Method for Boltzmann Machines
在这项研究中，我们考虑了一个经验贝叶斯方法的玻尔兹曼机，并提出了一个算法。经验贝叶斯方法允许估计的超参数的玻尔兹曼机的值最大化一个特定的似然函数称为经验贝叶斯似然函数在这项研究中。然而，最大化在计算上是困难的，因为经验贝叶斯似然函数涉及配分函数的难处理的积分。该算法通过使用副本方法和Plefka展开避免了这个计算问题。我们的方法不需要任何迭代过程，并且非常简单和快速，尽管它引入了估计偏差，这表现出相对于数据集大小的不自然行为。这种特殊的行为被认为是由于Plefka展开的近似处理。一个可能的扩展，以克服这种行为也进行了讨论。
L_1-regularized Boltzmann machine learning using majorizer minimization
我们提出了一种推理方法，估计稀疏的相互作用和偏见，根据玻尔兹曼机器学习。该方法的基础是$L_1$正则化，该正则化常用于压缩感知，这是一种用于从欠采样输出重建稀疏输入信号的技术。$L_1$正则化阻碍了梯度法的简单应用，由于代价函数缺乏平滑性，梯度法优化了导致精确估计的代价函数。在这项研究中，我们利用优化器最小化方法，这是一个众所周知的技术实现优化问题，以避免非光滑的成本函数。通过使用优化器最小化方法，我们阐明了本质上相关的偏见和相互作用，从给定的数据与看似强相关的组件。
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
这是一篇关于Boltzmann Machine（BM）、Restricted Boltzmann Machine（RBM）和Deep Belief Network（DBN）的教程和综述论文。我们从概率图模型，马尔可夫随机场，吉布斯抽样，统计物理，伊辛模型和Hopfield网络的必要背景开始。然后，我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布，RBM中用于生成变量的Gibbs抽样，通过最大似然估计训练BM和RBM，以及对比发散。然后，我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后，我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
Mean-Field Inference in Gaussian Restricted Boltzmann Machine
高斯限制玻尔兹曼机（GRBM）是定义在二分图上的玻尔兹曼机，是通常限制玻尔兹曼机的扩展。GRBM由两个不同的层组成：由连续可见变量组成的可见层和由离散隐变量组成的隐层。在本文中，我们推导出两个不同的推理算法的基础上的朴素平均场近似（NMFA）的广义相对论模型。一个是GRBM中全部变量的推理算法，另一个是GBRBM中部分变量的推理算法。我们比较了这两种方法的解析和数值，并表明后者的方法是更好的。
Effectively Trainable Semi-Quantum Restricted Boltzmann Machine
我们提出了一个新的量子模型的限制玻尔兹曼机（RBM），其中可见的单位仍然是经典的，而隐藏的单位被量化为非相互作用的费米子。费米子的自由运动与可见光单位的经典信号参数耦合。该模型具有量子行为，例如隐藏单元之间的相干性。数值实验表明，这一事实使它比经典的RBM具有相同数量的隐藏单元更强大。与此同时，与量子玻尔兹曼机（QBM）的其他方法相比，所提出的模型的一个显着优点是它在经典计算机上是完全可解和有效可训练的：对数似然梯度相对于其参数有一个封闭的表达式。这一事实使它不仅作为一个假设的量子模拟器的模型，而且作为一个量子启发的经典机器学习算法。
Restricted Boltzmann Machines: Introduction and Review
受限玻尔兹曼机是一个随机单元网络，在成对的可见和隐藏单元之间具有无向相互作用。该模型作为深度学习架构的构建块得到推广，并在应用和理论机器学习中继续发挥重要作用。受限玻尔兹曼机具有丰富的结构，与几何、应用代数、概率、统计、机器学习和其他领域有联系。对这些模型的分析本身就很有吸引力，也是一个平台，可以将数学工具与隐变量图形模型相结合并加以推广。本文介绍了限制玻尔兹曼机的数学分析，回顾了最近的结果的几何集合的概率分布所代表的这些模型，并提出了一些进一步研究的方向。
Soft-Deep Boltzmann Machines
我们提出了一个分层玻尔兹曼机（BM），可以更好地利用分布式表示的优势。人们普遍认为，深BM（DBM）具有比其浅对应物，限制玻尔兹曼机（RBM）更大的代表性能力。然而，这种关于DBM优于RBM的期望从未在理论上得到验证。在本文中，我们提供了理论和经验证据，DBMs的代表性的权力，实际上是相当有限的，在利用分布式表示。我们提出了一个近似的衡量代表性的权力BM关于分布式表示的效率。通过这种措施，我们发现了一个令人惊讶的事实，DBMs可以使分布式表示的效率低下。基于这些观察，我们提出了一种替代BM架构，我们称之为软深BM（sDBMs）。我们表明，sDBMs可以更有效地利用分布式表示的措施。实验表明，sDBMs优于几个国家的最先进的模型，包括DBMs，在生成任务的二进制MNIST和加州理工学院-101轮廓。
Boltzmann Machines and Denoising Autoencoders for Image Denoising
基于局部图像块的概率模型的图像去噪已被各种研究人员采用，最近Burger等人[2012]和Xie等人[2012]提出了一种深度（去噪）自动编码器，作为一种很好的模型。在本文中，我们提出了深度学习领域中另一种流行的模型家族，称为玻尔兹曼机，可以执行图像去噪，或者在某些高噪声水平的情况下，比去噪自动编码器更好。我们经验性地评估了这两种模型在三组不同类型和噪声水平的图像上的效果。在整个实验中，我们还研究了模型深度的影响。实验证实了我们的说法，并表明，性能可以通过添加更多的隐藏层，特别是当噪声水平高。
Riemann-Theta Boltzmann Machine
介绍了一种具有连续可见和离散整数值隐态的一般玻尔兹曼机。在关于连接矩阵的温和假设下，可见单元的概率密度函数可以解析地求解，产生一种新的参数密度函数，涉及Riemann-Theta函数的比率。对于给定的可见状态，隐藏状态的条件期望也可以解析计算，得到对数黎曼-θ函数的导数。条件期望可用作前馈神经网络的激活函数，从而提高网络的建模能力。玻尔兹曼机和衍生的前馈神经网络都可以通过标准的基于梯度和基于非梯度的优化技术成功地训练。
Generative Semantic Hashing Enhanced via Boltzmann Machines
生成式语义哈希算法具有检索速度快、占用内存少等优点，是一种很有前途的大规模信息检索技术。为了训练的易处理性，现有的生成哈希方法大多假设后验分布的因子分解形式，强制哈希码的比特之间的独立性。从模型表示和代码空间大小的角度来看，独立性始终不是最好的假设。为了引入散列码比特之间的相关性，本文提出采用玻尔兹曼机的分布作为变分后验。为了解决训练的棘手问题，我们首先开发了一种近似方法来重新参数化玻尔兹曼机的分布，通过将其增强为类高斯分布和伯努利分布的分层级联。在此基础上，进一步推导出证据下界（ELBO）的渐近精确下界。通过这些新技术，可以有效地优化整个模型。大量的实验结果表明，通过有效地建模哈希码中不同位之间的相关性，我们的模型可以实现显着的性能增益。
Parallelized Training of Restricted Boltzmann Machines using Markov-Chain Monte Carlo Methods
受限玻尔兹曼机（RBM）是一种生成式随机神经网络，可以应用于推荐系统中的协同过滤技术。在推荐系统中，RBM模型的预测精度通常优于其他模型。然而，训练RBM模型涉及马尔可夫链蒙特卡罗（MCMC）方法，这是计算昂贵的。在本文中，我们已经成功地应用了分布式并行训练使用Horovod框架，以提高RBM模型的训练时间。我们的测试表明，RBM模型的分布式训练方法具有良好的扩展效率。我们还表明，这种方法有效地减少了训练时间略超过12分钟64个CPU节点相比，5个小时的单个CPU节点。这将使成果管理制模式更实际地适用于推荐系统。
Learning Restricted Boltzmann Machines with Arbitrary External Fields
我们研究了带有隐变量的图模型的学习问题。我们给出了第一个算法学习局部一致（铁磁或反铁磁）限制玻尔兹曼机（或RBM）与{ \em任意}外场。我们的算法在样本复杂度和运行时间上具有对维度的最佳依赖性，但是它对RBM的底层参数具有次优依赖性。先前的结果仅针对具有{\em一致}外部场（符号必须相同）\cite{bresler2018learning}的{ \em铁磁} RBM建立。所提出的算法强烈依赖于磁化强度，这在我们的设置中不成立。我们证明了以下关键的结构性质：即使在任意外场的存在下，对于共享一个共同潜在邻居的任何两个观察到的节点，协方差是高的。这使我们能够设计一个简单的贪心算法，最大化协方差迭代地建立每个顶点的邻域。
Discrete Restricted Boltzmann Machines
我们描述离散限制玻尔兹曼机：可见和隐藏的离散变量之间的二分相互作用的概率图形模型。例子是二进制限制玻尔兹曼机和离散朴素贝叶斯模型。我们详细的推理功能和分布式表示在这些模型中所产生的配置的投影产品的单纯形和正常风扇的产品的单纯形。我们约束隐变量的数量，这取决于它们的状态空间的基数，这些模型可以近似任何概率分布对他们的可见状态到任何给定的精度。此外，我们使用代数方法和编码理论来计算它们的维数。
Regularized Dynamic Boltzmann Machine with Delay Pruning for Unsupervised Learning of Temporal Sequences
我们介绍延迟修剪，一个简单而强大的技术来规范动态玻尔兹曼机（DyBM）。最近推出的DyBM提供了一个特别结构化的玻尔兹曼机，作为多维时间序列的生成模型。这种玻尔兹曼机可以有无限多层的单元，但允许基于其生物动机结构的精确推理和学习。DyBM使用固定长度的先进先出（FIFO）队列形式的传导延迟的思想，其中神经元经由该FIFO队列连接到另一个神经元，并且来自突触前神经元的尖峰以恒定的延迟周期沿着队列行进到突触后神经元。在这里，我们提出延迟修剪作为一种机制，通过将一些延迟长度设置为具有固定概率的1，并最终选择具有固定延迟的最佳性能模型，来修剪FIFO队列的长度（使其为零）。DyBM中结构的独特性和基于非采样的学习规则使得先前提出的正则化技术（如Dropout或DropConnect）的应用变得困难，导致泛化能力差。首先，我们评估延迟修剪的性能，让DyBM学习由马尔可夫链生成的多维时间序列。最后，我们使用移动MNIST数据集证明了延迟修剪在学习高维序列中的有效性，并将其与Dropout和DropConnect方法进行了比较。
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
提出了一种基于高斯-二元限制玻尔兹曼机（GRBM）的说话人子空间建模方法。该模型基于概率线性判别分析（PLDA）中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子，其中扬声器因子在扬声器的所有向量上共享。然后，最大似然参数估计（MLE）的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
Thurstonian Boltzmann Machines: Learning from Multiple Inequalities
我们介绍瑟斯顿玻尔兹曼机（TBM），一个统一的架构，可以自然地纳入广泛的数据输入在同一时间。我们的动机在于Thurstonian的观点，许多离散数据类型可以被认为是从潜在的连续变量的子集生成的，并在观察到，每个实现的离散类型对这些变量施加一定的不平等。因此，TBM中的学习和推理归结为对一组不等式的理解。我们提出的TBM自然支持以下类型：高斯，区间，删失，二进制，分类，多类别，有序，（在）完整的排名与不带领带。我们证明了所提出的模型的多功能性和能力上的三个应用程序的性质非常不同，即手写数字识别，协同过滤和复杂的社会调查分析。
Emergence of Compositional Representations in Restricted Boltzmann Machines
自动提取组成真实高维数据的复杂特征集对于实现机器学习任务的高性能至关重要。限制玻尔兹曼机（RBM）在经验上已知对于此目的是有效的，并且能够生成数据的分布式和分级表示。我们表征的结构条件（稀疏的权重，低有效温度，非线性的激活功能的隐藏单元，和适应领域保持活动在可见层）允许RBM在这样的组成阶段。证据提供了一个足够的随机RBM的统计合奏的副本分析和手写数字数据集MNIST上训练的RBM。
Accelerate Monte Carlo Simulations with Restricted Boltzmann Machines
尽管蒙特卡罗方法具有特殊的灵活性和流行性，但在解决具有挑战性的统计物理问题时，它往往会遇到混合时间慢的问题。我们提出了一个通用策略，通过采用机器学习社区的思想和技术来克服这一困难。我们将物理模型的非归一化概率拟合到前馈神经网络中，并将其重新解释为受限玻尔兹曼机。然后，利用其特征检测能力，我们利用限制玻尔兹曼机进行有效的蒙特卡罗更新，并加快模拟原始的物理系统。我们实现了Falicov-Kimball模型的这些想法，并证明了在相变点附近改进的接受率和自相关时间。
Geometry of the restricted Boltzmann machine
限制玻尔兹曼机是一个二进制随机变量的图形模型。基于一个完全的二分图分离隐藏和观察变量，它是因子分析模型的二进制模拟。我们从代数统计和热带几何的角度研究这个图形模型，首先观察到它的Zagliki闭包是一个Hadamard权力的第一割线品种的Segre品种的投影线。我们推导出的热带模型的尺寸公式，我们用它来表明，限制玻尔兹曼机在许多情况下是可识别的。我们的方法包括编码理论和线性阈值函数的几何。
Inferring Sparsity: Compressed Sensing using Generalized Restricted Boltzmann Machines
在这项工作中，我们认为压缩感知重建$M$测量的$K$稀疏结构的信号，不具有可写的相关模型。假设一个生成的统计模型，如玻尔兹曼机，可以在一个无监督的方式对示例信号进行训练，我们演示了如何在贝叶斯信号重建框架内使用这个信号模型。通过推导出一般分布限制玻尔兹曼机的消息传递推断，我们能够将这些推断的信号模型集成到压缩感知重构的近似消息传递中。最后，我们证明了MNIST数据集，这种方法可以是非常有效的，即使是$M < K$。
Effective Mean-Field Inference Method for Nonnegative Boltzmann Machines
非负玻尔兹曼机（Nonnegative Boltzmann machines，NNBM）是一种能够描述多模态非负数据的递归概率神经网络模型。NNBM形式的整流高斯分布，出现在生物神经网络模型，正矩阵分解，非负矩阵分解，等等，在本文中，提出了一种有效的推理方法NNBM，使用平均场方法，称为无偏-安德森-帕尔默方程，对角一致性方法，这是最近提出的。
Information Perspective to Probabilistic Modeling: Boltzmann Machines versus Born Machines
我们比较和对比了统计物理和量子物理启发的方法，用于经典数据的无监督生成建模。这两种方法分别用基于能量的模型和量子态来表示观测数据的概率，因此目标数据集的经典和量子信息模式为这两种方法的结构设计和学习提供了原则性的指导。以受限玻尔兹曼机（RBM）为例，分析了这两种方法的信息论界。我们通过比较标准MNIST数据集上各种架构的RBM的性能来验证我们的推理。
Learning dynamic Boltzmann machines with spike-timing dependent plasticity
我们提出了一个特别结构化的玻尔兹曼机，我们称之为动态玻尔兹曼机（DyBM），作为一个随机模型的多维时间序列。DyBM可以有无限多层单元，但当其参数具有建议的结构时，可以进行精确和有效的推理和学习。这种提议的结构的动机是来自生物神经网络的假设和观察，即突触权重根据尖峰的时间而增强或减弱（即，尖峰时间依赖性可塑性或STDP）。我们发现，在最大化给定时间序列的可能性的方向上更新DyBM的参数的学习规则可以被解释为STDP与长时程增强和长时程抑制。该学习规则具有收敛的保证并且可以在分布式事务中执行（即，在空间中本地）具有有限的存储器（即，当地时间）。
Gamma Boltzmann Machine for Simultaneously Modeling Linear- and Log-amplitude Spectra
在音频应用中，音频信号的最重要的表示之一是幅度谱图。它被用于许多基于机器学习的信息处理方法，包括使用受限玻尔兹曼机（RBM）的方法。然而，普通的Gaussian-Bernoulli RBM（其变体中最流行的RBM）不能直接处理幅度谱，因为高斯分布是一个对称模型，允许幅度中从不出现负值。在本文中，提出了一个通用的伽玛玻尔兹曼机后，我们提出了一个实用的模型称为伽玛伯努利RBM，同时处理线性和对数振幅谱图。它的条件分布的可观测数据的伽玛分布，因此建议的RBM可以自然地处理由正数表示的数据作为振幅谱。它还可以处理对数标度中的幅度，从感知的角度来看，这对音频信号很重要。通过PESQ和MSE对语音信号幅度谱图的表征实验，验证了该模型相对于普通Gaussian-Bernoulli RBM的优越性。
Refinements of Universal Approximation Results for Deep Belief Networks and Restricted Boltzmann Machines
我们改进了最近发表的关于限制玻尔兹曼机（RBM）和深度信念网络（DBN）的资源的结果，使它们成为通用近似器。我们证明了长度为n的二进制向量集上的任何分布p都可以被具有k-1个隐藏单元的RBM任意地很好地近似，其中k是只有一个条目不同的二进制向量对的最小数量，使得它们的并集包含p的支持集。在重要的情况下，这个数量是p的支持集的基数的一半。我们构造了具有2^n/2（n-b）的DBN，b ~ log（n），宽度为n的隐藏层，能够任意好地逼近{0，1}^n上的任何分布。这证实了Le Roux和Bengio 2010提出的一个猜想。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。