Boltzmann Encoded Adversarial Machines
Unlearn.AI, Inc.（Unlearn.AI公司）
受限玻尔兹曼机（RBM）是一类生成神经网络，其通常被训练以最大化对数似然目标函数。我们认为，基于似然的训练策略可能会失败，因为目标没有充分惩罚那些在训练数据分布概率较低的区域中放置高概率的模型。为了克服这个问题，我们引入了玻尔兹曼编码对抗机器（BEAM）。BEAM是针对对手训练的RBM，对手使用RBM的隐藏层激活来区分训练数据和模型生成的概率分布。我们提出的实验表明，BEAM在多个基准测试中优于RBM和GANs。
2018-04-23 cs.LG stat.ML
Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
ALBERT Inc.（阿尔伯特公司）；Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究生院）
泛化是机器学习中最重要的问题之一。在这项研究中，我们考虑在限制玻尔兹曼机（RBM）的推广。我们提出了一个多值隐变量的RBM，这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型，通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
2020-01-08 cs.LG stat.ML
Product Jacobi-Theta Boltzmann machines with score matching
TIF Lab, Dipartimento di Fisica, Università degli Studi di Milano and INFN Sezione di Milano（米兰大学物理系TIF实验室及意大利国家核物理研究所米兰分部）；Quantum Research Center, Technology Innovation Institute（技术创新研究所量子研究中心）；Department of Computational Biology, University of Lausanne（洛桑大学计算生物学系）；CERN, Theoretical Physics Department（欧洲核子研究中心理论物理系）；Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
本文提出乘积雅可比-西塔玻尔兹曼机（pJTBM），作为RTBM的受限版本，并证明基于Fisher散度的分数匹配能以更高效率拟合概率密度。
2024-01-12 cs.LG stat.ML
Boltzmann Machine Learning with the Latent Maximum Entropy Principle
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；University of Missouri（密苏里大学）
我们提出了一个新的统计学习范式玻尔兹曼机的基础上，我们提出了一个新的推理原则：潜在的最大熵原则（LME）。LME既不同于Jaynes最大熵原理，也不同于标准的极大似然估计。本文通过导出Boltzmann机参数估计的新算法来证明LME原理，并展示如何发展新的EM算法的鲁棒性和快速性。我们的实验表明，基于LME的估计通常比极大似然估计产生更好的结果。特别是当从少量数据推断隐藏单元时。
2012-10-19 cs.LG stat.ML
The Cramer Distance as a Solution to Biased Wasserstein Gradients
Google DeepMind（谷歌DeepMind）；CoMPLEX, Computer Science, UCL（伦敦大学学院计算生命科学中心，计算机科学系）；Google（谷歌）
Wasserstein概率度量受到了机器学习社区的广泛关注。与严格测量概率变化的Kullback-Leibler分歧不同，Wasserstein度量反映了结果之间的潜在几何关系。对这种几何结构敏感的价值已经在有序回归和生成建模中得到证明。在本文中，我们描述了概率发散的三个自然属性，这些属性反映了机器学习的要求：和不变性，尺度敏感性和无偏样本梯度。沃瑟斯坦度量具有前两个性质，但不像Kullback-Leibler分歧，不具有第三个。我们提供的经验证据表明，这是一个严重的问题，在实践中。利用概率预测的见解，我们提出了一种替代Wasserstein度量的Cramér距离。我们表明，Cramér距离具有所有三个所需的属性，结合最好的Wasserstein和Kullback-Leibler分歧。为了说明Cramér距离在实践中的相关性，我们设计了一种新的算法，Cramér生成对抗网络（GAN），并表明它的性能明显优于相关的Wasserstein GAN。
2017-05-30 cs.LG stat.ML
Sampling the Riemann-Theta Boltzmann Machine
Università degli Studi di Milano（米兰大学）；INFN Sezione di Milano（意大利国家核物理研究院米兰分部）；University of Lausanne（洛桑大学）
我们发现，可见扇区的概率密度函数的黎曼-θ玻尔兹曼机对应于一个高斯混合模型组成的无限多个组件的多变量高斯。混合物的权重由隐藏状态空间上的离散多变量高斯函数给出。这使我们能够以直接的方式对可见扇区密度函数进行采样。此外，我们证明了可见扇区概率密度函数具有仿射变换性质，类似于多变量高斯密度。
2020-06-30 cs.LG stat.ML
Fused Gromov-Wasserstein distance for structured objects: theoretical foundations and mathematical properties
Univ. Bretagne-Sud（南布列塔尼大学）；CNRS（法国国家科学研究中心）；IRISA（法国信息与自动化研究所）；Univ. Côte d’Azur（蔚蓝海岸大学）；OCA（尼斯天文台）；Lagrange（拉格朗日实验室）；Univ. Rennes（雷恩大学）；LETG（地理环境与社会跨学科研究中心）
最优传输理论最近在机器学习中发现了许多应用，这要归功于其比较被视为分布的各种机器学习对象的能力。康托洛维奇公式，导致瓦瑟斯坦距离，侧重于对象的元素的特征，但独立地对待它们，而格罗莫夫-瓦瑟斯坦距离只关注元素之间的关系，描绘了对象的结构，但丢弃了它的特征。在本文中，我们建议扩展这些距离，以便同时编码的特征和结构信息，在融合Gromov-瓦瑟斯坦距离的结果。我们开发的数学框架，这种新的距离，证明其度量和插值性质，并提供了一个浓度的结果，有限样本的收敛性。我们还说明和解释它的使用在各种情况下，涉及结构化对象。
2018-11-07 cs.LG stat.ML
Optimal Transport for Network Comparison: A Unified Review with New Spectral Bounds and Machine Learning Applications
该综述介绍了Wasserstein等三种最优传输距离用于无向无权图比较的方法，推导了相关闭式形式与界，并在聚类和异常检测任务中验证了其应用效果。
2026-09-15 cs.LG cs.SI stat.ML
FDR-SVM: A Federated Distributionally Robust Support Vector Machine via a Mixture of Wasserstein Balls Ambiguity Set
H. Milton Stewart School of Industrial and Systems Engineering（H. Milton Stewart工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）；Department of Electrical Engineering（电气工程系）；University of Chile（智利大学）
本文提出联邦分布鲁棒支持向量机FDR-SVM，通过Wasserstein球混合模糊集处理多客户端数据异质性与不确定性，并给出理论保证和两种求解算法，在工业数据及UCI数据集上优于现有方法。
2025-08-18 cs.LG stat.ML
A Fast Proximal Point Method for Computing Exact Wasserstein Distance
Georgia Institute of Technology（佐治亚理工学院）；East China Normal University（华东师范大学）
瓦瑟斯坦距离在机器学习、随机规划和图像处理中发挥着越来越重要的作用。目前正在作出重大努力，以解决其高计算复杂性，一些导致近似或正规化的变化，如Sinkhorn距离。然而，正如我们将证明的，具有大正则化参数的正则化变化将在几个重要的机器学习应用中降低性能，并且小正则化参数将由于现有算法的数值稳定性问题而失败。我们通过开发一种不精确的近点方法来解决这一挑战，该方法用于精确的最优运输问题（IPOT），在每次迭代时使用概率单纯形的投影近似评估近端算子。该算法（a）在理论保证和鲁棒正则化参数选择的情况下收敛到精确的瓦瑟斯坦距离，（b）消除了数值稳定性问题，（c）具有与Sinkhorn相似的计算复杂度，（d）避免了应用于生成模型时的收缩问题。在此基础上，提出了一种新的基于IPOT的Wasserstein重心提取算法.
2019-06-24 cs.LG stat.ML
Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine
The Chinese University of Hong Kong（香港中文大学）；Nanjing University（南京大学）
Wasserstein \textbf{D}迭代\textbf{R} obust \textbf{O}优化（DRO）关注的是找到对数据执行良好的决策，这些数据是从以某个名义分布为中心的Wasserstein球内的最差情况概率分布中得出的。近年来，已经表明，各种DRO公式的学习模型承认易处理的凸重构。然而，大多数现有的作品提出解决这些凸的通用求解器，这是不适合处理大规模的问题。在本文中，我们专注于一个家庭的Wasserstein分布鲁棒支持向量机（DRSVM）的问题，并提出了两种新的epigraphical投影为基础的增量算法来解决这些问题。这些算法的每次迭代中的更新可以以高效的方式计算。此外，我们证明了本文考虑的DRSVM问题满足显式确定的增长指数的Hölderian增长条件。因此，我们能够建立所提出的增量算法的收敛速度。我们的数值结果表明，所提出的方法是数量级的速度比国家的最先进的，性能差距增长相当大的问题规模的增加。
2020-10-24 cs.LG math.OC stat.ML
Orthogonal Estimation of Wasserstein Distances
University of Cambridge（剑桥大学）；Columbia University（哥伦比亚大学）；Google Brain（谷歌大脑）；Google Research（谷歌研究院）；The Alan Turing Institute（艾伦·图灵研究所）
瓦瑟斯坦距离越来越多地用于机器学习中的各种应用中。切片瓦瑟斯坦距离形成了一个重要的子类，可以通过一维排序操作有效地估计。在本文中，我们提出了一个新的变体切片Wasserstein距离，研究使用正交耦合的蒙特卡罗估计的瓦瑟斯坦距离，并绘制连接与分层抽样，并评估我们的方法在一系列的大规模实验生成建模和强化学习的实验。
2019-04-05 cs.LG stat.ML
Modelling conditional probabilities with Riemann-Theta Boltzmann Machines
Università degli Studi di Milano（米兰大学）；INFN Sezione di Milano（意大利国家核物理研究所米兰分部）；University of Lausanne（洛桑大学）
黎曼-θ玻尔兹曼机的可见扇区的概率密度函数可以以可见单元的子集为条件。我们推导出相应的条件密度函数是由黎曼-θ玻尔兹曼机建模的原始概率密度函数的重新参数化。因此，条件密度可以直接从Riemann-Theta Boltzmann机推导出来。
2019-05-27 cs.LG hep-ph stat.ML
Classification of Sets using Restricted Boltzmann Machines
A2iA SA（A2iA股份公司）；University of Toronto（多伦多大学）
我们考虑的问题时，输入对应的向量集的分类。此设置出现在许多问题中，例如包含多个页面的邮件的分类，具有多个部分的网站或已预先分割成较小区域的图像的分类。我们提出了广义的限制玻尔兹曼机（RBM）是适当的，在这种情况下，并探讨如何将不同的假设之间的关系的输入集和目标类内的RBM。在标准的多实例学习数据集上的实验中，我们展示了基于RBM的方法的竞争力，并将所提出的变体应用于传入邮件分类问题。
2011-03-25 cs.LG stat.ML
Deep Narrow Boltzmann Machines are Universal Approximators
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
我们表明，深窄玻尔兹曼机的概率分布的活动，其可见的单位是普遍的近似，只要他们有足够多的隐藏层，每个包含相同数量的单位作为可见层。我们表明，在某些参数域，深度玻尔兹曼机可以作为前馈网络进行研究。我们提供了上界和下界的充分的深度和宽度的通用逼近。这些结果解决了关于无向网络的各种直觉，特别是，它们表明，深窄玻尔兹曼机至少与窄S形信念网络和限制玻尔兹曼机一样紧凑的通用逼近器，相对于这些模型的当前可用边界。
2015-04-10 cs.LG math.PR stat.ML
Crime incidents embedding using restricted Boltzmann machines
Georgia Tech Institute of People and Technology（佐治亚理工学院人与技术研究所）
我们提出了一种新的方法来检测相关的犯罪系列，通过高斯-伯努利限制玻尔兹曼机（RBM）的犯罪记录的叙述通过无监督学习的潜在特征嵌入。这是一种与以前的犯罪分析工作截然不同的方法，以前的犯罪分析工作通常只考虑时间和地点，最多考虑类别信息。在嵌入之后，相关案例在欧几里得特征空间中彼此更接近，而不相关案例彼此远离，这是一个很好的性质，可以使相关案例的检测和聚类等后续分析成为可能。亚特兰大警察局手工标记的几个系列的相关犯罪事件的实验揭示了我们的嵌入方法的承诺。
2018-02-14 cs.LG stat.ML
The Equivalence of Fourier-based and Wasserstein Metrics on Imaging Problems
我们研究一类基于傅立叶的概率距离的一些扩展的性质，最初引入研究收敛到平衡的空间齐次玻尔兹曼方程的解决方案。在与原来的不同，新的基于傅立叶的度量也定义良好的概率分布与不同的质量中心，和离散的概率测度支持一个规则的网格。在其他属性中，它示出，在离散设置中，这些新的基于傅立叶的度量是等价的欧几里得-Wasserstein距离$W_2$，或Kantorovich-Wasserstein距离$W_1$，具有明确的常数的等价。数值结果表明，在图像处理的基准问题，傅立叶度量提供了更好的运行时间相对于Wasserstein的。
2020-05-13 math-ph math.MP math.OC
Ambiguity set and learning via Bregman and Wasserstein
鲁棒优化中模糊集的构造依赖于概率分布之间的分歧的选择。在分布学习中，根据观测数据选择合适的概率分布对于逼近真实分布至关重要。为了提高机器学习模型的性能，最近人们对基于Lp-瓦瑟斯坦距离而不是经典的Kullback-Leibler（KL）散度来设计目标函数感兴趣。在本文中，我们得到的浓度和渐近结果使用Bregman分歧。我们提出了一种新的非对称的统计分歧称为Wasserstein-Bregman分歧作为L2-瓦瑟斯坦距离的推广。我们讨论了如何将这些结果应用于鲁棒优化中的模糊集的构造。
2017-05-23 cs.LG stat.ML
Learning Feature Hierarchies with Centered Deep Boltzmann Machines
Korea University（高丽大学）
深度玻尔兹曼机原则上是提取数据层次结构的强大模型。不幸的是，联合训练层的尝试（没有贪婪的逐层预训练）在很大程度上是不成功的。我们提出了一个修改的学习算法，最初重新中心的激活函数的输出为零。这种修改导致更好的条件海森，从而使学习更容易。我们在真实数据上测试了该算法，并证明了我们的建议，即中心深度玻尔兹曼机，学习了一个越来越抽象的表示层次和一个更好的数据生成模型。
2012-03-16 cs.AI cs.LG stat.ML
Complex Amplitude-Phase Boltzmann Machines
Intel Labs（英特尔实验室）；University of California Berkeley（加州大学伯克利分校）
我们将玻尔兹曼机的框架扩展到具有可变振幅的复值神经元网络，称为复振幅相位玻尔兹曼机（CAP-BM）。该模型能够对复杂数据中的幅度和相对相位分布进行无监督学习。给出了Gibbs分布的采样规则和模型的学习规则。学习在一个复杂的幅度-相位限制玻尔兹曼机（CAP-RBM）证明合成复值图像，手写MNIST数字变换的复小波变换。具体来说，我们展示了一个新的振幅振幅耦合项在我们的模型的必要性。所提出的模型是潜在的有价值的机器学习任务，涉及复值数据的振幅变化，并为开发新的计算硬件，如耦合振荡器和神经形态硬件，玻尔兹曼采样可以在复杂的域中执行的算法。
2020-05-04 cs.LG cs.NE stat.ML
Learning from multivariate discrete sequential data using a restricted Boltzmann machine model
Escuela Superior Politecnica del Litoral (ESPOL)（埃斯波莱大学（ESPOL））
受限玻尔兹曼机（RBM）是一种生成式神经网络模型，具有许多新颖的应用，如协同滤波和声学建模。成果管理制缺乏保持记忆的能力，因此不适合于动态数据建模，如时间序列分析。在本文中，我们解决这个问题，提出了p-RBM模型，一个推广的常规RBM模型，能够保留记忆的p过去的状态。我们进一步展示了如何使用对比散度对p-RBM模型进行训练，并在考虑NASDAQ-100指数的100只股票的股票市场方向预测问题上对我们的模型进行了测试。结果表明，p-RBM提供了有前途的预测潜力。
2018-04-28 cs.LG stat.ML
Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Physics, University of California, San Diego（加利福尼亚大学圣地亚哥分校物理系）
受限玻尔兹曼机（RBM）是一类功能强大的生成模型，但它们的训练需要计算梯度，与典型损失函数上的监督反向传播不同，甚至难以近似。在这里，我们证明了将标准梯度更新与从RBM基态（模式）的样本构建的偏离梯度的方向适当地结合起来，与传统的梯度方法相比，大大提高了它们的训练。这种方法，我们称之为模式训练，除了较低的收敛相对熵（KL发散）外，还可以促进更快的训练和稳定性。随着这种方法的稳定性和收敛性的证明，我们还证明了它的有效性，在合成数据集，我们可以计算KL分歧，以及一个更大的机器学习标准，MNIST。我们建议的模式训练是非常通用的，因为它可以与任何给定的梯度方法结合应用，并且很容易扩展到更一般的基于能量的神经网络结构，如深度，卷积和不受限制的玻尔兹曼机。
2020-01-19 cs.LG stat.ML
Wasserstein Distributionally Robust Optimization: Theory and Applications in Machine Learning
EPFL（洛桑联邦理工学院）；Delft University of Technology（代尔夫特理工大学）
本文综述Wasserstein分布鲁棒优化，该方法在样本分布不确定下通过最坏情况分布优化决策，具有凸优化可解性和样本外一致性保证，并推动分类、回归等机器学习任务的新方法。
2024-11-04 cs.LG math.OC stat.ML
Modeling Documents with Deep Boltzmann Machines
University of Toronto（多伦多大学）
我们介绍了一个深度玻尔兹曼机模型，适用于建模和提取潜在的语义表示，从一个大型的非结构化的文档集合。我们克服了明显的困难，训练DBM与明智的参数绑定。该参数绑定实现了有效的预训练算法和辅助推理的状态初始化方案。该模型可以像标准的受限玻尔兹曼机一样有效地训练。我们的实验表明，该模型分配更好的日志概率看不见的数据比复制Softmax模型。从我们的模型中提取的特征在文档检索和文档分类任务上优于LDA，Replicated Softmax和DocNADE模型。
2013-09-26 cs.IR cs.LG stat.ML
Can Boltzmann Machines Discover Cluster Updates ?
Beijing National Lab for Condensed Matter Physics and Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所北京凝聚态物理国家实验室）
玻尔兹曼机是一种物理生成模型，在机器学习中有着广泛的应用。它们可以从输入数据集中学习概率分布，并相应地生成新的样本。将玻尔兹曼机应用于物理学，由于其灵活性和有效性，玻尔兹曼机是加速物理系统的蒙特卡罗模拟的理想推荐系统。更有趣的是，我们证明了玻尔兹曼机的生成采样甚至可以发现未知的簇蒙特卡罗算法。创造力来自玻尔兹曼机器的潜在表现，它学会调解复杂的相互作用并识别物理系统的集群。我们证明了这些发现与经典的伊辛模型的具体例子和没有四个自旋元格相互作用。我们的研究结果支持了一种新的研究范式，即智能机器旨在创造或激发人类发现创新算法。
2017-02-28 cond-mat.stat-mech cs.LG physics.comp-ph
Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
Sapienza, University of Rome（罗马大学（萨皮恩扎））
在这项工作中，提出了一种基于无监督学习的迭代算法，特别是在限制玻尔兹曼机（RBM）上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $，并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例，说明了该算法的有效性.
2019-05-02 cs.LG math.OC stat.ML
Temporal Autoencoding Restricted Boltzmann Machine
Freie Universität Berlin（柏林自由大学）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Berlin Institute of Technology（柏林工业大学）
人们已经做了很多工作来改进和表征深度学习算法所学习的感受野。很多工作都集中在开发在自然图像数据集上实施稀疏约束时学习的类似Gabor的过滤器。然而，很少有工作研究这些过滤器如何扩展到时间域，即通过对自然电影的训练。在这里，我们在已建立的时间深度学习算法中研究了这个问题，以及这里提出的一种新的学习范式，时间自动编码限制玻尔兹曼机（TARBM）。
2012-10-31 cs.AI cs.LG stat.ML
Metric-Free Natural Gradient for Joint-Training of Boltzmann Machines
Université de Montréal（蒙特利尔大学）
本文介绍了用于训练玻尔兹曼机的无度量自然梯度（MFNG）算法。与Martens [8]的Hessian-Free方法的精神相似，我们的算法属于截断牛顿方法家族，并利用有效的矩阵向量积来避免显式存储自然梯度度量$L$。该度量被示出为对数配分函数的预期二阶导数（在模型分布下），或者等价地，能量函数的偏导数的向量的方差。我们在联合训练3层深度玻尔兹曼机的任务上评估了我们的方法，并表明MFNG确实比具有中心的随机最大似然函数具有更快的每历元收敛，尽管挂钟性能目前没有竞争力。
2013-03-16 cs.LG cs.NE stat.ML
Perception-Distortion Trade-off with Restricted Boltzmann Machines
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）；University of Utah（犹他大学）
在这项工作中，我们引入了一个新的程序应用限制玻尔兹曼机（RBM）丢失的数据推理任务，基于线性化的有效能量函数的分布观测。我们比较我们提出的程序的性能与使用现有的重建程序训练不完整的数据。我们把这些性能比较的感知失真权衡观察到的其他数据重建任务，到目前为止，仍然是未开发的任务依赖于不完整的训练数据的上下文中。
2019-10-21 cs.CV cs.LG stat.ML
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School（孝感高级中学）
在这篇文章中，我们扩展了卷积限制玻尔兹曼机的传统框架，通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征，该乘法单元捕捉输入之间的关系。在许多情况下，两个以上的映射是强相关的，所以明智的做法是让乘法单元学习更多输入映射之间的关系，换句话说，找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序，我们开发了一种学习方法，其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Advanced Mean Field Theory of Restricted Boltzmann Machine
RIKEN Brain Science Institute（理化学研究所脑科学研究所）
由于对数似然函数的梯度计算，限制玻尔兹曼机的学习通常是困难的。为了描述受限玻尔兹曼机的网络状态统计特性，我们在Bethe近似的基础上发展了一种改进的平均场论。我们的理论提供了一个有效的消息传递为基础的方法，不仅评估的配分函数（自由能），但它的梯度，而不需要统计采样。计算昂贵的采样为基础的方法所获得的结果进行了比较。
2015-05-02 cond-mat.stat-mech cs.LG q-bio.NC
Neural Boltzmann Machines
本文提出神经玻尔兹曼机（NBMs），通过将条件受限玻尔兹曼机的参数转化为神经网络，增强表达力，并有效处理正态分布数据，可用随机梯度下降训练。
2023-05-15 cond-mat.dis-nn cs.LG stat.ML
Boltzmann machines as two-dimensional tensor networks
Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hangzhou Institute for Advanced Study, UCAS（国科大杭州高等研究院）；International Centre for Theoretical Physics Asia-Pacific（国际理论物理中心亚太地区分中心）
限制玻尔兹曼机（RBM）和深度玻尔兹曼机（DBM）是机器学习中的重要模型，最近在量子多体物理中发现了许多应用。我们证明了它们与张量网络之间存在着根本的联系。特别是，我们证明了任何RBM和DBM都可以精确地表示为二维张量网络。这种表示方法利用张量网络的纠缠结构来理解RBM和DBM的表达能力，并为计算RBM和DBM的配分函数提供了一种有效的张量网络收缩算法.通过数值实验，我们证明了该算法在估计受限玻尔兹曼机和深度玻尔兹曼机的配分函数方面比现有的机器学习方法准确得多，并且在训练深度玻尔兹曼机以完成一般机器学习任务方面具有潜在的应用价值.
2021-05-10 cond-mat.stat-mech cs.LG physics.comp-ph
Regularization Helps with Mitigating Poisoning Attacks: Distributionally-Robust Machine Learning Using the Wasserstein Distance
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61中心）；University of Melbourne（墨尔本大学）
我们使用分布式鲁棒优化机器学习，以减轻数据投毒攻击的影响。我们通过在使用Wasserstein距离定义的经验分布（从中毒攻击损坏的训练数据集中提取）周围的邻域上训练模型的最坏情况分布，为原始数据（不包括中毒记录）上的训练模型提供性能保证。我们放松的分布鲁棒机器学习问题，找到一个上限的最坏情况下的适应度的基础上的经验采样平均适应度和Lipschitz常数的适应度函数（给定的模型参数的数据）作为正则化。对于回归模型，我们证明了这个正则化子等于模型参数的对偶范数。我们使用葡萄酒质量数据集，波士顿住房市场数据集和成人数据集来展示本文的结果。
2020-01-29 cs.CR cs.LG eess.SP
A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines
Technische Universität Berlin（柏林工业大学）
我们定义了一个消息传递算法计算磁化在受限玻尔兹曼机，这是伊辛模型的二分图上引入的神经网络模型的概率分布自旋配置。为了模拟自旋耦合之间的非平凡统计依赖关系，我们假设矩形耦合矩阵是从任意双旋转不变随机矩阵系综中提取的。利用统计力学中的动力泛函方法，对算法在大系统极限下的动力学行为进行了精确的分析。我们证明了该算法的全局收敛性的稳定性准则下，计算渐近收敛速度表现出良好的协议与数值模拟。
2020-05-04 cond-mat.dis-nn cs.LG stat.ML
Sparse Group Restricted Boltzmann Machines
由于玻尔兹曼机的学习通常非常缓慢，因此需要限制隐藏层内的连接。然而，隐藏单元的结果状态表现出统计依赖性。基于这一观察，我们建议使用$l_1/l_2$正则化的激活可能性的限制玻尔兹曼机的隐藏单元，以捕捉本地的依赖关系之间的隐藏单元。这种正则化不仅鼓励许多组中的隐藏单元在给定观测数据的情况下不活动，而且还使组内的隐藏单元相互竞争以建模观测数据。因此，RBM上的$l_1/l_2$正则化在组和隐藏单元级别上都产生稀疏性。我们将用正则化器\emph{sparse group}训练的RBM称为RBM。所提出的稀疏组RBM被应用于三个任务：自然图像的补丁建模，手写数字建模和预处理用于分类任务的深度网络。此外，我们说明正则化也可以应用于深度玻尔兹曼机，这导致稀疏群深度玻尔兹曼机。当适应的MNIST数据集，一个两层稀疏群玻尔兹曼机实现了$0.84\%$，这是，据我们所知，最好的公布结果的置换不变版本的MNIST任务的错误率。
2010-08-30 stat.ML
Geometry and Expressive Power of Conditional Restricted Boltzmann Machines
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
条件限制玻尔兹曼机是一种无向随机神经网络，其输入和输出单元层与隐藏单元层两部分相连。这些网络定义了给定输入设备状态的输出设备状态的条件概率分布模型，由交互权重和偏置参数化。我们解决这些模型的代表性的权力，证明结果的能力，以表示条件马尔可夫随机场和条件分布的限制支持，最小尺寸的通用逼近器，最大模型近似误差，并在一组可表示的条件分布的维度。我们贡献了新的工具，调查条件概率模型，这使我们能够改善的结果，可以从现有的工作限制玻尔兹曼机概率模型。
2015-03-12 cs.LG cs.NE stat.ML
Multi-layered Discriminative Restricted Boltzmann Machine with Untrained Probabilistic Layer
Yamagata University（山形大学）
极限学习机（ELM）是具有未训练参数的三层前馈神经网络，所述未训练参数在训练之前随机确定。受ELM思想的启发，提出了一种称为概率ELM（probabilistic-ELM，PELM）层的概率未训练层，并将其与判别限制玻尔兹曼机（discriminative restricted Boltzmann machine，DRBM）相结合，DRBM是一种用于解决分类问题的概率三层神经网络。所提出的模型是通过在PELM层上堆叠DRBM而获得的。所得到的模型（即，多层DRBM（MDRBM））形成概率四层神经网络。在MDRBM中，PELM层中的参数可以使用Gaussian-Bernoulli限制Boltzmann机来确定。由于PELM层，MDRBM获得了对输入噪声的强免疫力，这是MDRBM最重要的优点之一。使用一些基准数据集，MNIST，时尚MNIST，城市土地覆盖，和CIFAR-10的数值实验表明，MDRBM优于其他现有的模型，特别是在噪声鲁棒性（或，换句话说，泛化属性）。
2022-10-27 cs.AI cs.LG stat.ML
Neural Sampling with Reweighted Normalizing Flows via the Wasserstein--Fisher--Rao JKO Scheme
RWTH Aachen University（亚琛工业大学）；University of Göttingen（哥廷根大学）；TU Berlin（柏林工业大学）
提出一种基于WFR JKO方案的重加权归一化流神经采样算法，证明其指数收敛性，并在多模态目标上验证了有效性。
2026-10-08 cs.LG cs.NA math.NA
Empirical Bayes Method for Boltzmann Machines
Yamagata University（山形大学）；Tokyo Institute of Technology（东京工业大学）
在这项研究中，我们考虑了一个经验贝叶斯方法的玻尔兹曼机，并提出了一个算法。经验贝叶斯方法允许估计的超参数的玻尔兹曼机的值最大化一个特定的似然函数称为经验贝叶斯似然函数在这项研究中。然而，最大化在计算上是困难的，因为经验贝叶斯似然函数涉及配分函数的难处理的积分。该算法通过使用副本方法和Plefka展开避免了这个计算问题。我们的方法不需要任何迭代过程，并且非常简单和快速，尽管它引入了估计偏差，这表现出相对于数据集大小的不自然行为。这种特殊的行为被认为是由于Plefka展开的近似处理。一个可能的扩展，以克服这种行为也进行了讨论。
2019-09-07 cond-mat.dis-nn cs.LG stat.ML
L_1-regularized Boltzmann machine learning using majorizer minimization
Kyoto University（京都大学）
我们提出了一种推理方法，估计稀疏的相互作用和偏见，根据玻尔兹曼机器学习。该方法的基础是$L_1$正则化，该正则化常用于压缩感知，这是一种用于从欠采样输出重建稀疏输入信号的技术。$L_1$正则化阻碍了梯度法的简单应用，由于代价函数缺乏平滑性，梯度法优化了导致精确估计的代价函数。在这项研究中，我们利用优化器最小化方法，这是一个众所周知的技术实现优化问题，以避免非光滑的成本函数。通过使用优化器最小化方法，我们阐明了本质上相关的偏见和相互作用，从给定的数据与看似强相关的组件。
2015-03-11 cond-mat.dis-nn cs.LG stat.ML
Revisiting invariances and introducing priors in Gromov-Wasserstein distances
Brown University（布朗大学）；Univ. Bretagne-Sud（南布列塔尼大学）；IRISA（法国信息与随机系统研究所）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Huawei Technologies（华为技术有限公司）；Univ. Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）
针对Gromov-Wasserstein距离等距不变性过强、忽略原始特征的问题，提出融合特征对齐、可调控变换刚性的增强型Gromov-Wasserstein距离，给出理论分析并验证其在单细胞多组学对齐和迁移学习中的效用。
2023-07-19 cs.LG q-bio.GN stat.ML
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于Boltzmann Machine（BM）、Restricted Boltzmann Machine（RBM）和Deep Belief Network（DBN）的教程和综述论文。我们从概率图模型，马尔可夫随机场，吉布斯抽样，统计物理，伊辛模型和Hopfield网络的必要背景开始。然后，我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布，RBM中用于生成变量的Gibbs抽样，通过最大似然估计训练BM和RBM，以及对比发散。然后，我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后，我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Mean-Field Inference in Gaussian Restricted Boltzmann Machine
高斯限制玻尔兹曼机（GRBM）是定义在二分图上的玻尔兹曼机，是通常限制玻尔兹曼机的扩展。GRBM由两个不同的层组成：由连续可见变量组成的可见层和由离散隐变量组成的隐层。在本文中，我们推导出两个不同的推理算法的基础上的朴素平均场近似（NMFA）的广义相对论模型。一个是GRBM中全部变量的推理算法，另一个是GBRBM中部分变量的推理算法。我们比较了这两种方法的解析和数值，并表明后者的方法是更好的。
2016-03-18 physics.data-an stat.ML
Effectively Trainable Semi-Quantum Restricted Boltzmann Machine
Russian Quantum Center（俄罗斯量子中心）；National University of Science and Technology MISiS（国立科学技术大学MISiS）；National Research Nuclear University MEPhI（国立研究型核大学MEPhI）
我们提出了一个新的量子模型的限制玻尔兹曼机（RBM），其中可见的单位仍然是经典的，而隐藏的单位被量化为非相互作用的费米子。费米子的自由运动与可见光单位的经典信号参数耦合。该模型具有量子行为，例如隐藏单元之间的相干性。数值实验表明，这一事实使它比经典的RBM具有相同数量的隐藏单元更强大。与此同时，与量子玻尔兹曼机（QBM）的其他方法相比，所提出的模型的一个显着优点是它在经典计算机上是完全可解和有效可训练的：对数似然梯度相对于其参数有一个封闭的表达式。这一事实使它不仅作为一个假设的量子模拟器的模型，而且作为一个量子启发的经典机器学习算法。
2021-02-11 cond-mat.dis-nn cs.LG stat.ML
Soft-Deep Boltzmann Machines
The University of Tokyo（东京大学）
我们提出了一个分层玻尔兹曼机（BM），可以更好地利用分布式表示的优势。人们普遍认为，深BM（DBM）具有比其浅对应物，限制玻尔兹曼机（RBM）更大的代表性能力。然而，这种关于DBM优于RBM的期望从未在理论上得到验证。在本文中，我们提供了理论和经验证据，DBMs的代表性的权力，实际上是相当有限的，在利用分布式表示。我们提出了一个近似的衡量代表性的权力BM关于分布式表示的效率。通过这种措施，我们发现了一个令人惊讶的事实，DBMs可以使分布式表示的效率低下。基于这些观察，我们提出了一种替代BM架构，我们称之为软深BM（sDBMs）。我们表明，sDBMs可以更有效地利用分布式表示的措施。实验表明，sDBMs优于几个国家的最先进的模型，包括DBMs，在生成任务的二进制MNIST和加州理工学院-101轮廓。
2015-06-21 cs.LG cs.NE stat.ML
Restricted Boltzmann Machines: Introduction and Review
University of California, Los Angeles（加州大学洛杉矶分校）
受限玻尔兹曼机是一个随机单元网络，在成对的可见和隐藏单元之间具有无向相互作用。该模型作为深度学习架构的构建块得到推广，并在应用和理论机器学习中继续发挥重要作用。受限玻尔兹曼机具有丰富的结构，与几何、应用代数、概率、统计、机器学习和其他领域有联系。对这些模型的分析本身就很有吸引力，也是一个平台，可以将数学工具与隐变量图形模型相结合并加以推广。本文介绍了限制玻尔兹曼机的数学分析，回顾了最近的结果的几何集合的概率分布所代表的这些模型，并提出了一些进一步研究的方向。
2018-06-19 cs.IT cs.LG math.IT
Riemann-Theta Boltzmann Machine
CERN（欧洲核子研究组织）；Tsinghua University（清华大学）
介绍了一种具有连续可见和离散整数值隐态的一般玻尔兹曼机。在关于连接矩阵的温和假设下，可见单元的概率密度函数可以解析地求解，产生一种新的参数密度函数，涉及Riemann-Theta函数的比率。对于给定的可见状态，隐藏状态的条件期望也可以解析计算，得到对数黎曼-θ函数的导数。条件期望可用作前馈神经网络的激活函数，从而提高网络的建模能力。玻尔兹曼机和衍生的前馈神经网络都可以通过标准的基于梯度和基于非梯度的优化技术成功地训练。
2020-01-28 cs.LG hep-ph hep-th
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.（Stel计算机系统有限公司）
提出了一种基于高斯-二元限制玻尔兹曼机（GRBM）的说话人子空间建模方法。该模型基于概率线性判别分析（PLDA）中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子，其中扬声器因子在扬声器的所有向量上共享。然后，最大似然参数估计（MLE）的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
Minimax Distribution Estimation in Wasserstein Distance
Carnegie Mellon University（卡内基梅隆大学）
Wasserstein度量是概率分布之间距离的重要度量，在机器学习、统计学、概率论和数据分析中有应用。本文仅使用样本空间的度量性质（如覆盖数和堆积数）和对概率分布的弱矩假设，给出了估计Wasserstein损失下概率分布的统计极大极小率的上界和下界.
2019-11-07 cs.IT cs.LG math.IT
Emergence of Compositional Representations in Restricted Boltzmann Machines
Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；Sorbonne Universités UPMC（索邦大学）
自动提取组成真实高维数据的复杂特征集对于实现机器学习任务的高性能至关重要。限制玻尔兹曼机（RBM）在经验上已知对于此目的是有效的，并且能够生成数据的分布式和分级表示。我们表征的结构条件（稀疏的权重，低有效温度，非线性的激活功能的隐藏单元，和适应领域保持活动在可见层）允许RBM在这样的组成阶段。证据提供了一个足够的随机RBM的统计合奏的副本分析和手写数字数据集MNIST上训练的RBM。
2017-03-02 cond-mat.dis-nn cs.LG physics.data-an
Discrete Restricted Boltzmann Machines
我们描述离散限制玻尔兹曼机：可见和隐藏的离散变量之间的二分相互作用的概率图形模型。例子是二进制限制玻尔兹曼机和离散朴素贝叶斯模型。我们详细的推理功能和分布式表示在这些模型中所产生的配置的投影产品的单纯形和正常风扇的产品的单纯形。我们约束隐变量的数量，这取决于它们的状态空间的基数，这些模型可以近似任何概率分布对他们的可见状态到任何给定的精度。此外，我们使用代数方法和编码理论来计算它们的维数。
2014-04-22 math.AG math.PR stat.ML
Accelerate Monte Carlo Simulations with Restricted Boltzmann Machines
尽管蒙特卡罗方法具有特殊的灵活性和流行性，但在解决具有挑战性的统计物理问题时，它往往会遇到混合时间慢的问题。我们提出了一个通用策略，通过采用机器学习社区的思想和技术来克服这一困难。我们将物理模型的非归一化概率拟合到前馈神经网络中，并将其重新解释为受限玻尔兹曼机。然后，利用其特征检测能力，我们利用限制玻尔兹曼机进行有效的蒙特卡罗更新，并加快模拟原始的物理系统。我们实现了Falicov-Kimball模型的这些想法，并证明了在相变点附近改进的接受率和自相关时间。
2016-10-13 cond-mat.str-el physics.comp-ph stat.ML
Inferring Sparsity: Compressed Sensing using Generalized Restricted Boltzmann Machines
École Normale Supérieure, PSL Research University（巴黎高等师范学院，PSL研究大学）；Université Pierre et Marie Curie, Sorbonne Universités（皮埃尔和玛丽·居里大学，索邦大学）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）
在这项工作中，我们认为压缩感知重建$M$测量的$K$稀疏结构的信号，不具有可写的相关模型。假设一个生成的统计模型，如玻尔兹曼机，可以在一个无监督的方式对示例信号进行训练，我们演示了如何在贝叶斯信号重建框架内使用这个信号模型。通过推导出一般分布限制玻尔兹曼机的消息传递推断，我们能够将这些推断的信号模型集成到压缩感知重构的近似消息传递中。最后，我们证明了MNIST数据集，这种方法可以是非常有效的，即使是$M < K$。
2016-06-13 cond-mat.dis-nn cs.IT cs.LG
