A Deterministic and Generalized Framework for Unsupervised Learning with Restricted Boltzmann Machines
OWKIN, Inc.（OWKIN公司）；École Normale Supérieure, PSL University（巴黎文理研究大学巴黎高等师范学院）；Snips（Snips公司）；Université Pierre et Marie Curie, Sorbonne Universités（索邦大学皮埃尔与玛丽·居里大学）；LightOn（LightOn公司）
受限玻尔兹曼机（RBM）是基于能量的神经网络，通常用作深度架构神经架构的构建块。在这项工作中，我们得出一个确定性的框架，培训，评估和使用RBM的Thouless-Anderson-Palmer（TAP）的平均场近似的广泛连接的系统与弱相互作用来自自旋玻璃理论的基础上。虽然TAP方法已被广泛研究的完全可见的二进制自旋系统，我们的建设推广到潜变量模型，以及任意分布的实值自旋系统有界支持。在我们的数值实验中，我们证明了我们提出的模型的有效的确定性训练，并能够显示出有趣的无监督学习的特点，不能直接观察到采样。此外，我们演示了如何利用我们的TAP为基础的框架，利用训练有素的RBM联合先验去噪问题。
2018-10-09 cond-mat.dis-nn cs.LG cs.NE
Combining Primal and Dual Representations in Deep Restricted Kernel Machines Classifiers
KU Leuven（鲁汶大学）
提出一种结合原始与对偶表示的深度受限核机分类方法，利用KPCA和LSSVM耦合，在Stiefel流形上实现高效学习，适用于小数据集和高维数据，性能优于单级模型且比CNN更节能。
2023-08-29 cs.LG
Training a Restricted Boltzmann Machine for Classification by Labeling Model Samples
Johannes Gutenberg-University Mainz（美因茨约翰内斯·古腾堡大学）
我们提出了一种训练分类模型的替代方法。使用MNIST手写数字集和受限玻尔兹曼机，如果我们首先仅在未标记的数据上以无监督的方式训练模型，然后在GUI的帮助下手动将标签添加到模型样本而不是训练数据样本，则可以达到与半监督学习竞争的分类性能。这种方法可以受益于这样一个事实，即模型样本可以以类似视频的方式呈现给人类标记者，从而产生更多数量的标记示例。此外，经过一些初始训练后，难以分类的示例可以自动与容易的示例区分开来，节省了手动工作。
2015-09-03 cs.LG
Unsupervised Detection of Underground Tunnels in Ground-Penetrating Radar Using Depth-Restricted Reconstruction Scoring
University of Strathclyde（斯特拉思克莱德大学）；CASE Institute of Technology（CASE技术学院）
研究利用探地雷达检测地下隧道，提出无监督检测管道，通过去噪卷积自动编码器学习正常地下结构，用重建误差标记隧道，核心贡献是深度受限top-k异常评分提升检测效果。
2026-07-07 cs.CV cs.LG eess.SP
Duality in Multi-View Restricted Kernel Machines
KU Leuven（鲁汶大学）
本文提出统一的原-对偶多视图受限核机器框架，将多种现有方法纳入核主成分分析，证明原对偶等价性，并通过时间序列预测实验验证其有效性。
2023-07-06 cs.LG
Brain-like approaches to unsupervised learning of hidden representations -- a comparative study
KTH Royal Institute of Technology（瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）
隐藏表示的无监督学习是近年来机器学习中最具活力的研究方向之一。在这项工作中，我们研究了类脑贝叶斯置信度验证神经网络（BCPNN）模型，最近扩展到提取稀疏分布的高维表示。使用外部线性分类器研究了在MNIST和Fashion-MNIST数据集上训练时隐藏表示的有用性和类相关可分性，并与其他无监督学习方法（包括受限玻尔兹曼机和自动编码器）进行了比较。
2021-04-16 cs.LG cs.NE
Towards Accurate Model Selection in Deep Unsupervised Domain Adaptation
University of California, Berkeley（加州大学伯克利分校）；UC Berkeley（加州大学伯克利分校）
针对深度无监督域适应中缺乏准确模型选择方法的问题，提出Deep Embedded Validation (DEV)方法，通过嵌入适应特征表示到验证过程中，获得目标风险的无偏估计，并利用控制变量技术降低方差，理论和实验证明了其有效性。
2026-06-03 cs.LG
A Comparison Study of Credit Card Fraud Detection: Supervised versus Unsupervised
信用卡已经成为线上和线下购物的流行支付方式，这导致日常欺诈交易不断增加。因此，有效的欺诈检测方法对于保持支付系统的可靠性至关重要。在这项研究中，我们使用各种监督和无监督的方法进行信用卡欺诈检测的比较研究。具体地，6个监督分类模型，即，逻辑回归（LR）、K-最近邻（KNN）、支持向量机（SVM）、决策树（DT）、随机森林（RF）、极端梯度提升（XGB）以及4种无监督异常检测模型，即，本研究探讨了单类支持向量机（OCSVM）、自动编码器（AE）、受限玻尔兹曼机（RBM）和生成对抗网络（GAN）。我们在来自Kaggle网站的公共信用卡交易数据集上训练了所有这些模型，该数据集包含284，807笔交易中的492笔欺诈。事务的标签仅用于监督学习模型。每个模型的性能通过5倍交叉验证在受试者工作曲线下面积（AUROC）方面进行评价。在监督方法中，XGB和RF分别获得最佳性能，AUROC = 0.989和AUROC = 0.988。而对于无监督方法，RBM实现了最佳性能，AUROC = 0.961，其次是GAN，AUROC = 0.954。实验结果表明，在这项研究中，监督模型的性能略好于无监督模型。无论如何，无监督的方法仍然是有前途的信用卡欺诈交易检测，由于不足的注释和数据不平衡的问题，在现实世界的应用。
2019-04-24 cs.LG
An unsupervised spatiotemporal graphical modeling approach to anomaly detection in distributed CPS
Iowa State University（爱荷华州立大学）
现代分布式网络物理系统（CPS）遇到了各种各样的物理故障和网络异常，在许多情况下，由于子系统之间的强连接性，它们很容易受到灾难性故障传播的影响。本文提出了一种新的数据驱动的框架，系统范围内的异常检测，以解决这些问题。该框架是基于一个时空特征提取计划建立在符号动力学的概念，发现和代表CPS的子系统之间的因果关系的相互作用。提取的时空特征，然后通过限制玻尔兹曼机（RBM）学习系统范围的模式。结果表明：（1）非标称状态下的RBM自由能与标称状态下的RBM自由能不同，可以用于异常检测;（2）该框架可以用一个图模型捕获多个标称模式;（3）仿真数据和集成建筑系统的案例研究验证了该方法的有效性。
2016-05-20 cs.LG
Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
Sapienza, University of Rome（罗马大学（萨皮恩扎））
在这项工作中，提出了一种基于无监督学习的迭代算法，特别是在限制玻尔兹曼机（RBM）上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $，并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例，说明了该算法的有效性.
2019-05-02 cs.LG math.OC stat.ML
Crime incidents embedding using restricted Boltzmann machines
Georgia Tech Institute of People and Technology（佐治亚理工学院人与技术研究所）
我们提出了一种新的方法来检测相关的犯罪系列，通过高斯-伯努利限制玻尔兹曼机（RBM）的犯罪记录的叙述通过无监督学习的潜在特征嵌入。这是一种与以前的犯罪分析工作截然不同的方法，以前的犯罪分析工作通常只考虑时间和地点，最多考虑类别信息。在嵌入之后，相关案例在欧几里得特征空间中彼此更接近，而不相关案例彼此远离，这是一个很好的性质，可以使相关案例的检测和聚类等后续分析成为可能。亚特兰大警察局手工标记的几个系列的相关犯罪事件的实验揭示了我们的嵌入方法的承诺。
2018-02-14 cs.LG stat.ML
Tensor networks for unsupervised machine learning
Beijing Normal University（北京师范大学）；Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Swarma Research（集智研究院）；Hangzhou Institute for Advanced Study, UCAS（中国科学院大学杭州高等研究院）；International Centre for Theoretical Physics Asia-Pacific（亚太国际理论物理中心）
对高维数据的联合分布进行建模是无监督机器学习的核心任务。近年来，基于张量网络的学习模型受到了广泛的关注，它具有利用纠缠特性对表达能力有原理性理解的优点，并且可以作为连接经典计算和量子计算的桥梁。然而，尽管潜力巨大，但现有的无监督机器学习张量网络模型只能作为原理证明，因为它们的性能比标准模型（如受限玻尔兹曼机和神经网络）差得多。在这封信中，我们提出了自回归矩阵乘积状态（AMPS），这是一种张量网络模型，结合了量子多体物理学的矩阵乘积状态和机器学习的自回归建模。我们的模型享有的归一化概率和无偏抽样的精确计算。我们使用两个应用程序展示了我们的模型的性能，合成和真实世界数据的生成建模，以及统计物理学中的强化学习。使用广泛的数值实验，我们表明，该模型显着优于现有的张量网络模型和限制玻尔兹曼机，是最先进的神经网络模型的竞争力。
2023-02-01 cond-mat.stat-mech cs.LG quant-ph
Collaborative Filtering with Label Consistent Restricted Boltzmann Machine
IIIT Delhi（德里英德拉普拉斯塔信息技术学院）
采用受限玻尔兹曼机（RBM）进行协同过滤的可能性已经知道了大约十年。然而，自2007年以来，几乎没有关于这一专题的任何工作。这项工作回顾了RBM在推荐系统中的应用。基于RBM的协同过滤只使用评分信息，这是一个无监督的架构。这项工作通过利用用户人口统计信息和项目元数据来增加监督。网络是从表示层到标签（元数据）学习的。建议的标签一致的RBM制定显着改善现有的RBM为基础的方法和产量的结果与国家的最先进的潜在因素为基础的模型。
2019-10-17 cs.IR cs.LG cs.NE
Nonnegative Restricted Boltzmann Machines for Parts-based Representations Discovery and Predictive Model Stabilization
Center for Pattern Recognition and Data Analytics, Deakin University（迪肯大学模式识别与数据分析中心）
任何机器学习系统的成功关键取决于数据的有效表示。在许多情况下，需要一个表示方案来揭示数据的基于部件的、可加性的本质。在当前的表示学习方案中，限制玻尔兹曼机（RBM）已被证明在无监督环境中非常有效。然而，当涉及到基于部件的发现时，RBM通常不会产生令人满意的结果。我们通过在模型权重中引入非负性来增强RBM的这种能力，从而产生一种称为非负限制玻尔兹曼机（NRBM）的变体。NRBM不仅可以将数据可控地分解为可解释的部分，而且还提供了一种估计数据内在非线性维数的方法，并有助于稳定线性预测模型。我们证明了我们的模型的应用程序，如手写数字识别，人脸识别，文件分类和病人再入院预后的能力。图像的分解质量与非负矩阵分解（NMF）产生的质量相当或更好，并且从文本中发现的主题特征可以以与潜在狄利克雷分配（LDA）类似的方式定性解释。特征选择在医学数据上的稳定性性能优于RBM，与NMF相当。当用于分类时，学习的特征比NMF和LDA发现的特征更具鉴别力，并且与RBM发现的特征具有可比性。
2017-08-18 cs.LG
PAC Quasi-automatizability of Resolution over Restricted Distributions
Harvard University（哈佛大学）
我们认为原则性的替代方案，无监督学习在数据采掘的情况下，学习任务的后续分析任务。具体地说，我们考虑一个问答（假设检验）任务：在组合任务中，我们通过直接使用输入示例来判断输入查询公式在背景分布上是否满足，而不是调用两阶段过程，其中（i）通过无监督学习算法学习关于分布的规则，以及（ii）推理算法决定查询公式是否遵循所学习的规则。在之前的工作（2013）中，我们观察到学习任务可以满足这种组合环境中的许多理想标准-有效地匹配通过从部分信息中对CNF进行不可知学习所能实现的目标-这些目标是无法直接实现的。在这项工作中，我们表明，同样，有推理任务是可以实现的，在这样一个组合的背景下，不知道是可以直接实现的（事实上，已经严重警告是不可能的，参见。（Alekhnovich和Razborov，2008））。也就是说，我们测试一个决议证明的查询公式的一个给定的大小在quasipolynomial时间（即“准自动化”决议）。我们考虑的学习设置是一个部分信息，限制分布设置，它从部分信息中概括了均匀分布上的学习奇偶性，这是另一个已知在各种模型中无法直接实现的任务（参见。（Ben-David和Dichterman，1998）和（Michael，2010））。
2013-04-16 cs.DS cs.LG cs.LO
Variational mean-field theory for training restricted Boltzmann machines with binary synapses
Sun Yat-sen University（中山大学）
只需要原始数据的无监督学习不仅是大脑皮层的基本功能，也是下一代人工神经网络的基础。然而，一个统一的理论框架来处理感觉输入，突触和神经活动在一起仍然缺乏。计算障碍源于突触的离散性以及学习这三个基本要素之间的复杂相互作用。在这里，我们提出了一个变分平均场理论，其中突触权重的分布被认为是。然后，无监督学习可以分解为两个相互交织的步骤：最大化步骤被执行为数据对数似然的下限的梯度上升，其中通过更新变分参数来确定突触权重分布，并且在等效或对偶神经网络上执行期望步骤作为消息传递过程，所述等效或对偶神经网络的参数由权重的变化参数指定分布因此，我们的框架提供了关于数据（或感觉输入），突触和神经活动如何相互作用的见解，以实现在感觉输入中提取统计特征的目标。这种变分框架在限制玻尔兹曼机与种植突触权重和手写数字学习中得到验证。
2020-08-18 cond-mat.dis-nn cs.LG cs.NE
Restricted Boltzmann Machines with Gaussian Visible Units Guided by Pairwise Constraints
Southwest Jiaotong University（西南交通大学）；Leshan Normal University（乐山师范学院）
限制玻尔兹曼机（RBM）及其变体通常通过对比发散（CD）学习来训练，但训练过程是无监督学习方法，没有任何背景知识的指导。为了提高传统RBM的表达能力，提出了一种成对约束高斯可见单元玻尔兹曼机（pcGRBM）模型，该模型的学习过程由成对约束指导，编码过程在成对约束指导下进行.成对约束被编码在pcGRBM的隐藏层特征中。然后，pcGRBM的一些成对隐藏特征聚集在一起，另一部分被引导分离。在pcGRBM模型中，为了处理实值数据，用带有高斯噪声的线性单元代替二进制可见单元。在pcGRBM的学习过程中，成对约束是在CD学习过程中可见和隐藏单元之间的迭代转换。然后，利用近似梯度下降法对模型进行推导，并设计了相应的学习算法。为了比较pcGRBM和传统RBM与高斯可见单元的可用性，pcGRBM和RBM隐藏层的特征分别用作K-均值、谱聚类（SP）和亲和传播（AP）算法的输入“数据”。一个彻底的实验评估进行了16个图像数据集的微软亚洲研究院多媒体（MSRA-MM）。实验结果表明，基于pcGRBM模型的K-means算法、SP算法和AP算法的聚类性能明显优于传统的RBM算法。此外，pcGRBM模型的聚类任务表现出更好的性能比一些半监督聚类算法。
2018-12-05 cs.LG
Tradeoff of generalization error in unsupervised learning
Seoul National University（首尔国立大学）
本研究提出无监督学习中泛化误差存在模型误差与数据误差的双分量权衡，并通过训练受限玻尔兹曼机生成二维Ising模型和完全不对称简单排他过程构型验证了该理论。
2023-09-12 cond-mat.stat-mech cs.LG
Phase transitions in Restricted Boltzmann Machines with generic priors
Università del Salento（萨伦托大学）；Universität Zürich（苏黎世大学）；King College London（伦敦国王学院）；Scuola Normale Superiore（比萨高等师范学校）
我们研究广义限制玻尔兹曼机与通用先验的单位和权重，布尔和高斯变量之间的插值。我们提出了一个完整的分析，这些系统的副本对称相图，这可以被视为广义Hopfield模型。我们强调检索阶段的推理和学习过程中的作用，我们表明，检索是强大的一大类的重量和单位先验，超出了标准的Hopfield方案。此外，我们展示了顺磁相界如何直接关系到良好的泛化在教师-学生的情况下，无监督学习所需的训练集的最佳大小。
2017-09-06 cond-mat.dis-nn cs.LG physics.data-an
Three Learning Stages and Accuracy-Efficiency Tradeoff of Restricted Boltzmann Machines
RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所新兴物质科学中心（CEMS））；The University of Tokyo（东京大学）
受限玻尔兹曼机（RBM）为无监督机器学习提供了一种通用的架构，原则上可以以任意精度近似任何目标概率分布。然而，RBM模型通常由于其计算复杂性而不能直接访问，并且调用马尔可夫链采样来分析学习的概率分布。对于训练和最终应用，因此期望具有准确且高效的采样器。我们强调，这两个目标通常是相互竞争的，不能同时实现。更具体地说，我们确定和定量表征三种制度的RBM学习：独立学习，准确性提高而不失去效率;相关学习，更高的准确性带来更低的效率;和退化，准确性和效率不再提高，甚至恶化。这些发现是基于数值实验和启发式的论点。
2022-09-24 cond-mat.dis-nn cs.LG quant-ph
Inferring Sparsity: Compressed Sensing using Generalized Restricted Boltzmann Machines
École Normale Supérieure, PSL Research University（巴黎高等师范学院，PSL研究大学）；Université Pierre et Marie Curie, Sorbonne Universités（皮埃尔和玛丽·居里大学，索邦大学）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）
在这项工作中，我们认为压缩感知重建$M$测量的$K$稀疏结构的信号，不具有可写的相关模型。假设一个生成的统计模型，如玻尔兹曼机，可以在一个无监督的方式对示例信号进行训练，我们演示了如何在贝叶斯信号重建框架内使用这个信号模型。通过推导出一般分布限制玻尔兹曼机的消息传递推断，我们能够将这些推断的信号模型集成到压缩感知重构的近似消息传递中。最后，我们证明了MNIST数据集，这种方法可以是非常有效的，即使是$M < K$。
2016-06-13 cond-mat.dis-nn cs.IT cs.LG
Combining Restricted Boltzmann Machines with Neural Networks for Latent Truth Discovery
SCHUFA Holding AG（SCHUFA控股股份公司）
潜在真理发现（Latent truth discovery，LTD）是指将来自不同来源的多个断言聚合起来，以估计关于实体的断言的可信度的问题。在缺乏基础事实的情况下，这个问题是非常具有挑战性的，当一些来源提供相互矛盾的主张，而另一些来源根本没有主张时。在这项工作中，我们提供了一个无监督的随机推理过程上的模型，结合限制玻尔兹曼机与前馈神经网络，以准确地推断来源的可靠性，以及对实体的陈述的可验证性。与先前的工作相比，我们的方法突出了（1）通过允许并入关于源和声明的任意特征，（2）通过从每个源的可靠性向可靠性函数进行概括，并且因此（3）即使对于没有提供或很少提供声明的源，也能够估计源可靠性，（4）通过建立在高效和可扩展的随机推理算法上，和（5）通过以相当大的幅度超过最新技术水平。
2018-07-27 cs.AI cs.LG stat.ML
Training and Classification using a Restricted Boltzmann Machine on the D-Wave 2000Q
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
受限玻尔兹曼机（RBM）是一种基于能量的无向图模型。它通常用于无监督和有监督的机器学习。通常，RBM使用对比发散（CD）进行训练。然而，使用CD的训练是缓慢的，并且不能估计对数似然代价函数的精确梯度。在这项工作中，使用量子退火器（D-Wave 2000 Q）计算了RBM梯度学习的模型期望值，这比CD中使用的马尔可夫链蒙特卡罗（MCMC）快得多。训练和分类结果与CD进行了比较。分类精度的结果表明，这两种方法的性能相似。图像重建以及对数似然计算被用来比较量子和经典算法的RBM训练的性能。结果表明，从量子退火机获得的样本可以用来训练一个RBM上的64位“酒吧和条纹”的数据集与分类性能类似的RBM训练CD。虽然基于CD的训练显示出改进的学习性能，但使用量子退火器的训练消除了CD的计算昂贵的MCMC步骤。
2020-05-07 cs.LG stat.ML
CPDA: Class-Conditional Path Distribution Alignment for Unsupervised Time-Series Domain Adaptation
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
该研究提出CPDA框架，通过对齐类条件潜在路径分布而非全局特征边际分布，在13个时间序列DA基准上验证其优于30种基线方法，实现无监督时间序列领域自适应的性能提升。
2026-08-11 cs.LG stat.ML
'Place-cell' emergence and learning of invariant data with restricted Boltzmann machines: breaking and dynamical restoration of continuous symmetries in the weight space
LPENS（巴黎高等师范学院物理实验室）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research（PSL研究大学）；Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
数据或感官刺激的分布往往具有潜在的不变性。无监督学习方法如何以及在多大程度上捕获这些对称性是机器学习和计算神经科学中的一个相关问题。我们在这里研究，通过结合数值和分析工具，学习动力学的限制玻尔兹曼机（RBM），神经网络范式的表示学习。由于学习从网络权重的随机配置进行，我们显示了存在的，并描述了一个隐变量的破坏现象，其中的潜变量获得的感受野集中在有限的部分不变流形支持的数据。通过在不变流形上扩散感受野，在大量的学习时间内恢复对称性;因此，RBM有效地跨越了网络权重空间中的连续吸引子。只有当可用于训练的数据量超过某个临界值时，才会发生这种破环现象，这取决于网络的大小和数据中由破环引起的相关性的强度;低于这个“延迟学习”阈值，网络权重本质上是噪声的，并且过拟合数据。
2019-12-30 cond-mat.dis-nn cs.LG
Anatomy-Aware Unsupervised Detection and Localization of Retinal Abnormalities in Optical Coherence Tomography
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出一种无监督方法，通过学习健康视网膜的分布来检测和定位OCT图像中的异常，提高了临床应用中的标注效率，并在多个数据集上展示了优越的泛化能力。
2026-04-24 cs.CV cs.LG
A phase transition in sampling from Restricted Boltzmann Machines
School of Statistics, University of Minnesota（明尼苏达大学统计学院）；Department of Mathematics, Rutgers University（罗格斯大学数学系）
本文证明了一参数受限玻尔兹曼机Gibbs采样器混合时间的相变现象，通过将其与动力系统联系并开发新的等周不等式，发现混合时间随参数取值相对临界值$c_\star\approx-5.87$的不同呈对数、多项式或指数变化。
2024-10-10 cond-mat.stat-mech cs.LG math-ph
A Comparison of Supervised and Unsupervised Deep Learning Methods for Anomaly Detection in Images
CentraleSupélec（巴黎中央理工-高等电力学院）
图像中的异常检测对于所有行业的许多应用都起着重要作用，例如医疗保健中的疾病诊断或制造业中的质量保证。当在单调重复的时间段上延长时，对图像的手动检查是非常耗时的，并且可能导致异常被忽略。人工神经网络已经证明自己在简单重复的任务上非常成功，在某些情况下甚至优于人类。因此，在本文中，我们研究了不同的深度学习方法，包括监督和无监督学习，用于应用于质量保证用例的异常检测。我们利用MVTec异常数据集，并开发了三种不同的模型，一个CNN的监督异常检测，KD-CAE的自动编码器异常检测，NI-CAE的噪声引起的异常检测和DCGAN生成重建图像。通过实验，我们发现KD-CAE在异常数据集上的表现优于CNN和NI-CAE，其中NI-CAE在晶体管数据集上的表现最好。我们还实现了一个DCGAN来创建新的训练数据，但由于计算限制和缺乏对Ano GAN机制的外推，我们将自己限制为仅生成基于GAN的图像。我们的结论是，无监督方法对于图像中的异常检测更强大，特别是在只有少量异常数据可用或数据未标记的环境中。
2021-07-20 cs.CV cs.LG eess.IV
Emergence of Nonequilibrium Latent Cycles in Unsupervised Generative Modeling
Department of Physics；Astronomy, University of Padova, Via Marzolo 8, I-35131 Padova, Italy；LPTMS, CNRS, Universit\'e Paris-Saclay, 91405, Orsay, France
本文研究非平衡动力学在无监督学习中的作用，通过诱导隐状态循环提升生成性能，提出一种基于马尔可夫链的模型，打破正反向条件转移的平衡，依赖显式依赖马尔可夫链最后两步的对数似然梯度。
2026-07-07 cond-mat.stat-mech cs.LG
Barriers and Dynamical Paths in Alternating Gibbs Sampling of Restricted Boltzmann Machines
Laboratory of Physics of the \'Ecole Normale Sup\'erieure, CNRS UMR 8023 \& PSL Research, Sorbonne Universit\'e, 24 rue Lhomond, 75005 Paris, France
受限玻尔兹曼机（RBM）是一种双层神经网络，用于从数据中无监督地学习模型分布。RBM的二分体系结构自然定义了一个优雅的采样过程，称为交替吉布斯采样（AGS），其中潜变量层的配置被采样为数据变量层的条件，反之亦然。我们在这里研究的性能AGS几个分析听话的模型借用统计力学。我们表明，标准的AGS是不是更有效的比经典的大都会黑斯廷斯（MH）采样的有效能源景观上定义的数据层。然而，RBM可以识别训练数据在其潜在空间中的有意义的表示。此外，使用这些表示，并结合吉布斯采样与MH算法在潜在的空间可以提高RBM的采样性能时，隐藏单元编码弱相关的数据特征。我们在三个数据集上说明了我们的发现：在机器学习中众所周知的Bars and Stripes和MNIST，以及在理论生物学中引入的所谓的Lattice Proteins，用于研究蛋白质中的序列到结构映射。
2021-10-21 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Training Restricted Boltzmann Machines via the Thouless-Anderson-Palmer Free Energy
Laboratoire de Physique Statistique（统计物理实验室）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；International Centre for Fundamental Physics and its interfaces at Ecole normale supérieure（巴黎高等师范学院基础物理及其交叉学科国际中心）；Sorbonne Universités（索邦大学联盟）；UPMC Univ Paris 06（巴黎第六大学（皮埃尔和玛丽·居里大学））
受限玻尔兹曼机是一种无向神经网络，在许多应用中已经被证明是有效的，包括作为训练深度多层神经网络的初始化。他们成功的主要原因之一是存在有效和实用的随机算法，如对比发散，用于无监督训练。我们提出了一种替代的确定性迭代过程的基础上改进的平均场方法，从统计物理称为Thouless-Anderson-Palmer方法。我们证明，我们的算法提供的性能等于，有时优于，持久的对比发散，同时也提供了一个清晰，易于评估的目标函数。我们相信，这种策略可以很容易地推广到其他模型以及更准确的高阶近似，为系统地改进训练具有隐藏单元的玻尔兹曼机铺平了道路。
2015-06-15 cond-mat.dis-nn cs.LG cs.NE
An Adaptive Learning Method of Restricted Boltzmann Machine by Neuron Generation and Annihilation Algorithm
Hiroshima City University（广岛市立大学）；Prefectural University of Hiroshima（广岛县立大学）
限制玻尔兹曼机（RBM）是一种基于生成式随机能量的人工神经网络模型，用于无监督学习。最近，RBM被认为是深度学习的一种预训练方法。除了可见和隐藏的神经元之外，RBM的结构还具有许多参数，例如神经元之间的权重和它们的系数。因此，我们在确定分析大数据的最佳网络结构时可能会遇到一些困难。为了避免这个问题，我们在学习过程中研究了参数的方差，以找到一个最佳的结构。因此，在RBM模型中，需要对引起能量函数波动的参数方差进行检验。在本文中，我们提出了RBM的自适应学习方法，可以发现一个最佳数量的隐藏的神经元，根据训练情况，通过应用神经元生成和湮灭算法。在该方法中，如果能量函数仍不收敛，且参数方差较大，则生成新的隐层神经元。此外，如果神经元不影响学习情况，则失活的隐藏神经元将被湮灭。本文讨论了一些基准数据集的实验结果。
2018-07-11 cs.CV cs.LG cs.NE
Deep residential representations: Using unsupervised learning to unlock elevation data for geo-demographic prediction
University of Southampton（南安普顿大学）；The University of Western Ontario（西安大略大学）
LiDAR（Light Detection And Ranging或Laser Imaging，Detection，And Ranging的缩写）技术可用于提供详细的城市和乡村景观三维高程图。迄今为止，机载LiDAR成像主要局限于环境和考古领域。然而，这些数据的地理粒度和开源性质也适用于一系列社会，组织和商业应用程序，其中使用地理人口类型的数据。可以说，处理这种多维数据所涉及的复杂性迄今为止限制了其更广泛的采用。在本文中，我们提出了一系列方便的任务无关的瓦片高程嵌入来解决这一挑战，使用无监督深度学习的最新进展。我们通过预测大伦敦地区小地区的七个英语剥夺指数（2019年）来测试我们嵌入的潜力。这些指数涵盖了一系列社会经济成果，并作为嵌入可以应用的各种下游任务的代理。我们不仅考虑这些数据本身的适用性，而且还考虑将其作为辅助数据源与人口统计特征相结合，从而为嵌入提供一个现实的用例。在测试了各种模型/嵌入配置后，我们发现，与单独使用标准人口统计特征相比，我们性能最好的嵌入导致均方根误差（RMSE）提高了21%。我们还演示了我们的嵌入管道如何使用深度学习结合K均值聚类来产生连贯的瓦片段，从而可以解释潜在的嵌入特征。
2022-08-01 cs.CV cs.LG
Learning with Restricted Boltzmann Machines: Asymptotics of AMP and GD in High Dimensions
Statistical Physics of Computation Laboratory (SPOC), EPFL, Switzerland（计算统计物理实验室（SPOC），瑞士联邦理工学院）；Information, Learning, and Physics Laboratory (IDEPHICS), EPFL, Switzerland（信息、学习与物理实验室（IDEPHICS），瑞士联邦理工学院）
本文在高维输入、恒定隐藏单元的极限下，将RBM训练目标转化为带不可分正则化的多指标模型，利用AMP及动力学平均场理论分析其训练动力学，证明RBM在尖峰协方差模型中可达最优计算弱恢复阈值。
2025-05-23 cond-mat.dis-nn cs.LG stat.ML
Learning Compositional Representations of Interacting Systems with Restricted Boltzmann Machines: Comparative Study of Lattice Proteins
Laboratory of Physics of the Ecole Normale Supérieure, CNRS & PSL Research（巴黎高等师范学院物理实验室、法国国家科学研究中心及巴黎文理研究大学）
受限玻尔兹曼机（RBM）是一种无监督的机器学习二分图模型，它联合学习数据的概率分布并提取其相关统计特征。因此，RBM最近被提出用于表征蛋白质序列中氨基酸之间的协同进化模式和用于设计新的序列。在这里，我们研究了RBM学习的特征的性质如何随着其定义参数而变化，例如表示的维度（隐藏层的大小）和特征的稀疏性。我们表明，这些参数的足够的值，RBM操作在一个所谓的组成阶段，其中可见的配置采样从RBM通过重组这些功能。然后，我们将RBM的性能与其他标准的表示学习算法进行比较，包括主成分分析或独立成分分析、自动编码器（AE）、变分自动编码器（VAE）及其稀疏变体。我们表明，RBM，由于数据配置和表示之间的随机映射，更好地捕捉系统中的底层相互作用，并显着更强大的样本量比确定性的方法，如PCA或ICA。此外，这种随机映射不是像VAE那样预先规定的，而是从数据中学习的，这使得RBM即使在浅架构下也能表现出良好的性能。所有数值结果都在合成的晶格蛋白质数据上进行了说明，这些数据与真实的蛋白质序列具有相似的统计特征，并且已知地面真实相互作用。
2019-02-18 cs.LG physics.data-an q-bio.BM
Training products of expert capsules with mixing by dynamic routing
针对专家胶囊产品的动态路由问题，提出了一种无监督学习算法。类似于受限玻尔兹曼机中的二值神经元，被挤压的胶囊放电的幅度取0和1之间的值，代表胶囊打开的概率。这种类比激发了胶囊网络能量函数的设计。为了在隐藏层节点不连接的情况下具有有效的采样过程，使能量函数在胶囊发射的概率的意义上与动态路由一致，并且利用胶囊之间的动态路由过程来计算胶囊网络上的推断。为了优化可见层胶囊的对数似然，根据该能量函数找到梯度。所开发的无监督学习算法用于在标准视觉数据集上训练胶囊网络，并且能够从其学习的分布中生成逼真的图像。
2019-07-26 cs.LG cs.NE stat.ML
Thermodynamics of Restricted Boltzmann Machines and related learning dynamics
我们研究了受限玻尔兹曼机（RBM）的热力学性质，RBM是一种用于无监督学习的简单的基于能量的生成模型。假设该模型的信息量主要由其权矩阵$W$的谱特性来反映，我们试图通过对RBM的适当统计系综进行平均来进行实际分析。首先，推导出相图。在其他方面类似于具有铁磁耦合的Sherrington-Kirkpatrick（SK）模型，RBM的相图呈现铁磁相，其可以是或可以不是成分类型，这取决于$W$的奇异向量的分量的分布的峰度。随后，在热力学极限下研究了RBM的学习动力学。一个“典型的”学习轨迹示出解决一个有效的动力学方程，基于上述合奏平均和明确涉及从热力学分析获得的序参量。特别是，这让我们展示了如何演变的主导奇异值的$W$，从而不稳定的模式，是由输入数据驱动的。在训练开始时，发现RBM在线性区域中操作，不稳定模式反映了数据的主导协方差模式。相反，在非线性状态下，所选择的模式相互作用，并最终将序参量与根据数据估计的经验对应物相匹配。最后，我们说明了我们的考虑，通过人工和真实的数据进行实验，特别是如何RBM在铁磁组成相。
2018-08-17 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Encoding of musical structures in hidden units of restricted Boltzmann machines
本研究利用受限玻尔兹曼机探索机器学习模型创作音乐的能力及其内部表示机制，揭示了生成模型在音乐创作中的可解释性挑战。
2026-08-18 cs.LG cs.SD eess.AS
Insightful analysis of historical sources at scales beyond human capabilities using unsupervised Machine Learning and XAI
Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Max Planck Institute for the History of Science（马克斯·普朗克科学史研究所）；Freie Universität Berlin（柏林自由大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Tel Aviv University（特拉维夫大学）
本研究针对海量历史资料难以被人工全面分析的问题，采用机器学习技术对含359本、约76000页的《Sacrobosco Collection》天文教科书文集开展分析，以揭示近代早期欧洲数学天文学知识的时空演化特征。
2023-10-13 cs.AI cs.CY cs.DL
Visual Machine Learning: Insight through Eigenvectors, Chladni patterns and community detection in 2D particulate structures
School of Minerals, Metallurgical and Materials Engineering, Indian Institute of Technology（印度理工学院布巴内斯瓦尔分校矿物、冶金与材料工程学院）；Virtual and Augmented Reality Centre of Excellence, Indian Institute of Technology（印度理工学院布巴内斯瓦尔分校虚拟与增强虚拟现实卓越中心）；NetTantra Technologies (India) Pvt. Ltd.（NetTantra技术（印度）私人有限公司）；Washington University in Saint Louis（圣路易斯华盛顿大学）；St. Louis University（圣路易斯大学）
机器学习（ML）正在迅速成为一种强大的工具，在极其广泛的学科和商业活动中具有多种应用。通常，ML被用作一个黑盒子，几乎没有提供其输出的启发性合理化。在目前的工作中，我们的目标是更好地理解无监督ML背后的一般直觉，重点是物理系统。在这里作为测试案例研究的系统包括六个不同的2维（2-D）不同复杂性的颗粒系统。值得注意的是，这项研究的结果对于任何无监督的ML问题都是通用的，并且不仅限于材料系统。三个基本的无监督ML技术采用的邻接（连通性）矩阵的六个研究系统：（i）使用主特征值和特征向量的邻接矩阵，（ii）谱分解，和（iii）基于波茨模型的社区发现技术，其中模块化函数被最大化。我们证明，在解决一个完全经典的问题，ML技术产生的功能，是明显连接到量子力学的解决方案。剖析这些特征有助于我们通过ML技术的万花筒来理解经典非线性世界和量子力学线性世界之间的深刻联系，这可能在物理科学和ML领域产生深远的影响。
2020-01-02 cond-mat.soft cs.LG stat.ML
