A Provable Splitting Approach for Symmetric Nonnegative Matrix Factorization
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);University of Denver(丹佛大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);Clemson University(克莱姆森大学)
对称非负矩阵分解(NMF)是一般NMF的一个特殊而重要的类别,在数据分析中有着广泛的应用,如各种聚类任务。不幸的是,设计快速算法的对称NMF是不容易的,因为后者承认分裂属性,允许国家的最先进的交替型算法。为了克服这个问题,我们首先分裂的决策变量和对称NMF变换为惩罚非对称的,为设计高效的交替型算法铺平了道路。然后,我们表明,求解惩罚的非对称重新表述会返回原始对称NMF的解。此外,我们设计了一个家庭的交替型算法,并表明他们都承认强收敛保证:所产生的迭代序列是收敛的,并至少次线性收敛到原来的对称NMF的临界点。最后,我们在合成数据和真实图像聚类上进行了实验,以支持我们的理论结果并证明交替型算法的性能。
2023-01-25 cs.LG math.OC
Text Mining using Nonnegative Matrix Factorization and Latent Semantic Analysis
Shahid Bahonar University of Kerman(沙希德巴霍纳尔克尔曼大学)
文本聚类可以说是现代数据采掘中最重要的课题之一。然而,文本数据需要标记化,这通常会产生非常大且高度稀疏的术语-文档矩阵,这通常难以使用传统的机器学习算法进行处理。潜在语义分析等方法有助于缓解这个问题,但在实践中并不完全稳定。因此,我们提出了一种新的基于非负矩阵分解的特征聚集方法,该方法将术语分组,然后将每组的术语向量聚集成一个新的特征向量。这些特征向量一起创建了一个更适合聚类的新特征空间。此外,我们提出了一个新的确定性初始化球形K均值,这证明是非常有用的这种特定类型的数据。为了评估所提出的方法,我们将其与该领域的一些最新研究以及一些最实用的方法进行比较。在我们的实验中,我们得出结论,该方法要么显着提高聚类性能,或保持其他方法的性能,同时提高结果的稳定性。
2020-02-24 cs.LG stat.ML
Maximum-distance nonnegative matrix factorization for unmixing highly mixed grain-size distribution data
Hangzhou Dianzi University(杭州电子科技大学);Utrecht University(乌得勒支大学);University of Southampton(南安普顿大学)
本文针对高度混合粒度分布数据的解混问题,提出了 AnalySize 的推广方法——最大距离非负矩阵分解,通过最大化端元间距离结合分层交替最小二乘算法,实现了对高度混合数据的有效分解。
2026-10-20 cs.LG
Dropping Symmetry for Fast Symmetric Nonnegative Matrix Factorization
Johns Hopkins University(约翰斯·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学);Colorado School of Mines(科罗拉多矿业学院)
对称非负矩阵分解(NMF),一般NMF的一个特殊的,但重要的类,被证明是有用的数据分析,特别是对各种聚类任务。不幸的是,设计对称NMF的快速算法并不像非对称NMF那样容易,后者承认分裂属性,允许有效的交替型算法。为了克服这个问题,我们将对称NMF转化为非对称NMF,然后借鉴非对称NMF算法的思想,设计求解对称NMF的快速算法。我们严格建立解决非对称重构返回对称NMF的解决方案,然后应用快速交替为基础的算法相应的重构问题。此外,我们表明这些快速算法承认强收敛保证的意义上,所产生的序列是收敛的至少在一个次线性率,它全局收敛到一个临界点的对称NMF。我们在合成数据和图像聚类上进行实验来支持我们的结果。
2018-11-14 cs.LG stat.ML
Fast Convolutive Nonnegative Matrix Factorization Through Coordinate and Block Coordinate Updates
Stanford University(斯坦福大学)
识别高维时间序列数据中的重复模式是许多科学领域中的重要问题。一个流行的模型来实现这一点是卷积非负矩阵分解(CNMF),它扩展了经典的非负矩阵分解(NMF)从长时间序列中提取短暂的时间模体。以前的工作通常通过乘法参数更新来拟合这个模型-这种方法被广泛认为是NMF的次优方法,特别是在大规模数据应用中。在这里,我们描述了如何扩展两个流行的和计算可扩展的NMF算法-层次交替最小二乘法(HALS)和交替非负最小二乘法(ANLS)-为CNMF模型。这两种方法都证明了在大规模合成和真实世界数据上的乘法更新的性能优势。
2019-06-29 cs.LG stat.ML
Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization
在本文中,我们介绍了一个概率模型学习非负矩阵分解(NMF),通常用于预测缺失值和发现隐藏模式的数据,其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负约束通过选择在非负子空间上具有支持度的先验来处理。贝叶斯推理过程的基础上吉布斯抽样。我们在几个真实世界的数据集上评估了该模型,包括具有不同大小和维度的MovieLens 100K和MovieLens 1M,并表明与现有的贝叶斯NMF方法相比,所提出的贝叶斯NMF GRRN模型可以实现更好的预测并避免过拟合。
2022-06-20 cs.IT cs.LG math.IT
A Neural Network for Determination of Latent Dimensionality in Nonnegative Matrix Factorization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
非负矩阵分解(Non-negative Matrix Factorization,NMF)是一种有效的无监督学习方法,可用于发现复杂和噪声数据中隐藏的特征,在数据采掘、文本识别、降维、人脸识别、异常检测、盲声源分离等领域有着广泛的应用。NMF的一个重要输入是数据的潜在维度,也就是说,在探索的数据集中存在的隐藏特征的数量K。不幸的是,这个数量很少先验地知道。我们利用监督机器学习方法结合最近的模型确定方法,称为NMFk,自动确定隐藏特征的数量。NMFk对通过自举初始数据集获得的矩阵集合执行一组NMF模拟,并确定哪个K产生稳定的潜在特征组,这些特征组可以很好地重建初始数据集。然后,我们训练一个多层感知器(MLP)分类器网络,以确定正确的潜在特征的数量,利用NMF解决方案的统计和特征,从NMFk获得。为了训练MLP分类器,用NMFk对具有预定潜在特征的58,660个矩阵的训练集进行因子分解。MLP分类器结合NMFk在应用于保持的测试集时保持大于95%的成功率。此外,当应用于两个著名的基准数据集,游泳者和麻省理工学院的脸数据,NMFk/MLP正确地恢复了隐藏功能的既定数量。最后,我们比较了我们的方法的准确性ARD,AIC和基于稳定性的方法。
2020-06-22 cs.LG stat.ML
Wasserstein Nonnegative Tensor Factorization with Manifold Regularization
Northwestern Polytechnical University(西北工业大学)
针对非负张量分解忽略特征边信息的问题,提出Wasserstein流形非负张量分解(WMNTF),通过最小化Wasserstein距离并引入图正则化项,有效利用特征相关性和样本流形信息,实验证明其优于现有NMF和NTF方法。
2024-01-03 cs.LG
Persistent Nonnegative Matrix Factorization via Multi-Scale Graph Regularization
School of Mathematics and Statistics, Xi’an Jiaotong University(数学与统计学学院,西安交通大学)
本文提出持久非负矩阵分解方法,通过多尺度图正则化生成多尺度低秩嵌入,解决传统NMF单尺度问题,提升数据表示的解释性与鲁棒性。
2026-02-26 cs.LG
Model Selection for Nonnegative Matrix Factorization by Support Union Recovery
Department of Electrical and Computer Engineering(电子工程系)
本文提出了一种通过计算经验二阶矩并恢复与经验二阶矩相关的矩阵中非零行的索引集来自动选择非负矩阵分解的潜在维度的算法,该算法在理论上有保证地检测出真实的潜在维度。
2018-10-23 cs.LG cs.NA math.NA
Adversarially-Trained Nonnegative Matrix Factorization
National University of Singapore(新加坡国立大学);IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT实验室、法国国家科学研究中心)
我们考虑一个adversarially-trained版本的非负矩阵分解,一个流行的潜在降维技术。在我们的公式中,攻击者将任意有界范数矩阵添加到给定的数据矩阵。我们设计了受对抗训练启发的高效算法,以优化具有增强泛化能力的字典和系数矩阵。在合成数据集和基准数据集上进行的广泛模拟表明,与最先进的竞争对手(包括对抗性非负矩阵分解的其他变体)相比,我们提出的方法在矩阵完成任务上具有卓越的预测性能。
2021-06-22 cs.LG eess.SP
A Dynamic Linear Bias Incorporation Scheme for Nonnegative Latent Factor Analysis
School of Computer Science and Technology, Dongguan University of Technology(东莞理工学院计算机科学与技术学院)
本文针对非负潜在因子分析中静态线性偏置融合方案可扩展性受限的问题,提出动态线性偏置融合方案,通过二值权重矩阵动态切换偏置状态,在三个真实 HDI 数据集上取得了更高的表示精度和竞争性的计算效率。
2023-09-19 cs.AI cs.LG
A Constraints Fusion-induced Symmetric Nonnegative Matrix Factorization Approach for Community Detection
College of Computer Science and Technology, Chongqing University of Posts and Telecommunications(重庆邮电大学计算机科学与技术学院);Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院);College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
社区是无向社会网络的一个重要特征,社区发现是网络表示学习中的一个重要而棘手的问题。对称非负矩阵分解(SNMF)模型由于其良好的可解释性和可扩展性,经常被用来解决这个问题。然而,它采用单一的潜在因子矩阵来表示一个无向网络,以精确地表示其对称性,这导致了表示学习能力的损失,由于潜在空间减少。基于这一发现,本文提出了一种新的约束融合诱导的对称非负矩阵分解(CFS)模型,该模型采用三个方面的思想:a)用多个潜在因子矩阵表示目标无向网络,从而保持其表示学习能力; b)将保持所学习的对邻接矩阵的低秩近似的对称性的保序正则化器构造到所述损失函数中,从而使得所得到的检测器清楚地知道目标网络的对称性;以及c)引入保持网络的固有几何的局部不变性的图正则化器,从而使得所实现的检测器清楚地知道目标网络内的社区结构。对工业应用中的8个真实社交网络的广泛实证研究表明,所提出的CFS模型在实现高准确度社区发现结果方面明显优于最先进的模型。
2023-02-23 cs.LG cs.SI
Fast Parallel Randomized Algorithm for Nonnegative Matrix Factorization with KL Divergence for Large Sparse Datasets
本文提出一种快速并行随机坐标下降算法,用于大规模稀疏数据集的非负矩阵分解与KL散度优化,实现更高效的稀疏建模与表示。
2016-04-14 cs.LG cs.NA math.NA
Algorithms, Initializations, and Convergence for the Nonnegative Matrix Factorization
College of Charleston(查尔斯顿学院);North Carolina State University(北卡罗来纳州立大学);SAS Institute, Inc.(SAS研究所)
本文研究了非负矩阵分解算法的初始化对收敛速度和精度的影响,提出两种新的交替最小二乘算法,并讨论了收敛准则的选择问题。
2014-07-28 cs.LG cs.NA math.NA
Learning manifold to regularize nonnegative matrix factorization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
在这一章中,我们讨论了学习最优流形表示来正则化非负矩阵分解(NMF)的数据表示问题。NMF是一种将非负数据矩阵表示为两个低秩非负矩阵的乘积的方法,由于其能够探索数据的潜在部分结构,因此已成为数据表示的一种流行方法。近年来的研究表明,许多数据分布具有流形结构,在数据表示时应尊重流形结构。最近,流形正则化NMF使用最近邻图来调节因子分解参数矩阵的学习,并显示出其优于传统NMF方法的数据表示问题。然而,由于图的模型选择、噪声特征以及数据的非线性分布,如何构造一个最优的图来表示流形仍然是一个难题。在这一章中,我们介绍了三种有效的方法来解决流形正则化NMF的图构造问题。提出了多重图学习方法来解决图模型选择问题,提出了基于特征选择的自适应图学习方法来解决从噪声特征中构造图的问题,提出了基于多核学习的图构造方法来解决从非线性分布数据中构造图的问题.
2014-10-03 cs.LG
Monotonous (Semi-)Nonnegative Matrix Factorization
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Santa Fe Research(圣达菲研究公司)
非负矩阵分解(NMF)将非负矩阵分解为两个非负矩阵的乘积,即信号矩阵和混合矩阵。NMF的规模和排序的模糊性。通常,源信号本质上可以是单调的。例如,在声源分离问题中,源信号可以单调递增或递减,而混合矩阵可以具有非负项。NMF方法可能对这种情况无效,因为它遭受排序模糊性。本文提出了一种方法,将单调性的概念NMF,标记为单调NMF。提出了一种基于交替最小二乘的从数据矩阵中恢复单调信号的算法。进一步放宽了混合矩阵的假设,将单调NMF推广到实数数据矩阵。使用合成噪声数据的方法进行说明。通过单调NMF得到的结果与文献中的标准NMF算法进行了比较,结果表明,当潜在的源信号是单调的时,与标准NMF算法相比,单调NMF估计源信号。
2015-05-01 cs.LG stat.ML
Nonnegative matrix factorizations and related compositional models: Equivalence, identifiability, and an application on the grain-size analysis of sediments
Hangzhou Dianzi University, China(杭州电子科技大学);Utrecht University, the Netherlands and University of Southampton, UK(乌得勒支大学和南安普顿大学)
本文综述了非负矩阵分解、偏最小二乘分析等五个模型,聚焦于其可识别性问题,并证明了这些模型解的唯一性与NMF的解唯一性相关。
2026-09-16 cs.LG math.OC math.ST
Graph-based Neural Acceleration for Nonnegative Matrix Factorization
Uppsala University(乌普萨拉大学);Research Institutes of Sweden (RISE)(瑞典研究机构(RISE))
我们描述了一种用于非负矩阵分解的基于图的神经加速技术,该技术建立在矩阵和二部图之间的联系之上,该联系在某些领域是众所周知的,例如,稀疏线性代数,但尚未被利用来设计用于矩阵计算的图神经网络。我们首先考虑低秩因子分解更广泛,并提出了一个适合于图神经网络的问题的图形表示。然后,我们专注于非负矩阵分解的任务,并提出了一个图神经网络,交错的二分自注意层与更新的基础上交替方向的方法乘子。我们对合成数据集和两个真实世界数据集的经验评估表明,即使我们只在较小的合成实例上以无监督的方式进行训练,我们也获得了显著的加速。
2022-02-01 cs.LG cs.NA math.NA
Neural Nonnegative Matrix Factorization for Hierarchical Multilayer Topic Modeling
本文提出了一种基于非负矩阵分解的新方法--神经NMF,用于检测数据中潜在的层次结构。具有层次结构的数据集出现在诸如文档分类、图像处理和生物信息学的各种领域中。神经NMF递归地在层中应用NMF,以发现包含较低级别特征的总体主题。我们推导出一个反向传播优化方案,使我们能够框架分层NMF作为一个神经网络。我们在一个合成的分层数据集、20个新闻组数据集和MyLymeData症状数据集上测试了神经NMF。数值结果表明,神经NMF优于其他层次NMF方法对这些数据集,并提供更好的学习层次结构和主题的可解释性。
2023-02-28 cs.LG stat.ML
Nonnegative Restricted Boltzmann Machines for Parts-based Representations Discovery and Predictive Model Stabilization
Center for Pattern Recognition and Data Analytics, Deakin University(迪肯大学模式识别与数据分析中心)
任何机器学习系统的成功关键取决于数据的有效表示。在许多情况下,需要一个表示方案来揭示数据的基于部件的、可加性的本质。在当前的表示学习方案中,限制玻尔兹曼机(RBM)已被证明在无监督环境中非常有效。然而,当涉及到基于部件的发现时,RBM通常不会产生令人满意的结果。我们通过在模型权重中引入非负性来增强RBM的这种能力,从而产生一种称为非负限制玻尔兹曼机(NRBM)的变体。NRBM不仅可以将数据可控地分解为可解释的部分,而且还提供了一种估计数据内在非线性维数的方法,并有助于稳定线性预测模型。我们证明了我们的模型的应用程序,如手写数字识别,人脸识别,文件分类和病人再入院预后的能力。图像的分解质量与非负矩阵分解(NMF)产生的质量相当或更好,并且从文本中发现的主题特征可以以与潜在狄利克雷分配(LDA)类似的方式定性解释。特征选择在医学数据上的稳定性性能优于RBM,与NMF相当。当用于分类时,学习的特征比NMF和LDA发现的特征更具鉴别力,并且与RBM发现的特征具有可比性。
2017-08-18 cs.LG
Hybrid Clustering based on Content and Connection Structure using Joint Nonnegative Matrix Factorization
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究所)
提出了一种基于约束低秩近似的混合方法,用于同时包含文本内容和连接结构的数据集上的潜在信息发现。新方法联合优化了文本聚类的非负矩阵分解(NMF)目标函数和图聚类的对称NMF(SymNMF)目标函数。我们提出了一个有效的算法的联合NMF目标函数,基于块坐标下降(BCD)框架。所提出的混合方法通过使用SymNMF发现的潜在连接来发现内容关联。当使用超图公式或内容与超图边缘相关联时,该方法也可以应用于问题的自然转换。实验结果表明,通过同时利用内容和连接结构,我们的混合方法产生更高质量的聚类结果相比,其他NMF聚类方法,单独使用内容(标准NMF)或连接结构(SymNMF)。我们还提出了一些有趣的应用程序,以几种类型的现实世界的数据,如论文的引用建议。本文提出的混合方法也适用于一般的数据表示的特征空间向量和两两相似性,并可以扩展到多个特征空间或多个相似性措施的情况。
2017-03-28 cs.LG stat.ML
Joint Estimation of Common-Slope Decay Rates and Spatial Amplitudes Using Parameterized Nonnegative Matrix Factorization
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Aalto University(阿尔托大学)
本文提出基于IS-NMF的参数化方法,联合估计RIRs中的公共斜率衰减率和空间幅度,通过贡献加权SAGE加速优化,在合成和实测数据上验证了准确性与高效性。
2026-10-06 cs.LG eess.AS
Columnwise Element Selection for Computationally Efficient Nonnegative Coupled Matrix Tensor Factorization
Queensland University of Technology(昆士兰科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
耦合矩阵张量分解(CMTF)有助于集成和分析多个数据源,并有助于发现有意义的信息。非负CMTF(N-CMTF)已在许多应用中用于识别潜在模式、预测和推荐。然而,由于张量和矩阵数据之间的耦合增加的复杂性,现有的N-CMTF算法表现出较差的计算效率。本文提出了一种基于列元素选择的N-CMTF分解算法,避免了频繁的梯度更新。理论和实证分析表明,与现有的因子分解算法相比,本文提出的N-CMTF因子分解算法不仅精度更高,而且计算效率更高.
2020-03-07 cs.LG stat.ML
Online Nonnegative Matrix Factorization with Outliers
National University of Singapore(新加坡国立大学)
我们提出了一个统一的和系统的框架进行在线非负矩阵分解在离群值的存在。我们的框架特别适合大规模数据。我们提出了两个求解器的基础上投影梯度下降和交替方向的乘法器。利用拟鞅收敛定理证明了目标值序列几乎必然收敛。我们还证明了学习字典的序列几乎肯定收敛到期望损失函数的稳定点集。此外,我们扩展我们的基本问题制定不同的约束和正则化的各种设置。我们还根据每个设置调整求解器和分析。我们在合成和真实数据集上进行了大量的实验。这些实验证明了我们的算法的计算效率和有效性的任务,如(部分为基础的)基础学习,图像去噪,阴影去除和前景-背景分离。
2016-10-15 cs.IT cs.LG math.IT
Supervised Nonnegative Matrix Factorization to Predict ICU Mortality Risk
Feinberg School of Medicine Northwestern University Chicago, U.S;Weill Cornell Medicine Cornell University New York, U.S
ICU死亡风险预测是一项艰巨而重要的任务。一方面,由于收集的时间数据复杂,很难识别有效的特征并容易解释它们;另一方面,良好的预测可以帮助临床医生及时采取行动,以防止死亡。这些对应于可解释性和准确性问题。现有的方法大多缺乏可解释性,但最近子图增广非负矩阵分解(SANMF)被成功地应用于时间序列数据,提供了一条解释特征的途径。因此,我们采用这种方法作为分析患者数据的基础。原始SANMF方法的一个限制是由于其无监督性质而导致其预测能力差。为了解决这个问题,我们提出了一个监督SANMF算法,通过集成逻辑回归损失函数到NMF框架,并解决了它与交替优化过程。通过仿真数据验证了该方法的有效性,并将其应用于ICU死亡风险预测中,证明了其优于传统的监督NMF方法。
2018-10-09 cs.LG stat.ML
Orthogonal Nonnegative Matrix Factorization with the Kullback-Leibler divergence
LURMISTA/ISTA, University of Burundi(卢尔米斯塔/ISTA大学,布隆迪大学);University of Mons(蒙斯大学)
本文提出KL-ONMF算法,用KL散度替代Frobenius范数进行正交非负矩阵分解,以更好建模泊松分布数据,并在文档分类和高光谱图像解混中取得更优性能。
2024-10-12 cs.IR cs.LG eess.SP
Fast and Secure Distributed Nonnegative Matrix Factorization
Tencent(腾讯);WeBank(微众银行);University of Hong Kong(香港大学);Xiamen University(厦门大学);University of Ioannina(约阿尼纳大学)
非负矩阵分解(NMF)已成功地应用于多个数据采掘任务。近年来,由于NMF在大矩阵上的高成本,对NMF的加速越来越感兴趣。另一方面,NMF在联邦数据上的隐私问题值得关注,因为NMF通常应用于图像和文本分析中,这可能涉及跨若干方(例如,医院)。本文研究了分布式NMF的加速和安全问题。首先,我们提出了一个分布式的草图交替非负最小二乘(DSANLS)框架的NMF,它利用矩阵草图技术,以减少非负最小二乘法子问题的收敛保证的大小。对于第二个问题,我们表明,DSANLS修改可以适应的安全设置,但只有一个或有限的迭代。因此,我们提出了四个有效的分布式NMF方法在同步和异步设置的安全保证。我们在几个真实数据集上进行了广泛的实验,以显示我们提出的方法的优越性。我们的方法的实现可以在https://github.com/qianyuqiu79/DSANLS上获得。
2020-09-07 cs.CR cs.DC cs.LG
Separable Nonnegative Matrix Factorization Using Powered Ratio-of-Norms Regularization
University of Kentucky(肯塔基大学)
该研究提出基于幂次范数比正则化的SNMF模型,结合DCA与ADMM算法求解,在锚点识别和分类任务上性能优于或媲美现有方法,计算效率具竞争力。
2026-09-01 cs.LG cs.NA math.NA
Joint Majorization-Minimization for Nonnegative Matrix Factorization with the $β$-divergence
Aix Marseille Université(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Toulouse INP(图卢兹国立综合理工学院)
本文提出基于联合优化-最小化框架的NMF乘法更新算法,通过为两个因子联合构建辅助函数,在保持解质量的同时将CPU时间减少13%至78%。
2023-04-17 cs.LG stat.ML
Robustness of Minimum-Volume Nonnegative Matrix Factorization under an Expanded Sufficiently Scattered Condition
Department of Mathematics and Operational Research University of Mons(数学与运筹学系 马赛大学)
本文针对最小体积非负矩阵分解对噪声的鲁棒性这一长期开放问题,提出并证明了在扩展充分散射条件下,min-vol NMF能够在噪声存在时准确识别真实因子。
2025-11-06 cs.LG cs.NA eess.SP
A Second-Order Majorant Algorithm for Nonnegative Matrix Factorization
IMT Atlantique, UMR CNRS 6285 Lab-STICC(IMT Atlantique,CNRS 6285 Lab-STICC)
本文提出非负矩阵分解的二阶主导(SOM)框架及其快速变体mSOM,通过主导Hessian矩阵构造局部二次主导函数,实现线性收敛并全局收敛到稳定点,实验证明其性能优于现有算法。
2025-06-18 cs.LG math.OC
Fast and Effective Algorithms for Symmetric Nonnegative Matrix Factorization
对称非负矩阵分解(SNMF)模型作为许多标准聚类算法(包括流行的谱聚类方法)的简单重构而自然出现。最近的工作表明,SNMF的一个基本实例提供了优越的聚类质量相比,许多经典的聚类算法在各种合成和真实世界的数据集。在这项工作中,我们提出了新的重新制定的这种情况下的SNMF变量分裂的概念的基础上,并产生两个快速有效的算法,其优化使用i)可证明收敛的加速邻近梯度(APG)的过程和ii)的启发式版本的交替方向乘法(ADMM)框架。我们的两个算法之间的计算速度和数学收敛保证提出了一个有趣的权衡:虽然前者的方法是可证明收敛的,它是相当慢,比后者的方法,我们也提供了显着的,但不太严格的数学证明其收敛性。通过大量的实验,我们不仅表明,这些方法的功效是等于最先进的SNMF算法的状态,而且,后者的算法是非常快的一个到两个数量级的总计算时间比最先进的方法,甚至优于谱聚类在大数据集的计算时间。
2016-09-17 cs.CV cs.LG stat.ML
Bayesian Mean-parameterized Nonnegative Binary Matrix Factorization
Criteo AI Lab(Criteo人工智能实验室);IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
二进制数据矩阵可以表示许多类型的数据,例如社交网络、投票或基因表达。在某些情况下,二进制矩阵的分析可以用非负矩阵分解(NMF)来处理,其中观察到的数据矩阵近似为两个较小的非负矩阵的乘积。在这种情况下,概率NMF假设数据通常是伯努利分布的生成模型。通常,链接函数用于将因子分解映射到$[0,1]$范围,以确保有效的伯努利均值参数。然而,链接函数有潜在的缺点,导致不可解释的模型。相反,均值参数化NMF克服了这个问题。提出了贝叶斯均值参数化非负二元矩阵分解模型(NBMF)的统一框架。我们分析了三种模型,对应于三种可能的约束,尊重的平均参数化,而不需要链接功能。在此基础上,我们提出了一种新的折叠Gibbs采样器和一种折叠变分算法来推断因子的后验分布。接下来,我们将所提出的模型扩展到非参数设置,其中所使用的潜在维度的数量由观察到的数据自动驱动。我们分析了我们的NBMF方法在多个数据集上的性能,用于不同的任务,如字典学习和缺失数据的预测。实验表明,我们的方法提供了类似或优于现有技术的结果,同时自动检测相关组件的数量。
2020-06-20 cs.LG stat.ML
An Unconstrained Symmetric Nonnegative Latent Factor Analysis for Large-scale Undirected Weighted Networks
Dongguan University of Technology(东莞理工学院)
大规模无向加权网络通常出现在大数据相关的研究领域。它可以自然地量化为用于实现大数据分析任务的对称高维不完全(SHDI)矩阵。对称非负潜在因子分析(SNL)模型能够有效地从SHDI矩阵中提取潜在因子(LF)。然而,它依赖于一个约束组合的训练计划,这使得它缺乏灵活性。为了解决这个问题,本文提出了一个无约束对称非负潜在因素分析(USNL)模型。其主要思想有两个方面:1)通过在SNL模型中引入非负映射函数,将输出LF与决策参数分离; 2)采用随机梯度下降(SGD)实现无约束模型训练,同时保证输出LF的非负性。对实际大数据应用中生成的四个SHDI矩阵的实证研究表明,USNL模型具有比SNL模型更高的缺失数据预测精度,以及具有竞争力的计算效率。
2022-08-09 cs.LG
On Large-Scale Dynamic Topic Modeling with Nonnegative CP Tensor Decomposition
Southern Methodist University(南卫理公会大学);Grinnell College(格林内尔学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Colorado State University(科罗拉多州立大学);California State University, Channel Islands(加利福尼亚州立大学海峡群岛分校);Occidental College(西方学院);Boston Medical Center(波士顿医疗中心)
由于数据的爆炸性增长,目前对大规模时态数据分析的需求是前所未有的。动态主题建模已广泛应用于社会和数据科学,其目标是学习随着时间的推移而出现、发展和消失的潜在主题。以前的动态主题建模工作主要采用非负矩阵分解(NMF)的方法,其中数据张量的切片每个都分解为低维非负矩阵的乘积。然而,采用这种方法时,数据的时间维度所包含的信息往往被忽视或利用不足。为了克服这个问题,我们建议采用非负CANDECOMP/PARAPAC(CP)张量分解(NNCPD)的方法,其中数据张量直接分解为非负向量的外积的最小和,从而保留时间信息。NNCPD的可行性证明通过应用到合成和真实数据,其中显着改善的结果相比,那些典型的基于NMF的方法。NNCPD的优点,这样的方法进行了研究和讨论。据我们所知,这是NNCPD第一次被用于动态主题建模的目的,我们的研究结果将是变革性的应用和进一步的发展。
2020-10-15 cs.LG stat.ML
Towards Tuning-Free Minimum-Volume Nonnegative Matrix Factorization
Texas Christian University(德克萨斯基督教大学);Rice University(莱斯大学)
本文提出一种受平方根lasso启发的免调参最小体积非负矩阵分解方法,其调参参数最优值不依赖噪声水平,并设计了具有全局收敛保证的MM算法。
2023-09-24 cs.LG stat.CO stat.ML
Coseparable Nonnegative Tensor Factorization With T-CUR Decomposition
School of Mathematical Sciences, Fudan University(复旦大学数学科学学院);Michigan State University(密歇根州立大学)
本文提出共可分离非负张量分解(NTF),通过交替索引选择和 t-CUR 采样等方法,在张量设置下保留多维相关性,实验证明其比共可分离 NMF 更高效。
2025-01-22 cs.LG cs.NA math.NA
Semiparametric Latent Topic Modeling on Consumer-Generated Corpora
本文提出一种结合非负矩阵分解和半参数回归的两步半参数主题模型,解决了传统方法过拟合和难以重构稀疏主题结构的问题,在小规模且词汇有限的语料库中表现更优,并能提供可解释的主题定义。
2021-07-13 cs.CL cs.LG
STELAR: Spatio-temporal Tensor Factorization with Latent Epidemiological Regularization
University of Minnesota(明尼苏达大学);IQVIA(艾昆纬);University of Virginia(弗吉尼亚大学);Temple University(天普大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
准确预测COVID-19等流行病的传播对实施有效的缓解措施至关重要。在这项工作中,我们开发了一个张量方法来预测多个地区同时流行趋势的演变。我们构造了一个3向时空张量(位置,属性,时间)的情况下计数,并提出了一个非负张量分解与潜在的流行病学模型正则化命名为STELAR。与标准的张量分解方法,不能预测板坯提前,STELAR使长期预测,通过一个系统的离散时间差分方程的广泛采用的流行病学模型,将潜在的时间正则化。我们使用潜在的而不是位置/属性级别的流行病学动态来捕获常见的流行病学特征子类型,并改善协作学习和预测。我们使用县级和州级COVID-19数据进行实验,并表明我们的模型可以识别流行病的有趣潜在模式。最后,我们评估了我们的方法的预测能力,与基线相比表现出优越的性能,县级预测的均方根误差降低了21%,平均绝对误差降低了25%。
2021-03-17 cs.LG q-bio.PE
A Ranking Model Motivated by Nonnegative Matrix Factorization with Applications to Tennis Tournaments
National University of Singapore(新加坡国立大学);IRIT, Université de Toulouse, CNRS(图卢兹大学法国国家科学研究中心图卢兹信息学研究所)
我们提出了一种新的排名模型,结合布拉德利-特里-卢斯概率模型与非负矩阵分解框架的模型,并发现存在的潜在变量,影响顶级网球运动员的表现。我们推导出一个有效的,可证明收敛的,数值稳定的基于优化最小化的算法,以最大限度地提高数据集的可能性,根据建议的统计模型。该模型在涉及过去10年中20名顶级男女网球运动员在14场男子重大锦标赛(包括大满贯和ATP大师赛1000)和16场女子重大锦标赛中的比赛结果的数据集上进行了测试。我们的模型自动推断出球场的表面(例如,红土或硬地)是决定男性运动员表现的关键因素,但对女性运动员来说则不然。在这一纵向时期内,各种场地上的顶级球员也以客观的方式确定。
2019-06-13 cs.LG eess.SP stat.ML
Deep Component Analysis via Alternating Direction Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Machine Learning Dept.(机器学习系);Robotics Institute(机器人研究所)
尽管缺乏理论理解,但深度神经网络在广泛的应用中取得了无与伦比的性能。另一方面,带有分量分析的浅表示学习与丰富的直觉和理论相关联,但是较小的容量通常限制了其有用性。为了弥合这一差距,我们引入了深度组件分析(DeepCA),这是一种表达性的多层模型公式,通过对每一层中潜在变量的约束来强制执行分层结构。对于推理,我们提出了一个可微的优化算法,使用循环交替方向神经网络(ADNN),使参数学习使用标准的反向传播。通过将前馈网络解释为我们模型中推理的单次迭代近似,我们提供了一种新的理论视角来理解它们,并提供了一种实用的技术来约束先验知识的预测。在实验中,我们展示了各种任务的性能改进,包括具有稀疏输出约束的单图像深度预测。
2018-03-16 cs.CV cs.LG stat.ML
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia(弗吉尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
研究了隐变量高斯图模型(LVGGM)的估计问题,其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度,提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法,该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外,我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性,并证实了我们的理论。
2017-02-28 cs.LG stat.ML
Fast Clustering and Topic Modeling Based on Rank-2 Nonnegative Matrix Factorization
本文提出HierNMF2和FlatNMF2方法,利用秩2非负矩阵分解实现高效层次聚类和主题建模,实验表明在计算时间和解质量上均有显著提升。
2015-10-02 cs.IR cs.LG cs.NA
Identifying Latent Actions and Dynamics from Offline Data via Demonstrator Diversity
ETH Zürich(苏黎世联邦理工学院)
本文研究了在不观察动作的情况下从离线轨迹中恢复潜在动作和环境动态的问题,通过示范多样性假设,证明了在满足特定条件时,潜在转移和示范策略可以被唯一确定,从而为从离线强化学习数据中学习潜在动作和动态提供了新的方法。
2026-05-18 cs.AI cs.LG stat.ML
Bayesian Allocation Model: Inference by Sequential Monte Carlo for Nonnegative Tensor Factorizations and Topic Models using Polya Urns
Boğaziçi University(博阿齐奇大学);Sabancı University(萨班哲大学);Télécom ParisTech(巴黎高等电信学院)
我们介绍了一个动态生成模型,贝叶斯分配模型(BAM),建立显式连接之间的非负张量因子分解(NTF),离散概率分布的图形模型和贝叶斯扩展,和主题模型,如潜在的狄利克雷分配。BAM是基于泊松过程,其事件是通过使用贝叶斯网络标记,其中该网络的条件概率表,然后集成了分析。我们表明,由此产生的边际过程原来是一个波利亚瓮,一个整数值的自我增强过程。这个瓮过程,我们命名为Polya-Bayes过程,服从一定的条件独立性,提供了进一步了解NTF的性质。这些见解也让我们开发空间有效的模拟算法,尊重潜在的稀疏数据:我们提出了一类连续的重要性抽样算法计算NTF和近似其边际似然,这将是有用的模型选择。所得到的方法也可以被看作是一个模型评分方法的主题模型和离散贝叶斯网络的隐变量。新算法具有良好的性能在稀疏的数据制度相比,变分算法,变得更准确时,所观察到的张量的元素的总和趋于无穷大。我们说明了几个例子的性能和数值研究的各种数据制度的算法的行为。
2019-03-11 cs.LG stat.CO stat.ME
Graph Regularized Nonnegative Latent Factor Analysis Model for Temporal Link Prediction in Cryptocurrency Transaction Networks
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Southwest University(西南大学)
随着区块链技术的发展,基于区块链技术的加密货币越来越受欢迎。由此催生的庞大的加密货币交易网络受到了广泛关注。网络的链接预测学习结构有助于理解网络的机理,因此在加密货币网络中也得到了广泛的研究。然而,在过去的研究中,加密货币交易网络的动力学一直被忽视。我们使用图正则化的方法来连接过去的交易记录与未来的交易。在此基础上,提出了一种单潜在因子依赖、非负、乘性和图正则化合并更新(SLF-NMGRU)算法,并进一步提出了图正则化非负潜在因子分析(GrNLFA)模型.最后,在一个真实的加密货币交易网络上的实验表明,该方法提高了准确率和计算效率
2022-08-03 cs.LG cs.SI
$β$-Divergence-Based Latent Factorization of Tensors model for QoS prediction
非负潜在因子分解张量(NLFT)模型可以很好地模拟隐藏在非负服务质量(QoS)数据中的时间模式,以预测不可观察的高精度。然而,现有的NLFT模型的目标函数是基于欧氏距离的,这只是$β$ -发散的一个特例。因此,我们是否可以通过采用$β$ -发散来建立一个广义的NLFT模型,以获得预测精度增益?针对这一问题,提出了一种基于$β$ -发散的非线性傅里叶变换模型($β$ -NLFT).其思想是双重的1)建立一个学习目标与$β$ -发散,以实现更高的预测精度,和2)实现自适应超参数,以提高实用性。在两个动态QoS数据集上的实证研究表明,与现有模型相比,所提出的$β$ -NLFT模型对未观测到的QoS数据具有更高的预测精度.
2022-08-14 cs.LG
A variational autoencoder-based nonnegative matrix factorisation model for deep dictionary learning
ARC Centre of Excellence for Mathematical & Statistical Frontiers(ARC数学与统计前沿卓越中心);Queensland University of Technology(昆士兰科技大学);Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学)
使用非负矩阵分解(NMF)构造字典在信号处理和机器学习中具有广泛的应用。随着深度学习的进步,使用深度神经网络训练紧凑和鲁棒的字典,即,字典的深度特征,已经提出。在这项研究中,我们提出了一个概率生成模型,它采用了变分自编码器(VAE)进行非负字典学习。与现有的VAE模型相比,我们将模型置于一个潜变量服从Gamma分布的统计框架下,并设计了一个新的损失函数来保证非负字典。我们采用了一个接受拒绝采样重新参数化技巧迭代更新的潜变量。我们将从VAE-NMF学习的字典应用于两个信号处理任务,即,语音增强和肌肉提取协同作用。实验结果表明,VAE-NMF在学习潜在的非负字典的最先进的方法相比,表现更好。
2023-01-18 cs.LG eess.SP
A Biased Nonnegative Block Term Tensor Decomposition Model for Dynamic QoS Prediction
提出BNBT框架,采用有偏非负块项张量分解增强表示能力,引入线性偏置项并设计SLF-NMUT算法,在动态QoS预测中显著提升精度。
2026-06-16 cs.LG
Determination of Latent Dimensionality in International Trade Flow
Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论部)
目前,高维数据在数据科学中无处不在,这就需要开发技术来分解和解释这种多维(又名张量)数据集。找到数据的低维表示,即其固有结构,是可以用来理解隐藏在数据中的低维潜在特征的动态的方法之一。非负RESCAL就是这样一种技术,特别适合于分析自相关数据,例如国际贸易流中的动态网络。非负RESCAL通过找到包含多个模态的潜在空间来计算低维张量表示。估计该潜在空间的维数对于提取有意义的潜在特征至关重要。在这里,要确定与非负RESCAL的潜在空间的维数,我们提出了一个潜在的维数确定方法,这是基于聚类的解决方案的多个实现的非负RESCAL分解。我们证明了我们的模型选择方法的性能上的合成数据,然后我们应用我们的方法来分解国际货币基金组织的国际贸易流量数据的网络,并验证所产生的功能对经济文献的经验事实。
2020-02-29 cs.IR cs.LG econ.GN
Alternating Back-Propagation for Generator Network
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种用于发电机网络模型学习的交替反向传播算法。该模型是因子分析的非线性推广。在这个模型中,从连续的潜在因素到观察到的信号的映射由卷积神经网络参数化。交替反向传播算法迭代以下两个步骤:(1)推理反向传播,其通过朗之万动力学或梯度下降来推断潜在因子。(2)学习反向传播,它通过梯度下降来更新给定推断的潜在因素的参数。这两个步骤中的梯度计算都是由反向传播提供动力的,并且它们共享大部分共同的代码。我们表明,交替反向传播算法可以学习现实的自然图像,视频序列和声音的生成器模型。此外,它还可以用于从不完整或间接的训练数据中学习。
2016-12-06 cs.CV cs.LG cs.NE
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University(上海交通大学);University of Southampton(南安普顿大学)
稀疏典型相关分析(CCA)是一种有用的统计工具,用于检测具有稀疏结构的潜在信息。然而,稀疏CCA仅适用于两个数据集,即,只有两个视图或两个不同的对象。为了克服这一局限性,本文提出了一种稀疏广义典型相关分析(GCCA),它可以检测具有稀疏结构的多视图数据的潜在关系。此外,引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说,我们将GCCA转换成一个线性方程组,并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题,这是很难解决的。受Boyd一致性问题的启发,提出了一种基于分布式交替迭代的算法,并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
Barriers and Dynamical Paths in Alternating Gibbs Sampling of Restricted Boltzmann Machines
Laboratory of Physics of the \'Ecole Normale Sup\'erieure, CNRS UMR 8023 \& PSL Research, Sorbonne Universit\'e, 24 rue Lhomond, 75005 Paris, France
受限玻尔兹曼机(RBM)是一种双层神经网络,用于从数据中无监督地学习模型分布。RBM的二分体系结构自然定义了一个优雅的采样过程,称为交替吉布斯采样(AGS),其中潜变量层的配置被采样为数据变量层的条件,反之亦然。我们在这里研究的性能AGS几个分析听话的模型借用统计力学。我们表明,标准的AGS是不是更有效的比经典的大都会黑斯廷斯(MH)采样的有效能源景观上定义的数据层。然而,RBM可以识别训练数据在其潜在空间中的有意义的表示。此外,使用这些表示,并结合吉布斯采样与MH算法在潜在的空间可以提高RBM的采样性能时,隐藏单元编码弱相关的数据特征。我们在三个数据集上说明了我们的发现:在机器学习中众所周知的Bars and Stripes和MNIST,以及在理论生物学中引入的所谓的Lattice Proteins,用于研究蛋白质中的序列到结构映射。
2021-10-21 cond-mat.dis-nn cond-mat.stat-mech cs.LG