Dropping Symmetry for Fast Symmetric Nonnegative Matrix Factorization
Johns Hopkins University(约翰斯·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学);Colorado School of Mines(科罗拉多矿业学院)
对称非负矩阵分解(NMF),一般NMF的一个特殊的,但重要的类,被证明是有用的数据分析,特别是对各种聚类任务。不幸的是,设计对称NMF的快速算法并不像非对称NMF那样容易,后者承认分裂属性,允许有效的交替型算法。为了克服这个问题,我们将对称NMF转化为非对称NMF,然后借鉴非对称NMF算法的思想,设计求解对称NMF的快速算法。我们严格建立解决非对称重构返回对称NMF的解决方案,然后应用快速交替为基础的算法相应的重构问题。此外,我们表明这些快速算法承认强收敛保证的意义上,所产生的序列是收敛的至少在一个次线性率,它全局收敛到一个临界点的对称NMF。我们在合成数据和图像聚类上进行实验来支持我们的结果。
2018-11-14 cs.LG stat.ML
Fast and Robust Recursive Algorithms for Separable Nonnegative Matrix Factorization
Université de Mons(蒙斯大学);University of Waterloo(滑铁卢大学)
本文研究了在可分离性假设下的非负矩阵分解问题(即存在由包含所有列的输入非负数据矩阵的列的一个小子集所张成的锥),它等价于线性混合模型和纯像元假设下的高光谱解混问题.我们提出了一族快速递归算法,并证明了它们在输入数据矩阵的任何小扰动下都是鲁棒的。这个家庭概括了现有的几个高光谱解混算法,因此第一次提供了一个理论上的理由,他们更好的实际性能。
2013-10-07 cs.LG math.OC stat.ML
Binary Orthogonal Non-negative Matrix Factorization
University of Lethbridge(莱斯布里奇大学)
我们提出了一种计算二进制正交非负矩阵分解(BONMF)的聚类和分类的方法。该方法在几个有代表性的现实世界的数据集上进行了测试。数值结果表明,该方法与相关技术相比,具有更高的精度。该方法具有训练和分类速度快、空间利用率高等优点。
2022-10-19 cs.LG math.OC
A Nonmonotone Gradient-Based Algorithm for Symmetric Nonnegative Matrix Factorization and Graph Clustering
Arizona State University(亚利桑那州立大学)
提出SNMPBB算法,首次将非单调投影Barzilai-Borwein方法应用于对称非负矩阵分解,并扩展至图聚类和大规模问题,证明全局收敛性,实验显示显著加速和精度提升。
2026-06-01 cs.LG cs.NA math.NA
Coordinate Descent Methods for Symmetric Nonnegative Matrix Factorization
University of Mons(蒙斯大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
本文提出高效的坐标下降方法用于对称非负矩阵分解,适用于大规模稀疏矩阵,通过实验证明其在合成和实际数据集上的有效性。
2016-05-31 cs.CV cs.LG cs.NA
Fast and Low-Memory Deep Neural Networks Using Binary Matrix Factorization
尽管深度神经网络在不同的应用中表现出色,但它们仍然是计算量很大的,并且需要大量的存储器。这促使人们开展更多研究,以减少实施此类网络所需的资源。一个有效的方法是矩阵分解,这已被证明是有效的不同的网络。在本文中,我们利用二进制矩阵分解,并显示其在减少深度神经网络中所需资源数量方面的巨大效率。实际上,这种技术可以导致这种网络的实际实现。
2023-01-06 cs.LG eess.SP
Simulated Annealing with Levy Distribution for Fast Matrix Factorization-Based Collaborative Filtering
Cairo University(开罗大学)
矩阵分解是协同过滤的最佳方法之一,因为它能准确地呈现用户和项目的潜在因素。矩阵分解的主要缺点是其复杂性,并且很难并行化,特别是对于非常大的矩阵。提出了一种基于矩阵分解的协同过滤算法,该算法将模拟退火算法与Levy分布相结合。通过使用这种方法,良好的解决方案,在可接受的时间内实现低计算,相比其他方法,如随机梯度下降,交替最小二乘法,加权非负矩阵分解。
2017-08-09 cs.IR cs.LG stat.ML
Compressed Factorization: Fast and Accurate Low-Rank Factorization of Compressively-Sensed Data
Stanford University(斯坦福大学)
哪些学习算法可以直接在压缩感知数据上运行?在这项工作中,我们考虑的问题,准确和有效地计算低秩矩阵或张量分解给定的数据压缩通过随机投影。我们研究的方法,首先在压缩域中进行因式分解,然后从恢复(压缩)的因素重建原始的高维因素。在矩阵和张量设置中,我们建立了这种自然方法将可证明地恢复原始因子的条件。虽然众所周知,随机投影保留了数据集的许多几何属性,但我们的工作可以被视为表明它们也可以保留非凸NP难题的某些解决方案,如非负矩阵分解。我们通过对合成数据的实验来支持这些理论结果,并证明了压缩因子分解在现实世界基因表达和EEG时间序列数据集上的实用性。
2019-05-27 cs.AI cs.LG stat.ML
Fast Convolutive Nonnegative Matrix Factorization Through Coordinate and Block Coordinate Updates
Stanford University(斯坦福大学)
识别高维时间序列数据中的重复模式是许多科学领域中的重要问题。一个流行的模型来实现这一点是卷积非负矩阵分解(CNMF),它扩展了经典的非负矩阵分解(NMF)从长时间序列中提取短暂的时间模体。以前的工作通常通过乘法参数更新来拟合这个模型-这种方法被广泛认为是NMF的次优方法,特别是在大规模数据应用中。在这里,我们描述了如何扩展两个流行的和计算可扩展的NMF算法-层次交替最小二乘法(HALS)和交替非负最小二乘法(ANLS)-为CNMF模型。这两种方法都证明了在大规模合成和真实世界数据上的乘法更新的性能优势。
2019-06-29 cs.LG stat.ML
A Symmetric Rank-one Quasi Newton Method for Non-negative Matrix Factorization
University of Electronic Science and Technology of China(电子科技大学);Southwest Jiaotong University(西南交通大学)
非负矩阵分解(NMF)是一种降维方法,在图像处理、文本压缩、信号处理等领域有着广泛的应用。该方法主要基于有效集和拟牛顿型算法,利用对称秩一和负曲率方向技术逼近黑塞矩阵。我们的方法改进了[Pattern Recognition,45(2012)3557-3565; SIAM J. Sci.计算:33(6)(2011)3261-3281; Neural Computation,19(10)(2007)2756-2779等]。此外,目标函数比许多其他NMF方法下降得更快。此外,在合成数据、图像处理和文本聚类等方面进行了数值实验。通过与其他六种非负矩阵逼近方法的比较,我们的实验证实了我们的分析。
2013-05-24 cs.LG cs.NA math.NA
Fast Parallel Randomized Algorithm for Nonnegative Matrix Factorization with KL Divergence for Large Sparse Datasets
本文提出一种快速并行随机坐标下降算法,用于大规模稀疏数据集的非负矩阵分解与KL散度优化,实现更高效的稀疏建模与表示。
2016-04-14 cs.LG cs.NA math.NA
A Constraints Fusion-induced Symmetric Nonnegative Matrix Factorization Approach for Community Detection
College of Computer Science and Technology, Chongqing University of Posts and Telecommunications(重庆邮电大学计算机科学与技术学院);Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院);College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
社区是无向社会网络的一个重要特征,社区发现是网络表示学习中的一个重要而棘手的问题。对称非负矩阵分解(SNMF)模型由于其良好的可解释性和可扩展性,经常被用来解决这个问题。然而,它采用单一的潜在因子矩阵来表示一个无向网络,以精确地表示其对称性,这导致了表示学习能力的损失,由于潜在空间减少。基于这一发现,本文提出了一种新的约束融合诱导的对称非负矩阵分解(CFS)模型,该模型采用三个方面的思想:a)用多个潜在因子矩阵表示目标无向网络,从而保持其表示学习能力; b)将保持所学习的对邻接矩阵的低秩近似的对称性的保序正则化器构造到所述损失函数中,从而使得所得到的检测器清楚地知道目标网络的对称性;以及c)引入保持网络的固有几何的局部不变性的图正则化器,从而使得所实现的检测器清楚地知道目标网络内的社区结构。对工业应用中的8个真实社交网络的广泛实证研究表明,所提出的CFS模型在实现高准确度社区发现结果方面明显优于最先进的模型。
2023-02-23 cs.LG cs.SI
Randomized Algorithms for Symmetric Nonnegative Matrix Factorization
School of Computational Science and Engineering, Georgia Institute of Technology(佐治亚理工学院计算科学与工程学院);Pacific Northwest National Laboratory(太平洋西北国家实验室);Dept. of Computer Science, Wake Forest University(维克森林大学计算机科学系)
针对对称非负矩阵分解(SymNMF)的效率问题,提出两种随机算法:基于随机矩阵草图的初始近似算法和基于随机杠杆得分采样的约束最小二乘求解算法,理论证明其有效性并通过图聚类实验验证,实现解质量近似保持与显著加速。
2024-11-28 cs.LG cs.NA math.NA
Crowdsourcing via Annotator Co-occurrence Imputation and Provable Symmetric Nonnegative Matrix Factorization
Oregon State University(俄勒冈州立大学)
从嘈杂的、不完整的和众包的注释中对Dawid-Skene(D&S)模型进行无监督学习一直是一个长期存在的挑战,并且是可靠地标记海量数据的关键一步。最近的一项工作采用了耦合非负矩阵分解(CNMF)的观点,并显示出吸引人的特征:它确保了D\&S模型的可识别性,并且具有低样本复杂度,因为只涉及注释者标签的共现估计。然而,只有当在众包的背景下满足某些限制性条件时,可识别性才成立。优化CNMF标准也是昂贵的-并且收敛保证是难以捉摸的。这项工作将基于成对共现的D&S模型学习问题重新转换为对称NMF(SymNMF)问题-相对于CNMF,它提供了增强的可识别性。在实践中,SymNMF模型通常(在很大程度上)是不完整的,因为一些注释者缺乏共同标记的项目。提出了两种轻量级的同现插补算法。然后,提出了一种低复杂度的移位整流线性单元(ReLU)授权的SymNMF算法来识别D&S模型。各种性能表征(例如,丢失同现可恢复性、稳定性和收敛性)和评估。
2021-06-14 cs.LG eess.SP
MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization
New Jersey Institute of Technology(新泽西理工学院);Central Michigan University(中密歇根大学)
公司盈余预测对公司投资决策、股利预期和股票价格都有着重要的影响。它通常涉及多个张量兼容的数据集,这些数据集具有非线性多路关系,时空结构和不同的稀疏度。目前的非线性张量补全算法往往会学习噪声嵌入并导致过拟合。针对张量完备化问题的嵌入学习问题,提出了一种新的多层神经网络结构的张量因式分解与完备化算法(MLCTR)。该网络架构具有多个优点:一系列低秩矩阵分解(MF)构建块,以最大限度地减少过拟合,非线性的每一层中的交错传递函数,以及旁路连接,以减少梯度衰减问题并增加神经网络的深度。此外,该模型采用基于随机梯度下降(SGD)的优化,以快速收敛的训练。我们的算法是非常有效的插补缺失值的EPS数据。实验证实,我们在因子矩阵中引入非线性的策略在嵌入学习和端到端张量模型中表现出令人印象深刻的性能,并且在从因子矩阵重建张量的阶段中优于非线性方法。
2021-09-04 cs.LG
Self-supervised Symmetric Nonnegative Matrix Factorization
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院)
对称非负矩阵分解(SNMF)已被证明是一个强大的数据聚类方法。然而,SNMF在数学上被表述为非凸优化问题,使得它对变量的初始化敏感。受集成聚类从一组聚类结果中寻求更好聚类结果的启发,本文提出了自监督SNMF(S $^3$ NMF)算法,该算法利用SNMF对初始化的敏感性,在不依赖任何附加信息的情况下,能够逐步提高聚类性能.具体来说,我们首先执行SNMF重复与一个随机的非负矩阵初始化每次,导致多个分解矩阵。然后,我们排名的质量与自适应学习的权重,从一个新的相似性矩阵,预计将更具歧视性的SNMF重建的结果矩阵。迭代这两个步骤,直到达到停止标准/最大迭代次数。我们在数学上将S $^3$ NMF表示为一个约束优化问题,并提供了一种替代的优化算法来解决它,保证了理论收敛性。在$10$常用基准数据集上的大量实验结果表明,我们的S $^3$ NMF在$5$定量指标方面优于$12$最先进的方法。源代码可在www.example.com上公开获得。
2021-03-02 cs.LG
Fast Conical Hull Algorithms for Near-separable Non-negative Matrix Factorization
University of Maryland(马里兰大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
可分性假设(Donoho & Stodden,2003; Arora et al.,2012)将非负矩阵分解(NMF)变成了一个易于处理的问题。最近,一类新的可证明正确的NMF算法出现在这个假设下。本文将可分NMF问题转化为求有限向量集锥壳的极值射线问题。从这个几何的角度来看,我们得到新的可分离的NMF算法,是高度可扩展的和经验噪声鲁棒性,并有其他几个有利的属性,在现有的方法。我们的算法的并行实现展示了高的可扩展性共享和分布式内存机器。
2012-10-03 cs.LG stat.ML
Learnable Similarity and Dissimilarity Guided Symmetric Non-Negative Matrix Factorization
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
针对SymNMF中k-NN构建相似性矩阵存在的误导问题,提出带可学习权重的加权k-NN图构建方法,引入对偶差异性矩阵与新正交正则化,设计交替优化算法并理论证明收敛性,在8个数据集上优于9种先进方法。
2024-12-05 cs.LG
Fast Differentially Private Matrix Factorization
Xi’an Jiaotong University(西安交通大学);Carnegie Mellon University(卡内基梅隆大学);Marianas Labs Inc.(Marianas Labs公司)
差异隐私协同过滤是一项具有挑战性的任务,无论是在准确性和速度方面。我们提出了一个简单的算法,可证明差分隐私,同时提供良好的性能,使用一种新的连接差分隐私贝叶斯后验抽样通过随机梯度Langevin动态。由于它的简单性,该算法适合于高效的实现。通过仔细的系统设计和利用数据的幂律行为来最大化CPU缓存带宽,我们能够在一台PC上以每秒850万条建议的速度生成1024维模型。
2015-05-07 cs.AI cs.LG
Semi-supervised Symmetric Non-negative Matrix Factorization with Low-Rank Tensor Representation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);School of Mathematical Sciences, Shenzhen University(深圳大学数学科学学院)
针对半监督 SNMF 中成对约束利用缺乏全局视角的问题,本文提出基于成对约束矩阵与相似矩阵合成张量的低秩表示及迭代增强框架,显著提升聚类性能。
2024-10-27 cs.LG
Fast and Effective Algorithms for Symmetric Nonnegative Matrix Factorization
对称非负矩阵分解(SNMF)模型作为许多标准聚类算法(包括流行的谱聚类方法)的简单重构而自然出现。最近的工作表明,SNMF的一个基本实例提供了优越的聚类质量相比,许多经典的聚类算法在各种合成和真实世界的数据集。在这项工作中,我们提出了新的重新制定的这种情况下的SNMF变量分裂的概念的基础上,并产生两个快速有效的算法,其优化使用i)可证明收敛的加速邻近梯度(APG)的过程和ii)的启发式版本的交替方向乘法(ADMM)框架。我们的两个算法之间的计算速度和数学收敛保证提出了一个有趣的权衡:虽然前者的方法是可证明收敛的,它是相当慢,比后者的方法,我们也提供了显着的,但不太严格的数学证明其收敛性。通过大量的实验,我们不仅表明,这些方法的功效是等于最先进的SNMF算法的状态,而且,后者的算法是非常快的一个到两个数量级的总计算时间比最先进的方法,甚至优于谱聚类在大数据集的计算时间。
2016-09-17 cs.CV cs.LG stat.ML
Recommendations with Sparse Comparison Data: Provably Fast Convergence for Nonconvex Matrix Factorization
EPFL(瑞士联邦理工学院);TUM(慕尼黑工业大学)
本文研究用户通过成对比较给出反馈的推荐问题,证明非凸损失在真实解附近具有受限强凸性,使梯度方法在稀疏比较数据下借助热启动实现指数级快速收敛。
2025-08-19 cs.LG
Low-Rank Dependence Decomposition via Accelerated Symmetric Non-negative Matrix Factorization
NVIDIA(英伟达)
研究通过加速对称非负矩阵分解进行低秩相依性分解,在绝对皮尔逊相关和尾部成对相依矩阵上对七个算法家族超30种配置做大规模GPU研究,给出多节点扩展结果,比较不同算法在不同谱上表现,还将球形K - means作为基线测试。
2026-07-28 cs.LG cs.NA math.NA
Streaming Coresets for Symmetric Tensor Factorization
IIT Gandhinagar(印度理工学院甘地纳格尔分校)
分解张量最近已经成为许多机器学习管道中的重要优化模块,特别是在潜变量模型中。我们展示了如何在流媒体设置中有效地做到这一点。给定一组$n$向量,每个在$\mathbb{R}^d$,我们提出的算法来选择一个次线性数量的这些向量作为coreset,同时保证CP分解的$p$矩张量的coreset近似相应的分解的$p$矩张量计算的完整的数据。我们介绍了两种新的算法技术:在线过滤和核化。使用这两个,我们提出了六个算法,实现不同的权衡coreset大小,更新时间和工作空间,击败或匹配各种最先进的算法。在矩阵($2$有序张量)的情况下,我们的在线行采样算法保证了$(1 \pm ε)$相对误差谱近似。我们展示了我们的算法在学习单主题建模中的应用。
2020-07-13 cs.DS cs.LG stat.ML
Compressed Nonnegative Matrix Factorization is Fast and Accurate
Duke University(杜克大学)
非负矩阵分解(NMF)作为一种有用的数据分析技术在许多应用中享有盛誉。然而,近年来,它在实际情况中的使用正在经历挑战。其根本因素是信息科学中可用和所需的数据集规模日益增长。为了解决这个问题,在这项工作中,我们建议使用结构化的随机压缩,也就是说,随机投影,利用数据结构,两个NMF的变种:经典和可分离的。在可分离NMF(SNMF)中,左因子是输入矩阵的列的子集。我们提出了合适的配方为每个问题,处理不同的代表性算法内的每一个。我们表明,由此产生的压缩技术比未压缩的变体更快,大大降低了内存需求,并且不包括任何显着的性能恶化。所提出的SNMF结构化随机投影允许处理任意形状的大型矩阵,超出了高瘦矩阵的标准限制,从而在此一般设置中获得非常有效的计算。我们伴随着理论基础和众多不同的例子的算法演示,显示所提出的方法的适用性。
2015-09-06 cs.LG stat.ML
Accurate and fast matrix factorization for low-rank learning
Ferdowsi University of Mashhad(马什哈德菲尔多西大学);University of Tehran(德黑兰大学)
本文主要研究了低秩学习中的两个重要问题:大型矩阵的部分奇异值分解和数值秩估计。通过使用Krylov子空间的概念,如Golub-Kahan双对角化(GK-双对角化)以及Ritz向量,我们提出了两种方法来解决这些问题的快速和准确的方式。我们的实验表明,所提出的方法相比,传统的和随机奇异值分解方法的优势。所提出的方法是适当的应用程序涉及巨大的矩阵,所需的奇异值的准确性,也是所有其相应的奇异向量是必不可少的。作为一个实际的应用程序,我们评估我们的方法在两个不同的图像数据集的MNIST和USPS之间的黎曼相似性学习的问题上的性能。
2021-09-04 cs.CV cs.LG stat.ML
Large-Scale Distributed Bayesian Matrix Factorization using Stochastic Gradient MCMC
University of California, Irvine(加州大学尔湾分校);Google(谷歌);Yahoo Labs(雅虎实验室);University of Amsterdam(阿姆斯特丹大学)
尽管具有各种吸引人的品质,如高预测精度和量化不确定性和避免过拟合的能力,但由于推理成本过高,贝叶斯矩阵分解尚未被广泛采用。在本文中,我们提出了一个可扩展的分布式贝叶斯矩阵分解算法使用随机梯度MCMC。我们的算法,基于分布随机梯度Langevin动力学,不仅可以匹配标准MCMC方法,如吉布斯抽样的预测精度,但同时是快速和简单的随机梯度下降。在我们的实验中,我们表明,我们的算法可以达到相同水平的预测精度吉布斯采样一个数量级更快。我们还表明,我们的方法降低了预测误差的速度与分布式随机梯度下降一样快,Netflix数据集的RMSE提高了4.1%,Yahoo音乐数据集的RMSE提高了1.8%。
2015-03-10 cs.LG stat.ML
Fast Adaptively Weighted Matrix Factorization for Recommendation with Implicit Feedback
College of Computer Science, Zhejiang University(浙江大学计算机科学学院);Zhejiang University-LianlianPay Joint Research Center(浙江大学-连连支付联合研究中心)
由于缺乏可靠的观察到的负面数据,隐式反馈的推荐是一项极具挑战性的任务。一种流行而有效的隐式推荐方法是将未观察到的数据视为负面,但降低其置信度。当然,如何分配置信度权重和如何处理大量的未观测数据是隐式推荐模型的两个关键问题。然而,现有的方法要么追求快速学习,通过手动分配简单的信心权重,这缺乏灵活性,并可能会产生经验偏见,在评估用户的偏好;或自适应推断个性化的信心权重,但效率低下。为了实现自适应权重分配和有效的模型学习,我们提出了一种快速自适应加权矩阵分解(FAWMF)的变分自动编码器的基础上。个性化数据的置信度权重自适应分配与参数化神经网络(功能)和网络可以推断出的数据。此外,为了支持FAWMF的快速和稳定的学习,已经开发了一种新的特定的基于批处理的学习算法fBGD,其在所有反馈数据上进行训练,但其复杂度与观测数据的数量成线性关系。在真实数据集上的大量实验证明了所提出的FAWMF及其学习算法fBGD的优越性。
2020-03-04 cs.IR cs.LG stat.ML
Symmetric Sparse Boolean Matrix Factorization and Applications
UC Berkeley(加州大学伯克利分校);Adobe Research(Adobe 研究院);Columbia University(哥伦比亚大学);UT Austin(德克萨斯大学奥斯汀分校)
在这项工作中,我们研究了一个变种的非负矩阵分解,我们希望找到一个对称分解的一个给定的输入矩阵到一个稀疏的,布尔矩阵。从形式上讲,给定$\mathbf{M}\in\mathbb{Z}^{m\times m}$,我们希望找到$\mathbf{W}\in\{0,1\}^{m\times r}$,使得$\| \mathbf{M} - \mathbf{W}\mathbf{W}^\top \|_0$在所有$\mathbf{W}$中最小化,其中每行都是$k$ -稀疏的。事实证明,这个问题与许多问题密切相关,如从线图中恢复超图,以及私人神经网络训练的重建攻击。由于这个问题是很难在最坏的情况下,我们研究了一个自然的平均情况下的变种,出现在这些重建攻击的上下文中:$\mathbf{M} = \mathbf{W}\mathbf{W}^{\top}$为$\mathbf{W}$一个随机布尔矩阵与$k$ -稀疏行,目标是恢复$\mathbf{W}$列置换。等价地,这可以被认为是从其线图恢复一致随机$k$ -一致超图。我们的主要结果是这个问题的多项式时间算法的基础上引导高阶信息$\mathbf{W}$,然后分解一个适当的张量。在我们的分析,这可能是独立的利益,关键成分是要表明,这样的矩阵$\mathbf{W}$有充分的列秩与高概率尽快$m = \widetildeΩ(r)$,这是我们使用的工具,从Littlew…
2022-01-13 cs.CR cs.DS cs.LG
The Decimation Scheme for Symmetric Matrix Factorization
The Abdus Salam International Center for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心);Bocconi University(博科尼大学)
本文扩展了用于解决线性秩对称矩阵分解的“decimation”程序,通过映射到联想记忆神经网络模型逐列恢复因子,并证明了其在紧支撑先验下的普适性及稀疏Ising先验下存储容量的发散性,同时提出了一种无需信息性初始化的基态搜索算法。
2023-07-31 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Fast And Efficient Boolean Matrix Factorization By Geometric Segmentation
Purdue University(普渡大学);Indiana University(印第安纳大学);Amazon(亚马逊)
布尔矩阵已被广泛应用于银行交易、犯罪记录、自然语言处理、蛋白质相互作用等领域。布尔矩阵分解(BMF)旨在寻找一个二元矩阵近似为两个低秩布尔矩阵的布尔积,从而产生大量的特征与样本之间关系模式的信息。受二进制矩阵置换理论和几何分割的启发,我们开发了一种快速有效的BMF方法,称为MEBF(Median Expansion for Boolean Factorization)。总的来说,MEBF采用了一种启发式的方法来定位二进制模式表示为密集的1的子矩阵。在每次迭代中,MEBF置换行和列,使得置换矩阵近似于上三角形(UTL),具有所谓的同时连续一属性(SC1P)。在1中稠密的最大子矩阵将位于置换矩阵的上三角区域,并且其位置基于三角形的几何分割来确定。我们比较了MEBF与其他国家的最先进的方法在不同的稀疏性和噪声水平的数据场景。MEBF在重建误差小、计算效率高、稀疏模式精度高等方面优于ASSO、PANDA和MP等主流方法。我们展示了MEBF在二进制和非二进制数据集上的应用,并揭示了其在知识检索和数据去噪方面的进一步潜力。
2020-02-10 cs.CG cs.LG stat.ML
Fast Clustering and Topic Modeling Based on Rank-2 Nonnegative Matrix Factorization
本文提出HierNMF2和FlatNMF2方法,利用秩2非负矩阵分解实现高效层次聚类和主题建模,实验表明在计算时间和解质量上均有显著提升。
2015-10-02 cs.IR cs.LG cs.NA
Nonsmooth rank-one symmetric matrix factorization landscape
研究非光滑秩一对称矩阵分解,证明其无虚假二阶稳定点,为优化提供理论保证。
2025-02-26 math.OC
Masked Symmetric Nonnegative Matrix Factorization for Community Detection in Incomplete Networks
Nankai University(南开大学)
针对不完整邻接矩阵,提出掩码对称非负矩阵分解框架,直接分解部分观测网络,通过非对称松弛和交替非负最小二乘算法实现,理论证明精确罚性质,实验优于基线方法。
2026-06-11 math.OC
A Nonconvex Splitting Method for Symmetric Nonnegative Matrix Factorization: Convergence Analysis and Optimality
对称非负矩阵分解(SymNMF)在文档聚类、社区检测和图像分割等数据分析问题中有着重要的应用。在本文中,我们提出了一种新的非凸变量分裂方法求解SymNMF。该算法保证收敛到非凸SymNMF问题的Karush-Kuhn-Tucker(KKT)点集.此外,它实现了一个全球次线性收敛速度。我们还表明,该算法可以有效地实现并行。此外,充分条件提供了保证所获得的解决方案的全局和局部最优性。大量的数值模拟结果表明,该算法可以快速收敛到一个局部极小值解。
2017-03-24 math.OC stat.ML
A block inertial Bregman proximal algorithm for nonsmooth nonconvex problems with application to symmetric nonnegative matrix tri-factorization
我们提出了BIBPA,一个块惯性Bregman邻近算法,用于最小化块相对光滑函数(即,相对光滑的每个块)和块可分的非光滑非凸函数的总和。我们证明了在标准假设下,BIBPA生成的序列依序收敛到目标的临界点,并且当目标函数满足Kurdyka-Kazojasiewicz(Kazojasiewicz)性质时,序列全局收敛.当目标函数满足Kjojasiewicz不等式时,给出了算法的收敛速度.我们应用BIBPA对称非负矩阵三因子分解(SymTriNMF)问题,我们提出了核函数的SymTriNMF和BIBPA的子问题提供封闭形式的解决方案。
2020-05-08 cs.NA math.NA math.OC
Off-diagonal Symmetric Nonnegative Matrix Factorization
对称非负矩阵分解(symNMF)是非负矩阵分解(NMF)的一个变体,允许处理对称输入矩阵,并且已经被证明特别适合于聚类任务。在本文中,我们提出了一个新的模型,称为非对角symNMF(ODsymNMF),不考虑对角条目的输入矩阵中的目标函数。与symNMF相比,ODsymNMF有三个关键优势。首先,ODsymNMF在理论上更合理,因为总是存在大小的精确因式分解,最多$\nicefrac{n(n-1)}{2}$,其中$n$是输入矩阵的维数。其次,它在实践中更有意义,因为输入矩阵的对角项通常对应于项目与其本身之间的相似性,不会带来太多信息。第三,它使最优化问题更容易解决。特别是,它将允许我们设计一种基于坐标下降的算法,该算法最小化输入矩阵及其近似值之间的分量$\ell_1$范数。我们证明,这个规范是更好地适合于二进制输入矩阵在实践中经常遇到的。我们还推导出一个坐标下降法的组件明智的$\ell_2$规范,并比较这两种方法与symNMF合成和文档数据集。
2020-03-10 cs.NA math.NA math.OC
$\ell_1$-norm rank-one symmetric matrix factorization has no spurious second-order stationary points
该研究利用二阶变分分析工具,探究ℓ₁-范数秩一对称矩阵分解的非光滑优化图景,证明其二阶平稳点均为全局最优解,还给出平稳点集完整刻画,相关技术可拓展至鲁棒低秩矩阵恢复等问题。
2024-10-07 math.OC stat.ML
Real Factorization of Positive Semidefinite Matrix Polynomials
该研究给出实正则对称半正定矩阵多项式可分解为次数减半的实矩阵多项式转置乘自身形式的充要条件,通过求解修正代数Riccati方程的反对称解给出构造性证明,并提出相应因式分解算法。
2023-08-25 math.FA math.OC
A fast two-stage algorithm for non-negative matrix factorization in streaming data
Nankai University(南开大学);Columbia University(哥伦比亚大学);Brookhaven National Laboratory(布鲁海文国家实验室)
针对流数据场景下的非负矩阵分解需求,提出一种结合交替非负最小二乘框架与内点法的两阶段快速算法,经基准测试验证其在求解高精度解上更具优势。
2021-01-21 cs.NA math.NA math.OC
Strong NP-Hardness of Rank-2 Nonnegative Matrix Factorization
University of Mons(蒙斯大学)
该研究证明Frobenius范数下最优秩-2非负矩阵分解(NMF)的计算是强NP难的,通过从\textsc{Clique}问题的多项式时间归约完成证明,同时也确立了秩-2对称NMF的强NP难性。
2026-10-16 cs.CC math.OC
Algorithms for Positive Semidefinite Factorization
本文研究半正定分解问题,它是精确非负矩阵分解的推广。给定一个$m$ × $n$非负矩阵$X$和一个整数$k$,PSD分解问题在于找到(如果可能的话)对称的$k$ × $k$半正定矩阵$\{A^1,...,A^m\}$和$\{B^1,...,B^n\}$,使得$X_{i,j}=\text{trace}(A^iB^j)$对于$i=1,...,m$,和$j=1,...n$ . PSD分解是NP难的。在这项工作中,我们介绍了几个局部优化方案来解决这个问题:一个快速投影梯度法和两个算法的基础上的坐标下降框架。PSD因式分解的主要应用是计算半定扩张,即将多面体表示为谱面的投影,其中要因式分解的矩阵是多面体的松弛矩阵。我们比较我们的算法在这类问题上的性能。特别地,当$n=5$、$8$和$10$时,我们计算规则$n$ -1的大小为$k=1+ \lceil \log_2(n) \rceil$的PSD扩展。我们还展示了如何推广我们的算法来计算平方根秩(这是PSD因式分解中所有因子矩阵$A^i$和$B^j$的秩为1的因子的大小)和完全PSD因式分解(这是输入矩阵对称且所有$i$都需要相等$A^i=B^i$的特殊情况)。
2017-07-25 cs.DM math.CO math.OC