Rapid Posterior Exploration in Bayesian Non-negative Matrix Factorization
非负矩阵分解(NMF)是一种流行的数据探索工具。贝叶斯NMF也承诺在因子分解中表征不确定性。不幸的是,目前的推理方法,如MCMC混合缓慢,往往陷入单一模式。我们介绍了一种新的方法,使用快速探索随机树(RRT)渐近覆盖区域的高后验密度。这些被放置在一个原则贝叶斯框架通过在线扩展到非参数变分推断。在真实数据和合成数据上的实验中,我们获得了比标准NMF推理方法更大的后验覆盖率和更高的ELBO值。
2016-10-27 stat.ML
Multi-View Multiple Clusterings using Deep Matrix Factorization
Southwest University(西南大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);George Mason University(乔治梅森大学)
多视图聚类的目的是整合来自多个异构视图的互补信息,以提高聚类结果。现有的多视图聚类解决方案只能输出单个聚类的数据。由于其多样性,多视图数据可以从不同的角度进行合理和有趣的不同分组。然而,如何从多视图数据中发现多个、有意义的、多样的聚类结果仍然是多视图聚类和多聚类中一个很少研究和具有挑战性的课题。在本文中,我们引入了一个基于深度矩阵分解的解决方案(DMClusts)来发现多个聚类。DMClusts逐步将多视图数据矩阵分解为逐层的表示子空间,并在每层中生成一个聚类。为了加强所生成的聚类之间的多样性,它最小化了一个新的冗余量化项,该量化项来自这些子空间中样本之间的接近度。我们进一步引入了一个迭代优化过程,同时寻求多个聚类的质量和多样性。在基准数据集上的实验结果证实,DMClusts优于最先进的多个聚类解决方案。
2019-11-26 cs.LG stat.ML
Robust Volume Minimization-Based Matrix Factorization for Remote Sensing and Document Clustering
本文考虑基于\emph{volume minimization}(VolMin)的结构矩阵分解(SMF)。VolMin是一种分解准则,通过找到包含数据矩阵所有列的最小体积单纯形,将给定的数据矩阵分解为基矩阵乘以结构化系数矩阵。最近的工作表明,VolMin保证在温和的条件下,在各种各样的应用中是现实的因素矩阵的可识别性。本文着重于VolMin的理论和实践方面。在理论方面,两个独立开发的VolMin可识别性的充分条件的确切等价性在这里被证明,从而提供了一个更全面的理解这方面的VolMin。在算法方面,计算复杂性和对离群值的敏感性是与VolMin的实际应用相关的两个关键挑战。这里通过一个新的VolMin算法来解决这些问题,该算法以计算简单的方式处理体积正则化,并同时自动检测和{迭代地降低权重}离群值。仿真和实际数据实验使用遥感高光谱图像和路透社的文档语料库,以展示所提出的算法的有效性。
2016-08-15 stat.ML
Orthogonal symmetric non-negative matrix factorization under the stochastic block model
提出了一种基于规范化拉普拉斯矩阵的正交对称非负矩阵三分解的复杂网络社团检测方法。虽然给定阶的精确因式分解可能不存在并且是NP难计算的,但我们通过求解优化问题来获得近似因式分解。我们建立了连接的因素,通过因子分解得到的估计矩阵的不变子空间的非负基础,绘制平行的谱聚类。在网络中使用这种因子分解进行聚类的动机是分析块对角拉普拉斯矩阵,其中块表示图的连通分量。该方法被证明是一致的,从随机块模型和度校正随机块模型生成的图中的社区检测。仿真结果和实际数据分析表明,这些方法的有效性下各种各样的情况下,包括稀疏和高度异构的图形,通常的谱聚类是失败的。我们的方法在流行的基准网络数据集中的性能也优于现有技术,例如,政治博客和空手道俱乐部的数据。
2016-05-17 stat.ML
Learning Inter- and Intra-manifolds for Matrix Factorization-based Multi-Aspect Data Clustering
Queensland University of Technology(昆士兰科技大学)
对多视图、多类型关系数据等多方面的数据进行聚类,由于其广泛的适用性,近年来已成为一个热门的研究方向。该方法使用流形学习与非负矩阵分解(NMF)框架,学习多维数据的准确低秩表示,已显示出有效性。我们建议在NMF框架中包括内部流形,利用不同数据类型(或视图)的数据点的距离信息来学习数据聚类的多样性流形。实证分析表明,该方法可以找到各种相关类型的部分表示,并在聚类过程中选择有用的功能。在多个数据集上的实验结果表明,该方法在精度和效率上都优于现有的多方面数据聚类方法。
2020-09-07 cs.LG stat.ML
Multi-way Clustering and Discordance Analysis through Deep Collective Matrix Tri-Factorization
National University of Singapore(新加坡国立大学)
异构、多类型、多模态的关系数据在许多领域中越来越多,它们的探索性分析带来了一些挑战。我们推进了神经无监督学习的最新技术来分析这些数据。我们设计了第一种神经方法,用于对任意矩阵集合进行集体矩阵三因子分解,以对所有组成实体进行谱聚类并学习聚类关联。在基准数据集上的实验证明了它比以前的非神经方法的有效性。利用来自多路聚类和集体矩阵完成的信号,我们设计了一种独特的技术,称为不一致性分析,以揭示关于两个实体的集合中矩阵子集之间的信息差异。我们说明了它的效用,在质量评估的知识库和改进表示学习。
2021-09-27 cs.LG stat.ML
A Review of Nonnegative Matrix Factorization Methods for Clustering
Bogazici University(博阿齐奇大学)
本文综述了非负矩阵因子化方法在聚类中的应用,探讨了多种变体及其聚类解释。
2015-08-28 cs.LG cs.NA math.NA
Nyström Approximation with Nonnegative Matrix Factorization
National University of Defense Technology(国防科技大学)
出于估计邻近聚类的需要,从有利位置或地标远程网络系统的部分距离测量,我们表明,邻近聚类问题可以有效地制定为Nyström近似问题,解决了复杂空间中的核K-均值聚类问题。我们实现的Nyström近似的基础上的地标为基础的非负矩阵分解(NMF)的过程。评估结果表明,该方法发现几乎最佳的聚类质量的合成和真实世界的数据集,因为我们改变了参数选择和网络条件的范围。
2020-08-07 cs.LG stat.ML
Spectral and matrix factorization methods for consistent community detection in multi-layer networks
我们考虑的问题,估计一个共识社区结构相结合的信息,从多层网络的多个层使用的方法的基础上的谱聚类或低秩矩阵分解。作为一般主题,这些“中间融合”方法涉及通过优化目标函数来获得低列秩矩阵,然后使用矩阵的列进行聚类。然而,这些方法的理论特性在很大程度上仍未被探索。在目标函数缺乏统计保证的情况下,很难确定优化目标的算法是否会返回良好的社区结构。我们调查的一致性性质的全局优化的一些目标函数下的多层随机块模型。为了这个目的,我们得到几个新的渐近结果显示的一致性的中间融合技术随着谱聚类的平均邻接矩阵下的高维设置,其中节点的数量,层数和社区的多层图的数量增长。我们的数值研究表明,中间融合技术优于后期融合方法,即在稀疏网络中的聚合谱核和模块忠诚矩阵的谱聚类,而它们优于在多层网络中的平均邻接矩阵的谱聚类,其中包含具有同性和异性社区的层。
2018-12-03 stat.ML
Constrained Bilinear Factorization Multi-view Subspace Clustering
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
多视图聚类是一个重要而基本的问题。已有的多视点子空间聚类方法大多假设所有视点共享同一个系数矩阵。然而,在这种假设下,多视图数据的底层信息没有得到充分利用,因为不同视图的系数矩阵应该具有相同的聚类属性,而不是在多个视图之间是均匀的。为此,本文提出了一种新的约束双线性分解多视图子空间聚类(CBF-MSC)方法。具体地说,对所有系数矩阵进行带正交约束和低秩约束的双线性分解,使它们具有相同的迹范数而不是等价的,从而更充分地挖掘多视图数据的一致性信息.最后,一个增广拉格朗日乘子(ALM)为基础的算法来优化目标函数。在九个基准数据集上进行的综合实验验证了所提出的方法与几种最先进的方法相比的有效性和竞争力。
2021-03-24 cs.LG stat.ML
Multi-view Clustering via Deep Matrix Factorization and Partition Alignment
近年来,多视图聚类(MVC)被广泛研究以收集多个源信息。一种典型的MVC方法是基于矩阵分解来有效地执行降维和聚类。然而,现有的方法可以进一步改进以下考虑:i)当前的单层矩阵分解框架不能充分利用有用的数据表示。ii)大多数算法只关注共享信息,而忽略了视图特定的结构,导致次优解。iii)在现有工作中尚未利用分区级别信息。针对上述问题,提出了一种基于深度矩阵分解和分区对齐的多视图聚类算法。具体地说,通过深度矩阵分解得到每个视图的分区表示,然后与最优分区表示联合用于融合多视图信息。最后,一个交替优化算法被开发来解决优化问题,证明收敛性。在六个基准多视图数据集上进行的综合实验结果清楚地表明了该算法对SOTA方法的有效性。
2021-05-10 cs.LG stat.ML
Techniques for clustering interaction data as a collection of graphs
分析“what-connects-to-what-when”形式的交互数据的自然方法是通过时间离散化(带宽选择)和空间离散化(顶点收缩)来创建图形的时间序列(或者更确切地说是序列)。这种离散化与非负因子分解技术一起可以用于获得图的聚类。执行图的聚类(与顶点聚类相对)的激励应用可以在神经科学和社交网络分析中找到,并且它还可以用于增强社区检测(即,顶点聚类)。在本文中,我们制定了一个问题的聚类图的模型选择问题。我们的方法涉及信息准则,非负矩阵分解和奇异值阈值,我们用真实和模拟数据说明我们的技术。
2015-01-10 stat.ML
Gromov-Wasserstein Factorization Models for Graph Clustering
Infinia ML Inc.(英飞尼亚机器学习公司)
我们提出了一个新的非线性因子分解模型的图的拓扑结构,并可选地,节点属性。这个模型是基于一个伪度量称为Gromov-Wasserstein(GW)的差异,比较关系的方式图。它将观察到的图估计为由一组具有不同权重的原子构造的GW重心。通过最小化每个观察到的图与其基于GW重心的估计之间的GW差异,我们学习与观察到的图相关联的原子及其权重。该模型实现了一种新的灵活的因子分解机制,在GW差异下,观察到的图和可学习的原子可以是不对齐的,并具有不同的大小。我们设计了一个有效的近似算法来学习这个Gromov-Wasserstein分解(GWF)模型,将循环计算展开为堆叠模块并使用反向传播计算梯度。堆叠的模块可以具有两种不同的架构,其分别对应于邻近点算法(PPA)和Bregman交替方向乘法器方法(BADMM)。实验表明,我们的模型在聚类图上获得了令人鼓舞的结果。
2019-11-19 cs.LG stat.ML
Robust Non-Linear Matrix Factorization for Dictionary Learning, Denoising, and Clustering
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Cornell University(康奈尔大学)
低维非线性结构广泛存在于计算机视觉和机器学习的数据集中。最近提出了核矩阵分解技术,通过观察足够大的特征空间中的矩阵图像是低秩的,来学习这些非线性结构,用于去噪、分类、字典学习和缺失数据填补。然而,这些非线性方法在稀疏噪声或离群值的存在下失败。在这项工作中,我们提出了一个新的鲁棒非线性分解方法称为鲁棒非线性矩阵分解(RNLMF)。RNLMF通过分解核化特征空间来构建数据空间的字典;然后可以将噪声矩阵分解为稀疏噪声矩阵和位于低维非线性流形中的干净数据矩阵的总和。RNLMF对稀疏噪声和离群值具有鲁棒性,并可扩展到具有数千行和列的矩阵。根据经验,RNLMF在去噪和聚类方面比基线方法取得了显着的改进。
2020-12-02 cs.LG stat.ML
First Order Methods for Robust Non-negative Matrix Factorization for Large Scale Noisy Data
非负矩阵分解(NMF)在可分性假设下是可识别的,在可分性假设下,输入数据矩阵的所有列(或行)都属于仅由这些列(或行)中的少数列(或行)生成的凸锥[1]。然而,在实际应用中,这种可分性假设很难满足。继[4]和[5]之后,在本文中,我们研究了基于线性规划(LP)的重新制定,以定位凸锥的极端光线,但在噪声设置中。此外,为了处理大规模的数据,我们采用一阶方法(FOM)来减轻LP的计算复杂性,这主要是由于大量的约束。我们展示了该算法在真实和合成数据集上的性能。
2014-03-24 stat.ML
A Unified Framework for Sparse Non-Negative Least Squares using Multiplicative Updates and the Non-Negative Matrix Factorization Problem
研究了稀疏非负最小二乘(S-NNLS)问题。S-NNLS自然发生在各种各样的应用中,其中必须从线性测量中恢复未知的非负量。我们提出了一个统一的框架,S-NNLS的基础上整流幂指数尺度混合物之前的稀疏码。我们表明,该框架包含了一大类的S-NNLS算法,并提供了一个计算效率的推理过程的基础上乘法更新规则。这种更新规则便于同时解决大量的S-NNLS问题,这在稀疏非负矩阵分解(S-NMF)等背景下是必需的。我们提供了理论上的理由,所提出的方法表明,被优化的目标函数的局部极小值是稀疏的,并保证S-NNLS算法收敛到一组固定点的目标函数。然后,我们将我们的框架扩展到S-NMF,表明我们的框架导致许多众所周知的S-NMF算法在特定的选择之前,并提供了一个保证,一个流行的子类所提出的算法收敛到一组固定点的目标函数。最后,我们研究了所提出的方法在合成数据和真实数据上的性能。
2018-01-02 stat.ML
Deep Matrix Factorization with Adaptive Weights for Multi-View Clustering
ALTECA(阿尔泰卡公司);Sorbonne Paris Nord University(巴黎北索邦大学);CY Cergy Paris University(塞尔吉-蓬图瓦兹大学)
针对多视图聚类中特征选择不足和超参数依赖经验的问题,提出DMFAW,利用控制理论机制动态调节特征权重并融合局部划分,实验显示其性能优于现有方法。
2024-12-03 cs.AI cs.LG stat.ML
Hybrid Clustering based on Content and Connection Structure using Joint Nonnegative Matrix Factorization
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究所)
提出了一种基于约束低秩近似的混合方法,用于同时包含文本内容和连接结构的数据集上的潜在信息发现。新方法联合优化了文本聚类的非负矩阵分解(NMF)目标函数和图聚类的对称NMF(SymNMF)目标函数。我们提出了一个有效的算法的联合NMF目标函数,基于块坐标下降(BCD)框架。所提出的混合方法通过使用SymNMF发现的潜在连接来发现内容关联。当使用超图公式或内容与超图边缘相关联时,该方法也可以应用于问题的自然转换。实验结果表明,通过同时利用内容和连接结构,我们的混合方法产生更高质量的聚类结果相比,其他NMF聚类方法,单独使用内容(标准NMF)或连接结构(SymNMF)。我们还提出了一些有趣的应用程序,以几种类型的现实世界的数据,如论文的引用建议。本文提出的混合方法也适用于一般的数据表示的特征空间向量和两两相似性,并可以扩展到多个特征空间或多个相似性措施的情况。
2017-03-28 cs.LG stat.ML
Applying separative non-negative matrix factorization to extra-financial data
我们在这里提出了一个原始的应用程序的非负矩阵分解(NMF)方法,额外的金融数据的情况下。这些数据受到协变量之间以及观测之间的高度相关性的影响。NMF比简单的主成分分析(PCA)提供了一个更相关的协变量和观测值的聚类。此外,我们表明,应用NMF之前的初始数据分离步骤进一步提高了聚类的质量。
2022-06-09 q-fin.CP stat.ML
A particle-based variational approach to Bayesian Non-negative Matrix Factorization
贝叶斯非负矩阵分解(NMF)是一种很有前途的方法来理解矩阵数据的不确定性和结构。然而,大量的应用工作优化了传统的非贝叶斯NMF目标,无法提供一个原则性的理解NMF固有的不可识别性-一个问题,理想地解决了贝叶斯方法。尽管它们的适用性,目前的贝叶斯NMF方法未能获得普及的应用环境中,他们牺牲灵活性建模易于处理的计算,往往陷入局部模式,并需要成千上万的样本有意义的不确定性估计。我们通过贝叶斯NMF的基于粒子的变分方法来解决这些问题,该方法仅需要联合似然可微以实现可处理性,使用新型初始化技术来识别后验中的多个模式,并允许领域专家检查“小”集忠实地代表后验的因子分解。我们引入并采用了一类似然和先验分布的NMF,制定一个贝叶斯模型,使用流行的非贝叶斯NMF目标。在几个真实的数据集上,我们在比基线更短的时间内获得了对贝叶斯NMF后验的更好的粒子近似,并证明了多模态在NMF相关任务中发挥的重要作用。
2018-03-16 stat.ML
Revisiting Dynamic Graph Clustering via Matrix Factorization
The University of Tokyo(东京大学);Institute of Science Tokyo(东京科学大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);RMIT University(皇家墨尔本理工大学)
针对基于矩阵分解的动态图聚类方法存在的可扩展性差、鲁棒性不足等问题,提出时间分离矩阵分解、双聚类正则化和选择性嵌入更新三项改进,实验验证其在大规模动态图上的有效性、效率与鲁棒性。
2025-02-10 cs.AI cs.LG stat.ML
Two-Dimensional Semi-Nonnegative Matrix Factorization for Clustering
Qingdao University(青岛大学);University of Electronic Science and Technology of China(电子科技大学);University of Kentucky(肯塔基大学)
本文提出了一种新的二维数据的半非负矩阵分解方法TS-NMF。它克服了现有方法在预处理步骤中通过将二维数据转换为矢量来严重破坏数据的空间信息的缺点。特别地,在构建新的数据表示的指导下寻求投影矩阵,使得空间信息被保留并且投影通过聚类的目标被增强,这有助于构造最优投影方向。此外,为了利用数据的非线性结构,在投影子空间中构造流形,该流形根据投影自适应地更新,并且较少受数据的噪声和异常值的影响,因此在投影空间中更具代表性。因此,寻求投影,构建新的数据表示和学习流形无缝集成在一个模型中,相互增强,并导致强大的数据表示。综合的实验结果验证了TS-NMF的有效性与几个国家的最先进的算法相比,这表明所提出的方法在现实世界中的应用潜力很大。
2020-05-19 cs.LG stat.ML
Non-negative matrix factorization based on generalized dual divergence
Fox Chase Cancer Center, Temple University Health System(天普大学卫生系统福克斯·蔡斯癌症中心)
提出了一个基于广义对偶库尔贝克-莱布勒散度的非负矩阵分解的理论框架,该框架包含了指数模型族的成员.使用这个框架开发了一系列算法,并使用期望最大化算法证明了其收敛性。该方法概括了现有的一些方法,不同的噪声结构和对比,最近提出的准似然方法,从而提供了一个有用的替代非负矩阵分解。一个措施,以评估所产生的因式分解的拟合优度。这个框架可以适用于包括惩罚,内核和判别函数以及张量。
2019-05-16 cs.LG stat.CO stat.ML
ACCAMS: Additive Co-Clustering to Approximate Matrices Succinctly
Google(谷歌)
矩阵完成和近似是流行的工具,以捕捉用户的偏好推荐和近似缺失的数据。而不是使用低秩因子分解,我们采取了一个截然不同的方法,基于简单的见解,一个加性模型的共同聚类允许一个近似矩阵有效。这使我们能够构建一个简洁的模型,每学习一点模型,都大大击败了矩阵近似的所有因子分解方法。更令人惊讶的是,我们发现,在小的联合聚类求和是更有效的建模矩阵比经典的联合聚类,它只使用一个大的矩阵分区。遵循奥卡姆剃刀原理表明,我们的模型所诱导的简单结构比经典的共聚类或矩阵分解更好地捕捉了现实世界中存在的潜在偏好和决策过程。我们提供了一个迭代的最小化算法,一个崩溃的吉布斯采样器,理论保证矩阵近似,和优秀的经验证据,我们的方法的有效性。我们在Netflix问题上实现了最先进的结果,模型复杂性只有一小部分。
2014-12-31 cs.LG stat.ML
A deep matrix factorization method for learning attribute representations
Imperial College London(帝国理工学院);Google Robotics(谷歌机器人部门)
半非负矩阵分解(Semi-Non-Negative Matrix Factorization)是一种学习数据集的低维表示的技术,它有助于聚类解释。这是可能的,这种新的表示和我们的原始数据矩阵之间的映射包含相当复杂的层次信息与隐含的较低级别的隐藏属性,经典的一级聚类方法不能解释。在这项工作中,我们提出了一种新的模型,深度半NMF,它能够学习这种隐藏的表示,允许自己根据给定数据集的不同,未知的属性来解释聚类。我们还提出了一个半监督版本的算法,名为深度WSF,它允许使用(部分)先验信息的数据集的每个已知属性,这使得该模型可以用于混合属性知识的数据集。最后,我们证明了我们的模型能够学习更适合聚类和分类的低维表示,优于半非负矩阵分解,也优于其他最先进的方法变体。
2015-09-10 cs.CV cs.LG stat.ML
Non-negative Factorization of the Occurrence Tensor from Financial Contracts
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
我们提出了一个算法的非负因子分解的发生张量从异构网络。我们使用l0范数对离散值(事件)上的稀疏误差进行建模,并使用分解因子对嵌入的节点组进行建模。提出了一种有效的分裂方法来优化非凸非光滑目标。我们研究了合成问题和一个新的数据集建立从金融文件,resMBS。
2016-12-10 cs.CE cs.LG stat.ML
Negative Binomial Matrix Factorization for Recommender Systems
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心)
我们介绍负二项矩阵分解(NBMF),矩阵分解技术专门设计用于分析过分散计数数据。它可以被看作是一个扩展的泊松矩阵分解(PF)扰动的乘法项模型曝光。这个术语为控制分散带来了一定的自由度,使NBMF对离群值更加鲁棒。我们表明,NBMF允许跳过传统的预处理阶段,如二值化,这会导致信息丢失。两种估计方法:最大似然和变分贝叶斯推断。我们用推荐任务测试了我们的模型,并展示了它比PF更精确地预测用户口味的能力。
2018-01-05 cs.IR cs.LG stat.ML
Unsupervised Phase Mapping of X-ray Diffraction Data by Nonnegative Matrix Factorization Integrated with Custom Clustering
分析大的X射线衍射(XRD)数据集是组合材料库的组成相图的高通量映射的关键步骤。优化和自动化这项任务可以帮助加快发现具有新颖和理想特性的材料的过程。在这里,我们报告了一种新的方法,用于模式分析和相提取的XRD数据集。该方法扩展了非负矩阵分解方法,该方法以前曾用于分析此类数据集,通过将其与自定义聚类和互相关算法相结合。这种新方法能够鲁棒地确定数据中存在的基础模式的数量,这反过来又能够直接识别任何可能的峰移模式。峰移的出现是由于晶格常数作为组成的函数的连续变化,并且在来自组成分布库的XRD数据集中是普遍存在的。峰移图案的成功识别允许基础XRD图案的适当量化和分类,这是必要的,以便破译每个独特的单相结构对多相区域的贡献。该方法可用于准确测定所研究体系的组成相图。所提出的方法被应用到一个合成和一个实验数据集,并表现出强大的准确性和识别能力。
2018-02-20 cond-mat.mtrl-sci stat.ML
Fast Conical Hull Algorithms for Near-separable Non-negative Matrix Factorization
University of Maryland(马里兰大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
可分性假设(Donoho & Stodden,2003; Arora et al.,2012)将非负矩阵分解(NMF)变成了一个易于处理的问题。最近,一类新的可证明正确的NMF算法出现在这个假设下。本文将可分NMF问题转化为求有限向量集锥壳的极值射线问题。从这个几何的角度来看,我们得到新的可分离的NMF算法,是高度可扩展的和经验噪声鲁棒性,并有其他几个有利的属性,在现有的方法。我们的算法的并行实现展示了高的可扩展性共享和分布式内存机器。
2012-10-03 cs.LG stat.ML
Ordinal Non-negative Matrix Factorization for Recommendation
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心);ISAE-SUPAERO, Université de Toulouse(图卢兹大学 ISAE-SUPAERO 高等航空与航天学院)
本文提出了一种新的非负矩阵分解方法,称为OrdNMF。有序数据是类别数据,它们在类别之间表现出自然的顺序。特别是,它们可以在推荐系统中找到,无论是显式数据(如评级)还是隐式数据(如量化播放计数)。OrdNMF是一种概率潜在因子模型,它将Bernoulli-Poisson因子分解(BePoF)和Poisson因子分解(PF)推广到二进制数据。与这些方法相反,OrdNMF避免了二值化,并且可以利用数据的更多信息表示。我们设计了一个有效的变分算法的基础上,一个合适的模型增强和相关的变分PF。特别是,我们的算法保留了PF的可扩展性,并可以应用于巨大的稀疏数据集。我们报告了显式和隐式数据集上的推荐实验,并表明OrdNMF优于应用于二进制数据的BePoF和PF。
2020-09-02 cs.LG stat.ML
Flexible Auto-weighted Local-coordinate Concept Factorization: A Robust Framework for Unsupervised Clustering
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Department of Computer Science, University of Georgia(佐治亚大学计算机科学系)
由于概念因子分解(CF)及其变体对噪声的敏感性、对重构误差的严格约束以及预先获得的近似相似性,可能会产生不准确的表示和聚类结果。为了提高表示能力,提出了一种新的无监督鲁棒灵活自动加权局部坐标概念因子分解(RFA-LCF)框架,用于聚类高维数据。RFA-LCF通过干净数据空间恢复、鲁棒稀疏局部坐标编码和自适应加权将鲁棒灵活CF集成到统一模型中。RFA-LCF通过增强CF对噪声和误差的鲁棒性、对重建误差提供灵活的约束以及联合优化局部性来改进表示。对于鲁棒学习,RFA-LCF清楚地学习稀疏投影以恢复底层的干净数据空间,然后在投影的特征空间中执行灵活的CF。RFA-LCF还使用基于L2,1-范数的灵活残差来编码恢复数据与其重建之间的失配,并使用鲁棒的稀疏局部坐标编码来使用几个邻近基概念来表示数据。对于自动加权,RFA-LCF通过最小化干净数据、锚点和坐标上的重建误差,以自适应的方式联合保留基础概念空间和新坐标空间中的流形结构。通过交替地更新局部坐标保持数据、基概念和新坐标,可以潜在地提高表示能力。在公共数据库上的大量实验结果表明,与其他相关方法相比,RFA-LCF提供了最先进的聚类结果。
2019-09-02 cs.CV cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University(哥伦比亚大学);Adobe Research(Adobe研究院);Adobe Systems Incorporated(奥多比系统公司)
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解(NMF)模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同,具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束,恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明,该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Identifiable Phenotyping using Constrained Non-Negative Matrix Factorization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);New York University(纽约大学)
这项工作提出了一种新的算法,用于使用电子健康记录(EHR)的临床记录自动和同时对多种共同发生的医疗状况(也称为合并症)进行表型分析。一个基本的潜在因素估计技术的非负矩阵分解(NMF)增强域特定的约束,以获得稀疏的潜在因素,锚定到一组固定的慢性疾病。所提出的锚定机制确保潜在因素和目标合并症之间的一对一可识别和可解释的映射。临床专家对经验结果的定性评估表明,所提出的模型在预测30天死亡率的同时学习了临床可解释的表型。所提出的方法可以很容易地适用于各种医疗机构的任何非负EHR数据。
2016-09-20 cs.LG stat.ML
Fast and Effective Algorithms for Symmetric Nonnegative Matrix Factorization
对称非负矩阵分解(SNMF)模型作为许多标准聚类算法(包括流行的谱聚类方法)的简单重构而自然出现。最近的工作表明,SNMF的一个基本实例提供了优越的聚类质量相比,许多经典的聚类算法在各种合成和真实世界的数据集。在这项工作中,我们提出了新的重新制定的这种情况下的SNMF变量分裂的概念的基础上,并产生两个快速有效的算法,其优化使用i)可证明收敛的加速邻近梯度(APG)的过程和ii)的启发式版本的交替方向乘法(ADMM)框架。我们的两个算法之间的计算速度和数学收敛保证提出了一个有趣的权衡:虽然前者的方法是可证明收敛的,它是相当慢,比后者的方法,我们也提供了显着的,但不太严格的数学证明其收敛性。通过大量的实验,我们不仅表明,这些方法的功效是等于最先进的SNMF算法的状态,而且,后者的算法是非常快的一个到两个数量级的总计算时间比最先进的方法,甚至优于谱聚类在大数据集的计算时间。
2016-09-17 cs.CV cs.LG stat.ML
A Non-Negative Factorization approach to node pooling in Graph Convolutional Neural Networks
Università di Pisa(比萨大学)
本文讨论了一种池机制,以诱导图结构数据的二次采样,并介绍了它作为一个组成部分的图卷积神经网络。池化机制建立在表示节点邻接性和节点相似性的矩阵的非负矩阵分解(NMF)上,所述节点邻接性和节点相似性通过模型学习的顶点嵌入自适应地获得。这种机制被应用于获得一个增量粗图,其中节点被自适应地汇集到社区的基础上的非负因子分解的结果。对图分类基准的实证分析表明,这种粗化过程如何产生显着改善的预测性能的模型相对于其非池对应。
2019-09-07 cs.AI cs.LG cs.NE
Guided Semi-Supervised Non-negative Matrix Factorization on Legal Documents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
分类和主题建模是机器学习中从大规模数据集中提取信息的流行技术。通过结合先验信息,如标签或重要特征,已经开发出方法来执行分类和主题建模任务;然而,大多数可以执行这两种任务的方法不允许指导主题或特征。在本文中,我们提出了一种方法,即引导半监督非负矩阵分解(GSSNMF),进行分类和主题建模,将监督从预先分配的文档类标签和用户设计的种子词。我们通过将其应用于加州无罪项目提供的法律文件来测试这种方法的性能,该项目是一个致力于释放无辜被定罪者和改革司法系统的非营利组织。结果表明,我们提出的方法提高了分类精度和主题一致性相比,过去的方法,如半监督非负矩阵分解(SSNMF)和引导非负矩阵分解(引导NMF)。
2022-01-31 cs.IR cs.LG stat.ML
Federated Matrix Factorization: Algorithm Design and Application to Data Clustering
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
近年来,人们对数据隐私的要求使得联邦学习(FL)成为大规模异构网络中一种新的分布式学习范式。尽管已经提出了许多FL算法,但是很少有人考虑矩阵分解(MF)模型,该模型已知具有大量的信号处理和机器学习应用。与现有的FL算法是针对单一变量块的光滑问题而设计的不同,联邦MF(FedMF)算法需要处理两个变量块的非凸和非光滑问题(由于约束或正则化)。在本文中,我们提出了两个新的FedMF算法,即FedMAvg和FedMGS,模型平均和梯度共享原则的基础上,分别解决这一挑战。FedMAvg和FedMGS都采用每轮通信多步本地更新的方式来加快收敛速度,并只允许随机抽样的客户端子集与服务器通信以降低通信开销。分别给出了两种算法的收敛性分析,描述了数据分布、局部更新次数和部分客户端通信对算法性能的影响。通过集中在一个数据聚类任务,广泛的实验结果,以检查这两种算法的实际性能,以及证明他们的有效性,现有的分布式聚类算法。
2020-10-30 cs.DC cs.LG math.OC
Detecting multi-timescale consumption patterns from receipt data: A non-negative tensor factorization approach
University of Southern California(南加州大学);Kobe University(神户大学);CyberAgent, Inc.(CyberAgent 公司);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
了解消费者行为是一项重要的任务,不仅对制定营销战略,而且对经济政策的管理。然而,检测消费模式,是一个高维的问题,其中各种因素会影响消费者的行为需要考虑,如消费者的人口统计,昼夜节律,季节周期等,在这里,我们开发了一种方法来提取多时间尺度的消费者的支出模式从一个大的数据集扫描收据。我们使用非负张量因子分解(NTF)来同时检测周内和周间的消费模式。所提出的方法使我们能够根据不同时间尺度上相关的消费模式来表征消费者。
2020-08-02 cs.LG stat.ML
Non-Negative Matrix Factorizations for Multiplex Network Analysis
网络已经成为表示、分析和建模多个领域中出现的关系数据的通用工具。网络分析的一个重要方面是社区发现或网络聚类。直到最近,主要的焦点一直是发现社区结构中的单一(即,单路)网络。然而,随着具有多种模态的关系数据的出现,多重网络,即,出现了由代表关系不同方面的多个层次组成的网络。因此,复用网络中的社区发现,即,检测所有层共享的节点集群已成为新的挑战。在本文中,我们提出了网络融合复合社区提取(NF-CCE),一类新的算法,基于四种不同的非负矩阵分解模型,能够提取复合社区在多路复用网络。每个算法分为两个步骤:首先,它找到每个网络层的非负,低维特征表示;然后,它通过集体因子分解将层的特征表示融合成一个共同的非负,低维特征表示。从共同特征表示中提取复合聚类。我们证明了我们的算法在各种类型的多路复用网络,包括生物,社会,经济,引用,电话通信和大脑多路复用网络的最先进的方法的优越性能。
2017-01-25 cs.SI stat.ML
Text Mining using Nonnegative Matrix Factorization and Latent Semantic Analysis
Shahid Bahonar University of Kerman(沙希德巴霍纳尔克尔曼大学)
文本聚类可以说是现代数据采掘中最重要的课题之一。然而,文本数据需要标记化,这通常会产生非常大且高度稀疏的术语-文档矩阵,这通常难以使用传统的机器学习算法进行处理。潜在语义分析等方法有助于缓解这个问题,但在实践中并不完全稳定。因此,我们提出了一种新的基于非负矩阵分解的特征聚集方法,该方法将术语分组,然后将每组的术语向量聚集成一个新的特征向量。这些特征向量一起创建了一个更适合聚类的新特征空间。此外,我们提出了一个新的确定性初始化球形K均值,这证明是非常有用的这种特定类型的数据。为了评估所提出的方法,我们将其与该领域的一些最新研究以及一些最实用的方法进行比较。在我们的实验中,我们得出结论,该方法要么显着提高聚类性能,或保持其他方法的性能,同时提高结果的稳定性。
2020-02-24 cs.LG stat.ML
Intersecting Faces: Non-negative Matrix Factorization With New Guarantees
Microsoft Research New England(新英格兰微软研究院)
非负矩阵分解(NMF)是一种自然的混合模型,在科学和工程中有着广泛的应用。已经开发了大量的算法来解决NMF,但由于问题的非凸性质,几乎不能保证这些方法的工作效果。最近的研究热潮集中在一类非常有限的NMF,称为可分离NMF,其中已开发出可证明正确的算法。在本文中,我们提出了子集可分NMF的概念,它实质上推广了可分性的性质。我们表明,子集可分性是一个自然的必要条件,分解是唯一的或有最小的体积。我们提出了面交算法,该算法在自然条件下可有效地解决子集可分NMF问题,并证明了该算法对小噪声具有鲁棒性。我们探讨了模拟的面相交的性能,并讨论了它在经验上优于最先进方法的设置。我们的工作是一个步骤,找到可证明正确的算法,解决大类NMF问题。
2015-07-08 cs.LG stat.ML
An Oracle Inequality for Quasi-Bayesian Non-Negative Matrix Factorization
本文的目的是提供一些理论上的理解准贝叶斯聚集方法的非负矩阵分解。我们得到了一个聚集估计量的预言不等式。这一结果适用于一个非常一般的先验分布类,并显示了先验如何影响收敛速度。
2018-06-26 math.ST stat.ML stat.TH
Is Simple Better? Revisiting Non-linear Matrix Factorization for Learning Incomplete Ratings
ETH Zurich(苏黎世联邦理工学院)
矩阵分解技术已被广泛用作推荐系统的协同过滤方法。最近,在这种情况下,已经探索了深度学习算法的不同变体,以改进使用用户-项目交互数据进行个性化推荐的任务。潜在用户或项目因素与原始特征之间的映射是高度非线性的,这一想法表明经典的矩阵分解技术不再足够。在本文中,我们提出了一种多层非线性半非负矩阵分解方法,其动机是用户-项目交互可以更准确地使用非线性项目特征的线性组合来建模。首先,我们从设计的多层非线性Semi-NMF方法中学习用户和项目表示的潜在因素。其次,将构建的架构与深度学习算法(如受限玻尔兹曼机和最先进的深度矩阵分解技术)进行比较。通过在潜在项空间中使用监督率预测任务和无监督聚类,我们证明了我们提出的方法在预测中具有更好的泛化能力,并且在聚类任务中具有与深度矩阵分解相当的表示能力。
2018-09-21 cs.LG stat.ML
Upper Bound of Bayesian Generalization Error in Non-negative Matrix Factorization
非负矩阵分解(NMF)是一种新的知识发现方法,用于文本挖掘,信号处理,生物信息学和消费者分析。然而,由于它不是一个规则的统计模型,其作为学习机的基本性质还不清楚,导致NMF的理论最优化方法尚未建立。本文研究了NMF的实对数典型阈值,并给出了贝叶斯学习中推广误差的一个上界。结果表明,如果应用贝叶斯学习,可以使矩阵分解的泛化误差小于常规统计模型。
2017-10-01 cs.LG math.ST stat.ML
Regularized Non-negative Spectral Embedding for Clustering
Beihang University(北京航空航天大学)
谱聚类是一种将数据点分成组的流行技术,特别是对于复杂的数据集。谱聚类家族中的算法通常由多个单独的阶段组成(例如相似性矩阵构建,低维嵌入和作为后处理的K-Means聚类),由于不同阶段之间可能存在不匹配,因此可能导致次优结果。在本文中,我们提出了一个端到端的单阶段学习方法聚类称为正则化非负谱嵌入(RNSE),扩展了谱聚类与自适应学习的相似性矩阵,同时利用非负约束,以促进一步聚类(直接从数据点到聚类标签)。两个有充分根据的方法,连续交替投影和战略乘法更新,解决了相当具有挑战性的优化问题的RNSE。在合成数据集和真实数据集上进行的大量实验表明,RNSE的聚类性能优于一些最先进的竞争对手。
2019-11-01 cs.LG stat.ML
Non--negative matrix factorization using the \textit{R} package \textsf{nnmf}
Muğla SıtkıKoçman University Faculty of Science Department of Statistics(穆尔加大学科学学院统计学系);University of Crete(克里特大学);University of Piraeus(比雷埃克斯大学)
该研究引入新的用于非负矩阵分解的R包,与两个广泛使用的R包进行系统性能比较,通过使用真实数据和一致实验框架,重点评估计算效率等多方面性能,为实际应用选择合适包提供客观指导。
2026-07-23 cs.LG stat.ML
A Comparative Study of Gamma Markov Chains for Temporal Non-Negative Matrix Factorization
Aalto University(阿尔托大学);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);IRIT;Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);DI ENS(巴黎高等师范学院信息学系);INRIA(法国国家信息与自动化研究所);Université PSL(巴黎文理研究大学)
非负矩阵分解(NMF)已成为一类行之有效的方法,用于分析非负数据。特别是,人们在概率NMF方面投入了大量精力,即描述数据的概率模型中的估计或推理任务,例如基于泊松或指数似然。当处理时间序列数据时,一些工作已经提出将激活系数的演变建模为非负马尔可夫链,大多数时间与Γ分布相关,从而产生所谓的时间NMF模型。在本文中,我们回顾了四个伽玛马尔可夫链的NMF文献,并表明他们都有一个共同的缺点:缺乏一个良好定义的平稳分布。然后,我们介绍了第五个过程,一个被忽视的模型的时间序列文献命名为BGAR(1),它克服了这一限制。这些时间NMF模型,然后比较在MAP框架上的预测任务,在泊松似然的上下文中。
2021-02-25 cs.LG stat.ML
Minimum description length as an objective function for non-negative matrix factorization
University of Southampton(南安普顿大学)
非负矩阵分解(NMF)是一种降维技术,它倾向于产生数据的稀疏表示。通常,实际矩阵和重建矩阵之间的误差被用作目标函数,但这种方法可能不会产生我们想要的表示类型,因为它允许模型的复杂性增长,仅受子空间大小和非负性要求的约束。如果施加额外的约束,如稀疏性,参数选择的问题变得至关重要。而不是增加稀疏性约束,在特设的方式,我们提出了一种新的目标函数,通过使用最小描述长度(MDL)的原则。我们的公式,MDL-NMF,自动权衡模型的复杂性和准确性之间的原则性的方法,几乎没有参数选择或需要领域的专业知识。我们证明了我们的模型有效地工作在三个异构的数据集和一系列的半合成数据显示我们的方法的广泛适用性。
2019-02-05 cs.LG stat.ML
Scalable Bayesian Non-Negative Tensor Factorization for Massive Count Data
Duke University(杜克大学)
我们提出了一个贝叶斯非负张量因式分解模型的计数值张量数据,并开发可扩展的推理算法(批量和在线)处理大量的张量。我们的生成模型可以处理过度分散的计数以及推断分解的秩。此外,利用将泊松分布重新参数化为多项式有助于模型中的共轭性,并实现简单有效的吉布斯抽样和变分贝叶斯(VB)推断更新,其计算成本仅取决于张量中非零的数量。该模型还提供了一个很好的解释的因素,在我们的模型中,每个因素对应于一个“主题”。我们开发了一套在线推理算法,允许进一步扩展到大规模的张量模型,批量推理方法可能是不可行的。我们将我们的框架应用于不同的现实世界的应用程序,如科学出版物数据库上的\emph{multiway}主题建模,分析政治学数据集,并分析大量的家庭交易数据集。
2015-08-18 cs.LG stat.ML
Structural and Functional Discovery in Dynamic Networks with Non-negative Matrix Factorization
时间序列图形在现代数据中越来越普遍,并对视觉探索和模式提取提出了独特的挑战。本文介绍了矩阵分解的发展和应用,探索和时变社区发现的时间演变图序列。矩阵分解模型允许用户锁定并显示有趣的底层结构及其随时间的演变。该方法可扩展到具有大量时间点或节点的加权网络,并且可以适应图拓扑的突然变化。我们的技术证明了几个动态图系列从合成和现实世界的数据,包括引文和贸易网络。这些示例说明了用户如何驾驭这些技术,并将其与现有方法相结合,以在许多时间点上发现和显示有意义的图形。
2013-05-30 cs.SI physics.soc-ph stat.ML
Bayesian non-parametric non-negative matrix factorization for pattern identification in environmental mixtures
环境健康研究人员可能会致力于确定代表来源的暴露模式,产品使用,或行为,引起潜在有害的环境化学品暴露的混合物。我们提出了贝叶斯非参数非负矩阵分解(BN ^2 MF)作为一种新的方法来识别模式的化学品暴露时,模式的数量是未知的先验。我们将非负连续先验放置在模式负载和个体分数上以增强可解释性,并使用聪明的非参数稀疏先验来估计模式数。我们进一步推导出估计值周围的变分置信区间;这是一个关键的发展,因为它量化了模型对估计模式的置信度。这些独特的功能与现有的模式识别方法在这一领域中所采用的是有限的用户指定的模式数,缺乏解释性的模式在人类的理解,以及缺乏不确定性量化。
2021-09-24 stat.AP stat.ME stat.ML
Blind Source Separation with Optimal Transport Non-negative Matrix Factorization
Kyoto University(京都大学);NTT Communication Science Laboratories(NTT通信科学实验室)
最优运输作为机器学习优化问题的一种损失,最近得到了很多关注。基于计算最优传输的最新进展,我们提出了一种用于有监督语音盲声源分离(BSS)的最优传输非负矩阵分解(NMF)算法。最佳传输使我们能够设计和利用短时傅里叶变换(STFT)频谱图频率之间的成本,这考虑了人类如何感知声音。我们给出的经验证据表明,使用我们提出的最佳传输NMF导致感知更好的结果比欧几里德NMF,孤立的语音重建和BSS任务。最后,我们演示了如何使用跨域声音处理任务的最佳传输,其中在输入频谱图中表示的频率可能是不同的从一个频谱图到另一个。
2018-02-15 cs.SD eess.AS stat.ML
Song Recommendation with Non-Negative Matrix Factorization and Graph Total Variation
Swiss Federal Institute of Technology (EPFL)(瑞士联邦理工学院(洛桑联邦理工学院))
这项工作制定了一个新的歌曲推荐系统作为一个矩阵完成的问题,受益于协同过滤通过非负矩阵分解(NMF)和基于内容的过滤通过全变差(TV)的图形。这些图表使用音频、元数据和社交功能的丰富组合对播放列表接近度信息和歌曲相似度进行编码。正如我们所展示的,我们的混合推荐系统是非常通用的,并结合了几个著名的方法,同时优于他们。特别是,我们在现实世界的数据表明,我们的模型克服了w.r.t.两个评估度量:仅基于低秩信息、基于图的信息或两者的组合的模型的推荐。
2016-01-13 cs.IR cs.LG physics.data-an
PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization
The Ohio State University(俄亥俄州立大学)
非负矩阵分解(NMF)是无监督降维的核心,在主题建模、推荐系统和生物信息学等领域有着广泛的应用。由于必须执行重复NMF的应用程序的计算密集型性质,过去已经开发了几种并行实现。然而,现有的并行NMF算法没有解决数据局部性优化,这对于高性能是关键的,因为数据移动成本大大超过当前计算机系统上的算术/逻辑运算的成本。在本文中,我们设计了一个并行NMF算法的基础上的HALS(分层交替最小二乘)计划,采用算法变换,以提高数据的局部性。该算法在多核CPU和GPU上的有效实现,表现出显着的性能改善现有的最先进的并行NMF算法。
2019-04-16 cs.DC cs.LG stat.ML