Detecting multi-timescale consumption patterns from receipt data: A non-negative tensor factorization approach
University of Southern California（南加州大学）；Kobe University（神户大学）；CyberAgent, Inc.（CyberAgent 公司）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
了解消费者行为是一项重要的任务，不仅对制定营销战略，而且对经济政策的管理。然而，检测消费模式，是一个高维的问题，其中各种因素会影响消费者的行为需要考虑，如消费者的人口统计，昼夜节律，季节周期等，在这里，我们开发了一种方法来提取多时间尺度的消费者的支出模式从一个大的数据集扫描收据。我们使用非负张量因子分解（NTF）来同时检测周内和周间的消费模式。所提出的方法使我们能够根据不同时间尺度上相关的消费模式来表征消费者。
2020-08-02 cs.LG stat.ML
Negative Binomial Matrix Factorization for Recommender Systems
IRIT, Université de Toulouse, CNRS（图卢兹大学 IRIT 研究所、法国国家科学研究中心）
我们介绍负二项矩阵分解（NBMF），矩阵分解技术专门设计用于分析过分散计数数据。它可以被看作是一个扩展的泊松矩阵分解（PF）扰动的乘法项模型曝光。这个术语为控制分散带来了一定的自由度，使NBMF对离群值更加鲁棒。我们表明，NBMF允许跳过传统的预处理阶段，如二值化，这会导致信息丢失。两种估计方法：最大似然和变分贝叶斯推断。我们用推荐任务测试了我们的模型，并展示了它比PF更精确地预测用户口味的能力。
2018-01-05 cs.IR cs.LG stat.ML
Intersecting Faces: Non-negative Matrix Factorization With New Guarantees
Microsoft Research New England（新英格兰微软研究院）
非负矩阵分解（NMF）是一种自然的混合模型，在科学和工程中有着广泛的应用。已经开发了大量的算法来解决NMF，但由于问题的非凸性质，几乎不能保证这些方法的工作效果。最近的研究热潮集中在一类非常有限的NMF，称为可分离NMF，其中已开发出可证明正确的算法。在本文中，我们提出了子集可分NMF的概念，它实质上推广了可分性的性质。我们表明，子集可分性是一个自然的必要条件，分解是唯一的或有最小的体积。我们提出了面交算法，该算法在自然条件下可有效地解决子集可分NMF问题，并证明了该算法对小噪声具有鲁棒性。我们探讨了模拟的面相交的性能，并讨论了它在经验上优于最先进方法的设置。我们的工作是一个步骤，找到可证明正确的算法，解决大类NMF问题。
2015-07-08 cs.LG stat.ML
Non--negative matrix factorization using the \textit{R} package \textsf{nnmf}
Muğla SıtkıKoçman University Faculty of Science Department of Statistics（穆尔加大学科学学院统计学系）；University of Crete（克里特大学）；University of Piraeus（比雷埃克斯大学）
该研究引入新的用于非负矩阵分解的R包，与两个广泛使用的R包进行系统性能比较，通过使用真实数据和一致实验框架，重点评估计算效率等多方面性能，为实际应用选择合适包提供客观指导。
2026-07-23 cs.LG stat.ML
A Comparative Study of Gamma Markov Chains for Temporal Non-Negative Matrix Factorization
Aalto University（阿尔托大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；IRIT；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；DI ENS（巴黎高等师范学院信息学系）；INRIA（法国国家信息与自动化研究所）；Université PSL（巴黎文理研究大学）
非负矩阵分解（NMF）已成为一类行之有效的方法，用于分析非负数据。特别是，人们在概率NMF方面投入了大量精力，即描述数据的概率模型中的估计或推理任务，例如基于泊松或指数似然。当处理时间序列数据时，一些工作已经提出将激活系数的演变建模为非负马尔可夫链，大多数时间与Γ分布相关，从而产生所谓的时间NMF模型。在本文中，我们回顾了四个伽玛马尔可夫链的NMF文献，并表明他们都有一个共同的缺点：缺乏一个良好定义的平稳分布。然后，我们介绍了第五个过程，一个被忽视的模型的时间序列文献命名为BGAR（1），它克服了这一限制。这些时间NMF模型，然后比较在MAP框架上的预测任务，在泊松似然的上下文中。
2021-02-25 cs.LG stat.ML
Guided Semi-Supervised Non-negative Matrix Factorization on Legal Documents
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
分类和主题建模是机器学习中从大规模数据集中提取信息的流行技术。通过结合先验信息，如标签或重要特征，已经开发出方法来执行分类和主题建模任务;然而，大多数可以执行这两种任务的方法不允许指导主题或特征。在本文中，我们提出了一种方法，即引导半监督非负矩阵分解（GSSNMF），进行分类和主题建模，将监督从预先分配的文档类标签和用户设计的种子词。我们通过将其应用于加州无罪项目提供的法律文件来测试这种方法的性能，该项目是一个致力于释放无辜被定罪者和改革司法系统的非营利组织。结果表明，我们提出的方法提高了分类精度和主题一致性相比，过去的方法，如半监督非负矩阵分解（SSNMF）和引导非负矩阵分解（引导NMF）。
2022-01-31 cs.IR cs.LG stat.ML
Scalable Bayesian Non-Negative Tensor Factorization for Massive Count Data
Duke University（杜克大学）
我们提出了一个贝叶斯非负张量因式分解模型的计数值张量数据，并开发可扩展的推理算法（批量和在线）处理大量的张量。我们的生成模型可以处理过度分散的计数以及推断分解的秩。此外，利用将泊松分布重新参数化为多项式有助于模型中的共轭性，并实现简单有效的吉布斯抽样和变分贝叶斯（VB）推断更新，其计算成本仅取决于张量中非零的数量。该模型还提供了一个很好的解释的因素，在我们的模型中，每个因素对应于一个“主题”。我们开发了一套在线推理算法，允许进一步扩展到大规模的张量模型，批量推理方法可能是不可行的。我们将我们的框架应用于不同的现实世界的应用程序，如科学出版物数据库上的\emph{multiway}主题建模，分析政治学数据集，并分析大量的家庭交易数据集。
2015-08-18 cs.LG stat.ML
A Non-Negative Matrix Factorization Game
University of Washington（华盛顿大学）
我们提出了一种新的非负矩阵分解（NNMF），一个流行的数据分析方法与许多科学和工程应用的博弈论制定。博弈论制定具有良好的缩放和并行化性能，同时保留重建和收敛性能相媲美的传统乘法更新算法。
2021-04-11 cs.GT cs.LG
A Survey on Surrogate Approaches to Non-negative Matrix Factorization
University of Bremen（不来梅大学）
出于应用程序在高光谱成像，我们调查的方法近似的高维非负矩阵$\mathbf{\mathit{Y}}$由两个低维，非负矩阵$\mathbf{\mathit{K}}$和$\mathbf{\mathit{X}}.$的产品。这种所谓的非负矩阵分解是基于定义合适的Tikhonov泛函，它结合了一个差异措施$\mathbf{\mathit{Y}}\approx\mathbf{\mathit{KX}}$与惩罚条款强制执行额外的属性$\mathbf{\mathit{K}}$和$\mathbf{\mathit{X}}$。最小化是基于交替最小化相对于$\mathbf{\mathit{K}}$或$\mathbf{\mathit{X}}$，其中在每个迭代步骤中，一个取代了原来的Tikhonov功能的本地定义的代理功能。代理泛函的选择是至关重要的：它应该允许一个相对简单的最小化，同时它的一阶最优性条件应该导致乘法更新规则，自动保持迭代的非负性。我们回顾了Frobenius范数和Kullback-Leibler差异测度的代理泛函的最标准的构造原则。我们扩展了已知的替代结构的一般框架，它允许添加各种各样的惩罚条款。本文最后明确地推导出相应的交替最小化方案，并将这些方法应用于MALDI成像数据。
2018-08-09 cs.LG stat.ML
Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时，在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想，并提供经验和理论证据，足够小的步长和初始化足够接近原点，梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
A Non-Negative Factorization approach to node pooling in Graph Convolutional Neural Networks
Università di Pisa（比萨大学）
本文讨论了一种池机制，以诱导图结构数据的二次采样，并介绍了它作为一个组成部分的图卷积神经网络。池化机制建立在表示节点邻接性和节点相似性的矩阵的非负矩阵分解（NMF）上，所述节点邻接性和节点相似性通过模型学习的顶点嵌入自适应地获得。这种机制被应用于获得一个增量粗图，其中节点被自适应地汇集到社区的基础上的非负因子分解的结果。对图分类基准的实证分析表明，这种粗化过程如何产生显着改善的预测性能的模型相对于其非池对应。
2019-09-07 cs.AI cs.LG cs.NE
Towards Tuning-Free Minimum-Volume Nonnegative Matrix Factorization
Texas Christian University（德克萨斯基督教大学）；Rice University（莱斯大学）
本文提出一种受平方根lasso启发的免调参最小体积非负矩阵分解方法，其调参参数最优值不依赖噪声水平，并设计了具有全局收敛保证的MM算法。
2023-09-24 cs.LG stat.CO stat.ML
Binary Orthogonal Non-negative Matrix Factorization
University of Lethbridge（莱斯布里奇大学）
我们提出了一种计算二进制正交非负矩阵分解（BONMF）的聚类和分类的方法。该方法在几个有代表性的现实世界的数据集上进行了测试。数值结果表明，该方法与相关技术相比，具有更高的精度。该方法具有训练和分类速度快、空间利用率高等优点。
2022-10-19 cs.LG math.OC
Non-negative Matrix Factorization via Archetypal Analysis
Stanford University（斯坦福大学）
给定一组数据点，非负矩阵分解（NMF）建议将它们表示为一小组具有非负条目的“原型”的凸组合。这种分解是唯一的，只有当真正的原型是非负的和足够稀疏（或权重是足够稀疏），一个制度，是由可分性条件及其推广。在本文中，我们研究了一种NMF方法，该方法可以追溯到Cutler和Breiman（1994）的工作，并且不要求数据是可分离的，同时提供了一个普遍唯一的分解。我们优化了两个目标之间的权衡：最小化数据点与原型凸包络的距离（可以解释为经验风险），同时最小化原型与数据凸包络的距离（可以解释为数据依赖正则化）。的原型分析方法（卡特勒，Breiman，1994年）恢复的极限情况下，最后一项被赋予无限的权重。我们引入了一个“唯一性条件”的数据，这是必要的，准确地恢复的原型，从无噪声的数据。我们证明，在唯一性（加上额外的正则条件的几何原型），我们的估计是强大的。虽然我们的方法需要解决一个非凸优化问题，我们发现，标准的优化方法成功地找到了良好的解决方案，为真实和合成数据。
2017-05-08 cs.LG stat.ML
Non-negative matrix factorization with sparseness constraints
非负矩阵分解（NMF）是最近发展起来的一种技术，用于寻找非负数据的基于部分的线性表示。虽然它已成功地应用于多个应用程序中，但它并不总是导致基于零件的表示。在本文中，我们将展示如何明确地将“稀疏”的概念，提高了发现分解。此外，我们还为标准NMF和我们的扩展提供了完整的MATLAB代码。我们希望这将进一步应用这些方法来解决新的数据分析问题。
2004-08-25 cs.LG cs.NE
On the Connection Between Non-negative Matrix Factorization and Latent Dirichlet Allocation
Harvard University（哈佛大学）
本文证明了对两个矩阵列施加 $\ell_1$ 归一化约束并对其中一个矩阵列施加 Dirichlet 先验的 NMF 等价于 LDA，并揭示了联合 MU 算法与 PLSA 的联系及 Lasso 惩罚的局限性。
2024-05-30 cs.LG stat.ML
Biclustering Readings and Manuscripts via Non-negative Matrix Factorization, with Application to the Text of Jude
将证人分组为家庭或文本类型的文本批评实践通常面临两个障碍：手稿传统的污染，以及识别特征阅读和手稿的相互依赖。我们引入非负矩阵分解（NMF）作为一种简单，无监督，有效的方法来同时聚类大量的手稿和读数，同时使用易于解释的混合模型总结污染。我们应用这种方法来广泛的整理新约书信的裘德，并表明，由此产生的集群对应于人类识别的文本家庭从现有的研究。
2016-02-03 cs.LG
Neighborhood Structure Assisted Non-negative Matrix Factorization and its Application in Unsupervised Point-wise Anomaly Detection
Texas A & M University（德克萨斯农工大学）；ABB Corporate Research（ABB企业研究院）；TOTVS Labs（TOTVS实验室）
在异常检测等无监督学习中，先验性降低被认为是确保竞争性能的重要步骤。非负矩阵分解（NMF）是实现这一目标的流行和广泛使用的方法。但是NMF不具有包括邻域结构信息的规定，因此，在存在非线性流形结构的情况下可能无法提供令人满意的性能。为了解决这一缺点，我们建议考虑和纳入NMF框架内的邻域结构相似性信息，通过最小生成树建模的数据。我们将所得到的方法称为邻域结构辅助NMF。我们进一步设计离线和在线算法版本的方法。使用20个基准数据集以及从水电站提取的工业数据集的实证比较表明，邻域结构辅助NMF的优越性，并支持我们的主张的优点。近距离观察邻域结构辅助NMF与其他最近的NMF增强版本的制定和属性，发现使用MST包含邻域结构信息在实现异常检测的增强性能中起着关键作用。
2021-02-05 cs.LG stat.ML
Upper Bound of Bayesian Generalization Error in Non-negative Matrix Factorization
非负矩阵分解（NMF）是一种新的知识发现方法，用于文本挖掘，信号处理，生物信息学和消费者分析。然而，由于它不是一个规则的统计模型，其作为学习机的基本性质还不清楚，导致NMF的理论最优化方法尚未建立。本文研究了NMF的实对数典型阈值，并给出了贝叶斯学习中推广误差的一个上界。结果表明，如果应用贝叶斯学习，可以使矩阵分解的泛化误差小于常规统计模型。
2017-10-01 cs.LG math.ST stat.ML
Robustness of Minimum-Volume Nonnegative Matrix Factorization under an Expanded Sufficiently Scattered Condition
Department of Mathematics and Operational Research University of Mons（数学与运筹学系 马赛大学）
本文针对最小体积非负矩阵分解对噪声的鲁棒性这一长期开放问题，提出并证明了在扩展充分散射条件下，min-vol NMF能够在噪声存在时准确识别真实因子。
2025-11-06 cs.LG cs.NA eess.SP
Stochastic Matrix Factorization
Federal Trade Commission（联邦贸易委员会）
本文考虑了非负矩阵分解的一个限制，其中至少有一个矩阵因子是随机的。也就是说，矩阵因子的元素是非负的，并且一个矩阵因子的列总和为1。这种限制包括主题模型，这是一种分析非结构化数据的流行方法。它还包括用于存储和查找图片的方法。本文给出了观测数据上因子分解唯一的充要条件。此外，本文的特点是自然界的参数为任何观察到的数据，并提出了一个一致的最小二乘估计。结果表明，使用主题模型分析的博士论文摘要在经济学和存储和检索一组照片的脸的问题。
2016-09-19 cs.LG stat.ML
Identifying Population Movements with Non-Negative Matrix Factorization from Wi-Fi User Counts in Smart and Connected Cities
University of Colorado at Boulder（科罗拉多大学博尔德分校）
非负矩阵分解（NMF）是一种有价值的矩阵分解技术，它产生一个“基于部分”的数据集分解。Wi-Fi用户数量是智能互联城市环境中人口流动的隐私保护指标。在本文中，我们将具有新型矩阵嵌入的NMF应用于科罗拉多大学博尔德校区的Wi-Fi用户计数数据，以自动识别智能互联基础设施环境中的人类运动模式。
2021-11-19 cs.LG eess.SP
PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization
The Ohio State University（俄亥俄州立大学）
非负矩阵分解（NMF）是无监督降维的核心，在主题建模、推荐系统和生物信息学等领域有着广泛的应用。由于必须执行重复NMF的应用程序的计算密集型性质，过去已经开发了几种并行实现。然而，现有的并行NMF算法没有解决数据局部性优化，这对于高性能是关键的，因为数据移动成本大大超过当前计算机系统上的算术/逻辑运算的成本。在本文中，我们设计了一个并行NMF算法的基础上的HALS（分层交替最小二乘）计划，采用算法变换，以提高数据的局部性。该算法在多核CPU和GPU上的有效实现，表现出显着的性能改善现有的最先进的并行NMF算法。
2019-04-16 cs.DC cs.LG stat.ML
Recovery Guarantee of Non-negative Matrix Factorization via Alternating Updates
Princeton University（普林斯顿大学）
非负矩阵分解是一种流行的工具，用于在非负约束下将数据分解为特征和权重矩阵。它在实践中取得了成功，但理论上却知之甚少。本文提出了一种在解码权重和更新特征之间交替的算法，并表明假设数据的生成模型，它可以在相当温和的条件下证明恢复地面真实。特别是，它对特征的唯一基本要求是线性独立性。此外，该算法使用ReLU来利用非负性来解码权重，因此可以容忍可能与信号一样大的对抗性噪声，并且可以容忍比信号大得多的无偏噪声。分析依赖于两个潜在的功能，我们相信是独立的利益之间精心设计的耦合。
2016-11-11 cs.DS cs.LG stat.ML
Additive Non-negative Matrix Factorization for Missing Data
Epson Research and Development（爱普生研发中心）
提出一种加性非负矩阵分解方法，通过联合优化缺失属性和分解因子来生成测试数据中的缺失属性，并证明算法的单调收敛性。
2010-07-01 cs.LG cs.NA math.NA
Semi-orthogonal Non-negative Matrix Factorization with an Application in Text Mining
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；City University of Hong Kong（香港城市大学）
急诊室拥挤是影响医院管理效率和病人护理质量的世界性问题。这种情况发生时，要求入院病房床位接收病人的请求被推迟，直到医生作出入院决定。为了减少ED的过度拥挤和等待时间，我们建立了一个分类器来预测病人的处置，使用手动输入的护士在分诊过程中收集的笔记，从而使医院工作人员提前开始必要的准备。然而，这些分类笔记涉及高维，噪声，也稀疏的文本数据，这使得模型拟合和解释困难。为了解决这个问题，我们提出了半正交非负矩阵分解（SONMF）的连续和二进制设计矩阵的第一个双集群的患者和单词到一个减少的主题数量。然后，主题可以被解释为正交基主题向量的非减法线性组合。这些生成的主题向量为医院提供了对入院原因的直接理解。我们表明，通过使用变换的基础上，分类精度可以进一步提高相比，传统的词袋模型和替代矩阵分解方法。通过模拟数据实验，我们还表明，所提出的方法优于其他非负矩阵分解（NMF）的分解精度，收敛速度和正交度的方法。
2019-07-04 cs.LG stat.ME stat.ML
Validation of non-negative matrix factorization for assessment of atomic pair-distribution function (PDF) data in a real-time streaming context
Columbia University（哥伦比亚大学）；Colorado State University（科罗拉多州立大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
我们验证使用矩阵分解的原子对分布函数（PDF）数据的相关组件的自动识别。我们还提出了一个新开发的软件基础设施，用于分析PDF数据流的方式到达。然后，我们应用两个矩阵分解技术，主成分分析（PCA）和非负矩阵分解（NMF），在原位实验的背景下，研究模拟和实验数据集。
2020-10-22 cond-mat.mtrl-sci cs.LG
Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently
SUTD（新加坡科技设计大学(SUTD)（注：SUTD是Singapore University of Technology and Design的缩写，常见中文名新加坡科技设计大学））
非负矩阵分解（NMF）是一个基本的非凸优化问题，在机器学习（音乐分析，文档聚类，语音-声源分离等）中有许多应用。尽管已经得到了广泛的研究，但人们对是否存在可以证明收敛到局部最小值的自然算法知之甚少。部分原因是因为目标是重对称的，它的梯度不是Lipschitz。在本文中，我们定义了一个乘法的权重更新型动力学（修改的种子李Seung算法），同时运行，并可证明避免鞍点（一阶不二阶固定点）。我们的技术结合了动力系统的工具，如稳定性，并利用几何的NMF目标，通过减少标准的NMF制定的非负正交到一个新的制定（缩放）单纯形。我们的方法的一个重要优点是使用并发更新，它允许在并行计算环境中实现。
2020-03-19 cs.LG math.OC stat.ML
Topic Diffusion Discovery based on Sparseness-constrained Non-negative Matrix Factorization
National Sun Yat-sen University（国立中山大学）
由于最近的文本数据爆炸，研究人员已经被不同研究社区产生的不断增加的文章数量所淹没。各种学术搜索网站，引文推荐引擎和研究数据库已经被创建，以简化文本搜索任务。然而，研究人员仍然很难在不对期刊、会议、会议和研讨会发表的大量文章进行深入审查的情况下确定潜在的研究主题。在本文中，我们考虑了一种新的主题扩散发现技术，它结合了稀疏约束的非负矩阵分解与广义詹森-香农发散，以帮助理解术语主题的演变和识别主题扩散。我们的实验结果表明，该方法可以从大型文章数据库中提取更多的突出主题，可视化感兴趣的术语和抽象主题之间的关系，并进一步帮助研究人员了解给定的术语/主题是否已被广泛探讨，或者是否有新的主题正在从文献中出现。
2018-07-12 cs.IR cs.LG stat.ML
Song Recommendation with Non-Negative Matrix Factorization and Graph Total Variation
Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（洛桑联邦理工学院））
这项工作制定了一个新的歌曲推荐系统作为一个矩阵完成的问题，受益于协同过滤通过非负矩阵分解（NMF）和基于内容的过滤通过全变差（TV）的图形。这些图表使用音频、元数据和社交功能的丰富组合对播放列表接近度信息和歌曲相似度进行编码。正如我们所展示的，我们的混合推荐系统是非常通用的，并结合了几个著名的方法，同时优于他们。特别是，我们在现实世界的数据表明，我们的模型克服了w.r.t.两个评估度量：仅基于低秩信息、基于图的信息或两者的组合的模型的推荐。
2016-01-13 cs.IR cs.LG physics.data-an
Prediction of Cancer Microarray and DNA Methylation Data using Non-negative Matrix Factorization
Laurentian University（劳伦森大学）；Jaypee Institute of Information Technology（杰普信息技术学院）
在过去的几年里，微阵列技术在许多生物模式中得到了相当大的传播，特别是在那些与白血病、前列腺癌、结肠癌等癌症疾病有关的模式中。人们在正确理解这些数据集时遇到的主要瓶颈在于它们的维度，因此对于研究它们的高效和有效的方法，在很大程度上减小它们的尺寸被认为是必要的。这项研究是一个出价，建议不同的算法和方法，减少这种微阵列数据集的维数。这项研究利用了这种微阵列数据的矩阵状结构，并使用一种流行的技术，称为非负矩阵因子分解（NMF），以减少维数，主要是在生物学数据领域。然后比较这些算法的分类精度。该技术的准确率为98%。
2020-07-15 cs.LG q-bio.QM stat.ML
Privacy-preserving Non-negative Matrix Factorization with Outliers
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
针对非负数据处理中的用户隐私保护需求，提出一种含异常值场景下的隐私保护非负矩阵分解算法，可按需调节隐私保障程度，在六个真实数据集上验证了其在严格隐私保护下接近非隐私算法的性能。
2022-12-09 cs.LG
Non-Negative Matrix Factorization with Scale Data Structure Preservation
Sultan Qaboos University（苏丹卡布斯大学）；École de technologie supérieure（高等技术学院）
本文所描述的模型属于非负矩阵分解方法的家庭设计的数据表示和降维。除了保持数据的正性属性外，它还旨在保持矩阵分解过程中的数据结构。其思想是向NMF成本函数添加惩罚项，以在原始数据点和变换后的数据点的成对相似性矩阵之间施加尺度关系。新模型的解决方案涉及到推导一个新的参数化更新方案的系数矩阵，这使得它有可能提高质量的减少数据时，用于聚类和分类。提出的聚类算法相比，一些现有的NMF为基础的算法和一些流形学习为基础的算法时，应用到一些现实生活中的数据集。实验结果表明了该算法的有效性。
2022-09-22 cs.LG
Analysis of Large-scale Traffic Dynamics using Non-negative Tensor Factorization
INRIA Saclay（法国国家信息与自动化研究所萨克雷研究中心）；MINES-ParisTech（巴黎高科矿业学院）
在本文中，我们提出了我们的工作，在大规模的道路网络中的全球拥堵配置的时间动态的聚类和预测。我们不关注单个链路或小区域的时间交通状态变化，而是关注整个网络的空间拥堵配置。在我们的工作中，我们的目标是描述这种网络级的交通状态的典型的时间动态模式，并实现长期预测的大规模的交通动态，在一个统一的数据挖掘框架。为此，我们使用非负张量分解（NTF）来制定这个联合任务，NTF已被证明是多变量数据序列的有用分解工具。基于紧凑张量因子分解结果执行聚类和预测。大规模模拟数据的实验说明了我们的方法的兴趣与有前途的结果，长期预测的交通演变。
2012-12-18 cs.LG
An Iterative Algorithm for Regularized Non-negative Matrix Factorizations
本研究推广Lee和Seung的非负矩阵分解算法，支持加权范数与岭、Lasso正则化，将乘法更新重构为无零值卡滞的加法更新，还将配套R包rnnmf用于鸡尾酒数据库降秩表示求解。
2024-10-30 cs.LG math.OC stat.AP
Learning Hidden Markov Models using Non-Negative Matrix Factorization
Dartmouth College（达特茅斯学院）；California State University at Los Angeles（加州州立大学洛杉矶分校）
Baum-Welsh算法及其衍生物和变体一直是从观测数据中学习隐马尔可夫模型（HMM）的主要技术。我们提出了一种基于高阶马尔可夫统计的非负矩阵分解（NMF）的HMM学习算法，该算法在结构上不同于Baum-Welsh及其相关方法。所描述的算法支持估计HMM的递归状态的数量，并迭代非负矩阵分解（NMF）算法以改进学习的HMM参数。数值例子也提供。
2011-01-08 cs.AI cs.IT cs.LG
Truncated Cauchy Non-negative Matrix Factorization
National University of Defense Technology（国防科技大学）；University of Sydney（悉尼大学）；Google（谷歌）
非负矩阵分解（NMF）最小化数据矩阵与其低秩近似之间的欧氏距离，并且当应用于损坏的数据时失败，因为损失函数对离群值敏感。在本文中，我们提出了一种截断CauchyNMF损失，通过截断大误差来处理离群值，并开发了一种截断CauchyNMF来鲁棒地学习被离群值污染的噪声数据集上的子空间。我们从理论上分析了截断CauchyNMF与竞争模型的鲁棒性，并证明了截断CauchyNMF具有以$O(\sqrt{{\ln n}/{n}})$阶速度收敛的推广界，其中$n$是样本量.我们通过模拟和真实数据集上的图像聚类来评估截断CauchyNMF。在含有严重损坏数据集上的实验结果验证了截断CauchyNMF学习鲁棒子空间的有效性和鲁棒性。
2019-06-02 cs.CV cs.LG stat.ML
Non-Negative Matrix Factorization for Event Data
Ghent University（根特大学）
提出EventNMF，一种直接对事件时间进行建模的连续时间非负矩阵分解方法，通过B样条基函数分解强度函数，避免分箱预处理的信息损失，并证明标准分箱方法是其特例。
2026-06-04 cs.LG
Primal-Dual Algorithms for Non-negative Matrix Factorization with the Kullback-Leibler Divergence
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
非负矩阵分解（NMF）将给定矩阵近似为两个非负矩阵的乘积。乘法算法提供可靠的结果，但它们对高维数据显示出缓慢的收敛性，并且可能远离局部极小值。梯度下降方法具有更好的性能，但仅适用于平滑损失，如最小二乘损失。在这篇文章中，我们提出了一个一阶原始-对偶算法的非负分解问题（其中一个因子是固定的）与KL散度，基于Chambolle-Pock算法。所有需要的计算可以得到封闭的形式，我们提供了一个有效的启发式的方法来选择步长。通过使用交替优化，我们的算法很容易扩展到NMF，在合成的例子，人脸识别或音乐声源分离数据集，它要么比现有的算法更快，或导致改进的局部最优，或两者兼而有之。
2014-12-04 cs.LG math.OC
Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm
Toronto Metropolitan University（多伦多都会大学）；University of Toronto（多伦多大学）
从高维数据中选择最具信息量和鉴别力的特征是机器学习和数据工程中的一个重要课题。使用基于矩阵分解的技术如非负矩阵分解进行特征选择已经成为特征选择中的一个热门话题。使用矩阵分解的特征选择的主要目标是提取近似原始空间但在较低维度中的子空间。在这项研究中，秩显示QR（RRQR）因子分解，这是计算上比奇异值分解（SVD）便宜，利用在获得最丰富的功能作为一种新的无监督特征选择技术。该技术使用QR的置换矩阵进行特征选择，这是该因子分解方法的独特性质。此外，QR分解嵌入到非负矩阵分解（NMF）的目标函数作为一种新的无监督特征选择方法。最后，提出了一种结合RRQR和遗传算法的混合特征选择算法。在该方法中，使用RRQR分解去除冗余特征，并使用遗传算法选择最具鉴别力的特征子集。该算法是可靠的和强大的，当与最先进的特征选择算法在监督，无监督和半监督设置。所有的方法进行了测试，7个可用的微阵列数据集，使用KNN，SVM和C4.5分类。实验结果表明，该方法与现有的特征选择方法在评价指标上具有可比性。
2022-10-02 cs.LG cs.NE
Non-negative matrix factorization algorithms generally improve topic model fits
Vesalius Therapeutics（维萨利斯制药）
本文通过利用NMF优化方法提升主题模型的拟合效果，证明EM算法与NMF的乘法更新方法本质相同，且在效率和效果上优于现有方法。
2026-02-09 cs.LG stat.CO stat.ML
Multi-View Clustering via Semi-non-negative Tensor Factorization
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
基于非负矩阵分解（NMF）及其变体的多视图聚类（MVC）由于其在聚类可解释性方面的优势，近年来受到了广泛关注。然而，现有的基于NMF的多视图聚类方法分别对每个视图数据进行NMF，忽略了视图间的影响。因此，它们不能很好地利用视内空间结构和视间互补信息。为了解决这个问题，我们提出了半非负张量因子分解（Semi-NTF），并开发了一种新的多视图聚类的基础上半-NTF与单边正交约束。我们的模型直接在由视图的锚图组成的三阶张量上执行Semi-NTF。因此，我们的模型直接考虑视图之间的关系。此外，我们使用张量Schatten p-范数正则化作为三阶张量的秩近似，该三阶张量表征多视图数据的聚类结构，并利用视图间的互补信息。此外，我们提供了一个优化算法，所提出的方法和数学证明，该算法总是收敛到平稳KKT点。在各种基准数据集上的实验表明，我们提出的方法能够获得令人满意的聚类性能。
2023-03-29 cs.LG
The Landscape of Matrix Factorization Revisited
Princeton University（普林斯顿大学）
我们重新审视简单矩阵分解问题的前景。对于低秩矩阵分解，先前的工作表明存在无穷多个临界点，所有这些点要么是全局极小点，要么是严格鞍点。在一个严格的鞍点，Hessian的最小特征值是负的。有趣的是，这个最小特征值是否在所有严格鞍点上一致有界于零以下。为了回答这个问题，我们考虑一般线性群下的临界点轨道。对于每个轨道，我们确定一个代表点，称为典范点。如果一个标准点是严格鞍，那么它的轨道上的每个点也是严格鞍。我们推导出一个表达式的最小特征值的Hessian在每个典型的严格鞍和使用这表明，最小特征值的Hessian在一组严格的鞍不一致有界低于零。我们还表明，一个已知的梯度流的不变性，确保梯度流的解决方案只遇到临界点的不变流形$\mathcal{M}_C$确定的初始条件。我们表明，在一般情况下，严格的鞍$\mathcal{M}_{0}$的最小特征值一致有界低于零。我们得到一个表达式，这个界的奇异值的矩阵被因式分解。该界限取决于非零奇异值的大小和矩阵的不同非零奇异值之间的分离。
2020-05-30 cs.LG cs.NE math.OC
Hierarchical Compound Poisson Factorization
Princeton University（普林斯顿大学）
基于分层Gamma-Poisson结构的非负矩阵分解模型在极稀疏的数据集中有效地捕获用户和项目行为，使其成为协同过滤应用程序的理想选择。特别是层次泊松分解（HPF）已被证明是成功的可扩展的推荐系统与极端稀疏。然而，HPF遭受稀疏模型（没有评级）和响应模型（评级的值）的紧密耦合，这限制了后者的表达能力。在这里，我们介绍了分层复合泊松分解（HCPF），具有良好的伽玛泊松结构和HPF的可扩展性，高维极稀疏矩阵。更重要的是，HCPF将稀疏模型从响应模型中分离出来，使我们能够为响应选择最合适的分布。HCPF可以捕获二元、非负离散、非负连续和零膨胀连续响应。我们比较了HCPF与HPF在9个离散数据集和3个连续数据集上的表现，并得出结论，HCPF比HPF更好地捕捉了稀疏性和响应之间的关系。
2016-05-26 cs.AI cs.LG stat.ML
Variational Approximation Error in Bayesian Non-negative Matrix Factorization
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Tokyo Institute of Technology（东京工业大学）
非负矩阵分解（NMF）是一种应用广泛的知识发现方法。变分推理和吉布斯抽样方法也是众所周知的。然而，由于变分贝叶斯NMF（VBNMF）中的先验分布不具有统计正则性，变分贝叶斯NMF（VBNMF）中的变分逼近误差存在零点或发散点，因此变分贝叶斯NMF的变分逼近误差尚未得到明确的解释。本文利用代数几何的方法，从理论上分析了负对数证据（也称“负对数证据”）的差异。自由能），即，变分后验和真后验之间的Kullback-Leibler分歧。我们推导出学习系数（a.k.a.）的上界。贝叶斯NMF中的实对数典型阈值）。通过使用上界，我们找到了一个下界的近似误差，渐近。结果定量地表明VBNMF算法能够很好地逼近贝叶斯NMF，其下界取决于超参数和真非负秩。数值实验验证了理论结果。
2020-02-20 cs.LG math.ST stat.ML
Near-separable Non-negative Matrix Factorization with $\ell_1$- and Bregman Loss Functions
IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
最近，在数据矩阵满足可分性条件的假设下，已经提出了一族易于处理的NMF算法Donoho & Stodden（2003）; Arora et al.（2012）。在几何上，这个条件将NMF问题重新表述为寻找有限向量集的圆锥壳的极值射线。在本文中，我们开发了Kumar等人（2013）的圆锥壳程序的几个扩展，用于鲁棒（$\ell_1$）近似和Bregman发散。我们的方法继承了Kumar等人（2013）的所有优点，包括可扩展性和噪声容限。我们表明，在计算机视觉中的前景-背景分离问题上，鲁棒的近可分离NMF与鲁棒PCA的性能相匹配，考虑到这些问题的最新技术水平，训练时间快了一个数量级。我们还演示了在范例选择设置中的应用。
2013-12-27 cs.CV cs.LG stat.ML
Lee and Seung (2000)'s Algorithms for Non-negative Matrix Factorization: A Supplementary Proof Guide
Université de Montréal（蒙特利尔大学）；CHU Sainte-Justine（圣贾斯汀大学医疗中心）；Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）
本文为 Lee 和 Seung (2000) 的非负矩阵分解迭代乘法更新算法提供补充证明指南，详细解释其公式化与推导过程，填补现有文献中缺乏详细推导的空白。
2025-01-22 cs.LG cs.NA math.NA
Barzilai and Borwein conjugate gradient method equipped with a non-monotone line search technique and its application on non-negative matrix factorization
University of Lethbridge（莱斯布里奇大学）
本文提出了一种新的求解无约束非线性最优化问题的非单调共轭梯度法。我们首先通过引入一个新的三角函数来计算非单调参数，从而改进了非单调线搜索法，这对算法的效率起着至关重要的作用。然后，我们应用一个凸组合的Barzilai-Borwein方法的计算值的步长在每次迭代。在适当的假设下，证明了新算法具有整体收敛性质。通过将该算法应用于标准测试问题和非负矩阵分解问题，验证了该算法的有效性和效率。
2021-09-13 cs.LG math.OC
Topic Analysis of Superconductivity Literature by Semantic Non-negative Matrix Factorization
University of Maryland（马里兰大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们利用最近开发的主题建模方法SeNMFk，扩展标准的非负矩阵分解（NMF）方法，将文本的语义结构，并添加一个强大的系统来确定主题的数量。使用SeNMFk，我们能够提取由人类专家验证的连贯主题。在这些主题中，有一些是相对一般的，涵盖广泛的概念，而大多数可以精确地映射到具体的科学效果或测量技术。这些主题的普遍性也有所不同，只有三个主题在近40%的摘要中普遍存在，而每个特定的主题往往在摘要的一小部分中占主导地位。这些结果表明，SeNMFk能够对大型科学语料库进行分层和细致入微的分析。
2021-12-01 cs.DL cs.LG
Robust Large Scale Non-negative Matrix Factorization using Proximal Point Algorithm
Department of Electrical and Computer Engineering（电气与计算机工程系）；Tufts University（塔夫茨大学）
本文提出一种鲁棒算法用于大规模非负矩阵分解，通过引入减少的约束条件改进线性规划算法，无需预先知道分解秩，适用于极端射线或主题数量远大于数据向量维度的情况。
2014-01-08 cs.IT cs.LG cs.NA
Multi-View Non-negative Matrix Factorization Discriminant Learning via Cross Entropy Loss
China University of Petroleum（中国石油大学）
多视图学习通过描述同一对象不同视图之间的关系来实现分类任务目标。大多数现有的方法通常侧重于多个视图之间的一致性和互补性。但并非所有这些信息都对分类任务有用。相反，起重要作用的是特定的区分信息。Zhong Zhang等通过联合非负矩阵分解，研究了不同视图间公共部分和视图特定部分中存在的区分性和非区分性信息。本文在此基础上对该算法进行了改进，引入交叉熵损失函数，更好地约束目标函数。最后，在相同的数据集上实现了比原算法更好的分类效果，并显示了其优于许多现有算法的优越性。
2022-01-08 cs.LG eess.SP
The Target Polish: A New Approach to Outlier-Resistant Non-Negative Matrix Factorization
本文提出目标抛光框架，通过加权中值变换自适应抛光数据，使Fast-HALS算法在保持高效加性更新的同时具备抗离群点能力，实验表明其精度匹敌或超越现有鲁棒NMF方法，计算时间降低一个数量级。
2025-08-22 cs.LG
Singularities of Non-negative Matrix Factorization and their application to Bayesian inference
Toyota Central R&D Labs., Inc.（丰田中央研发实验室有限公司）
本文研究非负矩阵分解的奇异性，推导其实对数规范阈值的上界，并给出特定条件下的精确值，从而界定贝叶斯泛化误差与自由能的首项系数。
2026-09-29 cs.LG math.ST stat.ML
Stratified Non-Negative Tensor Factorization
University of California, Los Angeles（加州大学洛杉矶分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对分层NMF处理多模态数据时需展平张量导致几何结构丢失的问题，提出分层非负张量分解方法，开发乘法更新规则并引入正则化版本，实验表明其内存需求更低且能识别可解释主题。
2024-11-27 cs.LG cs.NA math.NA
