Fast Convolutive Nonnegative Matrix Factorization Through Coordinate and Block Coordinate Updates
Stanford University（斯坦福大学）
识别高维时间序列数据中的重复模式是许多科学领域中的重要问题。一个流行的模型来实现这一点是卷积非负矩阵分解（CNMF），它扩展了经典的非负矩阵分解（NMF）从长时间序列中提取短暂的时间模体。以前的工作通常通过乘法参数更新来拟合这个模型-这种方法被广泛认为是NMF的次优方法，特别是在大规模数据应用中。在这里，我们描述了如何扩展两个流行的和计算可扩展的NMF算法-层次交替最小二乘法（HALS）和交替非负最小二乘法（ANLS）-为CNMF模型。这两种方法都证明了在大规模合成和真实世界数据上的乘法更新的性能优势。
2019-06-29 cs.LG stat.ML
Exact multiplicative updates for convolutional $β$-NMF in 2D
Dolby Sweden ATG Sound Technology Research（杜比瑞典ATG声音技术研究院）
该研究将$\eta$-卷积非负矩阵分解扩展到二维，推导了精确乘法更新规则，修正并推广了已有方法，实验验证其能使$\eta$-散度单调递减且收敛性稳定。
2018-11-05 cs.DS cs.LG stat.ML
Learning compositional functions via multiplicative weight updates
Caltech（加州理工学院）；NVIDIA（英伟达）
组合性是生物和人工神经网络的基本结构特征。通过梯度下降学习组合函数会产生众所周知的问题，如梯度消失和爆炸，这使得仔细的学习率调整对于现实世界的应用至关重要。本文证明了乘性权更新满足一个适合于合成函数的下降引理。基于这个引理，我们得出夫人-亚当优化器的乘法版本-并表明，它可以训练最先进的神经网络架构，而无需学习率调整。我们进一步表明，夫人是很容易适应训练原生压缩神经网络表示他们的权重在对数系统。最后，我们得出结论，乘法权重更新和生物学中突触的最新发现之间的联系。
2021-01-08 cs.LG cs.NA cs.NE
Multiplicative Updates for Online Convex Optimization over Symmetric Cones
SUTD（新加坡科技设计大学）
本文提出对称锥乘法权重更新算法SCMWU，将乘法权重更新方法推广到任意对称锥的迹一元素集合上，并证明其无遗憾性质。
2023-07-06 cs.LG math.OC stat.ML
Spectral Sparsification and Regret Minimization Beyond Matrix Multiplicative Updates
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Boston University（波士顿大学）
在本文中，我们提供了一个新的构造的线性大小的谱稀疏的Batson，Spielman和Srivastava [BSS 14]。虽然以前的构造需要$Ω(n^4)$运行时间[BSS 14，Zou 12]，但我们的稀疏化例程可以在几乎二次的运行时间$O(n^{2+\varepsilon})$中实现。我们工作的基本概念新颖性是利用稀疏化和密度矩阵上的遗憾最小化问题之间的强连接。已知这种连接通过应用矩阵乘法权重更新（MWU）[CHS11，Vis14]提供了Spielman和Srivastava [SS11]随机稀疏因子的解释。在本文中，我们解释了矩阵MWU如何自然地出现，作为一个例子，跟随正规化领导者框架和推广这种方法，以产生更大的一类更新。这个新类使我们能够加速线性大小的谱稀疏器的构建，并对Batson，Spielman和Srivastava [BSS 14]背后的动机提供新的见解。
2015-06-16 cs.DS cs.LG math.OC
Exponentiated Gradient Meets Gradient Descent
Google AI（谷歌人工智能）；Princeton University（普林斯顿大学）
（随机）梯度下降和乘法更新方法可能是机器学习中最流行的算法。我们介绍和研究了一种新的正则化，它提供了一个统一的加法和乘法更新。这种正则化是从熵函数的双曲模拟推导出来的，我们称之为超熵。它的动机是将乘法更新自然扩展到负数。hypentropy有一个自然的谱对应，我们使用它来导出一系列基于矩阵的更新，这些更新将梯度方法和矩阵的乘法方法联系起来。虽然后者仅适用于半正定矩阵，但谱超熵方法自然可以用于一般的矩形矩阵。我们分析了新的家庭的更新，推导紧遗憾界。我们根据经验研究了新更新对多类学习等设置的适用性，其中参数构成了一个通用的矩形矩阵。
2019-02-05 cs.LG math.OC stat.ML
Beyond Alternating Updates for Matrix Factorization with Inertial Bregman Proximal Gradient Algorithms
Saarland University（萨尔大学）
矩阵分解是一个非常流行的非凸优化问题，对于它，最常用的是交替极小化算法。他们通常遭受的主要缺点，解决方案是偏向于优化变量之一。一种补救办法是非交替方案。然而，由于在矩阵分解问题中梯度缺乏Lipschitz连续性，不能保证收敛。最近开发的方法依赖于Bregman距离的概念，它概括了标准的欧几里得距离。我们利用这一理论，提出了一种新的Bregman距离矩阵分解问题，这在同一时间，允许简单的/封闭的形式更新步骤。因此，对于非交替的计划，如最近推出的Bregman邻近梯度（BPG）方法和惯性变凸-凹惯性BPG（CoCaIn BPG），收敛的整个序列的一个稳定点被证明为矩阵分解。在几个实验中，我们观察到一个优越的性能，我们的非交替计划的速度和目标值在极限点。
2019-12-06 cs.CV cs.IR math.OC
Negative Binomial Matrix Factorization for Recommender Systems
IRIT, Université de Toulouse, CNRS（图卢兹大学 IRIT 研究所、法国国家科学研究中心）
我们介绍负二项矩阵分解（NBMF），矩阵分解技术专门设计用于分析过分散计数数据。它可以被看作是一个扩展的泊松矩阵分解（PF）扰动的乘法项模型曝光。这个术语为控制分散带来了一定的自由度，使NBMF对离群值更加鲁棒。我们表明，NBMF允许跳过传统的预处理阶段，如二值化，这会导致信息丢失。两种估计方法：最大似然和变分贝叶斯推断。我们用推荐任务测试了我们的模型，并展示了它比PF更精确地预测用户口味的能力。
2018-01-05 cs.IR cs.LG stat.ML
Recovery Guarantee of Non-negative Matrix Factorization via Alternating Updates
Princeton University（普林斯顿大学）
非负矩阵分解是一种流行的工具，用于在非负约束下将数据分解为特征和权重矩阵。它在实践中取得了成功，但理论上却知之甚少。本文提出了一种在解码权重和更新特征之间交替的算法，并表明假设数据的生成模型，它可以在相当温和的条件下证明恢复地面真实。特别是，它对特征的唯一基本要求是线性独立性。此外，该算法使用ReLU来利用非负性来解码权重，因此可以容忍可能与信号一样大的对抗性噪声，并且可以容忍比信号大得多的无偏噪声。分析依赖于两个潜在的功能，我们相信是独立的利益之间精心设计的耦合。
2016-11-11 cs.DS cs.LG stat.ML
Nonnegative Matrix Factorization with Local Similarity Learning
Qingdao University（青岛大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Kentucky（肯塔基大学）
现有的非负矩阵分解方法侧重于学习数据的全局结构来构造基矩阵和系数矩阵，忽略了数据之间普遍存在的局部结构。本文提出了一种新的非负矩阵分解方法，该方法以相互增强的方式学习局部相似性和聚类。学习的新表示更具有代表性，因为它更好地揭示了数据的固有几何属性。给出了非线性扩展和有效的乘法更新，理论上的收敛保证。大量的实验结果证实了该模型的有效性。
2019-07-09 cs.CV cs.LG stat.ML
Multiplicative Updates for NMF with $β$-Divergences under Disjoint Equality Constraints
Université de Mons（蒙斯大学）；Ecole Centrale de Nantes（南特中央理工学院）
非负矩阵分解（NMF）是将输入非负矩阵$V$近似为两个较小非负矩阵$W$和$H$的乘积的问题。在本文中，我们介绍了一个一般的框架，设计乘法更新（MU）的NMF的基础上$β$ -分歧（$β$ -NMF）与不相交的等式约束，并与惩罚项的目标函数。不相交的意思是每个变量最多出现在一个等式约束中。在优化过程中，我们的MU在每次更新变量后都满足约束集，同时保证目标函数单调下降。我们在三个NMF模型上展示了这个框架，并表明它可以与最先进的模型竞争：（1）$β$ -NMF，对$H$的列进行和对一的约束，（2）最小体积$β$ -NMF，对$W$的列进行和对一的约束，以及（3）稀疏$β$ -NMF，对$W$的列进行$\ell_2$ -范数约束。
2022-04-28 cs.LG cs.NA eess.SP
Joint Majorization-Minimization for Nonnegative Matrix Factorization with the $β$-divergence
Aix Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Toulouse INP（图卢兹国立综合理工学院）
本文提出基于联合优化-最小化框架的NMF乘法更新算法，通过为两个因子联合构建辅助函数，在保持解质量的同时将CPU时间减少13%至78%。
2023-04-17 cs.LG stat.ML
A Non-commutative Extension of Lee-Seung's Algorithm for Positive Semidefinite Factorizations
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所）；Singapore University of Technology and Design（新加坡科技设计大学）
给定具有非负项的矩阵$X\in \mathbb{R}_+^{m\times n}$，$X\in \mathbb{R}_+^{m\times n}$的半正定（PSD）分解是$r \times r$维PSD矩阵$\{A_i\}$和$\{B_j\}$的集合，其对于所有$\ i\in [m],\ j\in [n]$满足$X_{ij}= \mathrm{tr}(A_i B_j)$. PSD因子分解从根本上与理解半定程序的表达性以及信息论中量子资源的能力和局限性有关。PSD因式分解任务推广了非负矩阵因式分解（NMF）问题，其中我们寻求满足$X_{ij}= a_i^\top b_j$的$r$维非负向量$\{a_i\}$和$\{b_j\}$的集合，对于所有$i\in [m],\ j\in [n]$-可以通过将PSD因式分解中的矩阵选择为对角线来恢复后一个问题。计算矩阵的NMF的最广泛使用的算法是由Lee和Seung开发的乘法更新算法，其中更新的非负性通过用正对角矩阵缩放来保持。在本文中，我们描述了一个非交换的扩展李Seung的算法，我们称之为矩阵乘法更新（MMU）算法，计算PSD分解。MMU算法通过与适当PSD矩阵的矩阵几何平均值进行同余缩放来确保更新保持PSD，并且它保留了Lee-Seung算法所享有的实现的简单性。基于优化最小化框架，我们证明了在我们的更新方案下，平方损失目标是非增的，不动点对…
2021-06-01 cs.LG eess.SP math.OC
DID: Distributed Incremental Block Coordinate Descent for Nonnegative Matrix Factorization
Iowa State University（爱荷华州立大学）
非负矩阵分解（NMF）作为一种降维方法在过去的十年中引起了人们的广泛关注。由于数据量的爆炸性增长，自然地，样本被收集并分布存储在本地计算节点中。因此，越来越需要在分布式存储器架构中开发算法。我们提出了一种新的分布式算法，称为\textit{distributed incremental block coordinate descent}（DID），来解决这个问题。通过调整块坐标下降框架，获得封闭形式的更新规则在DID。此外，DID基于最近更新的残差矩阵递增地执行更新。因此，每次迭代只需要一个沟通步骤。一系列的数值实验验证了算法的正确性、高效性和可扩展性。
2018-02-25 cs.AI cs.LG math.OC
Efficient Inverse-Free Algorithms for Extreme Learning Machine Based on the Recursive Matrix Inverse and the Inverse LDL' Factorization
Shenzhen University（深圳大学）
文献[4]中提出的无逆极端学习机（ELM）算法是基于无逆算法来计算正则化伪逆的，该正则化伪逆是从更新Hermitian矩阵的逆的无逆递归算法推导出来的。在文献[4]中应用递归算法之前，其改进版本已在以前的文献[9]，[10]中使用。相应地，从改进的递归算法[9]，[10]中，我们推导出一种更有效的无逆算法来更新正则化伪逆，由此我们发展了所提出的无逆ELM算法1。此外，所提出的ELM算法2进一步降低了计算复杂性，其直接从更新的逆计算输出权重，并且避免了计算正则化伪逆。最后，代替更新逆，所提出的ELM算法3通过逆LDLT因式分解[11]更新逆的LDLT因子，以避免在非常大量的迭代之后的数值不稳定性[12]。相对于现有的ELM算法，所提出的ELM算法1、2和3预计分别仅需要（8+3）/M、（8+1）/M和（8+1）/M的复杂度，其中M是输出节点数。在数值实验中，标准ELM、已有的无逆ELM算法和提出的ELM算法1、2和3在回归和分类方面取得了相同的性能，而所有提出的3种算法都显著地加速了已有的无逆ELM算法
2019-11-12 cs.LG stat.ML
Bayesian Group Nonnegative Matrix Factorization for EEG Analysis
Korea Advanced Institute of Technology（韩国高等科学技术院）
我们提出了一个生成模型的一组EEG分析，基于适当的内核假设的EEG数据。我们推导出变分推理更新规则使用各种近似技术。所提出的模型优于当前国家的最先进的算法在共同的模式提取。该模型的有效性进行了测试的BCI竞争数据集。
2012-12-18 cs.LG stat.ML
Variational Auto-encoder Based Bayesian Poisson Tensor Factorization for Sparse and Imbalanced Count Data
Monash University（莫纳什大学）；Beijing Shandesitong Technology（北京山德斯通科技）；Deakin University（迪肯大学）
非负张量因子分解模型能够对计数数据进行预测分析。其中，贝叶斯Poisson-Gamma模型可以推导出潜在因素的完整后验分布，并且对稀疏计数数据不太敏感。然而，目前的推理方法，这些贝叶斯模型采用限制更新规则的后验参数。它们也无法共享更新信息以更好地应对数据稀疏性。此外，这些模型没有被赋予处理计数数据值中的不平衡的组件。在本文中，我们提出了一种新的变分自动编码器框架称为VAE-BPTF，解决了上述问题。它使用多层感知器网络来编码和共享复杂的更新信息。然后对每个数据实例重新加权编码信息，以在聚合以计算潜在因素的后验参数之前惩罚公共数据值。在合成数据评估下，VAE-BPTF倾向于恢复正确数量的潜在因子和后验参数值。它在五个真实世界数据集的重建错误和潜在因素（语义）一致性方面也优于当前模型。此外，VAE-BPTF推断的潜在因素被认为是有意义的和一致的定性分析。
2020-12-14 cs.LG stat.ML
A Nonlinear Orthogonal Non-Negative Matrix Factorization Approach to Subspace Clustering
Ruder Bošković Institute（鲁杰尔·博什科维奇研究所）；ETH Zürich, Swiss Federal Institute of Technology（苏黎世联邦理工学院）
最近的理论分析表明，非负矩阵分解（NMF）和谱聚类方法之间的等价性的子空间聚类。由于NMF和它的许多变种本质上是线性的，我们引入了一个非线性NMF显式正交性，并推导出一般的基于核的正交乘法更新规则来解决子空间聚类问题。在非线性正交NMF框架下，提出了两种基于核的非负子空间聚类算法KNSC-Ncut和KNSC-Rcut，并将其与谱归一化割和比率割聚类进行了比较。我们进一步扩展了非线性正交NMF框架，并引入了一个图正则化，以获得一个因子分解，尊重非线性映射后的数据的局部几何结构。所提出的基于NMF的子空间聚类方法考虑到流形的非线性性质，以及其固有的局部几何形状，这大大提高了聚类性能相比，最近提出的几个国家的最先进的方法。
2017-09-29 cs.LG stat.ML
An Analysis of Dropout for Matrix Factorization
Istituto Italiano di Tecnologia（意大利技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
Dropout是一种简单而有效的正则化神经网络的算法，它通过Bernoulli乘性噪声随机丢弃单元，并且对于一些受限的问题类，例如线性或逻辑回归，一些理论研究已经证明了Dropout与具有数据依赖的Tikhonov正则化的完全确定性优化问题之间的等价性。本文提出了一种矩阵分解的丢弃理论分析，其中使用伯努利随机变量来丢弃因子，从而试图控制因子分解的大小。虽然最近的工作已经证明了dropout对于矩阵分解的经验有效性，但在这种情况下对dropout的正则化性质的理论理解仍然难以捉摸。这项工作证明了辍学和完全确定性模型的矩阵分解，其中的因素是正规化的列的范数的乘积的总和之间的等价性。虽然由此产生的正则化是密切相关的核规范的变分形式，这表明辍学可能会限制的大小的因式分解，我们表明，它是可能平凡地降低目标值的大小加倍的因式分解。我们表明，这个问题是由使用固定的退出率引起的，这促使使用随着因子分解大小而增加的退出率。合成实验验证了我们的理论发现。
2017-10-10 cs.LG stat.ML
A Non-monotone Alternating Updating Method for A Class of Matrix Factorization Problems
在本文中，我们考虑了一个通用的矩阵分解模型，它涵盖了一大类现有的模型，在机器学习和成像科学等领域的许多应用。为了解决这一可能的非凸、非光滑和非Lipschitz问题，我们提出了一种基于势函数的非单调交替更新方法。我们的方法本质上是通过不精确地最小化这个势函数来依次更新两个变量块，并使用显式公式更新另一个辅助变量块。我们的势函数的特殊结构，使我们能够利用有效的非负矩阵分解的计算策略，执行交替最小化的两个块的变量。一个合适的线搜索准则也被纳入，以提高数值性能。在适当的条件下，证明了线性搜索准则的定义，并证明了生成的序列是有界的，且序列的任一聚点都是平稳点。最后，我们使用真实数据集进行了一些数值实验，比较我们的方法与现有的一些有效的方法，非负矩阵分解和矩阵完成。数值结果表明，我们的方法可以优于这些方法为这些特定的应用。
2018-05-15 math.OC stat.ML
Nonnegative Matrix Factorization with Toeplitz Penalty
University of Rochester（罗切斯特大学）；Rochester Institute of Technology（罗切斯特理工学院）
非负矩阵分解（NMF）是一种无监督学习算法，可生成数据矩阵的线性、基于部分的近似。NMF构造一个非负低秩基矩阵和一个非负低秩权重矩阵，当它们相乘在一起时，使用一些成本函数近似感兴趣的数据矩阵。NMF算法可以被修改为包括辅助约束，该辅助约束对矩阵分解的成本函数施加特定于任务的惩罚或限制。在本文中，我们提出了一种新的NMF算法，利用非数据依赖的辅助约束，将Toeplitz矩阵的基础和权重矩阵的乘法更新。我们比较我们的新Toeplitz非负矩阵分解（TNMF）算法的面部识别性能的Zellner非负矩阵分解（ZNMF）算法，它利用数据相关的辅助约束的性能。我们还比较了面部识别性能的两个上述算法的性能与几个预先存在的约束NMF算法，具有非数据依赖的处罚。使用剑桥ORL人脸数据库和耶鲁人脸数据库评估人脸识别性能。
2020-12-07 cs.LG stat.ML
On the Connection Between Non-negative Matrix Factorization and Latent Dirichlet Allocation
Harvard University（哈佛大学）
本文证明了对两个矩阵列施加 $\ell_1$ 归一化约束并对其中一个矩阵列施加 Dirichlet 先验的 NMF 等价于 LDA，并揭示了联合 MU 算法与 PLSA 的联系及 Lasso 惩罚的局限性。
2024-05-30 cs.LG stat.ML
Wild Bootstrap Inference for Non-Negative Matrix Factorization with Random Effects
Faculty of Data Science, Shiga University（滋贺大学数据科学学部）
本文提出NMF-RE模型，通过随机效应和野Bootstrap推断实现非负矩阵分解中协变量效应的稳定推断。
2026-03-02 stat.ME stat.ML
A Flexible and Efficient Algorithmic Framework for Constrained Matrix and Tensor Factorization
我们提出了一个通用的算法框架，约束矩阵和张量因式分解，这是广泛应用于信号处理和机器学习。新的框架是交替优化（AO）和交替方向乘法器（ADMM）之间的混合：每个矩阵因子依次更新，使用ADMM，因此命名为AO-ADMM。这种组合自然可以适应因子矩阵上的各种约束，以及几乎所有可能的拟合损失度量。计算缓存和热启动策略用于确保有效地评估每个更新，而外部AO框架利用块坐标下降（BCD）类型方法的最新发展，有助于确保每个极限点都是固定点，以及在实践中更快，更鲁棒的收敛。详细研究了三种特殊情况：非负矩阵/张量分解，约束矩阵/张量完成和字典学习。大量的模拟和实验与真实数据被用来展示所提出的框架的有效性和广泛的适用性。
2015-10-28 cs.LG math.OC stat.CO
Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently
SUTD（新加坡科技设计大学(SUTD)（注：SUTD是Singapore University of Technology and Design的缩写，常见中文名新加坡科技设计大学））
非负矩阵分解（NMF）是一个基本的非凸优化问题，在机器学习（音乐分析，文档聚类，语音-声源分离等）中有许多应用。尽管已经得到了广泛的研究，但人们对是否存在可以证明收敛到局部最小值的自然算法知之甚少。部分原因是因为目标是重对称的，它的梯度不是Lipschitz。在本文中，我们定义了一个乘法的权重更新型动力学（修改的种子李Seung算法），同时运行，并可证明避免鞍点（一阶不二阶固定点）。我们的技术结合了动力系统的工具，如稳定性，并利用几何的NMF目标，通过减少标准的NMF制定的非负正交到一个新的制定（缩放）单纯形。我们的方法的一个重要优点是使用并发更新，它允许在并行计算环境中实现。
2020-03-19 cs.LG math.OC stat.ML
A Rank-1 Sketch for Matrix Multiplicative Weights
我们表明，一个简单的随机草图的矩阵乘性权重（MMW）更新享有（在预期中）相同的遗憾界MMW，直到一个小的常数因子。不像MMW，其中每一步都需要完整的矩阵求幂，我们的步骤只需要一个$e^A b$形式的乘积，Lanczos方法有效地近似。我们的关键技术是将草图视为$\textit{randomized mirror projection}$，并对$\textit{expected projection}$执行镜像下降分析。我们的草图解决了在线特征向量问题，通过$Ω(\log^5 n)$改进了已知的最佳复杂度界限。我们也适用于这个草图半定规划的鞍点形式，产生一个简单的原始-对偶计划，保证最好的匹配文献。
2019-08-13 cs.DS cs.LG math.OC
Instance-Optimal Matrix Multiplicative Weight Update and Its Quantum Applications
School of Engineering and Applied Sciences, Harvard University, MA, USA（哈佛大学工程与应用科学学院）；Center on Frontiers of Computing Studies and School of Computer Science, Peking University, Beijing, China（前沿计算研究中心和北京大学计算机科学学院）；Department of Statistics and Data Science, Carnegie Mellon University, PA, USA（统计与数据科学系，卡内基梅隆大学）
本文提出一种实例最优的矩阵乘法权重更新算法，通过单侧Jensen迹不等式和最优势函数实现更紧的遗憾界，并在量子态学习与非线性量子性质预测中超越现有方法。
2025-09-10 cs.AI cs.DS cs.LG
Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization
Université de Mons（蒙斯大学）；Université de Rennes（雷恩大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学研究所）
研究了改进块坐标下降算法的经验收敛速度问题。我们提出了一个外推策略之间的块更新，称为启发式外推与重启（HER）。HER显着加快了大多数现有的块坐标算法的经验收敛速度密集NTF，特别是具有挑战性的计算场景，同时需要一个可以忽略不计的额外的计算预算。
2020-11-20 cs.LG cs.NA math.NA
