Multiplicative Updates for NMF with $β$-Divergences under Disjoint Equality Constraints
Université de Mons（蒙斯大学）；Ecole Centrale de Nantes（南特中央理工学院）
非负矩阵分解（NMF）是将输入非负矩阵$V$近似为两个较小非负矩阵$W$和$H$的乘积的问题。在本文中，我们介绍了一个一般的框架，设计乘法更新（MU）的NMF的基础上$β$ -分歧（$β$ -NMF）与不相交的等式约束，并与惩罚项的目标函数。不相交的意思是每个变量最多出现在一个等式约束中。在优化过程中，我们的MU在每次更新变量后都满足约束集，同时保证目标函数单调下降。我们在三个NMF模型上展示了这个框架，并表明它可以与最先进的模型竞争：（1）$β$ -NMF，对$H$的列进行和对一的约束，（2）最小体积$β$ -NMF，对$W$的列进行和对一的约束，以及（3）稀疏$β$ -NMF，对$W$的列进行$\ell_2$ -范数约束。
2022-04-28 cs.LG cs.NA eess.SP
Multiplicative updates for symmetric-cone factorizations
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
给定一个具有非负元素的矩阵$X\in \mathbb{R}^{m\times n}_+$，锥$\mathcal{K}\subseteq \mathbb{R}^k$上的锥因子分解问题涉及计算属于其对偶的$\{ a_1,\ldots, a_{m} \} \subseteq \mathcal{K}$和$\{ b_1,\ldots, b_{n} \} \subseteq~\mathcal{K}^*$，使得对于所有$i\in [m], j\in [n]$都有$X_{ij} = \langle a_i, b_j \rangle$.锥分解是数学优化的基础，因为它们允许我们将凸体表示为线性锥规划的可行域。本文介绍并分析了当$\mathcal{K}$是对称的时，计算锥因子分解的锥-锥乘法更新（SCMU）算法，它是自对偶和齐次的。对称锥是数学优化中的核心兴趣，因为它们为研究非负正交矩阵（线性规划）、二阶锥（二阶锥规划）和正半定矩阵锥（半定规划）上的线性最优化提供了一种通用语言。SCMU算法是乘法的，在这个意义上，迭代更新通过应用精心选择的自同构的锥计算使用的几何平均对称锥的推广。利用Lieb的延拓定理和von Neumann的迹不等式对称锥，我们证明了平方损失目标是非递减的SCMU算法的轨迹。SCMU算法专门用于非负正交，对应于Lee和Seung用于计算非负矩阵分解的开创性算法。
2021-08-02 cs.LG eess.SP math.OC
Chordal-NMF with Riemannian Multiplicative Update
本文针对非负矩阵分解中F范数度量不适配的问题，提出基于射线到射线弦距离的chordal-NMF，并设计黎曼乘性更新算法在不可微非负流形上求解，实验验证了其有效性。
2025-09-21 cs.NA math.NA math.OC
Nonnegative Factorization and The Maximum Edge Biclique Problem
Université catholique de Louvain（天主教鲁汶大学）
本文研究非负因子分解（NF）的NP难性，通过归约到最大边双团问题证明其对于任意固定秩是NP难的，并分析了乘法更新与分层交替最小二乘算法的差异，提出了一种基于乘法更新的双团查找算法。
2008-10-23 cs.NA math.NA math.OC
Learning nonnegative matrix factorizations from compressed data
本文提出了一种从压缩数据中学习非负矩阵分解的框架，通过随机化抽样方法实现低秩非负分解，并验证了其在实际应用中的有效性。
2026-02-15 cs.LG cs.NA math.NA
A Multilevel Approach For Nonnegative Matrix Factorization
非负矩阵分解（NMF）是用两个低秩非负矩阵的乘积近似非负矩阵的问题，并且已经被证明在许多应用中特别有用，例如，在本文中，我们解释了如何NMF算法可以嵌入到多层方法的框架，以加速其收敛。这种技术可以应用于数据在低维空间中通过保持非负性的线性变换得到良好近似表示的情况。一个简单的多层次的策略进行了描述，并通过实验证明，加快显着三个流行的NMF算法（交替非负最小二乘，乘法更新和层次交替最小二乘）在几个标准的图像数据集。
2011-10-04 cs.NA math.NA math.OC
An Iterative Algorithm for Regularized Non-negative Matrix Factorizations
本研究推广Lee和Seung的非负矩阵分解算法，支持加权范数与岭、Lasso正则化，将乘法更新重构为无零值卡滞的加法更新，还将配套R包rnnmf用于鸡尾酒数据库降秩表示求解。
2024-10-30 cs.LG math.OC stat.AP
From Tsallis to KL: Convergence and Error Estimates for Tsallis-Regularized Optimal Transport
本文研究Tsallis正则化最优传输到KL极限的收敛性，通过变分重构和Γ-收敛证明，给出O(q-1)误差估计，阐明熵正则化与信息投影的关系。
2026-09-09 cs.IT math.FA math.IT
Novel Algorithms based on Majorization Minimization for Nonnegative Matrix Factorization
矩阵分解是普遍存在的，并且在诸如语音处理、数据挖掘和图像处理等各种领域中具有应用。在矩阵分解下，非负矩阵分解用于将非负矩阵分解为两个非负矩阵的乘积，这给出了一些有意义的数据解释。因此，非负矩阵分解比其他分解技术更有优势。在本文中，我们提出了两个新的迭代算法的基础上的优化最小化（MM）-在其中，我们制定了一个新的上界，并尽量减少它得到一个封闭的形式的解决方案，在每一次迭代。由于算法是基于MM，它是确保所提出的方法将是单调的。所提出的算法的不同之处在于两个非负矩阵的更新方法。第一种算法-迭代非负矩阵分解（INOM）顺序更新两个非负矩阵，而第二种算法-并行迭代非负矩阵分解（PARINOM）并行更新两个非负矩阵。我们还证明了所提出的算法收敛到问题的平稳点。仿真结果表明，所提算法在计算速度和收敛性方面均优于现有算法。关键词：非负矩阵分解，优化最小化，大数据，并行，乘法更新
2019-05-11 eess.SP math.OC
Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $β$-divergence
Aix-Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；IRIT（图里尔信息学研究所）；Université de Toulouse（图卢兹大学）；Toulouse INP（图卢兹国立综合理工学院）
针对带β散度的稀疏非负矩阵分解优化难题，提出基于重参数化的块下降优化最小化算法，适用于任意β散度且有收敛保证，在多数据集上实现相当精度下CPU耗时显著降低。
2024-03-12 cs.LG math.OC
Semidefinite Relaxations of Products of Nonnegative Forms on the Sphere
研究了$n$变量在实球面或复球面上的$d$低次非负形式的几何均值最大化问题.我们表明，这个高度非凸的问题是NP-困难的，即使形式是二次的，相当于优化一个齐次多项式的程度$O(d)$的领域。这个多项式最优化问题的标准的基于平方和的凸松弛需要求解大小为$n^{O(d)}$的半定规划（SDP），具有$Ω(\frac{1}{n})$的乘法近似保证。利用该多项式的紧致表示，在$n$和$d$中引入了尺寸多项式的SDP松弛，并证明了当极大化非负二次型的几何均值时，它实现了常数因子乘法逼近.我们还表明，这种分析是渐近紧，与一系列的情况下，放松和真正的最佳方法之间的差距这个常数因子为$d \rightarrow \infty$。接下来，我们提出了一系列的中间松弛的增加复杂性，插值到完整的平方和松弛，以及舍入算法，找到一个近似解从任何中间松弛的解决方案。最后，我们表明，这种方法可以推广到任何程度的非负形式的产品松弛。
2021-03-20 cs.CC cs.DS math.OC
Fixed Point Algorithm for Solving Nonmonotone Variational Inequalities in Nonnegative Matrix Factorization
非负矩阵分解（NMF）是将数据矩阵近似为两个非负矩阵的乘积，是机器学习和数据分析中的一个关键问题。NMF的一种方法是将问题表示为最小化数据矩阵与具有非负性约束的两个非负矩阵的乘积之间的距离的非凸最优化问题，然后使用迭代算法来求解该问题。常用的算法是乘性更新算法和交替最小二乘算法。虽然这两种算法收敛很快，但它们可能不会收敛到问题的稳定点，该问题等于距离函数梯度的非单调变分不等式的解。本文在Krasnosel'\u不动点算法的基础上提出了一种求解该问题的迭代算法。收敛性分析表明，在一定的假设条件下，该算法生成的序列的任一聚点都属于该变分不等式的解集.将MATLAB中的{ \tt 'mult'}和{ \tt 'als'}算法以及所提算法应用于各种NMF问题，结果表明所提算法收敛速度快，是有效的。
2016-11-01 math.OC
Approximate controllability for nonlinear degenerate parabolic problems with bilinear control
本文研究了非线性退化抛物型Cauchy-Neumann问题的全局近似乘能控性。首先，我们将得到嵌入结果加权索伯列夫空间，已被证明是决定性的非线性退化问题达到适定性。然后，我们证明了上述系统可以引导在$L^2$从任何非零，非负的初态到任何期望的非负目标状态的任何邻域的双线性分段静态控制。此外，我们放宽了对初始日期的符号约束，推广了上述结果。
2014-06-05 math.AP math.OC
Multiplicative Updates for Online Convex Optimization over Symmetric Cones
SUTD（新加坡科技设计大学）
本文提出对称锥乘法权重更新算法SCMWU，将乘法权重更新方法推广到任意对称锥的迹一元素集合上，并证明其无遗憾性质。
2023-07-06 cs.LG math.OC stat.ML
Masked Symmetric Nonnegative Matrix Factorization for Community Detection in Incomplete Networks
Nankai University（南开大学）
针对不完整邻接矩阵，提出掩码对称非负矩阵分解框架，直接分解部分观测网络，通过非对称松弛和交替非负最小二乘算法实现，理论证明精确罚性质，实验优于基线方法。
2026-06-11 math.OC
Distributionally Robust and Multi-Objective Nonnegative Matrix Factorization
Université de Mons（蒙斯大学）；Faculté Polytechnique（理工学院）；National University of Singapore（新加坡国立大学）
非负矩阵分解（NMF）是一种用于分析非负数据的线性降维技术。NMF的一个关键方面是目标函数的选择，该目标函数取决于对数据假设的噪声模型（或噪声统计）。在许多应用中，噪声模型是未知的并且难以估计。在本文中，我们定义了一个多目标NMF（MO-NMF）问题，其中多个目标被组合在同一NMF模型。我们建议使用拉格朗日对偶明智地优化一组权重的框架内使用的加权和的方法，也就是说，我们最小化一个单一的目标函数，这是一个加权和的所有目标函数。我们设计了一个简单的算法的基础上乘法更新，以尽量减少这个加权和。我们将展示如何使用它来找到分布式鲁棒NMF（DR-NMF）解决方案，即最大限度地减少所有目标之间的最大误差的解决方案，使用一种双重方法，通过启发式的Frank-Wolfe算法来解决。我们说明了这种方法的有效性合成，文件和音频数据集。结果表明，DR-NMF对我们不知道NMF问题的噪声模型是鲁棒的。
2021-02-09 cs.LG math.OC stat.ML
Spectral Sparsification and Regret Minimization Beyond Matrix Multiplicative Updates
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Boston University（波士顿大学）
在本文中，我们提供了一个新的构造的线性大小的谱稀疏的Batson，Spielman和Srivastava [BSS 14]。虽然以前的构造需要$Ω(n^4)$运行时间[BSS 14，Zou 12]，但我们的稀疏化例程可以在几乎二次的运行时间$O(n^{2+\varepsilon})$中实现。我们工作的基本概念新颖性是利用稀疏化和密度矩阵上的遗憾最小化问题之间的强连接。已知这种连接通过应用矩阵乘法权重更新（MWU）[CHS11，Vis14]提供了Spielman和Srivastava [SS11]随机稀疏因子的解释。在本文中，我们解释了矩阵MWU如何自然地出现，作为一个例子，跟随正规化领导者框架和推广这种方法，以产生更大的一类更新。这个新类使我们能够加速线性大小的谱稀疏器的构建，并对Batson，Spielman和Srivastava [BSS 14]背后的动机提供新的见解。
2015-06-16 cs.DS cs.LG math.OC
Matroid-Aware Spectral Certificates for Multiplicative Coverage Approximation
UC Irvine（加州大学尔湾分校）
该研究针对拟阵约束下的边覆盖最大化问题，提出拟阵感知的谱方法，得到乘法近似保证，可返回整数最优值的有理上界，且对局部边添加具有鲁棒性。
2026-10-14 math.OC
A Fast Scale-Invariant Algorithm for Non-negative Least Squares with Non-negative Data
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
非负（线性）最小二乘问题是一类在统计学习中得到充分研究的基本问题，其求解器已在机器学习社区中使用的许多标准编程语言中实现。现有的现成的求解器在这些问题中的非负约束视为一个障碍，相比无约束最小二乘，执行额外的努力来解决它。然而，在许多典型的应用程序中，数据本身也是非负的，我们表明，在这种情况下，非负性使问题更容易。特别是，虽然甲骨文的复杂性无约束最小二乘问题的数据矩阵常数（通常是谱范数）和这些问题的解决加性误差的规模，我们表明，非负数据的非负最小二乘问题是可解的乘法误差和复杂性，是独立于任何矩阵常数。我们介绍的算法是加速的，并基于原始-对偶的观点。我们进一步展示了如何可证明地获得线性收敛使用自适应重新启动与我们的方法，并通过数值实验证明其有效性的大规模数据。
2022-03-08 cs.LG math.OC stat.ML
Regularized Non-Gaussian Image Denoising
在图像去噪问题中，一种广泛采用的方法是最小化正则化数据拟合目标函数，其中数据拟合项从物理图像采集模型导出。通常，考虑到两个目标来选择正则化器：（a）准确地反映图像结构，例如平滑度或稀疏度，以及（b）确保所得到的最优化问题是凸的并且可以被有效地求解。在高斯噪声环境中，这种正则化器的空间已经得到了很好的研究;然而，非高斯噪声模型会导致数据拟合表达式，对于这些表达式，完全不同的正则化器家族可能是有效的。这些正则化器在文献中得到的关注较少，因为它们在高斯噪声设置下产生非凸优化问题。本文介绍了这样的正则化和一个简单的重新参数化的方法，使图像重建使用高效的凸优化工具来完成。所提出的方法基本上修改了目标函数，以便于利用工具，如近端去噪例程。我们给出了指数族（伯努利和泊松）和乘性噪声下的成像去噪示例。
2015-08-12 math.OC
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
针对噪声随接近最优解线性减小的随机凸赌博机，提出正则化在线牛顿方法，实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
Separable Nonnegative Matrix Factorization Using Powered Ratio-of-Norms Regularization
University of Kentucky（肯塔基大学）
该研究提出基于幂次范数比正则化的SNMF模型，结合DCA与ADMM算法求解，在锚点识别和分类任务上性能优于或媲美现有方法，计算效率具竞争力。
2026-09-01 cs.LG cs.NA math.NA
Joint Majorization-Minimization for Nonnegative CP and Tucker Decompositions under $β$-Divergences: Unfolding-Free Updates
本文提出了一种联合主要化-最小化方法，用于非负张量分解下的β-分歧问题，通过张量收缩实现无展开更新，提高了计算效率。
2026-03-08 cs.NA math.NA math.OC
The Homotopy Method Revisited: Computing Solution Paths of $\ell_1$-Regularized Problems
$ \ell_1 $ -正则化线性逆问题经常用于信号处理、图像分析和统计学。正则化参数$ t \in \mathbb{R}_{\geq 0} $的正确选择是一个微妙的问题。同伦方法的思想不是求解固定参数的变分问题，而是计算作为$ t $的函数的完整解路径$ u(t) $。在Osborne，Presnell和Turlach的一篇着名论文中，已经表明这种方法的计算成本通常与解决相应的最小二乘问题的成本相当。他们的分析依赖于一次一个的条件，这要求不同的指数在不同的正则化参数下进入或离开解的支持。本文提出了一种基于非负最小二乘问题的广义同伦算法，该算法不需要这样的条件，并证明了该算法的终止性。在路径的每一点上，我们给出了所有可能方向的完整表征。为了说明我们的结果，我们讨论的例子中，标准同伦方法失败或变得不可行。据我们所知，我们的算法是第一个可证明计算一个完整的解决方案路径的任意组合的输入矩阵和数据向量。
2016-04-30 math.OC
Automatic Model-Order Selection for Nonnegative Matrix Factorization via Column $\ell_{2,0}$ Regularization
Nankai University（南开大学）
研究非负矩阵分解中最优秩选择问题，通过在因子矩阵引入列$\ell_{2,0}$-范数正则化，采用热启动$\lambda$路径及开发多种方法，经收敛分析和实验验证，该框架能有效估计秩，兼具精度与效率。
2026-08-11 math.OC
A Second-Order Majorant Algorithm for Nonnegative Matrix Factorization
IMT Atlantique, UMR CNRS 6285 Lab-STICC（IMT Atlantique，CNRS 6285 Lab-STICC）
本文提出非负矩阵分解的二阶主导（SOM）框架及其快速变体mSOM，通过主导Hessian矩阵构造局部二次主导函数，实现线性收敛并全局收敛到稳定点，实验证明其性能优于现有算法。
2025-06-18 cs.LG math.OC
Accelerated regularized learning in finite N-person games
Stanford University（斯坦福大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
本文提出“跟随加速领导者”（FTXL）方法，将Nesterov动量引入正则化学习，在有限N人博弈中实现对严格纳什均衡的超线性收敛，并在多种反馈结构下保持指数级加速优势。
2024-12-29 cs.GT cs.LG math.OC
A Matrix Splitting Method for Composite Function Minimization
复合函数最小化在计算机视觉和机器学习中具有广泛的应用。它包括有界约束优化和基数正则化优化作为特殊情况。本文提出并分析了一种新的求解复合函数极小化问题的矩阵分裂法。它可以看作是经典Gauss-Seidel方法和文献中求解线性系的逐次过松弛法的推广。矩阵分裂法是一种新的高斯消去法，具有先进的性能。对于凸问题，我们证明了MSM的整体收敛性、收敛速度和迭代复杂度;对于非凸问题，我们证明了MSM的整体收敛性。最后，我们验证了我们的矩阵分裂方法在两个特定的应用：非负矩阵分解和基数正则稀疏编码的性能。大量的实验表明，我们的方法优于现有的复合函数最小化技术的效率和功效。
2016-12-07 math.OC
Data-Driven Long-Term Asset Allocation with Tsallis Entropy Regularization
针对不确定性下的动态资产配置，本文提出Tsallis熵正则化策略迭代及数据驱动Q函数估计算法，并给出收敛保证。
2025-09-27 math.OC
Accelerated Parallel and Distributed Algorithm using Limited Internal Memory for Nonnegative Matrix Factorization
Japan Advanced Institute of Science and Technology（日本科学技术高等学院）；University of Engineering and Technology, Vietnam National University, Hanoi（越南国立大学河内大学工程技术学院）；John von Neumann Institute, Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市冯·诺依曼研究所）
本文提出一种基于全分解的灵活加速算法，结合反偏算法和快速块坐标下降算法，实现非负矩阵分解的线性收敛性，适用于大规模数据集。
2015-06-30 cs.NA math.NA math.OC
L1 Optimal Control of Continuous-Time Stochastic Positive Systems
Lund University（隆德大学）；Purdue University（普渡大学）
研究连续时间随机正系统的 L1 最优控制问题，考虑线性非负成本及输入约束，建立正象限前向不变性并提出模拟方法，给出有限和无限时域问题的显式解，证明对乘性随机不确定性的鲁棒性。
2026-07-07 cs.SY eess.SY math.OC
