Computing the norm of nonnegative matrices and the log-Sobolev constant of Markov chains
我们分析了计算一般混合从属矩阵范数的幂迭代的整体收敛性。本文证明了一类非负矩阵的整体收敛定理,推广和改进了关于混合从属$\ell^p$矩阵范数的一个著名结果.特别是,利用Birkoff-Hopf收缩比的非负矩阵,我们获得了新的和明确的整体收敛保证的范围内的矩阵范数的计算最近已被证明是NP-困难的一般情况下,包括混合从属规范的情况下,由不同的$\ell^p$ -规范的条目的子集的总和所产生的向量规范。最后,我们利用新的结果结合超压缩不等式证明了马尔可夫链的对数Sobolev常数的一个新的下界。
2020-02-06 cs.CC cs.NA math.NA
Algorithms for Nonnegative $C^2(\mathbb{R}^2)$ Interpolation
设$ E \subset \mathbb{R}^2 $是一个有限集,设$ f : E \to [0,\infty) $。在本文中,我们解决的算法方面的非负$C^2$插值的平面。具体地说,我们提供了一个有效的算法来计算一个非负的$C^2(\mathbb{R}^2)$扩展$ f $与规范内的最小可能的通用常数因子。我们还提供了一个有效的算法来近似的迹范数。
2021-07-15 math.CA math.OC
Finding approximately rank-one submatrices with the nuclear norm and l1 norm
我们提出了一个凸优化公式与核范数和$\ell_1$ -范数找到一个大的近似秩一的子矩阵的一个给定的非负矩阵。我们开发的最优性条件的制定和表征的最优解的性质。我们建立的条件下,凸公式的最优解具有特定的稀疏结构。最后,我们表明,在一定的假设下,具有很高的概率,该方法可以恢复秩一的子矩阵,即使它是损坏的随机噪声和插入到一个更大的随机噪声矩阵的子矩阵。
2010-11-08 math.OC
Self-scaled bounds for atomic cone ranks: applications to nonnegative rank and cp-rank
矩阵A的非负秩是最小的整数r,使得A可以写为r个秩为1的非负矩阵之和。非负秩由于在优化、概率论和通信复杂性等方面的应用而受到广泛关注。本文研究了一类定义在凸锥上的原子秩函数,它推广了正秩的几个概念,如非负秩或cp-秩(对于完全正矩阵)。该文件的主要贡献是一个新的方法来获得下界,这种职级,提高以前已知的界限。此外,我们提出的边界可以计算半定规划。下界的思想依赖于原子范数方法,其中原子根据感兴趣的向量(或矩阵,在非负秩的情况下)进行自缩放。这导致了一个下界,它在缩放下是不变的,并且至少与其他现有的基于范数的边界一样好。我们主要集中我们的注意力在两个重要的情况下的非负秩和cp秩,我们的界满足有趣的性质:对于非负秩,我们表明,我们的下界可以被解释为一个非组合版本的分数矩形覆盖数,而平方和松弛密切相关的矩阵的矩形图的Lovász θ数。我们还证明了下界继承了许多非负秩所满足的结构性质,如对角标度下的不变性,次可加性等。我们还应用我们的方法来获得完全正矩阵的CP秩的下界。在这种情况下,我们证明了我们的下界总是大于或等于平原秩下界,我们表明,它有有趣的连接组合下界的基础上的边团覆盖数。
2014-04-11 math.OC
Riemannian optimization on unit sphere with $p$-norm and its applications
本文利用广义$p > 1$讨论了单位球面上$p$范数意义下的黎曼优化问题.作为欧几里得空间的黎曼子流形,研究了具有$p$ -范数的球面的几何性质,提出并分析了几种用于黎曼优化的几何工具,如收缩和向量输运.本文还讨论了它在非负约束球面黎曼优化和$L_p$正则化相关优化中的应用。作为实例,前者包括非负主成分分析,后者与Lasso回归和箱约束问题密切相关。数值实验验证了球面上具有$p$ -范数的黎曼优化具有很大的应用潜力,所提出的框架为此类优化提供了理论基础.
2022-02-23 math.OC
Strong NP-Hardness of Rank-2 Nonnegative Matrix Factorization
University of Mons(蒙斯大学)
该研究证明Frobenius范数下最优秩-2非负矩阵分解(NMF)的计算是强NP难的,通过从\textsc{Clique}问题的多项式时间归约完成证明,同时也确立了秩-2对称NMF的强NP难性。
2026-10-16 cs.CC math.OC
Flatness of the nuclear norm sphere, simultaneous polarization, and uniqueness in nuclear norm minimization
本文通过同时极化的概念和核范数次微分的精确表达式,建立了核范数球面上存在线段(或平面)的充要条件.这是利用提供(点为基础的)充要条件和充分条件的唯一性的解决方案,最小化核范数的仿射流形。我们进一步建立了另一套充分条件的唯一性,基于核范数的次微分和问题定义的线性算子的范围的相互作用。最后,利用凸对偶,我们展示了如何将原问题的唯一性结果转化为一类具有严格凸保真度项的核范数正则化极小化问题。
2022-05-17 math.OC
Symmetric Tensor Nuclear Norms
本文研究了对称张量的核范数。正如Friedland和Lim最近所证明的,对称张量的核范数可以在对称分解中得到。讨论了如何根据张量阶数和基域计算对称张量核范数。Lasserre弛豫提出的计算。弛豫的理论性质进行了研究。对于对称张量,我们可以计算它们的核范数以及核分解。所提出的方法可以推广到非对称张量。
2016-05-28 math.OC
Regular and limiting normal cones for the subdifferential mapping graph of nuclear norm
本文主要研究核范数的次微分映射的图的正则和极限法锥的特征,这对于导出秩极小化问题等价的MPEC(Mathematical Programme with Balancing Constraints)重构的最优性条件是必不可少的.
2017-01-20 math.OC
Separable Nonnegative Matrix Factorization Using Powered Ratio-of-Norms Regularization
University of Kentucky(肯塔基大学)
该研究提出基于幂次范数比正则化的SNMF模型,结合DCA与ADMM算法求解,在锚点识别和分类任务上性能优于或媲美现有方法,计算效率具竞争力。
2026-09-01 cs.LG cs.NA math.NA
$\ell_p$-sphere covering and approximating nuclear $p$-norm
该研究提出$\u2113_p$-球面覆盖的击中集工具包,得到矩阵核$p$-范数的首个$\Omega(1)$近似多项式算法,并进一步构建张量核$p$-范数的近似算法,匹配其对偶范数的最优近似界。
2024-07-11 math.OC
Adaptive Low-Nonnegative-Rank Approximation for State Aggregation of Markov Chains
在假设状态空间可映射为少量元状态的条件下,提出了一种低秩非负秩近似方法来确定有限状态马尔可夫链的状态聚集结构.亚状态的数量由马尔可夫转移阵的非负秩来表征。受核范数松弛在低秩极小化问题中的成功应用的启发,我们提出了一个原子正则化子作为非负秩的凸代理,并建立了一个凸优化问题.由于原子正则化本身是不计算上容易处理的,我们而是解决了一系列的问题,涉及一个非负分解的马尔可夫转移阵通过使用近端交替线性化最小化方法。两种方法调整因式分解的秩,使局部极小值逃脱。一种是在分解矩阵上附加一列,这可以解释为负次梯度步长的近似。另一种是通过线性组合来减少冗余维数。总体而言,所提出的算法很可能收敛到全局解。我们的方法的效率和统计特性说明合成数据。我们还将我们的状态聚合算法应用于曼哈顿交通数据集,并与现有的方法进行了广泛的比较。
2018-10-14 math.OC stat.ML
Sum-of-norms regularized Nonnegative Matrix Factorization
University of Southampton(南安普顿大学);University of Waterloo(滑铁卢大学)
针对NMF中未知秩的问题,提出SON正则化方法在线估计非负秩,通过一阶BCD算法高效求解,能处理秩亏数据并适用于高光谱成像。
2025-09-22 cs.LG math.OC stat.ML
Complexity and computation for the spectral norm and nuclear norm of order three tensors with one fixed dimension
近十年来,从双向数据(矩阵)到多向数据(张量),建模和计算方面的研究激增。然而,对于大多数张量最优化问题,当张量的阶数从2(矩阵)增加到3时,会出现剧烈的相变:大多数张量问题是NP困难的,而矩阵问题则很容易。这引发了一个问题,即过渡到底发生在哪里。本文主要研究这类问题的谱范数和核范数。虽然计算一般$\ell\times m\times n$张量的谱范数是NP-困难的,我们表明,它可以在多项式时间内计算,如果$\ell$是固定的。核规范也是如此。虽然这些多项式时间的方法在实践中是不可实现的,我们提出了充分的多项式时间近似方案(FPTAS)的谱范数的基础上的球面网格和核范数的进一步帮助下的对偶理论和半定优化。模拟数据的数值实验表明,我们的FPTAS可以计算这些张量范数小$\ell \le 6$,但大$m, n\ge50$。据我们所知,这是第一个可以计算一般非对称张量核范数的方法。我们的多项式时间算法和FPTAS都可以扩展到高阶张量。
2022-12-30 math.OC
Low-Rank Matrix Completion using Nuclear Norm with Facial Reduction
核范数的最小化经常被用作替代,凸松弛,用于找到部分矩阵的最小秩完成(恢复)。最小核范数问题可以归结为一个迹极小化半定规划问题(SDP). SDP及其对偶是正则的,因为它们都满足严格可行性。内点算法是目前解决这类问题的主要方法。这意味着很难解决大规模的问题,也很难得到高精度的解决方案。在本文中,我们利用最小核范数问题的最优性结构。我们表明,即使严格的可行性,面部减少框架可以成功地应用于获得一个适当的脸,包含最优集,从而可以大大减少最终的核范数问题的大小,同时保证低秩的解决方案。我们包括精确和嘈杂的情况下的数值测试。在所有情况下,我们假设目标等级的知识是可用的。
2016-08-15 math.OC
Robust Near-Separable Nonnegative Matrix Factorization Using Linear Optimization
非负矩阵分解(NMF)在可分离性假设下是一种易于处理的方法,即输入数据矩阵的所有列都属于由其中少数列生成的凸锥。Bittorf、Recht、Ré和Tropp(“使用线性程序分解非负矩阵”,NIPS 2012)提出了一种线性规划(LP)模型,称为Hottopixx,该模型在输入矩阵的任何小扰动下都具有鲁棒性。然而,Hottopixx有两个重要的缺点:(i)输入矩阵必须被归一化,以及(ii)因子分解秩必须事先已知。为了解决这两个问题,本文对Hottopixx进行了推广,提出了一种新的LP模型,该模型不需要归一化,并且可以自动检测分解秩。此外,新的LP模型更灵活,对噪声的容忍度更高,并且可以很容易地适应于处理离群值和其他噪声模型。最后,我们在几个合成数据集上显示,它的性能优于Hottopixx,同时与两种最先进的方法竞争。
2013-10-21 math.OC stat.ML
Off-diagonal Symmetric Nonnegative Matrix Factorization
对称非负矩阵分解(symNMF)是非负矩阵分解(NMF)的一个变体,允许处理对称输入矩阵,并且已经被证明特别适合于聚类任务。在本文中,我们提出了一个新的模型,称为非对角symNMF(ODsymNMF),不考虑对角条目的输入矩阵中的目标函数。与symNMF相比,ODsymNMF有三个关键优势。首先,ODsymNMF在理论上更合理,因为总是存在大小的精确因式分解,最多$\nicefrac{n(n-1)}{2}$,其中$n$是输入矩阵的维数。其次,它在实践中更有意义,因为输入矩阵的对角项通常对应于项目与其本身之间的相似性,不会带来太多信息。第三,它使最优化问题更容易解决。特别是,它将允许我们设计一种基于坐标下降的算法,该算法最小化输入矩阵及其近似值之间的分量$\ell_1$范数。我们证明,这个规范是更好地适合于二进制输入矩阵在实践中经常遇到的。我们还推导出一个坐标下降法的组件明智的$\ell_2$规范,并比较这两种方法与symNMF合成和文档数据集。
2020-03-10 cs.NA math.NA math.OC
A complete characterization on the robust isolated calmness of the nuclear norm regularized convex optimization problems
本文给出了用核范数函数正则化的凸约束最优化问题的Karush-Kuhn-Tucker(KKT)解映射的鲁棒孤立平静性的完整刻画.在文献[8]中,作者证明了在局部最优解的Robinson约束条件下,一类锥规划问题的KKT解映射是鲁棒孤立镇定的当且仅当同时满足二阶充分条件(SOSC)和严格Robinson约束规格(SRCQ).基于核范数函数及其共轭的变分性质,我们建立了原始/对偶SOSC与对偶/原始SRCQ之间的等价性。导出的结果导致几个等价的刻画的鲁棒孤立冷静的KKT解决方案映射和添加见解,现有文献的稳定性核范数正则化凸最优化问题。
2017-02-20 math.OC
A Level Set Method with Secant Iterations for the Least-Squares Constrained Nuclear Norm Minimization
Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
本文提出了一种高效的算法,用于解决计算上具有挑战性的最小二乘约束核范数最小化问题。该方法结合了水平集方法、塞万特迭代和近端生成方法,并证明了投影范数函数在闭凸集上的非奇异性质,从而实现了快速局部收敛。
2026-10-16 math.OC
The Rate of Convergence of the Augmented Lagrangian Method for a Nonlinear Semidefinite Nuclear Norm Composite Optimization Problem
本文提出了两个基本假设,在此假设下,估计了一类复合最优化问题增广Lagrange方法的收敛速率。通过对这两个基本假设的验证,分析了增广拉格朗日方法求解非线性半定核范数复合最优化问题的局部收敛速度.在不要求严格互补的情况下,证明了在约束非退化条件和强二阶充分条件下,算法的收敛速率是线性的,且比常数与1/c成正比,其中c是惩罚参数,超过阈值\bar c>0.分析是基于核范数和投影算子在半正定对称矩阵锥上的近似映射的变分分析。
2017-09-02 math.OC
Finding the largest low-rank clusters with Ky Fan $2$-$k$-norm and $\ell_1$-norm
我们提出了一个凸优化公式与Ky Fan $2$ -norm和$\ell_1$ -norm找到$k$最大的近似秩1的子矩阵块的一个给定的非负矩阵,具有低秩块对角结构的噪声。我们分析了低秩和稀疏结构的最优解使用这两个矩阵范数的性质。我们表明,在一定的假设下,具有很高的概率,该方法可以恢复秩一子矩阵块,即使它们被随机噪声破坏,并插入到一个更大的矩阵与其他随机噪声块。
2015-11-30 math.OC
Tensor nuclear norm minimization with linear constraints
The Chinese University of Hong Kong(香港中文大学);University of Western Ontario(韦仕敦大学);Shanghai University of Finance and Economics(上海财经大学)
本文提出半定规划框架,利用有限点SDP表示张量核范数,开发离散化和自适应两种求解方法,在合成和真实数据上显著提升恢复精度。
2026-09-29 math.OC
Fast Parallel Randomized Algorithm for Nonnegative Matrix Factorization with KL Divergence for Large Sparse Datasets
本文提出一种快速并行随机坐标下降算法,用于大规模稀疏数据集的非负矩阵分解与KL散度优化,实现更高效的稀疏建模与表示。
2016-04-14 cs.LG cs.NA math.NA
Computing the dominant eigenpair of an essentially nonnegative tensor via a homotopy method
本征值和本征向量理论是张量分析的基本组成部分之一。计算本质非负张量的主特征对是张量计算中的一个重要课题,因为它在网络资源分配中有着重要的应用。在本文中,我们考虑上述主题,有两个主要贡献。首先,我们证明了一个不可约本质非负张量有唯一的正主特征值和唯一的正归一化特征向量。其次,我们提出了一个同伦方法来计算的主导特征对,并证明了它收敛到所需的主导特征对给定的张量是不可约或可约的基础上的近似技术。最后,我们实现了该方法使用的预测-校正方法的路径跟踪和一些数值结果的报告,以说明所提出的算法的效率。
2021-12-31 cs.NA math.NA math.OC
Nonnegative Matrix Factorization in the Component-Wise L1 Norm for Sparse Data
University of Mons(蒙斯大学);INdAM Research Group GNCS(意大利国家高等数学研究所GNCS研究组)
本文提出基于L1范数的非负矩阵因子化(L1-NMF)方法,证明其NP难性,并引入加权L1-NMF(wL1-NMF)模型及稀疏坐标下降算法(sCD),以提升稀疏数据的解释性与鲁棒性。
2026-09-21 cs.LG eess.SP math.OC
On decomposability and subdifferential of the tensor nuclear norm
The Chinese University of Hong Kong(香港中文大学);Shanghai University of Finance and Economics(上海财经大学);University of Portsmouth(朴茨茅斯大学)
研究张量核范数的可分解性与次微分,揭示其在高阶张量中的分解特性及次微分包容关系,并应用于张量鲁棒主成分分析的统计性能分析。
2026-03-14 math.OC stat.ML
Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $β$-divergence
Aix-Marseille Université(艾克斯-马赛大学);CNRS(法国国家科学研究中心);IRIT(图里尔信息学研究所);Université de Toulouse(图卢兹大学);Toulouse INP(图卢兹国立综合理工学院)
针对带β散度的稀疏非负矩阵分解优化难题,提出基于重参数化的块下降优化最小化算法,适用于任意β散度且有收敛保证,在多数据集上实现相当精度下CPU耗时显著降低。
2024-03-12 cs.LG math.OC
Low-Rank Tensor Recovery via Theta Nuclear p-Norm
本文利用theta体松弛核p-范数解决低秩张量恢复问题,给出范数的代数描述与Gröbner基,建立几何性质,并通过数值实验证明$O(n)$次测量即可恢复低秩张量。
2025-04-11 math.AG math.OC
A Counterexample for the Validity of Using Nuclear Norm as a Convex Surrogate of Rank
秩最小化由于其在数据恢复中的鲁棒性而引起了广泛的关注。为了克服计算上的困难,通常用核范数代替秩。对于几个秩最小化问题,这种替换在理论上已被证明是有效的,即,核范数最小化问题的解也是秩最小化问题的解。虽然很容易相信,这样的替代可能并不总是有效的,没有具体的例子已经被发现,我们认为,这样的有效性检查不能通过数值计算和显示,通过分析无噪声潜在的低秩表示(LatLRR)模型,即使是非常简单的秩最小化问题的有效性仍然可能会打破。作为一个副产品,我们发现,解决方案的核范数最小化制定LatLRR是非唯一的。因此,文献中报告的LatLRR结果可能存在疑问。
2013-07-01 math.OC stat.ML
Chordal-NMF with Riemannian Multiplicative Update
University of Southampton(南安普顿大学)
本文针对非负矩阵分解中F范数度量不适配的问题,提出基于射线到射线弦距离的chordal-NMF,并设计黎曼乘性更新算法在不可微非负流形上求解,实验验证了其有效性。
2025-09-21 cs.NA math.NA math.OC
On the Nuclear Norm heuristic for a Hankel matrix Recovery Problem
Uppsala University(乌普萨拉大学)
本文探讨核范数启发式方法能否从Hankel矩阵上三角元素中恢复稳定单实极点系统的脉冲响应,通过构造证书保证恢复,并给出实验与讨论。
2014-04-23 cs.SY eess.SY math.OC
On the Nuclear Norm and the Singular Value Decomposition of Tensors
求张量的秩是一个有许多应用的问题。不幸的是,通常很难确定给定张量的秩。受凸松弛理论的启发,我们考虑了核范数而不是张量的秩。我们确定各种感兴趣的张量的核范数。同时,我们还系统地研究了张量积空间中正交性的各种度量,并将奇异值分解推广到高阶张量。
2014-04-21 cs.NA math.NA math.OC
Geometric characterizations for strong minima with applications to nuclear norm minimization problems
针对优化问题的强极小值,本文提出若干几何刻画,并将其用于核范数最小化,得到比既有唯一性条件更弱的充要定量条件及低秩矩阵精确恢复的紧测量界。
2023-08-18 cs.NA math.NA math.OC
Efficient Tuning-Free $\ell_1$-Regression of Nonnegative Compressible Signals
在压缩感知中,目标是从尽可能少的噪声、线性测量中恢复信号。一般的假设是信号只有少数非零项。恢复可以由多个不同的解码器执行,但是它们中的大多数依赖于一些调谐。给定噪声水平的估计,恢复信号的常见凸方法是基追踪去噪。如果测量矩阵具有关于$\ell_2$范数的鲁棒零空间性质,则基追踪去噪服从稳定和鲁棒恢复保证。在未知噪声水平的情况下,如果测量矩阵满足附加属性(有时称为$M^+$准则),则非负最小二乘法恢复非负信号。然而,如果测量矩阵是随机左正则二部图的双邻接矩阵,则它以高概率服从关于具有最优参数的$\ell_1$ -范数的零空间性质。因此,我们讨论非负最小一乘偏差(NNLAD)。对于这些测量矩阵,我们证明了一个统一的,稳定的和强大的恢复保证,而不需要调整。这种保证是重要的,因为二进制扩展矩阵是稀疏的,因此允许快速绘制和恢复。我们将进一步提出一种方法来解决NNLAD数值,并表明这是最先进的方法相媲美。最后,我们解释了NNLAD如何在最近的COVID-19危机中用于病毒检测。
2020-10-06 cs.IT math.IT math.OC
Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa(爱荷华大学)
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题,因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12,14,15]中,作者建立了核范数极小化的充要零空间条件(强零空间条件),以恢复所有可能的秩不超过r的低秩矩阵。此外,在[12]中,Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件(弱零空间条件),并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件,而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件,它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数,并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP