Performance Guarantees for Schatten-$p$ Quasi-Norm Minimization in Recovery of Low-Rank Matrices
我们解决了一些理论保证$p$准范数最小化($p \in (0,1]$)在恢复低秩矩阵从压缩的线性测量。首先,利用测量算子的零空间性质,给出了低秩矩阵精确恢复的一个充分条件。这个条件保证了唯一的恢复矩阵的秩等于或大于核范数最小化所保证的。其次,这个充分条件导致了一个定理证明了所有基于限制等距性质(RIP)的$\ell_p$拟范数最小化的充分条件推广到Schatten- $p$拟范数最小化。基于这个定理,我们提供了一些基于RIP的恢复条件。
2014-10-26 cs.IT math.IT stat.ML
Index Coding and Network Coding via Rank Minimization
索引码减少了由无线发射机向具有不同需求和附带信息的多个接收机广播的比特数。已知寻找最优线性索引码的问题是NP-困难的。我们研究了基于秩最小化和矩阵完成方法的不同算法的性能,例如交替投影和交替最小化,用于在实数上构造线性索引码。作为我们的研究结果的总结,交替投影方法给出了最好的结果,在最小化的广播位数和收敛速度,并导致高达13%的平均通信成本节省相比,图着色算法在文献中研究。此外,我们描述了如何提出的方法可以用来构造线性网络码的非组播网络。我们的计算机代码可以在网上找到。
2015-04-26 cs.IT math.IT
On the Convex Geometry of Weighted Nuclear Norm Minimization
低秩矩阵逼近是一种从观测值构造低秩矩阵的方法,近年来受到广泛关注。解决这一问题的一个有效方法是将秩最小化问题转化为核范数最小化问题。然而,软阈值的奇异值导致消除的重要信息感测矩阵。加权核范数最小化(WNNM)已经被提出,其中奇异值被分配不同的权重,以便不同地处理奇异值。本文利用凸几何与压缩感知算法之间的联系,在特定的加权条件下分析了WNNM的解。结果表明,WNNM是凸的权重是在非降序,有一个唯一的全局极小值的最小化问题。
2016-09-19 cs.IT math.IT
Efficient and Guaranteed Rank Minimization by Atomic Decomposition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种基于原子分解的高效秩最小化算法,结合随机化快速低秩近似,具有性能保证且能处理大规模问题。
2009-05-01 cs.IT cs.NA math.IT
Multi-weight Nuclear Norm Minimization for Low-rank Matrix Recovery in Presence of Subspace Prior Information
加权核范数最小化最近被认为是一种技术,用于从压缩采样测量重构低秩矩阵时,矩阵的行列子空间的一些先验信息是可用的。在这项工作中,我们研究的恢复条件和相关的恢复保证加权核范数最小化时,允许多个权重。当可以访问与地面实况矩阵的列子空间和行子空间形成多个角度的先前子空间时,可以使用该设置。虽然在这一领域的现有作品使用一个单一的权重来惩罚所有的角度,我们提出了一个多权重的问题,旨在惩罚每个角度独立使用一个不同的权重。具体来说,我们证明了我们提出的多权重问题是稳定的和强大的条件下较弱的条件下的测量算子比类似的条件为单权重的情况下,标准的核范数最小化。此外,它提供了比现有技术方法更好的重建误差。我们用大量的数值实验来说明我们的结果,这些实验证明了在恢复过程中允许多个权重的优点。
2022-04-26 cs.IT math.IT
TARM: A Turbo-type Algorithm for Affine Rank Minimization
仿射秩最小化(ARM)问题在许多现实世界的应用中出现。我们的目标是从少量的噪声仿射测量中恢复低秩矩阵。原始问题是NP难的,因此直接求解该问题在计算上是禁止的。ARM的近似低复杂度解决方案最近吸引了很多研究兴趣。本文设计了一种基于消息传递原理的ARM迭代算法。该算法被称为涡轮型ARM(TARM),最近开发的涡轮压缩感知算法的稀疏信号恢复的启发。我们表明,当测量的线性算子是右正交不变(ROIL),一个标量函数称为状态演化可以建立准确地预测的行为的TARM算法。我们还表明,TARM收敛速度远远快于低秩矩阵恢复的对应算法。我们进一步扩展了TARM算法的矩阵完成,其中的测量算子对应于一个随机选择矩阵。我们表明,虽然状态演化是不准确的矩阵完成,TARM算法与仔细调整的参数仍然显着优于同行。
2018-02-11 cs.IT math.IT
Stochastic Variance Reduced Gradient for affine rank minimization problem
本文提出了一种有效的随机方差降低梯度下降算法来解决仿射秩最小化问题,该问题包括从线性测量中找到一个最小秩的矩阵。该算法作为一种随机梯度下降策略,比全梯度算法具有更好的复杂度。它还减小了每次迭代时随机梯度的方差,加快了收敛的收敛速率。在约束等距条件下,我们证明了该算法线性收敛于期望解。数值实验表明,与现有的贪婪算法相比,该算法在效率、自适应性和精确度之间具有明显的优势.
2022-11-05 cs.IT math.IT math.OC
Interference Alignment Designs for Secure Multiuser MIMO Systems: Rank Constrained Rank Minimization Approach
在本文中,我们制定的干扰对齐(IA)问题的多用户多输入多输出(MIMO)系统中存在的窃听作为一个秩约束秩最小化(RCRM)问题。所提出的秩最小化IA方案的目的是找到预编码和接收器子空间矩阵,以将干扰和窃听信号对齐到最低维度的子空间中,同时保持所需的信号子空间跨越全部可用的空间维度。针对秩函数的非凸性,提出了RCRM问题的两种凸松弛,即核范数(NN)和加权核范数(RNN),并将秩约束转化为等价的、易处理的约束.然后,我们推导出一个坐标下降的方法来获得IA计划的解决方案。仿真结果表明,我们提出的IA设计优于传统的IA设计的平均保密和率。另一方面,我们提出的设计执行相同或更好的比其他安全IA计划,占低干扰和窃听信号功率,而不是低维度的干扰和窃听信号矩阵的系统,实现完美的IA。
2015-08-04 cs.IT math.IT math.OC
Fixed Point and Bregman Iterative Methods for Matrix Rank Minimization
仿射限制条件下的低秩矩阵的恢复问题广泛地出现在控制、信号处理及系统识别等许多领域中.该问题的最紧凸松弛是线性约束核范数最小化。虽然后者可以被看作是半定规划问题,但当矩阵很大时,这种方法的求解在计算上是昂贵的。本文提出了求解核范数最小化问题的不动点算法和Bregman迭代算法,并证明了第一种算法的收敛性.通过使用同伦方法和近似奇异值分解过程,我们得到了一个非常快速、鲁棒和强大的算法,我们称之为FPCA(不动点Continuation with Approximate SVD),它可以解决非常大的矩阵秩最小化问题。在随机生成矩阵和实矩阵完备化问题上的数值结果表明,与SDPT 3等半定规划求解器相比,该算法具有更快的速度和更好的可恢复性.例如,我们的算法可以在大约3分钟内恢复秩为50的1000 × 1000个矩阵,并且通过仅采样20%的元素,相对误差为1 e-5。据我们所知,没有其他方法可以实现如此好的可恢复性。在在线推荐、DNA微阵列数据集和图像修复问题上的数值实验验证了算法的有效性.
2009-05-12 cs.IT math.IT math.OC
Interference Alignment as a Rank Constrained Rank Minimization
我们表明,最大化的总和自由度的静态平坦衰落多输入多输出(MIMO)干扰信道是等价于一个秩约束的秩最小化问题(RCRM),当信号空间跨越所有可用的维度。秩最小化对应于最大化干扰对准(IA),使得干扰跨越可能的最低维子空间。秩约束考虑了跨越所有可用空间维度的有用信号空间。这样,我们重新制定了所有IA要求,要求涉及职级。然后,我们提出了一个凸松弛的RCRM问题的启发,最近的结果在压缩感知和低秩矩阵完成理论,依赖于近似秩与核范数。我们表明,干扰矩阵的秩和的凸包络是其相应的核规范的归一化和,并引入易于处理的约束,是渐近等价的秩约束的初始问题。我们还表明,我们的启发式放松可以调整多小区干扰信道。此外,我们的实验表明,在许多情况下,所提出的算法达到完美的干扰对齐,并在某些情况下优于以前的方法找到预编码和迫零矩阵干扰对齐。
2011-03-16 cs.DC cs.IT cs.NI
The perturbation analysis of nonconvex low-rank matrix robust recovery
本文提出了一种完全扰动的非凸Schatten $p$ -极小化方法来解决完全扰动的低秩矩阵恢复问题。基于约束等距性,将研究推广到既考虑噪声又考虑扰动的完全扰动模型,给出了保证低秩矩阵恢复的约束等距性条件和相应的重构误差界。特别地,对结果的分析表明,对于完全扰动和低秩矩阵,当$p$使$0$和$a>1$减小时,该条件是最优充分条件$δ_{2r}<1$ \cite{Recht et al 2010} .数值实验表明,非凸Schatten $p$ -最小化方法在完全扰动情形下比凸核范数最小化方法具有更好的性能.
2020-06-11 cs.IT math.IT
An Optimal Condition of Robust Low-rank Matrices Recovery
本文研究了低秩矩阵核范数最小化的重构条件。我们得到了充分条件$δ_{tr}<t/(4-t)$与$0<t<4/3$,以保证鲁棒重建$(z\neq0)$或精确重建$(z=0)$的所有秩$r$矩阵$X\in\mathbb{R}^{m\times n}$从$b=\mathcal{A}(X)+z$通过核范数最小化。此外,我们不仅证明了当$t=1$时,$δ_r<1/3$的上界与蔡和张\cite{Cai and Zhang}的结果相同,而且证明了所得到的关于恢复误差的上界更好.此外,我们证明了限制等距性条件是尖锐的。此外,数值实验表明,核范数最小化方法对于恢复低秩矩阵是稳定和鲁棒的。
2020-03-10 cs.IT math.IT
Compressed Sensing and Affine Rank Minimization under Restricted Isometry
本文建立了压缩感知和仿射秩最小化的新的约束等距条件。它示出的压缩感知,$δ_{k}^A+θ_{k,k}^A < 1$保证精确恢复的所有$k$稀疏信号在无噪声的情况下,通过约束$\ell_1$最小化。此外,上界1在以下意义上是尖锐的:对于任何$ε> 0$,条件$δ_k^A + θ_{k, k}^A < 1+ε$不足以保证使用任何恢复方法的这种精确恢复。类似地,对于仿射秩最小化,如果$δ_{r}^\mathcal{M}+θ_{r,r}^\mathcal{M}< 1$,则所有秩至多为$r$的矩阵可以通过约束核范数最小化在无噪声情况下精确地重建;并且对于任何$ε> 0$,$δ_r^\mathcal{M} +θ_{r,r}^\mathcal{M} < 1+ε$不确保使用任何方法进行这样的精确恢复。此外,在噪声情况下,条件$δ_{k}^A+θ_{k,k}^A < 1$和$δ_{r}^\mathcal{M}+θ_{r,r}^\mathcal{M}< 1$也足以分别稳定恢复稀疏信号和低秩矩阵。还讨论了应用和扩展。
2013-04-12 cs.IT math.IT math.ST
Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa(爱荷华大学)
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题,因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12,14,15]中,作者建立了核范数极小化的充要零空间条件(强零空间条件),以恢复所有可能的秩不超过r的低秩矩阵。此外,在[12]中,Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件(弱零空间条件),并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件,而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件,它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数,并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP
New Null Space Results and Recovery Thresholds for Matrix Rank Minimization
核范数最小化(NNM)最近获得了显着的关注,其用于秩最小化问题。类似于压缩感知,使用零空间表征,在\cite{arxiv,Recht_Xu_Hassibi}中研究了NNM的恢复阈值。然而,仿真结果表明,阈值是远离最佳的,特别是在低秩区域。在本文中,我们应用最近的分析Stojnic压缩感知\cite{mihailo}的零空间条件的NNM。由此产生的阈值明显更好,特别是我们的弱阈值似乎与模拟结果相匹配。此外,我们的曲线表明,对于任何秩与矩阵大小$n$线性增长,我们只需要三倍的过采样(模型复杂度)弱恢复。与\cite{arxiv}类似,我们分析了弱阈值、分段阈值和强阈值的条件。另外,对正半定矩阵的特殊情况,也作了单独的分析。最后,我们讨论了模拟结果和未来的研究方向。
2010-11-29 cs.IT math.IT math.OC
Low-tubal-rank Tensor Completion using Alternating Minimization
Shanghai Jiao Tong University(上海交通大学);Columbia University(哥伦比亚大学);Tufts University(塔夫茨大学);Purdue University(普渡大学)
低管秩张量模型最近被提出用于真实世界的多维数据。本文研究了低管秩张量完备化问题,即,通过观察随机均匀选择的元素子集来恢复三阶张量。我们提出了一个快速的迭代算法,称为{ \em Tubal-Alt-Min},这是一个类似的方法低秩矩阵完成的启发。未知的低tubal秩张量表示为两个小得多的张量的乘积,其中低tubal秩属性被自动合并,并且Tubal-Alt-Min使用张量最小二乘最小化在估计这两个张量之间交替。首先,我们注意到,张量最小二乘最小化不同于其矩阵对应物,并且由于低管秩张量模型的循环卷积算子与子采样算子交织在一起,因此是非平凡的。其次,理论性能保证是具有挑战性的,因为Tubal-Alt-Min本质上是迭代的和非凸的。我们证明了1)Tubal-Alt-Min保证指数收敛到全局最优值; 2)对于具有管秩$r \ll n$的$n \times n \times k$张量,所需的采样复杂度为$O(nr^2k \log^3 n)$,计算复杂度为$O(n^2rk^2 \log^2 n)$ .第三,在合成数据和真实视频数据上,评估结果表明,与张量核范数最小化(TNN-ADMM)相比,Tubal-Alt-Min显著改善了恢复误差(数量级)。据估计,Tubal-Alt-Min以指数速率$10^{-0.4423 \text{Iter}}$收敛,其中$\text{Iter}$表示迭代次数,这比TN…
2016-10-05 cs.IT cs.LG math.IT
Recovery of Low-Rank Matrices under Affine Constraints via a Smoothed Rank Function
研究了仿射约束下矩阵秩最小化问题。国家的最先进的算法可以恢复矩阵的秩远远小于什么是足够的唯一性的解决方案,这个优化问题。我们提出了一个算法的基础上的秩函数,这实际上提高了恢复限制的解决方案的秩的平滑近似。这种近似导致非凸规划;因此,为了避免陷入局部解,我们使用以下方案。最初,优化服从仿射约束的秩函数的粗略近似。随着算法的进行,优化秩的更精细的近似,并且用先前近似的解初始化求解器,直到达到期望的精度。在理论方面,利用球截面的性质,我们将证明逼近函数的解序列收敛到最小秩解。在实验方面,它将表明,该算法,称为SRF代表平滑秩函数,可以恢复矩阵的秩最小化问题的唯一解决方案,但不能恢复核范数最小化。此外,它将被证明,在完成部分观测矩阵,SRF的准确性是相当大的,一贯优于一些著名的算法时,显示的条目的数量接近的最小数量的参数,唯一地代表一个低秩矩阵。
2013-12-26 cs.IT math.IT
Accurate low-rank matrix recovery from a small number of linear measurements
我们考虑从少量随机线性测量中恢复低秩矩阵M的问题。这个问题的一个流行而有用的例子是矩阵完成,其中测量揭示了条目子集的值,我们希望填充缺失的条目(这是着名的Netflix问题)。当M被认为具有低秩时,理想情况下会试图通过找到与数据一致的最小秩矩阵来恢复M;然而,这是有问题的,因为这是一个非凸问题,通常是棘手的。核范数最小化已经被提出作为一种易于处理的方法,过去的论文已经深入研究了核范数最小化算法的理论性质,建立了最小化核范数产生最小秩解的条件。我们回顾了今年春天的新兴文献,并扩展和完善以前的理论结果。我们的重点是提供误差界时,M是很好地近似一个低秩矩阵,当测量与噪声损坏。我们发现,对于某一类随机线性测量,核范数最小化提供了稳定的恢复,从一些样本几乎在理论下限,并享有秩序最优的误差界(高概率)。
2009-10-02 cs.IT math.IT
Guaranteed Rank Minimization via Singular Value Projection
在机器学习和统计学中,最小化受仿射约束的矩阵的秩是具有许多重要应用的基本问题。在本文中,我们提出了一个简单而快速的算法SVP(奇异值投影)的秩最小化与仿射约束(ARMP),并表明SVP恢复最小秩的解决方案,满足“限制等距属性”的仿射约束,并显示我们的方法对噪声的鲁棒性。我们的研究结果在Recht,Fazel和Parillo(RFP07)以及Lee和Bresler(LB09)的最新突破基础上有三个重要方面的改进:1)我们的方法(SVP)分析起来明显更简单,更容易实现,2)我们在严格较弱的等距假设下给出了恢复保证3)我们甚至在存在噪声的情况下也给出了SVP的几何收敛保证,并且如经验所示,SVP在现实世界和合成问题上的速度明显更快。此外,我们解决了实际上重要的问题,低秩矩阵完成(MCP),这可以被看作是ARMP的一个特殊情况。我们的经验表明,我们的算法恢复低秩非相干矩阵从几乎最佳数量的均匀采样条目。我们取得了部分进展,证明准确的恢复,并提供了一些直观的强大性能的SVP适用于矩阵完成显示出更严格的等距属性。我们的算法优于现有的方法,如\cite{RFP07,CR08,CT09,CCS08,KOM09,LB09},ARMP和矩阵完成问题的数量级,也显着更强大的噪声。
2009-10-19 cs.IT cs.LG math.IT
In-network Sparsity-regularized Rank Minimization: Algorithms and Applications
给定来自低秩矩阵加上已知脂肪压缩矩阵乘以稀疏矩阵的乘积的叠加的有限数量的条目,低秩和稀疏分量的恢复是包含压缩感测、矩阵完成和主分量追踪的基本任务。本文提出了分布式稀疏正则秩最小化网络的算法,当核和$\ell_1$ -范数分别作为代理的秩和非零项计数的寻求矩阵,分别。虽然核范数最小化在集中式处理可行时具有有据可查的优点,但奇异值和的不可分离性对其分布式最小化提出了挑战。为了克服这一限制,核范数的另一种表征,通过交替方向的乘法器的方法,导致一个可分离的,但非凸的成本最小化。新的分布式迭代需要降低每个节点的任务的复杂性,并负担得起的单跳邻居之间的消息传递。有趣的是,在收敛时,分布式(非凸)估计可证明达到其集中式对应的全局最优,而不管初始化。几个应用领域的概述,以突出建议的框架的一般性和影响。这些包括揭示骨干网络中的流量异常,预测网络范围内的路径延迟,以及使用无线认知无线电来映射RF环境。模拟合成和真实的网络数据证实了新的分布式算法的收敛性,其集中的性能保证。
2012-03-07 cs.IT cs.MA cs.NI
Tensor theta norms and low rank recovery
我们研究了压缩感知和低秩矩阵恢复的扩展,从不完全线性信息恢复低秩张量。虽然通过核范数最小化重构低秩矩阵是相当好的理解,现在,几乎没有理论可用于扩展到高阶张量由于各种理论和计算困难所产生的张量分解。事实上,核范数最小化矩阵恢复是一个易处理的凸松弛方法,但扩展的核范数张量一般是NP-难计算。在这篇文章中,我们引入了张量核范数的凸松弛,它可以通过半定规划在多项式时间内计算。我们的方法是基于θ机构,一个概念,从计算代数几何类似的拉萨尔松弛。我们引入了多项式理想,它是由对应于张量的不同矩阵化的二阶未成年人产生的(其中张量项被视为变量),使得核范数球是理想的代数簇的凸包。对于这样一个理想,$k$ -th θ体产生一个新的范数,我们称之为$θ_k$ -范数。我们表明,在矩阵的情况下,这些规范减少到核规范。然而,对于$d \geq 3$阶张量,我们得到了新的范数。相应的单位- $θ_k$ -范数球序列渐近收敛于单位张量核范数球。通过提供理想的格罗布纳基,我们明确地给出了半定程序的计算$θ_k$ -范数和最小化的$θ_k$ -范数下的仿射约束。通过$θ_1$ -范数最小化的3阶张量恢复的数值实验表明,我们的方法成功地重建张量的低秩不完整的线性(随机)测量。
2017-02-14 cs.IT math.IT
Rank Minimization over Finite Fields: Fundamental Limits and Coding-Theoretic Interpretations
本文给出了有限域低秩矩阵的信息论极限估计,给出了低秩矩阵的随机线性测度,这些线性测度是由低秩矩阵与随机感知矩阵的内积得到的。给出了所需测量次数的充要条件。结果表明,这些条件是尖锐的,最小秩解码器是渐近最优的。该解码器的可靠性函数也来自呼吁德卡昂的下界的概率联盟。当感测矩阵是稀疏的时,该充分条件也成立-这是可以服从有效解码的场景。更准确地说,它表明,如果n个\times n-传感矩阵包含,平均,Ω(nlog n)的条目,所需的测量的数量是相同的,当传感矩阵是密集的,并包含均匀随机抽取的字段的条目。上述结果与编码理论文献中的秩度量码进行了类比。事实上,我们也强烈的动机,了解最小秩距离解码的随机秩度量码成功。为此,我们推导出等概率和稀疏秩度量码的距离性质。这些距离属性提供了一个精确的几何解释的事实,稀疏的合奏需要尽可能少的测量密集的。最后,我们提供了一个非穷举的过程来搜索未知的低秩矩阵。
2011-12-01 cs.IT math.IT stat.ML
Closed-Form Solutions to A Category of Nuclear Norm Minimization Problems
National University of Singapore(新加坡国立大学)
在机器学习和计算机视觉中,利用核范数逼近学习低秩矩阵是一种有效的学习策略。因此,对核范数极小化问题的研究近年来受到了广泛的关注。在本文中,我们将证明下面的低秩表示(LRR)\cite{icml_2010_lrr,lrr_extention}问题:{eqnarray*} \min_{Z} \norm{Z}_*,& {s.t.,} & X=AZ,{eqnarray*}有唯一的封闭形式的解,其中$X$和$A$是给定的矩阵。证明是基于证明一个引理,使我们能够得到封闭形式的解决方案,一类核范数最小化问题。
2010-11-23 cs.CV cs.IT math.IT
Non-Convex Rank Minimization via an Empirical Bayesian Approach
Microsoft Research Asia(微软亚洲研究院)
在许多需要最小秩的矩阵解的应用中,潜在的成本函数是非凸的,导致难以处理的NP-难优化问题。因此,凸核范数经常被用作矩阵秩的替代惩罚项。问题是,在许多实际情况下,不再有任何保证,我们可以正确地估计生成低秩矩阵的兴趣,理论上的特殊情况下,尽管。因此,本文提出了一种替代的经验贝叶斯过程建立在变分近似,不同的核规范,保留相同的全球最小化点估计的秩函数在许多有用的约束。然而,局部最小化的解决方案在很大程度上是通过边缘化平滑,使算法成功时,标准的凸松弛完全失败。虽然所提出的方法是普遍适用于广泛的低秩应用,我们专注于我们的注意力在强大的主成分分析问题(RPCA),其中涉及到估计未知的低秩矩阵与未知的稀疏腐败。理论和经验证据表明,我们的方法可能优于相关的基于MAP的方法,其中凸主成分追踪(PCP)算法(Candes等人,2011年,可以看作是一个特例。
2012-07-10 cs.CV cs.IT math.IT
Sharp RIP Bound for Sparse Signal and Low-Rank Matrix Recovery
本文建立了稀疏信号恢复和低秩矩阵恢复的约束等距性(RIP)的一个严格条件。研究表明,如果测量矩阵$A$满足RIP条件$δ_k^A<1/3$,则通过基于$y=Aβ$的约束$\ell_1$最小化可以精确地恢复所有$k$稀疏信号$β$.类似地,如果线性映射$\cal M$满足RIP条件$δ_r^{\cal M}<1/3$,则通过基于$b={\cal M}(X)$的约束核范数最小化,可以精确地恢复秩至多为$r$的所有矩阵$X$。此外,在这两种情况下,当条件不成立时,一般不可能这样做。此外,考虑了噪声情况,在sharp RIP条件下给出了预言不等式。
2013-02-06 cs.IT math.IT
Stable low-rank matrix recovery from 3-designs
RWTH Aachen University(亚琛工业大学)
本文研究了从3设计中稳定恢复低秩矩阵的方法,通过核范数最小化建立了与4设计相似的恢复保证,解决了3设计的恢复问题。
2025-12-12 cs.IT math.IT
Sparse Representation of a Polytope and Recovery of Sparse Signals and Low-rank Matrices
本文考虑压缩感知和仿射秩最小化在无噪和有噪情况下,并建立了尖锐的限制等距稀疏信号和低秩矩阵恢复条件。分析依赖于一个关键的技术工具,表示点的多面体的凸组合稀疏向量。该技术是基本的,但导致尖锐的结果。它示出,对于任何给定的常数$t\ge {4/3}$,在压缩感知$δ_{tk}^A < \sqrt{(t-1)/t}$保证精确恢复的所有$k$稀疏信号在无噪声的情况下,通过约束$\ell_1$最小化,并同样在仿射秩最小化$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$确保精确重建的所有矩阵的秩最多$r$在无噪声的情况下,通过约束核范数最小化。此外,对于任何$ε>0$,对于大的$k$,$δ_{tk}^A<\sqrt{\frac{t-1}{t}}+ε$不足以保证所有$k$稀疏信号的精确恢复。类似的结果也适用于基质回收。此外,条件$δ_{tk}^A < \sqrt{(t-1)/t}$和$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$也被证明是足够的,分别为稳定恢复的近似稀疏信号和低秩矩阵在噪声的情况下。
2013-10-22 cs.IT math.IT math.ST
Multi-mode Core Tensor Factorization based Low-Rankness and Its Applications to Tensor Completion
Ghent University(根特大学)
低秩张量完备化在计算机视觉和机器学习中有着广泛的应用。本文提出了一种新的多模态核张量因子分解(MCTF)方法,该方法结合了张量低秩测度和该测度的一种更好的非凸松弛形式(NC-MCTF)。所提出的模型对Tucker和T-SVD提供的一般张量的低秩见解进行编码,因此预计可以同时对多个方向的谱低秩进行建模,并根据少量观察到的条目准确地恢复固有低秩结构的数据。此外,我们研究了MCTF和NC-MCTF正则化极小化问题,并设计了一个有效的块连续上界极小化(BSUM)算法来求解它们。这种高效的求解器可以将MCTF扩展到各种任务,例如张量完成。一系列实验,包括高光谱图像(HSI),视频和MRI完成,证实了所提出的方法的优越性能。
2021-12-14 cs.CV cs.IT math.IT
Locally Permuted Low Rank Column-wise Sensing
本文解决了部分观测数据被置换的无标签低秩列向感知问题,通过推广AltGDMin算法并提出AltMin方案,实验证明PermutedAltGDmin收敛速度远快于Permuted-AltMin。
2025-09-11 cs.IT eess.SP math.IT
Uniqueness Conditions for A Class of l0-Minimization Problems
研究了一类l0-极小化问题,即寻找具有附加约束的欠定线性方程组的部分稀疏解。引入lp-诱导范数(0 < p < 1)、最大标度火花和标度互相关等概念,给出了这类l0-极小化问题部分稀疏解的唯一性条件.通过所谓的概念,如最大缩放(子)相干秩,也实现了这些唯一性标准中的一些的进一步改进。
2013-12-16 cs.IT math.IT math.OC
Unicity conditions for low-rank matrix recovery
本文研究了通过任意方法(包括不可行方法)恢复低秩矩阵所需的最少测量次数,给出了随机测量系综下保证秩最小化均匀恢复所有秩r矩阵的充分必要条件,并与核范数最小化的性能进行了比较。
2011-03-28 cs.IT cs.NA cs.SY
The Non-convex Geometry of Low-rank Matrix Optimization
本文研究了两个常见的极小化问题:(i)定义域为半正定矩阵的一般凸函数$f(\mathbf{X})$的极小化问题;(ii)定义域为一般矩阵的由矩阵核范数$\|\mathbf{X}\|_*$正则化的一般凸函数$f(\mathbf{X})$的极小化问题。尽管它们在文献中的最佳统计性能,这两个优化问题具有很高的计算复杂性,即使使用定制的快速凸解算器解决。为了开发更快和更可扩展的算法,我们遵循Burer和Monteiro的建议,将低秩变量$\mathbf{X} = \mathbf{U}\mathbf{U}^\top $(半定矩阵)或$\mathbf{X}=\mathbf{U}\mathbf{V}^\top $(一般矩阵)分解,并将核范数$\|\mathbf{X}\|_*$替换为$(\|\mathbf{U}\|_F^2+\|\mathbf{V}\|_F^2)/2$。尽管所得到的因子制剂的非凸性,我们证明,每个临界点要么对应于原来的凸问题的全局最优值,或者是一个严格的鞍Hessian矩阵具有严格的负特征值。这样一个很好的几何结构的因子公式允许许多本地搜索算法找到一个全局优化器,即使随机初始化。
2019-02-21 cs.IT math.IT math.OC
Stability of low-rank matrix recovery and its connections to Banach space geometry
压缩感知与有限维$\ell_p$空间的几何结构之间存在众所周知的关系。Kashin和Temlyakov的一个结果可以被描述为一个表征的稳定性恢复稀疏向量通过$\ell_1$ -最小化的Gelfand宽度的某些恒同映射之间的有限维$\ell_1$和$\ell_2$空间,而最近的结果Foucart,Pajor,Rauhut和Ullrich证明了一个类似的关系,甚至为$\ell_p$空间与$p < 1$。在本文中,我们证明了我们所说的矩阵或非交换的版本,这些结果:我们通过Schatten $p$ -(准)范数最小化的Gelfand宽度的有限维Schatten $p$ -空间之间的某些恒同映射的低秩矩阵恢复的稳定性进行了表征。
2015-06-19 cs.IT math.FA math.IT
How robust is randomized blind deconvolution via nuclear norm minimization against adversarial noise?
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所);KU Eichstätt-Ingolstadt(艾希施泰特-英戈尔施塔特天主教大学)
本文研究了从两个未知信号的卷积中恢复两个未知信号的问题,即通常所说的盲反卷积。在过去的十年中,由于核范数最小化启发式的成功,盲反卷积作为一个低秩恢复问题的重新表述导致了多个理论恢复保证。特别是,在没有噪声的情况下,精确的恢复已经建立了足够的非相干信号包含在低维子空间。然而,如果卷积被加性有界噪声破坏,恢复问题的稳定性仍然不太清楚。特别是,现有的重建界涉及大的维度因子,因此无法解释核范数最小化的维度无关鲁棒性的经验证据。最近,理论上的证据已经出现了病态行为的低秩矩阵恢复足够小的噪声水平。在这项工作中,我们开发了改进的恢复保证盲反卷积与对抗性噪声表现出平方根缩放的噪声水平。因此,我们的研究结果与现有的反例是一致的,这些反例反对相关的低秩矩阵恢复问题所证明的噪声水平的线性缩放。
2023-03-17 cs.IT cs.LG eess.SP
Recovery of Future Data via Convolution Nuclear Norm Minimization
Southeast University(东南大学);SenseTime Research(商汤科技研究院)
从压缩感知的角度研究时间序列预测问题。首先,我们将TSF转换为一个更具包容性的问题,称为任意采样张量完成(TCAS),即从以任意方式采样的条目子集中恢复张量。虽然众所周知,在塔克低秩的框架中,理论上不可能根据一些任意选择的条目来识别目标张量,但在这项工作中,我们将证明TCAS确实可以根据一个称为卷积低秩的新概念来处理,这是众所周知的傅立叶稀疏性的推广。然后,我们介绍了一个凸计划,称为卷积核范数最小化(CNNM),我们证明,CNNM成功地解决TCAS只要采样条件-这取决于目标张量的卷积秩-服从。这一理论为一个基本问题提供了有意义的答案,即在给定的预测次数下,需要的最小抽样规模是多少。在单变量时间序列、图像和视频上的实验显示了令人鼓舞的结果。
2022-08-03 cs.AI cs.CV cs.IT
Tensor Completion by Alternating Minimization under the Tensor Train (TT) Model
Purdue University(普渡大学);Tufts University(塔夫茨大学)
本文提出一种基于张量列车分解的交替最小化张量补全算法,通过交替优化MPS表示中的矩阵(张量),在计算复杂度和数值性能上优于现有方法。
2016-09-19 cs.IT cs.LG cs.NA
Provable Inductive Matrix Completion
Microsoft Research India(微软印度研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
考虑一个电影推荐系统,其中除了评级信息之外,诸如用户年龄或电影类型的辅助信息也是可用的。与标准的矩阵补全不同,在这种设置中,应该能够对新用户/电影进行归纳预测。本文研究了在精确恢复情形下的归纳矩阵完备化问题。也就是说,我们假设评级矩阵是通过将特征向量应用于低秩矩阵而生成的,目标是恢复底层矩阵。此外,我们推广的问题,低秩矩阵估计秩1测量。我们研究这个一般性的问题,并提供条件的测量集应满足,使交替最小化方法(否则是一个非凸的方法,没有收敛保证)是能够恢复回{ \em确切}底层低秩矩阵。除了归纳矩阵完成,我们表明,其他两个低秩估计问题可以在我们的框架中进行研究:a)一般低秩矩阵检测秩1测量,和b)多标签回归缺失标签。对于这两个问题,我们提供了新的和有趣的界限交替最小化所需的测量的数量可证明收敛到{ \em精确}低秩矩阵。特别是,我们对一般低秩矩阵传感问题的分析显着提高了所需的存储和计算成本比所需的RIP为基础的矩阵传感方法\cite{RechtFP2007}。最后,我们提供了我们的方法的实证验证,并证明交替最小化是能够使用少量的测量恢复上述问题的真实矩阵。
2013-06-04 cs.IT cs.LG math.IT
Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
低秩矩阵估计是在信号处理、机器学习和成像科学中发现大量应用的典型问题。在实践中,一种流行的方法是将矩阵分解为两个紧凑的低秩因子,然后通过简单的迭代法(如梯度下降和交替最小化)直接优化这些因子。尽管非凸性,最近的文献表明,这些简单的算法实际上实现线性收敛时,适当的初始化越来越多的问题的兴趣。然而,经过仔细检查,现有的方法仍然可以是计算昂贵的,特别是病态矩阵:梯度下降的收敛速度线性依赖于低秩矩阵的条件数,而交替最小化的每次迭代的成本往往是禁止的大矩阵。本文的目标是提出一种有竞争力的算法方法,称为缩放梯度下降(ScaledGD),它可以被视为预条件或对角缩放的梯度下降,其中的预条件是自适应的和迭代变化的最小的计算开销。通过针对低秩矩阵检测、鲁棒主成分分析和矩阵完备的定制变体,我们从理论上证明了ScaledGD实现了两全其美:它以独立于低秩矩阵的条件数的速率线性收敛,类似于交替最小化,同时保持了梯度下降的低迭代成本。我们的分析也适用于一般的损失函数,限制强凸和光滑的低秩矩阵。据我们所知,ScaledGD是第一个可证明在广泛的低秩矩阵估计任务中具有此类属性的算法。
2021-06-14 cs.IT cs.LG eess.SP