Generalized Information Criteria for Structured Sparse Models
本文提出一种考虑稀疏模式的广义信息准则(GIC),用于高维正则化M估计的模型选择与正则化参数选择,并给出非渐近界及一致性条件,在广义线性回归和低秩矩阵回归中验证其有效性。
2023-09-04 econ.EM stat.ME stat.ML
Spectral Compressed Sensing via Structured Matrix Completion
Stanford University(斯坦福大学);The Ohio State University(俄亥俄州立大学)
本文提出基于结构矩阵补全的增强矩阵补全算法,用于从少量时域样本中恢复谱稀疏对象,通过核范数最小化实现完美恢复,且在信息理论极限附近具有鲁棒性和超分辨率应用能力。
2013-05-01 cs.IT cs.LG cs.NA
Structured Low-Rank Matrix Factorization with Missing and Grossly Corrupted Observations
The Chinese University of Hong Kong(香港中文大学);Arizona State University(亚利桑那州立大学)
从不完整或损坏的观测值中恢复低秩和稀疏矩阵是机器学习、统计学、生物信息学、计算机视觉以及信号和图像处理中的重要问题。理论上,这个问题可以通过自然凸联合/混合松弛(即,l_{1} -范数和迹范数)。然而,目前所有的可证明算法遭受超线性每次迭代成本,这严重限制了它们的适用性,以大规模的问题。在本文中,我们提出了一个可扩展的,可证明的结构化低秩矩阵分解方法,以恢复低秩和稀疏矩阵从丢失和严重损坏的数据,即,鲁棒矩阵完成(RMC)问题,或不完整和严重损坏的测量,即,压缩主成分追踪(CPCP)问题。具体来说,我们首先提出了两个小规模矩阵迹范数正则化双线性结构因子分解模型的RMC和CPCP问题,其中重复计算的SVD的大规模矩阵的更新两个小得多的因子矩阵。然后,我们应用交替方向乘子法(ADMM)有效地解决RMC问题。最后,我们提供了我们的算法的收敛性分析,并将其扩展到解决一般的CPCP问题。实验结果验证了我们的方法与国家的最先进的方法相比,效率和有效性。
2014-09-03 cs.CV cs.LG stat.ML
Recovering Simultaneously Structured Data via Non-Convex Iteratively Reweighted Least Squares
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
提出非凸IRLS算法恢复同时行稀疏且低秩的矩阵,实现最小样本复杂度下的局部二次收敛,并以更少测量优于现有方法。
2024-01-18 cs.IT cs.LG math.IT
Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology, Madras, India(电子工程系,印度理工学院,马德拉斯,印度)
本文提出一种无需调参的多测量向量联合稀疏恢复方法,利用隐式正则化实现高效稀疏信号恢复。
2026-01-30 cs.LG stat.ML
Recovery of Structured Signals From Corrupted Non-Linear Measurements
本文研究了从相对少量的损坏的非线性测量中恢复结构化信号的问题。假设信号和腐败包含在一些结构提升的集合中,我们建议一个扩展的Lasso来解开信号和腐败。我们还提供了条件下,这种恢复过程可以成功地重建信号和腐败。
2019-01-24 cs.IT math.IT
A Unified Recovery of Structured Signals Using Atomic Norm
本文提出利用原子范数在通用框架下统一恢复结构化信号,证明凸规划在零空间性质满足时能稳定鲁棒恢复,并推导出稀疏信号和低秩矩阵的新恢复结果。
2023-11-10 cs.IT math.FA math.IT
Optimal structured approximation of Fourier subspaces, Toeplitz matrices, and exponential sums
University of California, Davis(加州大学戴维斯分校);City University of New York, City College and Graduate Center(纽约市立大学城市学院及研究生院)
研究傅里叶矩阵范围恢复、低秩托普利兹/汉克尔矩阵恢复及有限指数和恢复三个问题,核心方法是应用梯度 - MUSIC算法,贡献是给出在多方面极小极大最优的算法及定量转移原理。
2026-07-15 cs.IT math.IT
Robust Matrix Completion with Mixed Data Types
Cornell University(康奈尔大学)
我们考虑了恢复一个结构化的低秩矩阵部分观察项目与混合数据类型的矩阵完成问题。绝大多数的解决方案都提出了计算上可行的估计与强有力的统计保证的情况下,在矩阵中的数据的基本分布是连续的。最近的一些方法已经扩展使用类似的想法,这些估计的情况下,基本分布属于指数家族。这些方法中的大多数假设只有一个底层分布,并且低秩约束由矩阵Schatten范数正则化。我们提出了一种计算上可行的统计方法,具有很强的恢复保证,以及适合并行化的算法框架,以在一个步骤中恢复混合数据类型的部分观察条目的低秩矩阵。我们还提供了大量的模拟证据,证实我们的理论结果。
2020-05-25 cs.LG math.ST stat.ML
A Combinatorial Approach to Robust PCA
Google Research(谷歌研究院);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文针对低秩高斯噪声与坐标级对抗破坏下的数据恢复问题,提出一种组合分析方法,证明在ks^2=O(d)条件下Basis Pursuit能以近最优ℓ1误差恢复任意子空间中的每个数据点。
2023-11-28 cs.DS cs.LG stat.ML
Stable Recovery of Structured Signals From Corrupted Sub-Gaussian Measurements
本文研究了从少量的亚高斯测量中精确恢复结构化信号的问题。我们考虑三种不同的程序来重建信号和腐败时,不同种类的先验知识。在每种情况下,我们提供的条件(在测量的数量方面),从结构化的腐败与添加非结构化的噪声稳定的信号恢复。我们的结果从理论上证明了如何选择正则化参数在部分和完全惩罚恢复过程中,并揭示了三个程序之间的关系。在我们的分析中的关键成分是一个扩展的矩阵偏差不等式的各向同性次高斯矩阵,这意味着一个严格的下界的限制奇异值的扩展传感矩阵。数值实验验证了我们的理论结果。
2017-09-18 cs.IT math.IT
Recovery of Structured Signals with Prior Information via Maximizing Correlation
本文考虑的问题,恢复一个结构化的信号,从一个相对较少的噪声测量的帮助下,这是事先已知的类似的信号。我们提出了一种新的方法,通过最大化先验知识和期望信号之间的相关性,将先验信息集成到标准的恢复过程中。然后,我们建立性能保证(在测量的数量方面),所提出的方法在亚高斯测量。具体的结构化信号,包括稀疏向量,块稀疏向量,低秩矩阵进行了分析。此外,我们提出了一个有趣的几何解释所提出的程序。我们的研究结果表明,如果先验信息是足够好的,那么所提出的方法可以(显着)优于标准的恢复过程。仿真结果验证了我们的结果。
2017-10-27 cs.IT math.IT
Corrupted Sensing with Sub-Gaussian Measurements
本文研究了从少量的亚高斯测量中精确恢复结构化信号的问题。我们考虑三种不同的程序来重建信号和腐败时,不同种类的先验知识。在每种情况下,我们提供了稳定的信号恢复结构化腐败与非结构化噪声的条件。在我们的分析中的关键成分是一个扩展的矩阵偏差不等式的各向同性次高斯矩阵。
2017-05-22 cs.IT math.IT
Lifting high-dimensional nonlinear models with Gaussian regressors
本文研究了当回归量$\mathbf{a}_i$为iid高斯分布时,从高维数据$\mathbf{y}_i=f(\mathbf{a}_i^T\mathbf{x}_0)$中恢复出结构化信号$\mathbf{x}_0$的问题. Brillinger(1982)表明,普通最小二乘估计$\mathbf{x}_0$直到比例常数$μ_\ell$,它取决于$f$。最近,Plan & Vershynin(2015)将这一结果扩展到高维环境,导出了广义Lasso的尖锐误差界。不幸的是,当$μ_\ell=0$时,最小二乘和Lasso都无法恢复$\mathbf{x}_0$。例如,这包括所有偶数链接函数。我们解决这个问题,提出并分析了一种替代的凸恢复方法。简而言之,我们的方法对待这样的链接函数,就好像它们在高维的提升空间中是线性的一样。有趣的是,我们的误差分析捕捉到了非线性和问题的几何形状在几个简单的汇总参数的影响。
2018-10-26 stat.ML
Convex recovery of a structured signal from independent random linear measurements
本章对从独立随机线性测量中恢复结构化信号的凸规划方法进行了理论分析。这种技术提供的采样复杂性的界限,与最近的结果类似的标准高斯测量,但该参数适用于更广泛的一类测量合奏。为了证明这种方法的力量,本文提出了一个简短的分析相位恢复的轨迹范数最小化。关键的技术工具是一个框架,由于门德尔松和合著者,为界定一个非负的经验过程。
2014-12-03 cs.IT math.IT math.ST
Minimum Complexity Pursuit: Stability Analysis
许多问题涉及从降维表示(如随机投影)中恢复结构化信号;示例包括稀疏信号(压缩感知)和低秩矩阵(矩阵完成)。考虑到迄今为止开发的各种不同的恢复算法,很自然地会问是否存在用于从线性投影中恢复“结构化”信号的“通用”算法。我们最近在无噪声环境中肯定地回答了这个问题。在本文中,我们将我们的结果的情况下,噪声测量。
2012-05-21 cs.IT math.IT
Stability of Constrained Optimization Models for Structured Signal Recovery
Zhejiang Sci-Tech University(浙江理工大学)
本文研究了结构信号恢复中三种约束优化模型的稳定性,分析了其在噪声和参数选择下的鲁棒性,并建立了样本复杂度与不匹配误差之间的权衡。
2026-01-08 cs.IT math.IT
Deep Learning Based Successive Interference Cancellation for the Non-Orthogonal Downlink
非正交通信在未来的无线通信系统中将发挥重要作用。在下行链路传输中,数据符号从基站广播到不同的用户,这些数据符号以不同的功率叠加,以促进使用连续干扰消除(SIC)的高完整性检测。然而,SIC需要信道模型和信道状态信息(CSI)两者的准确知识,这可能难以获取。我们提出了一种称为SICNet的深度学习辅助SIC检测器,它用深度神经网络(DNN)代替SIC的干扰消除块。解释一下,SICNet联合训练其内部DNN辅助块,以数据驱动的方式推断表示干扰符号的软信息,而不是像经典SIC那样使用硬判决解码器。结果,SICNet可靠地检测非正交系统的下行链路中的叠加符号,而不需要信道模型的任何先验知识,同时比其基于模型的对应物对CSI不确定性不太敏感。SICNet对用户数量和功率分配的变化也是鲁棒的。此外,SICNet学习产生准确的软输出,与基于模型的SIC相比,这有助于改进软输入纠错解码。最后,我们提出了一种在线训练方法SICNet块衰落下,它利用信道解码准确地恢复在线数据标签进行再训练,因此,允许它平滑地跟踪衰落包络,而不需要专用的导频。我们的数值结果表明,SICNet的性能接近经典SIC下完美的CSI,而在现实的CSI不确定性优于它。
2022-07-29 cs.IT eess.SP math.IT
RIP Analysis of Modulated Sampling Schemes for Recovering Spectrally Sparse Signals
本文分析调制采样方案(如奈奎斯特折叠接收机)的受限等距性质,并利用该性质确定信号恢复所需的稀疏度,随后演示正交匹配追踪从含噪非均匀样本中重建信号的能力。
2012-07-31 cs.IT cs.SY eess.SY
Phase Transitions in Recovery of Structured Signals from Corrupted Measurements
Beijing Institute of Technology(北京理工大学)
本文研究了从相对较少的随机测量中恢复结构化信号的问题。尖锐的相变已在实践中观察到数值时,不同的凸规划程序来解决这个问题。本文致力于提出这些现象的理论解释,采用高斯过程理论的一些基本工具。具体来说,我们确定的精确位置的相变约束和惩罚恢复程序。我们的理论结果表明,这些相变是由一些几何结构的措施,例如,切锥的球面高斯宽度和到缩放次微分的高斯(平方)距离。利用已建立的相变理论,我们进一步研究了这两种恢复过程之间的关系,并揭示了在惩罚恢复过程中选择折衷参数的最优策略(在Lagrange理论意义下).数值实验验证了我们的理论结果。
2021-01-03 cs.CV cs.IT math.IT
Recursive Robust PCA or Recursive Sparse Recovery in Large but Structured Noise
本文研究递归鲁棒主元分析问题。这里,“鲁棒”是指对独立和相关稀疏离群值的鲁棒性。如果离群值是感兴趣的信号,则该问题可以被解释为在存在大的但结构化的噪声Lt的情况下递归地恢复稀疏向量St的时间序列中的一个。我们在Lt上假设的结构是Lt是密集的并且位于固定的或“足够缓慢地”改变的低维子空间中。出现这个问题的一个关键应用是视频监控,其目标是将缓慢变化的背景(Lt)与移动的前景对象(St)分离。为了解决上述问题,我们引入了一种新的解决方案,称为递归投影CS(ReProCS)。在温和的假设下,我们表明,以高概率(w. h. p.),ReProCS能够始终精确地恢复St的支撑集;并且St和Lt的重建误差始终由时不变的小值上界。
2014-08-19 cs.IT math.IT
Uniform recovery of fusion frame structured sparse signals
我们考虑的问题,恢复融合帧稀疏信号从不完整的测量。这些信号是由一个家庭的子空间的非零块的少数。首先,我们表明,通过使用与子空间之间的角度相关联的相干参数的先验知识,可以通过混合l^1/l^2最小化来均匀地恢复融合帧稀疏信号,其中向量值(子)高斯测量的数量显著减少。我们证明了这一点,通过建立一个适当的版本的限制等距属性。我们的结果补充了以前的非均匀恢复结果在这种情况下,并提供了更强的稳定性保证噪声测量和近似稀疏的信号。其次,我们确定了通过混合l^1/l^2-最小化均匀恢复所有融合帧稀疏信号所需的标量值测量的最小数量。这个界限是通过标量值亚高斯测量来实现的。特别是,我们的研究结果表明,数量的标量值亚高斯测量不能进一步减少使用知识的相干参数。作为一种特殊情况,它意味着最好的已知的块稀疏信号使用亚高斯测量的均匀恢复结果是最佳的。
2014-07-29 cs.IT math.IT
Quantized Corrupted Sensing with Random Dithering
受损传感涉及从被未知结构化损坏和非结构化噪声污染的测量集合中恢复高维结构化信号的问题。在线性测量的情况下,不同凸规划过程(例如,广义Lasso及其变体)在文献中得到了很好的建立。然而,在数字信号处理的实际应用中,量化过程是不可避免的,这往往会导致非线性测量。本文主要研究量化测量下的污染感知问题。具体来说,我们证明,在均匀抖动的帮助下,约束和无约束的Lassos都能够恢复信号和腐败的量化样本时,测量矩阵是亚高斯。我们的理论结果揭示了量子化分辨率在Lassos恢复性能中的作用。数值实验证实了我们的理论结果。
2021-03-24 cs.IT math.IT
Compressive Principal Component Pursuit
我们考虑的问题,恢复的目标矩阵是低秩和稀疏分量的叠加,从一个小的线性测量。这个问题出现在压缩感知的结构化高维信号,如视频和高光谱图像,以及在分析变换不变的低秩恢复。我们分析了自然凸启发式算法解决这个问题的性能,假设测量值是随机均匀选择的。我们证明,这种启发式准确地恢复低秩和稀疏的条款,提供的观测数量超过了一个多对数因子的分量信号的固有自由度的数量。我们的分析介绍了几个想法,可能是独立的兴趣压缩感知和分解叠加的多个结构化信号的更一般的问题。
2012-02-21 cs.IT math.IT
Structured Local Optima in Sparse Blind Deconvolution
盲反卷积是从两个未知信号的卷积中恢复它们的普遍问题。不幸的是,这通常是一个不适定问题。本文研究了{ \em短稀疏}盲反卷积问题,其中一个未知信号是短的,另一个是稀疏随机支持的。这种变体在几个重要的应用中捕获未知信号的结构。我们假设短信号具有单位$\ell^2$范数,并将盲反卷积问题转化为球面上的非凸优化问题。我们证明了(i)在球体的某个区域中,每个局部最优值接近于地面真值的一些移位截断,以及(ii)对于长度为$k$的一般短信号,当激活信号的稀疏性$θ\lesssim k^{-2/3}$和测量次数$m\gtrsim poly(k)$,一个简单的初始化方法,连同下降算法,逃避严格的鞍点恢复近移位截断的地面真理内核
2019-07-21 cs.IT eess.SP math.IT
Compressed sensing in the presence of speckle noise
研究了在散斑噪声存在的情况下,从结构信号的线性测量中恢复结构信号的问题。这个问题出现在许多成像系统,如合成孔径雷达和光学相干层析成像。当前的采集技术对信号进行过采样,并将问题转化为具有乘性噪声的去噪问题。然而,本文探讨的可能性,减少测量的数量低于环境尺寸的信号。在乘性噪声的研究中出现的一些问题阻碍了对这类问题的理论分析。本文的目的是提出第一个理论结果关于恢复信号的欠采样测量下的斑点噪声。它示出,如果信号类的结构,在这个意义上说,信号可以被有效地压缩,然后可以获得准确的估计,从更少的测量比周围的尺寸的信号。我们通过仿真结果证明了我们提出的方法的有效性。
2021-07-31 cs.IT math.IT
Uniform Recovery Bounds for Structured Random Matrices in Corrupted Compressed Sensing
我们研究的问题,恢复$s$稀疏信号$\mathbf{x}^{\star}\in\mathbb{C}^n$从损坏的测量$\mathbf{y} = \mathbf{A}\mathbf{x}^{\star}+\mathbf{z}^{\star}+\mathbf{w}$,其中$\mathbf{z}^{\star}\in\mathbb{C}^m$是一个$k$稀疏腐败向量,其非零项可以是任意大的和$\mathbf{w}\in\mathbb{C}^m$是一个密集的噪声有界能量。其目标是通过易于处理的优化程序来精确稳定地恢复稀疏信号。在本文中,我们证明了该问题的一致恢复保证两类结构传感矩阵。第一类可以表示为单位范数紧框架(UTF)、随机对角矩阵和有界列正交矩阵(例如,部分随机循环矩阵)。当UTF是有界的(即$μ(\mathbf{U})\sim1/\sqrt{m}$),我们证明,以高概率,可以恢复$s$ -稀疏信号精确和稳定的$l_1$最小化程序,即使测量被损坏的稀疏向量,提供$m = \mathcal{O}(s \log^2 s \log^2 n)$和腐败的稀疏水平$k$是一个恒定的分数的测量总数。第二类考虑随机子采样正交矩阵(例如,随机傅立叶矩阵)。我们证明了统一的恢复保证腐败是稀疏的某些稀疏域。大量的仿真结果也被提出来验证和补充的理论结果。
2018-02-07 cs.IT math.IT
Recursive Robust PCA or Recursive Sparse Recovery in Large but Structured Noise (parts 1 and 2 combined)
本文研究递归鲁棒主元分析问题。如果离群值是感兴趣的信号,则该问题可以被解释为在存在大的但结构化的噪声$L_t$的情况下递归地恢复稀疏向量的时间序列$S_t$中的一个。我们假设$L_t$的结构是$L_t$是稠密的,并且位于固定或变化“足够慢”的低维子空间中。出现该问题的关键应用是视频监控,其中目标是在运行中将缓慢变化的背景($L_t$)与移动的前景对象($S_t$)分离。为了解决上述问题,在最近的工作中,我们引入了一种新的解决方案,称为递归投影CS(ReProCS)。在这项工作中,我们开发了一个简单的修改原来的ReProCS的想法和分析它。这个修改假定知识的子空间变化模型的$L_t$的。在温和的假设和稠密假设的子空间的未估计部分的$L_t$在不同的时间,我们表明,以高概率(w.h.p.),该方法能够始终准确地恢复$S_t$的支持集,并且$S_t$和$L_t$的重建误差都是一个时不变的小值的上界.在模拟实验中,我们观察到,只要每隔几帧有$S_t$的一些支持变化,最后一个假设就成立。
2014-03-27 cs.IT math.IT
Compressive Sensing with Redundant Dictionaries and Structured Measurements
本文研究了在冗余字典和结构化测量下信号恢复问题,提出通过子采样固定正交矩阵保证D-RIP条件,从而为结构化测量和冗余字典的压缩感知提供理论保障。
2015-06-08 cs.IT cs.NA math.IT
On the Fundamental Limits of Recovering Tree Sparse Vectors from Noisy Linear Measurements
最近在压缩感知(CS)的突破性成果已经建立,许多高维信号可以准确地恢复从相对少量的非自适应线性观测,只要信号具有稀疏表示在一些基础上。随后的努力表明,CS的性能可以通过在推断期间利用非零信号系数的位置中的附加结构,或者通过在感测过程期间利用某种形式的数据相关的自适应测量聚焦来改善。据我们所知,我们自己以前的工作是第一个建立融合自适应感知和结构化稀疏概念时可以实现的潜在好处-该工作研究了从噪声线性测量中恢复支持的任务,并确定了专门针对树稀疏信号的自适应感测策略可以显著优于自适应和非自适应感测策略。对底层结构不可知的自适应感测策略。在这项工作中,我们建立了基本的性能限制的任务,支持恢复树稀疏信号从嘈杂的测量,在设置中,测量可以获得非自适应(使用随机高斯测量策略的初始CS调查的动机)或任何自适应传感策略。我们的主要结果在这里意味着,在我们以前的工作中分析的自适应树传感过程是接近最优的,在这个意义上,没有其他的传感和估计策略可以从根本上更好地识别树稀疏信号的支持。
2013-10-16 cs.IT math.IT math.ST
Linear Spectral Estimators and an Application to Phase Retrieval
相位恢复是指从幅度测量恢复实值或复值向量的问题。这个问题的最著名的算法是迭代的性质,并依赖于所谓的谱初始化,提供准确的初始化向量。我们提出了一类新的估计器适用于一般的非线性测量系统,称为线性谱估计器(LSPE),它可以用来计算精确的初始化向量相位恢复问题。所提出的LSPE不仅为具有结构化或随机测量矩阵的噪声相位恢复系统提供精确的初始化向量,而且还能够导出尖锐的和非渐近的均方误差界。我们证明了LSPE的合成和现实世界的相位恢复问题的功效,并表明我们的估计显着优于现有的方法,在实践中出现的结构化测量系统。
2018-06-09 cs.IT eess.SP math.IT
Inferring Hidden Structures in Random Graphs
Tel Aviv University(特拉维夫大学)
研究了在随机图中发现和恢复\emph{general}结构的孤立社区的两个推理问题。检测问题被形式化为假设检验问题,其中在零假设下,图是具有边密度$q\in(0,1)$的Erdens-Rényi随机图$\mathcal{G}(n,q)$的实现;在替代方案下,在$k$节点上存在未知结构$Γ_k$,种植在$\mathcal{G}(n,q)$中,使得它表现为\emph{induced subgraph}。在成功检测的情况下,我们关心的是恢复相应结构的任务。对于这些问题,我们调查的基本限制从统计和计算的角度。具体来说,我们根据参数$(n,k,q)$以及$Γ_k$的某些属性推导出检测/恢复结构$Γ_k$的下限,并展示了实现这些下限的计算无界最佳算法。我们还考虑了多项式时间的测试问题。在许多类似的结构化高维问题中,我们的模型经历了一个“容易-困难-不可能”的相变,计算约束会严重影响统计性能。为了提供这种现象的证据,我们表明,类的低次多项式算法匹配的多项式时间算法,我们开发的统计性能。
2022-01-23 cs.DS cs.IT cs.LG
Hierarchical compressed sensing
压缩感知是信号处理中的范例,其提供用于以高效方式从线性测量恢复结构化信号的手段。最初设计用于稀疏信号的恢复,现在已经清楚的是,类似的方法也可以用于大量其他类型的结构化信号。在这项工作中,我们提供了一个概述的压缩感知理论的一个特别丰富的家庭这样的信号,即那些分层结构的信号。这样的信号的例子是由分块向量构成的,只有很少的非零稀疏块。我们提出了恢复算法的基础上,有效的分层硬阈值。保证算法收敛,在一个稳定的方式,无论是相对于测量噪声以及模型失配,提供的测量地图行动等距限制的信号类的正确的解决方案。然后,我们提供了一系列的结果,建立所需的条件,大型类的测量合奏。在此基础上,我们勾勒出这个框架在机器型通信和量子断层扫描的实际应用。
2021-12-08 cs.IT eess.SP math.IT
Simultaneously Structured Models with Application to Sparse and Low-rank Matrices
给定少量线性观测值的结构化模型的恢复问题近年来得到了很好的研究。示例包括恢复稀疏或组稀疏向量、低秩矩阵以及稀疏和低秩矩阵的和等。在信号处理和机器学习的各种应用中,已知感兴趣的模型同时以几种方式构造,例如,同时稀疏和低秩的矩阵。通常,促进每个个体结构的范数是已知的,并且允许使用按顺序的最优数量的测量(例如,稀疏性的$\ell_1$范数,矩阵秩的核范数)。因此,合理的做法是尽量减少这些规范的组合。我们表明,令人惊讶的是,如果我们使用这些规范的多目标优化,那么我们可以做得更好,顺序明智的,比一个算法,利用目前的结构之一。这个结果表明,为了充分利用多结构,我们需要一个全新的凸松弛,即不是一个用于每个结构的凸松弛的函数。然后,我们专门我们的结果的情况下,稀疏和低秩矩阵。我们发现,一个非凸制定的问题可以恢复模型从非常少的测量,这是对矩阵的自由度的顺序,而从组合的$\ell_1$和核规范的凸问题需要更多的测量。这证明了在这种情况下,凸和非凸恢复问题的性能之间存在顺序差距。我们的框架适用于任意的结构诱导规范,以及广泛的测量合奏。这使我们能够给出稀疏相位恢复和低秩张量完成等问题的性能界限。
2014-07-25 cs.IT math.IT math.OC
Structured signal recovery from quadratic measurements: Breaking sample complexity barriers via nonconvex optimization
University of Southern California(南加州大学)
本文研究从$r=1,2,...,m$的形式为$y_r=|<a_r,x>|^2$的$m$二次测量中恢复未知但结构化的信号$x \in R^n$的问题。我们专注于欠定设置的测量的数量是显着小于信号的尺寸($m<<n$)。我们制定的恢复问题作为一个非凸的优化问题,通过约束的优化变量的信号的先验结构信息。我们证明了投影梯度下降,当初始化的期望信号的邻域中,以线性速度收敛到未知信号。这些结果适用于任何约束集(凸或非凸)提供收敛保证的全局最优,即使当目标函数和约束集是非凸的。此外,这些结果与测量的数量保持一致,所述测量的数量与唯一地识别未知信号所需的最小测量数量仅相差恒定因子。我们的研究结果提供了第一个可证明的易于处理的算法,这种数据贫乏的制度,打破了局部样本的复杂性障碍,出现在最近的文献。在配套文件中,我们展示了有利的性能的优化问题,可以使类似的结果继续持有更多的全球性(在整个环境空间)。总的来说,这两篇论文利用并开发了强大的工具,统一收敛的经验过程,可能有更广泛的影响,严格的理解约束非凸优化算法。本文中的数学结果还为新一代数据驱动的无相位成像系统铺平了道路,该系统可以利用先验信息显着减少采集时间并增强图像重建,从而以前所未有的速度和分辨率实现纳米级成像。
2017-02-20 cs.IT cs.LG math.FA