Weighted Matrix Completion and Recovery with Prior Subspace Information
一个不相干的低秩矩阵可以有效地重建后，观察它的一些元素在随机，然后解决一个凸规划，最小化核范数。在许多应用中，除了这些条目之外，关于矩阵的列和行空间的潜在有价值的先验知识也可用于从业者。在本文中，我们将这种先验知识纳入矩阵完成--通过最小化加权核范数--并精确量化任何改进。特别是，我们发现，在理论上，可靠的先验知识减少了样本的复杂性矩阵完成的对数因子，和观察到的改善数值模拟是相当多的放大。我们也提出了类似的结果，从通用线性测量矩阵恢复密切相关的问题。
2018-03-12 cs.IT math.IT
Sparse Recovery of Fusion Frame Structured Signals
融合帧是提供信号空间的冗余表示的子空间的集合。他们通过用框架子空间代替框架向量来推广经典框架。本文考虑了从融合帧中稀疏恢复信号的问题。我们使用块稀疏模型的融合帧，然后表明，稀疏信号在此模型下可以压缩采样和重建的方式类似于标准的压缩感知（CS）。特别是，我们调用混合l1/l2范数最小化，以重建稀疏信号。在我们的工作中，我们表明，假设一定的不相干属性的子空间和先验知识，它允许我们提高恢复时，通常的块稀疏的情况下相比。
2018-04-05 cs.IT math.IT
Orthogonal subspace based fast iterative thresholding algorithms for joint sparsity recovery
从具有联合稀疏特性的多测量向量中恢复稀疏信号在信号、图像和视频处理中有着广泛的应用。当信号矩阵的快照在时间上相关时，问题变得更加复杂。考虑到信号的时间相关性，我们提供了一个基于阈值，功能反馈和零空间调整的迭代MMV算法的框架。建立了精确恢复的收敛性分析。与大多数在测量/解空间中选择索引的迭代贪心算法不同，我们基于迭代序列所跨越的正交子空间来确定索引。此外，一个功能性的反馈，控制量的能源搬迁的“尾巴”的实施和分析。结果表明，函数反馈原理可以减少迭代次数，加快算法的收敛速度。数值实验表明，该算法具有明显的优势，平衡的效率，自适应性和准确性相比，其他国家的最先进的算法。
2021-01-22 cs.IT math.IT
Subspace Methods for Joint Sparse Recovery
针对压缩感知中的联合稀疏恢复问题，提出了一种鲁棒高效的联合稀疏恢复算法，该算法能够同时从多个测量向量中恢复联合稀疏信号的支持度，这些测量向量是通过一个共同的感知矩阵获得的。在一个有利的情况下，未知矩阵，其中包括联合稀疏信号，具有线性无关的非零行。在这种情况下，MUSIC（多信号分类）算法，最初由施密特提出的传感器阵列处理中的到达问题的方向，后来提出和分析的联合稀疏恢复冯和Bresler，提供了一个保证与最小数量的测量。相反，我们专注于不利的，但实际上重要的情况下，秩缺陷或病态。这种情况在测量向量的数量有限或高度相关的信号分量的情况下出现。在这种情况下，MUSIC失败了，并且在实践中，现有方法中没有一种可以始终接近基本极限。我们提出了子空间增强的MUSIC（SA-MUSIC），它改进了MUSIC，使支持可靠地恢复在这种不利的条件下。结合本文提出和分析的基于子空间的贪心算法，SA-MUSIC提供了一种计算效率高、性能有保证的算法。性能保证给出了一个版本的限制等距属性。特别是，我们还提出了一个非渐近扰动分析的信号子空间估计，已失踪在以前的研究MUSIC。
2011-10-18 cs.IT math.IT
Decentralized and Collaborative Subspace Pursuit: A Communication-Efficient Algorithm for Joint Sparsity Pattern Recovery with Sensor Networks
在本文中，我们考虑的问题，联合稀疏模式恢复在分布式传感器网络。假设所有节点观测到的稀疏多测量矢量信号（MMVs）具有共同的（但未知的）稀疏模式。为了以分散的方式准确地恢复常见的稀疏模式，同时降低网络的通信开销，我们开发了一种名为分散和协作子空间追踪（DCSP）的算法。在DCSP中，每个节点需要在每次迭代中执行三种操作：1）通过找到其测量向量最可能位于的子空间来估计局部稀疏模式; 2）与单跳相邻节点共享其局部稀疏模式估计;以及3）通过基于多数投票的融合在其邻域中获得的所有局部稀疏模式估计来更新最终的稀疏模式估计。证明了DCSP的收敛性，并定量分析了其通信开销。我们还提出了另一种分散的算法，称为广义DCSP（GDCSP），允许更多的信息交换相邻节点之间，以进一步提高稀疏模式恢复的准确性，在增加通信开销的成本。实验结果表明：1）与现有的分散式算法相比，DCSP算法在通信开销相当的情况下，稀疏模式恢复的准确率更高; 2）GDCSP算法的准确率与集中式算法非常接近。
2016-01-18 cs.IT math.IT
Improving Noise Robustness in Subspace-based Joint Sparse Recovery
在多测量向量问题（MMV）中，多个信号共享一个共同的稀疏支持，并通过一个共同的传感矩阵进行采样，我们可以期望联合稀疏，使所需的测量数量进一步减少。虽然联合稀疏的分集增益已经证明了在使用$l_1/l_2$混合范数惩罚的凸松弛方法的情况下，直到最近才表明，类似的分集增益可以通过贪心算法实现，如果我们结合贪婪步骤与MUSIC样的子空间准则。然而，这些混合算法的主要限制是，它们通常需要大量的快照或高信噪比（SNR）的准确的子空间以及部分支持估计。这项工作的主要贡献之一是表明，这些算法的噪声鲁棒性可以显着提高，允许顺序子空间估计和支持滤波，即使当快照的数量是不够的。数值仿真结果表明，一种新的顺序压缩MUSIC（顺序CS-MUSIC）相结合的顺序子空间估计和支持滤波步骤显着优于现有的贪心算法，是相当的计算昂贵的最先进的算法。
2012-05-15 cs.IT math.IT
Algebraic hierarchical locally recoverable codes with nested affine subspace recovery
本文提出代数分层局部可恢复码，通过里德-穆勒码与纤维积码的统一，实现嵌套仿射子空间恢复，并支持每层可用性。
2025-01-22 cs.IT math.AG math.IT
Greedy Subspace Pursuit for Joint Sparse Recovery
在本文中，我们解决稀疏多测量向量（MMV）的问题，其目标是恢复一组稀疏的非零行向量或指数的信号矩阵不完整的测量。理想情况下，不管信号矩阵中的列数如何，稀疏度（k）加一个测量值对于几乎所有信号的信号向量的均匀恢复是足够的，即，不包括勒贝格测度为零的集合。为了在信号矩阵秩小于k的情况下仍能以较高的计算效率逼近“k+1”下界，本文提出了一种称为两阶段正交子空间匹配追踪（TSMP）的贪心算法，其理论结果比正交子空间匹配追踪（OSMP）和子空间增强多信号分类（SA-MUSIC）算法在更少的限制条件下逼近下界.我们提供非渐近的OSMP和TSMP的性能保证，覆盖无噪声和噪声的情况下。约束等距属性和互相关的变体被用来提高性能保证。数值模拟表明，该方案具有较低的复杂度，并优于大多数现有的贪婪方法。这表明，随着信号矩阵列数的增加，TSMP成功的最小测量次数比现有方法更快地收敛到下界。
2016-01-26 cs.IT math.IT
Simplex Queues for Hot-Data Download
在云存储系统中，热数据通常在多个节点上复制，以便适应多个用户的同时访问以及增加系统的容错。最近的云存储研究已经提出使用可用性代码，这是一类特殊的擦除代码，作为存储热数据的更有效的存储方式。这些代码可以从多个小型不相交的服务器组中恢复数据。恢复组的数量称为可用性，每个组的大小称为代码的位置。到目前为止，我们对代码局部性和可用性如何影响数据访问时间的了解非常有限。从这些系统下载数据涉及多个并行操作的fork-join队列，这使得访问时间的分析成为一个非常具有挑战性的问题。在本文中，我们提出了一个近似分析的存储系统中，采用单工码，这是一个重要的，在一定意义上的最佳类的可用性代码的数据访问时间。我们考虑和比较三种策略，在分配下载请求的服务器，第一个积极利用存储的可用性更快的下载，第二个只实现负载均衡，最后一个采用存储的可用性只为热数据下载，而不会产生任何负面影响的冷数据下载。
2018-04-17 cs.IT cs.PF math.IT
On the Service Rate Region of Reed-Muller Codes
Rutgers, the State University of New Jersey（新泽西州立罗格斯大学）；IIIT Hyderabad（印度信息技术研究所海得拉巴分校）
研究雷德-穆尔码的服务速率区域，通过分析恢复集与最小重量码字的关系，推导出数据对象最大需求的紧致界限。
2026-01-12 cs.IT math.IT
Subspace-Sparse Representation
给定过完备字典$A$和作为$A$的几个线性独立列的线性组合的信号$b$，经典稀疏恢复理论处理恢复唯一稀疏表示$x$使得$b = A x$的问题。已知在一定条件下，$A$上的$x$可以通过基追踪（BP）和正交匹配追踪（OMP）算法恢复。在这项工作中，我们考虑更一般的情况下，$b$在于一个低维子空间跨越的$A$，这可能是线性相关的一些列。在这种情况下，稀疏解$x$一般是不唯一的，我们研究的问题，表示$x$确定的子空间，即非零条目的$x$对应的字典原子的子空间。这样的表示$x$称为子空间稀疏。我们提出了保证子空间稀疏恢复的充分条件，这些条件具有清晰的几何解释，并解释了子空间稀疏恢复的性质。我们还证明了在随机化模型下，充分条件可以满足。我们的结果是适用于传统的稀疏恢复问题，我们得到的条件稀疏恢复的限制比规范的相互相干条件。我们还利用这些结果对基于稀疏表示的分类方法进行了分析，得到了证明其正确性的条件。
2015-07-06 cs.IT math.IT stat.ML
Sparse Signal Recovery in Hilbert Spaces
本文报告了一种努力，以巩固众多的相干为基础的稀疏信号恢复的结果，在文献中。我们提出了一个单一的理论，适用于一般的希尔伯特空间与稀疏的信号定义为参与信号的表示的子空间的数量（可能是无限维）。我们的一般结果恢复稀疏信号，块稀疏信号，多频带信号，移位不变空间中的信号，和（可能是无限维）子空间的有限联合中的信号的不确定性关系和基于相干的恢复阈值。此外，我们改进和推广现有的结果，在许多情况下，我们发现缩短和简化的证明。
2012-05-21 cs.IT math.IT
Robust Recovery of Subspace Structures by Low-Rank Representation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）
在这项工作中，我们解决子空间恢复问题。给定一组近似从多个子空间的并集中提取的数据样本（向量），我们的目标是将样本分割到各自的子空间中，并纠正可能的错误。为此，我们提出了一种新的方法，称为低秩表示（LRR），它寻求所有候选人中的最低秩表示，可以表示数据样本的线性组合的基础在一个给定的字典。结果表明，LRR算法很好地解决了子空间恢复问题：当数据是干净数据时，证明了LRR算法能准确地捕捉到真实的子空间结构;对于被离群点污染的数据，证明了在一定条件下，LRR算法能准确地恢复原始数据的行空间，同时也能检测出离群点;对于被任意错误破坏的数据，LRR也能近似地恢复具有理论保证的行空间。由于子空间隶属度是由行空间可证明地确定的，这些进一步意味着LRR可以以有效的方式执行鲁棒的子空间分割和纠错。
2012-05-06 cs.CV cs.IT cs.LG
Robust Subspace Learning: Robust PCA, Robust Subspace Tracking, and Robust Subspace Recovery
Iowa State University（爱荷华州立大学）；Université de La Rochelle（拉罗谢尔大学）；University of Warwick（华威大学）
PCA是最广泛使用的降维技术之一。一个相关的更简单的问题是“子空间学习”或“子空间估计”。给定相对干净的数据，两者都可以通过奇异值分解（SVD）轻松求解。存在离群值的子空间学习或PCA问题称为鲁棒子空间学习或鲁棒PCA（RPCA）。对于长数据序列，如果试图使用单个低维子空间来表示数据，则所需的子空间维度可能会非常大。对于这样的数据，一个更好的模型是假设它位于一个低维子空间，可以随着时间的推移而变化，尽管是逐渐变化的。跟踪这样的数据（和子空间），同时对离群值具有鲁棒性的问题被称为鲁棒子空间跟踪（Robust Subspace Tracking，简称SVM）。这篇文章提供了一个杂志式的概述整个领域的鲁棒子空间学习和跟踪。特别是三个问题的解决方案进行了详细讨论：通过稀疏+低秩矩阵分解（S+LR）的RPCA，通过S+LR，和“鲁棒子空间恢复（RSR）”的恢复。RSR假设整个数据向量要么是离群值，要么是内点。相反，S+LR公式假设离群值仅出现在少数数据向量索引上，因此被很好地建模为稀疏损坏。
2018-07-05 cs.CV cs.IT math.IT
Sparse Subspace Clustering via Two-Step Reweighted L1-Minimization: Algorithm and Provable Neighbor Recovery Rates
稀疏子空间聚类（SSC）依赖于稀疏回归来精确识别邻居。受压缩感知最新进展的启发，本文提出了一种新的基于两步重加权$\ell_1$ -最小化的SSC稀疏回归算法，该算法推广了E. J. Candès et al in [The Annals of Statistics，vol. 42，no. 2，pp. 669-699，2014]，而不会引起额外的算法复杂度。为了充分利用在第一步中计算的稀疏表示向量提供的先验信息，我们的方法对回归向量的每个分量放置权重，并在第二步中求解加权LASSO。我们提出了一个数据加权规则，适用于提高邻居识别精度。然后，在加权LASSO对偶问题的框架下，深入研究了该方案的理论邻居恢复率。具体而言，一个有趣的连接之间的位置的最优稀疏解加权LASSO和指数的对偶问题的主动约束。然后，在半随机模型下，推导了各种邻居恢复事件的解析概率上/下限。我们的分析结果证实，在数据加权的帮助下，如果先验邻居信息是足够准确的，所提出的方案具有更高的概率可以产生许多正确的邻居和一些不正确的邻居相比，没有数据加权的解决方案。计算机模拟提供了验证我们的分析研究和证据所提出的方法的有效性。
2019-07-17 cs.IT math.IT
Alternating Subspace Method for Sparse Recovery of Signals
Hunan Normal University（湖南师范大学）
本文提出交替子空间法用于信号稀疏恢复，结合贪婪和分裂方法，实现高效准确的稀疏信号恢复。
2026-03-10 cs.IT math.IT math.OC
Robust Recovery of Signals From a Structured Union of Subspaces
传统的采样理论考虑从一系列采样重构未知信号$x$的问题。通常保证从给定测量恢复的普遍假设是$x$位于已知子空间中。近年来，人们对非线性但结构化的信号模型越来越感兴趣，其中$x$位于子空间的并集中。在本文中，我们开发了一个通用的框架，从一组给定的样本强大和有效的恢复这样的信号。更具体地说，我们对待的情况下，其中$x$在于从一个更大的集合的$m$的可能性选择的$k$子空间的总和。样本被建模为具有任意一组采样函数的内积。为了得到一个有效的和强大的恢复算法，我们表明，我们的问题可以制定为恢复块稀疏向量的非零元素出现在固定的块。然后，我们提出了一个混合的$\ell_2/\ell_1$程序块稀疏恢复。我们的主要结果是一个等价的条件下，建议的凸算法是保证恢复原始信号。这个结果依赖于块限制等距属性（RIP）的概念，这是在压缩感知的上下文中广泛使用的标准RIP的推广。基于RIP，我们还证明了我们的方法在噪声和建模误差的存在下的稳定性。我们的框架的一个特殊情况是，恢复多个测量向量（MMV），共享一个联合稀疏模式。适应我们的结果，在这种情况下，导致新的MMV恢复方法以及等价条件下，整个集合可以有效地确定。
2009-03-30 cs.IT math.IT nlin.CG
Sparse Recovery from Combined Fusion Frame Measurements
稀疏表示已经成为信号和信息处理中的一个强大工具，随着新的采集和处理技术（如压缩感知（CS））的成功而达到顶峰。融合框架是一种非常丰富的新的信号表示方法，它使用子空间的集合而不是向量来表示信号。这项工作结合这些令人兴奋的领域，介绍了一种新的稀疏模型融合帧。在新模型下稀疏的信号可以被压缩采样并以类似于使用标准CS的稀疏信号的方式唯一地重构。该组合提供了一组有前途的新的数学工具和信号模型，可用于各种应用。利用新模型，稀疏信号在融合帧的非常少的子空间中具有能量，尽管它不需要在它占据的每个子空间内都是稀疏的。该稀疏模型使用融合帧的混合l1/l2范数来捕获。融合帧中的信号稀疏可以使用非常少的随机投影来采样，并且使用最小化该混合l1/l2范数的凸优化来精确地重建。所提供的采样条件推广了标准CS理论中使用的相干性和RIP条件。结果表明，它们足以保证稀疏恢复的任何信号稀疏在我们的模型。此外，使用稀疏信号的随机模型，表明在非常温和的条件下，恢复失败的概率随子空间的维数增加呈指数衰减的概率分析。
2011-06-17 cs.IT math.IT
Two step recovery of jointly sparse and low-rank matrices: theoretical guarantees
我们介绍了一个两步算法的理论保证，以恢复一个联合稀疏和低秩矩阵的欠采样测量其列。该算法首先使用列的一组公共测量来估计矩阵的行子空间。在第二步中，使用简单的最小二乘算法解决矩阵的子空间感知恢复。在从欠采样测量中恢复CINE数据的背景下验证了结果;当采样条件满足时，我们获得了良好的恢复。
2015-06-02 cs.IT math.IT stat.ML
Algorithms and Hardness for Robust Subspace Recovery
IBM Research Almaden（IBM阿尔马登研究院）；MIT（麻省理工学院）
我们考虑无监督学习中的一个基本问题，称为\emph{subspace recovery}：给定$\mathbb{R}^n$中的$m$点的集合，如果这些点中的许多但不一定全部包含在$d$维子空间$T$中，我们可以找到它吗？包含在$T$中的点称为{ \em内点}，其余点称为{ \em外点}。这个问题在计算机科学和统计学中受到了相当大的关注。然而，来自计算机科学的有效算法对{ \em adversarial}离群值不鲁棒，并且来自鲁棒统计的估计量难以在高维中计算。是否有子空间恢复算法既对离群值又有效？我们给出了一个算法，发现$T$时，它包含超过一个$\frac{d}{n}$分数的点。因此，对于$d = n/2$，当存在恒定比例的离群值时，该估计量既易于计算又表现良好。我们证明了它是小集扩展很难找到$T$时的错误的分数是任何更大的，从而证明我们的估计是一个{ \em最优}的效率和鲁棒性之间的妥协。事实证明，这个基本问题与其他领域有着惊人的联系，包括我们在这里使用的小集合扩展，拟阵理论和泛函分析。
2013-12-03 cs.CC cs.DS cs.IT
Blind Compressed Sensing Over a Structured Union of Subspaces
本文讨论了基于压缩测量的同时信号恢复和字典学习的问题。在假设未知信号来自少量不相交子空间的联合的情况下，利用多个传感矩阵联合分析多个信号。该问题例如在图像修补应用中是重要的，其中多个信号由取自整个图像的（不完整的）图像块构成。这项工作扩展了标准字典学习和块稀疏字典优化，通过考虑压缩测量，例如，数据不完整）。通过使用多个感知矩阵和放松对学习字典的一些限制，也推广了盲压缩感知的先前工作。利用矩阵完成的背景下开发的结果，它被证明是字典和信号可以恢复压缩测量的概率很高。解是唯一的，直到字典原子的块排列和可逆线性变换。的恢复是视情况而定的测量每个信号的数量和信号的数量足够大，这些数量的界限推导。此外，本文提出了一种计算上实用的算法，进行字典学习和信号恢复，并建立其收敛到局部最优的条件。图像修补的实验结果证明了该方法的有效性。
2011-03-12 cs.IT math.IT
Structure Theorems (and Fast Algorithms) for List Recovery of Subspace-Design Codes
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一种高效的算法，用于子空间设计码的列表恢复，通过紧凑描述实现高效处理，改进了现有算法性能。
2025-12-08 cs.CC cs.IT math.IT
The Sharp Phase Transition of Tyler's M-Estimator for Robust Subspace Recovery
School of Mathematics, University of Minnesota（明尼苏达大学数学系）；Department of Mathematics, University of Central Florida（中央佛罗里达大学数学系）
研究Tyler's M-估计器在临界信噪比DS-SNR=1时的行为，证明其收敛到真实子空间，建立尖锐相变。
2026-06-04 cs.IT cs.LG math.IT
The Generalized Random Access Problem for Linear Codes
Technical University of Denmark（丹麦技术大学）；Università degli Studi della Campania “Luigi Vanvitelli”（坎帕尼亚路易吉范维泰利大学）
该研究针对线性码的广义随机接入问题，建立了多符号恢复的参数上下界，推导了系统MDS、单纯形编码器的相关公式，并在三维空间中对比了平衡拟弧与基准值。
2026-08-21 cs.IT math.CO math.IT
Phase retrieval from low-rate samples
本文研究了N维复向量空间中的相位恢复问题。它提供了两组确定性测量向量，保证所有信号的信号恢复，只排除一个特定的子空间和子空间的联合，分别。给出了一个稳定的低复杂度解析重建过程。此外，它被证明，从这些测量信号恢复可以通过一个半定的程序来解决。一个实际的实施与4个确定性的衍射图案提供了一些数值实验与噪声测量补充的分析方法。
2014-07-18 cs.IT math.IT
Compressive MUSIC with optimized partial support for joint sparse recovery
多测量向量（MMV）问题解决了共享公共稀疏支持的未知输入向量的识别问题。MMV问题传统上通过传感器阵列信号处理或压缩感知来解决。然而，最近在该领域的突破，例如压缩MUSIC（CS-MUSIC）或子空间增强MUSIC（SA-MUSIC），最佳地组合了压缩感测（CS）和阵列信号处理，使得$k-r$支持首先由CS找到，并且剩余的$r$支持由广义MUSIC准则确定，其中$k$和$r$分别表示稀疏性和独立快照。即使这种混合方法显著优于传统算法，其性能在很大程度上取决于压缩感知步骤对$k-r$部分支持的正确识别，这通常会恶化整体性能。本文的主要贡献是，因此，表明，只要$k-r+1$正确的支持包括在任何$k$稀疏CS解决方案，最佳的$k-r$部分支持可以找到使用子空间拟合准则，显着提高CS-MUSIC的整体性能。此外，不同于单测量CS对应，需要无限的SNR的完美支持恢复，我们可以推导出一个信息理论的充分条件下，使用CS-MUSIC的完美恢复{ \em有限} SNR的情况下。
2011-06-01 cs.IT math.IT
Subspace Recovery from Heterogeneous Data with Non-isotropic Noise
Stanford University（斯坦福大学）；Apple（苹果公司）
从数据中恢复线性子空间是统计学和机器学习中的一项基本而重要的任务。出于异质性的联邦学习设置，我们研究了这个问题的基本公式：主成分分析（PCA），重点是处理不规则的噪声。我们的数据来自$n$用户，其中用户$i$贡献来自具有平均值$μ_i$的$d$维分布的数据样本。我们的目标是使用来自所有用户的数据点来恢复$μ_1,\ldots,μ_n$共享的线性子空间，其中来自用户$i$的每个数据点通过向$μ_i$添加独立的均值零噪声向量来形成。如果我们只有一个数据点，从每个用户，子空间恢复是信息理论上不可能的噪声向量的协方差矩阵时，可以是非球形的，需要额外的限制性假设在以前的工作。我们通过利用来自每个用户的至少两个数据点来避免这些假设，这使我们能够在非球形和用户相关噪声下设计一个可有效计算的估计器。我们证明了我们的估计器的估计误差的上限在一般情况下，数据点的数量和噪声量可以在不同的用户，并证明了信息理论的误差下限，不仅匹配的上限到一个恒定的因素，但也持有即使是球形高斯噪声。这意味着我们的估计器不会由于噪声的不规则性而引入额外的估计误差（直到恒定因子）。我们展示了在类似设置中线性回归问题的其他结果。
2022-10-24 cs.IT cs.LG math.IT
Asymptotic Signal Subspace Recovery in Softmax Attention Models
Faculty of Computer Science and Engineering（计算机科学与工程学院）；Ho Chi Minh City University of Technology（胡志明市技术大学）；Vietnam National University Ho Chi Minh City（越南胡志明市国家大学）；VNU-HCM
本文通过随机梯度上升学习查询向量，利用随机逼近和动力系统理论，证明在高维缩放假设下，学习到的查询几乎必然收敛到潜在信号子空间，从而从理论上解释了注意力机制作为信号提取过程。
2026-06-24 cs.IT cs.LG math.IT
Finding the Sparsest Vectors in a Subspace: Theory, Algorithms, and Applications
New York University（纽约大学）；University of Denver（丹佛大学）；Chinese University of Hong Kong（香港中文大学）；ShanghaiTech University（上海科技大学）；Columbia University（哥伦比亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在低维子空间中找到稀疏向量（方向）的问题可以被认为是稀疏恢复问题的齐次变体，其在鲁棒子空间恢复、字典学习、稀疏盲反卷积以及信号处理和机器学习中的许多其他问题中找到应用。然而，与经典的稀疏恢复问题相比，在子空间中寻找稀疏向量的最自然的公式通常是非凸的。在本文中，我们概述了最近的进展，解决这个问题的全局非凸优化理论，从几何分析的优化景观，有效的优化算法解决相关的非凸优化问题，在机器智能，表示学习，和成像科学的应用。最后，我们通过指出未来研究的几个有趣的开放问题来总结这篇评论。
2020-01-20 cs.IT cs.LG eess.IV
Recursive Robust PCA or Recursive Sparse Recovery in Large but Structured Noise (parts 1 and 2 combined)
本文研究递归鲁棒主元分析问题。如果离群值是感兴趣的信号，则该问题可以被解释为在存在大的但结构化的噪声$L_t$的情况下递归地恢复稀疏向量的时间序列$S_t$中的一个。我们假设$L_t$的结构是$L_t$是稠密的，并且位于固定或变化“足够慢”的低维子空间中。出现该问题的关键应用是视频监控，其中目标是在运行中将缓慢变化的背景（$L_t$）与移动的前景对象（$S_t$）分离。为了解决上述问题，在最近的工作中，我们引入了一种新的解决方案，称为递归投影CS（ReProCS）。在这项工作中，我们开发了一个简单的修改原来的ReProCS的想法和分析它。这个修改假定知识的子空间变化模型的$L_t$的。在温和的假设和稠密假设的子空间的未估计部分的$L_t$在不同的时间，我们表明，以高概率（w.h.p.），该方法能够始终准确地恢复$S_t$的支持集，并且$S_t$和$L_t$的重建误差都是一个时不变的小值的上界.在模拟实验中，我们观察到，只要每隔几帧有$S_t$的一些支持变化，最后一个假设就成立。
2014-03-27 cs.IT math.IT
Information-theoretic Bounds on Matrix Completion under Union of Subspaces Model
在这个简短的说明中，我们扩展了一些最近的结果矩阵完成的假设下，矩阵的列可以分组（集群）到子空间（不一定不相交或独立）。该模型偏离了文献中处理大数据应用程序的压缩和恢复的典型假设。这些结果对信息缺失或不完全情况下的子空间聚类问题有直接的影响。
2015-08-14 cs.IT math.IT stat.ML
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University（哥伦比亚大学）
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量（方向）是否可能？这个问题可以被认为是稀疏恢复问题的同质变体，并发现与稀疏字典学习，稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中，我们专注于一个 ** 种植稀疏模型 ** 的子空间：目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时，用于该种植恢复问题的简单凸算法可证明地失效。相比之下，我们展示了一个相对简单的非凸方法的基础上交替的方向，证明成功，即使当非零条目的分数是$Ω(1)$。据我们所知，这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲，我们提出的算法在更具有挑战性的数据模型中也取得了成功，例如，稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
Spectral Estimators for Multi-Index Models: Precise Asymptotics and Optimal Weak Recovery
Institute of Science and Technology Austria（奥地利科学与技术研究院）
本文研究多指标模型中的信号子空间恢复问题，通过精确刻画谱矩阵前p个特征值与特征向量重叠的渐近行为及相变，确定实现最优弱恢复、样本需求最小的谱估计量。
2025-06-10 cs.IT cs.LG math.IT
Beyond Invariant Dictionary: Data-Driven Koopman Spectral Recovery with Filtered Extended Dynamic Mode Decomposition
Princeton University（普林斯顿大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
针对EDMD中非不变字典易引入伪特征值的问题，提出投影Koopman算子逼近框架构建滤波EDMD算子，分析两种投影几何并开发相关算法，实验验证其能有效减少谱污染。
2026-08-05 cs.IT cs.NA math.DS
Concatenating Decoherence Free Subspaces with Quantum Error Correcting Codes
导出了无退相干子空间（DFS）的算子和表示，并用于（i）证明DFS是一类具有固定的酉恢复算子的量子纠错码（QECC），（ii）找到集体退相干的Kraus算子的显式表示.我们演示了如何可以用来构建一个级联DFS-QECC码，防止集体退相干扰动独立的退相干。该码产生一个误差阈值，它只依赖于扰动独立的退相干率。
1999-04-28 cs.IT math-ph math.IT
