Asymptotic Signal Subspace Recovery in Softmax Attention Models
Faculty of Computer Science and Engineering(计算机科学与工程学院);Ho Chi Minh City University of Technology(胡志明市技术大学);Vietnam National University Ho Chi Minh City(越南胡志明市国家大学);VNU-HCM
本文通过随机梯度上升学习查询向量,利用随机逼近和动力系统理论,证明在高维缩放假设下,学习到的查询几乎必然收敛到潜在信号子空间,从而从理论上解释了注意力机制作为信号提取过程。
2026-06-24 cs.IT cs.LG math.IT
Reducing measurements in quantum erasure correction by quantum local recovery
Department of Information and Communications Engineering, Institute of Science Tokyo(东京科学大学信息与通信工程系)
本文通过量子局部恢复方法,减少量子擦除纠正中的测量次数,证明纠正擦除所需测量数量与码参数无关。
2026-08-13 cs.IT math.IT quant-ph
CoSaMP: Iterative signal recovery from incomplete and inaccurate samples
Univ. California at Davis(加州大学戴维斯分校);California Inst. Technology(加州理工学院)
针对压缩采样中从含噪样本逼近可压缩信号的问题,提出一种名为CoSaMP的迭代恢复算法,其性能与最优优化方法相当,且计算成本与存储需求有严格界限。
2008-04-17 cs.IT cs.NA math.IT
Perfect Recovery Conditions For Non-Negative Sparse Modeling
稀疏建模在计算机视觉、机器学习、模式识别等领域有着广泛而成功的应用。伴随着这些应用,有意义的研究是研究稀疏建模中凸松弛的理论限制和算法设计。然而,在文献中,对稀疏建模的非负版本的理论分析仅限于无噪声设置或具有特定统计噪声模型(如高斯噪声)的场景。研究了在观测信号具有未知任意失真的情况下,非负稀疏建模的性能,特别是针对非负约束和L1惩罚最小二乘问题,给出了该问题能够恢复正确信号元素的精确界.我们提出了两个条件,以保证正确的信号恢复:最小系数条件(MCC)和非线性与子集相干条件(NSCC)。前者定义了信号中存在的每个正确原子的最小权重,后者定义了相对于正子集相干性(PSC)(一种新型的“相干性”度量)的线性模型的可容忍偏差。我们提供严格的性能保证,这些条件的基础上,并通过实验验证其精确的预测能力在高光谱数据分解应用。
2016-09-20 cs.IT cs.LG math.IT
Optimal Low-Rank Tensor Recovery from Separable Measurements: Four Contractions Suffice
Yahoo! Labs(雅虎实验室);UT Austin(得克萨斯大学奥斯汀分校);Colorado School of Mines(科罗拉多矿业学院)
张量在许多现代机器学习和信号处理应用中起着核心作用。在这样的应用中,目标张量通常是低秩的,即,可以表示为少量秩一张量的和。这促使我们考虑从一类称为可分离测量的线性测量中恢复低秩张量的问题。作为具体的例子,我们专注于两种不同类型的可分离测量机制(a)随机投影,其中每个测量对应于张量与合适的随机张量的内积,以及(b)完成问题,其中测量构成条目的随机集的揭示。我们提出了一个计算效率高的算法,严格和顺序最优的样本复杂性的结果(对数因子)张量恢复。我们的方法是基于减少矩阵完成的子问题和适应的Leeclans的方法张量分解。我们扩展的方法和样本复杂性的结果,高阶张量,并通过实验验证我们的理论结果。
2015-05-15 cs.IT cs.LG math.IT
Short Term Memory Capacity in Networks via the Restricted Isometry Property
皮质网络被假设依赖于瞬时网络活动来支持短期记忆(STM)。本文研究了当输入信号在一定基下近似稀疏时,随机连接递归线性网络进行短时记忆的能力。我们利用压缩感知的结果,提供严格的非渐近恢复保证,量化的输入稀疏水平,输入稀疏的基础,和网络特性对系统容量的影响。我们的分析表明,网络内存容量可以超线性地扩展与节点的数量,并在某些情况下,可以实现STM容量,远远大于网络的大小。我们提供了完美的有限序列的恢复保证和无限序列的恢复界。后者的分析预测,网络STM系统可能有一个最佳的恢复长度,平衡由于遗漏和回忆错误的错误。此外,我们表明,产生最佳STM容量的条件可以体现在几个网络拓扑结构,包括网络稀疏或密集的连接。
2015-03-03 cs.IT cs.NE math.IT
Improved Support Recovery in Universal One-bit Compressed Sensing
University of California San Diego(加州大学圣迭戈分校);Google Research, India(谷歌印度研究院)
一比特压缩感知(1bCS)是一种非常量化的信号采集方法,在过去的十年中被提出并得到了严格的研究。在1bCS中,高维信号的线性样本被量化为每个样本仅一位(测量的符号)。假设原始信号向量是稀疏的,现有的结果在1bCS要么旨在找到支持的向量,或近似的信号允许一个小的误差。本文的重点是支持恢复,这往往也有利于计算近似信号恢复。1bCS的{ \em universal}测量矩阵是指对所有稀疏信号都有效的一组测量。在通用性方面,已知$\tildeΘ(k^2)$ 1bCS测量对于支持恢复是必要的且足够的(其中$k$表示稀疏性)。为了提高从二次到线性稀疏的依赖,在这项工作中,我们提出了近似支持恢复(允许$ε>0$比例的错误),和超集恢复(允许$ε$比例的误报)。我们表明,第一种类型的恢复是可能的$\tilde{O}(k/ε)$测量,而后一种类型的恢复,更具挑战性,是可能的$\tilde{O}(\max\{k/ε,k^{3/2}\})$测量。我们还表明,在这两种情况下,$Ω(k/ε)$测量将是必要的普遍恢复。改进的结果是可能的,如果我们考虑在有限的一类信号,如有理信号,或有界动态范围的信号的通用恢复。在这两种情况下,超集恢复都可以仅通过$\tilde{O}(k/ε)$测量来实现。本文还提供了其他结果的普遍,但近似的支持恢复。我们所有的主要恢复算法都是简单的多项式时间。
2022-10-29 cs.DM cs.IT cs.LG
Compressed sensing for inverse problems II: applications to deconvolution, source recovery, and MRI
本文将面向稀疏 Radon 变换的无限维压缩感知样本复杂度理论推广到反卷积、椭圆 PDE 源恢复和 MRI 傅里叶采样三类反问题,并通过验证准对角化与相干性界建立恢复保证。
2025-01-03 cs.IT math.FA math.IT
Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders
Yale University(耶鲁大学);Shanghai Jiao Tong University(上海交通大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
该研究针对大语言模型多义性解释问题,提出带理论保证的稀疏自编码器训练框架与偏置自适应算法,开发实证变体GBA,在15亿参数模型上性能优于基准,推动AI机制可解释性发展。
2025-06-16 cs.AI cs.IT cs.LG
Recovery of sparse linear classifiers from mixture of responses
Syracuse University(雪城大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在学习混合线性分类器的问题中,目标是从二进制响应序列中学习超平面的集合。每个响应都是用向量查询的结果,并指示从查询向量所属的集合中随机选择的超平面的一侧。该模型提供了一个丰富的表示异构数据的分类标签,只有在一些特殊的设置进行了研究。我们看一个迄今未研究的问题,查询复杂性的上限恢复所有的超平面,特别是当超平面是稀疏的情况下。该设置是被称为1位压缩感知的极端量化问题的自然概括。假设我们有一组$\ell$未知的$k$稀疏向量。我们可以用另一个向量$\boldsymbol{a}$查询这个集合,以获得$\boldsymbol{a}$与从$\ell$ -集合中随机选择的向量的内积的符号。多少次查询足以识别所有$\ell$未知向量?这个问题比基本的1比特压缩感测问题(即,$\ell=1$情况)和类似的回归问题(其中提供值而不是符号)。我们提供了严格的查询复杂性的结果(高效的算法)这个问题。
2020-12-24 cs.IT cs.LG math.IT
Stable low-rank matrix recovery via null space properties
从一组不完整且可能有噪声的线性测量中恢复低秩矩阵的问题出现在许多领域。为了得到严格的恢复结果,测量图通常是概率建模。我们推导出充分条件的最小量的测量,确保通过凸优化恢复。我们通过测量映射的零空间的某些性质来建立我们的结果。在测量值被实现为具有独立标准高斯随机矩阵的弗罗贝纽斯内积的设置中,我们证明了$10 r (n_1 + n_2)$测量值足以均匀且稳定地恢复秩最多为$r$的$n_1 \times n_2$矩阵。然后,我们显着推广这一结果,只需要独立的均值为零,方差为1的条目与四个有限的时刻在成本取代$10$一些通用常数。我们还研究了恢复厄米特秩$r$矩阵的情况下,从测量矩阵成比例的秩一投影仪。对于$m \geq C r n$秩1投影测量到独立的标准高斯向量,我们证明了核范数最小化一致和稳定地重建厄米特秩$r$矩阵的高概率。接下来,我们通过建立一个类似的陈述,投影到一个复杂的投影4-设计的独立元素上,以略高的采样率$m \geq C rn \log n$为代价,部分去随机化。此外,如果要恢复的Hermitian矩阵是半正定的,那么我们表明,核范数最小化的方法可以取代最小化的$\ell_2$ -范数的残差受到半正定约束。然后,不需要先验地估计噪声水平。我们讨论了在量子物理和相位恢复问题的应用。
2015-07-26 cs.IT math.IT math.PR
A Partial Derandomization of PhaseLift using Spherical Designs
上个世纪,仅从幅度测量值中检索相位信息的问题出现在许多科学学科中。PhaseLift是最近推出的相位恢复算法,计算效率高,数值稳定,并具有严格的性能保证。在相位重建所需的幅度测量的数量与信号的维度线性缩放的意义上,PhaseLift是最佳的。然而,它特别需要高斯随机测量向量-限制实际效用并模糊实现相位恢复的测量集合的特定属性的限制。在这里,我们提出了一个部分去随机化的相位提升,只需要从某些多项式大小的向量配置,称为t-设计采样。这样的配置已经在代数组合学,编码理论和量子信息学中进行了研究。我们证明了重建保证的一些测量,取决于度t的设计。如果允许度随维数几何地增长,则边界变得紧到多对数因子。除了PhaseLift的具体情况外,这项工作还强调了球形设计在数据恢复方案去随机化方面的实用性。
2014-11-19 cs.IT math.IT quant-ph
Compressed sensing for inverse problems and the sample complexity of the sparse Radon transform
本文为涉及任意前向算子的抽象反问题发展了无限维压缩感知的一般理论,并首次为建模计算机断层扫描的稀疏Radon变换提供了严格的恢复估计,证明了在平行束和扇形束设置下,当信号关于紧支撑小波基是$s$-稀疏时,仅需$m\gtrsim s$(受对数因子影响)的测量即可实现稳定恢复。
2024-05-03 cs.IT math.FA math.IT
Structured signal recovery from quadratic measurements: Breaking sample complexity barriers via nonconvex optimization
University of Southern California(南加州大学)
本文研究从$r=1,2,...,m$的形式为$y_r=|<a_r,x>|^2$的$m$二次测量中恢复未知但结构化的信号$x \in R^n$的问题。我们专注于欠定设置的测量的数量是显着小于信号的尺寸($m<<n$)。我们制定的恢复问题作为一个非凸的优化问题,通过约束的优化变量的信号的先验结构信息。我们证明了投影梯度下降,当初始化的期望信号的邻域中,以线性速度收敛到未知信号。这些结果适用于任何约束集(凸或非凸)提供收敛保证的全局最优,即使当目标函数和约束集是非凸的。此外,这些结果与测量的数量保持一致,所述测量的数量与唯一地识别未知信号所需的最小测量数量仅相差恒定因子。我们的研究结果提供了第一个可证明的易于处理的算法,这种数据贫乏的制度,打破了局部样本的复杂性障碍,出现在最近的文献。在配套文件中,我们展示了有利的性能的优化问题,可以使类似的结果继续持有更多的全球性(在整个环境空间)。总的来说,这两篇论文利用并开发了强大的工具,统一收敛的经验过程,可能有更广泛的影响,严格的理解约束非凸优化算法。本文中的数学结果还为新一代数据驱动的无相位成像系统铺平了道路,该系统可以利用先验信息显着减少采集时间并增强图像重建,从而以前所未有的速度和分辨率实现纳米级成像。
2017-02-20 cs.IT cs.LG math.FA
Guaranteed blind deconvolution and demixing via hierarchically sparse reconstruction
盲解卷积问题相当于从信号和滤波器的卷积中重建这两者。它构成了数学和工程文献中的一个突出主题。在这项工作中,我们分析了一个稀疏版本的问题:过滤器$h\in \mathbb{R}^μ$被假设为$s$ -稀疏,信号$b \in \mathbb{R}^n$被认为是$σ$ -稀疏,都支持未知。我们观察到滤波器和信号的线性变换之间的卷积。实际上重要的多用户通信应用的动机,我们得到一个恢复保证同时去混合和去卷积设置。我们实现了有效的恢复放松的问题,层次稀疏恢复,我们可以建立一个灵活的框架。同时,为此,我们付出了一些次优保证的代价,与问题的自由参数的数量相比。我们考虑的信号模型是足够普遍的捕捉在许多工程领域的许多应用。尽管他们的实际重要性,我们提供了第一个严格的性能保证,高效和简单的算法的双稀疏和广义的分层设置。我们补充我们的分析结果,提出了数值模拟的结果。我们发现的证据表明,次优缩放$s^2σ\log(μ)\log(n)$我们推导出的充分条件可能过于悲观,所观察到的性能是更好地描述的缩放比例$ sσ$的对数因子。
2021-11-05 cs.IT cs.NA math.IT