Necessary moment conditions for exact reconstruction via basis pursuit
令$X=(x_1,...,x_n)$是满足弱小球性质的随机向量，并且其坐标$x_i$满足$p \sim \log n$的$\|x_i\|_{L_p} \lesssim \sqrt{p} \|x_i\|_{L_2}$。在\cite{LM_compressed}中，示出了$X$的$N$独立副本可以用作压缩感知中的测量向量（使用基追踪算法）以重构具有最佳测量数量$N\gtrsim d \log\big(e n/d\big)$的任何$d$稀疏向量。本文证明了该结果几乎是最优的。我们构造了一个随机向量$X$，其iid，均值为零，方差为1，满足相同的弱小球性质，并且其坐标满足$p \sim (\log n)/(\log N)$的$\|x_i\|_{L_p} \lesssim \sqrt{p} \|x_i\|_{L_2}$，但是基追踪算法甚至不能恢复$p \sim (\log n)/(\log N)$-稀疏向量。该构造表明，“尖峰”测量矢量可能导致基追踪算法的性能较差，但另一方面，如果选择不同的重建算法（如$\ell_0$ -最小化），则仍可能以最佳方式执行。这表明，当使用“尖峰”测量矢量时，$\ell_0$ -最小化的凸松弛是以显著的代价来实现的。
2014-04-11 math.PR math.ST stat.TH
Compressed Sensing Using Binary Matrices of Nearly Optimal Dimensions
Stanford University（斯坦福大学）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
在本文中，我们研究的问题，压缩感知使用二进制测量矩阵和$\ell_1$ -范数最小化（基追求）的恢复算法。我们推导出测量数量的新上界和下界，以实现二进制矩阵的鲁棒稀疏恢复。我们建立了一个列正则二进制矩阵，以满足鲁棒零空间属性（RNSP）的充分条件，并表明相关的充分条件%稀疏边界的鲁棒稀疏恢复使用RNSP获得的$(3 \sqrt{3})/2 \approx 2.6$的一个因素更好的充分条件相比，使用限制等距属性（RIP）。接下来，我们推导出普遍的\textit{lower}界的测量的数量，任何二进制矩阵需要有，以满足较弱的充分条件的基础上RNSP，并表明，二部图的围长6是最佳的。然后我们给出了两类二元矩阵，即阵列码的奇偶校验矩阵和欧拉方阵，它们围长为6，在几乎满足下界的意义下是近最优的.原则上，随机生成的高斯测量矩阵是“阶数最优”的。因此，我们比较了使用二进制阵列码和高斯矩阵的基追踪公式的相变行为，并表明（i）在两种情况下的相变边界之间基本上没有区别，（ii）用二进制矩阵进行基追踪的CPU时间比用高斯矩阵快几百倍，而且所需的存储量少，因此，二进制矩阵是一种很好的基追踪方法。可行的替代高斯矩阵的压缩感知使用基追踪。\end{abstract}
2020-04-26 cs.LG stat.ML
Hedging parameter selection for basis pursuit
在压缩感知和高维估计中，信号恢复通常依赖于稀疏性假设，并且估计经由$\ell_1$ -惩罚最小二乘优化（也称为$\ell_1$ -惩罚最小二乘优化）执行。拉索。$\ell_1$惩罚通常由权重控制，也称为“松弛参数”，由$λ$表示。人们普遍认为，LASSO预测的实际效率关键取决于$λ$的准确选择。在这个简短的说明中，我们建议从一个新的角度来考虑超参数选择问题，该角度将Freund和Shapire的Hedge在线学习方法与LASSO的随机Frank-Wolfe方法相结合。使用对冲算法，我们表明，我们简单的选择规则可以实现预测结果可比交叉验证在一个潜在的低得多的计算成本。
2018-05-04 stat.CO
On the sign recovery by LASSO, thresholded LASSO and thresholded Basis Pursuit Denoising
基追踪（BP）、基追踪去噪（BPDN）和LASSO是用于在高维线性回归模型（即，当设计矩阵X的行数小于列数时）中识别重要预测因子的流行方法。根据定义，如果没有噪声并且向量b在所有向量s中具有最小的L1范数，使得Xb=Xs（可识别性条件），则BP唯一地恢复回归系数b的向量。此外，LASSO仅在更强的不可表示性条件下才能恢复b的符号。同时，它是已知的，模型选择性质的LASSO可以改善其估计的硬阈值。本文通过证明阈值LASSO、阈值BPDN和阈值BP在有噪声和无噪声的情况下恢复b的符号当且仅当b是可识别的并且足够大来支持这些发现。特别地，如果X具有iid高斯项并且预测因子的数量随着样本量线性增长，则当信号稀疏性渐近地低于Donoho-Tanner过渡曲线时，这些阈值估计器可以恢复b的符号。这与常规LASSO相反，常规LASSO仅在信号稀疏度趋于0时才渐近恢复b的符号。数值实验表明，与不可表示性条件不同，可识别性条件似乎不受$X$矩阵中相关结构的影响.
2021-08-31 stat.ME
A Greedy Approach to $\ell_{0,\infty}$ Based Convolutional Sparse Coding
Tel Aviv University（特拉维夫大学）
用于图像处理的稀疏编码技术传统上依赖于分别处理小的重叠块，然后进行平均。这具有的缺点是，重建的图像不再服从在处理中使用的稀疏先验。为了这个目的，卷积稀疏编码已经被引入，其中使用移位不变字典并且保持恢复图像的稀疏性。大多数这样的策略以整个图像的$\ell_0$“范数”或$\ell_1$范数为目标，这可能在图像中的各个区域之间产生不平衡的稀疏性。为了应对这一挑战，有人提出了$\ell_{0,\infty}$“规范”，作为“在当地运作，在全球思考”的替代方案。解决这些优化问题的非凸性所采取的方法是使用凸松弛或局部追踪算法。在本文中，我们提出了一个有效的贪婪方法稀疏编码和字典学习，这是专门为$\ell_{0,\infty}$，是基于匹配追踪。我们展示了我们的方法在椒盐噪声去除和图像修复中的使用。在https://web.eng.tau.ac.il/~raja上可以找到一个代码包，它再现了本文中提出的实验。
2018-12-26 cs.LG eess.IV eess.SP
Weighted algorithms for compressed sensing and matrix completion
本文研究了压缩感知和矩阵完备问题的迭代重加权基追踪算法。在第一部分中，我们给出了一个理论解释的事实，重新加权基追踪可以改善基追踪在压缩感知的准确恢复了很多。我们展示了一个条件，链接的RIP和不相干常数的权重的准确性，这确保了准确的恢复。在第二部分中，我们介绍了一个新的算法矩阵完成，基于迭代加权的思想。由于加权核“范数”通常是非凸的，因此它不能容易地用作目标函数。因此，我们定义了一个新的估计的基础上的不动点方程。我们给出了经验证据的事实，这种新的算法导致强大的改进核模最小化的模拟和真实的矩阵完成问题。
2011-07-08 cs.IT math.IT math.ST
Solving Large Scale Quadratic Constrained Basis Pursuit
University of Iowa（爱荷华大学）
受乘子的交替方向法和算子分裂思想的启发，提出了一种求解大规模二次约束基寻踪问题的有效算法。实验结果表明，与CVX中实现的基本内点算法相比，该算法可获得50~~100倍的加速比。
2021-04-02 cs.IT cs.LG eess.SP
On the gap between RIP-properties and sparse recovery conditions
本文研究了利用$\ell_p$约束基追踪从欠定线性测量中恢复稀疏向量的问题。以前的分析，这个问题的基础上广义限制等距属性表明，两种现象发生，如果$p\neq 2$。首先，可能需要基本上多于$s \log(en/s)$的测量（对于$p=2$是最佳的）来均匀恢复所有$s$稀疏向量。第二，以最佳测量次数实现恢复的矩阵可能不是高斯的（对于$p=2$）。我们提出了一个新的，直接的分析表明，事实上，这两种现象都没有发生。通过一个合适的版本的零空间属性，我们表明，一个标准的高斯矩阵提供了$\ell_q/\ell_1$恢复保证$\ell_p$约束的基础上追求的最佳测量制度。我们的结果扩展到几个双尾测量矩阵。作为一个应用程序，我们表明，可以获得一致的重建均匀标量量化测量的最佳测量制度。
2015-04-20 cs.IT math.IT math.ST
Nonparametric Basis Pursuit via Sparse Kernel-based Learning
信号处理的基本任务，如采样，重建，最小均方误差插值和预测，可以被视为再生核希尔伯特空间的棱镜下。赋予这一优势与当代稀疏感知建模和处理的进步，促进了本文所倡导的非参数基追求，作为基于核的学习（KBL）方法融合的总体框架，利用稀疏线性回归，核范数正则化和字典学习。新的稀疏KBL工具箱超越了将稀疏参数方法转化为非参数方法，并结合了多核选择和矩阵平滑等新的可能性。稀疏KBL信号处理应用的影响，说明通过测试案例，从认知无线电传感，微阵列数据填补，网络流量预测。
2013-02-21 cs.CV cs.IT cs.LG
WSEBP: A Novel Width-depth Synchronous Extension-based Basis Pursuit Algorithm for Multi-Layer Convolutional Sparse Coding
ShanghaiTech University（上海科技大学）
多层卷积稀疏编码（ML-CSC）中的追踪算法可以解释卷积神经网络（CNN）。然而，许多当前最先进的（SOTA）追踪算法需要多次迭代来优化ML-CSC的解决方案，由于计算成本高和大量资源用于获得非常微小的性能增益，这限制了它们在更深CNN中的应用。在本研究中，我们针对追踪演算法中的第0次迭代，在每一层中引入一个有效的初始化策略，以改善多层-连续供应链的解。具体来说，我们首先提出了一种新的宽度深度同步扩展基追踪（WSEBP）算法，解决了ML-CSC问题，没有限制的迭代次数相比，SOTA算法，并最大限度地提高了性能的有效初始化在每一层。然后，我们提出了一个简单而统一的ML-CSC-based分类网络（ML-CSC-Net），它包括一个基于ML-CSC的特征编码器和一个全连接层，以验证性能的WSEBP图像分类任务。实验结果表明，我们提出的WSEBP优于SOTA算法的准确性和消耗的资源。此外，集成在CNN中的WSEBP可以提高更深层次CNN的性能，并使其可解释。最后，以VGG为例，我们提出了WSEBP-VGG 13来增强VGG 13的性能，在四个公共数据集上取得了有竞争力的结果，在Cifar-10数据集上分别为87.79%和86.83%，在Cifar-100数据集上分别为58.01%和54.60%，在COVID-19数据集上分别为91.52%和89.58%，在Crack数据集上分别为99.8…
2022-03-30 cs.CV cs.LG
Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis
Lehigh University（利哈伊大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
给定一个过完备字典$A$和一个信号$b = Ac^*$，其中某个稀疏向量$c^*$的非零元素对应于$A$的线性无关列，经典稀疏信号恢复理论考虑$c^*$是否可以恢复为$b = A c$的唯一稀疏解的问题.现在很好地理解，当字典$A$是不相干的或受限制的等距的时，这种恢复通过实用算法是可能的。在本文中，我们考虑更一般的情况下，$b$位于一个子空间$\mathcal{S}_0$由一个子集的线性相关列的$A$，其余列的子空间之外。在这种情况下，稀疏表示可能不是唯一的，并且字典可能不是不连贯的或受限制的等距的。目标是使表示$c$正确地标识子空间，即，$c$的非零条目应当对应于子空间$\mathcal{S}_0$中的$A$的列。这种表示$c$被称为子空间保持，这是一个关键概念，在高维数据中学习低维结构时有重要应用。我们提出了各种几何条件，保证子空间保持恢复。其中，覆盖半径和角距离分别刻画了子空间中点的分布以及子空间中点与子空间外点的相似性.重要的是，这些条件并不要求字典是不连贯的或受限制的等距。通过建立子空间保持恢复问题和经典的稀疏信号恢复问题在后者的共同假设下是等价的，我们证明了我们提出的几个条件是稀疏信号恢复文献中一些众所周知的条件的推广。
2019-12-30 cs.CV cs.LG stat.ML
Optimal Vector Compressed Sensing Using James Stein Shrinkage
Stanford University（斯坦福大学）
本文提出轻量级迭代算法 SteinSense，无需调参和训练数据即可在高维向量压缩感知中实现可证明的最优恢复，且在大量真实与合成实验中表现出强稳健性。
2025-05-01 cs.LG eess.IV eess.SP
Structural Extensions of Basis Pursuit: Guarantees on Adversarial Robustness
ELTE Eötvös Loránd University（厄特沃什·罗兰大学）；AImotive Inc.（AImotive公司）
虽然深度神经网络对对抗性噪声敏感，但使用基追踪（BP）方法的稀疏编码对此类攻击（包括其多层扩展）具有鲁棒性。我们证明了BP的稳定性定理在以下推广上成立：（i）正则化过程可以分成具有不同权重的不相交的组，（ii）神经元或完整层可以形成组，以及（iii）正则化器采用$\ell_1$范数的各种广义形式。这一结果为Cazenavette等人（2021）的架构概括提供了证据，包括（iv）将完整架构近似为浅层稀疏编码网络。由于这种近似，我们决定用浅层网络进行实验，并在合成数据集和MNIST上研究它们对迭代快速梯度符号方法的鲁棒性。我们介绍了分类的基础上的$\ell_2$规范的团体和数字显示，它可以是准确的，并提供了相当大的加速。在这个系列中，线性Transformer表现出最好的性能。基于理论结果和数值模拟，我们强调数值问题，可能会进一步提高性能。
2022-05-05 cs.LG
Coherence-Based Performance Guarantees for Estimating a Sparse Vector Under Random Noise
我们考虑从欠定测量Ax+w估计确定性稀疏向量x的问题，其中w表示高斯白噪声，A是给定的确定性字典。我们分析了三种稀疏估计算法的性能：基追踪去噪（BPDN），正交匹配追踪（OMP）和阈值。这些算法被证明可以以很高的概率实现接近预言机的性能，假设x是足够稀疏的。我们的结果是非渐近的，并且仅基于A的相干性，因此它们适用于任意字典。在高和低信噪比下观察到的性能表明了每种算法的性能保证所需的精确条件的差异。这提供了对凸松弛技术（如BPDN）的优点和缺点的见解，而不是贪婪的方法，如OMP和阈值。
2009-12-02 math.ST stat.TH
High SNR Consistent Compressive Sensing
线性回归模型选择准则的高信噪比一致性问题是近年来研究的热点。然而，大多数现有的高信噪比一致性的文献处理模型阶数的选择。此外，关于子集选择程序（SSP）的高SNR一致性的有限文献仅适用于具有满秩测量矩阵的线性回归。因此，在高SNR下的欠定线性模型（也称为压缩感知（CS）算法）中使用的SSP的性能在很大程度上是未知的。本文填补了这一空白，推导出必要和充分条件的流行CS算法，如$l_0$ -最小化，基追踪去噪或LASSO，正交匹配追求和Dantzig选择器的高信噪比的一致性。必要条件分析建立CS算法的高SNR不一致时，与文献中讨论的调谐参数使用。新的调谐参数与SNR自适应开发的充分条件和SNR自适应的选择进行了讨论，分析使用收敛速度分析。CS算法与建议的调谐参数的数值显示是高信噪比一致的，并优于现有的调谐参数在中等到高信噪比制度。
2017-03-10 cs.IT math.IT stat.ML
Overfitting Can Be Harmless for Basis Pursuit, But Only to a Degree
Purdue University（普渡大学）；The Ohio State University（俄亥俄州立大学）
最近，人们对研究过参数化和过拟合机制下线性回归模型的泛化误差的所谓“双下降”产生了浓厚的兴趣，希望这种分析可以为理解为什么过参数化深度神经网络（DNN）仍然具有良好的泛化能力提供第一步。然而，到目前为止，这些研究大多集中在最小$\ell_2$ -范数的解决方案，过拟合的数据。相比之下，在本文中，我们研究过拟合的解决方案，最大限度地减少了$\ell_1$ -范数，这是被称为基追踪（BP）在压缩传感文献。在具有$p$ i.i.d.的稀疏真线性回归模型下，高斯特征，我们表明，对于大范围的$p$到一个限制，指数增长的样本数$n$，具有很高的概率BP模型误差的上限值，减少与$p$。据我们所知，这是第一个分析结果，在文献中建立了双下降的过拟合BP有限$n$和$p$。此外，我们的研究结果揭示了BP和最小$\ell_2$ -范数解的双重下降之间的显着差异。具体而言，BP的双下降上限与信号强度无关，并且对于高SNR和稀疏模型，BP的下降底可以比最小$\ell_2$范数解的下降底低得多且宽得多。
2020-11-17 cs.LG math.ST stat.ML
Isometry pursuit
Amazon（亚马逊）；Department of Statistics University of Washington（华盛顿大学统计系）
提出等距追踪算法，通过新颖的归一化方法和多任务基追踪识别宽矩阵中的正交列子矩阵，用于从可解释字典中发现等距嵌入。
2026-05-27 cs.AI cs.IR cs.LG
Semi-supervised Ranking Pursuit
The Netherlands Organization for Applied Scientific Research（荷兰应用科学研究组织）；Radboud University Nijmegen（奈梅亨拉德堡德大学）
我们提出了一种新的稀疏偏好学习/排序算法。我们的算法近似的真实效用函数的加权和的基函数使用的平方损失对数据点，是一个推广的核匹配追踪方法。它可以在监督和半监督设置中运行，并允许有效搜索多个接近最优的解决方案。此外，我们描述了该算法的扩展，适用于组合排名和回归任务。在我们的实验中，我们证明了所提出的算法在考虑未标记数据时优于几种最先进的学习方法，并在监督学习场景中执行重复，同时提供更稀疏的解决方案。
2013-07-02 cs.IR cs.LG stat.ML
Iteratively Reweighted Least Squares for Basis Pursuit with Global Linear Convergence Rate
Johns Hopkins University（约翰斯·霍普金斯大学）；Technical University of Munich（慕尼黑工业大学）；KU Eichstätt–Ingolstadt（埃希施泰特-英戈尔施塔特天主教大学）
稀疏数据的恢复是机器学习和信号处理中许多应用的核心。虽然这样的问题可以使用$\ell_1$ -正则化来解决，如在LASSO估计器和基追踪方法中，但通常需要专门的算法来解决大实例的相应高维非光滑优化。迭代重加权最小二乘法（IRLS）是一种广泛使用的算法，用于此目的，由于其优良的数值性能。然而，虽然现有的理论能够保证该算法收敛到最小值，它不提供一个整体收敛率。在本文中，我们证明了IRLS的一个变体以全局线性速率收敛到稀疏解，即，如果测量满足通常的零空间性质假设，则从任何初始化开始立即发生线性误差减小。我们支持我们的理论，数值实验表明，我们的线性速率捕获正确的尺寸依赖。我们预计，我们的理论研究结果将为IRLS算法的许多其他用例带来新的见解，例如低秩矩阵恢复。
2021-11-12 cs.IT cs.LG cs.NA
Balancing Sparsity and Rank Constraints in Quadratic Basis Pursuit
INRIA, Centre Inria Rennes - Bretagne Atlantique（INRIA，里昂-大西洋研究中心）；Inst. of Electrical Eng., Ecole Polytechnique Federale de Lausanne (EPFL)（电气工程研究所，瑞士洛桑联邦理工学院）；Institut Langevin, CNRS UMR 7587, UPMC, Univ. Paris Diderot, ESPCI（Langevin研究所，法国国家科学研究中心UMR 7587，巴黎-萨特大学，巴黎理工学院）
本文研究了同时 enforcing 稀疏性和低秩结构的方法，提出了一种分析稀疏性和低秩约束之间权衡的新方法，并通过仿真验证了其有效性。
2014-03-19 cs.LG cs.NA math.NA
Samplet basis pursuit: Multiresolution scattered data approximation with sparsity constraints
Istituto Eulero, Università della Svizzera italiana（瑞士意大利语区大学欧勒研究所）；Università della Svizzera italiana（瑞士意大利语区大学）；Universität Basel（巴塞尔大学）
本文提出Samplet基追踪方法，通过$\ell_1$正则化在samplet坐标下实现散乱数据的多分辨率稀疏逼近，并结合软收缩与半光滑Newton法实现大规模快速求解，在曲面重建和温度数据重建中优于单尺度方法。
2024-04-02 cs.LG cs.NA math.NA
Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks
University of Oslo（奥斯陆大学）；University of Cambridge（剑桥大学）
本文研究过参数化对角线性网络梯度流的隐式正则化，证明其逼近基追踪的ℓ₁最小化子并给出依赖初始化的尖锐收敛界，且所选最小化子由网络深度决定。
2023-07-13 cs.LG math.OC stat.ML
Projection pursuit based on Gaussian mixtures and evolutionary algorithms
University of Perugia（佩鲁贾大学）
提出了一种基于高斯混合模型的投影寻踪算法。通过Gynthology估计的多变量密度获得的负熵被采用作为PP指数被最大化。对于固定维度的投影子空间，基于GMM的密度估计被投影到该子空间上，其中计算高斯混合的负熵的近似。然后，遗传算法（GAs）被用来找到最佳的，正交投影的基础上，通过最大化前近似。我们表明，这种半参数的方法PP是灵活的，并允许高度信息化的结构被检测到，通过将多变量数据集投影到一个子空间，在那里数据可以被可视化。所提出的方法的性能显示在人工和真实的数据集。
2019-12-27 cs.LG cs.NE stat.ME
Fast and Near-Optimal Matrix Completion via Randomized Basis Pursuit
Stanford University（斯坦福大学）；The Chinese University of Hong Kong（香港中文大学）
受压缩感知的原理和巨大成功的启发，从其条目的采样中重构矩阵的问题最近引起了人们的广泛关注。这样的问题可以被看作是一个信息理论的变体，以及研究矩阵完成问题，其主要目标是设计一个有效的算法，可以重建一个矩阵，通过检查只有少量的条目。虽然这在一般情况下是不可能的任务，但Candès和合著者最近证明，在所谓的不相干假设下，在检查$O(nr\log^6n)$的条目后，可以使用半定规划（SDP）重建秩$r$ $n\times n$矩阵。在本文中，我们提出了一种替代方法，这是更有效的，可以重建一个更大的类的矩阵通过检查一个显着较少的条目。具体来说，我们首先介绍了一类所谓的稳定矩阵，并表明它包括所有那些满足不相干假设。然后，我们提出了一个随机基追踪（RBP）算法，并证明了它可以重建一个稳定的秩$r$ $n\times n$矩阵检查后，$O(nr\log n)$的条目。我们的采样界是只有一个对数因子远离信息理论的限制，本质上是最佳的。此外，RBP算法的运行时间由$O(nr^2\log n+n^2r)$限定，这与基于SDP的算法的$Ω(n^4r^2\log^{12}n)$运行时间相比非常有利。也许更重要的是，我们的算法将在多项式时间内提供输入矩阵的精确重构。相比之下，基于SDP的算法只能在多项式时间内提供一个近似值。
2009-05-15 cs.IT cs.LG math.IT
Architectural Adversarial Robustness: The Case for Deep Pursuit
Carnegie Mellon University（卡内基梅隆大学）；Argo AI
尽管具有无与伦比的性能，但深度神经网络仍然容易受到几乎无法察觉的对抗性噪声水平的有针对性的攻击。虽然这种敏感性的根本原因还没有得到很好的理解，理论分析可以通过重构前馈网络的每一层作为稀疏编码问题的近似解决方案来简化。使用基追踪的迭代解决方案在理论上更稳定，并且具有更好的对抗鲁棒性。然而，级联逐层追踪实现在更深的网络中遭受错误积累。相比之下，我们新的深度追踪方法将所有层的激活近似为一个全局优化问题，使我们能够考虑具有跳过连接的更深层次的真实世界架构，例如剩余网络。实验上，我们的方法证明了对对抗性噪声的鲁棒性。
2020-11-29 cs.CR cs.CV cs.LG
Thresholded Basis Pursuit: An LP Algorithm for Achieving Optimal Support Recovery for Sparse and Approximately Sparse Signals from Noisy Random Measurements
Boston University（波士顿大学）
在本文中，我们提出了一个线性规划的解决方案，从噪声随机投影信号的稀疏信号的符号模式恢复。我们考虑两种类型的噪声模型，输入噪声，其中噪声在随机投影之前进入;和输出噪声，其中噪声在随机投影之后进入。符号模式恢复涉及到稀疏信号符号模式的估计。我们的想法是假装没有噪声存在，并解决无噪声的$\ell_1$问题，即$\min \|β\|_1 ~ s.t. ~ y=G β$和量化的结果的解决方案。我们表明，量化的解决方案完美地重建一个足够稀疏的信号的符号模式。具体来说，我们发现，一个任意的k-稀疏，n维信号$x$的符号模式可以恢复与$SNR=Ω(\log n)$和测量缩放为$m= Ω(k \log{n/k})$的所有稀疏水平$k$满足$0< k \leq αn$，其中$α$是一个足够小的正常数。令人惊讶的是，这个界限匹配的最佳\emph{Max-Likelihood}性能界限方面的$SNR$，所需的数量的测量，并允许稀疏水平，在有序的意义。与我们的研究结果相比，以前的结果的基础上LASSO和最大相关技术要么假设显着较大的$SNR$，次线性稀疏水平或限制性假设信号集。我们的证明技术是基于无噪声$\ell_1$问题的噪声扰动，在此，我们估计的最大容许噪声电平之前，符号模式恢复失败。
2010-05-08 cs.IT cs.LG math.IT
Dictionary Learning with Equiprobable Matching Pursuit
EISLAB, Luleå University of Technology, Sweden（埃斯实验室，吕勒奥理工大学，瑞典）；SKF–LTU University Technology Center and EISLAB, Luleå University of Technology, Sweden（斯凯孚-吕勒奥理工大学技术中心及埃斯实验室，吕勒奥理工大学，瑞典）；Luleå University of Technology, Sweden（吕勒奥理工大学，瑞典）；EISLAB, Luleå University of Technology（埃斯实验室，吕勒奥理工大学）；SKF–LTU University Technology Center and EISLAB, Luleå University of Technology（斯凯孚-吕勒奥理工大学技术中心及埃斯实验室，吕勒奥理工大学）；Luleå University of Technology（吕勒奥理工大学）
基于学习原子的线性组合的稀疏信号表示已被用于在几个实际信号处理应用中获得最先进的结果。近似方法需要以这种方式处理高维信号，因为计算稀疏编码的最佳原子的问题是NP难的。在这里，我们研究了贪婪算法的无监督学习字典的移位不变的原子，并提出了一种新的方法，其中每个原子被选中的平均概率相同，这对应于一个经常性的卷积神经网络的稳态调节。等概率选择可以与几种贪心算法一起用于字典学习，以确保所有原子在训练期间适应，并且平均而言没有特定原子更有可能参与线性组合。我们通过模拟实验证明，字典学习等概率选择结果在较高的熵的稀疏表示和较低的重建和去噪误差，无论是在普通的匹配追求和正交匹配追求的情况下，与移位不变的字典。此外，我们表明，计算成本的匹配追求是较低的等概率选择，从而更快，更准确的字典学习算法。
2016-11-28 cs.LG
Fast and the Furious: Hot Starts in Pursuit-Evasion Games
University of Michigan（密歇根大学）；Air Force Research Laboratory（空军研究实验室）
本研究提出结合博弈论控制理论与图神经网络的方法，通过在帕累托最优追捕者配置图上训练GCN生成“热启动”初始配置，有效提升了多追捕者-逃跑者场景下的围堵效率与战略优势。
2025-10-12 cs.GT cs.LG cs.MA
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Adversarial Noise Attacks of Deep Learning Architectures -- Stability Analysis via Sparse Modeled Signals
Stanford University（斯坦福大学）；Technion - Israel Institute of Technology（以色列理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
尽管深度卷积神经网络（CNN）的性能令人印象深刻，但已被证明对小的对抗性扰动敏感。这些讨厌的东西，人们几乎注意不到，却足以欺骗复杂和性能良好的分类器，导致荒谬的错误分类结果。在本文中，我们分析了最先进的深度学习分类机对对抗性扰动的稳定性，其中我们假设信号属于（可能是多层）稀疏表示模型。我们从卷积稀疏性开始，然后继续到它的多层版本，它与CNN紧密相连。我们的分析之间的稳定性的分类噪声和信号的底层结构，量化的稀疏性，其表示下一个固定的字典。此外，我们还为两种实际的追踪算法提供了类似的稳定性定理，这两种算法被视为两种不同的深度学习架构-分层的基础追踪和分层的基础追踪。我们的分析建立了后者对对抗性攻击的更好的鲁棒性。我们证实了这些理论结果的数值实验上的三个数据集：MNIST，CIFAR-10和CIFAR-100。
2019-08-05 cs.IT cs.LG math.IT
Accelerated Sparse Subspace Clustering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
用于稀疏子空间聚类的现有技术算法对相似性矩阵执行谱聚类，该相似性矩阵通常通过使用基追踪（BP）或正交匹配追踪（OMP）将每个数据点表示为其他点的稀疏组合来获得。基于BP的方法在实践中往往令人望而却步，而基于OMP的方案的性能并不令人满意，特别是在数据点高度相似的情况下。在本文中，我们提出了一种新的算法，利用正交最小二乘的加速变量，有效地找到底层的子空间。我们表明，在一定条件下，该算法返回一个子空间保持的解决方案。仿真结果表明，所提出的方法与基于BP的方法相比，在运行时间方面，而显着更准确的基于OMP的计划。
2017-10-31 cs.CV cs.LG stat.ML
MAP Support Detection for Greedy Sparse Signal Recovery Algorithms in Compressive Sensing
Intel Labs（英特尔实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
一个可靠的支持检测是必不可少的贪心算法从压缩和噪声测量准确地重建稀疏信号。提出了一种新的贪心算法支持度检测方法--\textit{maximum a posteriori (MAP) support detection}。不同于现有的支持检测方法，确定支持指数的幅度最大的相关值，每次迭代，所提出的方法选择他们的最大似然比计算下的真实和空的支持假设，同时利用传感矩阵，稀疏信号和噪声的分布。利用这种技术，MAP匹配追踪（MAP-MP）首次提出了利用建议的支持检测方法的优点，并推导出了一个充分条件时，稀疏信号是二进制的情况下，完美的信号恢复。随后，一组迭代的贪心算法，称为MAP-广义正交匹配追踪（MAP-gOMP），MAP-压缩采样匹配追踪（MAP-CoSaMP），和MAP-子空间追踪（MAP-SP），以证明所提出的支持检测方法现有的贪心算法的适用性。实验结果表明，所提出的贪心算法具有高可靠性的支持检测，可以更好，更快，更容易实现比通过线性规划的基追踪。
2016-01-28 cs.IT cs.LG math.IT
Multi-Layer Sparse Coding: The Holistic Way
Technion Israel Institute of Technology（以色列理工学院）
最近提出的多层稀疏模型提出了稀疏表示和卷积神经网络（CNN）之间的深刻联系。在其最初的概念中，该模型仅限于卷积合成表示的级联。在本文中，我们从一个更一般的模型开始，揭示了与全连接网络的有趣联系。然后，我们表明，这种多层结构承认一个全新的解释，在一个独特的合成和分析模型之间的共生关系：虽然最深的层确实提供了一个合成表示，中间层分解提供了一个分析对应。这种新的视角暴露了以前提出的追求方法的次优性，因为它们没有充分利用模型约束中包含的所有信息。有了这样的理解，我们解决基本的理论问题，重新审视以前的分析和扩展it. Motivated由以前的算法的局限性，我们然后提出了一个综合的-整体的-替代，同时估计模型中的所有表示，并分析所有这些不同的方案下随机噪声的假设。受合成分析对偶性的启发，我们进一步提出了一种整体追踪算法，该算法在合成和分析稀疏编码步骤之间交替进行，最终将整个模型作为一个整体进行求解，并具有可证明的改进性能。最后，我们提出的数值结果表明，我们的方法的实际优势。
2018-07-25 cs.LG eess.IV eess.SP
PokeBNN: A Binary Pursuit of Lightweight Accuracy
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
Top-1 ImageNet的优化促进了在推理设置中可能不切实际的巨大网络。二进制神经网络（BNN）有可能显着降低计算强度，但现有的模型遭受低质量。为了克服这一缺陷，我们提出了PokeConv，一个二进制卷积块，它通过添加多个残差路径和调整激活函数等技术提高了BNN的质量。我们将其应用于ResNet-50，并优化了ResNet的初始卷积层，这是很难二进制化的。我们将得到的网络家族命名为PokeBNN。选择这些技术以在前1精度和网络成本方面产生有利的改进。为了实现成本与准确性的联合优化，我们定义了算术计算工作量（ACE），这是量化和二进制化网络的硬件和能量成本度量。我们还确定需要优化一个未被充分探索的超参数控制二值化梯度近似。我们建立了一个新的，强大的最先进的（SOTA）的顶级1精度与常用的CPU 64成本，ACE成本和网络规模的指标。ReActNet-Adam，BNN中的前SOTA，以7.9 ACE实现了70.5%的top-1准确率。PokeBNN的一个小变体在2.6 ACE的情况下实现了70.5%的top-1，成本降低了3倍以上;一个更大的PokeBNN在7.8 ACE的情况下实现了75.6%的top-1，准确率提高了5%以上，而不增加成本。PokeBNN在JAX/Flax中的实现和再现说明可在AQT存储库中获得：https://github.com/google/aqt
2022-04-28 cs.CV cs.LG
Optimal Use of Multi-spectral Satellite Data with Convolutional Neural Networks
对卫星图像的分析将证明是实现可持续发展的一个关键工具。虽然卷积神经网络（CNN）在自然图像分析中取得了很大的进展，但它们在多光谱卫星图像（其中输入图像具有大量通道）中的应用仍然相对未被探索。在本文中，我们比较了利用CNN多波段信息的不同方法，展示了所有比较方法在农业植被（葡萄园）语义分割任务上的性能。我们表明，使用领域专家选择的波段的标准行业惯例导致测试精度比其他方法相比显着较差。具体来说，我们比较：使用由专家指定的波段;使用所有可用的波段;在输入波段上学习注意力图;以及利用贝叶斯优化来指示波段选择。我们表明，简单地使用所有可用的波段信息已经增加了测试时间的性能，并表明贝叶斯优化，首先适用于波段选择在这项工作中，可以用来进一步提高准确性。
2020-09-15 cs.CV cs.LG eess.IV
Scale Steerable Filters for Locally Scale-Invariant Convolutional Neural Networks
National University of Singapore（新加坡国立大学）
将变换知识增强到卷积神经网络的权重上通常会显著提高性能。对于旋转变换增强，最近方法的一个重要元素是使用可操纵基，即圆谐波。在这里，我们提出了一个局部尺度不变的CNN，表示为对数径向谐波的尺度可控滤波器的基础。通过将局部尺度不变的CNN \cite{lsi_cnn}中的内核替换为尺度导向的内核，可以在MNIST-Scale和FMNIST-Scale数据集上观察到性能的显著改善。使用尺度可调的基础进行训练会产生显示有意义结构的滤波器，并且特征图显示出输入的明显更高的空间结构保留。此外，所提出的尺度可操纵的CNN显示出对全局仿射变换估计方法（例如空间Transformers）的同等推广，以响应测试时间数据失真。
2019-06-10 cs.CV cs.LG
Correlating Time Series with Interpretable Convolutional Kernels
Massachusetts Institute of Technology（麻省理工学院）；University of Central Florida（中佛罗里达大学）；McGill University（麦吉尔大学）
本研究针对单变量、多变量及多维时间序列的卷积核学习问题，提出基于稀疏回归与张量计算的方法，通过非负约束实现可解释性，在真实数据集上揭示了时间模式并提升了下游任务性能。
2024-09-02 cs.AI cs.LG
Understanding the Basis of Graph Convolutional Neural Networks via an Intuitive Matched Filtering Approach
University of Montenegro（黑山大学）；Imperial College London（伦敦帝国理工学院）
图卷积神经网络（GCNN）正在成为不规则域数据处理的首选模型，但由于NN的黑箱性质，很少研究其分析和操作原理。为此，我们重新审视了GCNN的操作，并表明它们的卷积层可以有效地对具有所选模式（特征）的输入数据进行匹配滤波。这使我们能够通过匹配滤波器的角度提供GCNN的统一解释，从而在匹配滤波框架内讨论非线性ReLU和最大池化层。接下来是关于GCNN中信息传播和学习的分步指南。它还表明，标准的CNN和全连接的神经网络可以得到作为一个特殊的情况下，GCNN。一个精心选择的数值示例指导读者完成GCNN操作的各个步骤，并在视觉和数值上进行学习。
2021-08-23 cs.AI cs.IT cs.LG
Transferable Low-Rank Convolutional Bases for Onboarding Unseen Medical Imaging Modalities
Bangladesh University of Engineering and Technology (BUET)（孟加拉国工程技术大学）；Osaka Metropolitan University（大阪都市大学）；Chittagong University of Engineering and Technology (CUET)（吉大港工程技术大学）；Kochi University of Technology（高知工科大学）
研究医学成像模型引入未见模态的问题，提出冻结源模态低秩卷积基并训练其向上投影的方法，该方法可转移，能以极少参数引入未见模态，保持源模态准确率不变，还能检测何时需引入。
2026-07-21 cs.CV cs.LG
Post-processing Multi-Model Medium-Term Precipitation Forecasts Using Convolutional Neural Networks
Radboud University（拉德堡德大学）；KNMI（荷兰皇家气象研究所）
本研究的目的是改善后处理的降水预报使用卷积神经网络（CNN）。与在气象后处理中采用机器学习时通常进行的逐像素后处理预测不同，输入预测图像被组合并使用全卷积神经网络转换为概率输出预测图像。CNN并没有优于正则化逻辑回归。此外，还进行了消融分析。将来自全球低分辨率天气模型和区域高分辨率天气模型的输入预报相结合，可以提高其中任何一个的性能。
2021-05-14 cs.LG physics.ao-ph
DeepLABNet: End-to-end Learning of Deep Radial Basis Networks with Fully Learnable Basis Functions
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
从完全连接的神经网络到卷积神经网络，神经网络内的学习参数主要被归为线性参数（例如，卷积滤波器）。非线性函数（例如，激活函数）在整个训练过程中基本上保持无参数、静态，并且在设计中看到有限的变化，近年来很少有例外。径向基函数（RBF）网络虽然被深度学习社区忽视，但它提供了一种有趣的机制，除了学习网络中的线性参数外，还可以学习更复杂的非线性激活函数。然而，随着时间的推移，对RBF网络的兴趣已经减弱，这是由于难以以易处理和稳定的方式将RBF集成到更复杂的深度神经网络架构中。在这项工作中，我们提出了一种新的方法，可以自动和易于处理的方式对具有完全可学习的激活基函数的深度RBF网络进行端到端学习。我们证明了我们在深度神经网络中使用可学习激活基函数的方法，我们将其称为DeepLABNet，是复杂网络架构中自动激活函数学习的有效工具。
2019-11-21 cs.CV cs.LG cs.NE
Stochastic Conditional Generative Networks with Basis Decomposition
Duke University（杜克大学）
虽然生成对抗网络（GANs）已经彻底改变了机器学习，但仍有一些悬而未决的问题需要完全理解它们并利用它们的力量。这些问题之一是如何有效地实现多模式数据空间的适当多样性和采样。为了解决这个问题，我们引入了BasisGAN，一个随机条件多模式图像生成器。通过利用卷积滤波器可以很好地近似为一小组基本元素的线性组合的观察结果，我们学习了一个即插即用的基础生成器来随机生成基本元素，只需几百个参数，将随机性完全嵌入卷积滤波器。通过对基本元素而不是滤波器进行采样，我们大大降低了参数空间建模的成本，而不会牺牲图像的多样性或保真度。为了说明这种即插即用的框架，我们基于最先进的条件图像生成网络构建BasisGAN的变体，并通过简单地插入基础生成器来训练网络，而无需额外的辅助组件，超参数或训练目标。实验成功的补充与理论结果表明如何引入的扰动所提出的采样的基本元素可以传播到生成的图像的外观。
2020-02-24 cs.CV cs.LG eess.IV
From Dark Matter to Galaxies with Convolutional Networks
New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Flatiron Institute（弗莱德哈钦森研究所）；Princeton University（普林斯顿大学）
宇宙学调查旨在回答有关我们宇宙的基本问题，包括暗物质的性质或宇宙意外加速膨胀的原因。为了回答这些问题，需要两个重要的因素：1）来自观测的数据和2）允许观测和理论之间快速比较的理论模型。大多数的宇宙学调查观察星系，这是非常困难的理论建模，由于其形成和演化涉及复杂的物理;模拟现实的星系宇宙体积需要运行计算昂贵的流体动力学模拟，可以花费数百万的CPU小时。在本文中，我们建议使用深度学习来建立流体动力学模拟中的3D星系分布与其底层暗物质分布之间的映射。在这方面的主要挑战之一是预测的星系分布非常高的稀疏性。为此，我们开发了一个两阶段卷积神经网络架构来生成快速星系目录，并将我们的结果与标准宇宙学技术进行比较。我们发现，我们提出的方法，无论是优于传统的宇宙学技术或具有竞争力。与宇宙学中使用的常用方法相比，我们的方法还提供了时间消耗（与文献中最快的基准相当）和预测模拟的质量和准确性之间的良好权衡。结合当前和即将到来的宇宙学观测数据，我们的方法有可能以最高的精度回答有关我们宇宙的基本问题。
2019-04-01 astro-ph.CO cs.LG
Discrete Function Bases and Convolutional Neural Networks
Centre for Theoretical Neuroscience（理论神经科学中心）；University of Waterloo（滑铁卢大学）
我们讨论了“离散函数基”的概念，特别侧重于来自勒让德延迟网络（LDN）的离散基。我们的特点，这些基地的延迟计算任务中的性能，并作为固定的时间卷积神经网络。使用固定时间卷积的网络在概念上很简单，并且在psMNIST等任务中产生最先进的结果。（2）Legendre延迟网络（LDN）可以用来构造一个具有基变换矩阵H的离散函数基。(3)如果q < 300，与LDN基在线卷积比与任意FIR滤波器卷积具有更低的运行时间复杂度。(4)滑动窗口变换存在于一些基（Haar，余弦，傅立叶），每个样本需要O（q）运算和O（N）内存。(5)类似于LDN的LTI系统可以针对许多离散函数基构造; LDN系统在具有有限脉冲响应方面更优越。(6)我们比较离散函数的基础，线性解码延迟信号表示相对于这些基地。结果如图20所示。总的来说，解码错误是相似的。LDN基的误差最大，傅立叶基和余弦基的误差最小。(7)傅立叶和余弦基的特征在于所有延迟的统一解码误差。如果信号可以在傅立叶域中很好地表示，则应使用这些基。(8)神经网络实验表明，固定时间卷积可以优于学习卷积。基的选择并不重要;我们大致观察到与延迟任务相同的性能趋势。(9)如果O（q）的欧拉更新是可行的，并且O（q）的内存需求很重要，那么LDN是小q的正确选择。
2021-03-09 cs.LG cs.SY eess.SY
Towards Deep and Efficient: A Deep Siamese Self-Attention Fully Efficient Convolutional Network for Change Detection in VHR Images
Wuhan University（武汉大学）
近来，光纤通信网络在光盘领域引起了广泛的关注。为了追求更好的CD性能，设计更深、更复杂的光纤耦合网络已成为一种趋势，这不可避免地带来了大量的参数和难以承受的计算负担。为了设计一个相当深入的架构以获得更精确的CD结果，同时减少参数数量以提高效率，在这项工作中，我们提出了一个非常深入和高效的CD网络，名为EffCDNet。在EffCDNet中，为了减少与深度架构相关的众多参数，引入了由深度卷积和具有通道混洗机制的组卷积组成的高效卷积来取代标准卷积层。在具体的网络架构方面，EffCDNet并没有采用主流的类UNet架构，而是采用了非常深度的编码器和轻量级的解码器的架构。在非常深的编码器中，通过高效卷积堆叠的两个非常深的连体流首先从输入图像对中提取两个高度代表性和信息量丰富的特征图。随后，一个有效的ASPP模块的设计，以捕捉多尺度变化信息。在轻量级解码器中，一个经常性的交叉自注意（RCCA）模块被应用到有效地利用非局部相似特征表示，以提高每个像素的可辨别性，从而有效地分离变化和不变的区域。此外，针对模糊像素的优化问题，提出了两种新的基于信息熵的损失函数。在两个具有挑战性的CD数据集上，我们的方法优于其他基于SOTA FCN的方法，只有基准级别的参数数量和相当低的计算开销。
2021-08-18 cs.CV cs.LG eess.IV
Deeply Shared Filter Bases for Parameter-Efficient Convolutional Neural Networks
Incheon National University（仁川大学）；Dain Technology, Inc.
现代卷积神经网络（CNN）具有大量相同的卷积块，因此，已经提出了在这些块之间递归共享参数以减少参数的量。然而，天真的参数共享提出了许多挑战，如有限的代表性权力和递归共享参数的消失/爆炸梯度问题。在本文中，我们提出了一种递归卷积块的设计和训练方法，其中一个递归共享的部分，或滤波器的基础，分离和学习，同时有效地避免了消失/爆炸梯度问题在训练过程中。我们表明，可以通过强制执行滤波器基正交规范的元素来控制笨拙的消失/爆炸梯度问题，并根据经验证明，所提出的正交正则化改进了训练过程中的梯度流。图像分类和目标检测的实验结果表明，我们的方法，不像以前的参数共享方法，不交易的性能，以节省参数，并始终优于overparameterized对应的网络。这种优异的性能表明，所提出的递归卷积块设计和正交性正则化不仅防止性能下降，而且在递归地共享大量参数的同时始终提高表示能力。
2021-11-21 cs.CV cs.LG eess.IV
