ECA: High Dimensional Elliptical Component Analysis in non-Gaussian Distributions
我们提出了一个强大的替代主成分分析（PCA）--称为椭圆成分分析（ECA）-分析高维，椭圆分布的数据。ECA估计椭圆数据的协方差阵的特征空间。为了应对重尾椭圆分布，利用了多元秩统计量。在模型级，我们考虑两种设置：协方差阵的前导特征向量是非稀疏的或者它们是稀疏的。在方法上，我们提出了非稀疏和稀疏设置的ECA程序。理论上，我们提供了非渐近和渐近分析量化的ECA的理论性能。在非稀疏设置，我们表明，ECA的性能是高度相关的协方差阵的有效秩。在稀疏设置，结果是双重的：（i）我们表明，稀疏ECA估计的组合程序的基础上达到最佳的收敛速度;（ii）根据最近的一些发展，估计稀疏领先的特征向量，我们表明，计算效率稀疏ECA估计达到最佳的收敛速度下的次优缩放。
2016-10-03 stat.ML
Recovering PCA from Hybrid-$(\ell_1,\ell_2)$ Sparse Sampling of Data Elements
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文讨论了如何以及我们可以恢复一个数据矩阵时，只有几个元素。我们提出了一个随机算法，元素明智的稀疏的数据，只保留了几个元素。我们的新算法使用依赖于条目的平方（$\ell_2$采样）和绝对值（$\ell_1$采样）的采样概率独立地对数据进行采样。我们证明了混合算法恢复近PCA重建的数据从一个次线性的样本大小：混合-（$\ell_1,\ell_2$）继承了$\ell_2$的能力，以采样的重要元素，以及$\ell_1$采样的正则化属性，并严格优于$\ell_1$或$\ell_2$自己的性能。我们还给出了一个单通版本的算法，并显示实验来证实理论。
2015-03-02 cs.IT cs.LG math.IT
A Greedy Approach to $\ell_{0,\infty}$ Based Convolutional Sparse Coding
Tel Aviv University（特拉维夫大学）
用于图像处理的稀疏编码技术传统上依赖于分别处理小的重叠块，然后进行平均。这具有的缺点是，重建的图像不再服从在处理中使用的稀疏先验。为了这个目的，卷积稀疏编码已经被引入，其中使用移位不变字典并且保持恢复图像的稀疏性。大多数这样的策略以整个图像的$\ell_0$“范数”或$\ell_1$范数为目标，这可能在图像中的各个区域之间产生不平衡的稀疏性。为了应对这一挑战，有人提出了$\ell_{0,\infty}$“规范”，作为“在当地运作，在全球思考”的替代方案。解决这些优化问题的非凸性所采取的方法是使用凸松弛或局部追踪算法。在本文中，我们提出了一个有效的贪婪方法稀疏编码和字典学习，这是专门为$\ell_{0,\infty}$，是基于匹配追踪。我们展示了我们的方法在椒盐噪声去除和图像修复中的使用。在https://web.eng.tau.ac.il/~raja上可以找到一个代码包，它再现了本文中提出的实验。
2018-12-26 cs.LG eess.IV eess.SP
An ADMM Algorithm for a Generic $\ell_0$ Sparse Overlapping Group Lasso Problem
本文提出一种 ADMM 算法求解任意重叠结构的通用 $\ell_0$ 稀疏组 Lasso 问题，并给出 $\ell_1$ 与 $\ell_0$ 稀疏组 Lasso 问题的上下界及其计算算法。
2023-10-29 math.ST stat.TH
On Verifiable Sufficient Conditions for Sparse Signal Recovery via $\ell_1$ Minimization
我们提出了新的充要条件的传感矩阵是“$s$ -好”-允许精确的$\ell_1$ -恢复稀疏信号与$s$非零条目时，没有测量噪声存在。然后，我们表示不完美的$\ell_1$ -恢复（非零测量噪声，近$s$ -稀疏信号，产生$\ell_1$ -恢复的最优化问题的近最优解）的这些条件下的特征方面的误差界。此外，我们证明（这是本文的主要结果），这些特性，虽然难以评估，导致可验证的充分条件精确稀疏的$\ell_1$恢复和有效地计算上界的那些$s$，其中一个给定的传感矩阵是$s$ -好。我们还建立了我们的方法和压缩感知理论的基本概念之间的指导性联系，如限制等距或限制特征值属性。
2010-05-31 math.OC math.ST stat.TH
A Dirty Model for Multiple Sparse Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
稀疏线性回归-从线性测量中找到未知向量-现在已知可以通过LASSO等方法使用比变量少的样本。我们考虑多稀疏线性回归问题，其中几个相关的向量-部分共享的支持集-必须恢复。在这种情况下，一个自然的问题是是否可以使用共享来进一步减少所需的样本总数。最近的一系列研究已经研究了使用\ell_1 / \ell_q范数块正则化（q>1）来解决此类问题;然而，这些方法实际上在样本复杂度方面的表现更差-相对于单独解决每个问题而忽略共享-取决于共享的水平。我们提出了一种新的多元稀疏线性回归方法，该方法可以在支持度和参数重叠存在时利用支持度和参数重叠，但在不存在时不支付罚款。一个非常简单的想法：我们将参数分解为两个分量，并以不同的方式正则化它们。我们在理论上和经验表明，我们的方法严格和明显优于\ell_1或\ell_1 / \ell_q方法，在整个范围内可能的重叠（除了在边界的情况下，我们匹配的最佳方法）。我们还提供了理论保证，该方法在高维尺度下表现良好。
2011-06-29 cs.LG math.ST stat.ML
Analog Sparse Approximation with Applications to Compressed Sensing
最近的研究表明，信号处理任务的性能通常可以通过使用基于稀疏表示的信号模型来显着提高，其中使用来自固定字典的少量元素来近似信号。不幸的是，在这个模型中的推理涉及到解决非光滑的最优化问题，这是计算昂贵的。虽然大量的努力集中在专门针对该问题开发数字算法上，但是这些算法对于许多应用是不合适的，因为解决大的最优化问题所必需的时间和功率要求。基于最近的工作在计算神经科学，我们探讨了潜在的优势，连续时间动力系统解决稀疏逼近问题，如果他们在模拟VLSI实现。具体而言，在恢复通过压缩感知技术获取的合成和MRI数据的模拟任务中，我们表明这些系统可以在10-20μs的时间尺度执行恢复，支持50-100 kHz的数据速率（比数字算法快几个数量级）。此外，我们分析表明，广泛的稀疏近似问题可以解决在相同的基本架构，包括近似$\ell^p$规范，修改后的$\ell^1$规范，重新加权$\ell^1$和$\ell^2$，块$\ell^1$规范和经典的Tikhonov正则化。
2011-11-17 math.OC stat.ML
Support Recovery and $\ell_2$-Error Bound for Sparse Regression with Quadratic Measurements via Weakly-Convex-Concave Regularization
University of Manitoba（曼尼托巴大学）
本文研究了高维二次测量模型中弱凸-凹正则化估计器的有限样本性质，通过弱凸-凹惩罚最小二乘方法，建立了局部极小值解的支持恢复和ℓ₂误差界，采用两种近端梯度策略求解优化问题。
2026-04-14 cs.IT math.IT math.ST
Sparse Poisson Regression with Penalized Weighted Score Function
本文提出了一种新的惩罚方法来求解稀疏Poisson回归问题。与$\ell_1$惩罚对数似然估计不同，我们的新方法可以看作是惩罚加权评分函数方法。我们证明了在较弱的条件下，我们的估计量是$\ell_1$相容的，并且调节参数可以预先指定，这与平方根Lasso具有相同的良好性质.
2017-03-11 math.ST stat.TH
On the gap between RIP-properties and sparse recovery conditions
本文研究了利用$\ell_p$约束基追踪从欠定线性测量中恢复稀疏向量的问题。以前的分析，这个问题的基础上广义限制等距属性表明，两种现象发生，如果$p\neq 2$。首先，可能需要基本上多于$s \log(en/s)$的测量（对于$p=2$是最佳的）来均匀恢复所有$s$稀疏向量。第二，以最佳测量次数实现恢复的矩阵可能不是高斯的（对于$p=2$）。我们提出了一个新的，直接的分析表明，事实上，这两种现象都没有发生。通过一个合适的版本的零空间属性，我们表明，一个标准的高斯矩阵提供了$\ell_q/\ell_1$恢复保证$\ell_p$约束的基础上追求的最佳测量制度。我们的结果扩展到几个双尾测量矩阵。作为一个应用程序，我们表明，可以获得一致的重建均匀标量量化测量的最佳测量制度。
2015-04-20 cs.IT math.IT math.ST
Sparse matrices for weighted sparse recovery
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文首次提出加权ℓ1最小化在稀疏随机矩阵和加权稀疏信号中的稀疏恢复保证，通过加权空空间性质推导，并展示其计算效率优于密集矩阵。
2016-05-09 cs.CC cs.IT cs.NA
Sparse $\ell_1$ and $\ell_2$ Center Classifiers
Politecnico di Torino（都灵理工大学）
最近质心分类器是一种简单的线性时间分类器，其基于在训练阶段计算数据类的质心，然后将新的数据分配给与其最近质心相对应的类。由于其非常低的计算成本，最近质心分类器仍然被广泛用于机器学习，尽管许多其他更复杂的分类方法的发展。在本文中，我们提出了两个稀疏的最近质心分类器，分别基于$\ell_1$和$\ell_2$距离标准。所提出的稀疏分类器执行同时的分类和特征选择，通过检测的功能，是最相关的分类目的。我们表明，训练所提出的稀疏模型，与两个距离标准，可以准确地执行（即，选择全局最优的特征集）并且以准线性的计算成本。实验结果表明，所提出的方法具有竞争力的准确性与国家的最先进的特征选择技术，同时具有显着降低的计算成本。
2019-11-25 cs.LG stat.ML
Noisy $\ell^{0}$-Sparse Subspace Clustering on Dimensionality Reduced Data
Baidu Research（百度研究院）；Arizona State University（亚利桑那州立大学）
研究表明，基于$\ell^{0}$范数的稀疏子空间聚类方法（$\ell^{0}$-SSC）~ \citep{YangFJYH16-L0SSC-ijcv}比稀疏子空间聚类方法（SSC）~ $\ell^{1}$更有效.然而，$\ell^{0}$ -SSC的理论分析仅限于完全位于子空间中的干净数据。真实数据经常受到噪声的影响，并且它们可能位于子空间附近。在本文中，我们表明，噪声$\ell^{0}$ -SSC的优化问题的最佳解决方案实现子空间检测性能（SDP），一个关键因素，从不同的子空间的数据分离，在确定性和半随机模型。我们的结果首次从理论上保证了噪声$\ell^{0}$ -SSC在噪声数据上的SDP的正确性，从而揭示了噪声$\ell^{0}$ -SSC在对子空间亲和度的限制条件少得多方面的优势.为了提高噪声$\ell^{0}$ -SSC的效率，我们提出了Noisy-DR- $\ell^{0}$ -SSC，它可证明地恢复降维数据上的子空间。Noisy-DR- $\ell^{0}$ -SSC首先通过随机投影将数据投影到低维空间，然后对投影数据执行Noisy $\ell^{0}$ -SSC以提高效率。实验结果证明了Noisy-DR- $\ell^{0}$ -SSC的有效性。
2022-06-22 cs.LG stat.ML
$\ell_0$-based Sparse Canonical Correlation Analysis
Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）模型是研究两组变量之间关联的有力工具。\textit{canonical variates}是一种典型的相关表示方法，被广泛应用于无监督学习中，用于分析未标记的多模态注册数据集。尽管CCA模型取得了成功，但如果任一模态中的变量数量超过样本数量，则CCA模型可能会破裂（或过拟合）。此外，通常很大一部分变量测量模态特异性信息，因此去除它们有利于识别\textit{canonically correlated variates}。在这里，我们提出了$\ell_0$ -CCA，学习相关表示的方法，从两个观察到的模态变量的稀疏子集的基础上。稀疏性通过将输入变量乘以随机门来获得，随机门的参数通过$\ell_0$正则化相关损失与CCA权重一起学习。我们进一步提出了$\ell_0$ -Deep CCA，通过使用深度网络对相关表示进行建模来解决非线性稀疏CCA的问题。我们使用几个合成和真实的例子证明了该方法的有效性。最值得注意的是，通过门控滋扰输入变量，我们的方法提高了提取的表示相比，其他线性，非线性和稀疏的基于CCA的模型。
2021-06-08 cs.LG stat.ML
Sparse Identification of Nonlinear Dynamical Systems via Reweighted $\ell_1$-regularized Least Squares
University of Colorado（科罗拉多大学）
提出了一种迭代稀疏正则化回归方法，用于从噪声状态测量中恢复非线性动力系统的控制方程。该方法受到{ \it}[Brunton et al.，PNAS，113（15）（2016）3932-3937]}，其依赖于两个主要假设：状态变量是已知的{ \it先验}，并且控制方程使其自身适合于状态变量的（非线性）基础中的稀疏线性展开。这项工作的目的是提高的准确性和鲁棒性的SINDy状态测量噪声的存在。为此，开发了重新加权的$\ell_1$ -正则化最小二乘求解器，其中正则化参数选自帕累托曲线的角点。使用加权$\ell_1$ -范数进行正则化-而不是标准的$\ell_1$ -范数-背后的想法是为了更好地促进控制方程恢复中的稀疏性，从而减轻状态变量中噪声的影响。我们还提出了一种方法来恢复单一的物理约束状态测量。通过几个著名的非线性动力系统的例子，我们证明经验的准确性和鲁棒性的重新加权$\ell_1$ -正则化最小二乘策略相对于状态测量噪声，从而说明其可行性的广泛的潜在应用。
2020-05-27 cs.LG stat.ML
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文的主要贡献是一种新的子空间聚类方法，该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类（SSC）中的回归技术，通过用称为有序加权$\ell_1$（OWL）最小化的泛化来替换$\ell_1$最小化，该泛化同时执行相关变量的回归和聚类。利用随机几何图理论，我们证明了OWL回归在每个子空间内选择更多的点，从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类，与SSC相比显著降低了计算复杂性。在实验中，我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
Weighted Sparse Partial Least Squares for Joint Sample and Feature Selection
Yunnan University（云南大学）；Hefei Institutes of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出 $\ell_\infty/\ell_0$-wsPLS 方法，通过范数约束实现联合样本与特征选择，并扩展至多视图数据融合，实验验证其有效性。
2023-08-13 cs.LG stat.ML
Sparse-View X-Ray CT Reconstruction Using $\ell_1$ Prior with Learned Transform
Shanghai Jiao Tong University（上海交通大学）；University of Michigan - Shanghai Jiao Tong University Joint Institute（上海交通大学密西根学院）；The University of Michigan（密歇根大学）
X射线计算机断层扫描（CT）的主要挑战是在保持高质量重建图像的同时减少辐射剂量。为了减少辐射剂量，可以减少投影视图的数量（稀疏视图CT）;然而，随着投影视图数量的减少，难以实现高质量的图像重建。研究人员已经将从（高质量）CT图像数据集学习稀疏表示的概念应用于稀疏视图CT重建。提出了一种新的基于惩罚加权最小二乘（PWLS）和$\ell_1$先验与学习稀疏化变换（PWLS-ST- $\ell_1$）相结合的统计CT重建模型，以及相应的基于交替方向乘法（ADMM）的高效算法。为了减轻ADMM参数调整的困难，我们提出了一种新的ADMM参数选择方案的基础上近似的条件数。我们解释所提出的模型，通过分析其（$\ell_2$ -范数松弛）图像更新估计的最小均方误差。我们使用扩展的心脏躯干（XCAT）体模数据和临床胸部数据的结果表明，对于稀疏视图2D扇束CT和3D轴向锥束CT，与使用边缘保留正则化器和$\ell_2$先验学习ST的CT重建方法相比，PWLS-ST- $\ell_1$提高了重建图像的质量。这些结果还表明，对于稀疏视图2D扇束CT，PWLS-ST- $\ell_1$实现了与PWLS-DL相当或更好的图像质量，并且使用学习的过完备字典需要比PWLS-DL短得多的运行时间。我们对临床胸部数据的研究结果表明，使用无监督学习先验的方法比不使用物理成像模型的最先进的深度“去噪”神经网络更好地推广。
2019-09-16 cs.LG physics.med-ph stat.ML
Sparse Kernel Canonical Correlation Analysis via $\ell_1$-regularization
典型相关分析（CCA）是一种用于寻找两组变量之间线性关系的多元统计技术。核CCA的核推广已被提出来发现数据集之间的非线性关系。尽管它们被广泛使用，但它们有一个共同的局限性，那就是它们的解决方案缺乏稀疏性。本文考虑稀疏核CCA，提出了一种新的稀疏核CCA算法（SKCCA）。我们的算法是基于核CCA和最小二乘之间的关系。通过惩罚对偶向量的$\ell_{1}$ -范数引入对偶变换的稀疏性。实验结果表明，该算法不仅在计算稀疏对偶变换方面表现良好，而且可以缓解核CCA的过拟合问题。
2017-01-16 stat.ML
On $\ell_1$-regularized estimation for nonlinear models that have sparse underlying linear structures
在最近的工作（arXiv：0910.2517）中，我们研究了具有稀疏线性结构的非线性模型的$\ell_0$ -正则化估计的误差界.在这份说明中，我们表明，$\ell_1$ -正则化估计在某些重要的情况下，可以达到相同的顺序的误差界，在上述工作。
2009-11-25 math.PR math.ST stat.ML
$\ell_0$-Motivated Low-Rank Sparse Subspace Clustering
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
在许多应用中，高维数据点可以很好地表示为低维子空间。为了识别子空间，重要的是捕获数据的全局和局部结构，这是通过对数据表示矩阵施加低秩和稀疏约束来实现的。在低秩稀疏子空间聚类（LRSSC）中，核范数和$\ell_1$范数用于度量秩和稀疏性。然而，核规范和$\ell_1$规范的使用导致过度惩罚问题，并且仅近似于原始问题。在本文中，我们提出了两个$\ell_0$准范数的正则化。首先，本文提出了基于多元推广极大极小凹罚的正则化方法（GMC-LRSSC），它包含了$\ell_0$拟范数正则化目标的全局极小解。之后，我们引入Schatten-0（$S_0$）和$\ell_0$正则化目标，并使用邻近平均方法（$S_0/\ell_0$ -LRSSC）近似联合解的邻近映射。由此产生的非凸优化问题求解交替方向方法的乘数与建立的收敛条件的两种算法。合成和四个真实世界的数据集上获得的结果显示GMC-LRSSC和$S_0/\ell_0$ -LRSSC的有效性相比，国家的最先进的方法。
2018-12-17 cs.CV cs.LG math.OC
Understanding Sparse JL for Feature Hashing
Harvard University（哈佛大学）
特征散列和其他随机投影方案通常用于降低特征向量的维数。我们的目标是有效地将生活在$\mathbb{R}^n$中的高维特征向量投影到低得多的维度空间$\mathbb{R}^m$中，同时近似地保持欧几里德范数。这些方案可以使用稀疏随机投影来构建，例如使用稀疏Johnson-Lindenstrauss（JL）变换。由Weinberger et. al（ICML '09）分析了稀疏度为1的稀疏JL在具有小的$\ell_\infty$与$\ell_2$范数比的特征向量上的准确性。最近，Freksen，Kamma和Larsen（NeurIPS '18）通过证明具有稀疏性$1$的稀疏JL的$\ell_\infty$与$\ell_2$范数比和准确性之间的紧密权衡来结束这一工作。在本文中，我们证明了在特征向量上的稀疏JL中使用稀疏$s$大于$1$的好处。我们的主要结果是$\ell_\infty$到$\ell_2$的范数比和一般稀疏$s$的准确性之间的紧密权衡，显着推广的结果Freksen等。我们的结果从理论上证明，稀疏的JL与$s > 1$可以有显着更好的范数保存属性的特征向量比稀疏的JL与$s = 1$，我们也实证证明了这一发现。
2020-03-26 cs.DS cs.LG math.PR
Sparse Deep Learning Models with the $\ell_1$ Regularization
Syracuse University（雪城大学）；Jilin University（吉林大学）；Old Dominion University（奥多明尼昂大学）
本文研究 ℓ1 正则化参数对神经网络稀疏度的影响，推导单参数与多参数稀疏模型，并提出迭代选参算法以获得满足预定稀疏度且逼近精度良好的网络。
2024-08-05 cs.LG math.OC stat.ML
Optimizing Sparse Generalized Singular Vectors for Feature Selection in Proximal Support Vector Machines with Application to Breast and Ovarian Cancer Detection
Tufts University（塔夫茨大学）；Colorado State University（科罗拉多州立大学）
本研究提出基于ℓ₁范数和ℓ_q惩罚的稀疏GSVP求解方法，结合近端梯度下降与SVM构建特征选择分类框架，在乳腺癌和卵巢癌检测中用少量特征实现接近完美的平衡准确率。
2024-10-04 cs.LG cs.NA math.NA
Online Decomposition of Compressive Streaming Data Using $n$-$\ell_1$ Cluster-Weighted Minimization
我们考虑的压缩流数据的分解方法的背景下，在线压缩鲁棒主成分分析（RPCA）。所提出的分解解决了$n$ - $\ell_1$聚类加权最小化，以将来自压缩测量的帧（或向量）序列分解成稀疏和低秩分量。我们的方法从少量的测量中处理每个时间实例的流的数据向量，而传统的批量RPCA需要访问完整的数据。$n$ - $\ell_1$聚类加权最小化利用稀疏分量及其与多个先前恢复的稀疏向量的相关性。此外，所提出的最小化可以利用稀疏组件的结构，通过聚类和重新加权迭代。该方法优于现有的方法，数值数据和实际的视频数据。
2018-02-08 cs.IT math.IT stat.ML
$\ell_1$-norm constrained multi-block sparse canonical correlation analysis via proximal gradient descent
多块CCA构建线性关系，解释跨多个数据块的相干变化。我们认为，多块CCA的问题，寻找领先的广义特征向量，并提出解决它通过一个近似梯度下降算法与$\ell_1$约束的高维数据。特别是，我们使用衰减序列的约束在最近的迭代，并表明，由此产生的估计是速率最优的适当的假设下。虽然以前的几个作品已经证明了这种最优的$\ell_0$约束问题使用迭代方法，同样的水平的理论理解的$\ell_1$约束制定仍然缺乏。我们还描述了一个易于实现的放气过程来估计多个特征向量顺序。我们比较我们的建议，现有的几种方法，其实现可在R CRAN，所提出的方法在模拟和真实数据的例子中表现出竞争力的性能。
2022-01-14 math.ST stat.ME stat.ML
Accuracy guaranties for $\ell_1$ recovery of block-sparse signals
我们引入了一个通用框架来处理结构化模型（稀疏模型和可能存在重叠块的块稀疏模型）。我们讨论了新的方法，从不完整的观察，破坏了确定性和随机噪声，使用块$\ell_1$正则化。虽然目前的理论提供了一些不同的，但大多难以验证的条件下的恢复错误的有前途的界限，我们的重点是可验证的条件上的问题参数（感测矩阵和块结构），保证准确的恢复。验证我们的条件，不仅导致有效地可计算的恢复误差的界限，但也使我们能够优化这些误差界的方法参数，从而构建估计与改进的统计特性。为了证明我们的方法，我们还提供了一个预言不等式，该不等式将所提出的恢复算法的属性和最佳估计性能联系起来。此外，利用这些可验证的条件，我们开发了一个计算成本低的替代块- $\ell_1$最小化，非欧几里德块匹配追踪算法。最后，我们提出了一个数值研究，调查不同的块正则化的效果，并证明了所提出的恢复的性能。
2013-02-27 math.OC math.ST stat.ML
