Blind Analysis of EGM Signals: Sparsity-Aware Formulation
本技术说明考虑了心房颤动(AF)条件下电描记图(EGM)信号的盲稀疏学习和推断问题。首先,我们介绍了一个数学模型的观察到的信号,考虑到多个焦点通常出现在心脏AF。然后,我们提出了一个重建模型的基础上,一个固定的字典,并讨论了几种选择字典。为了获得考虑到问题的生物学限制的稀疏解,第一替代方案是使用LASSO正则化,随后是去除违反心脏细胞的不应期特性的低幅度系数的后处理阶段。作为替代方案,我们提出了一种新的正则化项,称为交叉产品LASSO(CP-LASSO),这是能够将生物约束直接到优化问题。不幸的是,由此产生的问题是非凸的,但我们展示了如何有效地解决它可以近似的方式利用连续凸逼近(SCA)。最后,对从稀疏学习阶段获得的干净激活序列进行频谱分析,以估计潜在病灶的数量及其频率。模拟合成和真实数据提供了验证所提出的方法。
2012-12-31 stat.ML
Group Lasso estimation of high-dimensional covariance matrices
本文考虑加性噪声污染下随机过程协方差阵的Group Lasso估计。我们建议估计的协方差阵在高维设置的假设下,该过程具有稀疏表示在一个大的字典的基函数。使用矩阵回归模型,我们提出了一种新的方法,用于高维协方差阵估计的经验对比正则化的组Lasso惩罚。使用这样的惩罚,该方法在用于近似处理的字典中选择稀疏的基函数集合,导致协方差阵近似到低维空间中。估计的一致性研究在Frobenius和运营商的规范和稀疏PCA的应用程序提出。
2011-10-24 math.ST stat.TH
Non-asymptotic Oracle Inequalities for the Lasso and Group Lasso in high dimensional logistic model
研究了逻辑斯谛回归模型中函数$f\_{0}$的估计问题。我们建议估计这个函数$f\_{0}$的稀疏近似建立作为一个给定的字典的$p$功能的元素的线性组合。该稀疏近似由Lasso或Group Lasso过程选择。在此背景下,我们在\cite{BRT}中引入的限制特征值假设下,给出了Lasso和群Lasso的非渐近预言不等式。
2015-05-20 math.ST stat.AP stat.TH
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features
Stanford University(斯坦福大学)
本文证明在1-D数据上训练深度神经网络等价于求解具有离散字典矩阵的凸Lasso问题,发现深层网络会产生训练数据的反射特征,为全局最优网络的解景观和闭式解提供了理论见解。
2024-07-24 cs.AI cs.LG cs.NE
Fused Lasso Additive Model
我们考虑的问题,预测结果变量使用$p$协变量,测量$n$独立的观察,在设置中,灵活和可解释的适合是可取的。我们提出了融合套索加性模型(FLAM),其中每个加性函数估计为分段常数,具有少量自适应选择的节点。FLAM是一个凸优化问题的解决方案,其中提供了一个简单的算法,保证收敛到全局最优。FLAM被证明是一致的,在高维,并提出了一个无偏估计量的自由度。我们评估的性能FLAM在模拟研究和两个数据集。
2014-09-18 stat.ME stat.ML
Consistent selection via the Lasso for high dimensional approximating regression models
在这篇文章中,我们通过流行的Lasso方法研究回归模型中选择的一致性。在这里,我们离开传统的线性回归假设,并考虑近似的回归函数$f$与给定的字典的$M$功能的元素。一致性的目标是来自该字典的那些函数的索引集,这些函数在属于以$f$为中心且半径为$r_{n,M}^2$的$L_2$球的所有线性组合中实现对$f$的最简约近似。在这个框架中,我们表明,这个指标集的一致估计可以通过$\ell_1$惩罚最小二乘法,与数据相关的罚款和调整序列$r_{n,M}>\sqrt{\log(Mn)/n}$,其中$n$是样本量。我们的结果适用于任何$1\leq M\leq n^γ$,任何$γ>0$。
2008-05-21 math.ST stat.ME stat.TH
Safe Feature Pruning for Sparse High-Order Interaction Models
考虑协变量之间的高阶交互作用在许多实际回归问题中是有价值的。然而,这是一项计算上具有挑战性的任务,因为要考虑的高阶相互作用特征的数量将非常大,除非协变量的数量足够小。在本文中,我们提出了一种新的高效算法LASSO为基础的稀疏学习的高阶相互作用模型。我们的基本策略,减少功能的数量是采用最近提出的安全功能筛选(SFS)规则的想法。SFS规则有一个属性,如果一个特征满足该规则,那么该特征在LASSO解决方案中保证是非活动的,这意味着它可以在LASSO训练过程之前被安全地筛选出来。如果在训练LASSO之前可以筛选出大量的特征,则可以显着降低计算成本和内存需求。然而,将这样的SFS规则应用于极其大量的高阶相互作用特征中的每一个在计算上是不可行的。我们解决这个计算问题的关键思想是利用底层的树结构之间的高阶相互作用的功能。具体来说,我们引入了一个修剪条件,称为安全功能修剪(SFP)规则,它具有的属性,如果该规则是满足在树的某个节点,那么所有的高阶交互功能对应于它的后代节点可以保证是非活动的最优解。我们的算法是非常有效的,使其有可能工作,例如,具有10,000个原始协变量的三阶交互作用,其中可能的高阶交互作用特征的数量大于10^{12}。
2015-06-26 stat.ML
Adaptive Lasso and group-Lasso for functional Poisson regression
高维Poisson回归已成为分析海量数据集的标准框架。在这项工作中,我们估计强度函数的泊松回归模型,通过使用字典的方法,它概括了经典的基础方法,结合一个Lasso或一组Lasso程序。选择取决于需要校准的惩罚权重。由于异方差性,在高斯框架下开发的标准方法不能直接应用于泊松模型。在这里,我们提供了数据驱动的Lasso和组Lasso来自适应泊松情况下的集中不等式的权重。我们表明,相关的Lasso和组Lasso程序理论上是最优的Oracle方法。模拟用于评估我们的程序的经验性能,并提供了新一代测序数据分析的原始应用程序。
2014-12-26 math.ST stat.ME stat.TH
Solution of linear ill-posed problems using overcomplete dictionaries
本文考虑过完备字典在求解一般不适定线性反问题中的应用。对于这样的问题,自适应最优解的构造通常依赖于奇异值分解或通过正交基表示的解决方案。这两种方法的缺点在于,在许多情况下,线性算子的本征基和标准正交基都不能构成用于稀疏表示未知函数的适当函数集合。在回归问题的上下文中,已经有大量的努力使用过完备字典来恢复未知函数。最流行的方法之一,Lasso,是基于最小化的经验可能性,并需要严格的假设字典,所谓的,兼容性条件。虽然这些条件可以满足原始字典函数,但由于线性算子施加的收缩,它们通常不适用于它们的图像。在下文中,我们通过一种新的方法绕过了这个困难,该方法基于反转每个字典函数并将得到的扩展与真实函数相匹配,从而避免了对字典的不切实际的假设,并在预测设置中使用Lasso。我们研究了白噪声和观测模型的公式,并讨论了如何准确的字典函数的逆图像可以被替换为近似的对应。此外,我们展示了如何建议的方法可以扩展到一个连续的混合物中的混合密度估计的问题。对于上述所有情形,我们给出了有限样本下风险的预言不等式。仿真研究证实了良好的计算性能的拉索为基础的技术。
2015-04-02 math.ST stat.ME stat.TH
LASSO, Iterative Feature Selection and the Correlation Selector: Oracle Inequalities and Numerical Performances
本文提出了一类二次损失回归估计的一般算法。我们的算法能够选择相关的功能到一个大的字典。我们证明了很多已经研究过的算法(LASSO和组LASSO,Dantzig选择器,迭代特征选择等)属于我们的家族,并展示了这个家族的另一个特殊成员,我们称之为相关性。使用我们的家庭的算法的一般属性,我们证明了预言不等式IFS,LASSO和相关性,并比较这些估计的数值性能的玩具的例子。
2008-11-25 math.ST stat.TH
The Symmetry of a Simple Optimization Problem in Lasso Screening
Princeton University(普林斯顿大学)
最近字典筛选已被提出作为一种有效的方法来提高求解套索问题的计算效率,这是最常用的方法之一,学习稀疏表示。为了解决当今不断增加的大型数据集,有效的筛选依赖于双套索解上的紧密区域。典型的区域边界的形式是一个球体和多个半空间的交集。收紧区域边界的一种方法是使用更多的半空间,然而,这增加了在套索筛选中求解高维优化问题的开销。本文揭示了一个有趣的性质,即优化问题只依赖于特征在半空间的法线所张成的子空间上的投影。该性质将高维优化问题转化为低维优化问题,从而降低了基于更紧区域边界的套索筛选的计算开销。
2016-08-25 cs.AI cs.CV cs.LG
Estimation of delta-contaminated density of the random intensity of Poisson data
本文构造了泊松分布的强度$λ$的δ污染混合密度函数$g(λ)$的一个估计.该估计是基于扩展的连续部分$g_0(λ)$的未知PDF在一个过完备的字典与恢复的系数作为解决方案的Lasso惩罚的优化问题。为了应用Lasso技术,所谓的,预测设置,它几乎不需要假设字典,而且,为了确保快速收敛的Lasso估计,我们使用一种新的配方的优化问题的基础上反演的字典元素。使用两阶段迭代程序得到的总估计量的delta污染的混合pdf。我们制定条件的字典和未知的混合密度,产生一个尖锐的预言不等式之间的差异$g_0 (λ)$和它的估计的范数,从而获得一个较小的误差比在极大极小设置。数值模拟和与最近由Comte和Genon-Catalot(2015)构建的基于Laguerre函数的估计器的比较也显示了我们的方法的优势。最后,我们应用本文中开发的技术估计的一个三角洲污染的混合密度的泊松强度的土星环数据。
2015-09-01 stat.ME
Lasso and probabilistic inequalities for multivariate point processes
由于其低计算成本,Lasso是一种有吸引力的高维统计设置的正则化方法。本文考虑了依赖于未知函数参数的多元计数过程,该参数由固定字典的线性组合估计。为了选择系数,我们提出了一个自适应的$\ell_1$惩罚方法,其中数据驱动的权重的惩罚来自新的伯恩斯坦型不等式的鞅。在字典的Gram矩阵的假设下,建立了Oracle不等式.证明了多变量Hawkes过程的非渐近概率结果,这使我们能够通过考虑基于直方图,傅立叶或小波基的一般字典来检查这些假设。受神经元活动推断问题的启发,我们最后对多变量Hawkes过程进行了模拟研究,并将我们的方法与邹在(J. Amer. Statistist. 101(2006)1418-1429)。我们观察到我们的程序表现出色。我们依赖于理论方面的调整我们的方法的基本问题。不像自适应套索(J. Amer.统计。Assoc.101(2006)1418-1429),我们的调整过程被证明是相对于问题的所有参数是鲁棒的,揭示了其用于具体目的的潜力,特别是在神经科学中。
2015-04-07 math.ST stat.TH
Complexity Analysis of the Lasso Regularization Path
University of California, Berkeley(加州大学伯克利分校)
Lasso的正则化路径可以被证明是分段线性的,使得可以“跟随”并显式地计算整个路径。本文分析了这种流行的策略,并证明了其最坏情况下的复杂性是指数变量的数量。然后,我们反对这个悲观的结果(乐观)近似分析:我们表明,近似路径最多O(1/sqrt(λ))线性段总是可以得到的,其中路径上的每个点都保证是最优的相对ε-对偶差距。我们完成了我们的理论分析与实际算法来计算这些近似路径。
2012-05-19 cs.LG math.OC stat.ML
Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding problem
Univ Lyon, INSA-Lyon, UCBL, UJM-Saint Etienne, CNRS, Inserm, CREATIS UMR 5220, U1206(里昂大学、里昂国立应用科学学院、里昂第一大学、圣埃蒂安让·莫内大学、法国国家科学研究中心、法国国家健康与医学研究院、CREATIS医学影像研究中心)
约束张量和矩阵分解模型允许从多路数据中提取可解释的模式。因此,约束低秩近似的可辨识性及其有效算法是当前重要的研究课题。本文研究了一个低秩近似的因子矩阵列在一个已知且可能过完备的基上是稀疏的,这个模型被称为基于字典的低秩近似(DLRA).虽然早期的贡献集中在寻找候选列字典中的因子列,即一稀疏近似,但这项工作是第一个解决稀疏度大于一的DLRA。我建议把重点放在稀疏编码子问题创造混合稀疏编码(MSC),解决DLRA时出现的交替优化策略。提出了几种基于稀疏编码算法(贪婪法、凸松弛法)的MSC求解算法。模拟数据的性能进行评估,这些prosticistics。然后,我展示了如何适应一个高效的MSC求解器的基础上LASSO计算字典为基础的矩阵分解和规范的多元分解的背景下,高光谱图像处理和化学计量学。这些实验表明,DLRA扩展了低秩近似的建模能力,有助于减少估计方差,提高估计因子的可识别性和可解释性。
2022-01-21 cs.LG stat.ML
Within Group Variable Selection through the Exclusive Lasso
许多数据集由具有固有组结构的变量组成。组选择问题已经得到了很好的研究,但在本文中,我们试图做相反的事情:我们的目标是在预测回归建模的背景下从每组中选择至少一个变量。这个问题是NP-困难的,但我们研究最严格的凸松弛:一个复合惩罚,是一个组合的$\ell_1$和$\ell_2$规范。我们所谓的Exclusive Lasso方法通过确保从每个组中选择至少一个变量来执行结构化变量选择。我们研究了我们的方法的统计特性,并开发了计算可扩展的算法,以适应独家套索。我们研究了我们的方法的有效性,通过模拟以及使用NMR光谱数据。在这里,我们使用Exclusive Lasso从生物样品中每个分子的可能化学位移字典中选择适当的化学位移。
2015-05-28 stat.ME
Sparse Matrix Inversion with Scaled Lasso
我们提出了一种新的学习稀疏非负定目标矩阵的方法。我们的目标矩阵的主要示例是总体协方差或相关阵的逆。该算法首先通过缩放Lasso估计目标矩阵的每一列,然后调整矩阵估计器使其对称。每个列的缩放Lasso的惩罚水平完全由通过凸最小化的数据确定,而不使用交叉验证。我们证明了这种缩放的Lasso方法保证了最快的证明速度的谱范数的条件下,较弱的形式比那些在现有的分析其他$\ell_1$正则化算法的收敛速度,并具有更快的收敛速率的保证时,目标逆矩阵的$\ell_1$和谱范数的比率发散到无穷大。仿真研究表明,所提出的方法的计算可行性和优越的性能。我们的分析还为Lasso和缩放Lasso提供了新的性能界限,以保证在比以前的分析更小的阈值水平下更高的误差集中度,并允许在缩放Lasso的逐列应用中使用联合界限,而无需调整惩罚水平。此外,缩放Lasso选择后的最小二乘估计被认为是和证明,以保证性能界类似的缩放Lasso。
2013-10-14 math.ST stat.ML stat.TH
Oracle inequalities for the Lasso in the high-dimensional Aalen multiplicative intensity model
在一般的计数过程设置中,我们考虑的问题,获得一个预测的生存时间调整协变量在高维。为此,我们构造了整个条件强度的估计。我们估计它的最佳Cox比例风险模型给出两个字典的功能。第一个字典用于构建基线风险函数的对数的近似值,第二个字典用于近似相对风险。我们引入了一个新的数据驱动的加权Lasso过程来估计最佳Cox模型的未知参数近似强度。我们提供了一个适当的经验Kullback分歧的非渐近预言不等式我们的程序。我们的结果依赖于经验伯恩斯坦不等式的跳跃和修改的自协调函数的性质的鞅。
2013-10-14 math.ST stat.TH
Safe Screening With Variational Inequalities and Its Application to LASSO
SAS Institute Inc.(赛仕软件研究所有限公司);Arizona State University(亚利桑那州立大学)
稀疏学习技术已经被常规地用于特征选择,因为所得到的模型通常具有少量的非零条目。安全筛选是一种提高计算效率的技术,它消除了对于正则化参数的某个值保证具有零系数的特征。安全筛选越来越受到关注,因为1)求解稀疏学习公式通常具有很高的计算成本,特别是当特征数量很大时,以及2)需要尝试几个正则化参数来选择合适的模型。在本文中,我们提出了一种方法称为“Sasvi”(安全筛选变分不等式)。Sasvi利用变分不等式为对偶问题提供了充分必要的最优性条件。Lasso筛选的几种现有方法可以被视为所提出的Sasvi的放松版本,因此Sasvi提供了更强的安全筛选规则。我们进一步研究了Sasvi for Lasso的单调性,基于此,可以为每个特征确定一个确定的移除正则化参数。合成和真实数据集上的实验结果表明,建议的Sasvi Lasso筛选的有效性。
2014-05-12 cs.LG stat.ML
Sparse Coding and Dictionary Learning for Symmetric Positive Definite Matrices: A Kernel Approach
NICTA(澳大利亚国家信息与通信技术研究院);University of Queensland(昆士兰大学);Australian National University(澳大利亚国立大学)
最近的进展表明,广泛的计算机视觉问题可以更适当地解决考虑非欧几里德几何。本文研究了对称正定矩阵空间中的稀疏编码和字典学习问题,这些对称正定矩阵构成了一个黎曼流形。借助最近引入的Stein内核(与Bregman矩阵发散的对称版本有关),我们建议通过将黎曼流形嵌入到再生核Hilbert空间中来进行稀疏编码。这导致了Lasso问题的凸和核版本,可以有效地解决。此外,我们提出了一个算法学习黎曼字典(用于稀疏编码),紧密联系的斯坦内核。几个分类任务(人脸识别,纹理分类,人的重新识别)的实验表明,所提出的稀疏编码方法实现了显着的改善,在歧视的准确性,在比较国家的最先进的方法,如张量稀疏编码,黎曼局部保持投影,和局部特征的累积驱动。
2013-04-16 cs.CV cs.LG stat.ML
Hyper-sparse optimal aggregation
在本文中,我们考虑的问题“超稀疏聚集”。也就是说,给定函数的字典$F = \{f_1, ..., f_M \}$,我们寻找最佳聚合算法,该算法用尽可能多的零系数$θ_j$写入$\tilde f = \sum_{j=1}^M θ_j f_j$。当$F$包含许多不应该出现在$\tilde{f}$中的不相关函数时,这个问题特别重要。我们提供了一个精确的预言不等式$\tilde f$,只有两个系数是非零的,这使得$\tilde f$是一个最佳的聚合算法。由于选择器是次优聚合过程,这证明了2是在每种情况下构造最优聚合过程所需的$F$的最小元素数。针对LASSO正则化参数的选取问题,在LARS字典上给出了该算法的仿真实例。我们还给出了一个例子,使用聚合实现极大极小适应各向异性Besov空间,这是以前不知道的极大极小理论(在回归随机设计)。
2009-12-08 stat.ML
Improved Support Recovery Guarantees for the Group Lasso With Applications to Structural Health Monitoring
本文考虑了从带噪线性测量中估计未知高维信号的问题,{当}假设信号在{已知的,}固定字典中具有\emph{group-sparse}结构。我们考虑根据自然概率模型生成的信号,并建立新的条件下,一组指数的非零组的信号(称为组级支持)可以准确地估计通过组拉索。我们的研究结果加强了现有的基于一致性的分析,表现出众所周知的“平方根”瓶颈,允许可恢复的非零组的数量几乎是一样大的组的总数。我们还建立了一个充分的恢复条件有关的非零组的数量和信噪比(量化的非零组的平方欧几里德范数和随机加性{测量}噪声的方差的比率),并验证这一趋势的经验。最后,我们研究的影响,我们的研究结果的背景下,结构健康监测的应用程序,其中组拉索的方法有利于分层的传播声波场,通过扫描激光多普勒测振仪在材料表面上获得,成对立的组件,其中之一表示内部材料缺陷的位置。
2018-05-19 cs.IT math.IT stat.ML
Semi-Analytic Resampling in Lasso
本文提出了一种在Lasso中进行再抽样的近似方法,即$\ell_1$惩罚线性回归,它以半解析的方式直接计算再抽样数据集的平均值,而不需要重复的数值抽样,从而使推理不受抽样有限性引起的统计波动的影响,并大大减少了计算时间。所提出的方法是基于一个消息传递型算法,其快速收敛性是由状态演化分析,当协变量提供为零均值独立同分布的高斯随机变量。它被用来实现自举Lasso(Bolasso)和稳定性选择,这两个都是变量选择方法,使用rescue结合Lasso,并解决了他们的缺点,关于计算成本。为了检验近似精度和效率,使用模拟数据集进行了数值实验。此外,一个应用程序的真实世界的数据集,葡萄酒质量数据集,提出。为了处理这样的真实世界的数据集,一个客观的标准,用于确定所选择的变量的相关性,还引入了噪声变量和rescant。
2018-12-10 cond-mat.dis-nn stat.ME stat.ML
Localized Lasso for High-Dimensional Regression
Kyoto University(京都大学);NTT Communication Science Laboratories(NTT通信科学实验室);University College London(伦敦大学学院);Aalto University(阿尔托大学)
我们引入了本地化的Lasso,它适用于学习模型,这些模型在高维$d$和小样本量$n$的问题中既可解释又具有高预测能力。更具体地说,我们考虑由局部稀疏模型定义的函数,每个数据点一个。我们引入了样本网络正则化来借用模型之间的强度,以及样本排他性组稀疏性(也称为,$\ell_{1,2}$范数)以将多样性引入局部模型中的特征集的选择中。局部模型的稀疏模式的相似性方面的解释。成本函数是凸的,因此具有全局最优解。此外,我们提出了一个简单而有效的基于迭代最小二乘的局部Lasso优化过程,它不需要一个调整参数,并保证收敛到全局最优解。经验表明,该解决方案优于模拟和基因组个性化医学数据的替代方案。
2016-10-14 cs.LG stat.ME stat.ML
When Does More Regularization Imply Fewer Degrees of Freedom? Sufficient Conditions and Counter Examples from Lasso and Ridge Regression
正则化旨在通过移动到第二种方法来改善给定统计建模方法的预测性能,第二种方法实现更差的训练误差,但预计具有更少的自由度,即,训练和预测误差之间的更好的一致性。然而,我们在这里表明,这种预期的行为一般不成立。事实上,给出了反例,表明正则化可以在简单情况下增加自由度,包括套索和岭回归,这是最常用的正则化方法。在这种情况下,正则化增加了训练误差和自由度,因此本质上没有优点。另一方面,描述了两个重要的正则化场景,其中确实保证了自由度的预期减少:(a)所有对称线性平滑器,以及(b)线性回归与凸约束线性回归(如岭回归和套索的约束变体)。
2013-11-12 math.ST stat.ML stat.TH
Simultaneous off-the-grid learning of mixtures issued from a continuous dictionary
CREST(CREST(统计与经济研究中心));ENSAE(法国国家统计与经济管理学院);IP Paris(巴黎理工学院);CERMICS(CERMICS(数学与科学计算研究中心));École des Ponts(法国国立路桥学校);EDF R&D(法国电力公司研发部)
本文提出Group-Nonlinear-Lasso方法,通过正则化优化同时估计连续字典混合信号中的线性系数与非线性参数,并利用证书函数和黎曼几何条件给出了高概率预测误差界,在p=2时达到Group-Lasso的速率。
2024-02-23 cs.LG math.PR math.ST
Estimating Sparse Signals Using Integrated Wideband Dictionaries
在本文中,我们介绍了一个宽带字典框架估计稀疏信号。通过制定跨越所考虑的参数空间的频带的集成字典元素,可以有效地找到并丢弃在信号中不活跃的参数空间的大部分。在每次迭代之后,字典的零值部分可以被丢弃以允许围绕活动元素形成细化的字典,从而导致在随后的迭代中使用缩放的字典。与直接形成跨越整个参数空间的较大字典或使用标准字典元素执行缩放过程相比,实现该方案允许以低得多的计算成本进行更准确的估计。与传统字典不同,宽带字典允许使用具有比可用样本的数量更少的元素的字典,而不损失分辨率。该技术可用于一维和多维信号,并可用于完善几个传统的稀疏估计,在这里示出的LASSO和SPICE估计。数值例子说明了改进的性能。
2017-10-15 cs.IT math.IT stat.ME
High-dimensional Fused Lasso Regression using Majorization-Minimization and Parallel Processing
在本文中,我们提出了一个优化最小化(MM)算法的高维融合套索回归(FLR)适合并行使用图形处理单元(GPU)。MM算法具有稳定性和灵活性,可以在几十次迭代内解决各种设计矩阵和惩罚结构的FLR问题。我们还表明,该算法的收敛性是有保证的。我们进行数值研究,我们的算法与其他现有的算法进行比较,表明所提出的MM算法是在许多设置,包括二维FLR与任意设计矩阵的竞争力。同时也展示了GPU并行化的优点。
2013-12-14 stat.ME
Sparse Group Fused Lasso for Model Segmentation
本文介绍了稀疏组融合套索(SGFL)作为一个统计框架分割稀疏回归模型与多元时间序列。为了计算SGFL,一个非光滑和不可分离的凸规划的解决方案,我们开发了一种混合优化方法,该方法是快速的,不需要调整参数的选择,并保证收敛到全局最小值。在数值实验中,混合方法相比,有利的国家的最先进的技术方面的计算时间和数值精度,好处是特别大的高维。该方法在恢复非零回归系数方面具有令人满意的统计性能,在变点检测方面也具有优异的性能。空气质量数据的应用。混合方法在作者的Github页面上的R包sparseGFL中实现。
2020-10-08 math.OC stat.CO stat.ME
Convex Modeling of Interactions with Strong Heredity
我们考虑拟合一个回归模型的任务,该模型涉及一组潜在的大量协变量之间的相互作用,其中我们希望强制执行强遗传性。我们提出了FAMILY,这是一个非常通用的框架。我们的建议是几种现有方法的推广,例如VANISH [Radchenko和James,2010],hierNet [Bien等人,2013年],所有对套索,套索只使用主效果。它可以配制成一个凸优化问题的解决方案,我们使用一个有效的交替方向方法的乘法器(ADMM)算法解决。该算法保证收敛到全局最优,可以很容易地专门为任何凸罚函数的利益,并允许一个简单的扩展到设置的广义线性模型。我们推导出一个无偏估计量的自由度的家庭,并探讨其性能在模拟研究和HIV序列数据集。
2015-10-04 stat.ML
Debiasing the Debiased Lasso with Bootstrap
研究了高维线性模型中回归系数的单坐标统计推断问题。近年来,去偏估计被广泛地用于构造高维模型的置信区间和假设检验。然而,一些有代表性的数值实验表明,他们往往是偏大系数,特别是当大系数的数量占主导地位的小系数的数量。本文提出了一种改进的基于自助法的去偏Lasso估计。让我们将所提出的估计量简称为BS-DB。我们证明了,在不可表示的条件和其他温和的技术条件下,在存在大比例强信号的情况下,BS-DB比去偏Lasso具有更小的偏置阶数。如果不可表示条件不成立,则保证BS-DB的性能不会比去偏Lasso渐近地更差。提出了基于BS-DB的置信区间,并在较弱的条件下证明了其渐近有效性。我们对推理问题的研究新颖地结合了Lasso关于变量选择和估计的性质。通过广泛的数值研究证明了BS-DB在去偏Lasso上的优越性能。
2020-10-17 math.ST stat.TH
Extending Occam's inversion with lasso fusion, overcomplete dictionaries, and isotropic total variation regularisation
Geoscience Australia(澳大利亚地球科学局)
本文将Occam反演与lasso融合、过完备字典及各向同性总变分正则化结合,揭示三种l1正则化求解器的数学原理,为地球物理反演推荐了高效求解方法,以鼓励该领域采用l1正则化反演。
2026-08-17 physics.geo-ph stat.ML
Segmentation of multiple series using a Lasso strategy
我们提出了一种新的半参数方法的联合分割的多个系列损坏的功能部分。这个问题尤其出现在大地测量中,其中GPS永久站坐标系列受到未记录的人为突变的影响,并且还显示出显著的周期性变化。探测和估算这些序列至关重要,因为这些序列被用来确定地球科学中的平均参考坐标,并推断气候变化引起的小规模构造运动。我们提出了一个基于动态规划的迭代过程的分割部分和Lasso估计的功能部分。我们的Lasso程序,基于字典的方法,使我们能够估计光滑的函数和函数与当地的不规则性,这允许更多的灵活性比以前提出的方法。这产生了对偏差部分的更好估计和分割的改进。我们的方法的性能进行评估,使用模拟和真实数据。特别是,我们应用我们的方法,从四个GPS站在Yarragadee,澳大利亚的数据。我们的估计过程的结果是一个可靠的工具,以评估系列的变化检测和周期性变化的估计给出了一个可解释的估计模型的功能部分的已知功能。
2014-06-25 stat.ME
CAD: Debiasing the Lasso with inaccurate covariate model
考虑高维线性回归中低维参数的估计问题。构造感兴趣的参数的近似无偏估计是执行统计推断的关键步骤。几位作者建议将感兴趣的变量和结果相对于讨厌的变量进行正交化,然后将剩余结果相对于剩余变量进行回归。如果回归量的协方差结构是完全已知的,或者是充分结构化的,可以从数据中准确估计,这是可能的(例如,精度矩阵足够稀疏)。在这里,我们考虑一种制度,其中协变量模型只能估计不准确,因此现有的去偏方法不能保证工作。当估计协变量模型的误差与估计线性模型参数的误差相关时,会发生偏倚的不完全消除。我们提出了相关调整的去偏套索(CAD),它几乎消除了这种偏见在某些情况下,包括估计误差既不能忽略也不能正交的情况下。我们考虑一种设置,其中一些未标记的样本可能与标记的样本一起提供给统计学家(半监督学习),并且我们的保证在联合高斯协变量的假设下成立。新的去偏估计器保证在两种情况下消除偏差:(1)当样本(标记和未标记)的总样本个数大于参数个数时,或(2)当干扰的协方差(但不是干扰对感兴趣变量的影响)已知时。这两种情况都不是用最先进的方法治疗的。
2021-07-29 math.ST stat.ME stat.TH
Network Lasso: Clustering and Optimization in Large Graphs
凸优化是现代数据分析的重要工具,因为它提供了一个框架来制定和解决机器学习和数据采掘中的许多问题。然而,一般的凸优化求解器不能很好地扩展,并且可扩展的求解器通常专门用于仅处理一类狭窄的问题。因此,需要简单的、可扩展的算法来解决许多常见的优化问题。在本文中,我们介绍了\emph{network lasso},一个泛化的组套索网络设置,允许同时聚类和优化图。我们开发了一个算法的基础上交替方向的乘法器(ADMM)来解决这个问题,在一个分布式和可扩展的方式,它允许保证全局收敛,即使在大型图形。我们还研究了这种方法的非凸扩展。然后,我们证明了许多类型的问题可以在我们的框架中表达。我们特别关注三个方面-二元分类,预测房价和时间序列数据中的事件检测-将网络套索与基线方法进行比较,并表明它是解决大型优化问题的快速准确方法。
2015-07-01 cs.SI math.OC stat.AP
Ultra High-Dimensional Nonlinear Feature Selection for Big Biological Data
机器学习方法用于发现生物和医学数据中复杂的非线性关系。然而,复杂的学习模型对于具有数百万特征的数据在计算上是不可行的。在这里,我们介绍了第一种用于非线性学习问题的特征选择方法,该方法可以扩展到大型超高维生物数据。更具体地说,我们扩大了新颖的希尔伯特-施密特独立准则套索(HSIC套索),以处理数以百万计的功能与数万个样本。所提出的方法是保证找到一个最大的预测功能的最佳子集具有最小的冗余,产生更高的预测能力和改善的解释性。它的有效性是通过应用程序来分类表型的基础上模块表达在人类前列腺癌患者和蛋白质结构中检测酶。我们实现了高精度,只需百万分之二十的特征-降维99.998%。我们的算法可以在商品云计算平台上实现。功能的急剧减少可能会导致移动医疗保健应用程序中无处不在的复杂预测模型的部署。
2016-08-14 stat.ML
An l1-Oracle Inequality for the Lasso
在过去的几年里,套索吸引了许多作者的注意。虽然已经做了很多努力来证明,Lasso的行为就像一个变量选择过程的价格强(虽然不可避免的)假设这些变量的几何结构,少得多的注意力已经支付给Lasso作为正则化算法的性能分析。我们这里的第一个目的是在这个方向上提供一个概念上非常简单的结果。我们将证明,只要正则化参数选择得当,Lasso几乎和确定性Lasso一样有效。这个结果不需要任何假设,无论是对变量的结构还是对回归函数。我们的第二个目的是引入一个新的估计,特别适合于处理无限可数字典。该估计量被构造为Lasso估计量序列中的一个l0-惩罚估计量,该估计量序列与不断增长的截断字典的二元序列相关联。选择过程自动选择字典的最佳截断水平,以便在近似、l1正则化和稀疏性之间做出最佳权衡。从理论的角度来看,我们将提供一个预言不等式满足这个选定的Lasso估计。为Lasso和选定的Lasso估计量建立的Oracle不等式将使我们能够推导出在广泛的一类函数上的收敛速率,表明这些估计量至少与贪婪算法一样好。此外,我们将证明所选择的Lasso估计量的收敛速度是最佳的正交的情况下,从下面的极小极大风险的一些Besov机构的边界。最后,我们将在神经网络的具体框架下研究Lasso算法在无限不可数字典上的性能。本文所给出的所有预言不等式都是通过应用一个在一组非线性模型中选择模型的一般定理得到的,该定理是高斯浓度不等式的…
2010-07-27 math.ST stat.TH
SCALPEL: Extracting Neurons from Calcium Imaging Data
在过去的几年里,神经科学领域的新技术已经使人们有可能在行为动物的细胞分辨率下同时对大量神经元的活动进行成像。在2016年中期,一个巨大的所谓的“钙成像”数据库被公开。这种大规模数据资源的可用性为许多科学问题打开了大门,必须为这些问题开发新的统计方法。在本文中,我们认为在钙成像数据的分析的第一步:即,识别钙成像视频中的神经元。我们提出了一个字典学习的方法来完成这项任务。首先,我们执行图像分割以开发包含大量候选神经元的字典。接下来,我们使用聚类来细化字典。最后,我们应用字典来选择神经元,并使用稀疏组套索优化问题来估计它们随时间的相应活动。我们将我们的建议应用于三个钙成像数据集。我们提出的方法是在R包手术刀,这是CRAN上实现的。
2017-03-20 q-bio.NC stat.AP
Tensor Graphical Lasso (TeraLasso)
本文介绍了一种多路张量推广的双图套索(BiGLasso),它使用一个双向稀疏克罗内克和多变量正态模型的精度矩阵,简约地模型的基础上的笛卡尔积图的矩阵变量数据的条件依赖关系。我们称这种推广为{ \bf Te}或g{ \bf}物理Lasso(TeraLasso)。我们使用理论和实例证明,TeraLasso模型可以从非常有限的高维变量的数据样本中准确和可扩展地估计,这些变量具有多向坐标,如空间,时间和重复。统计一致性和统计收敛率分别为精度矩阵的BiGLasso和TeraLasso估计量及其支持(非稀疏)集的估计量。我们提出了一个可扩展的复合梯度下降算法,并分析了计算的收敛速度,表明复合梯度下降算法是保证以几何速度收敛到TeraLasso目标函数的全局最小值。最后,我们使用气象数据集的模拟和实验数据来说明TeraLasso,表明我们可以准确地估计精度矩阵,并从高维复杂数据集中恢复有意义的条件依赖图。
2019-09-23 stat.ME
Gap Safe screening rules for sparsity enforcing penalties
在高维回归设置中,稀疏强制惩罚已被证明有助于正则化数据拟合项。最近引入的一种称为筛选规则的技术建议忽略优化中的一些变量,利用解决方案的预期稀疏性,从而导致更快的求解器。当过程保证不会错误地丢弃变量时,这些规则被称为安全的。在这项工作中,我们提出了一个统一的框架,广义线性模型正则化与标准的稀疏执行处罚,如$\ell_1$或$\ell_1/\ell_2$规范。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量,特别是对于低正则化参数。我们提出的间隙安全规则(所谓的,因为它们依赖于对偶间隙计算)可以应付任何迭代求解器,但特别适合(块)坐标下降方法。应用于许多标准学习任务,Lasso,稀疏组Lasso,多任务Lasso,二进制和多项式逻辑斯谛回归等,我们在所有测试数据集上报告了与先前提出的安全规则相比的显著加速。
2017-12-27 cs.LG math.OC stat.CO
Generalized Conditional Gradient for Sparse Estimation
University of Alberta(阿尔伯塔大学);National ICT Australia (NICTA)(澳大利亚国家信息通信技术中心);The Australian National University(澳大利亚国立大学)
结构稀疏性是一种重要的建模工具,它扩展了凸公式在数据分析中的适用性,但它也为有效的算法设计带来了重大挑战。在本文中,我们研究了广义条件梯度(GCG)算法解决结构稀疏最优化问题--证明,与一些增强,它可以提供一个更有效的替代目前的最先进的方法。在全面概述了GCG的收敛特性后,我们开发了有效的方法来评估极算子,这是一个子程序,需要在每个GCG迭代。特别是,我们展示了如何在两个重要的场景中有效地评估极坐标算子:字典学习和结构化稀疏估计。通过将GCG与固定秩局部子空间优化交织,实现了进一步的改进。一系列的矩阵补全、多类分类、多视图字典学习和重叠组套索实验表明,该方法可以显著降低当前备选方案的训练成本。
2014-10-17 cs.LG math.OC stat.ML
Guaranteed Sufficient Decrease for Stochastic Variance Reduced Gradient Optimization
Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系);National Institute of Informatics(日本国家信息学研究所)
在本文中,我们提出了一种新的充分减少技术的随机方差减少梯度下降方法,如SVRG和SAGA。为了使随机最优化得到充分的降阶,设计了一个新的充分降阶准则,该准则产生了SVRG-SD和SAGA-SD等随机方差降阶算法的充分降阶版本。我们引入一个系数来衡量当前回归的尺度,并满足充分减少性,它决定了收缩、扩张甚至向相反方向移动,然后给出了Lasso和岭回归的两个具体的系数更新规则.此外,我们分析了我们的算法的收敛性强凸问题,这表明我们的算法达到线性收敛速度。对于非强凸问题,我们也给出了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2018-02-26 cs.DS cs.LG math.OC
Ada-LISTA: Learned Solvers Adaptive to Varying Models
Technion Institute of Technology(以色列理工学院)
基于迭代求解器的展开的神经网络(诸如LISTA(学习迭代软阈值算法))由于其加速性能而被广泛使用。然而,与非学习的求解器相反,这些网络是在特定的字典上训练的,因此它们不适用于不同的模型场景。这项工作引入了一个自适应学习求解器,称为Ada-LISTA,它接收成对的信号及其相应的字典作为输入,并学习一个通用的架构来为它们服务。我们证明了该方案是保证解决稀疏编码的线性速率为变化的模型,包括字典扰动和置换。我们还提供了一个广泛的数值研究,证明其实际的适应能力。最后,我们部署Ada-LISTA自然图像修补,补丁掩模在空间上变化,因此需要这样的适应。
2020-02-19 cs.CV cs.LG stat.ML
Guaranteed Minimum-Rank Solutions of Linear Matrix Equations via Nuclear Norm Minimization
仿射秩最小化问题包括找到满足给定线性等式约束系统的最小秩矩阵。这样的问题已经出现在包括系统辨识和控制、欧几里德嵌入和协同过滤在内的各种领域的文献中。虽然特定的例子通常可以用专门的算法来解决,但一般的仿射秩最小化问题是NP难的。在本文中,我们表明,如果一定的限制等距性质成立的线性变换定义的约束,最小秩的解决方案可以恢复通过解决一个凸优化问题,即最小化核范数在给定的仿射空间。我们提出了几个随机合奏方程的限制等距属性具有压倒性的概率。在我们的分析中使用的技术在压缩感知框架中有很强的相似之处。我们讨论如何仿射秩最小化推广这个预先存在的概念,并概述了一个字典有关的概念,从基数最小化的秩最小化。
2007-06-28 math.OC math.ST stat.TH
Solution of linear ill-posed problems using random dictionaries
本文考虑过完备字典在求解一般不适定线性反问题中的应用。在回归问题的背景下,已经有大量的努力来恢复一个未知的功能使用这样的字典。最流行的方法之一,套索及其版本,是基于最小化经验的可能性,不幸的是,需要严格的假设字典,所谓的兼容性条件。虽然兼容性条件很难满足,但众所周知,这可以通过使用随机字典来实现。在本文中,我们将展示如何应用随机字典来解决不适定的线性反问题。我们提出的方法下的理论基础,并通过模拟研究其性能。
2017-06-20 math.ST stat.ME stat.ML
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models
LG AI Research(LG人工智能研究院);Stanford Universtiy(斯坦福大学)
本研究将两层ReLU神经网络训练转化为凸的组Lasso稀疏恢复问题,证明其可多项式求解,并刻画非凸目标的驻点,实验表明凸模型优于非凸方法且对超参数不敏感。
2023-12-19 cs.AI cs.LG math.OC
Evaluating methods for Lasso selective inference in biomedical research by a comparative simulation study
回归模型的变量选择在生物医学数据分析中起着关键作用。然而,经典的统计频率论假设模型中有一组固定的协变量,不包括选择后的推断。我们回顾两种解释的推理选择后:完整的模型视图,其中感兴趣的参数是所有预测的完整模型,然后专注于子模型视图,其中感兴趣的参数是选定的模型。在L1惩罚回归的背景下,我们使用受生物医学研究中常见的真实数据启发的模拟研究,通过软件包比较应用研究人员可用的置信区间的子模型推理(选择性推理)提案。此外,我们提出了一个示例性的应用程序,这些方法公开可用的数据集,讨论其实际可用性。我们的研究结果表明,选择性的置信区间的频率属性一般是可以接受的,但除了最保守的方法,在所有的情况下,所需的覆盖水平不能保证。推断方法的选择可能对所得的区间估计值有很大影响,因此需要用户敏锐地意识到推断的目标,以便解释和传达结果。目前可用的软件包还不是很方便用户使用,也不是很强大,这可能会影响其在实践中的使用。总之,我们发现选择后的子模型推断对于有经验的统计学家在未来的应用中评估单个选择的预测因子的重要性是有用的。
2021-07-20 stat.ME
Sparse regression algorithm for activity estimation in $γ$ spectrometry
我们考虑一个未知的放射源,它发射光子的时间建模的齐次泊松过程的计数率估计。光谱仪将入射光子的能量转换为电脉冲,其数量提供了对泊松过程强度的粗略估计。当放射源的放射性很高时,一种被称为堆积效应的物理现象会使直接测量结果失真,导致对迄今为止在该领域使用的放射源放射性的标准估计值产生重大偏差。我们在本文中,计数率估计的问题可以被解释为一个稀疏回归问题。我们提出了一个后处理的,非负的,版本的最小绝对收缩和选择算子(LASSO)来估计光子到达时间。该问题的主要困难在于,由于字典不理想和信号是采样的,没有理论条件可以保证LASSO的稀疏一致性。因此,我们推导出的理论条件和界限,说明所提出的方法可以提供一个很好的,接近最好的可达到的,估计的计数率活动。在仿真和真实数据集上研究了所提出的方法的良好性能。
2013-05-09 stat.ME
The Statistics of Streaming Sparse Regression
Stanford University(斯坦福大学)
我们提出了一个稀疏模拟随机梯度下降,保证在类似的条件下表现良好的套索。在具有不可表示的噪声特征的线性回归设置中,我们的算法以高概率恢复最优参数向量的支撑集,并实现统计上准最优的收敛速率Op(k log(d)/T),其中k是解的稀疏性,d是特征的数量,T是训练样本的数量。同时,我们的算法不需要任何更多的计算资源比随机梯度下降。在我们的实验中,我们发现,我们的方法大大优于现有的流算法的真实和模拟数据。
2014-12-13 cs.LG math.ST stat.ML
On the Sample Complexity of Predictive Sparse Coding
Georgia Institute of Technology(佐治亚理工学院)
预测稀疏编码的目标是将示例的表示学习为字典中元素的稀疏线性组合,以便新表示中学习到的线性假设在预测任务中表现良好。近年来,预测稀疏编码算法在各种监督任务上表现出令人印象深刻的性能,但其泛化性能尚未得到研究。我们建立了预测稀疏编码的第一个泛化误差界,覆盖两个设置:1)过完备设置,其中特征数k超过原始维度d;以及2)高维或无限维设置,其中只有无维界是有用的。这两个学习边界密切依赖于学习稀疏编码器的稳定性,如在训练样本上测量的。因此,我们首先提出了一个基本的稳定性结果的LASSO,结果表征的稀疏代码的稳定性相对于扰动的字典。在过完备的设置,我们提出了一个估计误差界,衰减为\tilde{O}(sqrt(d k/m))关于d和k。在高维或无限维的情况下,我们给出了一个无量纲的边界,即关于k和s的\tilde{O}(sqrt(k^2 s / m)),其中s是任何训练数据点的稀疏码中非零数的上限。
2012-10-08 cs.LG stat.ML
Efficient Blind Compressed Sensing Using Sparsifying Transforms with Convergence Guarantees and Application to MRI
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
众所周知,自然信号和图像在变换域(如小波变换和DCT)中近似稀疏。该性质已经在图像处理和医学成像中的各种应用中被大量利用。压缩感知利用变换域或合成字典中图像或图像块的稀疏性来从欠采样测量重构图像。在这项工作中,我们专注于盲压缩感知,其中底层的稀疏化变换是先验未知的,并提出了一个框架,同时重建底层图像以及稀疏化变换从高度欠采样测量。所提出的块坐标下降型算法涉及高效的最优更新。重要的是,我们证明了尽管所提出的盲压缩感知公式是高度非凸的,但我们的算法是全局收敛的(即,它们从任何初始化收敛)到定义公式的目标的临界点集合。保证这些临界点至少是部分全局和部分局部极小点。精确的收敛点可以取决于初始化。我们说明了所提出的框架的有用性,从高度欠采样的k空间测量的磁共振图像重建。与以前的方法相比,涉及合成字典模型,我们的方法是更快,同时也提供了有前途的重建质量。
2015-10-23 cs.LG stat.ML
Computational Intractability of Dictionary Learning for Sparse Representation
University of Minnesota(明尼苏达大学)
在本文中,我们考虑的字典学习问题的稀疏表示。我们首先证明了这个问题是NP-困难的多项式时间减少的denominator切割问题。然后,使用连续凸逼近策略,我们提出了有效的字典学习计划,解决这个问题的几个实际配方的驻点。与文献中的许多现有算法(如K-SVD)不同,我们提出的字典学习方案在理论上保证在一定的温和假设下收敛到稳定点集。对于图像去噪应用,所提出的字典学习方案的性能和效率是可比的K-SVD算法在模拟。
2015-11-05 cs.LG stat.ML
Support recovery without incoherence: A case for nonconvex regularization
我们证明了原始-对偶见证证明方法可以用来建立变量选择的一致性和$\ell_\infty$ -界稀疏回归问题,即使当损失函数和/或正则化是非凸的。使用这种方法,我们得到两个定理的支持恢复和$\ell_\infty$ -保证的回归估计在一般设置。我们的研究结果提供了严格的理论依据使用非凸正则化:对于某些非凸正则化与消失的衍生物远离原点,支持恢复一致性可以保证,而不需要典型的不相干条件存在于$\ell_1$为基础的方法。然后,我们推导出几个推论,说明我们的方法分析复合目标函数,涉及损失,如最小二乘,非凸修正最小二乘误差变量线性回归,负对数似然广义线性模型,和图形拉索的广泛适用性。最后,我们用实证研究来证实我们的理论预测。
2014-12-17 cs.IT math.IT math.ST
Representation Learning and Recovery in the ReLU Model
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);MIT(麻省理工学院)
整流线性单元(ReLU)已成为人工神经网络的首选激活函数。在本文中,我们考虑两个基本的学习问题,假设底层数据遵循基于ReLU网络的生成模型-一种具有ReLU激活的神经网络。作为主要的理论研究,我们将自己限制在单层网络中。我们研究的第一个问题对应于存在非线性(由ReLU函数建模)的字典学习。给定一组观测向量$\mathbf{y}^i \in \mathbb{R}^d, i =1, 2, \dots , n$,我们的目标是在模型$\mathbf{y}^i = \mathrm{ReLU}(A\mathbf{c}^i +\mathbf{b})$下恢复$d\times k$矩阵$A$和潜在向量$\{\mathbf{c}^i\} \subset \mathbb{R}^k$,其中$\mathbf{b}\in \mathbb{R}^d$是随机偏差。我们表明,它是可能的$A$内的$O(d)$(在Frobenius规范)在一定条件下的概率分布的$\mathbf{b}$的错误恢复列空间。我们考虑的第二个问题是在存在异常值的情况下信号的鲁棒恢复,即,大但稀疏的噪声。在此设置中,我们感兴趣的是从其形式为$\mathbf{v} = \mathrm{ReLU}(A\mathbf{c}) + \mathbf{e}+\mathbf{w}$的噪声非线性草图中恢复潜在向量$\mathbf{c}$,其中$\mathbf{…
2018-03-12 cs.IT cs.LG math.IT