Variable Selection in High Dimensions with Random Designs and Orthogonal Matching Pursuit
针对随机设计，分析了正交匹配追踪（OMP）变量选择的性能。当与确定性的情况相比时，由于性能在这里是在对设计矩阵的分布求平均之后测量的，因此可以对系数向量具有远不那么严格的稀疏性约束。我们证明了对于精确稀疏向量，OMP的性能与Lasso算法的已知结果相似[ \textit{IEEE Trans. Inform. Theory} \textbf{55}（2009）2183--2202]。此外，变量的选择下，一个更宽松的稀疏性假设的系数向量，从而只有控制的$\ell_1$规范的较小的系数，也进行了分析。作为这些结果的结果，我们还表明，系数估计满足强预言型不等式。
2011-09-04 stat.ML
Robust Lasso-Zero for sparse corruption and model selection with missing covariates
我们提出了鲁棒Lasso零，扩展的Lasso零方法，最初介绍了稀疏线性模型，稀疏腐败问题。我们给出了一个稍微简化的版本的估计，被称为judgeholded正义追求的参数的符号恢复理论保证。稳健Lasso-Zero用于协变量中缺失值的变量选择。除了不需要为协变量指定模型，也不需要估计它们的协方差阵或噪声方差之外，该方法具有处理非随机缺失值而不指定参数模型的巨大优势。数值实验和医学应用强调了鲁棒拉索零在这样的背景下，几乎没有可用的竞争对手的相关性。该方法易于使用，并在R库lass 0中实现。
2022-03-23 stat.AP stat.ME stat.ML
Noisy subspace clustering via matching pursuits
ETH Zurich（苏黎世联邦理工学院）
基于稀疏性的子空间聚类算法因其在实际应用中的优异性能而受到广泛关注。一个突出的例子是Elhamifar和Vidal的稀疏子空间聚类（SSC）算法，该算法基于通过Lasso稀疏地表示每个数据点的所有其他数据点获得的邻接矩阵来执行谱聚类。当数据点的数量很大或周围空间的维数很高时，SSC的计算复杂性很快变得令人望而却步。Dyer等人观察到，通过用贪婪正交匹配追踪（OMP）算法替换Lasso获得的SSC-OMP导致显著更低的计算复杂性，同时通常产生相当的性能。本文的中心目标是分析性能表征的SSC-OMP噪声数据。此外，我们介绍和分析的SSC-MP算法，它采用匹配追踪（MP）代替OMP。SSC-OMP和SSC-MP都被证明是成功的，即使当子空间相交，当数据点被严重的噪声污染。聚类条件，我们得到的SSC-OMP和SSC-MP是类似的SSC和基于阈值的子空间聚类（TSC）算法由于Heckel和Bölcskei。分析结果与数值结果相结合表明，SSC-OMP和SSC-MP与数据相关的停止标准自动检测的数据下的子空间的尺寸。此外，合成和真实数据上的实验表明，SSC-MP相比非常有利的SSC，SSC-OMP，TSC，和最近子空间邻居算法，无论是在聚类性能和运行时间。此外，我们发现，相比于SSC-OMP，SSC-MP的性能是非常强大的停止标准中的参数的选择。
2018-06-08 cs.IT cs.LG math.IT
Some exercises with the Lasso and its compatibility constant
我们考虑将Lasso用于无噪声实验，其中具有观察值$X β^0$并使用基追踪的惩罚版本。我们计算一些特殊的设计的相容常数，一个数量密切相关的限制特征值。此外，我们显示的依赖（惩罚）预测误差的相容性常数。这个练习表明，相容性必然进入（惩罚）预测误差的界限，因此文献中的界限是紧的（直到常数）。我们还给出的条件表明，在有噪声的情况下，预测误差的主导项是由无噪声的情况下的预测误差。
2017-01-12 math.ST stat.TH
Stability Selection for Structured Variable Selection
Carnegie Mellon University（卡内基梅隆大学）
在变量或图选择问题中，找到合适大小的模型或控制误报的数量是非常困难的。最近，提出了一种称为稳定性选择的元算法，可以提供可靠的有限样本控制误报的数量。当与套索和正交匹配追踪算法结合使用时，其优点得到了证明。在本文中，我们研究的适用性稳定性选择结构化选择算法：组套索和结构化的输入输出套索。我们发现，使用稳定性选择往往会增加这两种算法的功率，但复杂结构的存在降低了稳定性选择下的错误控制的可靠性。我们给出了调整参数的设置策略，以获得一个良好的模型大小下的稳定性选择，并强调其优势和劣势相比，竞争的方法屏幕和清洁和交叉验证。我们给出了何时使用哪种错误控制方法的指导方针。
2017-12-13 cs.LG stat.ML
C-HiLasso: A Collaborative Hierarchical Sparse Modeling Framework
University of Minnesota（明尼苏达大学）；Technion（以色列理工学院）
稀疏建模是一个强大的数据分析和处理框架。传统上，通过求解L1正则化线性回归问题（通常称为Lasso或Basis Pursuit）来执行该框架中的编码。在这项工作中，我们结合了稀疏诱导属性的套索模型在个别功能水平，与块稀疏属性的组套索模型，稀疏组的功能进行联合编码，获得稀疏模式层次结构。这就产生了层次套索（HiLasso），它显示了重要的实际建模优势。然后，我们将这种方法扩展到协作的情况下，一组同时编码的信号在较高的（组）水平上共享相同的稀疏模式，但不一定在较低的（组内）水平，获得协作HiLasso模型（C-HiLasso）。这样的信号然后共享相同的活动组或类，但不一定是相同的活动集。该模型非常适合于源识别和分离等应用。一个有效的优化过程，保证收敛到全局最优，开发这些新的模型。新的框架和优化方法的基本介绍是补充与实验的例子和理论结果的恢复保证所提出的模型。
2011-03-04 cs.CV stat.ML
Penalized mixed models to adjust for batch effects and unobserved confounding in high dimensional regression
针对高维回归中的未观测混杂与批次效应，提出可分离量化信号、偏差和变异的框架，并通过系统模拟比较 LASSO、PC-LASSO 与 PLMM，发现 PLMM 总体最稳健。
2025-10-03 stat.ME
Asymptotic Analysis of LASSOs Solution Path with Implications for Approximate Message Passing
本文关注的性能的LASSO（也称为基追踪去噪）恢复稀疏信号从欠采样，随机，噪声测量。我们考虑从$n$随机和噪声线性观测值$y= Ax_o + w$中恢复信号$x_o \in \mathbb{R}^N$，其中$A$是测量矩阵，$w$是噪声。LASSO估计由用$\hat{x}_λ = \arg \min_x \frac{1}{2} \|y-Ax\|_2^2 + λ\|x\|_1$求解优化问题$x_o$给出。尽管在理论分析的LASSO解决方案的重大进展，很少有人知道它的行为作为一个函数的正则化参数PDMATHAMT。在本文中，我们研究了两个问题的渐近设置（即，其中$N \rightarrow \infty$，$n \rightarrow \infty$，而比率$n/N$收敛到$(0,1)$中的固定数）：（i）活动集$\|\hat{x}_λ\|_0/N$的大小如何表现为$λ$的函数，以及（ii）均方误差$\|\hat{x}_λ - x_o\|_2^2/N$如何表现为$λ$的函数？然后，我们采用这些结果在一个新的，可靠的算法解决LASSO的基础上近似消息传递（AMP）。
2013-09-23 cs.IT math.IT math.ST
Fast projections onto mixed-norm balls with applications
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
联合稀疏性为特征选择提供了强有力的结构线索，特别是对于预期表现出“分组”行为的变量。这种行为通常通过组套索，多任务套索和相关方法来建模，其中特征选择通过混合范数来实现。几种基于混合范数的稀疏模型受到了广泛的关注，并且在某些情况下也可以使用高效的算法。令人惊讶的是，几个约束稀疏模型似乎缺乏可扩展的算法。我们通过提出批处理和在线（随机梯度）优化方法来解决这一缺陷，这两种方法都依赖于有效的预测到混合范数球。我们说明我们的方法，将其应用到多任务套索。最后，我们提出一些悬而未决的问题。
2012-04-06 cs.LG math.OC stat.ML
Learning Large Scale Sparse Models
在这项工作中，我们考虑在大规模环境中学习稀疏模型，其中样本数量和特征维度可以增长到数百万或数十亿。在这种具有挑战性的情况下，会出现两个直接问题：（i）计算成本;（ii）内存开销。特别地，存储器问题排除了大量基于批优化技术的现有算法。为了解决这个问题，我们建议以在线方式学习稀疏模型，例如Lasso，在每次迭代中，只有一个随机选择的样本被揭示来更新稀疏模型。因此，存储器成本与样本量无关，并且一个样本的梯度评估是有效的。也许令人惊讶的是，我们发现，在相同的参数下，批处理方法所提升的稀疏性在在线方式中并不保留。我们分析了这种有趣的现象，并说明了一些有效的变种，包括小批量方法和硬阈值为基础的随机梯度算法。在一个公共数据集上进行了大量的实验，支持我们的研究结果和算法。
2023-01-26 cs.CV cs.LG stat.ML
The LASSO risk for gaussian matrices
我们考虑从噪声线性观测y=Ax_0+w \in R ^n中学习系数向量x_0 \in R ^n的问题。在许多上下文中（从模型选择到图像处理），期望构造稀疏估计器x '。在这种情况下，一种流行的方法是解决L1惩罚最小二乘问题，称为LASSO或基追踪去噪（BPDN）。对于序列的矩阵A的增加的维度，独立的高斯条目，我们证明了归一化的风险的LASSO收敛到一个极限，我们得到一个明确的表达这个限制。我们的结果是第一次严格推导出一个明确的公式的渐近均方误差的随机情况下的LASSO。证明技术是基于分析AMP，最近开发的高效算法，这是从图形模型的想法启发。对真实数据矩阵的模拟表明，我们的结果可以在广泛的实际应用中是相关的。
2015-12-15 cs.IT math.IT math.ST
Ultra-high Dimensional Multiple Output Learning With Simultaneous Orthogonal Matching Pursuit: A Sure Screening Approach
我们提出了一个新的应用程序的同时正交匹配追踪（S-OMP）过程中的稀疏变量选择超高维多任务回归问题。在\cite{fan08sis}中引入的变量筛选是一种有效且高度可扩展的方法，用于从所有变量的集合中删除许多不相关的变量，同时保留所有相关变量。S-OMP可以应用于具有数十万个变量的问题，并且一旦变量的数量减少到可管理的大小，则可以使用计算要求更高的程序来识别每个回归输出的相关变量。据我们所知，这是第一次尝试利用多个输出的相关性来执行相关变量的快速筛选。作为我们的主要理论贡献，我们证明，渐近，S-OMP是保证减少超高数量的变量，低于样本量，而不会失去真正的相关变量。我们还提供了正式的证据表明，修改后的贝叶斯信息准则（BIC）可以用来有效地确定在S-OMP的迭代次数。我们进一步提供经验证据的好处，变量选择使用多个回归输出联合，而不是单独执行变量选择每个输出。S-OMP的有限样本性能证明了广泛的模拟研究，并在遗传关联映射问题。$Keywords$自适应套索;贪婪前向回归;正交匹配追踪;多输出回归;多任务学习;同时正交匹配追踪;确定筛选;变量选择
2010-12-17 stat.ML
Tuning-Free Heterogeneity Pursuit in Massive Networks
异构在许多涉及大量数据的当代应用中通常是自然的。虽然对有效学习提出了新的挑战，但它可以通过理解感兴趣的亚群之间的重要差异，在推动有意义的科学发现方面发挥关键作用。在本文中，我们利用多个网络与高斯图编码的连接模式的大量功能的子种群。为了揭示这些结构在亚群中的异质性，我们提出了一个新的框架，通过大规模的推理，其中网络的数量是允许发散的调谐自由异质性追求（THP）。特别是，两个新的测试，卡基于测试和线性功能为基础的测试，并建立其渐近零分布。在温和的正则条件下，我们建立了这两个测试是最佳的，在实现可测试的区域边界和样本量要求后一个测试是最小的。理论上的保证和免调谐功能源于我们新提出的异质组平方根Lasso（HGSL）方法用于异质噪声的高维多响应回归的有效多网络估计。为了解决这个凸规划，我们进一步引入了一个无调谐算法，该算法是可扩展的，并且可以证明收敛到全局最优。我们的程序的计算和理论的优势，阐明通过模拟和真实数据的例子。
2016-06-13 math.ST stat.ME stat.ML
The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation
School of Computing Science（计算机科学学院）；University of Glasgow（格拉斯哥大学）
本文提出利用Fréchet ResNet Distance进行成对相似度计算来筛选代表性批次，缓解自监督对比学习中假正负样本对的影响，在STL10和Flower102上分别取得87.74%和99.31%的top-1准确率。
2024-03-28 cs.CV
Sequential adaptive elastic net approach for single-snapshot source localization
Aalto University（阿尔托大学）
本文提出了一种基于压缩波束形成（CBF）的单次快拍信号源波达方向（DoA）精确恢复算法。在CBF中，传统的传感器阵列信号模型被转换为欠定复值线性回归模型，稀疏信号恢复方法用于解决DOA发现问题。我们开发了一个复值路径加权弹性网（c-PW-WEN）算法，该算法在EN调谐参数值的路径（或网格）上的惩罚参数值的节点处找到解决方案。在c-PW-WEN算法的基础上，我们提出了一种基于c-PW-WEN算法的自适应加权EN（SAEN）算法。大量的仿真研究表明，SAEN提高了真正的支持的精确恢复的概率相比，传统的稀疏信号恢复方法，如拉索，弹性网或正交匹配追求在几个具有挑战性的多目标场景。SAEN的有效性是更明显的存在高度相互一致性。
2018-05-19 cs.IT cs.LG math.CV
Performance of $\ell_1$ Regularization for Sparse Convex Optimization
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文证明 Group LASSO 在向量值特征的稀疏凸优化中可获得恢复保证，并将其与 OMP、弱子模性及 Sequential Attention 联系起来，还推广到一般损失下的列子集选择。
2023-07-14 cs.DS cs.LG math.ST
The Lasso error is bounded iff its active set size is bounded away from n in the proportional regime
本文在比例机制下证明 Lasso 的 L2 风险有界当且仅当其活跃变量数远离样本量 n，并利用该等价关系给出相变的简化证明，同时将分析扩展到常数阶小调节参数。
2025-01-05 math.ST stat.TH
Sparse Convex Optimization via Adaptively Regularized Hard Thresholding
MIT（麻省理工学院）；Yahoo! Research（雅虎研究院）
稀疏凸优化的目标是在稀疏性约束$s\leq s^*γ$下优化凸函数$f$，其中$s^*$是可行解（稀疏性）中非零条目的目标数量，$γ\geq 1$是近似因子。已经有大量的工作来分析各种算法（LASSO，正交匹配追踪（OMP），迭代硬保序（IHT））的稀疏性保证的限制条件数$κ$。最著名的算法保证找到具有$γ= O\left(κ\min\left\{\log \frac{f(x^0)-f(x^*)}ε, κ\right\}\right)$的稀疏界的值$f(x^*)+ε$的近似解，其中$x^*$是目标解。我们提出了一个新的自适应正则化硬约束保持（ARHT）算法，使这个问题上的显着进展，使约束下降到$γ=O(κ)$，这已被证明是紧的一般类算法，包括LASSO，OMP，和IHT。与已知的最快算法相比，这是在没有显著牺牲运行时效率的情况下实现的。我们还提供了一个新的分析OMP与替换（OMPR）一般$f$，条件$s > s^* \frac{κ^2}{4}$下，这会产生压缩感知下的限制等距属性（RIP）的界限。当与其他压缩感知方法相比时，它具有在RIP条件和解稀疏性之间提供强折衷的优点，同时适用于满足RIP条件的任何通用函数$f$。
2020-06-25 cs.DS cs.LG stat.ML
BatMan: Mitigating Batch Effects via Stratification for Survival Outcome Prediction
转录组学数据的可重复翻译受到普遍存在的批次效应的阻碍。管理批次效应的统计方法最初是在样本组比较的环境中开发的，后来被借用到其他环境中，如生存结果预测。最值得注意的方法是ComBat，它通过将其作为协变量与样本组一起纳入线性回归中来调整批次。然而，在生存预测中，ComBat在没有可定义的生存结局组的情况下使用，并且在潜在混淆结局的生存回归中顺序进行。为了解决这些问题，我们提出了一种新的方法，称为蝙蝠侠（“批量缓解通过分层”）。它在生存回归中调整批次作为分层，并利用变量选择方法（如LASSO）来处理高维。我们评估蝙蝠侠的性能与ComBat相比，单独使用或与数据归一化结合使用，在基于重新采样的模拟研究中，在不同水平的预测信号强度和批量结果关联模式下。我们的模拟表明，（1）当数据中存在批量效应时，BatMan在几乎所有场景中的性能都优于ComBat，（2）它们的性能可能会因添加数据归一化而恶化。我们使用来自癌症基因组图谱的卵巢癌microRNA数据对它们进行了进一步评估，并发现蝙蝠侠超越了ComBat，而数据归一化的增加则使预测变得更加准确。因此，我们的研究显示了蝙蝠侠的优势，并提出了在开发生存预测模型的背景下天真地使用数据归一化的警告。BatMan方法和用于性能评估的模拟工具在R中实现，并可在https://github.com/LXQin/PRECISION.survival上公开获得…
2022-09-08 stat.ME
Accuracy guarantees for L1-recovery
LJK, Université J. Fourier（法国约瑟夫·傅立叶大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出两种基于L1最小化的稀疏信号恢复新方法，通过可验证的性能保证和优化边界，构建统计性质优于常用方法的估计器，并利用非欧几里得基追踪算法计算精度界。
2011-05-27 cs.SY eess.SY math.OC
Computing Estimators of Dantzig Selector type via Column and Constraint Generation
我们考虑一类基于线性规划的估计器在重建一个稀疏的信号从线性测量。这里考虑的重建问题的具体配方包括Dantzig选择器，基追踪（对于测量不包含错误的情况），和融合Dantzig选择器（对于基本信号分段恒定的情况）。尽管是稀疏信号处理和机器学习的核心估计器，但解决大规模实例的这些线性规划问题仍然是一项具有挑战性的任务，从而限制了它们在实践中的使用。我们表明，经典的约束和列生成技术，从大规模线性规划，当与单纯形法的商业实现结合使用，并从一个密切相关的Lasso制定的解决方案初始化，在许多设置中产生高效率的解决方案。
2019-08-18 math.OC stat.CO stat.ML
High SNR Consistent Compressive Sensing Without Signal and Noise Statistics
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在欠定线性回归模型、\textit{aka}、压缩感知中恢复稀疏向量的支持在许多信号处理应用中是重要的。高SNR一致性（HSC），即，随着信噪比（SNR）的增加，支撑恢复技术正确识别支撑的能力是一个越来越流行的标准，以限定支撑恢复技术的高SNR最优性。文献中可用于支持恢复技术的HSC结果适用于欠定线性回归模型，如最小绝对收缩和选择算子（LASSO），正交匹配追踪（OMP）等，假设\textit{a priori}噪声方差或信号稀疏性的知识。然而，这两个参数在大多数实际应用中是不可用的。此外，在欠定回归模型中估计噪声方差或信号稀疏性是极其困难的。这限制了现有HSC结果的实用性。在这篇文章中，我们提出了两种技术，\textit{viz.}，剩余比最小化（RRM）和剩余比阈值与适应（RRTA）操作OMP算法没有\textit{a priroi}知识的噪声方差和信号稀疏性，并建立了他们的HSC解析和数值。据我们所知，这是第一个也是唯一一个在欠定回归模型中报告HSC的噪声统计不经意算法。
2018-11-17 cs.LG eess.SP stat.ML
Swapping Variables for High-Dimensional Sparse Regression with Correlated Measurements
我们考虑高维稀疏线性回归问题，使用少量的线性测量，被噪声污染的稀疏向量的准确估计。众所周知，当测量矩阵包含高度相关的列时，标准的计算上易处理的稀疏回归算法-如Lasso，正交匹配追踪（OMP）及其扩展-性能很差。为了解决这个缺点，我们开发了一个简单的贪婪算法，称为SWAP，迭代交换变量，直到收敛。SWAP在处理具有高相关性的度量矩阵时非常有效。事实上，我们证明了SWAP输出真正的支持，在稀疏向量的非零元素的位置，在一个相对温和的条件下的测量矩阵。此外，我们表明，SWAP可以用来提高任何稀疏回归算法的性能。我们经验证明SWAP的优势，通过比较它与几个国家的最先进的稀疏回归算法。
2014-02-22 cs.IT math.IT math.ST
A general theory of singular values with applications to signal denoising
研究了向量空间上两个竞争范数$\|\cdot\|_X$和$\|\cdot\|_Y$的Pareto前沿.对于给定的矢量$c$，帕累托边界描述了分解$c=a+b$的$(\|a\|_X,\|b\|_Y)$的可能值。矩阵的奇异值分解与谱范数和核范数的Pareto前沿密切相关。我们将发展一个一般理论，将矩阵的奇异值的概念推广到具有对偶范数的任意有限维欧几里德向量空间。这也推广了作者在以前的工作中介绍的张量的对角奇异值分解。我们可以将结果应用于去噪，其中$c$是噪声信号，$a$是稀疏信号，$b$是噪声。应用包括1D全变分去噪、2D全变分Rudin-Osher-Fatemi图像去噪、LASSO、基追踪去噪和张量分解。
2017-05-30 cs.IT cs.NA math.IT
Distributed Machine Learning with Sparse Heterogeneous Data
受分布式机器学习设置（如联合学习）的启发，我们考虑了在异构数据集的分布式集合中拟合统计模型的问题，这些数据集的相似性结构由图形拓扑编码。准确地说，我们分析的情况下，每个节点与拟合稀疏线性模型，边加入两个节点，如果他们的解决方案的差异也是稀疏的。我们提出了一种基于基追踪去噪的方法，并提供了有限的样本保证亚高斯设计矩阵的全变差惩罚。以树的根作为参考节点，我们表明，如果节点之间的差异的稀疏性是小于的稀疏性在根，然后恢复是成功的，通过更少的样本比通过独立地解决问题，或通过使用依赖于一个大的重叠的信号支持，如组拉索的方法。我们考虑了无噪声和有噪声的设置，和数值研究的分布式方法的性能的基础上，分布式交替方向法的乘法器（ADMM）和高光谱解混。
2021-11-27 math.ST stat.ML stat.TH
Projection Pursuit CPCANet for Domain Generalization
The University of Melbourne（墨尔本大学）
研究针对域泛化问题，提出投影追踪CPCANet（PP-CPCANet），通过在Stiefel流形上学习全局正交基并联合优化，引入新目标提取共同主成分，在四个DG基准实验中实现最优性能且训练稳定。
2026-07-27 cs.CV
Quantum Sparse Coding
任何稀疏编码方法的最终目标都是从一些有噪声的线性测量中准确地恢复未知的稀疏向量。不幸的是，这个估计问题通常是NP难的，因此它总是用近似方法来处理，例如套索或正交匹配追踪，从而以较低的计算复杂度来换取准确性。在本文中，我们开发了一种量子启发的稀疏编码算法，前提是量子计算机和伊辛机的出现可能会导致比经典近似方法更准确的估计。为此，我们将最一般的稀疏编码问题制定为二次无约束二进制优化（QUBO）任务，可以使用量子技术有效地最小化。为了得到在自旋数量（空间复杂度）方面也有效的QUBO模型，我们将分析分为三种不同的场景。这些由表达底层稀疏向量所需的位数定义：二进制，2位和一般定点表示。我们在LightSolver的量子启发数字平台上进行了模拟数据的数值实验，以验证我们的QUBO公式的正确性，并证明其优于基线方法。
2022-09-08 quant-ph stat.ML
Compressible Distributions for High-dimensional Statistics
我们开发了一种识别独立同分布（iid）实现是可压缩的概率分布的原则性方法，即，可以很好地近似为稀疏。我们专注于高斯随机欠定线性回归（GULR）的问题，压缩性是已知的，以确保成功的估计利用稀疏正则化。我们证明了许多分布围绕最大后验概率（MAP）解释稀疏正则估计实际上是不可压缩的，在大的问题大小的限制。一个亮点是拉普拉斯分布和$\ell^{1}$正则化估计器，如Lasso和Basis Pursuit去噪。为了建立这一结果，我们确定非平凡的欠采样区域在GULR简单的最小二乘解几乎肯定优于甲骨文稀疏的解决方案，当数据是从拉普拉斯分布。我们提供了简单的经验法则来描述类的可压缩（分别不可压缩）分布的基础上，他们的第二和第四时刻。广义高斯分布和广义帕累托分布作为具体性的运行示例。
2012-04-25 cs.IT math.IT math.ST
SMSSVD - SubMatrix Selection Singular Value Decomposition
高通量生物医学测量通常捕获多个叠加的生物相关信号，并且通常还捕获表示不同类型的技术伪影（例如，批次效应）的信号。因此，信号识别和分解是统计生物医学建模和数据分析的主要目标。现有的方法，旨在信号重建和反卷积，一般来说，要么监督，包含需要估计的参数或其他类型的特设功能。我们在这里介绍子矩阵选择奇异值分解（SMSSVD），一个无参数的无监督信号分解和降维方法，旨在降低噪声，自适应地为每个低秩信号在一个给定的数据矩阵，并表示在数据中的信号的方式，使无偏探索性分析和重建多个重叠的信号，包括识别组的变量，驱动不同的信号。子矩阵选择奇异值分解（SMSSVD）方法从给定的数据矩阵产生去噪信号分解。SMSSVD方法以直接的方式保证信号分量之间的正交性，并且其被设计为使自动化成为可能。我们通过将SMSSVD应用于几个真实和合成数据集来说明SMSSVD，并将其性能与PCA（主成分分析）和SPC（稀疏主成分，使用Lasso约束）等金标准方法进行比较。SMSSVD在计算上是高效的，并且尽管是无参数方法，但通常优于现有的统计学习方法。SMSSVD的Julia实现在GitHub上公开提供（https：//github.com/rasmushenningsson/SMSSVD.jl）。
2017-10-23 q-bio.QM stat.AP stat.ML
Unknown sparsity in compressed sensing: Denoising and inference
压缩感知（CS）理论认为，如果$x$足够稀疏，则可以利用$n\ll p$从欠定的$n$线性测量集合中准确地恢复未知信号$x\in\mathbb{R}^p$。然而，在实际应用中，$\|x\|_0$的稀疏程度通常是未知的，直接估计$\|x\|_0$的问题一直是理论和实践之间的长期差距。一个密切相关的问题是，$\|x\|_0$是一个高度理想化的稀疏性度量，对于条目不等于0的真实信号，值$\|x\|_0=p$不是可压缩性的有用描述。在我们之前的会议论文[Lop13]中，我们研究了这些问题，我们考虑了“软”稀疏性的替代度量$\|x\|_1^2/\|x\|_2^2$，并设计了一个不依赖于稀疏性假设的估计$\|x\|_1^2/\|x\|_2^2$的过程。本文提出了一种新的基于反卷积的未知稀疏度估计方法，具有更广泛的适用性和更强的理论保证。特别是，我们引入了一个家庭的基于熵的稀疏措施$s_q(x):=\big(\frac{\|x\|_q}{\|x\|_1}\big)^{\frac{q}{1-q}}$参数化的$q\in[0,\infty]$。由于$q$的范围大于$[0,2]$，因此该系列介于$\|x\|_0=s_0(x)$和$\|x\|_1^2/\|x\|_2^2=s_2(x)$之间。对于任何$q\in (0,2]\setminus\{1\}$，我们提出了一个估计$\hat{s}_q(x)$的相对误…
2017-08-31 cs.IT math.IT math.ST
Compressed Sensing over $\ell_p$-balls: Minimax Mean Square Error
我们考虑压缩感知问题，其中对象$x_0 \in \bR^N$是从不完整的测量值$y = Ax_0 + z$中恢复的;这里的感知矩阵$A$是具有iid高斯条目和$n < N$的$n \times N$随机矩阵。一种流行的稀疏性提升重建方法是$\ell^1$ -惩罚最小二乘重建（又名LASSO，基追踪）。目前流行考虑严格稀疏模型，其中对象$x_0$仅在一小部分条目中为非零。在本文中，我们反而考虑更广泛适用的$\ell_p$稀疏模型，其中$x_0$是稀疏的意义上有$\ell_p$范数有界的$ξ\cdot N^{1/p}$为一些固定的$0 < p \leq 1$和$ξ> 0$。我们研究的渐近制度，其中$n$和$N$都趋于无穷大的限制比$n/N = δ\in (0,1)$，无论是在嘈杂（$z \neq 0$）和无噪声（$z=0$）的情况下。在$x_0$的弱假设下，我们能够精确地评估$\ell^1$惩罚最小二乘的最坏情况下的渐近最小最大均方重建误差（AMSE）：最小值超过惩罚参数，最大值超过$\ell_p$ -稀疏对象$x_0$。我们展示了渐近最不利的对象（最难稀疏信号恢复）和最大最小惩罚。我们的显式公式出乎意料地涉及统计决策理论中出现的经典数量。在本设置中，它们反映了惩罚的$\ell^1$最小化和标量软阈值之间更深的联系。这种连接，遵循从早期的工作的作者和合作者的AMP迭代阈值算法，仔细解释…
2011-03-24 cs.IT math.IT math.ST
