A Survey of Numerical Algorithms that can Solve the Lasso Problems
在统计学中，最小绝对收缩和选择算子（Lasso）是一种回归方法，它同时执行变量选择和正则化。有很多文献讨论了Lasso方法估计的回归系数的统计特性。然而，缺乏一个全面的审查讨论的算法来解决Lasso的优化问题。本文综述了Lasso中优化目标函数的五种典型算法，包括迭代收缩阈值算法（ISTA）、快速迭代收缩阈值算法（FISTA）、坐标梯度下降算法（CGDA）、平滑L1算法（SLA）和路径跟踪算法（PFA）。此外，我们还比较了它们的收敛速度，以及它们的潜在优势和劣势。
2023-03-07 stat.CO stat.ML
On Model Selection Consistency of Lasso for High-Dimensional Ising Models
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文从理论上分析了高维Ising模型中最小绝对收缩选择算子（Lasso）的模型选择一致性，包括有无后阈值处理。对于大小为$p$、节点度为$d$、耦合度为$θ_0$的随机正则（RR）图，严格证明了Lasso \textit{without post-thresholding}在整个顺磁相是模型选择一致的，且样本复杂性阶数$n=Ω{(d^3\log{p})}$与$\ell_1$ -正则化逻辑斯谛回归（$\ell_1$ -LogR）相同.这一结果与Meng、Obuchi和Kabashima 2021中使用统计物理学的非严格复制方法的猜想一致，从而用严格的证明对其进行了补充。对于一般的树型图，证明了在依赖条件和不相干条件的适当假设下，可以得到与RR图相同的结果。此外，我们提供了一个严格的证明模型选择一致性的Lasso后阈值一般树状图在顺磁阶段的依赖性和不相干条件没有进一步的假设。实验结果与理论分析相吻合。
2023-02-17 cs.LG math.ST stat.ML
Automatic sparse PCA for high-dimensional data
本文针对高维数据中阈值稀疏主成分分析对阈值敏感的问题，提出一种基于定制降噪的自动阈值估计方法，以更低计算成本获得一致且准确的主成分方向，并验证其在聚类和实际数据分析中的有效性。
2023-05-26 math.ST stat.ME stat.TH
High dimensional thresholded regression and shrinkage effect
通过正则化的高维稀疏建模为分析大规模数据集和获得有意义的、可解释的模型提供了一个强大的工具。非凸罚函数的使用显示出在选择高维重要特征方面的优势，但这种方法的全局最优性仍然需要更多的理解。在本文中，我们考虑稀疏回归与硬阈值惩罚，我们给阈值回归。这种方法的动机是它与$L_0$ -正则化的密切联系，这可能是不现实的，但在实践中实施的吸引人的采样属性，和它的计算优势。在一些温和的正则条件下，允许可能呈指数增长的维度，我们建立了预言不等式的正则化估计，作为全球最小，在各种预测和变量选择损失，以及预言风险不等式的硬阈值估计，其次是进一步的$L_2$ -正则化。在估计损失和预测损失下，风险属性表现出有趣的收缩效应。我们确定的脊参数，这是同时具有优势的$L_2$损失和预测损失的最佳选择。这些新的结果和现象被模拟和实际数据的例子所证实。
2016-05-11 stat.ME stat.ML
On posterior distribution of Bayesian wavelet thresholding
我们调查后收敛速率小波收缩使用贝叶斯方法在一般Besov空间。而不是研究与特定损失函数相关的贝叶斯估计，我们专注于后验分布本身从非参数贝叶斯渐近的角度来看，并研究其收敛速率。我们得到相同的速度在\citet{abramovich04}，其中作者研究了几个贝叶斯估计的收敛性。
2007-09-21 math.ST stat.TH
Adaptive Forward Stepwise Regression
本文提出自适应前向逐步回归（AFS），在前向逐步选择与LASSO之间连续插值，兼具更高稀疏性和收缩稳定性，并在模拟与真实数据中取得更低均方误差和更少特征。
2024-11-19 stat.ME
Approximate Risk Minimization Over Shrinking-Thresholding Rules in Normal Mean Estimation
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
该研究为正态均值估计中的收缩阈值规则构建近似风险最小化框架，推导最优条件，得到估计器NOMAD，发展相关理论并扩展框架到相关观测及线性回归，提供了统一的基于风险的框架。
2026-07-08 math.ST stat.AP stat.ME
A Proximal Distance Algorithm for Likelihood-Based Sparse Covariance Estimation
本文讨论的任务，估计协方差阵下的无模式稀疏性假设。与现有的基于阈值或收缩惩罚的方法相比，我们提出了一种基于似然的方法，该方法将协方差估计到对称稀疏集的距离正则化。该公式避免了由更常见的范数惩罚引起的不必要的收缩，并通过求解一系列光滑，无约束的子问题来优化所得到的非凸目标。这些子问题的产生和解决，通过最近距离版本的优化最小化原则。由此产生的算法执行迅速，优雅地处理设置的参数的数量超过的情况下，产生一个正定的解决方案，并享有理想的收敛性能。从经验上讲，我们证明了我们的方法优于竞争方法的几个指标在一套模拟实验。它的优点说明了一个国际移民数据集和一个经典的案例研究流式细胞术。我们的研究结果表明，细胞信号数据的边缘和条件依赖网络比以前得出的结论更相似。
2021-09-09 stat.ME
Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and Thresholds
Texas A&M University（德克萨斯农工大学）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，展开迭代算法作为神经网络已经成为解决稀疏恢复问题的经验成功。但是，对它的理论认识还不成熟，这就阻碍了我们充分利用神经网络的力量。在这项工作中，我们研究了展开的ISTA（迭代收缩保持算法）的稀疏信号恢复。我们引入了一个权重结构，这是必要的渐近收敛到真正的稀疏信号。在这种结构下，展开ISTA可以获得线性收敛，这比一般情况下ISTA/FISTA的次线性收敛更好。此外，我们建议在网络中加入阈值来执行支持选择，这很容易实现，并且能够在理论和经验上提高收敛速度。广泛的模拟，包括稀疏向量恢复和压缩感知实验的真实图像数据，证实了我们的理论结果，并证明其实际用途。我们已将我们的代码公开发布：https://github.com/xchen-tamu/linear-lista-cpss。
2018-11-04 cs.LG stat.ML
Smooth SCAD: A Raised Cosine SCAD Type Thresholding Rule for Wavelet Denoising
Texas A&M University（德克萨斯农工大学）；UNICAMP（坎皮纳斯州立大学）；Université Savoie Mont Blanc, Polytech Annecy-Chambéry（萨瓦蒙布朗大学，阿讷西-尚贝里理工学院）
本文提出一种平滑SCAD阈值规则，用于小波去噪，结合低偏差、精确稀疏性和分析便利性，提供可操作的改进。
2026-01-16 cs.CE math.ST stat.CO
Asymptotics of Empirical Eigen-structure for Ultra-high Dimensional Spiked Covariance Model
我们推导出的渐近分布的尖峰特征值和特征向量的广义和统一的渐近制度下，考虑到尖峰幅度的领先特征值，样本量，和维数。这种新的制度允许高维和发散的特征值尖峰，并提供了新的见解的主导特征值，样本量，和维度发挥主成分分析的作用。结果证明了一个技术设备，它交换的行和列的作用，并将高维问题转化为低维的。我们的结果是Paul（2007）中的结果的自然扩张，以新的见解扩展到更一般的环境，并解决了Shen等人（2013）中的收敛率问题。揭示了用主成分分析估计主特征值和特征向量时存在的偏差，并提出了一种新的近似因子模型协方差估计量--收缩主正交补阈值法（S-POET），以纠正这种偏差.我们的结果被成功地应用于大投资组合的风险估计和相关检验统计量的错误发现比例的突出问题，并通过模拟研究加以说明。
2015-09-12 math.ST stat.ME stat.TH
Learned Interpretable Residual Extragradient ISTA for Sparse Coding
Xidian University（西安电子科技大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，学习迭代收缩阈值算法（LISTA）的研究受到了越来越多的关注。大量的实验和理论证明了LISTA算法在解决稀疏编码问题上的高效性。然而，现有的LISTA方法都是串行连接的。为了解决这个问题，我们提出了一种新的基于外梯度的LISTA（ELISTA），它具有残差结构和理论保证。特别是，我们的算法也可以提供Res-Net在一定程度上的可解释性。从理论的角度来看，我们证明了我们的方法达到线性收敛。在实践中，大量的实证结果验证了我们的方法的优点。
2021-06-22 cs.LG math.OC stat.CO
Learning step sizes for unfolded sparse coding
Inria（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎-萨克雷大学）
稀疏编码通常通过迭代优化技术来解决，例如迭代收缩保持算法（ISTA）。利用神经网络展开和学习ISTA的权值是一种有效的加速估计方法。在本文中，我们研究了ISTA的自适应步长的选择。我们表明，一个简单的步长策略可以提高ISTA的收敛速度，利用稀疏的迭代。然而，这在大多数大规模应用中是不切实际的。因此，我们提出了一种网络架构，其中只学习ISTA的步长。我们证明，对于一大类展开算法，如果算法收敛到Lasso的解，则其最后一层对应于具有学习步长的ISTA。实验表明，当解足够稀疏时，我们的方法与最先进的网络具有竞争力。
2019-05-27 cs.LG stat.ML
Metalearning: Sparse Variable-Structure Automata
Concordia University（康考迪亚大学）；Shiraz University（设拉子大学）；Kettering University（凯特林大学）
编码器输出的尺寸（即，代码层）是用于在适当空间中表示输入数据的关键超参数。必须仔细选择该尺寸，以保证所需的重建精度。虽然过完备表示可以解决这个维数问题，但计算复杂性将随着维数的增加而增加。受非参数方法的启发，在这里，我们提出了一种元学习方法来增加动态稀疏编码中使用的基向量的数量。一个演员评论家算法部署自动选择一个适当的维度的特征向量所需的准确度。该方法利用在线字典学习和快速迭代收缩阈值算法（FISTA）作为推理阶段的优化器。它的目的是选择关于重建误差阈值的过完备表示的基的最小数目。该方法允许在动态框架中在线控制表示尺寸和重构误差。
2021-01-30 cs.LG eess.SP stat.ML
Consistent Group selection using Global-local prior in High dimensional setup
针对高维场景下带固有分组结构的回归变量模型选择问题，本文提出带多项式尾部的改进全局-局部收缩先验及半阈值分组选择规则，证明其理论性质并通过仿真验证可达到与尖峰-平板先验相近的效果。
2025-11-19 math.ST stat.TH
Hyperparameter Tuning is All You Need for LISTA
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Alibaba US, Damo Academy（阿里巴巴美国达摩院）
学习迭代收缩保持算法（LISTA）引入了展开迭代算法并像神经网络一样训练它的概念。它在稀疏恢复方面取得了巨大成功。在本文中，我们证明了在LISTA网络中向中间变量添加动量可以实现更好的收敛速度，特别是具有实例最优参数的网络是超线性收敛的。此外，我们的新的理论结果导致一个实用的方法，自动和自适应地计算LISTA网络层的参数的基础上，其以前的层。也许最令人惊讶的是，这种自适应参数过程将LISTA的训练减少到仅从数据中调整三个超参数：在最近削减LISTA复杂性的进展背景下的新记录集。我们称之为超轻量网络HyperLISTA。与最先进的LISTA模型相比，HyperLISTA在可见数据分布上实现了几乎相同的性能，并且在不可见分布（特别是具有不同稀疏度和非零幅度的分布）上进行测试时表现更好。代码可用：https://github.com/VITA-Group/HyperLISTA。
2021-10-29 cs.LG stat.ML
Large Spectral Density Matrix Estimation by Thresholding
多元时间序列的谱密度矩阵估计是时间序列和信号处理中的经典问题。在现代神经科学中，基于谱密度的度量通常用于分析大脑区域之间的功能连接。在本文中，我们开发了一个非渐近理论的正则化估计的高维谱密度矩阵的高斯和线性过程使用阈值版本的平均周期图。我们的理论分析确保了一致的估计的$p$维时间序列的谱密度矩阵使用$n$样本是可能的高维制度$\log p / n \rightarrow 0$，只要真正的谱密度是近似稀疏的。我们分析的一个关键技术组成部分是一个新的平均周期图围绕其期望值的集中不等式，这是独立的利益。我们的估计一致性的结果补充现有的结果收缩为基础的估计多变量谱密度，不需要假设稀疏性，但只确保一致的估计制度$p^2/n \rightarrow 0$。此外，我们提出的基于阈值的估计器在学习多变量时间序列的组成部分之间的相干网络时执行一致和自动的边缘选择。我们证明了我们的估计的优势，使用模拟研究和实际数据应用功能性连接分析与功能磁共振成像数据。
2018-12-03 math.ST stat.ME stat.ML
Empirical Bayes Estimators for High-Dimensional Sparse Vectors
研究了由独立同分布的观测值估计高维稀疏向量$\boldsymbolθ \in \mathbb{R}^n$的问题。考虑高斯噪声。使用平方误差损失来测量性能。经验贝叶斯收缩估计，使用伯努利-高斯先验，进行了分析和比较，与著名的软阈值估计。我们得到了Stein无偏风险估计和两个估计的损失函数的浓度不等式。结果表明，对于大的$n$，风险估计和损失函数都集中在接近真实风险的确定性值上。取决于底层的$\boldsymbolθ$，所提出的经验贝叶斯（eBayes）估计器或软阈值化可以具有较小的损失。我们考虑一个混合估计，试图选择更好的软阈值估计和eBayes估计通过比较他们的风险估计。结果表明：i）混合估计量的损失集中在两个竞争估计量的损失的最小值上，以及ii）混合估计量的风险在两个风险的最小值的$\frac{1}{\sqrt{n}}$阶内。仿真结果支持理论结果。最后，我们使用eBayes和混合估计器作为压缩感知近似消息传递（AMP）算法中的去噪器，并表明它们的性能在很宽的设置范围内优于软阈值去噪器。
2018-12-27 cs.IT math.IT math.ST
Geodesic slice sampling on the sphere
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）；Universität Passau（帕绍大学）
本文提出了一种高效的球面上测地切片采样方法，通过收缩机制实现高效采样，且在复杂分布上优于传统采样器。
2026-03-08 math.PR math.ST stat.ME
