Eigenvectors from Eigenvalues Sparse Principal Component Analysis (EESPCA)
我们提出了一种新的稀疏主成分分析技术。这种方法称为特征向量稀疏主成分分析（EESPCA），它是基于由全矩阵和相关子矩阵的特征值计算Hermitian矩阵的平方特征向量载荷的公式。我们探索两个版本的EESPCA方法：一个版本，使用一个固定的阈值诱导稀疏性和一个版本，通过交叉验证选择阈值。相对于Witten等人的最新稀疏PCA方法，Yuan & Zhang和Tan等人，固定阈值EESPCA技术在计算速度上提供了数量级的改进，不需要通过交叉验证来估计调谐参数，并且可以更准确地识别跨数据矩阵大小和协方差结构的范围的真零主分量负载。重要的是，EESPCA方法实现了这些优点，同时保持样本外重构误差和PC估计误差接近所有评估方法产生的最低误差。EESPCA是一种实用有效的稀疏PCA技术，特别适用于计算要求高的统计问题，例如高维数据集的分析或涉及稀疏PC重复计算的统计技术（如RESPONSE）的应用。
2021-09-23 q-bio.QM stat.ME
Sparse Generalized Eigenvalue Problem with Application to Canonical Correlation Analysis for Integrative Analysis of Methylation and Gene Expression Data
我们提出了一种方法，用于高维，低样本量的数据，利用在多变量分析的投影高维数据到几个有意义的方向，是解决方案的广义特征值问题的反复出现的主题的个人和综合分析。我们提出了一个通用的框架，称为SELP（稀疏估计与线性规划），其中一个可以得到一个稀疏估计的广义特征值问题的解向量。我们证明了SELP在典型相关分析中的实用性，用于乳腺癌研究中甲基化和基因表达谱的综合分析，并且我们确定了一些已知与乳腺癌发生相关的基因，这表明所提出的方法能够产生具有生物学意义的见解。仿真研究表明，所提出的方法进行竞争，与现有的一些方法相比，在识别各种潜在的协方差结构的真实信号。
2016-11-03 stat.ME
Penalized Orthogonal Iteration for Sparse Estimation of Generalized Eigenvalue Problem
提出了一种求解广义特征值问题（GEP）特征向量稀疏估计的新算法。GEP出现在许多现代数据分析情况和统计方法中，包括主成分分析（PCA）、多类线性判别分析（LDA）、典型相关分析（CCA）、充分降降维（SDR）和不变坐标选择。我们建议修改标准的广义正交迭代与稀疏诱导惩罚的特征向量。为了实现这一目标，我们推广的正交迭代方程求解步骤的惩罚凸优化问题。由此产生的算法，称为惩罚正交迭代，提供了准确的估计的真实特征空间，当它是稀疏的。还提出了一种计算效率更高的替代方案，它适用于PCA和LDA问题。数值研究表明，所提出的算法是有竞争力的，我们的调整过程工作良好。我们展示了该算法的应用，以获得稀疏估计PCA，多类LDA，CCA和SDR。补充材料可在网上查阅。
2018-06-27 stat.ME
Sparse Linear Regression: Sequential Convex Relaxation, Robust Restricted Null Space Property, and Variable Selection
针对高维稀疏线性回归问题，提出序列凸松弛算法iSCRA-TL1，基于鲁棒限制零空间性质等理论证明其可在弱条件下、有限步数内获得神谕估计量，弥补了Lasso估计量质量不足的缺陷。
2024-11-02 math.ST stat.TH
Restricted Eigenvalue from Stable Rank with Applications to Sparse Linear Regression
数据维度（$d$）远远超过观测数（$n$）的高维设置在许多统计和机器学习应用中很常见。基于$\ell_1$ -松弛的方法，例如Lasso，在这些设置中非常流行用于稀疏恢复。限制特征值（RE）条件是最弱的，因此是最普遍的，在文献中施加的Gram矩阵，保证良好的统计性质的Lasso估计的条件。很自然地会问：什么样的矩阵族满足RE条件？在这方面的工作之后，我们构建了一个新的广泛的依赖随机设计矩阵，有一个明确的RE绑定合奏。我们的建设开始与一个固定的（确定性的）矩阵$X \in \mathbb{R}^{n \times d}$满足一个简单的稳定的秩条件，我们表明，从分布$X Φ^\top Φ$，其中$Φ\in \mathbb{R}^{m \times d}$是一个亚高斯随机矩阵，具有高概率，满足RE条件的矩阵。这种构造允许将具有易于{ \em验证}条件的固定矩阵合并到设计过程中，并且允许生成具有比标准设计矩阵更低的存储要求的{ \em压缩}设计矩阵。我们给出了两个应用程序的稀疏线性回归问题，包括一个压缩的稀疏回归设置的回归算法只能访问一个压缩表示的固定设计矩阵$X$。
2018-02-17 cs.DS math.ST stat.ML
Functional Principal Component Analysis for Sparse Censored Data
Duke University（杜克大学）；North Carolina State University（北卡罗来纳州立大学）
本文提出了一种适用于稀疏截断数据的功能主成分分析方法，通过恢复平滑的均值和协方差表面来减少偏差，并在广义功能线性模型中展示了其应用。
2026-03-22 stat.ME
On the Quality of a Semidefinite Programming Bound for Sparse Principal Component Analysis
我们研究的问题，近似一个积极的，半定矩阵$Σ$的二元$xx^T$，与惩罚的基数向量$x$。这个问题出现在稀疏主成分分析中，其中寻求涉及稀疏因子的$Σ$的分解。我们表达这个困难的组合问题作为一个最大本征值问题，在其中，我们寻求最大化，在一个盒子，一个对称矩阵，是线性的变量的最大本征值。这种表示允许使用鲁棒优化技术，基于半定规划导出一个界。使用Nemirovski和Ben-Tal（2002）启发的技术研究了边界的质量。
2006-02-03 math.OC math.ST stat.TH
Sparse Generalized Eigenvalue Problem: Optimal Statistical Rates via Truncated Rayleigh Flow
稀疏广义特征值问题（GEP）是一类重要的高维统计模型，包括稀疏Fisher判别分析、典型相关分析和充分降维等。稀疏GEP涉及解决非凸优化问题。大多数现有的方法和理论的背景下，特定的统计模型的特殊情况下的稀疏GEP需要限制性的结构假设的输入矩阵。在本文中，我们提出了一个两阶段的计算框架来解决稀疏GEP。在第一阶段，我们解决了稀疏GEP的凸松弛。以解为初始值，然后利用非凸优化的角度，提出截断瑞利流方法（步枪）来估计领先的广义特征向量。我们证明了Rifle对于许多统计模型线性收敛到一个具有最优统计收敛速度的解。从理论上讲，我们的方法显着改善了现有的文献，通过消除结构假设的输入矩阵的两个阶段。为了实现这一点，我们的分析涉及两个关键组成部分：（i）一个新的分析的梯度为基础的方法上的非凸目标函数，和（ii）细粒度的表征稀疏模式的演变沿solutionpath.Thoroughnumericalstudies提供验证的理论结果。
2018-08-31 stat.ML
Efficient Statistics for Sparse Graphical Models from Truncated Samples
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文研究截尾样本下的高维估计。我们专注于两个基本和经典的问题：（i）稀疏高斯图形模型的推理和（ii）支持稀疏线性模型的恢复。(i)对于高斯图形模型，假设$d$维样本${\bf x}$是从高斯$N(μ,Σ)$生成的，并且仅当它们属于子集$S \subseteq \mathbb{R}^d$时才被观察到。我们发现，$μ$和$Σ$可以估计错误$ε$在Frobenius范数，使用$\tilde{O}\left(\frac{\textrm{nz}(Σ^{-1})}{ε^2}\right)$样本从截断$\mathcal{N}(μ,Σ)$和访问$S$的成员预言。集合$S$被假定为在未知分布下具有非平凡测度，但在其他方面是任意的。(ii)对于稀疏线性回归，假设生成样本$({\bf x},y)$，其中仅当$y$属于截断集$S \subseteq \mathbb{R}$时才看到$y = {\bf x}^\top{Ω^*} + \mathcal{N}(0,1)$和$({\bf x}, y)$。我们考虑$Ω^*$是稀疏的情况下，支持集的大小$k$。我们的主要结果是建立精确的条件上的问题尺寸$d$，支持大小$k$，观测$n$的数量，和属性的样本和截断，足以恢复$Ω^*$的支持。具体而言，我们表明，在一些温和的假设下，只有$O(k^2 \log d)$样本需要估计$Ω^*$在$\ell_\infty$ -范数有…
2020-06-17 cs.DS cs.LG math.ST
Zero-Truncated Poisson Regression for Sparse Multiway Count Data Corrupted by False Zeros
针对受假零污染的多路稀疏计数数据，提出零截断泊松回归方法，通过张量补全估计低秩泊松参数，理论保证在欠定场景下实现准确回归。
2023-04-12 cs.MS cs.NA math.NA
Sparse Generalized Eigenvalue Problem via Smooth Optimization
Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们考虑了广义特征值问题（GEP）的$\ell_{0}$ -范数惩罚形式，旨在提取矩阵对的首稀疏广义特征向量。该公式涉及非凸约束集上的不连续非凹目标函数的最大化，因此在计算上是难以处理的。为了解决这个问题，我们首先近似$\ell_{0}$ -范数的连续代理函数。然后，通过迭代优化代理函数的二次可分函数，在每一次迭代减少到一个规则的广义特征值问题的算法。提出了一种求首广义特征向量的预条件最速上升算法。提出了一种基于平滑的系统方法来处理当使用二次函数来优化不可微代理函数时出现的“奇异性问题”。对于具有特殊结构的稀疏GEPs，推导出了每次迭代都能得到封闭解的算法。数值实验表明，所提出的算法的计算复杂度和支持恢复方面的匹配或优于现有的算法。
2014-11-18 cs.LG stat.ML
D-SLR: The Disjoint Row-Sparse plus Low-Rank Decomposition
Chalmers University of Technology（查尔姆斯理工大学）
本文提出D-SLR分解，作为截断SVD的闭式替代方法，通过将行限制为逐字存储或低秩近似，在相同或更少参数下提升重构性能，无需调参，在多类真实数据实验中验证了其有效性。
2026-10-09 cs.LG stat.ME stat.ML
Large Scale Empirical Risk Minimization via Truncated Adaptive Newton Method
University of Pennsylvania（宾夕法尼亚大学）
我们考虑大规模的经验风险最小化（ERM）问题，其中问题的维度和变量的大小都很大。在这些情况下，大多数二阶方法是不可行的，因为在所有样本上计算Hessian和在高维中计算其逆的成本都很高。在本文中，我们提出了一种新的自适应样本量的二阶方法，它降低了计算的海森通过解决一系列的ERM问题对应的一个子集的样本，并使用截断的特征值分解，降低了计算的海森逆的成本。我们表明，虽然我们几何增加的训练集的大小在每个阶段，一个单一的迭代截断牛顿法是足够的，以解决新的ERM在其统计精度。此外，对于大量的样本样本个数，我们被允许在每个阶段的训练集的大小增加一倍，所提出的方法随后达到统计精度的完整的训练集大约在两个有效的通过。除了这个理论结果，我们经验表明，一些众所周知的数据集，建议截断自适应样本量算法优于随机替代解决ERM问题。
2017-05-22 cs.LG math.OC stat.ML
