Penalized Orthogonal Iteration for Sparse Estimation of Generalized Eigenvalue Problem
提出了一种求解广义特征值问题（GEP）特征向量稀疏估计的新算法。GEP出现在许多现代数据分析情况和统计方法中，包括主成分分析（PCA）、多类线性判别分析（LDA）、典型相关分析（CCA）、充分降降维（SDR）和不变坐标选择。我们建议修改标准的广义正交迭代与稀疏诱导惩罚的特征向量。为了实现这一目标，我们推广的正交迭代方程求解步骤的惩罚凸优化问题。由此产生的算法，称为惩罚正交迭代，提供了准确的估计的真实特征空间，当它是稀疏的。还提出了一种计算效率更高的替代方案，它适用于PCA和LDA问题。数值研究表明，所提出的算法是有竞争力的，我们的调整过程工作良好。我们展示了该算法的应用，以获得稀疏估计PCA，多类LDA，CCA和SDR。补充材料可在网上查阅。
2018-06-27 stat.ME
Resistant Multiple Sparse Canonical Correlation
典型相关分析（CCA）是一种多变量技术，它采用两个数据集并在它们之间形成最高度相关的可能线性组合对。随后的每一对线性组合都与前一对正交，这意味着从每一对中收集到新的信息。通过查看系数值的大小，我们可以找出哪些变量可以分组在一起，从而更好地理解难以直观计算或掌握的多个相互作用。CCA似乎对高通量数据有相当强大的应用，因为我们可以用它来发现，例如，基因表达和基因拷贝数变异之间的关系。CCA最大的问题之一是变量的数量（通常超过10，000）使得线性组合的生物学解释几乎不可能。为了限制变量输出，我们采用了一种称为稀疏典型相关分析（SCCA）的方法，同时增加了对极端观测或其他类型的偏差数据具有抵抗力的估计。在本文中，我们已经证明了成功的抗性估计变量选择使用SCCA。此外，我们还使用SCCA来查找多个规范对，以扩展有关手头数据集的知识。同样，在多重典型相关设置中，使用抵抗估计比标准估计提供更准确的估计。R代码可在https://github.com/hardin47/rmscca上获得并记录。
2015-12-20 stat.ME
Nonlinear Sparse Generalized Canonical Correlation Analysis for Multi-view High-dimensional Data
New York University（纽约大学）；University of California, San Francisco（加州大学旧金山分校）；East China Normal University（华东师范大学）；University of Michigan（密歇根大学）
针对多视图高维数据，提出三种非线性稀疏广义CCA方法（HSIC-SGCCA、SA-KGCCA、TS-KGCCA），其中HSIC-SGCCA通过块近线性与线性化ADMM求解非凸问题，并在模拟和TCGA-BRCA数据上优于现有方法。
2025-02-26 cs.LG stat.ML
Two New Approaches to Compressed Sensing Exhibiting Both Robust Sparse Recovery and the Grouping Effect
在本文中，我们介绍了一种新的稀疏回归和压缩感知的优化配方，称为CLOT（组合L-One和Two），其中正则化是一个凸组合的$\ell_1$ -和$\ell_2$ -规范。该公式与弹性网络（EN）公式不同，在弹性网络（EN）公式中，正则化子是$\ell_1$ -和$\ell_2$ -范数平方的凸组合。结果表明，在压缩感知的背景下，EN制定没有实现稳健的恢复稀疏向量，而新的CLOT制定实现稳健的恢复。此外，与EN类似但与LASSO不同，CLOT公式实现了分组效应，其中测量（或设计）矩阵的高度相关列的系数被分配大致相当的值。已知LASSO不具有分组效应。因此，CLOT公式结合了LASSO（鲁棒稀疏恢复）和EN（分组效应）的最佳特征。CLOT公式是另一种称为SGL（稀疏组LASSO）的特殊情况，该SGL以前被引入到文献中，但没有对分组效应或鲁棒稀疏恢复进行任何分析。它在这里示出，SGL实现了强大的稀疏恢复，也实现了一个版本的分组效应，属于同一组的测量（或设计）矩阵的高度相关的列的系数被分配大致相当的值。
2017-06-20 stat.ML
Sparse Canonical Correlation Analysis via Concave Minimization
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
提出了一种新的稀疏典型相关分析（sCCA）方法，其目的是在高维多视图问题中发现可解释的关联，即对同一主题的多组变量的观察。受Albernee等人（2010）的稀疏PCA方法的启发，我们还证明了稀疏CCA公式，虽然是非凸的，但等价于一个紧集上凸目标的最大化程序，为此我们提出了一阶梯度方法。这个结果帮助我们将搜索空间大幅减少到集合的边界。因此，我们提出了一个两步算法，其中我们首先使用我们的快速算法推断典型方向的稀疏模式，然后我们缩小每个视图，即一组协变量的观测值，以包含在前一步中选择的协变量集的观测值，并通过任何CCA算法计算其典型方向。我们还介绍了Directed Sparse CCA，它能够找到与指定实验设计一致的关联，以及Multi-View sCCA，用于发现多组协变量之间的关联。我们的模拟建立优越的收敛性能和计算效率，我们的算法，以及在典型的相关性和它的能力，以恢复支持的典型方向的准确性。我们研究代谢组学，transncripomics和微生物组学之间的关联在一个多组学研究使用MuLe，这是一个R-包，实现我们的方法，为了形成假设的机制，果蝇黑腹果蝇适应高剂量的环境毒物，特别是阿特拉津，这是一种常用的化肥。
2019-09-17 cs.LG stat.ML
A D.C. Programming Approach to the Sparse Generalized Eigenvalue Problem
在本文中，我们考虑的稀疏特征值问题，其中的目标是获得一个稀疏的解决方案的广义特征值问题。我们实现了这一点，通过约束的广义特征值问题的解决方案的基数，并获得稀疏主成分分析（PCA），稀疏典型相关分析（CCA）和稀疏Fisher判别分析（FDA）的特殊情况。不同于$\ell_1$ -范数近似的基数约束，以前的方法中使用的稀疏PCA的上下文中，我们提出了一个更紧密的近似，是相关的学生的t-分布的负对数似然。然后，该问题被框定为一个直流（凸函数的差异）的程序，并解决了作为一个序列的凸规划通过调用优化-最小化方法。证明了所得到的算法表现出\emph{global convergence}行为，即，对于任何随机初始化，由该算法生成的迭代序列（子序列）收敛到D.C.程序的稳定点。该算法的性能在稀疏PCA（在高维基因数据集中找到尽可能多的解释方差的相关基因）和稀疏CCA（用于音乐检索的跨语言文档检索和词汇选择）应用程序上都得到了经验证明。
2009-10-13 stat.ME stat.ML
Sparse GCA and Thresholded Gradient Descent
University of Pennsylvania（宾夕法尼亚大学）
广义相关分析（GCA）关注的是发现多个数据集之间的线性关系。它概括了为两个数据集设计的典型相关分析。我们研究稀疏GCA时，有潜在的多个广义相关元组的数据和负载矩阵有少量的非零行。它包括稀疏CCA和稀疏PCA的相关矩阵作为特殊情况。我们首先制定稀疏GCA广义特征值问题，在人口和样本水平通过仔细选择的归一化约束。基于样本优化问题的拉格朗日形式，我们提出了一个阈值梯度下降算法来估计高维的GCA加载向量和矩阵。我们推导出紧估计误差界的算法产生的估计与适当的初始化。我们还展示了一些合成数据集上的算法的威力。
2023-02-06 cs.LG stat.ML
Group Inverse-Gamma Gamma Shrinkage for Sparse Regression with Block-Correlated Predictors
重尾连续收缩先验，如马蹄先验，被广泛用于稀疏估计问题。然而，有有限的工作扩展这些先验预测与分组结构。本文中特别感兴趣的是回归系数估计，其中协变量空间中的高共线性口袋包含在已知的协变量分组中。为了减轻由于多重共线性引起的方差膨胀，我们提出了组逆伽马伽马（GIGG）先验，这是一种重尾先验，可以以数据自适应的方式在局部和组收缩之间进行权衡。GIGG先验的一个特殊情况是组马蹄先验，其收缩曲线在组内相关，使得回归系数边缘具有精确的马蹄正则化。我们证明了线性回归模型中回归系数的后验一致性和稀疏正态均值模型中均值参数的后验浓度结果。对应于GIGG回归的完整条件分布可以以封闭形式导出，从而导致直接的后验计算。我们表明，GIGG回归结果在低均方误差在很宽的范围内的相关结构和组内的信号密度，通过模拟。我们将GIGG回归应用于国家健康和营养检查调查的数据，将环境暴露与肝功能联系起来。
2021-02-21 stat.ME
Sparse CCA via Precision Adjusted Iterative Thresholding
稀疏典型相关分析（CCA）是研究两组随机变量之间关系的高维数据分析方法。然而，尽管积极的方法和应用研究活动，稀疏CCA在高维环境中的理论统计基础非常少。在本文中，我们引入了一个基本的充分和必要的特征，使CCA的解决方案确实是稀疏的，提出了一个计算效率的程序，称为CAPIT，估计的典范方向，并表明该程序是速率最优的各种假设下的冗余参数。该程序被应用于癌症基因组图谱项目的乳腺癌数据集。我们确定了与基因相关的甲基化探针，这些基因以前被描述为乳腺癌转移的预后标志。
2013-11-24 math.ST stat.ME stat.ML
Sparse Weighted Canonical Correlation Analysis
State Key Laboratory of Software Engineering, School of Computer, Wuhan University（武汉大学计算机学院软件工程国家重点实验室）；School of Mathematics Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
给定两个数据矩阵$X$和$Y$，稀疏典型相关分析（SCCA）就是寻找两个稀疏典型向量$u$和$v$，以最大化$Xu$和$Yv$之间的相关性。然而，经典和稀疏CCA模型考虑了数据矩阵的所有样本的贡献，因此无法识别潜在的特定样本子集。为此，我们提出了一种新的稀疏加权典型相关分析（SWCCA），其中权重用于正则化不同的样本。我们使用交替迭代算法求解$L_0$ -正则化SWCCA（$L_0$ -SWCCA）。我们将$L_0$ -SWCCA应用于合成数据和真实数据，以证明其有效性和优越性。最后，我们还考虑了SWCCA与不同的惩罚，如LASSO（最小绝对收缩和选择算子）和组LASSO，并将其扩展为集成三个以上的数据矩阵。
2017-10-13 cs.LG stat.ML
A simple and provable algorithm for sparse diagonal CCA
给定从一组公共样本中导出的两组变量，稀疏典型相关分析（CCA）寻求每组中少量变量的线性组合，使得诱导的典型变量具有最大相关性。稀疏CCA是NP难的。我们提出了一种新的稀疏对角CCA的组合算法，即，稀疏CCA的附加假设下，每个集合内的变量是标准化的和不相关的。我们的算法对输入数据进行低秩近似，其计算复杂度与输入变量的数量呈线性关系。它实现简单，可并行化。与大多数现有的方法相比，我们的算法管理精确的控制所提取的规范向量的稀疏性，并与理论数据相关的全局近似保证，这取决于输入数据的频谱。最后，它可以直接适用于CCA执行结构的其他约束变体，而不是稀疏性。我们经验性地评估所提出的方案，并将其应用于一个真正的神经成像数据集，以调查大脑活动和行为测量之间的关联。
2016-05-29 cs.DS cs.IT math.IT
Sparse-group SLOPE: adaptive bi-level selection with FDR-control
本文提出稀疏组SLOPE（SGS）方法，实现变量和组双层选择中的FDR控制，并通过近端算法拟合，在合成和真实数据上优于现有lasso和SLOPE模型。
2023-05-16 stat.ME
Linear Functional Testing with General Loadings in Sparse Regression: Separation Rates and Computational Barriers
Department of Statistics and Data Science, National University of Singapore（新加坡国立大学统计与数据科学系）
本文研究了在高维稀疏线性回归中，针对高斯随机设计和未知设计协方差的H0:ξ^Tβ=t0检验问题。构造了一个计算高效的混合检验方法，给出了适应性分离距离的上界，并建立了信息论下界。在超稀疏情况下，这些界限在任意ξ下描述了适应性分离率，而在中等稀疏情况下，这些界限在某些加载向量类别中匹配，但可能在一般情况下不同。此外，本文证明了一个低次下界，与上界在对数因子内匹配，表明改进混合检验的速率可能在统计上难以实现。对于平坦稀疏加载，本文通过稀疏CCA的多项式时间归约提供了进一步证据。最后，本文探讨了设计协方差信息如何影响适应性分离率，在稀疏符号尖峰协方差模型下，信息论下界可通过非高效的算法达到，而低次下界和稀疏CCA归约仍适用，提供了统计-计算差距的证据。当设计协方差已知且对角时，适应性分离率形式与超稀疏情况相同。
2026-05-20 cs.CC math.ST stat.TH
Probabilistic Canonical Correlation Analysis for Sparse Count Data
典型相关分析（CCA）是研究两组连续变量之间关系的经典而重要的多元分析方法。CCA在基因组学和神经影像学等许多领域都有应用。它可以提取有意义的特征，并将这些特征用于后续分析。尽管已经开发了一些稀疏CCA方法来处理高维问题，但它们是专门针对连续数据设计的，并且不考虑来自下一代测序平台的整数值数据，这些数据对于一些重要特征表现出非常低的计数。我们提出了一个基于模型的概率方法的相关性和典型相关估计两个稀疏计数数据集（PSCCA）。PSCCA表明，在自然参数水平上估计的相关性和典型相关性比应用于原始数据的传统估计方法更合适。我们通过模拟研究表明，PSCCA优于其他标准的相关方法和稀疏CCA方法在估计真实的相关性和典型的相关性在自然参数水平。我们进一步应用PSCCA方法来研究来自鳞状细胞肺癌研究的miRNA和mRNA表达数据集的关联，发现PSCCA可以比标准相关和其他稀疏CCA方法发现大量强相关对。
2020-05-11 stat.ME stat.ML
Sparse coding for multitask and transfer learning
University College London（伦敦大学学院）
我们研究了在多任务和迁移学习的背景下使用稀疏编码和字典学习。我们的学习方法的中心假设是，任务参数很好地近似于高维或无限维空间上的字典原子的稀疏线性组合。这个假设，以及多任务和迁移学习设置中的大量可用数据，允许对字典进行有原则的选择。我们提供了这种方法的泛化误差的界限，这两种设置。在一个合成数据集和两个真实数据集上的数值实验表明，我们的方法优于单任务学习，以前的方法基于正交和密集表示的任务和相关的方法学习任务分组。
2014-06-16 cs.LG stat.ML
Sparse canonical correlation analysis for multiple measurements with latent trajectories
针对标准CCA无法处理重复测量、现有扩展方法高维分析效果不佳的问题，提出一种纳入纵向时间动态的稀疏CCA扩展方法，可高效估计聚类数据的典型相关性，缩短计算时间并提供可解释的纵向轨迹。
2025-03-19 stat.ME
Sparse Canonical Correlation Analysis
提出了一种新的稀疏凸框架下的典型相关分析（CCA）的最小二乘法求解方法。所提出的方法侧重于当人们对第一视图的原始表示感兴趣（或限于）而对第二视图具有双重表示时的场景。稀疏CCA（SCCA）最大限度地减少了原始和双重投影中使用的特征数量，同时最大限度地提高了两个视图之间的相关性。该方法被证明在两个配对语料库的英语-法语和英语-西班牙语的配偶检索。我们能够观察到，在mate-retreival，当原始特征的数量是大的SCCA优于核CCA（KCCA），从稀疏的特征集学习共同的语义空间。
2009-08-19 stat.ME stat.ML
Integrative analysis of transcriptomic and metabolomic data via sparse canonical correlation analysis with incorporation of biological information
不同高维数据类型的集成分析正变得越来越流行。类似地，在数据分析中纳入变量之间的先前函数关系一直是越来越感兴趣的话题，因为它有助于阐明复杂疾病之间的潜在机制。在本文中，我们的目标是评估来自预测健康研究所（PHI）研究的转录组学和代谢组学数据之间的关联，该研究包括处于心血管疾病高风险的健康成年人。为此，我们开发了统计方法，用于确定稀疏结构的典型相关分析（CCA）与生物/结构信息的结合。我们提出的方法使用基因之间和代谢物之间的先验网络结构信息来指导稀疏CCA中相关基因和代谢物的选择，从而提供对心血管疾病分子基础的深入了解。我们的模拟结果表明，结构化稀疏CCA方法优于现有的稀疏CCA方法在选择相关的基因和代谢物时，结构信息是翔实的，是强大的错误指定的结构信息。我们对PHI研究的分析表明，许多基因和代谢途径，包括一些已知与心血管疾病相关的基因和代谢途径，在我们提出的方法选择的基因和代谢物的子集中富集。
2016-06-08 stat.AP stat.ME
Eigenvector-based sparse canonical correlation analysis: Fast computation for estimation of multiple canonical vectors
经典的典型相关分析（CCA）要求矩阵是低维的，即特征的数量不能超过样本量。CCA的最新发展主要集中在高维设置，其中分析的两个矩阵中的特征数量大大超过了样本量。这些方法在需要迭代求解的优化问题中施加惩罚，并顺序地估计多个典型向量。在这项工作中，我们提供了稀疏多元回归与稀疏典型相关分析之间的明确联系，以及一种有效的算法，可以同时估计多个典型对，而不是顺序。此外，该算法自然允许并行计算。这些性质使得算法更加有效。我们提供了理论结果的一致性的典范对。该算法和理论的发展是基于解决的特征向量问题，显着区分我们的方法与现有的方法。仿真结果支持所提出的方法的改进性能。我们应用基于特征向量的CCA分析GTEx甲状腺组织学图像，分析SNP和RNA-seq基因表达数据以及微生物组研究。实际数据分析也表明，改进的性能相比，传统的稀疏CCA。
2021-06-08 stat.AP stat.ME
A framework for interpretation and testing of sparse canonical correlations
针对高维多数据集整合的稀疏CCA可解释性问题，提出基于软阈值的稀疏CCA方法，无需调参、初始化依赖低，相比PMA可解释性更优且信号发现能力不弱甚至更强。
2023-10-04 stat.ME
Efficient Canonical Correlation Analysis with Sparsity
University of Chicago（芝加哥大学）；University of Toronto（多伦多大学）
针对高维CCA中计算速度与统计严谨性的矛盾，提出快速且可证明一致的稀疏CCA算法ECCAR，通过降秩回归实现无投影高效求解，在模拟和生物数据及ML可解释任务中验证了其可靠性与实用性。
2026-09-11 stat.ME
High Dimensional Sparse Canonical Correlation Analysis for Elliptical Symmetric Distributions
针对椭圆对称分布下两个高维随机向量的线性关系研究，本文提出结合空间符号协方差矩阵与稀疏诱导惩罚项的鲁棒高维稀疏CCA方法，理论与实验证明其在重尾分布下优于现有方法，提供高维CCA的稳定高效解决方案。
2025-04-17 stat.ME
A sequential stepwise screening procedure for sparse recovery in high-dimensional multiresponse models with complex group structures
具有复杂群体结构的多响应数据在许多领域都有出现，但由于复杂群体结构识别的困难，目前对这一问题的研究还很少。我们提出了一种新的算法称为序贯逐步筛选过程（SeSS）的特征选择高维多响应模型与复杂的组结构。该算法鼓励分组效应，其中响应和预测因子来自不同的组，并且允许每个响应组与多个预测因子组相关。为了在复杂的群结构下得到正确的模型，该方法首先通过典型相关测度（CC）选择非零块和非零行，然后通过扩展的贝叶斯信息准则（EBIC）选择非零项.我们表明，这种方法是准确的，在非常稀疏的模型和计算吸引力。建立了SeSS的理论性质。我们进行模拟研究，并考虑一个真实的例子，比较其性能与现有的方法。
2022-08-13 stat.CO stat.ME
Dual Feature Reduction for the Sparse-group Lasso and its Adaptive Variant
Department of Mathematics, Imperial College London, London, UK（帝国理工学院伦敦校区数学系）
本文提出双重特征约简（DFR）方法，利用对偶范数和次微分构建两层强筛选规则，在优化前缩减稀疏组 lasso 及其自适应变体的输入空间，在不影响解最优性的前提下大幅降低计算成本。
2025-09-17 cs.LG stat.ML
Cluster Developing 1-Bit Matrix Completion
University of Sydney（悉尼大学）
矩阵补全作为推荐系统的核心技术已经有很长的使用历史。特别是1位矩阵补全，它将预测视为“推荐”或“不推荐”问题，已经证明了它在该领域的意义和有效性。然而，虽然客户和产品聚集成相互作用的集群，国家的最先进的基于模型的1位推荐系统不考虑分组偏见。为了解决这一问题，本文首次在低秩隐变量框架下将特定于组的效应整合到1位推荐系统中，引入了特定于组的1位矩阵完备（GS1 MC）。此外，即使在分组信息无法获得的情况下，也可以增强GS1 MC的能力，通过将稀疏子空间聚类技术集成到GS1 MC中，提出了聚类发展矩阵完成（CDMC）。也就是说，CDMC允许聚类用户/项目，并同时利用他们的群体效应完成矩阵。对合成数据和真实数据的实验表明，GS1 MC优于当前的1位矩阵完成方法。同时，CDMC仅基于稀疏的二进制用户-项目交互数据就能成功地捕获项目的体裁特征。值得注意的是，GS1 MC提供了一个新的见解，纳入和评估聚类方法的有效性，而CDMC可以作为一个新的工具，探索未揭示的社会行为或市场现象。
2019-04-07 cs.LG stat.ML
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT（麻省理工学院）；Cornell（康奈尔大学）；Stanford（斯坦福大学）
ControlBurn是一个Python包，用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合，优先考虑具有少量特征的基函数，然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此，ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性：例如，它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径（任何数量的选定特征的预测误差）。对于较大的数据集，运行时在样本和特征的数量上线性缩放（最多为对数因子），并且包支持使用草图加速。此外，ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的：它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
Sparse Learning and Class Probability Estimation with Weighted Support Vector Machines
Statistics and Data Science GIDP, University of Arizona（统计与数据科学GIDP，亚利桑那大学）；Department of Mathematics, University of Arizona（数学系，亚利桑那大学）
本文提出了一种新的加权支持向量机框架，结合自动变量选择与准确的概率估计，用于稀疏学习问题。通过解决ℓ1范数或弹性网络正则化的优化问题，实现了高效的变量选择和可靠的概率估计。
2026-03-24 cs.LG stat.ME stat.ML
Variable selection via fused sparse-group lasso penalized multi-state models incorporating molecular data
针对高维多状态模型的变量选择问题，提出融合稀疏组套索（FSGL）惩罚的Cox型回归方法，整合协变量效应成对差异惩罚与转移分组，适配ADMM算法优化，在模拟及AML数据中验证了其选择稀疏模型的有效性及相比全局套索的优势。
2024-11-26 stat.AP stat.ME
RNN Architecture Learning with Sparse Regularization
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
NLP的神经模型通常使用大量参数来达到最先进的性能，这可能导致过多的内存使用和运行时间增加。我们提出了一种结构学习方法来学习稀疏的，参数有效的NLP模型。我们的方法将组套索应用于有理RNN（Peng et al.，2018），一个与加权有限状态自动机（WFSA）密切相关的模型家族。我们利用了RNN对权重的自然分组，因此组套索惩罚直接删除了WFSA状态，大大减少了模型中的参数数量。我们在一些情感分析数据集上进行的实验，使用GloVe和BERT嵌入，表明我们的方法可以学习参数较少的神经结构，而不会牺牲相对于参数丰富的基线的性能。我们的方法还突出了理性RNN的可解释性。我们表明，稀疏化这样的模型，使他们更容易可视化，我们提出的模型，完全依赖于少至三个WFSA修剪后超过90%的权重。我们公开发布代码。
2019-09-06 cs.CL cs.LG stat.ML
A Bayesian Methodology for Estimation for Sparse Canonical Correlation
本文提出一种新的贝叶斯结构化稀疏CCA方法，通过贝叶斯无限因子模型、乘性半柯西先验和图马蹄先验在载荷矩阵与协方差矩阵两个层面鼓励稀疏性，并在模拟和乳腺癌多组学数据上验证了其稳健估计性能。
2023-10-30 stat.CO stat.ME stat.ML
A Sparse-Group Pliable Lasso
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Calgary（卡尔加里大学）
该研究提出稀疏组柔性Lasso（SGPL）模型及分块坐标下降算法，经模拟与真实数据验证，其预测性能优、交互项估计误差小，可用于微生物组与癌症基因组相关研究。
2026-08-25 math.ST stat.ME stat.TH
Sparse Separable Factor Analysis in the Complex Domain with an Application to Local Field Potential Data
University of Iowa（爱荷华大学）
本文提出复域稀疏可分因子分析（SSFA）模型，通过复软阈值等方法实现协方差估计优化，并将其应用于小鼠局部场电位数据的可分结构分析与缺失记录插补。
2026-08-25 cs.LG stat.CO stat.ME
Simultaneous Grouping and Denoising via Sparse Convex Wavelet Clustering
University of Florida Informatics Institute（佛罗里达大学信息学研究所）；Rice University（莱斯大学）
聚类是数据科学和信号处理中普遍存在的问题。在我们观察噪声信号的许多应用中，通常的做法是首先对数据进行降噪，可能使用小波降噪，然后应用聚类算法。在本文中，我们开发了一种稀疏凸小波聚类方法，同时去噪和发现群体。我们的方法利用凸融合的罚款，以实现凝聚和组稀疏的罚款去噪，通过稀疏在小波域。与通常的去噪然后聚类的做法相反，我们的方法是一个统一的，凸的方法，同时执行。我们的方法产生去噪（小波稀疏）聚类质心，既提高了可解释性和数据压缩。我们证明了我们的方法在合成的例子和NMR光谱的应用。
2021-03-04 cs.LG eess.SP stat.ME
Sparse-Group Boosting with Balanced Selection Frequencies: A Simulation-Based Approach and R Implementation
本文提出通过平衡基学习器选择频率来减少变量选择偏差的新框架，开发了R包sgboost实现稀疏组提升，并通过模拟验证其有效性，为高维分组数据建模提供实用工具。
2025-05-06 stat.AP stat.CO stat.ML
Treelets--An adaptive multi-scale basis for sparse unordered data
在许多现代应用中，包括基因表达和文本文档的分析，数据是嘈杂的，高维的，无序的-变量的给定顺序没有特定的意义。然而，由于稀疏性，成功的学习通常是可能的：数据通常是冗余的，其底层结构只能由少数特征表示。在本文中，我们提出了treasure-一种新的多尺度基础的建设，扩展小波到非光滑信号。该方法是完全自适应的，因为它返回一个层次树和一个正交基，这两者都反映了数据的内部结构。在样本量较小且数据稀疏且相关或共线变量的分组未知的情况下，树型分类法特别适合作为回归和分类之前的降维和特征选择工具。该方法实现简单，理论分析简单。在这里，我们描述了各种情况下，treatment表现优于主成分分析，以及一些常见的变量选择和聚类平均计划。我们说明了一个块的协方差模型和几个数据集（高光谱图像数据，DNA微阵列数据，和互联网广告）与变量之间的高度复杂的依赖关系的treatment。
2008-07-25 stat.ME
A greedy approach to sparse canonical correlation analysis
我们考虑稀疏典型相关分析（CCA）的问题，即，对两个线性组合的搜索，每一个多元变量对应一个线性组合，使用指定数量的变量产生最大的相关性。我们提出了一个有效的数值逼近的基础上，直接贪婪的方法，在每个阶段的相关性的界限。该方法是专门设计来处理大数据集，其计算复杂度只取决于稀疏水平。我们通过相关性和简约性之间的权衡来分析算法的性能。数值模拟的结果表明，一个显着的相关性的一部分，可以使用相对较少的变量。此外，当可用样本数量与多变量的维度相比较少时，我们研究了稀疏CCA作为正则化方法的使用。
2008-01-17 stat.CO stat.ME
Identifying Entangled Physics Relationships through Sparse Matrix Decomposition to Inform Plasma Fusion Design
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
50多年来，通过惯性约束聚变（ICF）的可持续燃烧平台一直是一个持续的挑战。减轻工程限制和改进当前的设计涉及对物理过程的复杂耦合的理解。虽然复杂的模拟代码被用来模拟ICF内爆，这些工具包含必要的数值近似，但错过了物理过程，限制了预测能力。识别ICF实验的可控设计输入和可测量的实验结果（如产量，形状）之间的关系可以帮助指导未来的实验设计和模拟代码的开发，以潜在地提高用于模拟ICF实验的计算模型的准确性。我们使用稀疏矩阵分解的方法来确定集群的几个相关的设计变量。稀疏主成分分析（SPCA）识别与变量的物理来源（激光、黑腔和胶囊）相关的分组。变量的重要性分析发现，除了与中子产额高度相关的变量，如尖峰功率和激光能量，变量，代表了一个巨大的变化的ICF设计，如脉冲步数也是非常重要的。然后使用所获得的稀疏分量来训练用于预测总产量的随机森林（RF）代理。将训练和测试数据上的RF性能与使用考虑的所有设计变量训练的RF替代品的性能进行比较。这项工作的目的是通过增强专家的直觉和模拟结果，在未来的ICF实验中告知设计变化。
2020-10-28 cs.LG physics.plasm-ph stat.ML
The sparse Laplacian shrinkage estimator for high-dimensional regression
我们提出了一个新的惩罚方法变量的选择和估计，明确纳入预测之间的相关模式。该方法基于极大极小凹罚函数和与图相关的拉普拉斯二次函数的组合作为罚函数。我们称之为稀疏拉普拉斯收缩（SLS）方法。SLS使用极大极小凹惩罚来鼓励稀疏性，使用拉普拉斯二次惩罚来促进与相关预测因子相关联的系数之间的平滑性。SLS具有一个广义的分组性质的图表示的拉普拉斯二次型。我们表明，SLS具有预言性质的意义上，它是选择一致的，等于具有高概率的预言拉普拉斯收缩估计。这个结果在稀疏的高维设置中成立，在合理的条件下p >> n。我们推导出一个坐标下降算法计算SLS估计。仿真研究进行了评估的SLS方法的性能和一个真实的数据的例子来说明其应用。
2011-12-15 math.ST stat.TH
Structured Learning in Time-dependent Cox Models
针对时间依赖Cox模型在高维变量选择中无法灵活设定稀疏结构的问题，提出一种适应任意分组结构的变量选择框架，并开发了基于网络流算法的sox包以实现高效计算与准确估计。
2024-01-06 stat.AP stat.CO stat.ME
Minimax and Adaptive Transfer Learning for Sparse Canonical Correlation Analysis
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
本文提出稀疏CCA的迁移学习框架，通过异质源数据提升目标估计，建立最小最大最优速率并设计自适应算法，无需稀疏度先验，同时提出源检测程序并推广sin-theta定理。
2026-10-06 stat.ME
Efficient Clustering of Correlated Variables and Variable Selection in High-Dimensional Linear Models
Indian Statistical Institute（印度统计研究所）
本文提出了一种自适应聚类Lasso（ACL）方法，用于变量强相关的高维稀疏回归模型的变量选择。为了处理相关变量，聚类或分组变量，然后追求模型拟合的概念被广泛接受。当维数很高时，找到一个合适的群结构和原来的问题一样困难。ACL是一个三阶段的过程，在第一阶段，我们使用Lasso（或其自适应或阈值版本）进行初始选择，然后我们还包括那些未被Lasso选择但与Lasso选择的变量密切相关的变量。在第二阶段，我们集群的变量的基础上减少预测集，并在第三阶段，我们进行稀疏估计，如Lasso集群代表或组Lasso的基础上产生的结构聚类过程。我们表明，我们的程序是一致的和有效的，在寻找真正的底层人口群体结构（假设不可表示和β-min条件下）。我们还研究了我们的方法的组选择的一致性，我们使用模拟和伪真实数据集的例子来支持理论。
2016-03-11 cs.LG stat.ML
FDR-Corrected Sparse Canonical Correlation Analysis with Applications to Imaging Genomics
减少错误发现的数量是目前生命科学中最紧迫的问题之一。这对于神经成像和基因组学中的许多应用尤其重要，其中数据集通常是高维的，这意味着解释变量的数量超过了样本量。错误发现率（FDR）是可以用于解决该问题的标准。因此，它已经获得了很大的普及作为一种工具来测试多个假设。典型相关分析（CCA）是一种统计技术，用于理解在同一组样本上收集的两组测量值的互相关（例如，相同精神疾病患者的脑成像和基因组数据），稀疏CCA将经典方法扩展到高维设置。在这里，我们提出了一种方法，应用FDR的概念稀疏CCA，和一种方法来控制FDR。所提出的FDR校正直接影响解的稀疏性，使其适应未知的真实稀疏水平。理论推导和仿真研究表明，我们的程序确实保持FDR的规范向量低于用户指定的目标水平。我们将所提出的方法应用于费城神经发育队列的成像基因组学数据集。我们的研究结果将通过功能性磁共振成像（fMRI）测量的情感识别任务期间大脑活动产生的大脑连接概况与相应受试者的基因组数据联系起来。
2018-06-23 q-bio.QM stat.AP stat.ME
$\ell_1$-norm constrained multi-block sparse canonical correlation analysis via proximal gradient descent
多块CCA构建线性关系，解释跨多个数据块的相干变化。我们认为，多块CCA的问题，寻找领先的广义特征向量，并提出解决它通过一个近似梯度下降算法与$\ell_1$约束的高维数据。特别是，我们使用衰减序列的约束在最近的迭代，并表明，由此产生的估计是速率最优的适当的假设下。虽然以前的几个作品已经证明了这种最优的$\ell_0$约束问题使用迭代方法，同样的水平的理论理解的$\ell_1$约束制定仍然缺乏。我们还描述了一个易于实现的放气过程来估计多个特征向量顺序。我们比较我们的建议，现有的几种方法，其实现可在R CRAN，所提出的方法在模拟和真实数据的例子中表现出竞争力的性能。
2022-01-14 math.ST stat.ME stat.ML
A novel framework for joint sparse clustering and alignment of functional data
我们提出了一个新的框架稀疏功能聚类，也嵌入了对齐步骤。稀疏函数聚类是指在寻找分组结构的同时，联合检测曲线域中分组结构显示最多的部分。未对齐是函数式数据分析中的一个众所周知的问题，如果处理不当，会严重影响函数式聚类结果。因此，我们开发了一个稀疏的功能聚类过程，占可能的曲线不对齐：在聚类步骤中使用的函数测量的一致性的类，其中选择的扭曲功能的保证，并证明了适定性的稀疏聚类问题。还提出了一种可能的实现算法，联合执行所有这些任务：聚类，对齐和域选择。该方法进行了测试，在各种现实情况下的模拟数据，并讨论了其应用伯克利增长研究数据和AneuRisk65数据集。
2019-12-02 stat.ME
Minimax Quasi-Bayesian estimation in sparse canonical correlation analysis via a Rayleigh quotient function
Boston University（波士顿大学）
针对稀疏 CCA 中速率最优估计计算昂贵的问题，提出基于 Rayleigh 商拟似然与 spike-and-slab 先验的 MCMC 拟贝叶斯方法，达到 minimax 速率并在实验及 Covid-19 数据分析中表现优越。
2023-11-02 cs.LG stat.CO stat.ME
Fully Bayesian Classification with Heavy-tailed Priors for Selection in High-dimensional Features with Grouping Structure
在许多使用高维数据的现代科学研究问题中，需要进行特征选择。一个典型的例子是从高维基因表达中找到与某种疾病（如癌症）相关的最有用的基因。基因的表达具有分组结构，例如，一组具有相似生物学功能的共调节基因往往具有相似的表达。已经提出了许多统计方法来将分组结构考虑在特征选择中，包括组LASSO、监督组LASSO和对组代表的回归。在本文中，我们提出了一个完整的贝叶斯Robit回归方法与重尾（稀疏）先验（简称FBRHT）选择功能与分组结构。FBRHT的主要特点包括它比LASSO更积极地丢弃不相关的特征，并且它可以在没有预先指定的分组结构的情况下自动进行组内特征选择。在本文中，我们使用模拟和真实的数据集，以证明FBRHT选择的稀疏特征子集的预测能力与LASSO，组LASSO，监督组LASSO，惩罚逻辑斯谛回归和随机森林选择的其他更大的特征子集相当，并且通过FBRHT选择的简洁特征子集具有比从通过上述方法选择的顶部特征。
2017-05-12 stat.ME
The Group R2D2 Shrinkage Prior for Sparse Linear Models with Grouped Covariates
Akita International University（秋田国际大学）；The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
本文提出组R2D2先验，用于处理具有分组协变量的稀疏线性模型，通过狄利克雷分布实现灵活的收缩，提升估计精度和预测性能。
2025-12-13 stat.ME
An integrative sparse boosting analysis of cancer genomic commonality and difference
在癌症研究中，高通量分析已被广泛进行。在最近的研究中，对多个癌症患者组/亚组的数据进行了综合分析。这种分析有可能揭示基因组的共性以及组/亚组之间的差异。然而，在现有的文献中，特别关注基因组共性和差异的方法非常有限。在这项研究中，一种新的估计和标记选择方法的基础上稀疏增强技术，以解决共性/差异的问题。在技术创新方面，引入了新的惩罚和增量计算方法。该方法还可以有效地适应协变量的分组结构。仿真结果表明，它可以在广泛的设置下优于直接竞争对手。对两个TCGA（The Cancer Genome Atlas）数据集的分析表明，该方法能够识别出具有重要生物学意义的标记，并具有令人满意的预测性和稳定性。
2022-11-28 q-bio.GN stat.AP stat.ME
Inferring gene-gene interactions and functional modules using sparse canonical correlation analysis
网络渗透到许多科学学科中，用于分析具有交互组件的复杂系统。特别是，这个概念通常用于模拟基因之间的相互作用，并确定密切相关的基因形成功能模块。在本文中，我们专注于基因组的相互作用，并推断这些相互作用使用适当的偏相关基因之间，即，基因之间的条件依赖关系后，删除一组其他功能相关的基因的影响。我们介绍了一种新的方法，估计组间相互作用的稀疏典型相关分析（SCCA）加上重复随机分区和子采样的基因表达数据集。通过考虑不同的基因子集和分组方式，我们的相互作用度量可以被看作是不同阶数的偏相关的聚集估计。我们的方法是独特的，在评估条件依赖时，正确的依赖集是未知的或只有部分已知的。因此，可以使用相互作用度量作为边权重来构建基因网络，并且可以从网络中推断基因功能组为紧密连接的社区。与几种流行的方法，使用模拟和真实数据的比较表明，我们的程序提高了统计意义和生物可解释性的结果。除了实现相当低的假阳性率，我们的程序在检测重要的生物途径方面表现出更好的性能。
2015-06-01 stat.ME
spca: An R package to Compute Least Squares Sparse Principal Components
介绍R包spca，实现最小二乘稀疏主成分分析（LS-SPCA），生成不相关或轻度相关的稀疏主成分，有效最大化解释方差，并提供高效计算和灵活的用户接口。
2026-06-27 stat.CO stat.ME stat.ML
