An Inexact Manifold Augmented Lagrangian Method for Adaptive Sparse Canonical Correlation Analysis with Trace Lasso Regularization
典型相关分析(Canonical correlation analysis,CCA)是通过寻找两组变量的线性组合来描述这两组变量之间的关系,使得相关系数最大。然而,在高维环境中,当变量的数量超过样本量,或者变量之间高度相关时,传统的CCA不再适用。本文提出了一种基于迹Lasso正则化的自适应稀疏CCA算法(ASCCA)。当协变量高度相关时,建议的ASCCA降低了估计量的不稳定性,从而提高了其解释。将ASCCA转化为黎曼流形上的一个最优化问题,并对所得到的最优化问题提出了一个流形不精确增广拉格朗日方法.在不同的仿真环境下,将ASCCA与其他稀疏CCA技术的性能进行了比较,说明了ASCCA的可行性和有效性。
2020-03-20 math.OC stat.ML
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications(电气通信大学)
针对高真实秩下降秩回归系数估计失效的问题,提出基于稀疏正则化与流形优化的同时秩与变量选择算法,实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Sparse twoblock dimension reduction for simultaneous compression and variable selection in two blocks of variables
本文提出稀疏双块降维方法,可同时对两组变量降维并剔除无信息变量,通过算法实现易用性,在模拟和化学计量学应用中性能优于稠密版本及多元偏最小二乘,提升多元因变量联合预测能力。
2024-11-26 stat.CO stat.ME
Low Rank Matrix Recovery with Simultaneous Presence of Outliers and Sparse Corruption
University of Central Florida(中佛罗里达大学)
本文研究了一个数据模型,其中数据矩阵D可以表示为D = L + S + C,其中L是低秩矩阵,S是元素稀疏矩阵,C是非零列为离群数据点的矩阵。到目前为止,强大的PCA算法只考虑S或C的模型,而不是两者都考虑。因此,现有的算法不能同时考虑元素和列的腐败。本文提出了一种新的鲁棒PCA算法,该算法对同时发生的腐败类型具有鲁棒性。我们的方法依赖于稀疏损坏列的稀疏近似,使得列相对于其他数据点的稀疏扩展用于区分稀疏损坏的内点列和外围数据点。我们还开发了一个随机设计,提供了一个可扩展的实施所提出的方法。稀疏近似的核心思想进行了分析,我们表明,潜在的ell_1-范数最小化可以获得一个内点的稀疏腐败的存在下的表示。
2017-02-07 cs.CV cs.LG stat.ML
Sparse CCA: Adaptive Estimation and Computational Barriers
典型相关分析是研究两组变量之间关系的经典方法。它在分析基因组学、影像学等领域的高维数据集方面有着重要的应用。本文研究了高维稀疏正则系数向量的自适应极大极小估计和计算上的易处理估计。首先,在对边际协方差阵没有结构性假设的情况下,我们对每组随机变量的典型系数向量建立了独立的Minimax估计率。其次,我们提出了一个计算上可行的估计,以获得最佳的利率自适应下一个额外的样本量的条件。最后,我们证明了这种样本量条件是需要任何随机多项式时间估计是一致的,假设硬度的种植集团检测问题的某些情况下。计算结果与本文所用的高斯模型一致。作为一个副产品,我们得到的第一个计算下界稀疏PCA下的高斯单尖峰协方差模型。
2016-04-04 math.ST stat.ME stat.TH
Nonlinear Sparse Generalized Canonical Correlation Analysis for Multi-view High-dimensional Data
New York University(纽约大学);University of California, San Francisco(加州大学旧金山分校);East China Normal University(华东师范大学);University of Michigan(密歇根大学)
针对多视图高维数据,提出三种非线性稀疏广义CCA方法(HSIC-SGCCA、SA-KGCCA、TS-KGCCA),其中HSIC-SGCCA通过块近线性与线性化ADMM求解非凸问题,并在模拟和TCGA-BRCA数据上优于现有方法。
2025-02-26 cs.LG stat.ML
Bayesian sparse multiple regression for simultaneous rank reduction and variable selection
我们开发了一种贝叶斯方法,旨在同时估计低秩和行稀疏矩阵的高维多响应线性回归模型。我们考虑了精心设计的收缩前的矩阵的回归系数,从而避免了需要指定一个先验的秩,并缩小回归矩阵对低秩和行稀疏结构。我们提供了理论支持,所提出的方法,通过证明极小极大最优的后验均值下的预测风险在超高的维度设置的预测因子的数量可以增长相对于样本量的次指数。一个一步的后处理方案引起的估计系数矩阵的行上的组套索处罚变量的选择,与默认选择的调谐参数。我们还提供了一个估计的秩使用一种新的优化函数实现降维的协变量空间。我们展示了所提出的方法在一个广泛的模拟研究和一个真实的数据例子的性能。
2019-04-09 math.ST stat.ME stat.TH
Dictionary-based Tensor Canonical Polyadic Decomposition
为了确保张量分解中提取的源的可解释性,本文介绍了一种基于字典的张量正则多元分解,该分解强制一个因子完全属于已知字典。提出了一种新的稀疏编码公式,使高维张量字典为基础的规范polyadic分解。在张量分解模型中使用字典的好处是探索参数可识别性和估计精度。通过对模拟数据的分解和高光谱图像的解混,对算法的性能进行了评价。
2017-11-08 stat.ML
Grouping effects of sparse CCA models in variable selection
University of Pennsylvania(宾夕法尼亚大学)
稀疏典型相关分析(SCCA)是一种双多变量关联模型,它可以找到两组变量的稀疏线性组合,这些变量彼此之间的相关性最大。除了标准的SCCA模型之外,简化的SCCA准则由于其计算简单而在文献中广泛使用,该准则最大化一对典型变量之间的互协方差而不是它们的互相关性。然而,这两个模型的解的行为/性质在理论上仍然未知。本文分析了标准SCCA模型和简化SCCA模型在变量选择上的分组效应。在高维环境中,变量通常形成具有高组内相关性和低组间相关性的组。我们的理论分析表明,对于分组变量选择,简化SCCA联合选择或取消选择一组变量在一起,而标准SCCA随机选择几个主导变量从每个相关组的相关变量。对人工合成数据和真实成像遗传学数据的实验结果验证了我们的理论分析结果。
2020-08-07 cs.LG stat.ME
Sparse higher order partial least squares for simultaneous variable selection, dimension reduction, and tensor denoising
针对高维张量场景下高阶偏最小二乘估计一致性无法保证的问题,提出可同步实现变量选择、降维与张量去噪的SHOPS回归方法,补全相关理论性质并通过实验与生物数据应用验证有效性。
2024-10-10 stat.AP stat.ME
Sparse Network Modeling
已经有许多尝试通过多变量方法来识别高维网络特征。具体地,当表示为p的体素或节点的数量基本上大于表示为n的图像的数量时,它产生具有无限多个可能解的欠定模型。小n大p问题通常通过用额外的稀疏惩罚正则化欠定系统来解决。流行的稀疏网络模型包括稀疏相关、LASSO、稀疏典型相关和图形LASSO。这些流行的稀疏模型需要优化L1范数惩罚,这一直是解决大规模问题的主要计算瓶颈。因此,许多现有的稀疏脑网络模型在脑成像已被限制到几百个节点或更少。2527 MRI功能中使用的LASSO模型阿尔茨海默氏病可能是最大数量的功能中使用的任何稀疏模型在脑成像文献。
2020-08-01 stat.ME
Correlated variables in regression: clustering and sparse estimation
考虑变量强相关的高维线性模型中的估计问题。我们建议首先对变量进行聚类,然后进行后续的稀疏估计,例如聚类代表的Lasso或基于聚类结构的Lasso组。关于第一步,我们提出了一种新的和自下而上的凝聚聚类算法的基础上典型的相关性,我们发现,它找到了一个最佳的解决方案,是统计上一致的。我们还提出了一些理论论据,典型相关的聚类导致一个更好的设计矩阵,确保可识别性和一个预言不等式组拉索的相容常数。此外,我们讨论的情况下,集群的代表和使用Lasso作为后续估计导致改进的结果预测和检测的变量。我们补充了各种实证结果的理论分析。
2012-09-26 math.ST stat.ME stat.TH
A refined convergence analysis of pDCA$_e$ with applications to simultaneous sparse recovery and outlier detection
We consider the problem of minimizing a difference-of-convex (DC) function, which can be written as the sum of a smooth convex function with Lipschitz gradient, a proper closed convex function and a continuous possibly nonsmooth concave function . We refine the convergence analysis in [38] for the proximal DC algorithm with extrapolation (pDCA $_e$ ) and show that the whole sequence generated by the algorithm is convergent when the objective is level-bounded, { \em without} imposing differentiability assumptions in the concave part. Our analysis is based on a new potential function and we assu…
2018-04-19 math.OC stat.ML
Learning from Incomplete Features by Simultaneous Training of Neural Networks and Sparse Coding
RIKEN(理化学研究所);Instituto Argentino de Radioastronomía, CONICET-CCT La Plata / CIC-PBA / UNLP(阿根廷射电天文研究所,CONICET-拉普拉塔科技中心 / 布宜诺斯艾利斯省科学调查委员会 / 拉普拉塔国立大学);Southeast University(东南大学);University of Vic - Central University of Catalonia(维克大学-加泰罗尼亚中央大学)
在本文中,训练一个分类器上的数据集与不完整的功能的问题。我们假设每个数据实例都有不同的特征子集(随机或结构化)。这种情况通常发生在应用程序中,即不是为每个数据样本收集所有特征时。开发了一种新的监督学习方法来训练通用分类器,例如逻辑回归或深度神经网络,仅使用每个样本的特征子集,同时假设未知字典上的数据向量的稀疏表示。充分的条件被识别,使得如果有可能在不完整的观察上训练分类器,使得它们的重建被超平面很好地分离,则相同的分类器也正确地分离原始(未观察到的)数据样本。在合成数据集和知名数据集上的大量仿真结果验证了我们的理论研究结果,并与传统的数据插补方法和一种最先进的算法相比,证明了所提出的方法的有效性。
2021-04-17 cs.LG stat.ML
Learning Sparse Representations in Reinforcement Learning with Sparse Coding
Indiana University(印第安纳大学)
各种各样的表示学习方法已经被研究用于强化学习;然而,很少有人关注稀疏编码的效用。在强化学习之外,稀疏编码表示已被广泛使用,其非凸目标导致区分表示。在这项工作中,我们开发了一个监督稀疏编码的政策评估目标。尽管这个目标的非凸性,我们证明了所有的局部极小值是全局极小值,使该方法适合简单的优化策略。我们的经验表明,使用监督目标是关键,而不是更直接的无监督稀疏编码方法。我们比较学习的表示一个规范的固定稀疏表示,称为瓦片编码,证明稀疏编码表示优于各种各样的瓦片编码表示。
2017-07-26 cs.AI cs.LG stat.ML
Sparse Canonical Correlation Analysis
提出了一种新的稀疏凸框架下的典型相关分析(CCA)的最小二乘法求解方法。所提出的方法侧重于当人们对第一视图的原始表示感兴趣(或限于)而对第二视图具有双重表示时的场景。稀疏CCA(SCCA)最大限度地减少了原始和双重投影中使用的特征数量,同时最大限度地提高了两个视图之间的相关性。该方法被证明在两个配对语料库的英语-法语和英语-西班牙语的配偶检索。我们能够观察到,在mate-retreival,当原始特征的数量是大的SCCA优于核CCA(KCCA),从稀疏的特征集学习共同的语义空间。
2009-08-19 stat.ME stat.ML
Probabilistic Canonical Correlation Analysis for Sparse Count Data
典型相关分析(CCA)是研究两组连续变量之间关系的经典而重要的多元分析方法。CCA在基因组学和神经影像学等许多领域都有应用。它可以提取有意义的特征,并将这些特征用于后续分析。尽管已经开发了一些稀疏CCA方法来处理高维问题,但它们是专门针对连续数据设计的,并且不考虑来自下一代测序平台的整数值数据,这些数据对于一些重要特征表现出非常低的计数。我们提出了一个基于模型的概率方法的相关性和典型相关估计两个稀疏计数数据集(PSCCA)。PSCCA表明,在自然参数水平上估计的相关性和典型相关性比应用于原始数据的传统估计方法更合适。我们通过模拟研究表明,PSCCA优于其他标准的相关方法和稀疏CCA方法在估计真实的相关性和典型的相关性在自然参数水平。我们进一步应用PSCCA方法来研究来自鳞状细胞肺癌研究的miRNA和mRNA表达数据集的关联,发现PSCCA可以比标准相关和其他稀疏CCA方法发现大量强相关对。
2020-05-11 stat.ME stat.ML
Sparse GCA and Thresholded Gradient Descent
University of Pennsylvania(宾夕法尼亚大学)
广义相关分析(GCA)关注的是发现多个数据集之间的线性关系。它概括了为两个数据集设计的典型相关分析。我们研究稀疏GCA时,有潜在的多个广义相关元组的数据和负载矩阵有少量的非零行。它包括稀疏CCA和稀疏PCA的相关矩阵作为特殊情况。我们首先制定稀疏GCA广义特征值问题,在人口和样本水平通过仔细选择的归一化约束。基于样本优化问题的拉格朗日形式,我们提出了一个阈值梯度下降算法来估计高维的GCA加载向量和矩阵。我们推导出紧估计误差界的算法产生的估计与适当的初始化。我们还展示了一些合成数据集上的算法的威力。
2023-02-06 cs.LG stat.ML
An Alternating Manifold Proximal Gradient Method for Sparse PCA and Sparse CCA
The Chinese University of Hong Kong(香港中文大学);University of California, Davis(加利福尼亚大学戴维斯分校);The Pennsylvania State University(宾夕法尼亚州立大学);University of Minnesota(明尼苏达大学)
稀疏主成分分析(PCA)和稀疏典型相关分析(CCA)是高维统计学和机器学习中用于分析大规模数据的两种基本技术。这两个问题都可以表述为一个具有非光滑目标和非凸约束的优化问题。由于非光滑性和非凸性带来的数值困难,大多数算法在文献中提出的解决一些松弛或启发式,缺乏收敛保证。在本文中,我们提出了一个新的交替流形近似梯度方法来解决这两个高维问题,并提供了一个统一的收敛性分析。数值实验结果证明了该算法的优越性。
2019-03-27 cs.LG math.OC stat.CO
An Inverse-free Truncated Rayleigh-Ritz Method for Sparse Generalized Eigenvalue Problem
Baidu Research(百度研究院)
本文研究了稀疏广义特征值问题(SGEP),其目标是寻找最多具有$k$非零元素的首特征向量。SGEP自然出现在机器学习、统计学和科学计算中的许多应用中,例如,稀疏主成分分析(SPCA)、稀疏判别分析(SDA)和稀疏典型相关分析(SCCA)。在本文中,我们专注于开发一个三阶段的算法命名为{ \em逆自由截断瑞利-里兹方法}({ \em IFTRR}),以有效地解决SGEP。在IFTRR的每次迭代中,只需要少量的矩阵向量乘积。这使得IFTRR非常适合大规模的问题。特别地,提出了一种新的截断策略,该策略能够有效地找到前导特征向量的支持集。理论结果的发展,以解释为什么IFTRR工作良好。数值仿真验证了IFTRR的优点。
2020-03-24 cs.LG stat.ML
Compressed Sensing of Multi-Channel EEG Signals: The Simultaneous Cosparsity and Low Rank Optimization
目标:针对多通道脑电信号压缩感知中部分脑电信号稀疏性不好以及单通道处理计算效率不高的问题。研究方法:提出了一种基于L0范数和Schatten-0范数的优化模型,以增强重构多通道脑电信号的余稀疏性和低秩结构。采用凸松弛和全局一致性优化交替方向乘子法计算优化模型。结果:多通道脑电信号重建的精度和计算复杂性均得到提高。结论:该方法是一个更好的候选人比以前的稀疏信号恢复方法的压缩感知脑电信号。意义:所提出的方法使成功的压缩感知的EEG信号,即使信号没有良好的稀疏表示。采用压缩感知技术可以大大降低无线脑电系统的功耗。
2015-06-29 cs.IT math.IT stat.ML
Lasso Universality Under Linearly Dependent Covariates in the Sparse Regime
University of California, San Diego(加州大学圣地亚哥分校)
本文研究线性相依协变量下的 Lasso 普适性问题,证明了稀疏 regime 中 Lasso 的高斯普适性定理,其相依结构比现有研究更广泛,数值示例验证了该结论。
2026-08-11 cs.IT math.IT math.ST
Eigenvector-based sparse canonical correlation analysis: Fast computation for estimation of multiple canonical vectors
经典的典型相关分析(CCA)要求矩阵是低维的,即特征的数量不能超过样本量。CCA的最新发展主要集中在高维设置,其中分析的两个矩阵中的特征数量大大超过了样本量。这些方法在需要迭代求解的优化问题中施加惩罚,并顺序地估计多个典型向量。在这项工作中,我们提供了稀疏多元回归与稀疏典型相关分析之间的明确联系,以及一种有效的算法,可以同时估计多个典型对,而不是顺序。此外,该算法自然允许并行计算。这些性质使得算法更加有效。我们提供了理论结果的一致性的典范对。该算法和理论的发展是基于解决的特征向量问题,显着区分我们的方法与现有的方法。仿真结果支持所提出的方法的改进性能。我们应用基于特征向量的CCA分析GTEx甲状腺组织学图像,分析SNP和RNA-seq基因表达数据以及微生物组研究。实际数据分析也表明,改进的性能相比,传统的稀疏CCA。
2021-06-08 stat.AP stat.ME
High Dimensional Sparse Canonical Correlation Analysis for Elliptical Symmetric Distributions
针对椭圆对称分布下两个高维随机向量的线性关系研究,本文提出结合空间符号协方差矩阵与稀疏诱导惩罚项的鲁棒高维稀疏CCA方法,理论与实验证明其在重尾分布下优于现有方法,提供高维CCA的稳定高效解决方案。
2025-04-17 stat.ME
Sparse semiparametric canonical correlation analysis for data of mixed types
典型相关分析研究两组变量之间的线性关系,但由于高维和混合数据类型(如连续,二进制和零膨胀),通常在现代数据集上效果不佳。为了克服这些挑战,我们提出了一种基于高斯copula的稀疏典型相关分析的半参数方法。我们的主要贡献是一个截断的潜在高斯copula模型的数据与多余的零,这使我们能够得到一个基于秩的估计的潜在相关矩阵的混合变量类型,而无需估计的边际变换函数。由此产生的典型相关分析方法在高维环境中工作良好,通过数值研究证明,以及在乳腺癌患者的基因表达和microRNA数据之间的关联分析的应用。
2019-10-10 stat.ME
Minimax and Adaptive Transfer Learning for Sparse Canonical Correlation Analysis
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院)
本文提出稀疏CCA的迁移学习框架,通过异质源数据提升目标估计,建立最小最大最优速率并设计自适应算法,无需稀疏度先验,同时提出源检测程序并推广sin-theta定理。
2026-10-06 stat.ME
A greedy approach to sparse canonical correlation analysis
我们考虑稀疏典型相关分析(CCA)的问题,即,对两个线性组合的搜索,每一个多元变量对应一个线性组合,使用指定数量的变量产生最大的相关性。我们提出了一个有效的数值逼近的基础上,直接贪婪的方法,在每个阶段的相关性的界限。该方法是专门设计来处理大数据集,其计算复杂度只取决于稀疏水平。我们通过相关性和简约性之间的权衡来分析算法的性能。数值模拟的结果表明,一个显着的相关性的一部分,可以使用相对较少的变量。此外,当可用样本数量与多变量的维度相比较少时,我们研究了稀疏CCA作为正则化方法的使用。
2008-01-17 stat.CO stat.ME
A Bayesian Methodology for Estimation for Sparse Canonical Correlation
本文提出一种新的贝叶斯结构化稀疏CCA方法,通过贝叶斯无限因子模型、乘性半柯西先验和图马蹄先验在载荷矩阵与协方差矩阵两个层面鼓励稀疏性,并在模拟和乳腺癌多组学数据上验证了其稳健估计性能。
2023-10-30 stat.CO stat.ME stat.ML
Minimax Quasi-Bayesian estimation in sparse canonical correlation analysis via a Rayleigh quotient function
Boston University(波士顿大学)
针对稀疏 CCA 中速率最优估计计算昂贵的问题,提出基于 Rayleigh 商拟似然与 spike-and-slab 先验的 MCMC 拟贝叶斯方法,达到 minimax 速率并在实验及 Covid-19 数据分析中表现优越。
2023-11-02 cs.LG stat.CO stat.ME
Integrative analysis of transcriptomic and metabolomic data via sparse canonical correlation analysis with incorporation of biological information
不同高维数据类型的集成分析正变得越来越流行。类似地,在数据分析中纳入变量之间的先前函数关系一直是越来越感兴趣的话题,因为它有助于阐明复杂疾病之间的潜在机制。在本文中,我们的目标是评估来自预测健康研究所(PHI)研究的转录组学和代谢组学数据之间的关联,该研究包括处于心血管疾病高风险的健康成年人。为此,我们开发了统计方法,用于确定稀疏结构的典型相关分析(CCA)与生物/结构信息的结合。我们提出的方法使用基因之间和代谢物之间的先验网络结构信息来指导稀疏CCA中相关基因和代谢物的选择,从而提供对心血管疾病分子基础的深入了解。我们的模拟结果表明,结构化稀疏CCA方法优于现有的稀疏CCA方法在选择相关的基因和代谢物时,结构信息是翔实的,是强大的错误指定的结构信息。我们对PHI研究的分析表明,许多基因和代谢途径,包括一些已知与心血管疾病相关的基因和代谢途径,在我们提出的方法选择的基因和代谢物的子集中富集。
2016-06-08 stat.AP stat.ME
A framework for interpretation and testing of sparse canonical correlations
针对高维多数据集整合的稀疏CCA可解释性问题,提出基于软阈值的稀疏CCA方法,无需调参、初始化依赖低,相比PMA可解释性更优且信号发现能力不弱甚至更强。
2023-10-04 stat.ME
FDR-Corrected Sparse Canonical Correlation Analysis with Applications to Imaging Genomics
减少错误发现的数量是目前生命科学中最紧迫的问题之一。这对于神经成像和基因组学中的许多应用尤其重要,其中数据集通常是高维的,这意味着解释变量的数量超过了样本量。错误发现率(FDR)是可以用于解决该问题的标准。因此,它已经获得了很大的普及作为一种工具来测试多个假设。典型相关分析(CCA)是一种统计技术,用于理解在同一组样本上收集的两组测量值的互相关(例如,相同精神疾病患者的脑成像和基因组数据),稀疏CCA将经典方法扩展到高维设置。在这里,我们提出了一种方法,应用FDR的概念稀疏CCA,和一种方法来控制FDR。所提出的FDR校正直接影响解的稀疏性,使其适应未知的真实稀疏水平。理论推导和仿真研究表明,我们的程序确实保持FDR的规范向量低于用户指定的目标水平。我们将所提出的方法应用于费城神经发育队列的成像基因组学数据集。我们的研究结果将通过功能性磁共振成像(fMRI)测量的情感识别任务期间大脑活动产生的大脑连接概况与相应受试者的基因组数据联系起来。
2018-06-23 q-bio.QM stat.AP stat.ME
$\ell_1$-norm constrained multi-block sparse canonical correlation analysis via proximal gradient descent
多块CCA构建线性关系,解释跨多个数据块的相干变化。我们认为,多块CCA的问题,寻找领先的广义特征向量,并提出解决它通过一个近似梯度下降算法与$\ell_1$约束的高维数据。特别是,我们使用衰减序列的约束在最近的迭代,并表明,由此产生的估计是速率最优的适当的假设下。虽然以前的几个作品已经证明了这种最优的$\ell_0$约束问题使用迭代方法,同样的水平的理论理解的$\ell_1$约束制定仍然缺乏。我们还描述了一个易于实现的放气过程来估计多个特征向量顺序。我们比较我们的建议,现有的几种方法,其实现可在R CRAN,所提出的方法在模拟和真实数据的例子中表现出竞争力的性能。
2022-01-14 math.ST stat.ME stat.ML
Simultaneous Grouping and Denoising via Sparse Convex Wavelet Clustering
University of Florida Informatics Institute(佛罗里达大学信息学研究所);Rice University(莱斯大学)
聚类是数据科学和信号处理中普遍存在的问题。在我们观察噪声信号的许多应用中,通常的做法是首先对数据进行降噪,可能使用小波降噪,然后应用聚类算法。在本文中,我们开发了一种稀疏凸小波聚类方法,同时去噪和发现群体。我们的方法利用凸融合的罚款,以实现凝聚和组稀疏的罚款去噪,通过稀疏在小波域。与通常的去噪然后聚类的做法相反,我们的方法是一个统一的,凸的方法,同时执行。我们的方法产生去噪(小波稀疏)聚类质心,既提高了可解释性和数据压缩。我们证明了我们的方法在合成的例子和NMR光谱的应用。
2021-03-04 cs.LG eess.SP stat.ME
Sparse CCA via Precision Adjusted Iterative Thresholding
稀疏典型相关分析(CCA)是研究两组随机变量之间关系的高维数据分析方法。然而,尽管积极的方法和应用研究活动,稀疏CCA在高维环境中的理论统计基础非常少。在本文中,我们引入了一个基本的充分和必要的特征,使CCA的解决方案确实是稀疏的,提出了一个计算效率的程序,称为CAPIT,估计的典范方向,并表明该程序是速率最优的各种假设下的冗余参数。该程序被应用于癌症基因组图谱项目的乳腺癌数据集。我们确定了与基因相关的甲基化探针,这些基因以前被描述为乳腺癌转移的预后标志。
2013-11-24 math.ST stat.ME stat.ML
Efficient Canonical Correlation Analysis with Sparsity
University of Chicago(芝加哥大学);University of Toronto(多伦多大学)
针对高维CCA中计算速度与统计严谨性的矛盾,提出快速且可证明一致的稀疏CCA算法ECCAR,通过降秩回归实现无投影高效求解,在模拟和生物数据及ML可解释任务中验证了其可靠性与实用性。
2026-09-11 stat.ME
From Sparse to Dense Functional Data: Phase Transitions from a Simultaneous Inference Perspective
该研究针对从稀疏到稠密的函数型数据,提出基于B样条估计量的统一高斯近似方法构建均值同时置信带,探究相变条件并扩展至正交级数估计量,经模拟与真实数据验证有效。
2024-01-31 stat.ME
A simple and provable algorithm for sparse diagonal CCA
给定从一组公共样本中导出的两组变量,稀疏典型相关分析(CCA)寻求每组中少量变量的线性组合,使得诱导的典型变量具有最大相关性。稀疏CCA是NP难的。我们提出了一种新的稀疏对角CCA的组合算法,即,稀疏CCA的附加假设下,每个集合内的变量是标准化的和不相关的。我们的算法对输入数据进行低秩近似,其计算复杂度与输入变量的数量呈线性关系。它实现简单,可并行化。与大多数现有的方法相比,我们的算法管理精确的控制所提取的规范向量的稀疏性,并与理论数据相关的全局近似保证,这取决于输入数据的频谱。最后,它可以直接适用于CCA执行结构的其他约束变体,而不是稀疏性。我们经验性地评估所提出的方案,并将其应用于一个真正的神经成像数据集,以调查大脑活动和行为测量之间的关联。
2016-05-29 cs.DS cs.IT math.IT
Sparse canonical correlation analysis for multiple measurements with latent trajectories
Department of Epidemiology & Data Science, Amsterdam School of Public Health, Amsterdam UMC(阿姆斯特丹大学医学中心流行病学与数据科学系、公共卫生学院)
针对标准CCA无法处理重复测量、现有扩展方法高维分析效果不佳的问题,提出一种纳入纵向时间动态的稀疏CCA扩展方法,可高效估计聚类数据的典型相关性,缩短计算时间并提供可解释的纵向轨迹。
2025-03-19 stat.ME
Inferring gene-gene interactions and functional modules using sparse canonical correlation analysis
网络渗透到许多科学学科中,用于分析具有交互组件的复杂系统。特别是,这个概念通常用于模拟基因之间的相互作用,并确定密切相关的基因形成功能模块。在本文中,我们专注于基因组的相互作用,并推断这些相互作用使用适当的偏相关基因之间,即,基因之间的条件依赖关系后,删除一组其他功能相关的基因的影响。我们介绍了一种新的方法,估计组间相互作用的稀疏典型相关分析(SCCA)加上重复随机分区和子采样的基因表达数据集。通过考虑不同的基因子集和分组方式,我们的相互作用度量可以被看作是不同阶数的偏相关的聚集估计。我们的方法是独特的,在评估条件依赖时,正确的依赖集是未知的或只有部分已知的。因此,可以使用相互作用度量作为边权重来构建基因网络,并且可以从网络中推断基因功能组为紧密连接的社区。与几种流行的方法,使用模拟和真实数据的比较表明,我们的程序提高了统计意义和生物可解释性的结果。除了实现相当低的假阳性率,我们的程序在检测重要的生物途径方面表现出更好的性能。
2015-06-01 stat.ME
Functional Generalized Canonical Correlation Analysis for studying multiple longitudinal variables
本文提出函数广义典型相关分析(FGCCA),基于RGCCA框架,用于分析多个纵向随机过程间的关联,具有鲁棒性,并扩展至预测应用,通过模拟和纵向数据验证其有效性。
2023-10-11 stat.ME stat.ML
Canonical thresholding for non-sparse high-dimensional linear regression
考虑一个高维线性回归问题。与许多论文的主题,我们不需要稀疏的回归系数,相反,我们的主要结构假设是一个衰减的特征值的协方差阵的数据。我们提出了一个新的估计族,称为典型阈值估计,它选择最大的回归系数的典型形式。估计承认一个明确的形式,可以链接到LASSO和主成分回归(PCR)。固定设计和随机设计设置的理论分析。从家庭的一个特定的估计的均方误差和预测误差上得到的界限允许明确说明充分条件的衰减特征值,以确保收敛。此外,我们还推广了与样本外$R^2$密切相关的相对误差的使用。通过对这些相对误差的研究,提出了联合有效维数的概念,它同时包含了数据的协方差和回归系数,描述了线性回归问题的复杂性。一些极小极大下界的建立,以展示我们的程序的最优性。数值模拟证实了良好的性能相比,以前开发的方法所提出的估计。
2021-09-30 math.ST stat.ME stat.TH
Locally sparse estimation for simultaneous functional quantile regression
Department of Statistics and Actuarial Science, Simon Fraser University(统计与精算科学系,西蒙菲莎大学)
本文提出一种局部稀疏的同时函数分位数回归模型,用于分析温度对大豆产量的影响,通过稀疏斜率函数提升模型可解释性,并在模拟和实际数据中验证其有效性。
2026-02-02 stat.ME
Sparse dynamical system identification with simultaneous structural parameters and initial condition estimation
稀疏非线性动力学识别(SINDy)已被证明可以成功地从数据中恢复控制方程;然而,这种方法假设初始条件是预先精确已知的,并且对噪声敏感。在这项工作中,我们提出了一个积分SINDy(ISINDy)的方法,同时识别模型结构和参数的非线性常微分方程(ODE)从噪声的时间序列观测。首先,状态估计通过惩罚样条平滑,然后代入积分形式的数值离散求解器,导致一个伪线性回归。通过序贯阈值最小二乘法从超定的候选特征集中提取最少的有效项,从而同时估计结构参数和初始条件,同时使所识别的动力学具有简约性和可解释性.仿真详细说明了该方法的恢复精度和对噪声的鲁棒性。例子包括逻辑方程、洛克特-沃尔泰拉系统和洛伦兹系统。
2022-10-31 cs.SY eess.SY math.DS
Simultaneous Estimation of Many Sparse Networks via Hierarchical Poisson Log-Normal Model
本文提出分层泊松对数正态模型,利用变分EM和ADMM算法同步估计多个稀疏基因网络,在模拟和单细胞数据中优于传统方法,揭示更广的条件依赖关系。
2024-09-18 stat.ME
Bayesian Framework for Simultaneous Registration and Estimation of Noisy, Sparse and Fragmented Functional Data
在许多应用中,平滑过程生成的数据是在各种观测机制下记录的,例如密集、稀疏或碎片化观测,这些观测往往受到误差的污染。登记和估计的个人基本功能从离散观测的统计目标,迄今为止,主要是接近顺序没有正式的不确定性传播,或在特定应用程序的方式。我们提出了一个统一的贝叶斯框架,同时登记和估计,这是足够灵活的,以适应一般的观察制度下的个别功能的推断。我们这样做的能力依赖于功能变异性的幅度分量上的强信息先验模型的规范。我们提供了两种策略,这个关键的选择:数据驱动的方法,定义了一个经验基础上的振幅子空间的训练数据,和形状限制的方法时,局部极值的相对位置和数量是很好的理解。所提出的方法建立在弹性功能数据分析的基础上,弹性功能数据分析分别对功能数据中固有的幅度和相位变化进行建模。我们强调这两个组件的不确定性量化和可视化的重要性,因为它们提供了有关估计功能的补充信息。我们使用模拟和实际应用程序来验证该框架,以医学成像和生物识别。
2019-12-11 stat.AP stat.ME
Simultaneous sparse model selection and coefficient estimation for heavy-tailed autoregressive processes
提出了一种基于惩罚条件极大似然的重尾新息自回归过程的稀疏系数估计和自动模型选择方法.在新息过程的弱矩条件下,惩罚条件极大似然估计(PCMLE)满足强相合性、$O_P(N^{-1/2})$相合性和oracle性质,其中N是样本量.根据罚函数的弱条件,我们可以自由选择罚函数。比较了最小绝对收缩选择算子(LASSO)和平滑裁剪平均偏差(SCAD)两种罚函数。所提出的方法提供了一个基于分布的惩罚推理AR模型,这是特别有用的,当其他估计方法失败或执行厚尾新息的AR过程(见\cite{Resnick})。仿真研究证实了我们的理论结果。最后,我们将我们的方法应用于美国消费品工业生产指数的历史价格数据,并获得了非常有前途的结果。
2013-09-21 math.ST stat.ME stat.TH
Simultaneous Modeling of Disease Screening and Severity Prediction: A Multi-task and Sparse Regularization Approach
针对疾病筛查与严重程度预测的联合需求,本文提出一种基于结构稀疏正则化的多任务模型,通过捕捉预测因子与异质性响应水平的关联,在数值实验中展现出比传统有序回归方法更稳定的性能。
2025-08-20 stat.ME
Robust Twoblock Simultaneous Dimension Reduction and Multivariate Regression
Snow Stallion AI(雪 stallion 人工智能);Department of Mathematics, University of Antwerp(安特卫普大学数学系)
本文提出鲁棒双块同时降维方法,能够稳健地处理双变量块的降维问题,并允许单独调整每个块的模型复杂度。该方法在存在异常值时仍能有效提取和总结信息,且在变量数超过样本数时仍可进行多元回归。
2026-10-23 stat.CO stat.ME
High-dimensional MANOVA via Bootstrapping and its Application to Functional and Sparse Count Data
提出了一种新的方法,通过Bootstrapping最大统计量,涉及样本均值向量的差异,高维多变量方差分析的问题。所提出的方法的收益,通过建设的同时置信区域的人口平均向量的差异。它适合于同时检验潜在的两个以上总体的几对均值向量的相等性。通过利用方差衰减属性,这是一个自然的功能,在相关的应用程序,我们能够提供无量纲和接近参数的收敛速度高斯近似,自助近似,和测试的大小。我们证明了所提出的方法与方差分析问题的功能数据和稀疏计数数据。所提出的方法在模拟和几个实际数据应用中表现良好。
2021-04-19 math.ST stat.ME stat.TH