Robust Sparse Canonical Correlation Analysis
典型相关分析（CCA）是一种描述两组变量之间关系的多元统计方法。目标是找到每个数据集中具有最大相关性的变量的线性组合。本文讨论了一种鲁棒稀疏CCA方法。稀疏估计产生典型向量，其中一些元素估计为零。因此，它们的可解释性得到改善。我们还对该方法进行了鲁棒性处理，使其能够处理数据中的离群值。为了估计典型向量，我们将CCA问题转换为交替回归框架，并使用稀疏最小二乘估计。我们说明了良好的性能的鲁棒稀疏CCA方法在几个模拟研究和两个实际数据的例子。
2015-01-06 stat.ME
Sparse and Integrative Principal Component Analysis for Multiview Data
本文针对多视图数据降维问题，提出一种基于Fantope准则和ADMM算法的稀疏综合主成分分析方法，同时实现逐元素与逐块稀疏性，并给出收敛性与支持恢复理论保证。
2024-06-15 stat.ME
Sparse canonical correlation analysis from a predictive point of view
典型相关分析（CCA）通过最大化每个数据集中变量的线性组合之间的相关性来描述两组变量之间的关联。然而，在高维环境中，当变量的数量超过样本量或当变量高度相关时，传统的CCA不再适用。本文提出了一种稀疏CCA方法。稀疏估计仅产生来自每个数据集的变量的子集的线性组合，从而增加典型变量的可解释性。我们从预测的角度考虑CCA问题，并将其转换为回归框架。通过将交替回归方法与套索惩罚相结合，我们诱导了典型向量的稀疏性。我们在不同的模拟设置与其他稀疏CCA技术的性能进行比较，并说明其有用的基因组数据集。
2015-01-06 stat.ME
High-Dimensional Block Diagonal Covariance Structure Detection Using Singular Vectors
针对高维数据中子向量数量与划分未知、组合检验不可行的问题，本文提出利用右奇异向量的稀疏近似揭示分块对角协方差结构，无需估计协方差矩阵，并通过模拟和真实数据验证性能。
2024-01-22 math.ST stat.ME stat.TH
High Dimensional Sparse Canonical Correlation Analysis for Elliptical Symmetric Distributions
针对椭圆对称分布下两个高维随机向量的线性关系研究，本文提出结合空间符号协方差矩阵与稀疏诱导惩罚项的鲁棒高维稀疏CCA方法，理论与实验证明其在重尾分布下优于现有方法，提供高维CCA的稳定高效解决方案。
2025-04-17 stat.ME
Sparse semiparametric canonical correlation analysis for data of mixed types
典型相关分析研究两组变量之间的线性关系，但由于高维和混合数据类型（如连续，二进制和零膨胀），通常在现代数据集上效果不佳。为了克服这些挑战，我们提出了一种基于高斯copula的稀疏典型相关分析的半参数方法。我们的主要贡献是一个截断的潜在高斯copula模型的数据与多余的零，这使我们能够得到一个基于秩的估计的潜在相关矩阵的混合变量类型，而无需估计的边际变换函数。由此产生的典型相关分析方法在高维环境中工作良好，通过数值研究证明，以及在乳腺癌患者的基因表达和microRNA数据之间的关联分析的应用。
2019-10-10 stat.ME
$\ell_1$-norm constrained multi-block sparse canonical correlation analysis via proximal gradient descent
多块CCA构建线性关系，解释跨多个数据块的相干变化。我们认为，多块CCA的问题，寻找领先的广义特征向量，并提出解决它通过一个近似梯度下降算法与$\ell_1$约束的高维数据。特别是，我们使用衰减序列的约束在最近的迭代，并表明，由此产生的估计是速率最优的适当的假设下。虽然以前的几个作品已经证明了这种最优的$\ell_0$约束问题使用迭代方法，同样的水平的理论理解的$\ell_1$约束制定仍然缺乏。我们还描述了一个易于实现的放气过程来估计多个特征向量顺序。我们比较我们的建议，现有的几种方法，其实现可在R CRAN，所提出的方法在模拟和真实数据的例子中表现出竞争力的性能。
2022-01-14 math.ST stat.ME stat.ML
Sparse Canonical Correlation Analysis
提出了一种新的稀疏凸框架下的典型相关分析（CCA）的最小二乘法求解方法。所提出的方法侧重于当人们对第一视图的原始表示感兴趣（或限于）而对第二视图具有双重表示时的场景。稀疏CCA（SCCA）最大限度地减少了原始和双重投影中使用的特征数量，同时最大限度地提高了两个视图之间的相关性。该方法被证明在两个配对语料库的英语-法语和英语-西班牙语的配偶检索。我们能够观察到，在mate-retreival，当原始特征的数量是大的SCCA优于核CCA（KCCA），从稀疏的特征集学习共同的语义空间。
2009-08-19 stat.ME stat.ML
Probabilistic Canonical Correlation Analysis for Sparse Count Data
典型相关分析（CCA）是研究两组连续变量之间关系的经典而重要的多元分析方法。CCA在基因组学和神经影像学等许多领域都有应用。它可以提取有意义的特征，并将这些特征用于后续分析。尽管已经开发了一些稀疏CCA方法来处理高维问题，但它们是专门针对连续数据设计的，并且不考虑来自下一代测序平台的整数值数据，这些数据对于一些重要特征表现出非常低的计数。我们提出了一个基于模型的概率方法的相关性和典型相关估计两个稀疏计数数据集（PSCCA）。PSCCA表明，在自然参数水平上估计的相关性和典型相关性比应用于原始数据的传统估计方法更合适。我们通过模拟研究表明，PSCCA优于其他标准的相关方法和稀疏CCA方法在估计真实的相关性和典型的相关性在自然参数水平。我们进一步应用PSCCA方法来研究来自鳞状细胞肺癌研究的miRNA和mRNA表达数据集的关联，发现PSCCA可以比标准相关和其他稀疏CCA方法发现大量强相关对。
2020-05-11 stat.ME stat.ML
Debiased distributed PCA under high dimensional spiked model
针对高维尖峰模型中分布式PCA因机器数量有限而产生的持续偏差问题，提出在聚合前纠正局部偏差并引入稀疏性检测步骤的去偏算法，在更弱条件下实现一致性，显著降低估计误差并优于现有方法。
2025-05-28 stat.ME
Sparse Generalized Eigenvalue Problem with Application to Canonical Correlation Analysis for Integrative Analysis of Methylation and Gene Expression Data
我们提出了一种方法，用于高维，低样本量的数据，利用在多变量分析的投影高维数据到几个有意义的方向，是解决方案的广义特征值问题的反复出现的主题的个人和综合分析。我们提出了一个通用的框架，称为SELP（稀疏估计与线性规划），其中一个可以得到一个稀疏估计的广义特征值问题的解向量。我们证明了SELP在典型相关分析中的实用性，用于乳腺癌研究中甲基化和基因表达谱的综合分析，并且我们确定了一些已知与乳腺癌发生相关的基因，这表明所提出的方法能够产生具有生物学意义的见解。仿真研究表明，所提出的方法进行竞争，与现有的一些方法相比，在识别各种潜在的协方差结构的真实信号。
2016-11-03 stat.ME
Minimax and Adaptive Transfer Learning for Sparse Canonical Correlation Analysis
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
本文提出稀疏CCA的迁移学习框架，通过异质源数据提升目标估计，建立最小最大最优速率并设计自适应算法，无需稀疏度先验，同时提出源检测程序并推广sin-theta定理。
2026-10-06 stat.ME
A greedy approach to sparse canonical correlation analysis
我们考虑稀疏典型相关分析（CCA）的问题，即，对两个线性组合的搜索，每一个多元变量对应一个线性组合，使用指定数量的变量产生最大的相关性。我们提出了一个有效的数值逼近的基础上，直接贪婪的方法，在每个阶段的相关性的界限。该方法是专门设计来处理大数据集，其计算复杂度只取决于稀疏水平。我们通过相关性和简约性之间的权衡来分析算法的性能。数值模拟的结果表明，一个显着的相关性的一部分，可以使用相对较少的变量。此外，当可用样本数量与多变量的维度相比较少时，我们研究了稀疏CCA作为正则化方法的使用。
2008-01-17 stat.CO stat.ME
Resistant Multiple Sparse Canonical Correlation
典型相关分析（CCA）是一种多变量技术，它采用两个数据集并在它们之间形成最高度相关的可能线性组合对。随后的每一对线性组合都与前一对正交，这意味着从每一对中收集到新的信息。通过查看系数值的大小，我们可以找出哪些变量可以分组在一起，从而更好地理解难以直观计算或掌握的多个相互作用。CCA似乎对高通量数据有相当强大的应用，因为我们可以用它来发现，例如，基因表达和基因拷贝数变异之间的关系。CCA最大的问题之一是变量的数量（通常超过10，000）使得线性组合的生物学解释几乎不可能。为了限制变量输出，我们采用了一种称为稀疏典型相关分析（SCCA）的方法，同时增加了对极端观测或其他类型的偏差数据具有抵抗力的估计。在本文中，我们已经证明了成功的抗性估计变量选择使用SCCA。此外，我们还使用SCCA来查找多个规范对，以扩展有关手头数据集的知识。同样，在多重典型相关设置中，使用抵抗估计比标准估计提供更准确的估计。R代码可在https://github.com/hardin47/rmscca上获得并记录。
2015-12-20 stat.ME
Simultaneous sparse estimation of canonical vectors in the p>>N setting
本文研究了线性判别分析中当采用$p\gg N$时典型向量的稀疏估计问题。在文献中已经提出了几种方法，估计一个典型的向量，在两组的情况下。然而，如果组的数目是$G$，则可以考虑$G-1$规范向量。在多组上下文中，通常以顺序方式估计典范向量。此外，通常需要对协方差结构进行单独的先验估计。我们提出了一种新的方法直接估计的典型向量。与现有技术相比，该方法一次估计所有典型向量，在所有向量上执行变量选择，并在变量选择和分类一致性上具有理论保证。首先，我们强调的事实是，在$N>p$设置的规范向量可以表示在一个封闭的形式，正交变换。其次，我们提出了这种形式的扩展到$p\gg N$设置，并通过使用组惩罚实现特征选择。由此产生的优化问题是凸的，可以使用块坐标下降算法来解决。该方法的实际性能进行了评估，通过模拟研究以及实际数据的应用。
2015-04-30 stat.ME stat.ML
Low-Rank Principal Eigenmatrix Analysis
The University of California, Davis（加州大学戴维斯分校）；Google AI（谷歌人工智能）；Princeton University（普林斯顿大学）
稀疏PCA是一种广泛应用于高维数据分析的技术。在本文中，我们提出了一种新的方法称为低秩主特征矩阵分析。与稀疏PCA不同的是，主特征向量被允许是密集的，但被假设为具有低秩结构时，适当的矩阵化。这种结构在几种实际情况下自然出现：实际上，循环矩阵的顶部特征向量，当适当地矩阵化时，是秩1矩阵。我们提出了一个矩阵化的秩截断功率方法，可以有效地实现，并建立其计算和统计特性。在几个合成数据集上的大量实验证明了我们的方法具有竞争力的经验性能。
2019-04-28 cs.LG stat.ME stat.ML
A framework for interpretation and testing of sparse canonical correlations
针对高维多数据集整合的稀疏CCA可解释性问题，提出基于软阈值的稀疏CCA方法，无需调参、初始化依赖低，相比PMA可解释性更优且信号发现能力不弱甚至更强。
2023-10-04 stat.ME
FDR-Corrected Sparse Canonical Correlation Analysis with Applications to Imaging Genomics
减少错误发现的数量是目前生命科学中最紧迫的问题之一。这对于神经成像和基因组学中的许多应用尤其重要，其中数据集通常是高维的，这意味着解释变量的数量超过了样本量。错误发现率（FDR）是可以用于解决该问题的标准。因此，它已经获得了很大的普及作为一种工具来测试多个假设。典型相关分析（CCA）是一种统计技术，用于理解在同一组样本上收集的两组测量值的互相关（例如，相同精神疾病患者的脑成像和基因组数据），稀疏CCA将经典方法扩展到高维设置。在这里，我们提出了一种方法，应用FDR的概念稀疏CCA，和一种方法来控制FDR。所提出的FDR校正直接影响解的稀疏性，使其适应未知的真实稀疏水平。理论推导和仿真研究表明，我们的程序确实保持FDR的规范向量低于用户指定的目标水平。我们将所提出的方法应用于费城神经发育队列的成像基因组学数据集。我们的研究结果将通过功能性磁共振成像（fMRI）测量的情感识别任务期间大脑活动产生的大脑连接概况与相应受试者的基因组数据联系起来。
2018-06-23 q-bio.QM stat.AP stat.ME
Efficient Canonical Correlation Analysis with Sparsity
University of Chicago（芝加哥大学）；University of Toronto（多伦多大学）
针对高维CCA中计算速度与统计严谨性的矛盾，提出快速且可证明一致的稀疏CCA算法ECCAR，通过降秩回归实现无投影高效求解，在模拟和生物数据及ML可解释任务中验证了其可靠性与实用性。
2026-09-11 stat.ME
Minimax Quasi-Bayesian estimation in sparse canonical correlation analysis via a Rayleigh quotient function
Boston University（波士顿大学）
针对稀疏 CCA 中速率最优估计计算昂贵的问题，提出基于 Rayleigh 商拟似然与 spike-and-slab 先验的 MCMC 拟贝叶斯方法，达到 minimax 速率并在实验及 Covid-19 数据分析中表现优越。
2023-11-02 cs.LG stat.CO stat.ME
Sparse canonical correlation analysis for multiple measurements with latent trajectories
针对标准CCA无法处理重复测量、现有扩展方法高维分析效果不佳的问题，提出一种纳入纵向时间动态的稀疏CCA扩展方法，可高效估计聚类数据的典型相关性，缩短计算时间并提供可解释的纵向轨迹。
2025-03-19 stat.ME
Inferring gene-gene interactions and functional modules using sparse canonical correlation analysis
网络渗透到许多科学学科中，用于分析具有交互组件的复杂系统。特别是，这个概念通常用于模拟基因之间的相互作用，并确定密切相关的基因形成功能模块。在本文中，我们专注于基因组的相互作用，并推断这些相互作用使用适当的偏相关基因之间，即，基因之间的条件依赖关系后，删除一组其他功能相关的基因的影响。我们介绍了一种新的方法，估计组间相互作用的稀疏典型相关分析（SCCA）加上重复随机分区和子采样的基因表达数据集。通过考虑不同的基因子集和分组方式，我们的相互作用度量可以被看作是不同阶数的偏相关的聚集估计。我们的方法是独特的，在评估条件依赖时，正确的依赖集是未知的或只有部分已知的。因此，可以使用相互作用度量作为边权重来构建基因网络，并且可以从网络中推断基因功能组为紧密连接的社区。与几种流行的方法，使用模拟和真实数据的比较表明，我们的程序提高了统计意义和生物可解释性的结果。除了实现相当低的假阳性率，我们的程序在检测重要的生物途径方面表现出更好的性能。
2015-06-01 stat.ME
Sparse CCA: Adaptive Estimation and Computational Barriers
典型相关分析是研究两组变量之间关系的经典方法。它在分析基因组学、影像学等领域的高维数据集方面有着重要的应用。本文研究了高维稀疏正则系数向量的自适应极大极小估计和计算上的易处理估计。首先，在对边际协方差阵没有结构性假设的情况下，我们对每组随机变量的典型系数向量建立了独立的Minimax估计率。其次，我们提出了一个计算上可行的估计，以获得最佳的利率自适应下一个额外的样本量的条件。最后，我们证明了这种样本量条件是需要任何随机多项式时间估计是一致的，假设硬度的种植集团检测问题的某些情况下。计算结果与本文所用的高斯模型一致。作为一个副产品，我们得到的第一个计算下界稀疏PCA下的高斯单尖峰协方差模型。
2016-04-04 math.ST stat.ME stat.TH
A Bayesian Methodology for Estimation for Sparse Canonical Correlation
本文提出一种新的贝叶斯结构化稀疏CCA方法，通过贝叶斯无限因子模型、乘性半柯西先验和图马蹄先验在载荷矩阵与协方差矩阵两个层面鼓励稀疏性，并在模拟和乳腺癌多组学数据上验证了其稳健估计性能。
2023-10-30 stat.CO stat.ME stat.ML
Canonical thresholding for non-sparse high-dimensional linear regression
考虑一个高维线性回归问题。与许多论文的主题，我们不需要稀疏的回归系数，相反，我们的主要结构假设是一个衰减的特征值的协方差阵的数据。我们提出了一个新的估计族，称为典型阈值估计，它选择最大的回归系数的典型形式。估计承认一个明确的形式，可以链接到LASSO和主成分回归（PCR）。固定设计和随机设计设置的理论分析。从家庭的一个特定的估计的均方误差和预测误差上得到的界限允许明确说明充分条件的衰减特征值，以确保收敛。此外，我们还推广了与样本外$R^2$密切相关的相对误差的使用。通过对这些相对误差的研究，提出了联合有效维数的概念，它同时包含了数据的协方差和回归系数，描述了线性回归问题的复杂性。一些极小极大下界的建立，以展示我们的程序的最优性。数值模拟证实了良好的性能相比，以前开发的方法所提出的估计。
2021-09-30 math.ST stat.ME stat.TH
A simple and provable algorithm for sparse diagonal CCA
给定从一组公共样本中导出的两组变量，稀疏典型相关分析（CCA）寻求每组中少量变量的线性组合，使得诱导的典型变量具有最大相关性。稀疏CCA是NP难的。我们提出了一种新的稀疏对角CCA的组合算法，即，稀疏CCA的附加假设下，每个集合内的变量是标准化的和不相关的。我们的算法对输入数据进行低秩近似，其计算复杂度与输入变量的数量呈线性关系。它实现简单，可并行化。与大多数现有的方法相比，我们的算法管理精确的控制所提取的规范向量的稀疏性，并与理论数据相关的全局近似保证，这取决于输入数据的频谱。最后，它可以直接适用于CCA执行结构的其他约束变体，而不是稀疏性。我们经验性地评估所提出的方案，并将其应用于一个真正的神经成像数据集，以调查大脑活动和行为测量之间的关联。
2016-05-29 cs.DS cs.IT math.IT
Sparse CCA via Precision Adjusted Iterative Thresholding
稀疏典型相关分析（CCA）是研究两组随机变量之间关系的高维数据分析方法。然而，尽管积极的方法和应用研究活动，稀疏CCA在高维环境中的理论统计基础非常少。在本文中，我们引入了一个基本的充分和必要的特征，使CCA的解决方案确实是稀疏的，提出了一个计算效率的程序，称为CAPIT，估计的典范方向，并表明该程序是速率最优的各种假设下的冗余参数。该程序被应用于癌症基因组图谱项目的乳腺癌数据集。我们确定了与基因相关的甲基化探针，这些基因以前被描述为乳腺癌转移的预后标志。
2013-11-24 math.ST stat.ME stat.ML
Sparse spectral estimation with missing and corrupted measurements
缺失数据的监督学习方法已经得到了广泛的研究，这不仅仅是因为与低秩矩阵完成相关的技术。同样在无监督学习中，人们经常依赖于估算方法。事实上，缺失值会导致各种估计量（如样本协方差阵）的偏差。本文将稀疏子空间估计的一种凸方法推广到观测值丢失和损坏的情况。这是通过校正偏倚而不是插补缺失值来完成的。然后将估计量用作非凸过程的初始值，以提高整体统计性能。方法和理论框架适用于广泛的统计问题。其中包括稀疏主成分分析与不同类型的随机缺失数据和估计的特征向量的低秩矩阵与缺失值。最后，在合成数据上展示了统计性能。
2018-11-26 math.ST stat.ME stat.TH
