Sparse Weighted Canonical Correlation Analysis
State Key Laboratory of Software Engineering, School of Computer, Wuhan University（武汉大学计算机学院软件工程国家重点实验室）；School of Mathematics Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
给定两个数据矩阵$X$和$Y$，稀疏典型相关分析（SCCA）就是寻找两个稀疏典型向量$u$和$v$，以最大化$Xu$和$Yv$之间的相关性。然而，经典和稀疏CCA模型考虑了数据矩阵的所有样本的贡献，因此无法识别潜在的特定样本子集。为此，我们提出了一种新的稀疏加权典型相关分析（SWCCA），其中权重用于正则化不同的样本。我们使用交替迭代算法求解$L_0$ -正则化SWCCA（$L_0$ -SWCCA）。我们将$L_0$ -SWCCA应用于合成数据和真实数据，以证明其有效性和优越性。最后，我们还考虑了SWCCA与不同的惩罚，如LASSO（最小绝对收缩和选择算子）和组LASSO，并将其扩展为集成三个以上的数据矩阵。
2017-10-13 cs.LG stat.ML
$\ell_0$-based Sparse Canonical Correlation Analysis
Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）模型是研究两组变量之间关联的有力工具。\textit{canonical variates}是一种典型的相关表示方法，被广泛应用于无监督学习中，用于分析未标记的多模态注册数据集。尽管CCA模型取得了成功，但如果任一模态中的变量数量超过样本数量，则CCA模型可能会破裂（或过拟合）。此外，通常很大一部分变量测量模态特异性信息，因此去除它们有利于识别\textit{canonically correlated variates}。在这里，我们提出了$\ell_0$ -CCA，学习相关表示的方法，从两个观察到的模态变量的稀疏子集的基础上。稀疏性通过将输入变量乘以随机门来获得，随机门的参数通过$\ell_0$正则化相关损失与CCA权重一起学习。我们进一步提出了$\ell_0$ -Deep CCA，通过使用深度网络对相关表示进行建模来解决非线性稀疏CCA的问题。我们使用几个合成和真实的例子证明了该方法的有效性。最值得注意的是，通过门控滋扰输入变量，我们的方法提高了提取的表示相比，其他线性，非线性和稀疏的基于CCA的模型。
2021-06-08 cs.LG stat.ML
BLOCCS: Block Sparse Canonical Correlation Analysis With Application To Interpretable Omics Integration
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们引入了块稀疏典型相关分析，它可以同时估计多对典型方向（一起称为“块”），从而显着改善稀疏方向的正交性，我们证明，这将转化为更可解释的解决方案。我们的方法建立在（Solari，Brown和Bickel 2019）的稀疏CCA方法的基础上，因为我们还将我们的块公式的双凸目标表示为单位欧几里得球中正交k-框架上的凹最小化问题，而由于目标的不确定性，该问题又被缩小到Stiefel流形，该流形通过梯度下降算法进行优化。我们的模拟结果表明，我们的方法优于现有的sCCA算法和实现的计算成本和稳定性，主要是由于我们的搜索空间的急剧收缩，以及估计的典型协变量对之间的相关性和正交性。最后，我们应用我们的方法，可作为一个R-包称为BLOCCS，多组学数据肺鳞状细胞癌（LUSC）通过癌症基因组图谱获得，并证明其在捕获有意义的生物学关联相关的研究假设，而不是虚假的显性变异的能力。
2020-01-20 cs.LG stat.ML
Functional Generalized Canonical Correlation Analysis for studying multiple longitudinal variables
本文提出函数广义典型相关分析（FGCCA），基于RGCCA框架，用于分析多个纵向随机过程间的关联，具有鲁棒性，并扩展至预测应用，通过模拟和纵向数据验证其有效性。
2023-10-11 stat.ME stat.ML
Sparse Canonical Correlation Analysis via Concave Minimization
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
提出了一种新的稀疏典型相关分析（sCCA）方法，其目的是在高维多视图问题中发现可解释的关联，即对同一主题的多组变量的观察。受Albernee等人（2010）的稀疏PCA方法的启发，我们还证明了稀疏CCA公式，虽然是非凸的，但等价于一个紧集上凸目标的最大化程序，为此我们提出了一阶梯度方法。这个结果帮助我们将搜索空间大幅减少到集合的边界。因此，我们提出了一个两步算法，其中我们首先使用我们的快速算法推断典型方向的稀疏模式，然后我们缩小每个视图，即一组协变量的观测值，以包含在前一步中选择的协变量集的观测值，并通过任何CCA算法计算其典型方向。我们还介绍了Directed Sparse CCA，它能够找到与指定实验设计一致的关联，以及Multi-View sCCA，用于发现多组协变量之间的关联。我们的模拟建立优越的收敛性能和计算效率，我们的算法，以及在典型的相关性和它的能力，以恢复支持的典型方向的准确性。我们研究代谢组学，transncripomics和微生物组学之间的关联在一个多组学研究使用MuLe，这是一个R-包，实现我们的方法，为了形成假设的机制，果蝇黑腹果蝇适应高剂量的环境毒物，特别是阿特拉津，这是一种常用的化肥。
2019-09-17 cs.LG stat.ML
An Inexact Manifold Augmented Lagrangian Method for Adaptive Sparse Canonical Correlation Analysis with Trace Lasso Regularization
典型相关分析（Canonical correlation analysis，CCA）是通过寻找两组变量的线性组合来描述这两组变量之间的关系，使得相关系数最大。然而，在高维环境中，当变量的数量超过样本量，或者变量之间高度相关时，传统的CCA不再适用。本文提出了一种基于迹Lasso正则化的自适应稀疏CCA算法（ASCCA）。当协变量高度相关时，建议的ASCCA降低了估计量的不稳定性，从而提高了其解释。将ASCCA转化为黎曼流形上的一个最优化问题，并对所得到的最优化问题提出了一个流形不精确增广拉格朗日方法.在不同的仿真环境下，将ASCCA与其他稀疏CCA技术的性能进行了比较，说明了ASCCA的可行性和有效性。
2020-03-20 math.OC stat.ML
A Bayesian Methodology for Estimation for Sparse Canonical Correlation
本文提出一种新的贝叶斯结构化稀疏CCA方法，通过贝叶斯无限因子模型、乘性半柯西先验和图马蹄先验在载荷矩阵与协方差矩阵两个层面鼓励稀疏性，并在模拟和乳腺癌多组学数据上验证了其稳健估计性能。
2023-10-30 stat.CO stat.ME stat.ML
Minimax Quasi-Bayesian estimation in sparse canonical correlation analysis via a Rayleigh quotient function
Boston University（波士顿大学）
针对稀疏 CCA 中速率最优估计计算昂贵的问题，提出基于 Rayleigh 商拟似然与 spike-and-slab 先验的 MCMC 拟贝叶斯方法，达到 minimax 速率并在实验及 Covid-19 数据分析中表现优越。
2023-11-02 cs.LG stat.CO stat.ME
Causal Patterns: Extraction of multiple causal relationships by Mixture of Probabilistic Partial Canonical Correlation Analysis
在本文中，我们提出了一个混合的概率部分典型相关分析（MPPCCA），提取两个多元时间序列的因果模式。因果模式是指两个元素之间相互作用的信号模式，它们具有多种类型的相互因果关系，而不是同时相关的混合物或元素之间不存在因果关系。在多变量统计中，部分典型相关分析（PCCA）在减去第三个多变量的影响后评估两个多变量之间的相关性。PCCA可以计算Granger因果指数（它测试一个时间序列是否可以从另一个时间序列预测），但不适用于包含多个偏典型相关的数据。在介绍了MPPCCA，我们提出了一个期望最大化（EM）算法估计的参数和潜变量的MPPCCA。MPPCCA可以在没有任何监督信号的情况下从数据序列中提取多个偏典型相关，从而将数据分割为聚类。然后在合成数据实验中对该方法进行了评价。在合成数据集上，我们的方法比现有的方法更准确地估计了多重偏典型相关。为了确定该方法可检测的模式类型，还在真实数据集上进行了实验。该方法估计运动捕捉数据中的通信模式。MP-PCCA适用于各种类型的信号，如脑信号，人类交流和非线性复杂多体系统。
2017-12-12 stat.ME stat.ML
FDR-Corrected Sparse Canonical Correlation Analysis with Applications to Imaging Genomics
减少错误发现的数量是目前生命科学中最紧迫的问题之一。这对于神经成像和基因组学中的许多应用尤其重要，其中数据集通常是高维的，这意味着解释变量的数量超过了样本量。错误发现率（FDR）是可以用于解决该问题的标准。因此，它已经获得了很大的普及作为一种工具来测试多个假设。典型相关分析（CCA）是一种统计技术，用于理解在同一组样本上收集的两组测量值的互相关（例如，相同精神疾病患者的脑成像和基因组数据），稀疏CCA将经典方法扩展到高维设置。在这里，我们提出了一种方法，应用FDR的概念稀疏CCA，和一种方法来控制FDR。所提出的FDR校正直接影响解的稀疏性，使其适应未知的真实稀疏水平。理论推导和仿真研究表明，我们的程序确实保持FDR的规范向量低于用户指定的目标水平。我们将所提出的方法应用于费城神经发育队列的成像基因组学数据集。我们的研究结果将通过功能性磁共振成像（fMRI）测量的情感识别任务期间大脑活动产生的大脑连接概况与相应受试者的基因组数据联系起来。
2018-06-23 q-bio.QM stat.AP stat.ME
$\ell_1$-norm constrained multi-block sparse canonical correlation analysis via proximal gradient descent
多块CCA构建线性关系，解释跨多个数据块的相干变化。我们认为，多块CCA的问题，寻找领先的广义特征向量，并提出解决它通过一个近似梯度下降算法与$\ell_1$约束的高维数据。特别是，我们使用衰减序列的约束在最近的迭代，并表明，由此产生的估计是速率最优的适当的假设下。虽然以前的几个作品已经证明了这种最优的$\ell_0$约束问题使用迭代方法，同样的水平的理论理解的$\ell_1$约束制定仍然缺乏。我们还描述了一个易于实现的放气过程来估计多个特征向量顺序。我们比较我们的建议，现有的几种方法，其实现可在R CRAN，所提出的方法在模拟和真实数据的例子中表现出竞争力的性能。
2022-01-14 math.ST stat.ME stat.ML
Extension of SBL Algorithms for the Recovery of Block Sparse Signals with Intra-Block Correlation
我们研究了块稀疏信号的恢复，并在两个重要的方向上扩展了框架;一个是通过利用信号的块内相关性，另一个是通过概括信号的块结构。我们提出了两个家庭的算法的基础上的框架块稀疏贝叶斯学习（BSBL）。一个家族，直接从BSBL框架，需要的块结构的知识。另一个族，来自扩展的BSBL框架，是基于对块结构的较弱假设，并且可以在块结构完全未知时使用。使用这些算法，我们表明，利用块内相关性是非常有帮助的，在提高恢复性能。这些算法还揭示了如何修改现有的算法或设计新的算法，以利用这种相关性和提高性能。
2014-11-02 stat.ME stat.ML
Conditional canonical correlation estimation based on covariates with random forests
调查两组变量之间的关系有助于理解它们的相互作用，可以用典型相关分析（CCA）来完成。然而，两组之间的相关性有时取决于第三组协变量，通常与受试者相关，如年龄，性别或其他临床指标。在这种情况下，将CCA应用于整个群体不是最佳的，并且在给定协变量的情况下估计条件CCA的方法可能是有用的。我们提出了一种新的方法，称为随机森林与典型相关分析（RFCCA），以估计两组变量之间的条件典型相关给定的主题相关的协变量。森林中的各个树是用专门设计的分裂规则构建的，该规则用于划分数据，以最大化子节点之间的典型相关异质性。我们还提出了一个显着性检验，以检测两组变量之间的关系的协变量的整体效果。所提出的方法和全球显着性测试的性能进行评估，通过模拟研究表明，它提供了准确的典型相关估计和良好控制的类型1错误。我们还展示了所提出的方法与EEG数据的应用。
2021-02-03 stat.AP stat.ME stat.ML
Generalized Canonical Correlation Analysis for Classification
本文推导了广义典型相关分析（GCCA）相比标准典型相关分析（CCA）能提升多个多元数据集分类性能的条件，并通过模拟和真实数据实验验证了理论结果。
2014-06-26 stat.ML
Sparse CCA via Precision Adjusted Iterative Thresholding
稀疏典型相关分析（CCA）是研究两组随机变量之间关系的高维数据分析方法。然而，尽管积极的方法和应用研究活动，稀疏CCA在高维环境中的理论统计基础非常少。在本文中，我们引入了一个基本的充分和必要的特征，使CCA的解决方案确实是稀疏的，提出了一个计算效率的程序，称为CAPIT，估计的典范方向，并表明该程序是速率最优的各种假设下的冗余参数。该程序被应用于癌症基因组图谱项目的乳腺癌数据集。我们确定了与基因相关的甲基化探针，这些基因以前被描述为乳腺癌转移的预后标志。
2013-11-24 math.ST stat.ME stat.ML
A simple and provable algorithm for sparse diagonal CCA
给定从一组公共样本中导出的两组变量，稀疏典型相关分析（CCA）寻求每组中少量变量的线性组合，使得诱导的典型变量具有最大相关性。稀疏CCA是NP难的。我们提出了一种新的稀疏对角CCA的组合算法，即，稀疏CCA的附加假设下，每个集合内的变量是标准化的和不相关的。我们的算法对输入数据进行低秩近似，其计算复杂度与输入变量的数量呈线性关系。它实现简单，可并行化。与大多数现有的方法相比，我们的算法管理精确的控制所提取的规范向量的稀疏性，并与理论数据相关的全局近似保证，这取决于输入数据的频谱。最后，它可以直接适用于CCA执行结构的其他约束变体，而不是稀疏性。我们经验性地评估所提出的方案，并将其应用于一个真正的神经成像数据集，以调查大脑活动和行为测量之间的关联。
2016-05-29 cs.DS cs.IT math.IT
Collaborative Regression
我们考虑的情况下，一个观察结果变量和多个测定的功能集，所有测量的同一组样本。已提出的处理此类数据的一种方法是“稀疏多重典型相关分析”（稀疏mCCA）。目前所有的稀疏mCCA技术都是双凸的，因此不能保证达到全局最优。我们提出了一种用于执行稀疏监督典型相关分析（sparse sCCA）的方法，当其中一个数据集是向量时，这是稀疏mCCA的一种特定情况。我们提出的稀疏sCCA是凸的，因此不会面临与其他方法相同的困难。我们推导出有效的算法，这个问题，并说明其使用模拟和真实数据。
2014-01-22 q-bio.QM stat.ML
Efficient Computation of Sparse and Robust Maximum Association Estimators
针对高维稀疏场景下鲁棒估计的计算难题，提出分阶段优化框架，结合增广拉格朗日算法与自适应梯度下降法求解无协方差约束的稀疏关联估计量，精度优于现有方法且具可扩展性。
2025-01-29 stat.CO stat.ML
Large scale canonical correlation analysis with iterative least squares
典型相关分析（CCA）是一种广泛使用的统计工具，具有成熟的理论和良好的性能，适用于广泛的机器学习问题。然而，计算大型数据集的CCA可能非常慢，因为它涉及到实现大型矩阵的QR分解或奇异值分解。本文介绍了L-CCA，一种迭代算法，可以快速计算CCA在巨大的稀疏数据集。建立了L-CCA的渐近收敛性和有限时间精度的理论。在两个真实数据集上的实验结果表明，L-CCA的性能优于其他快速CCA近似算法。
2014-12-30 stat.ML
A Tutorial on Canonical Correlation Methods
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；University College London（伦敦大学学院）；Max Planck Centre for Computational Psychiatry and Ageing Research（马克斯·普朗克计算精神病学与衰老研究中心）；Imperial College London（帝国理工学院）
典型相关分析（Canonical correlation analysis）是一种用于分析成对变量集的多元统计方法。自其命题以来，典型相关分析已经被扩展到例如当样本大小与数据维度有关时提取两组变量之间的关系，当关系被认为是非线性时，以及当维度对于人类解释来说太大时。本教程解释了典型相关分析的理论，包括其正则化，内核和稀疏变量。此外，深度和贝叶斯CCA扩展进行了简要回顾。连同数值例子，这一概述提供了一个连贯的简编典型相关分析的变体的适用性。通过将解决优化问题的技术，评估典型相关模型的统计意义和概括性，并解释关系，我们希望这篇文章可以作为在数据分析中应用典型相关方法的动手工具。
2017-11-07 cs.LG stat.ML
Generalized Canonical Correlation Analysis for Disparate Data Fusion
Johns Hopkins University（约翰斯·霍普金斯大学）
流形匹配用于识别多个不同数据空间到同一低维空间的嵌入，其中可以进行联合推理。它是一种能够从多个和大量不同数据源进行融合和推理的方法。在本文中，我们专注于一种方法称为典型相关分析（CCA）及其推广的广义典型相关分析（GCCA），这属于更一般的降秩回归（RRR）框架。我们提出了一个特定的文本文档分类任务的CCA和GCCA在不同的训练条件下的效率调查。
2012-09-17 cs.LG stat.ML
Adaptive Canonical Correlation Analysis Based On Matrix Manifolds
在本文中，我们制定了典型相关分析（CCA）问题的矩阵流形。这个框架提供了一种自然的方式来处理矩阵约束和工具，即使在自适应设置中也可以构建有效的算法。最后，提出了一种自适应CCA算法，并应用于脑电信号的变化检测问题。
2012-06-27 cs.LG stat.ML
Stochastic Approximation for Canonical Correlation Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
提出了一种新的典型相关分析的一阶随机近似算法。算法是不精确矩阵随机梯度（MSG）和不精确矩阵指数梯度（MEG）的实例，在$\operatorname{poly}(\frac{1}ε)$迭代中实现了种群目标的$ε$ -次优性.我们还考虑了实际的变种所提出的算法，并将它们与其他方法CCA理论和经验。
2018-02-26 cs.LG stat.ML
Towards Aligned Canonical Correlation Analysis: Preliminary Formulation and Proof-of-Concept Results
UC Riverside（加州大学河滨分校）
针对多视图场景中数据视角对齐不明确的问题，本文提出 Aligned Canonical Correlation Analysis（ACCA）框架，通过迭代方式联合求解对齐与多视图嵌入。
2023-12-08 cs.LG stat.ML
Nonlinear Sparse Generalized Canonical Correlation Analysis for Multi-view High-dimensional Data
New York University（纽约大学）；University of California, San Francisco（加州大学旧金山分校）；East China Normal University（华东师范大学）；University of Michigan（密歇根大学）
针对多视图高维数据，提出三种非线性稀疏广义CCA方法（HSIC-SGCCA、SA-KGCCA、TS-KGCCA），其中HSIC-SGCCA通过块近线性与线性化ADMM求解非凸问题，并在模拟和TCGA-BRCA数据上优于现有方法。
2025-02-26 cs.LG stat.ML
Sparse Signal Recovery in the Presence of Intra-Vector and Inter-Vector Correlation
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文讨论了当非零项的值之间存在相关性时稀疏信号的恢复问题。我们检查块稀疏模型的上下文中的向量内相关性和多测量向量模型的上下文中的向量间相关性，以及它们的组合。提出了基于稀疏贝叶斯学习的算法，并讨论了在算法级引入相关性的好处。还讨论了相关性对支持恢复极限的影响，强调了向量内和向量间相关性对这些极限的不同影响。
2012-05-20 cs.IT cs.LG math.IT
Graph Canonical Correlation Analysis
Institute of Physics（物理研究所）
本文提出图典型相关分析（gCCA），利用互相关矩阵的图结构计算典型相关，并给出高效算法与有限样本理论保证，在模拟和多组学数据中均优于传统CCA方法。
2025-02-03 cs.LG stat.ML
Subspace Perspective on Canonical Correlation Analysis: Dimension Reduction and Minimax Rates
典型相关分析（CCA）是研究两组随机变量之间相关结构的基本统计工具。在本文中，最近成功地应用CCA学习高维对象的低维表示的动机，我们建议量化CCA的估计损失的超额预测损失定义通过预测后降维框架。这种框架建议将CCA估计视为估计典型变量所跨越的子空间。有趣的是，来自超额预测损失的建议的误差度量原来是密切相关的人口和样本典型变量分别跨越的子空间之间的主角度。在对联合协方差阵作最小假设的情况下，我们刻画了非渐近极大极小化率，特别是极大极小化率对协方差阵的维数、条件数、典型相关和特征间隙等关键量的依赖性.据我们所知，这是第一个有限样本的结果，捕捉典型相关性的影响，极大极小率。
2018-01-21 math.ST stat.ML stat.TH
Multiview Variational Graph Autoencoders for Canonical Correlation Analysis
Univ. Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）
提出了一种基于变分方法的多视角典型相关分析模型。这是第一个非线性模型，它考虑了可用的基于图形的几何约束，同时可扩展用于处理具有多个视图的大规模数据集。它基于具有图形卷积神经网络层的自动编码器架构。我们在真实数据集上对我们的分类，聚类和推荐任务进行了实验。该算法与最先进的多视图表示学习技术具有竞争力。
2021-10-04 cs.LG stat.ML
Canonical Correlation Analysis for Analyzing Sequences of Medical Billing Codes
University of Washington（华盛顿大学）
我们建议使用典型相关分析（CCA）从序列的医疗账单代码生成功能。应用这种新的使用CCA的憩室炎患者的医疗账单代码的数据库，我们首先证明了CCA嵌入捕获有意义的代码之间的关系。然后，我们从这些嵌入中生成特征，并建立它们在预测未来憩室炎择期手术中的有用性，这是降低医疗保健成本的重要标志。
2017-01-06 cs.LG stat.ML
Fair Canonical Correlation Analysis
University of Pennsylvania（宾夕法尼亚大学）
本文针对CCA中的公平性问题，提出通过最小化受保护属性导致的相关性差异误差来学习全局投影矩阵，并在合成与真实数据上验证其可在不损失准确性的情况下减少偏见。
2023-09-27 cs.LG stat.ML
ORCCA: Optimal Randomized Canonical Correlation Analysis
Northeastern University（东北大学）
随机特征方法在大规模机器学习中被广泛用于核函数逼近。最近的一些研究探索了数据依赖的特征采样，修改了随机特征采样的随机预言。虽然在这一领域提出的技术提高了近似，但它们的适用性往往在单个学习任务上得到验证。在本文中，我们提出了一个特定于任务的评分规则选择随机功能，它可以用于不同的应用程序进行一些调整。我们限制我们的注意力典型相关分析（CCA），我们提供了一个新的，原则性的指导，找到得分函数最大化的典型相关性。我们证明了这种方法，称为ORCCA，可以优于（在预期中）相应的内核CCA与默认的内核。数值实验表明，ORCCA是显着优于其他近似技术在CCA任务。
2021-11-01 cs.LG stat.ML
Canonical Correlation Analysis (CCA) Based Multi-View Learning: An Overview
Huazhong University of Science and Technology（华中科技大学）
多视图学习（MVL）是一种融合来自不同来源或子集的数据的策略。典型相关分析（CCA）是多视图视觉中非常重要的一种方法，其主要思想是将来自不同视图的数据映射到一个具有最大相关性的公共空间上。传统的CCA只能用于计算两个视图的线性相关。此外，它是无监督的，标签信息被浪费。许多非线性的、有监督的或广义的扩展已经被提出来克服这些限制。然而，据我们所知，没有这些方法的概述。本文综述了许多具有代表性的基于CCA的MVL方法。
2021-05-02 cs.IR cs.LG stat.ML
Stochastic Canonical Correlation Analysis
University of Chicago（芝加哥大学）；Technion – Israel Institute of Technology（以色列理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们研究了典型相关分析（CCA），\ie的样本复杂性，估计总体典型相关所需的样本数和方向，直到任意小的错误。与温和的假设的数据分布，我们表明，为了实现$ε$ -次优性在一个适当定义的措施之间的对齐估计的典范方向和人口的解决方案，我们可以解决的经验目标，正是与$N(ε, Δ, γ)$样本，其中$Δ$是奇异值间隙的白化互协方差矩阵和$1/γ$是自协方差矩阵的条件数的上限。此外，我们可以通过抽取相同水平的样本和近似求解经验目标的随机优化算法来实现相同的学习精度;该算法基于移位和反转幂迭代，并且仅需要处理数据集的$\mathcal{O}\left(\log \frac{1}ε \right)$遍。最后，我们表明，给定典型相关的估计，移位和反转功率迭代的流版本通过仅处理一次数据，以相同的样本复杂度实现相同的学习精度。
2019-10-21 cs.LG stat.ML
Sliding Window Informative Canonical Correlation Analysis
Sandia National Laboratories（桑迪亚国家实验室）
本文提出滑动窗口信息典范相关分析(SWICCA)，用于在线流数据设置中的典范相关分析扩展，结合流式主成分分析和滑动窗口样本实时估计典范相关成分。
2026-05-08 cs.LG eess.IV math.ST
Frequency Recognition in SSVEP-based BCI using Multiset Canonical Correlation Analysis
典型相关分析（CCA）是基于稳态视觉诱发电位（SSVEP）的脑-机接口（BCI）中频率识别最常用的方法之一。尽管它的效率，一个潜在的问题是，使用预先构造的正弦-余弦波作为所需的参考信号在CCA方法往往不会导致最佳的识别精度，由于他们缺乏从真实的EEG数据的特征。为了解决这个问题，本研究提出了一种新的方法，基于多集典型相关分析（MsetCCA），以优化的参考信号用于SSVEP频率识别的CCA方法。MsetCCA方法学习实现联合空间滤波的多个线性变换，以最大化典型变量之间的整体相关性，从而从以相同刺激频率记录的多组EEG数据中提取SSVEP共同特征。优化的参考信号是通过组合的共同特征，并完全基于训练数据形成的。对10名健康受试者的EEG数据进行的实验研究表明，与CCA方法和其他两种竞争方法（多路CCA（MwayCCA）和相位约束CCA（PCCA））相比，MsetCCA方法提高了SSVEP频率识别的准确性，尤其是在通道数较少和时间窗长度较短的情况下。该方法的优越性表明，MsetCCA方法是一个新的有前途的候选人的频率识别SSVEP为基础的BCI。
2014-01-16 stat.ML
Canonical Correlation Forests
University of Oxford（牛津大学）
我们介绍典型相关森林（CCF），一种新的决策树集成方法的分类和回归。个体典型相关树是具有基于在训练期间计算的局部典型相关系数的超平面分裂的二元决策树。与轴对齐的替代方案不同，CCF的决策表面不限于输入特征的坐标系，因此更自然地表示具有相关输入的数据。CCF自然地容纳多个输出，提供与随机森林相似的计算复杂度，并继承其对输入参数选择的令人印象深刻的鲁棒性。作为CCF训练算法的一部分，我们还引入了投影自举，这是一种用于斜决策树集合的装袋的新方法，它在选择分裂点时保持使用完整的数据集，通常会提高预测精度。我们的实验表明，即使没有参数调整，CCF在分类和回归问题上的表现也优于轴对齐的随机森林和其他最先进的树集成方法，从而提高了预测精度和更快的训练时间。我们进一步表明，他们优于所有的179分类器在最近的广泛调查中考虑。
2017-08-09 cs.LG stat.ML
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析（CCA）局部应用的度量方法，并将其与基于核的流形学习技术相结合，通过估计多模态观测值之间的欧氏距离，发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置，以及流形学习的扩展到多个数据集。实验结果表明，我们的方法确实发现的共同变量的高维非线性观测，而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
Deep Dynamic Probabilistic Canonical Correlation Analysis
City University of Hong Kong（香港城市大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Lingnan University（岭南大学）
本文提出深度动态概率典型相关分析（D2PCCA），将深度学习与概率建模结合以捕捉非线性潜在动态，并通过KL退火和归一化流增强，在金融数据上验证了其有效性。
2025-02-07 cs.LG stat.ML
Two approaches to multiple canonical correlation analysis for repeated measures data
本文提出并研究了经典典型相关分析的两种推广方法，分别适用于复杂重复测量数据和多维随机过程，并提供了理论性质与实证验证。
2025-10-23 math.ST stat.AP stat.ME
Dynamically-Scaled Deep Canonical Correlation Analysis
Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）是一种通过寻找两个视图的最大相关线性投影来进行特征提取的方法。在文献中已经介绍了CCA的几种变体，特别是基于深度神经网络的变体，用于学习两个视图的高度相关的非线性变换。由于这些模型通常是参数化的，因此它们的可学习参数在训练过程之后仍然独立于输入，这可能会限制它们学习高度相关表示的能力。本文提出了一种新的动态标度方法来训练输入依赖的典型相关模型。在我们的深度CCA模型中，最后一层的参数由第二个神经网络缩放，该网络以模型的输入为条件，从而产生依赖于输入样本的参数化。我们在多个数据集上评估了我们的模型，并证明了与传统的基于参数化CCA的模型相比，学习到的表示更相关，并且也获得了更好的检索结果。我们的代码可在https://github.com/tomerfr/DynamicallyScaledDeepCCA上获得。
2022-03-24 cs.LG stat.ML
Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Curai（Curai公司）
多模态语言分析通常考虑基于文本的特征与基于声学和视觉特性的特征之间的关系。文本特征通常在情感分析或情感识别任务中优于非文本特征，部分原因是文本特征源自在海量数据源上训练的高级语言模型或词嵌入，而音频和视频特征是人工设计的并且相对不发达。考虑到文本、音频和视频以不同的方式描述相同的话语，我们假设可以通过学习（隐藏）从文本和音频的外积（我们称之为基于文本的音频）和类似的基于文本的视频中提取的特征之间的相关性来改进多模态情感分析和情感识别。本文提出了一种新的模型，交互典型相关网络（ICCN），学习这样的多模态嵌入。ICCN通过深度典型相关分析（DCCA）学习所有三种模式之间的相关性，然后在几个基准数据集上测试所提出的嵌入，并与其他最先进的多模态嵌入算法进行比较。经验结果和消融研究证实了ICCN在从所有三个视图捕获有用信息方面的有效性。
2019-11-30 cs.LG stat.ML
On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们使用Nyström近似研究了大规模核典型相关分析（KCCA）中的列选择问题，其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时，以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略，采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度，开发了一个增量算法，探索路径的近似秩，有利于有效的模型选择，并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
Google Brain（谷歌大脑）；Cornell University（康奈尔大学）；Uber AI Labs（优步人工智能实验室）
我们提出了一种新技术，奇异向量典型相关分析（SVCCA），一种快速比较两种表示的工具，这种工具对仿射变换（允许不同层和网络之间的比较）和快速计算（允许比以前的方法计算更多的比较）都是不变的。我们部署这个工具来测量层的内在维度，在某些情况下显示不必要的过度参数化;在整个训练过程中探索学习动态，发现网络自下而上收敛到最终表示;显示网络中的类特定信息形成的位置;并建议新的训练方案，同时节省计算和减少过度拟合。代码：https://github.com/google/svcca/
2017-11-08 cs.LG stat.ML
Unpaired Canonical Correlation Analysis
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）
本文提出非配对典型相关分析（UCCA），在无配对样本时学习线性投影以最大化真实配对相关性，填补了传统多视图学习与非配对数据学习的空白。
2026-10-08 cs.LG stat.ML
Canonical Autocorrelation Analysis
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个扩展的稀疏典型相关分析（CCA），旨在寻找多对多的线性相关在一组变量。与CCA不同，CCA发现两组数据之间的相关性，其中行完全匹配，但列代表单独的变量集，这里提出的方法，典型自相关分析（CAA），发现一组变量中的多变量相关性。当我们在数据中寻找隐藏的简约结构时，这可能是有用的，每个结构只涉及所有特征的一小部分。此外，所发现的相关性是高度可解释的，因为它们是由原始特征的稀疏线性组合对形成的。我们展示了CAA如何可以作为异常检测的工具，当预期的相关性结构不遵循异常数据。我们说明了CAA在两个应用领域的效用，其中单类和无监督学习的相关结构是特别相关的：乳腺癌诊断和辐射威胁检测。当应用到威斯康星州乳腺癌数据，单类CAA是有竞争力的监督方法在文献中使用。在辐射威胁检测任务上，无监督CAA的表现明显优于该领域中普遍存在的无监督替代方案，同时为威胁分析提供了有价值的额外见解。
2015-11-19 cs.LG stat.ML
Learning Schizophrenia Imaging Genetics Data Via Multiple Kernel Canonical Correlation Analysis
采用核和多核典型相关分析（CCA）对精神分裂症患者和健康人进行分类，基于他们的SNPs，DNA甲基化和fMRI数据。核和多核CCA是用于发现高维数据集之间的非线性相关性的流行方法。数据收集自183名患者，79名精神分裂症患者和104名健康对照。核和多核CCA代表了研究精神分裂症的新途径，因为据我们所知，这些方法以前没有在这些数据上使用过。通过对核和多核CCA算法的核矩阵输出进行k均值聚类来执行分类。核和多核CCA分类的准确性进行比较，正则化的线性CCA算法分类，并被发现是显着更准确。这两种算法都表现出最大的准确性时，DNA甲基化和fMRI数据的组合使用，和经验较低的准确性时，SNP数据被纳入。
2016-09-15 q-bio.QM stat.ML
Tensor Generalized Canonical Correlation Analysis
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；Laboratoire des signaux et systèmes（信号与系统实验室）；Sorbonne Université（索邦大学）；Institut du Cerveau - Paris Brain Institute - ICM（巴黎大脑研究所）；Inserm（法国国家健康与医学研究院）；APHP（巴黎公立医院集团）；Hôpital Pitié Salpétrière Univ. Hosp.（皮提耶-萨尔佩特里埃大学医院）；Centre National de Recherche en Génomique Humaine（国家人类基因组研究中心）；Institut François Jacob（弗朗索瓦·雅各布研究所）；CEA（法国原子能委员会）
正则化广义典型相关分析（RGCCA）是一种通用的多区组数据分析框架。RGCCA能够破译几组变量之间的关系，并将许多众所周知的多变量分析方法作为特例。然而，RGCCA只处理向量值块，而忽略了它们可能的高阶结构。本文提出了一种新的张量GCCA（TGCCA）方法，用于分析具有标准向量的高阶张量，该标准向量允许一个正交秩-R-CP分解。此外，TGCCA的两个算法，是否施加一个可分离的协方差结构的基础上，提出了收敛保证。TGCCA的效率和实用性进行评估模拟和真实的数据和比较有利的国家的最先进的方法。
2023-02-10 cs.LG stat.ML
Sparse GCA and Thresholded Gradient Descent
University of Pennsylvania（宾夕法尼亚大学）
广义相关分析（GCA）关注的是发现多个数据集之间的线性关系。它概括了为两个数据集设计的典型相关分析。我们研究稀疏GCA时，有潜在的多个广义相关元组的数据和负载矩阵有少量的非零行。它包括稀疏CCA和稀疏PCA的相关矩阵作为特殊情况。我们首先制定稀疏GCA广义特征值问题，在人口和样本水平通过仔细选择的归一化约束。基于样本优化问题的拉格朗日形式，我们提出了一个阈值梯度下降算法来估计高维的GCA加载向量和矩阵。我们推导出紧估计误差界的算法产生的估计与适当的初始化。我们还展示了一些合成数据集上的算法的威力。
2023-02-06 cs.LG stat.ML
Permutation Inference for Canonical Correlation Analysis
针对典型相关分析（CCA）中直接对残差进行置换检验导致错误率膨胀的问题，本文提出基于低维基底的残差转换与逐步估计方差去除两种解决方案，并提供了完整的CCA置换推断算法及不保守的多重检验方法。
2020-06-18 math.ST stat.AP stat.CO
Finding Linear Structure in Large Datasets with Scalable Canonical Correlation Analysis
典型相关分析（CCA）是一种广泛使用的谱分析技术，用于在多视图数据集中发现相关结构。在本文中，我们解决了大规模CCA的问题，经典的算法，通常需要计算两个巨大的矩阵和巨大的矩阵分解的产品，是计算和存储昂贵。我们重铸CCA从一个新的角度，并提出了一个可扩展的和内存高效的增广近似梯度（AppGrad）计划，寻找顶部$k$维规范子空间，只涉及大矩阵乘以宽度$k$和小矩阵分解的尺寸$k\times k$的薄矩阵。此外，AppGrad实现了最佳的存储复杂度$O(k(p_1+p_2))$，与经典算法相比，通常需要$O(p_1^2+p_2^2)$空间来存储两个密集的白化矩阵。所提出的方案自然地推广到随机最优化制度，特别是有效的大数据集的批处理算法是禁止的。随机AppGrad的在线属性也非常适合数据顺序出现的流场景。据我们所知，这是第一个随机算法的CCA。四个真实数据集上的实验证明了所提方法的有效性。
2015-06-26 stat.CO stat.ML
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一种深度概率多视图模型，该模型由基于潜在空间中的概率典型相关分析（CCA）描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件，其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发，近似的后验分布的潜在概率多视图层，同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明，所提出的深度生成式多视图模型能够有效地整合多视图间的关系，降低学习难度，并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
Tensor Canonical Correlation Analysis for Multi-view Dimension Reduction
The University of Melbourne（墨尔本大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Technology, Sydney（悉尼科技大学）
典型相关分析（CCA）因其深厚的理论基础和成功的实际应用而被证明是一种有效的两视图降维工具。然而，在多视图学习方面，它仅限于处理由两个视图特征表示的数据的能力，而在许多现实世界的应用中，视图的数量往往更多。虽然同时探索所有可能的特征对的特设方式可以在数值上处理多视图数据，但它忽略了只能通过同时探索所有特征来发现的高阶顺序统计量（相关信息）。因此，在这项工作中，我们开发了张量CCA（TCCA），它直接而自然地推广CCA处理任意数量的视图的数据，通过分析不同视图的协方差张量。TCCA旨在直接最大化多个（两个以上）视图的典型相关性。至关重要的是，我们证明了多视图的典型相关最大化问题相当于找到最好的秩1近似的数据协方差张量，这可以有效地解决使用著名的交替最小二乘（ALS）算法。因此，包含在不同的视图中的高阶相关信息被探索，从而可以获得一个更可靠的公共子空间共享的所有功能。此外，TCCA的非线性扩展。在大规模生物特征结构预测、网络广告分类和网络图像标注等挑战性任务上的实验结果表明了该方法的有效性。
2015-02-09 cs.CV cs.LG stat.ML
An Online Riemannian PCA for Stochastic Canonical Correlation Analysis
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Amazon Lab126（亚马逊Lab126）
我们提出了一个有效的随机算法（RSG+）的典型相关分析（CCA）使用的投影矩阵的重新参数化。我们展示了这种重新参数化（到结构矩阵），简单的事后诸葛亮，直接提出了一个机会，重新利用/调整成熟的技术，数值优化黎曼流形。我们的发展很好地补充了现有的方法，这个问题，要么需要$O(d^3)$时间复杂度，每次迭代与$O(\frac{1}{\sqrt{t}})$收敛速度（其中$d$是维数）或只提取顶部$1$组件与$O(\frac{1}{t})$收敛速度。相比之下，我们的算法提供了一个严格的改进，这个经典的问题：它实现了$O(d^2k)$运行时的复杂性，每次迭代提取顶部$k$规范组件与$O(\frac{1}{t})$收敛速度。虽然本文主要关注其属性的制定和技术分析，但我们的实验表明，在常见数据集上的经验行为是非常有前途的。我们还探索了在训练公平模型中的潜在应用，其中受保护属性的标签丢失或不可用。
2021-06-08 cs.AI cs.LG stat.ML
