Adaptive Canonical Correlation Analysis Based On Matrix Manifolds
在本文中，我们制定了典型相关分析（CCA）问题的矩阵流形。这个框架提供了一种自然的方式来处理矩阵约束和工具，即使在自适应设置中也可以构建有效的算法。最后，提出了一种自适应CCA算法，并应用于脑电信号的变化检测问题。
2012-06-27 cs.LG stat.ML
Graph Canonical Correlation Analysis
Institute of Physics（物理研究所）
本文提出图典型相关分析（gCCA），利用互相关矩阵的图结构计算典型相关，并给出高效算法与有限样本理论保证，在模拟和多组学数据中均优于传统CCA方法。
2025-02-03 cs.LG stat.ML
ORCCA: Optimal Randomized Canonical Correlation Analysis
Northeastern University（东北大学）
随机特征方法在大规模机器学习中被广泛用于核函数逼近。最近的一些研究探索了数据依赖的特征采样，修改了随机特征采样的随机预言。虽然在这一领域提出的技术提高了近似，但它们的适用性往往在单个学习任务上得到验证。在本文中，我们提出了一个特定于任务的评分规则选择随机功能，它可以用于不同的应用程序进行一些调整。我们限制我们的注意力典型相关分析（CCA），我们提供了一个新的，原则性的指导，找到得分函数最大化的典型相关性。我们证明了这种方法，称为ORCCA，可以优于（在预期中）相应的内核CCA与默认的内核。数值实验表明，ORCCA是显着优于其他近似技术在CCA任务。
2021-11-01 cs.LG stat.ML
Stochastic Approximation for Canonical Correlation Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
提出了一种新的典型相关分析的一阶随机近似算法。算法是不精确矩阵随机梯度（MSG）和不精确矩阵指数梯度（MEG）的实例，在$\operatorname{poly}(\frac{1}ε)$迭代中实现了种群目标的$ε$ -次优性.我们还考虑了实际的变种所提出的算法，并将它们与其他方法CCA理论和经验。
2018-02-26 cs.LG stat.ML
Fair Canonical Correlation Analysis
University of Pennsylvania（宾夕法尼亚大学）
本文针对CCA中的公平性问题，提出通过最小化受保护属性导致的相关性差异误差来学习全局投影矩阵，并在合成与真实数据上验证其可在不损失准确性的情况下减少偏见。
2023-09-27 cs.LG stat.ML
A Randomized Algorithm for CCA
Microsoft CISL（微软CISL）
我们提出了RandomizedCCA，一个随机算法计算规范分析，适合大型数据集存储在核心或分布式文件系统。可以在少至两个数据通道中获得准确的结果，这与迭代昂贵的分布式处理框架相关（例如，Hadoop）。该策略还为标准迭代解提供了一个优秀的初始化器。
2014-11-13 cs.LG stat.ML
Generalized Canonical Correlation Analysis for Disparate Data Fusion
Johns Hopkins University（约翰斯·霍普金斯大学）
流形匹配用于识别多个不同数据空间到同一低维空间的嵌入，其中可以进行联合推理。它是一种能够从多个和大量不同数据源进行融合和推理的方法。在本文中，我们专注于一种方法称为典型相关分析（CCA）及其推广的广义典型相关分析（GCCA），这属于更一般的降秩回归（RRR）框架。我们提出了一个特定的文本文档分类任务的CCA和GCCA在不同的训练条件下的效率调查。
2012-09-17 cs.LG stat.ML
Multiview Representation Learning for a Union of Subspaces
Johns Hopkins University（约翰斯·霍普金斯大学）
典型相关分析（CCA）是一种流行的技术，用于学习数据中多个视图之间最大相关的表示。在本文中，我们扩展了基于CCA的框架学习多视图混合模型。我们表明，所提出的模型和一组简单的算法比标准CCA的性能有所改善，如下游任务的性能。我们的实验结果表明，我们的相关性为基础的目标有意义地推广CCA目标CCA模型的混合物。
2019-12-30 cs.LG stat.ML
SDGCCA: Supervised Deep Generalized Canonical Correlation Analysis for Multi-omics Integration
Gwangju Institute of Science and Technology（光州科学技术院）
多组学数据的整合为揭示与某些表型相关的生物学机制提供了机会。本文提出了一种新的多组学整合方法--监督式深度广义典型相关分析（SDGCCA），用于非线性多组学流形之间的相关结构建模，旨在改善表型分类，揭示与表型相关的生物标志物。SDGCCA解决了其他基于典型相关分析（CCA）的模型（例如，深CCA，深广义CCA），通过考虑复杂/非线性交叉数据相关性和区分表型组。虽然有一些方法用于非线性CCA预测的判别目的的表型，他们只考虑两个视图。另一方面，SDGCCA是一种非线性多视角CCA投影方法。当我们将SDGCCA应用于阿尔茨海默病（AD）患者的预测和早期和晚期癌症的区分时，它优于其他基于CCA的方法和其他监督方法。此外，我们证明了SDGCCA可以用于特征选择以识别重要的多组学生物标志物。在AD数据的应用中，SDGCCA识别了多组学数据中的基因簇，这些基因簇是众所周知的与AD相关的。
2022-04-17 cs.AI cs.LG q-bio.QM
Non-linear Canonical Correlation Analysis: A Compressed Representation Approach
Tel Aviv University（特拉维夫大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
典型相关分析（CCA）是一种线性表示学习方法，它在多视图数据中寻找最大相关变量。非线性CCA将这一概念扩展到更广泛的转换家族，在许多现实世界的应用程序中更强大。在给定联合概率的情况下，交替条件期望（ACE）算法为非线性CCA问题提供了一个最优解。然而，当只有有限数量的样本可用时，它遭受有限的性能和增加的计算负担。在这项工作中，我们引入了一个信息理论的压缩表示框架的非线性CCA问题（CRCCA），它扩展了经典的ACE方法。我们建议的框架寻求紧凑的数据表示，允许最大程度的相关性。通过这种方式，我们可以控制模型的灵活性和复杂性之间的权衡。CRCCA提供了理论界限和最优性条件，因为我们建立了与率失真理论、信息瓶颈和远程信源编码的基本联系。此外，它允许软降维，因为压缩级别由原始噪声数据和提取的信号之间的互信息确定。最后，我们介绍了一个简单的实现的CRCCA框架，基于格量化。
2020-02-10 cs.LG stat.ML
Citation Recommendation using Deep Canonical Correlation Analysis
School of Computer Science University of Galway（计算机科学学院 Galway 大学）
本文提出用深度典型相关分析（DCCA）融合论文文本与图表示以进行引文推荐，并在大规模DBLP数据集上验证其显著优于线性CCA方法。
2025-07-23 cs.IR cs.LG
Multimodal Audio-Visual Information Fusion using Canonical-Correlated Graph Neural Network for Energy-Efficient Speech Enhancement
University of Wolverhampton（伍尔弗汉普顿大学）；São Paulo State University（圣保罗州立大学）；TECNALIA（泰克纳利亚研究中心）；Basque Research & Technology Alliance（巴斯克研究与技术联盟）；University of the Basque Country（巴斯克大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出了一种新的多模态自监督架构的节能视听（AV）语音增强，集成了图神经网络与典型相关分析（CCA-GNN）。所提出的方法基于最先进的CCA-GNN，该方法通过最大化相同输入的增强视图对之间的相关性来学习代表性嵌入，同时解相关断开的特征。传统CCA-GNN的核心思想是丢弃增广变量信息，保留增广不变信息，同时防止捕获冗余信息。我们提出的AV CCA-GNN模型处理多模态表示学习上下文。具体来说，我们的模型通过最大化来自相同通道的增强视图的典型相关性和来自音频和视觉嵌入的典型相关性来改善上下文AV语音处理。此外，它提出了一个位置节点编码，考虑前一帧序列的距离，而不是一个特征空间表示时，计算节点的最近邻居，通过邻居的连接性在嵌入中引入时间信息。在基准ChiME 3数据集上进行的实验表明，我们提出的基于先验帧的AV CCA-GNN确保了在时间背景下更好的特征学习，从而比最先进的CCA-GNN和多层感知器更节能地重建语音。
2022-09-16 cs.LG cs.SD eess.AS
Asymmetrically Weighted CCA And Hierarchical Kernel Sentence Embedding For Image & Text Retrieval
IBM
语言和视觉的联合建模已经引起越来越多的关注。一个多模态数据表示允许双向检索图像的句子，反之亦然是一个关键方面。在本文中，我们提出了三个典型相关分析（CCA）的多模态检索的贡献。首先，我们表明，一个不对称的加权的规范权重，同时实现了从搜索到查询空间的跨视图映射，提高了检索性能。其次，我们设计了一个计算效率高的模型选择，至关重要的推广和稳定性，在Björk Golub算法的框架下，通过频谱滤波正则化CCA。最后，我们介绍了一个分层核句子嵌入（HKSE），近似核CCA的一个特殊的相似性内核之间的分布嵌入在一个向量空间的话。当这三种技术结合使用时，在MSCOCO和Flickr基准上获得了最先进的结果。
2016-12-05 cs.LG
Sparse Additive Functional and Kernel CCA
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；University of Chicago（芝加哥大学）
典型相关分析（CCA）是寻找两个随机向量分量之间相关性的经典工具。近年来，CCA已被广泛应用于基因组数据的分析，其中研究人员通常对一组患者样本进行多项分析。最近的工作提出了稀疏的CCA的变种，以解决这些数据的高维性。然而，经典的和稀疏的CCA是基于线性模型，并因此在他们的能力有限，以找到一般的相关性。在本文中，我们提出了两种方法，高维非参数CCA，最近的发展在高维非参数回归的基础上。我们提出了这两种方法的估计程序，并分析其理论性质的高维设置。我们证明了这些程序的有效性，发现非线性相关性，通过广泛的模拟，以及通过实验与基因组数据。
2012-06-18 cs.LG stat.ML
Canonical Correlation Analysis of Datasets with a Common Source Graph
University of Minnesota（明尼苏达大学）
本文提出了一种基于图正则化的典型相关分析方法(gCCA)，通过引入图结构来利用共同源的知识，以提升数据融合和分类性能。
2018-03-27 cs.LG cs.SY eess.SY
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析（CCA）局部应用的度量方法，并将其与基于核的流形学习技术相结合，通过估计多模态观测值之间的欧氏距离，发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置，以及流形学习的扩展到多个数据集。实验结果表明，我们的方法确实发现的共同变量的高维非线性观测，而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
Unpaired Canonical Correlation Analysis
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）
本文提出非配对典型相关分析（UCCA），在无配对样本时学习线性投影以最大化真实配对相关性，填补了传统多视图学习与非配对数据学习的空白。
2026-10-08 cs.LG stat.ML
Efficient Globally Convergent Stochastic Optimization for Canonical Correlation Analysis
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业研究所）
研究了典型相关分析（CCA）的随机优化问题，其目标函数是非凸的，且在训练样本上不解耦。虽然最近提出了几种基于随机梯度的优化算法来解决这个问题，但它们都不能保证全局收敛。受CCA的交替最小二乘/幂迭代公式和PCA的移位和反转预处理方法的启发，我们提出了两种全局收敛的CCA元算法，这两种算法都将原问题转化为只需近似求解的最小二乘问题序列。我们实例化的元算法与国家的最先进的SGD方法，并获得时间复杂度，显着提高了以前的工作。实验结果证明了其优越的性能。
2016-11-14 cs.LG
Sliding Window Informative Canonical Correlation Analysis
Sandia National Laboratories（桑迪亚国家实验室）
本文提出滑动窗口信息典范相关分析(SWICCA)，用于在线流数据设置中的典范相关分析扩展，结合流式主成分分析和滑动窗口样本实时估计典范相关成分。
2026-05-08 cs.LG eess.IV math.ST
Deep Generalized Canonical Correlation Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了深度广义典型相关分析（DGCCA）--一种学习任意多个数据视图的非线性变换的方法，使得所得到的变换最大限度地相互提供信息。虽然用于非线性双视图表示学习的方法（Deep CCA，（Andrew等人，2013））和线性多视图表示学习（广义CCA（Horst，1961））的情况下，DGCCA是第一种CCA式多视图表示学习技术，其将非线性（深度）表示学习的灵活性与合并来自许多独立源或视图的信息的统计能力相结合。我们提出了DGCCA制定以及一个有效的随机优化算法来解决它。我们学习DGCCA表示在两个不同的数据集上的三个下游任务：从声学和发音测量的语音转录，并推荐Twitter用户的数据集上的标签和朋友。我们发现，DGCCA表示在音标和主题标签推荐方面完全击败了现有方法，并且一般来说表现不比标准线性多视图技术差。
2017-06-15 cs.AI cs.LG stat.ML
Deep Multi-View Learning via Task-Optimal CCA
Pixel Scientia Labs（Pixel Scientia实验室）；University of Salzburg（萨尔茨堡大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
典型相关分析（CCA）被广泛用于多模态数据分析，最近，用于多视图学习等区分任务;然而，它不使用类别标签。最近的CCA方法已经开始解决这个弱点，但局限于它们不能同时优化CCA投影以进行区分和CCA投影本身，或者它们仅是线性的。我们通过同时优化基于CCA的任务目标和端到端的方式来解决这些缺陷。这两个目标一起学习到高度相关和区分的共享潜在空间的非线性CCA投影。我们的方法在交叉视图分类、第二视图正则化和真实数据上的半监督学习方面比以前的最新技术（包括深度监督方法）有了显着的改进。
2019-07-17 cs.CV cs.LG stat.ML
Nonlinear Sparse Generalized Canonical Correlation Analysis for Multi-view High-dimensional Data
New York University（纽约大学）；University of California, San Francisco（加州大学旧金山分校）；East China Normal University（华东师范大学）；University of Michigan（密歇根大学）
针对多视图高维数据，提出三种非线性稀疏广义CCA方法（HSIC-SGCCA、SA-KGCCA、TS-KGCCA），其中HSIC-SGCCA通过块近线性与线性化ADMM求解非凸问题，并在模拟和TCGA-BRCA数据上优于现有方法。
2025-02-26 cs.LG stat.ML
Deep Tensor CCA for Multi-view Learning
The Chinese University of Hong Kong（香港中文大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；City University of Hong Kong（香港城市大学）
我们提出了深度张量典型相关分析（DTCCA），这是一种学习数据的多个视图（两个以上）的复杂非线性变换的方法，使得所得到的表示在高阶中线性相关。给定多个视图的高阶相关性由协方差张量建模，这不同于大多数CCA公式仅依赖于成对相关性。通过最大化高阶典型相关来联合学习每个视图的变换参数。为了解决这个问题，我们将其转化为秩1近似的最佳和，这可以有效地解决现有的张量分解方法。DTCCA是张量CCA（TCCA）通过深度网络的非线性扩展。DTCCA的变换是参数函数，这与核函数形式的隐式映射有很大不同。与核TCCA相比，DTCCA不仅可以处理任意维数的输入数据，而且不需要维护用于计算任何给定数据点的表示的训练数据。因此，DTCCA作为一个统一的模型，可以有效地克服TCCA的可扩展性问题，无论是高维多视图数据或大量的视图，它也自然扩展TCCA学习非线性表示。在三个多视图数据集上的实验证明了该方法的有效性。
2020-05-25 cs.LG stat.ML
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University（上海交通大学）；University of Southampton（南安普顿大学）
稀疏典型相关分析（CCA）是一种有用的统计工具，用于检测具有稀疏结构的潜在信息。然而，稀疏CCA仅适用于两个数据集，即，只有两个视图或两个不同的对象。为了克服这一局限性，本文提出了一种稀疏广义典型相关分析（GCCA），它可以检测具有稀疏结构的多视图数据的潜在关系。此外，引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说，我们将GCCA转换成一个线性方程组，并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题，这是很难解决的。受Boyd一致性问题的启发，提出了一种基于分布式交替迭代的算法，并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
Sparse Canonical Correlation Analysis via Concave Minimization
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
提出了一种新的稀疏典型相关分析（sCCA）方法，其目的是在高维多视图问题中发现可解释的关联，即对同一主题的多组变量的观察。受Albernee等人（2010）的稀疏PCA方法的启发，我们还证明了稀疏CCA公式，虽然是非凸的，但等价于一个紧集上凸目标的最大化程序，为此我们提出了一阶梯度方法。这个结果帮助我们将搜索空间大幅减少到集合的边界。因此，我们提出了一个两步算法，其中我们首先使用我们的快速算法推断典型方向的稀疏模式，然后我们缩小每个视图，即一组协变量的观测值，以包含在前一步中选择的协变量集的观测值，并通过任何CCA算法计算其典型方向。我们还介绍了Directed Sparse CCA，它能够找到与指定实验设计一致的关联，以及Multi-View sCCA，用于发现多组协变量之间的关联。我们的模拟建立优越的收敛性能和计算效率，我们的算法，以及在典型的相关性和它的能力，以恢复支持的典型方向的准确性。我们研究代谢组学，transncripomics和微生物组学之间的关联在一个多组学研究使用MuLe，这是一个R-包，实现我们的方法，为了形成假设的机制，果蝇黑腹果蝇适应高剂量的环境毒物，特别是阿特拉津，这是一种常用的化肥。
2019-09-17 cs.LG stat.ML
Probabilistic CCA with Implicit Distributions
University of Technology Sydney（悉尼科技大学）
典型相关分析（CCA）是一种经典的多视图数据分析技术。为了克服实际多视图学习任务中线性相关性的不足，提出了各种CCA变体来捕获非线性相关性。然而，由于这些变体对数据和潜在代码分布的固有限制性假设，因此对这些变体进行原则上的理解并非易事。虽然一些作品已经研究了CCA的概率解释，这些模型仍然需要显式形式的分布，以实现一个易于处理的解决方案的推断。在这项工作中，我们研究了基于隐式分布的CCA的概率解释。我们提出了条件互信息（CMI）作为CCA的一个新的标准，考虑线性和非线性依赖的任意分布的数据。为了消除CMI的直接估计，其中仍然需要明确的形式的分布，我们推导出一个目标，它可以提供一个有效的推理方法估计CMI。为了便于贝叶斯推断的多视图分析，我们提出了对抗CCA（ACCA），它实现了一致的编码多视图数据的边缘化的隐式后验的一致性约束。这样的模型将在多视图数据与隐式分布的对齐中实现优越性。值得注意的是，大多数现有的CCA变体可以通过为后验分布和似然分布分配特定的形式与我们提出的CCA模型相关联。在基准数据集和真实数据集上进行的非线性相关分析和交叉视图生成实验证明了该模型的优越性。
2019-07-04 cs.LG stat.ML
TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees
本文提出首个基于梯度提升树的CCA方法TreeCCA，兼具非线性精度与可解释性，在多类基准上性能优于或相当Deep CCA等方法，成本更低且可提供数据解释。
2026-07-30 cs.LG
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一种深度概率多视图模型，该模型由基于潜在空间中的概率典型相关分析（CCA）描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件，其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发，近似的后验分布的潜在概率多视图层，同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明，所提出的深度生成式多视图模型能够有效地整合多视图间的关系，降低学习难度，并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
Beyond CCA: Moment Matching for Multi-View Models
INRIA（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）
我们介绍了三个新的半参数扩展的概率典型相关分析的可识别性保证。我们认为矩匹配技术在这些模型中的估计。为此，通过绘制新模型和离散版本的独立成分分析（DICA）之间的明确联系，我们首先将DICA累积量张量扩展到新的离散版本的CCA。通过进一步利用与独立成分分析的紧密联系，我们引入了广义协方差阵，它可以取代矩匹配框架中的累积量张量，从而显著地提高了样本复杂度，简化了推导和算法。由于张量幂方法或正交联合对角化方法在新的设置中不适用，我们使用非正交联合对角化技术来匹配累积量。我们证明了所提出的模型和估计技术的性能与合成和真实数据集的实验。
2016-06-03 cs.LG stat.ML
Similarity of Neural Network Representations Revisited
Google Brain（谷歌大脑）
最近的工作试图通过比较层之间和不同训练模型之间的表示来理解神经网络的行为。我们研究的方法比较神经网络表示典型相关分析（CCA）的基础上。我们发现，CCA属于一个家庭的统计测量多元相似性，但无论是CCA或任何其他统计是不变的可逆线性变换可以测量有意义的相似性表示更高的维度比数据点的数量。我们引入了一个相似性指数，衡量代表性的相似性矩阵之间的关系，并没有受到这种限制。该相似性指数与中心核比对（CKA）等价，也与CCA密切相关。与CCA不同，CKA可以可靠地识别从不同初始化训练的网络中的表示之间的对应关系。
2019-07-19 cs.LG q-bio.NC stat.ML
Unconstrained Stochastic CCA: Unifying Multiview and Self-Supervised Learning
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
本文提出无约束目标函数及基于SGD的快速随机PLS、随机CCA和深度CCA算法，显著提升收敛速度与相关性恢复能力，并在UK Biobank大规模数据和自监督学习任务上验证了有效性。
2024-05-01 cs.AI cs.LG stat.ML
Multi-modality fusion using canonical correlation analysis methods: Application in breast cancer survival prediction from histology and genomics
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Almaden Research Center（IBM阿尔马登研究中心）
提出基于惩罚典型相关分析与矩阵收缩的双模态融合及两阶段预测流程，提升潜变量预测，并在乳腺癌组织学与基因组数据中优于同维 PCA。
2021-11-27 cs.LG eess.SP q-bio.QM
Tensor Canonical Correlation Analysis for Multi-view Dimension Reduction
The University of Melbourne（墨尔本大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Technology, Sydney（悉尼科技大学）
典型相关分析（CCA）因其深厚的理论基础和成功的实际应用而被证明是一种有效的两视图降维工具。然而，在多视图学习方面，它仅限于处理由两个视图特征表示的数据的能力，而在许多现实世界的应用中，视图的数量往往更多。虽然同时探索所有可能的特征对的特设方式可以在数值上处理多视图数据，但它忽略了只能通过同时探索所有特征来发现的高阶顺序统计量（相关信息）。因此，在这项工作中，我们开发了张量CCA（TCCA），它直接而自然地推广CCA处理任意数量的视图的数据，通过分析不同视图的协方差张量。TCCA旨在直接最大化多个（两个以上）视图的典型相关性。至关重要的是，我们证明了多视图的典型相关最大化问题相当于找到最好的秩1近似的数据协方差张量，这可以有效地解决使用著名的交替最小二乘（ALS）算法。因此，包含在不同的视图中的高阶相关信息被探索，从而可以获得一个更可靠的公共子空间共享的所有功能。此外，TCCA的非线性扩展。在大规模生物特征结构预测、网络广告分类和网络图像标注等挑战性任务上的实验结果表明了该方法的有效性。
2015-02-09 cs.CV cs.LG stat.ML
Discriminative Multiple Canonical Correlation Analysis for Information Fusion
Ryerson University（瑞尔森大学）；Zhengzhou University（郑州大学）
本文提出了判别式多典型相关分析（DMCCA）用于多模态信息分析与融合。DMCCA能够从多模态信息表示中提取更具鉴别力的特征。具体来说，它发现的投影方向，同时最大化类内相关性和最小化类间相关性，从而更好地利用多模态信息。在这个过程中，我们分析表明，最佳投影的尺寸由DMCCA可以相当准确地预测，导致卓越的性能和大幅降低计算成本。进一步验证了典型相关分析（CCA）、多重典型相关分析（MCCA）和判别典型相关分析（DCCA）是DMCCA的特例，从而建立了一个统一的典型相关分析框架。我们实现了一个DMCCA的原型，以证明其在手写数字识别和人类情感识别的性能。实验结果表明，DMCCA方法优于传统的串行融合方法、CCA、MCCA和DCCA。
2021-02-28 cs.LG
Multi-view Alignment and Generation in CCA via Consistent Latent Encoding
Centre for Artificial Intelligence (CAI), University of Technology Sydney（悉尼科技大学人工智能中心（CAI））
多视图对齐，实现多视图输入的一一对应，在许多现实世界的多视图应用中是至关重要的，特别是对于跨视图数据分析问题。近年来，越来越多的研究者利用典型相关分析（CCA）来研究这一对齐问题。然而，现有的CCA模型容易由于忽略不确定性或多个视图的不一致编码而使多个视图不对齐。针对这两个问题，本文从贝叶斯的角度研究了多视图对齐问题。深入研究了不一致编码的损害，我们提出了通过匹配不同形式的因子分解下的多视图随机变量的联合分布的边缘化来恢复多视图输入的对应性。为了实现我们的设计，我们提出了对抗CCA（ACCA），它通过对抗训练范式匹配边缘化的潜在编码来实现一致的潜在编码。基于条件互信息的分析表明，ACCA对处理隐式分布是灵活的。大量的相关性分析和噪声输入设置下的交叉视图生成的实验证明了我们的模型的优越性。
2020-05-24 cs.CV cs.LG stat.ML
Revisiting Deep Generalized Canonical Correlation Analysis
University of Virginia（弗吉尼亚大学）
本文重新审视深度广义典型相关分析，针对现有方法允许平凡解、遗漏弱共同因子或过载等问题，提出将私有成分建模为条件独立的新公式，并给出识别共同因子的充分条件，实验验证了其有效性。
2023-12-20 cs.LG eess.SP stat.ML
Adversarial Canonical Correlation Analysis
North Carolina State University（北卡罗来纳州立大学）
典型相关分析（CCA）是一种统计技术，用于从多个数据源或视图中提取公共信息。它已被用于各种表示学习问题，如降维，词嵌入和聚类。最近的工作在深度学习上下文中给出了CCA概率基础，并使用数据日志似然的变分下界来估计模型参数。另外，对抗技术近年来已经出现，作为自动编码器中变分贝叶斯方法的强大替代方案。在这项工作中，我们探索了最近在深度变分CCA（VCCA和VCCA-Private）中工作的直接对抗性替代方案，我们称之为ACCA和ACCA-Private，并展示了这些方法如何提供更强大，更灵活的方式来匹配来自编码器的近似后验，比VCCA和VCCA-Private模型更大的先验类别。这允许更直接地追求构成良好表示的新先验，例如解开变化的潜在因素。我们通过使用一个新设计的数据集，我们称之为缠结MNIST，提供进一步的分析VCCA-Private和ACCA-Private的多层次解纠缠特性。我们还为这些模型设计了一个验证标准，该标准在理论上是有基础的，与任务无关的，并且在实践中效果良好。最后，我们填补了一个小的研究空白，推导出一个额外的可变下限VCCA，允许表示使用特定于视图的信息，从两个输入视图。
2020-06-09 cs.AI cs.CV cs.LG
Large-Scale Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
核典型相关分析（KCCA）是一种非线性多视图表示学习技术，在统计学和机器学习中具有广泛的应用。虽然KCCA目标有一个封闭形式的解决方案，它涉及到解决一个$N\times N$特征值系统，其中$N$是训练集的大小，使其在内存和时间的计算要求禁止大规模的问题。已经为KCCA开发了各种近似技术。通常使用的方法是首先将原始输入变换到$M$维随机特征空间，使得特征空间中的内积近似核评估，然后将线性CCA应用于变换后的输入。然而，在许多应用中，随机特征空间的维度$M$可能需要非常大，以便获得足够好的近似;然后，对所得的非常高维的数据矩阵执行线性CCA步骤变得具有挑战性。我们展示了如何使用随机优化算法，最近提出的线性CCA及其神经网络扩展，以进一步减轻近似KCCA的计算要求。这种方法允许我们在一个典型的工作站上运行近似KCCA的语音数据集与$1.4$百万训练样本和随机特征空间的维数$M=100000$。
2016-02-29 cs.LG
Canonical Autocorrelation Analysis
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个扩展的稀疏典型相关分析（CCA），旨在寻找多对多的线性相关在一组变量。与CCA不同，CCA发现两组数据之间的相关性，其中行完全匹配，但列代表单独的变量集，这里提出的方法，典型自相关分析（CAA），发现一组变量中的多变量相关性。当我们在数据中寻找隐藏的简约结构时，这可能是有用的，每个结构只涉及所有特征的一小部分。此外，所发现的相关性是高度可解释的，因为它们是由原始特征的稀疏线性组合对形成的。我们展示了CAA如何可以作为异常检测的工具，当预期的相关性结构不遵循异常数据。我们说明了CAA在两个应用领域的效用，其中单类和无监督学习的相关结构是特别相关的：乳腺癌诊断和辐射威胁检测。当应用到威斯康星州乳腺癌数据，单类CAA是有竞争力的监督方法在文献中使用。在辐射威胁检测任务上，无监督CAA的表现明显优于该领域中普遍存在的无监督替代方案，同时为威胁分析提供了有价值的额外见解。
2015-11-19 cs.LG stat.ML
An EM Based Probabilistic Two-Dimensional CCA with Application to Face Recognition
Isfahan University of Technology（伊斯法罕理工大学）
近年来，二维的【形】典型相关分析（2DCCA）被成功地应用于图像的特征提取。该方法不是将图像的列连接到一维向量，而是直接与二维的【形】图像矩阵一起工作。虽然2DCCA在不同的识别任务中工作得很好，但它缺乏概率解释。在本文中，我们提出了一个概率框架的2DCCA称为概率2DCCA（P2DCCA）和迭代EM为基础的优化算法的参数。在合成数据和真实数据上的实验结果表明，P2DCCA在负载因子估计方面优于2DCCA。对于真实数据，AR人脸数据库和UMIST人脸数据库的三个子集证实了所提出的算法在不同光照条件下的人脸识别任务，面部表情，姿态和遮挡的鲁棒性。
2017-02-25 cs.CV cs.LG stat.ML
Fair CCA for Fair Representation Learning: An ADNI Study
University of Pennsylvania（宾夕法尼亚大学）
针对现有公平CCA方法忽略下游分类任务公平性的问题，提出一种新型公平CCA方法，在保证准确率和相关分析性能的同时提升分类公平性，已在合成数据和ADNI真实数据上验证有效。
2025-10-01 cs.AI cs.CY cs.LG
Grouping effects of sparse CCA models in variable selection
University of Pennsylvania（宾夕法尼亚大学）
稀疏典型相关分析（SCCA）是一种双多变量关联模型，它可以找到两组变量的稀疏线性组合，这些变量彼此之间的相关性最大。除了标准的SCCA模型之外，简化的SCCA准则由于其计算简单而在文献中广泛使用，该准则最大化一对典型变量之间的互协方差而不是它们的互相关性。然而，这两个模型的解的行为/性质在理论上仍然未知。本文分析了标准SCCA模型和简化SCCA模型在变量选择上的分组效应。在高维环境中，变量通常形成具有高组内相关性和低组间相关性的组。我们的理论分析表明，对于分组变量选择，简化SCCA联合选择或取消选择一组变量在一起，而标准SCCA随机选择几个主导变量从每个相关组的相关变量。对人工合成数据和真实成像遗传学数据的实验结果验证了我们的理论分析结果。
2020-08-07 cs.LG stat.ME
Finding the needle in high-dimensional haystack: A tutorial on canonical correlation analysis
University of York（约克大学）；University College London（伦敦大学学院）；Max Planck University College London Centre for Computational Psychiatry and Ageing Research（马克斯·普朗克伦敦大学学院计算精神病学与衰老研究中心）；University of Pennsylvania（宾夕法尼亚大学）；RWTH Aachen University（亚琛工业大学）；Jülich-Aachen Research Alliance（于利希-亚琛研究联盟）；INRIA（法国国家信息与自动化研究所）；CEA Saclay（法国原子能委员会萨克雷中心）
自21世纪初以来，生物学和医学数据的规模、广度和粒度迅速增长。以神经科学为例，涉及数千名受试者的研究变得越来越普遍，这些研究在行为、神经和基因组水平上提供了数百个变量的广泛表型分析。这种大数据存储库的复杂性为研究大脑、认知和疾病提供了新的机会，也提出了新的挑战。典型相关分析（CCA）是一个典型的方法家族，用于从如此丰富的数据集中获取洞察力。这种双多变量工具可以同时考虑来自不同模态的两个变量集，以揭示基本的隐藏关联。我们的初级读本讨论了CCA在生物医学中的基本原理、承诺和陷阱。
2018-12-06 cs.LG stat.AP stat.ML
Provable Subspace Identification of Nonlinear Multi-view CCA
Chair of Data Processing（数据处理教授职位）；Technical University of Munich（慕尼黑技术大学）；fortiss GmbH（fortiss公司）
本文提出了一种可证的非线性多视图CCA子空间识别方法，通过理论证明和实验验证，展示了在合适条件下恢复共享子空间的能力。
2026-07-10 cs.LG
Variational Interpretable Learning from Multi-view Data
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
典型相关分析（CCA）的主要思想是将不同的视图映射到一个具有最大相关性的公共潜在空间。我们提出了一种用于多视图学习的深度可解释的变分典型相关分析（DICCA）。所开发的模型通过使用深度生成网络将现有的线性CCA潜变量模型扩展到非线性模型。DICCA的目的是解开多视图数据的共享和特定于视图的变化。为了进一步使模型更具可解释性，我们在潜在权重上放置了一个稀疏诱导先验，并使用由特定于视图的生成器组成的结构化变分自编码器。在真实世界数据集上的实证结果表明，我们的方法在各个领域都具有竞争力。
2022-03-01 cs.LG stat.ML
Nonlinear Multiview Analysis: Identifiability and Neural Network-assisted Implementation
Oregon State University（俄勒冈州立大学）
多视图分析的目的是从在不同域中获取的数据样本中提取共享的潜在成分，例如，图像、文本和音频。经典的多视图分析，例如，典型相关分析（CCA）通过在特定潜在域中匹配线性变换的视图来解决这个问题。最近，强大的非线性学习工具，如核方法和神经网络被用来增强经典的CCA。然而，与线性CCA的理论方面被清楚地理解不同，非线性CCA方法在很大程度上是直觉驱动的。特别是，目前还不清楚在什么条件下可以识别跨视图的共享潜在组件-而可识别性在许多应用中起着至关重要的作用。在这项工作中，我们重新审视非线性多视图分析和解决的理论和计算方面。我们的工作利用了一个有用的非线性模型，即后非线性模型，从非线性混合物分离文献。结合多视图数据，我们采取了非线性多视图混合学习的观点，这是线性CCA的经典生成模型的自然扩展。从那里，我们得到了一个学习标准。我们表明，最小化这一标准导致识别的潜在共享组件到一定的模糊性，在合理的条件下。我们的推导和公式化也为现有的基于深度神经网络的CCA公式化提供了新的见解和解释。在计算方面，我们提出了一个有效的算法，简单和可扩展的更新规则。一系列的仿真和实际数据实验证实了我们的理论分析。
2020-03-30 cs.LG stat.ML
Provable Affine Identifiability of Nonlinear CCA under Latent Distributional Priors
fortiss GmbH, Munich, Germany（fortiss公司，慕尼黑，德国）；Technical university of Munich（慕尼黑技术大学）
本文通过将分析从观测空间迁移到源空间，利用双变量分布的正交多项式展开，证明了在特定分布先验下非线性典型相关分析（CCA）能够恢复真实潜在因子至仿射变换，并提供了岭正则化经验CCA在有限样本下收敛的理论基础。
2026-07-09 cs.LG
Towards Aligned Canonical Correlation Analysis: Preliminary Formulation and Proof-of-Concept Results
UC Riverside（加州大学河滨分校）
针对多视图场景中数据视角对齐不明确的问题，本文提出 Aligned Canonical Correlation Analysis（ACCA）框架，通过迭代方式联合求解对齐与多视图嵌入。
2023-12-08 cs.LG stat.ML
A Latent Variable Model for Two-Dimensional Canonical Correlation Analysis and its Variational Inference
Isfahan University of Technology（伊斯法罕理工大学）
通过概率模型描述降维（DR）技术最近得到了特别的关注。概率模型，除了一个更好的可解释性的DR方法，提供了一个框架，这样的算法的进一步扩展。概率DR方法的新途径之一是保持数据的内部结构。这意味着在降维过程中，不需要首先将数据从矩阵或张量格式转换为向量格式。本文提出了一种用于典型相关分析（CCA）的矩阵变量数据的潜变量模型。由于在一般情况下，没有任何分析的最大似然解决方案，这个模型，我们提出了两种方法来学习的参数。使用合成数据的收敛性和映射的质量方面所提出的方法进行评估。此外，真实的数据集被用来评估所提出的方法与几个概率和非概率CCA为基础的方法。结果证实了所提出的方法相对于竞争算法的优越性。此外，该模型可以被认为是进一步扩展的框架。
2017-08-04 cs.CV cs.LG stat.ML
Motion Artifacts Correction from Single-Channel EEG and fNIRS Signals using Novel Wavelet Packet Decomposition in Combination with Canonical Correlation Analysis
Universiti Kebangsaan Malaysia（马来西亚国民大学）；Qatar University（卡塔尔大学）；Hamad General Hospital（哈马德综合医院）；Alkhor Hospital（阿尔霍尔医院）；BIRDEM General Hospital（BIRDEM综合医院）；North South University（南北大学）
脑电图（EEG）和功能性近红外光谱（fNIRS）信号，高度非平稳的性质，极大地遭受运动伪影，而使用可穿戴传感器记录。本文提出了两种鲁棒的方法：i）小波包分解（WPD），和ii）WPD结合典型相关分析（WPD-CCA），从单通道EEG和fNIRS信号的运动伪影校正。使用基准数据集来测试这些所提出的技术的功效，并且使用两个公认的性能矩阵来测量所提出的方法的性能：i）信噪比的差异（ΔSNR）和ii）运动伪影的减少百分比（η）。对于所有可用的23个EEG记录，所提出的基于WPD的单阶段运动伪影校正技术在使用db2小波包时产生最高的平均ΔSNR（29.44 dB），而在使用db 1小波包时获得最大的平均η（53.48%）。我们提出的两阶段运动伪影校正技术，即利用db 1小波包的WPD-CCA方法，显示出最好的去噪性能，对所有EEG记录分别产生平均ΔSNR和η值为30.76 dB和59.51%。而两级运动伪影去除技术WPD-CCA的平均ΔSNR（16.55 dB，使用db 1小波包）和平均η（41.40%，使用fk 8小波包）最高。对于所有使用fk 4小波包的fNIRS信号，使用单级伪影去除技术（WPD）的最高平均ΔSNR和η分别为16.11 dB和26.40%。在EEG和fNIRS模式中，当采用两阶段WPD-CCA技术时，运动伪影的减少百分比分别增加了11.28%和56.82%。
2022-04-09 cs.LG
Multimodal fusion using sparse CCA for breast cancer survival prediction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；VinUniversity（文大）
有效理解癌症等疾病需要融合多模态数据在物理尺度上捕获的多个信息源。在这项工作中，我们提出了一种新的特征嵌入模块，来自典型的相关性分析，占模态内和模态间的相关性。模拟和真实数据上的实验证明了我们提出的模块如何学习相关性良好的多维嵌入。这些嵌入在TCGA-BRCA乳腺癌患者的一年生存分类中表现出竞争力，在5倍交叉验证下，平均F1评分高达58.69%。
2021-03-09 cs.LG eess.SP q-bio.GN
Multimodal Representation Learning using Deep Multiset Canonical Correlation
University of Southern California（南加州大学）
我们提出了深度多集典型相关分析（dMCCA）作为使用CCA的表示学习的扩展，当底层信号在多个（两个以上）模态中观察时。我们使用深度学习框架来学习从不同模态到共享子空间的非线性变换，使得表示最大化观测的模态间和模态内协方差的比率。与线性判别分析不同，我们不需要类信息来学习这些表示，并且我们证明了这个模型可以使用小批量来训练复杂数据。使用合成数据实验，我们表明，dMCCA可以有效地恢复共同的信号跨越不同的模态破坏的乘性和加性噪声。我们还分析了我们的模型的敏感性，以恢复相关的组件相对于小批量的大小和嵌入的尺寸。在有噪声的手写数据集上的性能评估表明，我们的模型优于其他基于CCA的方法，并且与在该数据集上进行端到端训练的深度神经网络模型相当。
2019-04-03 cs.LG eess.SP
Common Information Components Analysis
School of Computer and Communication Sciences EPFL（洛桑联邦理工学院计算机与通信科学学院）
我们给出了典型相关分析（CCA）通过（放松）Wyner的共同信息的信息论解释。CCA允许从两个高维数据集中提取低维描述（特征），这些描述（特征）使用相关性和线性变换的框架来捕获数据集之间的共性。我们的解释首先提取公共信息，达到预先选择的分辨率水平，然后将其投影回每个数据集。在高斯统计的情况下，该过程精确地简化为CCA，其中分辨率级别指定提取的CCA分量的数量。这也提出了一种新的算法，公共信息成分分析（CICA），具有几个理想的功能，包括自然扩展到两个数据集之外。
2020-02-28 cs.IT cs.LG math.IT
Long-term stable Electromyography classification using Canonical Correlation Analysis
Institute of Neuroinformatics（神经信息学研究所）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；University of Modena e Reggio Emilia（摩德纳-雷焦艾米利亚大学）；University of Bologna（博洛尼亚大学）
基于表面肌电图（sEMG）信号的解码的手势辨别是用于控制假肢装置和用于人机界面（HMI）的成熟方法。然而，尽管这种方法在控制良好的实验条件下取得了可喜的成果，但其在长期现实应用场景中的部署仍然受到一些挑战的阻碍。最关键的挑战之一是在多天内保持高EMG数据分类性能，而无需重新训练解码系统。性能下降主要是由于电极移位、肌肉伪影、疲劳、用户适应或皮肤电极接口问题引起的高EMG变异性。在这里，我们提出了一种新的统计方法的基础上典型相关分析（CCA），稳定的EMG分类性能在多天的长期控制假肢设备。我们展示了CCA如何通过最大限度地提高多日采集数据集之间的相关性，大大降低标准分类器在几天内观察到的性能下降。我们的研究结果显示，仅在实验的第一天采集的EMG数据上训练的分类器的性能如何在多天内保持90%的相对准确度，从而补偿长期发生的EMG数据变化，使用CCA变换从少量手势中获得的数据。这种方法消除了对大数据集和多个或周期性训练会话的需要，大数据集和多个或周期性训练会话目前妨碍了传统的基于模式识别的方法的可用性
2023-01-23 cs.HC cs.LG eess.SP
