Adaptive Canonical Correlation Analysis Based On Matrix Manifolds
在本文中，我们制定了典型相关分析（CCA）问题的矩阵流形。这个框架提供了一种自然的方式来处理矩阵约束和工具，即使在自适应设置中也可以构建有效的算法。最后，提出了一种自适应CCA算法，并应用于脑电信号的变化检测问题。
2012-06-27 cs.LG stat.ML
Towards Aligned Canonical Correlation Analysis: Preliminary Formulation and Proof-of-Concept Results
UC Riverside（加州大学河滨分校）
针对多视图场景中数据视角对齐不明确的问题，本文提出 Aligned Canonical Correlation Analysis（ACCA）框架，通过迭代方式联合求解对齐与多视图嵌入。
2023-12-08 cs.LG stat.ML
Graph Canonical Correlation Analysis
Institute of Physics（物理研究所）
本文提出图典型相关分析（gCCA），利用互相关矩阵的图结构计算典型相关，并给出高效算法与有限样本理论保证，在模拟和多组学数据中均优于传统CCA方法。
2025-02-03 cs.LG stat.ML
Sparse Weighted Canonical Correlation Analysis
State Key Laboratory of Software Engineering, School of Computer, Wuhan University（武汉大学计算机学院软件工程国家重点实验室）；School of Mathematics Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
给定两个数据矩阵$X$和$Y$，稀疏典型相关分析（SCCA）就是寻找两个稀疏典型向量$u$和$v$，以最大化$Xu$和$Yv$之间的相关性。然而，经典和稀疏CCA模型考虑了数据矩阵的所有样本的贡献，因此无法识别潜在的特定样本子集。为此，我们提出了一种新的稀疏加权典型相关分析（SWCCA），其中权重用于正则化不同的样本。我们使用交替迭代算法求解$L_0$ -正则化SWCCA（$L_0$ -SWCCA）。我们将$L_0$ -SWCCA应用于合成数据和真实数据，以证明其有效性和优越性。最后，我们还考虑了SWCCA与不同的惩罚，如LASSO（最小绝对收缩和选择算子）和组LASSO，并将其扩展为集成三个以上的数据矩阵。
2017-10-13 cs.LG stat.ML
Multiview Variational Graph Autoencoders for Canonical Correlation Analysis
Univ. Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）
提出了一种基于变分方法的多视角典型相关分析模型。这是第一个非线性模型，它考虑了可用的基于图形的几何约束，同时可扩展用于处理具有多个视图的大规模数据集。它基于具有图形卷积神经网络层的自动编码器架构。我们在真实数据集上对我们的分类，聚类和推荐任务进行了实验。该算法与最先进的多视图表示学习技术具有竞争力。
2021-10-04 cs.LG stat.ML
Canonical Correlation Analysis for Analyzing Sequences of Medical Billing Codes
University of Washington（华盛顿大学）
我们建议使用典型相关分析（CCA）从序列的医疗账单代码生成功能。应用这种新的使用CCA的憩室炎患者的医疗账单代码的数据库，我们首先证明了CCA嵌入捕获有意义的代码之间的关系。然后，我们从这些嵌入中生成特征，并建立它们在预测未来憩室炎择期手术中的有用性，这是降低医疗保健成本的重要标志。
2017-01-06 cs.LG stat.ML
Fair Canonical Correlation Analysis
University of Pennsylvania（宾夕法尼亚大学）
本文针对CCA中的公平性问题，提出通过最小化受保护属性导致的相关性差异误差来学习全局投影矩阵，并在合成与真实数据上验证其可在不损失准确性的情况下减少偏见。
2023-09-27 cs.LG stat.ML
ORCCA: Optimal Randomized Canonical Correlation Analysis
Northeastern University（东北大学）
随机特征方法在大规模机器学习中被广泛用于核函数逼近。最近的一些研究探索了数据依赖的特征采样，修改了随机特征采样的随机预言。虽然在这一领域提出的技术提高了近似，但它们的适用性往往在单个学习任务上得到验证。在本文中，我们提出了一个特定于任务的评分规则选择随机功能，它可以用于不同的应用程序进行一些调整。我们限制我们的注意力典型相关分析（CCA），我们提供了一个新的，原则性的指导，找到得分函数最大化的典型相关性。我们证明了这种方法，称为ORCCA，可以优于（在预期中）相应的内核CCA与默认的内核。数值实验表明，ORCCA是显着优于其他近似技术在CCA任务。
2021-11-01 cs.LG stat.ML
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University（上海交通大学）；University of Southampton（南安普顿大学）
稀疏典型相关分析（CCA）是一种有用的统计工具，用于检测具有稀疏结构的潜在信息。然而，稀疏CCA仅适用于两个数据集，即，只有两个视图或两个不同的对象。为了克服这一局限性，本文提出了一种稀疏广义典型相关分析（GCCA），它可以检测具有稀疏结构的多视图数据的潜在关系。此外，引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说，我们将GCCA转换成一个线性方程组，并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题，这是很难解决的。受Boyd一致性问题的启发，提出了一种基于分布式交替迭代的算法，并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
An Accelerated Stochastic Gradient for Canonical Polyadic Decomposition
Technical University of Crete（克里特技术大学）
我们考虑结构化的标准多进分解问题。如果问题的规模非常大，那么随机梯度方法是经典方法（如交替优化和一次性优化）的可行替代方案。我们扩展了最近的随机梯度方法，采用加速步骤（Nesterov动量）在每次迭代。我们将我们的方法与最先进的替代方案进行比较，使用合成和真实世界的数据，并发现它非常具有竞争力。
2021-09-28 cs.LG eess.SP
Canonical Correlation Forests
University of Oxford（牛津大学）
我们介绍典型相关森林（CCF），一种新的决策树集成方法的分类和回归。个体典型相关树是具有基于在训练期间计算的局部典型相关系数的超平面分裂的二元决策树。与轴对齐的替代方案不同，CCF的决策表面不限于输入特征的坐标系，因此更自然地表示具有相关输入的数据。CCF自然地容纳多个输出，提供与随机森林相似的计算复杂度，并继承其对输入参数选择的令人印象深刻的鲁棒性。作为CCF训练算法的一部分，我们还引入了投影自举，这是一种用于斜决策树集合的装袋的新方法，它在选择分裂点时保持使用完整的数据集，通常会提高预测精度。我们的实验表明，即使没有参数调整，CCF在分类和回归问题上的表现也优于轴对齐的随机森林和其他最先进的树集成方法，从而提高了预测精度和更快的训练时间。我们进一步表明，他们优于所有的179分类器在最近的广泛调查中考虑。
2017-08-09 cs.LG stat.ML
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析（CCA）局部应用的度量方法，并将其与基于核的流形学习技术相结合，通过估计多模态观测值之间的欧氏距离，发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置，以及流形学习的扩展到多个数据集。实验结果表明，我们的方法确实发现的共同变量的高维非线性观测，而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
$\ell_0$-based Sparse Canonical Correlation Analysis
Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）模型是研究两组变量之间关联的有力工具。\textit{canonical variates}是一种典型的相关表示方法，被广泛应用于无监督学习中，用于分析未标记的多模态注册数据集。尽管CCA模型取得了成功，但如果任一模态中的变量数量超过样本数量，则CCA模型可能会破裂（或过拟合）。此外，通常很大一部分变量测量模态特异性信息，因此去除它们有利于识别\textit{canonically correlated variates}。在这里，我们提出了$\ell_0$ -CCA，学习相关表示的方法，从两个观察到的模态变量的稀疏子集的基础上。稀疏性通过将输入变量乘以随机门来获得，随机门的参数通过$\ell_0$正则化相关损失与CCA权重一起学习。我们进一步提出了$\ell_0$ -Deep CCA，通过使用深度网络对相关表示进行建模来解决非线性稀疏CCA的问题。我们使用几个合成和真实的例子证明了该方法的有效性。最值得注意的是，通过门控滋扰输入变量，我们的方法提高了提取的表示相比，其他线性，非线性和稀疏的基于CCA的模型。
2021-06-08 cs.LG stat.ML
Deep Dynamic Probabilistic Canonical Correlation Analysis
City University of Hong Kong（香港城市大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Lingnan University（岭南大学）
本文提出深度动态概率典型相关分析（D2PCCA），将深度学习与概率建模结合以捕捉非线性潜在动态，并通过KL退火和归一化流增强，在金融数据上验证了其有效性。
2025-02-07 cs.LG stat.ML
Efficient Globally Convergent Stochastic Optimization for Canonical Correlation Analysis
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业研究所）
研究了典型相关分析（CCA）的随机优化问题，其目标函数是非凸的，且在训练样本上不解耦。虽然最近提出了几种基于随机梯度的优化算法来解决这个问题，但它们都不能保证全局收敛。受CCA的交替最小二乘/幂迭代公式和PCA的移位和反转预处理方法的启发，我们提出了两种全局收敛的CCA元算法，这两种算法都将原问题转化为只需近似求解的最小二乘问题序列。我们实例化的元算法与国家的最先进的SGD方法，并获得时间复杂度，显着提高了以前的工作。实验结果证明了其优越的性能。
2016-11-14 cs.LG
An Online Riemannian PCA for Stochastic Canonical Correlation Analysis
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Amazon Lab126（亚马逊Lab126）
我们提出了一个有效的随机算法（RSG+）的典型相关分析（CCA）使用的投影矩阵的重新参数化。我们展示了这种重新参数化（到结构矩阵），简单的事后诸葛亮，直接提出了一个机会，重新利用/调整成熟的技术，数值优化黎曼流形。我们的发展很好地补充了现有的方法，这个问题，要么需要$O(d^3)$时间复杂度，每次迭代与$O(\frac{1}{\sqrt{t}})$收敛速度（其中$d$是维数）或只提取顶部$1$组件与$O(\frac{1}{t})$收敛速度。相比之下，我们的算法提供了一个严格的改进，这个经典的问题：它实现了$O(d^2k)$运行时的复杂性，每次迭代提取顶部$k$规范组件与$O(\frac{1}{t})$收敛速度。虽然本文主要关注其属性的制定和技术分析，但我们的实验表明，在常见数据集上的经验行为是非常有前途的。我们还探索了在训练公平模型中的潜在应用，其中受保护属性的标签丢失或不可用。
2021-06-08 cs.AI cs.LG stat.ML
Dynamically-Scaled Deep Canonical Correlation Analysis
Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）是一种通过寻找两个视图的最大相关线性投影来进行特征提取的方法。在文献中已经介绍了CCA的几种变体，特别是基于深度神经网络的变体，用于学习两个视图的高度相关的非线性变换。由于这些模型通常是参数化的，因此它们的可学习参数在训练过程之后仍然独立于输入，这可能会限制它们学习高度相关表示的能力。本文提出了一种新的动态标度方法来训练输入依赖的典型相关模型。在我们的深度CCA模型中，最后一层的参数由第二个神经网络缩放，该网络以模型的输入为条件，从而产生依赖于输入样本的参数化。我们在多个数据集上评估了我们的模型，并证明了与传统的基于参数化CCA的模型相比，学习到的表示更相关，并且也获得了更好的检索结果。我们的代码可在https://github.com/tomerfr/DynamicallyScaledDeepCCA上获得。
2022-03-24 cs.LG stat.ML
Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Curai（Curai公司）
多模态语言分析通常考虑基于文本的特征与基于声学和视觉特性的特征之间的关系。文本特征通常在情感分析或情感识别任务中优于非文本特征，部分原因是文本特征源自在海量数据源上训练的高级语言模型或词嵌入，而音频和视频特征是人工设计的并且相对不发达。考虑到文本、音频和视频以不同的方式描述相同的话语，我们假设可以通过学习（隐藏）从文本和音频的外积（我们称之为基于文本的音频）和类似的基于文本的视频中提取的特征之间的相关性来改进多模态情感分析和情感识别。本文提出了一种新的模型，交互典型相关网络（ICCN），学习这样的多模态嵌入。ICCN通过深度典型相关分析（DCCA）学习所有三种模式之间的相关性，然后在几个基准数据集上测试所提出的嵌入，并与其他最先进的多模态嵌入算法进行比较。经验结果和消融研究证实了ICCN在从所有三个视图捕获有用信息方面的有效性。
2019-11-30 cs.LG stat.ML
On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们使用Nyström近似研究了大规模核典型相关分析（KCCA）中的列选择问题，其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时，以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略，采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度，开发了一个增量算法，探索路径的近似秩，有利于有效的模型选择，并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
Google Brain（谷歌大脑）；Cornell University（康奈尔大学）；Uber AI Labs（优步人工智能实验室）
我们提出了一种新技术，奇异向量典型相关分析（SVCCA），一种快速比较两种表示的工具，这种工具对仿射变换（允许不同层和网络之间的比较）和快速计算（允许比以前的方法计算更多的比较）都是不变的。我们部署这个工具来测量层的内在维度，在某些情况下显示不必要的过度参数化;在整个训练过程中探索学习动态，发现网络自下而上收敛到最终表示;显示网络中的类特定信息形成的位置;并建议新的训练方案，同时节省计算和减少过度拟合。代码：https://github.com/google/svcca/
2017-11-08 cs.LG stat.ML
Discriminative Multiple Canonical Correlation Analysis for Information Fusion
Ryerson University（瑞尔森大学）；Zhengzhou University（郑州大学）
本文提出了判别式多典型相关分析（DMCCA）用于多模态信息分析与融合。DMCCA能够从多模态信息表示中提取更具鉴别力的特征。具体来说，它发现的投影方向，同时最大化类内相关性和最小化类间相关性，从而更好地利用多模态信息。在这个过程中，我们分析表明，最佳投影的尺寸由DMCCA可以相当准确地预测，导致卓越的性能和大幅降低计算成本。进一步验证了典型相关分析（CCA）、多重典型相关分析（MCCA）和判别典型相关分析（DCCA）是DMCCA的特例，从而建立了一个统一的典型相关分析框架。我们实现了一个DMCCA的原型，以证明其在手写数字识别和人类情感识别的性能。实验结果表明，DMCCA方法优于传统的串行融合方法、CCA、MCCA和DCCA。
2021-02-28 cs.LG
Unpaired Canonical Correlation Analysis
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）
本文提出非配对典型相关分析（UCCA），在无配对样本时学习线性投影以最大化真实配对相关性，填补了传统多视图学习与非配对数据学习的空白。
2026-10-08 cs.LG stat.ML
Canonical Autocorrelation Analysis
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个扩展的稀疏典型相关分析（CCA），旨在寻找多对多的线性相关在一组变量。与CCA不同，CCA发现两组数据之间的相关性，其中行完全匹配，但列代表单独的变量集，这里提出的方法，典型自相关分析（CAA），发现一组变量中的多变量相关性。当我们在数据中寻找隐藏的简约结构时，这可能是有用的，每个结构只涉及所有特征的一小部分。此外，所发现的相关性是高度可解释的，因为它们是由原始特征的稀疏线性组合对形成的。我们展示了CAA如何可以作为异常检测的工具，当预期的相关性结构不遵循异常数据。我们说明了CAA在两个应用领域的效用，其中单类和无监督学习的相关结构是特别相关的：乳腺癌诊断和辐射威胁检测。当应用到威斯康星州乳腺癌数据，单类CAA是有竞争力的监督方法在文献中使用。在辐射威胁检测任务上，无监督CAA的表现明显优于该领域中普遍存在的无监督替代方案，同时为威胁分析提供了有价值的额外见解。
2015-11-19 cs.LG stat.ML
Tensor Generalized Canonical Correlation Analysis
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；Laboratoire des signaux et systèmes（信号与系统实验室）；Sorbonne Université（索邦大学）；Institut du Cerveau - Paris Brain Institute - ICM（巴黎大脑研究所）；Inserm（法国国家健康与医学研究院）；APHP（巴黎公立医院集团）；Hôpital Pitié Salpétrière Univ. Hosp.（皮提耶-萨尔佩特里埃大学医院）；Centre National de Recherche en Génomique Humaine（国家人类基因组研究中心）；Institut François Jacob（弗朗索瓦·雅各布研究所）；CEA（法国原子能委员会）
正则化广义典型相关分析（RGCCA）是一种通用的多区组数据分析框架。RGCCA能够破译几组变量之间的关系，并将许多众所周知的多变量分析方法作为特例。然而，RGCCA只处理向量值块，而忽略了它们可能的高阶结构。本文提出了一种新的张量GCCA（TGCCA）方法，用于分析具有标准向量的高阶张量，该标准向量允许一个正交秩-R-CP分解。此外，TGCCA的两个算法，是否施加一个可分离的协方差结构的基础上，提出了收敛保证。TGCCA的效率和实用性进行评估模拟和真实的数据和比较有利的国家的最先进的方法。
2023-02-10 cs.LG stat.ML
Canonical Correlation Analysis (CCA) Based Multi-View Learning: An Overview
Huazhong University of Science and Technology（华中科技大学）
多视图学习（MVL）是一种融合来自不同来源或子集的数据的策略。典型相关分析（CCA）是多视图视觉中非常重要的一种方法，其主要思想是将来自不同视图的数据映射到一个具有最大相关性的公共空间上。传统的CCA只能用于计算两个视图的线性相关。此外，它是无监督的，标签信息被浪费。许多非线性的、有监督的或广义的扩展已经被提出来克服这些限制。然而，据我们所知，没有这些方法的概述。本文综述了许多具有代表性的基于CCA的MVL方法。
2021-05-02 cs.IR cs.LG stat.ML
Sparse Canonical Correlation Analysis via Concave Minimization
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
提出了一种新的稀疏典型相关分析（sCCA）方法，其目的是在高维多视图问题中发现可解释的关联，即对同一主题的多组变量的观察。受Albernee等人（2010）的稀疏PCA方法的启发，我们还证明了稀疏CCA公式，虽然是非凸的，但等价于一个紧集上凸目标的最大化程序，为此我们提出了一阶梯度方法。这个结果帮助我们将搜索空间大幅减少到集合的边界。因此，我们提出了一个两步算法，其中我们首先使用我们的快速算法推断典型方向的稀疏模式，然后我们缩小每个视图，即一组协变量的观测值，以包含在前一步中选择的协变量集的观测值，并通过任何CCA算法计算其典型方向。我们还介绍了Directed Sparse CCA，它能够找到与指定实验设计一致的关联，以及Multi-View sCCA，用于发现多组协变量之间的关联。我们的模拟建立优越的收敛性能和计算效率，我们的算法，以及在典型的相关性和它的能力，以恢复支持的典型方向的准确性。我们研究代谢组学，transncripomics和微生物组学之间的关联在一个多组学研究使用MuLe，这是一个R-包，实现我们的方法，为了形成假设的机制，果蝇黑腹果蝇适应高剂量的环境毒物，特别是阿特拉津，这是一种常用的化肥。
2019-09-17 cs.LG stat.ML
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一种深度概率多视图模型，该模型由基于潜在空间中的概率典型相关分析（CCA）描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件，其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发，近似的后验分布的潜在概率多视图层，同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明，所提出的深度生成式多视图模型能够有效地整合多视图间的关系，降低学习难度，并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
A kernel method for canonical correlation analysis
典型相关分析是一种从一对多元数据中提取共同特征的技术。然而，在复杂的情况下，由于其线性，它不能提取有用的特征。另一方面，核方法用于支持向量机是一个有效的途径，以改善这种线性方法。本文研究了核方法应用于典型相关分析的有效性。
2007-02-14 cs.CV cs.LG
Tensor Canonical Correlation Analysis for Multi-view Dimension Reduction
The University of Melbourne（墨尔本大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Technology, Sydney（悉尼科技大学）
典型相关分析（CCA）因其深厚的理论基础和成功的实际应用而被证明是一种有效的两视图降维工具。然而，在多视图学习方面，它仅限于处理由两个视图特征表示的数据的能力，而在许多现实世界的应用中，视图的数量往往更多。虽然同时探索所有可能的特征对的特设方式可以在数值上处理多视图数据，但它忽略了只能通过同时探索所有特征来发现的高阶顺序统计量（相关信息）。因此，在这项工作中，我们开发了张量CCA（TCCA），它直接而自然地推广CCA处理任意数量的视图的数据，通过分析不同视图的协方差张量。TCCA旨在直接最大化多个（两个以上）视图的典型相关性。至关重要的是，我们证明了多视图的典型相关最大化问题相当于找到最好的秩1近似的数据协方差张量，这可以有效地解决使用著名的交替最小二乘（ALS）算法。因此，包含在不同的视图中的高阶相关信息被探索，从而可以获得一个更可靠的公共子空间共享的所有功能。此外，TCCA的非线性扩展。在大规模生物特征结构预测、网络广告分类和网络图像标注等挑战性任务上的实验结果表明了该方法的有效性。
2015-02-09 cs.CV cs.LG stat.ML
Deep Variational Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Michigan（密歇根大学）
我们提出了深度变分典型相关分析（VCCA），这是一种深度多视图学习模型，它将线性CCA的潜变量模型解释扩展到由深度神经网络参数化的非线性观测模型。我们通过参数化潜在变量的后验概率，从测试时可用的视图中获得数据似然的变分下界。我们还提出了一种称为VCCA-private的VCCA变体，除了两种视图的“公共变量”之外，还可以提取每个视图中的“私有变量”，并在没有硬监督的情况下为多视图数据解开共享和私有信息。在真实世界数据集上的实验结果表明，我们的方法是跨领域的竞争力。
2017-02-25 cs.LG
Deep Generalized Canonical Correlation Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了深度广义典型相关分析（DGCCA）--一种学习任意多个数据视图的非线性变换的方法，使得所得到的变换最大限度地相互提供信息。虽然用于非线性双视图表示学习的方法（Deep CCA，（Andrew等人，2013））和线性多视图表示学习（广义CCA（Horst，1961））的情况下，DGCCA是第一种CCA式多视图表示学习技术，其将非线性（深度）表示学习的灵活性与合并来自许多独立源或视图的信息的统计能力相结合。我们提出了DGCCA制定以及一个有效的随机优化算法来解决它。我们学习DGCCA表示在两个不同的数据集上的三个下游任务：从声学和发音测量的语音转录，并推荐Twitter用户的数据集上的标签和朋友。我们发现，DGCCA表示在音标和主题标签推荐方面完全击败了现有方法，并且一般来说表现不比标准线性多视图技术差。
2017-06-15 cs.AI cs.LG stat.ML
Finding the needle in high-dimensional haystack: A tutorial on canonical correlation analysis
University of York（约克大学）；University College London（伦敦大学学院）；Max Planck University College London Centre for Computational Psychiatry and Ageing Research（马克斯·普朗克伦敦大学学院计算精神病学与衰老研究中心）；University of Pennsylvania（宾夕法尼亚大学）；RWTH Aachen University（亚琛工业大学）；Jülich-Aachen Research Alliance（于利希-亚琛研究联盟）；INRIA（法国国家信息与自动化研究所）；CEA Saclay（法国原子能委员会萨克雷中心）
自21世纪初以来，生物学和医学数据的规模、广度和粒度迅速增长。以神经科学为例，涉及数千名受试者的研究变得越来越普遍，这些研究在行为、神经和基因组水平上提供了数百个变量的广泛表型分析。这种大数据存储库的复杂性为研究大脑、认知和疾病提供了新的机会，也提出了新的挑战。典型相关分析（CCA）是一个典型的方法家族，用于从如此丰富的数据集中获取洞察力。这种双多变量工具可以同时考虑来自不同模态的两个变量集，以揭示基本的隐藏关联。我们的初级读本讨论了CCA在生物医学中的基本原理、承诺和陷阱。
2018-12-06 cs.LG stat.AP stat.ML
Sliding Window Informative Canonical Correlation Analysis
Sandia National Laboratories（桑迪亚国家实验室）
本文提出滑动窗口信息典范相关分析(SWICCA)，用于在线流数据设置中的典范相关分析扩展，结合流式主成分分析和滑动窗口样本实时估计典范相关成分。
2026-05-08 cs.LG eess.IV math.ST
Multi-modal Sentiment Analysis using Deep Canonical Correlation Analysis
UW-Madison（威斯康星大学麦迪逊分校）；Texas Tech University（得克萨斯理工大学）
本文从数据的文本、音频和视频视图/模式中学习多模态嵌入，以改进下游情感分类。实验框架还允许调查的相对贡献的个人意见，在最终的多模态嵌入。使用深度典型相关分析（DCCA）以两种方式将从三个视图导出的各个特征组合成多模态嵌入：i）一步DCCA和ii）两步DCCA。本文使用BERT学习文本嵌入，这是当前文本编码器的最新技术。我们认为这种高度优化的算法在其他视图的贡献上占主导地位，尽管每个视图都对最终结果有贡献。分类任务在两个基准数据集和一个新的辩论情感数据集上进行，这些都表明一步DCCA在学习多模态嵌入方面优于当前最先进的技术。
2019-07-15 cs.CL cs.IR cs.LG
Generalized Canonical Correlation Analysis: A Subspace Intersection Approach
University of Virginia（弗吉尼亚大学）；University of Minnesota（明尼苏达大学）
广义典型相关分析（GCCA）是数据采掘、机器学习和人工智能中的一个重要工具。它的目的是寻找“共同的”随机变量，这些变量在同一组实体的多个特征表示（视图）之间具有很强的相关性。CCA和GCCA在较小程度上已经从统计和算法的角度进行了研究，但从线性代数的角度来看并不多。本文提供了一个新的代数角度GCCA的基础上（双）线性生成模型，自然捕捉其本质。它表明，从线性代数的角度来看，GCCA是相当于子空间的交集，并提供了条件下，不同的意见，公共子空间是可识别的。提出了一种新的基于子空间交集的GCCA算法，该算法可扩展以处理大规模的GCCA任务。合成以及真实的数据实验，以展示所提出的方法的有效性。
2020-03-25 cs.IR cs.LG eess.SP
Structured SUMCOR Multiview Canonical Correlation Analysis for Large-Scale Data
University of Minnesota（明尼苏达大学）；University of Virginia（弗吉尼亚大学）
广义典型相关分析（GCCA）的相关性和（SUMCOR）公式通过最大化视图的成对潜在相似性来寻求不同视图的高度相关的低维表示。SUMCOR被认为是经典的两视图CCA到多视图情况下的最自然的扩展，因此在信号处理和数据分析中有许多应用。最近的工作已经提出了有效的算法处理SUMCOR问题在非常大的规模。然而，现有的可扩展算法不能结合结构正则化和先验信息-这是在现实世界中的应用程序的良好性能的关键。在这项工作中，我们提出了一个新的计算框架，大规模的SUMCOR GCCA，可以很容易地将一套经常用于数据分析的结构正则化。该算法的更新是轻量级的，存储复杂度也很低。此外，所提出的算法可以很容易地以并行方式实现。我们证明了该算法收敛到正则化SUMCOR问题的Karush-Kuhn-Tucker（KKT）点。设计合理的仿真和真实数据实验证明了该算法的有效性。
2018-04-24 cs.IR cs.LG eess.SP
Multiview Canonical Correlation Analysis for Automatic Pathological Speech Detection
Idiap Research Institute（Idiap研究所）
针对自动病理语音检测中输入表示含无关信息影响分类的问题，提出在检测前使用多视图典型相关分析（MCCA）消除不相关信息，结合传统分类器即可达到或超越复杂架构性能且具可解释性。
2024-09-13 cs.LG cs.SD eess.AS
Multimodal Representation Learning using Deep Multiset Canonical Correlation
University of Southern California（南加州大学）
我们提出了深度多集典型相关分析（dMCCA）作为使用CCA的表示学习的扩展，当底层信号在多个（两个以上）模态中观察时。我们使用深度学习框架来学习从不同模态到共享子空间的非线性变换，使得表示最大化观测的模态间和模态内协方差的比率。与线性判别分析不同，我们不需要类信息来学习这些表示，并且我们证明了这个模型可以使用小批量来训练复杂数据。使用合成数据实验，我们表明，dMCCA可以有效地恢复共同的信号跨越不同的模态破坏的乘性和加性噪声。我们还分析了我们的模型的敏感性，以恢复相关的组件相对于小批量的大小和嵌入的尺寸。在有噪声的手写数据集上的性能评估表明，我们的模型优于其他基于CCA的方法，并且与在该数据集上进行端到端训练的深度神经网络模型相当。
2019-04-03 cs.LG eess.SP
Deep Multi-Modal Classification of Intraductal Papillary Mucinous Neoplasms (IPMN) with Canonical Correlation Analysis
University of Central Florida（中佛罗里达大学）；Mayo Clinic（梅奥诊所）
胰腺癌是所有癌症类型中预后最差的。导管内乳头状粘液性肿瘤（IPMN）是胰腺癌的影像学可识别的前体，因此，IPMN的早期发现和精确的风险评估是至关重要的。在这项工作中，我们提出了一个卷积神经网络（CNN）为基础的计算机辅助诊断（CAD）系统进行IPMN诊断和风险评估，利用多模态MRI。在我们提出的方法中，我们使用最小和最大强度投影来缓解不同切片和MRI类型之间的注释变化。然后，我们提出了一个CNN，以获得对应于每个MRI模态（T1加权和T2加权）的深度特征表示。在最后一步，我们采用典型相关分析（CCA）在特征级进行融合操作，导致歧视性典型相关特征。提取的特征用于分类。我们的研究结果表明，显着改善其他潜在的方法来解决这个重要的问题。所提出的方法不需要显式的样本平衡的情况下，正负的例子之间的不平衡。据我们所知，我们的研究是第一个使用多模态MRI自动诊断IPMN的研究。
2018-04-27 cs.AI cs.CV cs.LG
