Adaptive Canonical Correlation Analysis Based On Matrix Manifolds
在本文中，我们制定了典型相关分析（CCA）问题的矩阵流形。这个框架提供了一种自然的方式来处理矩阵约束和工具，即使在自适应设置中也可以构建有效的算法。最后，提出了一种自适应CCA算法，并应用于脑电信号的变化检测问题。
2012-06-27 cs.LG stat.ML
Stochastic Approximation for Canonical Correlation Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
提出了一种新的典型相关分析的一阶随机近似算法。算法是不精确矩阵随机梯度（MSG）和不精确矩阵指数梯度（MEG）的实例，在$\operatorname{poly}(\frac{1}ε)$迭代中实现了种群目标的$ε$ -次优性.我们还考虑了实际的变种所提出的算法，并将它们与其他方法CCA理论和经验。
2018-02-26 cs.LG stat.ML
Tensor Generalized Canonical Correlation Analysis
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；Laboratoire des signaux et systèmes（信号与系统实验室）；Sorbonne Université（索邦大学）；Institut du Cerveau - Paris Brain Institute - ICM（巴黎大脑研究所）；Inserm（法国国家健康与医学研究院）；APHP（巴黎公立医院集团）；Hôpital Pitié Salpétrière Univ. Hosp.（皮提耶-萨尔佩特里埃大学医院）；Centre National de Recherche en Génomique Humaine（国家人类基因组研究中心）；Institut François Jacob（弗朗索瓦·雅各布研究所）；CEA（法国原子能委员会）
正则化广义典型相关分析（RGCCA）是一种通用的多区组数据分析框架。RGCCA能够破译几组变量之间的关系，并将许多众所周知的多变量分析方法作为特例。然而，RGCCA只处理向量值块，而忽略了它们可能的高阶结构。本文提出了一种新的张量GCCA（TGCCA）方法，用于分析具有标准向量的高阶张量，该标准向量允许一个正交秩-R-CP分解。此外，TGCCA的两个算法，是否施加一个可分离的协方差结构的基础上，提出了收敛保证。TGCCA的效率和实用性进行评估模拟和真实的数据和比较有利的国家的最先进的方法。
2023-02-10 cs.LG stat.ML
Towards Aligned Canonical Correlation Analysis: Preliminary Formulation and Proof-of-Concept Results
UC Riverside（加州大学河滨分校）
针对多视图场景中数据视角对齐不明确的问题，本文提出 Aligned Canonical Correlation Analysis（ACCA）框架，通过迭代方式联合求解对齐与多视图嵌入。
2023-12-08 cs.LG stat.ML
Graph Canonical Correlation Analysis
Institute of Physics（物理研究所）
本文提出图典型相关分析（gCCA），利用互相关矩阵的图结构计算典型相关，并给出高效算法与有限样本理论保证，在模拟和多组学数据中均优于传统CCA方法。
2025-02-03 cs.LG stat.ML
Sparse Weighted Canonical Correlation Analysis
State Key Laboratory of Software Engineering, School of Computer, Wuhan University（武汉大学计算机学院软件工程国家重点实验室）；School of Mathematics Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
给定两个数据矩阵$X$和$Y$，稀疏典型相关分析（SCCA）就是寻找两个稀疏典型向量$u$和$v$，以最大化$Xu$和$Yv$之间的相关性。然而，经典和稀疏CCA模型考虑了数据矩阵的所有样本的贡献，因此无法识别潜在的特定样本子集。为此，我们提出了一种新的稀疏加权典型相关分析（SWCCA），其中权重用于正则化不同的样本。我们使用交替迭代算法求解$L_0$ -正则化SWCCA（$L_0$ -SWCCA）。我们将$L_0$ -SWCCA应用于合成数据和真实数据，以证明其有效性和优越性。最后，我们还考虑了SWCCA与不同的惩罚，如LASSO（最小绝对收缩和选择算子）和组LASSO，并将其扩展为集成三个以上的数据矩阵。
2017-10-13 cs.LG stat.ML
Canonical Correlation Analysis for Analyzing Sequences of Medical Billing Codes
University of Washington（华盛顿大学）
我们建议使用典型相关分析（CCA）从序列的医疗账单代码生成功能。应用这种新的使用CCA的憩室炎患者的医疗账单代码的数据库，我们首先证明了CCA嵌入捕获有意义的代码之间的关系。然后，我们从这些嵌入中生成特征，并建立它们在预测未来憩室炎择期手术中的有用性，这是降低医疗保健成本的重要标志。
2017-01-06 cs.LG stat.ML
Fair Canonical Correlation Analysis
University of Pennsylvania（宾夕法尼亚大学）
本文针对CCA中的公平性问题，提出通过最小化受保护属性导致的相关性差异误差来学习全局投影矩阵，并在合成与真实数据上验证其可在不损失准确性的情况下减少偏见。
2023-09-27 cs.LG stat.ML
ORCCA: Optimal Randomized Canonical Correlation Analysis
Northeastern University（东北大学）
随机特征方法在大规模机器学习中被广泛用于核函数逼近。最近的一些研究探索了数据依赖的特征采样，修改了随机特征采样的随机预言。虽然在这一领域提出的技术提高了近似，但它们的适用性往往在单个学习任务上得到验证。在本文中，我们提出了一个特定于任务的评分规则选择随机功能，它可以用于不同的应用程序进行一些调整。我们限制我们的注意力典型相关分析（CCA），我们提供了一个新的，原则性的指导，找到得分函数最大化的典型相关性。我们证明了这种方法，称为ORCCA，可以优于（在预期中）相应的内核CCA与默认的内核。数值实验表明，ORCCA是显着优于其他近似技术在CCA任务。
2021-11-01 cs.LG stat.ML
Discriminative Multiple Canonical Correlation Analysis for Information Fusion
Ryerson University（瑞尔森大学）；Zhengzhou University（郑州大学）
本文提出了判别式多典型相关分析（DMCCA）用于多模态信息分析与融合。DMCCA能够从多模态信息表示中提取更具鉴别力的特征。具体来说，它发现的投影方向，同时最大化类内相关性和最小化类间相关性，从而更好地利用多模态信息。在这个过程中，我们分析表明，最佳投影的尺寸由DMCCA可以相当准确地预测，导致卓越的性能和大幅降低计算成本。进一步验证了典型相关分析（CCA）、多重典型相关分析（MCCA）和判别典型相关分析（DCCA）是DMCCA的特例，从而建立了一个统一的典型相关分析框架。我们实现了一个DMCCA的原型，以证明其在手写数字识别和人类情感识别的性能。实验结果表明，DMCCA方法优于传统的串行融合方法、CCA、MCCA和DCCA。
2021-02-28 cs.LG
Stochastic Canonical Correlation Analysis
University of Chicago（芝加哥大学）；Technion – Israel Institute of Technology（以色列理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们研究了典型相关分析（CCA），\ie的样本复杂性，估计总体典型相关所需的样本数和方向，直到任意小的错误。与温和的假设的数据分布，我们表明，为了实现$ε$ -次优性在一个适当定义的措施之间的对齐估计的典范方向和人口的解决方案，我们可以解决的经验目标，正是与$N(ε, Δ, γ)$样本，其中$Δ$是奇异值间隙的白化互协方差矩阵和$1/γ$是自协方差矩阵的条件数的上限。此外，我们可以通过抽取相同水平的样本和近似求解经验目标的随机优化算法来实现相同的学习精度;该算法基于移位和反转幂迭代，并且仅需要处理数据集的$\mathcal{O}\left(\log \frac{1}ε \right)$遍。最后，我们表明，给定典型相关的估计，移位和反转功率迭代的流版本通过仅处理一次数据，以相同的样本复杂度实现相同的学习精度。
2019-10-21 cs.LG stat.ML
Canonical Correlation Forests
University of Oxford（牛津大学）
我们介绍典型相关森林（CCF），一种新的决策树集成方法的分类和回归。个体典型相关树是具有基于在训练期间计算的局部典型相关系数的超平面分裂的二元决策树。与轴对齐的替代方案不同，CCF的决策表面不限于输入特征的坐标系，因此更自然地表示具有相关输入的数据。CCF自然地容纳多个输出，提供与随机森林相似的计算复杂度，并继承其对输入参数选择的令人印象深刻的鲁棒性。作为CCF训练算法的一部分，我们还引入了投影自举，这是一种用于斜决策树集合的装袋的新方法，它在选择分裂点时保持使用完整的数据集，通常会提高预测精度。我们的实验表明，即使没有参数调整，CCF在分类和回归问题上的表现也优于轴对齐的随机森林和其他最先进的树集成方法，从而提高了预测精度和更快的训练时间。我们进一步表明，他们优于所有的179分类器在最近的广泛调查中考虑。
2017-08-09 cs.LG stat.ML
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析（CCA）局部应用的度量方法，并将其与基于核的流形学习技术相结合，通过估计多模态观测值之间的欧氏距离，发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置，以及流形学习的扩展到多个数据集。实验结果表明，我们的方法确实发现的共同变量的高维非线性观测，而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
Canonical Correlation Analysis (CCA) Based Multi-View Learning: An Overview
Huazhong University of Science and Technology（华中科技大学）
多视图学习（MVL）是一种融合来自不同来源或子集的数据的策略。典型相关分析（CCA）是多视图视觉中非常重要的一种方法，其主要思想是将来自不同视图的数据映射到一个具有最大相关性的公共空间上。传统的CCA只能用于计算两个视图的线性相关。此外，它是无监督的，标签信息被浪费。许多非线性的、有监督的或广义的扩展已经被提出来克服这些限制。然而，据我们所知，没有这些方法的概述。本文综述了许多具有代表性的基于CCA的MVL方法。
2021-05-02 cs.IR cs.LG stat.ML
$\ell_0$-based Sparse Canonical Correlation Analysis
Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）模型是研究两组变量之间关联的有力工具。\textit{canonical variates}是一种典型的相关表示方法，被广泛应用于无监督学习中，用于分析未标记的多模态注册数据集。尽管CCA模型取得了成功，但如果任一模态中的变量数量超过样本数量，则CCA模型可能会破裂（或过拟合）。此外，通常很大一部分变量测量模态特异性信息，因此去除它们有利于识别\textit{canonically correlated variates}。在这里，我们提出了$\ell_0$ -CCA，学习相关表示的方法，从两个观察到的模态变量的稀疏子集的基础上。稀疏性通过将输入变量乘以随机门来获得，随机门的参数通过$\ell_0$正则化相关损失与CCA权重一起学习。我们进一步提出了$\ell_0$ -Deep CCA，通过使用深度网络对相关表示进行建模来解决非线性稀疏CCA的问题。我们使用几个合成和真实的例子证明了该方法的有效性。最值得注意的是，通过门控滋扰输入变量，我们的方法提高了提取的表示相比，其他线性，非线性和稀疏的基于CCA的模型。
2021-06-08 cs.LG stat.ML
Deep Dynamic Probabilistic Canonical Correlation Analysis
City University of Hong Kong（香港城市大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Lingnan University（岭南大学）
本文提出深度动态概率典型相关分析（D2PCCA），将深度学习与概率建模结合以捕捉非线性潜在动态，并通过KL退火和归一化流增强，在金融数据上验证了其有效性。
2025-02-07 cs.LG stat.ML
Dynamically-Scaled Deep Canonical Correlation Analysis
Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）是一种通过寻找两个视图的最大相关线性投影来进行特征提取的方法。在文献中已经介绍了CCA的几种变体，特别是基于深度神经网络的变体，用于学习两个视图的高度相关的非线性变换。由于这些模型通常是参数化的，因此它们的可学习参数在训练过程之后仍然独立于输入，这可能会限制它们学习高度相关表示的能力。本文提出了一种新的动态标度方法来训练输入依赖的典型相关模型。在我们的深度CCA模型中，最后一层的参数由第二个神经网络缩放，该网络以模型的输入为条件，从而产生依赖于输入样本的参数化。我们在多个数据集上评估了我们的模型，并证明了与传统的基于参数化CCA的模型相比，学习到的表示更相关，并且也获得了更好的检索结果。我们的代码可在https://github.com/tomerfr/DynamicallyScaledDeepCCA上获得。
2022-03-24 cs.LG stat.ML
Generalized Canonical Correlation Analysis: A Subspace Intersection Approach
University of Virginia（弗吉尼亚大学）；University of Minnesota（明尼苏达大学）
广义典型相关分析（GCCA）是数据采掘、机器学习和人工智能中的一个重要工具。它的目的是寻找“共同的”随机变量，这些变量在同一组实体的多个特征表示（视图）之间具有很强的相关性。CCA和GCCA在较小程度上已经从统计和算法的角度进行了研究，但从线性代数的角度来看并不多。本文提供了一个新的代数角度GCCA的基础上（双）线性生成模型，自然捕捉其本质。它表明，从线性代数的角度来看，GCCA是相当于子空间的交集，并提供了条件下，不同的意见，公共子空间是可识别的。提出了一种新的基于子空间交集的GCCA算法，该算法可扩展以处理大规模的GCCA任务。合成以及真实的数据实验，以展示所提出的方法的有效性。
2020-03-25 cs.IR cs.LG eess.SP
A kernel method for canonical correlation analysis
典型相关分析是一种从一对多元数据中提取共同特征的技术。然而，在复杂的情况下，由于其线性，它不能提取有用的特征。另一方面，核方法用于支持向量机是一个有效的途径，以改善这种线性方法。本文研究了核方法应用于典型相关分析的有效性。
2007-02-14 cs.CV cs.LG
Generalized Canonical Polyadic Tensor Decomposition
Sandia National Laboratories（桑迪亚国家实验室）；University of Michigan（密歇根大学）
本文提出了一种广义规范张量分解（GCP），能够使用除均方误差外的其他损失函数，如逻辑损失或KL散度，从而适用于二分类或计数数据，并展示了其在社交网络互动、小鼠神经活动和印度月降雨量等真实数据集上的灵活性。
2019-01-22 cs.LG cs.NA math.NA
Streaming Generalized Canonical Polyadic Tensor Decompositions
Sandia National Laboratories（桑迪亚国家实验室）
在本文中，我们开发了一种方法，我们称之为OnlineGCP计算流数据的广义正则多矢（GCP）张量分解。GCP不同于传统的规范多元（CP）张量分解，因为它允许CP模型试图最小化的任意目标函数。当观测到的张量数据是强非高斯的时，这种方法可以提供更好的拟合和更可解释的模型。在流式传输的情况下，张量数据随着时间的推移逐渐被观察到，并且算法必须在有限访问先前数据的情况下递增地更新GCP因式分解。在这项工作中，我们通过导出要在观察新的张量数据时解决的GCP最优化问题来将GCP形式主义扩展到流上下文，制定可调历史项以平衡最近观察到的数据与过去观察到的数据的重建，开发基于使用随机梯度下降法的隔离求解的可扩展求解策略，描述了一种软件实现，该软件实现为当代CPU和GPU架构提供性能和可移植性，并与Matlab集成以增强可用性，并在几个合成和真实张量数据集上演示了该方法和软件的实用性和性能。
2021-10-27 cs.LG cs.MS cs.NA
Deep Variational Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Michigan（密歇根大学）
我们提出了深度变分典型相关分析（VCCA），这是一种深度多视图学习模型，它将线性CCA的潜变量模型解释扩展到由深度神经网络参数化的非线性观测模型。我们通过参数化潜在变量的后验概率，从测试时可用的视图中获得数据似然的变分下界。我们还提出了一种称为VCCA-private的VCCA变体，除了两种视图的“公共变量”之外，还可以提取每个视图中的“私有变量”，并在没有硬监督的情况下为多视图数据解开共享和私有信息。在真实世界数据集上的实验结果表明，我们的方法是跨领域的竞争力。
2017-02-25 cs.LG
