Nonparametric Canonical Correlation Analysis
Technion–Israel Institute of Technology(以色列理工学院);TTI-Chicago(芝加哥丰田技术研究所)
典型相关分析(CCA)是一种经典的表示学习技术,用于在多视图数据中发现相关变量。已经提出了几种原始线性CCA的非线性扩展,包括核和深度神经网络方法。这些方法在用户指定(通过选择内核或神经网络结构)的函数族之间寻求最大相关投影,并且在计算上要求很高。有趣的是,Lancaster在20世纪50年代就已经在人口背景下研究了无功能限制的非线性CCA理论,但这些结果并没有激发实用算法。我们重温Lancaster的理论,设计一个实用的算法非参数CCA(NCCA)。具体来说,我们表明,该解决方案可以表示在奇异值分解的某个运营商与联合密度的意见。因此,通过从数据估计人口密度,NCCA减少到求解特征值系统,表面上类似于核CCA,但重要的是,不需要任何核矩阵的求逆。我们还推导出一个部分线性CCA(PLCCA)的变体,其中一个视图进行线性投影,而另一个是非参数。使用基于少量最近邻的核密度估计,我们的NCCA和PLCCA算法具有内存效率,通常运行速度更快,并且比内核CCA和深度CCA表现更好。
2016-02-07 cs.LG stat.ML
Discriminative Multiple Canonical Correlation Analysis for Information Fusion
Ryerson University(瑞尔森大学);Zhengzhou University(郑州大学)
本文提出了判别式多典型相关分析(DMCCA)用于多模态信息分析与融合。DMCCA能够从多模态信息表示中提取更具鉴别力的特征。具体来说,它发现的投影方向,同时最大化类内相关性和最小化类间相关性,从而更好地利用多模态信息。在这个过程中,我们分析表明,最佳投影的尺寸由DMCCA可以相当准确地预测,导致卓越的性能和大幅降低计算成本。进一步验证了典型相关分析(CCA)、多重典型相关分析(MCCA)和判别典型相关分析(DCCA)是DMCCA的特例,从而建立了一个统一的典型相关分析框架。我们实现了一个DMCCA的原型,以证明其在手写数字识别和人类情感识别的性能。实验结果表明,DMCCA方法优于传统的串行融合方法、CCA、MCCA和DCCA。
2021-02-28 cs.LG
Asymmetrically Weighted CCA And Hierarchical Kernel Sentence Embedding For Image & Text Retrieval
IBM
语言和视觉的联合建模已经引起越来越多的关注。一个多模态数据表示允许双向检索图像的句子,反之亦然是一个关键方面。在本文中,我们提出了三个典型相关分析(CCA)的多模态检索的贡献。首先,我们表明,一个不对称的加权的规范权重,同时实现了从搜索到查询空间的跨视图映射,提高了检索性能。其次,我们设计了一个计算效率高的模型选择,至关重要的推广和稳定性,在Björk Golub算法的框架下,通过频谱滤波正则化CCA。最后,我们介绍了一个分层核句子嵌入(HKSE),近似核CCA的一个特殊的相似性内核之间的分布嵌入在一个向量空间的话。当这三种技术结合使用时,在MSCOCO和Flickr基准上获得了最先进的结果。
2016-12-05 cs.LG
Occlusion Aware Kernel Correlation Filter Tracker using RGB-D
Dr. A.P.J. Abdul Kalam Technical University(阿卜杜勒·卡拉姆技术大学);Simon Fraser University(西蒙菲莎大学)
与需要大型训练数据集的深度学习不同,基于相关滤波器的跟踪器(如核相关滤波器(KCF))使用跟踪图像的隐式属性(循环矩阵)进行实时训练。尽管他们在跟踪的实际应用,需要更好地了解与KCF的基本原理在理论上,数学上,和实验存在。本文首先详细介绍了跟踪器的工作原理,并研究了其在实时应用和支持可视化方面的有效性。我们进一步解决了跟踪器的一些缺点,在遮挡的情况下,规模变化,对象旋转,出视图和模型漂移与我们的新的RGB-D核相关跟踪器。我们还研究了使用粒子滤波器来提高跟踪器的精度。我们的结果是使用a)标准数据集和b)使用Microsoft Kinect V2传感器实时进行实验评估的。我们相信这项工作将为更好地理解基于内核的相关过滤器跟踪器的有效性奠定基础,并进一步定义其在跟踪方面的一些可能优势。
2021-05-25 cs.CV cs.LG cs.RO
A Tutorial on Canonical Correlation Methods
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University College London(伦敦大学学院);Max Planck Centre for Computational Psychiatry and Ageing Research(马克斯·普朗克计算精神病学与衰老研究中心);Imperial College London(帝国理工学院)
典型相关分析(Canonical correlation analysis)是一种用于分析成对变量集的多元统计方法。自其命题以来,典型相关分析已经被扩展到例如当样本大小与数据维度有关时提取两组变量之间的关系,当关系被认为是非线性时,以及当维度对于人类解释来说太大时。本教程解释了典型相关分析的理论,包括其正则化,内核和稀疏变量。此外,深度和贝叶斯CCA扩展进行了简要回顾。连同数值例子,这一概述提供了一个连贯的简编典型相关分析的变体的适用性。通过将解决优化问题的技术,评估典型相关模型的统计意义和概括性,并解释关系,我们希望这篇文章可以作为在数据分析中应用典型相关方法的动手工具。
2017-11-07 cs.LG stat.ML
Generalized Canonical Correlation Analysis for Disparate Data Fusion
Johns Hopkins University(约翰斯·霍普金斯大学)
流形匹配用于识别多个不同数据空间到同一低维空间的嵌入,其中可以进行联合推理。它是一种能够从多个和大量不同数据源进行融合和推理的方法。在本文中,我们专注于一种方法称为典型相关分析(CCA)及其推广的广义典型相关分析(GCCA),这属于更一般的降秩回归(RRR)框架。我们提出了一个特定的文本文档分类任务的CCA和GCCA在不同的训练条件下的效率调查。
2012-09-17 cs.LG stat.ML
Adaptive Canonical Correlation Analysis Based On Matrix Manifolds
在本文中,我们制定了典型相关分析(CCA)问题的矩阵流形。这个框架提供了一种自然的方式来处理矩阵约束和工具,即使在自适应设置中也可以构建有效的算法。最后,提出了一种自适应CCA算法,并应用于脑电信号的变化检测问题。
2012-06-27 cs.LG stat.ML
Stochastic Approximation for Canonical Correlation Analysis
Johns Hopkins University(约翰斯·霍普金斯大学);TTI-Chicago(芝加哥丰田技术研究所)
提出了一种新的典型相关分析的一阶随机近似算法。算法是不精确矩阵随机梯度(MSG)和不精确矩阵指数梯度(MEG)的实例,在$\operatorname{poly}(\frac{1}ε)$迭代中实现了种群目标的$ε$ -次优性.我们还考虑了实际的变种所提出的算法,并将它们与其他方法CCA理论和经验。
2018-02-26 cs.LG stat.ML
Towards Aligned Canonical Correlation Analysis: Preliminary Formulation and Proof-of-Concept Results
UC Riverside(加州大学河滨分校)
针对多视图场景中数据视角对齐不明确的问题,本文提出 Aligned Canonical Correlation Analysis(ACCA)框架,通过迭代方式联合求解对齐与多视图嵌入。
2023-12-08 cs.LG stat.ML
Kernel Subspace and Feature Extraction
MIT(麻省理工学院)
本文从特征子空间角度研究核方法,建立特征子空间与核的一一对应,提出信息论度量,构造最大相关核并证明其最优性,以SVM为例展示核方法与特征提取的联系,并阐释Fisher核的最优性。
2023-05-11 cs.LG stat.ML
Graph Canonical Correlation Analysis
Institute of Physics(物理研究所)
本文提出图典型相关分析(gCCA),利用互相关矩阵的图结构计算典型相关,并给出高效算法与有限样本理论保证,在模拟和多组学数据中均优于传统CCA方法。
2025-02-03 cs.LG stat.ML
Deep Variational Canonical Correlation Analysis
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Michigan(密歇根大学)
我们提出了深度变分典型相关分析(VCCA),这是一种深度多视图学习模型,它将线性CCA的潜变量模型解释扩展到由深度神经网络参数化的非线性观测模型。我们通过参数化潜在变量的后验概率,从测试时可用的视图中获得数据似然的变分下界。我们还提出了一种称为VCCA-private的VCCA变体,除了两种视图的“公共变量”之外,还可以提取每个视图中的“私有变量”,并在没有硬监督的情况下为多视图数据解开共享和私有信息。在真实世界数据集上的实验结果表明,我们的方法是跨领域的竞争力。
2017-02-25 cs.LG
Sparse Weighted Canonical Correlation Analysis
State Key Laboratory of Software Engineering, School of Computer, Wuhan University(武汉大学计算机学院软件工程国家重点实验室);School of Mathematics Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
给定两个数据矩阵$X$和$Y$,稀疏典型相关分析(SCCA)就是寻找两个稀疏典型向量$u$和$v$,以最大化$Xu$和$Yv$之间的相关性。然而,经典和稀疏CCA模型考虑了数据矩阵的所有样本的贡献,因此无法识别潜在的特定样本子集。为此,我们提出了一种新的稀疏加权典型相关分析(SWCCA),其中权重用于正则化不同的样本。我们使用交替迭代算法求解$L_0$ -正则化SWCCA($L_0$ -SWCCA)。我们将$L_0$ -SWCCA应用于合成数据和真实数据,以证明其有效性和优越性。最后,我们还考虑了SWCCA与不同的惩罚,如LASSO(最小绝对收缩和选择算子)和组LASSO,并将其扩展为集成三个以上的数据矩阵。
2017-10-13 cs.LG stat.ML
Multiview Variational Graph Autoencoders for Canonical Correlation Analysis
Univ. Lyon(里昂大学);ENS de Lyon(里昂高等师范学院)
提出了一种基于变分方法的多视角典型相关分析模型。这是第一个非线性模型,它考虑了可用的基于图形的几何约束,同时可扩展用于处理具有多个视图的大规模数据集。它基于具有图形卷积神经网络层的自动编码器架构。我们在真实数据集上对我们的分类,聚类和推荐任务进行了实验。该算法与最先进的多视图表示学习技术具有竞争力。
2021-10-04 cs.LG stat.ML
Canonical Correlation Analysis for Analyzing Sequences of Medical Billing Codes
University of Washington(华盛顿大学)
我们建议使用典型相关分析(CCA)从序列的医疗账单代码生成功能。应用这种新的使用CCA的憩室炎患者的医疗账单代码的数据库,我们首先证明了CCA嵌入捕获有意义的代码之间的关系。然后,我们从这些嵌入中生成特征,并建立它们在预测未来憩室炎择期手术中的有用性,这是降低医疗保健成本的重要标志。
2017-01-06 cs.LG stat.ML
Fair Canonical Correlation Analysis
University of Pennsylvania(宾夕法尼亚大学)
本文针对CCA中的公平性问题,提出通过最小化受保护属性导致的相关性差异误差来学习全局投影矩阵,并在合成与真实数据上验证其可在不损失准确性的情况下减少偏见。
2023-09-27 cs.LG stat.ML
Canonical Correlation Analysis (CCA) Based Multi-View Learning: An Overview
Huazhong University of Science and Technology(华中科技大学)
多视图学习(MVL)是一种融合来自不同来源或子集的数据的策略。典型相关分析(CCA)是多视图视觉中非常重要的一种方法,其主要思想是将来自不同视图的数据映射到一个具有最大相关性的公共空间上。传统的CCA只能用于计算两个视图的线性相关。此外,它是无监督的,标签信息被浪费。许多非线性的、有监督的或广义的扩展已经被提出来克服这些限制。然而,据我们所知,没有这些方法的概述。本文综述了许多具有代表性的基于CCA的MVL方法。
2021-05-02 cs.IR cs.LG stat.ML
A simple estimator of the correlation kernel matrix of a determinantal point process
University of Toronto(多伦多大学);Toulouse School of Economics(图卢兹经济学院);CREST;Concordia University(康考迪亚大学)
本文针对行列式点过程(DPP)的相关核矩阵,提出一种易实现的闭式估计器,可作为最大似然估计学习的初始值,并证明了该估计器的一致性、渐近正态性及大偏差性质。
2025-05-20 cs.LG stat.ML
Canonical Regularisation of Wide Feature-Learning Neural Networks
Department of Engineering Science University of Oxford(工程科学系牛津大学)
本文研究了宽特征学习神经网络中梯度流训练所隐含的正则化性质,揭示了在核域中广泛研究的范数正则化在特征学习域中会导致诱导偏差扭曲,并提出了弧范数作为可扩展的替代方案,扩展了范数正则化到特征学习域。
2026-05-18 cs.LG stat.ML
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University(上海交通大学);University of Southampton(南安普顿大学)
稀疏典型相关分析(CCA)是一种有用的统计工具,用于检测具有稀疏结构的潜在信息。然而,稀疏CCA仅适用于两个数据集,即,只有两个视图或两个不同的对象。为了克服这一局限性,本文提出了一种稀疏广义典型相关分析(GCCA),它可以检测具有稀疏结构的多视图数据的潜在关系。此外,引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说,我们将GCCA转换成一个线性方程组,并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题,这是很难解决的。受Boyd一致性问题的启发,提出了一种基于分布式交替迭代的算法,并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
Stochastic Canonical Correlation Analysis
University of Chicago(芝加哥大学);Technion – Israel Institute of Technology(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们研究了典型相关分析(CCA),\ie的样本复杂性,估计总体典型相关所需的样本数和方向,直到任意小的错误。与温和的假设的数据分布,我们表明,为了实现$ε$ -次优性在一个适当定义的措施之间的对齐估计的典范方向和人口的解决方案,我们可以解决的经验目标,正是与$N(ε, Δ, γ)$样本,其中$Δ$是奇异值间隙的白化互协方差矩阵和$1/γ$是自协方差矩阵的条件数的上限。此外,我们可以通过抽取相同水平的样本和近似求解经验目标的随机优化算法来实现相同的学习精度;该算法基于移位和反转幂迭代,并且仅需要处理数据集的$\mathcal{O}\left(\log \frac{1}ε \right)$遍。最后,我们表明,给定典型相关的估计,移位和反转功率迭代的流版本通过仅处理一次数据,以相同的样本复杂度实现相同的学习精度。
2019-10-21 cs.LG stat.ML
Canonical Correlation Forests
University of Oxford(牛津大学)
我们介绍典型相关森林(CCF),一种新的决策树集成方法的分类和回归。个体典型相关树是具有基于在训练期间计算的局部典型相关系数的超平面分裂的二元决策树。与轴对齐的替代方案不同,CCF的决策表面不限于输入特征的坐标系,因此更自然地表示具有相关输入的数据。CCF自然地容纳多个输出,提供与随机森林相似的计算复杂度,并继承其对输入参数选择的令人印象深刻的鲁棒性。作为CCF训练算法的一部分,我们还引入了投影自举,这是一种用于斜决策树集合的装袋的新方法,它在选择分裂点时保持使用完整的数据集,通常会提高预测精度。我们的实验表明,即使没有参数调整,CCF在分类和回归问题上的表现也优于轴对齐的随机森林和其他最先进的树集成方法,从而提高了预测精度和更快的训练时间。我们进一步表明,他们优于所有的179分类器在最近的广泛调查中考虑。
2017-08-09 cs.LG stat.ML
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology(以色列理工学院)
在本文中,我们解决的问题,隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析(CCA)局部应用的度量方法,并将其与基于核的流形学习技术相结合,通过估计多模态观测值之间的欧氏距离,发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置,以及流形学习的扩展到多个数据集。实验结果表明,我们的方法确实发现的共同变量的高维非线性观测,而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
$\ell_0$-based Sparse Canonical Correlation Analysis
Yale University(耶鲁大学);Tel Aviv University(特拉维夫大学)
典型相关分析(CCA)模型是研究两组变量之间关联的有力工具。\textit{canonical variates}是一种典型的相关表示方法,被广泛应用于无监督学习中,用于分析未标记的多模态注册数据集。尽管CCA模型取得了成功,但如果任一模态中的变量数量超过样本数量,则CCA模型可能会破裂(或过拟合)。此外,通常很大一部分变量测量模态特异性信息,因此去除它们有利于识别\textit{canonically correlated variates}。在这里,我们提出了$\ell_0$ -CCA,学习相关表示的方法,从两个观察到的模态变量的稀疏子集的基础上。稀疏性通过将输入变量乘以随机门来获得,随机门的参数通过$\ell_0$正则化相关损失与CCA权重一起学习。我们进一步提出了$\ell_0$ -Deep CCA,通过使用深度网络对相关表示进行建模来解决非线性稀疏CCA的问题。我们使用几个合成和真实的例子证明了该方法的有效性。最值得注意的是,通过门控滋扰输入变量,我们的方法提高了提取的表示相比,其他线性,非线性和稀疏的基于CCA的模型。
2021-06-08 cs.LG stat.ML
Deep Dynamic Probabilistic Canonical Correlation Analysis
City University of Hong Kong(香港城市大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Lingnan University(岭南大学)
本文提出深度动态概率典型相关分析(D2PCCA),将深度学习与概率建模结合以捕捉非线性潜在动态,并通过KL退火和归一化流增强,在金融数据上验证了其有效性。
2025-02-07 cs.LG stat.ML
Robust Matrix Elastic Net based Canonical Correlation Analysis: An Effective Algorithm for Multi-View Unsupervised Learning
Hong Kong University of Science and Technology(香港科技大学);University of Macau(澳门大学)
针对多视图无监督学习问题,提出了一种基于鲁棒矩阵弹性网的典型相关分析(RMEN-CCA),强调CCA与鲁棒矩阵弹性网(RMEN)相结合作为耦合的特征选择。RMEN-CCA利用RMEN的优势,在没有任何先验假设的情况下提取自然有意义的特征,并有效地测量不同“视图”之间的相关性。我们可以进一步直接使用核技巧将RMEN-CCA扩展到具有理论保证的核场景,这将核技巧用于高度复杂的非线性特征学习。而不是简单地将现有的正则化最小化条款CCA,本文提供了一个新的学习范式CCA,是第一个得到一个耦合的特征选择为基础的CCA算法,保证收敛。更重要的是,对于CCA,新衍生的RMEN-CCA弥合了相关性测量和耦合特征选择之间的差距。此外,它是不平凡的,直接处理RMEN-CCA由以前的优化方法从其复杂的模型架构。因此,本文进一步提供了一个新的优化问题和现有的有效的迭代方法之间的桥梁。因此,RMEN-CCA可以克服CCA的限制,并解决大规模和流式数据问题。在四个流行的竞争数据集上的实验结果表明,RMEN-CCA比最先进的方法更有效。
2017-11-15 cs.LG stat.ML
Canonical Correlation Analysis of Datasets with a Common Source Graph
University of Minnesota(明尼苏达大学)
本文提出了一种基于图正则化的典型相关分析方法(gCCA),通过引入图结构来利用共同源的知识,以提升数据融合和分类性能。
2018-03-27 cs.LG cs.SY eess.SY
Dynamically-Scaled Deep Canonical Correlation Analysis
Tel Aviv University(特拉维夫大学)
典型相关分析(CCA)是一种通过寻找两个视图的最大相关线性投影来进行特征提取的方法。在文献中已经介绍了CCA的几种变体,特别是基于深度神经网络的变体,用于学习两个视图的高度相关的非线性变换。由于这些模型通常是参数化的,因此它们的可学习参数在训练过程之后仍然独立于输入,这可能会限制它们学习高度相关表示的能力。本文提出了一种新的动态标度方法来训练输入依赖的典型相关模型。在我们的深度CCA模型中,最后一层的参数由第二个神经网络缩放,该网络以模型的输入为条件,从而产生依赖于输入样本的参数化。我们在多个数据集上评估了我们的模型,并证明了与传统的基于参数化CCA的模型相比,学习到的表示更相关,并且也获得了更好的检索结果。我们的代码可在https://github.com/tomerfr/DynamicallyScaledDeepCCA上获得。
2022-03-24 cs.LG stat.ML
Sliding Window Informative Canonical Correlation Analysis
Sandia National Laboratories(桑迪亚国家实验室)
本文提出滑动窗口信息典范相关分析(SWICCA),用于在线流数据设置中的典范相关分析扩展,结合流式主成分分析和滑动窗口样本实时估计典范相关成分。
2026-05-08 cs.LG eess.IV math.ST