Multiview Variational Graph Autoencoders for Canonical Correlation Analysis
Univ. Lyon(里昂大学);ENS de Lyon(里昂高等师范学院)
提出了一种基于变分方法的多视角典型相关分析模型。这是第一个非线性模型,它考虑了可用的基于图形的几何约束,同时可扩展用于处理具有多个视图的大规模数据集。它基于具有图形卷积神经网络层的自动编码器架构。我们在真实数据集上对我们的分类,聚类和推荐任务进行了实验。该算法与最先进的多视图表示学习技术具有竞争力。
2021-10-04 cs.LG stat.ML
Canonical Correlation Analysis for Analyzing Sequences of Medical Billing Codes
University of Washington(华盛顿大学)
我们建议使用典型相关分析(CCA)从序列的医疗账单代码生成功能。应用这种新的使用CCA的憩室炎患者的医疗账单代码的数据库,我们首先证明了CCA嵌入捕获有意义的代码之间的关系。然后,我们从这些嵌入中生成特征,并建立它们在预测未来憩室炎择期手术中的有用性,这是降低医疗保健成本的重要标志。
2017-01-06 cs.LG stat.ML
Fair Canonical Correlation Analysis
University of Pennsylvania(宾夕法尼亚大学)
本文针对CCA中的公平性问题,提出通过最小化受保护属性导致的相关性差异误差来学习全局投影矩阵,并在合成与真实数据上验证其可在不损失准确性的情况下减少偏见。
2023-09-27 cs.LG stat.ML
ORCCA: Optimal Randomized Canonical Correlation Analysis
Northeastern University(东北大学)
随机特征方法在大规模机器学习中被广泛用于核函数逼近。最近的一些研究探索了数据依赖的特征采样,修改了随机特征采样的随机预言。虽然在这一领域提出的技术提高了近似,但它们的适用性往往在单个学习任务上得到验证。在本文中,我们提出了一个特定于任务的评分规则选择随机功能,它可以用于不同的应用程序进行一些调整。我们限制我们的注意力典型相关分析(CCA),我们提供了一个新的,原则性的指导,找到得分函数最大化的典型相关性。我们证明了这种方法,称为ORCCA,可以优于(在预期中)相应的内核CCA与默认的内核。数值实验表明,ORCCA是显着优于其他近似技术在CCA任务。
2021-11-01 cs.LG stat.ML
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University(上海交通大学);University of Southampton(南安普顿大学)
稀疏典型相关分析(CCA)是一种有用的统计工具,用于检测具有稀疏结构的潜在信息。然而,稀疏CCA仅适用于两个数据集,即,只有两个视图或两个不同的对象。为了克服这一局限性,本文提出了一种稀疏广义典型相关分析(GCCA),它可以检测具有稀疏结构的多视图数据的潜在关系。此外,引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说,我们将GCCA转换成一个线性方程组,并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题,这是很难解决的。受Boyd一致性问题的启发,提出了一种基于分布式交替迭代的算法,并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
Stochastic Canonical Correlation Analysis
University of Chicago(芝加哥大学);Technion – Israel Institute of Technology(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们研究了典型相关分析(CCA),\ie的样本复杂性,估计总体典型相关所需的样本数和方向,直到任意小的错误。与温和的假设的数据分布,我们表明,为了实现$ε$ -次优性在一个适当定义的措施之间的对齐估计的典范方向和人口的解决方案,我们可以解决的经验目标,正是与$N(ε, Δ, γ)$样本,其中$Δ$是奇异值间隙的白化互协方差矩阵和$1/γ$是自协方差矩阵的条件数的上限。此外,我们可以通过抽取相同水平的样本和近似求解经验目标的随机优化算法来实现相同的学习精度;该算法基于移位和反转幂迭代,并且仅需要处理数据集的$\mathcal{O}\left(\log \frac{1}ε \right)$遍。最后,我们表明,给定典型相关的估计,移位和反转功率迭代的流版本通过仅处理一次数据,以相同的样本复杂度实现相同的学习精度。
2019-10-21 cs.LG stat.ML
Canonical Correlation Forests
University of Oxford(牛津大学)
我们介绍典型相关森林(CCF),一种新的决策树集成方法的分类和回归。个体典型相关树是具有基于在训练期间计算的局部典型相关系数的超平面分裂的二元决策树。与轴对齐的替代方案不同,CCF的决策表面不限于输入特征的坐标系,因此更自然地表示具有相关输入的数据。CCF自然地容纳多个输出,提供与随机森林相似的计算复杂度,并继承其对输入参数选择的令人印象深刻的鲁棒性。作为CCF训练算法的一部分,我们还引入了投影自举,这是一种用于斜决策树集合的装袋的新方法,它在选择分裂点时保持使用完整的数据集,通常会提高预测精度。我们的实验表明,即使没有参数调整,CCF在分类和回归问题上的表现也优于轴对齐的随机森林和其他最先进的树集成方法,从而提高了预测精度和更快的训练时间。我们进一步表明,他们优于所有的179分类器在最近的广泛调查中考虑。
2017-08-09 cs.LG stat.ML
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology(以色列理工学院)
在本文中,我们解决的问题,隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析(CCA)局部应用的度量方法,并将其与基于核的流形学习技术相结合,通过估计多模态观测值之间的欧氏距离,发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置,以及流形学习的扩展到多个数据集。实验结果表明,我们的方法确实发现的共同变量的高维非线性观测,而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
$\ell_0$-based Sparse Canonical Correlation Analysis
Yale University(耶鲁大学);Tel Aviv University(特拉维夫大学)
典型相关分析(CCA)模型是研究两组变量之间关联的有力工具。\textit{canonical variates}是一种典型的相关表示方法,被广泛应用于无监督学习中,用于分析未标记的多模态注册数据集。尽管CCA模型取得了成功,但如果任一模态中的变量数量超过样本数量,则CCA模型可能会破裂(或过拟合)。此外,通常很大一部分变量测量模态特异性信息,因此去除它们有利于识别\textit{canonically correlated variates}。在这里,我们提出了$\ell_0$ -CCA,学习相关表示的方法,从两个观察到的模态变量的稀疏子集的基础上。稀疏性通过将输入变量乘以随机门来获得,随机门的参数通过$\ell_0$正则化相关损失与CCA权重一起学习。我们进一步提出了$\ell_0$ -Deep CCA,通过使用深度网络对相关表示进行建模来解决非线性稀疏CCA的问题。我们使用几个合成和真实的例子证明了该方法的有效性。最值得注意的是,通过门控滋扰输入变量,我们的方法提高了提取的表示相比,其他线性,非线性和稀疏的基于CCA的模型。
2021-06-08 cs.LG stat.ML
Deep Dynamic Probabilistic Canonical Correlation Analysis
City University of Hong Kong(香港城市大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Lingnan University(岭南大学)
本文提出深度动态概率典型相关分析(D2PCCA),将深度学习与概率建模结合以捕捉非线性潜在动态,并通过KL退火和归一化流增强,在金融数据上验证了其有效性。
2025-02-07 cs.LG stat.ML
Dynamically-Scaled Deep Canonical Correlation Analysis
Tel Aviv University(特拉维夫大学)
典型相关分析(CCA)是一种通过寻找两个视图的最大相关线性投影来进行特征提取的方法。在文献中已经介绍了CCA的几种变体,特别是基于深度神经网络的变体,用于学习两个视图的高度相关的非线性变换。由于这些模型通常是参数化的,因此它们的可学习参数在训练过程之后仍然独立于输入,这可能会限制它们学习高度相关表示的能力。本文提出了一种新的动态标度方法来训练输入依赖的典型相关模型。在我们的深度CCA模型中,最后一层的参数由第二个神经网络缩放,该网络以模型的输入为条件,从而产生依赖于输入样本的参数化。我们在多个数据集上评估了我们的模型,并证明了与传统的基于参数化CCA的模型相比,学习到的表示更相关,并且也获得了更好的检索结果。我们的代码可在https://github.com/tomerfr/DynamicallyScaledDeepCCA上获得。
2022-03-24 cs.LG stat.ML
Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Curai(Curai公司)
多模态语言分析通常考虑基于文本的特征与基于声学和视觉特性的特征之间的关系。文本特征通常在情感分析或情感识别任务中优于非文本特征,部分原因是文本特征源自在海量数据源上训练的高级语言模型或词嵌入,而音频和视频特征是人工设计的并且相对不发达。考虑到文本、音频和视频以不同的方式描述相同的话语,我们假设可以通过学习(隐藏)从文本和音频的外积(我们称之为基于文本的音频)和类似的基于文本的视频中提取的特征之间的相关性来改进多模态情感分析和情感识别。本文提出了一种新的模型,交互典型相关网络(ICCN),学习这样的多模态嵌入。ICCN通过深度典型相关分析(DCCA)学习所有三种模式之间的相关性,然后在几个基准数据集上测试所提出的嵌入,并与其他最先进的多模态嵌入算法进行比较。经验结果和消融研究证实了ICCN在从所有三个视图捕获有用信息方面的有效性。
2019-11-30 cs.LG stat.ML
BLOCCS: Block Sparse Canonical Correlation Analysis With Application To Interpretable Omics Integration
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们引入了块稀疏典型相关分析,它可以同时估计多对典型方向(一起称为“块”),从而显着改善稀疏方向的正交性,我们证明,这将转化为更可解释的解决方案。我们的方法建立在(Solari,Brown和Bickel 2019)的稀疏CCA方法的基础上,因为我们还将我们的块公式的双凸目标表示为单位欧几里得球中正交k-框架上的凹最小化问题,而由于目标的不确定性,该问题又被缩小到Stiefel流形,该流形通过梯度下降算法进行优化。我们的模拟结果表明,我们的方法优于现有的sCCA算法和实现的计算成本和稳定性,主要是由于我们的搜索空间的急剧收缩,以及估计的典型协变量对之间的相关性和正交性。最后,我们应用我们的方法,可作为一个R-包称为BLOCCS,多组学数据肺鳞状细胞癌(LUSC)通过癌症基因组图谱获得,并证明其在捕获有意义的生物学关联相关的研究假设,而不是虚假的显性变异的能力。
2020-01-20 cs.LG stat.ML
On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们使用Nyström近似研究了大规模核典型相关分析(KCCA)中的列选择问题,其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时,以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略,采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度,开发了一个增量算法,探索路径的近似秩,有利于有效的模型选择,并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
Google Brain(谷歌大脑);Cornell University(康奈尔大学);Uber AI Labs(优步人工智能实验室)
我们提出了一种新技术,奇异向量典型相关分析(SVCCA),一种快速比较两种表示的工具,这种工具对仿射变换(允许不同层和网络之间的比较)和快速计算(允许比以前的方法计算更多的比较)都是不变的。我们部署这个工具来测量层的内在维度,在某些情况下显示不必要的过度参数化;在整个训练过程中探索学习动态,发现网络自下而上收敛到最终表示;显示网络中的类特定信息形成的位置;并建议新的训练方案,同时节省计算和减少过度拟合。代码:https://github.com/google/svcca/
2017-11-08 cs.LG stat.ML
Generalized Canonical Correlation Analysis for Classification
本文推导了广义典型相关分析(GCCA)相比标准典型相关分析(CCA)能提升多个多元数据集分类性能的条件,并通过模拟和真实数据实验验证了理论结果。
2014-06-26 stat.ML
Sparse canonical correlation analysis
典型相关分析由Hotelling [6]提出,它测量两个多维变量之间的线性关系。在高维背景下,经典的典型相关分析失效。我们提出了一个稀疏的典型相关分析,通过添加l1约束的典型向量,并显示如何有效地解决它使用线性交替方向乘法器(ADMM)和使用TFOCS作为一个黑盒。我们在模拟数据上说明了这一想法。
2017-06-02 stat.AP stat.ML
Unpaired Canonical Correlation Analysis
Bar-Ilan University(巴伊兰大学);Technion(以色列理工学院)
本文提出非配对典型相关分析(UCCA),在无配对样本时学习线性投影以最大化真实配对相关性,填补了传统多视图学习与非配对数据学习的空白。
2026-10-08 cs.LG stat.ML
Canonical Autocorrelation Analysis
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个扩展的稀疏典型相关分析(CCA),旨在寻找多对多的线性相关在一组变量。与CCA不同,CCA发现两组数据之间的相关性,其中行完全匹配,但列代表单独的变量集,这里提出的方法,典型自相关分析(CAA),发现一组变量中的多变量相关性。当我们在数据中寻找隐藏的简约结构时,这可能是有用的,每个结构只涉及所有特征的一小部分。此外,所发现的相关性是高度可解释的,因为它们是由原始特征的稀疏线性组合对形成的。我们展示了CAA如何可以作为异常检测的工具,当预期的相关性结构不遵循异常数据。我们说明了CAA在两个应用领域的效用,其中单类和无监督学习的相关结构是特别相关的:乳腺癌诊断和辐射威胁检测。当应用到威斯康星州乳腺癌数据,单类CAA是有竞争力的监督方法在文献中使用。在辐射威胁检测任务上,无监督CAA的表现明显优于该领域中普遍存在的无监督替代方案,同时为威胁分析提供了有价值的额外见解。
2015-11-19 cs.LG stat.ML
Tensor Generalized Canonical Correlation Analysis
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院);Laboratoire des signaux et systèmes(信号与系统实验室);Sorbonne Université(索邦大学);Institut du Cerveau - Paris Brain Institute - ICM(巴黎大脑研究所);Inserm(法国国家健康与医学研究院);APHP(巴黎公立医院集团);Hôpital Pitié Salpétrière Univ. Hosp.(皮提耶-萨尔佩特里埃大学医院);Centre National de Recherche en Génomique Humaine(国家人类基因组研究中心);Institut François Jacob(弗朗索瓦·雅各布研究所);CEA(法国原子能委员会)
正则化广义典型相关分析(RGCCA)是一种通用的多区组数据分析框架。RGCCA能够破译几组变量之间的关系,并将许多众所周知的多变量分析方法作为特例。然而,RGCCA只处理向量值块,而忽略了它们可能的高阶结构。本文提出了一种新的张量GCCA(TGCCA)方法,用于分析具有标准向量的高阶张量,该标准向量允许一个正交秩-R-CP分解。此外,TGCCA的两个算法,是否施加一个可分离的协方差结构的基础上,提出了收敛保证。TGCCA的效率和实用性进行评估模拟和真实的数据和比较有利的国家的最先进的方法。
2023-02-10 cs.LG stat.ML
Canonical Correlation Analysis (CCA) Based Multi-View Learning: An Overview
Huazhong University of Science and Technology(华中科技大学)
多视图学习(MVL)是一种融合来自不同来源或子集的数据的策略。典型相关分析(CCA)是多视图视觉中非常重要的一种方法,其主要思想是将来自不同视图的数据映射到一个具有最大相关性的公共空间上。传统的CCA只能用于计算两个视图的线性相关。此外,它是无监督的,标签信息被浪费。许多非线性的、有监督的或广义的扩展已经被提出来克服这些限制。然而,据我们所知,没有这些方法的概述。本文综述了许多具有代表性的基于CCA的MVL方法。
2021-05-02 cs.IR cs.LG stat.ML
Sparse Canonical Correlation Analysis via Concave Minimization
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
提出了一种新的稀疏典型相关分析(sCCA)方法,其目的是在高维多视图问题中发现可解释的关联,即对同一主题的多组变量的观察。受Albernee等人(2010)的稀疏PCA方法的启发,我们还证明了稀疏CCA公式,虽然是非凸的,但等价于一个紧集上凸目标的最大化程序,为此我们提出了一阶梯度方法。这个结果帮助我们将搜索空间大幅减少到集合的边界。因此,我们提出了一个两步算法,其中我们首先使用我们的快速算法推断典型方向的稀疏模式,然后我们缩小每个视图,即一组协变量的观测值,以包含在前一步中选择的协变量集的观测值,并通过任何CCA算法计算其典型方向。我们还介绍了Directed Sparse CCA,它能够找到与指定实验设计一致的关联,以及Multi-View sCCA,用于发现多组协变量之间的关联。我们的模拟建立优越的收敛性能和计算效率,我们的算法,以及在典型的相关性和它的能力,以恢复支持的典型方向的准确性。我们研究代谢组学,transncripomics和微生物组学之间的关联在一个多组学研究使用MuLe,这是一个R-包,实现我们的方法,为了形成假设的机制,果蝇黑腹果蝇适应高剂量的环境毒物,特别是阿特拉津,这是一种常用的化肥。
2019-09-17 cs.LG stat.ML
Large scale canonical correlation analysis with iterative least squares
典型相关分析(CCA)是一种广泛使用的统计工具,具有成熟的理论和良好的性能,适用于广泛的机器学习问题。然而,计算大型数据集的CCA可能非常慢,因为它涉及到实现大型矩阵的QR分解或奇异值分解。本文介绍了L-CCA,一种迭代算法,可以快速计算CCA在巨大的稀疏数据集。建立了L-CCA的渐近收敛性和有限时间精度的理论。在两个真实数据集上的实验结果表明,L-CCA的性能优于其他快速CCA近似算法。
2014-12-30 stat.ML
Probabilistic Canonical Correlation Analysis for Sparse Count Data
典型相关分析(CCA)是研究两组连续变量之间关系的经典而重要的多元分析方法。CCA在基因组学和神经影像学等许多领域都有应用。它可以提取有意义的特征,并将这些特征用于后续分析。尽管已经开发了一些稀疏CCA方法来处理高维问题,但它们是专门针对连续数据设计的,并且不考虑来自下一代测序平台的整数值数据,这些数据对于一些重要特征表现出非常低的计数。我们提出了一个基于模型的概率方法的相关性和典型相关估计两个稀疏计数数据集(PSCCA)。PSCCA表明,在自然参数水平上估计的相关性和典型相关性比应用于原始数据的传统估计方法更合适。我们通过模拟研究表明,PSCCA优于其他标准的相关方法和稀疏CCA方法在估计真实的相关性和典型的相关性在自然参数水平。我们进一步应用PSCCA方法来研究来自鳞状细胞肺癌研究的miRNA和mRNA表达数据集的关联,发现PSCCA可以比标准相关和其他稀疏CCA方法发现大量强相关对。
2020-05-11 stat.ME stat.ML
Tensor Canonical Correlation Analysis for Multi-view Dimension Reduction
The University of Melbourne(墨尔本大学);Peking University(北京大学);Nanyang Technological University(南洋理工大学);University of Technology, Sydney(悉尼科技大学)
典型相关分析(CCA)因其深厚的理论基础和成功的实际应用而被证明是一种有效的两视图降维工具。然而,在多视图学习方面,它仅限于处理由两个视图特征表示的数据的能力,而在许多现实世界的应用中,视图的数量往往更多。虽然同时探索所有可能的特征对的特设方式可以在数值上处理多视图数据,但它忽略了只能通过同时探索所有特征来发现的高阶顺序统计量(相关信息)。因此,在这项工作中,我们开发了张量CCA(TCCA),它直接而自然地推广CCA处理任意数量的视图的数据,通过分析不同视图的协方差张量。TCCA旨在直接最大化多个(两个以上)视图的典型相关性。至关重要的是,我们证明了多视图的典型相关最大化问题相当于找到最好的秩1近似的数据协方差张量,这可以有效地解决使用著名的交替最小二乘(ALS)算法。因此,包含在不同的视图中的高阶相关信息被探索,从而可以获得一个更可靠的公共子空间共享的所有功能。此外,TCCA的非线性扩展。在大规模生物特征结构预测、网络广告分类和网络图像标注等挑战性任务上的实验结果表明了该方法的有效性。
2015-02-09 cs.CV cs.LG stat.ML
An Online Riemannian PCA for Stochastic Canonical Correlation Analysis
University of Wisconsin Madison(威斯康星大学麦迪逊分校);Amazon Lab126(亚马逊Lab126)
我们提出了一个有效的随机算法(RSG+)的典型相关分析(CCA)使用的投影矩阵的重新参数化。我们展示了这种重新参数化(到结构矩阵),简单的事后诸葛亮,直接提出了一个机会,重新利用/调整成熟的技术,数值优化黎曼流形。我们的发展很好地补充了现有的方法,这个问题,要么需要$O(d^3)$时间复杂度,每次迭代与$O(\frac{1}{\sqrt{t}})$收敛速度(其中$d$是维数)或只提取顶部$1$组件与$O(\frac{1}{t})$收敛速度。相比之下,我们的算法提供了一个严格的改进,这个经典的问题:它实现了$O(d^2k)$运行时的复杂性,每次迭代提取顶部$k$规范组件与$O(\frac{1}{t})$收敛速度。虽然本文主要关注其属性的制定和技术分析,但我们的实验表明,在常见数据集上的经验行为是非常有前途的。我们还探索了在训练公平模型中的潜在应用,其中受保护属性的标签丢失或不可用。
2021-06-08 cs.AI cs.LG stat.ML
Functional Generalized Canonical Correlation Analysis for studying multiple longitudinal variables
本文提出函数广义典型相关分析(FGCCA),基于RGCCA框架,用于分析多个纵向随机过程间的关联,具有鲁棒性,并扩展至预测应用,通过模拟和纵向数据验证其有效性。
2023-10-11 stat.ME stat.ML
Subspace Perspective on Canonical Correlation Analysis: Dimension Reduction and Minimax Rates
典型相关分析(CCA)是研究两组随机变量之间相关结构的基本统计工具。在本文中,最近成功地应用CCA学习高维对象的低维表示的动机,我们建议量化CCA的估计损失的超额预测损失定义通过预测后降维框架。这种框架建议将CCA估计视为估计典型变量所跨越的子空间。有趣的是,来自超额预测损失的建议的误差度量原来是密切相关的人口和样本典型变量分别跨越的子空间之间的主角度。在对联合协方差阵作最小假设的情况下,我们刻画了非渐近极大极小化率,特别是极大极小化率对协方差阵的维数、条件数、典型相关和特征间隙等关键量的依赖性.据我们所知,这是第一个有限样本的结果,捕捉典型相关性的影响,极大极小率。
2018-01-21 math.ST stat.ML stat.TH
Conditional canonical correlation estimation based on covariates with random forests
调查两组变量之间的关系有助于理解它们的相互作用,可以用典型相关分析(CCA)来完成。然而,两组之间的相关性有时取决于第三组协变量,通常与受试者相关,如年龄,性别或其他临床指标。在这种情况下,将CCA应用于整个群体不是最佳的,并且在给定协变量的情况下估计条件CCA的方法可能是有用的。我们提出了一种新的方法,称为随机森林与典型相关分析(RFCCA),以估计两组变量之间的条件典型相关给定的主题相关的协变量。森林中的各个树是用专门设计的分裂规则构建的,该规则用于划分数据,以最大化子节点之间的典型相关异质性。我们还提出了一个显着性检验,以检测两组变量之间的关系的协变量的整体效果。所提出的方法和全球显着性测试的性能进行评估,通过模拟研究表明,它提供了准确的典型相关估计和良好控制的类型1错误。我们还展示了所提出的方法与EEG数据的应用。
2021-02-03 stat.AP stat.ME stat.ML
Sparse Kernel Canonical Correlation Analysis via $\ell_1$-regularization
典型相关分析(CCA)是一种用于寻找两组变量之间线性关系的多元统计技术。核CCA的核推广已被提出来发现数据集之间的非线性关系。尽管它们被广泛使用,但它们有一个共同的局限性,那就是它们的解决方案缺乏稀疏性。本文考虑稀疏核CCA,提出了一种新的稀疏核CCA算法(SKCCA)。我们的算法是基于核CCA和最小二乘之间的关系。通过惩罚对偶向量的$\ell_{1}$ -范数引入对偶变换的稀疏性。实验结果表明,该算法不仅在计算稀疏对偶变换方面表现良好,而且可以缓解核CCA的过拟合问题。
2017-01-16 stat.ML
Causal Patterns: Extraction of multiple causal relationships by Mixture of Probabilistic Partial Canonical Correlation Analysis
在本文中,我们提出了一个混合的概率部分典型相关分析(MPPCCA),提取两个多元时间序列的因果模式。因果模式是指两个元素之间相互作用的信号模式,它们具有多种类型的相互因果关系,而不是同时相关的混合物或元素之间不存在因果关系。在多变量统计中,部分典型相关分析(PCCA)在减去第三个多变量的影响后评估两个多变量之间的相关性。PCCA可以计算Granger因果指数(它测试一个时间序列是否可以从另一个时间序列预测),但不适用于包含多个偏典型相关的数据。在介绍了MPPCCA,我们提出了一个期望最大化(EM)算法估计的参数和潜变量的MPPCCA。MPPCCA可以在没有任何监督信号的情况下从数据序列中提取多个偏典型相关,从而将数据分割为聚类。然后在合成数据实验中对该方法进行了评价。在合成数据集上,我们的方法比现有的方法更准确地估计了多重偏典型相关。为了确定该方法可检测的模式类型,还在真实数据集上进行了实验。该方法估计运动捕捉数据中的通信模式。MP-PCCA适用于各种类型的信号,如脑信号,人类交流和非线性复杂多体系统。
2017-12-12 stat.ME stat.ML
Sparse Canonical Correlation Analysis
提出了一种新的稀疏凸框架下的典型相关分析(CCA)的最小二乘法求解方法。所提出的方法侧重于当人们对第一视图的原始表示感兴趣(或限于)而对第二视图具有双重表示时的场景。稀疏CCA(SCCA)最大限度地减少了原始和双重投影中使用的特征数量,同时最大限度地提高了两个视图之间的相关性。该方法被证明在两个配对语料库的英语-法语和英语-西班牙语的配偶检索。我们能够观察到,在mate-retreival,当原始特征的数量是大的SCCA优于核CCA(KCCA),从稀疏的特征集学习共同的语义空间。
2009-08-19 stat.ME stat.ML
Sliding Window Informative Canonical Correlation Analysis
Sandia National Laboratories(桑迪亚国家实验室)
本文提出滑动窗口信息典范相关分析(SWICCA),用于在线流数据设置中的典范相关分析扩展,结合流式主成分分析和滑动窗口样本实时估计典范相关成分。
2026-05-08 cs.LG eess.IV math.ST
Frequency Recognition in SSVEP-based BCI using Multiset Canonical Correlation Analysis
典型相关分析(CCA)是基于稳态视觉诱发电位(SSVEP)的脑-机接口(BCI)中频率识别最常用的方法之一。尽管它的效率,一个潜在的问题是,使用预先构造的正弦-余弦波作为所需的参考信号在CCA方法往往不会导致最佳的识别精度,由于他们缺乏从真实的EEG数据的特征。为了解决这个问题,本研究提出了一种新的方法,基于多集典型相关分析(MsetCCA),以优化的参考信号用于SSVEP频率识别的CCA方法。MsetCCA方法学习实现联合空间滤波的多个线性变换,以最大化典型变量之间的整体相关性,从而从以相同刺激频率记录的多组EEG数据中提取SSVEP共同特征。优化的参考信号是通过组合的共同特征,并完全基于训练数据形成的。对10名健康受试者的EEG数据进行的实验研究表明,与CCA方法和其他两种竞争方法(多路CCA(MwayCCA)和相位约束CCA(PCCA))相比,MsetCCA方法提高了SSVEP频率识别的准确性,尤其是在通道数较少和时间窗长度较短的情况下。该方法的优越性表明,MsetCCA方法是一个新的有前途的候选人的频率识别SSVEP为基础的BCI。
2014-01-16 stat.ML
Analysis of a Canonical Labeling Algorithm for the Alignment of Correlated Erdős-Rényi Graphs
两个相关随机图的图对齐是指确定图的顶点集之间的对应关系的任务。最近的研究结果表明,在相关的Erdens-Rényi图中,图对齐的信息论阈值是精确的。然而,很少有人知道存在有效的算法来实现图对齐没有种子。在这项工作中,我们确定了一个区域,在该区域中,一个简单的$O(n^{11/5} \log n )$ -时间规范标记算法,最初介绍了图同构的背景下,成功地对齐相关的Erdens-Rényi图。该算法有两个步骤。在第一步中,所有顶点都由它们的度和平凡的最小距离对准(即,根据顶点的度对顶点排序)匹配两个图中的固定数量的最高度顶点。在确定了这个顶点子集之后,使用二分图的对齐算法来匹配剩余的顶点。
2019-09-01 cs.DS stat.ML
An Inexact Manifold Augmented Lagrangian Method for Adaptive Sparse Canonical Correlation Analysis with Trace Lasso Regularization
典型相关分析(Canonical correlation analysis,CCA)是通过寻找两组变量的线性组合来描述这两组变量之间的关系,使得相关系数最大。然而,在高维环境中,当变量的数量超过样本量,或者变量之间高度相关时,传统的CCA不再适用。本文提出了一种基于迹Lasso正则化的自适应稀疏CCA算法(ASCCA)。当协变量高度相关时,建议的ASCCA降低了估计量的不稳定性,从而提高了其解释。将ASCCA转化为黎曼流形上的一个最优化问题,并对所得到的最优化问题提出了一个流形不精确增广拉格朗日方法.在不同的仿真环境下,将ASCCA与其他稀疏CCA技术的性能进行了比较,说明了ASCCA的可行性和有效性。
2020-03-20 math.OC stat.ML
Learning Schizophrenia Imaging Genetics Data Via Multiple Kernel Canonical Correlation Analysis
采用核和多核典型相关分析(CCA)对精神分裂症患者和健康人进行分类,基于他们的SNPs,DNA甲基化和fMRI数据。核和多核CCA是用于发现高维数据集之间的非线性相关性的流行方法。数据收集自183名患者,79名精神分裂症患者和104名健康对照。核和多核CCA代表了研究精神分裂症的新途径,因为据我们所知,这些方法以前没有在这些数据上使用过。通过对核和多核CCA算法的核矩阵输出进行k均值聚类来执行分类。核和多核CCA分类的准确性进行比较,正则化的线性CCA算法分类,并被发现是显着更准确。这两种算法都表现出最大的准确性时,DNA甲基化和fMRI数据的组合使用,和经验较低的准确性时,SNP数据被纳入。
2016-09-15 q-bio.QM stat.ML
Finding Linear Structure in Large Datasets with Scalable Canonical Correlation Analysis
典型相关分析(CCA)是一种广泛使用的谱分析技术,用于在多视图数据集中发现相关结构。在本文中,我们解决了大规模CCA的问题,经典的算法,通常需要计算两个巨大的矩阵和巨大的矩阵分解的产品,是计算和存储昂贵。我们重铸CCA从一个新的角度,并提出了一个可扩展的和内存高效的增广近似梯度(AppGrad)计划,寻找顶部$k$维规范子空间,只涉及大矩阵乘以宽度$k$和小矩阵分解的尺寸$k\times k$的薄矩阵。此外,AppGrad实现了最佳的存储复杂度$O(k(p_1+p_2))$,与经典算法相比,通常需要$O(p_1^2+p_2^2)$空间来存储两个密集的白化矩阵。所提出的方案自然地推广到随机最优化制度,特别是有效的大数据集的批处理算法是禁止的。随机AppGrad的在线属性也非常适合数据顺序出现的流场景。据我们所知,这是第一个随机算法的CCA。四个真实数据集上的实验证明了所提方法的有效性。
2015-06-26 stat.CO stat.ML
Two approaches to multiple canonical correlation analysis for repeated measures data
Faculty of Mathematics;Computer Science Adam Mickiewicz University Pozna\'n, Poland;Interfaculty Department of Mathematics;Statistics University of Kalisz Kalisz, Poland;Department of Statistics Colorado State University Fort Collins, CO, USA
本文提出并研究了经典典型相关分析的两种推广方法,分别适用于复杂重复测量数据和多维随机过程,并提供了理论性质与实证验证。
2025-10-23 math.ST stat.AP stat.ME
Canonical correlation regression with noisy data
Harvard University(哈佛大学)
本文提出了一种在噪声数据环境下利用典型相关性进行两阶段最小二乘回归的方法,通过谱正则化实现估计误差的最优性,并提供了不同情境下的正则化选择建议。
2025-12-27 econ.EM math.ST stat.ML
Permutation Inference for Canonical Correlation Analysis
针对典型相关分析(CCA)中直接对残差进行置换检验导致错误率膨胀的问题,本文提出基于低维基底的残差转换与逐步估计方差去除两种解决方案,并提供了完整的CCA置换推断算法及不保守的多重检验方法。
2020-06-18 math.ST stat.AP stat.CO