Deep Generalized Canonical Correlation Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了深度广义典型相关分析（DGCCA）--一种学习任意多个数据视图的非线性变换的方法，使得所得到的变换最大限度地相互提供信息。虽然用于非线性双视图表示学习的方法（Deep CCA，（Andrew等人，2013））和线性多视图表示学习（广义CCA（Horst，1961））的情况下，DGCCA是第一种CCA式多视图表示学习技术，其将非线性（深度）表示学习的灵活性与合并来自许多独立源或视图的信息的统计能力相结合。我们提出了DGCCA制定以及一个有效的随机优化算法来解决它。我们学习DGCCA表示在两个不同的数据集上的三个下游任务：从声学和发音测量的语音转录，并推荐Twitter用户的数据集上的标签和朋友。我们发现，DGCCA表示在音标和主题标签推荐方面完全击败了现有方法，并且一般来说表现不比标准线性多视图技术差。
2017-06-15 cs.AI cs.LG stat.ML
A kernel method for canonical correlation analysis
典型相关分析是一种从一对多元数据中提取共同特征的技术。然而，在复杂的情况下，由于其线性，它不能提取有用的特征。另一方面，核方法用于支持向量机是一个有效的途径，以改善这种线性方法。本文研究了核方法应用于典型相关分析的有效性。
2007-02-14 cs.CV cs.LG
Discriminative Multiple Canonical Correlation Analysis for Information Fusion
Ryerson University（瑞尔森大学）；Zhengzhou University（郑州大学）
本文提出了判别式多典型相关分析（DMCCA）用于多模态信息分析与融合。DMCCA能够从多模态信息表示中提取更具鉴别力的特征。具体来说，它发现的投影方向，同时最大化类内相关性和最小化类间相关性，从而更好地利用多模态信息。在这个过程中，我们分析表明，最佳投影的尺寸由DMCCA可以相当准确地预测，导致卓越的性能和大幅降低计算成本。进一步验证了典型相关分析（CCA）、多重典型相关分析（MCCA）和判别典型相关分析（DCCA）是DMCCA的特例，从而建立了一个统一的典型相关分析框架。我们实现了一个DMCCA的原型，以证明其在手写数字识别和人类情感识别的性能。实验结果表明，DMCCA方法优于传统的串行融合方法、CCA、MCCA和DCCA。
2021-02-28 cs.LG
Learning Robust Classifiers with Self-Guided Spurious Correlation Mitigation
University of Virginia（弗吉尼亚大学）
本文提出自引导虚假相关性缓解框架，无需标注即可自动构建细粒度标签，通过虚假性嵌入空间区分分类器预测行为，从而提升鲁棒性并在多个数据集上超越现有方法。
2024-05-06 cs.CV cs.LG
A Tutorial on Canonical Correlation Methods
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；University College London（伦敦大学学院）；Max Planck Centre for Computational Psychiatry and Ageing Research（马克斯·普朗克计算精神病学与衰老研究中心）；Imperial College London（帝国理工学院）
典型相关分析（Canonical correlation analysis）是一种用于分析成对变量集的多元统计方法。自其命题以来，典型相关分析已经被扩展到例如当样本大小与数据维度有关时提取两组变量之间的关系，当关系被认为是非线性时，以及当维度对于人类解释来说太大时。本教程解释了典型相关分析的理论，包括其正则化，内核和稀疏变量。此外，深度和贝叶斯CCA扩展进行了简要回顾。连同数值例子，这一概述提供了一个连贯的简编典型相关分析的变体的适用性。通过将解决优化问题的技术，评估典型相关模型的统计意义和概括性，并解释关系，我们希望这篇文章可以作为在数据分析中应用典型相关方法的动手工具。
2017-11-07 cs.LG stat.ML
Generalized Canonical Correlation Analysis for Disparate Data Fusion
Johns Hopkins University（约翰斯·霍普金斯大学）
流形匹配用于识别多个不同数据空间到同一低维空间的嵌入，其中可以进行联合推理。它是一种能够从多个和大量不同数据源进行融合和推理的方法。在本文中，我们专注于一种方法称为典型相关分析（CCA）及其推广的广义典型相关分析（GCCA），这属于更一般的降秩回归（RRR）框架。我们提出了一个特定的文本文档分类任务的CCA和GCCA在不同的训练条件下的效率调查。
2012-09-17 cs.LG stat.ML
Adaptive Canonical Correlation Analysis Based On Matrix Manifolds
在本文中，我们制定了典型相关分析（CCA）问题的矩阵流形。这个框架提供了一种自然的方式来处理矩阵约束和工具，即使在自适应设置中也可以构建有效的算法。最后，提出了一种自适应CCA算法，并应用于脑电信号的变化检测问题。
2012-06-27 cs.LG stat.ML
Stochastic Approximation for Canonical Correlation Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
提出了一种新的典型相关分析的一阶随机近似算法。算法是不精确矩阵随机梯度（MSG）和不精确矩阵指数梯度（MEG）的实例，在$\operatorname{poly}(\frac{1}ε)$迭代中实现了种群目标的$ε$ -次优性.我们还考虑了实际的变种所提出的算法，并将它们与其他方法CCA理论和经验。
2018-02-26 cs.LG stat.ML
Towards Aligned Canonical Correlation Analysis: Preliminary Formulation and Proof-of-Concept Results
UC Riverside（加州大学河滨分校）
针对多视图场景中数据视角对齐不明确的问题，本文提出 Aligned Canonical Correlation Analysis（ACCA）框架，通过迭代方式联合求解对齐与多视图嵌入。
2023-12-08 cs.LG stat.ML
Graph Canonical Correlation Analysis
Institute of Physics（物理研究所）
本文提出图典型相关分析（gCCA），利用互相关矩阵的图结构计算典型相关，并给出高效算法与有限样本理论保证，在模拟和多组学数据中均优于传统CCA方法。
2025-02-03 cs.LG stat.ML
Canonical Correlation Analysis (CCA) Based Multi-View Learning: An Overview
Huazhong University of Science and Technology（华中科技大学）
多视图学习（MVL）是一种融合来自不同来源或子集的数据的策略。典型相关分析（CCA）是多视图视觉中非常重要的一种方法，其主要思想是将来自不同视图的数据映射到一个具有最大相关性的公共空间上。传统的CCA只能用于计算两个视图的线性相关。此外，它是无监督的，标签信息被浪费。许多非线性的、有监督的或广义的扩展已经被提出来克服这些限制。然而，据我们所知，没有这些方法的概述。本文综述了许多具有代表性的基于CCA的MVL方法。
2021-05-02 cs.IR cs.LG stat.ML
Sparse Weighted Canonical Correlation Analysis
State Key Laboratory of Software Engineering, School of Computer, Wuhan University（武汉大学计算机学院软件工程国家重点实验室）；School of Mathematics Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
给定两个数据矩阵$X$和$Y$，稀疏典型相关分析（SCCA）就是寻找两个稀疏典型向量$u$和$v$，以最大化$Xu$和$Yv$之间的相关性。然而，经典和稀疏CCA模型考虑了数据矩阵的所有样本的贡献，因此无法识别潜在的特定样本子集。为此，我们提出了一种新的稀疏加权典型相关分析（SWCCA），其中权重用于正则化不同的样本。我们使用交替迭代算法求解$L_0$ -正则化SWCCA（$L_0$ -SWCCA）。我们将$L_0$ -SWCCA应用于合成数据和真实数据，以证明其有效性和优越性。最后，我们还考虑了SWCCA与不同的惩罚，如LASSO（最小绝对收缩和选择算子）和组LASSO，并将其扩展为集成三个以上的数据矩阵。
2017-10-13 cs.LG stat.ML
Canonical Correlation Analysis for Analyzing Sequences of Medical Billing Codes
University of Washington（华盛顿大学）
我们建议使用典型相关分析（CCA）从序列的医疗账单代码生成功能。应用这种新的使用CCA的憩室炎患者的医疗账单代码的数据库，我们首先证明了CCA嵌入捕获有意义的代码之间的关系。然后，我们从这些嵌入中生成特征，并建立它们在预测未来憩室炎择期手术中的有用性，这是降低医疗保健成本的重要标志。
2017-01-06 cs.LG stat.ML
Fair Canonical Correlation Analysis
University of Pennsylvania（宾夕法尼亚大学）
本文针对CCA中的公平性问题，提出通过最小化受保护属性导致的相关性差异误差来学习全局投影矩阵，并在合成与真实数据上验证其可在不损失准确性的情况下减少偏见。
2023-09-27 cs.LG stat.ML
ORCCA: Optimal Randomized Canonical Correlation Analysis
Northeastern University（东北大学）
随机特征方法在大规模机器学习中被广泛用于核函数逼近。最近的一些研究探索了数据依赖的特征采样，修改了随机特征采样的随机预言。虽然在这一领域提出的技术提高了近似，但它们的适用性往往在单个学习任务上得到验证。在本文中，我们提出了一个特定于任务的评分规则选择随机功能，它可以用于不同的应用程序进行一些调整。我们限制我们的注意力典型相关分析（CCA），我们提供了一个新的，原则性的指导，找到得分函数最大化的典型相关性。我们证明了这种方法，称为ORCCA，可以优于（在预期中）相应的内核CCA与默认的内核。数值实验表明，ORCCA是显着优于其他近似技术在CCA任务。
2021-11-01 cs.LG stat.ML
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University（上海交通大学）；University of Southampton（南安普顿大学）
稀疏典型相关分析（CCA）是一种有用的统计工具，用于检测具有稀疏结构的潜在信息。然而，稀疏CCA仅适用于两个数据集，即，只有两个视图或两个不同的对象。为了克服这一局限性，本文提出了一种稀疏广义典型相关分析（GCCA），它可以检测具有稀疏结构的多视图数据的潜在关系。此外，引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说，我们将GCCA转换成一个线性方程组，并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题，这是很难解决的。受Boyd一致性问题的启发，提出了一种基于分布式交替迭代的算法，并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
Tensor Canonical Correlation Analysis for Multi-view Dimension Reduction
The University of Melbourne（墨尔本大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Technology, Sydney（悉尼科技大学）
典型相关分析（CCA）因其深厚的理论基础和成功的实际应用而被证明是一种有效的两视图降维工具。然而，在多视图学习方面，它仅限于处理由两个视图特征表示的数据的能力，而在许多现实世界的应用中，视图的数量往往更多。虽然同时探索所有可能的特征对的特设方式可以在数值上处理多视图数据，但它忽略了只能通过同时探索所有特征来发现的高阶顺序统计量（相关信息）。因此，在这项工作中，我们开发了张量CCA（TCCA），它直接而自然地推广CCA处理任意数量的视图的数据，通过分析不同视图的协方差张量。TCCA旨在直接最大化多个（两个以上）视图的典型相关性。至关重要的是，我们证明了多视图的典型相关最大化问题相当于找到最好的秩1近似的数据协方差张量，这可以有效地解决使用著名的交替最小二乘（ALS）算法。因此，包含在不同的视图中的高阶相关信息被探索，从而可以获得一个更可靠的公共子空间共享的所有功能。此外，TCCA的非线性扩展。在大规模生物特征结构预测、网络广告分类和网络图像标注等挑战性任务上的实验结果表明了该方法的有效性。
2015-02-09 cs.CV cs.LG stat.ML
Stochastic Canonical Correlation Analysis
University of Chicago（芝加哥大学）；Technion – Israel Institute of Technology（以色列理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们研究了典型相关分析（CCA），\ie的样本复杂性，估计总体典型相关所需的样本数和方向，直到任意小的错误。与温和的假设的数据分布，我们表明，为了实现$ε$ -次优性在一个适当定义的措施之间的对齐估计的典范方向和人口的解决方案，我们可以解决的经验目标，正是与$N(ε, Δ, γ)$样本，其中$Δ$是奇异值间隙的白化互协方差矩阵和$1/γ$是自协方差矩阵的条件数的上限。此外，我们可以通过抽取相同水平的样本和近似求解经验目标的随机优化算法来实现相同的学习精度;该算法基于移位和反转幂迭代，并且仅需要处理数据集的$\mathcal{O}\left(\log \frac{1}ε \right)$遍。最后，我们表明，给定典型相关的估计，移位和反转功率迭代的流版本通过仅处理一次数据，以相同的样本复杂度实现相同的学习精度。
2019-10-21 cs.LG stat.ML
Deep Variational Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Michigan（密歇根大学）
我们提出了深度变分典型相关分析（VCCA），这是一种深度多视图学习模型，它将线性CCA的潜变量模型解释扩展到由深度神经网络参数化的非线性观测模型。我们通过参数化潜在变量的后验概率，从测试时可用的视图中获得数据似然的变分下界。我们还提出了一种称为VCCA-private的VCCA变体，除了两种视图的“公共变量”之外，还可以提取每个视图中的“私有变量”，并在没有硬监督的情况下为多视图数据解开共享和私有信息。在真实世界数据集上的实验结果表明，我们的方法是跨领域的竞争力。
2017-02-25 cs.LG
Canonical Correlation Forests
University of Oxford（牛津大学）
我们介绍典型相关森林（CCF），一种新的决策树集成方法的分类和回归。个体典型相关树是具有基于在训练期间计算的局部典型相关系数的超平面分裂的二元决策树。与轴对齐的替代方案不同，CCF的决策表面不限于输入特征的坐标系，因此更自然地表示具有相关输入的数据。CCF自然地容纳多个输出，提供与随机森林相似的计算复杂度，并继承其对输入参数选择的令人印象深刻的鲁棒性。作为CCF训练算法的一部分，我们还引入了投影自举，这是一种用于斜决策树集合的装袋的新方法，它在选择分裂点时保持使用完整的数据集，通常会提高预测精度。我们的实验表明，即使没有参数调整，CCF在分类和回归问题上的表现也优于轴对齐的随机森林和其他最先进的树集成方法，从而提高了预测精度和更快的训练时间。我们进一步表明，他们优于所有的179分类器在最近的广泛调查中考虑。
2017-08-09 cs.LG stat.ML
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析（CCA）局部应用的度量方法，并将其与基于核的流形学习技术相结合，通过估计多模态观测值之间的欧氏距离，发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置，以及流形学习的扩展到多个数据集。实验结果表明，我们的方法确实发现的共同变量的高维非线性观测，而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
$\ell_0$-based Sparse Canonical Correlation Analysis
Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）模型是研究两组变量之间关联的有力工具。\textit{canonical variates}是一种典型的相关表示方法，被广泛应用于无监督学习中，用于分析未标记的多模态注册数据集。尽管CCA模型取得了成功，但如果任一模态中的变量数量超过样本数量，则CCA模型可能会破裂（或过拟合）。此外，通常很大一部分变量测量模态特异性信息，因此去除它们有利于识别\textit{canonically correlated variates}。在这里，我们提出了$\ell_0$ -CCA，学习相关表示的方法，从两个观察到的模态变量的稀疏子集的基础上。稀疏性通过将输入变量乘以随机门来获得，随机门的参数通过$\ell_0$正则化相关损失与CCA权重一起学习。我们进一步提出了$\ell_0$ -Deep CCA，通过使用深度网络对相关表示进行建模来解决非线性稀疏CCA的问题。我们使用几个合成和真实的例子证明了该方法的有效性。最值得注意的是，通过门控滋扰输入变量，我们的方法提高了提取的表示相比，其他线性，非线性和稀疏的基于CCA的模型。
2021-06-08 cs.LG stat.ML
Deep Dynamic Probabilistic Canonical Correlation Analysis
City University of Hong Kong（香港城市大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Lingnan University（岭南大学）
本文提出深度动态概率典型相关分析（D2PCCA），将深度学习与概率建模结合以捕捉非线性潜在动态，并通过KL退火和归一化流增强，在金融数据上验证了其有效性。
2025-02-07 cs.LG stat.ML
Dynamically-Scaled Deep Canonical Correlation Analysis
Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）是一种通过寻找两个视图的最大相关线性投影来进行特征提取的方法。在文献中已经介绍了CCA的几种变体，特别是基于深度神经网络的变体，用于学习两个视图的高度相关的非线性变换。由于这些模型通常是参数化的，因此它们的可学习参数在训练过程之后仍然独立于输入，这可能会限制它们学习高度相关表示的能力。本文提出了一种新的动态标度方法来训练输入依赖的典型相关模型。在我们的深度CCA模型中，最后一层的参数由第二个神经网络缩放，该网络以模型的输入为条件，从而产生依赖于输入样本的参数化。我们在多个数据集上评估了我们的模型，并证明了与传统的基于参数化CCA的模型相比，学习到的表示更相关，并且也获得了更好的检索结果。我们的代码可在https://github.com/tomerfr/DynamicallyScaledDeepCCA上获得。
2022-03-24 cs.LG stat.ML
Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Curai（Curai公司）
多模态语言分析通常考虑基于文本的特征与基于声学和视觉特性的特征之间的关系。文本特征通常在情感分析或情感识别任务中优于非文本特征，部分原因是文本特征源自在海量数据源上训练的高级语言模型或词嵌入，而音频和视频特征是人工设计的并且相对不发达。考虑到文本、音频和视频以不同的方式描述相同的话语，我们假设可以通过学习（隐藏）从文本和音频的外积（我们称之为基于文本的音频）和类似的基于文本的视频中提取的特征之间的相关性来改进多模态情感分析和情感识别。本文提出了一种新的模型，交互典型相关网络（ICCN），学习这样的多模态嵌入。ICCN通过深度典型相关分析（DCCA）学习所有三种模式之间的相关性，然后在几个基准数据集上测试所提出的嵌入，并与其他最先进的多模态嵌入算法进行比较。经验结果和消融研究证实了ICCN在从所有三个视图捕获有用信息方面的有效性。
2019-11-30 cs.LG stat.ML
Superclass-Guided Representation Disentanglement for Spurious Correlation Mitigation
New York University（纽约大学）；NYU Grossman School of Medicine（纽约大学 Grossman 医学院）；Zhejiang University（浙江大学）
本文提出利用超类引导解耦表示以缓解虚假相关性，通过预训练视觉-语言模型的梯度注意力对齐和理论支持的最小最大最优特征使用策略，提升模型对复杂组结构和虚假相关性的鲁棒性。
2026-03-19 cs.AI cs.CV cs.LG
BLOCCS: Block Sparse Canonical Correlation Analysis With Application To Interpretable Omics Integration
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们引入了块稀疏典型相关分析，它可以同时估计多对典型方向（一起称为“块”），从而显着改善稀疏方向的正交性，我们证明，这将转化为更可解释的解决方案。我们的方法建立在（Solari，Brown和Bickel 2019）的稀疏CCA方法的基础上，因为我们还将我们的块公式的双凸目标表示为单位欧几里得球中正交k-框架上的凹最小化问题，而由于目标的不确定性，该问题又被缩小到Stiefel流形，该流形通过梯度下降算法进行优化。我们的模拟结果表明，我们的方法优于现有的sCCA算法和实现的计算成本和稳定性，主要是由于我们的搜索空间的急剧收缩，以及估计的典型协变量对之间的相关性和正交性。最后，我们应用我们的方法，可作为一个R-包称为BLOCCS，多组学数据肺鳞状细胞癌（LUSC）通过癌症基因组图谱获得，并证明其在捕获有意义的生物学关联相关的研究假设，而不是虚假的显性变异的能力。
2020-01-20 cs.LG stat.ML
SDGCCA: Supervised Deep Generalized Canonical Correlation Analysis for Multi-omics Integration
Gwangju Institute of Science and Technology（光州科学技术院）
多组学数据的整合为揭示与某些表型相关的生物学机制提供了机会。本文提出了一种新的多组学整合方法--监督式深度广义典型相关分析（SDGCCA），用于非线性多组学流形之间的相关结构建模，旨在改善表型分类，揭示与表型相关的生物标志物。SDGCCA解决了其他基于典型相关分析（CCA）的模型（例如，深CCA，深广义CCA），通过考虑复杂/非线性交叉数据相关性和区分表型组。虽然有一些方法用于非线性CCA预测的判别目的的表型，他们只考虑两个视图。另一方面，SDGCCA是一种非线性多视角CCA投影方法。当我们将SDGCCA应用于阿尔茨海默病（AD）患者的预测和早期和晚期癌症的区分时，它优于其他基于CCA的方法和其他监督方法。此外，我们证明了SDGCCA可以用于特征选择以识别重要的多组学生物标志物。在AD数据的应用中，SDGCCA识别了多组学数据中的基因簇，这些基因簇是众所周知的与AD相关的。
2022-04-17 cs.AI cs.LG q-bio.QM
On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们使用Nyström近似研究了大规模核典型相关分析（KCCA）中的列选择问题，其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时，以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略，采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度，开发了一个增量算法，探索路径的近似秩，有利于有效的模型选择，并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
Explanation-Guided Diagnosis of Machine Learning Evasion Attacks
University of Michigan, Dearborn（密歇根大学迪尔伯恩分校）
机器学习（ML）模型容易受到规避攻击。规避准确性通常使用总规避率进行评估，并且总规避率是否能够对对抗性扰动对规避预测的影响进行特征级诊断是一个悬而未决的问题。在本文中，我们介绍了一个新的框架，利用可解释的ML方法来指导ML规避攻击的高保真评估。我们的框架，使前回避扰动和后回避解释之间的解释引导的相关性分析。为了系统地评估ML规避攻击，我们提出并评估了一套新的模型不可知的指标，用于样本级和队列级的相关性分析。使用恶意软件和图像分类器，我们对不同的模型架构和互补的特征表示进行全面的评估。我们的推理引导的相关性分析揭示了对抗样本之间的相关性差距和对它们进行的相应扰动。使用一个关于解释引导规避的案例研究，我们展示了我们的方法在评估ML模型鲁棒性方面的更广泛用途。
2021-06-30 cs.CR cs.LG
3D Medical Multi-modal Segmentation Network Guided by Multi-source Correlation Constraint
INSA Rouen（鲁昂国立应用科学学院）；Université de Rouen Normandie（鲁昂诺曼底大学）；Normandie Univ（诺曼底大学）；UNIROUEN（鲁昂大学）；UNIHAVRE（勒阿弗尔大学）；Henri Becquerel Cancer Center（亨利·贝克勒尔癌症中心）
在多模态分割领域，可以考虑不同模态之间的相关性以改善分割结果。在本文中，我们提出了一个多模态分割网络的相关性约束。我们的网络包括N个模型无关的编码路径，N个图像源，一个相关约束块，一个特征融合块，和一个解码路径。模型无关的编码路径可以捕获模态特定的特征从N个模态。由于不同模态之间存在很强的相关性，我们首先提出一个线性相关块来学习模态之间的相关性，然后使用一个损失函数来指导网络学习基于线性相关块的相关特征。这个块迫使网络学习与分割更相关的潜在相关特征。考虑到不是所有的特征提取的编码器是有用的分割，我们提出了使用基于双注意力的融合块重新校准的功能沿模态和空间路径，它可以抑制信息量少的功能，并强调有用的。融合后的特征表示最后由解码器投影得到分割结果。在BraTS-2018脑肿瘤分割数据集上的实验结果证明了该方法的有效性。
2021-02-05 cs.CV cs.LG eess.IV
Deep Canonically Correlated LSTMs
我们研究了深度正则相关LSTM，作为学习可变长度序列的非线性变换并将其嵌入到相关的固定维空间中的一种方法。我们使用LSTM来非线性地转换多视图时间序列数据，同时学习数据内的时间关系。然后，我们对这些神经网络的输出进行相关分析，以找到一个相关的子空间，通过该子空间，我们通过投影得到最终的表示。这项工作遵循之前在深度典型相关（DCCA）上所做的工作，其中使用深度前馈神经网络来学习数据的非线性变换，同时最大化相关性。
2018-01-16 cs.LG stat.ML
SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
Google Brain（谷歌大脑）；Cornell University（康奈尔大学）；Uber AI Labs（优步人工智能实验室）
我们提出了一种新技术，奇异向量典型相关分析（SVCCA），一种快速比较两种表示的工具，这种工具对仿射变换（允许不同层和网络之间的比较）和快速计算（允许比以前的方法计算更多的比较）都是不变的。我们部署这个工具来测量层的内在维度，在某些情况下显示不必要的过度参数化;在整个训练过程中探索学习动态，发现网络自下而上收敛到最终表示;显示网络中的类特定信息形成的位置;并建议新的训练方案，同时节省计算和减少过度拟合。代码：https://github.com/google/svcca/
2017-11-08 cs.LG stat.ML
Unpaired Canonical Correlation Analysis
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）
本文提出非配对典型相关分析（UCCA），在无配对样本时学习线性投影以最大化真实配对相关性，填补了传统多视图学习与非配对数据学习的空白。
2026-10-08 cs.LG stat.ML
Canonical Autocorrelation Analysis
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个扩展的稀疏典型相关分析（CCA），旨在寻找多对多的线性相关在一组变量。与CCA不同，CCA发现两组数据之间的相关性，其中行完全匹配，但列代表单独的变量集，这里提出的方法，典型自相关分析（CAA），发现一组变量中的多变量相关性。当我们在数据中寻找隐藏的简约结构时，这可能是有用的，每个结构只涉及所有特征的一小部分。此外，所发现的相关性是高度可解释的，因为它们是由原始特征的稀疏线性组合对形成的。我们展示了CAA如何可以作为异常检测的工具，当预期的相关性结构不遵循异常数据。我们说明了CAA在两个应用领域的效用，其中单类和无监督学习的相关结构是特别相关的：乳腺癌诊断和辐射威胁检测。当应用到威斯康星州乳腺癌数据，单类CAA是有竞争力的监督方法在文献中使用。在辐射威胁检测任务上，无监督CAA的表现明显优于该领域中普遍存在的无监督替代方案，同时为威胁分析提供了有价值的额外见解。
2015-11-19 cs.LG stat.ML
Tensor Generalized Canonical Correlation Analysis
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；Laboratoire des signaux et systèmes（信号与系统实验室）；Sorbonne Université（索邦大学）；Institut du Cerveau - Paris Brain Institute - ICM（巴黎大脑研究所）；Inserm（法国国家健康与医学研究院）；APHP（巴黎公立医院集团）；Hôpital Pitié Salpétrière Univ. Hosp.（皮提耶-萨尔佩特里埃大学医院）；Centre National de Recherche en Génomique Humaine（国家人类基因组研究中心）；Institut François Jacob（弗朗索瓦·雅各布研究所）；CEA（法国原子能委员会）
正则化广义典型相关分析（RGCCA）是一种通用的多区组数据分析框架。RGCCA能够破译几组变量之间的关系，并将许多众所周知的多变量分析方法作为特例。然而，RGCCA只处理向量值块，而忽略了它们可能的高阶结构。本文提出了一种新的张量GCCA（TGCCA）方法，用于分析具有标准向量的高阶张量，该标准向量允许一个正交秩-R-CP分解。此外，TGCCA的两个算法，是否施加一个可分离的协方差结构的基础上，提出了收敛保证。TGCCA的效率和实用性进行评估模拟和真实的数据和比较有利的国家的最先进的方法。
2023-02-10 cs.LG stat.ML
Deep Multi-Modal Classification of Intraductal Papillary Mucinous Neoplasms (IPMN) with Canonical Correlation Analysis
University of Central Florida（中佛罗里达大学）；Mayo Clinic（梅奥诊所）
胰腺癌是所有癌症类型中预后最差的。导管内乳头状粘液性肿瘤（IPMN）是胰腺癌的影像学可识别的前体，因此，IPMN的早期发现和精确的风险评估是至关重要的。在这项工作中，我们提出了一个卷积神经网络（CNN）为基础的计算机辅助诊断（CAD）系统进行IPMN诊断和风险评估，利用多模态MRI。在我们提出的方法中，我们使用最小和最大强度投影来缓解不同切片和MRI类型之间的注释变化。然后，我们提出了一个CNN，以获得对应于每个MRI模态（T1加权和T2加权）的深度特征表示。在最后一步，我们采用典型相关分析（CCA）在特征级进行融合操作，导致歧视性典型相关特征。提取的特征用于分类。我们的研究结果表明，显着改善其他潜在的方法来解决这个重要的问题。所提出的方法不需要显式的样本平衡的情况下，正负的例子之间的不平衡。据我们所知，我们的研究是第一个使用多模态MRI自动诊断IPMN的研究。
2018-04-27 cs.AI cs.CV cs.LG
Multiview Canonical Correlation Analysis for Automatic Pathological Speech Detection
Idiap Research Institute（Idiap研究所）
针对自动病理语音检测中输入表示含无关信息影响分类的问题，提出在检测前使用多视图典型相关分析（MCCA）消除不相关信息，结合传统分类器即可达到或超越复杂架构性能且具可解释性。
2024-09-13 cs.LG cs.SD eess.AS
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一种深度概率多视图模型，该模型由基于潜在空间中的概率典型相关分析（CCA）描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件，其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发，近似的后验分布的潜在概率多视图层，同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明，所提出的深度生成式多视图模型能够有效地整合多视图间的关系，降低学习难度，并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
D2ACE: Multi-Label Batch Selection Guided by Dual Dynamics and Adaptive Correlation Enhancement
Key Laboratory of DECV, Chongqing University of Posts and Telecommunications（重庆邮电大学信息与通信工程重点实验室）；School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院）；School of Informatics, Aristotle University of Thessaloniki（希腊塞萨洛尼基阿里斯托芬大学信息学院）
D2ACE通过双动态和自适应相关增强方法，提升多标签分类的训练效率和预测性能，通过动态标签权重和局部上下文相关增强，优化标签重要性与相关性建模。
2026-05-10 cs.LG
Multi-modal Sentiment Analysis using Deep Canonical Correlation Analysis
UW-Madison（威斯康星大学麦迪逊分校）；Texas Tech University（得克萨斯理工大学）
本文从数据的文本、音频和视频视图/模式中学习多模态嵌入，以改进下游情感分类。实验框架还允许调查的相对贡献的个人意见，在最终的多模态嵌入。使用深度典型相关分析（DCCA）以两种方式将从三个视图导出的各个特征组合成多模态嵌入：i）一步DCCA和ii）两步DCCA。本文使用BERT学习文本嵌入，这是当前文本编码器的最新技术。我们认为这种高度优化的算法在其他视图的贡献上占主导地位，尽管每个视图都对最终结果有贡献。分类任务在两个基准数据集和一个新的辩论情感数据集上进行，这些都表明一步DCCA在学习多模态嵌入方面优于当前最先进的技术。
2019-07-15 cs.CL cs.IR cs.LG
Generating artificial digital image correlation data using physics-guided adversarial networks
German Aerospace Center (DLR)（德国航空航天中心）
提出基于物理引导GAN的方法生成人工DIC位移数据，通过引入von Mises等效应变作为领域知识，解决了裂纹检测模型训练数据稀缺问题，在视觉质量和多项指标上优于传统方法。
2024-01-10 cs.LG eess.IV
Generalized Canonical Correlation Analysis: A Subspace Intersection Approach
University of Virginia（弗吉尼亚大学）；University of Minnesota（明尼苏达大学）
广义典型相关分析（GCCA）是数据采掘、机器学习和人工智能中的一个重要工具。它的目的是寻找“共同的”随机变量，这些变量在同一组实体的多个特征表示（视图）之间具有很强的相关性。CCA和GCCA在较小程度上已经从统计和算法的角度进行了研究，但从线性代数的角度来看并不多。本文提供了一个新的代数角度GCCA的基础上（双）线性生成模型，自然捕捉其本质。它表明，从线性代数的角度来看，GCCA是相当于子空间的交集，并提供了条件下，不同的意见，公共子空间是可识别的。提出了一种新的基于子空间交集的GCCA算法，该算法可扩展以处理大规模的GCCA任务。合成以及真实的数据实验，以展示所提出的方法的有效性。
2020-03-25 cs.IR cs.LG eess.SP
Shock-Aware Physics-Guided Fusion-DeepONet Operator for Rarefied Micro-Nozzle Flows
Mechanical and Industrial Engineering, University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校机械与工业工程系）；Department of Mechanical Engineering, Hakim Sabzevari University（哈基姆·萨布兹瓦里大学机械工程系）
提出融合 Fusion DeepONet、激波对齐物理特征与两阶段课程策略的物理感知深度学习框架，用于快速准确建模稀薄含激波微喷嘴流动，并先在黏性 Burgers 方程上验证。
2025-10-18 cs.LG physics.flu-dyn
Finding the needle in high-dimensional haystack: A tutorial on canonical correlation analysis
University of York（约克大学）；University College London（伦敦大学学院）；Max Planck University College London Centre for Computational Psychiatry and Ageing Research（马克斯·普朗克伦敦大学学院计算精神病学与衰老研究中心）；University of Pennsylvania（宾夕法尼亚大学）；RWTH Aachen University（亚琛工业大学）；Jülich-Aachen Research Alliance（于利希-亚琛研究联盟）；INRIA（法国国家信息与自动化研究所）；CEA Saclay（法国原子能委员会萨克雷中心）
自21世纪初以来，生物学和医学数据的规模、广度和粒度迅速增长。以神经科学为例，涉及数千名受试者的研究变得越来越普遍，这些研究在行为、神经和基因组水平上提供了数百个变量的广泛表型分析。这种大数据存储库的复杂性为研究大脑、认知和疾病提供了新的机会，也提出了新的挑战。典型相关分析（CCA）是一个典型的方法家族，用于从如此丰富的数据集中获取洞察力。这种双多变量工具可以同时考虑来自不同模态的两个变量集，以揭示基本的隐藏关联。我们的初级读本讨论了CCA在生物医学中的基本原理、承诺和陷阱。
2018-12-06 cs.LG stat.AP stat.ML
Structured SUMCOR Multiview Canonical Correlation Analysis for Large-Scale Data
University of Minnesota（明尼苏达大学）；University of Virginia（弗吉尼亚大学）
广义典型相关分析（GCCA）的相关性和（SUMCOR）公式通过最大化视图的成对潜在相似性来寻求不同视图的高度相关的低维表示。SUMCOR被认为是经典的两视图CCA到多视图情况下的最自然的扩展，因此在信号处理和数据分析中有许多应用。最近的工作已经提出了有效的算法处理SUMCOR问题在非常大的规模。然而，现有的可扩展算法不能结合结构正则化和先验信息-这是在现实世界中的应用程序的良好性能的关键。在这项工作中，我们提出了一个新的计算框架，大规模的SUMCOR GCCA，可以很容易地将一套经常用于数据分析的结构正则化。该算法的更新是轻量级的，存储复杂度也很低。此外，所提出的算法可以很容易地以并行方式实现。我们证明了该算法收敛到正则化SUMCOR问题的Karush-Kuhn-Tucker（KKT）点。设计合理的仿真和真实数据实验证明了该算法的有效性。
2018-04-24 cs.IR cs.LG eess.SP
