Deep Multi-View Learning via Task-Optimal CCA
Pixel Scientia Labs（Pixel Scientia实验室）；University of Salzburg（萨尔茨堡大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
典型相关分析（CCA）被广泛用于多模态数据分析，最近，用于多视图学习等区分任务;然而，它不使用类别标签。最近的CCA方法已经开始解决这个弱点，但局限于它们不能同时优化CCA投影以进行区分和CCA投影本身，或者它们仅是线性的。我们通过同时优化基于CCA的任务目标和端到端的方式来解决这些缺陷。这两个目标一起学习到高度相关和区分的共享潜在空间的非线性CCA投影。我们的方法在交叉视图分类、第二视图正则化和真实数据上的半监督学习方面比以前的最新技术（包括深度监督方法）有了显着的改进。
2019-07-17 cs.CV cs.LG stat.ML
Beyond CCA: Moment Matching for Multi-View Models
INRIA（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）
我们介绍了三个新的半参数扩展的概率典型相关分析的可识别性保证。我们认为矩匹配技术在这些模型中的估计。为此，通过绘制新模型和离散版本的独立成分分析（DICA）之间的明确联系，我们首先将DICA累积量张量扩展到新的离散版本的CCA。通过进一步利用与独立成分分析的紧密联系，我们引入了广义协方差阵，它可以取代矩匹配框架中的累积量张量，从而显著地提高了样本复杂度，简化了推导和算法。由于张量幂方法或正交联合对角化方法在新的设置中不适用，我们使用非正交联合对角化技术来匹配累积量。我们证明了所提出的模型和估计技术的性能与合成和真实数据集的实验。
2016-06-03 cs.LG stat.ML
Multi-view Alignment and Generation in CCA via Consistent Latent Encoding
Centre for Artificial Intelligence (CAI), University of Technology Sydney（悉尼科技大学人工智能中心（CAI））
多视图对齐，实现多视图输入的一一对应，在许多现实世界的多视图应用中是至关重要的，特别是对于跨视图数据分析问题。近年来，越来越多的研究者利用典型相关分析（CCA）来研究这一对齐问题。然而，现有的CCA模型容易由于忽略不确定性或多个视图的不一致编码而使多个视图不对齐。针对这两个问题，本文从贝叶斯的角度研究了多视图对齐问题。深入研究了不一致编码的损害，我们提出了通过匹配不同形式的因子分解下的多视图随机变量的联合分布的边缘化来恢复多视图输入的对应性。为了实现我们的设计，我们提出了对抗CCA（ACCA），它通过对抗训练范式匹配边缘化的潜在编码来实现一致的潜在编码。基于条件互信息的分析表明，ACCA对处理隐式分布是灵活的。大量的相关性分析和噪声输入设置下的交叉视图生成的实验证明了我们的模型的优越性。
2020-05-24 cs.CV cs.LG stat.ML
Nonparametric Canonical Correlation Analysis
Technion–Israel Institute of Technology（以色列理工学院）；TTI-Chicago（芝加哥丰田技术研究所）
典型相关分析（CCA）是一种经典的表示学习技术，用于在多视图数据中发现相关变量。已经提出了几种原始线性CCA的非线性扩展，包括核和深度神经网络方法。这些方法在用户指定（通过选择内核或神经网络结构）的函数族之间寻求最大相关投影，并且在计算上要求很高。有趣的是，Lancaster在20世纪50年代就已经在人口背景下研究了无功能限制的非线性CCA理论，但这些结果并没有激发实用算法。我们重温Lancaster的理论，设计一个实用的算法非参数CCA（NCCA）。具体来说，我们表明，该解决方案可以表示在奇异值分解的某个运营商与联合密度的意见。因此，通过从数据估计人口密度，NCCA减少到求解特征值系统，表面上类似于核CCA，但重要的是，不需要任何核矩阵的求逆。我们还推导出一个部分线性CCA（PLCCA）的变体，其中一个视图进行线性投影，而另一个是非参数。使用基于少量最近邻的核密度估计，我们的NCCA和PLCCA算法具有内存效率，通常运行速度更快，并且比内核CCA和深度CCA表现更好。
2016-02-07 cs.LG stat.ML
Tensor Decompositions: A New Concept in Brain Data Analysis?
RIKEN BSI（理化学研究所脑科学综合研究中心）
本文综述了张量分解在多向BSS/ICA、特征提取、分类和多向PLS回归中的新模型与方法，涵盖约束Tucker和CP模型及惩罚张量分解。
2013-05-02 cs.LG cs.NA math.NA
Provable Subspace Identification of Nonlinear Multi-view CCA
Chair of Data Processing（数据处理教授职位）；Technical University of Munich（慕尼黑技术大学）；fortiss GmbH（fortiss公司）
本文提出了一种可证的非线性多视图CCA子空间识别方法，通过理论证明和实验验证，展示了在合适条件下恢复共享子空间的能力。
2026-07-10 cs.LG
Multi-modality fusion using canonical correlation analysis methods: Application in breast cancer survival prediction from histology and genomics
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Almaden Research Center（IBM阿尔马登研究中心）
提出基于惩罚典型相关分析与矩阵收缩的双模态融合及两阶段预测流程，提升潜变量预测，并在乳腺癌组织学与基因组数据中优于同维 PCA。
2021-11-27 cs.LG eess.SP q-bio.QM
Multiview Representation Learning for a Union of Subspaces
Johns Hopkins University（约翰斯·霍普金斯大学）
典型相关分析（CCA）是一种流行的技术，用于学习数据中多个视图之间最大相关的表示。在本文中，我们扩展了基于CCA的框架学习多视图混合模型。我们表明，所提出的模型和一组简单的算法比标准CCA的性能有所改善，如下游任务的性能。我们的实验结果表明，我们的相关性为基础的目标有意义地推广CCA目标CCA模型的混合物。
2019-12-30 cs.LG stat.ML
Nonlinear Multiview Analysis: Identifiability and Neural Network-assisted Implementation
Oregon State University（俄勒冈州立大学）
多视图分析的目的是从在不同域中获取的数据样本中提取共享的潜在成分，例如，图像、文本和音频。经典的多视图分析，例如，典型相关分析（CCA）通过在特定潜在域中匹配线性变换的视图来解决这个问题。最近，强大的非线性学习工具，如核方法和神经网络被用来增强经典的CCA。然而，与线性CCA的理论方面被清楚地理解不同，非线性CCA方法在很大程度上是直觉驱动的。特别是，目前还不清楚在什么条件下可以识别跨视图的共享潜在组件-而可识别性在许多应用中起着至关重要的作用。在这项工作中，我们重新审视非线性多视图分析和解决的理论和计算方面。我们的工作利用了一个有用的非线性模型，即后非线性模型，从非线性混合物分离文献。结合多视图数据，我们采取了非线性多视图混合学习的观点，这是线性CCA的经典生成模型的自然扩展。从那里，我们得到了一个学习标准。我们表明，最小化这一标准导致识别的潜在共享组件到一定的模糊性，在合理的条件下。我们的推导和公式化也为现有的基于深度神经网络的CCA公式化提供了新的见解和解释。在计算方面，我们提出了一个有效的算法，简单和可扩展的更新规则。一系列的仿真和实际数据实验证实了我们的理论分析。
2020-03-30 cs.LG stat.ML
Dynamically-Scaled Deep Canonical Correlation Analysis
Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）是一种通过寻找两个视图的最大相关线性投影来进行特征提取的方法。在文献中已经介绍了CCA的几种变体，特别是基于深度神经网络的变体，用于学习两个视图的高度相关的非线性变换。由于这些模型通常是参数化的，因此它们的可学习参数在训练过程之后仍然独立于输入，这可能会限制它们学习高度相关表示的能力。本文提出了一种新的动态标度方法来训练输入依赖的典型相关模型。在我们的深度CCA模型中，最后一层的参数由第二个神经网络缩放，该网络以模型的输入为条件，从而产生依赖于输入样本的参数化。我们在多个数据集上评估了我们的模型，并证明了与传统的基于参数化CCA的模型相比，学习到的表示更相关，并且也获得了更好的检索结果。我们的代码可在https://github.com/tomerfr/DynamicallyScaledDeepCCA上获得。
2022-03-24 cs.LG stat.ML
Variational Interpretable Learning from Multi-view Data
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
典型相关分析（CCA）的主要思想是将不同的视图映射到一个具有最大相关性的公共潜在空间。我们提出了一种用于多视图学习的深度可解释的变分典型相关分析（DICCA）。所开发的模型通过使用深度生成网络将现有的线性CCA潜变量模型扩展到非线性模型。DICCA的目的是解开多视图数据的共享和特定于视图的变化。为了进一步使模型更具可解释性，我们在潜在权重上放置了一个稀疏诱导先验，并使用由特定于视图的生成器组成的结构化变分自编码器。在真实世界数据集上的实证结果表明，我们的方法在各个领域都具有竞争力。
2022-03-01 cs.LG stat.ML
Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度CCA是最近提出的对传统典型相关分析（CCA）的深度神经网络扩展，并且已经在多个领域中成功地用于多视图表示学习。然而，深度CCA目标的随机优化并不简单，因为它不会在训练样本上解耦。以前的深度CCA优化器要么是基于批处理的算法，要么是使用大型小批量的随机优化，这可能会占用很高的内存。在本文中，我们解决了随机优化的问题，深CCA与小minibatches，基于迭代解决方案的CCA目标，并表明，我们可以实现良好的性能，因为以前的优化，从而减轻内存需求。
2015-10-07 cs.LG
RKUM: An R Package for Robust Kernel Unsupervised Methods
Centers for Outcomes and Health Services Research, Ochsner Health（成果与健康服务研究中心，奥钦斯纳健康）
本文介绍R包RKUM，它基于广义损失函数实现鲁棒核协方差算子与核CCA，并提供影响函数检测离群点，为高维数据鲁棒核分析提供高效可扩展平台。
2025-11-05 cs.LG stat.ML
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一种深度概率多视图模型，该模型由基于潜在空间中的概率典型相关分析（CCA）描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件，其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发，近似的后验分布的潜在概率多视图层，同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明，所提出的深度生成式多视图模型能够有效地整合多视图间的关系，降低学习难度，并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
Deep Generalized Canonical Correlation Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了深度广义典型相关分析（DGCCA）--一种学习任意多个数据视图的非线性变换的方法，使得所得到的变换最大限度地相互提供信息。虽然用于非线性双视图表示学习的方法（Deep CCA，（Andrew等人，2013））和线性多视图表示学习（广义CCA（Horst，1961））的情况下，DGCCA是第一种CCA式多视图表示学习技术，其将非线性（深度）表示学习的灵活性与合并来自许多独立源或视图的信息的统计能力相结合。我们提出了DGCCA制定以及一个有效的随机优化算法来解决它。我们学习DGCCA表示在两个不同的数据集上的三个下游任务：从声学和发音测量的语音转录，并推荐Twitter用户的数据集上的标签和朋友。我们发现，DGCCA表示在音标和主题标签推荐方面完全击败了现有方法，并且一般来说表现不比标准线性多视图技术差。
2017-06-15 cs.AI cs.LG stat.ML
An Information Retrieval Approach to Finding Dependent Subspaces of Multiple Views
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；University of Tampere（坦佩雷大学）
寻找多个数据视图之间的关系对于探索性分析和预测任务的预处理都是至关重要的。一个突出的方法是应用典型相关分析（CCA）的变体，这是一种寻找视图之间相关分量的经典方法。基本的CCA被限制为最大化直接在数据坐标之间测量的简单依赖性准则、相关性。我们介绍了一种新的方法，发现直接优化的数据分析任务的\textit{neighbor retrieval between multiple views}的视图的依赖子空间。我们优化每个视图的映射，如线性变换，以最大限度地提高数据样本邻域之间的跨视图相似性。该标准直接产生于定义明确的检索任务，检测非线性和局部相似性，能够测量数据关系的依赖性，而不仅仅是单个数据坐标，并且与信息检索质量的良好理解措施有关。在实验中，我们表明所提出的方法优于替代品在保持跨视图邻域相似性，并产生洞察多个视图之间的局部依赖关系。
2016-01-07 cs.LG stat.ML
Tensor Canonical Correlation Analysis for Multi-view Dimension Reduction
The University of Melbourne（墨尔本大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Technology, Sydney（悉尼科技大学）
典型相关分析（CCA）因其深厚的理论基础和成功的实际应用而被证明是一种有效的两视图降维工具。然而，在多视图学习方面，它仅限于处理由两个视图特征表示的数据的能力，而在许多现实世界的应用中，视图的数量往往更多。虽然同时探索所有可能的特征对的特设方式可以在数值上处理多视图数据，但它忽略了只能通过同时探索所有特征来发现的高阶顺序统计量（相关信息）。因此，在这项工作中，我们开发了张量CCA（TCCA），它直接而自然地推广CCA处理任意数量的视图的数据，通过分析不同视图的协方差张量。TCCA旨在直接最大化多个（两个以上）视图的典型相关性。至关重要的是，我们证明了多视图的典型相关最大化问题相当于找到最好的秩1近似的数据协方差张量，这可以有效地解决使用著名的交替最小二乘（ALS）算法。因此，包含在不同的视图中的高阶相关信息被探索，从而可以获得一个更可靠的公共子空间共享的所有功能。此外，TCCA的非线性扩展。在大规模生物特征结构预测、网络广告分类和网络图像标注等挑战性任务上的实验结果表明了该方法的有效性。
2015-02-09 cs.CV cs.LG stat.ML
Scalable and Flexible Multiview MAX-VAR Canonical Correlation Analysis
广义典型相关分析（GCCA）旨在从同一实体的多个视图（不同域的特征向量）中发现潜在的低维公共结构。与处理单个视图的主成分分析（PCA）不同，（G）CCA能够整合来自不同特征空间的信息。在这里，我们专注于MAX-VAR GCCA，一个流行的配方，最近获得了新的兴趣，多语言处理和语音建模。经典的MAX-VAR GCCA问题可以通过矩阵的特征分解来最佳地解决，该矩阵复合视图的（白化）相关矩阵;但是这种解决方案具有严重的可扩展性问题，并且不能直接适用于将相关的结构约束（例如，规范分量上的非负性和稀疏性）并入。我们将正则化MAX-VAR GCCA问题转化为非凸优化问题，并提出了一种基于交替优化（AO）的算法来处理它，该算法在正则化最小二乘法子问题和流形约束非凸子问题的{ \em inexact}解之间交替求解，从而节省了大量的内存和计算量.我们的设计的一个重要好处是，它可以很容易地处理结构促进正则化。我们证明了该算法以次线性速率全局收敛到临界点，并且在不考虑正则化的情况下以线性速率逼近全局最优解。明智设计的模拟和大规模的词嵌入任务，以展示所提出的算法的有效性。
2017-05-04 stat.ML
Optimal Personalized Subspace Learning for Multi-view Tensor Observations
Institute for Financial Studies Shandong University（山东大学金融研究院）；School of Statistics and Data Science Southeast University（东南大学统计与数据科学学院）；Department of Statistics and Applied Probability National University of Singapore（新加坡国立大学统计与应用概率系）
本文提出张量TPS-PCA方法，通过分解共享与私有分量实现多视图张量解耦，达到极小极大最优，并在电力、金融和活动识别中验证有效性。
2026-09-28 stat.ME
Non-linear Canonical Correlation Analysis: A Compressed Representation Approach
Tel Aviv University（特拉维夫大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
典型相关分析（CCA）是一种线性表示学习方法，它在多视图数据中寻找最大相关变量。非线性CCA将这一概念扩展到更广泛的转换家族，在许多现实世界的应用程序中更强大。在给定联合概率的情况下，交替条件期望（ACE）算法为非线性CCA问题提供了一个最优解。然而，当只有有限数量的样本可用时，它遭受有限的性能和增加的计算负担。在这项工作中，我们引入了一个信息理论的压缩表示框架的非线性CCA问题（CRCCA），它扩展了经典的ACE方法。我们建议的框架寻求紧凑的数据表示，允许最大程度的相关性。通过这种方式，我们可以控制模型的灵活性和复杂性之间的权衡。CRCCA提供了理论界限和最优性条件，因为我们建立了与率失真理论、信息瓶颈和远程信源编码的基本联系。此外，它允许软降维，因为压缩级别由原始噪声数据和提取的信号之间的互信息确定。最后，我们介绍了一个简单的实现的CRCCA框架，基于格量化。
2020-02-10 cs.LG stat.ML
TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees
本文提出首个基于梯度提升树的CCA方法TreeCCA，兼具非线性精度与可解释性，在多类基准上性能优于或相当Deep CCA等方法，成本更低且可提供数据解释。
2026-07-30 cs.LG
Characterization of Hemodynamic Signal by Learning Multi-View Relationships
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
多视图数据在实践中越来越普遍。通过多视图分量分析技术（例如典型相关分析（CCA））来分析视图对之间的关系通常是相关的。然而，数据可能很容易表现出非线性关系，CCA不能揭示。我们的目标是调查的有用性的非线性多视图关系，以描述多视图数据在一个可解释的方式。为了解决这一挑战，我们提出了一种方法来表征全局非线性多视图关系的线性关系的混合。一种聚类方法，它识别表现出相同关系的观测分区，并同时学习这些关系。它通过多视图而不是空间关系来定义聚类变量，这与几乎所有其他聚类方法不同。此外，我们引入了一个监督分类方法，建立在我们的聚类方法，采用多视图的关系作为判别因素。这些方法的价值在于它们能够在数据中找到单视图或当前多视图方法可能难以找到的有用结构。我们证明了所提出的方法的潜在效用，使用临床信息学中的应用程序来检测和表征在床边监测中心静脉压（CVP）的患者的缓慢出血。目前，CVP被认为是受试者的血管内容量状态或其变化的不敏感量度。然而，我们认为吸气和呼气时的中心静脉压特征应该在早期识别患者状态的新变化方面提供信息。我们经验表明，所提出的方法可以帮助发现和分析多对多的相关性，这可能是非线性的或不同的人口，通过找到可解释的结构的操作感兴趣的从业者。
2019-12-08 cs.LG stat.ML
Correlational Neural Networks
University of Montreal（蒙特利尔大学）；IBM Research India（IBM印度研究院）；University of Sherbrooke（舍布鲁克大学）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
公共表示学习（CRL），其中不同的描述（或视图）的数据被嵌入在一个共同的子空间，最近受到了很多关注。两种流行的范例是基于典型相关分析（CCA）的方法和基于自动编码器（AE）的方法。基于CCA的方法通过在投影到公共子空间时最大化视图的相关性来学习联合表示。基于AE的方法通过最小化重建两个视图的误差来学习公共表示。这些方法中的每一种都有其自身的优点和缺点。例如，虽然对于迁移学习的任务，基于CCA的方法优于基于AE的方法，但是它们不如后者可扩展。在这项工作中，我们提出了一种基于AE的方法称为相关神经网络（CorrNet），显式地最大化的视图之间的相关性时，投影到共同的子空间。通过一系列的实验，我们证明了所提出的CorrNet是优于上述方法的能力，学习相关的共同表示。此外，我们采用CorrNet的几个跨语言的任务，并表明使用CorrNet学习的表示比使用其他国家的最先进的方法学习的表现更好。
2015-10-12 cs.CL cs.LG cs.NE
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析（CCA）局部应用的度量方法，并将其与基于核的流形学习技术相结合，通过估计多模态观测值之间的欧氏距离，发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置，以及流形学习的扩展到多个数据集。实验结果表明，我们的方法确实发现的共同变量的高维非线性观测，而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
Multimodal Audio-Visual Information Fusion using Canonical-Correlated Graph Neural Network for Energy-Efficient Speech Enhancement
University of Wolverhampton（伍尔弗汉普顿大学）；São Paulo State University（圣保罗州立大学）；TECNALIA（泰克纳利亚研究中心）；Basque Research & Technology Alliance（巴斯克研究与技术联盟）；University of the Basque Country（巴斯克大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出了一种新的多模态自监督架构的节能视听（AV）语音增强，集成了图神经网络与典型相关分析（CCA-GNN）。所提出的方法基于最先进的CCA-GNN，该方法通过最大化相同输入的增强视图对之间的相关性来学习代表性嵌入，同时解相关断开的特征。传统CCA-GNN的核心思想是丢弃增广变量信息，保留增广不变信息，同时防止捕获冗余信息。我们提出的AV CCA-GNN模型处理多模态表示学习上下文。具体来说，我们的模型通过最大化来自相同通道的增强视图的典型相关性和来自音频和视觉嵌入的典型相关性来改善上下文AV语音处理。此外，它提出了一个位置节点编码，考虑前一帧序列的距离，而不是一个特征空间表示时，计算节点的最近邻居，通过邻居的连接性在嵌入中引入时间信息。在基准ChiME 3数据集上进行的实验表明，我们提出的基于先验帧的AV CCA-GNN确保了在时间背景下更好的特征学习，从而比最先进的CCA-GNN和多层感知器更节能地重建语音。
2022-09-16 cs.LG cs.SD eess.AS
A Generalized EigenGame with Extensions to Multiview Representation Learning
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
广义特征值问题（GEP）包含一系列有趣的降维方法。开发有效的随机方法来解决这些问题将使它们能够扩展到更大的数据集。典型相关分析（CCA）是GEP降维的一个例子，它在具有两个或多个数据视图的问题中得到了广泛的应用。CCA的深度学习扩展在随机设置中需要大的小批量大小，因此需要大的内存消耗以实现良好的性能，这限制了其在实践中的应用。受广义Hebbian算法的启发，我们提出了一种求解随机GEP的方法，其中所有约束都是由拉格朗日乘子软执行的。然后，通过考虑该拉格朗日函数的积分，其伪效用，并受到最近的主成分分析和GEPs作为具有可微效用的游戏的配方的启发，我们开发了一种游戏理论启发的方法来解决GEPs。我们表明，我们的方法共享许多以前的赫布和博弈论方法的线性情况下的理论基础，但我们的方法允许扩展到一般函数逼近器，如神经网络的某些GEP降维，包括CCA，这意味着我们的方法可以用于深度多视图表示学习。我们证明了我们的方法在使用规范多视图数据集的随机设置中解决GEP的有效性，并展示了优化深度CCA的最新性能。
2023-01-09 cs.LG stat.ML
Citation Recommendation using Deep Canonical Correlation Analysis
School of Computer Science University of Galway（计算机科学学院 Galway 大学）
本文提出用深度典型相关分析（DCCA）融合论文文本与图表示以进行引文推荐，并在大规模DBLP数据集上验证其显著优于线性CCA方法。
2025-07-23 cs.IR cs.LG
CoCA: Cooperative Component Analysis
本文提出无监督多视图分析方法CoCA，通过结合近似误差损失和一致性惩罚，在PCA与CCA间自适应插值以提取跨视图共享成分，并支持Lasso稀疏变体，在模拟及COVID-19等多组学真实数据中有效提取了具预测性的疾病信号。
2024-07-23 stat.ME
SDGCCA: Supervised Deep Generalized Canonical Correlation Analysis for Multi-omics Integration
Gwangju Institute of Science and Technology（光州科学技术院）
多组学数据的整合为揭示与某些表型相关的生物学机制提供了机会。本文提出了一种新的多组学整合方法--监督式深度广义典型相关分析（SDGCCA），用于非线性多组学流形之间的相关结构建模，旨在改善表型分类，揭示与表型相关的生物标志物。SDGCCA解决了其他基于典型相关分析（CCA）的模型（例如，深CCA，深广义CCA），通过考虑复杂/非线性交叉数据相关性和区分表型组。虽然有一些方法用于非线性CCA预测的判别目的的表型，他们只考虑两个视图。另一方面，SDGCCA是一种非线性多视角CCA投影方法。当我们将SDGCCA应用于阿尔茨海默病（AD）患者的预测和早期和晚期癌症的区分时，它优于其他基于CCA的方法和其他监督方法。此外，我们证明了SDGCCA可以用于特征选择以识别重要的多组学生物标志物。在AD数据的应用中，SDGCCA识别了多组学数据中的基因簇，这些基因簇是众所周知的与AD相关的。
2022-04-17 cs.AI cs.LG q-bio.QM
Adversarial Canonical Correlation Analysis
North Carolina State University（北卡罗来纳州立大学）
典型相关分析（CCA）是一种统计技术，用于从多个数据源或视图中提取公共信息。它已被用于各种表示学习问题，如降维，词嵌入和聚类。最近的工作在深度学习上下文中给出了CCA概率基础，并使用数据日志似然的变分下界来估计模型参数。另外，对抗技术近年来已经出现，作为自动编码器中变分贝叶斯方法的强大替代方案。在这项工作中，我们探索了最近在深度变分CCA（VCCA和VCCA-Private）中工作的直接对抗性替代方案，我们称之为ACCA和ACCA-Private，并展示了这些方法如何提供更强大，更灵活的方式来匹配来自编码器的近似后验，比VCCA和VCCA-Private模型更大的先验类别。这允许更直接地追求构成良好表示的新先验，例如解开变化的潜在因素。我们通过使用一个新设计的数据集，我们称之为缠结MNIST，提供进一步的分析VCCA-Private和ACCA-Private的多层次解纠缠特性。我们还为这些模型设计了一个验证标准，该标准在理论上是有基础的，与任务无关的，并且在实践中效果良好。最后，我们填补了一个小的研究空白，推导出一个额外的可变下限VCCA，允许表示使用特定于视图的信息，从两个输入视图。
2020-06-09 cs.AI cs.CV cs.LG
Revisiting Deep Generalized Canonical Correlation Analysis
University of Virginia（弗吉尼亚大学）
本文重新审视深度广义典型相关分析，针对现有方法允许平凡解、遗漏弱共同因子或过载等问题，提出将私有成分建模为条件独立的新公式，并给出识别共同因子的充分条件，实验验证了其有效性。
2023-12-20 cs.LG eess.SP stat.ML
Unsupervised Correlation Analysis
Facebook AI Research（脸书人工智能研究院）；Tel Aviv University（特拉维夫大学）
两个数据源之间的链接是许多计算机视觉问题中的基本构建块。在本文中，我们将回答一个基本的认知问题：事先的对应关系，必要的不同领域之间的联系？典型相关分析（CCA）是一种最常用的域间链接方法。所有当前的CCA算法需要视图之间的对应关系。我们介绍了一种新的方法无监督相关分析（UCA），它不需要事先对应的两个域之间。CCA中的相关性最大化项由重构项（类似于自动编码器）、全周期丢失、正交性和多域混淆项的组合来代替。由于缺乏监督，优化导致多个替代解决方案具有相似的分数，因此我们引入了一个基于共识的机制，通常能够恢复所需的解决方案。值得注意的是，这足以链接远程域，如文本和图像。我们还提出了广泛接受的CCA基准的结果，表明性能远远超过其他无监督的基线，并在某些情况下接近监督的性能。
2018-04-01 cs.CV cs.LG
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University（上海交通大学）；University of Southampton（南安普顿大学）
稀疏典型相关分析（CCA）是一种有用的统计工具，用于检测具有稀疏结构的潜在信息。然而，稀疏CCA仅适用于两个数据集，即，只有两个视图或两个不同的对象。为了克服这一局限性，本文提出了一种稀疏广义典型相关分析（GCCA），它可以检测具有稀疏结构的多视图数据的潜在关系。此外，引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说，我们将GCCA转换成一个线性方程组，并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题，这是很难解决的。受Boyd一致性问题的启发，提出了一种基于分布式交替迭代的算法，并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
Towards Aligned Canonical Correlation Analysis: Preliminary Formulation and Proof-of-Concept Results
UC Riverside（加州大学河滨分校）
针对多视图场景中数据视角对齐不明确的问题，本文提出 Aligned Canonical Correlation Analysis（ACCA）框架，通过迭代方式联合求解对齐与多视图嵌入。
2023-12-08 cs.LG stat.ML
Application of multiview techniques to NHANES dataset
Johns Hopkins University（约翰霍普金斯大学）
使用健康数据集的疾病预测或分类涉及使用与疾病相关联的众所周知的预测因子作为模型的特征。这项研究考虑了个人健康的多个数据组成部分，使用变量之间的关系来生成可能提高疾病分类模型性能的特征。为了从数据的不同方面捕获信息，该项目使用多视图学习方法，使用典型相关分析（CCA），这是一种找到两个数据视图之间具有最大相关性的投影的技术。从NHANES调查（1999-2014）收集的数据类别被用作视图来学习多视图表示。通过将它们作为糖尿病分类任务中的特征来证明表示的有用性。
2016-08-16 cs.LG stat.ML
A Multi-View Embedding Space for Modeling Internet Images, Tags, and their Semantics
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft Research Silicon Valley（微软研究院硅谷分院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了互联网图像和相关的文本或标签的任务，如图像到图像搜索，标签到图像搜索，图像到标签搜索（图像注释）建模的问题。我们开始与典型相关分析（CCA），一个流行的和成功的方法映射视觉和文本特征到同一个潜在的空间，并纳入第三个视图捕捉高层次的图像语义，表示由一个单一的类别或多个非相互排斥的概念。我们提出了两种方法来训练三视图嵌入：监督，与第三个视图来自地面实况标签或搜索关键字;和无监督，与语义主题自动聚类的标签。为了确保检索任务的高准确性，同时保持学习过程的可扩展性，我们结合了多个强视觉特征，并使用显式非线性核映射来有效地近似核CCA。为了进行检索，我们在嵌入空间中使用了一个专门设计的相似性函数，它大大优于欧氏距离。由此产生的系统产生令人信服的定性结果，并优于一些两个视图基线检索任务上的三个大型互联网图像数据集。
2013-09-02 cs.CV cs.IR cs.LG
Shared Independent Component Analysis for Multi-Subject Neuroimaging
Inria（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；University of Helsinki（赫尔辛基大学）
我们考虑共享响应建模，这是一个多视图学习问题，其中人们希望从多个数据集或视图中识别公共组件。我们引入了共享独立分量分析（ShICA），它将每个视图建模为被加性高斯噪声污染的共享独立分量的线性变换。我们表明，该模型是可识别的，如果组件是非高斯或噪声方差有足够的多样性。然后，我们表明，在某些情况下，多集典型相关分析可以恢复正确的解混矩阵，但即使是少量的采样噪声使多集CCA失败。为了解决这个问题，我们建议使用联合对角化后，多集CCA，导致一种新的方法，称为ShICA-J。我们通过模拟表明，ShICA-J导致改善的结果，同时非常快，以适应。虽然ShICA-J基于二阶统计量，但我们进一步建议使用最大似然方法ShICA-ML来利用组件的非高斯性，该方法更准确，成本更高。此外，ShICA还提供了一种用于共享分量估计的原则性方法。最后，我们提供了经验证据的fMRI和MEG数据集，ShICA产生更准确的估计的组件比替代品。
2021-10-26 cs.LG
Deep Variational Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Michigan（密歇根大学）
我们提出了深度变分典型相关分析（VCCA），这是一种深度多视图学习模型，它将线性CCA的潜变量模型解释扩展到由深度神经网络参数化的非线性观测模型。我们通过参数化潜在变量的后验概率，从测试时可用的视图中获得数据似然的变分下界。我们还提出了一种称为VCCA-private的VCCA变体，除了两种视图的“公共变量”之外，还可以提取每个视图中的“私有变量”，并在没有硬监督的情况下为多视图数据解开共享和私有信息。在真实世界数据集上的实验结果表明，我们的方法是跨领域的竞争力。
2017-02-25 cs.LG
A Self-Organizing Tensor Architecture for Multi-View Clustering
Weill Cornell Medicine（威尔康奈尔医学院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Pennsylvania（宾夕法尼亚大学）；Florida State University（佛罗里达州立大学）；Shenzhen University（深圳大学）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Fudan University（复旦大学）
在许多现实世界的应用中，数据通常是未标记的，并且由不同的表示/视图组成，这些表示/视图通常提供彼此互补的信息。虽然已经提出了几种多视图聚类方法，但它们中的大多数常规地假设一个视图的特征的一个权重，因此视图间的相关性仅在视图级被考虑。然而，这些方法未能探索跨多个视图的特征之间的显式相关性。在本文中，我们介绍了一种基于张量的方法，将多个视图之间的高阶相互作用作为一个张量结构。具体而言，我们提出了一种多线性多视图聚类（MMC）方法，可以有效地探索所有视图之间的全阶结构信息，并揭示嵌入在张量中的底层子空间结构。在真实数据集上的大量实验表明，我们提出的MMC算法明显优于其他相关的最先进的方法。
2018-10-18 cs.LG stat.ML
Large-Scale Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
核典型相关分析（KCCA）是一种非线性多视图表示学习技术，在统计学和机器学习中具有广泛的应用。虽然KCCA目标有一个封闭形式的解决方案，它涉及到解决一个$N\times N$特征值系统，其中$N$是训练集的大小，使其在内存和时间的计算要求禁止大规模的问题。已经为KCCA开发了各种近似技术。通常使用的方法是首先将原始输入变换到$M$维随机特征空间，使得特征空间中的内积近似核评估，然后将线性CCA应用于变换后的输入。然而，在许多应用中，随机特征空间的维度$M$可能需要非常大，以便获得足够好的近似;然后，对所得的非常高维的数据矩阵执行线性CCA步骤变得具有挑战性。我们展示了如何使用随机优化算法，最近提出的线性CCA及其神经网络扩展，以进一步减轻近似KCCA的计算要求。这种方法允许我们在一个典型的工作站上运行近似KCCA的语音数据集与$1.4$百万训练样本和随机特征空间的维数$M=100000$。
2016-02-29 cs.LG
A Latent Variable Model for Two-Dimensional Canonical Correlation Analysis and its Variational Inference
Isfahan University of Technology（伊斯法罕理工大学）
通过概率模型描述降维（DR）技术最近得到了特别的关注。概率模型，除了一个更好的可解释性的DR方法，提供了一个框架，这样的算法的进一步扩展。概率DR方法的新途径之一是保持数据的内部结构。这意味着在降维过程中，不需要首先将数据从矩阵或张量格式转换为向量格式。本文提出了一种用于典型相关分析（CCA）的矩阵变量数据的潜变量模型。由于在一般情况下，没有任何分析的最大似然解决方案，这个模型，我们提出了两种方法来学习的参数。使用合成数据的收敛性和映射的质量方面所提出的方法进行评估。此外，真实的数据集被用来评估所提出的方法与几个概率和非概率CCA为基础的方法。结果证实了所提出的方法相对于竞争算法的优越性。此外，该模型可以被认为是进一步扩展的框架。
2017-08-04 cs.CV cs.LG stat.ML
A Nested Matrix-Tensor Model for Noisy Multi-view Clustering
本文提出嵌套矩阵-张量模型，通过最佳秩一张量近似解决噪声多视图聚类问题，并从理论上刻画其大维性能与相变现象，实验证明其准确率优于忽略低秩结构的展开算法。
2023-05-31 cs.LG stat.ML
Max-Sliced Mutual Information
Ben-Gurion University（本-古里安大学）；Cornell University（康奈尔大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出最大切片互信息（mSMI），通过最大化高维变量低维投影间的互信息推广 CCA，并给出神经估计器、非渐近误差界及多任务实验验证。
2023-09-28 cs.IT cs.LG math.IT
Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
研究了基于张量低秩建模的多视图谱聚类问题。与现有的方法都采用现成的张量低秩范数，而不考虑MVSC中张量的特殊性不同，我们设计了一种新的结构化张量低秩范数。具体来说，我们明确地施加对称低秩约束和结构化稀疏低秩约束的正面和水平切片的张量，以表征视图内和视图间的关系，分别。此外，这两个约束可以联合优化，以实现相互细化。在新的张量低秩范数的基础上，我们将MVSC表示为凸低秩张量恢复问题，然后使用基于增广拉格朗日乘子的方法迭代有效地求解该问题。在五个基准数据集上的实验结果表明，该方法在很大程度上优于现有的方法。令人印象深刻的是，我们的方法能够产生完美的聚类。此外，我们的方法的参数可以很容易地调整，并且所提出的模型对不同的数据集具有鲁棒性，证明了其在实践中的潜力。
2020-08-01 cs.CV cs.LG stat.ML
Generalized Canonical Correlation Analysis: A Subspace Intersection Approach
University of Virginia（弗吉尼亚大学）；University of Minnesota（明尼苏达大学）
广义典型相关分析（GCCA）是数据采掘、机器学习和人工智能中的一个重要工具。它的目的是寻找“共同的”随机变量，这些变量在同一组实体的多个特征表示（视图）之间具有很强的相关性。CCA和GCCA在较小程度上已经从统计和算法的角度进行了研究，但从线性代数的角度来看并不多。本文提供了一个新的代数角度GCCA的基础上（双）线性生成模型，自然捕捉其本质。它表明，从线性代数的角度来看，GCCA是相当于子空间的交集，并提供了条件下，不同的意见，公共子空间是可识别的。提出了一种新的基于子空间交集的GCCA算法，该算法可扩展以处理大规模的GCCA任务。合成以及真实的数据实验，以展示所提出的方法的有效性。
2020-03-25 cs.IR cs.LG eess.SP
Canonical Correlation Guided Deep Neural Network
School of Automation, Central South University（中南大学自动化学院）；Department of Electrical and Electronic Engineering, the Hong Kong Polytechnic University（香港理工大学电机及电子工程学系）；Institute for Automatic Control and Complex Systems (AKS), University of Duisburg-Essen（杜伊斯堡-埃森大学自动控制与复杂系统研究所）
本文提出典型相关引导的深度神经网络CCDNN，将典型相关作为约束而非最大化目标，并引入冗余滤波器，在重建、分类和预测任务上优于DCCA等方法。
2024-09-28 cs.CV cs.LG cs.SY
Tensor-based Intrinsic Subspace Representation Learning for Multi-view Clustering
Xi’an Jiaotong University（西安交通大学）
多视图聚类作为一个热点研究课题，在过去的几年中，提出了许多方法。然而，大多数现有的算法仅仅考虑不同视图之间的一致性信息进行聚类。在实际应用中，由于不同的视图通常包含不同的统计特性，这可能会影响多视图聚类的性能。为了解决这个问题，本文提出了一种新的基于张量的内在子空间表示学习（TISRL）的多视图聚类。具体地说，首先提出了保秩分解，有效地处理不同视图中包含的不同统计信息。然后，为了实现内在子空间表示，张量奇异值分解的基础上低秩张量约束也被利用在我们的方法。可以看出，保秩分解充分挖掘了不同视图中包含的特定信息，低秩张量约束挖掘了多视图数据的高阶相关性。目标函数可以通过基于增广拉格朗日乘子的交替方向最小化算法来优化。在9个常用的真实世界多视图数据集上的实验结果表明了TISRL的优越性。
2022-11-08 cs.LG
Multi-View Clustering via Semi-non-negative Tensor Factorization
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
基于非负矩阵分解（NMF）及其变体的多视图聚类（MVC）由于其在聚类可解释性方面的优势，近年来受到了广泛关注。然而，现有的基于NMF的多视图聚类方法分别对每个视图数据进行NMF，忽略了视图间的影响。因此，它们不能很好地利用视内空间结构和视间互补信息。为了解决这个问题，我们提出了半非负张量因子分解（Semi-NTF），并开发了一种新的多视图聚类的基础上半-NTF与单边正交约束。我们的模型直接在由视图的锚图组成的三阶张量上执行Semi-NTF。因此，我们的模型直接考虑视图之间的关系。此外，我们使用张量Schatten p-范数正则化作为三阶张量的秩近似，该三阶张量表征多视图数据的聚类结构，并利用视图间的互补信息。此外，我们提供了一个优化算法，所提出的方法和数学证明，该算法总是收敛到平稳KKT点。在各种基准数据集上的实验表明，我们提出的方法能够获得令人满意的聚类性能。
2023-03-29 cs.LG
A Survey of Multi-View Representation Learning
College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
近年来，多视图表示学习已成为机器学习和数据采掘领域中一个快速发展的方向。本文介绍了两类多视图表示学习：多视图表示对齐和多视图表示融合。因此，我们首先回顾了基于对齐视角的多视图表示学习的代表性方法和理论，如基于相关性的对齐。典型相关分析（CCA）及其几个扩展是典型相关分析的代表。然后，从表示融合的角度，我们研究了多视图表示学习的进展，其范围从包括多模态主题学习、多视图稀疏编码和多视图潜在空间马尔可夫网络的生成方法到包括多模态自编码器、多视图卷积神经网络和多模态递归神经网络的基于神经网络的方法。此外，我们还研究了多视图表示学习的几个重要应用。总体而言，本调查旨在提供一个有见地的理论基础和国家的最先进的发展领域的多视图表示学习的概述，并帮助研究人员找到最合适的工具，为特定的应用程序。
2018-10-24 cs.CV cs.IR cs.LG
Nonparametric Estimation of Multi-View Latent Variable Models
Georgia Institute of Technology（佐治亚理工学院）；University of California Irvine（加州大学欧文分校）
谱方法极大地推进了潜变量模型的估计，产生了一系列具有强有力理论保证的新颖而有效的算法。然而，目前的谱算法主要限于离散或高斯分布的混合物。在本文中，我们提出了一种核方法学习多视图潜变量模型，允许每个混合成分是非参数的。该方法的核心思想是将多视点隐变量的联合分布嵌入到再生核Hilbert空间中，然后利用鲁棒的张量幂方法恢复隐变量参数。我们建立了所提出的方法的样本复杂性是二次的潜在组件的数量和其他相关参数是一个低阶多项式。因此，我们的非参数张量学习潜变量模型的方法具有良好的样本和计算效率。此外，在我们的实验中，非参数张量幂方法优于EM算法和其他现有的谱算法。
2013-12-08 cs.LG stat.ML
Adaptive incomplete multi-view learning via tensor graph completion
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着数据采集技术的发展，多视图学习成为研究的热点。一些多视图学习方法假设多视图数据是完整的，这意味着所有实例都存在，但这太理想化了。基于张量的不完整多视图数据处理方法已经出现，并取得了较好的效果。但也存在一些问题，如使用传统的张量范数，计算量大，不能处理样本外。针对这两个问题，提出了一种新的不完全多视图学习方法。定义了一种新的张量范数来实现图张量数据的恢复。然后将恢复的图正则化为样本的一致低维表示。此外，自适应权重配备给每个视图，以调整不同的视图的重要性。与现有方法相比，该方法不仅能挖掘视图间的一致性，而且能利用学习到的投影矩阵获得新样本的低维表示.设计了一种基于非精确增广拉格朗日乘子（ALM）方法的求解算法，并证明了算法的收敛性。在四个数据集上的实验结果表明了该方法的有效性。
2022-08-07 cs.LG
Rank Determination for Low-Rank Data Completion
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
近年来，对于给定秩的低秩矩阵或张量的有限可完备性，得到了抽样模式的基本条件。在本文中，我们考虑的情况下，排名是不给定的，我们的目标是近似未知的排名的基础上采样条目的位置和一些给定的完成。我们考虑了一些数据模型，包括单视图矩阵，多视图矩阵，CP张量，张量训练张量和Tucker张量。对于这些数据模型中的每一个，我们提供了一个上界的秩时，一个任意的低秩完成。我们确定性地描述这些界限，即，假设采样模式满足某些组合性质，概率为1，并且概率上，即，假设采样概率高于某个阈值，则具有高概率。此外，对于单视图矩阵和CP张量，我们能够证明，如果最低秩完成给定，所获得的上界正好等于未知秩。此外，我们提供了数值实验的情况下，单视图矩阵，我们使用核范数最小化找到一个低秩完成的采样数据，我们观察到，在大多数情况下，建议的上限上的秩等于真正的秩。
2017-07-03 cs.LG stat.ML
Performance Gaps in Multi-view Clustering under the Nested Matrix-Tensor Model
Technology Innovation Institute（技术创新研究院）；Univ. Toulouse, INP-ENSEEIHT, IRIT, CNRS（图卢兹大学、INP-ENSEEIHT学院、IRIT研究所、法国国家科学研究中心）；Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔国立理工学院、LIG研究所）
研究嵌套矩阵-张量模型中多视图聚类的信号估计问题，推导了张量展开方法的算法阈值，量化了其与基于张量方法的性能差距，揭示了基于张量方法在处理结构化数据上的优势。
2024-02-16 cs.LG math.PR stat.ML
Hyper-Laplacian Regularized Concept Factorization in Low-rank Tensor Space for Multi-view Clustering
针对张量多视图聚类中自表示复杂度高且忽略非线性结构与奇异值差异的问题，提出HLRCF方法。该方法结合概念分解、超图拉普拉斯正则化与自加权张量Schatten p范数，在低秩张量空间中提取非线性局部结构并自适应分配权重，有效降低了计算复杂度并提升了聚类性能。
2023-08-01 cs.LG
