SDGCCA: Supervised Deep Generalized Canonical Correlation Analysis for Multi-omics Integration
Gwangju Institute of Science and Technology（光州科学技术院）
多组学数据的整合为揭示与某些表型相关的生物学机制提供了机会。本文提出了一种新的多组学整合方法--监督式深度广义典型相关分析（SDGCCA），用于非线性多组学流形之间的相关结构建模，旨在改善表型分类，揭示与表型相关的生物标志物。SDGCCA解决了其他基于典型相关分析（CCA）的模型（例如，深CCA，深广义CCA），通过考虑复杂/非线性交叉数据相关性和区分表型组。虽然有一些方法用于非线性CCA预测的判别目的的表型，他们只考虑两个视图。另一方面，SDGCCA是一种非线性多视角CCA投影方法。当我们将SDGCCA应用于阿尔茨海默病（AD）患者的预测和早期和晚期癌症的区分时，它优于其他基于CCA的方法和其他监督方法。此外，我们证明了SDGCCA可以用于特征选择以识别重要的多组学生物标志物。在AD数据的应用中，SDGCCA识别了多组学数据中的基因簇，这些基因簇是众所周知的与AD相关的。
2022-04-17 cs.AI cs.LG q-bio.QM
Online Adversarial Purification based on Self-Supervision
University of California, San Diego（加利福尼亚大学圣迭戈分校）
众所周知，深度神经网络容易受到对抗性示例的影响，其中输入空间中的扰动会导致潜在网络表示的放大偏移。在本文中，我们结合了规范监督学习与自监督表示学习，并提出了自监督在线对抗净化（SOAP），一种新的防御策略，使用自监督损失，以净化敌对的例子在测试时。我们的方法利用了自监督信号的标签独立性，并对抗了自监督任务的对抗性扰动。SOAP与最先进的对抗性训练和净化方法相比，具有竞争力的鲁棒准确性，并且训练复杂性大大降低。此外，我们的方法是强大的，即使对手的知识的净化防御策略。据我们所知，我们的论文是第一个概括了使用自监督信号进行在线测试时净化的想法。
2021-01-23 cs.CR cs.CV cs.LG
Sliding Window Informative Canonical Correlation Analysis
Sandia National Laboratories（桑迪亚国家实验室）
本文提出滑动窗口信息典范相关分析(SWICCA)，用于在线流数据设置中的典范相关分析扩展，结合流式主成分分析和滑动窗口样本实时估计典范相关成分。
2026-05-08 cs.LG eess.IV math.ST
Sparse Canonical Correlation Analysis via Concave Minimization
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
提出了一种新的稀疏典型相关分析（sCCA）方法，其目的是在高维多视图问题中发现可解释的关联，即对同一主题的多组变量的观察。受Albernee等人（2010）的稀疏PCA方法的启发，我们还证明了稀疏CCA公式，虽然是非凸的，但等价于一个紧集上凸目标的最大化程序，为此我们提出了一阶梯度方法。这个结果帮助我们将搜索空间大幅减少到集合的边界。因此，我们提出了一个两步算法，其中我们首先使用我们的快速算法推断典型方向的稀疏模式，然后我们缩小每个视图，即一组协变量的观测值，以包含在前一步中选择的协变量集的观测值，并通过任何CCA算法计算其典型方向。我们还介绍了Directed Sparse CCA，它能够找到与指定实验设计一致的关联，以及Multi-View sCCA，用于发现多组协变量之间的关联。我们的模拟建立优越的收敛性能和计算效率，我们的算法，以及在典型的相关性和它的能力，以恢复支持的典型方向的准确性。我们研究代谢组学，transncripomics和微生物组学之间的关联在一个多组学研究使用MuLe，这是一个R-包，实现我们的方法，为了形成假设的机制，果蝇黑腹果蝇适应高剂量的环境毒物，特别是阿特拉津，这是一种常用的化肥。
2019-09-17 cs.LG stat.ML
Efficient Globally Convergent Stochastic Optimization for Canonical Correlation Analysis
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业研究所）
研究了典型相关分析（CCA）的随机优化问题，其目标函数是非凸的，且在训练样本上不解耦。虽然最近提出了几种基于随机梯度的优化算法来解决这个问题，但它们都不能保证全局收敛。受CCA的交替最小二乘/幂迭代公式和PCA的移位和反转预处理方法的启发，我们提出了两种全局收敛的CCA元算法，这两种算法都将原问题转化为只需近似求解的最小二乘问题序列。我们实例化的元算法与国家的最先进的SGD方法，并获得时间复杂度，显着提高了以前的工作。实验结果证明了其优越的性能。
2016-11-14 cs.LG
Canonical Correlation Guided Deep Neural Network
School of Automation, Central South University（中南大学自动化学院）；Department of Electrical and Electronic Engineering, the Hong Kong Polytechnic University（香港理工大学电机及电子工程学系）；Institute for Automatic Control and Complex Systems (AKS), University of Duisburg-Essen（杜伊斯堡-埃森大学自动控制与复杂系统研究所）
本文提出典型相关引导的深度神经网络CCDNN，将典型相关作为约束而非最大化目标，并引入冗余滤波器，在重建、分类和预测任务上优于DCCA等方法。
2024-09-28 cs.CV cs.LG cs.SY
Multimodal Representation Learning using Deep Multiset Canonical Correlation
University of Southern California（南加州大学）
我们提出了深度多集典型相关分析（dMCCA）作为使用CCA的表示学习的扩展，当底层信号在多个（两个以上）模态中观察时。我们使用深度学习框架来学习从不同模态到共享子空间的非线性变换，使得表示最大化观测的模态间和模态内协方差的比率。与线性判别分析不同，我们不需要类信息来学习这些表示，并且我们证明了这个模型可以使用小批量来训练复杂数据。使用合成数据实验，我们表明，dMCCA可以有效地恢复共同的信号跨越不同的模态破坏的乘性和加性噪声。我们还分析了我们的模型的敏感性，以恢复相关的组件相对于小批量的大小和嵌入的尺寸。在有噪声的手写数据集上的性能评估表明，我们的模型优于其他基于CCA的方法，并且与在该数据集上进行端到端训练的深度神经网络模型相当。
2019-04-03 cs.LG eess.SP
Adversarial attacks on neural networks through canonical Riemannian foliations
Ecole Nationale de l’Aviation Civile（法国国立民用航空学院）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；UPS（保罗·萨巴蒂埃大学）
本研究利用黎曼几何和叶状结构理论，提出了一种基于数据空间曲率的两步谱对抗攻击方法，该方法在MNIST和CIFAR10数据集上展现出优于现有攻击的效率，并揭示了横向FIM叶状结构曲率对神经网络鲁棒性的关键作用。
2024-09-18 cs.IT cs.LG math.DG
A Unified Approach to Interpreting and Boosting Adversarial Transferability
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
本文发现并证明对抗迁移性与对抗扰动内部交互呈负相关，并据此提出在攻击中直接惩罚交互以显著提升对抗迁移性。
2023-12-01 cs.AI cs.CV cs.LG
Correlation-aware Adversarial Domain Adaptation and Generalization
Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
领域自适应（DA）和领域泛化（DG）已经出现作为对源数据和目标数据的分布不同的领域移位问题的解决方案。DG的任务比DA更具挑战性，因为在DG场景的训练阶段，目标数据是完全不可见的。目前最先进的采用对抗技术，然而，这些很少被认为是DG问题。此外，这些方法不考虑相关对齐，这已被证明是非常有益的最小化域差异。在本文中，我们提出了一个相关性感知的对抗DA和DG框架，其中使用相关性对齐以及对抗学习来最小化源和目标数据的特征。将相关性对齐模块与对抗性学习一起使用有助于实现更加领域不可知的模型，因为改进了更有效地减少与未标记目标数据的领域差异的能力。在基准数据集上的实验证明，我们提出的方法可以提高最先进的性能。
2019-11-29 cs.CV cs.LG
Frequency maps reveal the correlation between Adversarial Attacks and Implicit Bias
University of Trieste（的里雅斯特大学）；Stanford University（斯坦福大学）；ICTP（国际理论物理中心）；MIT（麻省理工学院）
本文通过傅里叶分析提取网络隐式偏置与对抗攻击的必要频率指纹，并利用非线性相关性检测技术证明二者高度相关，为对抗防御提供新思路。
2025-04-08 cs.AI cs.CR cs.LG
A kernel method for canonical correlation analysis
典型相关分析是一种从一对多元数据中提取共同特征的技术。然而，在复杂的情况下，由于其线性，它不能提取有用的特征。另一方面，核方法用于支持向量机是一个有效的途径，以改善这种线性方法。本文研究了核方法应用于典型相关分析的有效性。
2007-02-14 cs.CV cs.LG
Generalized Canonical Correlation Analysis for Disparate Data Fusion
Johns Hopkins University（约翰斯·霍普金斯大学）
流形匹配用于识别多个不同数据空间到同一低维空间的嵌入，其中可以进行联合推理。它是一种能够从多个和大量不同数据源进行融合和推理的方法。在本文中，我们专注于一种方法称为典型相关分析（CCA）及其推广的广义典型相关分析（GCCA），这属于更一般的降秩回归（RRR）框架。我们提出了一个特定的文本文档分类任务的CCA和GCCA在不同的训练条件下的效率调查。
2012-09-17 cs.LG stat.ML
Adaptive Canonical Correlation Analysis Based On Matrix Manifolds
在本文中，我们制定了典型相关分析（CCA）问题的矩阵流形。这个框架提供了一种自然的方式来处理矩阵约束和工具，即使在自适应设置中也可以构建有效的算法。最后，提出了一种自适应CCA算法，并应用于脑电信号的变化检测问题。
2012-06-27 cs.LG stat.ML
Defending Adversarial Examples by Negative Correlation Ensemble
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Southern University of Science and Technology（南方科技大学）
DNN中的安全问题，如对抗性示例，引起了人们的广泛关注。对抗性示例是指通过引入精心设计的扰动，能够诱导DNN返回完全预测的示例。显然，对抗性样本给深度学习的发展带来了极大的安全隐患。近年来，针对对抗性实例提出了一些防御方法，但在我们看来，这些方法的性能仍然有限。在本文中，我们提出了一种新的集成防御方法命名为负相关增强（NCEn），它通过引入负相关的集成中的每个成员的梯度方向和梯度幅度，同时减少了对抗性示例之间的可转移性，从而实现了令人信服的结果。实验结果表明，NCEn能有效地提高集成的抗攻击鲁棒性。
2022-06-11 cs.AI cs.CR cs.LG
Stochastic Approximation for Canonical Correlation Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
提出了一种新的典型相关分析的一阶随机近似算法。算法是不精确矩阵随机梯度（MSG）和不精确矩阵指数梯度（MEG）的实例，在$\operatorname{poly}(\frac{1}ε)$迭代中实现了种群目标的$ε$ -次优性.我们还考虑了实际的变种所提出的算法，并将它们与其他方法CCA理论和经验。
2018-02-26 cs.LG stat.ML
Towards Aligned Canonical Correlation Analysis: Preliminary Formulation and Proof-of-Concept Results
UC Riverside（加州大学河滨分校）
针对多视图场景中数据视角对齐不明确的问题，本文提出 Aligned Canonical Correlation Analysis（ACCA）框架，通过迭代方式联合求解对齐与多视图嵌入。
2023-12-08 cs.LG stat.ML
Graph Canonical Correlation Analysis
Institute of Physics（物理研究所）
本文提出图典型相关分析（gCCA），利用互相关矩阵的图结构计算典型相关，并给出高效算法与有限样本理论保证，在模拟和多组学数据中均优于传统CCA方法。
2025-02-03 cs.LG stat.ML
Discriminative Multiple Canonical Correlation Analysis for Information Fusion
Ryerson University（瑞尔森大学）；Zhengzhou University（郑州大学）
本文提出了判别式多典型相关分析（DMCCA）用于多模态信息分析与融合。DMCCA能够从多模态信息表示中提取更具鉴别力的特征。具体来说，它发现的投影方向，同时最大化类内相关性和最小化类间相关性，从而更好地利用多模态信息。在这个过程中，我们分析表明，最佳投影的尺寸由DMCCA可以相当准确地预测，导致卓越的性能和大幅降低计算成本。进一步验证了典型相关分析（CCA）、多重典型相关分析（MCCA）和判别典型相关分析（DCCA）是DMCCA的特例，从而建立了一个统一的典型相关分析框架。我们实现了一个DMCCA的原型，以证明其在手写数字识别和人类情感识别的性能。实验结果表明，DMCCA方法优于传统的串行融合方法、CCA、MCCA和DCCA。
2021-02-28 cs.LG
Sparse Weighted Canonical Correlation Analysis
State Key Laboratory of Software Engineering, School of Computer, Wuhan University（武汉大学计算机学院软件工程国家重点实验室）；School of Mathematics Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
给定两个数据矩阵$X$和$Y$，稀疏典型相关分析（SCCA）就是寻找两个稀疏典型向量$u$和$v$，以最大化$Xu$和$Yv$之间的相关性。然而，经典和稀疏CCA模型考虑了数据矩阵的所有样本的贡献，因此无法识别潜在的特定样本子集。为此，我们提出了一种新的稀疏加权典型相关分析（SWCCA），其中权重用于正则化不同的样本。我们使用交替迭代算法求解$L_0$ -正则化SWCCA（$L_0$ -SWCCA）。我们将$L_0$ -SWCCA应用于合成数据和真实数据，以证明其有效性和优越性。最后，我们还考虑了SWCCA与不同的惩罚，如LASSO（最小绝对收缩和选择算子）和组LASSO，并将其扩展为集成三个以上的数据矩阵。
2017-10-13 cs.LG stat.ML
Tensor Canonical Correlation Analysis for Multi-view Dimension Reduction
The University of Melbourne（墨尔本大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；University of Technology, Sydney（悉尼科技大学）
典型相关分析（CCA）因其深厚的理论基础和成功的实际应用而被证明是一种有效的两视图降维工具。然而，在多视图学习方面，它仅限于处理由两个视图特征表示的数据的能力，而在许多现实世界的应用中，视图的数量往往更多。虽然同时探索所有可能的特征对的特设方式可以在数值上处理多视图数据，但它忽略了只能通过同时探索所有特征来发现的高阶顺序统计量（相关信息）。因此，在这项工作中，我们开发了张量CCA（TCCA），它直接而自然地推广CCA处理任意数量的视图的数据，通过分析不同视图的协方差张量。TCCA旨在直接最大化多个（两个以上）视图的典型相关性。至关重要的是，我们证明了多视图的典型相关最大化问题相当于找到最好的秩1近似的数据协方差张量，这可以有效地解决使用著名的交替最小二乘（ALS）算法。因此，包含在不同的视图中的高阶相关信息被探索，从而可以获得一个更可靠的公共子空间共享的所有功能。此外，TCCA的非线性扩展。在大规模生物特征结构预测、网络广告分类和网络图像标注等挑战性任务上的实验结果表明了该方法的有效性。
2015-02-09 cs.CV cs.LG stat.ML
Canonical Correlation Analysis for Analyzing Sequences of Medical Billing Codes
University of Washington（华盛顿大学）
我们建议使用典型相关分析（CCA）从序列的医疗账单代码生成功能。应用这种新的使用CCA的憩室炎患者的医疗账单代码的数据库，我们首先证明了CCA嵌入捕获有意义的代码之间的关系。然后，我们从这些嵌入中生成特征，并建立它们在预测未来憩室炎择期手术中的有用性，这是降低医疗保健成本的重要标志。
2017-01-06 cs.LG stat.ML
Fair Canonical Correlation Analysis
University of Pennsylvania（宾夕法尼亚大学）
本文针对CCA中的公平性问题，提出通过最小化受保护属性导致的相关性差异误差来学习全局投影矩阵，并在合成与真实数据上验证其可在不损失准确性的情况下减少偏见。
2023-09-27 cs.LG stat.ML
ORCCA: Optimal Randomized Canonical Correlation Analysis
Northeastern University（东北大学）
随机特征方法在大规模机器学习中被广泛用于核函数逼近。最近的一些研究探索了数据依赖的特征采样，修改了随机特征采样的随机预言。虽然在这一领域提出的技术提高了近似，但它们的适用性往往在单个学习任务上得到验证。在本文中，我们提出了一个特定于任务的评分规则选择随机功能，它可以用于不同的应用程序进行一些调整。我们限制我们的注意力典型相关分析（CCA），我们提供了一个新的，原则性的指导，找到得分函数最大化的典型相关性。我们证明了这种方法，称为ORCCA，可以优于（在预期中）相应的内核CCA与默认的内核。数值实验表明，ORCCA是显着优于其他近似技术在CCA任务。
2021-11-01 cs.LG stat.ML
Canonical Correlation Analysis (CCA) Based Multi-View Learning: An Overview
Huazhong University of Science and Technology（华中科技大学）
多视图学习（MVL）是一种融合来自不同来源或子集的数据的策略。典型相关分析（CCA）是多视图视觉中非常重要的一种方法，其主要思想是将来自不同视图的数据映射到一个具有最大相关性的公共空间上。传统的CCA只能用于计算两个视图的线性相关。此外，它是无监督的，标签信息被浪费。许多非线性的、有监督的或广义的扩展已经被提出来克服这些限制。然而，据我们所知，没有这些方法的概述。本文综述了许多具有代表性的基于CCA的MVL方法。
2021-05-02 cs.IR cs.LG stat.ML
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University（上海交通大学）；University of Southampton（南安普顿大学）
稀疏典型相关分析（CCA）是一种有用的统计工具，用于检测具有稀疏结构的潜在信息。然而，稀疏CCA仅适用于两个数据集，即，只有两个视图或两个不同的对象。为了克服这一局限性，本文提出了一种稀疏广义典型相关分析（GCCA），它可以检测具有稀疏结构的多视图数据的潜在关系。此外，引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说，我们将GCCA转换成一个线性方程组，并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题，这是很难解决的。受Boyd一致性问题的启发，提出了一种基于分布式交替迭代的算法，并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
Stochastic Canonical Correlation Analysis
University of Chicago（芝加哥大学）；Technion – Israel Institute of Technology（以色列理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们研究了典型相关分析（CCA），\ie的样本复杂性，估计总体典型相关所需的样本数和方向，直到任意小的错误。与温和的假设的数据分布，我们表明，为了实现$ε$ -次优性在一个适当定义的措施之间的对齐估计的典范方向和人口的解决方案，我们可以解决的经验目标，正是与$N(ε, Δ, γ)$样本，其中$Δ$是奇异值间隙的白化互协方差矩阵和$1/γ$是自协方差矩阵的条件数的上限。此外，我们可以通过抽取相同水平的样本和近似求解经验目标的随机优化算法来实现相同的学习精度;该算法基于移位和反转幂迭代，并且仅需要处理数据集的$\mathcal{O}\left(\log \frac{1}ε \right)$遍。最后，我们表明，给定典型相关的估计，移位和反转功率迭代的流版本通过仅处理一次数据，以相同的样本复杂度实现相同的学习精度。
2019-10-21 cs.LG stat.ML
Canonical Correlation Forests
University of Oxford（牛津大学）
我们介绍典型相关森林（CCF），一种新的决策树集成方法的分类和回归。个体典型相关树是具有基于在训练期间计算的局部典型相关系数的超平面分裂的二元决策树。与轴对齐的替代方案不同，CCF的决策表面不限于输入特征的坐标系，因此更自然地表示具有相关输入的数据。CCF自然地容纳多个输出，提供与随机森林相似的计算复杂度，并继承其对输入参数选择的令人印象深刻的鲁棒性。作为CCF训练算法的一部分，我们还引入了投影自举，这是一种用于斜决策树集合的装袋的新方法，它在选择分裂点时保持使用完整的数据集，通常会提高预测精度。我们的实验表明，即使没有参数调整，CCF在分类和回归问题上的表现也优于轴对齐的随机森林和其他最先进的树集成方法，从而提高了预测精度和更快的训练时间。我们进一步表明，他们优于所有的179分类器在最近的广泛调查中考虑。
2017-08-09 cs.LG stat.ML
CorGAN: Correlation-Capturing Convolutional Generative Adversarial Networks for Generating Synthetic Healthcare Records
Virginia Polytechnic Institute and State University (Virginia Tech)（弗吉尼亚理工学院暨州立大学（弗吉尼亚理工））
深度学习模型在图像分类和语音处理等领域表现出高质量的性能。然而，使用电子健康记录（EHR）数据创建深度学习模型需要解决该领域研究人员特有的特定隐私挑战。这件事的重点是在确保隐私的同时生成现实的合成数据。在本文中，我们提出了一种新的框架，称为相关捕获生成对抗网络（CorGAN），生成合成的医疗记录。在CorGAN中，我们利用卷积神经网络通过结合卷积生成对抗网络和卷积自动编码器来捕获数据表示空间中相邻医学特征之间的相关性。为了证明模型的保真度，我们展示了CorGAN在各种机器学习设置（如分类和预测）中生成的合成数据与真实数据的性能相似。我们还对合成数据的现实特征进行了隐私评估和统计分析。这项工作的软件是开源的，可在https://github.com/astorfi/cor-gan上获得。
2020-03-04 cs.LG stat.ML
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析（CCA）局部应用的度量方法，并将其与基于核的流形学习技术相结合，通过估计多模态观测值之间的欧氏距离，发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置，以及流形学习的扩展到多个数据集。实验结果表明，我们的方法确实发现的共同变量的高维非线性观测，而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
$\ell_0$-based Sparse Canonical Correlation Analysis
Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）模型是研究两组变量之间关联的有力工具。\textit{canonical variates}是一种典型的相关表示方法，被广泛应用于无监督学习中，用于分析未标记的多模态注册数据集。尽管CCA模型取得了成功，但如果任一模态中的变量数量超过样本数量，则CCA模型可能会破裂（或过拟合）。此外，通常很大一部分变量测量模态特异性信息，因此去除它们有利于识别\textit{canonically correlated variates}。在这里，我们提出了$\ell_0$ -CCA，学习相关表示的方法，从两个观察到的模态变量的稀疏子集的基础上。稀疏性通过将输入变量乘以随机门来获得，随机门的参数通过$\ell_0$正则化相关损失与CCA权重一起学习。我们进一步提出了$\ell_0$ -Deep CCA，通过使用深度网络对相关表示进行建模来解决非线性稀疏CCA的问题。我们使用几个合成和真实的例子证明了该方法的有效性。最值得注意的是，通过门控滋扰输入变量，我们的方法提高了提取的表示相比，其他线性，非线性和稀疏的基于CCA的模型。
2021-06-08 cs.LG stat.ML
Deep Dynamic Probabilistic Canonical Correlation Analysis
City University of Hong Kong（香港城市大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Lingnan University（岭南大学）
本文提出深度动态概率典型相关分析（D2PCCA），将深度学习与概率建模结合以捕捉非线性潜在动态，并通过KL退火和归一化流增强，在金融数据上验证了其有效性。
2025-02-07 cs.LG stat.ML
Dynamically-Scaled Deep Canonical Correlation Analysis
Tel Aviv University（特拉维夫大学）
典型相关分析（CCA）是一种通过寻找两个视图的最大相关线性投影来进行特征提取的方法。在文献中已经介绍了CCA的几种变体，特别是基于深度神经网络的变体，用于学习两个视图的高度相关的非线性变换。由于这些模型通常是参数化的，因此它们的可学习参数在训练过程之后仍然独立于输入，这可能会限制它们学习高度相关表示的能力。本文提出了一种新的动态标度方法来训练输入依赖的典型相关模型。在我们的深度CCA模型中，最后一层的参数由第二个神经网络缩放，该网络以模型的输入为条件，从而产生依赖于输入样本的参数化。我们在多个数据集上评估了我们的模型，并证明了与传统的基于参数化CCA的模型相比，学习到的表示更相关，并且也获得了更好的检索结果。我们的代码可在https://github.com/tomerfr/DynamicallyScaledDeepCCA上获得。
2022-03-24 cs.LG stat.ML
Spectral Robustness for Correlation Clustering Reconstruction in Semi-Adversarial Models
Sapienza University（罗马第一大学）；Bocconi University（博科尼大学）
相关聚类是一个重要的聚类问题，有着广泛的应用。我们研究了这个问题的重建版本，其中一个是寻求重建一个潜在的聚类，已被随机噪声和对抗性修改损坏。关于后者，在文献中有一个标准的“后对抗”模型，其中对抗性修改在噪声之后。在这里，我们介绍并分析了一个“预对抗”模型，其中对抗性修改先于噪声。给定来自这种半对抗生成模型的输入，目标是几乎完美地重建潜在聚类，并且具有很高的概率。我们专注于隐藏聚类具有几乎相等大小的情况，并显示以下内容。在对抗前的环境中，谱算法是最佳的，因为它们一直重建到信息论阈值，超过该阈值就不可能重建。这与后对抗设置相反，在后对抗设置中，它们恢复隐藏聚类的能力在阈值之前停止，但基于SDP的算法最佳地填补了这一空白。这些结果突出了迄今为止未知的光谱算法的鲁棒性，表明它们比以前认为的更脆弱。
2022-02-08 cs.DS cs.LG
Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Curai（Curai公司）
多模态语言分析通常考虑基于文本的特征与基于声学和视觉特性的特征之间的关系。文本特征通常在情感分析或情感识别任务中优于非文本特征，部分原因是文本特征源自在海量数据源上训练的高级语言模型或词嵌入，而音频和视频特征是人工设计的并且相对不发达。考虑到文本、音频和视频以不同的方式描述相同的话语，我们假设可以通过学习（隐藏）从文本和音频的外积（我们称之为基于文本的音频）和类似的基于文本的视频中提取的特征之间的相关性来改进多模态情感分析和情感识别。本文提出了一种新的模型，交互典型相关网络（ICCN），学习这样的多模态嵌入。ICCN通过深度典型相关分析（DCCA）学习所有三种模式之间的相关性，然后在几个基准数据集上测试所提出的嵌入，并与其他最先进的多模态嵌入算法进行比较。经验结果和消融研究证实了ICCN在从所有三个视图捕获有用信息方面的有效性。
2019-11-30 cs.LG stat.ML
BLOCCS: Block Sparse Canonical Correlation Analysis With Application To Interpretable Omics Integration
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们引入了块稀疏典型相关分析，它可以同时估计多对典型方向（一起称为“块”），从而显着改善稀疏方向的正交性，我们证明，这将转化为更可解释的解决方案。我们的方法建立在（Solari，Brown和Bickel 2019）的稀疏CCA方法的基础上，因为我们还将我们的块公式的双凸目标表示为单位欧几里得球中正交k-框架上的凹最小化问题，而由于目标的不确定性，该问题又被缩小到Stiefel流形，该流形通过梯度下降算法进行优化。我们的模拟结果表明，我们的方法优于现有的sCCA算法和实现的计算成本和稳定性，主要是由于我们的搜索空间的急剧收缩，以及估计的典型协变量对之间的相关性和正交性。最后，我们应用我们的方法，可作为一个R-包称为BLOCCS，多组学数据肺鳞状细胞癌（LUSC）通过癌症基因组图谱获得，并证明其在捕获有意义的生物学关联相关的研究假设，而不是虚假的显性变异的能力。
2020-01-20 cs.LG stat.ML
On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们使用Nyström近似研究了大规模核典型相关分析（KCCA）中的列选择问题，其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时，以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略，采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度，开发了一个增量算法，探索路径的近似秩，有利于有效的模型选择，并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
Google Brain（谷歌大脑）；Cornell University（康奈尔大学）；Uber AI Labs（优步人工智能实验室）
我们提出了一种新技术，奇异向量典型相关分析（SVCCA），一种快速比较两种表示的工具，这种工具对仿射变换（允许不同层和网络之间的比较）和快速计算（允许比以前的方法计算更多的比较）都是不变的。我们部署这个工具来测量层的内在维度，在某些情况下显示不必要的过度参数化;在整个训练过程中探索学习动态，发现网络自下而上收敛到最终表示;显示网络中的类特定信息形成的位置;并建议新的训练方案，同时节省计算和减少过度拟合。代码：https://github.com/google/svcca/
2017-11-08 cs.LG stat.ML
Unpaired Canonical Correlation Analysis
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）
本文提出非配对典型相关分析（UCCA），在无配对样本时学习线性投影以最大化真实配对相关性，填补了传统多视图学习与非配对数据学习的空白。
2026-10-08 cs.LG stat.ML
Canonical Autocorrelation Analysis
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个扩展的稀疏典型相关分析（CCA），旨在寻找多对多的线性相关在一组变量。与CCA不同，CCA发现两组数据之间的相关性，其中行完全匹配，但列代表单独的变量集，这里提出的方法，典型自相关分析（CAA），发现一组变量中的多变量相关性。当我们在数据中寻找隐藏的简约结构时，这可能是有用的，每个结构只涉及所有特征的一小部分。此外，所发现的相关性是高度可解释的，因为它们是由原始特征的稀疏线性组合对形成的。我们展示了CAA如何可以作为异常检测的工具，当预期的相关性结构不遵循异常数据。我们说明了CAA在两个应用领域的效用，其中单类和无监督学习的相关结构是特别相关的：乳腺癌诊断和辐射威胁检测。当应用到威斯康星州乳腺癌数据，单类CAA是有竞争力的监督方法在文献中使用。在辐射威胁检测任务上，无监督CAA的表现明显优于该领域中普遍存在的无监督替代方案，同时为威胁分析提供了有价值的额外见解。
2015-11-19 cs.LG stat.ML
Tensor Generalized Canonical Correlation Analysis
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；Laboratoire des signaux et systèmes（信号与系统实验室）；Sorbonne Université（索邦大学）；Institut du Cerveau - Paris Brain Institute - ICM（巴黎大脑研究所）；Inserm（法国国家健康与医学研究院）；APHP（巴黎公立医院集团）；Hôpital Pitié Salpétrière Univ. Hosp.（皮提耶-萨尔佩特里埃大学医院）；Centre National de Recherche en Génomique Humaine（国家人类基因组研究中心）；Institut François Jacob（弗朗索瓦·雅各布研究所）；CEA（法国原子能委员会）
正则化广义典型相关分析（RGCCA）是一种通用的多区组数据分析框架。RGCCA能够破译几组变量之间的关系，并将许多众所周知的多变量分析方法作为特例。然而，RGCCA只处理向量值块，而忽略了它们可能的高阶结构。本文提出了一种新的张量GCCA（TGCCA）方法，用于分析具有标准向量的高阶张量，该标准向量允许一个正交秩-R-CP分解。此外，TGCCA的两个算法，是否施加一个可分离的协方差结构的基础上，提出了收敛保证。TGCCA的效率和实用性进行评估模拟和真实的数据和比较有利的国家的最先进的方法。
2023-02-10 cs.LG stat.ML
Correlated discrete data generation using adversarial training
Ahmedabad University（艾哈迈达巴德大学）；Logistixian Technologies Private Limited（Logistixian科技私人有限公司）
生成对抗网络（GAN）在合成图像生成、图像修补、风格转移和异常检测等任务中显示出巨大的前景。然而，生成离散数据是一个挑战。提出了一种基于对抗训练的相关离散数据生成模型。它还详细介绍了一种有条件的CDD生成方法。我们的方法的结果在两个数据集上呈现;求职候选人技能集（私人数据集）和MNIST（公共数据集）。从这些结果的定量和定性分析中，我们发现我们的模型表现更好，因为它利用了数据中的固有相关性，而不是忽略相关性的现有模型。
2018-04-03 cs.LG stat.ML
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一种深度概率多视图模型，该模型由基于潜在空间中的概率典型相关分析（CCA）描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件，其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发，近似的后验分布的潜在概率多视图层，同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明，所提出的深度生成式多视图模型能够有效地整合多视图间的关系，降低学习难度，并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
Deep Multi-Modal Classification of Intraductal Papillary Mucinous Neoplasms (IPMN) with Canonical Correlation Analysis
University of Central Florida（中佛罗里达大学）；Mayo Clinic（梅奥诊所）
胰腺癌是所有癌症类型中预后最差的。导管内乳头状粘液性肿瘤（IPMN）是胰腺癌的影像学可识别的前体，因此，IPMN的早期发现和精确的风险评估是至关重要的。在这项工作中，我们提出了一个卷积神经网络（CNN）为基础的计算机辅助诊断（CAD）系统进行IPMN诊断和风险评估，利用多模态MRI。在我们提出的方法中，我们使用最小和最大强度投影来缓解不同切片和MRI类型之间的注释变化。然后，我们提出了一个CNN，以获得对应于每个MRI模态（T1加权和T2加权）的深度特征表示。在最后一步，我们采用典型相关分析（CCA）在特征级进行融合操作，导致歧视性典型相关特征。提取的特征用于分类。我们的研究结果表明，显着改善其他潜在的方法来解决这个重要的问题。所提出的方法不需要显式的样本平衡的情况下，正负的例子之间的不平衡。据我们所知，我们的研究是第一个使用多模态MRI自动诊断IPMN的研究。
2018-04-27 cs.AI cs.CV cs.LG
Deep Variational Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Michigan（密歇根大学）
我们提出了深度变分典型相关分析（VCCA），这是一种深度多视图学习模型，它将线性CCA的潜变量模型解释扩展到由深度神经网络参数化的非线性观测模型。我们通过参数化潜在变量的后验概率，从测试时可用的视图中获得数据似然的变分下界。我们还提出了一种称为VCCA-private的VCCA变体，除了两种视图的“公共变量”之外，还可以提取每个视图中的“私有变量”，并在没有硬监督的情况下为多视图数据解开共享和私有信息。在真实世界数据集上的实验结果表明，我们的方法是跨领域的竞争力。
2017-02-25 cs.LG
AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization
University of Washington（华盛顿大学）；Allen Institute of Artificial Intelligence（艾伦人工智能研究所）；University of Utah（犹他大学）；Meta AI
通过经验风险最小化（ERM）训练的模型依赖于标签和任务无关输入特征之间的虚假相关性，导致对分布变化的泛化能力差。组分布鲁棒优化（G-DRO）可以通过最小化训练数据上的一组预定义组的最坏情况损失来缓解这个问题。G-DRO成功地提高了相关性不成立的最差组的性能。然而，G-DRO假设虚假相关性和相关的最差组是预先已知的，这使得将其应用于具有潜在的多个未知虚假相关性的新任务具有挑战性。我们提出了AGRO --分布式鲁棒优化的对抗组发现--一种端到端的方法，可以联合识别易出错的组并提高其准确性。AGRO为G-DRO配备了一个对抗切片模型，以找到一个训练样本的组分配，从而最大限度地提高所发现的组的最坏情况损失。在WILDS基准测试中，与G-DRO使用的先前组发现方法相比，AGRO在已知最差组上的平均模型性能高出8%。AGRO还提高了SST 2、QQP和MS-COCO数据集的分布外性能，这些数据集的潜在虚假相关性尚未得到表征。对ARGO组的人类评估表明，它们包含定义明确、但以前未研究过的导致模型误差的虚假相关性。
2022-12-08 cs.AI cs.CL cs.LG
Correlation Analysis of Adversarial Attack in Time Series Classification
School of Computer and Mathematical Sciences, University of Adelaide（阿德莱德大学计算机与数学科学学院）
本研究通过归一化自相关函数分析时间序列分类模型对对抗攻击的脆弱性，发现频域正则化增强攻击效果，噪声防御降低攻击成功率，且全局信息优先模型更具鲁棒性。
2024-08-21 cs.CR cs.LG
A Curious Case of Searching for the Correlation between Training Data and Adversarial Robustness of Transformer Textual Models
FPT Software AI Center（FPT软件人工智能中心）；College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；Indiana University（印第安纳大学）
现有的工作表明，微调的文本Transformer模型实现了最先进的预测性能，但也容易受到敌对文本扰动。传统的对抗性评估通常是通过\textit{only after}对模型进行微调而忽略训练数据。在本文中，我们想证明训练数据和模型鲁棒性之间也有很强的相关性。为此，我们提取了13个不同的特征，代表了广泛的输入微调语料库属性，并使用它们来预测微调模型的对抗鲁棒性。主要集中在编码器仅Transformer模型BERT和RoBERTa与BART，ELECTRA和GPT 2的其他结果，我们提供了不同的证据来支持我们的论点。首先，实证分析表明：（a）提取的特征可以与轻量级分类器（如随机森林）一起使用，以有效地预测攻击成功率;（b）对模型鲁棒性影响最大的特征与鲁棒性具有明显的相关性。其次，我们的框架可以作为一种快速有效的鲁棒性评估工具，因为它（a）与传统技术相比节省了30 - 193倍的运行时间，（b）可以跨模型转移，（c）可以在对抗训练下使用，（d）对统计随机性具有鲁棒性。我们的代码可在\url{https://github.com/CaptainCuong/RobustText_ACL2024}上公开获取。
2024-07-02 cs.CL cs.CR cs.LG
Finding the needle in high-dimensional haystack: A tutorial on canonical correlation analysis
University of York（约克大学）；University College London（伦敦大学学院）；Max Planck University College London Centre for Computational Psychiatry and Ageing Research（马克斯·普朗克伦敦大学学院计算精神病学与衰老研究中心）；University of Pennsylvania（宾夕法尼亚大学）；RWTH Aachen University（亚琛工业大学）；Jülich-Aachen Research Alliance（于利希-亚琛研究联盟）；INRIA（法国国家信息与自动化研究所）；CEA Saclay（法国原子能委员会萨克雷中心）
自21世纪初以来，生物学和医学数据的规模、广度和粒度迅速增长。以神经科学为例，涉及数千名受试者的研究变得越来越普遍，这些研究在行为、神经和基因组水平上提供了数百个变量的广泛表型分析。这种大数据存储库的复杂性为研究大脑、认知和疾病提供了新的机会，也提出了新的挑战。典型相关分析（CCA）是一个典型的方法家族，用于从如此丰富的数据集中获取洞察力。这种双多变量工具可以同时考虑来自不同模态的两个变量集，以揭示基本的隐藏关联。我们的初级读本讨论了CCA在生物医学中的基本原理、承诺和陷阱。
2018-12-06 cs.LG stat.AP stat.ML
Multi-modal Sentiment Analysis using Deep Canonical Correlation Analysis
UW-Madison（威斯康星大学麦迪逊分校）；Texas Tech University（得克萨斯理工大学）
本文从数据的文本、音频和视频视图/模式中学习多模态嵌入，以改进下游情感分类。实验框架还允许调查的相对贡献的个人意见，在最终的多模态嵌入。使用深度典型相关分析（DCCA）以两种方式将从三个视图导出的各个特征组合成多模态嵌入：i）一步DCCA和ii）两步DCCA。本文使用BERT学习文本嵌入，这是当前文本编码器的最新技术。我们认为这种高度优化的算法在其他视图的贡献上占主导地位，尽管每个视图都对最终结果有贡献。分类任务在两个基准数据集和一个新的辩论情感数据集上进行，这些都表明一步DCCA在学习多模态嵌入方面优于当前最先进的技术。
2019-07-15 cs.CL cs.IR cs.LG
Generalized Canonical Correlation Analysis: A Subspace Intersection Approach
University of Virginia（弗吉尼亚大学）；University of Minnesota（明尼苏达大学）
广义典型相关分析（GCCA）是数据采掘、机器学习和人工智能中的一个重要工具。它的目的是寻找“共同的”随机变量，这些变量在同一组实体的多个特征表示（视图）之间具有很强的相关性。CCA和GCCA在较小程度上已经从统计和算法的角度进行了研究，但从线性代数的角度来看并不多。本文提供了一个新的代数角度GCCA的基础上（双）线性生成模型，自然捕捉其本质。它表明，从线性代数的角度来看，GCCA是相当于子空间的交集，并提供了条件下，不同的意见，公共子空间是可识别的。提出了一种新的基于子空间交集的GCCA算法，该算法可扩展以处理大规模的GCCA任务。合成以及真实的数据实验，以展示所提出的方法的有效性。
2020-03-25 cs.IR cs.LG eess.SP
Enforcing Fundamental Relations via Adversarial Attacks on Input Parameter Correlations
Institute of Physics, University of Bonn（波恩大学物理研究所）；Bonn-Aachen Institute of Technology, University of Bonn（波恩大学波恩-亚琛技术研究所）；Institute of Experimental physics III B, RWTH Aachen University（亚琛工业大学实验物理III B研究所）；Institute of Experimental physics III A, RWTH Aachen University（亚琛工业大学实验物理III A研究所）
本文提出随机分布洗牌攻击RDSA，通过扰动输入特征间相关性生成对抗样本，并用于对抗训练，在六类跨学科任务上提升了分类性能。
2025-01-09 cs.LG hep-ex
Structured SUMCOR Multiview Canonical Correlation Analysis for Large-Scale Data
University of Minnesota（明尼苏达大学）；University of Virginia（弗吉尼亚大学）
广义典型相关分析（GCCA）的相关性和（SUMCOR）公式通过最大化视图的成对潜在相似性来寻求不同视图的高度相关的低维表示。SUMCOR被认为是经典的两视图CCA到多视图情况下的最自然的扩展，因此在信号处理和数据分析中有许多应用。最近的工作已经提出了有效的算法处理SUMCOR问题在非常大的规模。然而，现有的可扩展算法不能结合结构正则化和先验信息-这是在现实世界中的应用程序的良好性能的关键。在这项工作中，我们提出了一个新的计算框架，大规模的SUMCOR GCCA，可以很容易地将一套经常用于数据分析的结构正则化。该算法的更新是轻量级的，存储复杂度也很低。此外，所提出的算法可以很容易地以并行方式实现。我们证明了该算法收敛到正则化SUMCOR问题的Karush-Kuhn-Tucker（KKT）点。设计合理的仿真和真实数据实验证明了该算法的有效性。
2018-04-24 cs.IR cs.LG eess.SP
Multiview Canonical Correlation Analysis for Automatic Pathological Speech Detection
Idiap Research Institute（Idiap研究所）
针对自动病理语音检测中输入表示含无关信息影响分类的问题，提出在检测前使用多视图典型相关分析（MCCA）消除不相关信息，结合传统分类器即可达到或超越复杂架构性能且具可解释性。
2024-09-13 cs.LG cs.SD eess.AS
