Large-Scale Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
核典型相关分析（KCCA）是一种非线性多视图表示学习技术，在统计学和机器学习中具有广泛的应用。虽然KCCA目标有一个封闭形式的解决方案，它涉及到解决一个$N\times N$特征值系统，其中$N$是训练集的大小，使其在内存和时间的计算要求禁止大规模的问题。已经为KCCA开发了各种近似技术。通常使用的方法是首先将原始输入变换到$M$维随机特征空间，使得特征空间中的内积近似核评估，然后将线性CCA应用于变换后的输入。然而，在许多应用中，随机特征空间的维度$M$可能需要非常大，以便获得足够好的近似;然后，对所得的非常高维的数据矩阵执行线性CCA步骤变得具有挑战性。我们展示了如何使用随机优化算法，最近提出的线性CCA及其神经网络扩展，以进一步减轻近似KCCA的计算要求。这种方法允许我们在一个典型的工作站上运行近似KCCA的语音数据集与$1.4$百万训练样本和随机特征空间的维数$M=100000$。
2016-02-29 cs.LG
Canonical Regularisation of Wide Feature-Learning Neural Networks
Department of Engineering Science University of Oxford（工程科学系牛津大学）
本文研究了宽特征学习神经网络中梯度流训练所隐含的正则化性质，揭示了在核域中广泛研究的范数正则化在特征学习域中会导致诱导偏差扭曲，并提出了弧范数作为可扩展的替代方案，扩展了范数正则化到特征学习域。
2026-05-18 cs.LG stat.ML
Boosting Nyström Method
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of Arizona（亚利桑那大学）
Nyström方法是生成大型矩阵的低秩近似的有效工具，对于基于核的学习特别有用。为了改进标准Nyström近似，集成Nyström算法计算基于列响应独立生成的Nyström近似的混合。我们提出了一系列新的算法，增强了Nyström，它自适应地迭代生成序列中的多个“弱”Nyström逼近（每个逼近使用少量列）-每个逼近的目的是补偿其前任的弱点-然后将它们组合起来形成一个强逼近。我们证明了我们的提升Nyström算法可以产生更有效和更准确的低秩近似核矩阵。改进的标准和合奏Nyström的方法说明了模拟研究和现实世界的数据分析。
2023-02-21 cs.LG stat.ML
Robust Matrix Elastic Net based Canonical Correlation Analysis: An Effective Algorithm for Multi-View Unsupervised Learning
Hong Kong University of Science and Technology（香港科技大学）；University of Macau（澳门大学）
针对多视图无监督学习问题，提出了一种基于鲁棒矩阵弹性网的典型相关分析（RMEN-CCA），强调CCA与鲁棒矩阵弹性网（RMEN）相结合作为耦合的特征选择。RMEN-CCA利用RMEN的优势，在没有任何先验假设的情况下提取自然有意义的特征，并有效地测量不同“视图”之间的相关性。我们可以进一步直接使用核技巧将RMEN-CCA扩展到具有理论保证的核场景，这将核技巧用于高度复杂的非线性特征学习。而不是简单地将现有的正则化最小化条款CCA，本文提供了一个新的学习范式CCA，是第一个得到一个耦合的特征选择为基础的CCA算法，保证收敛。更重要的是，对于CCA，新衍生的RMEN-CCA弥合了相关性测量和耦合特征选择之间的差距。此外，它是不平凡的，直接处理RMEN-CCA由以前的优化方法从其复杂的模型架构。因此，本文进一步提供了一个新的优化问题和现有的有效的迭代方法之间的桥梁。因此，RMEN-CCA可以克服CCA的限制，并解决大规模和流式数据问题。在四个流行的竞争数据集上的实验结果表明，RMEN-CCA比最先进的方法更有效。
2017-11-15 cs.LG stat.ML
Analysis of Nystrom method with sequential ridge leverage scores
SequeL team INRIA Lille - Nord Europe（INRIA里尔-北欧分部SequeL团队）
本文研究了大规模核岭回归问题中的顺序Nystrom方法，提出INK-ESTIMATE算法，通过增量计算岭杠杆分数估计，实现高效近似解。
2026-10-06 cs.LG stat.ML
Asymmetrically Weighted CCA And Hierarchical Kernel Sentence Embedding For Image & Text Retrieval
IBM
语言和视觉的联合建模已经引起越来越多的关注。一个多模态数据表示允许双向检索图像的句子，反之亦然是一个关键方面。在本文中，我们提出了三个典型相关分析（CCA）的多模态检索的贡献。首先，我们表明，一个不对称的加权的规范权重，同时实现了从搜索到查询空间的跨视图映射，提高了检索性能。其次，我们设计了一个计算效率高的模型选择，至关重要的推广和稳定性，在Björk Golub算法的框架下，通过频谱滤波正则化CCA。最后，我们介绍了一个分层核句子嵌入（HKSE），近似核CCA的一个特殊的相似性内核之间的分布嵌入在一个向量空间的话。当这三种技术结合使用时，在MSCOCO和Flickr基准上获得了最先进的结果。
2016-12-05 cs.LG
Local Canonical Correlation Analysis for Nonlinear Common Variables Discovery
Technion – Israel Institute of Technology（以色列理工学院）
在本文中，我们解决的问题，隐藏的公共变量发现非线性高维观测的多峰数据集。我们提出了一种基于典型相关分析（CCA）局部应用的度量方法，并将其与基于核的流形学习技术相结合，通过估计多模态观测值之间的欧氏距离，发现了隐藏在多模态观测值背后的公共变量。我们的方法可以被看作是CCA的扩展到非线性设置，以及流形学习的扩展到多个数据集。实验结果表明，我们的方法确实发现的共同变量的高维非线性观测，而无需事先假设刚性模型假设。
2016-06-14 cs.LG stat.ML
Revisiting Visual Representation Enhancement of VLMs via Kernel Canonical Correlation Analysis
Beijing Institute of Technology（北京理工大学）
本文提出基于核典型相关分析（KCCA）的3vKCCA方法，通过最大化特征子空间投影相关性来增强视觉语言模型的细粒度视觉感知，在MMVP-VLM上准确率从17.8提升至25.9，且保持零样本检索性能。
2026-10-05 cs.AI cs.CV cs.LG
TabKDE: Simple and Scalable Tabular Data Generation with Kernel Density Estimates
University of Utah（犹他大学）；Visa Research（Visa研究）
本文提出了一种基于核密度估计的表格数据生成方法，能够在无需大量训练时间的情况下实现与现有方法相当的准确性和防泄漏性能，并且能够高效处理大规模数据集。
2026-05-17 cs.LG
Canonical Correlation Analysis of Datasets with a Common Source Graph
University of Minnesota（明尼苏达大学）
本文提出了一种基于图正则化的典型相关分析方法(gCCA)，通过引入图结构来利用共同源的知识，以提升数据融合和分类性能。
2018-03-27 cs.LG cs.SY eess.SY
Efficient Algorithms and Error Analysis for the Modified Nystrom Method
Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
许多核方法具有很高的时间和空间复杂度，因此在大数据应用中是不允许的。为了解决计算的挑战，Nyström方法已经被广泛用于通过牺牲一些精度来降低时间和空间复杂度。Nyström方法通过仅使用矩阵的几列来构造核矩阵的近似来加速计算。最近，一种被称为修正Nyström方法的Nyström方法的变体在理论和经验上都证明了在近似精度上比标准Nyström方法有显着的改进。在本文中，我们提出了两个算法，使修改后的Nyström方法实用。首先，我们设计了一个简单的列选择算法与可证明的错误界。我们的算法是更有效，更容易实现比和几乎一样准确的国家的最先进的算法。其次，与选定的列在手，我们提出了一个算法，计算近似在较低的时间复杂度比以前的工作中的方法。进一步证明了修正Nyström方法在一定条件下是精确的，并给出了修正Nyström方法的误差下界.
2014-04-01 cs.LG
SPSD Matrix Approximation vis Column Selection: Theories, Algorithms, and Extensions
University of California at Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）
对称半正定矩阵逼近是核方法中的一个重要应用问题.然而，现有的SPSD矩阵近似方法，如Nyström方法只有弱误差界。在本文中，我们进行了深入的研究SPSD矩阵近似模型，并建立强相对误差界。我们称之为原型模型，因为它具有更高效和有效的扩展，并且它的一些扩展具有很高的可扩展性。虽然原型模型本身不适合大规模数据，但研究其性质仍然是有用的，这是分析其扩展的基础。本文提供了新颖的理论分析，高效的算法，和一个高度准确的扩展。首先，我们建立了一个错误的下限的原型模型和改进的错误界现有的列选择算法，以匹配下限。这样，我们得到了原型模型的第一个最优列选择算法。我们还证明了原型模型在一定条件下是精确的。其次，我们开发了一个简单的列选择算法，具有可证明的误差界。第三，我们提出了一个所谓的谱移模型，使近似更准确时，矩阵的特征值衰减缓慢，并从理论上量化的改进。该方法也可用于改进其它SPSD矩阵近似模型。
2016-05-20 cs.LG
Graph Multiview Canonical Correlation Analysis
University of Minnesota（明尼苏达大学）
多视图典型相关分析（MCCA）寻求潜在的低维表示遇到的多视图数据的共享实体（又名。共同来源）。然而，现有的MCCA方法不利用公共源的几何形状，公共源可以是可用的\emph{a priori}，或者可以使用某些领域知识来构造。这些关于公共源的先验信息可以通过图进行编码，并被调用作为正则化器来丰富最大方差MCCA框架。在这种情况下，本文的新的图正则化（G）MCCA方法最大限度地减少了想要的典型变量和常见的低维表示之间的距离，同时考虑到图诱导的知识的共同来源。依靠一个函数捕捉的程度低维表示的多个视图是相似的，广义界的GMCCA建立的Rademacher的复杂性的基础上。针对数据对的数量小于数据向量维数的情况，还开发了一种图正则化的双MCCA方法。为了进一步处理数据中存在的非线性，还提出了图正则化核MCCA变体。有趣的是，图正则化的线性，对偶和核MCCA的解决方案，都提供了广义特征值分解。使用真实数据集的几个确证的数值测试，以展示相对于几个竞争的替代品，包括MCCA，拉普拉斯正则化MCCA，（图正则化）PCA的图形正则化MCCA的变种的优点。
2018-11-30 cs.LG eess.SP stat.ME
