FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
主成分分析(PCA)是机器学习领域的一种基本数据预处理工具。虽然PCA通常被认为是一种降维方法,但PCA的目的实际上是双重的:降维和不相关特征学习。此外,现代数据集中的维度和样本大小的一致性使得集中式PCA解决方案无法使用。在这种情况下,本文重新考虑PCA的问题时,数据样本分布在任意连接的网络中的节点。虽然存在一些分布式PCA的解决方案,但这些解决方案要么忽略了PCA的不相关特征学习方面,要么往往具有高通信开销,这使得它们效率低下和/或缺乏“精确”或“全局”收敛保证。为了克服上述问题,本文提出了一种分布式PCA算法FAST-PCA(快速和精确的分布式PCA)。该算法在通信方面是有效的,并被证明是线性和精确地收敛到主成分,导致降维以及不相关的功能。实验结果进一步支持了这些说法。
2022-02-15 cs.DC cs.LG eess.SP
Discrete Independent Component Analysis (DICA) with Belief Propagation
我们将置信传播应用到由离散独立隐变量和离散可见变量组成的贝叶斯二分图。该网络是独立分量分析(DICA)的离散对应物,它以因子图的形式进行推理和学习。一套完整的模拟报告的字符图像从MNIST数据集。结果表明,源代码实现的阶乘代码有助于建立一个良好的生成模型的数据,可用于各种推理模式。
2015-05-26 cs.CV cs.LG stat.ML
Constructing fast approximate eigenspaces with application to the fast graph Fourier transforms
University Politehnica of Bucharest(布加勒斯特理工大学);Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利理工学院)
我们研究了对称矩阵和一般矩阵的特征空间的数值有效近似。本征空间被分解成固定数量的基本分量,可以有效地操纵(我们考虑扩展正交Givens或缩放和剪切变换)。这些组件的数量控制近似精度和本征空间上投影的计算复杂性之间的权衡。我们写的单一基本组件的最小化问题,并提供封闭形式的解决方案。然后,我们提出的算法,迭代更新所有这些组件,直到收敛。我们显示结果随机矩阵和应用程序的图形傅立叶变换的近似有向和无向图。
2021-05-18 cs.LG cs.NA eess.SP
A Fast deflation Method for Sparse Principal Component Analysis via Subspace Projections
School of Mathematics and Information Sciences, Yantai University(烟台大学数学与信息科学学院);Department of Mathematics, Shandong Normal University(山东师范大学数学学院)
在高维数据集上实现传统的稀疏主成分分析(SPCA)已成为一项耗时的工作。本文利用Household QR分解有效地构造了一系列子空间投影。利用这些子空间投影,提出了一种快速收缩的SPCA方法,称为SPCA-SP。该方法在稀疏性、正交性、解释方差、稀疏性平衡和计算成本等各种标准之间保持了良好的权衡。在基准数据集上的对比实验证实了该方法的有效性。
2019-12-06 cs.LG stat.ML
Multiscale Neural Operator: Learning Fast and Grid-independent PDE Solvers
MIT(麻省理工学院);IBM Research(IBM研究院)
气候、化学或天体物理学中的数值模拟对于高分辨率的不确定性量化或参数探索来说计算成本太高。降阶或代理模型的速度快了几个数量级,但传统的代理是不灵活或不准确的,而纯粹的基于机器学习(ML)的代理太需要数据。我们提出了一个混合的,灵活的代理模型,利用已知的物理模拟大规模的动态和限制学习难以建模的术语,这被称为参数化或关闭,并捕捉到的效果精细到大规模的动态。利用神经运算符,我们是第一个学习网格独立,非局部和灵活参数化的人。我们的\textit{multiscale neural operator}的动机是在多尺度建模的丰富文献,具有准线性运行时的复杂性,是更准确或更灵活的比国家的最先进的参数化和混沌方程多尺度Lorenz96上证明。
2022-07-23 cs.AI cs.CE cs.DC
Fast Robust Tensor Principal Component Analysis via Fiber CUR Decomposition
University of California, Los Angeles(加州大学洛杉矶分校)
研究了张量鲁棒主成分分析(TRPCA)问题,该方法的目的是从低多线性秩张量和稀疏离群张量的和中分离出一个潜在的低多线性秩张量。在这项工作中,我们提出了一个快速的非凸算法,创造鲁棒张量CUR(RTCUR),大规模的TRPCA问题。RTCUR考虑了交替投影的框架,并利用最近开发的张量Fiber CUR分解来显著降低计算复杂性。RTCUR的性能优势在合成数据集上得到了经验验证,并在彩色视频背景减除等实际应用中得到了进一步证明。
2021-08-23 cs.CV cs.LG eess.IV
Fast estimation of Gaussian mixture components via centering and singular value thresholding
School of Economics and Finance, Chongqing University of Technology(重庆理工大学经济金融学院)
本文提出一种简单方法,通过数据中心化、计算奇异值并计数超过阈值的值,快速估计高斯混合模型中的成分数量,无需迭代拟合或先验知识,在高维和成分严重不平衡的情况下有效。
2026-04-21 cs.LG stat.ML
A Tutorial on Independent Component Analysis
Google Research(谷歌研究院)
独立分量分析(ICA)已经成为应用于信号处理和机器学习中的一系列问题的标准数据分析技术。本教程介绍了ICA的基础上,线性代数制定了直观的ICA从第一原则。本教程的目标是为这个高级主题提供一个坚实的基础,以便人们可以学习ICA背后的动机,了解为什么以及何时应用这项技术,并在此过程中介绍这个令人兴奋的活跃研究领域。
2014-04-11 cs.LG stat.ML
Fast Approximate Time-Delay Estimation in Ultrasound Elastography Using Principal Component Analysis
Concordia University(康考迪亚大学)
时间延迟估计(TDE)是所有超声弹性成像方法中关键且具有挑战性的步骤。越来越多的TDE技术需要一个近似的,但强大的和快速的方法来初始化求解TDE。在这里,我们提出了一种快速的方法来计算两个射频(RF)帧的超声之间的近似TDE。虽然这种近似的TDE可以是有用的几种算法,我们专注于全球超声弹性成像(GLUE),目前依赖于动态规划(DP),以提供这种近似的TDE。我们利用主成分分析(PCA),以找到准静态弹性成像的变形的一般模式,因此,我们的方法PCA-GLUE。PCA-GLUE是一种数据驱动的方法,它在真实实验中从训练数据库中学习一组TDE主成分。在测试阶段,TDE近似为这些主成分的加权和。我们的算法鲁棒地估计稀疏特征匹配的权重,然后将得到的位移场作为初始估计传递给GLUE,以执行更准确的位移估计。PCA-GLUE在估计初始位移场方面比DP快十倍以上,并且产生类似的结果。
2019-11-13 cs.LG eess.IV stat.ML
Finding Fast Transformers: One-Shot Neural Architecture Search by Component Composition
Google Research(谷歌研究院)
基于转换器的模型在自然语言处理的许多任务中取得了最新的成果。然而,这样的模型在推理时通常很慢,使得部署变得困难。在本文中,我们开发了一种有效的算法,搜索快速模型,同时保持模型质量。我们描述了一种新的方法来分解的Transformer架构成更小的组件,并提出了一个基于采样的一次性架构搜索方法,找到一个最佳的模型进行推理。模型搜索过程比替代方法更有效,只增加了很少的训练时间。通过将我们的方法应用于基于BERT的架构,我们实现了预训练的BERT的10%至30%的加速比,以及在Cloud TPU-v2上先前最先进的蒸馏BERT模型之上的70%的加速比,并且性能下降通常可以接受。
2020-08-15 cs.LG stat.ML
Efficient Estimation of Unique Components in Independent Component Analysis by Matrix Representation
Seikei University, Tokyo, Japan(青狮大学,东京,日本);The University of Tokyo, Tokyo, Japan(东京大学,东京,日本)
本文提出通过矩阵表示和减少冗余计算来加速独立成分分析(ICA)中唯一成分的估计,解决了ICA解的唯一性无法保证的问题,并在人工数据集和EEG数据上验证了方法的有效性。
2025-09-16 cs.LG cs.NE
Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University(东北大学);Texas A&M University(德克萨斯A&M大学)
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法,通过引入次优性间隙,证明其在O(1/ε)次迭代内达到ε-纳什均衡,改进了此前O(1/ε^2)的结果,并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Multiplicative Algorithm for Orthgonal Groups and Independent Component Analysis
本文将作者等人发展的乘法Newton类方法推广到动力学仅限于正交群的情形。一个一般的框架,构建没有指定的成本函数。虽然对正交群的限制使问题变得有些复杂,但得到了单个跳数的显式表达式。该算法是精确二阶收敛的。牛顿法中固有的全局不稳定性由Levenberg-Marquardt型变分来弥补。这样构造的方法可以很容易地应用于独立成分分析。数值模拟结果表明了该方法的有效性。
2000-01-07 cs.LG
Second-order Approximation of Minimum Discrimination Information in Independent Component Analysis
Department of Automation, Tsinghua University(清华大学自动化系)
独立成分分析(Independent Component Analysis,ICA)的目的是从线性混合信号中恢复出相互独立的信号,而FastICA是ICA中最成功的算法之一。虽然在负熵估计中引入更多的非线性函数来提高FastICA的性能似乎是合理的,但FastICA中原有的不动点方法(近似牛顿法)在这种情况下退化了。为了缓解这个问题,我们提出了一种新的方法的基础上的二阶近似的最小判别信息(MDI)。该方法的联合最大化由最小化单个加权最小二乘和用不动点法求分解矩阵组成。实验结果验证了该算法的有效性。
2021-11-30 cs.LG eess.SP stat.ML
Automatic EEG Independent Component Classification Using ICLabel in Python
SCCN, INC, UCSD(加州大学圣地亚哥分校神经计算研究所计算神经科学中心)
针对EEGLAB中ICLabel插件因特殊神经网络架构与Octave不兼容的问题,开发了使用标准EEGLAB数据结构的Python版本ICLabel,其与MATLAB版本分类结果几乎一致,差异低于0.001%,增强了跨平台兼容性。
2024-11-20 cs.LG eess.SP q-bio.NC
Shared Independent Component Analysis for Multi-Subject Neuroimaging
Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);University of Helsinki(赫尔辛基大学)
我们考虑共享响应建模,这是一个多视图学习问题,其中人们希望从多个数据集或视图中识别公共组件。我们引入了共享独立分量分析(ShICA),它将每个视图建模为被加性高斯噪声污染的共享独立分量的线性变换。我们表明,该模型是可识别的,如果组件是非高斯或噪声方差有足够的多样性。然后,我们表明,在某些情况下,多集典型相关分析可以恢复正确的解混矩阵,但即使是少量的采样噪声使多集CCA失败。为了解决这个问题,我们建议使用联合对角化后,多集CCA,导致一种新的方法,称为ShICA-J。我们通过模拟表明,ShICA-J导致改善的结果,同时非常快,以适应。虽然ShICA-J基于二阶统计量,但我们进一步建议使用最大似然方法ShICA-ML来利用组件的非高斯性,该方法更准确,成本更高。此外,ShICA还提供了一种用于共享分量估计的原则性方法。最后,我们提供了经验证据的fMRI和MEG数据集,ShICA产生更准确的估计的组件比替代品。
2021-10-26 cs.LG
PhD Dissertation: Generalized Independent Components Analysis Over Finite Alphabets
Tel-Aviv University(特拉维夫大学);The Raymond and Beverly Sackler Faculty of Exact Sciences(雷蒙德与贝弗利·萨克勒精确科学学院)
独立成分分析(ICA)是一种统计方法,用于将可观察的多维随机向量转换为尽可能相互统计独立的成分。通常ICA框架假设一个模型,根据该模型生成观测值(例如具有加性噪声的线性变换)。有限域上的ICA是ICA的一种特殊情况,其中观测值和独立分量都在有限字母表上。在这篇论文中,我们考虑了有限场的情况下,一个观察向量被分解为它的独立分量(尽可能多),没有事先假设的方式,它的产生。这种推广也被称为巴洛的最小冗余表示,并被认为是一个开放的问题。我们提出了几个定理,并表明,这个困难的问题可以准确地解决了分支定界搜索树算法,或紧密近似的一系列线性问题。此外,我们还证明了存在一个简单的变换(即顺序排列),它提供了一个贪婪但非常有效的近似最优解。我们进一步表明,虽然不是每个随机向量都可以有效地分解成独立的分量,但随着维数的增加,绝大多数向量确实分解得很好(即在一个小的恒定成本内)。此外,我们表明,我们实际上可以实现这个有利的恒定成本的复杂性是渐近线性的字母表大小。我们的贡献提供了第一个有效的解决方案,巴洛的问题与理论和计算的保证。最后,我们展示了我们建议的框架在多源编码应用程序。
2018-11-20 cs.LG stat.ML
On Finite-Sample Identifiability of Contrastive Learning-Based Nonlinear Independent Component Analysis
Oregon State University(俄勒冈州立大学)
非线性独立分量分析(nICA)的目的是恢复统计上独立的潜在成分,由未知的非线性函数混合。nICA的核心是潜在成分的可识别性,直到最近才变得难以捉摸。具体来说,Hyvärinen等人已经证明,在广义对比学习(GCL)公式下,非线性混合的潜在成分是可识别的(通常是无关紧要的歧义),假设潜在成分是独立的,取决于某个辅助变量。基于GCL的nICA的可识别性是优雅的,并建立了有趣的连接之间的nICA和流行的无监督/自监督学习范式的表示学习,因果学习,和因素解开。然而,现有的nICA的可识别性分析都建立在无限样本假设和使用理想的通用函数学习器的基础上,这在理论和实践之间造成了不可忽视的差距。缩小差距是一个不平凡的挑战,因为缺乏既定的“教科书”例行有限样本分析这样的无监督的问题。本文提出了一种基于GCL的nICA的有限样本可辨识性分析方法。我们的分析框架明智地结合了GCL损失函数,统计泛化分析和数值微分的属性。我们的框架还考虑了学习函数的近似误差,并揭示了所采用的函数学习器的复杂性和表现力之间的直观权衡。数值实验验证了定理的正确性。
2022-06-14 cs.LG stat.ML
Stochastic Approximation for Online Tensorial Independent Component Analysis
University of California, Berkeley(加州大学伯克利分校)
独立分量分析(ICA)是统计机器学习和信号处理领域的一种常用降维工具。在本文中,我们提出了一个在线张量ICA算法的收敛性分析,通过查看问题作为一个非凸随机逼近问题。对于估计一个组件,我们提供了一个基于动力学的分析,以证明我们的在线张量ICA算法与特定的步长选择实现了尖锐的有限样本误差界。特别地,在对数据生成分布和缩放条件的温和假设下,使得$d^4/T$足够小直到数据维度$d$和样本大小$T$的多对数因子,可以获得$\tilde{O}(\sqrt{d/T})$的尖锐有限样本误差界。
2021-07-29 cs.LG math.OC stat.ML
Beyond independent component analysis: identifiability and algorithms
Harvard University(哈佛大学);Barcelona School of Economics(巴塞罗那经济学院)
本研究证明成对均值独立性是ICA可放宽独立性的极限,提出基于正交群最小二乘的恢复算法,实验显示其比完全独立性更稳健。
2025-10-08 cs.LG math.ST stat.ML
Linear Independent Component Analysis over Finite Fields: Algorithms and Bounds
The Hebrew University of Jerusalem(希伯来大学);Tel Aviv University(特拉维夫大学)
独立成分分析(ICA)是一种统计工具,它将观察到的随机向量分解为尽可能统计独立的分量。有限域上的ICA是ICA的一种特殊情况,其中观测值和分解分量都在有限字母表上取值。这个问题也被称为最小冗余表示或阶乘编码。在这项工作中,我们专注于ICA在有限域上的线性方法。我们引入了一个基本的下限,它提供了一个基本限制的能力,任何线性解决方案来解决这个问题。基于这个界限,我们提出了一个贪婪算法,优于所有目前已知的方法。重要的是,我们表明,我们建议的算法的开销(与下限相比)通常会减少,因为规模的问题的增长。此外,我们提供了一个次优的变体,我们建议的方法,显着降低了计算复杂性,在一个相对较小的性能成本。最后讨论了线性变换分解随机向量的普适性,并与已有的非线性解进行了比较。
2018-09-16 cs.LG stat.ML
MultiView Independent Component Analysis with Delays
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Apple(苹果公司)
本文提出带延迟的多视图独立成分分析方法MVICAD,通过在共享源中引入视图和源特定的未知延迟提升盲源分离效果,并在Cam-CAN脑磁图数据上发现延迟与年龄相关,证明其能在无监督条件下揭示神经信号中的丰富效应。
2023-12-01 cs.LG eess.SP
Foundations of Independent Component Analysis
Korteweg-de Vries Institute for Mathematics(科特维格-德弗里斯数学研究所);University of Amsterdam(阿姆斯特丹大学)
该研究基于测度论概率论背景,阐述线性ICA模型的数学基础,推导不同假设下ICA的可识别性结果,并提出在线等变梯度下降ICA算法用于无噪非高斯场景下的独立源恢复。
2026-08-14 cs.LG math.PR math.ST