Improved Distributed Principal Component Analysis
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Princeton University(普林斯顿大学);IBM Research(IBM研究院)
我们研究了分布式计算设置,其中有多个服务器,每个服务器持有一组点,谁希望计算他们的点集的工会上的功能。这种设置中的一个关键任务是主成分分析(PCA),其中服务器希望计算一个低维子空间,以尽可能多地捕获其点集的并集的方差。给出一个近似PCA的过程,可以用它来近似解决$\ell_2$ -误差拟合问题,如$k$ -均值聚类和子空间聚类。近似分布式PCA算法的基本属性是其通信成本和计算效率,在下游应用中给定的期望精度。我们给出了新的算法和分析,分布式PCA导致改善的通信和计算成本的$k$均值聚类和相关问题。我们对真实世界数据的实证研究显示了数量级的加速,保持了通信,解决方案质量只有微不足道的下降。我们开发的这些技术中的一些,例如从恒定成功概率子空间嵌入到具有独立于成功概率的维度和稀疏性的高成功概率子空间嵌入的一般变换,可能是独立的兴趣。
2014-12-23 cs.LG
Distributed Principal Subspace Analysis for Partitioned Big Data: Algorithms, Analysis, and Implementation
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校);ByteDance Ltd.(字节跳动有限公司)
主子空间分析(PSA)-及其兄弟,主成分分析(PCA)-是信号处理和机器学习中最流行的降维方法之一。但是,集中式PSA/PCA解决方案在现代大数据时代迅速变得无关紧要,其中样本的数量和/或样本的维度通常超过单个机器的存储和/或计算能力。这导致了对分布式PSA/PCA解决方案的研究,其中数据被划分到多台机器上,并且通过机器之间的协作获得主子空间的估计。正是在这种情况下,本文重新访问的分布式PSA/PCA的一般框架下的任意连接的网络的机器,缺乏一个中央服务器的问题。本文件在这方面的主要贡献有三个方面。首先,本文提出了两种可用于分布式PSA/PCA的算法,其中一种用于数据跨样本分区的情况,另一种用于数据跨(原始)特征分区的情况。其次,在样本划分数据的情况下,分析了所提出的算法及其变形,并证明了它们以线性速率收敛于真子空间。第三,在合成数据和真实数据上进行了大量的实验,以验证所提出的算法的有效性。特别是,在样本明智的分区数据的情况下,基于MPI的分布式实现进行研究网络拓扑结构和通信成本之间的相互作用,以及研究所提出的算法上的落后机器的影响。
2021-10-12 cs.DC cs.LG eess.SP
Communication Efficient Distributed Kernel Principal Component Analysis
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
核主成分分析(KPCA)是一种用于从数据中提取非线性特征的关键机器学习算法。在存在以分布式方式收集的大量高维数据的情况下,将所有这些数据传送到单个数据中心然后执行内核PCA变得非常昂贵。我们能否以分布式和通信高效的方式对整个数据集执行核PCA,同时保持解决方案质量的可证明和强有力的保证?在本文中,我们给出了一个肯定的答案,这个问题通过开发一个通信有效的算法来执行核PCA在分布式设置。该算法是子空间嵌入和自适应采样技术的巧妙结合,我们表明,该算法可以作为输入的任意配置的分布式数据集,并计算一组全球核主成分的相对误差保证独立的特征空间的维数或数据点的总数。特别地,计算$k$主成分时相对误差$ε$超过$s$工作者具有通信成本$\tilde{O}(s ρk/ε+s k^2/ε^3)$字,其中$ρ$是每个数据点中非零条目的平均数量。此外,我们用大规模的真实世界数据集对该算法进行了实验,结果表明,该算法产生了高质量的核PCA解决方案,同时使用的通信比其他方法少得多。
2016-02-13 cs.LG
Uncertainty-Aware PCA for Arbitrarily Distributed Data Modeled by Gaussian Mixture Models
University of Stuttgart(斯图加特大学);University of Siegen(锡根大学)
本文提出了一种基于高斯混合模型的不确定性感知主成分分析方法,用于更准确地表示任意分布数据。
2026-01-14 cs.GR cs.LG stat.ML
Online Distributed Estimation of Principal Eigenspaces
University of Florida(佛罗里达大学)
主成分分析(PCA)是一种应用广泛的降维技术。本文提出了一种在线分布式主特征空间恢复算法。我们进一步建立它的收敛速度,并显示它如何涉及到分布式计算中使用的节点数,所考虑的数据矩阵的有效秩,以及底层人口协方差阵的频谱中的差距。所提出的算法说明低秩近似和$\boldsymbol{k}$均值聚类任务。数值结果表明,一个显着的计算速度比标准的分布式PCA算法,而不影响学习精度。
2019-05-17 cs.LG stat.ML
A Generalized Mean Approach for Distributed-PCA
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Institute of Statistical Mathematics(统计数学研究所)
本文提出 β-DPCA 方法,利用矩阵 β-均值融合特征值信息以改进分布式主成分分析的局部结果聚合,并验证了其稳健性与特征向量排序稳定性。
2024-10-01 cs.LG stat.ML
Communication-efficient distributed eigenspace estimation
Cornell University(康奈尔大学)
分布式计算是扩展机器学习和数据科学算法以处理大量数据的标准方法。在这种情况下,避免机器之间的通信对于实现高性能至关重要。避免通信的一个常见做法是在每台机器上计算局部解或参数估计,然后将结果组合起来,而不是分散现有算法的计算;在许多凸优化问题中,即使是简单的局部解平均也可以很好地工作。然而,当局部解不唯一时,这些方案不起作用。谱方法是这些问题的集合,其中解是相关数据矩阵的前导不变子空间的正交基,其仅在旋转和反射之前是唯一的。在这里,我们开发了一个通信高效的分布式算法计算的领先不变子空间的数据矩阵。我们的算法使用了一种新的对齐方案,最大限度地减少了本地解决方案和参考解决方案之间的Procrustean距离,只需要一轮的通信。对于重要的情况下,主成分分析(PCA),我们表明,我们的算法实现了类似的错误率的集中估计。我们提出的数值实验证明了我们提出的算法的有效性,分布式PCA,以及其他问题的解决方案表现出旋转对称性,如节点嵌入的图形数据和频谱初始化的二次感知。
2021-04-30 cs.DC cs.LG cs.NA
Generalized Principal Component Analysis
Harvard University(哈佛大学)
广义主成分分析(GLM-PCA)有利于非正态分布数据的降维。我们提供了一个详细的推导GLM-PCA的重点是优化。我们还演示了如何将协变量,并建议后处理转换,以提高潜在因素的可解释性。
2019-07-03 cs.LG stat.ML
Scale-Calibrated Median-of-Means for Robust Distributed Principal Component Analysis
Baruch College(巴彻学院);The Graduate Center, City University of New York(纽约市立大学研究生中心)
本文研究了基于尺度校准的中位数-均值估计器,用于鲁棒分布式主成分分析,通过欧几里得空间和格拉斯曼流形的产品几何结构,提出了一个节点级PCA展开,证明了所提出的产品流形中位数-均值估计器的渐近等价性,并展示了鲁棒块尺度和推断最优校准规则,以及高概率中位数-均值界限。
2026-05-20 cs.LG stat.ME
Steerable $e$PCA: Rotationally Invariant Exponential Family PCA
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California at Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
在光子限制成像中,像素强度受到光子计数噪声的影响。许多应用,如在X射线自由电子激光(XFEL)单分子成像中使用相关分析的3-D重建,需要精确估计潜在的2-D干净图像的协方差。从低光子计数图像的协方差的准确估计必须考虑到像素强度是泊松分布的,因此经典的样本协方差估计器是次优的。此外,在单分子成像中,包括所有图像的平面内旋转副本可以进一步提高协方差估计的准确性。在本文中,我们介绍了一个有效的和准确的算法的协方差矩阵估计计数噪声的2-D图像,包括其均匀的平面旋转和可能的反射。我们的程序,可操纵的$e$ PCA,以一种新颖的方式结合了两个最近推出的创新。第一种是泊松分布的主成分分析(PCA)方法,更一般地说,指数族分布,称为$e$ PCA。第二种是可转向PCA,这是一种快速准确的PCA平面旋转方法。所得到的主成分对输入图像的旋转和反射是不变的。我们证明了可操纵的$e$ PCA的效率和准确性,在数值实验涉及模拟XFEL数据集和旋转耶鲁B人脸数据。
2019-12-17 cs.CV cs.LG
Distributed Estimation for Principal Component Analysis: an Enlarged Eigenspace Analysis
New York University(纽约大学);Princeton University(普林斯顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
现代数据集规模的不断增长给现有的统计估计方法带来了许多挑战,这需要新的分布式方法。本文研究了一个基本的统计机器学习问题,主成分分析(PCA)的分布估计。尽管有大量关于顶特征向量估计的文献,但对于顶- $L$ -dim($L>1$)特征空间估计,特别是以分布式方式,提出的文献要少得多.本文提出了一种新的多轮算法来构造分布式数据的top- $L$ -dim特征空间。我们的算法利用移位和反转预处理和凸优化。我们的估计是通信效率和实现快速收敛速度。与现有的分治算法相比,我们的方法对机器的数量没有限制。传统的Davis-Kahan定理在理论上需要明确的本征间隙假设来估计顶$L$ -维本征空间。为了放弃这个本征间隙假设,我们在我们的分析中考虑一个新的路线:而不是准确地识别顶部- $L$ -暗淡的本征空间,我们表明,我们的估计是能够覆盖目标顶部- $L$ -暗淡的人口本征空间。我们的分布式算法可以应用于广泛的统计问题的PCA的基础上,如主成分回归和单指标模型。最后,我们提供模拟研究,以证明所提出的分布式估计器的性能。
2021-02-03 cs.DC cs.LG stat.ME
Preconditioned Data Sparsification for Big Data with Applications to PCA and K-means
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们分析了一个压缩方案的大型数据集,随机保持一小部分的组成部分,每个数据样本。其好处是输出是一个稀疏矩阵,因此后续处理(如PCA或K-means)速度明显更快,特别是在分布式数据设置中。此外,采样是单通道的,并且适用于流数据。采样机制是文献中提出的先前方法的变体,结合随机预处理来平滑数据。我们提供的协方差阵方面的PCA的保证,并保证在给定的步骤中的中心估计的误差方面的K-均值。我们提出的数值证据表明,我们的边界是近紧,我们的算法提供了一个真正的好处时,应用于标准的测试数据集,以及提供一定的好处,相关的采样方法。
2016-09-20 cs.LG stat.ML
An Implicit Form of Krasulina's k-PCA Update without the Orthonormality Constraint
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Google Brain(谷歌大脑)
我们对在线$k$ -PCA问题的两个常用更新,即Krasulina和Oja的更新,提出了新的见解。我们发现,Krasulina的更新对应于一个投影梯度下降步骤的正交$k$ -帧的Stiefel流形上,而Oja的更新相当于一个梯度下降步骤使用的非投影梯度。根据这些观察,我们推导出Krasulina的$k$ -PCA更新的更多\emph{implicit}形式,即尽可能多地使用未来梯度信息的版本。最有趣的是,我们的隐式Krasulina更新通过绕过正交约束避免了昂贵的QR分解步骤。我们表明,新的更新实际上对应于一个在线EM步骤应用于概率$k$ -PCA模型。更新的概率视图允许我们在分布式设置中组合多个模型。我们的实验表明,隐式Krasulina更新产生优越的收敛性,同时显着更快。我们还提供了强有力的证据表明,新的更新可以受益于并行性和更稳定的w.r.t.调整学习率。
2019-09-11 cs.LG stat.ML
Turning Channel Noise into an Accelerator for Over-the-Air Principal Component Analysis
The University of Hong Kong(香港大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);Southern University of Science and Technology(南方科技大学)
近年来,将移动数据提取为有用知识的尝试已经导致在网络边缘部署机器学习算法。主成分分析(PCA)是一种提取数据集线性结构的经典技术,对特征提取和数据压缩有重要的应用价值。在这项工作中,我们提出了部署分布式PCA在多访问通道的基础上的算法随机梯度下降学习的主导特征空间的分布式数据集在多个设备。采用空中聚合来减少多路访问延迟,称为空中PCA。该设计的新颖性在于利用信道噪声来加速梯度下降遇到的每个鞍点周围的区域中的下降,从而提高空中PCA的收敛速度。该思想通过提出一种功率控制方案来实现,该方案检测下降区域的类型并相应地控制信道噪声的水平。该方案被证明是实现一个更快的收敛速度比在没有功率控制的情况下。
2022-04-01 cs.DC cs.IT cs.LG
Split-and-Conquer: Distributed Factor Modeling for High-Dimensional Matrix-Variate Time Series
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出一种分布式因子建模方法,用于高效处理高维矩阵变量时间序列,通过保留潜在矩阵结构提升计算效率和信息利用。
2026-01-16 cs.LG stat.ML
Geometric Structure Predicts Per-Example Neighborhood Loss Under PCA Truncation
San Jose State University(圣何塞州立大学)
该研究通过分析静态词嵌入和现代句子编码器,发现几何结构可预测PCA截断下的逐例邻域损失,揭示了平均压缩性能掩盖的系统性逐例变异。
2026-10-14 cs.CL cs.LG
Deep Learning for GWP Prediction: A Framework Using PCA, Quantile Transformation, and Ensemble Modeling
AIZOTH Inc.(AIZOTH公司)
本研究针对单组分制冷剂100年全球变暖潜势(GWP 100)预测问题,提出结合PCA、分位数变换和集成建模的深度学习框架,基于RDKit分子描述符实现高精度预测,为低GWP制冷剂虚拟筛选提供可扩展方案。
2024-11-28 cond-mat.mtrl-sci cs.LG physics.chem-ph
Relations among Some Low Rank Subspace Recovery Models
Peking University(北京大学);Charles Sturt University(查尔斯特大学)
从分布在其上的数据恢复固有低维子空间是许多应用的关键预处理步骤。近年来,已经有大量的工作,模型的子空间恢复低秩最小化问题。我们发现,一些代表性的模型,如鲁棒主成分分析(R-PCA),鲁棒低秩表示(R-LRR)和鲁棒潜在低秩表示(R-LatLRR),实际上是深连接的。更具体地说,我们发现,一旦一个模型的解决方案是获得,我们可以获得其他模型的解决方案在封闭形式的配方。由于R-PCA是最简单的,我们的发现使它成为低秩子空间恢复模型的中心。我们的工作有两个重要意义。首先,R-PCA具有坚实的理论基础。在一定的条件下,我们可以找到更好的解决方案,这些低秩模型在压倒性的概率,虽然这些模型是非凸的。其次,我们可以通过首先求解R-PCA来获得这些模型的更快算法。通过应用低复杂度的随机算法,例如,我们的新的$\ell_{2,1}$滤波算法,R-PCA。实验结果表明,该算法优于其他基于交替方向法的算法。
2014-12-06 cs.LG math.OC
Online Adaptive Principal Component Analysis and Its extensions
University of Minnesota(明尼苏达大学)
我们提出了在线主成分分析(PCA)和方差最小化自适应设置的算法。以往的研究主要集中在静态对抗性后悔的上界上,其比较对象是事后最优固定行为。然而,当潜在环境发生变化时,静态后悔并不是一个合适的指标。相反,我们采用自适应遗憾度量从以前的文献中,并提出在线自适应算法PCA和方差最小化,具有次线性自适应遗憾的保证。我们从理论上和实验上证明,所提出的算法可以适应不断变化的环境。
2019-05-13 cs.LG stat.ML
Implicitly Normalized Online PCA: A Regularized Algorithm with Exact High-Dimensional Dynamics
Machine Learning and Information Processing Group, KUIS AI Center(机器学习与信息处理组,KUIS人工智能中心);Department of Electrical and Electronics Engineering(电子与电气工程系)
隐式归一化在线主成分分析(INO-PCA)通过动态范数演变和正则化更新,在高维极限下实现对问题相关信息的有效编码和利用,优于Oja算法并适应非平稳环境。
2025-12-01 cs.LG stat.ML
Adaptive PCA-Based Outlier Detection for Multi-Feature Time Series in Space Missions
KTH Royal Institute of Technology, Computer Science Dept.(皇家理工学院);Johns Hopkins University Applied Physics Laboratory(约翰·霍普金斯大学应用物理实验室)
本文提出一种基于增量PCA重建误差的自适应异常检测算法,用于航天任务多特征时间序列的实时事件检测,并通过MMS和THEMIS数据验证了其有效性。
2025-10-23 cs.LG physics.space-ph
An Improved Gap-Dependency Analysis of the Noisy Power Method
Carnegie Mellon University(卡内基梅隆大学)
本文改进了噪声幂方法对谱间隙的依赖性,通过引入中间参数q,提升了样本复杂度和噪声容忍度的界限,应用于分布式隐私PCA和内存高效流PCA。
2016-02-23 cs.LG cs.NA math.NA
Robust Principal Component Analysis Based On Maximum Correntropy Power Iterations
Imperial College London(帝国理工学院)
主成分分析(PCA)被认为是描述数据集特征之间线性关系的典型数据分析技术。然而,PCA对非高斯样本和/或离群值的众所周知的敏感性通常使其在实践中不可靠。为此,一个强大的PCA公式推导出基于最大相关熵准则(MCC),以最大限度地提高高斯分布的重建误差的预期可能性。通过这种方式,所提出的解决方案减少到广义幂迭代,从而:(i)即使在存在离群值的情况下也可以获得主成分的鲁棒估计;(ii)不需要预先指定主成分的数量;以及(iii)可以获得整个主成分集合,这与现有方法不同。通过一个直观的数值算例说明了最大相关熵幂迭代法的优点。
2019-10-24 cs.IT cs.LG eess.SP
Distributed Differentially-Private Algorithms for Matrix and Tensor Factorization
Rutgers, The State University of New Jersey(罗格斯新泽西州立大学)
在许多信号处理和机器学习应用中,包含隐私信息的数据集被保存在不同的位置,这需要开发分布式隐私保护算法。张量和矩阵分解是许多处理管道的关键组件。在分布式环境中,差分隐私算法受到影响,因为它们引入了噪声来保证隐私。针对两种常用的矩阵和张量分解方法:主成分分析(PCA)和正交张量分解(OTD),设计了新的改进的分布式差分隐私算法。新算法采用相关噪声设计方案来减轻噪声的影响,并可以实现与集中式方案相同的噪声水平。合成和真实数据上的实验说明了相关噪声允许与集中式设置相匹配的性能的制度,优于以前的方法,并证明有意义的效用是可能的,同时保证差分隐私。
2018-04-26 cs.LG stat.ML
On the performance overhead tradeoff of distributed principal component analysis via data partitioning
主成分分析(PCA)不仅是一种基本的降维方法,也是一种广泛应用的网络异常检测技术。传统上,PCA是在一个集中式的方式,这对于大型的分布式系统具有较差的可扩展性,在融合中心收集分布式状态所需的大的网络带宽成本的原因。因此,最近的几项工作提出了各种分布式PCA算法,旨在减少PCA引起的通信开销,而不会失去其推理能力。本文评估了一个真实的域名系统(DNS)查询数据集从一个大型网络的通信成本和解决方案的质量之间的权衡两个分布式PCA算法。我们还将分布式PCA算法应用于网络异常检测领域,并证明了这两种基于分布式PCA的方法的检测精度在质量上几乎没有下降,但在通信带宽上实现了显着的节省。
2015-12-21 cs.DC cs.NI cs.PF
Distributed Mean Estimation with Limited Communication
Google(谷歌)
出于对低通信代价的分布式学习和优化算法的需求,我们研究了通信高效的分布式均值估计算法。与以前的作品不同,我们没有对数据进行概率假设。我们首先表明,$d$维度数据与$n$客户端,一个天真的随机二进制舍入方法产生的均方误差(MSE)的$Θ(d/n)$,并使用每个客户端的每个维度的位数恒定。然后,我们扩展这种天真的算法在两个方面:我们表明,应用结构化的随机旋转量化前减少了错误,以$\mathcal{O}((\log d)/n)$和更好的编码策略进一步减少了错误,以$\mathcal{O}(1/n)$,并使用每个客户端的每个维度的位数恒定。我们还表明,后者的编码策略是最佳的最大极小意义上的一个常数,即,它对于给定的通信成本实现了最佳的MSE。最后,我们证明了我们的算法的实用性,将它们应用到分布式劳埃德算法的k-均值和功率迭代PCA。
2017-09-25 cs.LG
Communication-efficient Algorithms for Distributed Stochastic Principal Component Analysis
Technion - Israel Institute of Technology(以色列理工学院);Weizmann Institute of Science(魏茨曼科学研究学院);Toyotoa Technological Institute at Chicago(芝加哥丰田技术研究所)
我们研究了主成分分析的基本问题,在统计分布设置中,每台机器的$m$存储的$n$点采样i.i.d.的样本。一个未知的分布。我们研究的算法,用于估计人口协方差矩阵的主要成分,都是通信效率和实现估计误差的集中式ERM解决方案,使用所有$mn$样本的顺序。在消极的一面,我们表明,在凸性假设下的分布估计得到的结果相比,PCA的目标,简单地平均本地ERM解决方案不能保证误差是一致的集中式ERM。我们表明,这种不幸的现象可以通过执行一个简单的校正步骤,其中相关的个别解决方案,并提供了一个估计,这是一致的集中式ERM的巨大的$n$。我们还介绍了一个迭代分布式算法,适用于任何政权的$n$,这是基于分布式矩阵向量产品。该算法给出了显着的加速通信轮在以前的分布式算法,在一个广泛的制度的参数。
2017-02-27 cs.LG
Multidimensional Analysis of Specific Language Impairment Using Unsupervised Learning Through PCA and Clustering
Northeastern University(东北大学)
本研究利用PCA与聚类对1163名儿童的语言特征进行无监督分析,发现SLI主要体现为语言产出能力下降而非句法复杂度缺陷,并支持语言能力连续体模型,为改进诊断与干预提供依据。
2025-06-05 cs.CL cs.LG
Robust Support Vector Machines for Speaker Verification Task
USTHB(阿尔及尔理工大学)
说话人确认的一个重要步骤是提取最能表征说话人语音的特征。本文研究了一种前端处理方法,旨在提高基于支持向量机分类器的文本独立模式下的说话人确认性能。该方法结合传统的梅尔倒谱系数(MFCC)和线性频谱频率(LSF)的基础上的功能,构成强大的多变量特征向量。为了减少训练这些特征向量所需的高维数,我们使用了一种称为主成分分析(PCA)的降维方法。为了评估这些系统的鲁棒性,已经使用了不同的噪声环境。使用TIMIT数据库获得的结果表明,使用结合这些光谱线索的范例导致验证精度的显着提高,特别是在低信噪比噪声环境下的PCA减少。
2013-06-12 cs.LG cs.SD stat.ML
Distributed Banach-Picard Iteration: Application to Distributed EM and Distributed PCA
在最近的工作中,我们提出了一个分布式的巴拿赫-皮卡德迭代(DBPI),允许一组代理,通过通信网络连接,找到一个不动点的局部收缩(LC)的地图,这是由所述代理持有的个人地图的平均。在这项工作中,我们建立在DBPI和它的本地线性收敛(LLC)的保证作出了一些贡献。我们表明,桑格算法的主成分分析(PCA)对应于迭代的LC地图,可以被写为本地地图的平均值,每个地图已知的每个代理持有的数据的子集。同样,我们表明,一个变量的期望最大化(EM)算法的参数估计从噪声和故障的测量传感器网络中可以被写为迭代的LC地图,这是平均的本地地图,每个可用在只有一个节点。因此,通过DBPI,我们得到两个分布式算法-分布式EM和分布式PCA -其LLC保证遵循那些我们证明了DBPI。EM的LC条件的验证具有挑战性,因为基础运算符取决于随机样本,因此LC条件具有概率性质。
2022-01-26 cs.DC math.OC
K-Nearest-Neighbors Induced Topological PCA for scRNA Sequence Data Analysis
Michigan State University(密歇根州立大学)
针对scRNA-seq数据稀疏且传统PCA无法捕捉多尺度几何结构的问题,提出结合持久拉普拉斯与L$_{2,1}$范数的kNN-tPCA降维方法,在11个基准数据集上显著优于UMAP、tSNE等无监督方法。
2023-10-23 cs.LG math.AT q-bio.QM
Disentangling Genotype and Environment Specific Latent Features for Improved Trait Prediction using a Compositional Autoencoder
Iowa State University(爱荷华州立大学);University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
本文提出组合自编码器 CAE,通过分层结构将高维表型数据解耦为基因型与环境特异性潜在特征,在玉米数据上显著提升关键性状预测性能。
2024-10-25 cs.AI cs.LG q-bio.GN
Generative Modelling of Stochastic Rotating Shallow Water Noise
Imperial College London(帝国理工学院)
本文提出用生成式模型替代PCA来校准随机旋转浅水模型中的噪声,避免对增量施加正态分布约束,实验表明噪声非高斯且生成式建模在RMSE、CRPS和秩直方图上表现良好。
2024-03-15 cs.LG cs.NA math.DS
Fault Detection and Identification Using a Novel Process Decomposition Algorithm for Distributed Process Monitoring
McMaster University, Department of Chemical Engineering(麦斯特大学化学工程系)
本文提出一种依据工艺流程与控制回路结构划分测量变量过程块的新型分解算法,结合块级PCA、贡献图与贝叶斯故障指数实现分布式故障检测、传播分析及源头定位,在Tennessee Eastman Plant基准上达到与复杂集中式或分布式方法相当的检测率,且易于工程实施。
2024-12-23 cs.LG cs.SY eess.SY
GradiVeQ: Vector Quantization for Bandwidth-Efficient Gradient Aggregation in Distributed CNN Training
University of Southern California(南加利福尼亚大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
数据并行可以提高卷积神经网络(CNN)的训练速度,但可能会受到梯度聚合导致的显著通信成本的影响。为了缓解这个问题,已经开发了几种标量量化技术来压缩梯度。但是,这些技术在与分散式聚合协议(如ring all-reduce(RAR))一起使用时可能表现不佳,主要是由于它们无法直接聚合压缩梯度。在本文中,我们经验性地证明了CNN梯度之间的强线性相关性,并提出了一种梯度矢量量化技术,命名为MARVeQ,利用这些相关性,通过主成分分析(PCA)大幅降低梯度维数。VeQ支持压缩梯度的直接聚合,因此允许我们构建一个分布式学习系统,将VeQ梯度压缩和RAR通信并行化。在流行的CNN上进行的大量实验表明,应用WARDVEQ将原始RAR的挂钟梯度聚合时间削减了5倍以上,而没有明显的准确性损失,并将端到端训练时间减少了近50%。实验结果还表明,该算法与量化SGD(Quantized SGD)等标量量化技术兼容,在相同压缩比下具有更高的加速增益。
2018-12-31 cs.DC cs.LG stat.ML
Opening the black-box of Neighbor Embedding with Hotelling's T2 statistic and Q-residuals
Software Competence Center Hagenberg(哈根贝格软件能力中心)
与用于高维数据集的探索性分析的经典技术(例如,主成分分析(PCA))相比,邻域嵌入(NE)技术倾向于更好地保留高维数据的局部结构/拓扑。然而,保持局部结构的能力是以牺牲可解释性为代价的:诸如t分布随机邻域嵌入(t-SNE)或均匀流形近似和投影(UMAP)等技术并不能深入了解哪些输入变量是对应嵌入中所见的拓扑(聚类)结构的基础。在这里,我们提出了不同的“技巧”从化学计量学领域的基础上PCA,Q-残差和霍特林的T2贡献结合新的可视化方法,以获得本地和全球的解释邻居嵌入。我们展示了我们的方法是如何能够识别数据点组之间的歧视性特征,这些数据点在使用标准单变量或多变量方法探索NE时仍然未被注意到。
2022-09-05 cs.LG stat.ML
Bandit Principal Component Analysis
Poznań University of Technology(波兹南理工大学);Universitat Pompeu Fabra(庞培法布拉大学)
我们认为一个部分反馈的变体,研究在线PCA问题,学习者试图预测一个序列的$d$维向量的二次损失,而只有有限的反馈环境的选择。我们专注于一个自然的概念,强盗反馈的学习者只观察到与自己的预测相关的损失。基于经典的观察,这个决策问题可以提升到密度矩阵的空间,我们提出了一个算法,该算法被证明在最坏的情况下,在$T$轮后实现$O(d^{3/2}\sqrt{T})$的遗憾。我们还证明了数据依赖的界限,改善的基本结果时,环境的损失矩阵有界秩或损失的最佳行动是有界的。我们的算法的一个版本在每次试验中运行$O(d)$时间,这大大改善了以前已知的在线PCA方法。我们补充这些结果的下限$Ω(d\sqrt{T})$。
2019-02-08 cs.LG stat.ML
Investigating Privacy Leakage in Dimensionality Reduction Methods via Reconstruction Attack
Chiang Mai University(恰iang Mai大学)
本文提出一种基于神经网络的降维重构攻击,在MNIST和NIH Chest X-ray数据集上评估六种降维方法,发现攻击对PCA和Isomap等确定性方法有效,对随机初始化方法无效,并验证了加性噪声可有效缓解攻击。
2025-06-02 cs.CR cs.LG
A Hybrid Quantum Classical Pipeline for X Ray Based Fracture Diagnosis
Central Research Laboratory, BEL(中央研究实验室,BEL)
针对传统X射线骨折诊断效率低、现有深度学习方案资源需求高的问题,提出融合PCA降维与4量子比特振幅编码特征增强的混合量子-经典流水线,在公开数据集上达99%准确率,性能比肩最优迁移学习模型且特征提取时间降82%。
2025-05-19 cs.CV cs.ET cs.LG
Task-Aware Network Coding Over Butterfly Network
Cornell University(康奈尔大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
网络编码允许诸如传感器的分布式信息源有效地压缩数据并将数据传输到带宽受限的网络上的分布式接收器。经典的网络编码在很大程度上是任务不可知的-编码方案主要旨在在接收器处忠实地重建数据,而不管接收到的数据用于什么最终任务。在本文中,我们分析了一个新的任务驱动的网络编码问题,分布式接收器通过机器学习(ML)任务,这提供了一个机会,以提高效率,通过传输显着的任务相关的数据表示传输数据。具体来说,我们制定了一个任务感知的网络编码问题在实坐标空间中的蝴蝶网络,通过主成分分析(PCA)的有损模拟压缩可以应用。给出了该问题的总损失函数的一个下界,并给出了达到该下界的充分必要条件。在一般情况下,我们引入ML算法来解决这个问题,我们的评估表明了任务感知网络编码的有效性。
2022-11-01 cs.IT cs.LG math.IT
Characterizing and Adapting the Consistency-Latency Tradeoff in Distributed Key-value Stores
CAP定理是适用于分布式存储系统的基本结果。在本文中,我们首先提出并证明了两个类CAP不可能定理。为了说明这些定理,我们提出了概率模型来描述CAP定理的三个重要元素:一致性(C),可用性或延迟(A)和分区容差(P)。这些定理显示了无法实现的包络,即,这三个模型的参数的组合使得它们不可能一起实现。接下来,我们提出了一类称为PCAP的系统的设计,其性能接近我们的定理所描述的包络。此外,这些系统允许在单个数据中心上运行的应用程序指定延迟SLA或一致性SLA。PCAP系统自动适应,实时和不断变化的网络条件下,以满足SLA,同时优化其他C/A指标。我们将PCAP合并到两个流行的键值存储中- Apache Cassandra和Riak。我们的实验与这两个部署,在现实的工作负载下,显示PCAP系统令人满意地满足SLA,并执行接近可实现的信封。我们还将PCAP从单个数据中心扩展到多个地理分布的数据中心。
2016-01-23 cs.DC
A Decentralized Framework for Kernel PCA with Projection Consensus Constraints
本文研究了核主成分分析在分散设置,其中数据分布观察与全功能的本地节点和融合中心是禁止的。与线性PCA相比,核函数的使用给分散一致性优化的设计带来了挑战:局部投影方向是数据依赖的。因此,分布式线性PCA中的一致性约束不再有效。为了克服这个问题,我们提出了一个投影共识约束,并获得了一个有效的分散共识框架,其中局部解被期望是全局解在局部数据集列空间上的投影。基于乘子交替方向法,我们还得到了一个完全非参数的快速收敛算法,该算法的每次迭代都是解析的,并且具有通信效率。在一个真正的并行结构上对真实数据进行了实验,结果表明,该算法能够有效地利用其他节点的信息,并且在运行时间上优于中心核PCA算法.
2022-11-29 cs.DC
Programmable Cellular Automata Based Efficient Parallel AES Encryption Algorithm
元胞自动机(CA)是一种离散计算模型,它为模拟复杂系统和进行基于邻域信息的复杂计算提供了简单、灵活、高效的平台。CA由两个部分组成:1)一组单元格和2)一组规则。可编程元胞自动机(PCA)是在元胞自动机(CA)结构上引入控制信号。可编程元胞自动机已成功地应用于生物系统、物理系统的模拟,最近还被用于设计解决任务密度和同步问题的并行和分布式算法。本文将PCA应用于密码算法的开发。本文研究了一种基于可编程元胞自动机的并行AES加密算法的密码体制。该算法基于对称密钥系统。
2011-12-09 cs.DC cs.NI nlin.CG
Sub-query Fragmentation for Query Analysis and Data Caching in the Distributed Environment
The National Archives(国家档案馆);University of Technology Sydney(悉尼科技大学)
当数据存储和用户在地理上分布时,必须在理想的位置组织分布式数据缓存点,以最大限度地减少数据传输。为了回答这个问题,我们正在开发一个自适应分布式数据缓存框架,它可以识别合适的数据块进行缓存,并在社区缓存位置网络中移动。
2019-10-11 cs.DB cs.DC cs.LG
RCD-SGD: Resource-Constrained Distributed SGD in Heterogeneous Environment via Submodular Partitioning
New York University(纽约大学);IBM Research(IBM研究院)
本文提出RCD-SGD框架,通过基于子模优化的数据划分算法在异构计算环境中兼顾资源差异与类别级特征分布,可将现有SOTA分布式训练算法加速最高32%。
2023-09-18 cs.DC cs.LG
Byzantine-Robust Distributed Online Learning: Taming Adversarial Participants in An Adversarial Environment
Sun Yat-Sen University(中山大学);George Mason University(乔治梅森大学)
该研究分析拜占庭攻击下的分布式在线学习,证明完全对抗环境中遗憾只能线性且紧,并提出在诚实损失 i.i.d. 时实现次线性随机遗憾的鲁棒动量算法。
2023-12-05 cs.DC cs.LG
Analytical Study of Object Components for Distributed and Ubiquitous Computing Environment
分布式对象计算是一种范例,它允许对象分布在异构网络上,并允许每个组件作为一个统一的整体进行互操作。新一代的分布式应用,如远程医疗和电子商务应用,正在部署在异构和无处不在的计算环境。本文的目的是探讨一种基于构件的服务在普适计算环境中的适用性。虽然各种分布式对象组件的基本结构是相似的,但存在差异,这些差异可能会深刻影响应用程序开发人员或分布式仿真练习的管理员,并在普适计算环境中实现。
2011-02-17 cs.DC
Triangular Dynamic Architecture for Distributed Computing in a LAN Environment
一个计算密集型的大型作业,粒度并发件和在动态环境中运行,应该减少总的处理时间。然而,在网络环境中分配作业是一项繁琐而困难的任务。基于三角动态体系结构的局域网作业分配是一种建立动态环境的机制,它以最少的用户交互为作业分配、负载均衡和分布式处理提供一个动态环境。本文介绍了TDA,讨论了它的体系结构,并显示了在分布式计算环境中利用这种体系结构所获得的好处。
2011-03-29 cs.DC
Cooperative and Distributed Localization for Wireless Sensor Networks in Multipath Environments
我们认为在无线网络中的多路径环境中,在每个传感器的到达信息的时间和角度的传感器定位的问题。我们提出了一个分布式算法的基础上的信念传播,它允许传感器合作自定位相对于一个单一的锚在多跳网络。该算法开销小,具有可扩展性.仿真结果表明,尽管网络存在环路,但该算法仍能收敛,并取得较好的定位精度。
2011-09-27 cs.DC
A collective of stateless automata in a $n$-dimensional environment as a distributed dynamic automaton-like object: a model and its corollaries
在这项工作中,集体的相互作用的无状态自动机在离散的几何$n$ -dimensional环境被认为是一个完整的自动机类计算动态对象。对于这种分布在环境对象上的不同方法来定义状态转换的度量是可能的。我们提出了一种定义什么是状态的方法。这种方法是基于庞加莱解释的相对性概念。
2010-12-10 cs.DC cs.FL
Programming Requests/Responses with GreatFree in the Cloud Environment
GreatFree编程请求是一种在云计算环境下实现分布式轮询的高效编程技术。GreatFree是一个分布式编程环境,通过它可以通过编程而不是配置或脚本来建立各种分布式系统。GreatFree强调编程的重要性,因为它为开发人员提供了利用其分布式知识和编程技能的机会。此外,编程是构造创造性的、自适应的和灵活的系统以适应各种分布式计算环境的唯一方式。在GreatFree代码级分布式基础架构模式、分布式操作模式和API的支持下,以可编程、快速和高度模式化的方式完成了困难的过程,即,编程行为被简化为复制-粘贴-替换的可重复操作。由于分布式轮询是构建分布式系统的基本技术之一,GreatFree为开发人员提供了相关的API和模式,以在新的编程环境中编写请求/响应。
2018-02-09 cs.DC cs.PL cs.SE
A Multi-agent Framework for Performance Tuning in Distributed Environment
本文提出了一个多代理框架的整体设计,用于调整在分布式环境中执行的应用程序的性能。多代理框架提供的服务,如资源代理,分析性能监控数据,本地调优和重新调度的情况下的任何性能问题的特定资源提供者。本文还简要介绍了该框架的部分实现。特别是,工作迁移的基础上,性能监测数据是特别强调在本文中。
2010-05-12 cs.DC
Rybu: Imperative-style Preprocessor for Verification of Distributed Systems in the Dedan Environment
分布式系统集成模型(IMDS)是为了描述和验证分布式系统,以及验证系统的死锁而提出的。在IMDS的基础上,建立了Dedan验证环境。通用死锁检测公式允许自动验证,而无需任何时态逻辑知识,这简化了验证过程。然而,遵循IMDS规则的输入语言对于许多用户来说似乎很奇怪。为此,Rybu预处理器被创建。它的目的是在更高的抽象层次上用命令式语言构建大型模型。
2017-10-07 cs.DC
Towards Predictive Replica Placement for Distributed Data Stores in Fog Environments
在雾环境中,消费和产生数据的移动客户端非常丰富。对这些数据的低延迟访问只能通过将其存储在客户端附近来实现。当前的数据存储系统不足,因为它们不基于客户端移动来复制数据。我们提出了一种方法来预测副本放置,自主和主动复制数据接近可能的客户端位置。
2021-08-24 cs.DC