Principal Ellipsoid Analysis (PEA): Efficient non-linear dimension reduction & clustering
即使随着过度参数化模型的流行，简单的降维和聚类方法，如PCA和k-means，仍然经常用于各种各样的设置。一个主要原因是简单性、可解释性和计算效率的结合。本文的重点是改进PCA和k-means，允许数据中的非线性关系和更灵活的聚类形状，而不牺牲关键优势。主要贡献是主椭圆分析（PEA）的新框架，定义了一个简单且计算效率高的PCA替代方案，通过数据拟合最佳椭圆近似。我们提供了理论保证，建议PEA算法使用Vapnik-Chervonenkis（VC）理论，以显示强一致性和统一的浓度范围。玩具实验说明了PEA的性能，以及适应非线性结构和复杂簇形状的能力。在丰富的各种实际数据聚类应用中，PEA被证明可以在简单数据集上与k-means一样好，同时在更复杂的设置中显着提高性能。
2020-09-07 stat.ME stat.ML
Graph filtering for data reduction and reconstruction
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
提出了一种新的方法，利用数据的相似性，量化在一个图上，以提高重建性能的主成分分析。数据降维和重构的任务被公式化为图过滤操作，使得能够通过邻接矩阵利用图中的数据节点的连通性。未知的减少和重建过滤器的确定，通过优化的均方误差成本，需要的数据，以及他们的图形邻接矩阵。在图谱域中工作使得能够导出用于更新矩阵滤波器抽头的简单梯度下降递归。在真实图像数据集上的数值实验表明，该方法的重建性能优于标准主成分分析。
2018-09-25 cs.LG stat.ML
A kernel Principal Component Analysis (kPCA) digest with a new backward mapping (pre-image reconstruction) strategy
Laboratori de Càlcul Numèric（数值计算实验室）；E.T.S. de Ingeniería de Caminos（道路工程高等技术学院）；Universitat Politècnica de Catalunya – BarcelonaTech（加泰罗尼亚理工大学-巴塞罗那技术学院）
多维约简的方法旨在发现数据范围内的低维流形。主成分分析（PCA）是一种有效的线性结构数据分析方法。但如果数据属于非线性低维流形，则无法识别可能的降维。对于非线性降维，核主成分分析（kPCA）由于其简单和易于实现而受到赞赏。该文件提供了一个简洁的审查PCA和kPCA的主要思想，试图收集在一个单一的文件方面，往往是分散的。此外，还设计了一种基于差异泛函最小化的降维到原高维空间的映射策略。
2021-01-13 cs.LG cs.NA math.NA
Dimension Reduction in Principal Component Analysis for Trees
树型结构数据的统计分析是统计学中的一个新课题，有着广泛的应用前景。一些主成分分析（PCA）的想法是以前开发的二叉树空间。在这项研究中，我们将这些想法扩展到更一般的空间的根和标记的树。我们重新定义的概念，如树线和前向主成分树线这个更一般的空间，并推广的最佳算法，找到他们。然后，我们开发了一个模拟的经典降维技术在PCA的树空间。为了做到这一点，我们定义了携带树数据集的最小变化量的成分，称为向后主成分。我们提出了一个最优算法来找到它们。此外，我们调查这些前向主成分的关系，并证明了前向和后向技术之间的路径无关性。我们将我们的方法应用于98名受试者的脑动脉数据集。利用我们的技术，我们调查了衰老如何影响男性和女性的脑动脉结构。我们还分析了美国一家大型公司的组织结构数据集，并探讨了公司内部不同类型部门的结构差异。
2012-02-10 stat.ME
Principal Covariate Regression with Nuclear Norm Penalty
Unit Methodology and Statistics, Institute of Psychology（方法学与统计单元，心理学研究所）；Leiden University（莱顿大学）
提出PcovRnnp方法，通过核范数惩罚同时实现高维数据中的降维和正则化回归，避免传统方法分步选择的缺陷。
2026-06-23 stat.ME
Analysis of Trade-offs in Fair Principal Component Analysis Based on Multi-objective Optimization
University of Campinas（坎皮纳斯大学）
在降维问题中，所采用的技术可能会产生不同组的表征误差之间的差异。例如，在投影空间中，一个特定的类可以比另一个类更好地表示。在某些情况下，这种不公平的结果可能会引起道德问题。为了克服这种不便，可以考虑公平性措施时，通过主成分分析进行降维。然而，增加公平性的解决方案往往会增加整体重建误差。在这种情况下，本文提出了一种基于多目标的方法来解决这种权衡。为此，我们采用了公平的措施与不同组的代表性错误之间的差距。此外，我们调查，如果一个经典的主成分分析的解决方案可以用来找到一个公平的投影。数值实验证明，一个更公平的结果，可以实现一个非常小的损失，在整体重建误差。
2022-10-03 cs.LG stat.ML
Maximum Margin Principal Components
University of Waikato（怀卡托大学）
主成分分析（PCA）是一种非常成功的降维技术，广泛应用于预测建模。其在该领域中广泛使用的一个关键因素是数据集到其第一$K$主成分上的投影使原始数据与所有可能秩$K$投影上的投影数据之间的平方误差之和最小化。因此，PCA为标准建模假设下的最小二乘线性回归提供了数据的最佳低秩表示。另一方面，当预测问题的损失函数不是最小二乘误差时，PCA通常是降维的启发式选择-特别是对于0 - 1损失下的分类问题。在本文中，我们的目标分类问题，提出了一个简单的替代PCA，旨在最大限度地减少原始数据和投影数据之间的利润分布的差异。大量的实验表明，我们的简单方法在分类误差方面通常优于任何特定数据集上的PCA，尽管这种差异并不总是统计学上显著的，尽管是一种过滤方法，但在广泛的数据集上经常与偏最小二乘（PLS）和Lasso竞争。
2017-05-17 cs.LG stat.ML
Convex Formulations for Fair Principal Component Analysis
UC Berkeley（加州大学伯克利分校）
虽然有越来越多的文献对监督学习的公平性，将公平性纳入无监督学习的问题还没有得到很好的研究。本文研究的背景下，主成分分析（PCA）的公平性。我们首先给出了降维的公平性的定义，并且我们的定义可以被解释为说，如果关于受保护类的信息（例如，种族或性别）不能从降维的数据点推断。接下来，我们开发凸优化公式，可以提高PCA和核PCA的公平性（相对于我们的定义）。这些配方是半定程序（SDP的），我们证明了我们的配方使用几个数据集的有效性。最后，我们展示了我们的方法可以用来执行一个公平的（相对于年龄）聚类的健康数据，可用于设置健康保险费率。
2018-11-12 cs.LG math.OC stat.ML
Principal component analysis balancing prediction and approximation accuracy for spatial data
针对多元空间数据降维忽略空间相关性和下游任务的问题，提出一种权衡逼近精度与预测效用的灵活降维算法，并推导出计算简单形式，在模拟及空气污染和空间转录组学应用中验证了性能。
2025-05-26 stat.CO stat.ME stat.ML
Implementation of the Principal Component Analysis onto High-Performance Computer Facilities for Hyperspectral Dimensionality Reduction: Results and Comparisons
Institute for Applied Microelectronics (IUMA), University of Las Palmas de Gran Canaria (ULPGC)（拉斯帕尔马斯大学应用微电子研究所）；Universidad Politecnica de Madrid（马德里理工大学）
本文将PCA算法实现于NVIDIA GPU和Kalray众核处理器以加速高光谱降维，并首次与基于FPGA的实现进行全面比较，揭示了各高性能计算平台的优缺点。
2024-03-27 cs.CV cs.LG
Online Distributed Estimation of Principal Eigenspaces
University of Florida（佛罗里达大学）
主成分分析（PCA）是一种应用广泛的降维技术。本文提出了一种在线分布式主特征空间恢复算法。我们进一步建立它的收敛速度，并显示它如何涉及到分布式计算中使用的节点数，所考虑的数据矩阵的有效秩，以及底层人口协方差阵的频谱中的差距。所提出的算法说明低秩近似和$\boldsymbol{k}$均值聚类任务。数值结果表明，一个显着的计算速度比标准的分布式PCA算法，而不影响学习精度。
2019-05-17 cs.LG stat.ML
Uncertainty-Aware Principal Component Analysis
University of Konstanz（康斯坦茨大学）；University of Stuttgart（斯图加特大学）
我们提出了一种技术来执行降维的数据，是受不确定性。我们的方法是传统的主成分分析（PCA）的多变量概率分布的推广。与非线性方法相比，线性降维技术具有这样的优点，即这种概率分布的特征在投影后保持不变。我们推导出PCA样本协方差矩阵的表示，该表示尊重每个输入中的潜在不确定性，构建了我们的新方法的数学基础：不确定性感知PCA。除了我们的方法在基于采样的策略上获得的准确性和性能外，我们的公式还允许我们对数据中的不确定性进行敏感性分析。为此，我们提出了一种新的可视化，使更好地了解所选择的主成分的不确定性的影响因素的痕迹。我们使用真实世界的数据集提供了我们的技术的多个例子。作为一种特殊情况，我们展示了如何通过PCA传播多元正态分布的封闭形式。此外，我们讨论了我们的方法的扩展和限制。
2019-08-01 cs.HC cs.LG stat.ML
Bayesian Nonlinear Principal Component Analysis Using Random Fields
Nanyang Technological University（南洋理工大学）
我们提出了一个新的模型，非线性降维的概率制定的主成分分析的动机。通过在潜在空间的不同位置指定不同的变换矩阵并使用马尔可夫随机场类型先验平滑变换来实现非线性。计算是可行的，最近的进展，从冯米塞斯-费舍尔分布抽样。
2008-02-09 cs.CV cs.LG
Sufficient Dimension Reduction for High-Dimensional Regression and Low-Dimensional Embedding: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一个教程和调查文件的各种方法充分降维（SDR）。我们涵盖了这些方法与统计高维回归的角度和机器学习的降维方法。我们首先介绍逆回归方法，包括切片逆回归（SIR），切片平均方差估计（SAVE），轮廓回归，方向回归，主拟合分量（PFC），Likestive Acquired Direction（LAD）和图形回归。然后，我们介绍了前向回归方法，包括主Hessian方向（pHd），最小平均方差估计（MAVE），条件方差估计（CVE）和深度SDR方法。最后，我们解释了核降维（KDR）的监督和无监督学习。我们还证明了监督KDR和监督PCA是等价的。
2021-10-18 cs.LG math.ST stat.ME
FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
主成分分析（PCA）是机器学习领域的一种基本数据预处理工具。虽然PCA通常被认为是一种降维方法，但PCA的目的实际上是双重的：降维和不相关特征学习。此外，现代数据集中的维度和样本大小的一致性使得集中式PCA解决方案无法使用。在这种情况下，本文重新考虑PCA的问题时，数据样本分布在任意连接的网络中的节点。虽然存在一些分布式PCA的解决方案，但这些解决方案要么忽略了PCA的不相关特征学习方面，要么往往具有高通信开销，这使得它们效率低下和/或缺乏“精确”或“全局”收敛保证。为了克服上述问题，本文提出了一种分布式PCA算法FAST-PCA（快速和精确的分布式PCA）。该算法在通信方面是有效的，并被证明是线性和精确地收敛到主成分，导致降维以及不相关的功能。实验结果进一步支持了这些说法。
2022-02-15 cs.DC cs.LG eess.SP
Dimensionality Reduction via Regression in Hyperspectral Imagery
Universitat de València（瓦伦西亚大学）
提出了一种新的无监督回归降维方法。该算法属于可逆变换家族，通过使用曲线而不是线性特征来推广主成分分析（PCA）。DRR通过多元回归识别非线性特征，以确保减少PCA系数之间的冗余，减少分数的方差，并减少重建误差。更重要的是，与其他非线性降维方法不同，可逆性，体积保持和直接的样本外扩展使得DRR具有可解释性和易于应用。DRR的性质使学习更广泛的一类数据流形比最近提出的非线性主成分分析（NLPCA）和主多项式分析（PPA）。我们说明了表现在减少遥感数据的维数。特别是，我们解决两个常见的问题：处理非常高维的光谱信息，如在高光谱图像探测数据，和处理多光谱图像的空间光谱图像补丁。这两种设置造成共线性和不确定性问题。的功能的表达能力的评价进行评估截断误差，估计大气变量，地表土地覆盖分类误差。结果表明，DRR优于线性PCA和最近提出的基于神经网络（NLPCA）和单变量回归（PPA）的可逆扩展。
2016-01-31 cs.CV stat.ML
Principal Moment Analysis
主矩分析是一种用于高维多变量数据降维、分析和可视化的方法。它概括了主成分分析，并允许显着的统计建模的灵活性，当近似一个未知的潜在概率分布，通过使一般近似测量的直接分析。通过https://principalmomentanalysis.github.io/，我们提供了一个实现，以及图形用户界面，一个基于单纯形的版本的主矩分析。
2020-03-09 math.ST stat.TH
Dimensionality Reduction for Binary Data through the Projection of Natural Parameters
二进制数据的主成分分析（PCA），称为逻辑PCA，已经成为二进制数据降维的一种流行的替代方法。它的动机是通过矩阵分解，类似于奇异值分解，最大化伯努利对数似然的普通PCA的扩展。我们提出了一个新的制剂的逻辑PCA扩展皮尔逊的制定低维数据表示与最小误差的二进制数据。我们的公式不需要矩阵分解，因为以前的方法，而是寻找从饱和模型的自然参数的投影。由于这种差异，参数的数量不会随着观测值的数量而增加，并且可以通过简单的矩阵乘法来计算新数据的主成分得分。我们推导出特殊结构的数据矩阵的显式解决方案，并提供计算效率高的算法求解主成分负荷。通过模拟实验和对医疗诊断数据的分析，我们将我们的逻辑PCA公式与以前的公式以及普通PCA进行了比较，以证明其优点。
2015-10-21 stat.ME stat.ML
Probabilistic Geometric Principal Component Analysis with application to neural data
Department of Electrical and Computer Engineering（电气与计算机工程系）；Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
本文提出概率几何主成分分析（PGPCA），将 PPCA 推广到非线性流形场景，通过引入几何坐标系和 EM 算法实现降维与数据分布建模，并在模拟和神经数据上验证其优于 PPCA。
2025-09-22 cs.LG q-bio.NC stat.ML
Principal Polynomial Analysis
本文提出了一种新的流形学习框架，基于一系列的主要多项式，捕捉可能的非线性性质的数据。建议的主多项式分析（PPA）推广PCA建模的最大方差的方向，通过曲线，而不是直线。与以前的方法不同，PPA减少到执行简单的单变量回归，这使得它在计算上是可行的和鲁棒的。此外，PPA显示了一些有趣的分析性质。首先，PPA是一个保体积映射，这反过来保证了逆的存在性。第二，这样的逆可以以封闭形式获得。与其他学习方法相比，可逆性是一个重要的优势，因为它允许理解数据具有物理意义的输入域中的识别特征。此外，它允许在合理的（输入域）单元中评估降维的性能。体积保持还允许信息理论量的容易计算，诸如变换之后的多信息的减少。第三，PPA的分析性质导致了流形的清晰几何解释：它允许计算Frenet-Serret框架（局部特征）和空间任何点的广义曲率。第四，分析雅可比矩阵允许计算由数据引起的度量，从而推广了马氏距离。这些特性的理论和实验证明。PPA的性能进行了评估，在维数和冗余减少，在合成和真实的数据集从UCI存储库。
2016-01-31 stat.ML
Tutorial on principal component analysis, with applications in R
本教程回顾了多元数据集的主成分分析的主要步骤，以及随后在确定主导主成分的基础上进行的降维。底层计算通过统计软件包R中编写的脚本进行演示和执行。
2021-12-08 stat.AP stat.OT
Scaled torus principal component analysis
降维的一个特别具有挑战性的背景是多变量循环数据，即，数据由圆环面支撑。这样的数据出现，例如，在生态学和天文学以及分子结构的各种现象的分析。本文介绍了一种新的方法--尺度环面主成分分析（ST-PCA）。ST-PCA找到从环面到相同尺寸和一定半径的球体的数据驱动映射。该地图是用多维缩放来构造的，以最大限度地减少两个空间中成对测地线距离之间的差异。然后，ST-PCA采用主嵌套球体来获得最适合数据的子球体的嵌套序列，然后可以将其反转回环面。数值实验说明了如何使用ST-PCA对低维鸟居实现有意义的降维，特别是用于簇分离的目的，而天文学（三维环面）和分子生物学（七维环面）中的两个数据应用表明，ST-PCA优于所研究数据集的现有方法。
2021-10-10 stat.ME
Principal subbundles for dimension reduction
Université Côte d’Azur（蔚蓝海岸大学）；INRIA（法国国家信息与自动化研究所）；University of Copenhagen（哥本哈根大学）；University of Bergen（卑尔根大学）
本文提出主子丛方法，将局部PCA近似组合为秩k切子丛并诱导次黎曼度量，利用次黎曼测地线实现子流形重建、低维表示与距离计算，且对噪声鲁棒并可推广到已知黎曼流形。
2023-07-06 cs.CV cs.LG math.DG
A Robust Optimization Approach to Sparse Principal Component Analysis
Uppsala University, Sweden（乌普萨拉大学，瑞典）；PSL Research University / INRIA, France（巴黎社会科学大学 / INRIA，法国）；Science for Life Laboratory, Sweden（生命科学实验室，瑞典）
提出AdvPCA方法，通过鲁棒优化在重建目标中引入最坏情况潜在空间扰动实现稀疏性，并给出闭式解和迭代算法。
2026-06-02 cs.LG math.OC stat.ML
HoroPCA: Hyperbolic Dimensionality Reduction via Horospherical Projections
Stanford University（斯坦福大学）
本文研究了双曲空间中数据的主成分分析。给定方向，PCA依赖于：（1）由这些方向跨越的子空间的参数化，（2）在这些方向上保留信息的子空间上的投影方法，以及（3）优化目标，即投影解释的方差。我们推广这些概念的双曲空间，并提出HoroPCA，双曲型降维的方法。通过专注于提取主方向的核心问题，HoroPCA理论上更好地保留了原始数据中的信息，如距离，与以前的PCA概括相比。从经验上讲，我们验证了HoroPCA优于现有的降维方法，显着减少了距离保持的错误。作为一种数据白化方法，与不使用白化的方法相比，它将下游分类提高了3.9%。最后，我们证明了HoroPCA可以用于二维双曲数据的可视化。
2021-06-07 cs.LG
Corrected kernel principal component analysis for model structural change detection
本文提出利用 CKPCA 构建中心分布偏差子空间以检测模型结构变化，证明其可保留变化位置与数量，并扩展至聚类，实验表明降维方法显著提升有限样本性能。
2023-07-15 stat.ME
Best Subset Solution Path for Linear Dimension Reduction Models using Continuous Optimization
本文针对高维数据中主成分分析和偏最小二乘的变量选择与可解释性问题，提出将最佳子集解路径方法与连续优化算法相结合，并通过模拟和两个真实数据集验证了方法的有效性。
2024-03-29 stat.CO stat.ME stat.OT
Bearings Fault Detection Using Hidden Markov Models and Principal Component Analysis Enhanced Features
Alexandria University（亚历山大大学）；Egypt-Japan University of Science and Technology (E-JUST)（埃及日本科学技术大学）
资产运行状况监控对于生产力、可靠性和成本降低的重要性日益增加。早期故障检测是作为新兴的预测和健康管理（PHM）哲学的一部分的健康管理的基石。本文提出了一种隐马尔可夫模型（HMM）来评估机器的健康退化。采用主成分分析（PCA）对振动信号进行特征增强。增强的特征捕获数据的二阶结构。基于轴承试验台的实验结果表明了该方法的可行性。
2021-04-21 cs.LG cs.LO
Assessing the impact of dimensionality reduction on clustering performance - a systematic study
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Mila - Quebec AI Institute（魁北克AI研究所）
本文系统研究了五种降维方法对四种聚类算法的影响，通过调整降维级别评估聚类质量，强调了选择合适降维技术和级别的重要性。
2026-09-24 cs.LG
Dynamic Functional Principal Component
在本文中，我们解决的问题，降维的时间序列的功能数据$(X_t\colon t\in\mathbb{Z})$。这种{ \it功能性时间序列}频繁出现，例如，当一个连续时间过程被分割成一些更小的自然单位时，如天。则每个~ $X_t$代表一条日内曲线。我们认为，功能主成分分析（FPCA），虽然在该领域的关键技术和任何竞争对手的基准，不提供一个足够的降维时间序列设置。FPCA实际上是一个{ \it static}过程，它忽略了所研究的函数数据的串行依赖结构所提供的基本信息。因此，受Brillinger的{ \it dynamic principal components}理论的启发，我们提出了一种基于频域方法的{ \it dynamic}版本的FPCA。通过模拟研究和实证说明，我们显示了相当大的改进的动态方法需要相比，通常的静态过程。
2015-06-02 math.ST stat.ME stat.TH
Thresholded Multivariate Principal Component Analysis for Multi-channel Profile Monitoring
监测多通道配置文件在制造系统改进中具有重要的应用，但由于两个主要挑战，开发有效的统计方法并非易事。首先，配置文件是高维的功能数据与内在的内部和通道间的相关性，需要开发一种降维方法，可以处理这种复杂的相关性，有效的监测。第二个，可能是更基本的挑战是，多通道轮廓的功能结构可能会随着时间的推移而改变，因此，降维方法应该能够自动考虑潜在的未知变化。为了解决这两个挑战，我们提出了一种新的阈值多变量主成分分析（PCA）方法多通道轮廓监测。我们提出的方法包括两个步骤的降维：它首先应用功能PCA提取一个合理的大量的功能正常操作（在控制）状态下，然后使用软阈值技术，以进一步选择显着的功能捕捉轮廓信息的失控状态。软阈值的调整参数的选择提供了渐近分析的基础上，并进行了广泛的仿真研究，以说明我们提出的阈值PCA方法的有效性。
2016-03-16 stat.AP
MML Probabilistic Principal Component Analysis
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）
本文提出基于贝叶斯最小信息量方法的自动主成分选择算法，并改进了残差方差估计方法，扩展至有限混合模型。
2026-11-10 stat.ME
Prescriptive PCA: Dimensionality Reduction for Two-stage Stochastic Optimization
George Washington University（乔治华盛顿大学）；Georgetown University（乔治城大学）
针对上游降维与下游随机优化不对齐的问题，提出Prescriptive PCA处方性降维框架，通过分布鲁棒优化及半定规划松弛最小化优化次优性，在两类问题的实验中性能显著优于PCA。
2023-06-04 cs.LG math.OC
Adjusting systematic bias in high dimensional principal component scores
主成分分析一直是高维数据降维的有力工具。我们假设一个方差发散模型，并使用高维，低样本量的渐近性，即使主成分方向是不一致的，样本和预测的主成分得分可以在揭示人口结构是有用的。我们进一步表明，这些分数是有偏见的，和偏见是渐近分解成旋转和缩放部分。我们提出的方法，偏差调整，被证明是一致的，并在高维的情况下，小样本量。在分类设置中证明了偏差调整的潜在优势。
2020-09-25 math.ST stat.TH
Efficient Data Reduction Via PCA-Guided Quantile Based Sampling
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
PCA-QS通过主成分分析与分位数采样结合，实现高效数据降维，降低均方误差并保留关键数据特征。
2026-01-10 stat.AP stat.CO
Principal component analysis for big data
大数据正在改变我们的世界，彻底改变从金融工程到生物医学科学的运营和分析。大数据的复杂性往往使得降维技术在进行统计推断之前成为必要。主成分分析，通常称为PCA，已成为多变量数据分析和无监督降维的重要工具，其目标是找到一个低维子空间，捕获数据集中的大部分变化。本文概述了PCA在过去十年中的方法和理论发展，重点介绍了其在大数据分析中的应用。我们首先回顾了PCA的数学表述和理论发展的角度扰动分析。然后简要讨论了主成分分析与因子分析的关系及其在大协方差估计和多重检验中的应用。PCA在许多现代机器学习问题中也有重要的应用，本文主要研究了社区检测、排序、混合模型和流形学习。
2018-01-05 stat.ME
Extrinsic Principal Component Analysis
本文提出外在主成分分析方法，通过将流形嵌入数值空间并利用弦距离，实现高维乃至无限维数据的快速降维，并在轮廓形状数据上验证了其有效性。
2024-10-03 stat.ME
Principal Component Analysis in an Asymmetric Norm
主成分分析（PCA）是一种广泛应用于高维数据分析的降维工具。它以不同的名称用于信号处理、机械工程、心理测量学和其他领域。它仍然具有相同的数学思想：将高维对象的变化分解为不相关的因素或组件。然而，在上述许多应用中，人们感兴趣的是捕获数据的尾部变量，而不是平均值周围的变化。这些应用包括与天气相关的事件曲线、预期短缺和超速分析等。这些都是高维的尾巴对象，人们想在PCA的方式研究。尾部特征要求在非对称范数下而不是经典的$L_2$型正交投影下进行降维。我们开发了一个类似的PCA在一个不对称的规范。这些规范涵盖了分位数和期望值，这是另一种尾部事件度量。困难的是没有自然的基础，没有“主成分”，$k$维子空间找到.我们提出了两个主成分的定义，并提供基于迭代最小二乘法的算法.我们证明了他们的收敛时间上界，并在模拟研究中比较他们的表现。我们将这些算法应用于中国天气数据集，以期为天气衍生品定价
2014-01-14 math.OC stat.AP stat.ME
Principal Component Analysis: A Generalized Gini Approach
提出了一种基于广义基尼相关指数的主成分分析方法（Gini PCA）。Gini PCA是基于方差的标准PCA的推广。它示出，在高斯的情况下，标准的PCA是等效的基尼PCA。它还证明了基于广义基尼相关矩阵的降维，依赖于城市街区的距离，是强大的离群值。蒙特卡罗模拟和应用程序的汽车数据（离群值）显示了基尼PCA的鲁棒性，并提供不同的解释相比，方差PCA的结果。
2019-10-22 econ.EM stat.CO stat.ME
Supervised dimensionality reduction for multiple imputation by chained equations
本文提出将监督降维与链式方程多重插补（MICE）相结合，利用待插补变量信息改进主成分估计，并通过模拟研究验证其优于经典无监督PCA的统计性能。
2023-10-31 stat.CO stat.ME
Generalized Integrative Principal Component Analysis for Multi-Type Data with Block-Wise Missing Structure
高维多源数据在很多领域都是经常遇到的。尽管最近在这种数据的综合降维方面取得了进展，但大多数现有方法不能容易地适应多种类型的数据（例如，二进制或计数值）。此外，多源数据通常具有分块缺失结构，即，对于样本，一个或多个源中的数据可能是完全不可观测的。异构数据类型和块级缺失数据的存在对多源数据的集成和进一步的统计分析提出了重大挑战。在本文中，我们开发了一种低秩的方法，称为广义综合主成分分析（GIPCA），同时降维和填补多源块式缺失数据，其中不同的来源可能有不同的数据类型。我们还设计了一个自适应的BIC标准的秩估计。综合仿真研究表明，所提出的方法在秩估计，信号恢复，和缺失数据填补的有效性。我们将GIPCA应用于死亡率研究。我们实现了准确的块式缺失数据插补，并确定了有趣的潜在死亡率模式与社会学的相关性。
2018-08-07 stat.ME
Cauchy robust principal component analysis with applications to high-deimensional data sets
主成分分析（PCA）是一种标准的降维技术，用于各种研究和应用领域。从算法的角度来看，经典的PCA可以用多变量高斯似然运算来表示。作为隐含高斯公式的结果，主成分对离群值不具有鲁棒性。在本文中，我们提出了一个修改后的配方，基于使用的多元柯西似然，而不是高斯似然，它具有鲁棒的主成分的效果。我们提出了一个算法来计算这些鲁棒主成分。我们还推导出第一个组件的相关影响函数，并检查其理论性质。在高维数据集上的仿真实验表明，基于柯西似然估计的主成分优于或等同于现有的鲁棒PCA技术。
2022-11-06 stat.ME
Variable-Projection Sparse Functional Principal Component Analysis: Interpretable Functional Dimensionality Reduction with Applications to Raman Spectral Data
Institute of Mathematical Sciences, Faculty of Science, Universiti Malaya（马来亚大学理学院数学科学研究所）；Centre of Research for Statistical Modelling and Methodology, Faculty of Science, Universiti Malaya（马来亚大学理学院统计建模与方法研究中心）；School of Mathematics and Statistics, University of Glasgow（格拉斯哥大学数学与统计学院）；Univ. Lille, CNRS, UMR 8524 – Laboratoire Paul Painlevé, Inria-Datavers（里尔大学、法国国家科学研究中心UMR 8524保罗·潘勒瓦实验室、Inria-Datavers）
针对FPCA难以识别局部变异区域的问题，提出变量投影稀疏FPCA，通过稀疏权重函数实现可解释降维，在模拟和SERS数据中兼顾计算效率与重构精度。
2026-09-17 stat.ME
Principal Component Analysis in the Graph Frequency Domain
提出图频域主成分分析方法，通过闭式重构降低多变量图信号维度并引入图谱包络识别公共频率，经模拟与首尔地铁数据验证有效。
2024-10-10 stat.ME
Sparse principal component analysis and iterative thresholding
主成分分析（PCA）是一种经典的降维方法，它将数据投影到由协方差阵的前导特征向量所构成的主子空间上。然而，当特征数量p与样本量n相当或甚至比其大得多时，其表现较差。在本文中，我们提出了一个新的迭代阈值方法估计主子空间的设置中的领导特征向量稀疏。在尖峰协方差模型下，我们发现新方法在一系列高维稀疏设置中一致地恢复了主子空间和前导特征向量，甚至是最优的。仿真算例也证明了该算法的优越性。
2013-05-24 math.ST stat.ME stat.TH
Truncated Gaussian copula principal component analysis with application to pediatric acute lymphoblastic leukemia patients' gut microbiome
针对微生物组数据偏态、零膨胀的特点，提出基于截断潜高斯copula的半参数PCA降维方法，模拟和儿童急性淋巴细胞白血病肠道微生物组应用均验证其更优性能，可揭示化疗前菌群与化疗不良事件的关联。
2025-05-18 stat.ME
Regression based thresholds in principal loading analysis
主载荷分析是一种降维方法，它丢弃对协方差阵只有很小失真影响的变量。作为一种特殊情况，主载荷分析丢弃与其余变量不相关的变量。另一方面，在多元线性回归中，既不与其余预测因子相关也不与因变量相关的预测因子具有等于零的回归系数。因此，如果目标是选择多个预测变量，则丢弃不相关的变量，因为它也在主载荷分析中完成。然而，这两种方法选择相同的变量不仅发生在零相关的特殊情况下。我们贡献的条件下，这两种方法共享相同的变量选择。此外，我们扩展了这些条件，提供了一个选择的阈值在主负荷分析，只遵循建议的基础上模拟结果到目前为止。
2022-03-21 econ.EM math.ST stat.TH
Quantifying the Estimation Error of Principal Components
主成分分析是一种重要的模式识别和降维工具。主成分被计算为最大似然协方差$\widehatΣ$的特征向量，该最大似然协方差近似于总体协方差$Σ$，并且这些特征向量通常用于提取关于所研究的总体的变量（或属性）的结构信息。由于PCA基于代理协方差$\widehatΣ$的特征分解，而不是地面实况$Σ$，因此理解每个个体特征向量中的近似误差作为可用样本数量的函数是很重要的。Kolchinskii和Lounici最近的结果给出了这样的界限。在本文中，我们锐化这些界限，并表明，特征向量往往可以重建到所需的精度从一个样本的严格较小的大小顺序。
2017-10-27 math.ST stat.TH
Distributed estimation of principal support vector machines for sufficient dimension reduction
East China Normal University（华东师范大学）
主支持向量机方法（Li等人，2011）是一个强大的工具，充分的降维，取代原来的预测与他们的低维线性组合，而不会丢失信息。然而，主支持向量机方法的计算负担限制了其在海量数据中的应用。为了解决这个问题，我们在本文中提出了两个分布式估计算法的快速实现时，样本量是大的。这两种分布充分降维估计量具有与合并所有数据相同的统计效率，为它们在大规模数据集上的应用提供了严格的统计保证。这两种分布式算法进一步适用于主加权支持向量机（Shin等人，2016）用于在二进制分类中充分的降维。我们提出的方法的统计精度和计算复杂性进行了检查，通过全面的模拟研究和实际数据应用超过60万个样本。
2019-11-28 cs.LG math.ST stat.ML
Sufficient dimension reduction for classification using principal optimal transport direction
Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；Center for Statistical Science, Tsinghua University（清华大学统计科学中心）；Department of Statistics, University of Georgia（佐治亚大学统计系）
充分降维作为一种有监督的降维方法被广泛使用。现有的大多数充分降维方法都是针对连续响应的数据开发的，并且对于分类响应，特别是对于二进制响应，可能具有不令人满意的性能。为了解决这个问题，我们提出了一种新的估计方法，充分降维子空间（SDR子空间）使用最佳运输。所提出的方法，命名为主最优传输方向（POTD），估计SDR子空间的基础上使用的最优传输耦合的数据之间的主方向尊重不同的响应类别。所提出的方法还揭示了三个看似无关的主题之间的关系，即，充分降维、支持向量机和最优传输。我们研究了POTD的渐近性质，并表明，在类标签不包含错误的情况下，POTD估计SDR子空间排他。实证研究表明，POTD优于大多数最先进的线性降维方法。
2021-02-02 cs.LG stat.ME stat.ML
Dimensionality Reduction of Collective Motion by Principal Manifolds
Department of Mathematics, Clarkson University, Potsdam, NY-13699, USA.（数学系，克林顿大学，Potsdam分校）；Department of Mechanical and Aerospace Engineering, New York University Polytechnic School of Engineering, Brooklyn, NY-11201, USA.（机械与航空航天工程系，纽约大学理工学院，布鲁克林分校）
本文提出基于立方平滑样条构建二维主流形的方法，用于降维分析集体运动数据，保留原始结构并优于现有非线性降维方法。
2015-08-13 cs.LG cs.MA cs.NA
Principal Manifolds and Nonlinear Dimension Reduction via Local Tangent Space Alignment
从无序数据点学习非线性流形是一个非常具有挑战性的无监督学习和数据可视化问题，具有广泛的应用前景。本文提出了一种新的流形学习和非线性降维算法。基于一组无组织的数据点采样与噪声从流形，我们表示的局部几何形状的流形使用切空间通过拟合仿射子空间在每个数据点的邻域学习。这些切空间被对齐，以通过邻域连接矩阵的部分特征分解给出数据点相对于底层流形的内部全局坐标。我们提出了一个仔细的误差分析，我们的算法，并表明重建误差是二阶精度。我们说明我们的算法使用曲线和曲面在2D/3D和更高维的欧氏空间，和64 × 64像素的人脸图像与各种姿势和照明条件。我们还解决了一些理论和算法问题，为进一步的研究和改进。
2002-12-07 cs.AI cs.LG
LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning
University of California, Berkeley, CA, USA（加州大学伯克利分校）；International Computer Science Institute, CA, USA（国际计算机科学研究所）；Lawrence Berkeley National Laboratory, CA, USA（伯克利国家实验室）；Dartmouth College, NH, USA（达特茅斯学院）；University of Exeter, Exeter, UK（埃克塞特大学）；University of Oxford, Oxford, UK（牛津大学）；University of Surrey, Guildford, UK（萨里大学）；Tsinghua University, China（清华大学）；Eindhoven University of Technology, the Netherlands（埃因霍温理工大学）
本文提出LIFT方法，通过秩减少后选取主权重进行微调，提升推理能力，同时保持内存效率，优于全微调和LoRA。
2026-04-18 cs.AI cs.CL cs.LG
