A unified framework of principal component analysis and factor analysis
本文提出一个连接主成分分析与因子分析的统一框架，从损失函数最小化视角将两者视为特定损失函数下矩阵优化问题的解，并探讨了相关算法与模型，为数据分析提供新工具。
2024-05-30 stat.ME
Penalized mixed models to adjust for batch effects and unobserved confounding in high dimensional regression
针对高维回归中的未观测混杂与批次效应，提出可分离量化信号、偏差和变异的框架，并通过系统模拟比较 LASSO、PC-LASSO 与 PLMM，发现 PLMM 总体最稳健。
2025-10-03 stat.ME
Penalized versus constrained generalized eigenvalue problems
我们调查之间的差异使用$\ell_1$罚款与$\ell_1$约束的广义特征值问题，如主成分分析和判别分析。我们的主要发现是，一个$\ell_1$罚款可能无法提供非常稀疏的解决方案，变量选择，可以通过使用$\ell_1$约束补救的严重缺点。我们的主张得到了经验证据和理论分析的支持。最后，我们说明了一个$\ell_1$约束条件下的判别分析和主成分分析的优势。
2015-05-04 stat.CO stat.ML
Principal Component Analysis of Two-dimensional Functional Data with Serial Correlation
本文提出一种基于二元样条、自回归随机效应和EM算法的新模型，用于分析非矩形区域上稀疏不规则观测的序列相关二维函数型数据，并通过模拟与德州百年温度数据验证其有效性。
2023-12-07 stat.ME
Cross-product Penalized Component Analysis (XCAN)
University of Granada（格拉纳达大学）；Simula Metropolitan Center for Digital Engineering（Simula大都会数字工程中心）；University of Copenhagen（哥本哈根大学）
矩阵分解方法被广泛用于理解复杂数据。在本文中，我们介绍了叉积惩罚分量分析（XCAN），这是一种基于损失函数优化的稀疏矩阵因子分解，允许在方差最大化和结构保留之间进行权衡。该方法是基于以前的发展，特别是（i）稀疏主成分分析（SPCA）框架的基础上的LASSO，（ii）扩展的SPCA约束两种模式的因子分解，如共同聚类或惩罚矩阵分解（PMD），和（iii）组明智的主成分分析（GPCA）方法。其结果是一种灵活的建模方法，可用于各种问题的数据探索。我们展示了它的使用与来自不同学科的应用程序。
2019-06-28 cs.LG stat.ML
AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow
Big Data Lab, Baidu Research（百度研究院大数据实验室）；School of Artificial Intelligence and Automation Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
主成分分析（PCA）作为一种有效的特征提取和降维技术得到了广泛的应用。在高维低样本量（HDLSS）设置中，人们可能更喜欢修改的主成分，带有惩罚载荷，并通过在这些不同模型中使用不同的惩罚来实现模型选择，从而实现自动惩罚选择。早期的工作[1，2]提出了惩罚主成分分析，指出了$L_2$ -惩罚主成分分析通过岭回归的求解路径进行模型选择的可行性，但由于矩阵求逆的计算量大，非常耗时。在本文中，我们提出了一种快速的惩罚PCA模型选择方法，称为近似梯度流（AgFlow），它通过引入（随机）梯度流[3，4]引入的隐式正则化效应来降低计算复杂度，并在不同的$L_2$ -正则化下获得$L_2$ -惩罚PCA的完整解路径。我们在真实世界的数据集上进行了大量的实验。AgFlow在计算成本方面优于现有方法（Oja [5]，Power [6]和Shamir [7]以及vanilla Ridge估计器）。
2021-10-07 cs.LG stat.ML
Rank-Based Sparse Regression in Principal Components Space under Measurement Error
Nankai University（南开大学）；Beijing Normal University（北京师范大学）；Hong Kong Baptist University（香港浸会大学）
本文研究了在预测变量存在加性测量误差且响应误差可能重尾的情况下，主成分空间中的高维回归问题，提出基于Wilcoxon型排名损失的稀疏回归方法，结合一阶自适应加权方案，提升鲁棒性和稳定性。
2026-04-06 stat.ME
SPPCSO: Adaptive Penalized Estimation Method for High-Dimensional Correlated Data
College of Mathematics and Statistics, Chongqing University（重庆大学数学与统计学院）
SPPCSO通过结合主成分回归和L1正则化，自适应调整收缩因子，有效解决高维相关数据中的多重共线性问题，提升模型稳定性与预测准确性。
2026-03-06 cs.LG stat.ML
Integrated Principal Components Analysis
数据集成，或同时对多个数据源进行战略分析，通常会导致可能隐藏在单个数据源的个性化分析中的发现。我们开发了一种新的无监督数据集成方法集成主成分分析（iPCA），这是一个基于模型的推广PCA，并作为一个实用的工具，发现和可视化发生在多个数据集的共同模式。驱动iPCA的关键思想是矩阵变量正态模型，其Kronecker乘积协方差结构捕获每个数据集内的单个模式和多个数据集共享的联合模式。在此模型的基础上，我们开发了几个惩罚（稀疏和非稀疏）的协方差估计iPCA，并使用测地凸性，我们证明了我们的非稀疏iPCA估计收敛到非凸问题的全局解。我们还通过广泛的模拟和案例研究应用到阿尔茨海默病的综合基因组学中，展示了iPCA的实际优势。特别是，我们表明，通过iPCA提取的联合模式是高度预测患者的认知和阿尔茨海默氏症的诊断。
2021-04-03 stat.ME
Functional principal component analysis with informative observation times
本文针对观测时间与纵向结局相关的信息性观测问题，提出基于逆强度加权和加权惩罚样条的函数型主成分分析方法，建立了估计量的一致性与收敛速度，并通过模拟和实际数据验证其优于现有方法。
2024-10-04 stat.ME
Flexible Principal Component Analysis for Exponential Family Distributions
传统的主成分分析（PCA）在高维数据分析中是众所周知的，但它要求用具有连续观测值的矩阵来表示数据。为了克服这些局限性，提出了一种指数族分布的柔性主成分分析（FPCA）方法。我们的目标是确保它可以实现到任意形状的区域，无论是计数或连续观察。FPCA方法是在广义线性模型的框架下发展起来的。它为FPCA提供了统计模型，而不局限于数据的矩阵表示。提出了一种极大似然方法，当主成分（PC）的数量是已知的，以获得分解。这自然会导致惩罚似然方法来确定PC的数量时，它是未知的。针对缺失数据问题进行了改进，并与以往的缺失数据主成分分析方法进行了比较。仿真研究表明，FPCA的性能始终优于其竞争对手。该应用程序使用所提出的方法分别在正态分布和泊松分布下降低图像的任意形状子区域的维数和COVID-19的全球传播模式。
2021-08-16 stat.ME
Efficient Penalized Generalized Linear Mixed Models for Variable Selection and Genetic Risk Prediction in High-Dimensional Data
稀疏正则化回归方法现在被广泛用于全基因组关联研究（GWAS），以解决限制发现潜在重要预测因子的多重检验负担。线性混合模型（Linear mixed models，简称LMM）是一种有效的替代主成分（principal components，简称PC）调整的方法。然而，它们在二元性状GWAS中的使用依赖于无效的假设，即残差方差不依赖于估计的回归系数。此外，Lemp使用响应的协方差阵的单个谱分解，这在广义线性混合模型（GLemp）中不再可能。我们介绍了一种新的方法，称为pglmm，一个惩罚GLMM，允许同时选择遗传标记和估计其影响，占个体间的相关性和二进制性质的性状。我们开发了一种基于PQL估计的计算效率高的算法，该算法允许在高维二进制性状GWAS（~ 300，000 SNP）上缩放正则化混合模型。我们通过模拟结果表明，惩罚LMM和逻辑斯谛回归与PC调整未能正确选择重要的预测因子和/或预测精度下降的二元响应时，相关性矩阵的维数是高的pglmm相比。此外，我们通过分析英国生物银行数据中的两个多基因二元性状证明，我们的方法可以实现更高的预测性能，同时也选择了比稀疏正则化逻辑套索与PC调整更少的预测因子。我们的方法可以作为Julia包PenalizedGLMM. jl使用。
2022-06-24 stat.AP stat.ME
Regularized Multivariate Functional Principal Component Analysis
本文提出正则化多元函数主成分分析（ReMFPCA），通过引入粗糙度惩罚增强主成分的光滑性与可解释性，模拟和真实数据验证其优于现有方法。
2023-06-24 stat.ME stat.ML
Functional principal component analysis for global sensitivity analysis of model with spatial output
出于沿海洪水风险评估，我们认为耗时的模拟器与空间输出。其目的是进行敏感性分析（SA），量化输入参数对输出的影响。有三个主要问题。首先，由于计算时间，标准SA技术不能直接应用于模拟器。第二，输出是无穷维的，或者如果输出是离散化的，至少是高维的。第三，空间输出是非平稳的，并表现出强烈的局部变化。我们表明，所有这些问题都可以通过使用功能PCA（FPCA）一起解决。我们首先指定一个功能的基础，如小波或B样条，旨在处理局部变化。其次，我们选择最有影响力的基础条款，无论是能量标准的基础正交归一化，或直接在原始基础上的惩罚回归方法。然后，FPCA进一步降低了维度，通过做PCA的最有影响力的基础系数，与ad-hoc度量。最后，快速评估元模型建立在少数选定的主成分。它们提供了一个可以进行SA的代理。作为一个副产品，我们得到的方差为基础的灵敏度指数的分析公式，推广已知的公式假设正交正规的基函数。
2021-01-04 stat.ME
Alternating direction method of multipliers for penalized zero-variance discriminant analysis
我们认为，在高维设置的给定数据的特征的数量显着大于观察的数量的分类任务。为了完成这项任务，我们提出了一个启发式，称为稀疏零方差判别分析（SZVD），同时进行线性判别分析和特征选择高维数据。该方法结合了经典的零方差判别分析，其中判别向量是在类内协方差阵的零空间中识别的，并施加惩罚以在所得向量中诱导稀疏结构。为了近似解决由此产生的非凸问题，我们开发了一个简单的算法的基础上交替方向法的乘数。此外，我们表明，该算法适用于更大的一类惩罚广义特征值问题，包括一个特定的松弛的稀疏主成分分析问题。最后，我们建立了理论保证我们的算法收敛到原来的非凸问题的固定点，并实证证明了我们的启发式分类模拟数据和时间序列分类应用程序中提取的数据的有效性。
2015-12-08 math.OC stat.ML
Online Learning of Functional Principal Component Analysis for Multidimensional Functional Data
School of Data Science, Fudan University（复旦大学数据科学学院）；Department of Statistics and Actuarial Science, Simon Fraser University（西蒙菲莎大学统计与精算科学系）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
针对多维函数型数据流的分析挑战，本文提出一种函数型主成分分析在线框架，结合张量积样条、黎曼优化与动态调优策略，经模拟与实际应用验证了其有效性。
2026-09-04 stat.ME stat.ML
Penalized spline estimation of principal components for sparse functional data: rates of convergence
本文研究稀疏函数型数据下惩罚样条主成分估计的收敛速率，揭示平滑性、样条参数等因子对渐近行为的影响，并分类七种情形下的极小极大最优性。
2024-02-08 math.ST stat.ME stat.TH
Multiscale principal component analysis
主成分分析（PCA）是一种重要的数据挖掘工具。PCA的传统方法导致有利于具有大方差的结构的解决方案。这对异常值很敏感，可能会混淆有趣的底层结构。PCA的一个等价定义是，它寻找最大化数据投影之间的平方成对距离之和的子空间。这一定义为主成分分析提供了更大的灵活性，这对增强主成分分析很有用。在本文中，我们引入PCA尺度最大化的距离在选定的区间内的值[l，u]的数据点对的投影之间的成对距离的总和。在多尺度PCA中得到的主成分分解取决于平面上的点（l，u），并且对于每个点，我们定义投影到主成分上。这些投影仪的聚类分析揭示了数据在不同尺度上的结构。每个结构由代表该结构的簇的中心点处的特征向量来描述。我们还使用预测的失真作为选择适当尺度的标准，特别是对于具有离群值的数据。该方法在人工分布数据和真实数据上进行了测试。对于具有多尺度结构的数据，该方法能够揭示数据的不同结构，并能减少主成分分析中离群值的影响。
2013-07-31 stat.ME
Mining the Factor Zoo: Estimation of Latent Factor Models with Sufficient Proxies
North Carolina State University（北卡罗来纳州立大学）；Hong Kong University of Science and Technology（香港科技大学）
潜在因子模型估计通常依赖于使用领域知识来手动挑选几个观察到的协变量作为因子代理，或者纯粹进行多变量分析，例如主成分分析。然而，前一种方法可能会受到偏见，而后者不能纳入额外的信息。我们建议桥接这两种方法，同时允许因子代理的数量发散，从而使潜在因子模型估计鲁棒性，灵活性和统计上更准确。作为奖励，因子的数量也允许增长。在我们的方法的核心是一个惩罚降秩回归结合信息。为了进一步处理重尾数据，提出了一种计算上具有吸引力的惩罚鲁棒降秩回归方法。与基准相比，我们建立了更快的收敛速度。大量的模拟和真实的例子来说明的优势。
2023-01-03 cs.LG stat.ME
Sparse logistic principal components analysis for binary data
提出了一种新的二值数据主成分分析（PCA）型降维方法。与基于观测数据定义的标准主成分分析不同，本文提出的主成分分析是基于二元观测值的成功概率的logit变换定义的。将稀疏性引入主成分（PC）加载向量，以增强可解释性和更稳定地提取主成分。我们的稀疏PCA制定为解决一个优化问题，从惩罚伯努利似然激励的标准函数。提出了一种优化-极小化算法，有效地解决了优化问题。应用于单核苷酸多态性数据集和模拟研究表明，所提出的稀疏逻辑主成分分析方法的有效性。
2010-11-16 stat.AP
Empirical Bayes Covariance Decomposition, and a Solution to the Multiple Tuning Problem in Sparse PCA
University of Chicago（芝加哥大学）
本文提出利用经验贝叶斯方法解决稀疏PCA中的多重调优问题，通过协方差分解提升模型性能。
2026-02-22 stat.ME stat.ML
Regularized Tensor Factorizations and Higher-Order Principal Components Analysis
高维张量或多维数据在生物医学成像、化学计量学、网络和文献计量学等领域变得越来越普遍。寻找张量数据的低维表示的传统方法包括将数据平坦化并应用矩阵分解，例如主成分分析（PCA）或采用张量分解，例如CANDECOMP / PARAFAC（CP）和Tucker分解。前者可能会丢失数据中的重要结构，而后者的高阶PCA（HOPCA）方法在具有许多不相关特征的高维中可能存在问题。我们引入框架稀疏张量因子分解或稀疏HOPCA的启发式算法的方法的基础上，并通过解决相关的CP分解的惩罚优化问题。这些方法的扩展导致一般正则化张量因子分解，多路功能HOPCA和结构化数据的HOPCA的推广方法。我们说明了我们的方法的效用降维，特征选择，和信号恢复模拟数据和多维微阵列和功能MRI。
2012-02-11 stat.ML
Sparse Longitudinal Functional Principal Component Analysis for Episodic Ambulatory Behavioral Assessments
University of Minnesota（明尼苏达大学）；University of Michigan（密歇根大学）
提出稀疏纵向函数主成分分析方法，通过结构化惩罚样条回归估计协方差，分解间歇性观测的键入速度轨迹变异性，揭示个体和日间模式，用于定制行为干预。
2026-06-06 stat.AP stat.ME
Bayesian dimensionality reduction with PCA using penalized semi-integrated likelihood
本文讨论了主成分分析中主成分个数的估计问题。尽管在文献中提出的问题和众多的解决方案的重要性，它来作为一个惊喜，不存在一个连贯的渐近框架，这将证明不同的方法取决于数据集的实际大小。在本文中，我们解决这个问题，提出了一个近似的贝叶斯方法的基础上拉普拉斯近似，并介绍了一种通用的方法，用于建立模型选择标准，称为PEnalized SEMI集成的Likewise（PESEL）。我们的一般框架包括各种现有的方法的基础上的概率模型，例如贝叶斯信息准则的概率PCA（PPCA），并允许建设新的标准，这取决于手头的数据集的大小。具体来说，我们定义PESEL时，变量的数量大大超过观察的数量。我们还报告了广泛的模拟研究和实际数据分析的结果，这说明了我们提出的标准相比，国家的最先进的方法和最近的建议，良好的性能。具体而言，这些模拟表明，PESEL为基础的标准可以是相当强大的概率模型假设的偏差。用于估计主成分数量的选定的基于PESEL的标准在R包varnish中实现，该包可在github（https：//github.com/psobczyk/varnish）上获得。
2016-07-05 stat.ME
One-step group factor analysis via penalized least squares
Nanjing Audit University（南京审计大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出基于惩罚最小二乘的一步组因子分析方法，在平衡组面板情形下性能优于两步典型相关方法，经模拟和实际数据验证可有效识别全局因子与局部模式。
2026-09-01 stat.ME
Fast Covariance Estimation for Multivariate Sparse Functional Data
协方差估计在多元函数数据分析中是必不可少的，但还不成熟。提出了一种基于二元惩罚样条的多元稀疏函数数据协方差快速估计方法。所提出的方法的张量积B样条制定一个简单的谱分解相关的协方差算子和显式表达式的特征函数的线性组合的B样条基地，从而大大方便了随后的主成分分析。我们推导出一个快速算法，用于选择平滑参数的协方差平滑使用留一主题交叉验证。该方法通过广泛的数值研究进行评估，并应用于具有多个纵向结果的阿尔茨海默病研究。
2019-06-09 stat.CO stat.ME
Functional Linear Cox Regression Model with Frailty
针对含函数型协变量的生存数据未观测异质性问题，提出带脆弱性的函数线性Cox回归模型，结合函数主成分分析与惩罚偏似然估计，经模拟和真实数据验证性能更优，已开发为R包。
2025-01-13 stat.ME
Robust Principal Component Analysis for Compositional Tables
根据两个因素排列的数据表通常可以被认为是组成表。一个例子是按性别和年龄分类的失业人数。作为组成进行分析，相关信息将由该表不同单元格之间的比率组成。这在联合分析几个组成表时特别有用，其中绝对数在非常不同的范围内，例如，如果考虑来自不同国家的失业数据。在logratio方法的框架内，组成表可以被分解成独立的和交互的部分，并且可以将正交坐标分配给这些部分。然而，这些坐标通常需要一些关于数据的先验知识，并且它们不容易处理以探索给定因子之间的关系。在这里，我们提出了一个特殊的坐标选择与中心logratio（clr）系数，这是特别有用的解释表中的原始单元格的直接关系。利用这些坐标，进行稳健的主成分分析（PCA）以进行降维，从而可以研究因素之间的关系。标准正交坐标和clr系数之间的联系使得能够应用鲁棒PCA，否则其将遭受clr系数的奇异性。
2019-04-11 stat.AP stat.ME
Network exploration via the adaptive LASSO and SCAD penalties
图形模型经常被用来探索网络，如遗传网络，在一组变量中。这通常是通过探索所考虑的变量的精度矩阵的稀疏性来进行的。惩罚似然法常用于此类探索。然而，精度矩阵的正定性约束使得优化问题具有挑战性。我们引入了非凹惩罚和自适应LASSO惩罚来减弱网络估计中的偏差问题。通过对非凹罚函数的局部线性逼近，将精度矩阵估计问题重新转换为具有加权$L_1$罚的惩罚似然问题序列，并使用Friedman等人[Biostatistics 9（2008）432- 441]的有效算法求解。我们的估计方案适用于两个真实的数据集。仿真实验和渐近理论被用来证明我们提出的方法。
2009-08-14 stat.AP
Estimating Non-Simplified Vine Copulas Using Penalized Splines
藤蔓copula（或pair-copula构造）已成为高维依赖建模的重要工具。通常，所谓的简化葡萄树Copula模型估计，其中二元条件Copula近似为二元无条件Copula。我们提出了第一个非参数估计的非简化葡萄树copula，允许不同的条件copula使用惩罚层次B样条。在整个葡萄树Copula中，我们在每个边缘测试简化假设，建立数据驱动的非简化葡萄树Copula估计。为了克服维数灾难，我们用第一个主成分作为条件变元的条件copula来近似具有多个条件变元的条件copula。一个广泛的模拟研究进行，显示了显着改善的样本外库尔贝克-莱布勒散度，如果原假设的一个简化的葡萄Copula可以被拒绝。我们将我们的方法应用于著名的铀数据，并提出了一个分类的眼状态数据集，展示了潜在的好处，可以实现条件Copula建模时。
2016-12-14 stat.ME
Fast symmetric additive covariance smoothing
我们提出了一个快速的双变量光滑方法的对称曲面，具有广泛的应用。我们展示了如何将其应用于估计纵向数据中的协方差函数以及具有复杂相关结构的函数数据中的多个加性协方差。我们的对称平滑器可以处理（可能有噪声）在常见的密集网格上采样的数据以及不规则或稀疏采样的数据。估计是基于二元惩罚样条平滑使用混合模型表示和对称性是用来减少计算时间相比，通常的非对称平滑。我们概述了我们的方法在功能主成分分析中的应用，并在两个应用程序中证明其实用价值。该方法进行了评估，在广泛的模拟。我们提供有文档记录的开源软件，在已建立的加法模型算法上实现我们的快速对称双变量平滑器。
2016-09-22 stat.AP stat.CO stat.ME
Penalized Orthogonal-Components Regression for Large p Small n Data
我们提出了一个惩罚正交成分回归（POCRE）的大p小n数据。按顺序构建正交分量，以在标准化后最大化其与响应残差的相关性。一个新的惩罚框架，通过经验贝叶斯阈值实现，有效地识别每个组件的稀疏预测。POCRE是计算效率，由于其领先的稀疏主成分的顺序构造。此外，这种构造提供了其他属性，例如对高度相关的预测器进行分组，并允许共线或近似共线的预测器。POCRE可以通过多变量响应构造公共成分，从而建立大p小n数据的潜变量模型。
2008-12-18 stat.ME stat.ML
Semi-supervised Approach to Event Time Annotation Using Longitudinal Electronic Health Records
来自保险索赔和电子健康记录（EHR）系统的大型临床数据集是精准医学研究的宝贵来源。这些数据集可用于开发用于风险或治疗反应的个性化预测的模型。然而，使用真实世界数据有效地导出预测模型面临着实际和方法上的挑战。这些数据库中不容易获得有关重要临床结局（如至癌症进展时间）的精确信息。基于简单的计费或程序代码提取，通常无法很好地近似真实的临床事件时间。然而，手动注释事件时间是时间和资源限制的。在本文中，我们提出了一个两步半监督的多模态自动时间标注（MATA）方法，利用多维纵向EHR遇到的记录。在步骤I中，我们采用功能主成分分析方法来估计潜在的强度函数的基础上观察到的点过程从未标记的患者。在步骤II中，我们将惩罚比例优势模型拟合到事件时间结果，其中具有在步骤I中在标记数据中导出的特征，其中使用B样条近似非参数基线函数。在正则条件下，特征效应向量的所得估计量显示为根- $n$一致。我们证明了我们的方法相对于现有方法的优越性，通过模拟和一个真实的数据示例注释肺癌复发的EHR队列的肺癌患者从退伍军人健康管理局。
2021-10-18 stat.ME
High-dimensional Interactions Detection with Sparse Principal Hessian Matrix
在具有回归的统计学习框架中，交互作用是解释变量的乘积对响应变量的贡献。在高维问题中，由于组合的复杂性和有限的数据信息，检测交互是具有挑战性的。我们考虑通过探索它们与主海森矩阵的连接来检测相互作用。具体地说，我们提出了一个一步合成的方法来估计主Hessian矩阵的惩罚M-估计。提出了一种交替方向乘子法（ADMM）来有效地解决正则化优化问题。基于稀疏估计，我们通过识别其非零分量来检测相互作用。我们的方法直接针对的相互作用，它不需要对相互作用效果的层次结构的假设。我们表明，我们的估计是理论上有效的，计算效率高，实际上是有用的检测在广泛的场景中的相互作用。
2019-09-27 stat.ME
A New Basis for Sparse Principal Component Analysis
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出一种基于正交旋转的稀疏PCA新基方法，避免了缩减和多个调优参数，在相同稀疏度下更稳定且解释更多方差，并成功应用于图像编码、转录组分析和社交网络聚类。
2023-08-04 cs.CV cs.LG stat.CO
On Some Theoretical Aspects of Functional Data Analysis of Parametrized Curves in $\mathbb{R}^p$
Université de Sherbrooke（舍布鲁克大学）
本文综述了函数型数据分析在参数化曲线上的理论与应用，通过希尔伯特空间建模、平滑惩罚及函数型主成分分析，突出其捕捉微分几何特征的几何优势。
2026-09-25 stat.ME
Modeling High-Dimensional Dependent Data in the Presence of Many Explanatory Variables and Weak Signals
本文提出融合高维惩罚回归、潜在因子建模、白噪声定阶与投影PCA的方法，以在多解释变量、低信噪比下建模高维相依数据，并证明其渐近性质与有限样本效果。
2024-12-06 stat.ME stat.ML
Multi-modality fusion using canonical correlation analysis methods: Application in breast cancer survival prediction from histology and genomics
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Almaden Research Center（IBM阿尔马登研究中心）
提出基于惩罚典型相关分析与矩阵收缩的双模态融合及两阶段预测流程，提升潜变量预测，并在乳腺癌组织学与基因组数据中优于同维 PCA。
2021-11-27 cs.LG eess.SP q-bio.QM
Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula
Cornell University（康奈尔大学）
现代大规模数据集经常受到丢失条目的困扰。对于含有缺失值的表格数据，一系列插补算法求解一个完整的矩阵，使某些惩罚性重建误差最小化。然而，几乎没有人能估计其估算的不确定性。本文提出了一个概率和可扩展的框架缺失值填补量化的不确定性。我们的模型，低秩高斯Copula，增强了一个标准的概率模型，概率主成分分析，每列的边际变换，使模型更好地匹配数据的分布。它自然地处理布尔、序数和实值观测，并量化每个插补中的不确定性。拟合模型所需的时间与数据集中的行数和列数呈线性关系。实证结果表明，该方法在广泛的数据类型，包括那些具有高排名的国家的最先进的插补精度。我们的不确定性度量很好地预测了插补误差：不确定性较低的条目确实具有较低的插补误差（平均而言）。此外，对于实值数据，得到的置信区间是经过良好校准的。
2021-01-18 cs.LG stat.ML
Hole or grain? A Section Pursuit Index for Finding Hidden Structure in Multiple Dimensions
多变量数据通常使用线性投影来可视化，线性投影由诸如主成分分析、线性判别分析和投影追踪之类的技术产生。投影的一个问题是，它们掩盖了分布中心附近的低密度和高密度区域。切片或切片可以帮助揭示它们。本文在投影寻踪的基础上，提出了一种分段寻踪方法，用于搜索数据中感兴趣的切片。线性投影用于定义参数空间的部分，并通过比较部分内部和外部的观察分布来计算兴趣度。通过优化该指数，可以揭示孔（低密度）或颗粒（高密度）等特征。优化被纳入一个导游，使结构搜索可以是动态的。该方法可以用于数据分布偏离均匀或正态分布的问题，如在视觉上探索非线性流形和多变量空间中的函数。给出了分段追踪的两个应用：从分类模型中探索决策边界，从多参数模型中探索由复杂不等式条件诱导的子空间。新方法在R中可用，在tourr包中。
2022-03-10 hep-ex stat.CO
A Study on a User-Controlled Radial Tour for Variable Importance in High-Dimensional Data
主成分分析是一种长期使用的探索多元数据的方法。主成分是原始变量的线性组合，按方差降序排列。前几个组件通常提供数据的良好视觉摘要。Tours还对原始变量进行线性预测，但提供了许多不同的视图，例如从不同方向检查数据。大游览显示了一个平滑的投影序列，作为随机目标基地之间的插值动画。手动径向巡视将选定变量的贡献旋转到投影中或从投影中旋转出来。这允许评估变量对投影中结构的重要性。这项工作描述了一个混合设计的用户研究，评价放射状旅游的功效相比，主成分分析和大旅游。一个监督分类任务被分配给参与者谁评估两个类之间的分离的变量属性。它们在分配变量重要性方面的准确性是通过各种因素来衡量的。数据收集自108名众包参与者，他们进行了两次试验，每次视觉试验总共648次。混合模型回归发现了强有力的证据，表明径向巡视的结果是准确性大大提高。与会者还报告说，与其他两种方法相比，他们更喜欢放射状巡视。
2022-12-31 stat.AP
Distance weighted discrimination of face images for gender classification
Carlos III University of Madrid（马德里卡洛斯三世大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Institute of Financial Big Data, Carlos III University of Madrid（马德里卡洛斯三世大学金融大数据研究所）
我们说明了距离加权歧视的分类和特征提取在高维低样本量（HDLSS）的情况下的优势。HDLSS上下文是人脸图像的性别分类问题，其中数据的维度比样本量大几个数量级。我们比较距离加权歧视与Fisher的线性判别，支持向量机，和主成分分析探索他们的分类解释，通过富有洞察力的可视化动画和检查分类器的判别错误。这一分析使我们能够为理解人类性别歧视的驱动因素做出新的贡献。
2020-09-21 cs.CV stat.AP stat.ME
Bridging factor and sparse models
因子模型和稀疏模型是两种广泛使用的在高维中施加低维结构的方法。然而，它们似乎是相互排斥的。我们提出了一种提升方法，它结合了这两种模型在监督学习方法中的优点，可以有效地探索高维数据集中的所有信息。该方法是基于一个灵活的模型，高维面板数据，称为因子增广回归模型与可观察的和/或潜在的共同因素，以及特质成分。该模型不仅包括主成分回归和稀疏回归作为具体的模型，但也显着削弱了横截面的依赖性，有利于模型的选择和解释。该方法包括几个步骤和一个新的测试（部分）协方差结构在高维推断剩余的横截面依赖在每一步。我们开发的理论模型，并证明了有效性的乘数自助测试高维（部分）协方差结构。该理论得到了仿真研究和应用的支持。
2022-09-03 econ.EM stat.ME
Wisdom of the crowd from unsupervised dimension reduction
群体智慧，即多个人类或机器个体对同一问题的反应所产生的集体智慧，可以比每个个体更准确，并提高社会决策和预测的准确性。这也可以集成多个程序或数据集，每个程序或数据集作为一个个体，用于相同的预测问题。群体智慧估计每个人的独立错误水平所产生的有限的知识，并找到群体共识，最大限度地减少整体误差。然而，以前的研究只是建立了孤立的，特定问题的模型，具有有限的概括性，主要是二元（是/否）的反应。在这里，我们用模拟和真实世界的数据表明，群体智慧问题类似于机器学习中的一维无监督降维。这提供了一种自然的群体智慧解决方案，例如主成分分析和Isomap，其可以处理二进制和连续响应，如置信水平，因此可以比现有的解决方案更准确。它们甚至可以优于基于监督学习的集体智能，该集体智能根据个人的历史表现进行校准，例如惩罚性线性回归和随机森林。本研究将群体智慧与无监督的降维方法结合起来，提出了一系列高性能、适用性强的群体智慧方法。随着数据获取和处理成本的迅速降低，这项研究将促进和指导社会和自然科学中的群体智慧应用，包括数据融合，元分析，众包和委员会决策。
2017-11-28 q-bio.QM stat.ME stat.ML
Principal components variable importance reconstruction (PC-VIR): Exploring predictive importance in multicollinear acoustic speech data
University College London（伦敦大学学院）；Centre National de la Recherche Scientifique (CNRS)（法国国家科学研究中心）
本文提出了一种方法，探索在三个显着性水平：强重要性，中等重要性，不重要的多元共线性数据集的个体变量的相对预测重要性。介绍了该方法中采用Bonferroni平差控制第一类错误的方法，并对有无修正的结果进行了比较。在二进制逻辑建模的方法的一个例子是通过使用一组20个声学特征来区分声乐鼻音的讲话中的Mixean各种低Navarrese巴斯克语。通过比较显著性效应方向与在单独的logistic混合效应模型中观察到的显著性效应方向，以及与偏最小二乘逻辑斯谛回归相比的拟合优度和预测准确度，验证了该方法。结果表明，所提出的方法产生：（1）类似的，但更保守的估计相比，单独的逻辑斯谛回归模型，（2）模型，拟合数据以及偏最小二乘法，（3）预测的新数据是准确的偏最小二乘法。
2021-02-09 cs.SD eess.AS stat.ME
Opening the black-box of Neighbor Embedding with Hotelling's T2 statistic and Q-residuals
Software Competence Center Hagenberg（哈根贝格软件能力中心）
与用于高维数据集的探索性分析的经典技术（例如，主成分分析（PCA））相比，邻域嵌入（NE）技术倾向于更好地保留高维数据的局部结构/拓扑。然而，保持局部结构的能力是以牺牲可解释性为代价的：诸如t分布随机邻域嵌入（t-SNE）或均匀流形近似和投影（UMAP）等技术并不能深入了解哪些输入变量是对应嵌入中所见的拓扑（聚类）结构的基础。在这里，我们提出了不同的“技巧”从化学计量学领域的基础上PCA，Q-残差和霍特林的T2贡献结合新的可视化方法，以获得本地和全球的解释邻居嵌入。我们展示了我们的方法是如何能够识别数据点组之间的歧视性特征，这些数据点在使用标准单变量或多变量方法探索NE时仍然未被注意到。
2022-09-05 cs.LG stat.ML
The GWmodel R package: Further Topics for Exploring Spatial Heterogeneity using Geographically Weighted Models
在这项研究中，我们提出了一个本地模型的集合，称为地理加权（GW）模型，可以在GWmodel R包中找到。GW模型适用于空间数据无法用全局形式描述的情况，对于某些区域，局部拟合提供了更好的描述。该方法使用移动窗口加权技术，其中在目标位置处估计局部模型的集合。通常，绘制模型参数或输出，以便探索和评估空间异质性的性质。特别是，我们目前的案例研究使用：（一）GW汇总统计和GW主成分分析;（二）先进的GW回归拟合和诊断;（三）相关的非平稳性的蒙特卡罗显著性检验;（四）GW判别分析;和（五）增强内核带宽选择程序。爱尔兰共和国和美国的大选数据集用于演示。这项研究的目的是补充同伴GW模型研究，重点是基本和强大的GW模型。
2013-12-10 stat.ME
