Geodesic PCA in the Wasserstein space
本文在线性概率测度空间上引入了测地线主成分分析(GPCA)方法,该方法具有有限的二阶矩,并赋予Wasserstein度量。我们讨论了这种方法的优点,在一个标准的功能PCA的概率密度平方可积函数的希尔伯特空间。我们建立的方法的一致性表明,经验GPCA收敛到其人口对应的,作为样本量趋于无穷大。GPCA研究中的一个关键性质是Wasserstein空间与平方可积函数空间的闭凸子集之间关于适当测度的等距性。因此,我们考虑PCA在可分Hilbert空间的闭凸集上的一般问题,这是GPCA分析的基础,也有自己的兴趣。我们提供了简单的统计模型的说明性例子,以显示这种方法的数据分析的好处。该方法也适用于一个真实的数据集的人口金字塔。
2014-10-03 math.ST stat.ME stat.TH
Learning with a linear loss function. Excess risk and estimation bounds for ERM, minmax MOM and their regularized versions. Applications to robustness in sparse PCA
本文针对线性损失学习框架,为 ERM、minmax MOM 及其正则化版本建立了超额风险与估计界,并将其应用于稀疏 PCA 鲁棒性,改进了现有最优结果。
2023-10-26 math.ST stat.TH
Influential Feature PCA for high dimensional clustering
我们考虑一个聚类问题,我们观察特征向量$X_i \in R^p$,$i = 1, 2, \ldots, n$,从$K$可能的类。类标签是未知的,主要的兴趣是估计它们。我们主要感兴趣的是现代政权的$p \gg n$,经典的聚类方法面临的挑战。我们提出了影响特征PCA(IF-PCA)作为一种新的聚类过程。在IF-PCA中,我们选择了一小部分的功能与最大的Kolmogorov-Smirnov(KS)的分数,其中的阈值是通过调整最近的概念更高的批评,获得的第一个$(K-1)$左奇异向量的后选择归一化的数据矩阵,然后估计标签通过应用经典的k-均值对这些奇异向量。可以看出,IF-PCA是一种免调谐的聚类方法。我们将IF-PCA应用于$10$基因微阵列数据集。该方法在聚类方面具有较好的性能。特别是,在三个数据集,IF-PCA的错误率只有$29\%$或更少的错误率的其他方法。我们还重新发现了\cite{Efron}对微阵列数据的经验无效现象。通过细致的分析,特别是后选择特征分析,我们得到严格的概率界的Kolmogorov-Smirnov统计,并表明,IF-PCA产生聚类一致性在广泛的背景下。聚类问题与稀疏PCA和低秩矩阵恢复问题有关,但在重要方面有所不同。我们揭示了一个有趣的相变现象与这些问题,并确定每个感兴趣的范围。
2015-12-16 math.ST stat.ME stat.TH
Weak Factor Analysis via Temporally Weighted PCA
The University of Sydney Business School(悉尼大学商学院);Department of Statistics, Columbia University(哥伦比亚大学统计学系)
本文针对大维因子分析中传统PCA在弱因子或复杂噪声下不一致的问题,提出一种通用加权PCA方案,并开发自适应选择加权矩阵的方法,从而在更弱条件下获得一致且渐近正态的估计量。
2026-10-21 econ.EM math.ST stat.ME
Debiased distributed PCA under high dimensional spiked model
针对高维尖峰模型中分布式PCA因机器数量有限而产生的持续偏差问题,提出在聚合前纠正局部偏差并引入稀疏性检测步骤的去偏算法,在更弱条件下实现一致性,显著降低估计误差并优于现有方法。
2025-05-28 stat.ME
Fixed-order PCA: Theory for Overestimated Factor Models
University of Iowa(爱荷华大学);National University of Singapore(新加坡国立大学);University of Chicago(芝加哥大学)
本文研究了在高维因子模型中固定阶PCA的渐近理论,通过引入扩展和压缩映射,证明了估计因子的一致性,并展示了在固定阶下因子增强回归的渐近正态性,为保守的因子数上界提供了理论支持。
2026-08-03 econ.EM math.ST stat.TH
A generalized information criterion for high-dimensional PCA rank selection
主成分分析(PCA)是最常用的统计方法,用于降维。应用PCA的一个重要问题是确定秩,秩是协方差阵的主特征值的数量。赤池信息准则(AIC)和贝叶斯信息准则(BIC)是最广泛使用的秩选择方法。两者都使用自由参数的数量来评估模型的复杂性。在这项工作中,我们采用广义信息准则(GIC)提出了一种新的方法PCA秩选择下的高维框架。GIC模型的复杂度考虑了协方差特征值的大小,可以更好地适应实际应用。在广义尖峰协方差模型下,得到了GIC的渐近性质,并建立了选择相合性。
2020-08-05 stat.ME
Approximate Kernel PCA Using Random Features: Computational vs. Statistical Trade-off
核方法是允许执行非线性数据分析的强大学习方法。尽管它们很受欢迎,但它们在大数据场景中的可扩展性很差。已经提出了各种近似方法,包括随机特征近似,以缓解该问题。然而,除了核岭回归之外,大多数这些近似核方法的统计一致性还没有得到很好的理解,其中已经表明随机特征近似不仅在计算上有效,而且在统计上与最小最大最优收敛速率一致。在本文中,我们调查的核主成分分析(KPCA)的上下文中的随机特征近似的有效性,通过研究近似KPCA的计算和统计行为之间的权衡。我们表明,与KPCA相比,近似KPCA在计算和统计上都是有效的,因为根据核函数到相应特征空间的投影来重建核函数会产生误差。分析的关键在于自伴Hilbert-Schmidt算子值U-统计量的算子和Hilbert-Schmidt范数的Bernstein型不等式,它们是独立的。
2022-06-11 math.ST stat.ML stat.TH
The All-or-Nothing Phenomenon in Sparse Tensor PCA
我们研究了估计一个被加性高斯噪声破坏的秩为1的稀疏张量的统计问题,该模型也被称为稀疏张量PCA。我们发现,伯努利和伯努利-Rademacher分布的信号和\emph{for all}稀疏水平是次线性的信号的维度,稀疏张量PCA模型表现出相变称为\emph{all-or-nothing phenomenon}。这是这样的性质,即对于某个信噪比(SNR)$\mathrm{SNR_c}$和任何固定的$ε>0$,如果模型的SNR低于$\left(1-ε\right)\mathrm{SNR_c}$,则不可能实现与隐藏信号的任何任意小的恒定相关,而如果SNR高于$\left(1+ε\right)\mathrm{SNR_c}$,则可以实现与隐藏信号的几乎完美的相关。全有或全无现象最初是在稀疏线性回归的背景下建立的,在过去的一年中,稀疏2张量(矩阵)PCA,伯努利组测试和广义线性模型也是如此。我们的结果遵循一个更一般的结果表明,对于任何高斯加性模型与离散均匀先验,全有或全无的现象如下的先验分布的支持的一个适当定义的“近正交”属性的直接结果。
2020-09-05 cs.IT math.IT math.ST
Distributionally Robust PCA with Data-Adaptive Wasserstein Geometry
Research School of Finance, Actuarial Studies and Statistics, Australian National University(澳大利亚国立大学金融、精算与统计研究学院)
提出分布鲁棒PCA,通过数据自适应Wasserstein邻域最小化最坏情况重构风险,导出对偶问题并引入可替代目标函数,证明估计量的一致性及局部Grassmann渐近性。
2026-06-09 math.ST stat.ME stat.TH
Computational Lower Bounds for Sparse PCA
在稀疏主成分检测的背景下,我们带来的证据对存在的统计代价支付计算效率。我们衡量的最小信号强度,它可以检测到的测试的性能,我们提出了一个计算效率高的方法的基础上半定规划。我们还证明,这个测试的统计性能不能严格提高任何计算效率的方法。我们的结果可以被视为复杂性理论的下界条件的假设,种植集团问题的某些情况下,不能在随机多项式时间内解决。
2013-04-26 cs.CC math.ST stat.ML
Rates of Bootstrap Approximation for Eigenvalues in High-Dimensional PCA
在主成分分析(PCA)的背景下,自助法通常用于解决各种推理问题,例如为总体协方差阵$Σ$的特征值构建置信区间。然而,当数据是高维的,有相对较少的理论保证,量化的引导的性能。我们的目的是在本文中分析如何以及自助可以近似的联合分布的样本协方差阵$\hatΣ$的领先的特征值,我们建立非渐近率的近似多变量Kolmogorov度量。在一定的假设下,我们表明,自助可以实现无量纲率的${\tt{r}}(Σ)/\sqrt n$对数因子,其中${\tt{r}}(Σ)$是有效秩的$Σ$,和$n$是样本量。从方法论的角度来看,我们的工作也说明了,应用变换的特征值的$\hatΣ$引导之前是一个重要的考虑因素,在高维设置。
2022-02-16 math.ST stat.ME stat.TH
Linear Regression Using Principal Components from General Hilbert-Space-Valued Covariates
Clemson University(克莱姆森大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出AS-PCA框架,用于一般分离希尔伯特空间中随机元素的主成分分析,通过数据自适应子空间投影实现多维功能对象的处理,并构建了希尔伯特空间主成分回归模型HS-PCR,具有根n一致性及渐近正态性。
2026-03-22 math.ST stat.ME stat.TH
An $\ell_p$ theory of PCA and spectral clustering
EPFL(洛桑联邦理工学院);Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
主成分分析(Principal Component Analysis,PCA)是统计学和机器学习领域的一个重要工具。虽然现有的PCA研究主要集中在主成分及其相关的特征值的恢复,有几个精确的表征个别主成分得分,产生低维嵌入的样本。这阻碍了各种光谱方法的分析。在本文中,我们首先发展了一个$\ell_p$扰动理论的中空版本的主成分分析在Hilbert空间中,证明了改进的香草主成分分析在异方差噪声的存在。通过一种新的$\ell_p$分析的特征向量,我们调查的主成分得分向量的入口行为,并表明他们可以近似的Gram矩阵在$\ell_p$范数的线性泛函,其中包括$\ell_2$和$\ell_\infty$作为特殊的例子。对于亚高斯混合模型,给出最优边界的$p$的选择取决于信噪比,这进一步产生谱聚类的最优性保证。对于上下文社区检测,$\ell_p$理论导致一个简单的频谱算法,达到准确恢复的信息阈值。作为特殊情况,这些还为高斯混合模型和随机块模型提供了最佳恢复结果。
2022-04-10 cs.LG math.PR math.ST
Subspace Recovery in Winsorized PCA: Insights into Accuracy and Robustness
Seoul National University(首尔大学)
本文研究Winsorized主成分分析(WPCA)在子空间恢复中的理论性质,证明其一致性并推导扰动界限与崩溃点下界,表明其对异常值具有强鲁棒性,并通过示例验证其有效性。
2025-02-23 cs.LG stat.AP stat.ME
Efficient convex PCA with applications to Wasserstein GPCA and ranked data
本文研究凸主成分分析的理论性质与数值实现,提出有限维多面体凸集下的算法以近似Wasserstein广义主成分分析,并应用于股票收益排名分布和资本分布曲线两个金融问题。
2024-08-30 q-fin.ST stat.CO
Orthogonal rotation in PCAMIX
Kiers(1991)考虑了PCAMIX中的正交旋转,这是一种定性和定量变量混合的主成分方法。PCAMIX包括普通的主成分分析(PCA)和作为特殊情况的多重对应分析(MCA)。在本文中,我们给出了一个新的介绍PCAMIX的主成分和平方载荷从奇异值分解。定量变量的载荷和定性变量范畴的主坐标也可直接求出。在这方面,我们提出了一个计算效率的程序方差最大旋转PCAMIX和直接解决方案的最佳旋转角度。仿真研究表明,所提出的算法具有良好的计算性能。真实数据集上的应用程序说明了在MCA中使用旋转的兴趣。所有源代码都可以在R包“PCAmixdata”中找到。
2011-12-01 stat.CO
A Compressed PCA Subspace Method for Anomaly Detection in High-Dimensional Data
随机投影作为一种降维方法被广泛应用。近年来,它与回归和分类的标准技术相结合的探索。在这里,我们研究它的使用与主成分分析(PCA)和子空间检测方法。具体而言,我们表明,在适当的条件下,具有高概率的随机投影数据的PCA分析的残差的大小的行为的原始数据的一个类似的PCA分析的残差。我们的研究结果表明,应用基于子空间的异常检测算法随机投影的数据,当数据是高维的,但有一个适当的压缩性质的协方差的可行性。我们说明在计算机网络流量异常检测的背景下。
2012-04-11 stat.ME
Latent Space Exploration Using Generative Kernel PCA
KU Leuven(鲁汶大学)
核PCA是一种功能强大的特征提取器,最近在受限核机器(RKM)的上下文中进行了重新表述。这些RKM允许在类似于受限玻尔兹曼机的隐藏和可见单元方面表示内核PCA。这种联系导致了关于如何在生成过程中使用内核PCA的见解,称为生成内核PCA。在本文中,使用生成核PCA探索数据集的潜在空间。新的点可以通过在潜在空间中逐渐移动来生成,这允许对组件进行解释。首先,在三个数据集上显示了这种特征空间探索的示例,其中一个数据集导致ECG信号的可解释表示。之后,结合使用的工具与新颖性检测,在数据中的新模式周围的潜在空间进行了探索。这有助于解释为什么某些观点被认为是新颖的。
2021-05-28 cs.LG stat.ML
Multivariate Analysis for Multiple Network Data via Semi-Symmetric Tensor PCA
University of Florida Informatics Institute(佛罗里达大学信息学研究所);University of Florida(佛罗里达大学)
网络数据通常在各种应用中收集,表示感兴趣的特征之间的直接测量或统计推断的连接。在越来越多的领域中,这些网络是随着时间的推移而收集的,例如社交媒体平台的用户在不同日期之间的交互,或者跨多个主题的交互,例如在大脑连接的多主题研究中。在分析多个大型网络时,通常使用降维技术将网络嵌入到更易处理的低维空间中。为此,我们通过专门的张量分解开发了一个网络集合上的主成分分析(PCA)框架,我们称之为半对称张量PCA或SS-TPCA。我们推导出计算效率高的算法来计算我们提出的SS-TPCA分解,并建立一个标准的低秩信号加噪声模型下,我们的方法的统计效率。值得注意的是,我们表明,SS-TPCA达到了与经典矩阵PCA相同的估计精度,误差与网络中顶点数的平方根成比例,而不是与预期的边数成比例。我们的框架继承了经典PCA的许多优点,适用于广泛的无监督学习任务,包括识别主要网络,隔离有意义的变点或离群观测,以及表征最变化边缘的“变异网络”。最后,我们证明了我们的建议的有效性模拟数据和实证法律研究的一个例子。用于建立我们的主要一致性结果的技术令人惊讶地简单,并可能在各种其他网络分析问题中找到用途。
2022-09-02 cs.LG cs.SI stat.ME
Multi-context principal component analysis
Harvard University(哈佛大学);Broad Institute of MIT and Harvard(哈佛-麻省理工Broad研究所);University of Georgia(佐治亚大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
多情境主成分分析(MCPCA)是一种理论和算法框架,用于识别跨不同情境子集共享的变异因素,应用于基因表达和语言模型数据,揭示隐藏的变异轴。
2026-01-21 cs.LG math.ST stat.ML
Linear Non-Gaussian Component Analysis via Maximum Likelihood
独立成分分析(ICA)在认知神经科学和信号处理等领域有着广泛的应用。由于计算量的限制,主成分分析被用于降维之前,ICA(PCA+ICA),它可以删除重要的信息。问题在于,感兴趣的独立分量(IC)可能混合在被丢弃的几个主分量中,然后这些IC不能被恢复。我们制定了一个线性非高斯成分模型与高斯噪声成分。为了估计该模型,我们提出了似然分量分析(LCA),其中降维和潜变量估计同时实现。我们的方法通过其边际似然来排序组件,而不是像PCA那样通过方差来排序组件。我们提出了一个参数LCA使用的逻辑密度和半参数LCA使用倾斜高斯与三次B样条。我们的算法可扩展到应用程序中常见的数据集(例如,在具有几十个潜在成分的数百个变量上的数十万个观测)。在模拟中,潜在的成分被PCA+ICA方法丢弃的恢复。我们将我们的方法应用于多变量数据,并证明LCA是一个有用的数据可视化和降维工具,揭示了PCA或PCA+ICA不明显的功能。我们还将我们的方法应用于人类连接组项目的fMRI实验,并识别PCA+ICA遗漏的伪影。我们提出的线性非高斯分量模型的可识别性和LCA的一致性的理论结果。
2017-10-02 stat.CO stat.ME
Attention-based PCA
Sorbonne Université, CNRS, Laboratoire de Probabilités, Statistique et Modélisation(索邦大学);Université Paris-Saclay, CNRS, Inria, Laboratoire de mathématiques d’Orsay(巴黎萨克雷大学)
本文研究了注意力机制在无监督问题PCA中的表现,证明在高斯数据上训练时,softmax和线性注意力层学习的参数与协方差矩阵的主特征向量对齐,建立了与PCA的直接联系,并扩展到上下文设置中。
2026-06-19 math.OC stat.ML
Word Sense Disambiguation using Diffusion Kernel PCA
Istanbul Kultur University(伊斯坦布尔文化大学)
词义消歧是自然语言处理中的一个重要问题。它的任务是根据上下文通过计算确定多义词的正确含义。解决WSD问题可以提高许多NLP算法的准确性,例如文本分类和机器翻译。本文提出了一种新的基于核PCA和语义扩散核的有监督的词义消歧算法-扩散核PCA(DKPCA)。DKPCA是在主成分分析的基础上,抓住了词项之间的语义相似性。这些属性使我们能够执行特征提取和降维的语义相似性和算法内的指导。我们对SensEval数据的实证结果表明,当标记数据比率较低时,DKPCA与SVM和KPCA相比,具有更高或非常接近的准确性结果。考虑到标记数据的稀缺性,而大量的未标记的文本数据很容易访问,这些是非常令人鼓舞的第一个结果,进一步发展DKPCA。
2019-07-21 cs.CL cs.LG stat.ML
Supervised Mixed-Frequency Learning for Macro-Financial Forecasting When Factors are Weak
University at Albany - SUNY(奥尔巴尼大学纽约州立大学)
本研究针对宏观金融预测中常见的弱因子问题,提出SsPCA-MIDAS方法,通过整合监督缩放PCA与混合数据采样框架提升预测性能,在模拟和美国宏观金融数据应用中均表现优于现有方法。
2026-08-14 econ.EM stat.ML
Inference and Uncertainty Quantification for Streaming $r$-PCA
University of Pennsylvania(宾夕法尼亚大学)
该研究针对流式r-PCA,通过Oja算法解决一般秩的收敛与分布推断问题,建立了收敛速率、高斯近似及在线自助法,拓展了非凸随机近似的推断技术。
2026-11-06 cs.LG stat.ML
Theory of high-dimensional outliers
由于高维空间结构的特殊性,高维离群点与内点的区分是一个难题。我们引入了一个新的概念,高维离群值,包括各种类型,并提供深入的见解,了解这些离群值的行为的基础上几个渐近制度。我们对高维离群点几何性质的研究揭示了一个有趣的过渡现象,即离群点从高维球表面附近到远离球表面。此外,我们还研究了当数据包含有限数量的离群点时,PCA子空间的一致性。
2019-09-04 math.ST stat.ME stat.TH
Robust PCA as Bilinear Decomposition with Outlier-Sparsity Regularization
主成分分析(PCA)被广泛用于降维,在涉及高维数据的各种应用中具有良好的记录优点,包括计算机视觉、偏好测量和生物信息学。在这种情况下,这里提倡的新外观渗透了变量选择和压缩采样的好处,以鲁棒PCA对离群值。一个低秩双线性因子分析模型的最小二乘估计密切相关的$\ell_0$ -(伪)范数正则化的标准,鼓励稀疏矩阵明确建模的离群值。这种连接建议强大的PCA计划的基础上凸松弛,这自然会导致一个家庭的强大的估计,包括胡贝尔的最佳M-类作为一个特殊情况。通过调整正则化参数来识别离群值,这相当于控制离群值矩阵沿着(组)最小绝对收缩和选择算子(Lasso)解决方案的整个鲁棒化路径的稀疏性。除了其与鲁棒统计的紧密联系之外,所开发的离群感知PCA框架是通用的,以适应新的和可扩展的算法:i)随着新数据的实时获取,鲁棒地跟踪低秩信号子空间;以及ii)在(可能)无限维特征空间中鲁棒地确定主成分。合成和真实数据测试证实了所提出的强大的PCA计划的有效性,当用于识别异常的反应,在人格评估调查,以及揭开社区的社交网络,和入侵者从视频监控数据。
2011-11-08 cs.IT math.IT stat.ML
Almost-Optimal Local-Search Methods for Sparse Tensor PCA
针对稀疏张量 PCA 中局部马尔可夫链方法的“局部-计算”差距,提出基于正则化后验的贪心、随机贪心及随机阈值局部搜索方法,在多个机制区间达到近乎最优的多项式时间性能。
2025-06-11 cs.DS math.ST stat.ML
PCA, SVD, and Centering of Data
本文研究数据中心化步骤对通过 SVD 计算 PCA 的影响,分析中心化与未中心化嵌入的对齐条件及其谱分析意义,强调理解 PCA 计算细节的重要性。
2024-04-01 stat.ME stat.ML
Online Principal Component Analysis in High Dimension: Which Algorithm to Choose?
Institut de Mathématiques de Bourgogne(勃艮第数学研究所);Université de Bourgogne Franche Comté(勃艮第-弗朗什孔泰大学);DePaul University(德保罗大学)
在当前数据爆炸的背景下,不需要将所有数据存储在内存中的在线技术对于常规执行主成分分析(PCA)等任务是必不可少的。用每个新的观察更新PCA的递归算法已经在各个研究领域中被研究,并且在工业监测、计算机视觉、天文学和潜在语义索引等方面得到了广泛的应用。这一工作为实际中在线PCA算法的选择提供了指导。我们提出了在线PCA的主要方法,即扰动技术,增量方法和随机最优化,并比较它们的统计精度,计算时间和内存需求,使用人工和真实数据。扩展到缺失数据和功能数据进行了讨论。所有研究的算法都可以在CRAN上的R包onlinePCA中找到。
2015-11-11 cs.LG stat.ME stat.ML
Principal Ellipsoid Analysis (PEA): Efficient non-linear dimension reduction & clustering
即使随着过度参数化模型的流行,简单的降维和聚类方法,如PCA和k-means,仍然经常用于各种各样的设置。一个主要原因是简单性、可解释性和计算效率的结合。本文的重点是改进PCA和k-means,允许数据中的非线性关系和更灵活的聚类形状,而不牺牲关键优势。主要贡献是主椭圆分析(PEA)的新框架,定义了一个简单且计算效率高的PCA替代方案,通过数据拟合最佳椭圆近似。我们提供了理论保证,建议PEA算法使用Vapnik-Chervonenkis(VC)理论,以显示强一致性和统一的浓度范围。玩具实验说明了PEA的性能,以及适应非线性结构和复杂簇形状的能力。在丰富的各种实际数据聚类应用中,PEA被证明可以在简单数据集上与k-means一样好,同时在更复杂的设置中显着提高性能。
2020-09-07 stat.ME stat.ML
Learning Gaussian Graphical Models with Latent Confounders
针对潜在混杂因子干扰高斯图模型结构推断的问题,本文探究了LVGGM与PCA+GGM两种推断策略的关联,提出融合二者优势的新方法,证明了PCA类方法的一致性与收敛速率,给出方法选用指导,并通过模拟和真实应用验证了有效性。
2023-07-24 stat.ME stat.ML
Scaled torus principal component analysis
降维的一个特别具有挑战性的背景是多变量循环数据,即,数据由圆环面支撑。这样的数据出现,例如,在生态学和天文学以及分子结构的各种现象的分析。本文介绍了一种新的方法--尺度环面主成分分析(ST-PCA)。ST-PCA找到从环面到相同尺寸和一定半径的球体的数据驱动映射。该地图是用多维缩放来构造的,以最大限度地减少两个空间中成对测地线距离之间的差异。然后,ST-PCA采用主嵌套球体来获得最适合数据的子球体的嵌套序列,然后可以将其反转回环面。数值实验说明了如何使用ST-PCA对低维鸟居实现有意义的降维,特别是用于簇分离的目的,而天文学(三维环面)和分子生物学(七维环面)中的两个数据应用表明,ST-PCA优于所研究数据集的现有方法。
2021-10-10 stat.ME
Consistent Estimation for PCA and Sparse Regression with Oblivious Outliers
ETH Zürich(苏黎世联邦理工学院)
我们开发的机械设计有效的可计算和一致的估计,实现估计误差接近零的观测数量的增长,当面对一个不经意的对手,可能会腐败的响应,但$α$部分的样本。作为具体的例子,我们研究两个问题:稀疏回归和主成分分析(PCA)。对于稀疏回归,我们实现了最佳样本量$n\gtrsim (k\log d)/α^2$和最佳错误率$O(\sqrt{(k\log d)/(n\cdot α^2)})$的一致性,其中$n$是观测值的数量,$d$是维度的数量,$k$是参数向量的稀疏性,允许内点的分数在样本数量中是逆多项式。在此之前的工作,没有估计是一致的内点$α$的分数是$o(1/\log \log n)$,即使是(非球形)高斯设计矩阵。在弱设计假设和存在这种一般噪声的情况下,结果仅在密集设置中显示(即,一般线性回归)最近由d'Orsi等人[dNS 21]。在PCA的上下文中,我们在参数矩阵(通常用于矩阵完成)的广泛尖峰假设下获得最佳误差保证。先前的工作仅在假设对应于内点的测量噪声在$n$中多项式地小(例如,具有方差的高斯$1/n^2$)。为了设计我们的估计,我们配备了Huber损失与非光滑正则化,如$\ell_1$规范或核规范,并扩展d'Orsi等人。的方法[dNS21]以一种新的方式来分析损失函数。我们的机器似乎很容易适用于广泛的估计问题。
2021-11-04 cs.LG stat.ML
Projected Statistical Methods for Distributional Data on the Real Line with the Wasserstein Metric
我们提出了一类新的投影方法,进行统计分析的数据集上的概率分布的真实线,与2-Wasserstein度量。我们特别关注主成分分析(PCA)和回归。为了定义这些模型,我们利用一个表示的Wasserstein空间密切相关的弱黎曼结构,通过将数据映射到一个合适的线性空间,并使用度量投影算子约束的结果在Wasserstein空间。通过仔细选择切点,我们能够得到快速的经验方法,利用约束B样条近似。作为我们方法的副产品,我们还能够为以前的分布PCA工作推导出更快的例程。通过模拟研究,我们比较我们的方法与以前提出的方法,表明我们的投影PCA具有相似的性能的一小部分的计算成本,即使在错误的情况下,投影回归是非常灵活的。几个理论性质的模型进行了研究,并证明了渐近一致性。讨论了两个真实世界的应用,即美国的Covid-19死亡率和风速预测。
2021-11-29 stat.ME stat.ML
A General Framework for Multivariate Functional Principal Component Analysis of Amplitude and Phase Variation
函数数据通常包含幅度和相位变化。在许多数据情况下,相位变化被视为滋扰效应,并在预处理过程中被删除,尽管它可能包含有价值的信息。本文主要研究幅度和相位变化的联合主成分分析。由于翘曲函数空间具有复杂的几何结构,分析的一个关键要素是将翘曲函数转换为$L^2(\mathcal{T})$。我们提出了不同的转换方法,并展示了它们如何适合一般的转换类。这使我们能够比较它们的优势和局限性。在PCA的背景下,我们的研究结果提供了参数,有利于集中的对数比变换。我们进一步将Hadjipantelis et al.(2015)和Lee and Jung(2017)的现有方法嵌入到多变量函数PCA的框架中,其中我们研究了基于适当度量的估计器的特性。该方法是通过应用地震说明。
2018-10-31 stat.ME
Memory Limited, Streaming PCA
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Microsoft Research India(微软研究院印度分院)
我们认为,流,单程主成分分析(PCA),在高维制度,有限的内存。这里,顺序地呈现$p$维样本,并且目标是产生最接近这些点的$k$维子空间。标准算法需要$O(p^2)$内存;同时,没有算法能比$O(kp)$内存做得更好,因为这是输出本身所需要的。当在计算和样本复杂性的上下文中理解时,内存(或存储)复杂性是最有意义的。高维PCA的样本复杂性通常在{ \em尖峰协方差模型}的设置中进行研究,其中$p$维点从等于身份(白噪声)加上低维扰动(尖峰)的总体协方差生成,该低维扰动是要恢复的信号。现在已经很好地理解,当样本数$n$与维度$p$成比例缩放时,可以恢复尖峰。然而,所有可证明实现这一点的算法都具有内存复杂度$O(p^2)$。同时,具有存储器复杂度$O(kp)$的算法在样本复杂度上不具有与$p$可比的可证明的界限。我们提出了一个算法,实现了这两个:它使用$O(kp)$内存(任何类型的存储的意思),并能够计算$k$ -维尖峰与$O(p \log p)$样本复杂性-第一个算法的同类。虽然我们的理论分析集中在尖峰协方差模型上,但我们的模拟表明,我们的算法在更一般的数据模型上是成功的。
2013-06-28 cs.IT cs.LG math.IT
Greedy clustering of count data through a mixture of multinomial PCA
计数数据在广泛的应用中变得越来越普遍,数据集的大小和维度都在增长。在这种情况下,越来越多的工作致力于构建统计模型,直接说明数据的离散性。此外,它已被证明,集成降维聚类可以大大提高性能和稳定性。在本文中,我们依赖于混合多项式PCA,混合模型的计数数据的聚类,也被称为概率聚类投影模型在文献中。与潜在狄利克雷分配模型相关,它提供了主题建模的灵活性,同时能够将每个观察分配到一个唯一的聚类。我们引入了一个贪婪的聚类算法,其中的推理和聚类是共同完成的混合分类变分期望最大化算法,与一个分支和约束的变分下界的策略。一个完整的分类似然准则推导出模型选择,并提出了一个深入的研究与数值实验,以评估性能和鲁棒性的方法。最后,我们说明了后者在现实世界中的应用程序的定性兴趣,解剖病理学的医疗报告的聚类,与居里研究所医院的专家从业者合作。
2020-07-10 stat.ME
Deep Unfolded Robust PCA with Application to Clutter Suppression in Ultrasound
Technion-Israel Institute of Technology(以色列理工学院);Tsinghua University(清华大学);Eindhoven University of Technology(埃因霍温理工大学)
超声造影是一种无辐射的成像方式,它使用封装的气体微泡来改善组织内血管床的可视化。它最近已被用来使成像前所未有的亚波长空间分辨率依赖于超分辨率技术。超分辨率超声中的典型预处理步骤是将微泡信号从杂乱的组织信号中分离出来。这一步对最终的图像质量有着至关重要的影响。在这里,我们提出了一种新的方法,杂波去除鲁棒的主成分分析(PCA)和深度学习的基础上。我们首先将所采集的对比增强超声信号建模为低秩和稀疏分量的组合。该模型用于稳健PCA,并且先前在超声多普勒处理和动态磁共振成像的背景下提出。然后,我们说明了基于该模型的迭代算法表现出改进的分离微泡信号从组织信号的常用方法。接下来,我们应用深度展开的概念来建议一个针对我们的杂波滤波问题量身定制的深度网络架构,该架构相对于其迭代对应物具有更高的收敛速度和精度。我们将建议的深度网络在模拟和体内大鼠大脑扫描上的性能与常用的深度网络架构和快速迭代收缩算法进行了比较,并表明我们的架构具有更好的图像质量和对比度。
2018-11-20 cs.LG eess.SP stat.ML
Decomposable Principal Component Analysis
我们考虑可分解高斯图模型中的主成分分析(PCA)。我们利用这些模型中的先验信息,以分配其计算。为了这个目的,我们重新制定的问题在稀疏逆协方差(浓度)域和解决全球特征值问题,使用一系列的本地特征值问题,在每个集团的可分解图。我们展示了我们的方法在阿比林骨干网络的分散异常检测的背景下的应用。基于网络的拓扑结构,我们提出了一个近似的统计图模型,并分配PCA的计算。
2008-08-18 stat.ML
Convex Formulations for Fair Principal Component Analysis
UC Berkeley(加州大学伯克利分校)
虽然有越来越多的文献对监督学习的公平性,将公平性纳入无监督学习的问题还没有得到很好的研究。本文研究的背景下,主成分分析(PCA)的公平性。我们首先给出了降维的公平性的定义,并且我们的定义可以被解释为说,如果关于受保护类的信息(例如,种族或性别)不能从降维的数据点推断。接下来,我们开发凸优化公式,可以提高PCA和核PCA的公平性(相对于我们的定义)。这些配方是半定程序(SDP的),我们证明了我们的配方使用几个数据集的有效性。最后,我们展示了我们的方法可以用来执行一个公平的(相对于年龄)聚类的健康数据,可用于设置健康保险费率。
2018-11-12 cs.LG math.OC stat.ML
Probabilistic Autoencoder
Berkeley Center for Cosmological Physics(伯克利宇宙物理中心);University of California(加利福尼亚大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
主成分分析(PCA)最小化给定的一类线性模型的固定分量维数的重建误差。概率PCA通过学习PCA潜在空间权重的概率分布来添加概率结构,从而创建生成模型。自编码器(AE)在一类固定潜在空间维数的非线性模型中最小化重建误差,并在固定维数下优于PCA。在这里,我们介绍了概率自动编码器(PAE),它使用归一化流(NF)学习AE潜在空间权重的概率分布。PAE快速且易于训练,并且在下游任务中实现小的重建误差、高样本质量和良好的性能。我们比较PAE变分AE(VAE),表明PAE训练速度更快,达到较低的重建误差,并产生良好的样本质量,而不需要特殊的调整参数或训练过程。我们进一步证明了PAE是一个强大的模型,用于在修复和去噪应用的逆问题的贝叶斯推理的背景下执行概率图像重建的下游任务。最后,我们确定潜在的空间密度从NF作为一个有前途的离群值检测度量。
2022-09-19 cs.LG stat.ML
A Survey of Singular Value Decomposition Methods for Distributed Tall/Skinny Data
奇异值分解(SVD)是最重要的矩阵分解之一,在众多应用领域中有着广泛的应用。在统计学和数据分析中,奇异值分解的常见应用如主成分分析(PCA)和线性回归。通常这些应用程序出现在行比列多得多的数据上,即所谓的“高/瘦”矩阵。在大数据分析背景下,这可能采取数亿到数十亿行的形式,只有几百列。因此,需要能够充分利用现代计算资源的快速、准确和可扩展的高/瘦SVD实现。为此,我们提出了一个调查的三种不同的算法来计算SVD的这些种高/瘦的数据布局使用MPI通信。我们将这些与常见的大数据分析技术(主要是PCA)结合起来。最后,我们提出了CPU和GPU的首脑会议超级计算机的时间结果,并讨论可能的替代方法。
2020-09-02 cs.MS stat.CO
Spatial Sign based Principal Component Analysis for High Dimensional Data
本文针对高维椭圆分布数据提出基于空间符号的稳健主成分分析方法SPCA和SSPCA,并证明稀疏情形下SSPCA通过组合优化达到最优收敛速率,兼具计算高效性与对重尾分布的稳健性。
2025-07-06 stat.ME
Pre-treatment of outliers and anomalies in plant data: Methodology and case study of a Vacuum Distillation Unit
The University of Manchester(曼彻斯特大学);Process Integration Limited(Process Integration有限公司)
数据预处理在提高数据质量方面起着重要作用,从而可以从原始数据中提取准确的信息。异常值检测是数据预处理中常用的技术之一。所谓的3 $σ$方法是识别异常值的常用方法。如手稿所示,它没有识别所有离群值,导致数据的总体统计可能失真。这个问题可能会对进一步的数据分析产生重大影响,并可能导致预测模型的准确性降低。异常值检测有很多种技术,但是,除了理论工作之外,它们都需要案例研究工作。考虑了两种类型的离群值:短期(错误数据、噪声)和长期离群值(例如,故障持续时间较长)。所用数据取自亚洲一家炼油厂的真空蒸馏装置,包括40个物理传感器(温度、压力和流速)。我们使用了一种改进的3个$σ$阈值的方法来识别短期离群值,即将传感器数据划分为由变化点确定的块,并在每个块内计算3个$σ$阈值,表示接近正态分布。我们已经表明,分段3 $σ$方法提供了一个更好的方法来检测短期离群值比3 $σ$方法适用于整个时间序列。然而,这对于长期离群值(可能代表数据中的另一种状态)表现不佳。在这种情况下,我们使用主成分分析(PCA)与霍特林的$T^2$统计,以确定长期离群值。用主成分分析得到的结果进行DBSCAN聚类分析。DBSCAN也正确识别了离群值(视觉上明显,并通过PCA方法正确检测到),这支持了PCA方法的一致性和准确性。
2021-06-17 cs.LG stat.AP
A D.C. Programming Approach to the Sparse Generalized Eigenvalue Problem
在本文中,我们考虑的稀疏特征值问题,其中的目标是获得一个稀疏的解决方案的广义特征值问题。我们实现了这一点,通过约束的广义特征值问题的解决方案的基数,并获得稀疏主成分分析(PCA),稀疏典型相关分析(CCA)和稀疏Fisher判别分析(FDA)的特殊情况。不同于$\ell_1$ -范数近似的基数约束,以前的方法中使用的稀疏PCA的上下文中,我们提出了一个更紧密的近似,是相关的学生的t-分布的负对数似然。然后,该问题被框定为一个直流(凸函数的差异)的程序,并解决了作为一个序列的凸规划通过调用优化-最小化方法。证明了所得到的算法表现出\emph{global convergence}行为,即,对于任何随机初始化,由该算法生成的迭代序列(子序列)收敛到D.C.程序的稳定点。该算法的性能在稀疏PCA(在高维基因数据集中找到尽可能多的解释方差的相关基因)和稀疏CCA(用于音乐检索的跨语言文档检索和词汇选择)应用程序上都得到了经验证明。
2009-10-13 stat.ME stat.ML
Improving Context-Aware Semantic Relationships in Sparse Mobile Datasets
Stanford University(斯坦福大学)
传统的语义相似度模型往往无法封装文本所处的外部语境。然而,在移动平台上生成的文本数据集可以通过引入多模态数据来帮助我们构建更真实的语义相似性表示。这在稀疏数据集中尤其重要,这使得仅文本驱动的上下文解释变得更加困难。在本文中,我们开发了新的算法,用于构建外部特征到句子嵌入和语义相似性得分。然后,我们在Twitter数据上嵌入空间进行测试,使用每条推文的时间和地理位置来更好地理解其上下文。最终,我们证明了将具有八个分量的PCA应用于嵌入空间并附加多模态特征会产生最佳结果。这产生了相当大的改进,基于纯文本的方法来发现类似的推文。我们的研究结果表明,我们的新算法可以帮助提高在各种设置的语义理解。
2018-12-23 cs.CL cs.LG stat.ML
Statistical Inference for High-Dimensional Matrix-Variate Factor Model
本文研究了高维矩阵变量因子模型中低秩分量的估计和推断问题,其中矩阵变量的每个维数($p \times q$)都等于或大于观测数($T$).我们提出了一种称为$α$ -PCA的估计方法,该方法保留了矩阵结构,并通过超参数$α$聚合均值和当代协方差。我们开发了一个推理理论,建立一致性,收敛速率和限制分布,在一般条件下,允许跨时间,行,或列的噪声的相关性。我们展示了根据用例标准选择最佳$α$的理论和经验方法。仿真结果表明,渐近结果在逼近有限样本性质的充分性。$α$ -PCA与现有的PCA相比毫不逊色。最后,我们用一个真实的数值数据集和两个真实的图像数据集来说明它的应用。在所有的应用中,所提出的估计过程优于以前的方法在方差解释的力量,使用样本外10倍交叉验证。
2022-10-19 math.ST stat.ME stat.TH
Contextual Bandits and Optimistically Universal Learning
Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学)
我们认为一般的行动和上下文空间,学习者的奖励取决于他们所选择的行动和可观察到的背景下的上下文强盗问题。这将标准的多臂强盗推广到边信息可用的情况,例如,患者的记录或客户的历史,这允许个性化治疗。我们专注于一致性-消失的遗憾相比,最佳的政策-并表明,对于大类的非i.i.d.在上下文中,可以实现一致性,而不管时间不变的奖励机制,一个被称为普遍一致性的属性。准确地说,我们首先给出了上下文生成过程中的普遍一致性是可能的充分必要条件。其次,我们表明,总是存在一种算法,保证普遍的一致性,只要这是可以实现的,称为乐观的普遍学习规则。有趣的是,对于有限的动作空间,通用学习的可学习过程与文献中先前研究的监督学习的全反馈设置完全相同。换句话说,学习可以用部分反馈来执行,而没有任何泛化成本。该算法平衡了泛化(类似于结构风险最小化)和个性化(根据特定上下文定制动作)之间的权衡。最后,我们考虑的情况下,增加连续性假设的奖励,并表明,这些导致普遍一致性显着较大类的数据生成过程。
2022-12-31 cs.LG math.ST stat.ML