Tests for High-Dimensional Covariance Matrices Using Random Matrix Projection
当数据维数$p$大于样本量$n$时,由于样本协方差阵的奇异性,用于检验两个协方差阵相等性的经典似然比检验失效。在本文中,我们提出了一个概念上简单的方法,使用随机投影的数据投影到一维随机子空间,使传统的方法可以应用。研究了高维协方差阵的单样本和双样本检验问题。渐近结果的建立和数值结果比较我们的方法与国家的最先进的方法在文献中。
2015-11-05 stat.ME
Conditional Central Limit Theorems for Gaussian Projections
本文讨论了高维随机向量的投影何时近似高斯的问题。这个问题以前已经在高维数据分析的背景下进行了研究,重点是高维点云的低维投影。本文的重点是典型的行为时,投影生成的独立同分布。高斯投影矩阵主要结果是边界的条件分布的投影和高斯近似,其中的条件是投影矩阵之间的偏差。的界限给出的二次Wasserstein距离和相对熵,并明确表示为一个函数的数量的投影和随机向量的某些关键属性。证明使用Talagrand的运输不等式和一般的积分矩不等式的互信息。随机线性估计和压缩感知的应用进行了讨论。
2016-12-30 cs.IT math.IT math.ST
Optimal Sparse Sliced Inverse Regression via Random Projection
针对大 $p$ 小 $n$ 场景,提出基于随机投影的稀疏切片逆回归方法,通过广义特征值框架实现高效并行计算,理论证明达到极小极大最优收敛速度,并采用重新加权方案增强可识别性。
2023-08-03 stat.ME
Covariance matrix testing in high dimension using random projections
由于传统的多元渐近理论不再适用,高维协方差阵的估计和假设检验是一个具有挑战性的问题。当维数大于样本大小或随样本大小增加时,协方差阵的基于标准似然的检验具有较差的性能。现有的高维测试要么计算昂贵,要么对第一类错误的控制非常弱。在本文中,我们提出了一个测试程序,CRAMP,用于测试假设,涉及一个或多个协方差阵使用随机投影。将高维数据随机投影到低维子空间消除了维数灾难,允许使用传统的多变量测试。一个广泛的模拟研究进行比较CRAMP对渐近为基础的高维测试程序。所提出的方法的两个基因表达数据集的应用。
2020-11-16 stat.CO stat.ME
Efficient Parametric Projection Pursuit Density Estimation
University of Toronto(多伦多大学)
低维专家的产品模型是避免维数灾难的一种有效方法。我们提出了“不完全专家产品”(UPoE),其中每个专家模型的数据的一维投影。UPoE是完全易处理的,并且可以被解释为用于投影追踪的参数概率模型。它的ML学习规则与以前提出的欠完备ICA的近似学习规则相同。我们还推导出一个有效的顺序学习算法,并讨论了它的关系,投影寻踪密度估计和特征归纳算法的加性随机场模型。
2012-10-19 cs.LG stat.ML
DUAL-LOCO: Distributing Statistical Estimation Using Random Projections
ETH Zürich(苏黎世联邦理工学院);Disney Research(迪士尼研究院)
我们提出了DUAL-LOCO,分布式统计估计的通信效率的算法。DUAL-LOCO假设数据是根据特征而不是样本分布的。它只需要一轮通信,其中低维随机投影用于近似不同工人可用的特征之间的依赖关系。我们表明,DUAL-LOCO有界逼近误差,这只弱依赖于工人的数量。我们比较DUAL-LOCO对各种现实世界的数据集上的最先进的分布式优化方法,并表明它获得了更好的加速比,同时保持良好的准确性。
2016-01-08 cs.DC cs.LG stat.ML
Debiasing Random Oblique Projections for Subsampled OLS and Fast CUR in High Dimensions
Huazhong University of Science and Technology(华中科技大学);University of Michigan - Ann Arbor(密歇根大学安娜堡分校)
针对随机斜投影在子采样最小二乘和快速低秩近似中因非线性逆导致的系统性偏差,提出统一的非渐近理论框架和去偏方法,并应用于子采样最小二乘和快速CUR分解以提升精度。
2026-05-24 cs.NA math.NA stat.ML
Sign-Full Random Projections
Baidu Research USA(百度美国研究院)
1位(“符号-符号”)随机投影方法已经成为在大型数据集上进行有效搜索和机器学习的流行工具。给定两个$D$-dim数据向量$u$、$v\in\mathbb{R}^D$,可以生成$x = \sum_{i=1}^D u_i r_i$和$y = \sum_{i=1}^D v_i r_i$,其中$r_i\sim N(0,1)$ iid.“冲突概率”是${Pr}\left(sgn(x)=sgn(y)\right) = 1-\frac{\cos^{-1}ρ}π$,其中$ρ= ρ(u,v)$是余弦相似度。我们通过估计$ρ$(例如,)- 期望值$E(sgn(x)y)=\sqrt{\frac{2}π} ρ$,其可以通过将$y$归一化而被进一步显著地改进。对于非负数据,我们推荐一个基于$E\left(y_- 1_{x\geq 0} + y_+ 1_{x<0}\right)$及其归一化版本的有趣估计量。推荐的估计量几乎匹配(计算昂贵)最大似然估计量的精度。在高相似性($ρ\rightarrow1$)下,推荐估计量的渐近方差仅为符号-符号投影估计量的$\frac{4}{3π} \approx 0.4$。在小$k$和高相似性下,改进将更加显著。
2018-04-26 cs.IR cs.LG stat.ME
Sparse principal component analysis via axis-aligned random projections
我们介绍了一种新的方法,稀疏主成分分析的基础上聚集的特征向量信息从精心选择的轴对齐的随机投影的样本协方差阵。与大多数替代方法不同,我们的算法是非迭代的,所以不容易受到初始化选择不好的影响。我们提供了理论保证下,我们的主子空间估计可以达到最小最大的最优收敛速度在多项式时间。此外,我们的理论提供了一个更精细的理解稀疏主成分估计的问题中的统计和计算的权衡,揭示了一个微妙的相互作用之间的有效样本量和随机投影的数量,需要达到最小最大的最优速率。数值研究提供了进一步的洞察过程,并确认其极具竞争力的有限样本性能。
2019-05-06 math.ST stat.ME stat.ML
Invariance principle of random projection for the norm
Johnson-Lindenstrauss保证了高维确定性向量向低维向量投影时,在随机投影下保持一定的拓扑结构。本文主要研究随机矩阵对随机向量范数的影响。特别地,我们证明了随机向量$X \in \mathbb{R}^n$的范数的分布,其元素是独立同分布的。随机变量,由随机投影$S:\mathbb{R}^n \to \mathbb{R}^m$保留。更准确地说,\[ \frac{X^TS^TSX - mn}{\sqrt{σ^2 m^2n+2mn^2}} \xrightarrow[\quad m/n\to 0 \quad ]{ m,n\to \infty } \mathcal{N}(0,1) \]我们还证明了一个浓度的随机范数变换的随机投影或随机嵌入。总体上,我们的结果表明随机矩阵对于具有独立同分布的随机向量的范数具有低失真。条目
2022-07-25 math.PR math.ST stat.ML
Discussion on "Random-projection ensemble classification" by T. Cannings and R. Samworth
对T. Cannings和R.萨姆沃思我们相信,所提出的方法可以在经济学中找到许多应用,如信用评分(例如Altman(1968)),并可以扩展到更一般类型的分类器。在这次讨论中,我们想提请作者注意基于copula的判别分析(Han et al.(2013)和He et al.(2016))。
2017-05-10 math.ST stat.ME stat.TH
On Principal Components Regression, Random Projections, and Column Subsampling
主成分回归(PCR)是传统的线性回归降维方法,一直受到批评和辩护。关于PCR的一个问题是,对于大型数据集,获得领先的主成分往往需要计算。虽然随机投影不具备领先主子空间的最优性,但它们在计算上很吸引人,因此近年来越来越受欢迎。在本文中,我们提出了一个分析表明,随机投影满足Johnson-Lindenstrauss嵌入属性,在随后的回归的预测误差接近PCR,在需要比主成分随机投影的数量稍大的代价。列子采样构成了Johnson-Lindenstrauss变换类之外的一种更便宜的随机降维方法。我们提供基于合成和真实数据的数值结果以及基本理论,揭示统计性能方面的差异和共性。
2017-10-08 math.ST stat.ML stat.TH
Random Projections For Large-Scale Regression
在大规模数据分析任务中,如果样本量和变量数量非常大,则拟合线性回归模型的计算成本非常高。随机投影被广泛用作机器学习和统计中的降维工具。我们讨论了随机投影在线性回归问题中的应用,以减少计算成本,并概述了推广误差的理论保证。可以表明,随机投影与最小二乘回归的组合导致与岭回归和主成分回归类似的恢复。我们还讨论了可能的改进时,平均多个随机投影,这种方法很容易并行实现。
2017-01-19 math.ST stat.TH
Sparse Data-Driven Random Projection in Regression for High-Dimensional Data
针对预测变量相关、系数可稀疏可稠密的高维回归,提出结合相关性概率筛选、数据驱动随机投影、阈值化与模型集成的方法,并通过理论界、模拟和真实数据验证其预测与变量排序能力。
2024-03-08 math.ST stat.ME stat.TH
Kernel Conjugate Gradient Methods with Random Projections
Zhejiang University(浙江大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出并研究了可分Hilbert空间上最小二乘回归问题的随机投影核共轭梯度法。考虑到两种类型的随机投影产生的随机草图和Nyström子采样,我们证明了最佳的统计结果的变体的规范下的算法在一个合适的停止规则。特别是,我们的研究结果表明,如果投影尺寸是成比例的问题的有效尺寸,KCGM与随机草图可以推广到最佳,同时实现了计算优势。作为一个推论,我们得出的经典KCGM在良好的条件下的制度的情况下,目标函数可能不在假设空间中的最佳速率。
2022-07-15 cs.LG math.FA math.OC
Accurate Analysis of Sparse Random Projections
本文针对稀疏随机投影,提出简洁而精确的亚泊松尾界分析,数值保证优于现有工作,且方法类似Bennett不等式,具有独立价值。
2024-07-03 cs.DS math.ST stat.TH
How to reduce dimension with PCA and random projections?
在我们的“大数据”时代,数据的规模和复杂性正在稳步增加。降维的方法越来越流行和有用。两种不同类型的降维是“数据无关”方法,如随机投影和草图,和“数据感知”方法,如主成分分析(PCA)。两者都有各自的优势,例如随机投影的速度和PCA的数据自适应性。在这项工作中,我们研究如何将它们结合起来,以获得两者的最佳效果。我们研究“草图和解决”的方法,采取随机投影(或草图)第一,并计算PCA后。我们计算了几种流行的素描方法(随机iid投影,随机采样,二次采样Hadamard变换,计数素描等)在一般的“信号加噪声”(或尖峰)数据模型的性能。与已知的工作相比,我们的结果(1)给出了渐近精确的结果,(2)适用于信号分量仅略高于噪声,但投影维数不可忽略。我们还研究了更强的信号,允许更一般的协方差结构。我们发现,(a)信号强度下降的投影下,在一个微妙的方式取决于数据的结构和草图的方法,(b)正交投影更准确,(c)随机化不会伤害太多,由于浓度的措施,(d)计数草图可以通过规范化的方法得到改善。我们的研究结果对统计学习和数据分析具有重要意义。我们还说明,结果是高度准确的模拟和分析经验数据。
2021-03-28 math.PR math.ST stat.TH
Randomized Projection Learning Method forDynamic Mode Decomposition
Clarkson University(克拉克森大学)
一种被称为动态模式分解(DMD)的数据驱动分析方法在投影空间上近似线性Koopman算子。根据Johnson-Lindenstrauss引理,我们将使用随机投影来估计约维空间中的DMD模式。在实际应用中,快照是在高维可观测空间中,DMD算子矩阵是巨大的。因此,用全谱计算DMD是不可行的,所以我们的主要计算目标是估计DMD算子在投影域中的本征值和本征向量。我们将推广目前的算法来估计一个投影DMD算子。我们专注于一个强大的和简单的随机投影算法,将减少计算和存储成本。虽然很明显,随机投影简化了详细的最佳投影的算法复杂性,但正如我们将展示的那样,通常结果仍然很好,并且通过完善的随机投影理论可以理解质量。我们将证明,模式可以计算为低成本的投影数据具有足够的维度。关键词:Koopman算子,动态模式分解(DMD),Johnson-Lindenstrauss引理,随机投影,数据驱动方法。
2021-09-22 cs.LG cs.NA math.NA
Phase retrieval with random Gaussian sensing vectors by alternating projections
我们考虑一个相位恢复问题,我们要重建一个$n$维矢量从其无相位标量积与$m$感测矢量,独立地从复杂的正态分布采样。我们表明,一个合适的初始化程序,交替投影的经典算法成功的概率很高时,$m\geq Cn$,对于一些$C>0$。我们猜想,这个结果仍然是真实的,当没有特殊的初始化过程中使用,并提出支持这一猜想的数值实验。
2019-04-16 math.ST stat.TH
Estimation of high dimensional Gamma convolutions through random projections
多变量广义Gamma卷积是由卷积半参数结构定义的分布。它们灵活的依赖结构,边际可能性和有用的卷积表达式使它们吸引了从业者。然而,当维数变高时,拟合这样的分布是一个挑战。我们提出了随机估计程序的基础上通过(移位)累积量近似的拉盖尔综合平方误差的近似,随机投影的数据集上进行评估。通过对Grassmannian cubatures,稀疏优化措施和Wasserstein梯度流工具的损失分析,我们证明了随机梯度下降收敛到高维分布的适当估计。我们提出了几个例子,在低维和高维设置。
2022-03-25 math.ST stat.TH
On random tomography with unobservable projection angles
我们制定和调查的随机断层性质的统计逆问题,其中$\mathbb{R}^3$的概率密度函数是从观察到的随机和不可观测的方向上的许多二维投影恢复。这样的问题不同于经典的断层摄影问题,在经典的断层摄影问题中,投影和垂直于投影平面的单位向量都是可观察的。这个问题出现在单粒子电子显微镜中,这是生物学家用来了解生物大分子结构的一种强大方法。严格地说,这个问题是不可识别的,并建议从肯德尔的形状理论的思想铰链适当的重新表述。在此设置中,我们证明了一个一致的解决方案的问题可能会得出,而不试图估计未知的角度,如果密度被假定为承认一个混合表示。
2009-09-02 math.ST stat.TH
Targeted Random Projection for Prediction from High-Dimensional Features
我们考虑的问题,计算效率高的预测高维和高度相关的预测变量时,准确的变量选择是有效的不可能的。直接应用惩罚或使用马尔可夫链蒙特卡罗实现的贝叶斯方法可能在计算上令人生畏且不稳定。常见的解决方案是通过筛选或将设计矩阵投影到较低维度的超平面来进行第一阶段的降维。筛选对阈值选择高度敏感,而预测在非常高的维度上通常表现不佳。我们提出了带目标的随机投影(TARP)结合这两种策略的积极方面。TARP使用筛选来对用于降维的投影矩阵中的特征的包含概率进行排序,从而导致数据知情的稀疏性。我们提供了理论支持的贝叶斯预测算法的基础上TARP,包括统计和计算复杂性保证。模拟和真实数据应用的例子说明了相对于各种竞争对手的收益。
2019-09-10 math.ST stat.TH
Estimating axial symmetry using random projections
Facultad de Ciencias, Universidad de la República(理学院,乌拉圭共和国大学);Facultad de Ciencias Económicas y Administración, Universidad de la República(经济与行政学院,乌拉圭共和国大学);Faculty of Mathematics and Physics, Charles University(数学与物理学院,查理大学)
本文通过随机投影方法,提出了一种在二维空间中估计轴对称方向的估计量,并证明其一致性。
2026-10-05 math.ST stat.TH
Prediction of random variables by excursion metric projections
我们使用漂移的概念预测的随机变量没有任何时刻存在的假设。为此,定义了随机变量空间上的一个偏移度量,它表现为一种加权的$L^1$ -距离。使用这种度量的等价形式和特定的漂移水平的选择,我们制定的预测问题作为一个最小化的某个目标功能,其中涉及的漂移度量。讨论了该预报器解的存在性和弱相合性。应用于平稳重尾随机函数的外推说明了上述理论的使用。数值实验预测高斯,$α$稳定和进一步重尾时间序列圆的文件。
2022-09-06 math.ST stat.TH
On conditional moments of high-dimensional random vectors given lower-dimensional projections
多元高斯分布的最广泛使用的属性之一,除了它的尾部行为,是条件均值是线性的,条件方差是常数。我们在这里表明,这种属性也是共享的,在近似意义上,由一大类非高斯分布。我们考虑了几个条件变量,并提供了明确的非渐近结果,从而扩展了Hall and Li(1993)和Leeb(2013)的早期发现。
2016-09-06 math.ST stat.TH
Projection depth and $L^r$-type depths for fuzzy random variables
本文将投影深度与$L^r$型深度扩展至模糊随机变量环境,研究了其性质并通过真实数据示例验证了其表现,为模糊数据提供了基于深度的非参数分析方法。
2023-10-18 math.ST stat.TH
Counting faces of randomly-projected polytopes when the projection radically lowers dimension
本文发展渐近方法计数随机高维多面体的面,并揭示在统计、概率、信息论和信号处理中的意外应用,包括高斯点云凸包、随机投影信号恢复以及高斯纠错码可纠正的粗差数量。
2006-09-26 cs.NA math.MG math.NA
Probability Tools for Sequential Random Projection
针对不确定性下序列决策衍生的高维序列依赖随机变量分析难题,提出首个序列随机投影概率框架,通过构造停时过程结合自归一化混合法得到非渐近概率界,实现JL引理的非平凡鞅扩展。
2024-05-12 cs.DS cs.IT cs.NA
Phase retrieval with random Gaussian sensing vectors by alternating projections
我们考虑一个相位恢复问题,我们要重建一个$n$维矢量从其无相位标量积与$m$感测矢量。我们假设感测向量是从复正态分布独立采样的。我们建议用经典的交替投影的非凸方法来解决这个问题。我们表明,当$m\geq Cn$为$C$足够大,交替投影成功的概率很高,只要他们仔细初始化。我们还表明,有一个政权中的交替投影方法的停滞点消失,初始化程序变得无用。然而,在该方案中,$m$必须为$n^2$的量级。最后,我们推测,从我们的数值实验,在制度$m=O(n)$,有停滞点,但其吸引盆地的大小是小的,如果$m/n$是足够大的,所以交替的投影可以成功的概率接近$1$,即使没有特殊的初始化。
2016-09-10 math.OC math.ST stat.TH
Detection and Reconstruction of a Random Hypergraph from Noisy Graph Projection
Peking University(北京大学);University of Chicago(芝加哥大学)
研究在噪声图投影下,通过检测和重构随机超图的阈值问题,揭示检测与重构之间的差距现象。
2026-04-02 math.CO math.PR math.ST
Thresholds for Reconstruction of Random Hypergraphs From Graph Projections
研究从图投影重建随机d-均匀超图的可行性,确定d=3时的精确阈值,给出d≥4时的边界,提出高效重建算法,结果适用于轻度非均匀超图并改进了2023年HSBM恢复算法。
2025-02-12 cs.IT math.IT math.PR
Large deviation principles induced by the Stiefel manifold, and random multi-dimensional projections
给定一个$n$维随机向量$X^{(n)}$,对于$k < n$,考虑它的$k$维投影$\mathbf{a}_{n,k}X^{(n)}$,其中$\mathbf{a}_{n,k}$是属于$\mathbb{R}^n$中正交$k$ -标架的Stiefel流形$\mathbb{V}_{n,k}$的$n \times k$维矩阵.对于一类序列$\{X^{(n)}\}$,其中包括均匀分布的缩放$\ell_p^n$球,$p \in (1,\infty]$,和产品措施,充分轻的尾巴,它表明,序列的投影向量$\{\mathbf{a}_{n,k}^\intercal X^{(n)}\}$满足大偏差原则时,经验措施的行$\sqrt{n} \mathbf{a}_{n,k}$收敛,作为$n \rightarrow \infty$,$\mathbb{R}^k$上的概率测度。特别是,当$\mathbf{A}_{n,k}$是一个随机矩阵从Haar测量$\mathbb{V}_{n,k}$,这是暗示一个大偏差原则的随机投影序列$\{\mathbf{A}_{n,k}^\intercal X^{(n)}\}$在淬火的意义上(即,条件几乎肯定实现的$\{\mathbf{A}_{n,k}\}$)。此外,得到了退火投影$\{\mathbf{A}_{n,k}^\intercal X^{(n)}\}$的大偏差原理的速率函数的变分公式…
2021-05-10 math.FA math.PR math.ST