Resistant estimates for high dimensional and functional data based on random projections
提出一种基于随机投影的自适应稳健估计方法,适用于高维或无限维数据,在受限污染模型下稳健且高效,并经模拟和真实数据验证。
2011-10-14 stat.ME
Random projections: data perturbation for classification problems
随机预测为大范围的大规模统计问题提供了一种有吸引力和灵活的方法。它们在高维环境中特别有用,在高维环境中,我们为每个观察记录了许多协变量。在分类问题中,有两种使用随机投影的一般技术。第一种方法涉及到一个集合中的许多投影--这里的想法是在应用不同的随机投影后聚合结果,目的是实现更高的统计准确性。第二类方法包括散列和草图技术,这是降低问题复杂性的直接方法,因此可能节省大量计算,同时近似保留统计效率。
2019-11-25 stat.ME stat.ML
Data-Driven Random Projection and Screening for High-Dimensional Generalized Linear Models
Institute of Statistics and Mathematical Methods in Economics(统计与经济学数学方法研究所);TU Wien(维也纳工业大学)
本文提出了一种数据驱动的随机投影与筛选方法,用于高维广义线性模型,通过岭估计优化惩罚参数,提升预测性能并优于弹性网络。
2024-10-01 stat.ME
K-nearest Neighbor Search by Random Projection Forests
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);Dali University(大理大学)
k近邻搜索在数据挖掘、机器学习、统计学等许多应用领域有着广泛的应用。受集成方法的成功和基于树的方法的灵活性的启发,我们提出了随机投影森林(rpForests),用于kNN搜索。rpForests通过聚合来自随机投影树的集合的结果来查找kNN,每个树都是通过一系列精心选择的随机投影递归构建的。rpForests在kNN的缺失率和kNN距离的差异方面实现了显着的准确性。rpForests具有非常低的计算复杂度。rpForests的集成性质使其可以在多核或集群计算机上并行运行;运行时间预计与核心或机器的数量几乎成反比。我们给出了理论上的见解,通过显示的概率指数衰减,相邻点将被分离的合奏随机投影树时,合奏大小的增加。我们的理论可以用来细化树木生长过程中随机投影的选择,实验表明效果显著。
2018-12-31 cs.LG stat.CO stat.ME
Online Detection of Sparse Changes in High-Dimensional Data Streams Using Tailored Projections
当应用主成分分析(PCA)进行降维时,通常使用变化最大的投影以保留大部分信息。然而,为了异常和变化检测的目的,变化最小的投影通常是最重要的投影。在这篇文章中,我们提出了一种新的方法,自动调整选择的投影监测稀疏变化的平均值和/或协方差阵的高维数据。变化最小的投影的子集几乎总是基于投影对变化的敏感性的标准来选择。我们的重点是在线/顺序变化检测,目的是尽可能快地检测变化,同时将假警报控制在指定的水平。量身定制的PCA和广义对数似然监测程序的组合显示出高效率的检测,即使是非常稀疏的变化的均值,方差和相关性。我们在真实数据上证明,当数据流高度自相关和非正态时,量身定制的PCA监测对于稀疏变化检测也是有效的。值得注意的是,在没有大的验证集的情况下实现了错误控制,这在大多数现有方法中是需要的。
2019-08-06 stat.ME stat.ML
Tests for High-Dimensional Covariance Matrices Using Random Matrix Projection
当数据维数$p$大于样本量$n$时,由于样本协方差阵的奇异性,用于检验两个协方差阵相等性的经典似然比检验失效。在本文中,我们提出了一个概念上简单的方法,使用随机投影的数据投影到一维随机子空间,使传统的方法可以应用。研究了高维协方差阵的单样本和双样本检验问题。渐近结果的建立和数值结果比较我们的方法与国家的最先进的方法在文献中。
2015-11-05 stat.ME
Random Projection Tests via Cauchy Combination for Two-Sample Mean
School of Sciences, Chang’an University(长安大学理学院);Center for Statistics and Data Science, Beijing Normal University(北京师范大学统计与数据科学中心);Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计中心及统计学院)
针对高维两样本均值检验,提出柯西组合随机投影检验(CRPT),通过多次随机投影和柯西变换组合p值,并开发功效增强版本,以提升对稀疏备择假设的敏感性。
2026-09-11 stat.ME
An Efficient and Distribution-Free Two-Sample Test Based on Energy Statistics and Random Projections
现有的无分布双样本检验方法的一个共同缺点是计算复杂度可能很高。具体而言,如果样本量为$N$,则这些双样本检验的计算复杂度至少为$O(N^2)$。在本文中,我们开发了一个有效的算法的复杂性$O(N \log N)$计算能量统计在单变量的情况下。对于多变量的情况下,我们介绍了一种基于能量统计和随机投影的双样本检验,它具有$O(K N \log N)$的计算复杂度,其中$K$是随机投影的数量。我们命名为随机投影能量统计(RPES)的多变量情况下,我们的方法。我们可以表明,RPES实现了几乎相同的测试功率与能量统计理论和经验。数值实验也证明了所提出的方法比竞争对手的效率。
2017-07-14 stat.ME
High-dimensional outlier detection using random projections
文献中存在多种检测多变量数据中异常值的方法,但大多数方法都需要估计协方差阵。维数越高,矩阵的估计越复杂,在高维中变得不可能。为了避免估计这个矩阵,我们提出了一种新的随机投影为基础的程序来检测高斯多元数据中的离群值。它包括在几个一维子空间中投影数据,其中应用了适当的单变量离群值检测方法,类似于Tukey的方法,但阈值取决于初始尺寸和样本量。所需的投影数是使用序贯分析确定的。模拟和真实数据集说明了所提出的方法的性能。
2020-11-27 stat.ME
Model-Based Clustering of Functional Data Via Random Projection Ensembles
Department of Statistical Sciences - University of Bologna(博洛尼亚大学统计科学系)
本文提出基于随机投影集合的功能数据聚类方法,通过高斯混合模型和Kullback-Leibler散度实现高效降维与聚类,适用于光谱和语音数据的高效聚类分析。
2025-12-17 stat.ME
Random-projection ensemble dimension reduction
该研究提出一种高维回归下的随机投影集成降维框架,通过筛选投影、奇异值分解聚合实现降维,支持维度选择与二次降维,理论上误差随投影组增加稳定,数值实验验证了其优异性能。
2024-10-07 stat.ME stat.ML
Two-stage Ensemble Clustering of Functional Data Using Random Projections
Indian Statistical Institute(印度统计研究所);Indian Institute of Science Education and Research Kolkata(印度科学教育与研究学院加尔各答分校)
本文提出了一种基于高斯过程生成随机投影的函数数据聚类方法,通过两阶段聚类策略,利用均绝对距离度量进行高维数据聚类,并通过数据驱动的投影方向进一步优化聚类结果,验证了该方法在多种函数数据场景中的高准确性。
2026-05-21 stat.ME
Discussion on "Random-projection ensemble classification" by T. Cannings and R. Samworth
对T. Cannings和R.萨姆沃思我们相信,所提出的方法可以在经济学中找到许多应用,如信用评分(例如Altman(1968)),并可以扩展到更一般类型的分类器。在这次讨论中,我们想提请作者注意基于copula的判别分析(Han et al.(2013)和He et al.(2016))。
2017-05-10 math.ST stat.ME stat.TH
Optimal Sparse Sliced Inverse Regression via Random Projection
针对大 $p$ 小 $n$ 场景,提出基于随机投影的稀疏切片逆回归方法,通过广义特征值框架实现高效并行计算,理论证明达到极小极大最优收敛速度,并采用重新加权方案增强可识别性。
2023-08-03 stat.ME
A Statistically and Numerically Efficient Independence Test based on Random Projections and Distance Covariance
独立性检验在许多统计技术中起着基础性的作用。在非参数方法中,基于距离的方法(如基于距离相关的假设独立性检验)与许多其他方法相比具有许多优点。基于距离的方法的已知限制是其计算复杂度可能很高。通常,当样本量为$n$时,基于距离的方法(通常需要计算所有成对距离)的计算复杂度顺序可以为$O(n^2)$。最近的进展已经发现,在{ \it单变量}情况下,存在具有$O(n \log n)$计算复杂度和$O(n)$存储器要求的快速方法。在本文中,我们介绍了一种基于随机投影和距离相关的独立性测试方法,它实现了几乎相同的功率的最先进的基于距离的方法,在{ \it多元}的情况下,并享有$O(n K \log n)$的计算复杂度和$O(\max\{n,K\})$的内存需求,其中$K$是随机投影的数量。请注意,当执行$K < n/\log n$时,将实现保存。我们将我们的方法命名为随机投影距离协方差(RPDC)。统计理论分析利用了当代机器学习中的一些随机投影技术。数值实验表明,所提出的方法的效率,相对于几个竞争对手。
2017-01-21 stat.ME
Nonparametric Testing under Random Projection
非参数推理的一个共同挑战是当数据量很大时其高计算复杂性。在本文中,我们开发了计算效率的非参数检验采用随机投影策略。在特定的核岭回归设置,一个简单的基于距离的检验统计量的建议。值得注意的是,我们推导出的最小数量的随机预测,这是足以实现测试的最优性方面的极大极小率。进一步建立了一种不需要规则性先验知识的自适应测试方法。一个技术贡献是建立经验核特征值的尾和的范围的上界。仿真和实际数据分析进行支持我们的理论。
2018-02-17 math.ST stat.ME stat.ML
Sparse Data-Driven Random Projection in Regression for High-Dimensional Data
针对预测变量相关、系数可稀疏可稠密的高维回归,提出结合相关性概率筛选、数据驱动随机投影、阈值化与模型集成的方法,并通过理论界、模拟和真实数据验证其预测与变量排序能力。
2024-03-08 math.ST stat.ME stat.TH
Sparse principal component analysis via axis-aligned random projections
我们介绍了一种新的方法,稀疏主成分分析的基础上聚集的特征向量信息从精心选择的轴对齐的随机投影的样本协方差阵。与大多数替代方法不同,我们的算法是非迭代的,所以不容易受到初始化选择不好的影响。我们提供了理论保证下,我们的主子空间估计可以达到最小最大的最优收敛速度在多项式时间。此外,我们的理论提供了一个更精细的理解稀疏主成分估计的问题中的统计和计算的权衡,揭示了一个微妙的相互作用之间的有效样本量和随机投影的数量,需要达到最小最大的最优速率。数值研究提供了进一步的洞察过程,并确认其极具竞争力的有限样本性能。
2019-05-06 math.ST stat.ME stat.ML
A random-projection based procedure to test if a stationary process is Gaussian
在本文中,我们解决的统计问题的测试,如果一个平稳的过程是高斯。观察结果存在于过程的有限样本路径中。使用Cuesta-Albertos等人2007年在函数数据拟合优度检验框架中引入和研究的随机投影技术,我们执行一些决策规则。这些规则实际上是基于过程的整个分布,而不仅仅是基于过程的边缘分布。其主要思想是检验过程的随机线性组合的边缘分布的高斯性。这导致了一致的决策规则。一些数值模拟表明我们的方法的相关性。
2009-11-18 math.ST stat.ME stat.TH
Kernel Random Projection Depth for Outlier Detection
Aichi Institute of Technology(爱知工业大学)
本文提出一种核随机投影深度方法,在再生核希尔伯特空间中计算RPD,以应对数据多模态和非凸性,实验表明其在基准数据集上优于RPD且与其他检测模型相当。
2023-09-06 cs.LG stat.AP stat.ME
Sign-Full Random Projections
Baidu Research USA(百度美国研究院)
1位(“符号-符号”)随机投影方法已经成为在大型数据集上进行有效搜索和机器学习的流行工具。给定两个$D$-dim数据向量$u$、$v\in\mathbb{R}^D$,可以生成$x = \sum_{i=1}^D u_i r_i$和$y = \sum_{i=1}^D v_i r_i$,其中$r_i\sim N(0,1)$ iid.“冲突概率”是${Pr}\left(sgn(x)=sgn(y)\right) = 1-\frac{\cos^{-1}ρ}π$,其中$ρ= ρ(u,v)$是余弦相似度。我们通过估计$ρ$(例如,)- 期望值$E(sgn(x)y)=\sqrt{\frac{2}π} ρ$,其可以通过将$y$归一化而被进一步显著地改进。对于非负数据,我们推荐一个基于$E\left(y_- 1_{x\geq 0} + y_+ 1_{x<0}\right)$及其归一化版本的有趣估计量。推荐的估计量几乎匹配(计算昂贵)最大似然估计量的精度。在高相似性($ρ\rightarrow1$)下,推荐估计量的渐近方差仅为符号-符号投影估计量的$\frac{4}{3π} \approx 0.4$。在小$k$和高相似性下,改进将更加显著。
2018-04-26 cs.IR cs.LG stat.ME