Estimating shared subspace with AJIVE: the power and limitation of multiple data matrices
Department of Statistics, University of Chicago(芝加哥大学统计系)
本文系统分析 AJIVE 在多矩阵 JIVE 共享子空间估计中的表现,证明其在高 SNR 下随矩阵数增加达到最优误差,而低 SNR 下存在不可消除的根本局限。
2025-02-15 cs.LG math.ST stat.ML
Estimating the second-order parameter of regular variation and bias reduction in tail index estimation under random truncation
本文提出了随机右截断Pareto型分布数据二阶参数的一个估计,并证明了它的相合性和渐近正态性。此外,我们还得到了尾指标的渐近无偏估计,并研究了它的渐近性质。我们的考虑是基于一个有用的高斯近似的尾部产品限制过程最近给出的Benchaira等人。[尾部产品限制过程截断数据与应用极值指数估计。Extremes,2016; 19:219-251]和Gomes等人的结果[极端统计中二阶参数的半参数估计。Extremes,2002; 5:387-414]。我们表明,通过模拟,建议的估计表现良好,在偏差和均方误差。
2016-10-20 math.ST stat.TH
Subspace Perspective on Canonical Correlation Analysis: Dimension Reduction and Minimax Rates
典型相关分析(CCA)是研究两组随机变量之间相关结构的基本统计工具。在本文中,最近成功地应用CCA学习高维对象的低维表示的动机,我们建议量化CCA的估计损失的超额预测损失定义通过预测后降维框架。这种框架建议将CCA估计视为估计典型变量所跨越的子空间。有趣的是,来自超额预测损失的建议的误差度量原来是密切相关的人口和样本典型变量分别跨越的子空间之间的主角度。在对联合协方差阵作最小假设的情况下,我们刻画了非渐近极大极小化率,特别是极大极小化率对协方差阵的维数、条件数、典型相关和特征间隙等关键量的依赖性.据我们所知,这是第一个有限样本的结果,捕捉典型相关性的影响,极大极小率。
2018-01-21 math.ST stat.ML stat.TH
Stationary subspace analysis of nonstationary covariance processes: eigenstructure description and testing
平稳子空间分析(SSA)搜索非平稳向量时间序列中平稳分量的线性组合。这些线性组合及其个数定义了一个相关的平稳子空间及其维数。研究了零均值非平稳协方差过程的SSA。我们用某些对称矩阵的特征值和特征向量刻画了平稳子空间及其维数。这个特征,然后用来获得正式的统计测试估计尺寸的平稳子空间。还提出了基于特征结构的技术来估计平稳子空间,而不依赖于以前使用的计算密集型优化方法。最后,介绍的方法进行了检查模拟和真实数据。
2019-04-20 math.ST stat.ME stat.TH
Gaussian Process Subspace Regression for Model Reduction
子空间值函数出现在广泛的问题中,包括参数降阶建模(PROM)。在PROM中,每个参数点可以与一个子空间相关联,该子空间用于大型系统矩阵的Petrov-Galerkin投影。以前的努力近似这样的函数使用流形上的插值,这可能是不准确和缓慢的。为了解决这个问题,我们提出了一种新的贝叶斯非参数模型的子空间预测:高斯过程子空间回归(GPS)模型。该方法同时是外在和内在的:利用欧几里得空间上的多元高斯分布,它在格拉斯曼流形上导出了一个联合概率模型,该流形是固定维子空间的集合。GPS采用了简单而通用的相关结构和原则性的模型选择方法。它的预测分布承认的分析形式,这使得有效的子空间预测的参数空间。对于PROM,GPS在新的参数点提供概率预测,其保持局部降阶模型的精度,计算复杂性不依赖于系统维度,因此适合于在线计算。我们给出了四个数值例子来比较我们的方法,子空间插值,以及两种方法,内插局部降阶模型。总的来说,GPS是最有效的数据,更有效的计算比子空间插值,并给出了平滑的预测与不确定性量化。
2021-07-09 cs.NA math.NA math.ST
Covariance-Informed Subspace: an Adaptive Gradient-Free Input Dimension Reduction Method for Bayesian Inference
CEA DAM DIF(法国原子能及替代能源委员会达姆达夫研究所);Geosciences center, Mines Paris PSL(巴黎高等矿业学校PSL地球科学中心);CMAP, CNRS, Ecole Polytechnique(法兰西学院国家科学研究中心数学与计算物理中心);Autorité de Radioprotection et de Sureté Nucléaire (ASNR), PSE-ENV/SCAN(核安全与辐射防护管理局)
本文提出一种适应性梯度-free 输入维度约简方法,用于高分辨率二维或三维场的贝叶斯推断,通过协方差比指标确定数据驱动方向,提升后验近似精度。
2026-04-15 cs.NA math.NA math.ST
Estimating a change point in a sequence of very high-dimensional covariance matrices
本文考虑高维向量序列中协方差阵的变点估计问题,其中维数远大于样本量。一个两阶段的方法,提出了有效地估计的位置的变化点。第一步包括降维以识别对应于显著变化的协方差阵的元素。在第二步中,我们使用降维后的组件来确定变化点的位置。理论特性的步骤和数值研究进行支持新的方法。
2018-07-27 math.ST stat.ME stat.TH
Estimating Distributional Treatment Effects in Randomized Experiments: Machine Learning for Variance Reduction
我们提出一种利用机器学习进行回归调整的方法,以估计随机实验中的分布处理效应,通过纳入预处理协变量来降低估计器方差,并提供了渐近性质和一致推断方法,模拟与实证均验证其有效性。
2024-07-22 econ.EM math.ST stat.ML
Minimax sparse principal subspace estimation in high dimensions
研究了高维稀疏主成分分析,其中变量数$p$可以远大于观测数$n$,并分析了总体协方差阵的主特征向量所张成的子空间的估计问题.我们引入了$\ell_q$子空间稀疏性的两个互补概念:行稀疏性和列稀疏性。证明了$0\leq q\leq1$的极大极小子空间估计误差的非渐近上下上界。该界对于行稀疏子空间是最优的,对于列稀疏子空间是接近最优的,它们适用于一般类的协方差阵,并且它们表明$\ell_q$约束估计可以在没有限制性尖峰协方差条件的情况下获得最优的Minimax率。有趣的是,当有效噪声方差被适当定义时,速率的形式与稀疏回归的已知结果相匹配。我们的证明采用了一种新的变分$\sinΘ$定理,可能是有用的,在其他正则化谱估计问题。
2014-01-03 math.ST stat.ML stat.TH
Sliced Inverse Moment Regression Using Weighted Chi-Squared Tests for Dimension Reduction
本文提出了一种利用前两个逆矩进行回归降维的新方法。我们开发相应的加权卡方检验的回归维度。该方法考虑了切片逆回归(SIR)的线性组合,并使用一个新的候选矩阵,该矩阵被设计为恢复整个逆二阶矩子空间的方法。可以基于从维度检验导出的p值来选择最佳组合。理论上,该方法以及切片平均方差估计(SAVE)比SIR和主Hessian方向(pHd)更能够恢复完整的中心降维子空间。因此,它可以在理论水平上替代SIR、pHd、SAVE或它们的任何线性组合。仿真研究表明,所提出的方法可以有一致的更大的功率比SIR,pHd,和SAVE。
2013-08-24 math.ST stat.ME stat.TH
Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression
University of Science and Technology of China(中国科学技术大学);Quzhou University(衢州学院)
联邦学习已经成为当今大数据时代的流行工具。它基于来自不同客户端的数据训练集中式模型,同时保持数据分散。本文首次提出了一种联邦稀疏切片逆回归算法。我们的方法可以同时估计中央降维子空间,并在联邦设置进行变量选择。通过安全、无损地构造协方差阵,将联合高维稀疏切片逆回归问题转化为凸优化问题。然后,我们使用一个线性化的交替方向方法的乘子算法估计的中心子空间。给出了确定中心子空间维数和算法超参数的贝叶斯信息准则和保持验证方法。我们建立了一个上界的统计误差率的估计下的异质设置。我们证明了我们的方法的有效性,通过模拟和现实世界中的应用。
2023-01-23 cs.LG math.ST stat.ML
Geometry-preserving and interpretable dimension reduction for compositional data
University of Michigan(密歇根大学);KAIST(韩国科学技术院)
针对高维成分数据的单形约束和零膨胀问题,提出一种保几何降维框架,将高维成分直接映射到低维单形,实现可解释的软合并与双可视化,并基于核方法估计中心成分子空间,证明估计与目标子空间不同维度下的一致性。
2026-06-01 math.ST stat.AP stat.ME
Sample Complexities of Estimating Gumbel--Max Watermark Proportions with and without Reduction to Pivotal Statistics
研究在Gumbel-max水印机制下,估计文档中水印文本比例的问题,比较了完整观测和降为枢轴统计量两种情形,提出了相应估计器并建立了匹配的样本复杂度下界。
2026-07-03 cs.IT cs.LG math.IT