Latent Functional PARAFAC for modeling multidimensional longitudinal data
本文提出了一种基于概率隐含模型的潜在函数PARAFAC方法，用于处理多维纵向数据，通过协方差块松弛算法实现参数估计，适用于稀疏和不规则采样方案，并在ADNI研究中验证了其在张量重建中的有效性。
2024-10-24 stat.ME
Bayesian Analysis of Multidimensional Functional Data
多维函数数据出现在许多现代科学实验和观察研究中。在本文中，我们专注于纵向功能数据，多维功能数据的结构化形式。在纵向功能框架内操作，我们的目标是捕获低维可解释的功能。我们提出了一种计算效率高的非参数贝叶斯方法，同时平滑观测数据，估计条件函数均值和函数协方差表面。统计推断基于通过自适应分块吉布斯抽样的后验测量的蒙特卡罗样本。与建议的建模框架相关联的几个操作特性进行了评估比较，在模拟环境中。我们说明了我们的工作在两个案例研究中的应用。第一个案例研究涉及在不同时间收集的各国按年龄分列的生育率。第二个案例研究是自闭症谱系障碍（ASD）儿童的内隐学习实验。
2019-09-19 stat.ME
Compressed Covariance Estimation With Automated Dimension Learning
我们提出了一种估计协方差阵的方法，该协方差矩阵可以表示为一个低秩矩阵和一个对角矩阵之和。该方法对高维数据进行压缩，在压缩空间中计算样本协方差，并通过解压缩操作将其提升回环境空间。我们的方法相对于现有的文献结合稀疏性和低秩结构的协方差阵估计的一个显着特点是，我们不需要低秩分量是稀疏的。一个原则性的框架，估计压缩尺寸使用斯坦的无偏风险估计理论证明。实验仿真结果表明，我们所提出的方法的有效性和可扩展性。
2017-04-02 stat.ME
Testing for the Rank of a Covariance Operator
我们如何辨别随机过程的协方差算子是否降阶，如果是，它的精确阶是多少？在一定的信心水平下，我们如何做到这一点？这个问题是大量函数数据方法的核心，无论是通过函数PCA还是其他方法，这些方法都需要低维表示。困难在于，要在i.i.d.的基础上进行确定。离散地观察该过程的重复，并且具有测量误差污染。这给经验协方差增加了一个脊，混淆了潜在的维度。我们建立了一个矩阵完成启发检验统计量，绕过这个问题，通过测量最佳的最小二乘拟合的经验协方差的非对角元素，优化给定的有限秩的协方差。对于一个足够大的固定网格，我们确定的统计量的渐近零分布的重复次数的增长。然后，我们用它来构建一个引导实现的逐步测试程序控制家庭明智的错误率对应的收集的假设正式手头的问题。在最小正则性假设下，我们证明了该过程是一致的，并且其引导实现是有效的。该过程规避了平滑和相关的平滑参数，对测量误差异方差性无关紧要，并且不假设低噪声状态。广泛的模拟研究揭示了出色的实际性能，在广泛的设置中稳定，并且通过两个数据分析进一步说明了该过程。
2020-08-10 stat.ME
Multidimensional Distributional Neural Network Output Demonstrated in Super-Resolution of Surface Wind Speed
本文提出基于多维高斯损失的神经网络训练框架，通过傅里叶协方差表示与信息共享正则化，在地表风速超分辨率中生成保持空间相关性的闭式预测分布，实现高效不确定性量化。
2025-08-21 cs.LG stat.ME stat.ML
On the peak height distribution of non-stationary Gaussian random fields: 1D general covariance and scale space
本文推导一维一般协方差非平稳高斯过程的显式峰值高度分布，并推广至多维尺度空间场，提出两种高效数值算法。
2025-02-18 math.PR stat.ME
Separable covariance arrays via the Tucker product, with applications to multivariate relational data
现代数据集通常采用矩阵或数组的形式，可能沿着每个数据索引集具有相关性。例如，涉及随时间重复测量几个变量的数据可能表现出时间相关性以及变量之间的相关性。矩阵值数据的一个可能模型是矩阵正态分布类，它由两个协方差阵参数化，每个协方差矩阵对应于数据的每个指标集。在这篇文章中，我们描述了矩阵正规模型的扩展，以适应多维数据数组或张量。通过对独立的标准正态随机变量数组进行一组多重线性变换，得到了一类数组正态分布。所得类的协方差结构采用特定于维度的协方差阵的外积的形式。我们推导出这些协方差结构和相应阵列正态分布的一些性质，讨论协方差参数的极大似然和贝叶斯估计，并在多元纵向网络数据分析中说明该模型。
2010-08-12 stat.ME
A large covariance matrix estimator under intermediate spikiness regimes
本文在低秩稀疏结构的假设下，研究了大协方差阵协方差阵的复合极小化估计问题。在该方法中，通过核范数加$l_1$范数惩罚下的最小二乘极小化来恢复协方差阵的低秩加稀疏分解。本文提出了一种新的估计，该家庭的基础上，一个额外的最小二乘再优化步骤，旨在不收缩的低秩分量的特征值估计在第一步。我们证明，这种非收缩导致最终估计接近目标尽可能接近Frobenius范数，同时准确地恢复底层的低秩和稀疏模式。当$n$至少为$O(p^{\frac{3}{2}δ})$时，保证一致性，前提是稀疏组件中每行的最大非零数为具有$δ\leq \frac{1}{2}$的$O(p^δ)$。如果潜在特征值缩放到$p^α$、$α\in[0,1]$，则确保一致的恢复，而如果$δ\leq α$，则确保秩一致性。由此产生的估计量被称为UNALCE（UNshrinked ALgeorge协方差估计），并表现出优于最先进的估计，特别是对于什么样的拟合特性和稀疏模式检测。UNALCE的有效性突出了一个真实的例子，关于欧洲央行银行监管数据。
2018-10-20 stat.ME
Recovering Covariance from Functional Fragments
我们考虑单位平方上的协方差函数的非参数估计，给定离散观测的函数数据片段的样本。当每个样本路径仅在长度为$δ<1$的子区间上观察时，在对角线周围的$δ$带之外没有关于未知协方差的统计信息。这个问题似乎无法识别没有参数假设，但我们证明了非参数估计是可行的，在适当的光滑性和秩条件下的未知协方差。即使观察是离散的，这仍然是正确的，我们给出了精确的确定性条件，如何精细的观察网格需要相对于秩和片段长度的可识别性，以保持真实。我们证明了我们的条件将估计问题转化为低秩矩阵完备问题，构造了一个非参数估计器，并研究了它的渐进性质。我们说明了我们的方法对真实和模拟数据的数值性能。
2018-10-04 stat.ME
Robust Covariance Estimation under Imperfect Constraints using an Expected Likelihood Approach
研究了雷达空时自适应处理（STAP）中的结构化协方差阵估计问题。干扰环境的先验知识已被利用在许多以前的作品，使准确的估计，即使在训练是不慷慨的。具体而言，最近的工作表明，采用实际的约束，如杂波子空间的秩和干扰协方差的条件数，导致强大的估计，具有封闭形式的解决方案。虽然秩和条件数是非常有效的约束，但实际的非理想性往往使它们难以使用物理模型精确地知道。因此，我们提出了一种稳健的协方差估计方法的雷达STAP通过期望似然（EL）的方法。我们分析了三种不完美约束下的协方差估计算法：1）秩约束，2）秩和噪声功率约束，3）条件数约束。在每一种情况下，我们制定精确的约束确定为一个优化问题，使用EL标准。对于这三种情况下，我们得出新的分析结果，允许计算效率高，实用的方法来设置这些约束。特别是，我们正式证明，由EL标准确定的秩和条件数是唯一的。通过仿真模型和KASSPER数据集的实验结果，我们表明，由EL方法获得的最佳约束的估计优于最先进的替代品。
2016-02-15 stat.ME
Local False Sign Rate and the Role of Prior Covariance Rank in Multivariate Empirical Bayes Multiple Testing
本文研究了多元经验贝叶斯多重检验中先验协方差矩阵秩对局部错误符号率的影响，提出使用满秩协方差矩阵的调整方法以缓解低秩导致的错误符号率膨胀，从而提升高维环境下的稳健性。
2025-04-01 stat.AP stat.ME
A generalized information criterion for high-dimensional PCA rank selection
主成分分析（PCA）是最常用的统计方法，用于降维。应用PCA的一个重要问题是确定秩，秩是协方差阵的主特征值的数量。赤池信息准则（AIC）和贝叶斯信息准则（BIC）是最广泛使用的秩选择方法。两者都使用自由参数的数量来评估模型的复杂性。在这项工作中，我们采用广义信息准则（GIC）提出了一种新的方法PCA秩选择下的高维框架。GIC模型的复杂度考虑了协方差特征值的大小，可以更好地适应实际应用。在广义尖峰协方差模型下，得到了GIC的渐近性质，并建立了选择相合性。
2020-08-05 stat.ME
Reduced-Rank Covariance Estimation in Vector Autoregressive Modeling
本文研究了高维向量自回归模型中白噪声协方差阵的降秩建模问题。首先，我们提出了降秩协方差估计的设置下，独立的观察。本文推导了向量观测值基于隐变量模型的降秩估计，并给出了其最大似然估计的解析形式。仿真结果表明，降秩协方差估计优于两个竞争的协方差估计的大规模的协方差阵从独立的观察。然后，我们描述了如何将所提出的降秩估计融入到高维VAR模型的拟合中，在这里我们考虑了两种需要不同模型拟合程序的情况。在VAR建模的背景下，我们的降秩协方差估计不仅提供了VAR过程的依赖结构的可解释的描述，但也导致改进模型拟合和预测不受限制的协方差估计。两个实际数据的例子来说明这些拟合程序。
2014-12-05 stat.AP stat.CO stat.ME
Covariance Estimation in High Dimensions via Kronecker Product Expansions
本文提出了一种估计高维协方差阵的新方法。该方法，置换秩惩罚最小二乘（PRLS），是基于真实的协方差阵的克罗内克积级数展开。假设有身份证。高斯随机样本，我们建立高维收敛到真正的协方差的速度，因为样本数和变量数都趋于无穷大。对于低分离秩的协方差矩阵，我们的研究结果表明，PRLS具有显着更快的收敛速度比标准的样本协方差阵（SCM）估计。收敛速率捕获估计误差和近似误差之间的基本折衷，从而提供在分离秩方面的可缩放协方差估计框架，类似于协方差阵的低秩近似。MSE收敛速度推广了最近得到的Kronecker乘积协方差估计的ML触发器算法的高维速度。我们证明了一类块Toeplitz协方差阵是近似的低分离秩，并给出了最小分离秩$r$，以确保一个给定的偏差水平的界限。仿真验证了理论界。作为一个现实世界的应用程序，我们说明了实用的建议克罗内克协方差估计时空线性最小二乘预测的多变量风速测量。
2013-12-23 stat.ME stat.ML
Modeling Function-Valued Processes with Nonseparable and/or Nonstationary Covariance Structure
我们讨论了一个一般的贝叶斯框架，通过使用一个高斯过程或重尾过程作为先验，使我们能够处理不可分离和/或非平稳的协方差结构的多维函数值过程建模。非平稳性是通过一个变化的各向异性矩阵，其参数沿输入空间变化，并通过当地的经验贝叶斯方法估计的卷积为基础的方法。对于变化的矩阵，我们建议使用球形参数化，导致无约束和可解释的参数。不受约束的性质允许将参数建模为时间、空间位置或其他协变量的非参数函数。参数的解释是基于封闭形式的表达式，提供了宝贵的见解不可分离的协方差结构。此外，为了从具有复杂协方差结构的数据中提取重要信息，贝叶斯框架可以使用从估计的协方差结构计算的特征值和特征曲面来分解函数值过程。模拟研究和应用程序的风强度数据的结果表明。本文的补充材料可在线获取。
2020-07-28 stat.ME
Covariance Estimation for Matrix-variate Data via Fixed-rank Core Covariance Geometry
Duke University（杜克大学）
研究固定秩核心协方差流形的几何结构，提出部分各向同性核心收缩估计器。
2026-04-11 math.DG stat.ME
Data-fusion using factor analysis and low-rank matrix completion
数据融合涉及多个相关数据集的集成。统计文件匹配问题是多变量分析中的一个典型数据融合问题，其目标是在只观测到严格的边缘分布子集时，确定一组变量的联合分布。考虑到缺失数据模式，估计全套变量的协方差阵具有挑战性。因子分析模型在数据生成过程中使用低维潜变量，这在完全数据矩阵和总体协方差阵中引入了低秩分量。利用因子分析模型的低秩结构，可以通过低秩矩阵补全从不完整数据中估计完整的协方差阵。我们证明了可识别的因素分析模型中的统计文件匹配问题的条件下，在观察到的边缘子集的因素和共享变量的数量。此外，我们提供了一个期望最大化算法的参数估计。在几个真实的数据集上，因子模型在文件匹配问题中给出了比低秩矩阵完成的常见方法更小的重建误差。
2021-04-07 stat.ME
Robust low-rank covariance matrix estimation with a general pattern of missing values
本文研究了不完全数据下的抗差协方差阵估计问题。经典的统计估计方法通常建立在高斯假设的基础上，而现有的稳健估计方法假设非结构化的信号模型。前者在真实世界的数据集中可能是不准确的，其中异质性导致重尾分布，而后者不能从通常的低秩信号结构中获益。利用这两个世界的优势，一个协方差阵估计程序设计的鲁棒（混合缩放高斯）低秩模型，利用期望最大化算法内的离散数据似然函数。它还被设计为处理缺失值的一般模式。所提出的方法首先验证模拟数据集。然后，它的分类和聚类应用的兴趣进行评估，在两个真正的数据集与缺失值，其中包括多光谱和高光谱时间序列。
2021-11-23 eess.SP stat.ME
Large-Scale Low-Rank Gaussian Process Prediction with Support Points
本文针对大规模高斯过程回归的低秩近似问题，提出以支持点作为节点，并从理论和实验上证明其在预测性能和效率上优于现有方法。
2024-09-03 stat.ME
Parallel inversion of huge covariance matrices
在统计学习算法中遇到的一个非常常见的瓶颈是巨大的协方差阵的求逆，例如在评估大量数据点的高斯似然性时。我们提出了一般的并行算法求正定矩阵的逆，这几乎是秩亏的。这种矩阵求逆在高斯过程计算中是需要的，在其他设置中，并且即使随着关于低秩近似的文献的增加仍然是瓶颈。我们提出了一个通用类的算法并行计算，大大加快了计算时间的数量级利用多核架构。我们实现了我们的算法在云计算平台上，提供伪和实际的代码。该算法可以很容易地在任何多核并行计算资源上实现。提供了一些插图，以提供一个味道的收益和什么成为可能，在释放这个瓶颈。
2013-12-06 stat.ME
Symmetric Rank Covariances: a Generalised Framework for Nonparametric Measures of Dependence
测试两个随机向量是否独立的需求已经催生了大量相互竞争的相关性度量。我们感兴趣的非参数的措施，是不变的严格增加的转换，如肯德尔的tau，Hoeffding的D，和最近发现的Bergsma-Dassios符号协方差。这些度量中的每一个都表现出从它们的定义中不容易看出的对称性。使这些对称明确，我们定义了一类新的多元非参数的依赖措施，我们称之为对称秩协方差。这个新的类概括了所有上述措施，自然导致多元扩展的Bergsma-Dassios符号协方差。对称秩协方差可以估计无偏使用U-统计，我们证明结果的计算效率和大样本行为。我们开发的算法，他们的计算包括，据我们所知，第一个有效的算法，著名的Hoeffding的D统计的多元设置。
2017-08-18 math.ST stat.CO stat.ME
Combining covariance tapering and lasso driven low rank decomposition for the kriging of large spatial datasets
随着监测和测量地球系统的传感器产生的数据量的爆炸式增长，大型空间数据集在环境科学中变得无处不在。因此，对这些数据进行地质统计分析需要适当的方法。更丰富的数据集导致更复杂的建模，但也可能阻止使用经典技术。实际上，克里金预测值不是直接可用的，因为它需要对数据的协方差阵求逆。因此，处理这些数据集的挑战是提取它们包含的最大信息，同时确保相关推理和预测算法的数值易处理性。在文献中已经开发的解决这个问题的不同方法可以分为两个家族，都旨在使协方差阵的求逆在计算上可行。协方差渐减方法通过强制协方差阵的稀疏性来规避该问题，使其在合理的计算时间内可逆。第二种可用的方法假设协方差函数的低秩表示。虽然这两种方法都有各自的缺点，但我们提出了一种将它们结合起来并从它们的优点中受益的方法。假设协方差模型具有低秩加稀疏的形式。支持低秩分量的基函数的选择是数据驱动的，并且通过选择过程来实现，从而减轻了低秩部分的计算负担。该模型表示为空间随机效应模型，参数的估计是通过一步一步的方法分别处理每个尺度进行的。所得到的模型可以考虑二阶非平稳性，并处理大量的数据。
2018-06-05 math.ST stat.ME stat.TH
On the numeric stability of the SFA implementation sfa-tk
慢特征分析（SFA）是一种从快速变化的多维信号中提取慢变化特征的方法。一个开源的Matlab实现sfa-tk使SFA易于使用。我们在这里表明，在某些情况下，即当非线性扩展的数据的协方差阵不具有满秩，这种实现运行到数值不稳定性。我们提出了一种基于奇异值分解（SVD）的改进算法，即使在矩阵的秩仅小于其大小的10%的情况下，该算法也没有这些不稳定性。此外，我们表明，处理数值问题的另一种方法是注入少量的噪声到多维输入信号，可以恢复秩不足的协方差阵满秩，但在修改原始数据的价格和噪声参数调整的需要。
2009-12-06 stat.ME stat.ML
Rank-adaptive covariance testing with applications to genomics and neuroimaging
University of Toronto（多伦多大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文提出Rank-Adaptive Covariance Testing方法，通过利用两组协方差矩阵的低秩结构差异提升检验效能，适用于基因表达网络和扩散张量成像数据的协方差异质性检验。
2025-07-23 math.ST stat.AP stat.ME
Recovering Model Structures from Large Low Rank and Sparse Covariance Matrix Estimation
许多流行的统计模型，如因子模型和随机效应模型，都会产生某种类型的协方差结构，这种协方差结构是低秩稀疏矩阵的总和。本文介绍了一种惩罚近似框架，以恢复这样的模型结构，从大的协方差阵估计。我们提出了一种基于最小化非似然损失的可分离非光滑罚函数估计。该估计被证明是完全恢复这两个组件的秩和稀疏模式，从而部分恢复模型结构。在各种矩阵范数下的收敛速度也被提出。为了计算这个估计量，我们进一步开发了一个一阶迭代算法来解决包含可分离非光滑函数的凸优化问题，并且该算法在任何有限t次迭代后都能在O（1/t^2）内产生最优解。数值性能说明使用模拟数据和股票投资组合选择标准普尔100指数。
2013-03-16 q-fin.PM q-fin.ST stat.ME
Gaussian Process for Functional Data Analysis: The GPFDA Package for R
我们提出并描述了GPFDA包的R。该软件包提供了灵活的功能，用于处理功能数据的高斯过程回归（GPR）模型。可以对多变量函数数据、具有多维输入的函数数据以及不可分离和/或非平稳协方差结构进行建模。此外，该软件包还拟合函数回归模型，其中均值函数取决于标量和/或函数协变量，协方差结构由GPR模型建模。本文介绍了GPFDA在均值函数和协方差函数规范方面的通用性，并通过可重复的数值例子说明了一些模型的估计和预测的实现。
2021-01-30 stat.CO stat.ME
Low-Rank Covariance Completion for Graph Quilting with Applications to Functional Connectivity
本文针对钙成像数据中神经元分块记录导致的图拼接问题，提出先低秩补全协方差矩阵再估计图结构的两步方法，并给出三种算法及理论保证，验证了其在功能连接估计中的有效性。
2024-08-01 stat.ME stat.ML
On the Impact of Spatial Covariance Matrix Ordering on Tile Low-Rank Estimation of Matérn Parameters
本文研究了在空间统计中生成协方差矩阵前对地理空间位置进行排序的算法对 Tile 低秩近似（TLR）的压缩质量和 Matérn 参数估计准确性的影响，并分析了各排序算法的优缺点以指导实践。
2024-02-14 stat.CO stat.ME
On the sample covariance matrix estimator of reduced effective rank population matrices, with applications to fPCA
本文对降秩$r_e(Σ)$的一类$p\times p$总体协方差矩阵$Σ$上的样本协方差阵$Σ_n$的性质进行了统一的分析。这一类包括比例因子模型和具有衰减谱的协方差阵。我们考虑$r_e(Σ)$作为矩阵复杂性的一个度量，得到了$Σ_n-Σ$的算子和Frobenius范数的极小极大率，作为$r_e(Σ)$和$\|Σ\|_2$的函数，$\|Σ\|_2$是$Σ$的算子范数.与最优利率提供的指导方针，我们定义类矩阵的有效秩减少，其中$Σ_n$是一个准确的估计。在这些类的框架内，我们进行了详细的有限样本理论分析的优点和局限性的经验scree图程序中经常使用的PCA。我们发现，识别跳跃的经验谱一致估计跳跃的$Σ$的频谱不一定是为其他目标提供信息，例如选择的样本特征值和特征向量是相合估计他们的人口同行。对于适当的阈值水平，碎石图方法仍然可以用于选择一致的特征值。我们提供了一个阈值结构，也给出了相应的样本特征向量的一致性检查规则。我们将这些结果和分析专门应用于具有多项式衰减谱的总体协方差阵，并将其推广到具有多项式衰减谱的协方差算子。fPCA的应用程序说明了我们的结果可以用于功能数据分析。
2015-06-01 math.ST stat.ME stat.TH
A New Statistic for Testing Covariance Equality in High-Dimensional Gaussian Low-Rank Models
针对高维复高斯低秩信号加噪声模型中的多协方差矩阵相等性检验，提出基于特征值估计的新统计量，证明其一致性与受控 I 类错误，并通过合成及 SAR 数据验证显著优于现有方法。
2024-04-10 eess.SP math.ST stat.ME
Low-rank covariance matrix estimation for factor analysis in anisotropic noise: application to array processing and portfolio selection
本文针对各向异性噪声下因子分析中低秩协方差矩阵与噪声对角矩阵的联合估计问题，指出现有算法存在收敛可靠性缺陷，提出坐标下降算法 FAAN，并展示其在阵列测向和投资组合选择中的应用效果。
2023-04-18 eess.SP stat.ME
The Geometry of Latent Spaces: Projective Invariants, Structural Identification, and Ratio-Scale Measurement
本文提出了一种改进的Kendall's Tau估计器，通过U统计量和偏差校正，提高了秩相关性分析的准确性和鲁棒性。
2026-11-02 math.ST stat.ME stat.TH
Powerful rank verification for multivariate Gaussian data with any covariance structure
Stanford University（斯坦福大学）
本文利用选择性推断工具，推广了多变量高斯数据中最大观测值秩检验的方法，使其适用于任意$K$值和任意协方差结构，并证明了当$n>2$时该方法使现有同时推断方法不可容许。
2025-03-03 cs.LG math.ST stat.ME
Spatial Adapter: Structured Spatial Decomposition and Closed-Form Covariance for Frozen Predictors
Institute of Statistics, National Chung Hsing University（中国铭新大学统计研究所）；Department of Applied Mathematics, National Dong Hwa University（东华大学应用数学系）
本文提出空间适配器，通过结构化空间表示和封闭形式协方差增强冻结预测器，利用可处理的mini-batch ADMM方法学习空间正则化正交基和样本得分，实现压缩分布摘要。
2026-05-12 cs.AI cs.LG stat.AP
