This paper presents a new method for estimating high dimensional covariance matrices. The method, permuted rank-penalized least-squares (PRLS), is based on a Kronecker product series expansion of the true covariance matrix. Assuming an i.i.d. Gaussian random sample, we establish high dimensional rates of convergence to the true covariance as both the number of samples and the number of variables go to infinity. For covariance matrices of low separation rank, our results establish that PRLS has significantly faster convergence than the standard sample covariance matrix (SCM) estimator. The convergence rate captures a fundamental tradeoff between estimation error and approximation error, thus providing a scalable covariance estimation framework in terms of separation rank, similar to low rank approximation of covariance matrices. The MSE convergence rates generalize the high dimensional rates recently obtained for the ML Flip-flop algorithm for Kronecker product covariance estimation. We show that a class of block Toeplitz covariance matrices is approximatable by low separation rank and give bounds on the minimal separation rank $r$ that ensures a given level of bias. Simulations are presented to validate the theoretical bounds. As a real world application, we illustrate the utility of the proposed Kronecker covariance estimator for spatio-temporal linear least squares prediction of multivariate wind speed measurements.
Robust Kronecker Product PCA for Spatio-Temporal Covariance Estimation
Kronecker PCA涉及使用空间与时间Kronecker乘积分解来估计时空协方差。在这项工作中，被认为是一个稀疏的校正因子，这对应于一个模型的协方差作为一个低（分离）秩和稀疏矩阵的克罗内克产品的总和。这种稀疏校正扩展了[Greenewald et al 2013，2014]的对角校正Kronecker PCA，以允许协方差阵中任何地方的稀疏非结构化“离群值”，例如，由不适合Kronecker模型的变量或相关性引起，或由传感器噪声或传感器故障等来源引起。我们引入了一种稳健的基于PCA的算法来估计该模型下的协方差，扩展了[Greenewald et al 2014，Tsiligkarnovel et al 2013]的重排核范数惩罚LS Kronecker PCA方法。还提供了一个扩展Toeplitz时间因素，产生一个参数减少时间平稳的测量建模。高维MSE性能界限给出了这些扩展。最后，建议的扩展KronPCA的酵母细胞周期实验的模拟和真实数据进行评估。这确立了鲁棒Kronecker PCA在生物和其他应用中的实际效用。
在这项工作中，多天线合成孔径雷达运动目标的检测被认为是。作为一种高分辨率的雷达成像方式，SAR能够很好地检测和识别静止目标，这使其具有传统GMTI雷达所无法比拟的优势。运动目标检测是更具有挑战性的，由于“掩埋”的运动目标在杂波中，往往是实现使用空时自适应处理（STAP）（基于学习滤波器从时空杂波协方差），以消除静态杂波和增强运动目标。在这项工作中，它是注意到，除了经常提到的低秩结构，杂波协方差也自然的形式与低秩因子的空间与时间克罗内克积。提出了一种低秩KronPCA协方差估计算法来利用这种结构，并提出了一种基于Kronecker协方差估计的可分离杂波抵消滤波器。总之，这些提供了所需训练样本数量的数量级减少，以及对训练数据的损坏（例如，由于离群值和移动目标）的改进的鲁棒性。推导了该估计算法的理论性质，并在球不变随机向量模型（SIRV）下建立了训练复杂度的显着降低。最后，这种方法将多通道数据（变化检测）的扩展。仿真结果和实验使用真正的Gotcha SAR GMTI挑战数据集，证实了我们的方法相对于现有技术的优势。
Regularized Block Toeplitz Covariance Matrix Estimation via Kronecker Product Expansions
在这项工作中，我们考虑在低样本非高斯制度的时空协方差阵的估计。我们以Kronecker乘积分解（Tsiligkarnut et al. 2013，Greenewald et al. 2013）和对角校正（Greenewald et al.）的形式施加协方差结构，在多帧协方差阵的估计中，我们将其称为DC-KronPCA。本文扩展了（Tsiligkarnut等人）的方法。两个方向。首先，我们修改对角校正的方法（Greenewald等人）。以包括施加时间平稳性结构的块Toeplitz约束。第二，我们通过使用类似于（Chen，Hero et al. 2010）的Ledoit-Wolf型收缩正则化来改进非常低样本区域中估计的条件。为了提高对重尾分布的鲁棒性，我们修改了KronPCA，以纳入鲁棒收缩估计（Chen，Hero等人，2011）。数值模拟的结果建立在估计MSE方面的好处相比，以前的方法。最后，我们将我们的方法应用于现实世界的网络时空异常检测问题，并取得了优异的成绩。
Tensor-variate Gaussian process regression for efficient emulation of complex systems: comparing regressor and covariance structures in outer product and parallel partial emulators
