Matrix norm shrinkage estimators and priors
The University of Tokyo（东京大学）；RIKEN Center for Brain Science（理化学研究所脑科学中心）
该研究针对Frobenius损失下的正态均值矩阵，构造了推广James-Stein等经典估计量的极小极大估计量，提出推广Stein先验的超调和先验，经模拟验证其性能良好。
2026-08-25 math.ST stat.TH
An Empirical Bayes Approach to Shrinkage Estimation on the Manifold of Symmetric Positive-Definite Matrices
James-Stein估计量是多元正态均值的估计量，在平方误差损失下优于极大似然估计量（MLE）。最初的工作激发了人们对开发各种问题的收缩估计器的极大兴趣。然而，流形值数据的收缩估计的研究很少。本文给出了定义在$N \times N$对称正定矩阵流形上的对数正态分布参数的收缩估计。对于这个流形，我们选择对数欧几里德度量作为它的黎曼度量，因为它易于计算并且在应用中被广泛使用。通过在损失函数中使用对数欧几里德距离，我们导出了一个解析形式的收缩估计，并证明了它在一个大类估计中是渐近最优的，包括MLE，这是数据的样本Fréchet均值。我们通过几个模拟数据实验证明了所提出的收缩估计的性能。此外，我们应用收缩估计进行统计推断扩散磁共振成像问题。
2020-10-27 math.ST stat.TH
OptShrink: An algorithm for improved low-rank signal matrix denoising by optimal, data-driven singular value shrinkage
测量矩阵的截断奇异值分解（SVD）是如何使用低秩矩阵最好地近似噪声测量矩阵的_representation_ problem的最优解。在这里，我们考虑如何通过测量矩阵的奇异向量的最佳（重新）加权来最好地近似隐藏在噪声中的低秩信号矩阵的（不可观测）_去噪_问题。我们利用随机矩阵理论的最新成果，准确地描述了最佳权系数的大矩阵限制，并表明它们可以直接从一个大类的噪声模型，包括独立同分布的数据计算。高斯噪声情况。我们的分析带来了尖锐的焦点收缩和阈值形式的最佳权重，相关的收缩函数（奇异值）的非凸性质，并解释了为什么矩阵正则化通过奇异值阈值与凸罚函数（如核范数）将始终是次优的。我们验证我们的理论预测与数值模拟，开发一个可实现的算法（OptShrink），实现了预测的性能增益，并显示我们的方法可以用来提高估计的设置中的测量矩阵有缺失的条目。
2014-04-18 cs.IT math.IT math.ST
Matrix Denoising with Partial Noise Statistics: Optimal Singular Value Shrinkage of Spiked F-Matrices
针对未知协方差噪声下的低秩矩阵估计，提出利用纯噪声侧信息的 WSC 工作流，并推导尖峰 F 矩阵的渐近最优闭式奇异值收缩。
2023-07-15 cs.IT eess.SP math.IT
l_p-norm based James-Stein estimation with minimaxity and sparsity
研究了多元正态均值的一类新的Minimax Stein型收缩估计，其中收缩因子是基于l_p范数的.建议的估计允许一些，但不是所有的坐标估计为0，从而允许稀疏性以及极大极小。
2015-05-28 math.ST stat.TH
Projection inference for high-dimensional covariance matrices with structured shrinkage targets
在相关性下分析高维数据的大样本是一个具有挑战性的统计问题，因为长时间序列可能具有变点，最重要的是在均值和边际协方差中，需要有效的测试。由于噪声累积，对大型协方差阵的推断尤其困难，导致奇异估计和相关测试的功效较差。高维样本协方差阵的奇异性可以通过考虑与规则的、更结构化的目标矩阵的线性组合来克服。这种方法被称为收缩，目标矩阵通常是对角形式。在本文中，我们考虑的协方差收缩对bandable或Toeplitz类型的结构非参数估计，分别，旨在提高估计精度和统计功效的测试，即使在非平稳。我们得到可行的高斯近似结果的双线性投影的收缩估计是有效的非平稳性和依赖。这些近似，特别是使我们能够制定一个统计测试的边缘协方差结构的高维时间序列的尺寸上没有限制，这是强大的对非平稳性的滋扰参数。我们通过模拟表明，收缩有助于提高所提出的测试的功率。此外，我们建议一个数据驱动的选择的收缩权重，并评估其性能的蒙特卡罗研究。结果表明，所提出的收缩估计是优越的非Toeplitz协方差结构接近分数高斯噪声。
2022-11-04 math.ST stat.ME stat.TH
Optimal Shrinkage of Eigenvalues in the Spiked Covariance Model
我们发现，在一个常见的高维协方差模型中，损失函数的选择对最优估计有着深远的影响。在一个渐近框架的基础上的尖峰协方差模型和使用正交不变估计，我们表明，最佳估计的人口协方差阵归结为一个最佳收缩$η$，作用于样本特征值的elementwise设计。事实上，每个损失函数对应于一个唯一的容许特征值收缩器$η^*$支配所有其他收缩器。最优收缩器的形状由损失函数的选择决定，并且关键地由样本协方差阵的特征值和特征向量的不一致性决定。详细的这些现象和封闭形式的最佳特征值收缩公式制定了一个动物园的26个损失函数的协方差估计发现在文献中，包括Stein，熵，发散，Frechet，Bhattacharya/Matusita，Frobenius范数，算子范数，核范数和条件数损失。
2017-06-04 math.ST stat.TH
Shrinkage estimation with a matrix loss function
考虑估计具有常方差的独立正态分布观测的n × p矩阵的均值的n × p矩阵，其中估计量的性能使用p × p矩阵二次误差损失函数来判断。一个矩阵版本的James-Stein估计提出，取决于一个调谐常数。当n大于或等于3时，对于某些调谐常数的选择，它将主导通常的极大似然估计。该结果也扩展到其他收缩估计量和设置。
2011-01-18 math.ST stat.TH
On shrinkage estimation for balanced loss functions
在平衡损失函数的自然修改下考虑多变量平均$θ$的估计：（i）$ω\, ρ(\|δ-δ_0\|^2) + (1-ω) \, ρ(\|δ-θ\|^2) $，和（ii）$\ell \left( ω\, \|δ-δ_0\|^2 + (1-ω) \, \|δ-θ\|^2 \right)\,$，其中$δ_0$是$γ(θ)$的目标估计量。在简要回顾了已知的结果与身份$ρ$或$\ell$的原始平衡损失，我们提供，增加和凹$ρ$和$\ell$也满足完全单调的属性，Baranchik型估计$θ$占主导地位的基准$δ_0(X)=X$ $X$无论是作为多元正态分布或作为一个规模混合的法线。给出了模型鲁棒性和同时优势的影响，无论是$ρ$或$ \ell
2019-04-05 math.ST stat.TH
Optimal spectral shrinkage and PCA with heteroscedastic noise
研究了带异方差噪声的加标协方差模型的预测、协方差估计和主成分分析等相关问题。我们认为白化噪声的基础上的主成分的估计，我们得到最佳的奇异值和特征值收缩与这些估计的主成分。这些方法的基础是异方差噪声的高维尖峰模型的新的渐近结果，和相关的人口参数的相合估计量。我们扩展了以前的分析样本外的预测与白化预测的设置。我们证明了噪声白化的某些优点。具体来说，我们表明，在一定的渐近制度，最佳奇异值收缩与白化收敛到最好的线性预测，而没有白化它收敛到一个次优的线性预测。我们证明，对于通用信号，白化提高了主成分的估计，并增加了自然的观测信噪比。我们还表明，对于秩一信号，我们估计的主成分达到渐近极小极大率。
2020-09-16 math.ST stat.OT stat.TH
Random Matrix Derived Shrinkage of Spectral Precision Matrices
关于实值协方差阵的收缩方法，已有很多研究。在$p$ -向量值时间序列的谱分析中，通常也需要好的收缩方法，特别是当复值谱矩阵是奇异的时。利用Rao-Blackwell估计量改进了谱矩阵的Ledoit-Wolf（LW）协方差阵估计量的等价形式，并利用随机矩阵理论导出了它的形式.这样的估计器也可以用来更好地估计逆谱（精度）矩阵，并且先前已经提出了随机矩阵方法，并通过广泛的模拟来实现。我们描述的方法，但进行计算完全分析，并建议一种方法来选择一个重要的参数，使用预测风险的方法。我们表明，无论是劳-布莱克威尔估计和随机矩阵估计的精度矩阵可以大大优于逆的LW估计在时间序列设置。我们的新方法被应用到EEG派生的时间序列数据，它被认为是工作良好，并提供实质性的改进，精度矩阵估计。
2014-11-26 math.ST stat.TH
Eigenvector overlaps in large sample covariance matrices and nonlinear shrinkage estimators
School of Physical and Mathematical Sciences Nanyang Technological University（南洋理工大学物理与数学科学学院）
该研究探究大样本协方差矩阵中特征向量/奇异向量重叠的依概率收敛性及收敛速率，并以此更精确刻画Ledoit和Wolf非线性收缩估计量的损失。
2024-07-21 math.ST stat.TH
Shrinkage to Infinity: Reducing Test Error by Inflating the Minimum Norm Interpolator in Linear Models
Princeton University（普林斯顿大学）
本文研究了高维线性回归中协方差矩阵高度各向异性时，通过放大最小二范数插值器来降低测试误差的方法，理论和实验证明了这一方法的有效性。
2026-04-30 math.ST stat.ML stat.TH
Dirichlet-Laplace priors for optimal shrinkage
惩罚回归方法，如$L_1$正则化，通常用于高维应用，并且有丰富的文献在稀疏性假设下的最优性。在贝叶斯范式中，稀疏性通常通过概率质量为零的两组分混合先验来诱导，但这种先验在高维中遇到了令人生畏的计算问题。这激发了各种各样的连续收缩先验，它们可以表示为高斯的全局-局部尺度混合，便于计算。与频率论文献形成鲜明对比的是，人们对这种先验的性质以及相应的后验分布的收敛性和集中性知之甚少。在这篇文章中，我们提出了一类新的狄利克雷-拉普拉斯（DL）先验，它具有最佳的后验浓度，并导致有效的后验计算利用归一化随机测度论的结果。有限样本的狄利克雷-拉普拉斯先验相对于替代品的性能进行评估，在模拟和真实数据的例子。
2014-01-21 math.ST stat.TH
On shrinkage estimation of a spherically symmetric distribution for balanced loss functions
考虑了基于平衡损失函数的$d$维球对称分布$X$的均值向量$θ$的估计问题：{ \bf（i）} $ωρ(\|\de-\de_{0}\|^{2}) +(1-ω)ρ(\|\de - θ\|^{2})$和{ \bf（ii）} $\ell\left(ω\|\de - \de_{0}\|^{2} +(1-ω)\|\de - θ\|^{2}\right)$，其中$δ_0$是目标估计量，$ρ$和$\ell$是递增和凹函数.对于$d\geq 4$和目标估计量$δ_0(X)=X$，我们提供了Baranchik型估计量，这些估计量支配$δ_0(X)=X$并且是极小极大的。研究结果代表了Marchand \& Strawderman（\cite{ms2020}）在两个方向上的扩展：{ \bf（a）}从法线的尺度混合到Lebesgue密度分布的球形类，{ \bf（b）}从完全单调到凹$ρ'$和$\ell'$。
2021-02-25 math.ST stat.TH
On the Strong Convergence of the Optimal Linear Shrinkage Estimator for Large Dimensional Covariance Matrix
在这项工作中，我们构造了一个最佳的线性收缩估计的协方差阵在高维。随机矩阵理论的最新结果使我们能够找到最优收缩强度的渐近确定性等价物，并一致地估计它们。对于协方差阵，所得到的无分布估计在所有线性收缩估计中几乎必然服从最小Frobenius损失。我们考虑的情况包括变量数$p\rightarrow\infty$和样本量$n\rightarrow\infty$，因此$p/n\rightarrow c\in (0, +\infty)$。此外，我们证明了样本协方差阵的Frobenius范数几乎必然趋于一个确定的量，可以一致估计。
2014-06-25 math.PR math.ST q-fin.ST
Optimal Linear Shrinkage Estimator for Large Dimensional Precision Matrix
本文针对高维精度矩阵估计问题，基于随机矩阵理论构造了免分布的最优线性收缩估计量，直接估计精度矩阵而无需对协方差矩阵求逆，并证明其几乎必然达到最小 Frobenius 损失，模拟实验显示该方法在非正态数据下仍具有显著改进和稳健性。
2014-03-25 math.PR math.ST q-fin.ST
Sharp Asymptotic Minimaxity for Multiple Testing Using One-Group Shrinkage Priors
Dhirubhai Ambani University（Dhirubhai Ambani大学）；Texas A&M University（德克萨斯农工大学）；Indian Statistical Institute（印度统计研究所）
研究稀疏高斯序列模型中基于全局-局部尺度混合正态先验的贝叶斯多重检验规则的渐近极小化极大性质，证明在已知或未知稀疏度下，适当选择全局收缩参数可使检验规则达到精确极小化极大风险。
2026-06-15 math.ST stat.TH
The Beta-Mixture Shrinkage Prior for Sparse Covariances with Posterior Minimax Rates
稀疏协方差阵的统计推断对于揭示大型多元数据集的相关结构至关重要，但缺乏可扩展的和理论支持的贝叶斯方法。在本文中，我们提出了β-混合收缩先验，计算效率比尖峰和板坯先验，稀疏协方差阵，并建立其在高维设置的极大极小最优性。建议的先验由β混合收缩和伽马先验的非对角和对角条目，分别。为了保证所得到的协方差阵的正定性，我们进一步将先验的支持度限制在正定矩阵的子空间中。在Frobenius范数下，我们得到了诱导后验估计的后验收敛速度，并建立了稀疏协方差阵的极大极小下界。本文所考虑的极小极大下界的稀疏协方差阵类由非零非对角元素的个数控制，比文献中出现的稀疏协方差矩阵类具有更直观的吸引力.除非真的协方差阵是非常稀疏的，否则所得到的后验收敛速度与极大极小下界一致。在模拟研究中，我们表明，所提出的方法是计算效率比竞争对手，同时实现可比的性能。基于两个真实数据集的收缩先验的优点证明。
2021-01-12 math.ST stat.ME stat.TH
Optimal Shrinkage Estimator for High-Dimensional Mean Vector
本文利用随机矩阵理论导出了高维均值向量的最优线性收缩估计。这些结果是在维数$p$和样本量$n$都趋于无穷大的假设下得到的，使得$p/n \to c\in(0,\infty)$。在对底层数据生成机制施加的弱条件下，我们找到了最佳收缩强度的渐近等价物，并一致地估计它们。所提出的高维均值向量的非参数估计具有简单的结构，并证明了当$c\in(0,1)$时，以概率$1$渐近最小化二次损失。当使用$c\in(1, \infty)$时，我们通过使用精度协方差阵的可行估计量来修改估计量。为此，一个详尽的模拟研究和实际数据的应用程序，建议的估计与已知的基准从文献中进行比较。结果表明，现有的估计的均值向量，包括新的建议，收敛到样本均值向量时，真正的均值向量有一个无界的欧几里德范数。
2018-07-14 math.ST q-fin.ST stat.TH
Regularization in High-Dimensional Regression and Classification via Random Matrix Theory
本文研究了高维回归和分类中当特征数和样本量均成比例增长到无穷大时的一般奇异值收缩估计。我们允许具有一般协方差阵的模型，其中包括一大类数据生成分布。就我们的结果的影响而言，我们找到了梯度下降拟合回归模型中训练和测试误差的精确渐近公式，这为早期停止作为正则化方法提供了理论见解。此外，我们提出了一种基于协方差阵经验谱的线性判别分析最优特征值收缩分类器的数值方法。最后，我们得到了高维分布的稠密均值向量向量的最优估计。在整个分析过程中，我们依靠随机矩阵理论的最新进展，并进一步发展独立的数学兴趣的结果。
2020-03-30 math.ST stat.TH
PCA from noisy, linearly reduced data: the diagonal case
假设我们观察到形式为$Y_i = D_i (S_i + \varepsilon_i) \in \mathbb{R}^p$或$Y_i = D_i S_i + \varepsilon_i \in \mathbb{R}^p$，$i=1,\ldots,n$的数据，其中$D_i \in \mathbb{R}^{p\times p}$是已知的对角矩阵，$\varepsilon_i$是噪声，并且我们希望对未观察到的信号$S_i \in \mathbb{R}^p$执行主成分分析（PCA）。第一个模型出现在缺失数据问题中，其中$D_i$是二进制的。第二个模型捕获噪声反卷积问题，其中$D_i$是卷积核的傅立叶变换。假设$S_i$位于未知的低维线性空间上通常是合理的;然而，因为许多坐标可以被$D_i$抑制，所以这种低维结构可以被掩盖。我们引入对角减少尖峰协方差模型来捕捉这种设置。我们刻画了数据矩阵的奇异向量和奇异值在高维渐近下的行为，其中$n,p\to\infty$使得$p/n\toγ>0$。我们的结果有最一般的假设，即使没有对角减少。利用它们，我们开发了协方差矩阵估计的最优特征值收缩方法和数据去噪的最优奇异值收缩方法。最后，我们描述的错误率的经验最佳线性预测（EBLP）去噪。我们表明，也许令人惊讶的是，他们的最佳调谐取决于我们是否去噪的样本或样本外，但最佳调谐的均方误差是相同的，在这两种情况下。
2018-11-01 math.PR math.ST stat.TH
Optimal shrinkage-based portfolio selection in high dimensions
本文提出一种基于随机矩阵理论的高维线性收缩投资组合估计量，将样本均值估计风险纳入优化，在弱分布假设下实现样本外期望效用最大化，并在数值与实证研究中优于非线性收缩和三基金规则。
2021-11-08 math.ST q-fin.PM q-fin.ST
