Optimal Estimation and Rank Detection for Sparse Spiked Covariance Matrices
本文研究了高维稀疏加样协方差阵模型，研究了协方差阵和主子空间的Minimax估计以及Minimax秩检测。建立了在谱范数下估计尖峰协方差矩阵的最优收敛速率，这需要与估计其他结构化协方差阵（如可带或稀疏协方差阵）的技术显著不同的技术。我们还建立了谱范数下的极小极大率，用于估计主成分分析中的主要感兴趣对象主子空间。此外，最佳速率的秩检测边界得到。这一结果也解决了Berthet和Rigollet [1]最近的一篇论文中的空白，其中考虑了秩1的特殊情况。
2016-03-25 math.ST stat.TH
Outlier Robust and Sparse Estimation of Linear Regression Coefficients
针对协变量和噪声受对抗性离群污染且噪声重尾的线性回归，提出基于通用链集中不等式的抗离群稀疏估计方法，在更弱假设下获得更尖锐误差界。
2024-05-24 math.ST stat.ML stat.TH
Performance Bounds for Sparse Parametric Covariance Estimation in Gaussian Models
我们考虑估计的稀疏参数向量，确定高斯随机向量的协方差矩阵通过稀疏扩展到已知的“基矩阵”。利用再生核Hilbert空间的理论，我们得到了一个给定的均值函数的估计方差的下界。这包括作为特殊情况的无偏估计。我们还提出了一个数值比较我们的下限与两个标准估计（硬阈值估计和最大似然估计）的方差。
2011-01-20 cs.IT math.IT math.ST
Sparse and Low-rank Tensor Estimation via Cubic Sketchings
在本文中，我们提出了一个通用的框架稀疏和低秩张量估计从立方草图。基于稀疏张量分解和阈值梯度下降，提出了一种两阶段的非凸实现方法，保证了无噪声情况下的精确恢复和噪声情况下的稳定恢复。非渐近分析揭示了优化误差和统计误差之间的相互作用。所提出的方法被证明是在一定条件下的速率最优。作为一个技术副产品，新的高阶浓度不等式的研究高矩亚高斯张量。一个有趣的张量公式说明了在高维线性回归中高阶相互作用追踪的潜在应用。
2020-03-15 math.ST stat.ML stat.TH
A unified precision matrix estimation framework via sparse column-wise inverse operator under weak sparsity
本文在弱稀疏条件下估计了高维精度矩阵，其中许多元素几乎为零。在弱稀疏条件下，我们重新讨论了稀疏列方向逆算子（SCIO）估计量\cite{liu2015fast}，并推导了它的一般误差界.建立了一个统一的框架，以处理各种情况下，包括重尾数据，非超常数据，矩阵变量数据。这些新方法可以达到与现有方法相同的收敛速度，并且可以有效地实现。
2022-10-20 math.ST stat.ME stat.TH
Sparse spectral estimation with missing and corrupted measurements
缺失数据的监督学习方法已经得到了广泛的研究，这不仅仅是因为与低秩矩阵完成相关的技术。同样在无监督学习中，人们经常依赖于估算方法。事实上，缺失值会导致各种估计量（如样本协方差阵）的偏差。本文将稀疏子空间估计的一种凸方法推广到观测值丢失和损坏的情况。这是通过校正偏倚而不是插补缺失值来完成的。然后将估计量用作非凸过程的初始值，以提高整体统计性能。方法和理论框架适用于广泛的统计问题。其中包括稀疏主成分分析与不同类型的随机缺失数据和估计的特征向量的低秩矩阵与缺失值。最后，在合成数据上展示了统计性能。
2018-11-26 math.ST stat.ME stat.TH
Sparse CCA: Adaptive Estimation and Computational Barriers
典型相关分析是研究两组变量之间关系的经典方法。它在分析基因组学、影像学等领域的高维数据集方面有着重要的应用。本文研究了高维稀疏正则系数向量的自适应极大极小估计和计算上的易处理估计。首先，在对边际协方差阵没有结构性假设的情况下，我们对每组随机变量的典型系数向量建立了独立的Minimax估计率。其次，我们提出了一个计算上可行的估计，以获得最佳的利率自适应下一个额外的样本量的条件。最后，我们证明了这种样本量条件是需要任何随机多项式时间估计是一致的，假设硬度的种植集团检测问题的某些情况下。计算结果与本文所用的高斯模型一致。作为一个副产品，我们得到的第一个计算下界稀疏PCA下的高斯单尖峰协方差模型。
2016-04-04 math.ST stat.ME stat.TH
Estimating Sparse Precision Matrix: Optimal Rates of Convergence and Adaptive Estimation
精度矩阵在多元分析中有着广泛的应用。本文研究了高维情形下稀疏精度矩阵的自适应Minimax估计。最佳的收敛速度，建立了一系列的矩阵范数损失。提出了一种基于自适应约束$\ell_1$最小化的全数据驱动估计器，并在一组参数空间上得到了它的收敛速率。该估计器称为ACLIME，易于实现，并且在数值上表现良好。在建立极小极大收敛速率的一个主要步骤是推导出一个速率尖锐的下界。一个“双向”的下界技术，以获得极大极小下界。上界和下界一起产生稀疏精度矩阵估计的最优收敛速度，并表明ACLIME估计是自适应的最小最大率最优的参数空间的集合和矩阵范数损失的范围内同时。
2012-12-12 math.ST stat.ME stat.TH
Near-Oracle Performance of Greedy Block-Sparse Estimation Techniques from Noisy Measurements
本文研究了贪心算法从噪声测量中估计块稀疏参数向量的能力。特别是，块稀疏版本的正交匹配的追求和阈值化算法进行了分析下的对抗和高斯噪声模型。在对抗设置中，它表明，估计精度在噪声功率的恒定因子内。在高斯噪声下，Cramer-Rao界的推导，并表明，贪婪的技术来接近这个界在高信噪比。保证数值比较块和非块算法的实际性能，突出块稀疏技术的优势。
2010-09-05 cs.IT math.IT math.ST
Compressed Sensing for Sparse Underwater Channel Estimation: Some Practical Considerations
我们研究使用结构化的阈值算法稀疏水下信道估计，利用压缩感知。该方法对稀疏信道估计的标准算法如匹配追踪、迭代检测和最小二乘等进行了改进。
2010-02-13 cs.IT math.IT stat.AP
Sparse Approximate Factor Estimation for High-Dimensional Covariance Matrices
提出了一种基于$l_1$正则化近似因子模型的协方差矩阵估计方法。我们的稀疏近似因子（SAF）协方差估计允许弱因子的存在，因此放松了标准近似因子模型通常采用的普遍性假设。我们证明了协方差矩阵估计在Frobenius范数下的相合性以及因子载荷和因子的相合性。我们的蒙特卡罗模拟表明，SAF协方差估计具有优越的性能，在有限样本的低，高维和不同的协方差矩阵的设计。此外，在样本外的投资组合预测应用的估计一致优于替代的投资组合策略的基础上，替代协方差估计方法和建模策略，包括$1/N$ -战略。
2019-06-13 econ.EM math.ST q-fin.PM
Relaxed Sparse Eigenvalue Conditions for Sparse Estimation via Non-convex Regularized Regression
Department of Automation, Tsinghua University, Beijing 100084, P.R.China（自动化系，清华大学，北京100084，中国）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology(TNList)（信息科学与技术国家实验室（清华大学））
本文研究了非凸正则化回归中稀疏估计的松弛特征值条件，证明了非凸正则化在稀疏估计中的有效性，并展示了坐标下降法在获得近似全局解中的应用。
2014-02-12 cs.LG cs.NA math.NA
Outlier-Robust Sparse Estimation via Non-Convex Optimization
Brown University（布朗大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Duke University（杜克大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Southern California（南加利福尼亚大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们探讨了在稀疏约束存在下，离群鲁棒高维统计和非凸优化之间的联系，重点是鲁棒稀疏均值估计和鲁棒稀疏PCA的基本任务。我们开发新的和简单的优化配方，这些问题，使任何近似的稳定点的相关优化问题产生一个接近最优的解决方案的基本鲁棒估计任务。作为一个推论，我们得到任何一阶方法，有效地收敛到平稳产生一个有效的算法，这些任务。所得到的算法是简单，实用，并成功地在更广泛的分布假设相比，以前的工作。
2022-11-13 cs.DS cs.LG math.OC
Converting ADMM to a Proximal Gradient for Efficient Sparse Estimation
在稀疏估计中，如融合套索和凸聚类，我们采用邻近梯度法或乘子的交替方向法（ADMM）来解决这个问题。在前一种情况下，包括矩阵划分需要时间，而在后一种情况下，已经开发了一种有效的方法，如FISTA（快速迭代收缩阈值算法）。本文在假定目标函数的导数为Lipschitz连续的前提下，给出了将ADMM解转化为近似梯度法的一般方法。然后，我们将其应用到稀疏估计问题，如稀疏凸聚类和趋势滤波，我们通过数值实验表明，我们可以获得显着的提高效率。
2022-03-26 math.OC stat.ML
Robust and Sparse Estimation of Linear Regression Coefficients with Heavy-tailed Noises and Covariates
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
研究了线性回归系数的抗差稀疏估计。本文所解决的情况是，协变量和噪声是从重尾分布中采样的，并且协变量和噪声被恶意离群值污染。我们的估计量可以有效地计算。此外，估计的误差界是接近最优的。
2022-10-09 cs.LG stat.ML
Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression
School of Information Science and Technology, Northwest University（西北大学信息科学与技术学院）；School of Mathematics, Northwest University（西北大学数学学院）
针对高维稀疏回归中深度神经网络参数估计的不可识别性问题，提出对输入偏导数进行非参数估计，证明模型收敛性并建立偏导数估计的收敛速率，首次结合非参数估计与稀疏深度神经网络，为非线性变量选择和可解释性提供理论支撑。
2024-06-26 cs.LG stat.ML
coxphMIC: An R Package for Sparse Estimation of Cox Proportional Hazards Models
本文描述了一个R软件包coxphMIC，它通过近似信息准则实现了考克斯比例风险模型的稀疏估计方法（Su et al.，2016 Biometrics）。所开发的方法被命名为MIC，代表“最小化近似信息标准”。一个重新参数化的步骤，同时保持目标函数光滑的同时，加强稀疏性。因此，MIC是计算速度快，在稀疏估计的性能优越。此外，重新参数化策略在规避后选择推理方面产生了额外的优势。介绍了MIC方法及其R实现，并以PBC数据为例进行了说明。
2017-05-30 stat.CO
Outlier-Robust High-Dimensional Sparse Estimation via Iterative Filtering
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UT Austin（德克萨斯大学奥斯汀分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Web3 Foundation（Web3基金会）
我们研究高维稀疏估计任务中的一个强大的设置，其中一个恒定的分数的数据集是adversarially损坏。具体而言，我们专注于鲁棒稀疏均值估计和鲁棒稀疏PCA的基本问题。我们给出了这些问题的第一个实际可行的鲁棒估计。更详细地说，我们的算法是样本和计算效率，并实现接近最佳的鲁棒性保证。与以前的可证明算法依赖于椭球方法相比，我们的算法使用谱技术来迭代地从数据集中删除离群值。我们对合成数据的实验评估表明，我们的算法是可扩展的，并显着优于以前的方法，几乎匹配的最佳出错率没有腐败。
2019-11-19 cs.DS cs.LG stat.ML
Newton-type Methods with the Proximal Gradient Step for Sparse Estimation
本文提出新的牛顿型方法（含拟牛顿法）高效求解稀疏估计中的凸优化问题，证明快速收敛与局部收敛，适用于L1和组正则化，并通过数值实验验证效率。
2023-09-05 math.OC stat.CO
Missing values: sparse inverse covariance estimation and an extension to sparse regression
提出了一种估计高维多元正态模型中存在缺失数据的逆协方差阵的l1正则化似然方法。我们的方法是基于假设的数据是随机缺失（MAR），这也需要完全随机缺失的情况下。该方法的实现是非平凡的，因为观察到的负对数似然一般是一个复杂的非凸函数。我们提出了一个有效的期望最大化算法的优化与可证明的数值收敛性能。此外，我们扩展的方法来处理稀疏回归上下文中的缺失值。我们证明了这两种方法的模拟和真实数据。
2012-02-27 stat.ME
Fast Covariance Estimation for Multivariate Sparse Functional Data
协方差估计在多元函数数据分析中是必不可少的，但还不成熟。提出了一种基于二元惩罚样条的多元稀疏函数数据协方差快速估计方法。所提出的方法的张量积B样条制定一个简单的谱分解相关的协方差算子和显式表达式的特征函数的线性组合的B样条基地，从而大大方便了随后的主成分分析。我们推导出一个快速算法，用于选择平滑参数的协方差平滑使用留一主题交叉验证。该方法通过广泛的数值研究进行评估，并应用于具有多个纵向结果的阿尔茨海默病研究。
2019-06-09 stat.CO stat.ME
The CDF penalty:sparse and quasi unbiased estimation in regression models
在高维回归建模中，预测变量中包含的候选协变量数量相当大，变量选择至关重要。在这项工作中，我们提出了一个新的惩罚，能够保证稀疏的变量选择，即完全为零的回归系数估计，和准无偏的“选定”的变量在高维回归模型的系数。仿真结果表明，我们的建议执行不差于它的竞争对手，同时始终确保解决方案是唯一的。
2022-12-16 stat.ME
The Bernstein Function: A Unifying Framework of Nonconvex Penalization in Sparse Estimation
本文利用Bernstein函数研究了非凸惩罚问题。由于Bernstein函数在原点处是凹的和非光滑的，它可以诱导出一类高维稀疏估计问题的非凸函数。我们推导了一个基于Bernstein罚的阈值函数，并给出了它在稀疏建模中的数学性质。我们表明，坐标下降算法是特别适合惩罚回归问题的伯恩斯坦罚款。此外，我们证明了Bernstein函数可以定义为一个$φ$ -发散的凹共轭，并开发了一个共轭最大化算法寻找稀疏的解决方案。最后，我们基于一个广义Gamma测度特别构造了一类Bernstein非凸罚函数，并对这类罚函数进行了实证分析。
2013-12-17 stat.ML
Penalized Orthogonal Iteration for Sparse Estimation of Generalized Eigenvalue Problem
提出了一种求解广义特征值问题（GEP）特征向量稀疏估计的新算法。GEP出现在许多现代数据分析情况和统计方法中，包括主成分分析（PCA）、多类线性判别分析（LDA）、典型相关分析（CCA）、充分降降维（SDR）和不变坐标选择。我们建议修改标准的广义正交迭代与稀疏诱导惩罚的特征向量。为了实现这一目标，我们推广的正交迭代方程求解步骤的惩罚凸优化问题。由此产生的算法，称为惩罚正交迭代，提供了准确的估计的真实特征空间，当它是稀疏的。还提出了一种计算效率更高的替代方案，它适用于PCA和LDA问题。数值研究表明，所提出的算法是有竞争力的，我们的调整过程工作良好。我们展示了该算法的应用，以获得稀疏估计PCA，多类LDA，CCA和SDR。补充材料可在网上查阅。
2018-06-27 stat.ME
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University（哥伦比亚大学）
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量（方向）是否可能？这个问题可以被认为是稀疏恢复问题的同质变体，并发现与稀疏字典学习，稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中，我们专注于一个 ** 种植稀疏模型 ** 的子空间：目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时，用于该种植恢复问题的简单凸算法可证明地失效。相比之下，我们展示了一个相对简单的非凸方法的基础上交替的方向，证明成功，即使当非零条目的分数是$Ω(1)$。据我们所知，这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲，我们提出的算法在更具有挑战性的数据模型中也取得了成功，例如，稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
Sparse Estimation of Generalized Linear Models (GLM) via Approximated Information Criteria
针对固定维数下的广义线性模型（GLM），提出了一种新的稀疏估计方法，称为MIC（Minimum Approximated Information Criterion）。MIC中本质上涉及的是用连续单位dent函数逼近$\ell_0$ -范数。此外，一个重新参数化步骤的设计，以加强稀疏的参数估计，同时保持光滑的目标函数。MIC通过优化近似信息准则而不减小搜索空间，在稀疏估计中产生优异的性能，并且由于不需要选择调谐参数，因此在计算上是有利的。此外，重新参数化策略导致有效的显着性检验结果，是免费的后选择推理。我们探讨的MIC的渐近性质，并说明其使用与模拟实验和经验的例子。
2016-07-18 stat.ME
High dimensional sparse covariance estimation via directed acyclic graphs
我们提出了一个基于图的技术估计稀疏的协方差阵及其逆高维数据。该方法基于学习有向无环图（DAG）和基于DAG估计多元高斯分布的参数。为了推断底层DAG，我们使用PC算法，并且为了估计基于DAG的协方差阵及其逆，我们使用提供正（半）定稀疏估计的Cholesky分解方法。我们提出了一个一致性的结果，在高维框架，我们比较我们的方法与Glasso模拟和真实数据。
2009-11-17 stat.ME
Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多元回归模型是对经典的一元回归模型的自然推广，用于拟合多个响应.在本文中，我们提出了一个高维多元条件回归模型，用于构造多元回归系数矩阵的稀疏估计，该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子，以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Sparse inverse covariance estimation with the lasso
我们考虑的问题估计稀疏图的套索惩罚施加到逆协方差阵。使用套索的坐标下降过程，我们开发了一个非常快的简单算法：在最坏的情况下，它在大约一分钟内解决了1000个节点的问题（~ 500，000个参数），并且比竞争方法快50到2000倍。它还提供了精确问题和Meinhausen和Buhlmann（2006）建议的近似之间的概念联系。我们说明了一些细胞信号数据的蛋白质组学的方法。
2007-08-27 stat.ME
Convex vs nonconvex approaches for sparse estimation: GLasso, Multiple Kernel Learning and Hyperparameter GLasso
稀疏估计的流行Lasso方法可以通过与特定随机模型相关联的联合密度的边缘化来导出。相同概率模型的不同边缘化导致不同的非凸估计，其中超参数被优化。扩展这些参数的问题，其中组的变量估计，我们研究了稀疏估计的计算方案，不同于组套索。虽然基本的优化问题定义这个估计是非凸的，初始化策略的基础上，一个单变量贝叶斯前向选择方案。这也使我们能够定义一个有效的非凸估计，其中只有一个标量变量参与优化过程。理论参数，独立于进入稀疏模型的先验的正确性，包括澄清与其他凸估计相比，这种非凸技术的优点。数值实验也被用来比较这些方法的性能。
2013-02-27 math.OC stat.ML
A General Theory of Concave Regularization for High Dimensional Sparse Estimation Problems
凹正则化方法提供了稀疏恢复的自然过程。然而，他们是难以分析的高维设置。只有最近的一些稀疏恢复结果已经建立了一些特定的局部解决方案，通过专门的数值程序。尽管如此，这些解决方案之间的基本关系，如他们是否是相同的或他们的关系，潜在的非凸制定的全球最小是未知的。本文填补了这一概念空白，提出了一个一般的理论框架，表明在适当的条件下，非凸正则化的全局解导致理想的恢复性能;此外，在适当的条件下，全局解对应于唯一的稀疏局部解，这可以通过不同的数值程序获得。在这个统一的框架下，我们提出了现有的结果的概述，并讨论它们的连接。这项工作的统一视图导致凹高维稀疏估计程序的一个更令人满意的治疗，并作为进一步发展凹正则化的数值程序的指导方针。
2012-02-11 stat.ML
Certifiably Optimal Sparse Inverse Covariance Estimation
Massachusetts Institute of Technology（麻省理工学院）
本文考虑稀疏逆协方差阵的极大似然估计。我们表明，目前的启发式方法主要是鼓励鲁棒性，而不是所需的稀疏性。我们给出了一种新的方法，解决基数约束的似然问题的可证明的最优性。该方法使用混合整数优化和凸优化技术，并提供了一个高质量的解决方案，保证其次优性，即使算法提前终止。使用各种合成和真实数据集，我们证明了我们的方法可以解决逆协方差阵的维数高达1,000 s的问题。我们还证明，我们的方法比Glasso和其他流行的学习程序产生更稀疏的解决方案，使更少的错误发现，同时仍然保持最先进的准确性。
2019-06-25 cs.LG math.OC stat.ML
L0 Sparse Inverse Covariance Estimation
针对稀疏逆协方差估计，本文研究非凸 $l_0$ 惩罚的对数似然优化，提出循环下降算法并证明其收敛到局部极小值，仿真显示其偏差低于 $l_1$ 方法且估计质量更优。
2015-03-19 stat.ML
Sparse estimation via nonconcave penalized likelihood in a factor analysis model
考虑因子分析模型中的稀疏估计问题。一个传统的估计过程中使用的是以下两个步骤的方法：模型估计的极大似然方法，然后旋转技术是用来找到稀疏因子加载。然而，当变量的数目远大于观测的数目时，不能获得最大似然估计。此外，即使最大似然估计是可用的，旋转技术通常不产生足够稀疏的解决方案。为了处理这些问题，本文介绍了一种惩罚似然过程，对因子载荷施加非凸惩罚。我们发现，惩罚似然过程可以被视为传统的两步方法的推广，所提出的方法可以产生稀疏的解决方案比旋转技术。一个新的算法，通过期望最大化算法随着坐标下降被引入到计算整个解决方案的路径，它允许应用到各种各样的凸和非凸处罚。蒙特卡罗模拟进行调查我们的建模策略的性能。最后给出了一个实际数据的例子来说明我们的方法。
2013-03-15 stat.CO stat.ME stat.ML
Partial Correlation Estimation by Joint Sparse Regression Models
在本文中，我们提出了一种计算效率高的方法-空间（稀疏相关估计）-选择非零的偏相关下的高维低样本大小的设置。该方法假设偏相关矩阵的整体稀疏性，并采用稀疏回归技术进行模型拟合。我们通过大量的模拟研究来说明空间的性能。结果表明，空间在非零偏相关选择和枢纽变量识别方面都表现良好，并且优于两种现有方法。然后，我们将空间应用于微阵列乳腺癌数据集，并确定了一组枢纽基因，这可能会提供重要的见解遗传调控网络。最后，我们证明了，在一组适当的假设下，所提出的方法是渐近一致的模型选择和参数估计。
2008-11-27 stat.ME
A Novel Approach to Sparse Inverse Covariance Estimation Using Transform Domain Updates and Exponentially Adaptive Thresholding
Advanced Communications Research Institute (ACRI)（高级通信研究所（ACRI））；Sharif University of Technology（谢里夫理工大学）
稀疏逆协方差估计（SICE）在许多实际数据分析中是有用的。恢复协变量的连通性、非连通性图是数据采掘和学习中最重要的问题之一。在本文中，我们介绍了一种新的SICE方法，使用自适应阈值。我们的方法是基于所需矩阵的变换域中的更新和主域（逆协方差矩阵域）中的指数衰减自适应阈值。除了所提出的算法，收敛性分析也提供。在数值实验部分中，我们证明了所提出的方法在精度方面优于最先进的方法。
2019-04-04 cs.IR cs.LG stat.ML
Sparse estimation in Ising Model via penalized Monte Carlo methods
考虑高维二元马尔可夫随机场中的模型选择问题。伊辛模型在研究复杂相互作用系统中的有用性已在许多论文中得到证实。该模型的主要缺点是难以处理的赋范常数，这使得参数的估计非常具有挑战性。在本文中，我们提出了一个Lasso惩罚版本的蒙特卡罗极大似然方法。我们证明了我们的算法，在温和的正则条件下，识别图的真实依赖结构的概率很高。所提出的方法的效率也通过仿真研究。
2018-12-10 stat.ME
Sparse Estimation using Bayesian Hierarchical Prior Modeling for Real and Complex Linear Models
在稀疏贝叶斯学习（SBL）中，高斯尺度混合（GSMs）已被用于对稀疏诱导先验进行建模，这些先验实现了实值信号模型中回归任务的一类凹罚函数。由于在复值模型中SBL的形式化工具相对缺乏，本文提出了一种GSM模型--Bessel K模型，该模型引入凹罚函数来估计复稀疏信号。分析了Bessel K模型应用于第Ⅰ类和第Ⅱ类估计时的性质。该分析表明，通过调整混合pdf的参数，根据所使用的估计类型、噪声方差的值以及估计的是实信号还是复信号来调用不同的惩罚函数。使用贝塞尔K模型，我们推导出稀疏估计的基础上修改的期望最大化算法制定的II型估计。该估计器包括Tipping和Faul [1]和Babacan等人[2]提出的算法作为特殊实例。数值结果表明，这些国家的最先进的估计，在收敛速度，稀疏性，重建误差和鲁棒性在低和中等信噪比制度的估计的优越性。
2014-10-26 stat.ML
Sign-consistent estimation in a sparse Poisson model
在这篇工作中，我们考虑了稀疏泊松模型中的估计方法，并在温和的条件下提供了新的符号一致性结果。
2023-03-24 math.ST stat.TH
Estimation of the $l_2$-norm and testing in sparse linear regression with unknown variance
本文研究了方差未知的稀疏线性回归的$l_2$ -范数和平方$l_2$ -范数的估计问题，以及在$l_2$分离的稀疏替代下回归参数为零的假设检验问题.我们建立了这三个问题的最优估计率（分别为检验率）。
2020-10-26 math.ST stat.TH
On estimation of nonsmooth functionals of sparse normal means
研究了N_gamma（θ）= sum（i=1）^d的估计问题|θ_i|基于观测y_i = θ_i + ε_i，i = 1，.，d，其中θ=（θ_1，...，θ_d）为未知参数，ε>0为已知参数，ε_i为独立同分布。标准正态随机变量。证明了s-稀疏向量类B_0（s）的非渐近极小极大风险，并给出了极小极大风险率的估计。
2019-10-05 math.ST stat.TH
Estimation Rates for Sparse Linear Cyclic Causal Models
因果模型是理解复杂现象和预测对照实验（也称为干预措施）结果的重要工具。在这项工作中，我们提出了统计估计率的线性循环因果模型的假设下，同方差高斯噪声通过分析的LLC估计由Hyttinen，Eberhardt和Hoyer和一个新的两步惩罚极大似然估计。我们建立了一类稀疏因果图上的最大似然估计的渐近近极大极小最优性。此外，我们发现的实际优势，这种估计相比，LLC的合成数值实验的证据。
2019-06-08 math.ST stat.TH
Robust oracle estimation and uncertainty quantification for possibly sparse quantiles
研究了一般的多分位数+噪声模型的鲁棒性公式（允许非正态、非独立观测），其中噪声的可辨识性要求用分位数来表示，而不是传统的零期望假设.我们提出了一种基于分位数损失函数的惩罚方法，通过适当选择罚函数对可能稀疏的高维分位数向量进行推理。我们应用本地的方法来解决的最优性比较程序的Oracle稀疏结构。我们建立，所提出的程序模仿预言的估计和不确定性量化的问题（在所谓的EBR条件下）。自适应极大极小稀疏尺度的结果遵循我们的本地结果。
2022-11-18 math.ST stat.TH
Iterative Collaborative Filtering for Sparse Matrix Estimation
本文提出一种面向稀疏矩阵估计的迭代协同过滤算法，证明在观测比例为 log^{1+κ}(n)/n、矩阵秩恒定条件下，max-范数误差趋于零，并能稳健处理近似低秩结构与任意有界噪声。
2021-09-10 math.ST stat.TH
Sparse maximum likelihood estimation for regression models
本文通过似然比置信区域的渐近性质，提出一种具有稀疏最大似然估计解释的一致模型选择准则，可识别所有活跃变量并优于传统信息准则。
2024-04-08 math.ST stat.TH
Maximum Likelihood Estimation of Sparse Networks with Missing Observations
连接概率矩阵的估计是研究稀疏网络的关键问题之一。在这项工作中，我们考虑稀疏图子模型和非齐次随机图模型下产生的网络与丢失的观察。使用随机块模型作为参数代理，我们限制了网络连接概率的极大似然估计的风险，并证明了它是极小极大最优的。当风险以Frobenius范数度量时，在多项式时间内运行的估计器都不能达到这个问题的最小最大最优收敛速率。因此，极大似然估计是特别感兴趣的，因为在文献中已经提出了对它的计算有效的近似，并且经常在实践中使用。
2021-04-27 math.ST stat.TH
On $\ell_1$-regularized estimation for nonlinear models that have sparse underlying linear structures
在最近的工作（arXiv：0910.2517）中，我们研究了具有稀疏线性结构的非线性模型的$\ell_0$ -正则化估计的误差界.在这份说明中，我们表明，$\ell_1$ -正则化估计在某些重要的情况下，可以达到相同的顺序的误差界，在上述工作。
2009-11-25 math.PR math.ST stat.ML
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题（$p\gg n$范式）。研究了一种PAC-Bayesian策略，给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施，我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Minimax sparse principal subspace estimation in high dimensions
研究了高维稀疏主成分分析，其中变量数$p$可以远大于观测数$n$，并分析了总体协方差阵的主特征向量所张成的子空间的估计问题.我们引入了$\ell_q$子空间稀疏性的两个互补概念：行稀疏性和列稀疏性。证明了$0\leq q\leq1$的极大极小子空间估计误差的非渐近上下上界。该界对于行稀疏子空间是最优的，对于列稀疏子空间是接近最优的，它们适用于一般类的协方差阵，并且它们表明$\ell_q$约束估计可以在没有限制性尖峰协方差条件的情况下获得最优的Minimax率。有趣的是，当有效噪声方差被适当定义时，速率的形式与稀疏回归的已知结果相匹配。我们的证明采用了一种新的变分$\sinΘ$定理，可能是有用的，在其他正则化谱估计问题。
2014-01-03 math.ST stat.ML stat.TH
Re-Weighted l_1 Dynamic Filtering for Time-Varying Sparse Signal Estimation
由于在推断过程中可以利用更多的信号结构，因此改进了来自不完整观测的信号估值。经典算法（例如，卡尔曼滤波）利用了时变信号的强动态结构，而现代工作通常集中在利用低维信号结构（例如，基中的稀疏性）。很少有算法尝试合并静态和动态结构以改进时变稀疏信号的估计（例如，视频）。在这项工作中，我们提出了一个重新加权的l_1动态滤波方案的因果信号估值，利用稀疏性假设和动态结构。我们的算法利用分层拉普拉斯尺度混合模型的工作来创建一个动态概率模型。所得到的算法结合了动态和稀疏先验的估计过程中的一个强大的和有效的算法。我们使用合成和自然的数据在模拟中展示的结果。
2015-07-22 math.ST stat.AP stat.TH
Estimation and inference for high-dimensional non-sparse models
为了成功地进行变量选择，稀疏模型结构已成为所有现有方法的基本假设。然而，这种假设是值得怀疑的，因为它是很难在大多数情况下，现有的方法可以提供一致的估计和准确的模型预测在非解析场景。在本文中，我们提出了半参数重建模和推理时，所研究的线性回归模型可能是非稀疏的。在用本文所采用的Dantzig选择器等方法选择初始工作模型后，通过选择合适的工具变量和非参数调整，重新构建了一个全局无偏的半参数模型。新定义的模型是可辨识的，参数向量的估计是渐近正态的。模型的一致性和重建模型的一致性促进了模型的预测。当模型确实稀疏时，该方法自然有效，因此在一定意义上对非稀疏具有鲁棒性。仿真研究表明，新的方法，特别是当$p$是远远大于$n$，显着改善的估计和预测精度的高斯Dantzig选择器和其他经典的方法。即使当所研究的模型是稀疏的，我们的方法也可以与现有的稀疏模型设计的方法相媲美。
2011-12-04 math.ST stat.ME stat.TH
Multi Snapshot Sparse Bayesian Learning for DOA Estimation
利用稀疏贝叶斯学习（SBL）方法，从多快拍传感器阵列数据中估计平面波的到达方向（DOA）。先验源振幅假设为独立的零均值复高斯分布，超参数为未知方差（即源功率）。对于超参数为未知噪声方差的复高斯似然，导出了相应的高斯后验分布。对于给定数量的DOA，通过最大化证据自动选择超参数，并促进稀疏DOA估计。讨论了SBL DOA估计方法，并与LASSO（$\ell_1$ -正则化）、常规波束形成和MUSIC方法进行了比较
2016-02-29 cs.IT math.IT math.ST
How well can we estimate a sparse vector?
线性模型中稀疏向量的估计是信号处理、统计学和压缩感知中的一个基本问题。本文建立了一个下界的均方误差，它持有无论使用的传感/设计矩阵，无论估计过程。该下限非常接近于通过对稀疏向量进行随机投影，然后进行$\ell_1$估计过程（例如Dantzig选择器）而获得的已知上限。从这个意义上说，压缩感测技术本质上不能被改进。
2013-03-01 cs.IT math.IT math.ST
Estimation When Both Covariance And Precision Matrices Are Sparse
我们提供了一种方法来估计协方差矩阵的特殊情况下，\textit{both}的协方差阵和精度矩阵是稀疏的--一个约束，我们称之为双稀疏。估计方法是极大似然，服从双稀疏约束。在我们的方法中，只允许一类特殊的稀疏模式：矩阵及其逆矩阵必须从属于同一个弦图。与双重稀疏性的天真执行相比，我们的弦图方法利用了一个特殊的代数局部逆公式。该局部逆属性使得通常涉及逆（精度矩阵或协方差阵的逆）的计算快得多。在协方差阵估计的背景下，我们的建议似乎是第一次找到这样的特殊对协方差和精度矩阵。
2021-08-15 math.ST stat.CO stat.ME
