Exact Recovery Guarantees for Parameterized Nonlinear System Identification Problem under Sparse Disturbances or Semi-Oblivious Attacks
University of California, Berkeley(加州大学伯克利分校);Northeastern University(东北大学)
针对稀疏扰动或半遗忘攻击下的参数化非线性系统辨识问题,提出LASSO型非光滑估计器,给出其良定性与全局解唯一性条件,实现通用扰动模型下的有限时间精确恢复,拓展了现有理论适用范围。
2025-03-20 cs.CR cs.LG cs.SY
Robust subspace recovery by Tyler's M-estimator
本文研究了鲁棒子空间恢复问题:给定$\mathbb{R}^D$中的一组$N$点,如果许多点位于一个$d$维子空间中,那么我们能恢复出潜在的子空间吗?我们证明了,泰勒的M-估计可以用来恢复的基础子空间,如果内点的百分比大于$d/D$和数据点位于一般的位置。经验上,泰勒的M-估计相比,毫不逊色于其他凸子空间恢复算法在模拟和实验上的真实数据集。
2021-04-29 stat.ML
The Sharp Phase Transition of Tyler's M-Estimator for Robust Subspace Recovery
School of Mathematics, University of Minnesota(明尼苏达大学数学系);Department of Mathematics, University of Central Florida(中央佛罗里达大学数学系)
研究Tyler's M-估计器在临界信噪比DS-SNR=1时的行为,证明其收敛到真实子空间,建立尖锐相变。
2026-06-04 cs.IT cs.LG math.IT
Robust Subspace Recovery with Adversarial Outliers
研究了存在对抗性离群点时的鲁棒子空间恢复问题。也就是说,我们寻找一个包含大部分数据集的子空间,当一些数据点被任意损坏时。我们首先研究了一个理论估计,是难以计算和使用它来获得信息理论界的确切恢复。然后,我们提出了两个易于处理的估计:RANSAC的一个变种和一个简单的放松的理论估计。这两个估计是快速计算和实现最先进的理论性能在一个无噪声RSR设置对抗离群值。前者估计量在无噪声情况下实现了更好的理论保证,而后者估计量对小噪声具有鲁棒性,并且其保证显著改善了离群值的非对抗性模型。我们给出了对抗RSR问题的保证的完整比较,以及对仿射子空间估计的简短讨论。
2019-04-05 cs.LG math.OC stat.ML
Sparse Recovery with Shuffled Labels: Statistical Limits and Practical Estimators
本文考虑了具有混洗标签的稀疏恢复,即,$\by = \bPitrue \bX \bbetatrue + \bw$,其中$\by \in \RR^n$、$\bPi\in \RR^{n\times n}$、$\bX\in \RR^{n\times p}$、$\bbetatrue\in \RR^p$、$\bw \in \RR^n$分别表示感测结果、未知置换矩阵、设计矩阵、稀疏信号和加性噪声。我们的目标是重建置换矩阵$\bPitrue$和稀疏信号$\bbetatrue$。我们调查这个问题,从统计和计算方面。首先从统计学的角度建立了正确恢复置换矩阵$\bPitrue$和支持集$\supp(\bbetatrue)$,即$n \gtrsim k\log p$和$\log\snr \gtrsim \log n + \frac{k\log p}{n}$的样本数$n$和\emph{signal-to-noise ratio}($\snr$)的极小极大下界.然后,我们确认这些极大极小下界的紧密性,提出了一个基于穷举搜索的估计,其性能匹配的下界,其一些乘法常数。从计算方面,我们施加了一个简约的假设上排列的行数,并提出了相应的计算效率的估计。此外,我们表明,我们提出的估计可以获得地面真理$(\bPitrue, \supp(\bbetatrue))$在温和的条件下。此外,我们提供了数值实验来证实我们的说法。
2023-03-20 cs.IT math.IT stat.ML
Regularization of $\ell_1$ minimization for dealing with outliers and noise in Statistics and Signal Recovery
本文研究了在给定设计矩阵和污染仅限于因变量的经典线性回归问题中,$\ell_1$范数最小化的鲁棒性。我们进行了精细的误差分析的$\ell_1$估计的测量误差与噪声相结合的离群值。我们介绍了一种新的估计技术,从正规化的$\ell_1$最小化的下卷积与$\ell_2$规范。考虑到对大离群值的鲁棒性,所提出的估计保持了$\ell_1$估计的崩溃点,并在没有离群值时简化为最小二乘。我们提出了一个全局收敛的向前向后算法计算我们的估计和一些数值实验证实其理论性质。
2014-02-25 math.OC stat.ML
Sparse recovery with unknown variance: a LASSO-type approach
当方差$\sg^{2}$未知时,我们解决了在通用$s$ -稀疏线性模型$y = Xβ+z$中估计回归向量$β$的问题,其中$β\in\R^{p}$,$y\in\R^{n}$,$z\sim\mathcal N(0,\sg^2 I)$和$p> n$。我们研究两个LASSO型的方法,共同估计$β$和方差。这些估计量是$\ell_1$惩罚最小二乘泛函的最小值,其中松弛参数根据两种不同的策略进行调整。在第一种策略中,松弛参数为$\chσ \sqrt{\log p}$阶,其中$\chσ^2$是经验方差。%由此产生的优化问题可以通过仅运行几个连续的LASSO实例来解决,并递归更新松弛参数。在第二种策略中,松弛参数的选择,以便执行之间的权衡的保真度和惩罚条款的最优性。对于这两个估计量,我们的假设类似于Candès和Plan在{ \it Ann. Stat.(2009)},对于$\sg^{2}$已知的情况。我们证明,我们的估计确保准确恢复的支持和符号模式的$β$以高概率。我们目前的模拟结果表明,第一估计享有几乎相同的性能在实践中的标准LASSO(已知方差的情况下)的信号噪声比的范围很广。我们的第二个估计优于这两个方面的错误检测,当信号噪声比低。
2012-11-05 math.ST stat.ML stat.TH
Model Repair: Robust Recovery of Over-Parameterized Statistical Models
介绍了一种新型的鲁棒估计问题,其目标是恢复一个统计模型,该模型已被损坏后,它已被估计的数据。提出了仅使用设计而不是用于在监督学习设置中拟合模型的响应值来“修复”模型的方法。理论的发展表明,两个重要的成分是必要的模型修复-统计模型必须过参数化,估计必须纳入冗余。特别是,估计的基础上随机梯度下降被认为是非常适合模型修复,但稀疏估计是不是在一般的可修复。在阐述了问题并建立了与抗差估计相关的关键技术引理之后,给出了一系列关于过参数化线性模型、随机特征模型和人工神经网络的修复结果。模拟研究证实和说明的理论研究结果。
2020-05-20 math.ST stat.ML stat.TH
Towards optimal nonlinearities for sparse recovery using higher-order statistics
我们考虑机器学习技术来开发一类反问题的低延迟近似解。更确切地说,我们使用的概率方法的问题,恢复稀疏的随机信号的成员的$\ell_p$球。在这种情况下,我们分析了贝叶斯均方误差(MSE)的两种类型的估计:(i)一个线性估计和(ii)一个结构化的估计组成的线性算子,其次是一个笛卡尔积的单变量非线性映射。通过构造,所提出的非线性估计器的复杂度与其线性对应物的复杂度相当,因为非线性映射可以通过查找表(LUT)在硬件中有效地实现。所提出的结构适用于神经网络和限于单次迭代的迭代收缩/阈值类型算法(例如,由于强加的硬件或延迟约束)。通过采用交替最小化技术,我们得到了一系列优化的线性算子和非线性映射,收敛于MSE目标。结果是有吸引力的实时应用一般的迭代和凸优化方法是不可行的。
2016-09-05 cs.IT math.IT stat.ML
Subspace Recovery from Heterogeneous Data with Non-isotropic Noise
Stanford University(斯坦福大学);Apple(苹果公司)
从数据中恢复线性子空间是统计学和机器学习中的一项基本而重要的任务。出于异质性的联邦学习设置,我们研究了这个问题的基本公式:主成分分析(PCA),重点是处理不规则的噪声。我们的数据来自$n$用户,其中用户$i$贡献来自具有平均值$μ_i$的$d$维分布的数据样本。我们的目标是使用来自所有用户的数据点来恢复$μ_1,\ldots,μ_n$共享的线性子空间,其中来自用户$i$的每个数据点通过向$μ_i$添加独立的均值零噪声向量来形成。如果我们只有一个数据点,从每个用户,子空间恢复是信息理论上不可能的噪声向量的协方差矩阵时,可以是非球形的,需要额外的限制性假设在以前的工作。我们通过利用来自每个用户的至少两个数据点来避免这些假设,这使我们能够在非球形和用户相关噪声下设计一个可有效计算的估计器。我们证明了我们的估计器的估计误差的上限在一般情况下,数据点的数量和噪声量可以在不同的用户,并证明了信息理论的误差下限,不仅匹配的上限到一个恒定的因素,但也持有即使是球形高斯噪声。这意味着我们的估计器不会由于噪声的不规则性而引入额外的估计误差(直到恒定因子)。我们展示了在类似设置中线性回归问题的其他结果。
2022-10-24 cs.IT cs.LG math.IT
Max-Norm Optimization for Robust Matrix Recovery
本文研究了任意抽样方案下的矩阵完备化问题。我们提出了一个新的估计,结合最大范数和核范数正则化,基于此,我们可以进行有效的低秩矩阵恢复使用一般非均匀和未知的采样分布下的加性噪声观察到的条目的随机子集。该方法大大放松了广泛使用的核范数惩罚方法所施加的均匀采样假设,并使低秩矩阵恢复在更实际的环境中变得可行。理论上,我们证明了所提出的估计器在不同的设置下实现快速收敛。在计算上,我们提出了一种交替方向的乘子算法来有效地计算估计量,它弥补了最大范数正则化机器学习方法理论与实践之间的差距。此外,我们提供了彻底的数值研究,以评估所提出的方法使用模拟和真实的数据集。
2016-09-24 math.OC stat.ML
A Unified Framework for Pattern Recovery in Penalized and Thresholded Estimation and its Geometry
Université d’Angers(昂热大学);TU Wien(维也纳工业大学);Politechnika Wrocławska(弗罗茨瓦夫理工大学);Université Bourgogne Europe, CNRS, IMB UMR 5584(勃艮第欧洲大学、法国国家科学研究中心、IMB联合研究实验室)
本文提出一个基于多面体规范惩罚估计的统一框架,用次微分定义模式并引入可达性与无噪声恢复条件,将LASSO的不可表示条件推广到更广估计类,并证明阈值化惩罚估计在噪声足够小时仅需可达性条件即可确定恢复模式。
2025-10-20 math.ST stat.ML stat.TH
Precise Recovery of Latent Vectors from Generative Adversarial Networks
University of California, San Diego(加州大学圣地亚哥分校)
生成对抗网络(GANs)将潜在向量转换为视觉上合理的图像。通常认为,原始的GAN公式没有给出开箱即用的方法来反转映射,将图像投影回潜在空间。我们介绍一个简单的,基于梯度的技术称为随机裁剪。在实验中,对于由GAN生成的图像,我们100%准确地恢复了它们的潜在向量前图像。实验结果表明,该方法对噪声具有较好的鲁棒性.最后,我们表明,即使是看不见的图像,我们的方法似乎恢复独特的编码。
2017-02-17 cs.LG cs.NE stat.ML
Sample complexity of population recovery
总体恢复问题是指基于不完整或损坏的样本估计分布。考虑一个样本量为$n$的随机调查,调查对象为一群个体,每个被调查者都被要求回答$d$二元问题。我们考虑两个轮询障碍之一:(a)在有损人口恢复中,被轮询者可能以概率$ε$跳过每个问题,(b)在噪声人口恢复中,被轮询者可能以概率$ε$躺在每个问题上。给定$n$有损或噪声样本,目标是以高概率在准确度$δ$内同时估计所有$2^d$二进制向量的概率。本文解决了总体恢复的样本复杂性问题。对于有损模型,最优样本复杂度为$\tildeΘ(δ^{-2\max\{\fracε{1-ε},1\}})$,改进了Moitra和Saks的方法:建立了样本复杂度的下界,改进了样本复杂度的上界,并且最大程度上依赖于维数的对数。令人惊讶的是,当$ε$超过$1/2$时,样本复杂度经历了从参数到非参数速率的相变。对于有噪声的总体恢复,尖锐的样本复杂度变得对维数和尺度更敏感,除了$ε=0,1/2$或$1$的平凡情况之外,作为$\exp(Θ(d^{1/3} \log^{2/3}(1/δ)))$。对于这两种模型,我们的估计量只是计算某个函数的经验均值,这是通过预先求解线性规划(LP)来找到的。奇怪的是,对偶LP可以理解为Le Cam的方法,用于下界极小极大风险,从而建立了所提出的估计量的统计最优性。LP的值由复分析方法确定。
2020-04-29 cs.IT math.IT math.ST
Asymptotic Behavior of Adversarial Training Estimator under $\ell_\infty$-Perturbation
Georgia Institute of Technology(佐治亚理工学院)
本文研究广义线性模型中 $\ell_\infty$-扰动下对抗训练估计量的渐近行为,证明其稀疏恢复能力,并提出自适应对抗训练方法以实现变量选择一致性与无偏性。
2025-03-03 cs.LG math.ST stat.ME
On pattern recovery of the fused Lasso
研究了融合Lasso信号近似器(FLSA)估计加性噪声块状信号序列的性质。我们将FLSA转化为一个普通的Lasso问题。通过研究变换Lasso问题中设计矩阵的性质,我们发现不可表示条件可能不成立,在这种情况下,我们表明FLSA可能无法恢复信号模式。然后,我们将新开发的预处理方法- Puffer变换[Jia and Rohe,2012]应用于变换后的Lasso问题。我们称之为新的方法的预处理融合Lasso,我们给这种方法的非渐近结果。结果表明,当信号跳变强度(相邻两组间的信号差)较大且噪声水平较小时,该预处理融合Lasso估计器能够以较高的概率给出正确的方向图。理论结果给出了什么控制信号模式恢复能力的见解-它是噪声电平{而不是}序列的长度。仿真结果证实了我们的定理,并显示出显着改善的预处理融合Lasso估计香草FLSA。
2012-11-22 math.ST stat.ML stat.TH
Fundamental Limits of Weak Recovery with Applications to Phase Retrieval
在相位恢复中,我们希望从形式为$y_i = |\langle{\boldsymbol a}_i,{\boldsymbol x}\rangle|^2+w_i$的$n$二次测量中恢复未知信号$\boldsymbol x\in\mathbb C^d$,其中$\boldsymbol a_i\in \mathbb C^d$是已知的感测向量,而$w_i$是测量噪声。我们提出以下弱恢复问题:产生与信号$\boldsymbol x$正相关的估计量$\hat{\boldsymbol x}(\boldsymbol y)$所需的测量$n$的最小数量是多少?我们考虑高斯向量$\boldsymbol a_i$的情况。我们证明,-在高维极限-急剧的相变发生,我们定位在制度的阈值消失的小噪音。对于$n\le d-o(d)$,没有估计量可以做得比随机更好,并实现严格的正相关。对于$n\ge d+o(d)$,简单的谱估计器实现正相关。令人惊讶的是,相同的频谱估计的数值模拟表现出有前途的性能与现实的传感矩阵。谱方法用于初始化相位恢复中的非凸优化算法,并且我们的方法也可以在这种设置下提高性能。我们的不可能性结果是基于经典的信息论的论点。谱算法计算加权经验协方差矩阵的前导特征向量。我们得到了一个尖锐的表征,这个随机矩阵的谱性质的工具,从自由概率和推广最近的结果由陆和李。上限和下限都将相位恢复推广到根据广义线性模型产生的测…
2018-07-26 cs.IT math.IT stat.ML
Optimal Exact Recovery in Semi-Supervised Learning: A Study of Spectral Methods and Graph Convolutional Networks
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文研究 CSBM 数据集上的半监督节点分类,首次确定了精确恢复的信息论阈值,设计了基于 PCA 的最优谱估计器,并证明图岭回归和 GCN 在使用最优加权自环时能达到该阈值。
2024-12-18 cs.LG math.PR math.ST
Signal Recovery on Graphs: Random versus Experimentally Designed Sampling
我们研究了基于两种采样策略的图上的信号恢复:随机采样和实验设计采样。我们提出了一类新的光滑图信号,称为近似带限,它推广了带限类,并类似于全局光滑类。然后,我们提出了两个恢复策略的基础上随机抽样和实验设计的抽样。基于实验设计的采样的建议的恢复策略类似于在矩阵近似中使用的杠杆分数。我们表明,虽然这两种策略是无偏估计的低频分量,实验设计的采样的收敛速度要快得多,比随机采样时,图是不规则的。我们在三个特定的图上验证了所提出的恢复策略:环形图,Erdens-Rényi图和星形图。仿真结果支持了理论分析。
2015-05-29 cs.IT math.IT stat.ML
Lattice partition recovery with dyadic CART
University California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Warwick(华威大学);Carnegie Mellon University(卡内基梅隆大学)
研究了$d$维格点上被加性高斯噪声破坏的分段常数信号。这种形式的数据自然出现在许多应用中,并且信号检测或测试、去噪和估计的任务已经在统计和信号处理文献中被广泛研究。在本文中,我们考虑的问题,而不是分区恢复,即~的估计分区的晶格诱导的恒定区域的未知信号,使用计算效率的二元分类和回归树(DCART)的方法提出的\citep{donoho1997cart}。我们证明了,在适当的规则性条件下的形状的分区元素,基于DCART的过程一致地估计潜在的分区的顺序$σ^2 k^* \log (N)/κ^2$的速率,其中$k^*$是最小数量的矩形子图使用递归并元分区支持信号分区,$σ^2$是噪声方差,$κ$是分区的连续元素之间的信号差的最小幅度,并且$N$是晶格的大小。此外,在更强的假设下,我们的方法获得了一个更尖锐的估计误差的顺序$σ^2\log(N)/κ^2$,独立于$k^*$,我们证明是极大极小率最优。我们的理论保证进一步扩展到分区估计的基础上的最佳回归树估计(ORT)的\cite{chatterjee2019adaptive}和通过NP难穷举搜索方法获得的。我们证实了我们的理论研究结果和有效性的DCART分区恢复模拟。
2021-10-27 cs.LG math.ST stat.ML
Fast global convergence of gradient methods for high-dimensional statistical recovery
许多统计$M$ -估计器是基于凸优化问题,该问题由数据相关损失函数与基于范数的正则化器的组合形成。我们分析了解决这些问题的投影梯度和复合梯度方法的收敛速度,工作在一个高维的框架,允许数据维度$\pdim$增长(并可能超过)的样本大小$\numobs$。这种高维结构排除了通常的全局假设-即强凸性和光滑性条件-这是经典优化分析的基础。我们定义了适当的限制这些条件的版本,并表明,他们满足各种统计模型的高概率。在这些条件下,我们的理论保证,投影梯度下降具有全局几何收敛速度高达模型的\emph{statistical precision},这意味着真正的未知参数$θ^*$和最优解$\hatθ$之间的典型距离。该结果比先前的收敛结果明显更尖锐,先前的收敛结果产生次线性收敛或仅达到噪声水平的线性收敛。我们的分析适用于广泛的$M$ -估计量和统计模型,包括使用Lasso的稀疏线性回归($\ell_1$ -正则化回归);用于块稀疏性的Lasso组;正则化的对数线性模型;使用核范数正则化的低秩矩阵恢复;和矩阵分解。总的来说,我们的分析揭示了高维估计中统计精度和计算效率之间的有趣联系。
2012-07-25 cs.IT math.IT stat.ML
Theoretical Guarantees for the Subspace-Constrained Tyler's Estimator
University of Minnesota(明尼苏达大学);University of Central Florida(中佛罗里达大学)
本文提出了一种子空间约束的泰勒估计器,通过理论保证在存在异常值和噪声内点的情况下有效恢复低维子空间。
2026-11-03 math.ST stat.ML stat.TH
Unsupervised Learning with Stein's Unbiased Risk Estimator
Stanford University(斯坦福大学);Google AI(谷歌人工智能);Rice University(莱斯大学)
从未标记和噪声数据中学习是机器学习的重大挑战之一。因此,它已经看到了一系列的研究,不断提出新的想法。在这项工作中,我们重温了一个经典的想法:斯坦的无偏风险估计(SURE)。我们表明,在图像恢复的背景下,SURE及其推广可用于训练卷积神经网络(CNN)的一系列图像去噪和恢复问题,而无需任何地面真实数据。具体来说,我们的目标是重建图像$x$从噪声的线性变换(测量)的图像。我们考虑两种情况:一种是没有额外的数据可用,另一种是我们具有从与$x$相同的噪声分布中提取的其他图像的测量结果,但是不能访问干净的图像。例如,在医学成像、显微镜和天文学的背景下,情况就是如此,其中很少有无噪声的地面实况数据。我们表明,在这种情况下,SURE可以用来估计与估计$x$的均方误差损失。使用这种损失估计,我们训练网络来执行去噪和压缩感知恢复。此外,我们还使用SURE框架来部分解释和改进Ulyanov等人在“Deep Image Prior”中提出的有趣结果:使用随机权重初始化并适合单个噪声图像的网络可以有效地对该图像进行降噪。本文中描述的网络和方法的公开实现可以在https://github.com/ricedsp/D-AMP_Toolbox上找到。
2020-07-22 cs.CV cs.LG stat.ML
Exact Recovery of Community Detection in dependent Gaussian Mixture Models
University of Connecticut(康涅狄格大学);Johns Hopkins University(约翰斯·霍普金斯大学)
研究在依赖且异质高斯噪声的高斯混合模型中社区检测的精确恢复,提出在奇异协方差矩阵情况下MLE的约束二次优化问题,并推导出在社区大小未知或已知时的精确恢复条件。
2026-05-02 math.PR math.ST stat.ML
Sparse Recovery via Differential Inclusions
本文基于应用数学中的逆尺度空间(inverse scale space,ISS)概念,通过求解非线性微分包含,从噪声线性测量中恢复稀疏信号。我们的目标是把这个想法,以解决一个具有挑战性的问题,在统计学,\emph{i.e.}发现的oracle估计,这是无偏的和符号一致的使用动态。我们称之为\emph{Bregman ISS}和\emph{Linearized Bregman ISS}。LASSO和任何凸正则化方法的一个众所周知的缺点在于估计量的偏差。然而,我们表明,在适当的条件下,存在一个无偏和符号一致的点上的解决方案的动力学,这对应于一个信号,这是真实信号的无偏估计,其条目具有相同的符号作为那些真正的迹象,\emph{i.e.}的预言估计。因此,它们的解路径是比LASSO正则化路径更好的正则化路径,因为当达到符号一致性时,后者路径上的点是有偏的。我们还展示了如何有效地计算他们的解决方案路径在连续和离散设置:完整的解决方案路径可以精确计算一块一块,和离散化导致\emph{Linearized Bregman iteration},这是一个简单的迭代阈值规则,易于并行化。理论上的保证,如签署一致性和最小最大最优$l_2$ -错误的界限,建立在连续和离散设置的路径上的特定点。给出了识别这些点的提前停止规则。关键的处理依赖于微分包含及其离散化的微分不等式的发展,这推广了以前的结果,并导致…
2016-01-21 math.ST stat.ML stat.TH
Surrogate Aided Unsupervised Recovery of Sparse Signals in Single Index Models for Binary Outcomes
我们考虑回归系数的恢复,表示为$\boldsymbolβ_0$,为一个单一的指数模型(SIM)的二元结果$Y$相关的一组可能的高维协变量$\boldsymbol{X}$,基于一个大的,但“未标记的”数据集$\mathcal{U}$,与$Y$从未观察到。在$\mathcal{U}$上,我们完全观察到$\boldsymbol{X}$,此外,代理$S$虽然在其整个支持过程中不能强烈预测$Y$,但当它假设极值时可以高精度地预测它。这样的数据集在涉及诸如电子医疗记录(EMR)的大型数据库的现代研究中自然出现,其中$Y$与$(\boldsymbol{X}, S)$不同,难以和/或昂贵地获得。在EMR研究中,$Y$和$S$的一个例子将分别是真实疾病表型和相关诊断代码的计数。假设另一个SIM的$S$给定$\boldsymbol{X}$,我们表明,在稀疏性假设下,我们可以恢复$\boldsymbolβ_0$成比例地通过简单地拟合最小二乘LASSO估计的观测数据的子集$(\boldsymbol{X}, S)$限制到极端集的$S$,与$Y$插补使用的代理$S$。我们得到尖锐的有限样本的性能界限,我们的估计,包括确定性的偏差界和概率保证。我们证明了我们的方法的有效性,通过多个模拟研究,以及通过应用程序的真实数据进行EMR研究的合作伙伴医疗保健系统。
2018-07-01 math.ST stat.ME stat.ML
A Novel M-Estimator for Robust PCA
研究了鲁棒子空间恢复的基本问题。也就是说,我们假设一个数据集,它的一些点是在一个固定的子空间周围采样的,其余的点分布在整个环境空间中,我们的目标是恢复固定的底层子空间。我们首先估计"鲁棒逆样本协方差"通过求解凸最小化过程,然后我们恢复子空间的底部特征向量的这个矩阵(其数量对应于接近0的特征值的数量)。我们保证在一定条件下的基础数据的子空间恢复。此外,我们提出了一个快速迭代算法,该算法线性收敛于最小化凸问题的矩阵。我们还量化了噪声和正则化的影响,并讨论了许多其他实际和理论问题,以提高在各种设置的子空间恢复。当用项的平方和替换凸能量函数中的项的和(我们最小化的)时,我们得到新的最小化器是逆样本协方差的缩放版本(当存在时)。因此,我们解释我们的最小值和它的子空间(由其底部特征向量构成)分别作为经验逆协方差和PCA子空间的鲁棒版本。我们将我们的方法与许多其他算法进行比较,在合成和真实数据集上进行稳健的PCA,并展示了最先进的速度和准确性。
2014-06-23 math.OC stat.ML
Enhanced Lasso Recovery on Graph
Loyola Marymount University(洛约拉马利蒙特大学);University of California Los Angeles(加州大学洛杉矶分校)
这项工作的目的是恢复信号稀疏的图形。压缩感知提供了从一些线性测量中恢复信号的技术,而图形傅立叶分析提供了一种图形上的信号表示。在本文中,我们利用这两个框架,介绍了一个新的Lasso恢复算法的图。更确切地说,我们提出了一个非凸,非光滑的算法,优于标准的凸Lasso技术。我们在三个基准图数据集上进行了数值实验。
2015-06-19 cs.LG stat.ML
Partial Recovery for Top-$k$ Ranking: Optimality of MLE and Sub-Optimality of Spectral Method
在Bradley-Terry-Luce(BTL)模型生成的部分观测的两两比较数据下,研究了top- $k$排序问题.也就是说,最佳地识别顶级$k$玩家的集合。我们推导出相对于标准化海明损失的极大极小率。这提供了文献中的第一个结果,其特征在于部分恢复错误的比例的顶部$k$排名的错误。我们还推导出最佳的信噪比条件的顶部$k$集的精确恢复。最大似然估计(MLE),以实现最佳的部分恢复和最佳的精确恢复。另一方面,我们表明另一种流行的算法,谱方法,是在一般次优。我们的结果补充了Chen等人(2019)的最新工作,该工作表明MLE和谱方法都实现了精确回收的最佳样品复杂度。事实证明,两种算法的样本复杂度的前导常数是不同的。另一个可能具有独立兴趣的贡献是对MLE的分析,而没有对BTL模型进行任何惩罚或正则化。这填补了排名文献中理论与实践之间的一个重要空白。
2021-07-15 math.ST stat.ML stat.TH
Group-Aware Matrix Estimation and Latent Subspace Recovery
Department of Statistics, Columbia University(哥伦比亚大学统计系);Irving Institute for Cellular Dynamics, Zuckerman Institute Columbia University(Zuckerman研究所细胞动力学院,哥伦比亚大学);School of Data and Information Sciences, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校数据与信息科学学院)
本文提出了一种针对异质数据中群体特定低秩矩阵估计的凸估计器GAME,通过重叠核范数惩罚正则化来恢复子群特定的子空间结构,同时在共享坐标系中保留局部潜在结构,并在不同数据集上验证了其在结构缺失情况下优于传统低秩方法的性能。
2026-05-19 cs.LG stat.AP stat.ME
Robust Generalized Method of Moments: A Finite Sample Viewpoint
MIT(麻省理工学院);Microsoft Research, New England(微软研究院新英格兰分部)
在统计学和计量经济学中的许多推断问题中,未知参数是通过一组矩条件来确定的。求解矩条件的一般方法是广义矩量法(GMM)。然而,经典的GMM估计可能对离群值非常敏感。鲁棒GMM估计已经在过去开发,但遭受几个缺点:计算棘手,不良的维度依赖性,并没有定量的恢复保证在一个常数分数的离群值的存在。在这项工作中,我们开发了第一个计算效率高的GMM估计(在直观的假设下),可以容忍一个恒定的$ε$部分的adversarially损坏的样本,并有一个$\ell_2$恢复保证$O(\sqrtε)$。为了实现这一目标,我们借鉴并扩展了最近关于算法稳健统计的工作,以解决相关但更简单的问题,例如均值估计、线性回归和随机最优化。作为我们的算法的一般性的两个例子,我们展示了我们的估计算法和假设如何适用于工具变量线性和逻辑斯谛回归。此外,我们通过实验验证了我们的估计优于经典的IV回归和两阶段Huber回归的合成和半合成数据集腐败。
2021-10-13 cs.DS cs.LG econ.EM