Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research（雅虎研究院）；University of Minnesota – Twin Cities（明尼苏达大学双城分校）
归纳矩阵完备化（IMC）是一类重要的矩阵完备化问题，它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统，多标签学习，字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务，其中底层矩阵遵循IMC模型，即，它由夹在两个已知特征矩阵之间的混合矩阵（先验未知）形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni：2016：NMC的主要定理，并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上，它可以用来推导各种噪声模型的误差界。在本文中，我们实例化我们的主要结果的情况下，高斯噪声，并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
A Robust SINDy Autoencoder for Noisy Dynamical System Identification
Department of Mathematics, Columbia University（哥伦比亚大学数学系）
本文提出一种鲁棒的SINDy自编码器，通过引入噪声分离模块提高对噪声动力系统识别的鲁棒性，并在洛伦兹系统上验证了其有效性。
2026-04-06 cs.LG stat.ME stat.ML
Minimax bounds for sparse PCA with noisy high-dimensional data
研究了基于独立高斯观测的高维总体协方差阵的首特征向量的估计问题。我们建立了一个下界估计的极小极大风险下的$l_2$损失，在联合限制的维数和样本量增加到无穷大，在各种模型的稀疏人口特征向量。风险的下界表明存在不同的特征向量稀疏性状态。我们还提出了一种新的方法估计的特征向量的两阶段坐标选择计划。
2012-03-05 math.ST stat.TH
Multi-Step Stochastic ADMM in High Dimensions: Applications to Sparse Optimization and Noisy Matrix Decomposition
University of Southern California（南加州大学）；University of California, Irvine（加州大学欧文分校）
我们提出了一个有效的ADMM方法与高维问题的保证。我们为稀疏优化问题和噪声矩阵分解问题提供了明确的边界。对于稀疏优化，我们建立了改进的ADMM方法具有$\mathcal{O}(s\log d/T)$的最佳收敛速度，其中$s$是稀疏水平，$d$是数据维度，$T$是步骤的数量。这与稀疏估计的极大极小下界相匹配。对于矩阵分解成稀疏和低秩分量，我们提供了任何在线方法的第一个保证，并证明了$p\times p$矩阵的$\tilde{\mathcal{O}}((s+r)β^2(p) /T) + \mathcal{O}(1/p)$的收敛速度，其中$s$是稀疏水平，$r$是秩和$Θ(\sqrt{p})\leq β(p)\leq Θ(p)$。我们的保证匹配关于$s,r$和$T$的极大极小下界。此外，在一定条件下，我们还对独立噪声模型、线性贝叶斯网络模型和隐高斯图模型等重要统计模型的矩阵维数$p$（即$β(p)=Θ(\sqrt{p})$）的极大极小下界进行了匹配.我们的ADMM方法是基于基于时代的退火，并包括廉价的步骤，涉及到简单的范数球的投影。实验表明，无论是稀疏优化还是矩阵分解问题，我们的算法都优于现有的方法。特别是，我们达到了更高的准确性与相同的时间复杂度。
2015-07-07 cs.LG math.OC stat.ML
Orthogonal Matching Pursuit with Noisy and Missing Data: Low and High Dimensional Results
许多稀疏回归模型通常假设协变量是完全已知的，并且没有噪声。特别是在高维应用中，情况往往并非如此。本文开发了高效的OMP类算法来处理正是这种设置。我们的算法是有效的OMP，并改善最知名的结果，在回归中的缺失和噪声数据，无论是在高维设置，我们试图从只有几个测量恢复稀疏向量，并在经典的低维设置，我们恢复一个非结构化的回归。在高维环境中，我们的支持恢复算法甚至不需要了解噪声的统计信息。一路上，我们还获得了改进的性能保证OMP的标准稀疏回归问题与高斯噪声。
2015-03-30 cs.IT math.IT math.ST
Support Recovery in Sparse PCA with Incomplete Data
Purdue University（普渡大学）
本文研究了一种适用于不完全数据和噪声数据的稀疏主成分分析（PCA）算法。我们的算法是基于半定规划（SDP）松弛的非凸$l_1$正则PCA问题。我们提供了理论和实验证据，SDP使我们能够准确地恢复未知真实矩阵的稀疏前导特征向量的真实支持，尽管只观察到不完整的（随机均匀丢失）和噪声版本。我们推导出精确恢复的充分条件，其中涉及矩阵不相干，最大和第二大特征值之间的谱间隙，观测概率和噪声方差。我们用不完整的合成数据验证了我们的理论结果，并在基因表达数据集上显示了令人鼓舞和有意义的结果。
2022-05-30 cs.LG stat.ML
Tuning Free Orthogonal Matching Pursuit
正交匹配追踪（OMP）是一种广泛应用的压缩感知（CS）算法，用于恢复噪声线性回归模型中的稀疏信号。OMP的性能取决于其停止准则（SC）。在文献中讨论的用于OMP的SC通常假设要估计的信号的稀疏性$k_0$或噪声方差$σ^2$的知识，这两者在许多实际应用中是不可用的。在这篇文章中，我们开发了一个修改版本的OMP称为调谐自由OMP或TF-OMP，它不需要SC。TF-OMP被证明是成功的稀疏恢复在通常的假设下的限制等距常数（RIC）和设计矩阵的互相关。数值上显示，与具有$k_0$或$σ^2$的\textit{a priori}知识的OMP相比，TF-OMP提供高度竞争性的性能。贪婪鲁棒去噪算法（Greedy Algorithm for Robust De-noising，GARD）是一种OMP类算法，用于估计稀疏离群值破坏的超定线性回归模型。然而，GARD需要内点噪声方差的知识，这是很难估计的。我们还产生了一个调谐免费算法（TF-GARD）的有效估计稀疏离群值的存在下，通过扩展TF-OMP的工作原理GARD。TF-GARD的数字显示，以实现与GARD的现有实施的性能。
2017-03-15 cs.IT math.IT stat.ML
Sparse recovery via Orthogonal Least-Squares under presence of Noise
我们考虑的正交最小二乘（OLS）算法的恢复$m$维$k$稀疏信号从少量的噪声线性测量。在信号非零元素满足一定条件的情况下，建立了有界噪声环境下OLS的精确恢复条件。新的结果也改善了现有的保证正交匹配追踪（OMP）算法。此外，该框架还可以为系数矩阵是根据高斯分布或伯努利分布随机抽取的情况提供概率保证，其中我们利用了一些集中性质。结果表明，在一定条件下，OLS在$k$迭代中以很高的概率恢复真实支持度。这又证明了${\cal O}\left(k\log m\right)$测量足以通过OLS精确恢复稀疏信号。
2016-08-08 cs.IT math.IT stat.ML
Sparse approximations of protein structure from noisy random projections
单粒子电子显微镜是一种现代技术，生物学家用来了解蛋白质的结构。它产生的数据由蛋白质结构在随机方向上的噪声随机投影组成，增加了投影角度无法观察的复杂性。为了重建三维模型，需要通过使用未知粒子的ad-hoc起始估计来估计投影方向。在本文中，我们提出了一种方法，不依赖于知识的投影角度，构建一个客观的数据依赖的低分辨率近似的未知结构，可以作为这样的起始估计。该方法假设蛋白质承认一个合适的稀疏表示，并采用离散$L^1$ -正则化（LASSO）以及形状理论的概念，以解决相关的逆问题所涉及的特殊挑战。我们举例说明的方法，通过应用程序的重建的E。大肠杆菌蛋白质组分称为Klenow片段。
2012-02-29 stat.AP
Panoramic Robust PCA for Foreground-Background Separation on Noisy, Free-Motion Camera Video
University of Michigan（密歇根大学）
本文提出了一种新的鲁棒PCA方法，用于自由移动摄像机视频的前景-背景分离，可能存在密集和稀疏的损坏。我们所提出的方法注册的帧损坏的视频，然后编码的角度变化所产生的摄像机运动作为缺失数据在一个全球模型。该公式允许我们的算法产生一个全景背景组件，该组件自动将部分重叠帧中的损坏数据拼接在一起，以重建完整的视场。我们将注册的视频建模为捕获背景的低秩组件、捕获场景的动态前景的平滑组件以及隔离视频中可能的离群值和其他稀疏损坏的稀疏组件的总和。我们的模型的低秩部分是基于最近的低秩矩阵估计（OptShrink），已被证明在实践中产生优越的低秩子空间估计。为了估计我们模型的平滑前景分量，我们使用了一个加权总变差框架，使我们的方法能够可靠地将视频的真实前景与稀疏损坏解耦。我们对受到各种密集和稀疏损坏的静态和移动摄像机视频进行了广泛的数值实验。我们的实验表明，我们提出的方法相比，现有的方法在前景和背景估计精度方面的最先进的性能。
2019-01-04 cs.CV stat.ML
Sharp Variable Selection of a Sparse Submatrix in a High-Dimensional Noisy Matrix
我们观察到一个$N\times M$矩阵的独立，同分布的高斯随机变量的中心，除了元素的一些子矩阵的大小$n\times m$的平均值大于一些$a>0$。在$n/N$和$m/M$趋于0，而$n,\, m, \, N$和$M$趋于无穷大的意义上，子矩阵是稀疏的。我们考虑具有显著大均值的随机变量的选择问题。本文给出了$a$是$n,\, m,\,N$和$M$的函数的充分条件，并构造了一个一致相容的过程，以便进行尖锐的变量选择。我们还证明了极大极小下界的必要条件下，这是补充以前的条件。分离的必要条件和充分条件的临界值$a^*$是尖锐的（我们显示确切的常数）。我们注意到Butucea和Ingster（2012）给出的用于选择变量的临界值$a^*$与检测这种子矩阵存在的临界值之间存在差距。当$a^*$处于该间隙中时，可以进行一致的检测，但无法找到相应变量的一致选择器。
2013-03-22 math.ST stat.TH
A problem dependent analysis of SOCP algorithms in noisy compressed sensing
由于\cite{CRT,CanRomTao06,DonohoPol}的结果，具有稀疏解的欠定线性方程组在过去的几年里一直是广泛研究的主题。本文考虑欠定线性系统的\emph{noisy}。在突破性的\cite{CanRomTao06}中，建立了在\emph{noisy}系统中，对于欠确定性的任何线性水平，存在线性稀疏性，其可以通过SOCP（二阶锥规划）优化算法恢复\emph{approximately}，使得近似解向量（在$\ell_2$ -范数意义上）保证与稀疏未知向量的距离不比噪声的常数倍更远。在我们最近的工作\cite{StojnicGenSocp10}，我们建立了一个替代框架，可用于统计性能分析的SOCP算法。为了演示该框架如何工作，我们在\cite{StojnicGenSocp10}中展示了如何使用它来精确表征SOCP的\emph{generic}（最差情况）性能。在本文中，我们提出了一套不同的结果，可以通过\cite{StojnicGenSocp10}的框架。其结果将与SOCP的\emph{problem dependent}性能分析有关。我们将考虑特定类型的未知稀疏向量，并描述SOCP用于恢复此类向量时的性能。我们还将表明，我们的理论预测是在一个坚实的协议，可以通过数值模拟得到的结果。
2013-03-29 cs.IT math.IT stat.ML
Non-Sparse PCA in High Dimensions via Cone Projected Power Iteration
本文提出了一种锥投影幂迭代算法，用于从有噪的正半定矩阵中恢复第一主特征向量。当真主特征向量属于一个凸锥时，该算法速度快，误差小。具体地说，该方法实现了多项式时间复杂度的某些凸锥配备快速投影，如单调锥。当噪声矩阵具有小的锥限制算子范数时，该方法具有较小的误差。我们补充了上述结果的最小最大下界的误差下的加标协方差模型。对模拟数据和实际数据的数值实验表明，当主特征向量为凸锥时，与普通幂迭代和一些稀疏主成分分析算法相比，该方法具有更短的运行时间和更小的误差。
2021-02-28 math.ST stat.CO stat.ME
Sparse Equisigned PCA: Algorithms and Performance Bounds in the Noisy Rank-1 Setting
University of Michigan（密歇根大学）；University of California, Davis（加州大学戴维斯分校）
基于奇异值分解（SVD）的主成分分析（PCA）在高维和有限的样本量范围内失效，低于取决于系统的维数和样本的样本个数的某个临界特征SNR。低于这个临界特征SNR，SVD返回的估计值与潜在主成分渐近不相关。我们考虑一种设置，其中底层秩一信号矩阵的左奇异向量被假设为稀疏的，并且右奇异向量被假设为等符号的，即，具有仅非负或仅非正的条目。我们考虑六种不同的算法，估计稀疏的主成分基于不同的统计标准，并证明，通过利用稀疏性，我们恢复相合估计在低特征信噪比制度的SVD失败。我们的分析揭示了条件下，一个基于\textit{sum-type decision statistic}的坐标选择方案优于计划，利用$\ell_1$和$\ell_2$规范为基础的统计。我们推导出主左奇异向量的可检测坐标的大小的下界，并利用这些下界推导出最坏情况下的风险的下界。最后，我们用数值模拟验证了我们的发现，并用视频数据示例说明了性能，其中兴趣在于识别对象。
2019-12-16 cs.LG eess.SP math.ST
Sparse Representation of a Polytope and Recovery of Sparse Signals and Low-rank Matrices
本文考虑压缩感知和仿射秩最小化在无噪和有噪情况下，并建立了尖锐的限制等距稀疏信号和低秩矩阵恢复条件。分析依赖于一个关键的技术工具，表示点的多面体的凸组合稀疏向量。该技术是基本的，但导致尖锐的结果。它示出，对于任何给定的常数$t\ge {4/3}$，在压缩感知$δ_{tk}^A < \sqrt{(t-1)/t}$保证精确恢复的所有$k$稀疏信号在无噪声的情况下，通过约束$\ell_1$最小化，并同样在仿射秩最小化$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$确保精确重建的所有矩阵的秩最多$r$在无噪声的情况下，通过约束核范数最小化。此外，对于任何$ε>0$，对于大的$k$，$δ_{tk}^A<\sqrt{\frac{t-1}{t}}+ε$不足以保证所有$k$稀疏信号的精确恢复。类似的结果也适用于基质回收。此外，条件$δ_{tk}^A < \sqrt{(t-1)/t}$和$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$也被证明是足够的，分别为稳定恢复的近似稀疏信号和低秩矩阵在噪声的情况下。
2013-10-22 cs.IT math.IT math.ST
An Interpretable and Stable Framework for Sparse Principal Component Analysis
本文提出SP-SPCA方法，通过引入均衡参数灵活控制稀疏性和解释方差，提升高维数据建模的稳定性与可解释性。
2026-03-14 cs.LG stat.ML
Noisy matrix decomposition via convex relaxation: Optimal rates in high dimensions
UC Berkeley（加州大学伯克利分校）
本文分析了一类基于凸松弛的估计，用于求解高维矩阵分解问题。观测值是一个近似的低秩矩阵$Θ^\star$与第二个具有互补形式的低维结构的矩阵$Γ^\star$之和的线性变换$\mathfrak{X}$的噪声实现;该设置包括许多感兴趣的统计模型，包括因子分析、多任务回归和鲁棒协方差估计。我们推导出一个一般定理，边界的Frobenius范数误差的估计对$(Θ^\star, Γ^\star)$通过解决一个凸优化问题，结合核规范与一般可分解的正则化。我们的研究结果利用了一个“尖峰”的条件，这是相关的，但比奇异向量不相干温和。我们专门研究我们的一般结果，在过去的工作中已经研究了两种情况下：低秩加上一个entrywise稀疏矩阵，低秩加上一个columnwise稀疏矩阵。对于这两种模型，我们的理论产生非渐近Frobenius误差界的确定性和随机噪声矩阵，并适用于矩阵$Θ^\star$，可以是完全或近似低秩，矩阵$Γ^\star$，可以是完全或近似稀疏。此外，对于随机噪声矩阵和单位观测算子的情况，我们建立了极大极小误差的匹配下界。数值模拟证实了我们的预测的尖锐性。
2012-03-06 cs.IT cs.LG math.IT
An Efficient Algorithm for Capacity-Approaching Noisy Adaptive Group Testing
在本文中，我们考虑了自适应测试设计和噪声结果的组测试问题。我们提出了一个计算效率高的四个阶段的程序，组件包括随机装箱，识别含有缺陷项目，1-稀疏恢复通过信道码，和一个“清理”的步骤，以纠正任何错误的早期阶段。我们证明，渐近所需的测试次数非常接近最知名的信息理论的可扩展性界（这是基于计算上难以处理的解码），并接近一个基于容量的逆界在低稀疏制度。
2019-11-07 cs.IT math.IT math.PR
Symbolic Regression on Sparse and Noisy Data with Gaussian Processes
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对稀疏和噪声数据下的动力学建模难题，本文提出GPSINDy方法，结合高斯过程回归与SINDy进行数据去噪与方程识别，在仿真和硬件数据上预测轨迹时显著优于基线方法。
2024-10-10 cs.LG cs.SY eess.SY
Sparse dynamical system identification with simultaneous structural parameters and initial condition estimation
稀疏非线性动力学识别（SINDy）已被证明可以成功地从数据中恢复控制方程;然而，这种方法假设初始条件是预先精确已知的，并且对噪声敏感。在这项工作中，我们提出了一个积分SINDy（ISINDy）的方法，同时识别模型结构和参数的非线性常微分方程（ODE）从噪声的时间序列观测。首先，状态估计通过惩罚样条平滑，然后代入积分形式的数值离散求解器，导致一个伪线性回归。通过序贯阈值最小二乘法从超定的候选特征集中提取最少的有效项，从而同时估计结构参数和初始条件，同时使所识别的动力学具有简约性和可解释性.仿真详细说明了该方法的恢复精度和对噪声的鲁棒性。例子包括逻辑方程、洛克特-沃尔泰拉系统和洛伦兹系统。
2022-10-31 cs.SY eess.SY math.DS
RadioDiff-Inv2: Differentiable Diffusion Inversion under Location Drift from Sparse Noisy Measurements for Radio Map Estimation
State Key Laboratory of ISN and School of Telecommunications Engineering, Xidian University（西安电子科技大学信息与通信系统国家重点实验室和电信工程学院）
针对稀疏噪声测量中位置漂移导致逆问题严重病态的问题，提出可微扩散反演框架RadioDiff-Inv2，通过高斯重采样构建漂移感知测量算子并优化噪声码，在PSNR上比最佳基线提升4-14 dB。
2026-06-07 cs.SY eess.SY
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology（代尔夫特理工大学）；Uppsala University（乌普萨拉大学）
本文提出一种在线稀疏高斯过程回归算法，解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足，实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
On continuous-time sparse identification of nonlinear polynomial systems
本文提出一种连续时间稀疏辨识方法，结合高阶导数重建与稀疏多项式辨识，从少量数据中识别相对阶不超过4的单输入单输出非线性系统，并在电子节气门控制系统中验证。
2025-09-22 cs.SY eess.SY
