Convex vs nonconvex approaches for sparse estimation: GLasso, Multiple Kernel Learning and Hyperparameter GLasso
稀疏估计的流行Lasso方法可以通过与特定随机模型相关联的联合密度的边缘化来导出。相同概率模型的不同边缘化导致不同的非凸估计，其中超参数被优化。扩展这些参数的问题，其中组的变量估计，我们研究了稀疏估计的计算方案，不同于组套索。虽然基本的优化问题定义这个估计是非凸的，初始化策略的基础上，一个单变量贝叶斯前向选择方案。这也使我们能够定义一个有效的非凸估计，其中只有一个标量变量参与优化过程。理论参数，独立于进入稀疏模型的先验的正确性，包括澄清与其他凸估计相比，这种非凸技术的优点。数值实验也被用来比较这些方法的性能。
2013-02-27 math.OC stat.ML
A Bayesian Approach to Sparse plus Low rank Network Identification
研究了用稀疏动态贝叶斯网络模型对多元时间序列进行建模的问题。这种结构转化为稀疏加低秩模型。在本文中，我们提出了一个高斯回归方法来识别这样的模型。
2015-09-26 math.OC stat.ML
Block-Sparse Recovery via Convex Optimization
The Johns Hopkins University（约翰斯·霍普金斯大学）
给定一个由多个块组成的字典和一个只存在于几个块的范围空间中的信号，我们研究了找到信号的块稀疏表示的问题，即，使用最小块数的表示法。受信号/图像处理和计算机视觉应用（如人脸识别）的启发，我们考虑了块稀疏恢复问题，在这种情况下，每个块中的原子数是任意的，可能远远大于底层子空间的维数。为了找到信号的块稀疏表示，我们提出了两类非凸优化程序，其目标分别是最小化非零系数块的数量和非零重构向量的数量。由于这两类问题是NP-困难的，我们提出凸松弛和推导条件下，每一类的凸计划是相当于原来的非凸制定。我们的条件依赖于字典的相互和累积子空间相干性的概念，这是现有的相互和累积相干性的概念的自然概括。我们通过模拟和真实的人脸识别实验来评估所提出的凸方案的性能。我们表明，将人脸识别问题视为块稀疏恢复问题，只需25%的训练数据，就可以将最先进的结果提高10%。
2012-04-13 cs.CV cs.IT math.IT
The sparseness of g-convex functions
本文研究流形上g-凸光滑函数，建立了黎曼度量或联络存在性判据，并据此得出紧流形上g-凸函数集无处稠密等三个稀疏性结果。
2024-09-22 math.DG math.OC
Rank-one convexification for quadratic optimization problems with step function penalties
本文提出秩一凸化方法，将带阶跃函数惩罚的凸二次优化转化为凸问题，并应用于0-1损失支持向量机，在异常值下实现稳健估计。
2025-04-23 math.OC
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知，我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法，一般的随机和有限和最优化问题，具有相同或更高的收敛复杂性相比，目前最好的结果为无约束的问题设置。在一个数值实验中，我们比较我们的算法与当前国家的最先进的确定性算法，并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
Pursuit of Low-Rank Models of Time-Varying Matrices Robust to Sparse and Measurement Noise
IBM Research – Ireland（IBM研究院爱尔兰分院）
在跟踪时变矩阵的时变低秩模型中，我们提出了一种对均匀分布的测量噪声和任意分布的“稀疏”噪声都具有鲁棒性的方法。理论上，我们限制了跟踪误差。在实践中，我们使用的随机坐标下降是可扩展的，并允许令人鼓舞的结果变化检测网，一个基准。
2020-02-04 cs.CV math.OC math.ST
Sparse Convex Optimization Toolkit: A Mixed-Integer Framework
本文提出了一个开源的分布式求解器，用于解决稀疏凸优化（SCO）问题的计算网络。受过去混合整数优化算法进步的启发，稀疏凸优化工具包（SCOT）采用混合整数方法来找到SCO问题的精确解。特别是，SCOT汇集了各种技术，将原来的SCO问题转化为一个等价的凸混合规划非线性规划（MINLP）问题，可以受益于高性能和并行计算平台。为了解决等价的混合整数问题，我们提出了分布式混合外近似（DiHOA）算法，该算法建立在基于LP/NLP的分支定界算法的基础上，并针对这个特定的问题结构量身定制。DiHOA算法结合了所谓的单树和多树外近似，自然地集成了分布式凸非线性子问题的分散算法，并利用了二次切割等增强技术。最后，我们提出了详细的计算实验，显示我们的解决方案的好处，通过数值基准140 SCO问题与分布式数据集。为了展示SCOT的整体效率，我们还提供了SCOT与其他最先进的MINLP求解器的性能比较。
2022-10-30 math.OC
Sparse PCA: Convex Relaxations, Algorithms and Applications
给定一个样本协方差阵，我们研究了由输入变量的线性组合解释的方差最大化的问题，同时约束在这个组合中的非零系数的数量。这被称为稀疏主成分分析，在机器学习和工程中有广泛的应用。不幸的是，这个问题也是组合硬，我们讨论凸松弛技术，有效地产生良好的近似解。然后，我们描述了几种算法解决这些松弛以及贪婪算法，迭代地提高解决方案的质量。最后，我们说明稀疏PCA在几个应用程序中，从参议院投票和金融新闻数据。
2010-12-22 math.OC
Spectrahedra and Convex Hulls of Rank-One Elements
Helton-Nie猜想（HNC）是关于每个凸半代数集都是谱面体阴影的命题。本文证明了HNC等价于另一个与二次约束二次规划有关的命题。即任何一个谱面体的秩一元素的凸包都是谱面体阴影。在紧凸半代数集的情况下，谱面体可以被认为是紧的。举例说明了这些凸子集与谱面之间的关系。
2015-01-06 math.AG math.OC
Rank-one Convexification for Sparse Regression
University of California, Berkeley（加州大学伯克利分校）；University of Pittsburgh（匹兹堡大学）
稀疏回归模型由于其易于解释性和出色的样本外性能而日益流行。然而，稀疏回归的精确模型与$\ell_0$约束限制的支持的估计是一个具有挑战性的（\NP硬）非凸优化问题。在本文中，我们得到了新的强凸松弛稀疏回归。这些松弛是基于理想的（凸包）配方秩一二次项与指标变量。新的松弛可以制定为半定优化问题在一个扩展的空间，更强大和更一般的比国家的最先进的配方，包括透视重构和配方与反向休伯罚款和极小极大凹罚函数。此外，建议的秩一加强可以被解释为一个\textit{non-separable, non-convex, unbiased}稀疏诱导正则化，它动态地调整其惩罚根据误差函数的形状，而不会引起偏见的稀疏解决方案。在我们的基准数据集的计算实验中，提出的二次曲线公式在几秒钟内解决，并导致非凸$\ell_0$ -问题的接近最优的解决方案（0.4\%的最优性差距）。此外，从统计的角度来看，所得到的估计也优于其他凸方法，实现了高预测精度和良好的可解释性。
2020-10-18 cs.LG math.OC stat.ME
A Dimension Reduction Technique for Large-scale Structured Sparse Optimization Problems with Application to Convex Clustering
本文提出了一种新的自适应筛选（AS）技术和一种增强的自适应筛选（EAS）技术，它们与求解器无关，可以加速求解具有内在结构稀疏性的大规模凸优化问题的优化算法。我们建立了有限收敛性的AS技术和EAS技术与不精确解的减少的子问题。作为一个重要的应用，我们将AS技术和EAS技术应用到凸聚类模型上，这可以将最先进的算法SSNAL加速7倍以上，将算法ADMM加速14倍以上。
2021-08-17 math.OC
Exploring chordal sparsity in semidefinite programming with sparse plus low-rank data matrices
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹学与分析研究所）；Department of Mathematics, and Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学数学系及运筹学与分析研究所）
针对高维半定规划（SDP）求解难的问题，本文研究系数矩阵为稀疏加低秩（SPLR）结构的SDP问题，提出将其转化为有界树宽稀疏SDP的统一框架，并推导了最坏情况下紧的秩界。
2026-10-21 math.OC
Sparse PCA on fixed-rank matrices
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
稀疏PCA是通过在主成分上添加稀疏约束从PCA获得的优化问题。稀疏PCA是NP难的，即使在单分量的情况下也很难近似。在本文中，我们解决了稀疏PCA的计算复杂性的协方差矩阵的秩。我们表明，如果协方差矩阵的秩是一个固定的值，那么有一个算法，解决稀疏PCA的全局最优，其运行时间是多项式的功能的数量。我们还证明了一个类似的结果，稀疏PCA的版本，需要主成分有不相交的支持。
2022-01-07 cs.DM cs.LG math.OC
Sparse Convex Quantile Regression: A Generalized Benders Decomposition Approach
针对稀疏凸分位数回归的计算挑战，研究改进经典CQR模型并提出适配的广义Benders分解算法及增强元启发式方法，经实验验证兼具准确性、可扩展性与实用价值。
2025-09-02 math.OC
Low-rank Optimization with Convex Constraints
研究了在数据分析、系统辨识、模型降阶、低阶控制器设计和低复杂度建模中存在的凸约束下的低秩逼近问题。给定一个矩阵，目标是找到一个满足秩和凸约束的低秩近似，同时最小化到矩阵的平方Frobenius范数的距离。在许多情况下，这个非凸问题通过核范数正则化来转化。然而，我们将看到，通过这种方法获得的近似值可能远非最佳。在本文中，我们提出了一种替代的凸松弛，使用的平方Frobenius范数和秩约束的凸包络。用这种方法，容易验证的条件下，凸松弛和原来的非凸问题的解决方案是一致的。一个SDP表示的凸包络，这使我们能够应用这种方法来解决几个已知的问题。我们关于最优低秩汉克尔近似/模型降阶的例子表明，所提出的凸松弛的性能始终优于核范数正则化，并且可能优于平衡截断。
2018-03-06 cs.LG math.OC stat.ML
Sparse Regularization by Smooth Non-separable Non-convex Penalty Function Based on Ultra-discretization Formula
针对ℓ₁范数稀疏优化解幅度偏小问题，提出基于超离散化公式的非凸非分离稀疏诱导惩罚函数ULPENS，可连续插值ℓ₁范数与非凸抑制函数，兼具光滑性与可控抑制性，经理论分析与数值实验验证有效性。
2025-09-24 eess.SP math.OC
Convex block-sparse linear regression with expanders -- provably
稀疏矩阵是机器学习和优化的研究对象。当使用这样的矩阵时，代替密集矩阵，优化中的总体复杂性要求在实践中可以在空间和运行时间方面显著降低。基于这一观察，我们研究了一个凸优化方案，用于从线性测量中恢复块稀疏。为了获得线性草图，我们使用扩展矩阵，即，稀疏矩阵，每列仅包含少数非零值。然而，据我们所知，这种算法的解决方案只从非凸的角度进行了研究。我们的目的是在理论上描述这种设置下的凸方法的性能。我们的主要新颖之处是恢复错误的表达在基于模型的规范，同时确保解决方案的生活在模型中。为了实现这一点，我们证明了基于模型的稀疏矩阵满足零空间属性的群版本。我们在合成和实际应用中的实验结果支持我们在凸设置中更快恢复的主张-而不是使用密集的传感矩阵，同时显示出有竞争力的恢复性能。
2016-04-03 cs.IT math.IT math.OC
Robust Identification of "Sparse Plus Low-rank" Graphical Models: An Optimization Approach
受图形模型的启发，我们考虑了正定浓度矩阵的“稀疏加低秩”分解--协方差阵的逆。这是一个经典的问题，其中丰富的理论和数值算法已经开发。然而，当协方差阵必须从观测数据中估计时，结果似乎会迅速退化，因此会受到一定程度的不确定性的影响。我们讨论了这个问题，并提出了一种替代的优化方法，似乎是适合于处理“稀疏加低秩”分解问题的鲁棒性问题。这个最优化问题的变分分析进行了讨论。
2019-01-29 math.OC
Upper-Bounding the Regularization Constant for Convex Sparse Signal Reconstruction
考虑通过最小化凸可微负对数似然（NLL）（数据保真度）项和凸正则化项的加权和来重建信号$x$，该凸正则化项对$x$施加凸集约束并使用$\ell_1$范数分析正则化来强制其稀疏性。我们计算正则化调整常数的上限，超过该上限，正则化项压倒性地主导NLL项，使目标函数的最小值点的集合不会改变。建立了稀疏信号正则化无关性的充分必要条件和有限上界存在的条件。我们制定了一个优化问题，找到这些界限时，正则项可以全局最小化的可行$x$，也开发了交替方向的乘法器（ADMM）型方法的计算。仿真例子表明，推导的和经验的界限相匹配。
2017-02-25 math.OC stat.CO
Recovering Sparse Nonnegative Signals via Non-convex Fraction Function Penalty
现实世界中的许多实际问题都可以转化为具有非负约束的$\ell_{0}$ -极小化问题，它寻求欠定线性系的稀疏非负信号。它们在信号与图像处理、机器学习、模式识别和计算机视觉等领域有着广泛的应用。不幸的是，这个具有非负约束的$\ell_{0}$ -极小化问题是计算性的和NP-困难的，因为$\ell_{0}$ -范数的离散和不连续的性质。本文用一个非凸分式函数代替$\ell_{0}$ -范数，研究了这种非凸分式函数在从欠定线性系恢复稀疏非负信号中的极小化问题。首先讨论了$(P_{0}^{\geq})$与$(FP_{a}^{\geq})$的等价性，以及$(FP_{a}^{\geq})$与$(FP_{a,λ}^{\geq})$的等价性。证明了在满足一定条件的情况下，通过求解正则化问题$(FP_{a,λ}^{\geq})$可以近似地得到问题$(P_{0}^{\geq})$的最优解。其次，我们提出了一个非负的迭代阈值算法来解决正则化问题$(FP_{a,λ}^{\geq})$的所有$a>0$。最后，对稀疏非负信号恢复问题的数值实验表明，与线性规划相比，该方法能有效地发现稀疏非负信号。
2017-08-26 math.OC
Sparse Resource Allocation for Control of Spreading Processes via Convex Optimization
在这封信中，我们提出了一种方法，稀疏分配资源，以控制蔓延的过程-如流行病和野火-使用凸优化，特别是指数锥规划。在资源不容易分布在大面积上的情况下，稀疏分配具有优势。此外，我们引入了一个风险模型，以优化产品的可能性和未来的影响爆发。我们证明了一个简化的野火的例子，我们的方法可以提供更有针对性的资源分配相比，以前的方法基于几何规划。
2020-03-17 cs.SY eess.SY math.DS
Practical Approximation Algorithms for $\ell_1$-Regularized Sparse Rank-$1$ Approximation to Higher-Order Tensors
针对高阶张量的$\ell_1$正则化稀疏秩1逼近，提出了两种逼近算法.该算法基于多线性松弛和稀疏化，易于实现，可扩展性好。特别地，第二个与输入张量的大小线性缩放。基于对$\ell_1$ -正则化稀疏化的仔细估计，推导出理论近似的下界。我们的理论结果也提出了一个明确的方式来选择正则化参数。数值算例验证了算法的有效性。
2022-07-15 math.OC
Sparse Approximate Solutions to Max-Plus Equations with Application to Multivariate Convex Regression
National Technical University of Athens（雅典国家技术大学）；University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们研究的问题，找到近似，最小支撑集，解决矩阵最大-加方程，我们称之为稀疏近似解。我们展示了如何可以有效地获得这样的解决方案，并在多项式时间的任何$\ell_p$近似误差。基于这些结果，我们提出了一种新的方法，凸多元函数的分段线性拟合，最优性保证的模型参数和近似最小数量的仿射区域。
2020-12-21 cs.LG math.OC math.RA
Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（匹兹堡大学医学中心希尔曼癌症中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文考虑了一个大类的问题，我们试图恢复一个低秩矩阵和/或稀疏向量从一些测量。虽然基于凸松弛的方法遭受（可能很大）估计偏差，和其他非凸方法需要的秩或稀疏性是已知的先验，我们使用非凸正则化，以最大限度地减少秩和$l_0$规范没有估计偏差的凸松弛。我们提出了一种新的分析交替近端梯度下降算法应用到这样的问题，并绑定的迭代和地面真实稀疏和低秩矩阵之间的误差。该算法和误差界可以应用于稀疏优化，矩阵补充，和鲁棒主成分分析作为我们的结果的特殊情况。
2021-09-26 cs.LG math.OC stat.ML
First-Order Sparse Convex Optimization: Better Rates with Sparse Updates
本文提出通过稀疏更新实现一阶方法在稀疏最优解下的线性收敛速度，提升运行效率并简化实现。
2026-03-19 cs.LG math.OC
Riemannian thresholding methods for row-sparse and low-rank matrix recovery
在本文中，我们提出了修改的迭代硬阈值（IHT）方法恢复联合行稀疏和低秩矩阵。特别是一个黎曼版本的IHT被认为是显着降低计算成本的梯度投影的情况下，秩一测量算子，这在盲反卷积的具体应用。实验结果表明，高斯和秩一测量接近最佳的恢复，自适应步长提供了至关重要的改善。对于稀疏性未知的特殊情况，导出了一种黎曼近似梯度法.
2022-09-30 cs.NA math.NA math.OC
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法，并且具有很强的计算和统计保证。具体地，通过利用稀疏建模结构/假设的复杂表征（即，局部约束强凸性和Hessian光滑性），证明了在凸松弛的每一阶段，算法均达到（局部）二次收敛，并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
A difference of convex functions approach for sparse pde optimal control problems with nonconvex costs
我们提出了一个局部正则化的椭圆最优控制问题，其中涉及非凸$L^q$分数惩罚的费用函数。建议的\emph{Huber type}正则化允许我们制定的PDE约束优化制定为DC规划问题（凸函数的差异），这是有用的，以获得必要的最优性条件，并通过应用在非凸最优化问题中使用的众所周知的DC算法来解决其数值解。通过这个过程，我们近似的参数化问题，有有效的数值方法可用的一致的家庭的原始问题。最后，我们提出了数值实验来说明我们的理论与不同的配置相关联的参数的问题。
2019-04-20 math.OC
A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation
Laboratoire J.A. Dieudonné（拉格朗日J.A.迪乌多夫实验室）；Université Côte d'Azur（蔚蓝海岸大学）
本文提出了一种通用的块坐标下降框架，用于解决非凸复合优化问题，并应用于稀疏精度矩阵估计，提供收敛保证和加速迭代次数。
2026-01-29 cs.LG math.OC
Distributed Primal Outer Approximation Algorithm for Sparse Convex Programming with Separable Structures
提出了一种分布式原始外近似算法（DiPOA），用于求解具有可分离结构的稀疏凸规划（SCP）问题。DiPOA算法的开发包括将最近提出的松弛混合乘子交替方向法（RH-ADMM）算法嵌入到外近似（OA）算法中。我们还提出了两个主要的改进，以控制质量和切割平面的数量，近似非线性函数。特别地，RH-ADMM算法充当DiPOA算法内部的分布式数值引擎。DiPOA利用现代处理器的多核架构来加速优化算法。提出的分布式算法从应用方面使SCP在学习和控制问题中的解决方案具有实用性。本文最后对分布式稀疏逻辑斯谛回归和二次约束最优化问题的DiPOA算法进行了性能分析。最后，本文的结论与国家的最先进的优化求解器的数值比较。
2022-10-13 math.OC
Sketchy Decisions: Convex Low-Rank Matrix Optimization with Optimal Storage
本文研究一类基本的凸矩阵最优化问题。它提出了第一个算法，使用最佳存储和可证明计算一个低秩近似的解决方案。特别地，当所有解具有低秩时，该算法收敛于一个解。该算法，SketchyCGM，修改了标准的凸优化计划，条件梯度法，存储只有一个小的随机草图的矩阵变量。在优化终止后，算法从草图中提取解的低秩近似。与非凸模型相反，SketchyCGM的保证不依赖于问题数据的统计模型。数值工作证明了SketchyCGM优于几何学的优点。
2017-02-22 math.OC stat.ML
Local Convergence of Proximal Splitting Methods for Rank Constrained Problems
Lund University（隆德大学）
我们分析的局部收敛的邻近分裂算法解决最优化问题是凸除了秩约束。对于这一点，我们显示的条件下，涉及秩约束的函数的邻近算子是局部相同的凸包络的邻近算子，因此意味着局部收敛。条件意味着，非凸算法局部收敛到一个解决方案，只要一个凸松弛涉及凸包络可以预期解决非凸问题。
2017-10-11 cs.LG math.OC stat.ML
On the Partial Convexification for Low-Rank Spectral Optimization: Rank Bounds and Algorithms
本文研究低秩谱优化问题的部分凸化松弛，推导其可行集极点的紧秩界，并开发列生成与秩缩减算法，确保解满足理论秩界，数值实验验证了松弛强度与算法有效性。
2023-06-21 math.OC stat.ML
Projection Algorithms for Non-Convex Minimization with Application to Sparse Principal Component Analysis
University of Florida（佛罗里达大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究了非凸集上的凹最小化问题，提出并分析了梯度投影算法和近似牛顿算法，展示了其在稀疏主成分分析中的应用效果。
2019-04-06 cs.NA math.NA math.OC
Best-first Search Algorithm for Non-convex Sparse Minimization
非凸稀疏最小化（Non-convex Sparse Minimization，NSM），又称凸损失函数的$\ell_0$约束最小化，是一个重要的优化问题，在机器学习中有着广泛的应用。NSM一般是NP难的，因此在多项式时间内精确求解NSM几乎是不可能的。至于二次目标函数的情况下，精确算法的基础上二次混合整数规划（MIP）进行了研究，但没有现有的精确方法可以处理更一般的目标函数，包括Huber和逻辑损失，这是不幸的，因为这些功能在实践中是普遍的。在本文中，我们考虑NSM与$\ell_2$正则化凸目标函数，并开发了一个算法，利用最佳优先搜索（BFS）的效率。我们的BFS可以计算最多$Δ\ge0$的目标误差的解决方案，其中$Δ$是一个可控的超参数，平衡之间的权衡保证目标误差和计算成本。实验表明，我们的BFS是有用的解决中等大小的NSM实例与非二次目标，BFS也比基于MIP的方法应用于二次目标时更快。
2019-10-03 cs.DS math.OC
Learning the Sparse and Low Rank PARAFAC Decomposition via the Elastic Net
Peking University（北京大学）；Massachusetts General Hospital（麻省总医院）
本文提出一种贝叶斯模型，通过弹性网学习存在缺失值的张量的稀疏和低秩PARAFAC分解，能鲁棒地找到真实秩和稀疏因子矩阵，并提出高效的块坐标下降算法和admax随机块坐标下降算法以解决大规模问题。
2017-05-29 cs.NA math.NA math.OC
On the Convergence of Stochastic Gradient Descent with Low-Rank Projections for Convex Low-Rank Matrix Problems
Technion - Israel Institute of Technology（以色列理工学院）
我们重新使用随机梯度下降（SGD）解决凸优化问题，作为非常流行的凸松弛许多重要的低秩矩阵恢复问题，如\textit{matrix completion}，\textit{phase retrieval}，等等。应用SGD来大规模地解决这些松弛的计算限制是需要在每次迭代上计算潜在的高秩奇异值分解（SVD），以便执行低秩提升约束。我们首先考虑一个简单而自然的充分条件，使这些松弛确实承认低秩的解决方案。这个条件对于低秩鲁棒性的概念成立也是必要的。我们的主要结果表明，在这个条件下，涉及的梯度向量的特征值在最佳点，SGD与小批量，当初始化与“热启动”点，产生的迭代是低秩的高概率，因此只有一个低秩SVD计算是必需的每一次迭代。这表明，SGD可能确实是实际适用于解决低秩矩阵恢复问题的大规模凸松弛。我们的理论结果是伴随着支持初步的经验证据。作为附带的好处，我们的分析非常简单和简短。
2020-06-14 cs.LG math.OC stat.ML
Sparse and Low-Rank Covariance Matrices Estimation
本文的目的是从半定总体协方差阵中获得同时稀疏和低秩的估计。我们首先受益于一个凸优化开发$l_1$ -范数惩罚，鼓励稀疏性和核范数有利于低秩属性。对于所提出的估计量，我们证明了估计率的Frobenious范数在一般情况下可以是$O(\sqrt{s(\log{r})/n})$阶，其中$s$和$r$分别表示稀疏条目数和总体协方差的秩，$n$表示样本容量.最后提出了一种有效的具有全局收敛性的乘子交替方向法，并通过数值模拟说明了该方法的优点.
2014-08-07 math.OC math.ST stat.ML
Sparse Phase Retrieval: Convex Algorithms and Limitations
我们考虑的问题，恢复信号的功率谱密度。这是一个经典的问题，在文献中被称为相位恢复问题，并且在应用科学的许多领域中具有至关重要的意义。通常，需要关于信号的附加先验信息来保证唯一恢复，因为从信号到功率谱密度的映射不是一对一的。在本文中，我们假设潜在的信号是稀疏的。最近，基于半定规划（SDP）的方法被各种研究人员探索。这些算法的模拟强烈表明，信号高达$o(\sqrt{n})$稀疏可以恢复这种技术。在这项工作中，我们开发了一个易于处理的算法的基础上重新加权$l_1$ -最小化，恢复稀疏信号的功率谱密度显着更高的稀疏，这是前所未有的。我们讨论了现有的凸算法的平方根瓶颈，并表明，$k$稀疏信号可以有效地恢复使用$O(k^2logn)$无相位傅立叶测量。我们还表明，$k$稀疏信号可以恢复仅使用$O(k log n)$无相测量，如果我们被允许设计的测量矩阵。
2013-11-11 cs.IT math.IT math.OC
Functional Nonlinear Sparse Models
University of Pennsylvania（宾夕法尼亚大学）；Weizmann Institute of Science（魏茨曼科学研究所）
信号处理在本质上是连续的，通常是非线性的应用，如光谱估计，光学成像和超分辨率显微镜，其中稀疏性在获得最先进的结果中起着关键作用。处理这些问题的无穷维和非凸性通常涉及离散化和凸松弛，例如，使用原子规范。然而，网格失配和其他相干性问题通常导致稀疏信号的离散化版本不是稀疏的。即使它们是，使用凸松弛恢复稀疏解需要假设，可能很难满足在实践中。更重要的是，问题涉及非线性测量仍然是非凸的，即使放松稀疏性目标。我们解决这些问题，直接解决连续的，非线性问题铸造作为一个稀疏的功能优化程序。我们证明了当这些问题是非原子的，他们没有对偶间隙，因此可以有效地解决使用对偶和~（随机）凸优化方法。我们说明了这种方法的广泛应用，制定和解决问题的非线性谱估计和鲁棒分类。
2020-03-20 cs.LG eess.SP math.OC
Several Approximation Algorithms for Sparse Best Rank-1 Approximation to Higher-Order Tensors
Guangxi University（广西大学）
稀疏张量最佳秩1近似（BR1Approx）是稠密张量BR1Approx的稀疏推广，是稀疏矩阵BR1Approx的高阶扩展，是稀疏张量分解及相关统计和机器学习问题中的重要问题之一.利用问题的多重线性和稀疏结构，提出了四种易于实现、计算复杂性低、可作为迭代算法初始化步骤的近似算法。此外，理论上保证最坏情况下的近似下界证明了所有的算法。我们提供了数值实验的合成和真实的数据来说明所提出的算法的有效性。
2022-07-14 cs.LG cs.NA math.NA
Near-Optimal Estimation of Simultaneously Sparse and Low-Rank Matrices from Nested Linear Measurements
本文考虑了由嵌套线性测量同时估计低秩和行稀疏矩阵的问题，其中线性算子由线性算子$\mathcal{W}$和矩阵$\mathbf{\varPsi}$的乘积组成.利用测量算子的嵌套结构，我们提出了一个计算效率高的两阶段算法，用于估计同时结构化的目标矩阵。假设$\mathcal{W}$是低秩矩阵的限制等距和$\mathbf{\varPsi}$是行式稀疏矩阵的限制等距，我们建立了一个精度保证，保持一致的所有足够低秩和行式稀疏矩阵具有高概率。此外，使用标准的工具，从信息论，我们建立了一个极小极大下界估计同时低秩和行式稀疏矩阵的线性测量，不需要嵌套。建立的算法，也作为一个极大上界的准确性界限，从派生的极大极小下界不同，只是由一个多对数因子的尺寸。因此，该算法几乎是极小极大最优的。我们还讨论了所提出的观测模型的一些应用，并通过数值模拟评估我们的算法。
2016-03-21 cs.IT math.IT math.OC
Sparse Principal Component of a Rank-deficient Matrix
Department of Electronic and Computer Engineering（电子与计算机工程系）；Technical University of Crete（塞萨洛尼基技术大学）；Chania, 73100, Greece（希腊夏尼亚）
针对秩亏矩阵的稀疏主成分识别问题，通过引入辅助球面变量并证明存在多项式大小的候选指标集，提出了一种多项式时间算法来计算任意稀疏度下的最优稀疏主成分。
2011-06-08 cs.IT cs.LG cs.SY
Outlier-Robust Sparse Estimation via Non-Convex Optimization
Brown University（布朗大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Duke University（杜克大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Southern California（南加利福尼亚大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们探讨了在稀疏约束存在下，离群鲁棒高维统计和非凸优化之间的联系，重点是鲁棒稀疏均值估计和鲁棒稀疏PCA的基本任务。我们开发新的和简单的优化配方，这些问题，使任何近似的稳定点的相关优化问题产生一个接近最优的解决方案的基本鲁棒估计任务。作为一个推论，我们得到任何一阶方法，有效地收敛到平稳产生一个有效的算法，这些任务。所得到的算法是简单，实用，并成功地在更广泛的分布假设相比，以前的工作。
2022-11-13 cs.DS cs.LG math.OC
