Guaranteed Nonconvex Factorization Approach for Tensor Train Recovery
Department of Computer Science and Engineering Ohio State University（计算机科学与工程系俄亥俄州立大学）；Department of Electrical Engineering Colorado School of Mines（电气工程系科罗拉多矿业学院）
本文针对 Tensor Train 分解与线性测量恢复，提出基于左正交 TT 格式和 Stiefel 流形 RGD 的非凸方法，证明其局部线性收敛、噪声下误差仅随张量阶数多项式增长，并通过实验验证。
2025-08-29 cs.LG eess.SP math.OC
Matrix Completion with Graph Information: A Provable Nonconvex Optimization Approach
针对图辅助信息矩阵补全问题，提出非凸优化算法GSGD，解决现有图拉普拉斯正则化方法的局限，理论证明其线性收敛到全局最优且样本复杂度近优，实验验证其恢复精度和可扩展性更优。
2025-02-12 cs.LG math.OC
Tensor Recovery from Noisy and Multi-Level Quantized Measurements
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
高阶张量可以表示评分系统中的分数、视频中的帧以及同一主题的图像。在实践中，由于采样策略或设备的质量，测量结果通常是高度量化的。现有的张量恢复工作集中在数据丢失和随机噪声。只有少数作品考虑张量恢复量化测量，但仅限于二进制测量。本文首次讨论了从多能级量子化测量中恢复张量的问题。利用张量的低秩性质，提出了一个张量恢复的非凸优化问题。我们提供了一个理论上的上限的恢复误差，减少到零时，尺寸的尺寸增加到无穷大。我们的误差界显着改善了现有的结果在一位张量恢复和量化矩阵恢复。提出了一种基于张量的交替近似梯度下降算法来求解非凸问题。我们的恢复方法可以处理数据丢失，不需要的量化规则的信息。该方法在合成数据、图像数据集和音乐推荐数据集上进行了验证。
2019-12-05 cs.LG eess.SP stat.ML
On Quantum Speedups for Nonconvex Optimization via Quantum Tunneling Walks
Tsinghua University（清华大学）；University of Pennsylvania（宾夕法尼亚大学）；Peking University（北京大学）
针对高势垒分隔的非凸优化难题，本文提出量子隧穿行走（QTW）算法，证明其在高薄势垒和平坦极小值条件下相对 SGD 具有量子加速，并以双势阱构造和数值实验验证。
2023-05-22 cs.DS cs.LG math.OC
A Smoothing Newton Method for Rank-one Matrix Recovery
Department of Mathematics at Brandeis University（布兰迪大学数学系）
针对相位恢复中现有BWGD算法不稳定、理论收敛性证明有局限的问题，研究者揭示其非光滑非凸目标下的牛顿法本质，提出光滑化正则框架，得到兼具稳定与严格超线性收敛保证的方法，合成数据实验验证了其优势。
2025-07-30 cs.LG math.OC stat.ML
Fast Signal Recovery from Saturated Measurements by Linear Loss and Nonconvex Penalties
Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）；University of Electronic Science and Technology of China（电子科技大学）；Michigan State University（密歇根州立大学）
符号信息是克服压缩感知系统中不可避免的饱和误差的关键，饱和误差会导致信息丢失，从而产生偏差。对于从饱和状态恢复稀疏信号，我们建议使用线性损失来提高现有方法的有效性，这些方法利用硬约束/铰链损失来实现符号一致性。由于线性损失的使用，得到了更新过程中的解析解，并且一些非凸惩罚是适用的，例如，最小最大凹罚、$\ell_0$范数和排序的$\ell_1$范数。理论分析表明，估计误差仍然是有界的。一般情况下，线性损失和非凸惩罚，恢复性能显着提高，并大大节省了计算时间，这是由数值实验验证。
2018-09-12 cs.IT cs.LG math.IT
Stochastic Nonconvex Bilevel Optimization: Improved Rates Without Rare-Visit Assumption
University of Oxford（牛津大学）；University of Economics and Business Vienna（维也纳经济与商业大学）；University of Groningen（格罗宁根大学）
本文提出一种仅对DBGD乘子进行分母正则化的方法，在无需罕见访问假设下实现随机非凸双层优化的快速收敛，达到(ε, ε)-平稳性，改进了无假设复杂度。
2026-09-09 cs.LG math.OC
Block stochastic gradient iteration for convex and nonconvex optimization
Rice University（莱斯大学）；UCLA（加州大学洛杉矶分校）
随机梯度（SG）方法可以使由大量可微函数组成的目标函数最小化，或者以中等精度解决随机最优化问题。另一方面，块坐标下降/更新（BCD）方法通过一次更新一个变量来处理多个变量块的问题;当变量块单独更新比一起更新更容易时，BCD具有较低的每次迭代成本。本文介绍了一种结合SG和BCD特点的方法，用于解决目标中含有多个分量和多个（块）变量的问题。具体来说，提出了一种用于求解凸规划和非凸规划的块随机梯度（BSG）方法。在每次迭代中，BSG通过随机采样一小组数据或从目标中的和项中采样几个函数来近似目标的可微部分的梯度，然后使用这些样本，它以确定性或随机混洗顺序更新所有变量块。在不同的意义下，证明了它对凸和非凸情形的收敛性。在凸情形下，该方法具有与SG方法相同的收敛速度阶。在非凸的情况下，它的收敛性建立在一阶最优性条件的预期违反。所提出的方法进行了数值测试的问题，包括随机最小二乘和逻辑斯谛回归，这是凸的，以及低秩张量恢复和双线性逻辑斯谛回归，这是非凸的。
2015-03-02 cs.LG cs.NA math.NA
Blessing of Nonconvexity in Deep Linear Models: Depth Flattens the Optimization Landscape Around the True Solution
University of Michigan（密歇根大学）
这项工作描述了深度对线性回归优化景观的影响，表明尽管它们是非凸的，但更深的模型具有更理想的优化景观。我们考虑一个强大的和过度参数化的设置，其中测量的一个子集被严重损坏的噪声和真正的线性模型是通过一个$N$层线性神经网络捕获。在消极的一面，我们表明，这个问题\textit{does not}有一个良性的景观：给定任何$N\geq 1$，具有恒定的概率，存在一个解决方案对应的地面真理，既不是本地也不是全球最小值。然而，在积极的一面，我们证明，对于任何$N$层模型与$N\geq 2$，一个简单的次梯度方法变得无视这样的"问题“的解决方案;相反，它收敛到一个平衡的解决方案，不仅接近地面真相，但也享有平坦的局部景观，从而避免了需要“提前停止”。最后，我们通过经验验证了更深层次模型的理想优化前景扩展到其他强大的学习任务，包括深度矩阵恢复和具有$\ell_1$损失的深度ReLU网络。
2022-07-15 cs.LG stat.ML
A Unified Framework for Constructing Nonconvex Regularizations
Zhejiang University City College（浙江大学城市学院）
在过去的几十年里，已经提出了许多个人的非凸方法，以实现更好的稀疏恢复性能在各种情况下。然而，如何构造有效的非凸正则化函数在实践中仍然是开放的。在本文中，我们填补了这一空白，提出了一个统一的框架来构建基于概率密度函数的非凸正则化。同时，研究了一种新的基于韦布尔分布的非凸稀疏恢复方法。
2021-06-11 cs.IT cs.LG math.IT
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导，$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的，因为相关的凸优化问题通常是易处理的，但在许多应用中已经表明，非凸惩罚可以产生显着更好的性能。近年来，基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣，事实上，它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域，包括压缩感知（CS）、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析（PCA）、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展，解决问题的惩罚选择，应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Near-Optimal Nonconvex Matrix Completion
Hong Kong University of Science and Technology（香港科技大学）；Wuhan University（武汉大学）
本研究分析黎曼梯度下降和黎曼高斯-牛顿方法，实现近最优样本复杂度的非凸矩阵补全，达到与凸方法相当的线性秩依赖，并保证精确恢复与快速收敛。
2026-09-16 cs.LG cs.NA math.NA
Sharp Restricted Isometry Bounds for the Inexistence of Spurious Local Minima in Nonconvex Matrix Recovery
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
已知非凸矩阵恢复在具有足够小的RIP常数$δ$的限制等距性质（RIP）下不包含伪局部极小值。然而，如果$δ$太大，则已知存在包含伪局部最小值的反例。在本文中，我们介绍了一种证明技术，能够建立尖锐的阈值$δ$，以保证不存在虚假的局部极小值。使用该技术，我们证明了在秩为1的地面真值的情况下，RIP常数$δ<1/2$是必要的和充分的精确恢复从任何任意的初始点（如随机点）。我们还证明了一个局部恢复的结果：给定一个初始点$x_{0}$满足$f(x_{0})\le(1-δ)^{2}f(0)$，任何下降算法，收敛到二阶最优保证准确的恢复。
2019-06-13 cs.LG math.OC stat.ML
The role of optimization geometry in single neuron learning
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google Brain Robotics（谷歌大脑机器人部门）；Nonlinear Systems Laboratory, Massachusetts Institute of Technology（麻省理工学院非线性系统实验室）
最近的数值实验表明，在学习表达性非线性模型类（如深度神经网络）时，训练期间使用的优化几何结构的选择可能会影响泛化性能。这些观察结果对现代深度学习有重要意义，但由于相关的非凸优化问题的困难，人们对它们的理解仍然很少。为了理解这一现象，我们分析了一个家庭的伪梯度方法学习广义线性模型下的平方损失-一个简化的问题，包含两个非线性模型参数和非凸性的优化，承认一个单一的神经元作为一个特殊的情况。我们证明了非渐近界的泛化误差，尖锐的特点之间的相互作用的优化几何和特征空间几何集的学习模型的样本外性能。实验上，选择我们的理论所建议的优化几何结构，导致在广义线性模型估计问题，如稀疏向量恢复和低秩矩阵传感的非线性和非凸变量的性能提高。
2022-04-22 cs.LG math.OC stat.ML
Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
University of Washington（华盛顿大学）；Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
现有的低秩矩阵恢复的结果主要集中在二次损失，它享有良好的性质，如限制强凸性/光滑性（RSC/RSM）和良好的条件所有低秩矩阵。然而，许多有趣的问题涉及更一般的，非二次损失，不满足这些属性。对于这些问题，标准的非凸方法，如秩约束投影梯度下降（a.k.a.迭代硬阈值）和Burer-Monteiro分解可能具有较差的经验性能，并且没有令人满意的理论保证这些算法的全局和快速收敛。在本文中，我们证明了在可证明的低秩恢复与非二次损失的关键组成部分是一个正则投影预言。这个预言限制迭代到一个适当的有界集合内的低秩矩阵，在该集合上，损失函数表现良好，并满足一组近似RSC/RSM条件。相应地，我们分析了（平均）投影梯度法配备这样的预言，并证明它的全局收敛性和线性。我们的研究结果适用于广泛的非二次低秩估计问题，包括一位矩阵传感/完成，个性化的秩聚合，更广泛的广义线性模型秩约束。
2021-11-15 cs.LG math.OC math.ST
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota（明尼苏达大学）
本文研究了非凸锥优化问题的近似二阶稳定点（SOSP），该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是，我们提出了一个牛顿共轭梯度（Newton-CG）为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的，而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度，这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
Square Deal: Lower Bounds and Improved Relaxations for Tensor Recovery
Columbia University（哥伦比亚大学）
从不完全信息中恢复低秩张量是信号处理和机器学习中经常遇到的问题。最流行的凸松弛这个问题的最小化的总和核范数的张量展开。我们表明，这种方法可以是基本上次优的：可靠地恢复$K$ -方式张量的长度$n$和塔克秩$r$从高斯测量需要$Ω(r n^{K-1})$的意见。相比之下，某个（难以处理的）非凸公式只需要$O(r^K + nrK)$观测。我们引入了一个非常简单的，新的凸松弛，部分弥合这一差距。我们的新公式成功地与$O(r^{\lfloor K/2 \rfloor}n^{\lceil K/2 \rceil})$观测。虽然这些结果与高斯测量有关，但模拟强烈表明，新的范数也优于来自随机条目子集的张量完成的核范数之和。我们的核范数和模型的下限来自于恢复具有多个稀疏结构（例如稀疏，低秩）的信号的新结果，这可能令人惊讶地证明了通过最小化单个稀疏诱导范数（例如$l_1$，核范数）的和的常用恢复方法的显着次优性。然而，我们的低秩张量恢复的新公式打开了通过联合利用几种结构来降低样本复杂性的可能性。
2013-08-15 cs.LG stat.ML
Permutation recovery of spikes in noisy high-dimensional tensor estimation
Courant Institute of Mathematical Sciences, New York University（纽约大学Courant数学科学研究所）
本文研究高维多尖峰张量估计中梯度流的恢复动力学，在不假设信噪比分离的条件下给出置换意义下恢复所有尖峰所需的样本复杂度。
2025-09-19 cs.LG math.PR stat.ML
On the Complexity of Finding Stationary Points in Nonconvex Simple Bilevel Optimization
Department of Electrical and Computer Engineering, The University of Texas at Austin（电气与计算机工程系，德克萨斯大学奥斯汀分校）；Department of Systems and Industrial Engineering, The University of Arizona（系统与工业工程系，亚利桑那大学）
本文针对上下层均光滑非凸的简单双层优化问题，引入合适的平稳性概念，提出动态屏障梯度下降框架的可实现变体，证明其多项式时间复杂度，是首个保证两层联合平稳的离散时间算法复杂度结果。
2025-07-30 cs.LG math.OC
A Recovery Theory for Diffusion Priors: Deterministic Analysis of the Implicit Prior Algorithm
University of California, Los Angeles（加州大学洛杉矶分校）；University of Bordeaux（波尔多大学）
本文提出扩散先验的确定性恢复理论，将隐式先验算法解释为广义投影梯度下降，并在受限等距条件下推导出依赖噪声调度的收敛速率，对低秩高斯混合模型建立全局收敛保证。
2025-09-24 cs.LG eess.SP math.OC
Non-Convex Tensor Recovery from Local Measurements
Pennsylvania State University（宾夕法尼亚州立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出一种基于局部测量的非凸张量压缩感知模型，利用低管秩结构设计交替最小化算法 Alt-PGD-Min 及其加速版 Alt-ScalePGD-Min，证明了其恢复精度、迭代与样本复杂度，并经实验验证有效。
2024-12-23 cs.LG
Nonconvex Latent Optimally Partitioned Block-Sparse Recovery via Log-Sum and Minimax Concave Penalties
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）
本文提出非凸正则化方法LogLOP-l2/l1和AdaLOP-l2/l1，用于恢复具有未知块划分的块稀疏信号，通过新颖的变分公式提升恢复精度，实验显示优于现有方法。
2026-03-01 cs.LG stat.ML
Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime
Dept. of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign（电气与计算机工程系，伊利诺伊大学厄巴纳-香槟分校）
本文提出一种新的证明技术，统一了逃逸方向与反例不存在性两种方法，证明在噪声过参数化机制下，轻微过参数化后近似二阶点即可达到与昂贵凸方法相同的极小极大最优恢复界，且结果对噪声水平和求解精度均锐利。
2025-05-06 cs.LG math.OC stat.ML
A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
本文针对一般非凸锥优化问题提出基于Newton-CG的障碍增广拉格朗日方法，首次给出求解近似二阶稳定点的复杂度界，并验证其解质量优于一阶方法。
2024-08-30 cs.LG cs.NA math.NA
A Parameter-free Nonconvex Low-rank Tensor Completion Model for Spatiotemporal Traffic Data Recovery
Southeast University（东南大学）
交通数据长期遭受丢失和损坏，导致后续智能交通系统（ITS）应用的准确性和实用性降低。注意到交通数据固有的低秩属性，许多研究将丢失的交通数据恢复描述为低秩张量完成（LRTC）问题。由于LRTC中秩最小化的非凸性和离散性，现有的方法要么用远离秩函数的凸代理函数代替秩，要么用涉及多个参数的非凸代理函数近似秩。在这项研究中，我们提出了一个无参数的非凸张量完成模型（TC-PFNC）的交通数据恢复，其中基于日志的松弛项被设计来近似张量代数秩。此外，以前的研究通常假设观察结果是可靠的，没有任何离群值。因此，我们扩展了TC-PFNC到一个强大的版本（RTC-PFNC）通过建模潜在的流量数据离群值，它可以恢复部分和损坏的观测值的缺失值，并删除观测值中的异常。阐述了基于交替方向乘子法的TC-PFNC和RTC-PFNC的数值解。在四个真实流量数据集上进行的大量实验结果表明，所提出的方法在丢失和损坏的数据恢复方面优于其他最先进的方法。本文中使用的代码可在https://github.com/YoungHe49/T-ITSPFNC上获得。
2022-09-28 cs.LG eess.SP
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research（百度研究院）；Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题，即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩，最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能，并具有良好的理论特性，但由于重复访问单个奇异值，计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解，提出了一种新的非凸低秩正则化器，称为“核范数减Frobenius范数”正则化器，它是可扩展的，自适应的和声音。我们首先证明了它具有自适应收缩特性。此外，我们发现它的因式分解的形式，绕过奇异值的计算，并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明，所提出的方法获得了最先进的恢复性能，同时是最快的相比，现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Nonconvex Nonsmooth Low-Rank Minimization via Iteratively Reweighted Nuclear Norm
National University of Singapore（新加坡国立大学）；Peking University（北京大学）
本文提出通过迭代重加权核范数算法解决非凸非光滑低秩最小化问题，利用非凸替代函数近似秩函数，提升低秩矩阵恢复性能。
2015-10-23 cs.CV cs.LG cs.NA
On exploration of an interior mirror descent flow for stochastic nonconvex constrained problem
School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文构造统一 Hessian barrier 与 mirror descent 的内点黎曼次梯度流，分析伪稳定点成因，并给出规避条件、随机扰动策略及两类推广迭代算法。
2025-07-25 cs.LG math.OC
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
A Unified Fractional Regularization Framework for Sparse Recovery
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）
提出基于 ℓ1/ℓp^q 模型的统一分数阶正则化框架，通过参数 p 和 q 泛化多种稀疏正则化器，理论刻画了与 ℓ1-αℓp 模型的一阶驻点等价性，并建立了基于 RIP 的充分恢复条件，开发了 MM 算法并证明收敛性，实验表明在稀疏恢复和 MRI 重建中优于现有方法。
2026-10-14 cs.IT cs.LG math.IT
Tensor Full Feature Measure and Its Nonconvex Relaxation Applications to Tensor Recovery
Northwest A&F University（西北农林科技大学）
张量稀疏建模作为一种很有前途的方法，在整个科学和工程领域都取得了巨大的成功。众所周知，实际应用中的各种数据往往是由多个因素产生的，因此使用张量来表示包含多个因素内部结构的数据应运而生。然而，与矩阵情形不同，构造合理的张量稀疏测度是一个相对困难而又非常重要的任务。因此，在本文中，我们提出了一种新的张量稀疏性度量称为张量全特征度量（FFM）。它可以同时描述张量的各个维的特征信息以及两维之间的相关特征，并将Tucker秩与张量管秩联系起来。这种度量方法可以更全面地描述张量的稀疏特征。在此基础上，建立了它的非凸松弛，并将其应用于低秩张量完备化（LRTC）和张量鲁棒主成分分析（TRPCA）。提出了基于FFM的LRTC和TRPCA模型，并给出了求解该模型的两种有效的交替方向乘子法（ADMM）算法。各种真实的数值实验证实了所提出的方法超越国家的最先进的优越性。
2022-07-11 cs.CV cs.LG
An Overview of Robust Subspace Recovery
本文将作为一个强大的子空间恢复的工作机构的介绍。鲁棒子空间恢复涉及在可能被离群值破坏的数据集中找到潜在的低维子空间。虽然这个问题很容易陈述，但由于其潜在的非凸性，很难开发最佳算法。这项工作强调了所提出的方法的优点和缺点以及该领域尚未解决的问题。
2018-07-06 cs.LG stat.ML
Monocular 3D Pose Recovery via Nonconvex Sparsity with Theoretical Analysis
University of Pennsylvania（宾夕法尼亚大学）；CUHK（香港中文大学）；University of Rochester（罗切斯特大学）
为了从2D图像恢复3D对象姿态，普遍的方法是预训练3D基本姿态的过完备字典$\mathcal D=\{B_i\}_i^D$。在测试期间，通过估计旋转$R_i$、投影$Π$和稀疏组合系数$c \in \mathbb R_{+}^D$，检测到的2D姿态$Y$通过$Y \approx \sum_i M_i B_i$与字典匹配，其中$\{M_i\}_i^D=\{c_i ΠR_i\}$。在本文中，我们提出了非凸正则化$H(c)$学习系数$c$，包括新的漏帽$\ell_1$ -范数正则化（LCNR），\begin{align*} H(c)=α\sum_{i } \min(|c_i|,τ)+ β\sum_{i } \max(| c_i|,τ), \end{align*}，其中$0\leq β\leq α$和$0<τ$是一个特定的阈值，所以小于$τ$的无效成分与较大的正则化和其他有效成分与较小的正则化。我们提出了一个多阶段优化凸松弛和ADMM。我们证明了估计误差$\mathcal L(l)$随时间衰减。阶段$l$、\begin{align*} Pr\left(\mathcal L(l) < ρ^{l-1} \mathcal L(0) + δ\right) \geq 1- ε, \end{align*}，其中$0< ρ<1, 0<δ, 0<ε\ll 1$ .在H36 M等大型3D人体数据集上进行了实…
2018-12-29 cs.CV cs.LG stat.ML
Complete Dictionary Recovery over the Sphere
Columbia University（哥伦比亚大学）
我们考虑恢复完整的（即，平方和可逆的）矩阵$\mathbf A_0$，由$\mathbf Y \in \mathbb R^{n \times p}$和$\mathbf Y = \mathbf A_0 \mathbf X_0$构成，条件是$\mathbf X_0$足够稀疏。这个恢复问题是字典学习的理论理解的核心，字典学习寻求输入信号集合的稀疏表示，并在现代信号处理和机器学习中找到许多应用。我们给出了第一个有效的算法，可证明恢复$\mathbf A_0$时，$\mathbf X_0$有$O(n)$非零每列，在适当的概率模型$\mathbf X_0$。相比之下，以前的结果的基础上有效的算法提供恢复保证时，$\mathbf X_0$只有$O(n^{1-δ})$非零每列的任何常数$δ\in (0, 1)$。我们的算法流水线围绕解决具有球形约束的特定非凸优化问题，因此自然地用流形优化的语言来表达。为了表明这个显然很难的问题是易于处理的，我们首先提供了一个几何表征的高维客观景观，这表明，有很高的概率没有“虚假”的局部极小值。这种特殊的几何结构，使我们能够设计一个黎曼信赖域算法在球证明收敛到一个局部极小与任意初始化，尽管存在鞍点。我们在这里开发的几何方法也可能揭示了结构化信号的非凸恢复所产生的其他问题。
2015-11-17 cs.CV cs.IT cs.LG
STARK: Structured Dictionary Learning Through Rank-one Tensor Recovery
Rutgers University（罗格斯大学）
近年来，已经提出了一类用于多维（张量）数据表示的字典，其通过在数据底层的字典上施加克罗内克结构来利用张量数据的结构。在这项工作中，一种新的算法称为“STARK”的学习克罗内克结构字典，可以表示任何顺序的张量。通过建立任何数量的矩阵的克罗内克积可以重新排列，以形成一个秩1张量，我们表明，克罗内克结构可以通过解决秩1张量恢复问题的字典。由于秩-1张量恢复是一个具有挑战性的非凸问题，我们求助于解决这个问题的凸松弛。对合成数据和真实数据的实验结果表明，我们所提出的算法是有前途的。
2017-11-13 cs.LG stat.ML
Proximal Operators of Sorted Nonconvex Penalties
Inria, ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, LIP（法国国家信息与自动化技术研究所、里昂大学、国家科学研究中心、克莱尔伯恩大学、LIP）；IRIT, Université de Toulouse, CNRS（图卢兹大学、国家科学研究中心、IRIT）
本研究提出排序非凸罚项的邻近算子高效计算方法，推广SLOPE以促进变量聚类，并分别处理弱凸与非凸情形，实验验证其实际效果。
2025-06-18 cs.LG math.OC
Estimating Population-Risk Curves Along Nonconvex Gradient Flows from the Training Sample
The University of Hong Kong（香港大学）
该研究针对训练样本估计非凸梯度流的条件总体风险曲线，提出Flow-ALO方法，通过误差分解与相关条件推导得到误差界，可完成条件总体风险曲线的恢复，且对特定两层平均场网络得分误差界在宽度上均匀。
2026-09-01 cs.LG stat.ML
Fast Learning with Nonconvex L1-2 Regularization
Hong Kong University of Science and Technology（香港科技大学）
凸正则化器通常用于稀疏学习。它们很容易优化，但可能导致较差的预测性能。$\ell_1$和$\ell_2$（$\ell_{1-2}$）正则化子的差异最近被提出作为非凸正则化子。它比压缩感知上的$\ell_0$和$\ell_1$正则化器产生更好的恢复。然而，如何有效地优化其学习问题仍然具有挑战性。主要困难在于$\ell_{1-2}$中的$\ell_1$和$\ell_2$范数都是不可微的，并且现有的优化算法不能应用。在本文中，我们表明，一个封闭形式的解决方案，可以推导出与此正则化的近端步骤。我们进一步扩展了低秩矩阵学习和全变分模型的结果。在模拟数据集和真实数据集上的实验表明，本文提出的加速邻近梯度算法比其他非凸优化算法更有效。
2017-06-20 cs.LG cs.NA math.NA
FasTer: Fast Tensor Completion with Nonconvex Regularization
Paradigm. Inc.（4Paradigm公司）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）；RIKEN（理化学研究所（RIKEN））；Hong Kong University of Science and Technology（香港科技大学）
低秩张量完备化问题的目标是从有限的观测值中恢复一个张量，它有很多实际应用。凸重叠核模由于其易于优化，已被广泛用于张量完备化。然而，它过度惩罚顶部奇异值并导致有偏估计。在本文中，我们建议使用非凸正则化，它可以更少地惩罚大奇异值，而不是凸张量完成。然而，由于新的正则化子是非凸的，彼此重叠，现有的算法要么太慢或遭受巨大的内存开销。为了解决这些问题，我们开发了一个有效的和可扩展的算法，这是基于近似平均（PA）算法，为现实世界的问题。与直接使用PA算法相比，该算法运行订单速度更快，所需订单空间更少。我们进一步加快所提出的算法与加速技术，并显示收敛到临界点仍然是有保证的。实验比较所提出的方法与其他各种张量完成的方法。实验结果表明，该算法是非常快的，可以产生更好的恢复性能。
2019-01-23 cs.LG stat.ML
Probabilistic Gaussian Homotopy: A Probability-Space Continuation Framework for Nonconvex Optimization
University of British Columbia（不列颠哥伦比亚大学）；Colorado School of Mines（科罗拉多矿业学院）
提出概率高斯同伦（PGH）框架，通过变形玻尔兹曼分布和玻尔兹曼加权梯度聚合，实现非凸优化的概率空间延拓，并导出基于蒙特卡洛梯度估计的实用算法PGHO。
2026-06-04 cs.LG
Nonconvex Approach for Sparse and Low-Rank Constrained Models with Dual Momentum
National Taiwan University（台湾大学）
本文提出非凸秩替代项及对偶动量技巧，用于RPCA和LRR模型，通过ADMM优化，在图像补全、去噪和谱聚类中取得最优性能。
2019-06-06 cs.LG cs.NA math.NA
NCVX: A User-Friendly and Scalable Package for Nonconvex Optimization in Machine Learning
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）
优化非凸问题，特别是非光滑和约束问题，是机器学习的重要组成部分。然而，如果没有优化专业知识，很难可靠地解决这些问题。现有的通用NCVX优化包功能强大，但通常无法处理非平滑性。GRANSO是针对具有非光滑约束的一般非光滑NCVX问题的第一批优化求解器之一，但是，由于它是在MATLAB中实现的，并且需要用户提供分析梯度，因此GRANSO通常不是机器学习（特别是深度学习）应用程序的方便选择。为了大大降低技术障碍，我们引入了一个名为NCVX的新软件包，其初始版本包含求解器PyGRANSO，这是GRANSO的PyTorch支持端口，包含自动微分，GPU加速，张量输入和对新QP求解器的支持。NCVX构建在免费提供且广泛使用的开源框架之上，作为亮点，它可以解决一般的受限深度学习问题，这是同类产品中的第一个。NCVX可在www.example.com上获得，其中有详细的文档和来自机器学习和其他领域的大量示例。
2022-01-01 cs.CV cs.LG cs.MS
Learning to Design Convex Relaxations for Nonconvex Optimization
Southern University of Science and Technology（南方科技大学）；Dongguan University of Technology（东莞理工学院）；Shaanxi Normal University（陕西师范大学）
本文提出AutoConvexRelax方法，将非凸问题公式表示为三方图并学习策略生成松弛轨迹，在241个二次基准实例上使McCormick下界提升13.52%，实现了凸松弛设计的自动化。
2026-10-15 cs.LG cs.MS
Nonconvex Nonsmooth Low-Rank Minimization for Generalized Image Compressed Sensing via Group Sparse Representation
College of Electronic and Optical Engineering（电子与光学工程学院）；College of Microelectronics（微电子学院）；Nanjing University of Posts and Telecommunications（南京邮电大学）；College of Telecommunications & Information Engineering（通信与信息工程学院）
基于组稀疏表示（GSR）的方法在各种图像恢复任务中取得了巨大的成功，这些任务可以转化为低秩矩阵最小化问题。作为一种广泛使用的低秩代理函数，基于核范数的凸代理函数通常会导致过度收缩问题，因为标准的软阈值算子会均等地收缩所有奇异值。为了改善传统的基于稀疏表示的图像压缩感知（CS）性能，提出了一种基于GSR模型的广义CS框架，该框架将图像压缩感知问题转化为非凸非光滑低秩最小化问题.对于标准图像压缩问题和鲁棒压缩问题，分别采用L_2-范数和M-估计进行数据拟合。为了更好地逼近群矩阵的秩，利用一族核范数来解决群矩阵的过收缩问题。此外，我们还提出了一种灵活有效的迭代加权策略来控制每个奇异值的权重和贡献。在此基础上，我们利用乘子框架的交替方向方法，提出了一种迭代加权核范数算法，即GSR-AIR。实验结果表明，我们提出的CS框架可以实现良好的重建性能相比，目前国家的最先进的方法和强大的CS框架可以有效地抑制离群值。
2020-01-13 cs.LG eess.IV eess.SP
