Proximal Projection Method for Stable Linearly Constrained Optimization
针对大规模数据集下带线性约束的可近端凸函数最小化问题，提出每步迭代均可行的近端投影算法，证明其收敛性，实验显示其在多类优化问题上表现优于或匹敌现有主流方法。
2024-12-09 math.OC
Best Pair Formulation & Accelerated Scheme for Non-convex Principal Component Pursuit
KAUST（阿卜杜拉国王科技大学）；University of Cambridge（剑桥大学）
最佳对问题的目标是找到一对点，使两个不相交的集合之间的距离最小化。在本文中，我们制定了经典的鲁棒主成分分析（RPCA）的最佳对，这是没有考虑过。我们设计了一个加速的邻近梯度算法来求解，证明了算法的整体收敛性和局部线性速度。我们广泛的数值实验真实和合成数据表明，该算法优于相关的基线算法在文献中。
2019-05-28 cs.CV cs.NA math.NA
Inertial Proximal Alternating Linearized Minimization (iPALM) for Nonconvex and Nonsmooth Problems
本文研究了半代数数据的非凸非光滑最优化问题，其中变量向量被分成若干个变量块。该问题由整个变量向量的一个光滑函数和每个块的非光滑函数之和组成。我们分析了惯性版本的近端交替线性化最小化（PALM）算法，并证明其整体收敛的临界点的目标函数在手。我们说明了我们的理论研究结果，提出的数字实验盲图像反卷积，稀疏非负矩阵分解和字典学习，这表明所提出的方法的可行性和有效性。
2017-02-08 math.OC
Chebushev Greedy Algorithm in convex optimization
Chebyshev贪婪算法是Hilbert空间中著名的正交匹配追踪算法在Banach空间中的推广。我们应用此算法构造稀疏近似解（相对于一个给定的字典）凸优化问题。证明了一类Lebesgue型不等式的收敛速度。
2013-12-04 math.OC stat.ML
A general inertial proximal point method for mixed variational inequality problem
本文首先提出了求解混合变分不等式（VI）问题的一种广义惯性邻近点方法。据我们所知，在没有更强假设的情况下，惯性型近点方法的收敛速度结果在文献中是未知的。在一定的条件下，我们能够建立所提出的一般惯性邻近点法的整体收敛和$o(1/k)$收敛速度结果（在一定的措施）。然后，我们表明，线性化的交替方向法的乘法器（ADMM）的可分离凸优化与线性约束是一个应用程序的一般邻近点法，提供了适当的算法参数选择。作为这一发现的副产品，我们建立了整体收敛和$O(1/k)$收敛速度结果的线性ADMM在遍历和非遍历意义。特别是，通过将混合VI的惯性邻近点方法应用于线性约束可分凸优化，我们得到了一个惯性版本的线性ADMM的整体收敛是有保证的。我们还证明了惯性外推步骤的效果，通过实验结果上的压缩主成分追踪问题。
2014-08-01 math.OC
Tight Recovery Guarantees for Orthogonal Matching Pursuit Under Gaussian Noise
正交匹配追踪（Orthogonal Matching Pursuit，OMP）算法是一种从稀疏向量的多个线性测量值中估计稀疏向量的算法，在假设稀疏向量具有精确的稀疏性且测量值被加性高斯噪声破坏的情况下，OMP算法的成功通常被表述为精确地恢复稀疏向量的支持度。几位作者推导出了一个充分条件，确切的支持恢复OMP依赖于信噪比，定义为最小的非零系数的向量除以噪声水平的大小的高概率。我们做了两个贡献。首先，我们推导出一个稍微尖锐的充分条件的两个变种的OMP，其中稀疏水平或噪声水平是已知的。接下来，我们表明，这个尖锐的充分条件是紧的，在以下意义上：对于广泛的问题参数，存在一个字典的线性测量和稀疏向量的信噪比略低于充分条件，其中具有很高的概率OMP无法恢复其支持。最后，我们提出了模拟，这表明我们的条件是严格的更广泛的字典。
2020-08-06 eess.SP math.OC math.ST
Denoising Poisson Phaseless Measurements via Orthogonal Dictionary Learning
用CCD探测器记录的无相位衍射测量常受到泊松噪声的影响。在本文中，我们提出了一个字典学习模型，采用基于补丁的稀疏性去噪泊松无相测量。该模型由三项组成：（i）正交字典表示项，（ii）系数矩阵的$L^0$伪范数，（iii）拟合无相泊松数据的Kullback-Leibler散度.采用快速交替极小化方法（AMM）和近似交替线性化方法（PALM）对所建立的模型进行求解，并保证了算法的收敛性，特别是证明了PALM算法的整体收敛性。两种算法的子问题都有快速求解器，而且由于学习字典的正交性，稀疏编码和字典更新的解都有封闭的形式。相位检索使用编码衍射和重叠关联图案的数值实验进行显示所提出的方法，通过保留纹理特征，产生视觉和定量改善去噪图像相比，其他相位检索算法没有正则化和局部稀疏促进算法的效率和鲁棒性。
2016-12-25 math.OC
Scalable Robust Matrix Recovery: Frank-Wolfe Meets Proximal Methods
Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文提出了一种可扩展且高效的鲁棒矩阵恢复方法，结合Frank-Wolfe和近端方法，以线性复杂度解决压缩主成分追寻问题，通过秩一SVD更新低秩部分并处理稀疏项，验证了方法在视觉数据中的可扩展性。
2017-05-29 cs.CV cs.NA math.NA
Deconvolution of confocal microscopy images using proximal iteration and sparse representations
我们提出了一个反卷积算法的图像模糊和退化的泊松噪声。该算法使用快速的邻近向后-向前分裂迭代。该迭代使能量最小化，该能量组合了适于泊松噪声的\textit{non-linear}数据保真度项和在某些变换字典（例如小波、曲波）中的图像表示系数上的非平滑稀疏促进正则化（例如$\ell_1$-范数）。我们对神经元和细胞的模拟显微图像的结果面临一些国家的最先进的算法。他们表明，我们的方法是非常有竞争力的，正如预期的那样，由于泊松噪声的非线性的重要性是在低和中等强度更显着。最后，一个实验上的实际荧光共聚焦显微镜数据的报告。
2008-06-13 math.OC math.ST stat.AP
A fast patch-dictionary method for whole image recovery
Rice University（莱斯大学）；University of California（加利福尼亚大学）
已经提出了用于字典学习的各种算法。在那些用于图像处理的方法中，许多使用图像块来形成字典。本文主要研究从受损的线性测量中恢复整幅图像。我们解决了一个开放的问题，表示图像重叠补丁：重叠导致过多的字典系数来确定。除了极少数例外，这个问题限制了图像补丁方法的应用程序的本地类型的任务，如去噪，修复，卡通纹理分解，超分辨率和图像去模糊，其中一个可以处理几个补丁的时间。我们的重点是全局成像任务，如压缩感知和医学图像恢复，其中整个图像被编码在一起，使得一次更新几个补丁变得不可能或非常无效。我们的策略是将稀疏恢复划分为多个子问题，每个子问题处理一个不重叠的补丁的子集，然后将子问题的结果平均以产生最终的恢复。这个简单的策略在质量和速度方面都非常有效。此外，我们加速计算的学习字典应用最近的块近似梯度方法，它不仅具有较低的每次迭代的复杂性，但也需要较少的迭代收敛，相比目前的最先进的。我们还建立了我们的算法全局收敛到一个稳定点。在合成数据上的数值实验结果表明，该算法比现有的两种方法能够恢复出更忠实的字典。结合我们的整体图像恢复和字典学习的方法，我们数值模拟图像修补，压缩感知恢复，去模糊。我们的恢复比全变分方法和基于重叠补丁的方法更忠实。
2014-08-16 cs.CV math.OC
A proximal subgradient algorithm with extrapolation for structured nonconvex nonsmooth problems
本文针对一类结构化非凸非光滑优化问题，提出一种带外推的近端次梯度算法，证明其子序列收敛及在KL性质下的全局收敛性，并通过非凸正则化最小二乘和含分布式能源的最优潮流实验验证了算法性能。
2023-03-19 math.OC
Convex and Network Flow Optimization for Structured Sparsity
University of California（加利福尼亚大学）；INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）
本文考虑一类学习问题，其正则化条件为变量组上l_2-或l_无穷范数之和的结构稀疏诱导范数。而大量的努力已经投入到开发快速优化技术时，组是不相交的或嵌入在一个层次结构中，我们在这里解决的情况下，一般重叠组。为此，我们提出了两种不同的策略：一方面，我们证明了与l_infinity-norms的总和相关的邻近算子可以通过求解二次最小成本流问题在多项式时间内精确计算，允许使用加速的邻近梯度法。另一方面，我们使用近端分裂技术，并解决一个等价的配方与非重叠的群体，但在更高的维度和额外的约束。我们提出了高效和可扩展的算法，利用这两种策略，这是显着快于替代方法。我们说明了这些方法与几个问题，如CUR矩阵分解，多任务学习的树结构字典，视频序列中的背景减除，图像去噪小波，自然图像补丁和地形字典学习。
2011-09-16 cs.LG math.OC stat.ML
Image Deconvolution Under Poisson Noise Using Sparse Representations and Proximal Thresholding Iteration
提出了一种受泊松噪声污染的图像反卷积算法。要恢复的图像被假定为稀疏地表示在诸如小波或曲波变换的波形字典中。我们的主要创新是：首先，我们适当地处理泊松噪声，通过使用Anscombe方差稳定变换导致加性高斯噪声的非线性退化方程。其次，反卷积问题被公式化为最小化的凸泛函与反映噪声属性的数据保真度项，和一个非光滑的稀疏促进处罚的图像表示系数（例如，l1-范数）。第三，提出了一种快速迭代的向后-向前分裂算法来求解最小化问题。我们得到了解的存在唯一性条件，并建立了迭代算法的收敛性。实验结果表明，考虑到泊松统计的噪声所获得的显着的好处。这些结果还表明，在许多反卷积应用中，例如天文学或显微镜，使用稀疏域正则化可能是易于处理的。
2008-03-18 math.OC math.ST stat.TH
A first approach to learning a best basis for gravitational field modelling
本文提出一种通过非线性约束优化自动学习引力场建模最佳基字典的新方法，解决了传统(R)FMP算法依赖经验选择字典的缺点，并展示了初步数值结果。
2019-01-15 cs.NA math.NA math.OC
A proximal iteration for deconvolving Poisson noisy images using sparse representations
提出了一种受泊松噪声污染的图像反卷积算法。要恢复的图像被假定为稀疏地表示在诸如小波或曲波变换的波形的字典中。我们的主要贡献包括：首先，我们使用Anscombe方差稳定变换，导致{ \it非线性}退化方程加性高斯噪声处理泊松噪声。其次，反卷积问题被公式化为凸泛函的最小化，该凸泛函具有反映噪声属性的数据保真度项和图像表示系数（例如，$\ell_1$ -范数）上的非平滑稀疏促进惩罚。第三，提出了一种快速迭代的向后-向前分裂算法来求解最小化问题。我们得到了解的存在唯一性条件，并建立了迭代算法的收敛性。最后，提出了一个基于GCV的模型选择过程，以客观地选择正则化参数。实验结果表明，考虑到泊松统计的噪声所获得的显着的好处。这些结果还表明，在许多具有泊松噪声的反卷积应用（如天文学和显微镜）中，使用稀疏域正则化可能是易于处理的。
2008-08-27 math.OC math.ST stat.AP
ripALM: A Relative-Type Inexact Proximal Augmented Lagrangian Method for Linearly Constrained Convex Optimization
Sun Yat-sen University（中山大学）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；National University of Singapore（新加坡国立大学）
本文提出ripALM，一种相对型不精确近似拉格朗日方法，通过单一容忍参数简化实现并减少参数调优敏感性，同时在新分析框架下实现全局收敛性和渐近超线性收敛率。
2026-05-07 math.OC
Interior-point proximal methods for nonsmooth optimization in Hilbert spaces with cone-ordered constraints
University of Konstanz（康斯坦茨大学）；University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种非精确内点近端方法，用于求解Hilbert空间中带锥序约束的非光滑非凸优化问题，证明了收敛性并给出复杂度界，并应用于最优控制与字典学习。
2026-09-29 cs.SY eess.SY math.OC
Convolutional Dictionary Learning: Acceleration and Convergence
The University of Michigan（密歇根大学）
本文提出一种无需参数调整的块近端梯度方法（BPG-M）用于卷积字典学习，通过多块更新和加速技术，实现比ADMM更稳定收敛且更低内存消耗，并在图像去噪中表现更优。
2017-08-25 cs.LG math.OC
A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
GERAD and Department of Mathematics and Industrial Engineering, Polytechnique Montréal（GERAD和数学与工业工程系，蒙特利尔理工学院）
本文提出了一种改进的拟牛顿方法R2N，用于非光滑正则化优化，具有全局收敛性和高效求解能力。
2025-11-27 cs.LG math.OC
SLS (Single $\ell_1$ Selection): a new greedy algorithm with an $\ell_1$-norm selection rule
École Centrale de Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）
本文提出了一种新的用于稀疏逼近的贪婪算法--单L_1选择SLS算法。SLS本质上由一个贪婪的前向策略组成，其中在每次迭代中新组件的选择规则是基于解决最小二乘最优化问题，由剩余变量的L_1范数惩罚。然后，选择具有最大幅度的分量。对含有高相关字典的稀疏反卷积问题的仿真结果表明，该方法在解稀疏的情况下，性能优于常用的贪婪算法和基追踪去噪算法。
2021-02-11 cs.LG math.OC stat.CO
A First-order Augmented Lagrangian Method for Compressed Sensing
IEOR Department, Columbia University（哥伦比亚大学工业工程与运筹学系）
提出一阶增广拉格朗日算法(FAL)求解基追踪问题，通过非精确求解L1正则化最小二乘子问题，在解唯一时收敛到最优解，并实现O(log(1/eps))次迭代内达到eps可行和eps最优。
2011-08-25 cs.SY eess.SY math.OC
Positive Competitive Networks for Sparse Reconstruction
提出正发放率竞争网络（pfcn）解决带非负约束的稀疏重建问题，利用近端算子理论和收缩理论证明其平衡态最优性及线性指数收敛性，并通过数值实验验证有效性。
2024-03-22 cs.SY eess.SY math.OC
