A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化，提出一种保证变量可行性的光滑加速投影梯度方法，通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率，并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Homotopy Smoothing for Non-Smooth Problems with Lower Complexity than $O(1/ε)$
在本文中，我们开发了一种新的{ \bf ho}moto{ \bf p}y { \bf s}moothing（HOPS）算法，用于解决一族非光滑问题，该问题由具有显式极大结构的非光滑项和光滑项或简单非光滑项组成，其邻近映射易于计算。求解这种非光滑最优化问题的最佳迭代复杂度是$O(1/ε)$，而不需要任何强凸性假设。在这项工作中，我们将表明，建议的HOPS实现了较低的迭代复杂度的$\widetilde O(1/ε^{1-θ})$ \footnote{$\widetilde O()$ suppresses a logarithmic factor.}与$θ\in(0,1]$捕捉局部清晰度的目标函数周围的最优解。据我们所知，这是迄今为止所考虑的非光滑最优化问题在没有强凸性假设的情况下实现的最低迭代复杂度。HOPS算法采用Nesterov的平滑技术和Nesterov的加速梯度法，并分阶段运行，以逐步的方式逐渐减小平滑参数，直到它产生足够好的原始函数的近似值。我们表明，HOPS享有许多著名的非光滑问题的线性收敛（例如，具有分段线性损失函数和$\ell_1$范数正则化器的经验风险最小化、在多面体中寻找点、锥规划等）。通过与Nesterov平滑算法和原始-对偶一阶方法的比较，验证了HOPS方法的有效性。
2016-11-03 math.OC stat.ML
Complexity of first order inexact Lagrangian and penalty methods for conic convex programming
在本文中，我们提出了一个完整的迭代复杂性分析的不精确的一阶拉格朗日和惩罚方法解决锥约束凸问题，有或可能没有最佳拉格朗日乘子，关闭的对偶差距。我们首先假设存在最佳的拉格朗日乘子和研究原始对偶一阶方法的基础上不精确的信息和增广拉格朗日平滑或Nesterov型平滑。对于不精确（快速）梯度增广拉格朗日方法，我们推导出总的计算复杂性的$\mathcal{O}\left(\frac{1}ε\right)$投影到一个简单的原始集，以达到$ε-$最优解的圆锥凸问题。对于不精确的快速梯度法结合Nesterov型平滑，我们推导出计算复杂性$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到同一个集合上。然后，我们假设锥约束凸问题的最优Lagrange乘子可能不存在，并分析了求解该问题的罚变换的快速梯度法。对于结合惩罚框架的快速梯度法，我们还推导出了$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到一个简单的原始集合上以获得原问题的$ε-$最优解的总计算复杂性。
2017-03-23 math.OC
Application of a smoothing technique to decomposition in convex optimization
对偶分解是求解具有可分结构的凸优化问题的一种有效方法。虽然增广拉格朗日量在计算上比普通拉格朗日量更稳定，但增广项破坏了给定问题的可分性。在本文中，我们使用另一种方法来获得一个光滑的拉格朗日，根据Nesterov开发的平滑技术，它保留了问题的可分性。利用这种方法，我们得到了一个新的分解方法，称为邻近中心算法，从效率估计的角度来看，它提高了数量级的经典双梯度格式的迭代次数的界限。这可以通过新的分解算法来实现，因为所得到的对偶函数具有良好的光滑性，并且因为我们利用了给定问题的特定结构。
2013-02-13 math.OC
High-Resolution Inertial Dynamics with Time-Rescaled Gradients for Nonsmooth Convex Optimization
Unité de Mathématiques Appliquées, ENSTA, Institut Polytechnique de Paris（应用数学单元，ENSTA，巴黎理工学院）
本文提出一种高分辨率非光滑凸优化的连续时间动力学系统，通过时间变化的Moreau包络平滑和梯度时间重缩，结合Hessian驱动阻尼项，实现快速收敛和稳定性。
2026-03-26 math.OC
A Smooth Approximation Framework for Weakly Convex Optimization
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
本文提出了一种弱凸优化的平滑近似框架，通过扩展可平滑函数的概念，统一了多种平滑技术，并提供了具有可证明复杂度保证的算法设计方法。
2026-01-25 math.OC
Solving a Continuous Multifacility Location Problem by DC Algorithms
提出了一种基于混合整数规划和最小化凸函数差算法的多设施定位问题的新方法。解决多设施定位问题的主要挑战来自于其固有的离散性，非凸性和不可微性。我们提供了一个重新制定这些问题的连续优化，然后开发一个新的DC型算法的解决方案，涉及Nesterov的平滑。所提出的算法是计算实现通过MATLAB数值试验的人工和真实的数据集。
2020-02-04 math.OC
A randomized Mirror-Prox method for solving structured large-scale matrix saddle-point problems
在本文中，我们推导出一个随机版本的的E-Prox方法解决一些结构矩阵鞍点问题，如最大特征值极小化问题。确定性的一阶格式，如Nesterov的平滑技术或标准的Prox-Prox方法，需要在每次迭代时精确计算矩阵指数，限制了它们可以解决的问题的大小。我们的方法允许我们使用矩阵指数的随机逼近。我们证明了我们的随机化方案显着降低了复杂性，其确定性对应的大规模矩阵鞍点问题。数值实验验证了我们的理论结果。
2011-12-06 math.OC
Differentially Private Accelerated Optimization Algorithms
Sabancı University（萨班哲大学）；Erasmus University（伊拉斯姆斯大学）；Rutgers University（罗格斯大学）
我们提出了两类差分私有优化算法的著名的加速一阶方法。第一种算法受Polyak的重球方法的启发，采用平滑方法来减少差分隐私所需的梯度步长上的累积噪声。第二类算法是基于Nesterov的加速梯度法及其最近的多阶段变体。我们提出了一个噪声划分机制的Nesterov的方法的迭代，以改善算法的错误行为。借助动力系统分析技术，对重球法和Nesterov加速梯度法进行了收敛速度分析。最后，我们得出结论，我们的数值实验表明，所提出的算法具有优势，比著名的差分隐私算法。
2020-08-05 cs.CR cs.LG math.OC
A Primal-Dual Algorithmic Framework for Constrained Convex Minimization
我们提出了一个原始-对偶算法框架，以获得一个典型的约束凸优化问题的近似解，并严格表征常见的结构假设如何影响数值效率。我们的主要分析技术提供了一个新的视角Nesterov的过度差距技术在一个结构化的方式，并将其与平滑和原始对偶方法。例如，通过选择一个对偶平滑策略和一个中心点，我们的框架包括分解算法，增广拉格朗日以及交替方向法的乘数方法作为其特殊情况下，并提供最佳的收敛速度的原始目标残差以及原始可行性间隙的迭代。
2015-03-03 math.OC stat.ML
Path-Following Gradient-Based Decomposition Algorithms For Separable Convex Optimization
提出了一种新的分解优化算法--\textit{path-following gradient-based decomposition}，用于求解可分凸优化问题.与文献中考虑的路径跟踪牛顿法不同，该算法不需要对目标函数作任何光滑性假设。这使我们能够处理更多的一般类的问题，在许多实际应用中比在路径跟踪牛顿方法。新算法是三种技术的组合，即平滑，拉格朗日分解和路径跟踪梯度框架。该算法将原问题分解成更小的子问题，通过使用对偶分解和平滑通过自洽障碍，更新的对偶变量使用路径跟踪梯度法，并允许一个并行解决的子问题。此外，算法参数自动更新，没有任何调整策略，在增广拉格朗日方法。证明了新算法的整体收敛性，并分析了其局部收敛速度。然后，我们利用Nesterov的加速方案对该算法进行了改进，得到了一个新的具有更好的局部收敛速度的算法。最后，我们提出了初步的数值试验，证实了理论的发展。
2012-09-20 math.OC
Linearly Constrained Smoothing Group Sparsity Solvers in Off-grid Model
在压缩感知中，假设感知矩阵是完全已知的。然而，由于传感器偏移或噪声干扰，在实际应用中，传感矩阵存在扰动。具有离网效应的波达方向（DoA）估计满足这种情况，并且可以被公式化为具有线性不等式约束的（非）凸优化问题，其可以通过内点方法（使用CVX工具）来求解，但是计算成本很大。在这项工作中，为了设计高效的算法，我们考虑各种替代配方，如无约束配方，原始对偶配方，或圆锥配方开发组稀疏促进求解器。首先，应用一致交替方向乘法器（C-ADMM）。然后，结合Nesterov光滑技术和加速邻近梯度法，提出了求解BPDN方程的迭代算法，并进行了收敛性分析.我们还开发了一种基于EGT（过度间隙技术）的原始-对偶方法的变体，以系统地依次减小平滑参数。最后，我们利用光滑对偶锥优化（SDCO）和延拓技术，给出了二次约束L2-L1混合范数极小化问题的算法。数值仿真结果表明，所提出的方法的精度和收敛性能。
2019-06-03 cs.IR eess.SP math.OC
Solving Regularized Multifacility Location Problems with Unknown Number of Centers via Difference-of-Convex Optimization
Stockton University（斯托克顿大学）；University of Science, Ho Chi Minh City, Vietnam（胡志明市科技大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国立大学胡志明市分校）；Portland State University（波特兰州立大学）
本文通过差异凸优化方法解决具有未知中心数的正则化多设施定位问题，提出高效算法并应用于确定中心数。
2026-01-23 math.OC
A Novel Learnable Gradient Descent Type Algorithm for Non-convex Non-smooth Inverse Problems
University of Florida（佛罗里达大学）；Georgia State University（佐治亚州立大学）
求解非凸反问题的优化算法近年来引起了人们的极大兴趣。然而，现有的方法要求非凸正则化是光滑的或简单的，以确保收敛。在本文中，我们提出了一种新的梯度下降型算法，利用剩余学习的思想和Nesterov的平滑技术，解决反问题的一般非凸和非光滑正则化证明收敛。此外，我们开发了一个神经网络架构，模拟该算法学习的非线性稀疏变换自适应从训练数据，这也继承了收敛，以适应一般的非凸结构，这种学习的转换。数值结果表明，所提出的网络优于国家的最先进的方法在各种不同的图像重建问题的效率和精度。
2020-03-24 cs.CV math.OC
Accelerated gradient sliding for structured convex optimization
本文的主要目的是证明梯度下降型方法可以跳过梯度计算，应用于某些结构化凸规划（CP）问题。为此，我们首先提出了一个加速梯度滑动（AGS）方法，用于极小化两个光滑凸函数的总和具有不同的Lipschitz常数。我们表明，AGS方法可以跳过梯度计算这些光滑的组件之一，而不会减慢整体的最佳收敛速率。这个结果比经典的黑盒CP复杂度结果更尖锐，特别是当与这些组件相关联的两个Lipschitz常数之间的差异很大时。然后考虑一类重要的双线性鞍点问题，其目标函数由一个光滑分支和一个具有双线性鞍点结构的非光滑分支之和给出。使用上述用于平滑复合优化的AGS方法和Nesterov的平滑技术，我们表明只需对平滑分量进行${\cal O}(1/\sqrtε)$梯度计算，同时仍然保留最佳的${\cal O}(1/ε)$总体迭代复杂性来解决这些鞍点问题。我们证明了更显着的节省梯度计算可以得到强凸光滑和双线性鞍点问题。
2016-09-16 math.OC
A new computational framework for log-concave density estimation
在统计学中，对数凹密度估计是形状约束下的非参数推断领域的一个中心问题。尽管近年来的统计理论的规范估计，即对数凹极大似然估计取得了很大的进展，采用这种方法已受到阻碍的复杂性的非光滑凸优化问题，其计算的基础。我们提供了更好的理解这个优化问题的结构特性，这激发了新算法的建议，基于随机化和Nesterov平滑，结合适当的积分离散化的精度不断提高。我们证明，这些方法享有，无论是以高概率和期望，收敛速度的顺序$1/T$对数因子的目标函数规模，其中$T$表示迭代次数。我们的新计算框架的好处在合成和真实数据上都得到了证明，我们的实现可以在github存储库\texttt{LogConcComp}（Log-Concave Computation）中找到。
2023-02-28 math.OC stat.CO stat.ME
Higher-Order Accelerated Methods for Faster Non-Smooth Optimization
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿分部）；Georgia Tech（佐治亚理工学院）；Microsoft Research Redmond（微软研究院雷德蒙德分院）
通过高阶加速方法，我们为各种\emph{non-smooth}最优化问题提供了改进的收敛速度。在$\ell_\infty$回归的情况下，我们实现了$O(ε^{-4/5})$迭代复杂性，打破了$O(ε^{-1})$障碍，目前为止，为以前的方法。我们到达一个类似的速度为问题的$\ell_1$ -SVM，超越了可达到的一阶方法与非光滑非强凸问题的Oracle访问。我们进一步展示了如何通过引入高阶正则化来实现更快的速率。我们的研究结果依赖于高阶光滑凸优化的近最优加速方法的最新进展。特别是，我们扩展Nesterov的平滑技术表明，标准的softmax近似不仅在通常意义上是光滑的，而且\emph{higher-order}光滑。有了这个观察在手，我们提供了高阶加速技术产生更快的速度为\emph{non-smooth}优化的第一个例子，尽我们所知。
2019-06-04 cs.LG math.OC stat.ML
