Tight Global Linear Convergence Rate Bounds for Douglas-Rachford Splitting
最近，一些作者在强单调性、Lipschitz连续性和余度性假设下证明了Douglas-Rachford分裂的局部和整体收敛率结果。其中大部分集中在凸优化设置。在更一般的单调包含情形下，Lions和Mercier在两个算子之一是强单调且Lipschitz连续的假设下证明了一个线性收敛速率界.我们表明，这个界是不紧的，这意味着没有问题，从考虑的类完全收敛于该速率。在本文中，我们提出了紧的全球线性收敛速率界的一类问题。我们还提供了紧线性收敛速率界的假设下，其中一个运营商是强单调和余，以及运营商是强单调和其他是余。我们的所有线性收敛结果都是通过证明Douglas-Rachford算子是压缩的这一更强性质而得到的。
2017-04-04 math.OC
Second order forward-backward dynamical systems for monotone inclusion problems
我们首先考虑二阶动力系统从$\ddot x(t) + γ(t)\dot x(t) + λ(t)B(x(t))=0$，其中$B: {\cal H}\rightarrow{\cal H}$是一个余度算子定义在一个真正的希尔伯特空间${\cal H}$，$λ:[0,+\infty)\rightarrow [0,+\infty)$是一个松弛函数和$γ:[0,+\infty)\rightarrow [0,+\infty)$阻尼函数，都依赖于时间。对于生成的轨迹，我们证明了生成的轨迹的存在性和唯一性以及它们的弱渐近收敛到算子$B$的零点。该框架允许从类似的角度来解决二阶动力系统相关的问题，找到一个最大的单调算子和一个cocoercive之和的零。这捕获作为特殊情况下的非光滑凸函数与光滑凸函数之和的最小化。证明了当$B$是光滑凸函数的梯度时，光滑凸函数的值沿遍历轨迹以${\cal O}(1/t)$的速率收敛到其极小值.
2016-03-09 math.DS math.FA math.OC
An inertial three-operator splitting algorithm with applications to image inpainting
三算子分裂算法是求解三个最大单调算子之和的零点的一种常用的算子分裂方法，其中一个最大单调算子是余度算子。本文提出了一类惯性三算子分裂算法。在实希尔伯特空间中，利用惯性Krasnoselskiii-Mann迭代法，对迭代参数在一定条件下，证明了算法的收敛性.作为应用，我们发展了一个惯性三算子分裂算法来求解三个凸函数之和的凸极小化问题，其中一个凸函数是Lipschitz连续梯度可微的.最后，我们进行了数值实验的约束图像修复问题的核范数正则化。数值结果证明了所提出的惯性三算子分裂算法的优越性。
2019-04-26 math.OC
An SDE perspective on stochastic convex optimization
本文以随机微分方程刻画噪声梯度流，证明凸优化轨迹几乎必然收敛，并给出凸、强凸及局部 Łojasiewicz 情形的期望收敛率，且推广至约束、非光滑及 Moreau 包络问题。
2022-07-06 math.OC
Fast convex optimization via time scale and averaging of the steepest descent
本研究在希尔伯特空间下通过对连续最速下降法应用时间尺度、平均与扰动技术，得到Nesterov和Ravine方法的高分辨率ODE，无需惯性系统李雅普诺夫分析即可证明收敛，方法可推广至多种优化动力学并揭示两类方法新关联。
2023-05-03 math.OC
A projected primal-dual splitting for solving constrained monotone inclusions
本文给出了求解约束复合原始-对偶单调包含的一个算法，单调包含中原始-对偶解的先验信息通过闭凸集表示。所提出的算法将投影步骤合并到先验信息集上，并推广了[Vendor，B.C.：含余强制算子的对偶单调包含的分裂算法。高级计算38，667-681（2013）]。此外，在强单调性的存在下，我们得到了一个加速格式[Chambolle，A.; Pock，T.：凸问题的一阶原始对偶法及其在成像中的应用。J. Math. Imaging Vis. 40，120-145（2011）]应用于约束单调包含的更一般的上下文。在凸优化的特定情况下，我们的算法推广了[Condat，L.：含Lipschitz项、可逼近项和线性复合项的凸优化的原始-对偶分裂方法。J. Optim. Theory Appl.158，460 -479（2013）]，并且我们提供了强凸性下的加速方案。我们的方法与先验信息的应用是约束凸优化问题，其中可用的原始-对偶方法通过拉格朗日乘子更新施加约束，通常导致不可行的原始迭代的缓慢算法。所提出的修改迫使原始迭代，以满足选择的约束，我们可以投影，获得一个更快的方法作为数值例子展示。所得结果推广和改进了文献中的几个结果.
2018-05-29 math.OC
Potential Function-based Framework for Making the Gradients Small in Convex and Min-Max Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Shandong University（山东大学）
使梯度变小是一个基本的最优化问题，它在一阶优化中避开了统一和简单的收敛参数，到目前为止主要保留用于其他收敛标准，例如减少最优性间隙。我们引入了一个新的基于势函数的框架来研究光滑凸优化和凹凸极小极大优化中使梯度变小的标准方法的收敛性。我们的框架是直观的，它提供了一个镜头，用于查看算法，使梯度小的驱动之间的权衡降低梯度范数或一定的概念的最优性差距。在下界方面，我们讨论了凸设置的收敛结果的紧密性，并提供了一个新的下界最小化范数的cocoercive运营商，使我们能够争论的最小-最大设置的方法的最优性。
2021-01-28 cs.DS cs.LG math.OC
Second order splitting dynamics with vanishing damping for additively structured monotone inclusions
在实希尔伯特空间的框架下，研究了极大单调算子$A$与余紧算子$B$和的零点问题.我们研究的渐近行为产生的二阶方程的阻尼消失，附加到这个问题，并由一个时间依赖的向前向后型运营商的轨迹。这是一个拆分系统，因为它只需要$B$的前向评估和$A$的后向评估。系统参数的适当调整确保轨迹弱收敛到$A + B$的零点集合，以及速度向零的快速收敛。一个特殊的情况下，我们的系统可以得到快速的收敛速度的问题，最小化的总和适当的，凸和较低的连续函数和光滑和凸函数与Lipschitz连续梯度。我们通过数值实验说明了理论结果。
2022-01-04 math.DS math.OC
Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems
随机邻近梯度（SPG）方法已广泛用于机器学习和统计中使用简单（可能非光滑）正则化器解决最优化问题。然而，据我们所知，没有非渐近收敛分析SPG存在的非凸优化与非光滑和非凸正则化。现有的SPG求解非光滑非凸问题的非渐近分析都要求非光滑正则化子是凸函数，因此不适用于非光滑非凸正则化问题.这项工作启动分析，以弥合这一差距，打开了大门，非渐近收敛分析的非光滑非凸正则化问题。我们分析了几个变种的小批量SPG方法最小化的非凸目标，包括一个光滑的非凸损失和非光滑的非凸正则化。我们的贡献是双重的：（i）我们表明，他们享有相同的复杂性，他们的同行解决凸正则化非凸问题方面找到一个近似的驻点;（ii）我们开发更实用的变种使用动态的小批量大小，而不是一个固定的小批量大小，而不需要目标精度水平的解决方案。我们的结果的意义是，他们改进的国家的最先进的结果解决非光滑非凸正则化问题。我们还实证证明了所考虑的SPG方法与其他同行的随机方法相比的有效性。
2019-11-18 math.OC
The exact information-based complexity of smooth convex minimization
本文给出了光滑函数和凸函数的一阶极小化问题的信息复杂度的一个新下界。我们表明，边界匹配最近推出的优化梯度法的最坏情况下的性能，从而建立边界是紧的，可以实现一个有效的算法。证明是基于一种新的构造技术的光滑和凸函数。
2016-06-04 math.OC
A third order dynamical system for generalized monotone equation
Faculty of Mathematics and Informatics, Hanoi University of Science and Technology（河内科技大学数学与信息学院）；Mathematical Sciences, University of Southampton（南安普顿大学数学科学系）
提出一种三阶动力系统求解 Hilbert 空间中余强制非线性方程，证明了轨迹存在唯一性与渐近收敛性，并在强单调时实现 $e^{-2t}$ 指数收敛，凸优化中达 $\mathcal{O}(1/t^3)$ 速率，应用于分裂单调包含问题。
2026-10-21 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT（莫斯科物理技术学院）；Research Center of the Artificial Intelligence Institute, Innopolis University（因诺波利斯大学人工智能研究所）；ISP RAS（俄罗斯科学院斯捷克洛夫数学研究所）
本文研究了在时间变化网络上非光滑随机去中心化优化问题，针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法，应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Fast Gradient Methods for Uniformly Convex and Weakly Smooth Problems
本文研究了弱凸光滑凸优化问题的梯度法的加速问题。从普适的快速梯度法出发，对梯度为Hölder连续的弱光滑问题的最优方法进行了适当的动量修正，使其也适用于一致凸和弱光滑问题.与已有的方法不同，本文提出的快速梯度法不使用重新启动技术，而是使用适当设计的动量，以反映目标能量函数的一致凸性和弱光滑性信息.理论和数值结果支持所提出的方法的优越性。
2022-03-08 math.OC
A smoothing extended sequential quadratic method for difference-of-convex optimization over a convex composite inequality constraint
the Hong Kong Polytechnic University（香港理工大学）；Sichuan Normal University（四川师范大学）
提出一种平滑扩展序列二次方法求解差凸目标与凸复合不等式约束问题，通过平滑近似和参数更新实现O(ε^{-3})迭代复杂度，并证明凸情形下序列收敛及局部收敛率。
2026-06-12 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化，而最近的随机凸优化主要居住在光滑，无约束，强凸制度。自然，有一个迫切需要解决的非光滑性，缺乏强凸性，并存在约束。因此，本文提出了一个拟牛顿框架，可以处理仅仅是凸和可能的非光滑（但光滑）的随机凸问题。我们提出了一个框架，结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新（rsL-BFGS），生成一个序列的海森近似，可以容纳非光滑凸目标，利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下，所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度，而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$，其中$κ$是条件数，$m\geq 1$。在非平滑（但可平滑）区域，使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数，我们还提供了次线性率;（iii）在仅仅凸，但光滑的设置，正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时，正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Variable Smoothing for Weakly Convex Composite Functions
本文研究了结构化目标函数的极小化问题，该目标函数是一个光滑函数与一个弱凸函数与一个线性算子的复合函数之和。应用包括图像重建问题的正则化，引入比标准的凸正则化更少的偏见。我们开发了一个可变的平滑算法，基于Moreau包络的平滑参数的递减序列，并证明了一个复杂的$\mathcal{O}(ε^{-3})$实现$ε$ -近似解。该界介于光滑情形的$\mathcal{O}(ε^{-2})$界和次梯度方法的$\mathcal{O}(ε^{-4})$界之间。我们的复杂性界与其他处理弱凸函数的结构非光滑性的工作是一致的。
2021-05-31 math.OC
A Smooth Approximation Framework for Weakly Convex Optimization
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
本文提出了一种弱凸优化的平滑近似框架，通过扩展可平滑函数的概念，统一了多种平滑技术，并提供了具有可证明复杂度保证的算法设计方法。
2026-01-25 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
A note on quasi-convex functions
给出了$\mathbb{R}^{3}$正八分圆上的光滑拟凸函数的一个例子，这些光滑函数不能作为凸光滑函数在$\mathbb{R}$的单调光滑映射下的象得到.
2017-11-19 math.OC
Convex Synthesis of First-Order Methods for Time-Varying Smooth Strongly Convex Optimization
Miami University（迈阿密大学）；University of Louvain（鲁汶大学）
本文提出一种鲁棒控制合成框架，用于设计时间变化的光滑强凸优化的一阶方法，通过嵌入底层变化模型来提高动态场景下的优化性能。
2026-04-10 math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题，该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和，这些局部目标函数由可微的（可能是非凸的）费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题，提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识，收敛到一组临界点的收敛速度$O(1/T)$。最后，通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Near-optimal method for highly smooth convex optimization
提出了一种求解高光滑凸优化的近似最优方法。更准确地说，在Oracle模型中，一个获得的$p^{th}$阶泰勒展开的函数在查询点，我们提出了一种方法，收敛速率$\tilde{O}(1/k^{\frac{ 3p +1}{2}})$后，$k$查询的Oracle的任何凸函数的$p^{th}$阶导数是Lipschitz。
2019-06-23 math.OC
On the rate of convergence of alternating minimization for non-smooth non-strongly convex optimization in Banach spaces
本文在巴拿赫空间中建立了非光滑凸优化交替极小化的收敛性，并给出了新的收敛速度。作为目标函数，考虑平滑部分和非平滑部分的组合，其中后者是块可分离的，例如，对应于凸约束或正则化。对于光滑部分，考虑了三种不同的强凸松弛：（i）拟强凸;（ii）二次函数增长;（iii）平面凸。线性收敛是建立在前两种情况下，推广和改进以前的强凸问题的结果;子线性收敛是建立在第三种情况下，也改进了以前的文献结果。所有的收敛结果有一个共同点，即与一般块坐标下降的先前相应结果相反，交替最小化的性能有利地由单个块的属性而不是全局属性来控制。最终，不仅更好的条件块确定的性能，已经类似地观察到在文献中。而且，更差条件的问题还额外地增强了性能，导致潜在地显著改进的收敛速度。此外，仅利用问题的凸性和光滑性，所得结果在一般巴拿赫空间中立即适用.
2019-11-01 math.OC
Primal-dual proximal splitting and generalized conjugation in non-smooth non-convex optimization
我们证明了困难的非凸非光滑最优化问题，如纳什均衡问题和各向异性以及各向同性Potts分割模型，可以写在广义共轭的凸泛函。这些，反过来，可以制定为鞍点问题，涉及凸非光滑泛函和一般光滑，但非双线性耦合项。然后，我们表明，通过详细的收敛性分析，概念上简单的扩展的原始-对偶邻近Chambolle和Pock分裂方法是适用于解决这些问题。在充分的局部强凸性假设的泛函-但仍然与非双线性耦合项-我们甚至证明了局部线性收敛的方法。我们说明这些理论结果数值上的上述示例问题。
2020-03-19 math.OC
Proximal Activation of Smooth Functions in Splitting Algorithms for Convex Image Recovery
结构化凸优化问题通常涉及光滑和非光滑函数的混合。通常的做法是通过梯度激活光滑函数，通过邻近算子激活非光滑函数。我们表明，虽然直观自然，这种方法不一定是最有效的数值，特别是，激活所有的功能近端可能是有利的。为了使这一观点可行的计算，我们推导出一些新的例子，邻近算子的光滑凸函数在应用中产生的。一个新的变分模型放松不一致凸可行性问题也研究在所提出的框架。几个数值图像恢复的应用程序，比较完全接近与混合近端/梯度实现几个分裂算法的行为。
2019-09-09 math.OC
Curiosities and counterexamples in smooth convex optimization
给出了光滑凸强制集上一些老的最优化问题的反例。我们表明，块坐标，最速下降精确搜索或布雷格曼下降法一般不收敛。其他失败的各种理想的功能建立：方向收敛的柯西的梯度曲线，收敛的牛顿流，有限长度的Tikhonov路径，收敛的中心路径，或光滑Kurdyka-Lojasiewicz不等式。所有示例都是平面的。这些例子是基于一般光滑凸插值结果。给定平面上正曲Ck凸紧集的递减序列，给出了Ck光滑凸函数的水平集插值，其中k $\ge$ 2是任意的.如果交是减少到一个点，我们的插值有正定的Hessian，否则它是正定的解决方案集。此外，给定一个递减多边形序列，我们提供了一个与顶点一致的插值，其梯度与规定的法线一致。
2020-01-29 math.OC
On the Linear Convergence of the Approximate Proximal Splitting Method for Non-Smooth Convex Optimization
考虑最小化两个凸函数之和的问题，其中一个是光滑的，另一个是非光滑的。在本文中，我们介绍了一般类的近似邻近分裂（APS）方法来解决这样的极小化问题。APS类中的方法包括许多众所周知的算法，例如用于光滑凸优化的邻近分裂方法（PSM）、块坐标下降法（BCD）和近似梯度投影法。在局部误差有界的假设下，证明了APS方法的线性收敛.由于后者是已知的压缩感知和稀疏组LASSO问题，我们的分析意味着线性收敛的BCD方法对这些问题没有强凸性假设。
2014-04-21 math.OC
Smooth Strongly Convex Interpolation and Exact Worst-case Performance of First-order Methods
我们表明，精确的最坏情况下性能的固定步骤的一阶方法的光滑（可能强）凸函数的无约束优化可以通过求解凸规划。寻找黑箱一阶方法的最坏情况下的性能制定为一组光滑（强）凸函数和初始条件的最优化问题。给出了光滑（强）凸插值的封闭形式的充要条件，并给出了这些函数的有限表示。这使我们能够重新制定的最坏情况下的性能估计问题作为一个等价的有限维独立的半定最优化问题，其精确解可以恢复到数值精度。这个性能估计问题的最优解提供了最坏情况下的性能界限和显式函数匹配，因为我们的光滑（强）凸插值过程是建设性的。我们的作品建立在那些Drori和Teboulle在[数学。145（1-2），2014]，其引入并解决了光滑凸函数的性能估计问题的松弛。我们将我们的方法应用到不同的固定步长的一阶方法与几个性能标准，包括目标函数精度和梯度范数。在光滑凸和光滑强凸情形下，我们分别给出了固定步长梯度法、快速梯度法和优化梯度法的最坏情况的数值界，并推导了梯度法的最优步长的严格估计.
2016-10-31 math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法，建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平（这种噪声的性质是不必要的随机）的收敛速率保持（乘法因子）。
2017-08-13 math.OC
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知，我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法，一般的随机和有限和最优化问题，具有相同或更高的收敛复杂性相比，目前最好的结果为无约束的问题设置。在一个数值实验中，我们比较我们的算法与当前国家的最先进的确定性算法，并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
On solving convex min-min problems with smoothness and strong convexity in one variable group and small dimension of the other
本文研究了仅在一个二元组中具有光滑性和强凸性的凸极小-极小问题的一些方法。结果表明，基于Vaidya的割平面法和Nesterov的快速梯度法，所提出的方法均达到了线性收敛.外部最小化问题使用Vaidya的割平面法求解，内部问题（光滑和强凸）使用快速梯度法求解。由于机器学习应用的重要性，我们还考虑了目标函数是大量函数之和的情况。在这种情况下，使用方差减少的加速梯度算法代替Nesterov的快速梯度法。数值实验的结果说明了所提出的方法的优点逻辑斯谛回归与先验的参数组之一。
2021-02-01 math.OC
Optimizing the Efficiency of First-Order Methods for Decreasing the Gradient of Smooth Convex Functions
本文根据最坏情况收敛界（即，效率）的梯度范数的下降。这项工作是基于性能估计问题的方法。对于高维光滑凸极小化问题，在初始费用函数值有界的条件下，所得到的方法的最坏情况梯度界是最优的直到一个常数.然后，本文说明了所提出的方法具有计算效率的形式，是类似于优化的梯度法。
2020-10-27 math.OC
Adaptive Variant of Frank-Wolfe Method for Relative Smooth Convex Optimization Problems
提出一种针对相对光滑凸函数的自适应Frank-Wolfe算法，利用Bregman散度替代欧几里得范数平方计算步长，证明具有三角缩放性质问题的收敛性，实验显示优于欧几里得版本和加速梯度方法。
2026-06-16 math.OC
Mirror Descent Methods for Quasar Convex Optimization Problems With Non-Smooth Inequality Constraints
Innopolis University（因诺波利斯大学）
研究非光滑凸泛函不等式约束下的类星体凸优化问题，提出两组含标准和修改变体的算法，通过切换迭代点运行，为确定性和随机设置开发镜像下降型算法并建立收敛速率。
2026-07-28 math.OC
A Linearly Convergent Projection-Free Algorithm for Smooth Convex Sets
针对光滑凸集上光滑强凸函数的极小化问题，提出用梯度计算和支撑切线计算替代昂贵的投影，实现线性收敛，且切线可通过\tilde{O}(d)个成员查询近似，突破了此前仅多面体等集能实现无投影线性收敛的局限。
2026-08-19 math.OC
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题，其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构，这可能不容易计算其邻近映射。为了解决这些问题，我们提出了一个小批量随机Nesterov平滑（MSNS）方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明，所提出的MSNS方法的支持向量机（SVM）模型的效率。
2021-09-11 math.OC
Relatively-Smooth Convex Optimization by First-Order Methods, and Applications
发展和分析光滑凸优化的一阶方法的通常方法假设目标函数的梯度是一致光滑的，具有某些Lipschitz常数$L$。然而，在许多设置中，可微凸函数$f(\cdot)$不是均匀光滑的-例如在$D$ -最优设计中，其中$f(x):=-\ln \det(HXH^T)$，或者甚至是单变量设置$f(x) := -\ln(x) + x^2$。在这里，我们开发了一个概念“相对光滑”和相对强的凸性，确定相对于用户指定的“参考函数”$h(\cdot)$（这应该是计算上易于处理的算法），我们表明，许多可微凸函数相对于一个相应的相当简单的参考函数$h(\cdot)$是相对光滑的。我们扩展两个标准的算法-原始梯度方案和双平均方案-我们的新设置，与相关的计算保证。我们应用我们的新方法来开发一个新的一阶方法的$D$优化设计问题，与相关的计算复杂性分析。我们的一些结果与最近的工作\cite{bbt}有一定的重叠。
2017-10-10 math.OC
Efficiency of minimizing compositions of convex functions and smooth maps
我们考虑了最小化一个凸函数和一个Lipschitz凸函数与一个光滑映射的组合的算法的全局有效性。我们所依赖的基本算法是非线性方法，它在每次迭代中解决一个正则化的子问题，该子问题是通过线性化光滑映射形成的。当子问题得到精确解时，该方法具有类似于光滑极小化的梯度下降法的效率$\mathcal{O}(\varepsilon^{-2})$。我们表明，当子问题只能解决一阶方法，一个简单的组合平滑，线性方法，和快速梯度计划产生一个算法的复杂性$\widetilde{\mathcal{O}}(\varepsilon^{-3})$。该技术很容易扩展到最小化$m$复合函数的平均值，其复杂度为$\widetilde{\mathcal{O}}(m/\varepsilon^{2}+\sqrt{m}/\varepsilon^{3})$。我们舍入圆的文件与惯性的非线性方法，自动加速存在的凸性。
2017-08-14 math.OC
Approximating Properties of Metric and Generalized Metric Projections in Uniformly Convex and Uniformly Smooth Banach Spaces
本文对一致凸、一致光滑巴拿赫空间中的度量投影、广义投影和广义度量投影的一些逼近性质进行了比较研究。证明了度量投影的逆像是闭的凸锥，但不一定是凸的。相反，广义投影的逆像是闭合的凸锥。此外，广义度量投影的逆像既不是凸集，也不是圆锥。我们还证明了从一个点到它在一个凸集上的投影的距离是一个弱下连续的函数。我们提供了说明性的例子，以突出不同的行为的三个投影在巴拿赫空间。
2023-03-07 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Revisiting the Geometrically Decaying Step Size: Linear Convergence for Smooth or Non-Smooth Functions
本文提出一种简洁的子梯度下降算法，适用于光滑或非光滑函数，证明在正逆条件数下实现线性收敛性。
2025-12-02 math.OC
Adaptive Accelerated Gradient Method for Smooth Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机与人工智能研究所）
本文提出了一种自适应加速梯度法，用于解决光滑凸优化问题，通过局部估计光滑性常数自适应调整步长，实现函数值的快速收敛。
2025-12-23 math.OC
Mirror Descent and Convex Optimization Problems With Non-Smooth Inequality Constraints
本文研究了具有凸非光滑不等式约束的简单集上的凸函数极小化问题，并描述了在光滑或非光滑目标函数、凸或强凸目标和约束、确定性或随机性信息等不同情况下求解这类问题的一阶方法。我们希望读者可以方便地在一个地方拥有不同设置的所有方法。所描述的方法基于镜像下降算法和切换次梯度方案。我们的重点之一是提出，为列出的不同设置，自适应步长和自适应停止规则的镜像下降。这意味着步长和停止规则都不需要知道目标或约束的Lipschitz常数。我们还构造镜像下降问题的目标函数，这不是Lipschitz连续的，例如，是一个二次函数。除此之外，我们还讨论了对偶问题解的恢复问题。
2018-01-29 math.OC
A Stochastic forward-backward splitting method for solving monotone inclusions in Hilbert spaces
提出并分析了求解由极大单调算子与单值极大单调余算子之和构成的单调包含的一种新的随机前后分裂算法的收敛性.后者的框架有一些有趣的特殊情况下，包括变分不等式和凸最小化问题，而随机方法实际上是相关的数据扰动帐户。我们提出的算法是经典的确定性向前向后方法的随机扩展，并得到考虑的组合的极大单调算子的预解式与基于单值算子的随机估计的前一步。我们的研究提供了一个非渐近的误差分析的期望强单调的情况下，以及几乎必然收敛在较弱的假设。我们考虑的方法可以避免平均，一个功能的关键时，考虑基于稀疏性的方法，并为最小化问题，它允许获得匹配的收敛速度随机扩展所获得的所谓的加速方法。随机拟Fejer序列是证明几乎必然收敛的关键技术工具。
2015-02-20 math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题，提出原始-对偶平滑框架，分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
On the oracle complexity of smooth strongly convex minimization
我们构造了一个函数族，用于建立光滑强凸函数的一阶极小化的预言复杂性的下界。在此基础上，我们得到了强凸极小化问题在各种不精确准则下的复杂性的新的下界。新的边界匹配已知的上界一个常数的因素，当一个解决方案的不准确性是衡量其距离的解决方案集，新的下界完全匹配的上界由最近的信息理论的精确方法由相同的作者，从而建立这类问题的确切的预言复杂性。
2021-06-14 math.OC
Epi-convergent Smoothing with Applications to Convex Composite Functions
平滑方法已经成为研究和解决不可微和约束最优化问题以及一系列其他变分和平衡问题的标准工具集的一部分。本文综合和推广了Beck和Teboulle关于凸函数的下确界卷积光滑的最新结果。关于非凸函数的梯度相容性。我们使用epi收敛技术来定义epi平滑的概念，使我们能够利用丰富的变分结构的次微分非光滑，非凸，非有限值函数。作为一个例子的多功能性和范围epi平滑技术，结果被施加到一般的约束优化，其中非线性规划是一个特例。
2012-08-31 math.OC
Proximal gradient descent on the smoothed duality gap to solve saddle point problems
本文提出最小化自中心平滑间隙以求解凸-凹鞍点问题，将其转化为最小化问题，算法最坏复杂度与重启平均原始对偶混合梯度法相当且在有利情形下线性收敛。
2025-11-05 math.OC
Convergence of Clipped SGD on Convex $(L_0,L_1)$-Smooth Functions
本文在$(L_0,L_1)$-光滑凸函数上分析带梯度裁剪的SGD，证明其高概率收敛速率与$L$光滑情形下的SGD速率相当，并提出一种具有相同保证的自适应SGD变体，通过实验验证了理论与算法选择。
2025-06-03 math.OC
Proximal Algorithms for Smoothed Online Convex Optimization with Predictions
针对带预测的平滑在线凸优化问题，本文提出基于交替近端梯度下降的滚动时域算法，实现动态遗憾随前瞻窗口指数衰减，并优于梯度下降法。
2023-10-13 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估，我们使用近似的邻近点，由于捆绑策略，以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值，并报告一些初步的数值结果。
2020-03-06 math.OC
Fast Forward-Backward splitting for monotone inclusions with a convergence rate of the tangent residual of $o(1/k)$
该研究针对极大单调算子与余强制算子之和的零点求解问题，提出融合惯性/动量项与校正项的改进前向-后向分裂算法，实现切残量等$o(1/k)$阶非遍历收敛，在带线性约束非光滑凸优化的原始-对偶完全分裂算法中性能最优。
2023-12-19 math.OC
A double smoothing technique for solving unconstrained nondifferentiable convex optimization problems
本文的目的是在有限维空间中提出一种求解一类无约束不可微凸优化问题的有效算法。为此，我们制定第一Fenchel对偶问题和正规化它在两个步骤成为一个可微的强凸Lipschitz连续梯度。然后通过快速梯度法求解双重正则化对偶问题，目的是加速所得的收敛方案。最后将理论结果应用于图像处理中的l1正则化问题。
2012-03-09 math.OC
Accelerated Distance-adaptive Methods for Hölder Smooth and Convex Optimization
本文提出无参数加速距离自适应方法，解决Hölder光滑凸优化问题，无需先验参数或目标精度，实现最优随时收敛率，并扩展至随机优化，实验验证其有效性。
2025-10-25 math.OC
