Distributed Convex Optimization With Coupling Constraints Over Time-Varying Directed Graphs
研究了时变多智能体网络上的分布式凸优化问题，其中每个智能体都有自己的决策变量，这些决策变量的设置应使其个体目标最小化，且受局部约束和全局耦合等式约束.在有向图上，提出了一种将推和协议与对偶次梯度方法相结合的分布式算法。在凸性假设下，首先建立了原始变量、对偶变量和约束违反的最优性。然后给出了算法的显式收敛速度。最后，通过对经济调度问题的数值实验，验证了算法的有效性。
2018-05-21 math.OC
Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems
随机邻近梯度（SPG）方法已广泛用于机器学习和统计中使用简单（可能非光滑）正则化器解决最优化问题。然而，据我们所知，没有非渐近收敛分析SPG存在的非凸优化与非光滑和非凸正则化。现有的SPG求解非光滑非凸问题的非渐近分析都要求非光滑正则化子是凸函数，因此不适用于非光滑非凸正则化问题.这项工作启动分析，以弥合这一差距，打开了大门，非渐近收敛分析的非光滑非凸正则化问题。我们分析了几个变种的小批量SPG方法最小化的非凸目标，包括一个光滑的非凸损失和非光滑的非凸正则化。我们的贡献是双重的：（i）我们表明，他们享有相同的复杂性，他们的同行解决凸正则化非凸问题方面找到一个近似的驻点;（ii）我们开发更实用的变种使用动态的小批量大小，而不是一个固定的小批量大小，而不需要目标精度水平的解决方案。我们的结果的意义是，他们改进的国家的最先进的结果解决非光滑非凸正则化问题。我们还实证证明了所考虑的SPG方法与其他同行的随机方法相比的有效性。
2019-11-18 math.OC
The exact information-based complexity of smooth convex minimization
本文给出了光滑函数和凸函数的一阶极小化问题的信息复杂度的一个新下界。我们表明，边界匹配最近推出的优化梯度法的最坏情况下的性能，从而建立边界是紧的，可以实现一个有效的算法。证明是基于一种新的构造技术的光滑和凸函数。
2016-06-04 math.OC
Decentralized convex optimization over time-varying graphs: a survey
本文为时变图上的去中心化凸优化综述，梳理了该领域的最新研究成果与相关技术，同时指出了待解决问题并给出未来研究的假设与方向。
2023-04-17 math.OC
Fenchel Dual Gradient Methods for Distributed Convex Optimization over Time-varying Networks
在现有的大量凸多智能体优化分布式算法中，只有少数算法能保证智能体网络在时变拓扑下的收敛速度，而这又限制了问题的无约束性.出于这一动机，我们开发了一个家庭的分布式Fenchel双梯度法解决约束，强凸，但不一定光滑的多智能体最优化问题随时间变化的无向网络。所提出的算法构造的基础上应用加权梯度法的Fenchel对偶的多智能体最优化问题，并可以实现在一个完全分散的方式。我们表明，所提出的算法驱动所有的代理原始和对偶最优渐近下的最小连通性条件和次线性速率下的标准连通性条件。最后，通过仿真验证了分布式Fenchel对偶梯度法的良好收敛性能.
2018-04-05 math.OC
Fast Gradient Methods for Uniformly Convex and Weakly Smooth Problems
本文研究了弱凸光滑凸优化问题的梯度法的加速问题。从普适的快速梯度法出发，对梯度为Hölder连续的弱光滑问题的最优方法进行了适当的动量修正，使其也适用于一致凸和弱光滑问题.与已有的方法不同，本文提出的快速梯度法不使用重新启动技术，而是使用适当设计的动量，以反映目标能量函数的一致凸性和弱光滑性信息.理论和数值结果支持所提出的方法的优越性。
2022-03-08 math.OC
Prediction-Correction Interior-Point Method for Time-Varying Convex Optimization
本文提出了一种求解一类目标函数和约束函数均为时变的凸优化问题的内点法。利用对数障碍罚函数，我们提出了一个连续时间动力系统跟踪（时变）最优解的渐近消失的误差。该动力系统由两个项组成：（i）由牛顿法的连续时间版本组成的校正项，以及（ii）能够通过考虑目标和约束函数的时变性质来跟踪最优解的漂移的预测项。使用适当选择的时变松弛和障碍参数，我们确保这个动力系统的解决方案全局渐近收敛到最优解的指数速度。我们说明了所提出的方法在两个实际应用中的适用性：稀疏促进最小二乘问题和无碰撞机器人导航问题。
2016-08-26 math.OC
A smoothing extended sequential quadratic method for difference-of-convex optimization over a convex composite inequality constraint
the Hong Kong Polytechnic University（香港理工大学）；Sichuan Normal University（四川师范大学）
提出一种平滑扩展序列二次方法求解差凸目标与凸复合不等式约束问题，通过平滑近似和参数更新实现O(ε^{-3})迭代复杂度，并证明凸情形下序列收敛及局部收敛率。
2026-06-12 math.OC
Stochastic maximum principle for optimal control problem with varying terminal time and non-convex control domain
本文研究终端时间随状态均值变化且控制域非凸的随机最优控制问题，通过建立渐近一阶和二阶伴随方程及变分方程，证明了相应的 Pontryagin 随机最大值原理，并用两个例子验证主要结果。
2024-09-04 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化，而最近的随机凸优化主要居住在光滑，无约束，强凸制度。自然，有一个迫切需要解决的非光滑性，缺乏强凸性，并存在约束。因此，本文提出了一个拟牛顿框架，可以处理仅仅是凸和可能的非光滑（但光滑）的随机凸问题。我们提出了一个框架，结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新（rsL-BFGS），生成一个序列的海森近似，可以容纳非光滑凸目标，利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下，所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度，而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$，其中$κ$是条件数，$m\geq 1$。在非平滑（但可平滑）区域，使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数，我们还提供了次线性率;（iii）在仅仅凸，但光滑的设置，正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时，正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Variable Smoothing for Weakly Convex Composite Functions
本文研究了结构化目标函数的极小化问题，该目标函数是一个光滑函数与一个弱凸函数与一个线性算子的复合函数之和。应用包括图像重建问题的正则化，引入比标准的凸正则化更少的偏见。我们开发了一个可变的平滑算法，基于Moreau包络的平滑参数的递减序列，并证明了一个复杂的$\mathcal{O}(ε^{-3})$实现$ε$ -近似解。该界介于光滑情形的$\mathcal{O}(ε^{-2})$界和次梯度方法的$\mathcal{O}(ε^{-4})$界之间。我们的复杂性界与其他处理弱凸函数的结构非光滑性的工作是一致的。
2021-05-31 math.OC
A Smooth Approximation Framework for Weakly Convex Optimization
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
本文提出了一种弱凸优化的平滑近似框架，通过扩展可平滑函数的概念，统一了多种平滑技术，并提供了具有可证明复杂度保证的算法设计方法。
2026-01-25 math.OC
Dual Prediction-Correction Methods for Linearly Constrained Time-Varying Convex Programs
设计有效的算法来求解连续变化的强凸优化程序在许多应用中是关键，从控制系统到信号处理和机器学习。在这种情况下，求解意味着找到并跟踪连续变化的凸优化程序的优化器轨迹。最近，一种新的预测-校正方法已经被提出来建立迭代算法，该迭代算法在离散时间步长处对连续变化的优化程序进行采样，并执行有限的计算量以用新的采样问题校正其近似优化器，并预测优化器在下一时间步长处将如何改变。预测校正算法已被证明优于更经典的策略，即，纠正方法。通常，预测-校正方法具有$h^2$阶的渐近跟踪误差，其中$h$是采样周期，而经典策略具有$h$阶。到目前为止，无论是无约束凸规划还是简单约束凸规划，预测校正算法都是在原始空间中发展起来的。本文在对偶空间中讨论了线性约束连续变化问题的预测校正方法，并证明了与原方法相似的渐近误差界。
2018-03-26 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
A note on quasi-convex functions
给出了$\mathbb{R}^{3}$正八分圆上的光滑拟凸函数的一个例子，这些光滑函数不能作为凸光滑函数在$\mathbb{R}$的单调光滑映射下的象得到.
2017-11-19 math.OC
Near-optimal method for highly smooth convex optimization
提出了一种求解高光滑凸优化的近似最优方法。更准确地说，在Oracle模型中，一个获得的$p^{th}$阶泰勒展开的函数在查询点，我们提出了一种方法，收敛速率$\tilde{O}(1/k^{\frac{ 3p +1}{2}})$后，$k$查询的Oracle的任何凸函数的$p^{th}$阶导数是Lipschitz。
2019-06-23 math.OC
Global prescribed-time control of a class of uncertain nonholonomic systems by smooth time-varying feedback
本文针对不确定非完整系统，提出基于光滑时变状态变换和参数Lyapunov方程的高增益反馈控制方法，实现状态在任意预定时间收敛到零。
2024-09-05 math.OC
Distributed Convex Optimization of Time-Varying Cost Functions with Swarm Tracking Behavior for Continuous-time Dynamics
研究了连续时间多智能体系统中具有群体跟踪行为的分布式凸优化问题。智能体的任务是通过局部交互来驱动其中心跟踪最优轨迹，该最优轨迹使局部时变费用函数之和最小化，同时保持连通性并避免智能体之间的碰撞。每个局部费用函数仅为单个代理所知，并且团队的最优解是时变的。这里考虑两种情况，单积分器动态和双积分器动态。对于每种情况下，提出了一种分布式的群体跟踪行为的凸优化算法，每个代理只依赖于自己的位置和相对位置（和速度在双积分的情况下）之间的本身和它的邻居。结果表明，智能体的中心跟踪最优轨迹，智能体之间的连通性将保持和避免智能体间的碰撞。最后，数值例子进行说明。
2015-07-16 math.OC
On the rate of convergence of alternating minimization for non-smooth non-strongly convex optimization in Banach spaces
本文在巴拿赫空间中建立了非光滑凸优化交替极小化的收敛性，并给出了新的收敛速度。作为目标函数，考虑平滑部分和非平滑部分的组合，其中后者是块可分离的，例如，对应于凸约束或正则化。对于光滑部分，考虑了三种不同的强凸松弛：（i）拟强凸;（ii）二次函数增长;（iii）平面凸。线性收敛是建立在前两种情况下，推广和改进以前的强凸问题的结果;子线性收敛是建立在第三种情况下，也改进了以前的文献结果。所有的收敛结果有一个共同点，即与一般块坐标下降的先前相应结果相反，交替最小化的性能有利地由单个块的属性而不是全局属性来控制。最终，不仅更好的条件块确定的性能，已经类似地观察到在文献中。而且，更差条件的问题还额外地增强了性能，导致潜在地显著改进的收敛速度。此外，仅利用问题的凸性和光滑性，所得结果在一般巴拿赫空间中立即适用.
2019-11-01 math.OC
Primal-dual proximal splitting and generalized conjugation in non-smooth non-convex optimization
我们证明了困难的非凸非光滑最优化问题，如纳什均衡问题和各向异性以及各向同性Potts分割模型，可以写在广义共轭的凸泛函。这些，反过来，可以制定为鞍点问题，涉及凸非光滑泛函和一般光滑，但非双线性耦合项。然后，我们表明，通过详细的收敛性分析，概念上简单的扩展的原始-对偶邻近Chambolle和Pock分裂方法是适用于解决这些问题。在充分的局部强凸性假设的泛函-但仍然与非双线性耦合项-我们甚至证明了局部线性收敛的方法。我们说明这些理论结果数值上的上述示例问题。
2020-03-19 math.OC
Proximal Activation of Smooth Functions in Splitting Algorithms for Convex Image Recovery
结构化凸优化问题通常涉及光滑和非光滑函数的混合。通常的做法是通过梯度激活光滑函数，通过邻近算子激活非光滑函数。我们表明，虽然直观自然，这种方法不一定是最有效的数值，特别是，激活所有的功能近端可能是有利的。为了使这一观点可行的计算，我们推导出一些新的例子，邻近算子的光滑凸函数在应用中产生的。一个新的变分模型放松不一致凸可行性问题也研究在所提出的框架。几个数值图像恢复的应用程序，比较完全接近与混合近端/梯度实现几个分裂算法的行为。
2019-09-09 math.OC
Curiosities and counterexamples in smooth convex optimization
给出了光滑凸强制集上一些老的最优化问题的反例。我们表明，块坐标，最速下降精确搜索或布雷格曼下降法一般不收敛。其他失败的各种理想的功能建立：方向收敛的柯西的梯度曲线，收敛的牛顿流，有限长度的Tikhonov路径，收敛的中心路径，或光滑Kurdyka-Lojasiewicz不等式。所有示例都是平面的。这些例子是基于一般光滑凸插值结果。给定平面上正曲Ck凸紧集的递减序列，给出了Ck光滑凸函数的水平集插值，其中k $\ge$ 2是任意的.如果交是减少到一个点，我们的插值有正定的Hessian，否则它是正定的解决方案集。此外，给定一个递减多边形序列，我们提供了一个与顶点一致的插值，其梯度与规定的法线一致。
2020-01-29 math.OC
On the Linear Convergence of the Approximate Proximal Splitting Method for Non-Smooth Convex Optimization
考虑最小化两个凸函数之和的问题，其中一个是光滑的，另一个是非光滑的。在本文中，我们介绍了一般类的近似邻近分裂（APS）方法来解决这样的极小化问题。APS类中的方法包括许多众所周知的算法，例如用于光滑凸优化的邻近分裂方法（PSM）、块坐标下降法（BCD）和近似梯度投影法。在局部误差有界的假设下，证明了APS方法的线性收敛.由于后者是已知的压缩感知和稀疏组LASSO问题，我们的分析意味着线性收敛的BCD方法对这些问题没有强凸性假设。
2014-04-21 math.OC
Smooth Strongly Convex Interpolation and Exact Worst-case Performance of First-order Methods
我们表明，精确的最坏情况下性能的固定步骤的一阶方法的光滑（可能强）凸函数的无约束优化可以通过求解凸规划。寻找黑箱一阶方法的最坏情况下的性能制定为一组光滑（强）凸函数和初始条件的最优化问题。给出了光滑（强）凸插值的封闭形式的充要条件，并给出了这些函数的有限表示。这使我们能够重新制定的最坏情况下的性能估计问题作为一个等价的有限维独立的半定最优化问题，其精确解可以恢复到数值精度。这个性能估计问题的最优解提供了最坏情况下的性能界限和显式函数匹配，因为我们的光滑（强）凸插值过程是建设性的。我们的作品建立在那些Drori和Teboulle在[数学。145（1-2），2014]，其引入并解决了光滑凸函数的性能估计问题的松弛。我们将我们的方法应用到不同的固定步长的一阶方法与几个性能标准，包括目标函数精度和梯度范数。在光滑凸和光滑强凸情形下，我们分别给出了固定步长梯度法、快速梯度法和优化梯度法的最坏情况的数值界，并推导了梯度法的最优步长的严格估计.
2016-10-31 math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法，建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平（这种噪声的性质是不必要的随机）的收敛速率保持（乘法因子）。
2017-08-13 math.OC
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知，我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法，一般的随机和有限和最优化问题，具有相同或更高的收敛复杂性相比，目前最好的结果为无约束的问题设置。在一个数值实验中，我们比较我们的算法与当前国家的最先进的确定性算法，并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
On solving convex min-min problems with smoothness and strong convexity in one variable group and small dimension of the other
本文研究了仅在一个二元组中具有光滑性和强凸性的凸极小-极小问题的一些方法。结果表明，基于Vaidya的割平面法和Nesterov的快速梯度法，所提出的方法均达到了线性收敛.外部最小化问题使用Vaidya的割平面法求解，内部问题（光滑和强凸）使用快速梯度法求解。由于机器学习应用的重要性，我们还考虑了目标函数是大量函数之和的情况。在这种情况下，使用方差减少的加速梯度算法代替Nesterov的快速梯度法。数值实验的结果说明了所提出的方法的优点逻辑斯谛回归与先验的参数组之一。
2021-02-01 math.OC
Optimizing the Efficiency of First-Order Methods for Decreasing the Gradient of Smooth Convex Functions
本文根据最坏情况收敛界（即，效率）的梯度范数的下降。这项工作是基于性能估计问题的方法。对于高维光滑凸极小化问题，在初始费用函数值有界的条件下，所得到的方法的最坏情况梯度界是最优的直到一个常数.然后，本文说明了所提出的方法具有计算效率的形式，是类似于优化的梯度法。
2020-10-27 math.OC
Adaptive Variant of Frank-Wolfe Method for Relative Smooth Convex Optimization Problems
提出一种针对相对光滑凸函数的自适应Frank-Wolfe算法，利用Bregman散度替代欧几里得范数平方计算步长，证明具有三角缩放性质问题的收敛性，实验显示优于欧几里得版本和加速梯度方法。
2026-06-16 math.OC
Mirror Descent Methods for Quasar Convex Optimization Problems With Non-Smooth Inequality Constraints
Innopolis University（因诺波利斯大学）
研究非光滑凸泛函不等式约束下的类星体凸优化问题，提出两组含标准和修改变体的算法，通过切换迭代点运行，为确定性和随机设置开发镜像下降型算法并建立收敛速率。
2026-07-28 math.OC
A Linearly Convergent Projection-Free Algorithm for Smooth Convex Sets
针对光滑凸集上光滑强凸函数的极小化问题，提出用梯度计算和支撑切线计算替代昂贵的投影，实现线性收敛，且切线可通过\tilde{O}(d)个成员查询近似，突破了此前仅多面体等集能实现无投影线性收敛的局限。
2026-08-19 math.OC
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题，其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构，这可能不容易计算其邻近映射。为了解决这些问题，我们提出了一个小批量随机Nesterov平滑（MSNS）方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明，所提出的MSNS方法的支持向量机（SVM）模型的效率。
2021-09-11 math.OC
Relatively-Smooth Convex Optimization by First-Order Methods, and Applications
发展和分析光滑凸优化的一阶方法的通常方法假设目标函数的梯度是一致光滑的，具有某些Lipschitz常数$L$。然而，在许多设置中，可微凸函数$f(\cdot)$不是均匀光滑的-例如在$D$ -最优设计中，其中$f(x):=-\ln \det(HXH^T)$，或者甚至是单变量设置$f(x) := -\ln(x) + x^2$。在这里，我们开发了一个概念“相对光滑”和相对强的凸性，确定相对于用户指定的“参考函数”$h(\cdot)$（这应该是计算上易于处理的算法），我们表明，许多可微凸函数相对于一个相应的相当简单的参考函数$h(\cdot)$是相对光滑的。我们扩展两个标准的算法-原始梯度方案和双平均方案-我们的新设置，与相关的计算保证。我们应用我们的新方法来开发一个新的一阶方法的$D$优化设计问题，与相关的计算复杂性分析。我们的一些结果与最近的工作\cite{bbt}有一定的重叠。
2017-10-10 math.OC
Efficiency of minimizing compositions of convex functions and smooth maps
我们考虑了最小化一个凸函数和一个Lipschitz凸函数与一个光滑映射的组合的算法的全局有效性。我们所依赖的基本算法是非线性方法，它在每次迭代中解决一个正则化的子问题，该子问题是通过线性化光滑映射形成的。当子问题得到精确解时，该方法具有类似于光滑极小化的梯度下降法的效率$\mathcal{O}(\varepsilon^{-2})$。我们表明，当子问题只能解决一阶方法，一个简单的组合平滑，线性方法，和快速梯度计划产生一个算法的复杂性$\widetilde{\mathcal{O}}(\varepsilon^{-3})$。该技术很容易扩展到最小化$m$复合函数的平均值，其复杂度为$\widetilde{\mathcal{O}}(m/\varepsilon^{2}+\sqrt{m}/\varepsilon^{3})$。我们舍入圆的文件与惯性的非线性方法，自动加速存在的凸性。
2017-08-14 math.OC
Approximating Properties of Metric and Generalized Metric Projections in Uniformly Convex and Uniformly Smooth Banach Spaces
本文对一致凸、一致光滑巴拿赫空间中的度量投影、广义投影和广义度量投影的一些逼近性质进行了比较研究。证明了度量投影的逆像是闭的凸锥，但不一定是凸的。相反，广义投影的逆像是闭合的凸锥。此外，广义度量投影的逆像既不是凸集，也不是圆锥。我们还证明了从一个点到它在一个凸集上的投影的距离是一个弱下连续的函数。我们提供了说明性的例子，以突出不同的行为的三个投影在巴拿赫空间。
2023-03-07 math.OC
Distributed Prediction-Correction ADMM for Time-Varying Convex Optimization
本文提出基于预测-校正框架的对偶正则化ADMM，用于分布式时变凸优化，并通过数值实验证明其在渐近误差和一致性约束违反方面优于非精确梯度法和精确对偶分解方法。
2020-11-17 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Revisiting the Geometrically Decaying Step Size: Linear Convergence for Smooth or Non-Smooth Functions
本文提出一种简洁的子梯度下降算法，适用于光滑或非光滑函数，证明在正逆条件数下实现线性收敛性。
2025-12-02 math.OC
Adaptive Accelerated Gradient Method for Smooth Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机与人工智能研究所）
本文提出了一种自适应加速梯度法，用于解决光滑凸优化问题，通过局部估计光滑性常数自适应调整步长，实现函数值的快速收敛。
2025-12-23 math.OC
Technical Report: A Totally Asynchronous Algorithm for Tracking Solutions to Time-Varying Convex Optimization Problems
本文提出了一个分散的算法，一组代理跟踪时变不动点，即时变凸优化问题的解决方案。该算法是一阶的，并且它允许所有代理的通信和计算中的总延迟，即，所有这些操作可以以任意定时和任意（有限）延迟发生。收敛速度是根据代理执行的通信和计算来计算的，而不指定何时必须发生。这些速率适用于收敛到每个单独的目标函数的最小值，以及代理的长期行为，因为它们的目标函数的变化。然后，为了提高有限的通信和计算资源的使用，我们优化代理的操作相对于他们的目标函数的变化，以最大限度地减少总不动点跟踪误差随着时间的推移的时间。仿真结果来说明这些发展在实践中，经验评估其鲁棒性代理的更新法律的不确定性。
2021-10-13 math.OC
Mirror Descent and Convex Optimization Problems With Non-Smooth Inequality Constraints
本文研究了具有凸非光滑不等式约束的简单集上的凸函数极小化问题，并描述了在光滑或非光滑目标函数、凸或强凸目标和约束、确定性或随机性信息等不同情况下求解这类问题的一阶方法。我们希望读者可以方便地在一个地方拥有不同设置的所有方法。所描述的方法基于镜像下降算法和切换次梯度方案。我们的重点之一是提出，为列出的不同设置，自适应步长和自适应停止规则的镜像下降。这意味着步长和停止规则都不需要知道目标或约束的Lipschitz常数。我们还构造镜像下降问题的目标函数，这不是Lipschitz连续的，例如，是一个二次函数。除此之外，我们还讨论了对偶问题解的恢复问题。
2018-01-29 math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题，提出原始-对偶平滑框架，分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
On the oracle complexity of smooth strongly convex minimization
我们构造了一个函数族，用于建立光滑强凸函数的一阶极小化的预言复杂性的下界。在此基础上，我们得到了强凸极小化问题在各种不精确准则下的复杂性的新的下界。新的边界匹配已知的上界一个常数的因素，当一个解决方案的不准确性是衡量其距离的解决方案集，新的下界完全匹配的上界由最近的信息理论的精确方法由相同的作者，从而建立这类问题的确切的预言复杂性。
2021-06-14 math.OC
Epi-convergent Smoothing with Applications to Convex Composite Functions
平滑方法已经成为研究和解决不可微和约束最优化问题以及一系列其他变分和平衡问题的标准工具集的一部分。本文综合和推广了Beck和Teboulle关于凸函数的下确界卷积光滑的最新结果。关于非凸函数的梯度相容性。我们使用epi收敛技术来定义epi平滑的概念，使我们能够利用丰富的变分结构的次微分非光滑，非凸，非有限值函数。作为一个例子的多功能性和范围epi平滑技术，结果被施加到一般的约束优化，其中非线性规划是一个特例。
2012-08-31 math.OC
Proximal gradient descent on the smoothed duality gap to solve saddle point problems
本文提出最小化自中心平滑间隙以求解凸-凹鞍点问题，将其转化为最小化问题，算法最坏复杂度与重启平均原始对偶混合梯度法相当且在有利情形下线性收敛。
2025-11-05 math.OC
Convergence of Clipped SGD on Convex $(L_0,L_1)$-Smooth Functions
本文在$(L_0,L_1)$-光滑凸函数上分析带梯度裁剪的SGD，证明其高概率收敛速率与$L$光滑情形下的SGD速率相当，并提出一种具有相同保证的自适应SGD变体，通过实验验证了理论与算法选择。
2025-06-03 math.OC
Self-Triggered Time-Varying Convex Optimization
提出了一种求解一类时变目标函数的凸优化问题的自触发算法。已知最优解的轨迹可由连续时间状态更新律渐近跟踪。不幸的是，实现这一点需要连续评估梯度和目标函数的逆Hessian，这不适合数字实现。或者，我们从自触发控制中汲取灵感，提出了一种策略，该策略自主地适应目标函数的计算时间，从而产生分段仿射状态更新法。该算法通过使用目标函数的高阶导数的已知上界预测梯度的时间演变来实现。我们所提出的方法保证收敛到任意小的邻域的最优轨迹在有限的时间内，而不会招致芝诺行为。我们用数值模拟来说明我们的框架。
2016-03-28 math.OC
Proximal Algorithms for Smoothed Online Convex Optimization with Predictions
针对带预测的平滑在线凸优化问题，本文提出基于交替近端梯度下降的滚动时域算法，实现动态遗憾随前瞻窗口指数衰减，并优于梯度下降法。
2023-10-13 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估，我们使用近似的邻近点，由于捆绑策略，以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值，并报告一些初步的数值结果。
2020-03-06 math.OC
Accelerated Proximal Gradient Method for Non-Strongly Convex Time-Varying Optimization
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对紧域上的时变复合优化问题，提出一种时变加速近端梯度方法，将基准TV-PG方法的函数值间隙渐近上界从O(δ^(1/2))改进为O(δ^(2/3))，并通过数值实验验证了其跟踪性能。
2026-10-09 math.OC
A double smoothing technique for solving unconstrained nondifferentiable convex optimization problems
本文的目的是在有限维空间中提出一种求解一类无约束不可微凸优化问题的有效算法。为此，我们制定第一Fenchel对偶问题和正规化它在两个步骤成为一个可微的强凸Lipschitz连续梯度。然后通过快速梯度法求解双重正则化对偶问题，目的是加速所得的收敛方案。最后将理论结果应用于图像处理中的l1正则化问题。
2012-03-09 math.OC
Accelerated Distance-adaptive Methods for Hölder Smooth and Convex Optimization
本文提出无参数加速距离自适应方法，解决Hölder光滑凸优化问题，无需先验参数或目标精度，实现最优随时收敛率，并扩展至随机优化，实验验证其有效性。
2025-10-25 math.OC
A note on the optimal convergence rate of descent methods with fixed step sizes for smooth strongly convex functions
基于Taylor、Hendrickx和Glineur（J. Optim.理论应用，178（2）：455--476，2018）关于光滑强凸函数梯度下降法的可达收敛速度，给出了固定步长下一般下降法的初等收敛性分析.它涵盖了一般的变度量法，梯度相关的角度和缩放条件下的搜索方向，以及不精确的梯度法。在所有情况下，最佳速率获得。
2022-03-23 math.OC
Performance Estimation for Smooth and Strongly Convex Sets
Johns Hopkins University（约翰斯·霍普金斯大学）
针对光滑且强凸集合，通过证明插值定理将性能估计问题转化为结构化数学规划，并应用于分离超平面法和线性优化算法的最优性分析。
2026-06-02 math.OC
