Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT（莫斯科物理技术学院）；Research Center of the Artificial Intelligence Institute, Innopolis University（因诺波利斯大学人工智能研究所）；ISP RAS（俄罗斯科学院斯捷克洛夫数学研究所）
本文研究了在时间变化网络上非光滑随机去中心化优化问题，针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法，应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Stochastic Dynamic Cutting Plane for multistage stochastic convex programs
本文介绍了随机动态割平面（Stochastic Dynamic Cutting Plane，StoDCuP）算法，它是随机对偶动态规划（SDDP）算法的一种扩展，用于求解多阶段随机凸优化问题。在每次迭代中，该算法不仅为成本函数（如SDDP所做的那样），而且还为一些或所有非线性成本和约束函数构建较低的仿射函数。证明了StoDCuP的几乎必然收敛.我们还介绍了一个不精确的变体StoDCuP的所有子问题的近似解决（有界误差），并显示此变体的消失误差的几乎必然收敛。
2021-04-07 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
A global stochastic maximum principle for forward-backward stochastic control systems with quadratic convex generator and unbounded terminal condition
Univ. Rennes, CNRS, IRMAR - UMR 6625（雷恩大学）；Southern University of Science and Technology（南方科技大学）
本文针对具有二次凸生成元和无界终端条件的前向后随机控制系统，引入新概率测度并采用新方法推导伴随方程，建立了全局随机最大值原理。
2026-11-10 math.OC
Multistep stochastic mirror descent for risk-averse convex stochastic programs based on extended polyhedral risk measures
我们考虑风险厌恶凸随机规划表示的扩展多面体风险措施。我们推导出可计算的置信区间的最优值，这样的随机规划使用鲁棒随机逼近和随机镜像下降（SMD）算法。当目标函数为一致凸时，我们还提出了一种多步扩展的随机镜像下降算法，并得到了最优值和最优解的置信区间.数值模拟表明，我们的置信区间比以前得到的SMD的置信区间保守性更小，计算速度更快，并且多步随机镜像下降算法比非多步随机镜像下降算法能更快地得到一个好的近似解.当样本量不比问题量大很多时，我们的置信区间也比渐近置信区间更可靠。
2016-09-02 math.OC
Stochastic Intermediate Gradient Method for Convex Problems with Inexact Stochastic Oracle
本文介绍了求解具有不精确随机预言的凸优化问题的新方法。第一种方法是Devolder，Glineur和Nesterov提出的中间梯度法的推广，用于求解不精确预言问题。我们的新方法可以应用于复合结构，随机不精确预言的问题，并允许使用非欧设置。我们证明估计的平均收敛速率和概率的大偏差从这个速度。对于强凸问题，我们还介绍了该方法的两个修正。对于第一个修改，我们证明了平均收敛速率估计和第二个，我们证明了大偏差的平均收敛速度收敛速率估计。所有速率给出了所提出的方法的复杂性估计，直到乘法常数符合所考虑的一类凸组合最优化问题的随机不精确预言的复杂性下界。
2015-12-07 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Zero Order Stochastic Weakly Convex Composite Optimization
本文考虑随机弱凸复合问题，但不存在随机次梯度预言。我们提出了一个导数免费算法，使用两点近似计算的平滑函数的梯度估计。我们证明了收敛速度与最先进的方法相似，但具有较大的常数，并报告了一些数值结果，表明该方法的有效性。
2020-02-19 math.OC
Dynamic programming in convex stochastic optimization
本文研究了Rockafellar和Wets在[30]中提出的一般凸随机最优化问题的动态规划原理。我们通过放松紧性和有界性假设扩展了理论的适用性。在金融数学的背景下，放松的假设满足著名的无套利条件和合理的渐近弹性条件的效用函数。除金融数学外，我们还在线性和非线性随机规划以及随机最优控制方面得到了一些新的结果。
2022-03-31 math.OC
On convex problems in chance-constrained stochastic model predictive control
研究离散时间演化线性随机动力系统的约束最优控制问题。我们考虑有限时间内的期望值成本最小化问题。硬约束的介绍，然后重新制定的概率约束。结果表明，对于一个合适的参数化的控制策略，广泛的一类由此产生的最优化问题是凸的，或承认合理的凸近似。
2009-05-21 math.OC
Multi-cut stochastic approximation methods for solving stochastic convex composite optimization
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种多切随机近似方法，用于高效求解随机凸组合优化问题，实现了近最优收敛速率和优于其他方法的计算性能。
2026-10-27 math.OC
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知，我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法，一般的随机和有限和最优化问题，具有相同或更高的收敛复杂性相比，目前最好的结果为无约束的问题设置。在一个数值实验中，我们比较我们的算法与当前国家的最先进的确定性算法，并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
Maximum principle for stochastic optimal control problem under convex expectation
本文针对G-期望控制的凸期望下的随机最优控制问题，利用分离定理得到表示定理，通过弱收敛和离散化推导变分方程，建立充分的最大值原理，并应用于线性二次控制问题。
2024-08-20 math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法，建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平（这种噪声的性质是不必要的随机）的收敛速率保持（乘法因子）。
2017-08-13 math.OC
Pointwise second-order necessary conditions for stochastic optimal controls, Part I: The case of convex control constraint
本文是我们建立随机最优控制的逐点二阶必要条件系列工作的第一部分。在该部分中，漂移项和扩散项都可以包含控制变量，但是假设控制区域是凸的。在Malliavin演算的一些假设下，我们建立了经典意义下的随机奇异最优控制的必要条件。
2014-09-09 math.OC
Convex integer minimization in fixed dimension
证明了在有界凸集的整数点上极小化凸函数是固定维数的多项式。
2012-03-19 math.OC
Accelerated Stochastic Optimization Methods under Quasar-convexity
针对随机设定下光滑 quasar-凸函数优化中现有方法复杂度高或收敛慢的问题，本文提出一类新型加速随机方法，并通过统一分析与实验证明其更快收敛且优于现有算法。
2023-06-05 math.OC
Gradient-Free Methods for Non-Smooth Convex Stochastic Optimization with Heavy-Tailed Noise on Convex Compact
针对仅能黑盒访问的带重尾噪声的非光滑凸随机优化问题，提出两种基于随机镜像下降的无梯度方法，并结合重启技术为满足r-增长条件的目标函数设计了更快的算法。
2023-08-24 math.OC
Primal-Dual Frank-Wolfe for Constrained Stochastic Programs with Convex and Non-convex Objectives
我们研究约束随机规划的决策向量在每个时隙不能自由选择，但绑定到一个潜在的随机状态向量的实现。目标是最小化受线性约束的一般目标函数。这种程序出现的典型场景是在时变信道的网络上的机会调度，其中随机状态向量是观察到的信道状态，并且控制向量是取决于当前信道状态的传输决策。我们考虑一个原始-对偶类型的弗兰克-沃尔夫算法，具有低复杂度的更新，在每个时隙，学习作出有效的决策，而无需先验知识的随机状态向量的概率分布。我们建立了凸和非凸目标函数的情况下的收敛时间保证。我们还强调了该算法的应用，非凸机会调度和分布式非凸随机最优化在连通图。
2018-06-02 math.OC
Inexact Tensor Methods and Their Application to Stochastic Convex Optimization
在目标导数信息不精确的情况下，提出了一般的非加速和加速张量方法，分析了它们的收敛速度。此外，我们提供的条件，在每个衍生物是足够的每个算法，以达到所需的精度的不精确性。作为推论，我们提出了随机张量方法的凸优化，并获得足够的小批量的每个衍生物。
2022-12-21 math.OC
Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization
块坐标下降法和随机次梯度法在优化和机器学习中得到了广泛的研究。将随机区组抽样与基于对偶平均的随机次梯度方法相结合，提出了随机区组对偶平均（SBDA）--一类求解凸非光滑随机最优化的新的区组次梯度方法. SBDA只需要一个块的次梯度和更新块的变量，因此具有显着降低迭代成本比传统的次梯度方法。我们表明，SBDA为基础的方法表现出凸非光滑随机最优化的最佳收敛速度。更重要的是，我们引入了随机步长规则和块采样方案，是自适应的块结构，这显着提高了收敛速度w.r. t。问题参数。这是在最近的块次梯度方法应用于非光滑确定性或随机最优化形成鲜明对比。对于强凸目标，我们提出了一个新的平均计划，使正则化的双重平均方法最优，而不必诉诸任何加速计划。
2015-09-15 math.OC
A Parameter-Free and Near-Optimal Zeroth-Order Algorithm for Stochastic Convex Optimization
本文针对随机凸优化问题，提出了一种无参数的零阶方法POEM，通过引入基于有限差分距离的步长方案和自适应平滑参数，实现了近乎最优的预言机复杂度，并在数值实验中优于现有方法。
2025-05-05 math.OC
On the Convergence of (Stochastic) Gradient Descent with Extrapolation for Non-Convex Optimization
外推法是求解凸优化和变分不等式的一种著名方法，近年来在非凸优化中引起了人们的关注。最近的几项工作已经在一些机器学习任务中取得了成功。然而，它还没有被分析为非凸极小化，仍然存在着理论和实践之间的差距。本文研究了光滑非凸优化问题中的梯度下降法和带外推的随机梯度下降法。我们的收敛上界表明，与外推算法可以加速比没有外推。
2019-02-05 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化，而最近的随机凸优化主要居住在光滑，无约束，强凸制度。自然，有一个迫切需要解决的非光滑性，缺乏强凸性，并存在约束。因此，本文提出了一个拟牛顿框架，可以处理仅仅是凸和可能的非光滑（但光滑）的随机凸问题。我们提出了一个框架，结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新（rsL-BFGS），生成一个序列的海森近似，可以容纳非光滑凸目标，利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下，所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度，而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$，其中$κ$是条件数，$m\geq 1$。在非平滑（但可平滑）区域，使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数，我们还提供了次线性率;（iii）在仅仅凸，但光滑的设置，正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时，正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
An Enhanced Gradient-Tracking Bound for Distributed Online Stochastic Convex Optimization
在求解分布式在线随机最优化问题时，基于梯度跟踪（GT）的分散方法已成为分散（随机）梯度下降（DSGD）的一种有效可行的替代方法。对GT方法的初步研究表明，GT方法比DSGD方法具有更差的网络依赖率，这与实验结果相矛盾。这一难题最近得到了解决，GT方法的更严格的费率已经建立，这改进了DSGD。在这项工作中，我们建立了更多的增强率的GT方法在线随机凸设置。我们提出了另一种方法来分析GT方法的凸问题和静态图。与以前的分析相比，这种方法使我们能够建立增强的网络依赖率。
2023-01-07 math.OC
Stochastic Three-Composite Convex Minimization
本文提出了一种求解三个凸函数之和极小化的随机最优化方法，其中一个凸函数具有Lipschitz连续梯度和限制强凸性。我们的方法是最适合的设置，它是计算上有利的处理光滑项的分解与其随机梯度估计和其他两个功能分别与他们的邻近算子，如双重正则化的经验风险最小化问题。在光滑项的随机梯度估计的标准假设下，我们证明了所提出的算法的收敛性。我们的方法在原始空间中操作，可以被认为是三算子分裂方法的随机扩展。数值证据支持我们的方法在现实世界中的问题的有效性。
2017-01-31 math.OC
Achieving Social Optimum in Non-convex Cooperative Aggregative Games: A Distributed Stochastic Annealing Approach
本文设计了一种求解非凸合作聚集对策的分布式随机退火算法，该算法的费用函数不仅依赖于Agent自身的决策变量，而且依赖于Agent决策变量之和。为了寻求合作聚集博弈的社会最优解，提出了一种分布式随机退火算法，其中局部费用函数是非凸的，Agent之间的通信拓扑是时变的。进一步分析了该算法对社会最优解的弱收敛性。 算例验证了算法的有效性.
2022-04-02 math.OC
Convergence analysis of stochastic gradient descent with adaptive preconditioning for non-convex and convex functions
本文针对现有带预处理的随机梯度算法缺乏预处理核心属性理论论证的问题，提出简洁理论框架，证明可优化光滑函数下收敛速率对梯度Lipschitz常数的依赖关系。
2023-08-27 math.OC
Faster Stochastic ADMM for Nonsmooth Composite Convex Optimization in Hilbert Space
School of Mathematics and Statistics, Lanzhou University（兰州大学数学与统计学院）；School of Mathematics, Jilin University（吉林大学数学学院）
本文提出一种随机交替方向乘子法用于解决Hilbert空间中非光滑复合和随机凸优化问题，证明了在强凸情况下算法的强收敛性，并展示了在强凸和一般凸情况下功能值和可行性违反的更快非平稳收敛率。
2026-05-15 math.OC
Strongly convex stochastic online optimization on a unit simplex with application to the mixing least square regression
本文提出了一种在非欧环境下利用随机在线镜像下降获得混合最小二乘回归估计的新方法。
2017-03-23 math.OC
Gradient and gradient-free methods for stochastic convex optimization with inexact oracle
本文推广了通用梯度法（Yu. Nesterov）推广到强凸情形和中间梯度法（Devolder-Glineur-Nesterov）。我们还考虑可能的泛化随机和在线环境。我们展示了如何将这些结果推广到无梯度方法和随机方向搜索方法。但本文的主要内容是对神谕的假设。我们认为神谕不准确。
2016-03-28 math.OC
Vaidya's method for convex stochastic optimization in small dimension
本文考虑了一个一般的凸随机最优化问题在一个相对低维的空间（例如，100个变量）。已知对于小维度的确定性凸优化问题，最快的收敛是通过重心型方法实现的（例如，Vaidya的割平面法）。对于随机最优化问题，Vaidya方法是否可以使用的问题归结为它如何在次梯度中积累不准确性的问题。作者最近的结果表明，错误不累积的迭代Vaidya的方法，这使得提出其模拟随机最优化问题。主要的技术是用其概率对应物（随机次梯度的算术平均）代替Vaidya方法中的次梯度。本文实现了所描述的计划，这最终导致一个有效的（如果并行计算是可能的）方法，用于解决凸随机最优化问题，在相对低维空间。
2022-01-25 math.OC
On Biased Stochastic Gradient Estimation
我们提出了一个统一的分析偏置随机梯度法最小化凸，强凸，非凸复合目标，并确定设置偏差是有用的随机梯度估计。我们提出的框架允许我们扩展近端支持有偏算法，包括SAG和SARAH，第一次在凸设置。我们还使用我们的框架来开发一种新的算法，随机平均递归算法（SARGE），实现了非凸，有限和目标的预言复杂性下限，并要求严格减少调用随机梯度预言每次迭代比SVRG和SARAH。我们支持我们的理论结果与数值实验，证明某些有偏梯度估计的好处。
2020-02-27 math.OC
Minibatch stochastic subgradient-based projection algorithms for solving convex inequalities
本文研究了凸可行性问题，其中可行集是一个（可能是无限个）闭凸集的交集。我们假设每个集合代数地指定为凸不等式，其中相关的凸函数是一般的（可能是不可微的）。为了找到一个点满足所有的凸不等式，我们设计和分析随机投影算法使用特殊的次梯度迭代和外推步长。此外，基于多个约束分量的并行随机观测来执行更新。对于这些小批量随机次梯度投影方法，我们证明了次线性收敛结果，并在一定的线性正则性条件下的功能约束，我们证明了线性收敛速率。我们还推导出条件下，这些速率显式依赖于minibatch大小。据我们所知，这项工作是第一个推导条件，表明当小批量随机次梯度为基础的投影更新有一个更好的复杂性比他们的单样本的变体。
2019-09-26 math.OC
Sample Average Approximations of Strongly Convex Stochastic Programs in Hilbert Spaces
本文研究了 Hilbert 空间中强凸随机规划的样本平均近似解的尾部行为，在无需可行集紧致性假设下建立了非渐近指数尾部界，并在无穷维优化问题上验证了理论。
2022-05-29 math.OC
Decentralized Asynchronous Non-convex Stochastic Optimization on Directed Graphs
随着多智能体控制和优化技术的兴起，分布式优化技术成为一个越来越重要的研究领域。我们考虑一个分散的随机最优化问题，在图上的代理的目标是异步优化的集体（添加剂）的目标函数组成的代理的个人（可能是非凸的）本地目标函数。每个代理只能访问其自身函数（目标函数之和的一个分量）的梯度的噪声估计。针对这类问题提出了一种异步分布式算法。该算法在异步推和框架下将随机梯度与跟踪相结合，并获得了一般非凸函数的标准次线性收敛速度，与集中式随机梯度下降SGD的速度相匹配。我们使用卷积神经网络对非凸图像分类任务进行的实验验证了我们所提出的算法在不同节点数和图形连接百分比上的收敛性。
2021-10-20 math.OC
Accelerated Stochastic Algorithms for Convex-Concave Saddle-Point Problems
提出了求解一类凸凹鞍点问题的随机一阶原始对偶法。当鞍函数关于原变量是强凸的时，我们给出了该问题的第一个随机重新启动方案。当梯度噪声服从亚高斯分布时，我们的重新启动方案的预言复杂度严格优于任何现有的方法，即使在确定性的情况下。此外，对于每个感兴趣的问题参数，只要存在下界，我们的重新启动方案的预言复杂性是最优的或接近最优的（对数因子）。该方案中所用的子程序本身就是一种新的随机算法，它是针对鞍函数在原始变量中是非强凸的问题而开发的。该算法基于原始-对偶混合梯度框架，实现了最先进的预言复杂度，并且可能具有独立的兴趣。
2021-04-10 math.OC
Optimal Distributed Stochastic Mirror Descent for Strongly Convex Optimization
本文研究时变多智能体网络上带约束集的非欧意义下随机强凸优化的收敛速度问题。我们提出了两个有效的非欧随机次梯度下降算法的基础上的Bregman分歧作为距离测量功能，而不是由标准的分布式随机投影次梯度法采用的欧几里德距离。对于非光滑和强凸函数的分布式优化，其唯一的随机次梯度是可用的，第一个算法恢复的最好的以前已知的速度为O（ln（T）/T）（其中T是总的迭代次数）。第二个算法是第一个算法的一个历元变体，它达到O（1/T）的最佳收敛速度，与先前已知的最佳集中式随机次梯度法相匹配。最后，我们报告一些模拟结果来说明所提出的算法。
2018-08-22 math.OC
Optimal Decentralized Distributed Algorithms for Stochastic Convex Optimization
我们考虑具有仿射约束的随机凸优化问题，并开发了几种使用原始方法或对偶方法来求解该问题的方法。在原始情况下，我们使用特殊的惩罚技术使初始问题更方便地使用最优化方法。对于凸光滑和强凸光滑目标函数，我们提出了基于不精确邻近步长的相似三角形算法来求解该问题，对于非光滑情况，我们提出了基于梯度滑动算法来求解该问题。我们证明了在光滑凸的情况下，确定性的一阶预言的收敛保证。本文提出并分析了三种新的处理仿射约束随机凸优化问题的方法：SPDSTM，R-RRMA-AC-SA $^2$，和SSTM_sc。SPDSTM是STM的随机原始-对偶修正，它被应用于原泛函在球上强凸且Lipschitz连续的对偶问题。我们将Dvinskikh & Gasnikov（2019）的结果扩展到只有有偏随机预言可用的情况。R-RRMA-AC-SA $^2$是基于Foster等人（2019）的RRMA-AC-SA $^2$重新启动的加速随机方法，SSTM_sc只是强凸问题的随机STM。这两种方法都适用于对偶问题时，原始功能是强凸，光滑，Lipschitz连续的一些球，并使用随机对偶一阶预言。我们分别对无偏和有偏的预言机进行了收敛性分析。最后，我们应用上述所有的结果和方法来解决分散的分布式最优化问题，并讨论所获得的结果的最优性方面的通信轮数和每节点的Oracle调用的数量。
2020-11-11 math.OC
Stochastic Approximation Proximal Subgradient Method for Stochastic Convex-Concave Minimax Optimization
本文针对随机凸-凹极小极大优化提出SAPS方法，并在有界次梯度条件不成立时进一步提出LSAAL方法，证明了两种算法均具有O(N^{-1/2})期望收敛速率及相应的高概率界。
2024-03-29 math.OC
Accelerated Stochastic Zeroth-Order Quasar-Convex Optimization
Institut de Mathématiques de Bordeaux, Université de Bordeaux（波尔多数学研究所，波尔多大学）
研究在仅通过随机零阶预言机获取有噪声函数评估时，对光滑拟凸函数进行无约束最小化的问题。设计零阶连续化算法，实现加速收敛保证，包含镜像步骤改善维度依赖性。
2026-07-23 math.OC
Convergence analysis of sampling-based decomposition methods for risk-averse multistage stochastic convex programs
考虑一类基于抽样的分解方法来求解风险规避的多阶段随机凸规划。我们证明了一个公式的计算所需的削减建立外部线性化的追索功能。该公式可用于求解凸非线性问题的随机对偶动态规划的有效实现。当相对完全补偿假设成立时，我们证明了这些分解方法的几乎必然收敛。我们还证明了这些算法的几乎必然收敛时，不满足相对完整的追索权假设的风险厌恶的多级随机线性规划。首先进行分析，假设基本的随机过程是阶段间独立的和离散的，在每个阶段具有可能实现的有限集。然后，我们指出了两种方法，扩展的方法和收敛性分析的情况下，当过程是级间依赖。
2016-09-09 math.OC
"Relative-Continuity" for Non-Lipschitz Non-Smooth Convex Optimization using Stochastic (or Deterministic) Mirror Descent
开发和分析非光滑（随机或确定性）凸优化的一阶方法的常用方法假设目标函数是一致Lipschitz连续的参数$M_f$。然而，在许多设置中，不可微凸函数$f(\cdot)$不是一致Lipschitz连续的-例如（i）经典支持向量机（SVM）问题，（ii）最小化凸二次函数的最大值的问题，甚至（iii）具有$f(x) := \max\{0, x\} + x^2$的单变量设置。在这里，我们开发了一个概念“相对连续性”，这是相对于用户指定的“参考函数”$h(\cdot)$（这应该是计算上易于处理的算法），我们表明，许多不可微凸函数相对于一个相应的相当简单的参考函数$h(\cdot)$是相对连续的。我们也同样发展了一个“相对随机连续“的随机设置的概念。我们分析了两个标准的算法-（确定性）镜像下降算法和随机镜像下降算法-在这两个新的设置解决最优化问题，我们第一次开发的计算保证的情况下，目标函数是不一致的Lipschitz连续。本文是不可微凸优化的一个姊妹篇，是Lu、Freund和Nesterov最近的一篇论文的姊妹篇，他们对可微凸优化给出了类似的结果。
2018-08-14 math.OC
Robins-Monro Augmented Lagrangian Method for Stochastic Convex Optimization
提出了求解一类约束随机凸优化问题的Robbins-Monro增广拉格朗日方法（RMALM），它可以看作是Robbins-Monro型随机逼近方法和凸优化增广拉格朗日方法的混合.在较弱的条件下，我们证明了该算法具有线性收敛速率。此外，而不是验证计算上难以处理的停止准则，我们表明，随着子问题迭代次数的增加，RMALM对于$\varepsilon$ -解具有全局复杂性$\mathcal{O}(1/\varepsilon^{1+q})$（即，$\mathbb{E}\left(\|x^k-x^*\|^2\right) < \varepsilon$），其中$q$是任何正数。仿真数据和实际数据的数值结果表明，该算法优于现有的算法。
2022-09-01 math.OC
Efficient randomized mirror descents in stochastic online convex optimization
本文考虑镜像下降法（对偶平均法）在随机在线凸优化问题中的应用。我们比较了经典的镜像下降（Nemirovski-Yudin，1979）与对偶平均（Nesterov，2005）和Grigoriadis-Khachiyan算法（1995）。Grigoriadis-Khachiyan算法是一种随机镜像下降（对偶平均）算法，它具有（次）梯度到单位单纯形的KL-投影的随机性。我们发现，这种随机化是解决稀疏矩阵对策以及凸优化和专家加权等问题的一种最优方法。
2016-12-09 math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机，所提出的方法是最佳的通信步骤的数量。然而，对于目标的所有类，每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique，我们表明，所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
Bidirectional SDDP with dimension-free complexity for solving strongly convex stochastic dynamic programming equations
School of Applied Mathematics, FGV（应用数学学院，FGV）
针对强凸多阶段随机优化问题，提出双向随机对偶动态规划算法，其迭代复杂度与状态空间维度无关，且随强凸性增强而降低。
2026-06-23 math.OC
Fast, Convexified Stochastic Optimal Open-Loop Control For Linear Systems Using Empirical Characteristic Functions
研究了存在未知扰动时的随机最优控制问题。我们通过经验特征函数表征扰动，并采用机会约束的方法。利用特征函数的性质和累积分布函数的欠逼近，我们可以将一个非凸问题转化为一个二次曲线的凸欠逼近问题。这导致了保证保持概率约束的极快的解决方案。我们构造算法的最佳开环控制使用分段线性逼近的经验特征函数，并证明我们的方法上的两个例子。
2020-12-14 math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization
介绍了一种新的随机近似交替线性化极小化算法SPRING，用于求解一类非光滑非凸优化问题。由于数据采集和计算能力的进步，大规模成像问题变得越来越普遍。受随机最优化方法成功的启发，我们提出了一个随机变体的邻近交替线性化最小化（PALM）算法\cite{bolte2014proximal}。我们提供了整体收敛保证，表明我们提出的方法与方差减少的随机梯度估计，如SAGA \cite{SAGA}和SARAH \cite{sarah}，实现了最先进的甲骨文复杂性。我们还证明了我们的算法的有效性，通过几个数值例子，包括稀疏非负矩阵分解，稀疏主成分分析，盲图像反卷积。
2021-01-19 math.OC
Universal fast gradient method for stochastic composit optimization problems
我们提出了一个新的简单的快速梯度法的变种，每次迭代只需要一个投影。我们称这种方法为三角形方法（TM），因为它有一个相应的几何描述。我们推广TM的凸和严格凸的复合最优化问题。然后，我们提出了通用三角形方法（UTM）的凸和严格凸的复合最优化问题（见余。内斯特罗夫，数学程序。2015.有关什么是通用快速梯度法的更多详细信息）。最后，基于小批量技术，我们提出了随机通用三角形法（SUTM）。SUTM可以应用于随机凸和严格凸的复合最优化问题。表示所有方法TM、UTM、SUTM在严格凸性参数上是连续的，并且所有方法都达到已知的下界。通过对问题结构的额外假设，这些方法比下界更有效。
2017-11-27 math.OC
Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems
随机邻近梯度（SPG）方法已广泛用于机器学习和统计中使用简单（可能非光滑）正则化器解决最优化问题。然而，据我们所知，没有非渐近收敛分析SPG存在的非凸优化与非光滑和非凸正则化。现有的SPG求解非光滑非凸问题的非渐近分析都要求非光滑正则化子是凸函数，因此不适用于非光滑非凸正则化问题.这项工作启动分析，以弥合这一差距，打开了大门，非渐近收敛分析的非光滑非凸正则化问题。我们分析了几个变种的小批量SPG方法最小化的非凸目标，包括一个光滑的非凸损失和非光滑的非凸正则化。我们的贡献是双重的：（i）我们表明，他们享有相同的复杂性，他们的同行解决凸正则化非凸问题方面找到一个近似的驻点;（ii）我们开发更实用的变种使用动态的小批量大小，而不是一个固定的小批量大小，而不需要目标精度水平的解决方案。我们的结果的意义是，他们改进的国家的最先进的结果解决非光滑非凸正则化问题。我们还实证证明了所考虑的SPG方法与其他同行的随机方法相比的有效性。
2019-11-18 math.OC
Revisiting Stochastic Gradient Descent for Strongly Convex Objectives: Tight Uniform-in-Time Bounds
本文重新审视强凸目标的随机梯度下降，推导出一致时间紧收敛界，并改进了最后迭代收敛速率。
2026-03-18 math.OC
A Simple Convergence Time Analysis of Drift-Plus-Penalty for Stochastic Optimization and Convex Programs
本文考虑了在其它过程的时间平均约束下，使一个随机过程的时间平均最小化的问题。一个典型的例子是在多用户吞吐量约束下最小化数据网络中的平均功率。另一个例子是（静态）凸规划。在Slater条件下，漂移加惩罚算法已知以$O(1/ε^2)$的收敛时间提供对最优性的$O(ε)$近似。本文证明了同样的结果，一个更简单的技术，并在更一般的情况下，不需要斯莱特条件。本文还强调了基本凸规划，线性规划和分布式最优化问题的应用。
2014-12-02 math.OC
