Improved Binary Forward Exploration: Learning Rate Scheduling Method for Stochastic Optimization
CU Boulder（科罗拉多大学博尔德分校）
最近提出了一种新的基于梯度的自动调度学习率的优化方法，称为二进制前向探索（BFE）。此后还讨论了BFE的自适应版本。本文将在此基础上研究改进算法，以优化新方法的效率和鲁棒性。这种改进的方法为调度学习率的更新提供了一个新的视角，并将与随机梯度下降算法（也称为具有动量或Nesterov动量的SGD算法）和最成功的自适应学习率算法（例如Adam）进行比较。该方法的目标不是击败其他方法，而是提供一个不同的视角来优化梯度下降过程。该方法结合了一阶优化和二阶优化在速度和效率方面的优点。
2022-09-22 cs.LG math.OC
humancompatible.train: Implementing Optimization Algorithms for Stochastically-Constrained Stochastic Optimization Problems
Artificial Intelligence Center, Czech Technical University in Prague（捷克技术大学布拉格分校人工智能中心）
本文提出humancompatible.train，一个基于PyTorch的可扩展Python包，用于实现随机约束随机优化算法，并通过公平性约束任务验证其有效性。
2025-09-25 cs.LG math.OC
MixedGrad: An O(1/T) Convergence Rate Algorithm for Stochastic Smooth Optimization
Michigan State University（密歇根州立大学）
光滑函数随机优化的最优收敛速度是$O(1/\sqrt{T})$，这与Lipschitz连续凸函数随机优化的最优收敛速度相同。这与使用全梯度优化平滑函数形成对比，全梯度产生$O(1/T^2)$的收敛速率。在这项工作中，我们考虑一个新的设置优化光滑函数，称为{ \bf混合优化}，它允许访问随机预言和一个完整的梯度预言。我们的目标是显着提高光滑函数的随机优化的收敛速度有一个额外的少量的访问完整的梯度预言。我们表明，与$O(\ln T)$调用全梯度预言和$O(T)$调用随机预言，建议的混合优化算法是能够实现的优化误差$O(1/T)$。
2013-07-26 cs.LG math.OC
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Meiji University（明治大学）
将Adam算法与非线性共轭梯度法相结合，提出了一种基于共轭梯度的Adam算法，并给出了收敛性分析。文本分类和图像分类的数值实验表明，与现有的自适应随机最优化算法相比，该算法能够在更少的时期内训练深度神经网络模型。
2020-03-03 cs.LG math.OC
R-SPIDER: A Fast Riemannian Stochastic Optimization Algorithm with Curvature Independent Rate
Massachusetts Institute of Technology（麻省理工学院）
研究了黎曼流形上的光滑随机最优化问题。通过将最近提出的SPIDER算法\citep{fang2018spider}（一种方差缩减的随机方法）应用于黎曼流形，我们可以在有限和和随机环境下获得比已知算法更快的速度。与以前的工作不同，通过\emph{not}诉诸边界的距离，我们的分析产生曲率无关的收敛速度的非凸和强凸的情况下。
2018-12-14 cs.LG math.OC
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping
MIPT（莫斯科物理技术学院）；HSE（高等经济学院）；ICS RAS（俄罗斯科学院系统编程研究所）
本文提出了一种新的加速随机一阶方法--剪切SSTM，用于求解随机梯度中带重尾分布噪声的光滑凸随机最优化问题，并给出了该方法的第一个高概率复杂度界，填补了带重尾噪声的随机最优化理论的空白.我们的方法是基于加速随机梯度下降（SGD）和随机梯度裁剪的一个特殊的变种。我们将我们的方法扩展到强凸的情况下，并证明了新的复杂性界限，在这种情况下优于国家的最先进的结果。最后，我们扩展了我们的证明技术，并推导出第一个非平凡的高概率复杂性界的SGD裁剪没有轻尾假设的噪声。
2020-10-23 cs.LG math.OC
Online Stochastic Optimization with Multiple Objectives
Michigan State University（密歇根州立大学）；GE Global Research（通用电气全球研究中心）
在本文中，我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法，达到了$O(T^{-1/3})$收敛速度。然后，利用约束优化中的拉格朗日理论，设计了一种新的原始-对偶随机近似算法，该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Third-order Smoothness Helps: Even Faster Stochastic Optimization Algorithms for Finding Local Minima
University of Virginia（弗吉尼亚大学）
我们提出了随机最优化算法，可以找到局部极小值比现有的算法更快的非凸最优化问题，利用三阶光滑逃避非退化鞍点更有效。更具体地说，所提出的算法只需要$\tilde{O}(ε^{-10/3})$随机梯度评估收敛到一个近似的局部最小值$\mathbf{x}$，它满足$\|\nabla f(\mathbf{x})\|_2\leqε$和$λ_{\min}(\nabla^2 f(\mathbf{x}))\geq -\sqrtε$在一般的随机最优化设置，其中$\tilde{O}(\cdot)$隐藏对数多项式项和常数。这将现有技术的随机局部最小值查找算法所实现的$\tilde{O}(ε^{-7/2})$梯度复杂度提高了$\tilde{O}(ε^{-1/6})$的因子。对于非凸有限和优化，我们的算法也优于最好的已知算法在一定的制度。
2017-12-18 cs.LG math.OC
Sequential Quadratic Optimization for Nonlinear Equality Constrained Stochastic Optimization
University of Michigan（密歇根大学）；Lehigh University（里海大学）
提出了求解带等式约束的光滑非线性最优化问题的序列二次优化算法。主要的焦点是当约束函数是确定的，约束函数和导数值可以显式计算，但目标函数是随机的情况下，提出的算法。假设在这种情况下，虽然可以计算随机函数和梯度估计，但显式计算目标函数和导数值是困难的。作为这个随机设置的起点，提出了一种算法，用于确定性设置，该确定性设置是仿照一个国家的最先进的线搜索SQP算法，但使用的步长选择计划的基础上Lipschitz常数（或自适应估计Lipschitz常数）的线搜索。这为随机设置的所提出的算法设置了阶段，假设线搜索将是难以处理的。在合理的假设下，收敛（分别为~对于所提出的确定性（分别为~），证明了从远程起点的期望收敛随机）算法。数值实验的结果表明，我们所提出的技术的实际性能。
2020-07-20 cs.LG math.OC
A Unified Convergence Theorem for Stochastic Optimization Methods
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
在这项工作中，我们提供了一个基本的统一收敛定理，用于推导预期和几乎必然收敛的结果，一系列的随机最优化方法。我们的统一定理只需要验证几个代表性的条件，而不是针对任何特定的算法。作为一个直接的应用程序，我们恢复预期和几乎必然收敛的结果的随机梯度法（SGD）和随机重排（RR）在更一般的设置。此外，我们建立了新的期望和几乎必然收敛结果的随机邻近梯度法（S-SGD）和随机模型为基础的方法（SMM）的非光滑非凸最优化问题。这些应用表明，我们的统一定理提供了一个插件型的收敛性分析和强收敛保证的广泛的一类随机最优化方法。
2022-10-19 cs.LG math.OC
Logic-based Benders Decomposition and Binary Decision Diagram Based Approaches for Stochastic Distributed Operating Room Scheduling
分布式手术室（OR）调度问题的目的是找到一个手术分配到手术室之间的合作医院，共享他们的等候名单和OR。我们提出了一个随机扩展这个问题的手术时间被认为是不确定的。为了获得具有挑战性的随机模型的解决方案，我们使用样本平均近似，并开发了两个增强的分解框架，使用基于逻辑的Benders（LBBD）最优切割和基于二元决策图的Benders切割。具体而言，据我们所知，推导LBBD最优切割在随机规划的情况下是新的文献。我们在医院数据集上的计算实验表明，随机制定产生强大的时间表，我们的算法提高了计算效率。
2020-10-02 math.OC
Mean Field Stochastic Games with Binary Action Spaces and Monotone Costs
本文考虑了多智能体马尔可夫决策过程（MDP）框架下的平均场博弈。每个参与者都有一个连续体状态和二元行动。通过主动控制，玩家可以将其状态带到重置点。所有参与者通过其费用函数耦合。当平均场博弈有解时，个体策略的结构性可以用阈值策略来描述。在正外部性条件下，我们进一步引入了平均场博弈的平稳方程组，并分析了其解的唯一性。
2017-01-23 math.OC
A Single-Timescale Method for Stochastic Bilevel Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
随机双层优化将经典的随机最优化从单个目标的最小化推广到依赖于另一个最优化问题的解的目标函数的最小化。最近，随机双层优化在新兴的机器学习应用中重新流行，例如超参数最优化和模型无关Meta学习。为了解决这类随机最优化问题，现有的方法需要双循环或两个时间尺度的更新，有时效率较低。本文对一类随机双层优化问题提出了一种新的最优化方法--单时间尺度随机双层优化方法（STABLE）。STABLE以单循环方式运行，并使用具有固定批大小的单时间刻度更新。为了实现$ε$ -二层问题的稳定点，STABLE需要${\cal O}(ε^{-2})$样本总数;并且为了在强凸情况下实现$ε$ -最优解，STABLE需要${\cal O}(ε^{-1})$样本。据我们所知，这是第一个双层优化算法实现相同的顺序的样本复杂性的随机梯度下降方法的单级随机最优化。
2022-03-31 cs.LG math.OC stat.ML
Recovery of binary sparse signals from compressed linear measurements via polynomial optimization
从少量的线性测量中恢复具有有限值分量的信号是一个具有广泛应用和有趣的数学特性的问题。在压缩感知框架中，最近已经提出了定制的方法来处理有限值稀疏信号的情况。在这项工作中，我们专注于二进制稀疏信号，我们提出了一种新的配方，基于多项式优化。这种方法进行了分析和比较，最先进的二进制压缩传感方法。
2019-05-30 cs.LG eess.SP math.OC
Adaptive Stochastic Optimization
优化是机器学习和信号处理的核心。基于随机梯度法的当代方法是非自适应的，因为它们的实现采用了需要针对每个应用进行调整的规定参数值。本文总结了最近的研究和激励未来的工作，自适应随机最优化方法，这有可能提供显着的计算节省训练大规模系统。
2020-01-18 cs.LG math.OC stat.ML
Leveraging Decision Diagrams to Solve Two-stage Stochastic Programs with Binary Recourse and Logical Linking Constraints
本文推广基于二元决策图的方法，求解具有二元补偿和逻辑链接约束的两阶段随机规划，并纳入条件风险价值，提出首个相应分解方法，应用于随机支配集问题。
2023-11-14 math.OC
Binary Mean Field Stochastic Games: Stationary Equilibria and Comparative Statics
本文考虑了多智能体马尔可夫决策过程（MDP）框架下的平均场博弈。每个参与者都有一个连续的状态和二元的行动，并从整体人口状况的改善中受益。在正外部性条件下，基于无限水平的个体成本折现，证明了一个平稳均衡的存在性，并证明了它的唯一性。我们进一步分析了静态均衡的比较静态定量确定的努力成本的影响。
2021-01-01 math.OC
Scenario Aggregation using Binary Decision Diagrams for Stochastic Programs with Endogenous Uncertainty
在随机规划中对决策相关的场景概率进行建模是困难的，并且通常会导致非常难以求解的大且高度非线性的MINLP。在本文中，我们开发了一种新的方法来获得一个紧凑的表示的追索功能使用一组二进制决策图（BDD），编码的嵌套覆盖的场景集。由此产生的BDD然后可以被用来有效地表征决策相关的情况下的概率由一组线性不等式，这基本上是因式分解的概率分布，从而允许重新制定整个问题作为一个小的混合整数线性规划。该方法适用于一个大类的随机规划与多变量二进制场景集，如随机网络设计，网络可靠性，或随机网络阻断问题。计算结果表明，基于BDD的场景表示减少了问题的大小，因此，计算时间，显着相比，以前的方法。
2017-01-17 cs.DM math.OC
Stochastic Coordinate Minimization with Progressive Precision for Stochastic Convex Optimization
Cornell University（康奈尔大学）
提出了一种基于迭代坐标极小化（CM）的随机凸优化框架。由于目标函数的未知随机性，精确的坐标最小化是不可能的，所提出的优化算法的关键是在每次迭代中的最小化精度的最优控制。我们建立了强凸可分离非光滑函数的最优精度控制和由此得到的阶最优后悔性能。一个有趣的发现是，跨迭代的精度的最佳进展是独立的低维CM例程，这表明一个一般的框架扩展低维优化例程高维问题。该算法适合在线实现，并继承了CM的可扩展性和并行化性能的大规模优化。只需要一个次线性顺序的消息交换，它也适合于分布式计算相比，坐标梯度下降的替代方法。
2020-03-11 cs.LG math.OC stat.ML
Stochastic Polynomial Optimization
本文研究了带多项式的随机最优化问题。我们提出了一个具有样本平均值和扰动的最优化模型。采用Lasserre型Moment-SOS松弛法求解样本平均优化问题。研究了优化及其松弛的性质。数值实验。
2019-08-15 math.OC
Stochastic Block Mirror Descent Methods for Nonsmooth and Stochastic Optimization
本文提出了一种新的随机算法，即随机块镜像下降（SBMD）方法，用于求解大规模非光滑和随机最优化问题。该算法的基本思想是将块坐标分解和增量块平均方案结合到经典（随机）镜像下降法中，以显著降低后者的每次迭代代价。我们建立了SBMD方法的收敛速率以及解决一般非光滑和随机最优化问题的相关大偏差结果。我们还介绍了不同的变种，这种方法，并建立他们收敛速率解决强凸，光滑，复合最优化问题，以及某些非凸最优化问题。据我们所知，所有这些发展有关的SBMD方法是新的随机最优化文献。此外，我们的一些结果似乎也是新的块坐标下降法的确定性优化。
2013-09-09 math.OC
On the complexity of local search in unconstrained quadratic binary optimization
我们考虑的问题，找到一个局部极小值的二元二次函数，并显示由一个基本的建设，每一个下降的局部搜索算法需要指数时间在最坏的情况下。
2016-05-13 math.OC
A Hybrid Stochastic Optimization Framework for Stochastic Composite Nonconvex Optimization
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；IBM Research（IBM研究院）
针对一类随机组合且可能非凸的最优化问题，提出了一种新的随机最优化算法。其主要思想是将两个随机估计组合起来，形成一个新的混合估计。我们首先介绍我们的混合估计，然后研究其基本性质，形成算法开发的基础理论。接下来，我们应用我们的理论来开发随机梯度法的几个变种，以解决期望和有限和复合最优化问题。我们的第一个算法可以被看作是一个单一的循环的近端随机梯度法的变体，但可以实现$\mathcal{O}(σ^3\varepsilon^{-1} + σ\varepsilon^{-3})$ -oracle的复杂性界，匹配最知名的，从国家的最先进的双循环算法在文献中，其中$σ> 0$是方差和$\varepsilon$是一个理想的精度。然后，我们考虑我们的方法的两个不同的变体：自适应步长和重新启动计划，在我们的第一个算法中有类似的理论保证。我们还研究了所提出的方法的两个小批量的变种。在所有的情况下，我们都达到了标准假设下最著名的复杂性界限。我们用真实数据集在几个数值例子上测试了我们的方法，并将它们与最先进的方法进行了比较。我们的数值实验表明，新的方法是可比的，在许多情况下，优于他们的竞争对手。
2020-05-03 cs.LG math.OC stat.ML
An optimal algorithm for stochastic strongly-convex optimization
我们考虑随机凸优化与强凸（但不一定光滑）的目标。我们给出了一个算法，只执行梯度更新的最佳收敛速率。
2010-06-12 math.OC
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University（湘潭大学）
受动态规划的启发，提出了随机虚拟梯度下降（SVGD）算法，其中虚拟梯度由计算图和自动微分定义。该方法计算效率高，内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明，SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Dynamic Stochastic Approximation for Multi-stage Stochastic Optimization
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
本文考虑了在每一阶段都具有凸目标和锥约束的多阶段随机最优化问题。我们提出了一种新的随机一阶方法，即动态随机逼近（DSA）算法，用于解决这类随机最优化问题。我们表明，DSA可以实现一个最佳的${\cal O}(1/ε^4)$收敛速率方面所需的情况下，应用到一个三阶段的随机最优化问题的总数。我们进一步表明，这种收敛速率可以提高到${\cal O}(1/ε^2)$时，目标函数是强凸的。我们还讨论了变形的DSA解决更一般的多阶段随机最优化问题的阶段数$T > 3$。所开发的DSA算法只需要通过一次场景树，以计算多阶段随机最优化问题的$ε$ -解决方案。因此，DSA所需的存储器仅相对于级数线性增长。据我们所知，这是第一次，随机逼近型方法推广到多阶段随机最优化与$T \ge 3$。
2019-08-20 cs.CC cs.LG math.OC
A Quantum Approach for Stochastic Constrained Binary Optimization
分析和实践证据表明，量子计算解决方案优于经典的替代方案。基于量子的几何学依赖于变分量子本征求解器（VQE）和量子近似优化算法（QAOA）已经被数值地示出以生成高质量的解决方案来解决困难的组合问题，然而将约束结合到这样的问题一直是难以捉摸的。为此，本工作提出了一个量子启发式处理随机二次二次约束二次规划（QCQP）。识别量子线路的强度以有效地从否则难以从中采样的概率分布生成样本，训练变分量子线路以生成二进制值向量来近似求解前述随机程序。该方法建立在对偶分解，需要解决一系列明智的修改标准VQE任务。使用量子模拟器对几个合成问题实例进行的测试证实了该方法的近最优性和可行性，以及其为确定性QCQP生成可行解的潜力。
2023-01-04 math.OC quant-ph
A new Simheuristics procedure for stochastic combinatorial optimization
本文提出一种基于统计模型动态切换确定性/随机优化重点的新型仿真启发式方法，在解空间探索与利用间取得平衡，并在现实随机调度问题上验证了其优于标准仿真启发式策略的求解效率。
2024-07-18 math.OC
Nonconvex Stochastic Nested Optimization via Stochastic ADMM
我们考虑随机嵌套复合优化问题的目标是两个期望值函数的组合。我们提出了随机ADMM来解决这个复杂的目标。为了找到一个$ε$平稳点，相应的增广拉格朗日次梯度的期望范数小于$ε$，我们的方法的总样本复杂度为$\mathcal{O}(ε^{-3})$的在线情况下和$\mathcal{O} \Bigl((2N_1 + N_2) + (2N_1 + N_2)^{1/2}ε^{-2}\Bigr)$的有限和的情况下。该算法的计算复杂度与\cite{zhang2019multi}中提出的近似算法一致，但在惩罚函数的近似映射不易计算的情况下，该算法可以解决更一般的问题。
2019-11-12 cs.LG math.OC stat.ML
On the strength of recursive McCormick relaxations for binary polynomial optimization
递归McCormick松弛是求解二元多项式最优化问题的最常用的凸化方法之一。众所周知，这些松弛的质量和大小都取决于递归序列，并且找到最佳递归序列相当于解决困难的组合最优化问题。在本文中，我们证明了任何递归McCormick松弛都隐含在扩展花松弛中，扩展花松弛是一种线性规划松弛，是Del Pia和Khajavirad 2018年引入的花松弛的自然推广，对于具有固定次数的二元多项式最优化问题，可以在强多项式时间内求解。
2023-01-18 math.OC
Cutting plane algorithms for nonlinear binary optimization
当前求解离散最优化问题的方法通常局限于凸集。在本文中，我们提出了一个通用的方法，基于切割平面解决非线性，可能非凸，二进制最优化问题。我们提供了一个严格的收敛性分析，量化了在不同条件下所需的迭代次数。这是不同的离散最优化，只有有限的收敛性证明的大多数其他工作。此外，利用变分分析的工具，我们提供了必要和充分的对偶最优性条件。
2022-03-18 math.OC
A Stochastic Newton Algorithm for Distributed Convex Optimization
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
我们提出并分析了均匀分布的随机凸优化的随机牛顿算法，其中每台机器可以计算相同的人口目标的随机梯度，以及随机Hessian向量乘积（人口目标的Hessian的独立无偏估计与任意向量的乘积），许多这样的随机计算在两轮通信之间进行。我们表明，与现有方法相比，我们的方法可以减少所需通信轮的数量和频率，而不会损害性能，通过证明准自协调目标的收敛保证（例如，逻辑斯谛回归），以及经验证据。
2021-10-07 cs.LG math.OC stat.ML
A termination criterion for stochastic gradient descent for binary classification
我们提出了一个新的，简单的，计算成本低廉的终止测试恒定步长随机梯度下降（SGD）应用于二进制分类的逻辑和铰链损失与齐次线性预测。我们的理论结果支持我们的停止准则的有效性时，数据是高斯分布。这种噪声的存在允许不可分离数据的可能性。我们表明，我们的测试终止于有限数量的迭代，当数据中的噪声不是太大，预期的分类器在终止时几乎最大限度地减少了误分类的概率。最后，数值实验表明，真实的和合成的数据集，我们的终止测试具有良好的预测精度和运行时间。
2020-03-23 math.OC stat.ML
Inference in higher-order undirected graphical models and binary polynomial optimization
本文研究高阶无向图模型中的二元推断问题，将其转化为二元多项式优化，提出并比较多种线性规划松弛，并通过图像恢复和纠错码解码实验验证其有效性。
2024-12-15 math.OC
Stochastic Recursive Momentum Method for Non-Convex Compositional Optimization
我们提出了一种新的随机最优化算法，称为STORM-组合优化，最大限度地减少了两个随机函数的期望组合，后者是一个最优化问题，出现在各种重要的机器学习应用。通过在成分梯度更新中引入动量项，STORM-Compositional以指数移动平均的方式操作随机递归方差约减的成分梯度。这导致STORM-组合的$O(\varepsilon^{-3})$复杂度上界，其匹配先前宣布的组合优化算法中的最佳已知复杂度界限。同时，STORM-组合是一个单循环算法，避免了在大批量和小批量之间进行典型的交替调整，以及记录检查点梯度，这些都是方差减少的随机梯度法中持续存在的。这使得相当简单的参数调整在数值实验中，这表明了优于其他随机组合优化算法的STORM组合。
2020-06-07 math.OC
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
本文研究了非凸随机最优化的随机拟牛顿法，其中我们假设只有目标函数的梯度的随机信息可以通过随机一阶预言机（SFO）得到.首先，我们提出了求解非凸随机最优化的随机拟牛顿法的一般框架。建议的框架扩展了经典的拟牛顿法在确定性设置随机设置，我们证明了其几乎必然收敛平稳点。其次，我们提出了一类随机随机拟牛顿法的一般框架，其中算法进行的迭代次数是随机变量。分析了这类方法的最坏情况SFO调用复杂度。第三，我们提出了两个具体的方法，即随机阻尼BFGS方法和随机循环Barzilai-Borwein方法。最后，我们报告的数值结果来证明所提出的方法的效率。
2014-12-04 math.OC
Adaptive Stochastic Mirror Descent for Constrained Optimization
镜像下降法是求解非光滑凸优化问题的一种著名方法。本文分析了自适应步长MD的随机变化。它的平均收敛速度比固定步长和最佳的下界。
2017-05-04 math.OC
Higher-Order Stochastic Dominance Constraints in Optimization
本文针对含不可数随机占优约束的优化问题，提出通过有限测试点缩减约束的方法，并引入期望算子和风险度量两种表述，构建优化框架，数值验证其在投资组合优化中的高效稳健性。
2025-02-26 math.OC
Martingale Characterizations of Risk-Averse Stochastic Optimization Problems
本文讨论了随机最优化问题的风险意识。嵌套风险度量在这种情况下自然出现，因为它们允许对算法治疗进行有益的重新制定。通过在问题表述中引入风险意识，提出的重构扩展了动态最优化中常见的Hamilton-Jacobi-Bellman方程。嵌套风险度量建立在风险度量之上，风险度量来源于随机过程的历史条件。我们推导出这些风险测度的鞅性质，并用它们来证明连续性。它表明，随机最优化问题，其中包括风险意识，通过嵌套的风险措施，是连续的自然距离，这些最优化问题，嵌套的距离。
2018-02-13 math.OC
A trust-region method for derivative-free nonlinear constrained stochastic optimization
在这项工作中，我们介绍了随机非线性约束无导数最优化方法（S）NOWPAC（随机非线性最优化路径增广约束）。该方法扩展了无导数优化器NOWPAC适用于不确定性下的优化。它是基于一个置信域框架，利用本地完全二次代理模型结合高斯过程代理，以减轻噪音的目标函数和约束评估。我们展示了我们的算法的性能从CUTEst基准套件的各种强大的最优化问题通过比较其他国家的最先进的最优化方法。虽然我们专注于强大的优化基准问题，以证明（S）NOWPAC的能力，优化器可以适用于广泛的应用在非线性约束随机最优化。
2022-01-21 math.OC
Consistency of sample-based stationary points for infinite-dimensional stochastic optimization
本文研究Banach空间中非光滑随机优化问题的样本近似方法，证明了样本近似Clarke平稳点的一致性，并将其应用于风险规避和风险中性的PDE约束优化。
2023-06-29 math.OC
Expectiles In Risk Averse Stochastic Programming and Dynamic Optimization
本文主要讨论动态优化和随机最优化中的期望问题。期望函数是一类风险泛函，它是最优化问题的极小化函数。由于这个原因，他们享有各种独特的稳定性，可以利用在风险规避管理，随机最优化和最优控制。本文提供了紧密联系的期望其他风险泛函，并解决其性质的回归。此外，我们将期望扩展到动态框架。因此，它们允许在连续时间动态最优化和Hamilton-Jacobi-Bellman方程的风险规避变体中并入风险规避方面。
2023-03-06 math.OC
A Single Time-Scale Stochastic Approximation Method for Nested Stochastic Optimization
研究约束嵌套随机最优化问题，其中目标函数是两个光滑函数的组合，其精确值和导数是不可用的。我们提出了一个单时间尺度的随机近似算法，我们称之为嵌套平均随机逼近（NASA），找到一个近似的稳定点的问题。该算法有两个辅助平均序列（滤波器），估计复合目标函数的梯度和内部函数值。通过使用一个特殊的李雅普诺夫函数，我们表明，美国宇航局实现的样本复杂性的${\cal O}(1/ε^{2})$找到一个$ε$ -近似平稳点，从而优于现有的嵌套随机逼近的方法。我们的方法和分析是相同的无约束和约束问题，而不需要任何批量样本的约束非凸随机最优化。我们还提出了一个简化的变体的NASA方法求解约束单级随机最优化问题，我们证明了相同的复杂性结果为无约束和约束问题。
2019-09-06 math.OC
Adaptive fast gradient method in stochastic optimization tasks
本文提出了一种基于镜像变形相似三角形方法的随机自适应快速梯度下降法。据我们所知，这是第一次尝试使用自适应随机方法。另外，还从大偏差概率的角度证明了一个主要结果.
2017-11-30 math.OC
Distributed Momentum-based Frank-Wolfe Algorithm for Stochastic Optimization
本文考虑了分布式随机最优化问题，在该问题中，多个智能体通过局部计算和与网络上的邻居进行信息交换来协作优化全局目标函数。随机最优化问题通常是通过投影随机梯度下降的变体来解决的。然而，将一个点投影到一个可行集上通常是昂贵的。Frank-Wolfe（FW）方法在处理凸约束方面具有良好的优点，但现有的随机FW算法基本上是针对集中设置开发的。在这种情况下，目前的工作提出了一个分布式随机Frank-Wolfe求解器，明智地结合Nesterov的动量和梯度跟踪技术的随机凸和非凸优化网络。结果表明，该算法对凸优化问题的收敛速度为$\mathcal{O}(k^{-\frac{1}{2}})$，对非凸优化问题的收敛速度为$\mathcal{O}(1/\mathrm{log}_2(k))$.该算法的有效性证明了数值模拟对一些竞争的替代品。
2022-08-08 math.OC
Algorithms and analyses for stochastic optimization for turbofan noise reduction using parallel reduced-order modeling
基于仿真的涡扇发动机短舱声衬降噪优化设计可以显著降低试验设计的成本和时间。由于不确定性是不可避免的，在设计过程中，随机最优化算法的基础上提出的条件风险值的措施，使一个理想的声衬阻抗是确定的存在不确定性的鲁棒性。并行降阶建模框架的开发，显着提高了随机最优化求解器的计算效率，为一个现实的短舱几何形状。简化的随机最优化求解器的执行时间不到小于500秒。此外，还给出了状态系统和最优化问题的适定性和有限元误差分析。
2016-11-02 math.OC
Dynamic programming in convex stochastic optimization
本文研究了Rockafellar和Wets在[30]中提出的一般凸随机最优化问题的动态规划原理。我们通过放松紧性和有界性假设扩展了理论的适用性。在金融数学的背景下，放松的假设满足著名的无套利条件和合理的渐近弹性条件的效用函数。除金融数学外，我们还在线性和非线性随机规划以及随机最优控制方面得到了一些新的结果。
2022-03-31 math.OC
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题，其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构，这可能不容易计算其邻近映射。为了解决这些问题，我们提出了一个小批量随机Nesterov平滑（MSNS）方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明，所提出的MSNS方法的支持向量机（SVM）模型的效率。
2021-09-11 math.OC
Binary interaction methods for high dimensional global optimization and machine learning
在这项工作中，我们介绍了一类新的梯度自由的全球最优化方法的基础上的二元相互作用动力学的玻尔兹曼型方程。在每个相互作用中，粒子的行为都考虑到最佳微观二元位置和最佳宏观集体位置。在平均场的限制，我们表明，由此产生的福克-普朗克偏微分方程推广目前的一类共识为基础的优化（CBO）方法。对于后者的方法，收敛到全局最小值，可以显示为一大类功能。在动力学理论中著名的直接模拟蒙特卡罗方法的启发下，推导并讨论了数学实现。几个例子的原型检验函数的全局优化的报告，包括应用到机器学习。
2022-03-14 math.OC
Robust solutions for stochastic and distributionally robust chance-constrained binary knapsack problems
我们考虑机会约束二进制背包问题，其中项目的权重是独立的随机变量的均值和标准差已知。在对权值的概率分布作某些假设的情况下，机会约束可以重新表示为二阶锥约束。该问题转化为二阶锥约束二进制背包问题，等价于椭球不确定集的鲁棒二进制背包问题。我们证明了具有椭球不确定集的内、外多面体近似的鲁棒二进制背包问题的最优解可以提供二阶锥约束二进制背包问题的最优值的上、下界，并且可以通过重复求解普通二进制背包问题得到.此外，我们证明了解决方案提供的上界收敛到最优解的二阶锥约束二进制背包问题的近似的不确定性集变得更准确。在此基础上，在问题系数为整数值的假设下，得到了一个伪多项式时间算法。我们还提出了一个精确的算法，迭代地提高近似的精度，直到获得一个精确的最优解。精确算法也在伪多项式时间内运行。计算结果显示的质量的上限和下界和效率的精确算法相比，CPLEX和以前的研究。
2021-05-25 math.OC
Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization
块坐标下降法和随机次梯度法在优化和机器学习中得到了广泛的研究。将随机区组抽样与基于对偶平均的随机次梯度方法相结合，提出了随机区组对偶平均（SBDA）--一类求解凸非光滑随机最优化的新的区组次梯度方法. SBDA只需要一个块的次梯度和更新块的变量，因此具有显着降低迭代成本比传统的次梯度方法。我们表明，SBDA为基础的方法表现出凸非光滑随机最优化的最佳收敛速度。更重要的是，我们引入了随机步长规则和块采样方案，是自适应的块结构，这显着提高了收敛速度w.r. t。问题参数。这是在最近的块次梯度方法应用于非光滑确定性或随机最优化形成鲜明对比。对于强凸目标，我们提出了一个新的平均计划，使正则化的双重平均方法最优，而不必诉诸任何加速计划。
2015-09-15 math.OC
Vaidya's method for convex stochastic optimization in small dimension
本文考虑了一个一般的凸随机最优化问题在一个相对低维的空间（例如，100个变量）。已知对于小维度的确定性凸优化问题，最快的收敛是通过重心型方法实现的（例如，Vaidya的割平面法）。对于随机最优化问题，Vaidya方法是否可以使用的问题归结为它如何在次梯度中积累不准确性的问题。作者最近的结果表明，错误不累积的迭代Vaidya的方法，这使得提出其模拟随机最优化问题。主要的技术是用其概率对应物（随机次梯度的算术平均）代替Vaidya方法中的次梯度。本文实现了所描述的计划，这最终导致一个有效的（如果并行计算是可能的）方法，用于解决凸随机最优化问题，在相对低维空间。
2022-01-25 math.OC
Trust-Region Stochastic Optimization with Variance Reduction Technique
本文提出TR-SVR算法，将信赖域、SQP与方差缩减梯度估计相结合，以提升无约束随机优化的稳定性、计算效率和收敛稳健性。
2024-12-01 math.OC
