Finding a stationary point of a stochastic convex problem
Stanford University(斯坦福大学)
研究随机凸优化问题中寻找驻点,提出以目标函数次微分含小元素为更强概念,借助维度理论分解次微分图像,让随机采样保留其“片段”,实现类似近端点方法的有效应用。
2026-07-28 cs.LG math.OC stat.ML
New nonasymptotic convergence rates of stochastic proximal pointalgorithm for convex optimization problems
University Bucharest(布加勒斯特大学)
最近的优化文献的大部门集中在过去十年的发展,逐步放松的假设下的约束凸模型的最优随机一阶计划。随机邻近点算法是将邻近点法应用于有噪声的随机最优化问题的一种迭代算法,其迭代过程与随机交替投影有关。受交替投影方法可扩展性的启发,我们从(线性)正则性假设出发,该假设通常用于凸可行性问题以保证随机交替投影方法的线性收敛,并分析了一个一般的弱线性正则性条件,该条件有利于随机邻近点方法的收敛速度提升.我们的应用程序包括许多非强凸函数类经常用于机器学习和统计。此外,在弱线性正则性假设下,我们保证$\mathcal{O}\left(\frac{1}{k}\right)$收敛速度的SPP,在距离最优集,只使用一个简单的组件集上的投影。当期望成本的最优集包含在每个功能部件的最优集中时,插值设置获得线性收敛。
2020-05-02 cs.LG math.OC stat.ML
Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization under Infinite Noise Variance
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of California, Davis(加州大学戴维斯分校)
研究了噪声方差为无穷大时的随机凸优化问题。具体地说,当随机梯度是无偏的且具有一致有界的$(1+κ)$阶矩时,对于某些$κ\in (0,1]$,我们根据优化问题的迭代次数、维数和相关的几何参数,量化了具有一类特殊的一致凸镜映射的随机镜像下降算法的收敛速度.有趣的是,该算法不需要任何显式的梯度裁剪或归一化,这已被广泛用于最近的几个经验和理论工作。我们补充我们的收敛结果与信息理论的下限表明,没有其他算法只使用随机一阶预言机可以实现提高利率。我们的研究结果有几个有趣的后果,设计在线/流随机逼近算法的鲁棒统计和机器学习中出现的问题。
2022-02-23 cs.LG math.OC stat.ML
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University(波士顿大学);Google Research(谷歌研究)
本文提出新算法,通过将非光滑非凸优化归约为在线学习,将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1}),并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
High Confidence Level Inference is Almost Free using Parallel Stochastic Optimization
Department of Statistics, University of California, Irvine(加州大学 Irvine 分校统计系);Department of Mathematics, University of California, San Diego(加州大学圣地亚哥分校数学系);Department of Statistics, University of Chicago(芝加哥大学统计系)
本文提出一种高效构建置信区间的方法,通过少量独立多轮运行获取分布信息,实现快速收敛和高置信度推断,无需额外计算资源。
2026-03-22 cs.LG stat.ML
Stochastic subgradient method converges at the rate $O(k^{-1/4})$ on weakly convex functions
Cornell University(康奈尔大学);U. Washington(华盛顿大学)
我们证明了,近端随机次梯度方法,适用于弱凸问题,驱动器的Moreau包络的梯度为零的速度$O(k^{-1/4})$。因此,我们解决了一个公开的问题上的收敛速度的最近随机梯度法的光滑非凸函数和凸逼近函数的总和最小化。
2018-02-19 cs.LG math.OC
Private Stochastic Convex Optimization: Efficient Algorithms for Non-smooth Objectives
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们重新审视私人随机凸优化问题。我们提出了一种算法的基础上嘈杂的镜像下降,达到最佳的统计复杂度和查询次数的一阶随机预言机的制度时,隐私参数是成反比的样本数。
2020-11-17 cs.LG stat.ML
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University(普林斯顿大学);Technion(以色列理工学院);The Hebrew University(希伯来大学)
随机凸优化是机器学习中的一个基本问题,也是一个研究得很好的问题.众所周知,可以使用随机梯度下降(SGD)有效地最小化凸函数和Lipschitz函数。归一化梯度下降(NGD)算法是梯度下降的一种改编,它根据梯度的方向而不是梯度本身进行更新。在本文中,我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能:我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维,并允许某些类型的鞍点,这是一阶优化方法(如梯度下降)的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸,这是梯度下降变体的另一个已知障碍。有趣的是,与香草SGD算法不同,随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
On Constructing Confidence Region for Model Parameters in Stochastic Gradient Descent via Batch Means
Northwestern University(西北大学);Columbia Business School(哥伦比亚商学院)
在本文中,我们研究了一个简单的算法来构建渐近有效的置信区域的模型参数使用批均值方法。其主要思想是消除难以估计/估计成本高的协方差阵。在算法开发过程中,我们建立了基于Polyak-Ruppert平均的随机梯度下降估计的过程级泛函中心极限定理。我们还扩展了批平均值方法,以适应更一般的批量规格。
2020-01-31 cs.LG math.ST stat.ML
Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Learning
随机梯度哈密顿蒙特卡罗(SGHMC)是一种动量版本的随机梯度下降与适当注入高斯噪声找到一个全局最小值。在非凸优化的背景下,本文给出了SGHMC的非渐近收敛性分析,其中在i.i.d数据集上使用子采样技术进行梯度更新。我们的结果补充了[RRT 17]的结果,并改进了[GGZ 18]的结果。
2020-02-25 cs.LG stat.ML
Step size adaptation in first-order method for stochastic strongly convex programming
提出了一种求解随机强凸优化问题的一阶方法,该方法具有$O(1/n)$收敛速率,分析表明,该方法简单,易于实现,在最坏情况下,渐近收敛速度是同类方法的4倍.我们从几个直观的观察,从现有的一阶最优化方法推广得到这种方法。
2011-10-13 cs.LG math.OC
Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Stochastic Optimization: Non-Asymptotic Performance Bounds and Momentum-Based Acceleration
The Chinese University of Hong Kong(香港中文大学);Rutgers University(罗格斯大学);Florida State University(佛罗里达州立大学)
随机梯度Hamilton Monte Carlo(SGHMC)是一种动量随机梯度算法,在随机梯度中加入受控的、适当缩放的高斯噪声,使迭代过程趋于全局极小值。许多工作报告了其在解决随机非凸优化问题的实践中的经验成功,特别是它已被观察到优于过阻尼Langevin蒙特卡罗方法,如随机梯度Langevin动力学(SGLD)在许多应用中。虽然SGHMC的渐近整体收敛性质是众所周知的,其有限时间性能还没有得到很好的理解。在这项工作中,我们研究了两个变种的SGHMC的基础上两个替代离散的欠阻尼朗之万扩散。我们提供了有限时间性能界的整体收敛的SGHMC解决显式常数随机非凸优化问题的变种。我们的研究结果导致人口和经验风险最小化问题的非渐近保证。对于一个固定的目标精度水平,对一类非凸问题,我们得到的复杂性界SGHMC可以比SGLD更紧。这些结果表明,在全局非凸优化的背景下,动量加速是可能的。
2020-11-18 cs.LG math.OC
Minibatch and Momentum Model-based Methods for Stochastic Weakly Convex Optimization
Shanghai University of Finance and Economics(上海财经大学)
基于随机模型的方法由于其对步长选择的鲁棒性和可证明的效率保证而受到越来越多的关注。对随机弱凸优化的模型基方法进行了两个重要的改进。首先,我们提出了新的minibatch基于模型的方法,涉及一组样本近似模型函数在每次迭代。对于第一次,我们表明,随机算法实现线性加速的批量大小,即使是非光滑和非凸(特别是,弱凸)的问题。为此,我们开发了一种新的灵敏度分析的近端映射参与每个算法迭代。我们的分析似乎是在更一般的设置独立的利益。其次,在动量随机梯度下降算法成功的基础上,提出了一种新的基于模型的随机外推算法,将经典的Polyak动量算法扩展到更广泛的弱凸优化随机算法中。在相当灵活的外推项范围内建立了到某些自然平稳性条件的收敛速率。在主要研究弱凸优化的同时,我们也将工作扩展到了凸优化。我们应用小批量和外推模型为基础的方法随机凸优化,我们提供了一个新的复杂性界和有前途的线性加速批量大小。此外,基于Nesterov的动量的加速模型为基础的方法,我们建立了一个最佳的复杂性界达到最优。
2021-11-13 cs.LG math.OC
How To Make the Gradients Small Stochastically: Even Faster Convex and Nonconvex SGD
Microsoft Research(微软研究院)
随机梯度下降(SGD)给出了最小化凸随机目标$f(x)$时的最优收敛速度。然而,就使梯度变小而言,即使当$f(x)$是凸的时,原始SGD也没有给出最优速率。如果$f(x)$是凸的,为了找到具有梯度范数$\varepsilon$的点,我们设计了具有接近最优速率$\tilde{O}(\varepsilon^{-2})$的算法SGD 3,改进了[18]的最佳已知速率$O(\varepsilon^{-8/3})$。如果$f(x)$是非凸的,为了找到它的$\varepsilon$ -近似局部最小值,我们设计了一个具有速率$\tilde{O}(\varepsilon^{-3.5})$的算法SGD 5,其中以前的SGD变体仅实现$\tilde{O}(\varepsilon^{-4})$ [6,15,33]。在所有参数范围内,这并不比牛顿方法的最佳已知随机版本慢[30]。
2021-07-28 cs.DS cs.LG math.OC
The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Weizmann Institute of Science(魏茨曼科学研究所)
我们解决了分布式随机凸优化的最小-最大复杂性(最多为对数因子)在间歇性通信设置,其中$M$机器并行工作的过程中的$R$轮的通信,以优化目标,并在每一轮的通信,每台机器可以顺序计算$K$随机梯度估计。我们提出了一个新的下限与匹配的上限,建立一个最佳的算法。
2021-08-05 cs.LG math.OC
Stochastic subGradient Methods with Linear Convergence for Polyhedral Convex Optimization
在本文中,我们证明了简单的{随机} subGradient Decent方法与多重启动,命名为{ \bf RSGD},可以实现一个\textit{linear convergence rate}的一类非光滑和非强凸优化问题的目标函数的epigraph是一个多面体,我们称之为{ \bf多面体凸优化}。它在机器学习中的应用包括$\ell_1$约束或正则化分段线性损失最小化和子模函数最小化。据我们所知,这是第一个结果的线性收敛速度的随机次梯度方法的非光滑和非强凸优化问题。
2016-03-31 cs.LG math.OC
Accelerated stochastic first-order method for convex optimization under heavy-tailed noise
Department of Mathematics, Linköping University, Sweden(林雪平大学数学系);Department of Industrial and Systems Engineering, University of Minnesota, USA(明尼苏达大学工业与系统工程系)
针对重尾噪声下的凸复合优化问题,本文提出一种无需梯度裁剪或归一化的加速随机近端次梯度方法,证明其在光滑、弱光滑及非光滑等情况下均具有普遍最优的一阶预言机复杂度,并通过数值实验验证了理论结果。
2026-09-22 cs.AI cs.LG math.OC
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo(滑铁卢大学);Meta;Cornell University(康奈尔大学)
研究了在差分隐私(DP)约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反,介绍了王,肖,Devadas,徐\cite{WangXDX20},我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上,我们推导出新的算法私人均值估计的重尾分布,在纯和集中DP。最后,我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界,显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
On Zeroth-Order Stochastic Convex Optimization via Random Walks
The Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院);University of Washington(华盛顿大学)
我们提出了一种零阶随机凸优化方法,该方法在对凸有界函数$f:{\mathbb R}^n\to{\mathbb R}$进行$T$查询后,获得了$\tilde{\mathcal{O}}(n^{7}T^{-1/2})$的次优率。该方法是基于随机游走(\emph{Ball Walk})的epigraph的功能。随机化方法规避了梯度估计的问题,并且与无噪声零阶方法相比,对噪声函数评估似乎不太敏感。
2014-02-11 cs.LG stat.ML
Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity
Stanford University(斯坦福大学);Shanghai University of Finance and Economics(上海财经大学)
本文提出自适应正则化策略,使随机弱凸优化算法在无Lipschitz连续性假设下仍保持O(1/√K)收敛率,并放宽了Lipschitz参数的约束条件。
2024-11-05 cs.LG math.OC
Algorithmic Connections Between Active Learning and Stochastic Convex Optimization
Carnegie Mellon University(卡内基梅隆大学)
有趣的理论协会已经建立了最近的论文之间的领域的主动学习和随机凸优化由于反馈在顺序查询机制的共同作用。在本文中,我们继续这一线索在两个部分中,利用这些关系的第一次产生新的算法在这两个领域,进一步激励他们的交集的研究。首先,最近的优化算法,是自适应未知的一致凸性参数的启发,我们提出了一个新的主动学习算法的一维阈值,可以通过适应未知的噪声参数产生极大极小率。接下来,我们证明了当仅允许oracle访问沿任何坐标而不是实值梯度的噪声梯度符号时,可以执行光滑一致凸函数的$d$维随机最小化,通过使用简单的随机坐标下降过程,其中每个线搜索可以通过$1$维主动学习来解决,可证明地实现与具有整个实值梯度相同的误差收敛速率。结合这两个部分产生的算法,解决随机凸优化的一致凸和光滑的功能,只使用噪声梯度符号,通过反复执行主动学习,达到最佳的速率,是自适应的所有未知的凸性和光滑性参数。
2015-05-15 cs.AI cs.LG math.OC
Approximate and Stochastic Greedy Optimization
QUT(昆士兰科技大学);ACEMS(澳大利亚数学与统计前沿卓越中心);UC Berkeley(加州大学伯克利分校)
本文考虑了在有界凸集中极小化凸函数的两种贪婪算法:Jones [1992]的算法和Frank-Wolfe(FW)算法。我们首先考虑这些算法的近似版本。对于光滑凸函数,我们给出了收敛的充分条件,对O(1/k)的收敛速度进行了统一的分析,并证明了该速度是用证明技巧得到的最佳收敛速度,同时给出了两种算法的等价性结果.我们还考虑近似随机贪婪算法最小化的期望。我们证明了,用一个单一的随机梯度取代全梯度,甚至可以失败光滑的凸函数。给出了光滑凸函数的一个收敛的近似随机Jones算法和一个收敛的近似随机FW算法。此外,我们还给出了非光滑凸函数的一个收敛的近似随机FW算法。给出并证明了这些算法的收敛速度。
2017-05-25 cs.LG math.OC
Random tilts to find stationary points in stochastic convex optimization
本文研究随机凸优化中寻找驻点的问题,提出正则化经验风险最小化结合随机倾斜扰动的方法,获得$\sqrt{d/n}$的驻点残差,并通过极小极大下界证明维度依赖性的必要性。
2026-09-17 math.OC stat.ML
On the Computation and Communication Complexity of Parallel SGD with Dynamic Batch Sizes for Stochastic Non-Convex Optimization
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)公司)
对于基于SGD的分布式随机最优化,计算复杂度和通信复杂度是两个最重要的性能度量,计算复杂度由随机梯度调用的数量方面的收敛速度来测量,通信复杂度由节点间通信循环的数量来测量。SGD在$N$工作者上的经典数据并行实现可以实现其收敛速度的线性加速,但在每批处理时会引起节点间通信轮。我们研究的好处,使用动态增加批量的并行SGD随机非凸优化的特点达到的收敛速度和所需的通信轮数。我们证明了对于P-L条件下的随机非凸优化问题,批规模呈指数增长的经典数据并行SGD算法仅使用$\log(T)$通信轮就能以线性加速比实现已知的最快$O(1/(NT))$收敛.对于一般的随机非凸优化问题,我们提出了一个类似催化剂的算法,该算法仅用$O(\sqrt{NT}\log(\frac{T}{N}))$通信轮就能实现已知最快的$O(1/\sqrt{NT})$收敛。
2019-05-10 cs.LG math.OC
Stochastic model-based minimization of weakly convex functions
Cornell University(康奈尔大学);University of Washington(华盛顿大学)
我们考虑一个家庭的算法,连续采样和最小化简单的随机模型的目标函数。我们表明,在合理的条件下的近似质量和规律性的模型,任何这样的算法驱动自然平稳性措施为零的速率$O(k^{-1/4})$。因此,我们获得了第一复杂性保证的随机邻近点,邻近次梯度,正则化高斯-牛顿方法最小化的凸函数与光滑映射的组合。的指导原则,潜在的复杂性保证,是考虑中的所有算法可以被解释为近似下降法的隐式平滑的问题,给出了莫罗包络。针对经典情形,我们得到了无约束的随机投影梯度法在闭凸集上极小化光滑函数的收敛速度.
2018-08-26 cs.LG math.OC
Risk-Averse Stochastic Convex Bandit
Georgia Institute of Technology(佐治亚理工学院)
受临床试验和金融应用的启发,我们研究了决策者是风险厌恶的在线凸优化问题(带强盗反馈)。我们提供了两个算法来解决这个问题。第一个是下降型算法,这是很容易实现的。第二个算法,它结合了椭球方法和中心点设备,实现(几乎)最优的遗憾界轮数。据我们所知,这是第一次尝试解决在线凸强盗问题中的风险规避。
2018-10-01 cs.LG stat.ML
Non-convex Stochastic Composite Optimization with Polyak Momentum
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
针对随机近端梯度法在高噪声非凸场景下不收敛的问题,提出带Polyak动量的方法,证明其在非凸复合优化中达最优收敛率,分析动量的方差缩减效应及不精确近端步下的收敛性,并通过实验验证理论。
2024-12-08 cs.LG math.OC
Thinking Outside the Ball: Optimal Learning with Gradient Descent for Generalized Linear Stochastic Convex Optimization
Tel Aviv University(特拉维夫大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们考虑具有凸Lipschitz损失的线性预测,或者更一般地,考虑广义线性形式的随机凸优化问题,即~其中每个瞬时损失是线性函数的标量凸函数。我们表明,在这种设置中,早期停止的梯度下降(GD),没有任何显式的正则化或投影,确保过多的错误在大多数$ε$(相比,最好的可能与单位欧几里德范数)与最佳的,高达对数因子,样本复杂度$\tilde{O}(1/ε^2)$和只有$\tilde{O}(1/ε^2)$迭代。这与一般随机凸优化形成对比,其中需要$Ω(1/ε^4)$迭代Amir等人[2021 b]。通过利用一致收敛而不是稳定性来确保较低的迭代复杂度。但是,而不是在一个规范球的一致收敛,我们可以保证使用$Θ(1/ε^4)$样本的次优学习,我们依赖于分布相关的球的一致收敛。
2022-10-30 cs.LG math.OC
Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences
本文提出了一种基于任意时间有效置信序列的SGD停止规则,适用于凸和非凸优化问题,提供统计上有效的停止条件。
2026-02-20 cs.LG math.OC math.ST
Regret lower bounds and extended Upper Confidence Bounds policies in stochastic multi-armed bandit problem
研究了经典随机多臂强盗模型中的后悔下界。Lai和Robbins的一个著名结果,后来被Burnetas和Katehakis推广,建立了所有相容策略的对数界。我们放松的一致性的概念,并表现出一个概括的对数界。我们还证明了在一般的Hannan相容情形下不存在对数界。为了得到这些结果,我们研究了流行的置信上限(ucb)政策的变体。作为一个副产品,我们证明,这是不可能的设计一个自适应的政策,将选择最好的两个算法,利用环境的属性。
2011-12-16 stat.ML
Practical Precoding via Asynchronous Stochastic Successive Convex Approximation
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Radisys India Pvt. Ltd.(瑞迪斯印度私人有限公司)
考虑光滑非凸损失函数与凸非光滑正则化子的随机最优化。在在线设置中,其中在每次迭代时损失的随机梯度的单个样本可用,该问题可以使用近似随机梯度下降(SGD)算法及其变体来解决。然而,在许多问题中,特别是在通信和信号处理中出现的那些问题中,由于损失函数的结构,可以获得超出随机梯度的信息。SGD不使用这种额外的梯度信息,但已被证明是有用的,例如在随机期望最大化,随机优化最小化和随机连续凸逼近(SCA)方法的背景下。通过在每次迭代时构造损失函数的随机强凸代理,随机SCA算法可以利用损失函数的结构特性,并获得优于SGD的经验性能。在这项工作中,我们仔细研究随机SCA算法,并开发其异步变体,可用于无线网络中的资源分配。虽然随机SCA算法是已知的渐近收敛,其迭代复杂性还没有得到很好的研究,是目前工作的重点。从非渐近分析中获得的见解,使我们能够开发一个更实用的随机SCA算法,它允许使用在早期迭代计算的代理人的异步变体。我们的特点是精确的界限上的最大延迟的算法可以容忍,而仍然达到相同的收敛速度。我们将该算法应用于无线传感器网络中的线性预编码问题,它可以在低复杂度下实现,但在实践中表现良好。
2020-10-03 cs.LG eess.SP math.OC
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降(SGD)算法在权值与t成正比的情况下,对强凸函数的概率收敛速度为O(κ/T),而不是O(κ ln(T)/T).我们还证明了一个加速的SGD算法也达到了O(κ/T)的速度。
2013-05-09 cs.AI cs.LG
Linear Convergence of Variance-Reduced Stochastic Gradient without Strong Convexity
University of Michigan(密歇根大学)
本文提出Prox-SVRG和VRPSG算法,证明在无强凸性条件下,这些算法在约束和正则化问题中实现线性收敛,引入Semi-Strongly Convex不等式作为关键理论贡献。
2015-07-10 cs.LG cs.NA math.NA
Variance-Reduced Proximal Stochastic Gradient Descent for Non-convex Composite optimization
本文提出非凸复合优化的方差缩减近端随机梯度下降方法,证明其在非凸情况下能以O(1/ε)迭代收敛至 stationary 点,优于随机梯度下降。
2016-09-11 cs.LG cs.NA math.NA
Convergence rates for the stochastic gradient descent method for non-convex objective functions
University of Oxford(牛津大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与自然科学研究所);Universität Bielefeld(比勒费尔德大学);ETH Zurich(苏黎世联邦理工学院)
在目标函数不一定是全局凸的或收缩的目标函数的情况下,证明了随机梯度下降法的局部收敛性,并对收敛速率进行了估计.特别是,结果适用于机器学习中出现的简单目标函数。
2019-07-26 cs.LG cs.NA math.NA
Stochastic Online Convex Optimization. Application to probabilistic time series forecasting
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文构建随机在线凸优化框架,证明在线牛顿步与 Bernstein online aggregation 在无界随机设定下达到已知最优遗憾速率,并用于校准非平稳次高斯时间序列的概率预测器。
2023-04-21 cs.LG math.ST stat.TH
Stochastically Controlled Stochastic Gradient for the Convex and Non-convex Composition problem
The University of Sydney(悉尼大学);University of Rochester(罗切斯特大学);University of California, Davis(加州大学戴维斯分校)
本文研究了具有$\frac{1}{n}\sum\nolimits_{i = 1}^n {{F_i}( {G( x )} )}$结构的凸与非凸复合问题,其中$G( x )=\frac{1}{n}\sum\nolimits_{j = 1}^n {{G_j}( x )} $为内函数,$F_i(\cdot)$为外函数.我们探索基于方差缩减的方法来解决组合优化。由于内函数和外函数的个数较多时,直接估计它们是不合理的,因此我们采用随机控制的随机梯度(SCSG)方法来估计复合函数的梯度和内函数的值.我们提出的方法的查询复杂度的凸和非凸的问题是等于或优于目前的方法的组合问题。此外,我们还提出了所提出的方法的小批量版本,这与小批量的大小有关的查询复杂度的改善。
2018-09-06 cs.LG math.OC stat.ML
A Second-Order Method for Stochastic Bandit Convex Optimisation
DeepMind(深度思维)
本文提出了一种求解无约束零阶随机凸强盗问题的简单有效的算法,并证明了它的遗憾最多为$(1 + r/d)[d^{1.5} \sqrt{n} + d^3] polylog(n, d, r)$,其中$n$是视界,$d$是维数,$r$是包含损失最小的已知球的半径.
2023-02-10 cs.LG math.OC stat.ML
Stochastic Optimization for Non-convex Inf-Projection Problems
University of Iowa(爱荷华大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanjing University(南京大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
在本文中,我们研究了一个家庭的非凸的,可能是非光滑的inf-projection最小化问题,其中的目标函数是等于最小化的联合函数在另一个变量。该问题包括凸函数的差分和一类双凸函数的特殊情形。我们开发的随机算法,并建立其一阶收敛性的目标非凸函数的(近)固定的解决方案,在不同的条件下的组件功能。据我们所知,这是第一个全面研究随机优化的非凸下投影极小化问题的可证明收敛保证。我们的算法使一个家庭的不可分解的DC函数和家庭的双凸函数的有效随机优化。为了证明所提出的算法的能力,我们考虑了基于方差的正则化的一个重要应用。实验验证了我们的inf-projection为基础的配方和建议的随机算法相比,以前的随机算法的基础上的最小-最大制定实现相同的效果。
2020-07-13 cs.LG math.OC stat.ML
Symmetric confidence regions and confidence intervals for normal map formulations of stochastic variational inequalities
随机变分不等式(SVI)对一类具有数据不确定性的平衡问题进行建模,并且与随机最优化问题密切相关。SVI解通常由样本平均近似(SAA)问题的解来估计。研究了SVI的正态映射问题,基于SAA解的渐近分布,提出了一种构造正态映射解的渐近精确置信区域和置信区间的方法.置信区域是具有高概率的单椭球。我们还讨论了计算的同时和个人的置信区间。
2014-06-26 math.OC
Multistep stochastic mirror descent for risk-averse convex stochastic programs based on extended polyhedral risk measures
我们考虑风险厌恶凸随机规划表示的扩展多面体风险措施。我们推导出可计算的置信区间的最优值,这样的随机规划使用鲁棒随机逼近和随机镜像下降(SMD)算法。当目标函数为一致凸时,我们还提出了一种多步扩展的随机镜像下降算法,并得到了最优值和最优解的置信区间.数值模拟表明,我们的置信区间比以前得到的SMD的置信区间保守性更小,计算速度更快,并且多步随机镜像下降算法比非多步随机镜像下降算法能更快地得到一个好的近似解.当样本量不比问题量大很多时,我们的置信区间也比渐近置信区间更可靠。
2016-09-02 math.OC
Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization
Peking University(北京大学);University of Rochester(罗切斯特大学);Kwai Inc.(快手公司)
随机组合优化出现在许多重要的机器学习任务中,例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合,并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional,并证明了一个尖锐的增量一阶Oracle(IFO)复杂性上界:$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化,并被认为是最优的。我们的实验验证了我们的算法的理论性能。
2020-01-25 cs.LG math.OC stat.ML
Efficient Online Linear Control with Stochastic Convex Costs and Unknown Dynamics
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
研究了一类未知线性动力系统在状态和费用函数均为随机凸代价和全反馈下的控制问题。我们提出了一个计算效率高的算法,达到最佳的$\sqrt{T}$后悔率相比,最好的稳定线性控制器在事后。与之前的工作不同,我们的算法基于面对不确定性的乐观范式。这导致显著改进的计算复杂性和更简单的分析。
2022-06-22 cs.LG math.OC stat.ML
Stochastic Approximation Based Confidence Regions for Stochastic Variational Inequalities
样本平均逼近(SAA)和随机逼近(SA)是求解随机变分不等式问题(SVIP)的两种常用格式。在过去的几十年里,SAA解和SA解的一致性理论已经得到了很好的研究。最近,渐近置信区域的真正解决方案SVIP已被构造时,SAA计划的实施。当采用SA方案时,开发SVIP真解的置信区域具有根本意义。本文讨论了构造SVIP真解的渐近置信区域的框架,重点讨论了随机对偶平均法。我们首先建立了SA解在遍历和非遍历意义下的渐近正态性。然后研究了正态分布协方差阵的在线估计方法。最后,给出了用数值模拟建立SVIP解的渐近置信区域的具体步骤。
2022-03-18 math.OC
Non-asymptotic confidence bounds for the optimal value of a stochastic program
讨论了建立随机最优化问题非渐近置信界的一般方法。我们的主要贡献是观察到,一个样本平均近似的问题提供的最优值的问题,这是本质上比相应的最优解的质量更好的上限和下界。同时,这样的界限比通过渐近方法获得的“标准”置信界限更可靠。讨论了MinMax随机最优化和随机约束问题的最优值的界。最后,我们的模拟研究说明了所提出的界限的数值行为。
2016-12-11 math.OC
Asynchronous stochastic convex optimization
我们表明,渐近,完全异步的随机梯度程序实现最佳(甚至常数因子)收敛速度的解决方案的凸优化问题的渐近最优性的标准随机梯度程序所需的几乎相同的条件下。粗略地说,随机逼近方案所固有的噪声支配着来自随机逼近的任何噪声。我们还提供了经验证据,证明了异步,并行随机最优化方案的强大性能,证明了固有的鲁棒性随机逼近问题,允许更快的并行和异步的解决方案的方法。
2015-08-04 math.OC stat.ML
Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization
最近,{ \it随机动量}方法已被广泛用于训练深度神经网络。然而,他们的收敛性分析仍然是欠探索的时刻,特别是对非凸优化。本文通过对两种随机动量法,即随机重球法和Nesterov加速梯度法的随机变体的基本收敛性分析,填补了理论与实践之间的空白。我们希望本文所得到的基本收敛性结果能为随机动量方法的收敛性提供参考,也为今后随机动量方法的发展提供比较基准。本文提出的收敛性分析的新颖性是一个统一的框架,揭示了更多关于不同随机动量方法和随机梯度法之间的异同的见解。统一框架显示了从梯度法到Nesterov的加速梯度法以及最终由自由参数引起的重球法的连续变化,这可以帮助解释在深度学习的测试误差收敛行为中观察到的类似变化。此外,我们优化深度神经网络的经验结果表明,Nesterov加速梯度法的随机变体在三种随机方法中实现了良好的权衡(在训练误差的收敛速度和测试误差的收敛鲁棒性之间)。
2016-05-04 math.OC stat.ML
Convex and Non-convex Federated Learning with Stale Stochastic Gradients: Diminishing Step Size is All You Need
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California San Diego(加州大学圣迭戈分校)
本文提出了一种适用于具有滞后梯度模型的分布式随机优化框架,证明递减步长大小在凸和非凸优化中均能达到最优性能。
2026-03-03 cs.LG math.OC
An optimal algorithm for stochastic strongly-convex optimization
我们考虑随机凸优化与强凸(但不一定光滑)的目标。我们给出了一个算法,只执行梯度更新的最佳收敛速率。
2010-06-12 math.OC
Individual confidence intervals for true solutions to stochastic variational inequalities
随机变分不等式(SVI)提供了一种建模各种优化和平衡问题的方法,其中数据是不确定的。通常需要通过样本平均近似(SAA)问题的解来估计真实的SVI解。本文提出了三种方法来建立置信区间的组件的真正的解决方案,这些区间是计算从一个单一的SAA解决方案。前两种方法使用“间接方法”,需要初始计算渐近精确的置信区间,用于SVI的法线映射公式的解决方案。第三种方法直接构建真实SVI解决方案的置信区间;在前两种方法适用的相同情况下,该方法产生的区间满足最低指定置信水平。我们证明了这三种方法的理论与弱收敛的结果,讨论如何实现这些方法,并测试其性能使用两个数值例子。
2014-06-26 math.OC
Robust Confidence Bands for Stochastic Processes Using Simulation
提出一种基于模拟的稳健优化方法构建随机过程置信带,直接处理优化偏差,在保证覆盖概率准确性的同时大幅减少所需样本路径,并可用于量化不确定性及验证模拟模型。
2025-08-12 math.OC
Fast Algorithms for Online Stochastic Convex Programming
Microsoft Research(微软研究院)
我们介绍了在线随机凸规划(CP)问题,一个非常一般的版本的随机在线问题,允许任意凹目标和凸可行性约束。在线随机包装与覆盖、在线随机匹配等问题是在线随机CP的一个特例。我们提出了快速算法,这些问题,实现了近最佳的遗憾保证的i.i.d.以及随机输入的随机置换模型。当应用到特殊情况下的在线包装,我们的想法产生一个更简单,更快的原始-对偶算法,这个研究问题,实现了最佳的竞争比。我们的技术明确的连接原始-对偶范式和在线学习在线随机CP。
2014-10-28 cs.DS cs.LG math.OC
Fast Stochastic Algorithms for SVD and PCA: Convergence Properties and Convexity
Weizmann Institute of Science(魏茨曼科学研究所)
我们研究了\cite{shamir2015stochastic}引入的快速计算前导奇异向量的VR-PCA算法的收敛性。我们证明了几个新的结果,包括一个正式的分析块版本的算法,从随机初始化和收敛。我们还做了一些独立的利益,如如何预初始化,只有一个确切的权力迭代可以显着提高随机方法的运行时间,以及什么是凸性和非凸性的基本优化问题的性质。
2015-07-31 cs.LG cs.NA math.NA
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题,其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构,这可能不容易计算其邻近映射。为了解决这些问题,我们提出了一个小批量随机Nesterov平滑(MSNS)方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明,所提出的MSNS方法的支持向量机(SVM)模型的效率。
2021-09-11 math.OC