Nonconvex Stochastic Nested Optimization via Stochastic ADMM
我们考虑随机嵌套复合优化问题的目标是两个期望值函数的组合。我们提出了随机ADMM来解决这个复杂的目标。为了找到一个$ε$平稳点,相应的增广拉格朗日次梯度的期望范数小于$ε$,我们的方法的总样本复杂度为$\mathcal{O}(ε^{-3})$的在线情况下和$\mathcal{O} \Bigl((2N_1 + N_2) + (2N_1 + N_2)^{1/2}ε^{-2}\Bigr)$的有限和的情况下。该算法的计算复杂度与\cite{zhang2019multi}中提出的近似算法一致,但在惩罚函数的近似映射不易计算的情况下,该算法可以解决更一般的问题。
2019-11-12 cs.LG math.OC stat.ML
A Stochastic Newton Algorithm for Distributed Convex Optimization
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Weizmann Institute of Science(魏茨曼科学研究所)
我们提出并分析了均匀分布的随机凸优化的随机牛顿算法,其中每台机器可以计算相同的人口目标的随机梯度,以及随机Hessian向量乘积(人口目标的Hessian的独立无偏估计与任意向量的乘积),许多这样的随机计算在两轮通信之间进行。我们表明,与现有方法相比,我们的方法可以减少所需通信轮的数量和频率,而不会损害性能,通过证明准自协调目标的收敛保证(例如,逻辑斯谛回归),以及经验证据。
2021-10-07 cs.LG math.OC stat.ML
Solving Stochastic Compositional Optimization is Nearly as Easy as Solving Stochastic Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
随机组合优化将经典(非组合)随机最优化推广到函数组合的最小化。每个组合都可以引入额外的期望。期望序列可以嵌套。随机组合优化在强化学习和Meta学习等应用中越来越受欢迎。本文提出了一种新的随机修正的随机组合梯度法(SCSC)。SCSC在单个时间尺度上运行,具有单个循环,使用固定的批量大小,并且保证以与用于非组合随机最优化的随机梯度下降(SGD)方法相同的速率收敛。这是通过对一种流行的随机成分梯度法进行细致的改进来实现的。很容易应用SGD改进技术来加速SCSC。这有助于SCSC实现随机成分优化的最先进性能。特别是,我们适用于亚当SCSC,并表现出收敛速率相匹配的原始亚当非成分随机最优化。我们使用投资组合管理和模型无关的元学习任务来测试SCSC。
2021-06-18 cs.LG math.OC
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University(理海大学);University of Oxford(牛津大学)
本文研究和分析了随机递归梯度算法(SARAH)的小批量版本,它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度(平稳点)一般非凸函数和梯度控制函数的线性收敛速度,这两个有一些优势相比,其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
在这项工作中,乘性随机适用于学习率的随机最优化算法,从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置,以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下,自适应均匀分布的乘法随机性,不仅包括随机梯度下降,但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本,它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
Stochastic Non-convex Optimization with Strong High Probability Second-order Convergence
The University of Iowa(爱荷华大学)
本文研究了具有非凸随机函数的随机非凸优化问题。最近对非凸优化的研究围绕着建立二阶收敛,即,收敛到近二阶最优平稳点。然而,现有的随机非凸优化的结果是有限的,特别是在一个高概率的二阶收敛。我们提出了一种新的更新步骤(命名为NCG-S),利用随机梯度和噪声的负曲率的随机Hessian,其中的随机梯度和Hessian是基于一个适当的小批量的随机函数。在此基础上,我们开发了两种算法,并建立了它们的高概率二阶收敛性。据我们所知,所提出的随机算法是第一个具有二阶收敛{ \it高概率}和时间复杂度是{ \it几乎线性}的问题的维度。
2017-11-01 cs.LG math.OC stat.ML
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton(南安普顿大学)
已经提出了许多优化方法来优化非凸目标(例如深度学习模型),例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明,这些优化方法可以通过使用无偏梯度估计器来收敛。然而,在实践中,有偏梯度估计可以允许更有效地收敛到附近,因为无偏方法在计算上更昂贵。为了产生快速收敛,这些优化策略有两个权衡,即随机/批量和有偏/无偏之间。本文提出了一种综合的方法,可以控制的性质的随机元素的优化,并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明,这个超参数可以配置为提供一个有效的平衡,以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Riemannian stochastic recursive momentum method for non-convex optimization
University of Sydney(悉尼大学)
提出了一种求解黎曼非凸优化问题的随机递归动量方法,该方法在一个样本的情况下获得了$\tilde{\mathcal{O}}(ε^{-3})$的近似最优复杂度,从而得到了$ε$ -近似解.也就是说,我们的方法需要每次迭代的$\mathcal{O}(1)$梯度评估,并且不需要重新启动大批量梯度,这通常用于获得更快的速率。大量的实验结果证明了该算法的优越性。
2020-08-11 cs.LG math.OC stat.ML
Improved Binary Forward Exploration: Learning Rate Scheduling Method for Stochastic Optimization
CU Boulder(科罗拉多大学博尔德分校)
最近提出了一种新的基于梯度的自动调度学习率的优化方法,称为二进制前向探索(BFE)。此后还讨论了BFE的自适应版本。本文将在此基础上研究改进算法,以优化新方法的效率和鲁棒性。这种改进的方法为调度学习率的更新提供了一个新的视角,并将与随机梯度下降算法(也称为具有动量或Nesterov动量的SGD算法)和最成功的自适应学习率算法(例如Adam)进行比较。该方法的目标不是击败其他方法,而是提供一个不同的视角来优化梯度下降过程。该方法结合了一阶优化和二阶优化在速度和效率方面的优点。
2022-09-22 cs.LG math.OC
Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient
UC Berkeley(加州大学伯克利分校);Google(谷歌);Princeton University(普林斯顿大学)
凸组合优化是一个新兴的课题,涵盖了随机最优控制,强化学习和多阶段随机规划的广泛应用。现有的算法由于忽略了算法设计中的凸性结构,存在样本复杂度不理想和实际问题。本文提出了一种新的随机组合方差缩减梯度算法,其样本复杂度为$O((m+n)\log(1/ε)+1/ε^3)$,其中$m+n$是总的样本个数.我们的算法是接近最佳的依赖于$m+n$是最佳的对数因子。在真实数据集上的实验结果证明了该算法的有效性和高效性。
2020-08-29 cs.LG math.OC
MixedGrad: An O(1/T) Convergence Rate Algorithm for Stochastic Smooth Optimization
Michigan State University(密歇根州立大学)
光滑函数随机优化的最优收敛速度是$O(1/\sqrt{T})$,这与Lipschitz连续凸函数随机优化的最优收敛速度相同。这与使用全梯度优化平滑函数形成对比,全梯度产生$O(1/T^2)$的收敛速率。在这项工作中,我们考虑一个新的设置优化光滑函数,称为{ \bf混合优化},它允许访问随机预言和一个完整的梯度预言。我们的目标是显着提高光滑函数的随机优化的收敛速度有一个额外的少量的访问完整的梯度预言。我们表明,与$O(\ln T)$调用全梯度预言和$O(T)$调用随机预言,建议的混合优化算法是能够实现的优化误差$O(1/T)$。
2013-07-26 cs.LG math.OC
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology(美国国家标准与技术研究院)
优化在科学和工程领域变得越来越普遍。通常,这些问题涉及各种程度的随机性或不确定性,在产生建议的解决方案。因此,在这些情况下的优化必须考虑这种随机性,以正确指导未来实验的设计。在这里,我们适应贝叶斯优化来处理不确定的结果,提出了一个新的框架,称为随机抽样贝叶斯优化(SSBO)。我们发现,在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法,由于随机生成的输入增加了处罚。此外,我们适应现有的批处理优化技术,以适当地限制近视决策时,可能会出现选择多个实例反馈之前。最后,我们表明,SSBO技术适当地优化了一组标准的优化问题,以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界,考虑了实际中使用的大多数激活函数,包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先,我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次,我们提供了一个技术性的结果(也适用于一般逼近器),将上述微分包含的解与(离散的)随机梯度下降序列相关联,从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo(滑铁卢大学);Meta;Cornell University(康奈尔大学)
研究了在差分隐私(DP)约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反,介绍了王,肖,Devadas,徐\cite{WangXDX20},我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上,我们推导出新的算法私人均值估计的重尾分布,在纯和集中DP。最后,我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界,显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Private Stochastic Convex Optimization: Efficient Algorithms for Non-smooth Objectives
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们重新审视私人随机凸优化问题。我们提出了一种算法的基础上嘈杂的镜像下降,达到最佳的统计复杂度和查询次数的一阶随机预言机的制度时,隐私参数是成反比的样本数。
2020-11-17 cs.LG stat.ML
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Meiji University(明治大学)
将Adam算法与非线性共轭梯度法相结合,提出了一种基于共轭梯度的Adam算法,并给出了收敛性分析。文本分类和图像分类的数值实验表明,与现有的自适应随机最优化算法相比,该算法能够在更少的时期内训练深度神经网络模型。
2020-03-03 cs.LG math.OC
R-SPIDER: A Fast Riemannian Stochastic Optimization Algorithm with Curvature Independent Rate
Massachusetts Institute of Technology(麻省理工学院)
研究了黎曼流形上的光滑随机最优化问题。通过将最近提出的SPIDER算法\citep{fang2018spider}(一种方差缩减的随机方法)应用于黎曼流形,我们可以在有限和和随机环境下获得比已知算法更快的速度。与以前的工作不同,通过\emph{not}诉诸边界的距离,我们的分析产生曲率无关的收敛速度的非凸和强凸的情况下。
2018-12-14 cs.LG math.OC
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping
MIPT(莫斯科物理技术学院);HSE(高等经济学院);ICS RAS(俄罗斯科学院系统编程研究所)
本文提出了一种新的加速随机一阶方法--剪切SSTM,用于求解随机梯度中带重尾分布噪声的光滑凸随机最优化问题,并给出了该方法的第一个高概率复杂度界,填补了带重尾噪声的随机最优化理论的空白.我们的方法是基于加速随机梯度下降(SGD)和随机梯度裁剪的一个特殊的变种。我们将我们的方法扩展到强凸的情况下,并证明了新的复杂性界限,在这种情况下优于国家的最先进的结果。最后,我们扩展了我们的证明技术,并推导出第一个非平凡的高概率复杂性界的SGD裁剪没有轻尾假设的噪声。
2020-10-23 cs.LG math.OC
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science(印度科学学院)
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外,所提出的随机优化算法表现出良好的收敛速度,最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Online Stochastic Optimization with Multiple Objectives
Michigan State University(密歇根州立大学);GE Global Research(通用电气全球研究中心)
在本文中,我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法,达到了$O(T^{-1/3})$收敛速度。然后,利用约束优化中的拉格朗日理论,设计了一种新的原始-对偶随机近似算法,该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
A Unified Convergence Theorem for Stochastic Optimization Methods
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
在这项工作中,我们提供了一个基本的统一收敛定理,用于推导预期和几乎必然收敛的结果,一系列的随机最优化方法。我们的统一定理只需要验证几个代表性的条件,而不是针对任何特定的算法。作为一个直接的应用程序,我们恢复预期和几乎必然收敛的结果的随机梯度法(SGD)和随机重排(RR)在更一般的设置。此外,我们建立了新的期望和几乎必然收敛结果的随机邻近梯度法(S-SGD)和随机模型为基础的方法(SMM)的非光滑非凸最优化问题。这些应用表明,我们的统一定理提供了一个插件型的收敛性分析和强收敛保证的广泛的一类随机最优化方法。
2022-10-19 cs.LG math.OC
Non-stochastic Best Arm Identification and Hyperparameter Optimization
University of Wisconsin(威斯康星大学);UCLA(加州大学洛杉矶分校)
受超参数优化任务的启发,我们引入了非随机最佳臂辨识问题。在多臂强盗文献中,累积后悔目标在非随机和随机环境下都有算法和分析,而据我们所知,最佳臂识别框架仅在随机环境下被考虑。我们在这个框架下引入非随机设置,确定一个已知的算法,非常适合这种设置,并分析其行为。接下来,通过利用标准机器学习算法的迭代性质,我们将超参数优化作为非随机最佳臂识别的实例,并根据经验评估我们提出的算法。我们的实证结果表明,通过分配更多的资源,有前途的超参数设置,我们通常实现可比的测试精度比基线方法快一个数量级。
2015-02-27 cs.LG stat.ML
Stochastic Nonconvex Bilevel Optimization: Improved Rates Without Rare-Visit Assumption
University of Oxford(牛津大学);University of Economics and Business Vienna(维也纳经济与商业大学);University of Groningen(格罗宁根大学)
本文提出一种仅对DBGD乘子进行分母正则化的方法,在无需罕见访问假设下实现随机非凸双层优化的快速收敛,达到(ε, ε)-平稳性,改进了无假设复杂度。
2026-09-09 cs.LG math.OC
Fast Stochastic Variance Reduced ADMM for Stochastic Composition Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
我们考虑的随机组合优化问题提出的\cite{wang2017stochastic},它的应用范围从估计到统计和机器学习。我们提出了第一个基于ADMM的算法com-SVR-ADMM,并证明了com-SVR-ADMM对强凸和Lipschitz光滑目标线性收敛,并且具有$O( \log S/S)$的收敛速度,当目标是凸和Lipschitz光滑时,它改进了\cite{wang2016accelerating}的$O(S^{-4/9})$速度.此外,当目标为凸但不具有Lipschitz光滑性时,com-SVR-ADMM具有$O(1/\sqrt{S})$的速率.我们还进行了实验,并表明它优于现有的算法。
2017-05-22 cs.LG stat.ML
Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise
本文提出了一种在重尾噪声下异步非凸优化的最优算法,通过归一化随机梯度下降与动量项实现最优时间复杂度。
2026-01-27 cs.LG math.OC
Stochastic Optimization with Importance Sampling
Rutgers University(罗格斯大学)
训练数据的均匀采样通常用于传统的随机最优化算法中,例如近端随机梯度下降(Proximal Stochastic Gradient Descent,简称SGD)和近端随机双坐标上升(Proximal Stochastic Dual Coordinate Ascent,简称SDCA)。虽然均匀采样可以保证采样的随机量是相应真实量的无偏估计,但所得估计量可能具有相当高的方差,这对底层优化过程的收敛性产生负面影响。本文研究了具有重要性抽样的随机最优化问题,通过减小随机方差来提高收敛速度。具体地说,我们研究了具有重要性抽样的随机镜像下降(SGD)和具有重要性抽样的随机镜像下降(SDCA)。对于非线性随机梯度算法,该算法采用重要性抽样来最小化随机梯度的方差,而不是在整个训练过程中采用均匀抽样。对于SDCA算法,提出的重要性抽样方案的目标是在每一个对偶坐标上升步骤获得更高的期望对偶值。我们提供了广泛的理论分析表明,建议的重要性抽样方法的收敛速度可以显着提高在适当的条件下,无论是对EST-SGD和EST-SDCA。实验结果验证了理论分析的正确性。
2015-01-02 cs.LG stat.ML
Projection-free nonconvex stochastic optimization on Riemannian manifolds
Princeton University(普林斯顿大学);MIT(麻省理工学院)
本文研究了黎曼流形上光滑函数约束优化的随机无投影方法,而超出参数域的附加约束是流形。具体来说,我们引入随机黎曼Frank-Wolfe方法的非凸和测地线凸问题。我们提出了纯随机最优化和有限和问题的算法。对于后者,我们开发方差减少的方法,包括最近提出的蜘蛛技术的黎曼适应。对于所有的设置,我们恢复收敛速度,是最有名的速度为他们的欧几里德同行。最后,我们讨论了两个经典任务的应用:计算的Karcher平均值的正定矩阵和Wasserstein重心多元正态分布。对于这两个任务,随机Fw方法产生最先进的经验性能。
2021-04-03 cs.LG math.OC
The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Weizmann Institute of Science(魏茨曼科学研究所)
我们解决了分布式随机凸优化的最小-最大复杂性(最多为对数因子)在间歇性通信设置,其中$M$机器并行工作的过程中的$R$轮的通信,以优化目标,并在每一轮的通信,每台机器可以顺序计算$K$随机梯度估计。我们提出了一个新的下限与匹配的上限,建立一个最佳的算法。
2021-08-05 cs.LG math.OC
Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Stochastic Optimization: Non-Asymptotic Performance Bounds and Momentum-Based Acceleration
The Chinese University of Hong Kong(香港中文大学);Rutgers University(罗格斯大学);Florida State University(佛罗里达州立大学)
随机梯度Hamilton Monte Carlo(SGHMC)是一种动量随机梯度算法,在随机梯度中加入受控的、适当缩放的高斯噪声,使迭代过程趋于全局极小值。许多工作报告了其在解决随机非凸优化问题的实践中的经验成功,特别是它已被观察到优于过阻尼Langevin蒙特卡罗方法,如随机梯度Langevin动力学(SGLD)在许多应用中。虽然SGHMC的渐近整体收敛性质是众所周知的,其有限时间性能还没有得到很好的理解。在这项工作中,我们研究了两个变种的SGHMC的基础上两个替代离散的欠阻尼朗之万扩散。我们提供了有限时间性能界的整体收敛的SGHMC解决显式常数随机非凸优化问题的变种。我们的研究结果导致人口和经验风险最小化问题的非渐近保证。对于一个固定的目标精度水平,对一类非凸问题,我们得到的复杂性界SGHMC可以比SGLD更紧。这些结果表明,在全局非凸优化的背景下,动量加速是可能的。
2020-11-18 cs.LG math.OC
A Latent Variational Framework for Stochastic Optimization
University of Toronto(多伦多大学)
本文通过一个潜在的随机变分问题,为随机优化算法提供了一个统一的理论框架。使用随机控制技术,变分问题的解决方案是等价的一个向前向后随机微分方程(FBSTO)。通过求解这些方程,我们恢复了各种现有的自适应随机梯度下降方法。该框架建立了随机优化算法和二次贝叶斯推理问题之间的直接联系梯度,在噪声梯度观测的先验测量确定所得到的算法。
2019-10-27 cs.LG math.PR stat.CO
NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们提出了使用自适应随机搜索作为构建块的深度神经网络架构内的一般,非凸优化操作。具体而言,对于位于网络中的某层并由某些网络参数参数化的目标函数,我们采用自适应随机搜索对其输出进行优化。这种操作是可微的,并且在反向传播过程中不会阻碍梯度的传递,因此使我们能够将其作为端到端学习的一个组件。我们研究了建议的优化模块的属性和基准,它对现有的两种替代品的合成能量为基础的结构化预测任务,并进一步展示其在随机最优控制应用。
2021-04-01 cs.LG cs.SY eess.SY
Perturbed Iterate Analysis for Asynchronous Stochastic Optimization
AMPLab;UC Berkeley(加州大学伯克利分校)
我们介绍并分析了随机最优化方法,其中每个梯度更新的输入被有界噪声扰动。我们表明,这个框架形成了一个统一的方法来分析异步实现的随机最优化algorithm.In这个框架中,异步随机最优化算法可以被认为是一系列的方法在嘈杂的输入。使用我们的扰动框架,我们提供了新的分析Hogwild!算法和异步随机坐标下降,比以前的分析更简单,删除了以前的模型的许多假设,并在某些情况下产生改进的收敛速度上界。我们继续应用我们的框架来开发和分析KroMagnon:一种新颖的,并行的,稀疏的随机方差降低梯度(SVRG)算法。我们在一个16核机器上的实验表明,稀疏和并行版本的SVRG在某些情况下比标准SVRG算法快四个数量级以上。
2016-03-25 cs.DC cs.DS cs.LG
Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
随机梯度Langevin动力学是解决采样问题和非凸优化问题的最基本算法之一,出现在机器学习的许多应用中。特别是,其方差减少的版本,现在已经获得了特别的关注。在本文中,我们研究这类的两个变种,即随机方差约化梯度Langevin动力学和随机递归梯度Langevin动力学。我们证明了他们的收敛到目标分布的KL-发散光滑性和Log-Sobolev不等式的唯一假设下,这些算法比以前的作品中使用的条件较弱。将批次大小和内环长度设置为$\sqrt{n}$时,实现$ε$精度的梯度复杂度为$\tilde{O}((n+dn^{1/2}ε^{-1})γ^2 L^2α^{-2})$,这是对之前任何分析的改进。我们还展示了我们的结果在非凸优化中的一些重要应用。
2022-11-19 cs.LG math.PR stat.ML
Decentralized Stochastic Bilevel Optimization with Improved per-Iteration Complexity
University of California, Davis(加州大学戴维斯分校);Rice University(莱斯大学)
针对去中心化随机双层优化,本文提出仅需一阶随机预言机及Hessian/Jacobian-向量积预言机的DSBO算法,在保持最优样本复杂度的同时避免计算完整矩阵,降低了每次迭代复杂度。
2023-05-31 cs.DC cs.LG math.OC
Stochastic Nonconvex Optimization with Large Minibatches
Amazon Alexa(亚马逊Alexa);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们研究非凸损失函数的随机优化问题,这是训练神经网络的典型目标。我们提出了随机近似算法,优化了一系列的正则化,非线性损失的大minibatches的样本,只使用一阶梯度信息。我们的算法可证明收敛到一个近似的临界点的预期目标,速度比minibatch随机梯度下降,并通过允许更大的minibatch更好的并行化。
2019-03-08 cs.LG
Byzantine-Robust Decentralized Stochastic Optimization with Stochastic Gradient Noise-Independent Learning Error
Sun Yat-Sen University(中山大学);Harvard University(哈佛大学)
本文针对去中心化随机优化中的拜占庭攻击问题,提出结合SAGA和LSVRG方差缩减的BRAVO-SAGA与BRAVO-LSVRG方法,实现线性收敛速度且学习误差与随机梯度噪声无关,并通过实验验证其鲁棒性。
2023-08-10 cs.LG
Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noise
Temple University(特拉华大学)
针对重尾噪声下的非凸双层优化问题,提出一种无需裁剪的归一化随机方差缩减梯度下降算法,并首次给出严格收敛性证明。
2026-05-25 cs.LG
Unit Tests for Stochastic Optimization
DeepMind Technologies(DeepMind科技公司)
随机梯度下降优化是许多大规模机器学习算法的重要组成部分。人们已经设计出了各种各样的此类优化算法;然而,目前尚不清楚这些算法是否稳健并且广泛适用于许多不同的优化环境。在本文中,我们开发了一个随机优化的单元测试的集合。每一个单元测试都是在小规模、孤立的、易于理解的困难上快速评估一个优化算法,而不是在许多这样的问题纠缠在一起的真实场景中。通过这些单元测试是不够的,但对于任何声称具有通用性或健壮性的算法来说是绝对必要的。我们给出了初步的定量和定性的结果,许多既定的算法。测试框架是开源的,可扩展的,易于应用于新的算法。
2014-02-25 cs.LG
Admissibility of solution estimators for stochastic optimization
我们通过统计决策论的视角来看待随机最优化问题。特别是,我们解决的可接受性,在统计决策论的意义上,自然样本平均估计的随机最优化问题(这也被称为经验风险最小化(ERM)规则在学习文献)。众所周知,对于一些简单的随机最优化问题,样本平均估计量可能是不可容许的。这在统计学文献中被称为{ \em Stein's paradox}。本文证明了对于紧集上随机线性函数的最优化问题,样本平均估计是容许的。此外,我们研究了凸二次目标受框约束的问题。当没有约束且问题的维度至少为3时,斯坦悖论成立。我们表明,在盒子的约束存在下,可接受性恢复为3和4维。
2020-10-21 math.OC math.ST stat.TH
Adaptive Stochastic Optimization
优化是机器学习和信号处理的核心。基于随机梯度法的当代方法是非自适应的,因为它们的实现采用了需要针对每个应用进行调整的规定参数值。本文总结了最近的研究和激励未来的工作,自适应随机最优化方法,这有可能提供显着的计算节省训练大规模系统。
2020-01-18 cs.LG math.OC stat.ML
Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization
Peking University(北京大学);University of Rochester(罗切斯特大学);Kwai Inc.(快手公司)
随机组合优化出现在许多重要的机器学习任务中,例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合,并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional,并证明了一个尖锐的增量一阶Oracle(IFO)复杂性上界:$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化,并被认为是最优的。我们的实验验证了我们的算法的理论性能。
2020-01-25 cs.LG math.OC stat.ML
A Hybrid Stochastic Optimization Framework for Stochastic Composite Nonconvex Optimization
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);IBM Research(IBM研究院)
针对一类随机组合且可能非凸的最优化问题,提出了一种新的随机最优化算法。其主要思想是将两个随机估计组合起来,形成一个新的混合估计。我们首先介绍我们的混合估计,然后研究其基本性质,形成算法开发的基础理论。接下来,我们应用我们的理论来开发随机梯度法的几个变种,以解决期望和有限和复合最优化问题。我们的第一个算法可以被看作是一个单一的循环的近端随机梯度法的变体,但可以实现$\mathcal{O}(σ^3\varepsilon^{-1} + σ\varepsilon^{-3})$ -oracle的复杂性界,匹配最知名的,从国家的最先进的双循环算法在文献中,其中$σ> 0$是方差和$\varepsilon$是一个理想的精度。然后,我们考虑我们的方法的两个不同的变体:自适应步长和重新启动计划,在我们的第一个算法中有类似的理论保证。我们还研究了所提出的方法的两个小批量的变种。在所有的情况下,我们都达到了标准假设下最著名的复杂性界限。我们用真实数据集在几个数值例子上测试了我们的方法,并将它们与最先进的方法进行了比较。我们的数值实验表明,新的方法是可比的,在许多情况下,优于他们的竞争对手。
2020-05-03 cs.LG math.OC stat.ML
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain(谷歌大脑)
我们描述了一个框架,推导和分析在线优化算法,包括自适应,数据相关的正则化,也称为预处理。这样的算法已被证明是有用的随机优化,根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献,包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此,我们获得了新的收敛性证明,这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Variance Regularization for Accelerating Stochastic Optimization
Boston College(波士顿学院);Brandeis University(布兰戴斯大学)
虽然现在大多数基于梯度的优化方法专注于探索高维几何特征,但任何算法实现的随机版本中积累的随机误差尚未受到重视。在这项工作中,我们提出了一个通用的原则,利用隐藏在小批量梯度的统计信息,减少了随机误差的积累。这是通过根据小批量方差正则化学习率来实现的。由于我们的观点的互补性,这种正则化可以为通用一阶方法的随机实现提供进一步的改进。实验结果表明,方差正则化可以加快收敛速度,并稳定随机优化。
2020-08-13 cs.LG math.OC stat.ML
Dynamic Stochastic Approximation for Multi-stage Stochastic Optimization
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H. Milton Stewart工业与系统工程学院)
本文考虑了在每一阶段都具有凸目标和锥约束的多阶段随机最优化问题。我们提出了一种新的随机一阶方法,即动态随机逼近(DSA)算法,用于解决这类随机最优化问题。我们表明,DSA可以实现一个最佳的${\cal O}(1/ε^4)$收敛速率方面所需的情况下,应用到一个三阶段的随机最优化问题的总数。我们进一步表明,这种收敛速率可以提高到${\cal O}(1/ε^2)$时,目标函数是强凸的。我们还讨论了变形的DSA解决更一般的多阶段随机最优化问题的阶段数$T > 3$。所开发的DSA算法只需要通过一次场景树,以计算多阶段随机最优化问题的$ε$ -解决方案。因此,DSA所需的存储器仅相对于级数线性增长。据我们所知,这是第一次,随机逼近型方法推广到多阶段随机最优化与$T \ge 3$。
2019-08-20 cs.CC cs.LG math.OC
An Improved Parametrization and Analysis of the EXP3++ Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen(哥本哈根大学);ICREA(加泰罗尼亚高等研究院);Pompeu Fabra University(庞培法布拉大学)
我们提出了一种新的多臂土匪随机算法中的间隙估计策略,并将其与Seldin和Slivkins(2014)的EXP3++算法相结合。在随机制度的策略减少了从$(\ln t)^3$到$(\ln t)^2$的时间跨度上的遗憾的依赖性,并消除了顺序为$Δe^{1/Δ^2}$的附加因子,其中$Δ$是问题实例的最小间隙。在对抗制中,后悔保证保持不变。
2017-05-09 cs.LG stat.ML
Stochastic Optimization of PCA with Capped MSG
Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们研究PCA作为一个随机最优化问题,并提出了一种新的随机逼近算法,我们称之为“矩阵随机梯度”(MSG),以及一个实际的变种,封顶MSG。本文从理论和实证两个方面对该方法进行了研究。
2013-07-05 cs.LG stat.ML
humancompatible.train: Implementing Optimization Algorithms for Stochastically-Constrained Stochastic Optimization Problems
Artificial Intelligence Center, Czech Technical University in Prague(捷克技术大学布拉格分校人工智能中心)
本文提出humancompatible.train,一个基于PyTorch的可扩展Python包,用于实现随机约束随机优化算法,并通过公平性约束任务验证其有效性。
2025-09-25 cs.LG math.OC
Improved Analysis of the Tsallis-INF Algorithm in Stochastically Constrained Adversarial Bandits and Stochastic Bandits with Adversarial Corruptions
University of Copenhagen(哥本哈根大学)
我们推导出Zimmert和Seldin(2021)的Tsallis-INF算法的改进遗憾界。我们表明,在对抗制度的$(Δ,C,T)$自约束的算法实现$\mathcal{O}\left(\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)^2}\right)+\sqrt{C\left(\sum_{i\neq i^*}\frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{C\sum_{i\neq i^*}\frac{1}{Δ_i}}\right)}\right)$遗憾界,其中$T$是时间范围,$K$是武器的数量,$Δ_i$是次优差距,$i^*$是最好的手臂,$C$是腐败的幅度,和$\log_+(x) = \max\left(1,\log x\right)$。该制度包括随机土匪,随机约束对抗土匪,随机土匪与对抗腐败的特殊情况。此外,我们提供了一个一般性的分析,它允许实现同样的改进Tsallis-INF的泛化到其他设置以外的多武装土匪。
2021-09-13 cs.LG stat.ML
Bridging the Gap between Stochastic Gradient MCMC and Stochastic Optimization
Duke University(杜克大学);Columbia University(哥伦比亚大学)
随机梯度马尔可夫链蒙特卡罗(SG-MCMC)方法是流行的随机最优化方法的贝叶斯类似物;然而,这种联系没有得到很好的研究。我们通过将模拟退火应用于SGMCMC算法来探索这种关系。此外,我们扩展了最近的SG-MCMC方法的两个关键组成部分:i)自适应预处理器(如ADAgrad或RMSprop),以及ii)自适应元素动量权重。零温度极限给出了一种新的随机最优化方法与自适应元素的动量权重,而传统的优化方法只有一个共享的,静态的动量权重。在一定的假设下,我们的理论分析表明,所提出的模拟退火方法收敛到接近全局最优。与相关的随机最优化算法相比,在几个深度神经网络模型上的实验显示了最先进的结果。
2016-08-05 cs.LG stat.ML
An improved spectral clustering method for community detection under the degree-corrected stochastic blockmodel
China University of Mining and Technology(中国矿业大学);Nankai University(南开大学)
对于社区检测问题,谱聚类是一种广泛使用的网络簇检测方法。在本文中,我们提出了一种改进的谱聚类(ISC)方法下的度校正随机块模型(DCSBM)。ISC是基于正则化Laplacian矩阵的加权首K + 1个特征向量的k-均值聚类算法设计的,其中权值是其对应的特征值。ISC的理论分析表明,在温和的条件下,ISC产生稳定一致的社区检测。数值结果表明,ISC优于经典的谱聚类方法的社区检测模拟和八个经验网络。特别是,ISC对两个弱信号网络Simmons和Caltech提供了显着的改进,错误率分别为121/1137和96/590。
2020-11-12 cs.LG stat.ML
Distributed Stochastic Optimization of the Regularized Risk
University of Tokyo(东京大学);Amazon Inc.(亚马逊公司);NICTA(澳大利亚国家信息通信技术研究院);University of California(加利福尼亚大学)
针对海量数据下随机优化算法难以高效并行化的问题,将正则化风险最小化转化为等价鞍点问题,提出一种随处理器数量几乎线性扩展的高效分布式随机优化(DSO)算法,并从理论和实验上验证了其收敛性与竞争力。
2015-06-09 cs.LG stat.ML
Third-order Smoothness Helps: Even Faster Stochastic Optimization Algorithms for Finding Local Minima
University of Virginia(弗吉尼亚大学)
我们提出了随机最优化算法,可以找到局部极小值比现有的算法更快的非凸最优化问题,利用三阶光滑逃避非退化鞍点更有效。更具体地说,所提出的算法只需要$\tilde{O}(ε^{-10/3})$随机梯度评估收敛到一个近似的局部最小值$\mathbf{x}$,它满足$\|\nabla f(\mathbf{x})\|_2\leqε$和$λ_{\min}(\nabla^2 f(\mathbf{x}))\geq -\sqrtε$在一般的随机最优化设置,其中$\tilde{O}(\cdot)$隐藏对数多项式项和常数。这将现有技术的随机局部最小值查找算法所实现的$\tilde{O}(ε^{-7/2})$梯度复杂度提高了$\tilde{O}(ε^{-1/6})$的因子。对于非凸有限和优化,我们的算法也优于最好的已知算法在一定的制度。
2017-12-18 cs.LG math.OC
Stochastic Linear Optimization with Adversarial Corruption
Northwestern University(西北大学)
我们扩展了具有对抗性腐败的随机强盗模型(Lykouriset等人,2018)到随机线性优化问题(Dani等人,2008年)。我们的算法是不可知的腐败量所选择的自适应对手。该算法的遗憾只在腐败量中线性增加。我们的算法涉及使用Löwner-John的椭球进行探索,并将时间范围划分为具有指数增长大小的时期,以限制腐败的影响。
2019-09-04 cs.LG stat.ML