Adaptive Two-Stage Cloud Resource Scaling via Hierarchical Multi-Indicator Forecasting and Bayesian Decision-Making
Shanghai Jiao Tong Uni.(上海交通大学);AntGroup(蚂蚁集团)
针对云资源利用率低的问题,提出HARMONY系统,通过层次注意力多指标分布预测与不确定性感知贝叶斯决策实现自适应伸缩,在多个数据集上超越九种方法,并在真实部署中节省超3.5万GPU小时和10万美元以上成本。
2024-08-02 cs.LG
Stochastic modified equations and adaptive stochastic gradient algorithms
Institute of High Performance Computing(高性能计算研究所);Beijing Institute of Big Data Research(北京大数据研究院);Peking University(北京大学);Princeton University(普林斯顿大学)
我们发展了随机修正方程(SME)的方法,其中随机梯度算法在弱意义下由连续时间随机微分方程近似。我们利用连续配方连同最优控制理论,以获得新的自适应超参数调整政策。我们的算法具有竞争力的性能,并且对不同的模型和数据集具有鲁棒性。这为随机梯度算法的分析和设计提供了一种通用的方法。
2017-06-20 cs.LG stat.ML
Double Adaptive Stochastic Gradient Optimization
Carnegie Mellon University(卡内基梅隆大学);ITAM(墨西哥自治技术研究所)
自适应矩方法在深度学习优化中非常成功,特别是在存在噪声和/或稀疏梯度的情况下。我们进一步的优势,自适应矩技术,提出了一个家庭的双重自适应随机梯度方法\textsc{DASGrad}。它们利用了深度学习社区广泛使用的自适应矩算法的互补思想,以及自适应概率算法的最新进展。我们分析了我们的方法在随机凸优化设置中的理论收敛性改进,并提供了凸和非凸目标的实证验证。我们观察到,~ \textsc{DASGrad}的好处随着模型的复杂性和梯度的可变性而增加,我们探索了分布匹配多任务学习扩展中的实用性。
2018-11-06 cs.LG stat.ML
Adaptive Stochastic Optimization
优化是机器学习和信号处理的核心。基于随机梯度法的当代方法是非自适应的,因为它们的实现采用了需要针对每个应用进行调整的规定参数值。本文总结了最近的研究和激励未来的工作,自适应随机最优化方法,这有可能提供显着的计算节省训练大规模系统。
2020-01-18 cs.LG math.OC stat.ML
Adaptive Stochastic Gradient Descents on Manifolds with an Application on Weighted Low-Rank Approximation
The George Washington University(乔治·华盛顿大学)
本文证明了流形上自适应学习率随机梯度下降的收敛性,并应用于加权低秩逼近问题。
2025-03-29 cs.AI cs.LG math.OC
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略,通过观测全梯度范数衰减调整参数,以最小化SFO复杂度并加速SGD收敛,实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics(上海财经大学);Georgia Institute of Technology(佐治亚理工学院)
随机梯度下降(\textsc{Sgd})方法是训练机器学习和深度学习模型中最强大的优化工具。此外,加速度(a.k.a.动量)方法和对角缩放(a.k.a.自适应梯度)方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势,但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中,我们提出了一类新的自适应和加速随机梯度下降方法,并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说,我们表明,对角缩放,最初设计用于改善香草随机梯度,可以被纳入加速随机梯度下降,以实现平滑随机最优化的最佳收敛速度。我们还表明,动量,除了被称为加快确定性优化的收敛速度,也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后,我们提出了一些启发式方法,有助于实现自适应加速随机梯度下降方法,并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及,随机梯度下降及其自适应变体(例如Adagrad,Adam等)已经成为机器学习从业者的首选方法。虽然大量的工作已经证明,这些一阶最优化方法可以实现次线性或线性收敛,我们建立了局部平方收敛的随机梯度下降与自适应步长的问题,如矩阵求逆。
2021-12-30 cs.LG math.OC
Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent
University of Bayreuth(拜罗伊特大学);Heidelberg University(海德堡大学)
本文提出一种利用梯度Lipschitz常数和局部方差的自适应步长SGD算法,几乎无需超参数,具有收敛保证,在图像分类中表现问题自适应,并支持预条件器。
2024-09-18 cs.LG math.OC
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251(波尔多大学 CNRS,波尔多 INP,IMB,UMR 5251)
提出一种无需超参数调优的随机梯度自适应步长策略,利用一阶随机Oracle的局部几何信息,理论证明收敛性,实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods
Cranberry-Lemon University(蔓越莓柠檬大学)
我们提出了AI-SARAH,SARAH的一个实际变体。作为SARAH算法的一个变种,该算法采用随机递归梯度,但根据局部几何形状调整步长。AI-SARAH隐式计算步长,并有效地估计随机函数的局部Lipschitz光滑性。它是完全自适应的,无需调谐,实现简单,计算效率高。我们提供有关其设计和融合的技术见解和直观说明。我们进行了广泛的实证分析,并证明其强大的性能相比,其经典的同行和其他国家的最先进的一阶方法在解决凸机器学习问题。
2022-02-01 cs.LG math.OC
Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts
Purdue University(普渡大学)
贝叶斯深度学习提供了一种解决人工智能(AI)安全性问题的原则性方法,例如模型不确定性,模型可解释性和预测偏差。然而,由于缺乏从深度神经网络(DNN)的后验中采样的有效蒙特卡罗算法,贝叶斯深度学习尚未为我们的AI系统提供动力。提出了一类自适应随机梯度马尔可夫链蒙特卡罗(SGMCMC)算法,该算法对漂移函数进行偏置以增强对鞍点的逃逸,并根据过去样本的梯度自适应地调整偏置.我们建立了所提出的算法在温和的条件下的收敛性,并通过数值例子表明,所提出的算法可以显着优于现有的SGMCMC算法,如随机梯度朗之万动力学(SGLD),随机梯度哈密顿蒙特卡罗(SGHMC)和预处理SGLD,在模拟和优化任务。
2020-09-20 cs.LG stat.ML
Stochastic Dual Coordinate Ascent with Adaptive Probabilities
University of Edinburgh(爱丁堡大学)
本文介绍AdaSDCA:随机对偶坐标上升法(SDCA)的一个自适应变体,用于求解正则化的经验风险最小化问题。我们的修改包括在整个迭代过程中,允许该方法自适应地改变对偶变量的概率分布。AdaSDCA实现了比SDCA更好的复杂性边界,具有最佳固定概率分布,称为重要性抽样。然而,这是一个理论性的特点,因为它是昂贵的实施。我们还提出了AdaSDCA+:一个实用的变体,在我们的实验中优于现有的非自适应方法。
2015-02-27 cs.LG math.OC stat.ML
AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems
East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
本文提出AdaptiveFL方法,通过细粒度宽度级模型剪枝和基于强化学习的设备选择机制,为异构AIoT设备动态分配合适的局部模型,在IID和非IID场景下实现高达16.83%的推理性能提升。
2024-04-09 cs.DC cs.LG
GeoAdaLer: Geometric Insights into Adaptive Stochastic Gradient Descent Algorithms
Auburn University(阿伯茨兰大学)
本文提出GeoAdaLer,一种利用优化景观几何特性的新型随机梯度下降自适应学习方法,提升了复杂优化场景中的可解释性与有效性。
2025-05-31 cs.LG math.OC stat.ML
Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);ServiceNow Research(ServiceNow研究院)
本文研究随机镜像下降在插值条件下的收敛性,提出自适应步长方案mSPS,在无需梯度有界和方差有界假设下给出收敛保证,并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降,一个随机最优化算法,使用卡尔曼滤波,自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明,在各种机器学习领域,包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本,我们的算法,使大规模的优化,我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Stochastic Gradient Methods with Layer-wise Adaptive Moments for Training of Deep Networks
NVIDIA(英伟达)
我们提出了NovoGrad,自适应随机梯度下降方法与逐层梯度归一化和解耦的权重衰减。在我们对用于图像分类、语音识别、机器翻译和语言建模的神经网络进行的实验中,它的性能与使用动量和Adam或AdamW进行良好调整的SGD相当或更好。此外,NovoGrad(1)对学习率和权重初始化的选择具有鲁棒性,(2)在大批量设置中工作良好,(3)内存占用比Adam小两倍。
2020-02-06 cs.LG stat.ML
Adaptive Stochastic Gradient Langevin Dynamics: Taming Convergence and Saddle Point Escape Time
Iowa State University(爱荷华州立大学)
在本文中,我们提出了一个新的自适应随机梯度Langevin动力学(ASGLD)算法框架和它的两个专门版本,即自适应随机梯度(ASG)和自适应梯度Langevin动力学(AGLD),非凸优化问题。所有提出的算法都可以通过最多$O(\log d)$次迭代逃离鞍点,这几乎是无量纲的。此外,我们表明,ASGLD和ASG收敛到最多$O(\log d/ε^4)$迭代的局部最小值。此外,具有全梯度的ASGLD或具有缓慢线性增加的批量大小的ASGLD收敛到局部最小值,迭代以$O(\log d/ε^2)$为界,这优于现有的一阶方法。
2018-05-23 cs.AI cs.LG stat.ML
Stochastic Runge-Kutta methods and adaptive SGD-G2 stochastic gradient descent
CEREMADE, Université Paris Dauphine - PSL Research University(CEREMADE,巴黎多芬大学-巴黎文理研究大学)
损失函数的最小化在深度神经网络中至关重要。另一方面,许多流行的优化算法已被证明是对应于一些梯度流类型的发展方程。受一般发展方程数值方法的启发,我们引入了一个二阶随机龙格库塔法,并证明了它产生了一个一致的程序的损失函数的最小化。此外,在自适应框架中,它可以与随机梯度下降(SGD)耦合,以自动调整SGD的学习率,而不需要关于损失泛函的Hessian的任何附加信息。自适应SGD,称为SGD-G2,已在标准数据集上成功测试。
2020-02-20 cs.LG cs.NA math.NA
Stochastic quasi-Newton with adaptive step lengths for large-scale problems
University of Newcastle(纽卡斯尔大学);Uppsala University(乌普萨拉大学)
我们提供了一个强大的数字和快速的方法,能够利用当地的几何形状时,解决大规模的随机优化问题。我们的关键创新是一个辅助变量的建设加上逆海森近似计算使用的迭代和梯度的历史。正是经典的随机梯度算法的马尔可夫链性质使得这种发展成为可能。该结构提供了一种自适应步长的随机线搜索机制。我们对当前最先进的方法进行了数值评估和比较,并在现实世界的基准问题上取得了令人鼓舞的性能,其中观测和未知数的数量为数百万。
2018-02-12 cs.LG stat.ML
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain(谷歌大脑)
我们描述了一个框架,推导和分析在线优化算法,包括自适应,数据相关的正则化,也称为预处理。这样的算法已被证明是有用的随机优化,根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献,包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此,我们获得了新的收敛性证明,这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Effective continuous equations for adaptive SGD: a stochastic analysis view
Dipartimento di Matematica, Università di Pisa(数学系,比萨大学);Scuola Normale Superiore(高等师范大学)
本文在小学习率下分析自适应SGD方法,利用随机修正方程推导有效连续动力学,发现采样噪声表现为独立布朗运动,并刻画了学习率与超参数的缩放规则。
2025-09-25 cs.LG math.PR stat.ML
Adaptive Stochastic Optimisation of Nonconvex Composite Objectives
Technische Universität Berlin(柏林工业大学);GT-ARC Gemeinnützige GmbH(GT-ARC公益有限责任公司)
本文提出并分析了一类广义随机复合镜像下降算法。与自适应步长,所提出的算法收敛,而不需要先验知识的问题。结合熵类更新生成函数,这些算法在具有最大范数的空间中执行梯度下降,这使我们能够利用高维问题的决策集的低维结构。与基于Rademacher分布和方差缩减技术的采样方法一起,所提出的算法保证了零阶优化问题的对数复杂度对维数的依赖。
2022-11-21 cs.LG math.OC
Statistical Adaptive Stochastic Gradient Methods
Microsoft Research AI(微软研究院人工智能部门);Microsoft Research NExT(微软研究院新体验与技术部门);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们提出了一个统计自适应过程称为SALSA自动调度的学习率(步长)在随机梯度方法。SALSA首先使用平滑的随机线搜索过程来逐渐提高学习率,然后自动切换到统计方法来降低学习率。线搜索过程“预热”优化过程,减少了在设置初始学习率时昂贵的试验和错误的需要。降低学习率的方法是基于一种新的统计测试,当使用一个恒定的步长检测平稳性。与以前的工作不同,我们的测试适用于广泛的一类随机梯度算法,无需修改。该组合方法具有高度的鲁棒性和自主性,并且在我们对几个深度学习任务的实验中,它与最佳手动调整学习速率计划的性能相匹配。
2020-02-25 cs.LG stat.ML
Adaptively Preconditioned Stochastic Gradient Langevin Dynamics
Columbia University(哥伦比亚大学)
随机梯度朗之万动力学将各向同性梯度噪声注入SGD,以帮助在深度网络的损失景观中导航病理曲率。噪声的各向同性性质导致较差的缩放,并且已经提出了基于高阶曲率信息的自适应方法(诸如Fisher Scoring)来预处理噪声以实现更好的收敛。在本文中,我们描述了一种自适应方法来估计噪声的参数,并进行实验,在著名的模型架构,自适应预处理SGLD方法实现收敛的速度与自适应一阶方法,如亚当,AdaGrad等。
2019-06-12 cs.CV cs.LG stat.ML
A Resource-Adaptive Approach for Federated Learning under Resource-Constrained Environments
Shandong University(山东大学);the University of Aizu(会津大学)
针对联邦学习中客户端资源异构受限及掉队者问题,提出资源自适应异步算法Fed-RAA,按能力分配模型片段并异步更新,理论证明收敛,实验验证其优势,为首个相关收敛性保证方法。
2024-06-19 cs.AI cs.DC cs.LG
Adaptive Stochastic Primal-Dual Coordinate Descent for Separable Saddle Point Problems
The University of Edinburgh(爱丁堡大学)
考虑一类具有可分结构的一般凸凹鞍点问题,这种形式涵盖了广泛的机器学习应用。在这种问题结构下,我们遵循鞍点问题的原始-对偶更新框架,并将具有自适应步长的随机块坐标下降纳入该框架中。我们从理论上表明,我们的建议的自适应步长可能实现一个尖锐的线性收敛速度相比,现有的方法。此外,由于我们可以选择“小批量”块坐标更新,我们的方法也适合于大规模数据的并行处理。我们将所提出的方法应用于正则化经验风险最小化,并表明它在合成数据集和真实数据集上的表现往往优于最先进的方法。
2015-06-12 cs.LG stat.ML
Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization
Facebook AI Research(Facebook人工智能研究院);Princeton University(普林斯顿大学)
我们介绍MADGRAD,一种新的优化方法在家庭的AdaGrad自适应梯度方法。MADGRAD在多个领域的深度学习优化问题上表现出色,包括视觉中的分类和图像到图像任务,以及自然语言处理中的循环和双向掩码模型。对于这些任务中的每一个,MADGRAD在测试集性能上都与SGD和ADAM相匹配或优于SGD和ADAM,即使在自适应方法通常表现不佳的问题上也是如此。
2021-08-26 cs.AI cs.LG math.OC
Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Florida(佛罗里达大学)
在本文中,我们设计并分析了一族新的自适应次梯度方法,用于求解一类重要的弱凸(可能非光滑)随机最优化问题。使用过去梯度的指数移动平均值来更新搜索方向和学习速率的自适应方法最近吸引了大量关注,用于解决机器学习中出现的最优化问题。然而,它们的收敛性分析几乎完全需要目标函数的光滑性和/或凸性。与此相反,我们建立了一阶和零阶自适应方法及其近似变量的非渐近收敛速度为一个合理的广泛的非光滑\非凸最优化问题。实验结果表明,所提出的算法如何经验优于随机梯度下降及其零阶变量解决这样的最优化问题。
2020-05-24 cs.LG math.OC stat.ML
Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization
University of Florida(佛罗里达大学);Korea Institute of Industrial Technology (KITECH)(韩国产业技术研究院)
我们专注于最小化机器学习问题中通常出现的非凸有限和函数。为了解决这个问题,自适应三次正则化牛顿法已经显示出其强大的整体收敛保证和逃离严格鞍点的能力。该方法使用类似置信域的方案来确定迭代是否成功,并且仅在迭代成功时更新。在本文中,我们提出了一种算法相结合的负曲率与自适应立方正则牛顿方法更新,即使在不成功的迭代。我们称这种新方法为负曲率随机自适应三次正则化(SANC)。与以前的方法不同,为了获得随机梯度和Hessian估计量,SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法在解决大规模机器学习问题时更加实用。据我们所知,这是第一个方法,结合负曲率方法与自适应三次正则化牛顿法。最后,我们提供了实验结果,包括神经网络的问题,支持我们的方法的效率。
2019-06-27 cs.LG math.OC
VISP: Volatility Informed Stochastic Projection for Adaptive Regularization
Okta
该研究提出自适应正则化方法VISP,通过梯度统计量动态计算波动率以缩放随机投影矩阵,选择性正则化高波动节点,在多个图像数据集上泛化表现优于基线与固定噪声方案,还能稳定网络动态、提升特征鲁棒性。
2025-09-02 cs.AI cs.LG
Adaptive Discovery of Interpretable Audio Attributes with Multimodal LLMs for Low-Resource Classification
Kyoto University(京都大学)
本文提出利用多模态大语言模型自适应发现可解释音频属性,提升低资源音频分类的效率和准确性。
2026-03-07 cs.LG cs.SD
An Adaptive Stochastic Nesterov Accelerated Quasi Newton Method for Training RNNs
Shizuoka University(静冈大学);Shonan Institute of Technology(湘南工业大学)
训练神经网络的一个常见问题是梯度消失和/或爆炸问题,这在递归神经网络(RNN)的训练中更为突出。因此,已经提出了几种用于训练RNN的算法。本文提出了一种新的自适应随机Nesterov加速拟牛顿(aSNAQ)方法来训练RNN。所提出的方法aSNAQ是一种加速方法,其使用Nesterov的梯度项以及二阶曲率信息。在Tensorflow中对基准序列建模问题进行了评估。结果表明,在保持低的每次迭代成本的同时,性能得到了改善,因此可以有效地用于训练RNN。
2019-09-09 cs.LG stat.ML
ADASECANT: Robust Adaptive Secant Method for Stochastic Gradient
Université de Montréal(蒙特利尔大学);University of Oxford(牛津大学)
随机梯度算法一直是大规模学习问题的主要焦点,它们在机器学习中取得了重要的成功。SGD的收敛依赖于学习率的仔细选择和梯度的随机估计中的噪声量。在本文中,我们提出了一种新的自适应学习率算法,它利用曲率信息自动调整的学习率。关于损失函数的逐单元曲率的信息由随机一阶梯度的局部统计量估计。我们进一步提出了一种新的方差减少技术,以加快收敛速度。在我们对深度神经网络的初步实验中,与流行的随机梯度算法相比,我们获得了更好的性能。
2015-11-01 cs.LG cs.NE stat.ML
A Robust and Domain-Adaptive Approach for Low-Resource Named Entity Recognition
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
近年来,利用有限的标注数据构建可靠的命名实体识别系统受到了广泛关注。几乎所有现有的作品都严重依赖于特定领域的资源,如外部词典和知识库。然而,这些特定领域的资源往往是不可用的,同时它的困难和昂贵的建设,这已成为一个关键的障碍,更广泛地采用。为了解决这个问题,在这项工作中,我们提出了一种新的鲁棒性和域自适应的方法RDANER低资源NER,它只使用廉价和容易获得的资源。在三个基准数据集上进行的大量实验表明,我们的方法在只使用廉价且易于获得的资源时实现了最佳性能,并且与使用难以获得的特定领域资源的最先进方法相比,具有竞争力的结果。我们所有的代码和语料库都可以在https://github.com/houking-can/RDANER上找到。
2021-01-02 cs.AI cs.CL cs.LG
Local AdaAlter: Communication-Efficient Stochastic Gradient Descent with Adaptive Learning Rates
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Web Services(亚马逊云科技)
当扩展分布式训练时,通信开销通常是瓶颈。在本文中,我们提出了一种新的SGD变体减少通信和自适应学习率。我们证明了该算法的收敛性光滑,但非凸问题。实验结果表明,该算法显着降低了通信开销,这反过来,减少了高达30%的1B字数据集的训练时间。
2020-12-05 cs.DC cs.LG stat.ML
Adaptive Submodularity: Theory and Applications in Active Learning and Stochastic Optimization
California Institute of Technology(加州理工学院);ETH Zurich(苏黎世联邦理工学院)
在部分可观测性下求解随机优化问题,其中需要自适应地做出具有不确定结果的决策,这是一个基本但众所周知的困难挑战。在本文中,我们引入了自适应子模块的概念,推广子模块集函数的自适应政策。我们证明了,如果一个问题满足这一性质,一个简单的自适应贪心算法是保证竞争的最优策略。除了为随机最大化和覆盖提供性能保证之外,还可以利用自适应子模块化通过使用惰性评估来大幅加速贪心算法。我们说明了有用的概念,给出了几个例子,自适应子模块化的目标在不同的应用,包括传感器的位置,病毒式营销和主动学习。证明这些问题的自适应子模块性,使我们能够恢复现有的结果在这些应用中的特殊情况下,提高近似保证和处理自然的推广。
2017-12-06 cs.AI cs.DS cs.LG
Stochastic Deep Model Reference Adaptive Control
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种基于随机深度神经网络的模型参考自适应控制。在我们的工作“深度模型参考自适应控制“的基础上,我们通过使用贝叶斯深度神经网络(DNN)来表示不确定性和模型非线性来扩展控制器的能力。随机深度模型参考自适应控制使用基于Lyapunov的方法来实时调整DNN模型的输出层权重,同时使用数据驱动的监督学习算法来更新内层参数。这种异步网络更新确保有界性和保证跟踪性能与基于学习的实时反馈控制器。DNN学习的贝叶斯方法有助于避免过度拟合数据,并提供预测的置信区间。控制器的随机特性也确保了“激励的诱导持续性”,从而导致整个系统信号的收敛。
2021-08-04 cs.AI cs.LG cs.RO
Stochastic batch size for adaptive regularization in deep network optimization
Chung-Ang University(中央大学);University of California Los Angeles(加州大学洛杉矶分校)
提出了一种结合自适应正则化的一阶随机优化算法,适用于深度学习框架下的机器学习问题。自适应正则化是由随机过程施加在确定批量大小为每个模型参数在每次优化迭代。随机批量大小由遵循梯度范数分布的每个参数的更新概率确定,考虑到神经网络架构中的局部和全局属性,其中梯度范数的范围可以在层内和跨层变化。我们经验证明我们的算法的有效性,使用图像分类任务的基础上,传统的网络模型应用于常用的基准数据集。定量评估表明,我们的算法优于国家的最先进的优化算法的泛化能力,同时提供更低的敏感性,选择批量大小,往往在优化中发挥关键作用,从而实现更强大的鲁棒性的选择规律性。
2020-04-14 cs.CV cs.LG stat.ML
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah(犹他大学);University of Kentucky(肯塔基大学)
动量在基于随机梯度的优化算法中起着至关重要的作用,用于加速或改进深度神经网络(DNN)的训练。在深度学习实践中,动量通常由校准良好的常数加权。然而,调整动量的超参数可能是一个巨大的计算负担。在本文中,我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量,不需要动量相关的超参数,由非线性共轭梯度(NCG)方法激发。具有这种新的自适应动量的随机梯度下降(SGD)消除了对动量超参数校准的需要,允许显著更大的学习率,加速DNN训练,并提高训练的DNN的最终准确性和鲁棒性。例如,具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外,具有新的自适应动量的SGD也有利于对抗训练,并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
Linear Convergence of Adaptive Stochastic Gradient Descent
Oden Institute, UT Austin(德克萨斯大学奥斯汀分校奥登研究所);Department of Mathematics, UT Austin(德克萨斯大学奥斯汀分校数学系)
我们证明了自适应随机梯度方法的范数版本(AdaGrad-Norm)对于满足Polyak Lojasiewicz(PL)不等式的强凸函数或非凸函数的子集实现了线性收敛速度。本文引入了随机梯度范数平衡性的度量-- RUIG在证明AdaGrad-Norm在随机设置中对其超参数调整的鲁棒性方面起着关键作用。在RUIG的基础上,我们开发了一个两阶段的框架来证明AdaGrad-Norm的线性收敛性,而不需要知道目标函数的参数。该框架可以扩展到其他自适应步长算法。数值实验验证了理论,并提出了未来的改进方向。
2020-03-06 cs.LG math.OC stat.ML
NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们提出了使用自适应随机搜索作为构建块的深度神经网络架构内的一般,非凸优化操作。具体而言,对于位于网络中的某层并由某些网络参数参数化的目标函数,我们采用自适应随机搜索对其输出进行优化。这种操作是可微的,并且在反向传播过程中不会阻碍梯度的传递,因此使我们能够将其作为端到端学习的一个组件。我们研究了建议的优化模块的属性和基准,它对现有的两种替代品的合成能量为基础的结构化预测任务,并进一步展示其在随机最优控制应用。
2021-04-01 cs.LG cs.SY eess.SY
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型(LVMs)开发基于随机梯度的可扩展推理是具有挑战性的,这是由于不仅难以计算梯度,而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络(PGBN),最近提出的深度离散LVM,我们推导出一种替代表示,被称为深度潜在狄利克雷分配(DLDA)。利用数据增广和边缘化技术,我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC,我们提出了主题层自适应随机梯度黎曼(TLASGR)MCMC,共同学习单纯形约束的全局参数在所有层和主题,主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
Stochastic Averaging for Constrained Optimization with Application to Online Resource Allocation
University of Minnesota(明尼苏达大学);University of Pennsylvania(宾夕法尼亚大学);Fudan University(复旦大学);Florida Atlantic University(佛罗里达大西洋大学)
现有的随机网络资源分配方法面临着快速收敛和可容忍延迟的挑战。本文利用在线学习的进步,以促进随机资源分配任务。通过认识到拉格朗日乘数的核心作用,基本的约束最优化问题被制定为一个机器学习任务,涉及训练和操作模式,以学习所寻求的乘数在一个快速和有效的方式的目标。为此,一个订单最优的离线学习方法首先开发的批量训练,然后将其推广到在线设置称为学习和适应的过程。新的资源分配协议渗透随机逼近和统计学习的好处,以获得低复杂度的在线更新与学习误差接近统计精度限制,同时仍然保持适应性能,这在随机网络优化的上下文中保证队列稳定性。理论分析和仿真实验表明,该方法在延迟和收敛性能上都有明显的改善。
2017-02-26 cs.DC cs.LG math.OC
Learning-Based Adaptive Control for Stochastic Linear Systems with Input Constraints
University of Melbourne(墨尔本大学)
本文提出了一种确定性等价方案,用于标量线性系统的自适应控制,该系统具有加性、独立同分布和非线性。高斯干扰和有界控制输入约束,而不需要先验知识的界限的系统参数,也没有控制方向。假设系统在最坏情况下是边际稳定的,证明了闭环系统状态的均方有界性。最后,数值例子来说明我们的结果。
2023-03-17 cs.LG cs.SY eess.SY
Gesture-Aware Indoor THz ISAC Systems for Adaptive Resource Allocation
King’s College London(伦敦国王学院)
针对太赫兹频段多用户室内集成感知与通信系统,提出基于扩展卡尔曼滤波手势跟踪的自适应联合优化算法,通过动态调整功率分配和波束赋形,在满足手势相关通信服务质量约束下最大化感知信干噪比。
2026-05-28 cs.IT cs.LG math.IT
An Adaptive Algorithm for Finite Stochastic Partial Monitoring
University of Alberta(阿尔伯塔大学)
我们提出了一个新的任何时候算法,实现近最佳遗憾的任何情况下,有限的随机部分监测。特别是,新算法实现了极大极小遗憾,对数因子内,“容易”和“困难”的问题。对于简单的问题,它还实现了对数个体遗憾。最重要的是,该算法是自适应的意义上说,如果对手的战略是在一个“容易的区域”的战略空间,然后后悔增长,如果问题是容易的。作为一个含义,我们表明,在一些合理的附加假设下,该算法在动态定价中具有O(\sqrt{T})的遗憾,Bartok等人证明了这一点。
2012-06-27 cs.GT cs.LG stat.ML
Adaptive Non-reversible Stochastic Gradient Langevin Dynamics
Cornell University(康奈尔大学);University of Connecticut(康涅狄格大学)
众所周知,在朗之万动力学算法的梯度中加入任何反对称矩阵都会导致不可逆扩散,从而提高收敛速度。本文提出了一种自适应优化选择反对称矩阵的梯度算法。所得到的算法涉及一个不可逆的扩散算法交叉耦合的随机梯度算法,适应的斜对称矩阵。该算法使用与经典Langevin算法相同的数据。给出了反对称矩阵选择的最优性的弱收敛性证明。在贝叶斯学习和跟踪的例子中,该算法的收敛速度得到了改善。
2020-09-26 cs.LG cs.SY eess.SY
Variance Reduction on General Adaptive Stochastic Mirror Descent
Purdue University(普渡大学)
在这项工作中,我们调查的方差减少的想法,通过研究其性质与一般的自适应镜像下降算法在非光滑非凸有限和优化问题。我们提出了一个简单而通用的框架方差减少自适应镜像下降算法命名为SVRAMD,并提供其收敛性分析在非光滑非凸问题和P-L条件问题。我们证明了方差减少降低了自适应镜像下降算法的SFO复杂度,从而加快了收敛速度。特别是,我们的一般理论意味着,方差减少可以应用于使用时变步长的算法和自适应算法,如AdaGrad和RMSProp。此外,SVRAMD的收敛速度恢复现有的最佳速度的非自适应方差减少镜像下降算法没有复杂的算法组件。深度学习的大量实验验证了我们的理论发现。
2021-08-29 cs.AI cs.LG math.OC
A Framework for Adaptive Stabilisation of Nonlinear Stochastic Systems
Leibniz University Hannover, Institute of Automatic Control(汉诺威莱布尼茨大学自动控制研究所);University of Melbourne, Department of Electrical and Electronic Engineering(墨尔本大学电气与电子工程系)
本文提出了一种基于确定性等价学习的自适应控制策略,用于非线性随机系统的稳定性分析与保障。
2025-11-21 cs.LG cs.SY eess.SY
Stability Bounds for Learning-Based Adaptive Control of Discrete-Time Multi-Dimensional Stochastic Linear Systems with Input Constraints
University of Melbourne(墨尔本大学)
针对参数未知、含输入约束与无限随机干扰的离散时间多维线性系统,提出结合在线参数估计与饱和线性控制的确定性等价控制方案,并证明了闭环系统的高概率稳定性界。
2023-04-02 cs.LG cs.SY eess.SY
Stochastic Learning of Computational Resource Usage as Graph Structured Multimarginal Schrödinger Bridge
Department of Applied Mathematics, University of California, Santa Cruz(应用数学系,加州大学圣克鲁兹分校);Department of Computer and Information Science, University of Pennsylvania(计算机与信息科学系,宾夕法尼亚大学);Department of Aerospace Engineering, Iowa State University(航空航天工程系,爱荷华州立大学)
该研究提出将软件时变随机计算资源使用建模为图结构薛定谔桥问题,以非参数方式从性能快照学习联合时变随机性,给出单核/多核算法及收敛分析,通过两个案例验证了资源可用性预测的实用性。
2025-05-19 cs.AI cs.LG cs.SY