Toward Understanding Why Adam Converges Faster Than SGD for Transformers
Carnegie Mellon University(卡内基梅隆大学)
本文提出方向锐度概念解释 Adam 训练 Transformer 时比 SGD 收敛更快的原因,发现少数坐标损害 SGD,并证明逐坐标裁剪可降低锐度、加速优化。
2023-05-31 cs.AI cs.LG
Fast Variance Reduction Method with Stochastic Batch Size
University of California, Davis(加州大学戴维斯分校)
本文研究了一类具有随机批量的方差缩减方法--在每一步中,算法首先随机选择批量,然后选择一批样本进行方差缩减的随机更新。我们给出了这个框架的复合函数的线性收敛速度,并表明,每次数据访问达到最佳收敛速度的最佳策略是始终选择批量大小为1,这是等价于SAGA算法。然而,由于计算机体系结构中缓存/磁盘IO效应的存在,数据访问次数无法反映运行时间,因为1)随机内存访问比顺序存取慢得多,2)当数据太大而无法放入内存时,磁盘查找需要更长的时间。考虑到这些因素后,选择批量大小的$1$不再是最优的,所以我们提出了一个新的算法称为SAGA++,并展示了如何计算理论上的最优平均批量大小。我们的算法优于SAGA和其他现有的批量和随机求解器在真实数据集上。此外,我们还进行了一个精确的分析,比较不同的更新规则的方差减少方法,表明SAGA++收敛速度比SVRG在理论上。
2018-08-07 cs.LG stat.ML
Empirical Hypothesis Space Reduction
NEC corporation(日本电气股份有限公司);RIKEN AIP(理化学研究所AIP)
选择合适的正则化系数是正则化经验风险最小化问题的关键。现有的理论方法试图确定的系数,以正规化的经验目标是真正的目标的上限,均匀的假设空间。然而,这样的方法被认为是过于保守的,特别是在具有大假设空间的高维设置中。事实上,基于方差的正则化中现有的泛化误差界是$O(\sqrt{d \log n/n})$,其中$d$是假设空间的维度,因此收敛所需的样本数量相对于$d$线性增加。本文提出了一种计算正则化系数的算法,该算法能加快泛化误差$O(\sqrt{\log n/n})$的收敛速度,且其首项与维数$d$无关。这种不依赖于假设空间大小的更快收敛是通过经验假设空间缩减来实现的,经验假设空间缩减以高概率成功地缩减了假设空间,而不会丢失真正的最优解。统一的上界计算减少空间,然后,使加速收敛的泛化误差。
2019-09-04 cs.LG stat.ML
Muon is Provably Faster with Momentum Variance Reduction
KAUST(王国立大学);Center of Excellence for Generative AI(生成人工智能卓越中心);Yandex Research(Yandex研究)
本文通过将动量方差缩减引入Gluon框架,证明Muon等优化器在非凸和星凸情况下收敛速度的提升。
2025-12-18 cs.LG math.OC
Natasha 2: Faster Non-Convex Optimization Than SGD
Microsoft Research(微软研究院)
我们设计了一个随机算法来训练任何光滑的神经网络$\varepsilon$ -近似局部极小值,使用$O(\varepsilon^{-3.25})$反向传播。最好的结果基本上是SGD的$O(\varepsilon^{-4})$。更广泛地说,它发现$\varepsilon$ -近似局部极小值的任何光滑非凸函数率$O(\varepsilon^{-3.25})$,只有oracle访问随机梯度。
2018-06-11 cs.DS cs.LG cs.NE
Fast Instrument Learning with Faster Rates
Tsinghua University(清华大学)
本文研究了高维工具下的非线性工具变量(IV)回归问题。我们提出了一个简单的算法,它结合了核IV方法和任意的,自适应回归算法,作为一个黑盒访问。我们的算法具有更快的收敛速度,并适应信息的潜在特征的维数,同时避免了昂贵的极大极小优化过程,这是必要的建立类似的保证。它进一步将灵活的机器学习模型的优点引入准贝叶斯不确定性量化、基于似然的模型选择和模型平均。仿真研究表明,我们的方法的竞争力的性能。
2022-10-22 cs.LG econ.EM stat.ML
Fast Rank Reduction for Non-negative Matrices via Mean Field Theory
National Institute of Informatics(信息学研究所);The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);JST, PRESTO(日本科学技术振兴机构PRESTO项目)
提出了一种有效的非负矩阵降秩方法,其时间复杂度是矩阵行数或列数的二次方。我们的关键见解是制定降秩作为一个平均场近似建模矩阵通过一个对数线性模型结构化样本空间,这使我们能够解决降秩作为凸优化。这个公式的亮点是,最小化给定矩阵的库尔贝克-莱布勒散度的最优解可以以封闭形式解析计算。我们的经验表明,我们的降秩方法比NMF及其流行的变体lraNMF更快,同时在合成和真实世界的数据集上实现了具有竞争力的低秩近似误差。
2021-03-04 cs.LG stat.ML
Faster Rates for training Max-Margin Markov Networks
Purdue University(普渡大学);University of Chicago(芝加哥大学)
结构化输出预测是一个重要的机器学习问题,最大间隔马尔可夫网络(\mcn)是一种有效的预测方法。用于优化\mcn \目标的所有最新算法至少需要$O(1/ε)$次迭代才能找到$ε$精确解。结构优化的最新结果表明,更快的速度是可能的,通过利用目标函数的结构。为此,\citet{Nesterov05}提出了一种基于欧几里德投影的过度间隙减少技术,该技术在强凸函数上的$O(1/\sqrtε)$迭代中收敛。不幸的是,当应用到\mcn s,这种方法不承认图形模型因式分解,在许多现有的算法,是至关重要的保持每次迭代的成本易处理。本文提出了一种新的基于Bregman投影的过度间隙缩减技术,该技术自然地允许图模型分解,并在$O(1/\sqrtε)$迭代中收敛。与已有算法相比,该算法的收敛速度对$ε$和问题的其他参数有更好的依赖性,并且易于核化.
2010-03-06 cs.CC cs.LG
Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization
Central South University(中南大学);Beijing Institute of Technology(北京理工大学)
针对组合极小极大优化现有方法复杂度次优、依赖大批次的问题,提出NSTORM及自适应版本ADA-NSTORM,达最优样本复杂度且无需大批次,实验验证了其效率。
2023-12-12 cs.LG math.OC
Fast Computation of Superquantile-Constrained Optimization Through Implicit Scenario Reduction
Department of Industrial and Systems Engineering, University of Minnesota(明尼苏达大学工业与系统工程系);Department of Industrial Engineering and Operations Research, University of California, Berkeley(加州大学伯克利分校工业工程与运筹学系)
本文提出一种高效的二次计算框架,用于解决具有超分位数约束的大规模优化问题,通过隐式情景缩减减少牛顿系统维度,显著提升计算效率。
2024-05-20 cs.LG math.OC
Faster Sublinear Algorithms using Conditional Sampling
MIT(麻省理工学院)
概率分布D的条件采样预言机返回来自限制于域的指定子集的D的条件分布的样本。最近的一系列工作(Chakraborty et al. 2013和Cannone et al. 2014)表明,访问这样的条件抽样oracle只需要多对数甚至常数数量的样本来解决分布测试问题,如同一性和均匀性。这大大改善了标准采样模型,其中多项式许多样本是必要的。受这些结果的启发,我们引入了一个计算模型的基础上,条件采样开发次线性算法与指数更快的运行时间相比,标准的次线性算法。本文主要研究高维欧氏空间中点集上的几何优化问题。访问这些点是通过一个有条件的采样预言机提供的,该预言机将域的子集的简洁表示作为输入,并输出该子集中的均匀随机点。我们研究了两个很好的研究问题:k-均值聚类和估计的最小生成树的重量。与经典模型的已有算法相比,我们的算法具有时间、空间和样本复杂度,即维数为多项式,点数为多对数。最后,我们评论了该模型的适用性,并与现有的流,并行和分布式计算模型。
2016-08-16 cs.DS cs.LG
Momentum with Variance Reduction for Nonconvex Composition Optimization
University of Utah(犹他大学)
组合优化在非凸机器学习中有着广泛的应用。各种先进的随机算法,采用动量和方差减少技术已经开发的组成优化。然而,这些算法没有充分利用这两种技术来加速收敛,并且在非凸优化中缺乏收敛保证。本文通过开发各种具有基于SPIDER的方差缩减的动量方案来补充现有文献,用于非凸组合优化。特别是,我们的势头设计需要更少的近端映射评估每迭代比现有的喀秋莎势头所需的。此外,我们的算法实现了接近最优的样本复杂度的结果,在非凸有限和和在线组合优化,并实现了梯度优势条件下的线性收敛速度。数值实验表明,我们的算法收敛速度显着比现有的算法在非凸组合优化。
2020-05-15 cs.LG math.OC stat.ML
Higher-Order Accelerated Methods for Faster Non-Smooth Optimization
Princeton University(普林斯顿大学);Google AI Princeton(谷歌人工智能普林斯顿分部);Georgia Tech(佐治亚理工学院);Microsoft Research Redmond(微软研究院雷德蒙德分院)
通过高阶加速方法,我们为各种\emph{non-smooth}最优化问题提供了改进的收敛速度。在$\ell_\infty$回归的情况下,我们实现了$O(ε^{-4/5})$迭代复杂性,打破了$O(ε^{-1})$障碍,目前为止,为以前的方法。我们到达一个类似的速度为问题的$\ell_1$ -SVM,超越了可达到的一阶方法与非光滑非强凸问题的Oracle访问。我们进一步展示了如何通过引入高阶正则化来实现更快的速率。我们的研究结果依赖于高阶光滑凸优化的近最优加速方法的最新进展。特别是,我们扩展Nesterov的平滑技术表明,标准的softmax近似不仅在通常意义上是光滑的,而且\emph{higher-order}光滑。有了这个观察在手,我们提供了高阶加速技术产生更快的速度为\emph{non-smooth}优化的第一个例子,尽我们所知。
2019-06-04 cs.LG math.OC stat.ML
VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence
本文提出 VAMO,在 SVRG 框架中融合小批量 SGD 与全批量零阶梯度,以低内存实现与维度无关的更快收敛,并在神经网络训练和 LLM 微调中验证优势。
2025-09-29 cs.LG math.OC
Bypassing the Monster: A Faster and Simpler Optimal Algorithm for Contextual Bandits under Realizability
Massachusetts Institute of Technology(麻省理工学院)
我们考虑在可实现性假设下的一般(随机)上下文强盗问题,即,作为上下文和动作的函数的期望回报属于通用函数类$\mathcal{F}$。我们设计了一个快速而简单的算法,实现了统计上最优的遗憾,只有${O}(\log T)$调用离线回归oracle在所有$T$轮。如果预先知道$T$,则可以将oracle调用的数量进一步减少到$O(\log\log T)$。我们的结果提供了从上下文强盗到离线回归的第一个普遍且最佳的简化,解决了上下文强盗文献中一个重要的开放问题。我们的研究结果的一个直接后果是,离线回归的任何进步都会立即转化为统计和计算上的上下文强盗。这导致更快的算法和改进的遗憾保证更广泛的类上下文强盗问题。
2021-07-10 cs.LG math.ST stat.ML
SpiderBoost and Momentum: Faster Stochastic Variance Reduction Algorithms
The Ohio State University(俄亥俄州立大学);The University of Utah(犹他大学);Duke University(杜克大学)
SARAH和SPIDER是最近发展起来的两种随机方差缩减算法,SPIDER在光滑非凸优化问题上具有接近最优的一阶预言复杂度。然而,SPIDER使用了一个依赖于精度的步长,这在实践中减慢了收敛速度,并且不能处理涉及非光滑正则化器的目标函数。在本文中,我们提出了SpiderBoost作为一个改进的计划,它允许使用更大的常数级步长,同时保持相同的接近最优的预言复杂度,并可以扩展与邻近映射处理复合优化(这是非光滑和非凸)与可证明的收敛保证。特别是,我们表明,近端SpiderBoost实现了复合非凸优化的$\mathcal{O}(\min\{n^{1/2}ε^{-2},ε^{-3}\})$的预言复杂性,提高了$\mathcal{O}(\min\{n^{1/6},ε^{-1/3}\})$的因子的国家的最先进的结果。我们进一步开发了一种新的动量方案来加速复合优化的SpiderBoost,该方案在理论上实现了接近最优的预言复杂度,并在实验中得到了实质性的改善。
2020-05-15 cs.LG math.OC stat.ML
Faster Diffusion Cardiac MRI with Deep Learning-based breath hold reduction
Imperial College London(伦敦帝国理工学院);Royal Brompton and Harefield hospital(皇家布朗普顿与哈雷菲尔德医院);Technische Universität München (TUM)(慕尼黑工业大学(TUM))
扩散张量心脏磁共振(DT-CMR)使我们能够在体内和非侵入性地探测心肌内心肌细胞的微观结构排列,这是其他成像方式所不允许的。这项创新技术可以彻底改变心脏临床诊断、风险分层、预后和治疗随访的能力。然而,DT-CMR目前效率低下,需要超过六分钟来获取单个2D静态图像。因此,DT-CMR目前仅限于研究而未用于临床。我们建议减少产生DT-CMR数据集所需的重复次数,并随后对其进行去噪,在保持可接受的图像质量的同时,通过线性因子减少采集时间。我们提出的方法,基于生成对抗网络,Vision Transformers,和包围学习,性能显着,大大优于以前提出的方法,使单次屏气DT-CMR更接近现实。
2022-06-21 cs.CV cs.LG eess.IV
VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads
Intel Labs(英特尔实验室)
我们引入了可视化数据管理系统(VDMS),它可以更快地访问大可视化数据并增加对可视化分析的支持。这是通过通过存储为图形的元数据搜索相关的视觉数据来实现的,并通过新的机器友好的存储格式实现对视觉数据的更快访问。VDMS与现有的大规模照片服务、视频流和文本大数据管理系统不同,因为其主要关注于支持使用视觉数据(图像、视频和特征向量)的机器学习和数据分析管道,将这些视为第一类实体。我们描述了如何通过其用户友好的界面使用VDMS,以及它如何通过机器学习管道处理医学图像来实现丰富而高效的视觉分析。我们展示了在可比设置的复杂查询中2倍的改进性能。
2018-12-11 cs.DB cs.LG
Optimal Black-Box Reductions Between Optimization Objectives
Princeton University(普林斯顿大学)
机器学习应用的多样性已经产生了大量的算法和最优化方法,这些算法和方法可以根据手头的特定回归或分类任务进行微调。我们通过约简降低了机器学习算法设计的复杂性:我们开发了一种约简,这种约简采用了为一种设置开发的方法,并将其应用于应用程序中的整个平滑性和强凸性。此外,与现有结果不同,我们的新约简是最优的,更实用。我们展示了这些新的减少如何产生新的和更快的运行时间训练线性分类器的各种家庭的损失函数,并得出结论,实验表明他们的成功也在实践中。
2016-05-20 cs.DS cs.LG math.OC
Extragradient with player sampling for faster Nash equilibrium finding
Princeton University(普林斯顿大学);NYU CIMS(纽约大学库朗数学科学研究所);Samsung SAIT AI Lab(三星先进技术研究院人工智能实验室);ENS(巴黎高等师范学校)
数据驱动的建模越来越需要在多玩家游戏中找到纳什均衡,例如在训练GANs时。在本文中,我们分析了一个新的额外的梯度方法的纳什均衡发现,执行梯度外推和更新的随机子集的球员在每次迭代。对于带噪声梯度预言的非光滑凸博弈,该方法可证明具有比完全额外梯度更好的收敛速度。我们提出了一个额外的方差减少机制,以获得光滑凸游戏的加速。我们的方法使得外推适合大规模的多人游戏设置,并带来了经验的加速,特别是当使用启发式循环采样方案。最重要的是,它允许训练更快更好的GANs和GANs的混合。
2020-07-21 cs.LG math.OC stat.ML
Efficient model compression with Random Operation Access Specific Tile (ROAST) hashing
Rice University(莱斯大学);ThirdAI Corp.(ThirdAI公司)
深度学习的进步通常与模型大小的增加有关。模型大小会显著影响深度模型的部署成本和延迟。例如,像BERT这样的模型由于其庞大的规模而无法部署在边缘设备和移动设备上。因此,深度学习的大多数进展还没有达到边缘。模型压缩在自然语言处理、视觉和推荐领域的文献中受到了应有的关注。提出了一种与模型无关、缓存友好的模型压缩方法:随机操作访问特定瓦片(ROAST)哈希。ROAST通过轻量级映射将参数聚集起来。值得注意的是,当对这些参数进行聚类时,ROAST通过将内存访问模式与参数访问模式对齐来利用缓存层次结构。ROAST比流行的参数共享方法HashedNet更快地完成$\sim 25 \times$的训练和$\sim 50 \times$的推断。此外,ROAST引入了全局权重共享,这在经验上和理论上都优于HashedNet中的局部权重共享,并且本身可以独立感兴趣。使用ROAST,我们提出了第一个压缩的BERT,它比$100\times - 1000\times$小,但不会导致质量下降。这些通用架构(如Transformers)上的压缩级别对于SOTA模型在资源受限设备(如移动设备和边缘设备)上的未来部署很有希望
2022-07-21 cs.LG
ORCA: The Annealed Spectral Conditioning Optimizer for Faster, Better LLM Training
Peking University(北京大学);Kling Team(Kling 团队)
ORCA通过在训练早期施加临时软正交正则化后移除,使权重先受益于宽谱再自由适应,在多种LLM上比Muon取得更低验证损失,且无需架构改动、开销极小。
2026-11-03 cs.LG
Principal Component Networks: Parameter Reduction Early in Training
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
最近的研究表明,过参数化网络包含较小的子网络,在隔离训练时,这些子网络表现出与完整模型相当的准确性。这些结果突出了在不牺牲泛化性能的情况下降低深度神经网络训练成本的潜力。然而,现有的寻找这些小网络的方法依赖于昂贵的多轮训练和修剪过程,并且对于大型数据集和模型是不实用的。在本文中,我们展示了如何找到小型网络,这些网络在经过几次训练后表现出与超参数化网络相同的性能。我们发现超参数化网络中的隐层激活主要存在于小于实际模型宽度的子空间中。在此基础上,我们使用PCA为层输入找到高方差的基础,并使用这些方向表示层权重。我们消除了所有与PCA基础无关的权重,并将这些网络架构称为主元网络。在CIFAR-10和ImageNet上,我们证明了PCNs的训练速度更快,比过参数化模型使用更少的能量,而且没有精度损失。我们发现,我们的转换导致网络的参数减少了23.8倍,具有相等或更高的最终模型精度-在某些情况下,我们观察到高达3%的改进。我们还表明,ResNet-20 PCN的性能优于深度ResNet-110网络,同时训练速度更快。
2020-06-23 cs.LG cs.NE stat.ML
Faster Rates for Compressed Federated Learning with Client-Variance Reduction
Princeton University(普林斯顿大学);KAUST(阿卜杜拉国王科技大学);Carnegie Mellon University(卡内基梅隆大学)
本文针对联邦学习中通信瓶颈与客户端方差问题,提出压缩且客户端方差缩减方法 COFIG 和 FRECON,在凸与非凸设定下均取得首个或更快的通信轮数收敛界,并通过实验验证其优于现有基线。
2023-09-24 cs.DC cs.DS cs.LG
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University(国立台湾大学)
卷积神经网络(CNN)在广泛的领域中取得了卓越的性能。然而,激活的密集存储器访问引入了相当大的能量消耗,阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性,从而实现降维。然而,在激进的降维的情况下,这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡,我们提出了一个压缩感知投影系统,它采用了可学习的投影来补偿重建损失。此外,贪婪的选择度量被引入到优化逐层压缩比分配,同时考虑精度和#比特减少。测试结果表明,在MobileNetV 2/ResNet 18/VGG 16上,本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问,而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Sensor Response-Time Reduction using Long-Short Term Memory Network Forecasting
Vanderbilt University(范德堡大学);Vanderbilt-Ingram Cancer Center(范德堡-英格拉姆癌症中心);Vanderbilt University Medical Center(范德堡大学医学中心)
提出基于LSTM网络集成的时间序列预测方法,从少量初始测量数据准确预测生物传感器稳态响应,实现响应时间平均缩减18.6倍,同时量化不确定性以保障安全决策。
2026-11-05 cs.LG eess.SP
Pilot Interval Reduction by Deep Learning Based Detectors in Uplink NOMA
Zonguldak Bülent Ecevit Üniversitesi(宗古尔达克布伦特埃杰维特大学)
非正交多址接入(NOMA)技术比正交多址接入(OMA)技术具有更高的频谱效率。在接收端未知信道的上行链路通信系统中,每个用户在不同的时间间隔内发送的导频信号降低了NOMA的频谱效率。在本研究中,在上行链路通信系统中,研究了已知响应于从基站处的用户发送的导频信号的基于DL-深度学习的检测器。它的目的是通过从用户发送单个导频来保持NOMA的频谱效率,从而减少DL检测器中的时间间隔。
2020-04-26 cs.IT cs.LG math.IT
Low Precision Neural Networks using Subband Decomposition
SRI International(斯坦福国际研究院)
大规模深度神经网络(DNN)已成功用于从图像识别到自然语言处理的许多任务。它们使用大型模型上的大型训练集进行训练,使其成为计算和内存密集型。因此,人们对研究开发更快的训练和测试时间很感兴趣。在本文中,我们提出了一种独特的方法,使用较低的精度权重,以实现更高效,更快的训练阶段。我们将图像分成不同的频带(例如具有不同的信息内容),以便神经网络可以使用更少的比特更好地学习。我们提出这种方法作为现有方法的补充,如修剪网络连接和编码学习权重。我们展示了这种方法支持更稳定的学习的结果,精度降低2- 4倍,DNN参数降低17倍。
2017-03-24 cs.LG
Better, Faster, Stronger: Programmatic Skill Learning Best Reduces Agent Cost
Johns Hopkins University(约翰斯·霍普金斯大学)
该研究提出程序化技能学习的SpeedRunner编码智能体,通过分析轨迹重构技能,在三个具身环境中实现最优学习与成本降低,且对分布偏移和环境随机性能保持鲁棒性。
2026-08-13 cs.CL cs.LG