提出扩展 Adam 的 StochGradAdam 优化器,通过训练中选择性采样梯度子集降低计算成本,并在图像分类与分割任务中保持相当或更优性能。
摘要:
本文提出 StochGradAdam,这是一种作为 Adam 算法扩展而设计的新型优化器,融合随机梯度采样技术,以在保持稳健性能的同时提高计算效率。StochGradAdam 通过在训练期间选择性地采样一个梯度子集进行优化,从而降低计算成本,同时保留 Adam 所具有的自适应学习率和偏差校正优势。我们在图像分类和分割任务上的实验结果表明,即使每次迭代使用更少的梯度更新,StochGradAdam 也能取得与 Adam 相当甚至更优的性能。通过聚焦于关键梯度更新,StochGradAdam 可提供稳定收敛并增强对损失景观的探索,同时减轻噪声梯度的影响。结果表明,该方法对大规模模型和数据集尤其有效,为深度学习应用中的传统优化技术提供了一种有前景的替代方案。
英文摘要:
In this paper, we introduce StochGradAdam, a novel optimizer designed as an extension of the Adam algorithm, incorporating stochastic gradient sampling techniques to improve computational efficiency while maintaining robust performance. StochGradAdam optimizes by selectively sampling a subset of gradients during training, reducing the computational cost while preserving the advantages of adaptive learning rates and bias corrections found in Adam. Our experimental results, applied to image classification and segmentation tasks, demonstrate that StochGradAdam can achieve comparable or superior performance to Adam, even when using fewer gradient updates per iteration. By focusing on key gradient updates, StochGradAdam offers stable convergence and enhanced exploration of the loss landscape, while mitigating the impact of noisy gradients. The results suggest that this approach is particularly effective for large-scale models and datasets, providing a promising alternative to traditional optimization techniques for deep learning applications.
Enhancing Adversarial Transferability by Balancing Exploration and Exploitation with Gradient-Guided Sampling
School of Computer Science & Software Engineering, Shenzhen University, China(深圳大学计算机科学与软件工程学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ), Shenzhen, China(广东省人工智能与数字经济发展实验室(深圳));Guangdong Provincial Key Laboratory of Intelligent Information Processing, Shenzhen University, China(广东省智能信息处理省级重点实验室);School of Computer Science, University of Exeter, U.K.(埃克塞特大学计算机科学学院);Department of Computing and Information Technology, Great Bay University, China(大鹏大学计算与信息技术系);Computer Vision Institute, School of Artificial Intelligence, Shenzhen University, China(人工智能学院计算机视觉研究所)
Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight
School of Computer Science and Big Data, Minjiang University(闽江学院计算机科学与大数据学院);School of Information, Renmin University of China(中国人民大学信息学院);RMIT University(皇家墨尔本理工大学)
Sampling in Constrained Domains with Orthogonal-Space Variational Gradient Descent
Purdue University(普渡大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);National University of Singapore(新加坡国立大学)
抽样方法是一种重要的推理和学习技术,通常是针对无约束领域设计的。然而,在机器学习问题中,约束是普遍存在的,例如关于安全性、公平性、鲁棒性和许多其他属性的约束,这些约束必须满足才能将采样结果应用于现实生活中的应用。强制执行这些约束通常会导致隐式定义的流形,使得具有约束的有效采样非常具有挑战性。在本文中,我们提出了一个新的变分框架与设计的正交空间梯度流(O-梯度)采样流形$\mathcal{G}_0$定义的一般等式约束。O-Gradient将梯度分解为两部分:一部分减小到$\mathcal{G}_0$的距离,另一部分减小正交空间中的KL散度。虽然大多数现有的流形采样方法需要在$\mathcal{G}_0$上进行初始化,但O-梯度不需要这样的先验知识。证明了在较弱的条件下,O-梯度以速率$\widetilde{O}(1/\text{the number of iterations})$收敛于目标约束分布.我们的证明依赖于一个新的条件测度的Stein特征,这可能是独立的利益。我们通过Langevin动力学和Stein变分梯度下降实现O-梯度,并在各种实验中证明了其有效性,包括贝叶斯深度神经网络。
Gradient-Informed Temporal Sampling Improves Rollout Accuracy in PDE Surrogate Training
School of Future Technology, South China University of Technology, China(未来技术学院,华南理工大学,中国);State Key Laboratory of Ocean Sensing & Ocean College, Zhejiang University, China(海洋感知国家重点实验室及海洋学院,浙江大学,中国);Kavli Institute for Astrophysics and Space Research, Massachusetts Institute of Technology, USA(天体物理与空间研究所,麻省理工学院,美国)
Enhancing Diffusion Model Stability for Image Restoration via Gradient Management
College of Computer Science, Sichuan University(四川大学计算机学院);National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University(合成视觉基础科学国家重点实验室(四川大学));Engineering Research Center of Machine Learning(机器学习工程研究中心)
GradCheck: Analyzing classifier guidance gradients for conditional diffusion sampling
Center for Artificial Intelligence, Technical University of Applied Sciences Wuerzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学人工智能中心);Bielefeld University(比勒费尔德大学)
PA&DA: Jointly Sampling PAth and DAta for Consistent NAS
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Kuaishou Technology(快手科技)
Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients
Georgia Institute of Technology(佐治亚理工学院);Google Inc.(谷歌公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
许多马尔可夫链蒙特卡罗(MCMC)方法利用目标分布的势函数的梯度信息来有效地探索样本空间。然而,计算梯度对于大规模应用(诸如当代机器学习中的那些应用)而言通常在计算上是昂贵的。随机梯度(SG-)MCMC方法通常通过均匀子采样的数据点通过随机梯度来近似梯度,并且实现了提高的计算效率,但是以引入采样误差为代价。我们提出了一种非均匀子采样方案,以提高采样精度。提出的指数加权随机梯度(EWSG)的设计,使一个非均匀SG-MCMC方法模仿的批量梯度MCMC方法的统计行为,因此,由于SG近似的不准确性减少。EWSG不同于经典的方差缩减(VR)技术,因为它关注的是整个分布而不仅仅是方差;尽管如此,它的局部方差也被证明了。EWSG也可以被看作是重要性采样思想的扩展,成功的随机梯度为基础的优化,采样任务。在EWSG的实际实现中,非均匀子采样通过数据索引上的Metropolis-Hastings链有效地执行,该链与MCMC算法耦合。数值实验不仅证明了EWSG的有效性,而且还指导超参数的选择,并验证我们的\emph{non-asymptotic global error bound},尽管在实现中的近似。值得注意的是,虽然统计精度得到了提高,但收敛速度可以与统一版本相媲美,这使得EWSG成为VR的实用替代方案(但EWSG和VR也可以组合)。
Enhancing Gradient-based Discrete Sampling via Parallel Tempering
School of Mathematics(数学学院);Renmin University of China(中国人民大学);Department of Mathematical Sciences(数学科学系);Tsinghua University(清华大学);Center for Applied Statistics and School of Statistics(应用统计中心和统计学院)