In this study, we investigate learning rate adaption at different levels based on the hyper-gradient descent framework and propose a method that adaptively learns the optimizer parameters by combining multiple levels of learning rates with hierarchical structures. Meanwhile, we show the relationship between regularizing over-parameterized learning rates and building combinations of adaptive learning rates at different levels. The experiments on several network architectures, including feed-forward networks, LeNet-5 and ResNet-18/34, show that the proposed multi-level adaptive approach can outperform baseline adaptive methods in a variety of circumstances.
Generalized Gradient Descent is a Hypergraph Functor
Department of Computer and Information Science and Engineering（计算机与信息科学与工程系）；University of Florida（佛罗里达大学）；Information Directorate（信息总局）；Air Force Research Lab（空军研究实验室）
Optimizing Stochastic Gradient Descent in Text Classification Based on Fine-Tuning Hyper-Parameters Approach. A Case Study on Automatic Classification of Global Terrorist Attacks
Geodesic Gradient Descent: A Generic and Learning-rate-free Optimizer on Objective Function-induced Manifolds
School of Information Science and Engineering, Hebei University of Science and Technology（信息科学与工程学院，河北科技大学）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科技大学）；International Institute of Next Generation Internet, Macau University of Science and Technology（下一代互联网国际研究院，澳门科技大学）
Provable and Practical Online Learning Rate Adaptation with Hypergradient Descent
Stanford University（斯坦福大学）；ICME, Stanford University（斯坦福大学ICME）；Department of Mathematics, Stanford University（斯坦福大学数学系）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程学院）
MADA: Meta-Adaptive Optimizers through hyper-gradient Descent
Amazon Web Services（亚马逊网络服务）；Technion – Israel Institute of Technology（以色列理工学院）；University of Minnesota（明尼苏达大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
On the Hyperparameters in Stochastic Gradient Descent with Momentum
State Key Laboratory of Scientific and Engineering Computing（科学与工程计算国家重点实验室）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
遵循与[SSJ 20]相同的程序，本文继续对带动量的随机梯度下降（SGD with momentum）进行理论分析。随后，对于具有动量的SGD，我们证明了学习率和动量系数这两个超参数一起对非凸优化的线性收敛速度起着重要作用。我们的分析是基于使用的超参数依赖的随机微分方程（hp依赖的随机微分方程），作为一个连续的替代SGD与动量。同样，我们建立了具有动量的连续时间SGD公式的线性收敛性，并通过分析Kramers-Fokker-Planck算子的谱得到了最优线性速率的显式表达式。通过比较，我们证明了如何最佳的线性收敛速度和最终的差距SGD只有约学习率的动量系数从0到1时，引入动量的变化。然后，我们提出了一个数学解释，为什么有动量的SGD收敛速度更快，更强大的学习率比标准SGD在实践中。最后，我们证明了噪声存在下的Nesterov动量与标准动量没有本质的区别。
An Exploration of Non-Euclidean Gradient Descent: Muon and its Many Variants
Department of Computer Science, George Mason University（乔治·马歇尔大学计算机科学系）；Center for Cosmology and Particle Physics, New York University（纽约大学宇宙与粒子物理中心）；Center for Computational Mathematics, Flatiron Institute（Flatiron研究所计算数学中心）
Anchor-based Multi-view Subspace Clustering with Hierarchical Feature Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Intelligent Game and Decision Lab（智能游戏与决策实验室）；College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学学院）
Not All Objectives Are Born Equal: Priority-Constrained Descent for Hierarchical Multi-Objective Optimization
Department of Computer Science & Engineering, American University of Sharjah（美国沙迦大学计算机科学与工程系）；Senseable City Laboratory, Massachusetts Institute of Technology（麻省理工学院可感知城市实验室）
First-Order Preconditioning via Hypergradient Descent
Uber AI（优步人工智能实验室）
标准的梯度下降方法容易受到一系列可能阻碍训练的问题的影响，例如高相关性和参数空间中的不同缩放。这些困难可以通过二阶方法来解决，该方法将预处理矩阵应用于梯度以提高收敛性。不幸的是，这种算法通常难以扩展到高维问题，部分原因是计算特定的预处理器，如逆Hessian或Fisher信息矩阵是非常昂贵的。我们引入一阶预处理（FOP），这是一种快速、可扩展的方法，它概括了以前关于超梯度下降的工作（Almeida et al.，1998; Maclaurin等人，2015; Baydin等人，2017）学习只利用一阶信息的预处理矩阵。实验表明，FOP能够以最小的计算开销提高标准深度学习优化器在视觉分类和强化学习任务上的性能。我们还研究了学习的预处理矩阵的性质，并进行了初步的理论分析的算法。
M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling
Institute of AI for Health, Computational Health Center, Helmholtz Munich（亥姆霍兹慕尼黑人工智能健康研究所（计算健康中心））；Machine Learning Research Lab, Volkswagen Group（大众集团机器学习研究实验室）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Technical University Munich（慕尼黑工业大学）；U.S. FDA/CDRH（美国食品药品监督管理局医疗器械和辐射健康中心）；Applied Geology, GeoZentrum Nordbayern, Friedrich-Alexander-Universität（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学北巴伐利亚地理中心应用地质学系）
