梯度动力学洞察：梯度自动缩放归一化
Insights from Gradient Dynamics: Gradient Autoscaled Normalization
AI总结：
本文通过分析梯度动力学提出无超参数的梯度自动缩放归一化方法，稳定优化并保持收敛，在CIFAR-100上提升或维持测试准确率，弥合理论与实证差距。
摘要：
梯度动力学在决定深度神经网络的稳定性和泛化能力方面起着核心作用。在这项工作中，我们对训练过程中梯度的方差和标准差如何演变进行了实证分析，展示了卷积网络中跨层以及全局尺度上的一致变化。受这些观察的启发，我们提出了一种无超参数的梯度归一化方法，该方法使梯度缩放与其自然演变保持一致。这种方法防止了意外的放大，稳定了优化过程，并保留了收敛保证。在具有挑战性的CIFAR-100基准上，使用ResNet-20、ResNet-56和VGG-16-BN进行的实验表明，即使在强泛化条件下，我们的方法也能保持或提高测试准确率。除了实际性能之外，我们的研究强调了直接跟踪梯度动力学的重要性，旨在弥合理论预期与实证行为之间的差距，并为未来的优化研究提供见解。
英文摘要：
Gradient dynamics play a central role in determining the stability and generalization of deep neural networks. In this work, we provide an empirical analysis of how variance and standard deviation of gradients evolve during training, showing consistent changes across layers and at the global scale in convolutional networks. Motivated by these observations, we propose a hyperparameter-free gradient normalization method that aligns gradient scaling with their natural evolution. This approach prevents unintended amplification, stabilizes optimization, and preserves convergence guarantees. Experiments on the challenging CIFAR-100 benchmark with ResNet-20, ResNet-56, and VGG-16-BN demonstrate that our method maintains or improves test accuracy even under strong generalization. Beyond practical performance, our study highlights the importance of directly tracking gradient dynamics, aiming to bridge the gap between theoretical expectations and empirical behaviors, and to provide insights for future optimization research.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
