This paper formalizes and analyzes Gaussian smoothing applied to two prominent optimization methods: Stochastic Gradient Descent (GSmoothSGD) and Adam (GSmoothAdam) in deep learning. By attenuating small fluctuations, Gaussian smoothing lowers the risk of gradient-based algorithms converging to poor local minima. These methods simplify the loss landscape while boosting robustness to noise and improving generalization, helping base algorithms converge more effectively to global minima. Existing approaches often rely on zero-order approximations, which increase training time due to inefficiencies in automatic differentiation. To address this, we derive Gaussian-smoothed loss functions for feedforward and convolutional networks, improving computational efficiency. Numerical experiments demonstrate the enhanced performance of our smoothing algorithms over unsmoothed counterparts, confirming the theoretical benefits.
Complexity Guarantees for Zeroth-order Methods via Exponentially-shifted Gaussian Smoothing: Mitigating Dimension-dependence and Incorporating Decision-dependence
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Michigan（密歇根大学）
AdaDGS: An adaptive black-box optimization method with a nonlocal directional Gaussian smoothing gradient
Oak Ridge National Laboratory（橡树岭国家实验室）
局部梯度指向无穷小邻域中最陡斜率的方向。当损失是多模态的时，由局部梯度引导的优化器经常陷入局部最优。最近在（Zhang et al.，2020），并用于定义一个真正的非局部梯度，称为DGS梯度，用于高维黑盒优化。有希望的结果表明，取代传统的局部梯度与DGS梯度可以显着提高基于梯度的方法在优化高度多模态损失函数的性能。然而，DGS梯度的最佳性能可能依赖于两个重要超参数的微调，即，平滑半径和学习率。在本文中，我们提出了一个简单的，但巧妙的和有效的自适应方法与DGS梯度优化，消除了超参数微调的需要。由于DGS梯度通常指向良好的搜索方向，因此我们沿着DGS方向执行线搜索以确定每次迭代的步长。学习的步长反过来会告诉我们周围区域中函数景观的规模，基于此，我们相应地调整平滑半径以进行下一次迭代。我们提出了高维基准函数，翼型设计问题和游戏内容生成问题的实验结果。AdaDGS方法已经显示出优于几种最先进的黑盒优化方法的性能。
Linear interpolation gives better gradients than Gaussian smoothing in derivative-free optimization
在本文中，我们考虑无导数的最优化问题，其中的目标函数是光滑的，但计算有一定量的噪声，函数的评价是昂贵的，没有导数信息。我们的动机是最近流行的强化学习中的策略最优化问题[Choromaski et al. 2018; Fazel et al. 2018; Salimans et al. 2016]，并且可以用公式表示为具有上述特征的无导数最优化问题。在每一个这些作品的梯度的一些近似构造和（随机）梯度法应用。在[Salimans et al. 2016]中，梯度信息沿高斯方向聚合，而在[Choromaski et al. 2018]中，梯度信息沿正交方向计算。我们提供了一个收敛速度分析的一阶线搜索法，类似于文献中使用的，并推导出梯度近似，确保这种收敛的条件。然后，我们通过对方差的严格分析和对强化学习任务的数值比较证明，[Salimans et al. 2016]中使用的高斯采样方法明显劣于[Choromaski et al. 2018]中使用的正交采样以及更一般的插值方法。
