A Tale of Two Geometries: Adaptive Optimizers and Non-Euclidean Descent
两种几何的寓言:自适应优化器与非欧几里得下降
机构 * Toyota Technological Institute at Chicago(芝加哥丰田技术研究所) ; University of California, San Diego(加州大学圣地亚哥分校) ; University of Chicago(芝加哥大学)
AI总结 本文探讨了自适应优化器与非欧几里得下降在非凸优化中的收敛性,并引入自适应平滑性与自适应梯度方差以提升收敛性能。