MARS: Unleashing the Power of Variance Reduction for Training Large Models
机构 * University of California, Los Angeles(加州大学洛杉矶分校)
Comments 35 pages, 19 figures, 12 tables
高校专区
机构 * University of California, Los Angeles(加州大学洛杉矶分校)
Comments 35 pages, 19 figures, 12 tables
机构 * UC Berkeley(伯克利大学) ; UCLA(洛杉矶大学) ; Rice University(里奇大学) ; UC Davis(戴维斯大学) ; Intel(英特尔公司)
机构 * Courant Institute, New York University, NY, USA(纽约大学Courant研究所) ; Department of Mathematics, University of California, Los Angeles, CA, USA(加州大学洛杉矶分校数学系)