Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts
重新审视增量随机主要化-最小化算法及其在专家混合模型中的应用
机构 * School of Computing, National University of Singapore(新加坡国立大学计算机学院) ; ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems(细胞系统数学分析卓越中心) ; School of Mathematical Sciences, Queensland University of Technology(昆士兰科技大学数学科学学院) ; Laboratoire d’Analyse et d’Architecture des Systèmes, CNRS(系统分析与架构实验室,CNRS) ; School of Medicine and Dentistry, Griffith University(格里菲斯大学医学与牙科学院) ; Department of Mathematics and Physical Sciences, La Trobe University(拉特罗布大学数学与物理科学系) ; Institute of Mathematics for Industry, Kyushu University(工业数学研究所,九州大学) ; Faculty of Mathematics and Computer Science, University of Science, Ho Chi Minh City(胡志明市大学数学与计算机科学学院) ; Vietnam National University, Ho Chi Minh City(越南国家大学,胡志明市) ; Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学,Inria,CNRS,格勒诺布尔INP,LJK)
AI总结 本文提出了一种增量随机主要化-最小化算法,适用于专家混合模型,通过放松EM要求提升算法灵活性,并在回归任务中优于多种随机优化器。
Comments TrungKhang Tran and TrungTin Nguyen are co-first authors