Generalization Error Bounds for Optimization Algorithms via Stability
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing Jiaotong University（北京交通大学）；Microsoft Research（微软研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
Many machine learning tasks can be formulated as Regularized Empirical Risk Minimization (R-ERM), and solved by optimization algorithms such as gradient descent (GD), stochastic gradient descent (SGD), and stochastic variance reduction (SVRG). Conventional analysis on these optimization algorithms focuses on their convergence rates during the training process, however, people in the machine learning community may care more about the generalization performance of the learned model on unseen test data. In this paper, we investigate on this issue, by using stability as a tool. In particular, we decompose the generalization error for R-ERM, and derive its upper bound for both convex and non-convex cases. In convex cases, we prove that the generalization error can be bounded by the convergence rate of the optimization algorithm and the stability of the R-ERM process, both in expectation (in the order of $\mathcal{O}((1/n)+\mathbb{E}ρ(T))$, where $ρ(T)$ is the convergence error and $T$ is the number of iterations) and in high probability (in the order of $\mathcal{O}\left(\frac{\log{1/δ}}{\sqrt{n}}+ρ(T)\right)$ with probability $1-δ$). For non-convex cases, we can also obtain a similar expected generalization error bound. Our theorems indicate that 1) along with the training process, the generalization error will decrease for all the optimization algorithms under our investigation; 2) Comparatively speaking, SVRG has better generalization ability than GD and SGD. We have conducted experiments on both convex and non-convex problems, and the experimental results verify our theoretical findings.
Stability and Generalization for Markov Chain Stochastic Gradient Methods
Liu Bie Ju Centre for Mathematical Sciences, City University of Hong Kong（香港城市大学刘别驹数学科学中心）；School of Computer Science, University of Birmingham（伯明翰大学计算机学院）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）；Department of Mathematics and Statistics, State University of New York at Albany（纽约州立大学奥尔巴尼分校数学与统计系）
Massachusetts Institute of Technology（麻省理工学院）；Spark Wave（火花波公司）；Google Research（谷歌研究院）；University of Southern California（南加利福尼亚大学）；Courant Institute（库朗研究所）；Cornell University（康奈尔大学）
On the Stability and Generalization of Triplet Learning
Huazhong Agricultural University（华中农业大学）；Southern University of Science and Technology（南方科技大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
Algorithmic Stability of Heavy-Tailed Stochastic Gradient Descent on Least Squares
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Boğaziçi University（博阿齐奇大学）；Rutgers University（罗格斯大学）；Florida State University（佛罗里达州立大学）；CNRS（法国国家科学研究中心）
最近的研究表明，重尾可以出现在随机最优化和尾部的沉重有联系的泛化错误。虽然这些研究揭示了现代环境中泛化行为的有趣方面，但它们依赖于强拓扑和统计规律性假设，这些假设很难在实践中得到验证。此外，经验表明，重尾和泛化之间的关系在实践中可能并不总是单调的，与现有理论的结论相反。在这项研究中，我们建立了新的尾部行为和随机梯度下降（SGD）的泛化性能之间的联系，通过镜头的算法稳定性。我们考虑一个二次优化问题，并使用一个重尾随机微分方程（及其欧拉离散化）作为一个代理建模的重尾行为出现在SGD。然后，我们证明了一致的稳定性界限，这揭示了以下结果：（i）没有任何外来的假设，我们表明，SGD将不会是稳定的，如果稳定性是衡量平方损失$x\mapsto x^2$，而它反过来成为稳定的，如果稳定性，而不是衡量与一些$p<2$的替代损失$x\mapsto |x|^p$。(ii)根据数据的方差，存在\emph{`threshold of heavy-tailedness'}，使得泛化误差随着尾部变重而减小，只要尾部比该阈值轻。这表明，重尾和泛化之间的关系不是全局单调的。(iii)我们证明了匹配的一致稳定的下界，这意味着我们的界限是紧的沉重的尾巴。我们支持我们的理论与合成和真实的神经网络实验。
Revisiting SGD with Increasingly Weighted Averaging: Optimization and Generalization Perspectives
The University of Iowa（爱荷华大学）
随机梯度下降（SGD）已经在文献中从不同角度进行了广泛的研究，并且通常用于解决许多大数据机器学习问题。然而，将所有迭代解组合成单个解的平均技术仍然未被探索。虽然一些越来越加权平均计划已被认为在文献中，现有的工作大多限于强凸的目标函数和优化误差的收敛性。对于{\bf非强凸目标，包括非凸问题}，这些平均方案如何影响{\it优化误差和泛化误差}（测试误差的两个同等重要的分量）的收敛性仍然不清楚。本文从优化误差和泛化误差两个方面综合分析了凸、强凸和非凸目标函数上的递增加权平均算法，{ \it fill the gap}.特别是，我们分析了一个家庭的日益加权平均，在迭代$t$的解决方案的权重是成比例的$t^α$（$α> 0$）。我们展示了$α$如何影响优化误差和泛化误差，并展示了由$α$引起的权衡。实验已经证明了这种权衡和多项式增加加权平均的有效性，与其他平均方案相比，适用于包括深度学习在内的各种问题。
Stability and Generalization of lp-Regularized Stochastic Learning for GCN
University of Electronic Science and Technology of China（电子科技大学）；Northwestern Polytechnical University（西北工业大学）；Nanjing Audit University（南京审计大学）；Zhejiang Normal University（浙江师范大学）
Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）；Rutgers University（罗格斯大学）；Princeton University（普林斯顿大学）；CNRS（法国国家科学研究中心）
Exploring the Generalization Capabilities of AID-based Bi-level Optimization
Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent（腾讯）；Tencent AI Lab（腾讯AI Lab）
Stability, Complexity and Data-Dependent Worst-Case Generalization Bounds
INRIA, CNRS, Département d’Informatique de l’Ecole Normale Supérieure / PSL, France（法国国家信息与自动化技术研究所、国家科学研究中心、巴黎高等师范学院计算机系/巴黎社会科学实验室）；Department of Computing, Imperial College London, United Kingdom（伦敦帝国理工学院计算机系、英国）；School of Computation and Technology, Technical University of Munich, Germany（慕尼黑技术大学计算与技术学院、德国）；Munich Center for Machine Learning, Germany（慕尼黑机器学习中心、德国）
Stability-based Generalization Analysis for Mixtures of Pointwise and Pairwise Learning
College of Science, Huazhong Agricultural University（华中农业大学理学院）；College of Informatics, Huazhong Agricultural University（华中农业大学信息学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Ping An Property & Casualty Insurance Company（中国平安财产保险股份有限公司）
Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations
Central South University（中南大学）；Tulane University（杜兰大学）；National University of Defense Technology（国防科技大学）；Xi’an Jiaotong University（西安交通大学）；Shanghai Jiao Tong University（上海交通大学）
本文基于算法稳定性分析 STORM、COVER 和 SVMR 在凸与强凸一至 K 层随机优化中的泛化性，建立稳定性与超额风险界，并揭示估计器方差、层级增加及批量大小的影响。
