Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics
随机梯度朗之万动力学（SGLD）是一种用于优化非凸目标的强大算法，其中将受控且适当缩放的高斯噪声添加到随机梯度以将迭代转向全局极小值。SGLD基于过阻尼Langevin扩散，其在时间上是可逆的。通过在过阻尼Langevin扩散的漂移项上增加一个反对称矩阵，得到了一个不可逆扩散，该扩散以更快的收敛速度收敛到相同的平稳分布。本文研究了基于不可逆Langevin扩散离散化的不可逆随机梯度Langevin动力学（NSGLD）。对于求解随机非凸优化问题，我们给出了NSGLD的整体收敛的有限时间性能界。我们的研究结果导致人口和经验风险最小化问题的非渐近保证。贝叶斯独立成分分析和神经网络模型的数值实验表明，NSGLD可以优于SGLD适当选择的反对称矩阵。
2020-06-02 math.OC stat.ML
Generalization Bounds for Stochastic Gradient Langevin Dynamics: A Unified View via Information Leakage Analysis
Tencent AI Lab（腾讯人工智能实验室）；HongKong University of Science and Technology（香港科技大学）；Zhejiang University（浙江大学）
最近，非凸经验风险最小化范式的推广界随机梯度朗之万动力学（SGLD）已被广泛研究。从不同的角度对这一问题进行了研究，如信息论和稳定性等。在本文中，我们提出了一个统一的观点，从隐私泄漏分析调查的推广范围的SGLD，以及一个理论框架，重新推导以前的结果，在一个简洁的方式。除了理论研究结果，我们进行了各种数值研究，以实证评估SGLD的信息泄漏问题。此外，我们的理论和实证结果提供了解释先前的作品，研究SGLD的会员隐私。
2021-12-14 cs.AI cs.LG
Entropy-SGD optimizes the prior of a PAC-Bayes bound: Generalization properties of Entropy-SGD and data-dependent priors
Vector Institute（向量研究所）
我们表明，熵SGD（Chaudhari等人，2017），当被视为一种学习算法时，优化了吉布斯（后验）分类器风险的PAC-Bayes界限，即，一个随机化的分类器获得的风险敏感扰动的权重的学习分类。熵-SGD通过优化边界的先验来工作，违反了PAC-贝叶斯定理的假设，即先验是独立于数据选择的。事实上，Entropy-SGD的可用实现在随机标签上快速获得零训练误差，并与Gibbs后验保持相同。为了得到一个有效的泛化界，我们依赖于一个结果表明，由随机梯度Langevin动力学（SGLD）获得的数据相关先验产生有效的PAC-Bayes界，提供的目标分布的SGLD是ε-差分私有的。我们观察到，MNIST和CIFAR 10的测试误差落在（经验非空）的风险范围内计算的假设下，SGLD达到平稳。特别是，熵-SGLD可以配置为产生相对紧密的泛化界，并且仍然适合真实标签，尽管这些相同的设置无法获得最先进的性能。
2019-04-19 cs.LG stat.ML
Information-Theoretic Generalization Bounds for SGLD via Data-Dependent Estimates
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Element AI（元素人工智能）
在这项工作中，我们改进了Pensia，Jog和Loh（2018）发起的噪声迭代学习算法的逐步分析，最近由Bu，Zou和Veeravalli（2019）扩展。我们的主要贡献是通过数据相关估计显着改善随机梯度朗之万动力学的互信息界。我们的方法是基于互信息的变分表征和使用数据相关的先验知识，预测的小批量梯度的基础上的训练样本的子集。我们的方法在Russo和Zou（2015）以及Xu和Raginsky（2017）的信息理论框架内广泛适用。我们的界限可以与经验风险曲面的平坦度相联系。与其他依赖于梯度平方范数的界相比，经验研究表明，我们的界中的项小了几个数量级。
2020-01-25 cs.IT cs.LG math.IT
Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials
Cornell University（康奈尔大学）；MIT（麻省理工学院）
本文提出基于Lyapunov势函数的新策略分析SGLD在非凸优化中的全局收敛性，给出改进的收敛速率、首个有限梯度复杂度保证，并建立了连续时间Langevin动力学与离散时间SGLD之间的成功性联系。
2024-07-05 cs.LG math.OC
Taming neural networks with TUSLA: Non-convex learning via adaptive stochastic gradient Langevin algorithms
Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
人工神经网络（ANN）通常是高度非线性的系统，其经由其相关联的非凸损失函数的优化而被精细地调谐。在许多情况下，任何这样的损失函数的梯度具有超线性增长，使得基于欧拉数值方案的广泛接受的（随机）梯度下降方法的使用成为问题。我们提供了一个新的学习算法的基础上适当构造的流行的随机梯度Langevin动力学（SGLD），这是所谓的驯服的未调整的随机Langevin算法（TUSLA）的变体。我们还提供了一个非渐近分析的新算法的收敛特性的背景下，非凸学习问题的使用人工神经网络。因此，我们提供有限的时间保证TUSLA找到经验和人口风险的近似最小化。TUSLA算法的根源是基于\citet{tamed-euler, SabanisAoAP}中开发的超线性系数扩散过程的驯服技术和\citet{tula}中的MCMC算法。数值实验证实了理论研究结果，并说明需要使用的新算法相比，香草SGLD的框架内的人工神经网络。
2023-01-15 cs.LG math.OC math.PR
Characterizing Membership Privacy in Stochastic Gradient Langevin Dynamics
Peking University（北京大学）；Ant Financial Service Group（蚂蚁金融服务集团）；IBM Reseach（IBM研究）；HongKong University of Science and Technology（香港科技大学）
贝叶斯深度学习最近被认为是表征深度神经网络~（DNN）权重不确定性的内在方法。随机梯度朗之万动力学（SGLD）是一种在大规模数据集上实现贝叶斯深度学习的有效方法。以前的理论研究已经显示出各种吸引人的性质SGLD，从收敛性的推广界。在本文中，我们从成员隐私保护的新角度研究了SGLD的属性（即，防止成员攻击）。成员攻击旨在确定特定样本是否用于训练给定的DNN模型，已成为深度学习算法的常见威胁。为此，本文构建了一个分析信息泄漏的理论框架。训练数据集）。基于该框架，我们证明了SGLD可以在一定程度上防止训练数据集的信息泄漏。此外，我们的理论分析可以自然地扩展到其他类型的随机梯度马尔可夫链蒙特卡罗（SG-MCMC）方法。在不同数据集和模型上的实验结果验证了我们的理论研究结果，并表明SGLD算法不仅可以减少信息泄漏，而且可以提高DNN模型在实际应用中的泛化能力。
2019-10-05 cs.LG stat.ML
Low-Precision Stochastic Gradient Langevin Dynamics
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；New York University（纽约大学）；Cornell University（康奈尔大学）
虽然低精度优化已被广泛用于加速深度学习，但低精度采样在很大程度上仍未被探索。因此，采样在许多大规模场景中根本不可行，尽管它为神经网络的泛化和不确定性估计提供了显着的好处。在本文中，我们提供了低精度随机梯度朗之万动力学（SGLD）的第一次研究，表明其成本可以显着降低而不牺牲性能，由于其固有的能力，以处理系统噪声。我们证明了在强凸条件下，低精度SGLD与全精度梯度卷积的收敛性受量化误差的影响比SGD对应的收敛性小。为了进一步实现低精度梯度平滑，我们为SGLD开发了一个新的量化函数，它在每个更新步骤中都保留了方差。我们证明了低精度SGLD在各种深度学习任务中仅使用8位即可实现与全精度SGLD相当的性能。
2022-06-20 cs.LG stat.ML
Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Stochastic Optimization: Non-Asymptotic Performance Bounds and Momentum-Based Acceleration
The Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）；Florida State University（佛罗里达州立大学）
随机梯度Hamilton Monte Carlo（SGHMC）是一种动量随机梯度算法，在随机梯度中加入受控的、适当缩放的高斯噪声，使迭代过程趋于全局极小值。许多工作报告了其在解决随机非凸优化问题的实践中的经验成功，特别是它已被观察到优于过阻尼Langevin蒙特卡罗方法，如随机梯度Langevin动力学（SGLD）在许多应用中。虽然SGHMC的渐近整体收敛性质是众所周知的，其有限时间性能还没有得到很好的理解。在这项工作中，我们研究了两个变种的SGHMC的基础上两个替代离散的欠阻尼朗之万扩散。我们提供了有限时间性能界的整体收敛的SGHMC解决显式常数随机非凸优化问题的变种。我们的研究结果导致人口和经验风险最小化问题的非渐近保证。对于一个固定的目标精度水平，对一类非凸问题，我们得到的复杂性界SGHMC可以比SGLD更紧。这些结果表明，在全局非凸优化的背景下，动量加速是可能的。
2020-11-18 cs.LG math.OC
Stability Based Generalization Bounds for Exponential Family Langevin Dynamics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）
近年来，噪声随机算法的泛化界取得了进展，特别是基于稳定性的随机梯度朗之万动力学（SGLD）（Mou et al.，2018年; Li等人，2020）和信息理论方法（Xu和Raginsky，2017; Negrea等人，2019; Steinke和Zakynthinou，2020）。在本文中，我们统一和基本推广的稳定性为基础的推广界，并作出三个技术贡献。首先，我们绑定的泛化误差的预期（不一致）的稳定性，可以说导致定量更清晰的界限。其次，作为我们的主要贡献，我们介绍了指数族朗之万动力学（EFLD），SGLD的一个实质性的推广，其中包括噪声版本的Sign-SGD和量化SGD的特殊情况。我们建立数据依赖的预期稳定性为基础的推广范围为O（1/n）的样本依赖性和依赖于梯度差异，而不是规范的梯度的任何EFLD算法，产生显着更清晰的界限。第三，我们建立了特殊情况下的EFLD的优化保证。此外，实证结果的基准表明，我们的界限是非空的，定量比现有的界限更清晰，并正确的噪音标签下的行为。
2022-10-31 cs.LG stat.ML
A Hitting Time Analysis of Stochastic Gradient Langevin Dynamics
Stanford University（斯坦福大学）
研究了求解非凸优化问题的随机梯度朗之万动力学（SGLD）算法。该算法执行随机梯度下降，其中在每个步骤中，它将适当缩放的高斯噪声注入到更新中。我们分析了算法对参数空间任意子集的命中时间。两个结果遵循我们的一般理论：首先，我们证明了经验风险最小化，如果经验风险是逐点接近（光滑）的人口风险，然后该算法实现了一个近似的局部最小的人口风险在多项式时间，逃避次优的局部最小值，只存在于经验风险。第二，我们表明，SGLD提高了一个最有名的学习线性分类器的零-一损失下的可学习性结果。
2018-04-09 cs.LG math.OC stat.ML
Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective
Xi’an Jiaotong University（西安交通大学）；Huazhong Agriculture University（华中农业大学）
该研究提出核化Renyi熵这一新型信息论度量，建立SGD/SGLD的泛化误差界，其界严格紧于现有SOTA结果，且可通过随机采样有效计算，为理解深度学习泛化能力提供新视角。
2023-05-02 cs.LG stat.ML
On stochastic gradient Langevin dynamics with dependent data streams: the fully non-convex case
我们在Raginsky等人（2017）提出的经验风险最小化和随机最优化的背景下考虑从目标分布（\emph {不一定是对数凹的}）中采样的问题。在$L^1$ -Wasserstein距离中建立了随机梯度Langevin动力学（SGLD）算法的非渐近分析结果。我们允许即使在存在\emph{dependent}数据流的情况下也执行梯度的估计。我们的收敛估计是尖锐的，\emph{uniform}的迭代次数，在以前的研究相比。
2021-02-02 math.PR math.ST stat.ML
Generalization Bounds for Noisy Iterative Algorithms Using Properties of Additive Noise Channels
Harvard University（哈佛大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在不同的数据分布情况下，通过不同的优化算法训练的机器学习模型可以表现出不同的泛化行为。在本文中，我们分析了噪声迭代算法训练的模型的泛化。我们推导出分布相关的泛化界连接噪声迭代算法的通信和信息理论中发现的加性噪声信道。我们的泛化界揭示了几个应用程序，包括差分私有随机梯度下降（DP-SGD），联邦学习和随机梯度朗之万动力学（SGLD）。我们通过数值实验证明了我们的边界，表明它们可以帮助理解最近的经验观察的泛化现象的神经网络。
2022-12-27 cs.IT cs.LG math.IT
Higher Order Generalization Error for First Order Discretization of Langevin Diffusion
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Borealis AI（Borealis人工智能公司）；LG Toronto AI Lab（LG多伦多人工智能实验室）
我们提出了一种新的方法来分析推广误差的离散朗之万扩散，如随机梯度朗之万动力学（SGLD）。对于预期泛化误差的$ε$容限，已知如果我们用$Ω(ε^{-1})$样本运行$Ω(ε^{-1} \log (ε^{-1}) )$迭代，则一阶离散化可以达到该目标。在这篇文章中，我们将证明，在附加平滑性假设的情况下，即使是一阶方法也可以实现任意的运行时复杂度。更准确地说，对于每个$N>0$，我们提供了一个充分的平滑条件的损失函数，使得一阶离散化可以达到$ε$预期的泛化误差给定$Ω( ε^{-1/N} \log (ε^{-1}) )$迭代与$Ω(ε^{-1})$样本。
2021-02-11 cs.LG stat.ML
Uniform Generalization Bound on Time and Inverse Temperature for Gradient Descent Algorithm and its Application to Analysis of Simulated Annealing
NEC Corporation（日本电气股份有限公司）；Biometrics Research Laboratories, NEC Corporation（日本电气股份有限公司生物识别研究实验室）
在本文中，我们提出了一个新的统一推广的时间和逆温度的随机梯度Langevin动力学（SGLD）在非凸设置。虽然以前的作品得到他们的推广界的一致稳定性，我们使用Rademacher复杂性，使我们的推广界独立的时间和逆温度。使用Rademacher复杂性，我们可以减少问题，推导出一个在整个空间上的推广界上的有界区域，因此可以从我们的推广界中去除时间和逆温度的影响。作为推广界的一个应用，还描述了在非凸环境下模拟退火算法的有效性评价。对于样本量$n$和时间$s$，我们分别推导了阶数为$\sqrt{n^{-1} \log (n+1)}$和$|(\log)^4(s)|^{-1}$的评估。这里，$(\log)^4$表示对数函数的$4$倍合成。
2022-06-05 cs.LG math.PR stat.ML
Generalization Bounds for Label Noise Stochastic Gradient Descent
University of Oxford（牛津大学）
本文在非凸设定下为带标签噪声的SGD建立泛化界，证明其误差以$n^{-2/3}$速率缩放，优于SGLD的$n^{-1/2}$，并揭示标签噪声对泛化的定量影响。
2023-11-01 cs.LG math.OC stat.ML
Generalization Error Bounds for Deep Neural Networks Trained by SGD
Peking University（北京大学）；Stanford University（斯坦福大学）
本文通过参数范数动力学控制与Rademacher复杂度估计相结合，为SGD训练的深度神经网络（含MLP和CNN）推导出不依赖$L$-光滑性且直接适用于SGD的泛化误差界，数值实验验证了其非空洞性与鲁棒性。
2023-05-29 cs.LG stat.ML
Tightening Mutual Information Based Bounds on Generalization Error
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）；University at Buffalo, The State University of New York（纽约州立大学布法罗分校）
推导了监督学习算法的泛化误差的信息论上界。根据每个单独的训练样本与学习算法的输出之间的互信息来构造界限。在更一般的条件下的损失函数比现有的研究，但它提供了一个更严格的表征的泛化误差的界限。通过学习算法的例子证明了该界的紧密性，并表明它具有广泛的适用性。噪声和迭代算法的应用，例如，随机梯度Langevin动力学（SGLD），也进行了研究，其中构建的界提供了一个更严格的表征比现有的结果的泛化误差。最后，它表明，不同于现有的界限，这是难以计算和评估的经验，建议的界限可以很容易地估计在实践中。
2020-08-05 cs.LG stat.ML
DIGing--SGLD: Decentralized and Scalable Langevin Sampling over Time--Varying Networks
本文提出DIGing-SGLD算法，解决时变网络下现有去中心化SGLD的静态拓扑限制与采样偏差问题，首次提供有限时间非渐近Wasserstein收敛保证，经实验验证其性能优异。
2026-08-25 cs.LG math.OC stat.ML
Geometric ergodicity of SGLD via reflection coupling
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Qing Yuan Research Institute, Shanghai Jiao Tong University（上海交通大学致远学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Duke University（杜克大学）；Department of Physics, Duke University（杜克大学物理系）
本文通过反射耦合技术，证明了在目标分布仅在紧集外对数凹的非凸设置下，SGLD算法的Wasserstein收缩性及恒定步长下的几何遍历性，并推广至非梯度漂移情形。
2024-08-24 cs.LG math.PR stat.ML
Generalization Error Bounds for Noisy, Iterative Algorithms
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
在统计学习理论中，泛化误差用于量化监督机器学习算法可能过拟合训练数据的程度。最近的工作[Xu and Raginsky（2017）]基于算法输入$S$和算法输出$W$之间的互信息$I(S;W)$，当损失函数为亚高斯时，建立了经验风险最小化的泛化误差的界。我们利用这些结果推导出泛化误差界的一大类迭代算法，其特征在于有界的，嘈杂的更新与马尔可夫结构。我们的边界是非常普遍的，适用于许多设置的兴趣，包括随机梯度朗之万动力学（SGLD）和随机梯度哈密顿蒙特卡罗（SGHMC）算法的变种。此外，我们的误差界适用于在迭代路径上计算的任何输出函数，包括算法的最后一个子过程或迭代子集的平均值，并且还允许在算法的连续更新中对数据进行非均匀采样。
2018-01-12 cs.IT cs.LG math.IT
Rate-Distortion Theoretic Bounds on Generalization Error for Distributed Learning
Paris Research Center, Huawei Technologies France（华为技术法国巴黎研究中心）；Université Paris-Est（巴黎东大学）
在本文中，我们使用率失真理论的工具，建立新的统计分布式学习算法的泛化误差的上界。具体地，存在$K$客户端，其单独选择的模型由中央服务器聚合。边界取决于每个客户端的算法的可压缩性，同时保持其他客户端的算法不被压缩，并且利用每个本地模型中的小变化仅以$1/K$的因子改变聚合模型的事实。采用Sefidgaran等人最近提出的方法，并且将其适当地扩展到分布式设置，这使得能够实现更小的速率失真项，所述速率失真项被示出为转换成更紧的泛化界。然后将该边界应用于分布式支持向量机（SVM），表明分布式设置的泛化误差衰减速度比集中式设置快，其因子为$\mathcal{O}(\log(K)/\sqrt{K})$。这一发现也得到了实验验证。对于多轮联邦学习设置，每个客户端都使用随机梯度Langevin动态（SGLD），也得到了类似的结论。
2022-11-22 cs.IT cs.LG math.IT
On Generalization Error Bounds of Noisy Gradient Methods for Non-Convex Learning
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
泛化误差（也称为样本外误差）衡量从训练数据学习的假设推广到以前未见过的数据的程度。证明紧的泛化误差界是统计学习理论的核心问题。在本文中，我们获得了泛化误差界学习一般的非凸目标，这是近年来引起了极大的关注。我们开发了一个新的框架，称为贝叶斯稳定性，证明算法依赖的泛化误差界。新的框架结合了PAC贝叶斯理论和算法稳定性的概念。应用贝叶斯稳定性方法，我们获得了随机梯度Langevin动力学（SGLD）和其他几种噪声梯度方法（例如，具有动量、小批量和加速、熵-SGD）。我们的结果恢复了Mou et al.（2018）的最近结果（通常比Mou et al.（2018）更严格），并改进了Pensia et al.（2018）的结果。我们的实验表明，我们的数据依赖边界可以区分随机标记的数据和正常数据，这为Zhang et al.（2017 a）中观察到的有趣现象提供了解释。我们还研究了总损失是有界损失和一个额外的\ell_2正则化项的总和的设置。通过对任意时刻的参数分布建立一个新的Log-Sobolev不等式，我们得到了连续Langevin动力学的新的推广界。当过程的噪声水平不小时，我们的新边界更令人满意，并且即使当T趋于无穷大时也不会变得空洞。
2020-02-29 cs.LG stat.ML
Adaptively Preconditioned Stochastic Gradient Langevin Dynamics
Columbia University（哥伦比亚大学）
随机梯度朗之万动力学将各向同性梯度噪声注入SGD，以帮助在深度网络的损失景观中导航病理曲率。噪声的各向同性性质导致较差的缩放，并且已经提出了基于高阶曲率信息的自适应方法（诸如Fisher Scoring）来预处理噪声以实现更好的收敛。在本文中，我们描述了一种自适应方法来估计噪声的参数，并进行实验，在著名的模型架构，自适应预处理SGLD方法实现收敛的速度与自适应一阶方法，如亚当，AdaGrad等。
2019-06-12 cs.CV cs.LG stat.ML
Stochastic Gradient Langevin with Delayed Gradients
Czech Technical University in Prague（布拉格捷克理工大学）
随机梯度朗之万动力学（SGLD）通过向随机梯度迭代中添加噪声，确保了对对数凹后验分布进行采样时在测量上的收敛性。考虑到许多实际问题的规模，在多个异步运行的处理器上并行化是减少随机优化算法的端到端计算时间的流行策略。在本文中，我们是第一个调查异步计算的效果，特别是随机Langevin梯度延迟迭代的评价，在测量上的收敛。为此，我们利用最近的结果建模朗之万动力学作为解决凸优化问题的措施空间。我们表明，收敛速度的措施是没有显着影响的延迟梯度信息用于计算所造成的错误，这表明在墙上时钟时间加速显着的潜力。我们证实了我们的理论结果与一些实际问题的数值实验。
2020-06-12 cs.LG stat.ML
Information-Theoretic Generalization Bounds of Replay-based Continual Learning
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；Department of Oncology, University of Cambridge（剑桥大学肿瘤学系）；China Telecom, China（中国电信）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
本文提出了一种基于回放的持续学习的信息论泛化界限理论框架，通过分析内存缓冲区与当前任务的相互作用，建立了更精确的泛化性能评估方法。
2026-01-06 cs.LG
Generalization Error Bounds for Noisy, Iterative Algorithms via Maximal Leakage
American University of Beirut（贝鲁特美国大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Institute of Science and Technology Austria（奥地利科学技术研究所）
该研究采用信息论框架，用最大泄露指标分析迭代含噪学习算法的泛化行为，推导了相关上界并阐释了更新函数对最优噪声选择的影响。
2023-07-19 cs.IT cs.LG math.IT
Dimension Independent Generalization of DP-SGD for Overparameterized Smooth Convex Optimization
University of California, San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了差分私有凸学习的泛化性能。我们证明了Langevin算法的收敛性分析，可以用来获得新的广义界的差分隐私保证DP-SGD。更具体地说，通过使用最近获得的随机Langevin算法与凸目标函数的维数无关的收敛结果，我们获得了$O(n^{-1/4})$隐私保证DP-SGD的最佳超额泛化误差$\tilde{O}(n^{-1/2})$某些类的overparameterized光滑凸优化问题。这改善了以前的DP-SGD结果，包含显式的尺寸依赖关系的问题，使由此产生的泛化界限变得不适合在实际应用中使用的过参数化模型。
2022-06-03 cs.LG math.OC
Data-dependent PAC-Bayes priors via differential privacy
University of Cambridge（剑桥大学）；Element AI；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
可能近似正确（PAC）贝叶斯框架（McAllester，1999）可以通过使用分布相关先验来整合有关学习算法和（数据）分布的知识，从而在数据相关后验上产生更严格的泛化边界。然而，使用这种灵活性是困难的，特别是当数据分布被假定为未知时。我们展示了ε-差分私有数据依赖先验如何产生有效的PAC-Bayes界，然后展示了选择先验的非私有机制如何也可以产生泛化界。作为该结果的应用，我们证明了通过随机梯度Langevin动力学（SGLD; Welling and Teh，2011）选择的高斯先验均值导致有效的PAC-Bayes界，给定对ε-差分私有平稳分布的2-Wasserstein距离的控制。我们研究我们的数据依赖的界限经验，并表明，他们可以是nonvacuous，即使当其他分布依赖的界限是空的。
2019-04-19 cs.LG stat.ML
Learning Variational Inequalities from Data: Fast Generalization Rates under Strong Monotonicity
University of California, Berkeley（加州大学伯克利分校）
本文研究强单调变分不等式的数据驱动学习，证明凸优化中基于稳定性的泛化论证可推广至该问题，从而获得 Θ(1/ε) 的快速学习速率。
2025-02-19 cs.LG math.OC stat.ML
Learning Rate Annealing Can Provably Help Generalization, Even for Convex Problems
Harvard University（哈佛大学）
在现代神经网络中，学习率调度会显著影响泛化性能，但其原因尚不清楚。Li-Wei-Ma（2019）最近证明了这种行为可以存在于简化的非凸神经网络设置中。在本文中，我们证明了这种现象甚至可以存在于凸学习问题中-特别是二维线性回归。我们给出了一个玩具凸问题，其中学习率退火（大的初始学习率，然后是小的学习率）可以导致梯度下降到最小值，并且可以证明比使用小的学习率更好的推广。在我们的情况下，这是由于测试和训练损失景观之间的不匹配以及提前停止的组合而发生的。
2020-05-15 cs.LG cs.NE stat.ML
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
隐式偏差或隐式正则化的概念被认为是解释现代超参数化学习算法令人惊讶的泛化能力的一种手段。这个概念指的是优化算法趋向于某种结构化的解决方案，这种解决方案通常很好地推广。最近，有几篇论文研究了隐式正则化，并能够在各种情况下识别这种现象。我们重新审视这一范例，可以说是最简单的非平凡的设置，并研究隐含的偏见的随机梯度下降（SGD）的背景下，随机凸优化。作为第一步，我们提供了一个简单的结构，排除了存在的\emph{distribution-independent}隐式正则化，管理泛化能力的SGD。然后，我们证明了一个学习问题，排除了一个非常一般的类\emph{distribution-dependent}隐式正则化解释推广，其中包括强凸正则化以及非退化的规范为基础的正则化。我们的构造的某些方面指出，在提供一个全面的解释算法的泛化性能，仅仅争论其隐式正则化属性的显着困难。
2020-12-22 cs.LG stat.ML
A Convex Relaxation Approach to Generalization Analysis for Parallel Positively Homogeneous Networks
University of Pennsylvania（宾夕法尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出一种基于凸松弛的通用框架，通过关联非凸经验风险最小化问题与凸优化问题的下界，在控制凸与非凸模型差异的同时开展泛化分析，适用于多种并行正齐次网络，得到样本复杂度与网络宽度近线性的泛化界。
2025-03-18 cs.LG eess.SP stat.ML
Train simultaneously, generalize better: Stability of gradient-based minimax learners
Massachusetts Institute of Technology（麻省理工学院）
已经观察到生成对抗网络（GANs）的极大极小学习问题的成功取决于用于其训练的极大极小优化算法。这种依赖性通常归因于底层优化算法的收敛速度和鲁棒性。在本文中，我们证明了优化算法在训练的Minimax模型的泛化性能中也起着关键作用。为此，我们分析了标准的梯度下降上升（GDA）和邻近点法（PPM）算法的推广性能，通过透镜的算法稳定性下凸凹和非凸非凹极大极小设置。虽然GDA算法不能保证有一个消失的超额风险在凹凸问题，我们的PPM算法享有一个有界的超额风险在相同的设置。对于非凸非凹问题，我们比较了随机GDA和GDmax算法的推广性能，后者在每次迭代时完全解决了最大化子问题。我们的推广分析表明GDA的优越性，提供的最小化和最大化子问题，同时解决类似的学习率。我们讨论了几个数值结果表明的作用，优化算法的学习极大极小模型的推广。
2020-10-23 cs.LG math.OC stat.ML
Analysis of Langevin Monte Carlo via convex optimization
在本文中，我们提供了新的见解的未调整的朗之万算法。我们表明，这种方法可以制定为一个一阶优化算法的目标功能定义在Wasserstein空间的顺序$2$。利用这种解释和借用凸优化的技术，我们给出了一个非渐近分析，这种方法的样本从logconvex光滑的目标分布$\mathbb{R}^d$。基于这种解释，我们提出了两种新的方法，从一个非光滑的目标分布，我们分析以及采样。此外，这些新算法是随机梯度Langevin动力学（SGLD）算法的自然扩展，SGLD算法是一个流行的扩展的未调整的Langevin算法。与SGLD类似，它们仅依赖于目标对数密度梯度的近似值，可用于大规模贝叶斯推断。
2018-03-28 stat.CO stat.ML
Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Pontificia Universidad Católica de Chile（智利天主教大学）
一致稳定性是算法稳定性的一个概念，当数据集中的单个数据点被替换时，它限制了算法输出的模型中的最坏情况变化。Hardt等人（2016）的一项有影响力的工作提供了随机梯度下降（SGD）算法在充分光滑凸损失上的一致稳定性的强上界。这些结果导致了重要的进展，在理解的推广性质的SGD和几个应用程序的差异私人凸优化光滑损失。我们的工作是第一个解决的一致稳定性SGD { \em nonsmooth}凸损失。具体来说，我们提供了尖锐的上限和下限的几种形式的SGD和全批GD任意Lipschitz非光滑凸损失。我们的下界表明，在非光滑的情况下，（S）GD可以是固有的稳定性比在光滑的情况下。另一方面，我们的上界表明（S）GD是足够稳定的推导新的和有用的泛化误差的界限。最值得注意的是，我们得到了第一个维度独立的推广界多通SGD在非光滑的情况下。此外，我们的界限允许我们推导出一个新的算法差分私人非光滑随机凸优化与最优超额人口风险。对于非光滑情况，我们的算法比最著名的算法更简单，更有效。Feldman et al.（2020）。
2020-06-12 cs.LG math.OC stat.ML
Revisiting SGD with Increasingly Weighted Averaging: Optimization and Generalization Perspectives
The University of Iowa（爱荷华大学）
随机梯度下降（SGD）已经在文献中从不同角度进行了广泛的研究，并且通常用于解决许多大数据机器学习问题。然而，将所有迭代解组合成单个解的平均技术仍然未被探索。虽然一些越来越加权平均计划已被认为在文献中，现有的工作大多限于强凸的目标函数和优化误差的收敛性。对于{\bf非强凸目标，包括非凸问题}，这些平均方案如何影响{\it优化误差和泛化误差}（测试误差的两个同等重要的分量）的收敛性仍然不清楚。本文从优化误差和泛化误差两个方面综合分析了凸、强凸和非凸目标函数上的递增加权平均算法，{ \it fill the gap}.特别是，我们分析了一个家庭的日益加权平均，在迭代$t$的解决方案的权重是成比例的$t^α$（$α> 0$）。我们展示了$α$如何影响优化误差和泛化误差，并展示了由$α$引起的权衡。实验已经证明了这种权衡和多项式增加加权平均的有效性，与其他平均方案相比，适用于包括深度学习在内的各种问题。
2020-05-27 cs.LG stat.ML
Generalization Bounds via Convex Analysis
ICREA（加泰罗尼亚研究与高等教育机构）；Universitat Pompeu Fabra（庞培法布拉大学）
自Russo和Zou（2016，2019）以及Xu和Raginsky（2017）的着名作品以来，众所周知，监督学习算法的泛化误差可以根据其输入和输出之间的互信息来限制，因为任何固定假设的损失都具有亚高斯尾。在这项工作中，我们推广了这一结果超出了标准的选择香农的互信息来衡量输入和输出之间的依赖性。我们的主要结果表明，它确实是可能的，以取代任何强凸函数的联合输入输出分布的互信息，与亚高斯条件的损失取代了一个适当选择的规范捕获的几何形状的依赖措施的约束。这使我们能够得到一系列的泛化界，要么是全新的或加强以前已知的。例子包括以$p$ -范数发散和Wasserstein-2距离表示的界限，它们分别适用于重尾损失分布和高度平滑的损失函数。我们的分析完全基于凸分析的基本工具，通过跟踪与依赖度量和损失函数相关的潜在函数的增长。
2022-07-19 cs.LG stat.ML
Generalization Error Bounds for Optimization Algorithms via Stability
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing Jiaotong University（北京交通大学）；Microsoft Research（微软研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
许多机器学习任务可以被公式化为正则化经验风险最小化（R-ERM），并通过诸如梯度下降（GD）、随机梯度下降（SGD）和随机方差缩减（SVRG）等优化算法来解决。对这些优化算法的传统分析集中在训练过程中的收敛速度，然而，机器学习社区的人们可能更关心学习模型对未知测试数据的泛化性能。本文以稳定性为工具，对这个问题进行了研究。特别是，我们分解的推广误差的R-ERM，并推导出其上界的凸和非凸的情况下。在凸的情况下，我们证明了推广误差可以有界的收敛速度的优化算法和R-ERM过程的稳定性，无论是在期望（在$\mathcal{O}((1/n)+\mathbb{E}ρ(T))$的顺序，其中$ρ(T)$是收敛误差和$T$是迭代次数）和高概率（在$\mathcal{O}\left(\frac{\log{1/δ}}{\sqrt{n}}+ρ(T)\right)$的顺序与概率$1-δ$）。对于非凸情形，我们也可以得到类似的期望推广误差界。我们的定理表明：1）随着训练过程的进行，所有优化算法的泛化误差都在减小; 2）相对而言，SVRG比GD和SGD具有更好的泛化能力。我们对凸问题和非凸问题进行了实验，实验结果验证了我们的理论研究结果。
2016-09-27 cs.LG stat.ML
Generalization and Optimization of SGD with Lookahead
Department of Mathematics University of Hong Kong（香港大学数学系）
本文对带minibatch SGD的Lookahead优化器进行稳定性与泛化分析，在不依赖全局Lipschitz假设下为凸和强凸问题推导泛化界，并证明凸情形下随批量大小线性加速。
2025-09-19 cs.LG stat.ML
Beyond Lipschitz: Sharp Generalization and Excess Risk Bounds for Full-Batch GD
我们提供了清晰的路径依赖的泛化和超额风险保证的全批梯度下降（GD）算法的平滑损失（可能非Lipschitz，可能非凸）。在我们的分析的核心是上界的泛化误差，这意味着平均输出稳定性和有界的预期优化误差终止导致泛化。这一结果表明，沿优化路径发生小的泛化误差，并允许我们绕过Lipschitz或亚高斯假设的损失普遍在以前的作品。对于非凸的，凸的，强凸的损失，我们表现出显式依赖的泛化误差的累积路径相关的优化误差，终端优化误差，样本数，迭代次数。对于非凸光滑损失，我们证明了全批GD有效地推广到任何稳定点的终止，并恢复了随机算法的泛化误差保证较少的假设。对于光滑凸损失，我们证明了泛化误差比SGD的现有界更紧（高达一个误差量级）。因此，超额风险匹配SGD的二次方更少的迭代。最后，对于强凸平滑损失，我们表明，与SGD的最新技术相比，全批GD实现了基本相同的超额风险率，但迭代次数呈指数级减少（数据集大小为对数）。
2023-02-09 cs.LG stat.ML
Improved Stability and Generalization Guarantees of the Decentralized SGD Algorithm
Inria Paris - Ecole Normale Supérieure, PSL Research University（法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院，PSL研究大学）；Inria, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃大学）；Univ. Lille, Inria, CNRS, Centrale Lille（里尔大学，法国国家信息与自动化研究所，法国国家科学研究中心，里尔中央理工学院）；Inria, Université Côte d’Azur（法国国家信息与自动化研究所，蔚蓝海岸大学）
本文基于算法稳定性重新分析 D-SGD 的泛化误差，证明其在凸、强凸和非凸设置下均可达到类似经典 SGD 的界，并给出依赖优化过程的改进界，说明通信图在特定情形下反而可能改善泛化。
2024-06-13 cs.LG stat.ML
Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations
Central South University（中南大学）；Tulane University（杜兰大学）；National University of Defense Technology（国防科技大学）；Xi’an Jiaotong University（西安交通大学）；Shanghai Jiao Tong University（上海交通大学）
本文基于算法稳定性分析 STORM、COVER 和 SVMR 在凸与强凸一至 K 层随机优化中的泛化性，建立稳定性与超额风险界，并揭示估计器方差、层级增加及批量大小的影响。
2024-07-07 cs.LG math.OC
Convex SGD: Generalization Without Early Stopping
UCLouvain（卢汶大学）；Boston University（波士顿大学）
该研究针对紧集上光滑凸函数的随机梯度下降泛化问题，首次推导了迭代次数与数据集规模任意增长时趋于零的泛化误差界，证明无需强凸性即可实现良好泛化。
2024-04-14 cs.LG math.ST stat.TH
FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity
University of Science and Technology of China（中国科学技术大学）；Duke Kunshan University（昆山杜克大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；Gusu Laboratory of Materials（姑苏材料实验室）
AdaBelief是目前最好的优化器之一，通过观察所观察到的梯度的指数移动平均值，与流行的Adam算法相比，它表现出了卓越的泛化能力。AdaBelief在理论上是吸引人的，因为当目标函数是凸的时，它具有数据依赖的$O(\sqrt{T})$后悔界，其中$T$是时间范围。然而，它仍然是一个悬而未决的问题，是否可以进一步提高收敛速度，而不牺牲其推广能力。%，如何利用强凸性，进一步提高AdaBelief的收敛速度。为此，我们在这项工作中进行了第一次尝试，并设计了一种新的优化算法称为FastAdaBelief，旨在利用其强凸性，以实现更快的收敛速度。特别是，通过调整步长，更好地考虑强凸性和防止波动，我们提出的FastAdaBelief表现出良好的泛化能力以及优越的收敛性。作为一个重要的理论贡献，我们证明了FastAdaBelief达到了一个数据依赖的$O(\log T)$遗憾界，这是大大低于AdaBelief。在实证方面，我们验证了我们的理论分析与广泛的实验在两个场景的强和非强凸性三个流行的基线模型。实验结果是非常令人鼓舞的：FastAdaBelief收敛速度最快的所有主流算法相比，同时保持了良好的泛化能力，在强或非强凸的情况下。FastAdaBelief因此被假定为研究界的新基准模型。
2022-05-25 cs.LG stat.ML
Tighter Expected Generalization Error Bounds via Convexity of Information Measures
University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
泛化误差界对于理解机器学习算法至关重要。基于输出假设与输入训练样本的平均联合分布，提出了一种新的期望泛化误差上界。给出了基于不同信息测度的多个泛化误差上界，包括Wasserstein距离、总变差距离、KL散度和Jensen-Shannon散度。由于凸性的信息措施，建议的界Wasserstein距离和总变异距离被证明是紧比他们的同行的基础上，在文献中的个别样本。最后给出了一个例子来验证所提出的泛化误差界的严密性。
2022-02-24 cs.IT cs.LG math.IT
Binary Excess Risk for Smooth Convex Surrogates
Michigan State University（密歇根州立大学）
在统计学习理论中，0-1损失的凸替代物是高度优选的，因为凸性带来的计算和理论优点。这是更重要的，如果我们考虑光滑的代理证明了这一事实，即平滑度是进一步有益的计算-通过获得优化的{ \it optimal}收敛速度，并在统计意义上-通过提供一个改进的{ \it optimal}速度的泛化界限。本文从统计一致性的角度研究了光滑性，并展示了它对二元超额风险的影响。我们发现，在相反的优化和泛化误差，有利于选择光滑的替代损失，光滑的损失函数可能会降低二进制超额风险。出于这个负面的结果，我们提供了一个统一的分析，整合优化误差，泛化界，并在凸过度风险转化为二进制过度风险时，检查平滑的影响，二进制过度风险的错误。我们表明，在有利的条件下，适当的选择光滑凸损失将导致一个二元超额风险，优于$O(1/\sqrt{n})$。
2014-02-07 cs.LG stat.ML
Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds
University of Minnesota（明尼苏达大学）
研究了随机非凸优化的差分隐私算法。在这个问题中，目标是最小化给定$n$ i.i.d.的$p$维空间上的种群损失。从分布中抽取的样本。我们改进了${\sqrt{p}}/{\sqrt{n}}$的种群梯度界，得到了更尖锐的$\sqrt[4]{p}/\sqrt{n}$的速率.我们获得这个速率提供第一个私人梯度为基础的方法，包括自适应算法DP RMSProp和DP亚当的集合上的分析。我们的证明技术利用了差分隐私和自适应数据分析之间的联系，以限制梯度估计误差在每一个采样点，这规避了标准一致收敛参数的更差的推广范围。最后，我们在两个流行的深度学习任务上评估了所提出的算法，并证明了DP自适应梯度方法相对于标准DP SGD的经验优势。
2020-08-10 cs.CR cs.LG stat.ML
Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
我们引入了一个新的理论框架来分析深度学习优化及其泛化误差。现有的神经网络优化分析框架，如平均场理论和神经切线核理论，通常要求网络的宽度为无穷大，以证明其全局收敛性。这潜在地使得难以直接处理有限宽度网络;特别是在神经切线核区域中，我们不能揭示核方法之外的神经网络的有利性质。为了实现更自然的分析，我们考虑一种完全不同的方法，将参数训练公式化为运输映射估计，并通过无限维Langevin动力学理论显示其全局收敛性。这使我们能够以统一的方式分析窄网络和宽网络。此外，我们给出了广义间隙和超额风险界的动力学得到的解决方案。超额风险界限实现了所谓的快速学习率。特别是，我们展示了分类问题的指数收敛性和回归问题的最小最大最优速率。
2020-10-26 cs.LG stat.ML
Generalization and Stability of Interpolating Neural Networks with Minimal Width
我们调查的泛化和优化性能的浅层神经网络分类器训练梯度下降的插值制度。具体来说，在一个可实现的场景中，模型权重可以实现任意小的训练误差$ε$和它们与初始化的距离是$g(ε)$，我们证明了梯度下降与$n$训练数据实现训练误差$O(g(1/T)^2 /T)$和泛化误差$O(g(1/T)^2 /n)$在迭代$T$，提供至少有$m=Ω(g(1/T)^4)$隐藏的神经元。然后，我们表明，我们的可实现的设置包括一个特殊的情况下，数据是可分离的模型的神经切线内核。对于这一点和逻辑损失最小化，我们证明了训练损失以$\tilde O(1/ T)$的速度衰减，给定神经元的多对数数$m=Ω(\log^4 (T))$。此外，使用$m=Ω(\log^{4} (n))$神经元和$T\approx n$迭代，我们通过$\tilde{O}(1/n)$约束测试损失。我们的研究结果不同于现有的推广成果，使用算法的稳定性框架，这需要多项式的宽度，并产生次优的推广率。我们的分析的核心是使用一个新的自有界弱凸性属性，这导致了一个广义的局部拟凸性充分参数化的神经网络分类器。最后，尽管目标的非凸性，这导致收敛和广义差距的界限，类似于线性逻辑回归的凸设置中发现的。
2023-03-27 cs.LG stat.ML
Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；KTH Royal Institute of Technology（皇家理工学院）；Google Research（谷歌研究院）；Mila（米拉研究所）；McGill（麦吉尔大学）
本文证明输入-输出互信息、条件互信息、PAC-Bayes等现有信息论泛化界及其高斯噪声代理分析，均无法为随机凸优化中的梯度下降建立极小极大速率。
2023-07-13 cs.LG stat.ML
Generalization of ERM in Stochastic Convex Optimization: The Dimension Strikes Back
IBM Research – Almaden（IBM阿尔马登研究院）
在随机凸优化中，目标是最小化凸集$\cal K \subset {\mathbb R}^d$上的凸函数$F(x) \doteq {\mathbf E}_{{\mathbf f}\sim D}[{\mathbf f}(x)]$，其中$D$是某个未知分布，并且在$D$支持下的每个$f(\cdot)$在$\cal K$上是凸的。优化通常基于i.i.d.~来自$D$的样品$f^1,f^2,\ldots,f^n$。解决此类问题的标准方法是优化$F_S(x) \doteq \frac{1}{n}\sum_{i\leq n} f^i(x)$的经验风险最小化（ERM）。在这里，我们考虑的问题，有多少样本是必要的ERM成功和密切相关的问题的一致收敛$F_S$ $F$ $\cal K$。我们证明，在标准的$\ell_p/\ell_q$设置的Lipschitz有界的功能在$\cal K$的有界半径，ERM需要的样本大小，规模与尺寸$d$线性。这几乎与标准上限匹配，并改善了Shalev-Shwartz等人（2009）证明的$\ell_2/\ell_2$设置的$Ω(\log d)$依赖性。与此形成鲜明对比的是，这些问题可以使用用于$\ell_2/\ell_2$设置的与维度无关的样本数和用于$\ell_1/\ell_\infty$设置的$\log d$依赖性来解决，使用其他方法。我们进一步表明，我们的下界适用…
2016-12-26 cs.LG stat.ML
Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent
University of Kaiserslautern（凯泽斯劳滕大学）
近年来，关于随机梯度下降算法的稳定性和推广性的研究已成为一个热点。然而，现有的稳定性分析需要对梯度的有界性、损失函数的强光滑性和凸性等条件进行限制性假设。在本文中，我们提供了一个细粒度的分析稳定性和推广的SGD大幅放宽这些假设。首先，我们建立稳定性和推广SGD通过删除现有的有界梯度假设。关键的想法是引入一个新的稳定性措施，称为平均模型稳定性，我们开发新的边界控制的风险SGD迭代。这产生的泛化边界取决于最佳模型的行为，并导致有史以来第一次已知的快速边界在低噪声设置使用稳定性方法。其次，光滑性假设放宽考虑损失函数与持有人连续（子）梯度，我们表明，最佳的界限仍然是通过平衡计算和稳定性。据我们所知，这给出了第一个已知的稳定性和推广范围的SGD甚至不可微的损失函数。最后，我们研究了具有（强）凸目标但非凸损失函数的学习问题。
2020-06-15 cs.LG stat.ML
