Complex Stochastic Gradient Descent and Directional Bias in Reproducing Kernel Hilbert Spaces
Department of Mathematics University of California, Irvine, Irvine, CA 92697 USA（数学系，加州大学伊文斯顿分校，伊文斯顿，CA 92697，美国）
本文提出复随机梯度下降（Complex SGD）方法，在无解析性约束下证明其收敛性，并验证方向偏差从实域扩展到复域，在复再生核希尔伯特空间中通过核回归有效恢复超振荡函数和Blaschke乘积。
2026-05-25 cs.LG cs.NA math.CV
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Shanghai Key Laboratory for Contempo（上海市现代（暂未完整，按原文提取））
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差，提出统一框架推导最后迭代的尖锐收敛速率，并将网络宽度要求从指数降至多项式，缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
What Happens after SGD Reaches Zero Loss? --A Mathematical Framework
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
理解随机梯度下降（SGD）的隐式偏差是深度学习的关键挑战之一，特别是对于过参数化模型，其中损失函数$L$的局部最小值可以形成流形。直觉上，在足够小的学习速率$η$下，SGD跟踪梯度下降（GD），直到它接近这样的流形，其中梯度噪声阻止进一步收敛。在这种情况下，Blanc等人（2020）证明了具有标签噪声的SGD局部减少了正则化器类项，即损失的锐度$\mathrm{tr}[\nabla^2 L]$。本文通过采用Katzenberger（1991）的思想，为这种分析提供了一个总体框架。它原则上允许对围绕这种流形的SGD的正则化效应进行完整的表征-即，“隐式偏差”--使用描述参数的极限动力学的随机微分方程（RSDs），其由损失函数和噪声协方差共同确定。这产生了一些新的结果：（1）对$η^{-2}$步骤有效的隐式偏倚的全局分析，与仅对$η^{-1.6}$步骤有效的Blanc等人（2020）的局部分析相反，（2）允许任意噪声协方差。作为一个应用，我们显示了任意大的初始化，标签噪声SGD总是可以逃脱内核机制，并且只需要$O(κ\ln d)$样本来学习$\mathbb{R}^d$中的$κ$ -稀疏过参数化线性模型（Woodworth等人，2020），而在内核机制中初始化的GD需要$Ω(d)$样本。该上限是最小最大最优的，并且改进了先前的$\tilde{O}(κ^2)$上限（HaoChen等人，20…
2022-07-28 cs.LG stat.ML
Neural Networks Efficiently Learn Low-Dimensional Representations with SGD
Université de Montréal（蒙特利尔大学）；Mila Institute（米拉研究所）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Korea University（高丽大学）；Saint Mary’s University（圣玛丽大学）
我们研究了使用随机梯度下降（SGD）训练任意宽度的两层神经网络（NN）的问题，其中输入$\boldsymbol{x}\in \mathbb{R}^d$是高斯的，目标$y \in \mathbb{R}$遵循多指标模型，即，具有噪声链路函数$g$的$y=g(\langle\boldsymbol{u_1},\boldsymbol{x}\rangle,...,\langle\boldsymbol{u_k},\boldsymbol{x}\rangle)$。我们证明了第一层的神经网络的权重收敛到$k$维主子空间的向量$\boldsymbol{u_1},...,\boldsymbol{u_k}$的真实模型，当使用在线SGD与重量衰减用于训练。当$k \ll d$。首先，通过在这个较小的子空间上采用一致收敛，我们建立了SGD的$T$迭代后的$O(\sqrt{{kd}/{T}})$的泛化误差界，它与神经网络的宽度无关。我们进一步证明，SGD训练的ReLU NN可以通过恢复主方向来学习形式为$y=f(\langle\boldsymbol{u},\boldsymbol{x}\rangle) + ε$的单索引目标，样本复杂度在$d$中呈线性（最多对数因子），其中$f$是最多多项式增长的单调函数，$ε$是噪声。这与已知的$d^{Ω(p)}$样本要求在核机制中学习任何次数的$p$多项式相反，并且它表明用SGD…
2023-03-15 cs.LG stat.ML
Robust Generative Restricted Kernel Machines using Weighted Conjugate Feature Duality
KU Leuven（鲁汶大学）
在过去的十年里，对生成模型的兴趣极大地增长了。然而，它们的训练性能可能会受到污染的不利影响，其中离群值被编码在模型的表示中。这导致产生噪声数据。在本文中，我们引入了加权共轭特征对偶的限制核机器（RKM）的框架。RKM制定允许从经典的强大的统计方法的一个简单的集成。该公式用于使用基于最小协方差行列式的加权函数来微调生成RKM的潜在空间，最小协方差行列式是多变量位置和分散的高度鲁棒估计器。实验表明，加权RKM是能够产生干净的图像时，污染存在于训练数据。我们进一步表明，通过对标准数据集的定性和定量实验，鲁棒的方法也保留了不相关的特征学习。
2020-06-23 cs.CV cs.LG stat.ML
Learning Curves of Stochastic Gradient Descent in Kernel Regression
Peking University（北京大学）
本文分析了核回归中单遍SGD在模型错误指定条件下的超额风险曲线，发现其通过指数衰减步长克服了饱和现象，在多数尺度下达到min-max最优速率，并首次证明该方案优于迭代平均方法。
2025-05-28 cs.LG stat.ML
On the Stability and Generalization of Learning with Kernel Activation Functions
“Sapienza” University of Rome（罗马第一大学）；University of Cantabria（坎塔布里亚大学）
在这篇简短的文章中，我们研究了最近提出的一类非参数激活函数，核激活函数（KAFs）的泛化性质。KAF在学习过程中引入了额外的参数，以便在每个神经元的基础上单独适应非线性，利用每个激活值的廉价内核扩展。虽然这种灵活性的增加已被证明在实践中提供了显着的改善，其泛化能力的理论证明尚未在文献中得到解决。在这里，我们利用了最近关于通过随机梯度下降（SGD）训练的非凸模型的稳定性特性的文献。通过间接证明所考虑的模型的两个关键光滑性，我们证明了具有KAF的神经网络在用SGD训练有限步时具有良好的泛化能力。有趣的是，我们的分析为选择模型的超参数之一，标量高斯核的带宽提供了指导。一个简短的实验评估验证了证明。
2019-03-28 cs.LG stat.ML
Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions
School of Mathematical Sciences, Fudan University, Shanghai 200433, China（复旦大学数学学院，上海200433，中国）；Department of Mathematics, University of Bayreuth, Bayreuth 95440, Germany（拜鲁特大学数学系，拜鲁特95440，德国）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University, Shanghai 200433, China（复旦大学当代应用数学上海重点实验室，上海200433，中国）；Center for Applied Mathematics, Fudan University, Shanghai 200433, China（复旦大学应用数学中心，上海200433，中国）
本文提出了一种新的核随机梯度下降算法，通过创新的正则化策略提升效率和可扩展性，利用球面径向基函数的无穷级数展开将随机梯度投影到有限维假设空间，从而提升泛化性能。
2026-10-03 cs.LG
Convergence rates of Kernel Conjugate Gradient for random design regression
我们证明了统计收敛速度核为基础的最小二乘回归独立同分布。使用共轭梯度算法的数据，其中通过提前停止获得针对过拟合的正则化。该方法与核偏最小二乘相关，核偏最小二乘是一种将监督降维与最小二乘投影相结合的回归方法。在较早的相关文献中介绍的设置之后，我们研究了所谓的“快速收敛速度“，这取决于目标回归函数的规律性（由核积分算子的源条件测量）和映射到核空间的数据的有效维数。我们得到的上界，基本上匹配已知的极大极小下界，为$\mathcal{L}^2$（预测）规范以及更强的希尔伯特规范，如果真正的回归函数属于再生核希尔伯特空间。如果后一个假设不满足，我们得到类似的收敛速度适当的规范，提供额外的未标记的数据。
2016-07-08 math.ST stat.ML stat.TH
Nonlinear Conjugate Gradients For Scaling Synchronous Distributed DNN Training
Apple Inc.（苹果公司）
与传统的基于梯度下降的优化算法相比，基于非线性共轭梯度（NLCG）的优化算法具有更好的损失收敛特性。然而，在深度神经网络（DNN）训练中，选择的主要优化算法仍然是随机梯度下降（SGD）及其变体。在这项工作中，我们提出并评估了用于大规模DNN训练任务的随机预处理非线性共轭梯度算法。我们发现，非线性共轭梯度算法提高了DNN训练的收敛速度，特别是在大型小批量场景中，这对于将同步分布式DNN训练扩展到大量工作者至关重要。我们展示了如何在NLCG预处理器中有效地使用二阶信息来提高DNN训练收敛性。对于ImageNet分类任务，在超过65 k的超大型小批量时，NLCG优化器能够将Resnet-50模型的标准训练的top-1准确率提高10个百分点以上。对于CIFAR-100分类任务，在超过16 k的超大型小批量时，NLCG优化器能够将Resnet-32模型的标准训练提高15个百分点以上，用于200个epoch。
2019-11-20 cs.LG stat.ML
Minimax-Optimal Generalization Bounds for Smooth Deep Neural Networks Trained by (Stochastic) Gradient Descent
Mathematical Institute for Machine Learning and Data Science, Catholic University of Eichstätt-Ingolstadt（机器学习与数据科学数学研究所，埃施特哈特-因戈尔施塔特天主教大学）；Department of Computer Science, RPTU Kaiserslautern-Landau（计算机科学系，凯斯莱特恩-兰道大学）；Department of Mathematics, The University of Hong Kong（数学系，香港大学）；School of Mathematics and Statistics, The University of Sydney（数学与统计学学院，悉尼大学）
本文建立了过参数化深度神经网络与核方法学习动力学的联系，证明了梯度下降和随机梯度下降在足够宽度下能达到极小化最优泛化误差。
2026-07-30 cs.AI cs.LG stat.ML
Preconditioning Kernel Matrices
内核机器的计算和存储复杂性是其扩展到大型现代数据集的主要障碍。解决可伸缩性问题的一种常见方法是使用共轭梯度算法，该算法减轻了对存储（不需要存储核矩阵）和计算（可以使用随机梯度和并行化）的约束。即便如此，共轭梯度也不是没有自己的问题：核矩阵的条件通常使得共轭梯度在实践中收敛性差。预处理是缓解这一问题的常用方法。在这里，我们提出了核机器的预处理共轭梯度，并开发了广泛的预处理特别是有用的内核矩阵。我们描述了一个可扩展的方法来解决内核机器和学习他们的超参数。我们证明了这种方法在迭代次数的限制下是精确的，并且在给定的计算预算下优于最先进的近似。
2016-05-25 stat.CO stat.ME stat.ML
Optimal learning rates for Kernel Conjugate Gradient regression
我们证明了收敛速度的统计意义上的核为基础的最小二乘回归使用共轭梯度算法，其中正则化对过拟合是通过早期停止。该方法与核偏最小二乘直接相关，核偏最小二乘是一种将监督降维与最小二乘投影相结合的回归方法。速率取决于两个关键量：第一，目标回归函数的规律性，第二，映射到核空间的数据的固有维数。可达到的速度取决于这两个数量的下界建立在早期的文献中，我们得到的上界所考虑的方法，匹配这些下界（最多的对数因子），如果真正的回归函数属于再生核希尔伯特空间。如果不满足此假设，我们得到类似的收敛速度提供额外的未标记的数据。学习率的顺序与最近针对最小二乘支持向量机和线性正则化算子获得的最新结果相匹配。
2010-09-29 math.ST stat.ME stat.ML
A Mean-Field Theory for Kernel Alignment with Random Features in Generative and Discriminative Models
Department of Management Science, Stanford University（斯坦福大学管理科学系）；Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）；Department of Radiation Oncology, Stanford University（斯坦福大学放射肿瘤学系）；Department of Industrial Engineering, Texas A&M University（得克萨斯农工大学工业工程系）
提出了一种新的监督学习方法来优化最大均值差异生成对抗网络（MMD GANs）的核函数和核函数支持向量机（SVM）。具体来说，我们描述了一个分布鲁棒优化问题，以计算一个良好的分布的随机特征模型的Rahimi和Recht。由于分布优化问题是无穷维的，我们考虑Monte-Carlo样本平均近似（SAA），以获得一个更容易处理的有限维优化问题。随后，我们利用粒子随机梯度下降（SGD）方法来解决派生的有限维优化问题。基于平均场分析，我们证明了在每次迭代的SGD的相互作用的粒子系统的经验分布遵循的路径的Wasserstein流形上的梯度下降流。我们还建立了有限样本估计量的非渐近相合性。我们通过评估内核MMD统计数据来评估我们的内核学习方法用于假设检验问题，并表明与未经训练的内核相比，我们的学习方法确实可以在更大的阈值下获得更好的测试能力。此外，我们对基准数据集的实证评估表明，我们的核学习方法相比，其他核学习方法的优势。
2020-02-22 cs.LG stat.ML
Learning with SGD and Random Features
Università degli Studi di Genova（热那亚大学）；INRIA（法国国家信息与自动化研究所）；ENS – PSL Research University（巴黎高等师范学院-巴黎文理研究大学）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）
草图和随机梯度方法可以说是最常见的技术，以获得有效的大规模学习算法。在本文中，我们研究了它们在非参数统计学习中的应用。更准确地说，我们研究了随机梯度定义的估计与小批量和随机特征。后者可以被看作是非线性草图的形式，并用于定义近似核方法。所考虑的估计量没有显式惩罚/约束，正则化是隐式的。事实上，我们的研究强调了不同的参数，如特征数量，迭代次数，步长和小批量大小如何控制解决方案的学习特性。我们这样做，通过推导最佳有限样本的界限，在标准假设。数值实验验证了所得结果。
2019-01-24 cs.LG stat.ML
Catapults in SGD: spikes in the training loss and their impact on generalization through feature learning
UC San Diego（加州大学圣迭戈分校）；Halicioğlu Data Science Institute（哈利奇奥卢数据科学研究所）；Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学布罗德研究所）
本文揭示SGD训练损失尖峰本质上是低维子空间中的弹射现象，并证明弹射通过增强与AGOP的对齐促进特征学习，且小批量SGD能诱发更多弹射从而提升泛化性能。
2024-06-06 cs.LG math.OC stat.ML
Last iterate convergence of SGD for Least-Squares in the Interpolation regime
EPFL（洛桑联邦理工学院）
受最近成功的神经网络，有能力完美地拟合数据和推广，我们研究了无噪声模型的基本最小二乘设置。我们假设最佳预测器完美地拟合输入和输出$\langle θ_* , ϕ(X) \rangle = Y$，其中$ϕ(X)$代表可能无限维的非线性特征映射。为了解决这个问题，我们考虑了由恒定步长的随机梯度下降（SGD）的最后一阶给出的估计。在这方面，我们的贡献有两个方面：（一）A（随机）优化的角度来看，我们展示了一个原型问题，我们可以显式地显示收敛的SGD最终收敛的非强凸问题与恒定的步长，而通常的结果使用某种形式的平均值和（ii）从统计的角度来看，我们在过参数化设置中给出了显式的非渐近收敛速率，并利用问题的细粒度参数化来展示可以比$O(1/T)$更快的多项式速率。建立了与再生核Hilbert空间的联系。
2021-06-02 cs.LG math.OC stat.ML
Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
本文针对高斯过程超参数估计，证明小批量SGD在相关样本下仍能以O(1/K)速率收敛到临界点，并在模拟与真实数据上验证其泛化性能优于现有GP方法且计算开销更低。
2021-11-19 cs.LG stat.ML
Distributed Hessian-Free Optimization for Deep Neural Network
Lehigh University（理海大学）；Intel Labs（英特尔实验室）
训练深度神经网络是一个高维、高度非凸的优化问题。随机梯度下降（SGD）算法及其变体是当前最先进的解决方案。然而，由于问题的非凸性性质，观察到SGD在鞍点附近减慢。最近的实证研究表明，通过有效地检测和逃逸鞍点，更有可能提高训练性能。为此，我们重新审视了深度网络的无海森优化方法。我们还开发了它的分布式变体，并展示了SGD的卓越扩展潜力，它允许更有效地利用更大的计算资源，从而实现大型模型和更快的时间来获得所需的解决方案。此外，不同于截断牛顿法（Marten的HF），忽略负曲率信息，通过使用朴素的共轭梯度法和高斯-牛顿海森近似信息-我们提出了一种新的算法来探索负曲率方向，通过稳定的双共轭方法解决的子问题，涉及可能的不确定的随机海森信息。我们表明，这些技术加快了标准MNIST数据集和TIMIT语音识别问题的训练过程，表现出强大的性能，批量大小高达一个数量级。对于一个简单的4层网络，最多可在16个CPU节点上实现接近线性的加速，说明了这种增加的扩展潜力。
2017-01-15 cs.DC cs.LG math.OC
Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective
Xi’an Jiaotong University（西安交通大学）；Huazhong Agriculture University（华中农业大学）
该研究提出核化Renyi熵这一新型信息论度量，建立SGD/SGLD的泛化误差界，其界严格紧于现有SOTA结果，且可通过随机采样有效计算，为理解深度学习泛化能力提供新视角。
2023-05-02 cs.LG stat.ML
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech（加泰罗尼亚理工大学-巴塞罗那理工大学）；University of Minnesota（明尼苏达大学）
矩阵完成和外推（MCEX）在这里处理再生核希尔伯特空间（RKHS），以考虑现有数据中的先验信息。针对快速和低复杂度的求解器，该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现，而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明，该方法比交替最小二乘（ALS）或随机梯度下降（SGD）等广泛使用的方法执行得更快，并且恢复误差减少，特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
Stochastic Gradient Descent Meets Distribution Regression
Technical University Berlin（柏林工业大学）
随机梯度下降（SGD）提供了一种简单而有效的方法来解决广泛的机器学习问题。在这里，我们专注于分布回归（DR），涉及两个阶段的抽样：首先，我们从概率测度回归到实值响应。其次，我们从这些分布中抽取袋子，利用它们来解决整体回归问题。最近，DR已解决了应用核岭回归和这种方法的学习特性很好地理解。然而，没有什么是已知的SGD的两阶段抽样问题的学习特性。我们填补了这一空白，并提供理论保证的性能SGD DR。我们的界限是最佳的最小最大意义下的标准假设。
2021-03-05 cs.LG stat.ML
Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning Optimization Landscape
NYU（纽约大学）
在本文中，我们研究了局部最小值周围的深度学习（DL）损失景观的清晰度，以揭示DL模型泛化能力的系统机制。我们的分析是在不同的网络和优化器超参数上进行的，涉及到丰富的不同锐度度量。我们比较了这些措施，并表明，低通滤波器为基础的措施表现出最高的相关性与DL模型的泛化能力，具有较高的鲁棒性的数据和标签噪声，而且可以跟踪双下降行为的神经网络。接下来，我们推导出优化算法，依赖于低通滤波器（LPF），使用SGD类过程主动搜索DL优化景观中的平坦区域。所提出的算法的更新，我们称之为LPF-SGD，由滤波器内核与损失函数的卷积的梯度确定，并且可以使用MC采样有效地计算。我们的经验表明，我们的算法实现了优越的泛化性能相比，常见的DL训练策略。在理论方面，我们证明了LPF-SGD比SGD收敛到一个更好的最优点，并且具有更小的泛化误差。
2022-02-04 cs.LG
The Three Stages of Learning Dynamics in High-Dimensional Kernel Methods
UC Berkeley（加州大学伯克利分校）
要了解深度学习的工作原理，了解神经网络的训练动态至关重要。关于这些动力学的一些有趣的假设已经根据经验观察到的现象，但存在一个有限的理论理解何时以及为什么这样的现象发生。在本文中，我们考虑核最小二乘目标上的梯度流的训练动态，这是SGD训练的神经网络的限制动态。使用精确的高维渐近，我们在两个“世界”中描述拟合模型的动态特征：在Oracle World中，模型是在总体分布上训练的，在Empirical World中，模型是在采样数据集上训练的。我们表明，在温和的条件下的内核和$L^2$目标回归函数的训练动态经历三个阶段，其特征在于在两个世界的模型的行为。我们的理论结果还从数学上形式化了一些有趣的深度学习现象。具体来说，在我们的设置中，我们表明SGD逐渐学习更复杂的函数，并且存在“深度自举”现象：在第二阶段，尽管经验训练误差要小得多，但两个世界的测试误差仍然接近。最后，我们给出了一个具体的例子，比较了两个不同内核的动态特性，这表明更快的训练对于更好的泛化是不必要的。
2021-11-13 cs.LG math.ST stat.ML
Exchangeability and Kernel Invariance in Trained MLPs
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
在机器学习模型的分析中，假设参数是IID通常是方便的。当通过诸如SGD的训练过程更新参数时，不满足该假设。IID条件的放松是一种概率对称，称为交换对称。我们显示的意义上，在MLP的权重是可交换的。这产生的结果是，在某些情况下，全连接层的逐层内核在训练期间保持近似恒定。我们确定了一个急剧变化的宏观行为的网络权重之间的协方差从零开始变化。
2018-10-27 cs.LG stat.ML
Exponential Convergence Rates of Classification Errors on Learning with SGD and Random Features
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
虽然核方法在许多学习问题中得到了广泛的应用，但它们对大数据集的可扩展性很差。为了解决这个问题，草图和随机梯度方法是最常用的技术，以获得有效的大规模学习算法。在这项研究中，我们考虑使用随机特征和随机梯度下降来解决二元分类问题。在最近的研究中，在强低噪声条件下的期望分类误差的指数收敛速度已被证明。我们将这些分析扩展到随机特征设置，分析由随机特征的近似引起的误差，所产生的假设之间的距离，包括人口风险最小化和经验风险最小化时，使用一般Lipschitz损失函数，以表明即使随机特征近似实现的预期分类误差的指数收敛。此外，我们证明了收敛速度不依赖于特征的数量，并且由于强低噪声条件，在分类问题中使用随机特征具有显着的计算优势。
2022-06-02 cs.LG stat.ML
One-pass Stochastic Gradient Descent in Overparametrized Two-layer Neural Networks
Duke University（杜克大学）
最近，人们对过度参数化神经网络中梯度下降（GD）和随机梯度下降（SGD）的收敛性有了很大的兴趣。大多数以前的工作假设训练数据是先验地提供的一批，而较少注意到的重要设置，训练数据到达流。在本文中，我们研究了流数据设置，并表明，与过参数化和随机初始化，两层神经网络的预测误差收敛于预期的单通SGD。收敛速度取决于与所谓的神经正切核（NTK）相关联的积分算子的本征分解。我们分析的关键步骤是使用VC维数和McDiarmid不等式来证明随机核函数以高概率收敛到NTK。
2021-05-01 cs.LG math.OC stat.ML
Gram-Gauss-Newton Method: Learning Overparameterized Neural Networks for Regression Problems
Peking University（北京大学）
随机梯度下降（SGD）等一阶方法目前是训练深度神经网络的标准算法。二阶方法，尽管其更好的收敛速度，很少在实践中使用，由于在计算二阶信息的计算成本过高。在本文中，我们提出了一种新的Gram-Gauss-Newton（GGN）算法来训练深度神经网络，以解决平方损失的回归问题。我们的方法从神经切线核（NTK）的神经网络优化和核回归之间的联系中得到启发。与典型的二阶方法在每次迭代中都有很大的计算开销不同，GGN与SGD等一阶方法相比只有很小的开销。我们还给出了理论结果，证明了对于足够宽的神经网络，广义高斯网络的收敛速度是\emph{quadratic}。此外，我们提供了小批量GGN算法的收敛性保证，这是，据我们所知，第一个收敛结果的小批量版本的二阶方法过参数化神经网络。回归任务的初步实验表明，对于训练标准网络，我们的GGN算法收敛速度更快，性能比SGD更好。
2019-09-25 cs.LG math.OC stat.ML
The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines
University of Southern California（南加利福尼亚大学）
本文针对核支持向量机提出随机共轭次梯度算法，通过自适应采样和参数选择与误差估计的分解，在保持可扩展性的同时提升收敛速度与优化精度。
2024-07-30 cs.LG math.OC
Generalized Convexity and Smoothness via Conjugate Duality, with Applications to Deep Network Training
College of Electronics and Information Engineering Tongji University（同济大学电子与信息工程学院）；Zhejiang Yuying College of Vocational Technology（浙江育英职业技术学院）
该研究通过Legendre函数与凸共轭构建DNN训练的统一优化框架，引入广义凸性与光滑性，推导广义梯度类优化器的收敛速率，定量分析训练影响因素，实验验证理论与训练动态的一致性。
2026-10-21 cs.LG
Neural Kernels Without Tangents
University of California, Berkeley（加利福尼亚大学伯克利分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们研究了核空间中神经网络和简单构建块之间的联系。特别是，使用完善的功能空间工具，如直接和，平均，和时刻提升，我们提出了一个代数创建“合成”内核的功能袋。我们表明，这些操作对应于许多“神经切线核（NTK）"的积木。在实验上，我们表明，有一个神经网络架构和相关的内核之间的测试误差的相关性。我们构建了一个简单的神经网络架构，仅使用3x3卷积，2x2平均池化，ReLU，并使用SGD和MSE损失进行优化，在CIFAR10上实现了96%的准确度，其相应的组合内核实现了90%的准确度。我们还使用我们的结构来研究小数据集制度中的神经网络，NTK和组合内核的相对性能。特别是，我们发现，组成内核优于NTK和神经网络优于这两个内核的方法。
2020-03-05 cs.LG stat.ML
Do optimization methods in deep learning applications matter?
Cukurova University（丘库罗瓦大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Energy Sciences Network（能源科学网络）
随着深度学习的发展、指数数据增长和模型复杂性的增加，开发高效的优化方法吸引了大量的研究关注。一些实现倾向于使用共轭梯度（CG）和随机梯度下降（SGD）作为实现快速收敛的实用且优雅的解决方案，然而，这些优化过程也在跨深度学习应用的学习中存在许多限制。最近的研究正在探索高阶优化函数作为更好的方法，但这些方法在实际应用中存在非常复杂的计算挑战。在本文中，我们的实验表明，Levemberg-Marquardt（LM）显着取代最优收敛，但遭受非常大的处理时间，增加了训练的复杂性，分类和强化学习问题。我们的实验在标准CIFAR、MNIST、CartPole和FlappyBird实验中比较了现成的优化函数（CG、SGD、LM和L-BFGS）。本文提出了关于使用哪些优化函数以及哪些函数将受益于并行化工作以提高预训练时间和学习率收敛的论点。
2020-02-28 cs.LG stat.ML
Toward Large Kernel Models
UC San Diego（加州大学圣地亚哥分校）
本文提出EigenPro 3.0算法，基于投影对偶预条件SGD，解耦核机器模型与数据大小，实现大规模通用核模型的训练，突破现有核方法在模型和数据规模上的限制。
2023-06-20 cs.LG stat.ML
Neural Networks Learning and Memorization with (almost) no Over-Parameterization
Hebrew University（希伯来大学）；Google（谷歌）
近年来的许多研究成果通过神经网络算法建立了各种模型的多项式时间可学习性。然而，除非模型是线性可分的，或者激活是一个多项式，否则这些结果需要非常大的网络--远远超过仅仅存在一个好的预测器所需要的网络。在本文中，我们证明了SGD深度2神经网络可以记住样本，学习多项式有界的权重，并学习一定的核空间，接近最佳的网络规模，样本复杂度，和运行时间。特别是，我们证明了具有$\tilde{O}\left(\frac{m}{d}\right)$隐藏神经元（以及$\tilde{O}(m)$参数）的深度二网络上的SGD可以记住$\mathbb{S}^{d-1}$中的$m$随机标记点。
2019-11-22 cs.LG stat.ML
Eigen-Spike Emergence and Quadratic Equivalents for Conjugate Kernels on Nonlinearly Separable Data
Department of Mathematics ICSI and Department of Statistics（数学系ICSI和统计系）；University of California, San Diego, USA（美国加州大学圣地亚哥分校）；University of California, Berkeley, USA（美国加州大学伯克利分校）；Department of Mathematics ICSI, LBNL and Department of Statistics（数学系ICSI、劳伦斯伯克利国家实验室和统计系）
针对非线性可分数据（XOR问题），通过共轭核矩阵的二次等价模型，分析异常特征值涌现及其与标签对齐的BBP型相变，揭示样本复杂度、信噪比、激活函数和预训练特征对非线性可学习性的影响。
2026-06-17 cs.LG math.PR math.ST
On the Promise of the Stochastic Generalized Gauss-Newton Method for Training DNNs
ETH Zurich（苏黎世联邦理工学院）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
在早期关于深度学习的Hessian-free方法的工作之后，我们研究了用于训练DNN的随机广义高斯-牛顿方法（SGN）。SGN是一种二阶优化方法，具有高效的迭代，我们证明通常需要比标准SGD少得多的迭代来收敛。顾名思义，SGN对Hessian矩阵使用高斯-牛顿近似，并且为了计算近似搜索方向，依赖于结合正向和反向自动微分的共轭梯度法。尽管SGD及其一阶变体取得了成功，尽管基于高斯-牛顿海森近似的无海森方法在理论上已经被提出作为训练DNN的实用方法，但我们认为SGN在大的小批量场景中有很多未被发现的潜力。对于这种设置，我们证明了SGN不仅在迭代次数方面大大优于SGD，而且在运行时间方面也有所改善。这是通过我们在Theano深度学习平台中提出的高效，易于使用和灵活的SGN实现的，与Tensorflow和Pytorch不同，它支持向前自动微分。这使研究人员能够进一步研究和改进这种有前途的优化技术，并希望重新考虑将随机二阶方法作为训练DNN的竞争性优化技术;我们还希望SGN的承诺可能导致将前向自动微分添加到Tensorflow或Pytorch中。我们的结果还表明，在大的小批量场景中，SGN在其超参数方面比SGD更鲁棒（我们从来没有调整过我们的基准测试的步长！），这简化了超参数调整的昂贵过程，而超参数调整对于一阶方法的性能是至关重要的。
2020-06-09 cs.LG stat.ML
When Do Neural Networks Outperform Kernel Methods?
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）；Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计系）；Department of Statistics, Stanford University（斯坦福大学统计系）；Google Research, Brain Team（谷歌研究院大脑团队）
对于随机梯度下降（SGD）的初始化的一定尺度，宽神经网络（NN）已被证明是很好的近似再生核希尔伯特空间（RKHS）方法。最近的实证研究表明，对于某些分类任务，RKHS方法可以取代NN，而不会造成很大的性能损失。另一方面，已知双层NN比RKHS编码更丰富的平滑类，并且我们知道SGD训练的NN可证明优于RKHS的特殊示例。即使在宽网络限制中，对于初始化的不同缩放，也是如此。我们如何调和上述主张？NN在哪些任务上优于RKHS？如果协变量几乎是各向同性的，则RKHS方法会遭受维数灾难，而NN可以通过学习最佳低维表示来克服它。在这里，我们表明，如果协变量显示与目标函数相同的低维结构，那么这种维度灾难就会变得更温和，并且我们精确地描述了这种权衡。在这些结果的基础上，我们提出了尖峰协变量模型，可以在一个统一的框架中捕获在早期工作中观察到的行为。我们假设这样一个潜在的低维结构是存在于图像分类。我们在数值上测试了这一假设，表明训练分布的特定扰动降低RKHS方法的性能比NN更显着。
2021-11-09 cs.LG math.ST stat.ML
OptEx: Expediting First-Order Optimization with Approximately Parallelized Iterations
Guangdong Lab of AI and Digital Economy（广东省人工智能与数字经济实验室）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；School of Information Technology, Carleton University（卡尔顿大学信息技术学院）
针对一阶优化算法迭代顺序执行导致效率低下的问题，提出OptEx框架，通过核化梯度估计利用历史梯度预测实现迭代近似并行，在理论上保证了估计可靠性与Ω(√N)的加速率，实验验证其在多类任务中均能显著提升效率。
2024-10-29 cs.AI cs.LG stat.ML
Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels
University of British Columbia（不列颠哥伦比亚大学）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
我们提出了一种新的方法来近似主动学习的采集策略，这些策略是基于假设标记的候选数据点的再训练。虽然这在深度网络中通常是不可行的，但我们使用神经切核来近似再训练的结果，并证明这种近似即使在主动学习设置中也是渐进的-近似“前瞻”选择标准，所需的计算量要少得多。这也使我们能够进行顺序主动学习，即在流机制中更新模型，而无需在添加每个新数据点后使用SGD重新训练模型。此外，我们的查询策略，它更好地理解模型的预测将如何通过添加新的数据点与标准（“近视”）标准相比，大幅击败其他前瞻策略，并实现了与基于池的主动学习中的几个基准数据集上的最新方法相比相同或更好的性能。
2022-06-25 cs.LG stat.ML
Stochastic Gradient Descent for Operator Learning in Hilbert Spaces: Convergence Rates and Minimax Lower Bounds
本文提出在一般希尔伯特空间中利用SGD学习算子的正则性条件和收敛分析，揭示了非线性算子学习的收敛特性。
2026-09-15 cs.LG math.FA math.ST
Stochastic Gradient Descent on Highly-Parallel Architectures
University of California Merced（加州大学默塞德分校）
在工业界和学术界，人们对构建具有高级代数功能的数据分析框架的兴趣越来越大。这些框架中的许多，例如，TensorFlow和BIDMach以两种方式实现其计算密集型原语-作为多核CPU的多线程例程和在GPU上执行的高度并行内核。随机梯度下降（SGD）是在现代数据分析平台上广泛实施的模型训练的最流行的优化方法。虽然SGD的数据密集型属性是众所周知的，但对于众多SGD变体中哪一个在实践中更好存在激烈的争论。在本文中，我们进行了全面的研究并行SGD训练广义线性模型。我们考虑了三个因素的影响-计算架构（多核CPU或GPU），同步或异步模型更新和数据稀疏性-对三个指标的影响-硬件效率，统计效率和收敛时间。在这个过程中，我们设计了一个优化的异步SGD算法的GPU，利用翘曲洗牌和缓存合并的数据和模型访问。我们从我们在五个真实数据集上使用逻辑回归（LR）和支持向量机（SVM）的广泛实验中得出了一些有趣的发现。对于同步SGD，GPU总是优于并行CPU-它们都比顺序CPU解决方案高出400倍以上。对于异步SGD，并行CPU是最安全的选择，而具有数据复制的GPU在某些情况下更好。同步GPU和异步CPU之间的选择取决于任务和数据的特征。作为参考，我们的最佳实现始终优于TensorFlow和BIDMach。我们希望我们的见解提供了一个有用的指导应用并行SGD广义线性模型。
2018-02-24 cs.DB cs.DC cs.LG
McKernel: A Library for Approximate Kernel Expansions in Log-linear Time
Eidgenössische Technische Hochschule Zürich（苏黎世联邦理工学院）；Carnegie Mellon（卡内基梅隆大学）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）；Amazon（亚马逊）；Google（谷歌）；Facebook（脸书）
McKernel引入了一个框架，在小批量设置中使用内核近似，并使用随机梯度下降（SGD）作为深度学习的替代方案。基于Random Kitchen Sinks [Rahimi and Recht 2007]，我们为大规模机器学习提供了一个C++库。它包含[Le et al. 2013]中算法的CPU优化实现，允许在对数线性时间内计算近似的内核扩展。该算法需要计算Walsh Hadamard矩阵的乘积。一个高速缓存友好的快速沃尔什哈达玛，实现引人注目的速度和优于目前国家的最先进的方法已经开发出来。McKernel建立了一种新的学习架构的基础，该架构允许获得结合闪电内核扩展和线性分类器的大规模非线性分类。它在小批量环境中的工作类似于神经网络。我们通过对MNIST和FASHION MNIST的广泛实验证明了我们方法的有效性[Xiao et al. 2017]。
2020-04-17 cs.LG stat.ML
Non-asymptotic Convergence of Stochastic Gradient Descent in Score-based Generative Models
Sorbonne Université and Université Paris Cité, CNRS, LPSM（索邦大学和巴黎cité大学，法国国家科学研究中心，巴黎高等师范学院）；LOPF, Califrais’ Machine Learning Lab（LOPF，Califrais机器学习实验室）
针对基于得分的生成模型训练优化性质不明问题，本文对两类场景下的随机梯度下降开展理论分析，推导收敛速率与误差边界，为实际权重选择提供理论指导。
2026-10-08 cs.LG stat.ML
Conjugate Learning Theory: Uncovering the Mechanisms of Trainability and Generalization in Deep Neural Networks
Tongji University（同济大学）；Zhejiang Yuying College of Vocational Technology（浙江余英职业科技学院）
本文提出共轭学习理论，通过分析结构矩阵和梯度能量，揭示深度神经网络的可训练性与泛化机制，并推导了经验风险下限和泛化误差的理论界限。
2026-02-19 cs.AI cs.LG stat.ML
Kernel machines that adapt to GPUs for effective large batch training
Ohio State University（俄亥俄州立大学）
现代机器学习模型通常使用随机梯度下降（SGD）在诸如GPU的大规模并行计算资源上进行训练。增加小批量是利用并行计算能力的一种简单而直接的方法。对于小批量，批量大小的增加会导致训练时间的成比例减少，这种现象称为线性缩放。但是，将批大小增加到超过某个值不会进一步改善训练时间。在本文中，我们开发的第一个分析框架，扩展线性缩放，以匹配并行计算能力的资源。该框架是为一类经典的内核机器设计的。它自动修改标准内核机器以输出数学上等效的预测函数，但允许扩展的线性缩放，即，在给定硬件上实现更高效的并行化和更快的训练时间。由此产生的算法是准确的，原则性和非常快。例如，使用单个Titan Xp GPU，在ImageNet上使用$1.3\times 10^6$数据点和$1000$标签进行训练需要不到一个小时，而较小的数据集（如MNIST）需要几秒钟。由于参数是基于理论界解析地选择的，因此除了选择核和核参数之外，几乎不需要调整，进一步促进了这些方法的实际使用。
2019-03-03 cs.LG stat.ML
Painless Stochastic Gradient: Interpolation, Line-Search, and Convergence Rates
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of British Columbia（不列颠哥伦比亚大学）；Element AI（元素人工智能公司）；QBit（1量子比特公司）；Amii（阿尔伯塔机器智能研究所）
最近的工作表明，随机梯度下降（SGD）实现了快速收敛速度的全批梯度下降满足一定的插值条件的过参数化模型。然而，在这些作品中使用的步长取决于未知量和SGD的实际性能在很大程度上依赖于这个步长的选择。我们建议使用线搜索技术来自动设置步长时，训练模型，可以插值的数据。在插值设置中，我们证明了SGD与经典的Armijo线搜索的随机变体达到凸和强凸函数的确定性收敛速度。在额外的假设下，SGD与Armijo线搜索实现非凸函数的快速收敛。此外，我们证明了随机超梯度与Lipschitz线搜索达到线性收敛的一类重要的非凸函数和鞍点问题满足插值。为了提高算法的实际性能，我们给出了使用更大步长和加速的算法。我们将所提出的算法与使用内核方法和深度网络的标准分类任务上的众多优化方法进行比较。所提出的方法在所有模型和数据集上都具有竞争力的性能，同时对超参数的精确选择具有鲁棒性。对于使用深度网络的多类分类，使用Armijo线搜索的SGD可以实现更快的收敛和更好的泛化。
2021-06-04 cs.LG math.OC stat.ML
Task-Driven Kernel Flows: Label Rank Compression and Laplacian Spectral Filtering
School of Computer Science and Engineering（计算机科学与工程学院）；Sun Yat-sen University（中山大学）；Boya Junior High School（Boyaa 初中）；Guangxi Hope High School（广西希望高中）
该研究提出任务驱动的核流理论，通过标签排名压缩和拉普拉斯谱滤波，揭示监督学习的低秩特性，并对比自监督学习的高秩表示。
2026-01-01 cs.LG
Mixed Variable Bayesian Optimization with Frequency Modulated Kernels
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
高斯过程（GP）代理模型可以提高贝叶斯优化（BO）的抽样效率。然而，在混合变量空间中，代理模型而不是GP是普遍的，主要是由于缺乏内核，可以跨不同类型的变量建模复杂的依赖关系。在本文中，我们提出了频率调制（FM）内核灵活地建模不同类型的变量之间的依赖关系，使BO可以享受进一步提高的采样效率。FM内核使用连续变量上的距离来调制从离散变量导出的图形傅立叶频谱。然而，频率调制并不总是定义具有相似性度量行为的核，该相似性度量行为对于更相似的点对返回更高的值。因此，我们指定并证明条件FM内核是正定的，并表现出相似性度量行为。在实验中，我们证明了改进的采样效率GP BO使用FM核（BO-FM）。在综合问题和超参数优化问题，BO-FM优于竞争对手一致。此外，频率调制原理的重要性是经验证明在相同的问题。在神经架构和SGD超参数的联合优化方面，BO-FM优于竞争对手，包括正则化进化（RE）和BOHB。值得注意的是，BO-FM的表现甚至比RE和BOHB更好，使用三倍的评估。
2022-07-18 cs.LG stat.ML
Stochastic Gradient Descent in Hilbert Scales: Smoothness, Preconditioning and Earlier Stopping
Technical University Berlin（柏林工业大学）；University of Potsdam（波茨坦大学）
随机梯度下降（SGD）已成为解决广泛机器学习问题的首选方法。然而，它的一些学习特性仍然没有完全理解。我们考虑再生核希尔伯特空间（RKHS）中的最小二乘学习，并将经典的SGD分析扩展到希尔伯特尺度中的学习环境，包括紧黎曼流形上的Sobolev空间和扩散空间。我们表明，即使对于指定的模型，违反传统的基准平滑假设对学习率有巨大的影响。此外，我们表明，错过指定的模型，预处理在适当的希尔伯特尺度有助于减少迭代次数，即允许“提前停止”。
2020-06-18 cs.LG math.ST stat.ML
Finite Depth and Width Corrections to the Neural Tangent Kernel
Texas A&M University（得克萨斯农工大学）；University of Toronto（多伦多大学）
我们证明了在有限的深度和宽度上，随机初始化ReLU网络中神经切线核（NTK）的均值和方差的精确缩放。标准差是网络深度与宽度之比的指数。因此，即使在无限overparameterization的限制，NTK是不确定的，如果深度和宽度同时趋于无穷大。此外，我们证明，对于这样的深度和广度的网络，NTK在训练过程中有一个非平凡的演变，表明其第一次SGD更新的平均值也是网络深度与宽度之比的指数。这与深度固定且网络宽度非常大的情况形成鲜明对比。我们的研究结果表明，与相对较浅和较宽的网络不同，深度和较宽的ReLU网络即使在所谓的懒惰训练机制中也能够学习数据依赖的特征。
2019-09-13 cs.LG math.PR stat.ML
VecHGrad for Solving Accurately Complex Tensor Decomposition
National Bank of Canada（加拿大国家银行）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
张量分解是多维数组的因子分解技术的集合，是科学分析中最通用和最强大的工具之一。然而，由于其不断增加的大小，今天的数据集需要更复杂的张量分解，涉及多个矩阵和对角张量的因子分解，如DEDICOM或PARATUCK2。传统的张量分解算法，如随机梯度下降（SGD）、非线性共轭梯度下降（NCG）或交替最小二乘法（ALS），不能很容易地应用于复张量分解，或者经常导致收敛精度差。我们提出了一个新的分辨率算法，称为VechHGrad，在所有现有的张量分解，专门为复杂的分解，准确和高效的随机分辨率。VecHGrad依靠梯度、海森矢量积和自适应线搜索来确保优化过程中的收敛性。我们使用最先进的深度学习梯度优化模型对五个真实数据集进行了实验，结果表明VechHGrad能够更快地收敛，因为它的每步理论收敛速度都很高。因此，VechHGrad也针对深度学习优化器算法。对CP、DEDICOM和PARATUCK2等张量分解进行了实验。尽管VecHGrad涉及稍微复杂的更新规则，但它的运行时实际上与SGD、Adam或RMSProp等梯度方法的运行时类似。
2020-03-10 cs.LG stat.ML
Training Neural Networks with Stochastic Hessian-Free Optimization
University of Alberta（阿尔伯塔大学）
Hessian-free（HF）优化已成功用于训练深度自动编码器和递归网络。HF使用共轭梯度算法通过曲率向量乘积来构造更新方向，曲率向量乘积可以在与梯度相同的时间顺序上计算。在本文中，我们利用这个属性，研究随机HF的梯度和曲率小批量独立的数据集大小。我们修改马滕斯的HF为这些设置和集成dropout，一种方法，用于防止特征检测器的共同适应，以防止过度拟合。随机无Hessian优化提供了SGD和HF之间的中介，在分类和深度自动编码器实验中都实现了有竞争力的性能。
2013-05-01 cs.LG cs.NE stat.ML
Learning the gravitational force law and other analytic functions
Google Research（谷歌研究院）
Large neural network models have been successful in learning functions of importance in many branches of science, including physics, chemistry and biology. Recent theoretical work has shown explicit learning bounds for wide networks and kernel methods on some simple classes of functions, but not on more complex functions which arise in practice. We extend these techniques to provide learning bounds for analytic functions on the sphere for any kernel method or equivalent infinitely-wide network with the corresponding activation function trained with SGD. We show that a wide, one-hidden layer Re…
2020-05-15 cs.LG stat.ML
Scaling Limits of Wide Neural Networks with Weight Sharing: Gaussian Process Behavior, Gradient Independence, and Neural Tangent Kernel Derivation
Microsoft Research AI（微软研究院AI）
机器学习理论和实践中的几个最新趋势，从最先进的高斯过程的设计到随机梯度下降（SGD）下深度神经网络（DNN）的收敛性分析，都发现研究宽随机神经网络是富有成效的。这些方法的核心是此类网络的某些扩展限制。我们统一这些结果通过引入一个直线\emph{tensor program}，可以表示大多数神经网络计算的概念，我们表征其缩放极限时，它的张量是大的和随机的。从我们的框架中得出（1）随机神经网络到高斯过程的收敛，用于诸如递归神经网络、卷积神经网络、残差网络、注意力及其任何组合的架构，具有或不具有批量归一化;（2）\emph{gradient independence assumption} --反向传播中的权重可以被假设为独立于正向传递中的权重--的条件，导致梯度动力学的正确计算，以及当其不正确时的校正;（3）神经切线核的收敛，该内核是最近提出的用于预测梯度下降下的神经网络的训练动力学的内核，在（1）中的所有架构的初始化时，没有批量归一化。在数学上，我们的框架是一般性的，足以重新推导经典的随机矩阵的结果，如循环和Marchenko-Pastur法律，以及最近的结果在神经网络雅可比奇异值。我们希望我们的工作为设计更强的高斯过程、避免梯度爆炸/消失的初始化方案以及更深入地理解现代架构中的SGD动态开辟了一条道路。
2020-04-04 cond-mat.dis-nn cs.LG cs.NE
