Kernel Stein Discrepancy Descent
CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）；CAS（中国科学院）；MINES ParisTech（巴黎高等矿业学院）；CMAP（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；DMA（数学系）；Ecole Normale Supérieure（巴黎高等师范学院）
在各种概率分布之间的差异中，核Stein离散性（KSD）是近年来研究的热点.我们调查其Wasserstein梯度流近似的目标概率分布$π$ $\mathbb{R}^d$，已知的归一化常数的属性。这导致了一个直接可实现的，确定性的基于分数的方法，从$π$采样，命名为KSD下降，它使用一组粒子来近似$π$。值得注意的是，由于易于处理的损失函数，KSD Descent可以利用强大的无参数优化方案，如L-BFGS;这与其他流行的基于粒子的方案形成对比，如Stein变分梯度下降算法。我们研究了KSD下降的收敛性，并证明了其实际意义。然而，我们也强调失败的情况下，表明该算法可以陷入虚假的局部极小值。
2021-05-20 cs.LG stat.ML
Stein Variational Gradient Descent With Matrix-Valued Kernels
UT Austin（德克萨斯大学奥斯汀分校）
Stein变分梯度下降（SVGD）是一种基于粒子的推理算法，它利用梯度信息进行有效的近似推理。在这项工作中，我们提高了SVGD利用预处理矩阵，如Hessian和费舍尔信息矩阵，将几何信息到SVGD更新。我们通过提出SVGD的一般化来实现这一点，该一般化用更一般的矩阵值核取代vanilla SVGD中的标数值核。这产生了SVGD的显著扩展，更重要的是，允许我们灵活地结合各种预处理矩阵来加速概率景观中的探索。实证结果表明，我们的方法优于香草SVGD和各种基线方法在一系列现实世界的贝叶斯推断任务。
2019-11-05 cs.LG stat.ML
Quantifying the Benefit of Using Differentiable Learning over Tangent Kernels
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；EPFL（洛桑联邦理工学院）
我们研究了在可微模型（如神经网络）上使用梯度下降学习与使用相应的正切核的相对能力。我们表明，在一定条件下，梯度下降实现小的错误，只有当相关的正切核方法实现了一个非平凡的优势，随机猜测（又名。弱学习），尽管即使当梯度下降可以实现任意高的精度时，该优点也可能非常小。补充这一点，我们表明，如果没有这些条件，梯度下降实际上可以学习小的错误，即使没有核方法，特别是使用正切核，可以实现一个非平凡的优势，随机猜测。
2021-03-01 cs.LG stat.ML
On Alignment in Deep Linear Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）
我们研究线性神经网络在梯度下降下的对齐（一种隐式正则化形式）的性质。我们定义了具有多维输出的全连接网络的对齐，并表明它是Ji和Telgarsky在2018年定义的具有一维输出的网络中对齐的自然扩展。虽然在完全连接的网络中，总是存在一个全局最小值对应于对齐的解决方案，但我们分析对齐，因为它与训练过程有关。也就是说，我们的特点时，对齐是一个不变量的训练下梯度下降提供必要和充分条件，这个不变量举行。在这样的设置中，梯度下降的动态简化，从而允许我们提供一个显式的学习率，在该学习率下网络线性收敛到全局最小值。然后，我们分析具有层约束的网络，例如卷积网络。在这种情况下，我们证明了梯度下降是等效的投影梯度下降，对齐是不可能的足够大的数据集。
2020-06-17 cs.LG stat.ML
Changing the Kernel During Training Leads to Double Descent in Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究发现训练中减小平移不变核带宽可使核回归出现双下降，带宽降至零能实现良性过拟合且无需模型选择，该策略效果优于恒定带宽方法，还可迁移到神经网络优化NTK以提升收敛效率与过拟合特性。
2025-05-16 cs.LG math.OC stat.ME
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们分析了平均随机梯度下降的过参数化的两层神经网络回归问题的收敛性。最近发现神经切核（NTK）在显示NTK机制下基于梯度的方法的全局收敛性方面起着重要作用，其中过参数化神经网络的学习动力学几乎可以用相关的再生核Hilbert空间（RKHS）的学习动力学来表征。然而，在NTK制度中仍有进行收敛速度分析的余地。在这项研究中，我们表明，平均随机梯度下降可以实现极大极小最优收敛速度，与全局收敛保证，通过利用目标函数的复杂性和与NTK相关的RKHS。此外，我们还证明了在某些条件下，通过ReLU网络的平滑近似，可以以最佳收敛速度学习ReLU网络的NTK指定的目标函数。
2021-06-11 cs.LG stat.ML
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain（谷歌大脑）
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合，但在实践中，这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线，其中增加模型的容量会导致其测试误差首先减小，然后增加到插值阈值附近的最大值，然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上，例如线性回归或具有非结构化随机特征的核回归，我们认为这些设置太粗糙，无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核，它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明，测试误差具有非单调的行为，深入过参数化制度，甚至可以表现出额外的峰值和下降时，参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning
Nanyang Technological University（南洋理工大学）；Michigan State University（密歇根州立大学）
基于内核的在线学习通常在许多在线学习任务中表现出最先进的性能。然而，它有一个主要的缺点，即支持向量的数量是无限的，这使得它不具有可扩展性，不适合大规模数据集的应用。在这项工作中，我们研究的问题，有界核为基础的在线学习，旨在限制支持向量的数量由一个预定义的预算。虽然在文献中已经提出了几种算法，它们既不是计算效率，由于其密集的预算维护策略，也不是有效的，由于使用简单的感知器算法。为了克服这些限制，我们提出了一个框架，有界核为基础的在线学习的基础上在线梯度下降的方法。我们提出了两个有效的算法有界在线梯度下降（BOGD）的可扩展的基于内核的在线学习：（i）BOGD通过维护支持向量使用均匀采样，和（ii）BOGD++通过维护支持向量使用非均匀采样。我们目前的理论分析的遗憾界的算法，并发现有前途的实证性能方面的功效和效率进行比较，几个著名的算法有界核为基础的在线学习大规模数据集。
2012-06-18 cs.LG stat.ML
Adaptive Stopping Rule for Kernel-based Gradient Descent Algorithms
针对基于核的梯度下降算法，提出引入经验有效维度的自适应早停准则，通过积分算子方法证明其最优学习速率，并给出迭代次数精确界以体现计算优势。
2023-06-13 cs.LG stat.ML
Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习，是深度学习文献中最大的问题之一。为了回答这个问题，我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险，并讨论了其相对于一类线性估计器的优越性，包括神经切线核方法，随机特征模型，其他核方法，$k$ -NN估计器等。我们考虑了师生回归模型，并最终表明，在极大极小最优速率的意义上，任何线性估计器都可以被深度学习超越，特别是对于高维设置。所获得的超额界限是所谓的快速学习率，其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的，并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解，即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化，但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms
Zhejiang University（浙江大学）；Huazhong Agricultural University（华中农业大学）
本文针对分布式核鲁棒梯度下降算法，通过谱特征与误差分析优化参数选择，放宽机器数量限制并保持最优学习率，同时提出通信高效策略提升收敛性能。
2026-09-11 cs.LG math.OA math.PR
Truncated Kernel Stochastic Gradient Descent on Spheres
Fudan University（复旦大学）
受球面调和函数启发，提出截断核随机梯度下降算法，通过低维子空间投影实现动态正则化，在常数步长下达到最优收敛率并克服饱和问题，同时大幅降低计算与存储成本。
2025-07-16 cs.LG
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出KRR的等价目标函数，利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归，并将其分别与符号梯度下降和坐标下降的早停解建立联系，提出高效计算方法，在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
Adaptive Kernel Selection for Stein Variational Gradient Descent
Universität Mannheim（曼海姆大学）；MIT（麻省理工学院）；Universität Heidelberg（海德堡大学）
本文提出Ad-SVGD方法，通过自适应调整核参数提升SVGD在高维数据中的性能。
2025-12-04 cs.LG stat.ML
Kernel Alignment Inspired Linear Discriminant Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
核对齐度量两个核之间的相似程度。在本文中，灵感来自核对齐，我们提出了一种新的线性判别分析（LDA）公式，核对齐LDA（kaLDA）。我们首先定义了两个核，数据核和类指示核。问题是找到一个子空间，以最大化子空间转换的数据核和类指示核之间的对齐。令人惊讶的是，内核对齐诱导kaLDA目标函数是非常相似的经典LDA，可以表示使用类间和总散布矩阵。这可以扩展到多标签数据。我们使用Stiefel流形梯度下降算法来解决这个问题。我们在8个单标签和6个多标签数据集上进行了实验。实验结果表明，kaLDA在单标记和多标记问题上都有很好的性能。
2016-10-14 cs.LG stat.ML
The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University（斯坦福大学）；Preferred Networks；The Institute of Statistical Mathematics（统计数理研究所）
我们形式化了两种流行的贝叶斯推理方法之间的等价性：斯坦变分梯度下降（SVGD）和黑箱变分推理（BBVI）。特别是，我们表明，BBVI正好对应于SVGD时，内核是神经切线核。此外，我们解释SVGD和BBVI内核梯度流，我们这样做，利用最近的观点，认为SVGD作为一个梯度流的概率分布的空间，并显示BBVI自然激励黎曼结构的空间。我们观察到，内核梯度流也描述了生成对抗网络（GANs）训练中发现的动态。因此，这项工作统一了变分推理和生成建模中的几种现有技术，并将内核确定为控制这些算法行为的基本对象，从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Beyond Cross-Validation: Adaptive Parameter Selection for Kernel-Based Gradient Descents
Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University, Xi’an, China（智能决策与机器学习中心，管理学院，西安交通大学，西安，中国）；Department of Mathematics, The University of Hong Kong, Hongkong, China（数学系，香港大学，香港，中国）
本文提出了一种基于核梯度下降的自适应参数选择策略，通过经验有效维度量化迭代增量，理论证明其在不同核函数和误差度量下达到最优泛化误差界。
2026-03-03 cs.LG stat.ME stat.ML
Softmax $\geq$ Linear: Transformers may learn to classify in-context by kernel gradient descent
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院计算神经科学单元）
研究突破传统线性假设，发现采用非线性softmax激活的Transformers在分类任务中通过核特征空间泛函的梯度下降实现上下文学习，并具备上下文自适应学习率，展现出更强的上下文适应性。
2025-10-12 cs.LG
Convergence and Alignment of Gradient Descent with Random Backpropagation Weights
Yale University（耶鲁大学）
带反向传播的随机梯度下降是人工神经网络的主力。人们早就认识到，反向传播算法在生物学上并不合理。从根本上说，它是一个非局部过程-更新一个神经元的突触权重需要下游神经元的突触权重或感受野的知识。这限制了人工神经网络作为理解大脑信息处理的生物学原理的工具的使用。Lillicrap等人（2016）提出了一种生物学上更合理的“反馈对齐”算法，该算法使用随机和固定的反向传播权重，并显示出有希望的模拟。在本文中，我们研究了反馈对准过程的数学性质，通过分析收敛性和对准下的平方误差损失的两层网络。在过参数化设置中，我们证明了误差以指数方式快速收敛到零，并且为了使参数与随机反向传播权重对齐，正则化是必要的。模拟给出了与此分析是一致的，并提出进一步的概括。这些结果有助于我们理解生物学上合理的算法如何以不同于Hebbian学习的方式进行权重学习，其性能与完整的非局部反向传播算法相当。
2021-12-23 cs.LG stat.ML
Limited Memory Online Gradient Descent for Kernelized Pairwise Learning with Dynamic Averaging
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Jilin University（吉林大学）
针对现有成对学习OGD算法仅适用于线性模型、需样本独立假设的问题，提出基于随机样本与移动平均的轻量级核化OGD算法，结合随机傅里叶特征降核计算复杂度，在多场景下性能更优。
2024-02-02 cs.LG
Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions
School of Mathematical Sciences, Fudan University, Shanghai 200433, China（复旦大学数学学院，上海200433，中国）；Department of Mathematics, University of Bayreuth, Bayreuth 95440, Germany（拜鲁特大学数学系，拜鲁特95440，德国）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University, Shanghai 200433, China（复旦大学当代应用数学上海重点实验室，上海200433，中国）；Center for Applied Mathematics, Fudan University, Shanghai 200433, China（复旦大学应用数学中心，上海200433，中国）
本文提出了一种新的核随机梯度下降算法，通过创新的正则化策略提升效率和可扩展性，利用球面径向基函数的无穷级数展开将随机梯度投影到有限维假设空间，从而提升泛化性能。
2026-10-03 cs.LG
Riesz-Kernel Stein Variational Gradient Descent: Renormalized Entropy and Long-Time Particle Limits
Rice University（里士大学）
研究去除自相互作用的周期里斯SVGD，证明多粒子长时间采样定理。在奇异斯坦能量局部可积且初始粒子相对熵有界时，时间平均经验测度律弱收敛到目标点质量。还表明有限相对熵不变粒子律诱导的经验测度律也收敛，且在对数奇点阈值下有有限粒子误差界。
2026-07-17 cs.LG math.AP
Algorithms for Learning Kernels Based on Centered Alignment
Google Research（谷歌研究院）；Courant Institute（柯朗研究所）；Courant Institute of Mathematical Sciences（数学科学柯朗研究所）
本文提出基于中心对齐的核学习算法，将最大对齐核学习简化为二次规划，并给出单阶段联合学习核与假设的方法，在分类和回归中均优于均匀组合等基线方法。
2024-04-29 cs.AI cs.LG
Geometrically Inspired Kernel Machines for Collaborative Learning Beyond Gradient Descent
University of Rostock（罗斯托克大学）；Software Competence Center Hagenberg GmbH（哈根堡软件能力中心有限公司）；University of St Andrews（圣安德鲁斯大学）；Primetals Technologies Austria GmbH（普锐特冶金技术奥地利有限公司）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
本文提出几何启发核机器框架，在RKHS中利用凸优化学习数据点周围的有界几何结构，无需局部SGD多轮训练或客户端/服务器通信即可完成协作分类，并提供误差界与样本复杂度保证。
2024-07-05 cs.AI cs.LG
Variance Reduced Online Gradient Descent for Kernelized Pairwise Learning with Limited Memory
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对核化在线成对学习，提出有限内存方差缩减OGD算法，利用分层样本和随机傅里叶特征降低梯度方差，实现改进的次线性遗憾，实验验证其优越性。
2023-10-10 cs.LG
Stability & Generalisation of Gradient Descent for Shallow Neural Networks without the Neural Tangent Kernel
University of Oxford（牛津大学）；DeepMind
我们重新审视GD训练overparameterized浅神经网络的平均算法稳定性，并证明了新的泛化和超额风险的界限，没有NTK或PL假设。特别是，我们显示预言型界限，揭示了GD的泛化和超额风险是由一个插值网络控制的最短GD路径从初始化（在某种意义上说，插值网络的最小相对范数）。虽然这对于核化插值是已知的，但我们的证明直接适用于GD训练的网络，而无需中间核化。同时，通过放松这里开发的预言不等式，我们恢复现有的NTK为基础的风险界限，在一个简单的方式，这表明我们的分析更紧密。最后，与大多数基于NTK的分析不同，我们专注于带有标签噪声的回归，并表明GD与早期停止是一致的。
2021-11-09 cs.LG math.ST stat.ML
Stein Variational Gradient Descent as Moment Matching
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Stein变分梯度下降（SVGD）是一种非参数推理算法，它演化一组粒子来拟合给定的感兴趣分布。我们分析了非渐近性质的SVGD，存在一组功能，我们称之为Stein匹配集，其期望值是完全估计的任何一组粒子，满足不动点方程的SVGD。该集合是Stein算子在SVGD中使用的正定核的特征映射上的图像。我们的研究结果提供了一个理论框架，分析不同的内核的SVGD的性能，脱落洞察到最佳的内核选择。特别是，我们表明，SVGD与线性内核产生精确估计的均值和方差的高斯分布，而随机傅立叶特征使概率界分布近似。我们的研究结果提供了一个令人耳目一新的观点，经典的推理问题，拟合斯坦的身份或解决斯坦方程，这可能会激发更有效的算法。
2018-10-27 cs.LG stat.ML
Mirror Descent on Reproducing Kernel Banach Spaces
University of California San Diego（加州大学圣地亚哥分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对再生核Banach空间（RKBS）中的高效优化问题，提出基于镜像下降的迭代算法，利用对偶空间梯度步长，证明了线性与标准收敛率，并构建了具有p-范数的新型RKBS族。
2024-11-18 cs.LG math.OC stat.ML
Complex Stochastic Gradient Descent and Directional Bias in Reproducing Kernel Hilbert Spaces
Department of Mathematics University of California, Irvine, Irvine, CA 92697 USA（数学系，加州大学伊文斯顿分校，伊文斯顿，CA 92697，美国）
本文提出复随机梯度下降（Complex SGD）方法，在无解析性约束下证明其收敛性，并验证方向偏差从实域扩展到复域，在复再生核希尔伯特空间中通过核回归有效恢复超振荡函数和Blaschke乘积。
2026-05-25 cs.LG cs.NA math.CV
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research（IBM研究院）；Akron University（阿克伦大学）
我们考虑最大平均差异（$\mathrm{MMD}$）GAN问题，并提出了一个参数核化梯度流，模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现，这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后，我们推导出一个明确的条件，确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下，我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$，并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流，因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后，数值实验表明，我们的参数核化梯度流稳定GAN训练，并保证收敛。
2020-11-04 cs.LG stat.ML
Semi-Implicit Variational Inference via Kernelized Path Gradient Descent
Department of Statistics, LMU Munich（统计系）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出核化 KL 散度估计器与重要性采样校正，改进半隐式变分推断的高维训练稳定性与效率，并在性能和训练成本上达到或超越现有最先进方法。
2025-06-05 cs.LG stat.CO
Neural Networks can Learn Representations with Gradient Descent
Princeton University（普林斯顿大学）；University of Southern California（南加州大学）
重要的理论工作已经确定，在特定的制度下，梯度下降训练的神经网络表现得像核方法。然而，在实践中，已知的是神经网络强烈地优于其相关联的内核。在这项工作中，我们解释了这一差距，证明有一大类功能，不能有效地学习内核方法，但可以很容易地学习与梯度下降的内核制度以外的两层神经网络通过学习表示，是相关的目标任务。我们还证明了这些表示允许有效的迁移学习，这在内核机制中是不可能的。具体来说，我们考虑学习多项式的问题，它只依赖于几个相关的方向，即$f^\star(x) = g(Ux)$的形式，其中$U: \R^d \to \R^r$与$d \gg r$。当$f^\star$的度是$p$时，已知$n \asymp d^p$样本对于在内核机制中学习$f^\star$是必要的。我们的主要结果是，梯度下降学习的数据表示，它只依赖于相关的方向$f^\star$。这使得$n\asymp d^2 r + dr^p$的样本复杂性得到改善。此外，在迁移学习设置中，源域和目标域中的数据分布共享相同的表示$U$，但具有不同的多项式头，我们表明，一个流行的启发式迁移学习具有独立于$d$的目标样本复杂度。
2022-06-30 cs.IT cs.LG math.IT
Learning Curves of Stochastic Gradient Descent in Kernel Regression
Peking University（北京大学）
本文分析了核回归中单遍SGD在模型错误指定条件下的超额风险曲线，发现其通过指数衰减步长克服了饱和现象，在多数尺度下达到min-max最优速率，并首次证明该方案优于迭代平均方法。
2025-05-28 cs.LG stat.ML
On the geometry of Stein variational gradient descent
Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
贝叶斯推断问题需要对高维概率分布进行采样或近似。本文的重点是最近推出的斯坦变分梯度下降法，一类算法，依赖于迭代最速下降步骤的再生核希尔伯特空间范数。这种构造导致相互作用的粒子系统，其平均场极限是在具有一定几何结构的概率分布空间上的梯度流。我们利用这个观点来阐明算法的收敛性，特别是解决选择一个合适的正定核函数的问题。我们的分析使我们考虑某些不可微内核调整的尾巴。我们证明了显着的性能增益，这些在各种数值实验。
2023-02-12 cs.LG math.AP math.ST
Improved Kernel Alignment Regret Bound for Online Kernel Learning
Tianjin University（天津大学）
本文提出改进的在线核学习算法，在Hinge损失下优化核对齐遗憾界，依据特征值衰减率实现更优的遗憾与计算复杂度，并扩展到批量学习提升风险界。
2024-03-13 cs.LG
Local optimisation of Nyström samples through stochastic gradient descent
Cardiff University（卡迪夫大学）
我们研究了一个宽松的版本的列采样问题的Nyström近似的内核矩阵，其中近似定义从多组的地标点在环境空间中，这样的多组被称为Nyström样本。我们考虑径向平方核差异（SKD）标准的未加权变化作为用于评估Nyström近似精度的经典标准的替代品;在这种情况下，我们讨论如何通过随机梯度下降来有效地优化Nyström样本。我们进行了数值实验，表明局部最小化的径向SKD产生Nyström样本与改进的Nyström近似精度。
2022-03-24 cs.LG stat.ML
Spectral alignment of stochastic gradient descent for high-dimensional classification tasks
Courant Institute, New York University（纽约大学Courant研究所）；Department of Mathematics, Northwestern University（西北大学数学系）；Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学统计与数据科学系）；Department of Statistics and Actuarial Science, Department of Applied Mathematics, and Cheriton School of Computer Science, University of Waterloo（滑铁卢大学统计与精算系、应用数学系及Cheriton计算机科学学院）
该研究严格分析高维分类任务中SGD训练动力学与经验Hessian、梯度矩阵谱的关系，证明二者轨迹与离群特征空间共对齐于低维子空间，多层网络逐层对齐且末层离群特征空间随训练演化、次优收敛时秩亏，验证了过往过参数化网络谱特性的数值预测。
2025-05-15 cs.LG math.PR stat.ML
Quantifying the Preferential Direction of the Model Gradient in Adversarial Training With Projected Gradient Descent
Scientific Computing and Imaging Institute（科学计算与成像研究所）；University of Utah School of Medicine（犹他大学医学院）；University of Utah（犹他大学）
本文定义对抗训练后模型梯度的偏好方向，并提出基于生成对抗网络最小残差的对齐度量，证明PGD模型对齐更强且强化该对齐可提升鲁棒性。
2023-04-20 cs.CV cs.LG stat.ML
A Non-Asymptotic Analysis for Stein Variational Gradient Descent
University College London（伦敦大学学院）；KAUST（阿卜杜拉国王科技大学）
我们研究了Stein变分梯度下降（SVGD）算法，该算法优化一组粒子来近似$\mathbb{R}^d$上的目标概率分布$π\propto e^{-V}$。在总体极限中，SVGD在关于$π$的库尔贝克-莱布勒散度的概率分布空间中执行梯度下降，其中梯度通过核积分算子平滑。在本文中，我们提供了一个新的有限时间分析的SVGD算法。我们提供了一个下降引理，建立该算法在每次迭代中降低目标，并为平均Stein Fisher发散（也称为核Stein离散）的收敛速度。我们还提供了一个收敛结果的有限粒子系统对应的SVGD的实际实施，其人口版本。
2021-01-03 cs.LG stat.ML
Neural Variational Gradient Descent
ETH Zurich（苏黎世联邦理工学院）；Deepmind（深度思维）
基于粒子的近似贝叶斯推理方法，如Stein变分梯度下降（SVGD）结合了采样方法的灵活性和收敛保证与变分推理的计算优势。在实践中，SVGD依赖于选择适当的核函数，这会影响其对目标分布建模的能力-这是一个只有启发式解决方案的挑战性问题。我们提出了神经变分梯度下降（NVGD），它是基于参数化的证据函数的斯坦差异的深度神经网络，其参数学习并行的推理，减轻了必要性，使任何内核的选择。我们经验评估我们的方法流行的综合推理问题，现实世界的贝叶斯线性回归，贝叶斯神经网络推理。
2021-07-29 cs.LG stat.CO stat.ML
Unraveling the Gradient Descent Dynamics of Transformers
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；Amazon Web Services（亚马逊网络服务）
研究Transformer的梯度下降动力学，通过分析单层Softmax和Gaussian注意力核的损失景观，证明在适当初始化下可全局收敛，且Gaussian核优于Softmax核。
2024-11-12 cs.LG math.OC
Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels
School of Mathematical Sciences, Fudan University（复旦大学数学科学学院）；Fudan University（复旦大学）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学当代应用数学重点实验室）
本文研究了从波兰空间到可分希尔伯特空间的回归算子估计问题，通过正则化随机梯度下降算法在在线和有限时间 horizon 设置下分析 ill-posed 性问题，建立与维度无关的预测和估计误差界，并提供结构预测和参数 PDEs 的应用示例。
2026-09-28 cs.LG math.FA math.ST
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Shanghai Key Laboratory for Contempo（上海市现代（暂未完整，按原文提取））
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差，提出统一框架推导最后迭代的尖锐收敛速率，并将网络宽度要求从指数降至多项式，缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Second-Order Path Kernel Interpolation Formulas in Machine Learning
City University of Hong Kong（香港城市大学）
本文提出神经网络的二阶路径核插值公式，引入曲率加权项和随机梯度下降的噪声耦合项，并扩展到带动量的情况，完善了路径核对预测的解释。
2026-06-05 cs.LG
Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
Jacot等人（2018）的最新工作表明，使用参数空间中的梯度下降训练神经网络与函数空间中关于神经切线核（NTK）的核梯度下降有关。Lee et al.（2019）建立在这一结果的基础上，建立了当网络宽度较大时，使用梯度下降训练的神经网络的输出可以通过线性模型来近似。事实上，在正则条件下，NTK在无限宽极限下收敛到与时间无关的核。这种制度通常被称为NTK制度。并行地，最近关于信号传播的工作（Poole等人，2016; Schoenholz等人，2017; Hayou等人，2019 a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们将这两个理论连接起来，通过量化的初始化和激活函数的影响NTK当网络深度变得很大。特别是，我们提供了一个全面的分析的收敛速度的NTK制度的无限深度制度。
2022-05-25 cs.LG stat.ML
Multi-Step Alignment as Markov Games: An Optimistic Online Gradient Descent Approach with Convergence Guarantees
EPFL（洛桑联邦理工学院）；UCLA（加州大学洛杉矶分校）
本文提出将RLHF对齐建模为两人常数和马尔可夫博弈，并基于乐观在线镜像下降设计OMPO算法，理论上保证O(ε⁻¹)次更新收敛到ε-近似纳什均衡，在多轮对话和数学推理数据集上验证了有效性。
2025-05-24 cs.AI cs.CL cs.LG
Large Dimensional Kernel Ridge Regression: Extending to Product Kernels
Department of Statistics and Data Science（统计与数据科学系）；Tsinghua University（清华大学）；Department of Mathematical Science（数学科学系）
本文研究了高维核岭回归中乘积核的收敛性，揭示了在不同源条件下的最优性、饱和效应及多 descent 行为。
2026-05-14 cs.LG stat.ML
Minimax-Optimal Generalization Bounds for Smooth Deep Neural Networks Trained by (Stochastic) Gradient Descent
Mathematical Institute for Machine Learning and Data Science, Catholic University of Eichstätt-Ingolstadt（机器学习与数据科学数学研究所，埃施特哈特-因戈尔施塔特天主教大学）；Department of Computer Science, RPTU Kaiserslautern-Landau（计算机科学系，凯斯莱特恩-兰道大学）；Department of Mathematics, The University of Hong Kong（数学系，香港大学）；School of Mathematics and Statistics, The University of Sydney（数学与统计学学院，悉尼大学）
本文建立了过参数化深度神经网络与核方法学习动力学的联系，证明了梯度下降和随机梯度下降在足够宽度下能达到极小化最优泛化误差。
2026-07-30 cs.AI cs.LG stat.ML
Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum
Weizmann Institute of Science（魏茨曼科学研究所）；Meta AI
针对宽神经网络学习偏置影响梯度下降收敛与可达函数的问题，提出利用MSKs近似核与预条件梯度下降方法改变GD轨迹，实现多项式或指数级训练加速且不改变最终解。
2024-03-20 cs.LG
Multi-kernel Correntropy-based Orientation Estimation of IMUs: Gradient Descent Methods
The Hong Kong University of Science and Technology（香港科技大学）；China University of Mining and Technology（中国矿业大学）；Beijing Institute of Technology（北京理工大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学深圳校区）
本文针对IMU姿态估计易受外部加速度和磁干扰影响的问题，提出基于多核相关熵损失的CGD和CDOE算法，在提升鲁棒性的同时显著降低计算复杂度。
2023-10-11 cs.LG cs.SY eess.SP
One-pass Stochastic Gradient Descent in Overparametrized Two-layer Neural Networks
Duke University（杜克大学）
最近，人们对过度参数化神经网络中梯度下降（GD）和随机梯度下降（SGD）的收敛性有了很大的兴趣。大多数以前的工作假设训练数据是先验地提供的一批，而较少注意到的重要设置，训练数据到达流。在本文中，我们研究了流数据设置，并表明，与过参数化和随机初始化，两层神经网络的预测误差收敛于预期的单通SGD。收敛速度取决于与所谓的神经正切核（NTK）相关联的积分算子的本征分解。我们分析的关键步骤是使用VC维数和McDiarmid不等式来证明随机核函数以高概率收敛到NTK。
2021-05-01 cs.LG math.OC stat.ML
Non-asymptotic implicit bias of logistic regression at early-stage gradient descent dynamics
The Institute of Statistical Mathematics（统计数理研究所）；Tohoku University（东北大学）；RIKEN AIP（理化学研究所人工智能项目）
本研究揭示早期梯度下降动力学中逻辑回归参数向量与最大间隔方向弱对齐的机制，给出对齐迭代次数的紧上界，为理解训练时长与泛化性能的关联提供理论支撑。
2026-08-06 cs.LG stat.ML
How many Neurons do we need? A refined Analysis for Shallow Networks trained with Gradient Descent
TU Braunschweig（布伦瑞克工业大学）
本文分析了在NTK机制下使用梯度下降训练的两层神经网络的泛化性质，推导出提前停止GD的最小最大最优收敛速率，精确追踪了泛化所需的隐藏神经元数量，并证明了训练权重保持在初始化附近且半径取决于结构假设。
2023-09-14 cs.LG stat.ML
Gradient descent aligns the layers of deep linear networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文建立了梯度流和梯度下降在线性可分数据上应用于深度线性网络时的风险收敛和渐近权重矩阵对齐--一种隐式正则化形式。更详细地，对于应用于严格递减损失函数的梯度流（对于具有特定递减步长的梯度下降具有类似结果）：（i）风险收敛到0;（ii）归一化的第i个权重矩阵渐近地等于其秩-1近似$u_iv_i^{\top}$ ;（iii）这些秩-1矩阵跨层对齐，意味着$|v_{i+1}^{\top}u_i|\to1$。在逻辑损失（二进制交叉熵）的情况下，可以说：由网络引起的线性函数-其权重矩阵的乘积-收敛到与最大边际解相同的方向。这最后一个属性在先前的工作中被识别，但仅在梯度下降的假设下，这在这里是由对齐现象所暗示的。
2019-02-24 cs.LG math.OC stat.ML
