Taming the Wild: A Unified Analysis of Hogwild!-Style Algorithms
Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随机梯度下降（SGD）是一种普遍存在的用于各种机器学习问题的算法。研究人员和业界已经开发了几种技术来优化SGD的运行时性能，包括异步执行和降低精度。我们的主要结果是一个基于鞅的分析，使我们能够捕捉到丰富的噪声模型，可能会出现这样的技术。具体来说，我们使用我们的新分析在三个方面：（1）我们得出的凸情况下（Hogwild！）在问题稀疏性的宽松假设下;（2）我们分析了非凸矩阵问题的异步SGD算法，包括矩阵完备化;（3）我们设计并分析了一个异步SGD算法，称为Buckwild！，使用低精度算术的算法。我们的实验表明，我们的算法有效地运行在现代硬件上的各种问题。
2015-10-02 cs.LG math.OC stat.ML
YuriiFormer: A Suite of Nesterov-Accelerated Transformers
MIT（麻省理工学院）
YuriiFormer通过将Transformer层视为优化算法迭代过程，提出了一种基于Nesterov加速的Transformer架构，在多个文本数据集上实现了优于基线模型的性能。
2026-03-04 cs.AI cs.LG math.OC
Scheduled Restart Momentum for Accelerated Stochastic Gradient Descent
University of Utah（犹他大学）；Rice University（莱斯大学）；National University of Defense Technology（国防科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
具有恒定动量的随机梯度下降（SGD）及其变体（如Adam）是训练深度神经网络（DNN）的首选优化算法。由于DNN训练在计算上非常昂贵，因此人们对加速收敛非常感兴趣。Nesterov加速梯度（NAG）使用特殊设计的动量提高了凸优化的梯度下降（GD）的收敛速度;然而，当使用不精确的梯度时（如SGD），它会积累误差，最好的情况下会减慢收敛速度，最坏的情况下会发散。在本文中，我们提出了计划重启SGD（SRSGD），这是一种新的NAG风格的DNN训练方案。SRSGD用NAG中增加的动量代替SGD中的恒定动量，但根据时间表将动量重置为零来稳定迭代。使用各种图像分类的模型和基准，我们证明，在训练DNN时，SRSGD显着提高了收敛性和泛化能力;例如，在训练ResNet 200进行ImageNet分类时，SRSGD实现了20.93%的出错率，而基准为22.13%。随着网络的深入，这些改进变得更加重要。此外，在CIFAR和ImageNet上，SRSGD达到了类似甚至更好的出错率，与SGD基线相比，训练时间明显减少。
2020-04-26 cs.LG cs.NE stat.ML
Global Convergence of Sampling-Based Nonconvex Optimization through Diffusion-Style Smoothing
Carnegie Mellon University（卡内基梅隆大学）
本文通过平滑视角分析采样优化，揭示平滑在逃逸局部极小值中的作用，并提出DIDA算法实现全局收敛。
2026-05-15 cs.LG
Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室（BRAIn Lab））；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（人工智能 Mohamed bin Zayed 大学）；Innopolis University（Innopolis 大学）
本文提出一种统一框架，通过预条件矩阵范数概括了最速下降、拟牛顿和自适应方法，系统研究了仿射和尺度不变性，并引入了MuAdam和MuAdam-SANIA两种新方法，实验表明其在某些情况下优于现有方法。
2026-05-16 cs.LG math.OC
Recursive Decomposition for Nonconvex Optimization
University of Washington（华盛顿大学）
连续优化是人工智能许多领域的重要问题，包括视觉、机器人、概率推理和机器学习。不幸的是，大多数现实世界的优化问题都是非凸的，导致标准的凸技术只能找到局部最优值，即使是随机重启和模拟退火等扩展。我们观察到，在许多情况下，目标函数的局部模式具有组合结构，因此可以利用组合优化的思想。在此基础上，我们提出了一个非凸优化问题的分解方法。类似于DPLL风格的SAT求解器和概率推理中的递归条件，我们的算法RDIS递归地设置变量，以便简化目标函数并将其分解为近似独立的子函数，直到剩余的函数足够简单，可以通过梯度下降等标准技术进行优化。要设置的变量是通过图划分来选择的，确保尽可能地分解。我们分析表明，RDIS可以解决广泛的一类非凸优化问题的指数速度比随机重启的梯度下降。在实验上，RDIS在解决运动恢复结构和蛋白质折叠等问题上优于标准技术。
2016-11-08 cs.AI cs.LG stat.ML
Boosting Frank-Wolfe by Chasing Gradients
Georgia Institute of Technology（佐治亚理工学院）；Technische Universität Berlin（柏林工业大学）；Zuse Institute Berlin（柏林祖斯研究所）
Frank-Wolfe算法以其简单、无投影等优点成为一种流行的一阶优化算法，并成功地应用于各种实际问题。然而，它的主要缺点在于其收敛速度，由于朴素的下降方向，收敛速度可能非常慢。我们建议通过一个子程序，更好地对齐的下降方向的负梯度的Frank-Wolfe算法的速度。该子例程以匹配追踪方式追踪负梯度方向，同时仍保持无投影属性。虽然这种方法相当自然，但它产生了非常重要的结果。我们推导出收敛速度$\mathcal{O}(1/t)$到$\mathcal{O}(e^{-ωt})$的我们的方法，我们证明了它的竞争优势，每次迭代和CPU的时间在国家的最先进的一系列计算实验。
2020-06-23 cs.LG math.OC
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise
Electrical Engineering and Computer Science University of California, Merced（电气工程与计算机科学大学加州大学默塞德分校）
本文提出可预测的历史自适应虚拟扰动，通过条件高斯相对熵论证，推导出具有自适应虚拟噪声几何的随机梯度下降泛化界限，改进了传统固定敏感性和梯度偏差项。
2026-04-30 cs.LG
Using Artificial Intelligence to Improve Classroom Learning Experience
DeVry University（德锐大学）；Engineering Technology and Information Sciences（工程技术与信息科学学院）
本文研究利用Logistic Regression等机器学习方法识别学生学习风格并预测辍学风险，在76,519人数据集中达到87.39%的测试准确率，优于随机梯度下降分类器。
2025-02-14 cs.CY cs.HC cs.LG
Dual Iterative Hard Thresholding: From Non-convex Sparse Minimization to Non-smooth Concave Maximization
Rutgers University（罗格斯大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
迭代硬约束保持（IHT）是一类用于优化稀疏约束最小化模型的投影梯度下降方法，具有最好的效率和可扩展性。据我们所知，现有的IHT风格的方法被设计为原始形式的稀疏最小化。它仍然开放，探索对偶理论和算法在这样一个非凸和NP-难的问题设置。在本文中，我们建立了一个对偶理论的稀疏约束最小化与$\ell_2$正则化损失函数，并提出了一个IHT风格的算法对偶最大化。我们的稀疏对偶理论提供了一组充分和必要的条件下，原来的NP-难/非凸问题可以等价地解决在一个对偶制定。提出的对偶IHT算法是一种最大化非光滑对偶目标的超梯度算法。一个有趣的发现是，双IHT的稀疏恢复性能是不变的限制等距属性（RIP），这是所需的几乎所有现有的原始IHT算法没有稀疏松弛。此外，提出了一种随机变形的对偶IHT的大规模随机优化。数值结果表明，双重IHT算法的优越性，最先进的原始IHT风格的算法在模型估计精度和计算效率。
2017-06-21 cs.LG stat.ML
Discounted Adaptive Online Learning: Towards Better Regularization
Harvard University（哈佛大学）
该研究针对对抗性非平稳环境在线学习的历史遗忘难题，提出基于FTRL的自适应折扣遗憾算法，改进恒定学习率梯度下降基线，还将其用于在线共形预测，简化分析并得到实例依赖性能保证。
2024-06-18 cs.LG stat.ML
Compiling to linear neurons
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
针对现有神经网络间接编程范式无法兼容离散算法的问题，提出线性编程语言$\textsf{Cajal}$，可将程序编译为适配梯度学习的线性神经元，实验证明其能提升网络学习效率与可调试性。
2025-11-14 cs.LG cs.PL
Practical Learning of Predictive State Representations
Carnegie Mellon University（卡内基梅隆大学）
在过去的十年中，人们对用于学习预测状态表示（PSR）的谱算法产生了相当大的兴趣。谱算法有吸引力的理论保证，然而，由此产生的模型并不总是在实践中执行推理任务。这种行为的一个原因是预期任务（精确的滤波或预测）与由算法优化的损失函数（模型参数中的估计误差）之间的失配。一个自然的想法是通过使用EM等算法来改进PSR来提高性能。不幸的是，如何在PSR的上下文中应用EM风格算法并不明显，因为没有为所有PSR很好地定义Log Likewise。我们表明，这是可能的，以克服这个问题，使用预测状态推理机的想法。我们结合光谱算法的PSR作为一个一致的和有效的初始化与PSIM风格的更新，以完善所产生的模型参数。通过结合这两个想法，我们开发的推理，一个简单，快速，和强大的方法，实际学习的PSR。Inference Concentrates在PSR参数空间中执行梯度下降，以优化基于推理的损失函数，如PSIM。因为推论子项使用频谱初始化，所以我们获得了与PSR相同的一致性好处。我们表明，推理能力优于真实和合成数据集上的PSR和PSIM。
2017-02-14 cs.LG stat.ML
LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室（BRAIn实验室））；SB AI Lab（SB人工智能实验室）；Innopolis University（Innopolis大学）
针对LoRA独立训练忽略低秩权重变化几何的问题，本文提出LoRA-TSD优化器，通过切空间谱下降提升效率与性能，在多模型多基准测试中优于竞争方法并具鲁棒性。
2026-09-03 cs.LG
Sequence Training of DNN Acoustic Models With Natural Gradient
Cambridge University（剑桥大学）
深度神经网络（DNN）声学模型通常使用区分序列训练，其优化比基于帧的训练更好地近似单词出错率（WER）的目标函数。序列训练通常使用随机梯度下降（SGD）或Hessian Free（HF）训练来实现。本文提出了一种替代批处理风格的优化框架，采用自然梯度（NG）的方法来遍历参数空间。通过根据KL发散的局部曲率校正梯度，NG优化过程比HF更快地收敛。此外，所提出的NG方法可以应用于任何序列判别训练标准。NG方法的有效性使用多类型广播（MGB）转录任务上的实验来显示，该任务展示了所得到的DNN模型的计算效率和准确性。
2018-04-06 cs.CL cs.LG stat.ML
Inverting face embeddings with convolutional neural networks
Google Inc.（谷歌公司）
深度神经网络极大地推进了机器学习许多领域的技术发展。最近，他们已经被证明有一个显着的能力，以产生高度复杂的视觉工件，如图像和文本，而不是简单地识别它们。在这项工作中，我们使用神经网络来有效地反转低维人脸嵌入，同时产生逼真的一致图像。我们的贡献是双重的，首先，我们表明，梯度上升风格的方法可以用来重现一致的图像，与指导图像的帮助。其次，我们证明了我们可以训练一个单独的神经网络，以有效地解决最小化问题，在一个通行证，并实时生成图像。然后，我们通过比较最小化损失函数的最终值来评估使用神经网络而不是梯度下降所施加的损失。
2016-07-07 cs.CV cs.LG cs.NE
Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study
City University of Hong Kong（香港城市大学）
针对无导数优化中经典KW和SPSA算法梯度估计不精确、收敛慢的问题，通过实验比较批量有限差分估计器与经典方法，发现高效批量FD估计器对应的梯度下降算法在低维与高维场景中均表现更优。
2025-02-18 cs.LG math.OC
Surrogate Functions for Maximizing Precision at the Top
Microsoft Research India（微软研究院印度）；Indian Institute of Science（印度科学学院）
在排名列表的顶部最大化精度的问题，通常被称为Precision@k（prec@k），在无数的学习应用中发现了相关性，例如排名，多标签分类和严重标签不平衡的学习。然而，尽管它的普及，存在着显着的差距，我们对这个问题的理解及其相关的性能指标。其中最值得注意的是缺乏prec@k的凸上边界代理。我们也缺乏可扩展的感知器和随机梯度下降算法来优化这个性能指标。在本文中，我们在这些方向的关键贡献。我们结果的核心是prec@k的真正上界代理族。这些代理以原则性的方式被激励，并且享有吸引人的属性，例如在各种自然裕度/噪声条件下的一致性。这些代理人，然后用来设计一类新的感知器算法优化prec@k可证明的错误界。我们还设计了可扩展的随机梯度下降风格的方法，这个问题的可证明的收敛界。我们的证明依赖于新的一致收敛界，这需要深入分析prec@k及其代理的结构特性。最后，我们的实验结果比较我们的算法与国家的最先进的切割平面和随机梯度算法最大化prec@k。
2015-05-26 cs.LG stat.ML
Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
University of Michigan（密歇根大学）
本文提出了一种通用的小批量优化理论，展示了经典动量对梯度小批量大小的加速比例关系，从而实现小批量计算的完美并行化。
2026-05-18 cs.LG
Combining Natural Gradient with Hessian Free Methods for Sequence Training
Cambridge University（剑桥大学）
本文提出了一种新的优化方法，训练深度神经网络（DNN）的判别序列标准。在每次迭代时，该方法将来自自然梯度（NG）方向的信息与误差表面的局部曲率信息相结合，使得能够遍历参数流形上的更好路径。从信息几何的角度，利用流形、切向量和方向导数的概念，利用泰勒定理的另一种推导方法推导出该方法。在Hessian Free（HF）风格的优化框架内示出了该方法的功效，以将标准的全连接DNN和时间延迟神经网络作为语音识别声学模型进行序列训练。结果表明，对于相同数量的更新，所提出的方法实现了更大的减少字出错率（WER）比NG和HF，也导致一个较低的WER比标准的随机梯度下降。本文还解决了由于训练标准和字出错率（WER）之间的不匹配而导致的过拟合问题，该问题主要出现在ReLU-DNN模型的序列训练期间。
2018-10-03 cs.LG stat.ML
Solving Combinatorial Games using Products, Projections and Lexicographically Optimal Bases
MIT（麻省理工学院）
为了求解两人零和博弈的纳什均衡，考虑了两种在线学习算法：在线镜像下降（OMD）算法和乘性权值更新（MWU）算法. OMD算法需要计算某个Bregman投影，该投影对于简单的凸集（如欧几里得球或单纯形）具有封闭形式的解。然而，对于一般的多面体，通常需要利用凸优化的一般机制。我们给出了一个新的原始风格的算法计算Bregman投影的基础多面体的polymatroids。接下来，在MWU算法的情况下，尽管它在纯策略或专家$N$的数量上以数学方式缩放，但该算法在$N$中需要时间多项式;这在学习组合对象时尤其成为问题。我们给出了一个通用的配方来模拟时间多项式在其自然维数的乘法权重更新算法。只要这些对象上存在多项式时间广义计数预言（即使是近似的），这就很有用。最后，使用对称纳什均衡（SNE）的组合结构时，双方球员发挥基地的拟阵，我们表明，这些可以找到一个单一的投影或凸最小化（不使用在线学习）。
2016-03-01 cs.LG
Fast Offline Policy Optimization for Large Scale Recommendation
Criteo AI Lab（Criteo人工智能实验室）；CREST-ENSAE；IPP（法国高等科学研究院）
本文针对大规模推荐系统中离线策略优化因目录规模线性复杂度而难以扩展的问题，提出结合蒙特卡洛梯度估计、自归一化重要性采样和快速最大内积搜索的对数复杂度近似算法，在保持策略质量的同时实现数量级加速。
2023-05-27 cs.AI cs.IR cs.LG
Deep learning for pedestrians: backpropagation in CNNs
SAP Labs（SAP实验室）
本文档的目标是提供一个教学介绍，介绍使用梯度下降训练深度神经网络的主要概念;这一过程称为反向传播。虽然我们关注的是一类非常有影响力的架构，称为“卷积神经网络“（CNN），但这种方法对整个机器学习社区来说是通用和有用的。由于观察到反向传播的推导经常被笨拙的索引重叙述所掩盖，这些叙述看起来有点抽象，我们的目标是提供一个概念清晰的向量化描述，很好地表达了更高层次的逻辑。遵循“写作是自然的方式，让你知道你的思维是多么草率”的原则，我们试图使计算细致，自成一体，但尽可能直观。没有什么是理所当然的，充足的插图作为视觉指南和广泛的参考书目提供了进一步的探索。(For为了清楚起见，长的数学推导和可视化被分解为短的“概括视图”和长的“详细视图”，作为可选内容组被编码到PDF中。有些图包含动画，旨在以更吸引人的方式说明重要概念。出于这些原因，我们建议您在本地下载该文档，并使用Adobe Reader打开它。其他查看器未经过测试，可能无法正确呈现详细视图和动画。）
2018-11-29 cs.AI cs.CV cs.LG
Accelerated Neural Network Training with Rooted Logistic Objectives
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究针对神经网络训练收敛受数据可分性限制的问题，设计了严格凸的有根逻辑损失函数，在多类模型和基准上实现更快收敛与性能提升，并可用于生成模型微调。
2023-10-05 cs.AI cs.CV cs.LG
(Nearly) Optimal Private Linear Regression via Adaptive Clipping
Google（谷歌）
我们研究了差分私有线性回归问题，其中每个数据点都是从一个固定的亚高斯分布中采样的。我们提出并分析了一个单通道小批量随机梯度下降方法（DP-AMBSSGD），在每次迭代中的点被采样而不替换。为DP添加噪声，但在线估计噪声标准偏差。与现有的具有次优误差界的$(ε, δ)$ -DP技术相比，DP-AMBSSGD能够在关键参数方面提供接近最优的误差界，所述关键参数如维度$d$、点的数量$N$和观测中的噪声的标准偏差$σ$。例如，当对$d$维协变量进行i.i.d.采样时，根据正态分布，则由于隐私引起的DP-AMBSSGD的超额误差是$\frac{σ^2 d}{N}(1+\frac{d}{ε^2 N})$，即，当样本数为线性回归的标准操作方案$N= Ω(d \log d)$时，误差是有意义的。相比之下，现有的有效方法在这种情况下的误差界限是：$\mathcal{O}\big(\frac{d^3}{ε^2 N^2}\big)$，即使是$σ=0$。也就是说，对于常数$ε$，现有技术需要$N=Ω(d\sqrt{d})$来提供非平凡结果。
2022-07-12 cs.CR cs.LG math.OC
Muon$^p$: Muon with Fractional Spectral Powers
Princeton University（普林斯顿大学）
提出 Muon$^p$ 优化器，通过分数谱幂更新 $US^pV^\top$ 插值 Muon 与梯度下降，证明其无法用单变量多项式迭代计算，并推导低阶双变量递归近似，在保持矩阵乘法结构的同时提升微调性能。
2026-06-15 cs.LG
Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias
Jozef Stefan Institute（约瑟夫·斯特凡研究所）
提出MKAN，通过指数重参数化B样条系数、正边权和单调基激活实现硬单调性，理论证明任何特征提取器可被单调化且编码器规模有界，实验表明MKAN在单调性基准上达到最优并保持KAN的逐边功能透明性。
2026-09-09 cs.LG
Temperature is All You Need for Generalization in Langevin Dynamics and other Markov Processes
Technion（技术学院）；Weizmann Institute of Science（魏茨曼科学研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文证明正温度下的 Langevin 动力学及具 Gibbs 平稳分布的马尔可夫训练可获得与时间、维度和梯度无关的高概率泛化界。
2025-10-18 cs.LG stat.ML
Uniform Spectral Growth and Convergence of Muon in LoRA-Style Matrix Factorization
KAIST（韩国科学技术院）
研究揭示了LoRA微调LLM时穆伦的谱特性，证明了奇异值等速率增长并收敛至全局极小值。
2026-02-06 cs.LG
Bio-Inspired Artificial Neural Networks based on Predictive Coding
Microelectronics Department (EEMCS Faculty)（微电子系（EEMCS学院））；Delft University of Technology（代尔夫特理工大学）
该研究以教程形式介绍具备生物合理性的预测编码（PC），阐述其数学基础、推导及与BP、卡尔曼滤波器的关联，提供PyTorch实现示例，为人工神经网络训练提供生物启发的替代方案。
2025-08-12 cs.LG stat.ML
Explicit Regularization of Stochastic Gradient Methods through Duality
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑随机梯度法下的插值制度，可以得到一个完美的拟合（在每个观察的最小损失）。虽然以前的工作突出了这种算法的隐式正则化，我们认为显式正则化框架作为一个最小Bregman散度凸可行性问题。利用凸对偶，我们提出了基于随机对偶坐标上升的随机Dykstra式算法。对于非加速坐标下降，我们得到了一个算法，它具有很强的相似性（非平均）随机镜像下降的特定功能，因为它是等效的二次目标，和等价的早期迭代更一般的目标。它的好处是一个明确的收敛定理的最小范数的解决方案。对于加速坐标下降，我们得到了一个新的算法，具有更好的收敛性能比现有的随机梯度法的插值制度。这导致加速版本的感知器通用$\ell_p$规范正则化，我们在实验中说明。
2020-03-30 cs.LG math.OC
Sufficient Dimensionality Reduction with Irrelevant Statistics
在保持分类变量最相关特征的同时找到分类变量的降维表示是复杂数据分析的基础。具体来说，给定两个变量的共生矩阵，人们通常会寻求一个变量的紧凑表示，该表示保留了关于另一个变量的信息。我们最近引入了“充分的降维”[GT-2003]，这是一种提取连续降维特征的方法，其测量（即，期望值）捕获变量之间的最大互信息。然而，这样的测量通常捕获与给定任务无关的信息。众所周知的例子是作为面部识别的特征不相关的照明条件、作为内容分类的特征不相关的书写风格、以及作为语音识别的特征不相关的语调。这种不相关性不能被先验地推导出来，因为它取决于任务的细节，因此在纯粹无监督的情况下本质上是不好定义的。将相关特征与不相关特征分离可以使用包含这种不相关结构的附加辅助数据来实现。这种方法在[CT-2002]中被采用，扩展了信息瓶颈方法，该方法使用聚类来压缩数据。在这里，我们使用这个边信息框架来识别其测量结果对于原始数据集来说是最大信息量的特征，但是在边数据集上携带尽可能少的信息。在统计学术语中，这可以理解为提取对于原始数据集最大程度地足够的统计量，同时对于侧数据集最大程度地辅助。我们制定这种权衡作为一个约束优化问题，并描述其解决方案。然后，我们推导出这个问题的梯度下降算法，这是基于广义迭代尺度方法寻找最大熵分布。该方法在合成数据和真实人脸识别数据集上进行了验证，并优于标准方法，如定向PCA。
2012-10-19 cs.LG stat.ML
Theory of Optimal Learning Rate Schedules and Scaling Laws for a Random Feature Model
Center for Mathematical Sciences and Applications, Harvard University（哈佛大学数学科学中心）
本文研究了随机特征模型中最优学习率调度与缩放定律，通过分析易相和难相，提出优化调度方法并验证其在ResNet和GPT-2任务中的有效性。
2026-05-08 cond-mat.dis-nn cs.LG stat.ML
Factorbird - a Parameter Server Approach to Distributed Matrix Factorization
Technische Universität Berlin（柏林工业大学）；Twitter（推特）；Stanford University（斯坦福大学）
我们提出Factorbird，一个原型的参数服务器的方法因式分解大矩阵与随机梯度下降为基础的算法。我们设计Factorbird以满足以下需求：（a）可扩展到具有数十亿个非零值的高宽矩阵，（b）可扩展到不同类型的模型和损失函数，只要它们可以使用随机梯度下降（SGD）进行优化，以及（c）适应批量和流式场景。Factorbird使用参数服务器，以便扩展到超过单个机器内存的模型，并采用无锁Hogwild！使用特殊的分区方案进行风格学习，以大幅减少冲突更新。我们还讨论了我们的系统设计的其他方面，如如何有效地网格搜索超参数的规模。我们目前的实验Factorbird从Twitter的交互图的子集，由超过38亿非零和约2亿行和列，这是我们所知的最大的矩阵上的因式分解结果已在文献中报道的矩阵。
2014-11-03 cs.LG
A Geometric Perspective on Reward Function Updates in Inverse Reinforcement Learning
Technical University of Darmstadt（达姆施塔特工业大学）；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））；German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））
本文从几何视角研究逆强化学习的奖励更新，提出占用空间视角，设计带费舍尔信息预处理的自然梯度式奖励更新，分析其镜像下降特性并给出收敛性结果。
2026-10-14 cs.AI cs.LG cs.RO
Meta-Learning Bidirectional Update Rules
Google Research（谷歌研究院）
本文介绍了一种新的广义神经网络，其中神经元和突触保持多个状态。我们表明，经典的基于梯度的反向传播神经网络可以被看作是一个特殊的情况下，一个状态是用于激活和另一个梯度的两个状态的网络，更新规则来自链规则。在我们的广义框架中，网络既没有明确的梯度概念，也没有接收梯度。突触和神经元使用由共享的低维“基因组”参数化的双向Hebb式更新规则来更新。我们表明，这样的基因组可以从头开始元学习，使用传统的优化技术，或进化策略，如CMA-ES。所得到的更新规则推广到看不见的任务，并且对于若干标准计算机视觉和合成任务，比基于梯度下降的优化器更快地进行训练。
2021-06-11 cs.LG cs.NE
From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning
UC Berkeley School of Information（伯克利大学信息学院）
本文提出卡尔曼世界模型（KWM），通过递归贝叶斯滤波而非反向传播优化动态系统，实现无梯度的训练与适应，适用于序列建模任务，展示出竞争性能和增强的鲁棒性与持续适应性。
2026-03-13 cs.CL cs.LG
$ϕ$-Balancing for Mixture-of-Experts Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northwestern University（西北大学）
本文提出$ϕ$-平衡框架，通过最小化严格凸、对称且可导的潜在函数，实现专家资源的群体平衡，优于现有启发式方法，在大规模预训练和下游微调中表现更稳定有效。
2026-05-14 cs.LG math.OC stat.ML
Quantifying Depth Sufficiency in Residual Neural Networks: A First-Order Criterion
该研究提出一阶准则量化残差神经网络的深度充分性，证明残差非退化是深度有一阶价值的充要条件，验证激活梯度幅度可作为深度剩余一阶价值的保守诊断指标。
2026-08-18 cs.LG
Variance Reduced Training with Stratified Sampling for Forecasting Models
Cornell University（康奈尔大学）；Amazon Web Services (AWS) AI Labs（亚马逊云科技（AWS）人工智能实验室）；Amazon Research（亚马逊研究院）；University of Pennsylvania（宾夕法尼亚大学）
在大规模的时间序列预测中，人们经常会遇到这样的情况，即时间序列的时间模式随着时间的推移而漂移，在同一数据集中彼此不同。在本文中，我们证明了在这种异质性下，使用常用的随机优化器（例如SGD）训练预测模型可能会在梯度估计上遭受较大的方差，从而导致长时间的训练。我们表明，这个问题可以有效地缓解通过分层，它允许优化器从预先分组的时间序列层采样。为了更好地权衡梯度方差和计算复杂性，我们进一步提出了SCott（随机分层控制变量梯度下降），方差减少SGD风格的优化器，利用分层采样通过控制变量。在理论上，我们提供了光滑非凸目标上SCott的收敛保证。从经验上讲，我们评估SCott和其他基线优化合成和现实世界的时间序列预测问题，并证明SCott收敛速度更快的迭代和挂钟时间。
2021-06-11 cs.LG stat.ML
MESH: Memory-Efficient Sinkhorn Optimization for Mixture-of-Experts Training
该研究针对MoE训练中直接应用内存高效Sinkhorn优化不可靠的问题，提出MESH算法，在降低优化器内存占用的同时保留接近AdamW的性能。
2026-08-06 cs.AI cs.CL cs.LG
Muon in Associative Memory Learning: Training Dynamics and Scaling Laws
University of Science and Technology of China（中国科学技术大学）
本文在联想记忆模型中研究Muon优化器的训练动力学和缩放定律，证明其相比梯度下降在无噪声情况下实现指数加速，在有噪声情况下具有更优的缩放效率。
2026-06-03 cs.LG math.OC stat.ML
