Distributed Mini-Batch SDCA
Lehigh University（理海大学）；University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一种改进的分析小批量随机双坐标上升正则化的经验损失最小化（即SVM和SVM型目标）。我们的分析允许灵活的采样方案，包括数据分布在机器上的情况，并结合了对损失平滑度和/或数据传播（通过频谱范数测量）的依赖。
2015-07-29 cs.LG math.OC
Using GRASP Approach and Path Relinking to Minimize Total Number of Tardy Jobs on a Single Batch Processing Machine
本文研究了使延误工件总数最小化的单台批处理机排序问题。只要不违反机器的能力，机器可以同时处理多个工件作为一批。批处理时间等于批中这些作业中最大的处理时间。在批处理机上调度工件时，需要做出两个决策，即将工件分组形成批和在机器上对批排序。这两个决定是相互依赖的，因为批次的组成影响批次的处理时间。所研究的问题是NP难问题。因此，求解数学公式以找到最优解是计算密集型的。提出了一种贪婪随机自适应搜索过程（GRASP）来解决所研究的问题与任意的工件大小，任意的加工时间和任意的交货期的假设。提出了一种新的GRASP方法的构造阶段，以提高解决方案的质量。此外，提出了一个路径重连过程，以有效地解决大规模的问题。所提出的GRASP方法的性能进行评估，通过比较其结果的商业求解器（这是用来解决的数学模型）和建设启发式。实验研究表明，从GRASP方法得到的解决方案是优于商业求解器和建设启发式。
2019-02-15 math.OC
Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University（明治大学）
本文理论分析四种批量与学习率调度器，证明同时增大批量和学习率（含预热衰减）可稳定最小化全梯度范数并加速小批量 SGD，数值实验验证了结论。
2025-02-14 cs.LG math.OC
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题，其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构，这可能不容易计算其邻近映射。为了解决这些问题，我们提出了一个小批量随机Nesterov平滑（MSNS）方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明，所提出的MSNS方法的支持向量机（SVM）模型的效率。
2021-09-11 math.OC
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略，通过观测全梯度范数衰减调整参数，以最小化SFO复杂度并加速SGD收敛，实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
Mini-Batch Stochastic Halpern Algorithm for Nonexpansive Fixed Point Problems
Meiji University（明治大学）
本文提出小批量随机Halpern算法以解决大规模固定点问题中映射计算困难的问题，证明了算法在均方意义上收敛于初始点最近的固定点，并分析了步长设置对收敛速度的影响。
2026-07-14 math.OC
Mini-Batch Stochastic Krasnosel'ski\uı-Mann Algorithm for Nonexpansive Fixed Point Problems
Meiji University（明治大学）
本文提出小批量随机Krasnosel'ski\uı-Mann算法，用于解决大规模非扩张映射固定点问题，通过定义可计算的小批量随机映射作为无偏估计，实现算法收敛性和收敛速率分析。
2026-04-08 math.OC
Mini-Batch Stochastic Conjugate Gradient Algorithms with Minimal Variance
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang Gongshang University Hangzhou College of Commerce（浙江工商大学杭州商学院）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种无偏且最小化方差的随机梯度估计，并将其应用于SCGA和CGVR两种随机共轭梯度算法，证明了线性收敛速率，实验表明新算法在岭回归中收敛更快。
2026-10-27 math.OC
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Mini-batch descent in semiflows
本文针对半流场景，提出连续版小批量梯度下降方法与随机最小化运动格式，证明二者可逼近原始半流轨迹，通过多场景应用与数值算例验证了方法的有效性与通用性。
2025-01-23 cs.NA math.NA math.OC
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
Stochastic gradient algorithms from ODE splitting perspective
Center for Computational and Data-Intensive Science and Engineering（计算与数据密集型科学与工程中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
我们对随机最优化提出了一种不同的观点，这种观点可以追溯到常微分方程近似解的分裂方案。在这项工作中，我们提供了一个随机梯度下降方法和一阶分裂格式之间的联系。我们考虑了受机器学习应用启发的分裂的特殊情况，得到了一个新的全局分裂误差的上界，证明了Kaczmarz方法是线性最小二乘问题单位批SGD分裂方案的极限情况.我们通过系统的实证研究来支持我们的研究结果，这些研究表明，局部问题的更准确的解决方案会导致步长鲁棒性，并在softmax回归问题上提供更好的时间收敛和迭代。
2020-04-19 cs.LG math.OC stat.ML
Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions
McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Google Research（谷歌研究院）
在最小二乘问题上，当样本个数和维数都很大时，我们分析了大批量带动量随机梯度下降（SGD+M）的动力学。在这种情况下，我们表明，SGD+M的动态收敛到一个确定性的离散Volterra方程的维数增加，我们分析。我们确定了一个稳定的测量，隐式条件反射比（ICR），它调节SGD+M的能力，以加速算法。当批量大小超过该ICR时，SGD+M以$\mathcal{O}(1/\sqrtκ)$的速率线性收敛，匹配最佳的全批量动量（特别是执行和全批量一样好，但具有一小部分大小）。相比之下，对于小于ICR的批量，SGD+M的比例类似于单批SGD比例的倍数。我们给出了明确的选择学习率和动量参数的Hessian谱，实现这一性能。
2022-06-02 cs.LG math.OC math.PR
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University（明治大学）
实践结果表明，使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数，使损失函数最小化。我们首先展示了理论证据，动量方法（动量）和自适应矩估计（亚当）在这个意义上表现良好，理论性能指标的上限是小的恒定学习率，超参数接近一个，和一个大批量。接下来，我们表明，存在一个批量大小称为临界批量大小最小化随机一阶预言机（SFO）的复杂性，这是随机梯度计算成本，和SFO复杂性增加，一旦批量大小超过临界批量大小。最后，我们提供了支持我们的理论结果的数值结果。也就是说，数值结果表明，亚当使用一个小的恒定的学习率，超参数接近1，和临界批量大小最小化SFO复杂性比动量和随机梯度下降（SGD）具有更快的收敛。
2022-08-21 cs.LG math.OC
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University（明治大学）
数值评估明确表明，对于深度学习优化器，如随机梯度下降、动量和自适应方法，批量大小每增加一倍，训练深度神经网络所需的步骤数就减半，并且在临界批量大小之外存在收益递减的区域。在本文中，我们确定实际的临界批量大小通过使用全局极小的随机一阶预言（SFO）的复杂性的优化。为了证明实际临界批量的存在性，我们设定了SFO复杂度的上、下界，并证明了在极小化上、下界的意义下存在临界批量.该证明意味着，如果SFO复杂性符合下限和上限，则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件，以适应下限和上限，并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Mini-batch Stochastic Approximation Methods for Nonconvex Stochastic Composite Optimization
考虑一类约束随机组合最优化问题，其目标函数由一个可微（可能非凸）分量和一个不可微（但凸）分量之和给出.为了解决这些问题，我们提出了一种随机随机投影梯度（RSPG）算法，在该算法中，适当的小批量的样本被采取在每次迭代取决于随机样本的总预算允许。RSPG算法还采用通用距离函数以允许利用可行域的几何形状。该算法的复杂性建立在一个统一的设置，这表明凸随机规划的算法的近最优的复杂性。一个后优化阶段也提出了显着减少的方差的解决方案返回的算法。此外，在RSPG算法的基础上，还讨论了一种仅利用随机零阶信息的无随机梯度算法。文中还提供了一些初步的数值结果。
2013-09-05 math.OC
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University（西北大学）
小批量随机梯度下降（SGD）算法广泛用于训练机器学习模型，特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态，通过关注梯度的方差，可以轻松扩展到更深的线性网络，这是第一次研究这种性质。在线性回归的情况下，我们表明，在每次迭代的梯度范数是一个减函数的小批量大小$b$，因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络，我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉，即较小的批量产生较低的损失函数值，这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系，这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
A Random Block-Coordinate Douglas-Rachford Splitting Method with Low Computational Complexity for Binary Logistic Regression
Universidad Técnica Federico Santa María（费德里科·圣玛丽亚理工大学）；Université Paris Est（巴黎东大学）；ESIEE Paris（巴黎高等电子工程师学院）；UPEM（巴黎东马恩拉瓦莱大学）；INRIA Saclay（法国国家信息与自动化研究所萨克雷中心）；CentraleSupélec（中央理工-高等电力学院）；University Paris-Saclay（巴黎-萨克雷大学）
在本文中，我们提出了一个新的优化算法稀疏逻辑斯谛回归的基础上随机版本的道格拉斯-Rachford分裂方法。我们的算法通过在每次迭代中随机选择一小批数据来扫描训练集，并且它允许我们以块坐标的方式更新变量。我们的方法利用了逻辑损失的邻近算子，该算子用广义Lambert W函数表示。在标准数据集上进行的实验证明了我们的方法w.r.t.随机梯度类方法。
2017-12-25 cs.AI math.OC
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
机器学习，特别是深度神经网络，在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一，但由于梯度近似中的大噪声，它显示出缓慢的收敛速度。在本文中，我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题，该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度，并比较了Minibatch SGD和该算法的收敛性能。实验结果表明，我们的批量选择方案效果良好，更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
A view of mini-batch SGD via generating functions: conditions of convergence, phase transitions, benefit from negative momenta
Technology Innovation Institute（技术创新研究院）；CMAP, Ecole Polytechnique（巴黎综合理工学院CMAP）；Skoltech（斯科尔科沃科技学院）；Yandex Research（Yandex研究院）
带动量的小批量SGD是学习大型预测模型的基本算法。在本文中，我们开发了一个新的分析框架，分析噪声平均性能的小批量SGD线性模型在恒定的学习率，动量和批量大小。我们的主要思想是考虑一个特殊的家庭的“频谱可表达”近似模型参数的二阶矩的动态。这允许获得损失值序列的生成函数的显式表达式。通过对生成函数的分析，我们发现：1）SGD动力学根据问题的谱分布表现出几种收敛和发散区域; 2）在幂律谱分布的情况下，这些收敛区域具有显式的稳定性条件和显式的损失渐近性; 3）在负动量下可以达到最优收敛速度.我们验证了我们的理论预测与MNIST，CIFAR 10和合成问题的广泛实验，并找到了一个很好的定量协议。
2023-03-09 cs.LG math.OC stat.ML
Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）；Meta；Tencent（腾讯）
Adam是训练深度神经网络的最有影响力的自适应随机算法之一，通过几个简单的反例指出，即使在简单的凸设置中，Adam也是发散的。为了提高Adam型算法的收敛性，人们进行了许多尝试，如降低自适应学习率、采用大批量、引入时间去相关技术、寻找类似的代理\textit{etc.}等。与现有方法相比，我们引入了一个易于检验的充分条件，该条件仅依赖于基学习率和历史二阶矩的组合参数，从而保证了广义Adam算法求解大规模非凸随机优化问题的全局收敛性.这个观察，加上这个充分条件，对亚当的分歧给出了更深层次的解释。另一方面，在实践中，mini-Adam和distributed-Adam在没有任何理论保证的情况下被广泛使用。进一步分析了分布式系统中批量大小和节点数对Adam收敛性的影响，从理论上证明了采用较大的小批量大小或较大的节点数可以线性加速小批量和分布式Adam的收敛，最后，我们应用通用的亚当和迷你-batch Adam的充分条件来解决反例，并在各种真实世界的数据集上训练几个神经网络。实验结果与理论分析完全一致。
2022-08-08 cs.DC cs.LG math.OC
Optimal mini-batch and step sizes for SAGA
LTCI, Télécom ParisTech, Université Paris-Saclay（LTCI，巴黎高等电信学院，巴黎萨克雷大学）；IMAG, Univ Montpellier, CNRS（IMAG，蒙彼利埃大学，法国国家科学研究中心）
最近，它已被证明的步长的家庭方差约化梯度法称为JacSketch方法依赖于预期的平滑常数。特别地，如果可以先验地计算该期望平滑度常数，则可以安全地设置大得多的步长，这将导致快得多的收敛速度。我们填补了这一空白，并提供了简单的封闭形式表达式的预期平滑常数和仔细的数值实验验证这些界限。使用这些界限，因为SAGA算法是这个JacSketch家庭的一部分，我们建议一个新的标准做法，为SAGA设置的步长和小批量大小是有竞争力的数值网格搜索。此外，我们现在可以证明，SAGA算法的总复杂度在小批量大小中线性下降到预定义的值：最佳小批量大小。这是一个罕见的结果，在随机方差减少文献中，只有以前的喀秋莎算法。最后，我们猜想，这是许多其他的随机方差减少的方法的情况下，我们的边界和分析的预期平滑常数是关键，以延长这些结果。
2019-09-18 cs.LG math.OC stat.ML
The Effect of Mini-Batch Noise on the Implicit Bias of Adam
Princeton University（普林斯顿大学）
本文研究了小批量噪声如何影响Adam优化器中记忆的隐式偏差，发现大批次时高β₂会降低泛化能力，而小批次时需调整β₁和β₂以提升验证精度。
2026-05-07 cs.AI cs.LG math.OC
Dynamic Real-time Optimization of Batch Processes using Pontryagin's Minimum Principle and Set-membership Adaptation
研究了参数模型失配下间歇过程基于模型的时间优化操作的动态实时优化问题。为了解决模型不匹配的问题，滚动时域策略通常伴随着频繁的重新优化。在这项研究中解决的主要问题是高的计算负担，通常需要这样的计划。我们提出了一种方法，使用参数化的最优条件的自适应预测控制方式。模型预测中的不确定性被显式地使用投射到最优性条件中的可达集来处理。模型参数的自适应在线使用集员估计。一类批式膜分离过程是在所提出的应用程序的范围内，其中所提出的方法的好处进行了概述。
2019-07-06 cs.SY eess.SY math.OC
Second-order Information Promotes Mini-Batch Robustness in Variance-Reduced Gradients
University of Michigan（密歇根大学）
本文提出结合部分二阶信息的方差缩减随机牛顿算法Mb-SVRN，证明当数据量足够大时，该方法能在很宽的小批量范围内实现独立于批量大小的快速线性收敛，显著提升了可扩展性与鲁棒性。
2024-04-23 cs.LG math.OC stat.ML
Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
Princeton University（普林斯顿大学）；MIT（麻省理工学院）
该研究重新审视了SGD的稳定性边缘，揭示了小批量SGD在边缘随机稳定性下的训练机制及批量尖锐度的稳定性特性。
2025-12-29 cs.LG math.OC stat.ML
On Parallel and Batch-Cutting Strategies for Norm-Minimization-Based Convex Vector Optimization
King Fahd University of Petroleum & Minerals（法赫德国王石油与矿产大学）；Interdisciplinary Research Center for Smart Mobility and Logistics, King Fahd University of Petroleum & Minerals（法赫德国王石油与矿产大学智能交通与物流交叉研究中心）
针对凸向量优化的范数最小化外包逼近算法，提出并行化子问题评估和批量切割策略，在保持收敛率的同时减少迭代次数和墙钟时间。
2026-06-04 cs.NA math.NA math.OC
A variable metric mini-batch proximal stochastic recursive gradient algorithm with diagonal Barzilai-Borwein stepsize
Hebei University of Technology（河北工业大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
具有不同尺度选择的变尺度近似梯度法在组合优化中得到了广泛的应用。将Barzilai-Borwein（BB）方法与度量的对角选择策略相结合，对角BB步长可以保持标量BB步长的低每步计算成本，并且更好地捕获问题的局部几何形状。本文提出了一种变度量的小批量近似随机递归梯度算法VM-mSRGBB，该算法使用一种新的对角BB步长来更新度量。对强凸函数、非强凸函数和凸函数分别证明了VM-mSRGBB的线性收敛.在标准数据集上的数值实验表明，VM-mSRGBB优于或可与某些具有最佳调整标量步长或BB步长的方差缩减随机梯度法相媲美.此外，VM-mSRGBB的性能优于一些先进的小批量邻近随机梯度法。
2020-10-02 cs.LG cs.NA math.NA
Optimal Distributed Online Prediction using Mini-Batches
Microsoft Research（微软研究院）
在线预测方法通常呈现为在单个处理器上运行的串行算法。然而，在网络规模的预测问题的时代，它是越来越常见的情况下，遇到一个单一的处理器无法跟上输入到达的高速率。在这项工作中，我们提出了\emph{distributed mini-batch}算法，一种将许多串行基于梯度的在线预测算法转换为分布式算法的方法。我们证明了这种方法是渐近最优光滑凸损失函数和随机输入的遗憾界。此外，我们的分析明确考虑到在分布式环境中的节点之间的通信延迟。我们展示了如何使用我们的方法来解决密切相关的分布式随机优化问题，实现了多个处理器的渐近线性加速。最后，我们展示了我们的方法的优点在网络规模的在线预测问题。
2012-01-31 cs.DC cs.LG math.OC
An Asynchronous Mini-Batch Algorithm for Regularized Stochastic Optimization
Department of Automatic Control, School of Electrical Engineering and ACCESS Linnaeus Center, Royal Institute of Technology (KTH)（皇家理工学院电气工程学院自动控制系及ACCESS林奈中心）
本文提出一种异步小批量算法，用于解决具有平滑损失函数的正则化随机优化问题，通过合理选择步长值，实现O(1/√T)和O(1/T)的收敛速度，理论结果在分布式计算环境中得到验证。
2015-05-18 cs.SY eess.SY math.OC
