Quantum Stochastic Gradient Descent in its continuous-time limit based on the Wigner formulation of Open Quantum Systems
该研究提出以Wigner表述搭建经典与量子概率算法的桥梁，聚焦推导基于开放量子系统Wigner表述的连续时间极限量子随机梯度下降方案，为量子优化算法研究提供新思路。
2025-10-29 cs.NA math-ph math.MP
Tightening big Ms in integer programming formulations for support vector machines with ramp loss
本文针对带ramp大M参数，提出三种收紧策略，损失的支持向量机的精确求解需求，聚焦整数规划中的通过连续问题序列和拉格朗日在模拟和真实数据集上验证了方法的松弛实现，适用于有效性。
2024-03-12 math.OC
Scheduling a single parallel-batching machine with non-identical job sizes and incompatible job families
研究了工件尺寸不同且工件族不兼容的单机上工件调度问题。来自同一系列的工件具有相同的处理时间，并且可以装入一个批，只要批大小符合机器的能力。目标是最小化总加权完工时间。该问题结合了两个经典的组合问题，即装箱问题和单机排序问题。我们开发了三个新的混合整数线性规划配方，即基于分配的配方，时间索引配方（TIF），集分割配方（SPF）。我们还提出了一个列生成（CG）算法的SPF，这是一个分支和价格（B&P）算法和CG为基础的启发式的基础。我们开发了一种预处理方法，以减少配方的大小。一个启发式框架的基础上邻近搜索也使用TIF开发。SPF和B&P可以在合理的运行时间限制内分别解决具有非单位和单位作业持续时间的实例，最多可以解决80个和150个作业。所提出的方法比文献中的方法性能更好。
2021-02-03 math.OC
Suboptimal control by primal-dual gradient dynamics
Bernoulli Institute for Mathematics, Computer Science and AI（伯努利数学、计算机科学与人工智能研究所）；Jan C. Willems Center for Systems and Control（扬·C·威尔姆斯系统与控制中心）；University of Groningen（格罗宁根大学）
将静态约束凸优化的原始-对偶梯度算法推广到凸最优控制问题，得到偏微分方程的端口-哈密顿系统，并指出可推导次优控制策略。
2026-07-14 math.OC
CSG: A stochastic gradient method for a wide class of optimization problems appearing in a machine learning or data-driven context
最近的一篇文章介绍了连续随机梯度法（CSG），有效解一类随机最优化问题。虽然已知的随机梯度型方法的适用性通常限于预期的风险函数，但是对于CSG不存在这样的限制。这一优势源于设计相关的积分权重的计算，允许最佳使用可用信息，因此更强的收敛性能。然而，用于这些积分权重的公式的性质基本上限制了该方法的实际适用性，其中随机性通过低维和足够简单的概率分布进入的问题。在本文中，我们显着扩大CSG方法的范围，提出了替代方法来计算积分权重。一个完整的收敛性分析，这个新的变体的CSG方法，并证明其效率相比，更经典的随机梯度法通过一些问题类相关的随机最优化和机器学习。
2021-11-14 math.OC
Decentralized Min-Max Optimization with Gradient Tracking
针对去中心化极小极大优化，本文提出DGTA与DSGTA两种梯度跟踪算法，并证明其在NC-SC情形下达到与集中式方法相当的复杂度，实验性能更优。
2025-05-15 math.OC
Bilevel optimization with a multi-objective lower-level problem: Risk-neutral and risk-averse formulations
该研究针对下层多目标的双层优化问题，提出风险中性与风险厌恶的新形式，并开发了对应的确定性及随机梯度算法，填补了该类问题随机逼近研究的空白。
2023-11-06 math.OC
Convex Nonparametric Formulation for Identification of Gradient Flows
本文针对非线性梯度流动力学，提出了一种非参数系统辨识方法。在这些系统中，向量场是势能函数的梯度场。这个关于系统动态的基本事实在所提出的识别方法中起着结构先验知识和约束的作用。虽然识别问题的性质是在函数空间中的估计，我们推导出一个等价的有限维公式，这是一个二次规划形式的凸优化。这使得问题的可扩展性，并提供了利用最近开发的大规模优化求解器的机会。该方法的核心思想是将能量函数表示为两个凸函数的差，并联合估计这些凸函数。基于函数凸性的充要条件，给出了识别问题的形式，并讨论了其解的存在性、唯一性和光滑性。我们还说明了数值方法的一个示范性的例子。
2020-03-27 cs.SY eess.SP eess.SY
Technical Note: PDE-constrained Optimization Formulation for Tumor Growth Model Calibration
我们讨论的解决方案算法，用于校准肿瘤生长模型的成像数据构成的确定性逆问题。正演模型由一个非线性、时变的反应扩散偏微分方程（PDE）组成，未知参数（扩散率和增殖率）为空间场。我们使用一个维度无关的全球化，不精确的牛顿共轭梯度算法来解决偏微分方程约束的优化。所需的梯度和海森行动也提出了使用伴随方法和拉格朗日形式主义。
2023-02-15 cs.CE math.OC
Gradient-based Bi-level Optimization for Deep Learning: A Survey
Mila - Quebec AI Institute（米拉 - 魁北克人工智能研究所）；McGill University（麦吉尔大学）；City University of Hong Kong（香港城市大学）；University of Washington（华盛顿大学）
本文综述了深度学习中基于梯度的双层优化方法，系统梳理其形式化定义、问题构建准则、单任务与多任务表述及四类求解器，并展望数据优化与显式代理更新两个未来方向。
2023-07-09 cs.LG math.OC
On the variational dual formulation of the Nash system and an adaptive convex gradient-flow approach to nonlinear PDEs
University of Coimbra（科英布拉大学）；Carnegie Mellon University（卡内基梅隆大学）
研究基态对二次偏微分方程组对偶变分公式一致性的影响，确定一致性成立条件，证明无噪声纳什系统变分对偶解存在性，提出基于希尔伯特梯度流的方案以生成收敛到原偏微分方程解的新基态序列。
2026-07-23 cs.NA math.AP math.NA
Efficient Stochastic Gradient Descent for Learning with Distributionally Robust Optimization
IBM Research AI（IBM研究院人工智能中心）；Colorado State University-Pueblo（科罗拉多州立大学普韦布洛分校）
分布式鲁棒优化（DRO）问题越来越被视为训练机器学习模型以提高模型泛化能力的可行方法。然而，这些最小-最大公式更难求解。因此，我们提供了一个新的随机梯度下降算法来有效地解决这个DRO制定。我们的方法适用于梯度下降的外部最小化配方和估计的梯度的内部最大化的基础上的样本平均近似。后者在每次迭代中使用数据的子集，逐步增加子集大小以确保收敛。理论结果包括建立最佳的方式增长的支持大小，以平衡随机误差和计算工作量之间的基本权衡。实证结果表明，我们的方法比以前的工作显着的好处，也说明了如何学习DRO可以提高泛化。
2020-11-02 cs.LG math.OC stat.ML
An Ising Machine Formulation for Design Updates in Topology Optimization of Flow Channels
本研究提出一种用于流道拓扑优化中计算设计更新的新颖Ising机表述，旨在最小化耗散能，实验表明该策略能加速优化过程且产生可比设计，但探索性较低可能影响性能，为工程优化整合Ising机提供了高效替代方案并揭示了其局限性。
2024-11-13 cs.CE math.OC
Gradient Sparsification Can Improve Performance of Differentially-Private Convex Machine Learning
The University of Melbourne（墨尔本大学）
我们使用梯度稀疏化来减少差分隐私噪声对私有机器学习模型性能的不利影响。为此，我们采用压缩感知和加性拉普拉斯噪声来评估差分私有梯度。噪声隐私保护梯度用于执行随机梯度下降以训练机器学习模型。通过将最小梯度项设置为零来实现的稀疏化可以降低训练算法的收敛速度。然而，通过稀疏化和压缩感知，可以降低所传递的梯度的维数和加性噪声的幅度。这些效应之间的相互作用决定了梯度稀疏化是否提高了差分私有机器学习模型的性能。我们在论文中对此进行了分析研究。我们证明，对于小的隐私预算，压缩可以提高隐私保护机器学习模型的性能。然而，对于大的隐私预算，压缩不一定提高性能。直观地说，这是因为隐私保护噪声的影响在大隐私预算制度中是最小的，因此梯度稀疏化的改进不能补偿其较慢的收敛。
2020-12-01 cs.CR cs.LG math.OC
Gradient-robustness in optimization subject to stationary Navier-Stokes equations
University of Hamburg（汉堡大学）
本文研究了在处理非线性不可压缩纳维-斯托克斯方程时，不同形式对梯度鲁棒离散化及伴随方程的影响。
2026-03-12 cs.NA math.NA math.OC
QPLEX Decision Processes: Formulation via Nonlinear Markov Chains and Optimization via Policy Gradients
本文提出了一种用于动态控制具有非平稳到达、一般服务分布和服务水平机会约束的排队系统的QPLEX决策过程（QDP）。QDP将QPLEX计算建模方法整合到非线性马尔可夫决策框架中，通过前向和后向迭代方案在更小的状态空间中快速计算确定性梯度，消除了采样方差。进一步通过自然梯度启发的方法和块对角Fisher近似进行优化。通过单站动态定价问题展示了QDP方法，当奖励结构使用等待和终端成本时，可以在几秒钟内找到近最优策略；当奖励结构使用偏离服务水平机会约束的惩罚时，优化景观更加具有挑战性，但我们的方法可以在单个CPU上约一分钟内找到高质量的实用策略。
2026-05-16 math.OC math.PR
Non-Asymptotic Convergence Analysis of Inexact Gradient Methods for Machine Learning Without Strong Convexity
The Chinese University of Hong Kong（香港中文大学）
最近在机器学习和数据拟合中的许多应用需要结构光滑凸优化问题的算法解决方案。虽然梯度下降法是此任务的自然选择，但它需要精确的梯度计算，因此当问题大小很大或梯度难以评估时效率低下。因此，不精确梯度法（IGM），其中一个有效的可计算的近似梯度被用来执行在每次迭代的更新，一直有很大的兴趣。目前，IGM的非渐近线性收敛结果通常是在目标函数是强凸的假设下建立的，这在许多感兴趣的应用中是不满足的;而不需要强凸性假设的线性收敛结果通常本质上是渐近的。在本文中，我们结合了这两种类型的结果，并建立-在标准的假设下，梯度逼近误差线性下降到零-非渐近线性收敛的IGMs时，适用于一类结构凸优化问题。这样的类覆盖目标函数不一定是强凸的设置，并且包括最小二乘和逻辑斯谛回归问题。我们相信，我们的技术将找到进一步的应用在非渐近收敛分析的其他一阶方法。
2013-08-31 cs.LG math.OC
Monte Carlo Gradient Estimation in Machine Learning
DeepMind；University College London（伦敦大学学院）
本文是一个广泛的和可访问的调查的方法，我们在我们的处置蒙特卡罗梯度估计在机器学习和整个统计科学：计算梯度的期望函数的参数定义的分布是集成的问题;的问题的敏感性分析。在机器学习研究中，这种梯度问题是监督学习、无监督学习和强化学习中许多学习问题的核心。我们通常会尝试以允许蒙特卡罗估计的形式重写这种梯度，从而使它们能够轻松有效地使用和分析。我们探讨三种策略-路径，得分函数，和测量值梯度估计-探索他们的历史发展，推导，和基本假设。我们描述他们在其他领域的使用，显示它们是如何相关的，可以结合起来，并扩大其可能的概括。无论蒙特卡罗梯度估计已经推导和部署在过去，重要的进展随之而来。对这一问题的更深刻和更广泛的理解将导致进一步的进展，我们希望支持的正是这些进展。
2020-09-29 cs.LG math.OC stat.ML
Stochastic Approximation Beyond Gradient for Signal Processing and Machine Learning
本文提出基于Lyapunov函数的统一随机近似理论框架，涵盖非渐近与渐近收敛，并用于分析压缩随机梯度、随机EM和强化学习等非随机梯度算法。
2023-07-16 math.OC stat.ML
On Fluid mechanics formulation of Monge-Kantorovich Mass Transfer Problem
Monge-Kantorovich传质问题等价地表示为一个势函数的凸优化问题。根据这一提法的迭代算法确定的解决方案。它是一个梯度流算法，每个迭代求解一个线性椭圆型方程。分析了该方法的适定性和收敛性，并给出了数值结果。
2007-02-08 math.AP math.OC
Convergence of Gradient Methods on Bilinear Zero-Sum Games
School of Computer Science（计算机学院）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
由于深度生成模型和对抗方法的兴起，Min-max公式在ML社区中引起了极大的关注，而理解求解此类公式的梯度算法的动态仍然是一个巨大的挑战。作为第一步，我们限制到双线性零和游戏，并给出了一个系统的分析流行的梯度更新，同时和交替的版本。我们提供了精确的条件，他们的收敛性，并找到最佳的参数设置和收敛速度。特别是，我们的研究结果提供了正式的证据，交替更新收敛“更好”比同步的。
2020-03-03 cs.GT cs.LG math.OC
Stochastic gradient descent with noise of machine learning type. Part I: Discrete time analysis
Texas A&M University（德克萨斯A&M大学）
随机梯度下降算法是现代机器学习中最流行的算法之一。在这些应用中遇到的噪声是不同的随机梯度算法的许多理论分析。在这篇文章中，我们讨论了机器学习问题中遇到的能量景观和随机噪声的一些常见属性，以及它们如何影响基于SGD的优化。特别是，我们表明，在SGD与机器学习噪声的学习率可以选择很小，但一致的积极的所有时间，如果能量景观类似于过度参数化的深度学习问题。如果目标函数满足Lojasiewicz不等式，SGD收敛到全局最小值指数快速，甚至可能有局部极小值的功能，我们建立几乎肯定收敛到全局最小值的指数速度从任何有限的能量初始化。我们在这个结果中所做的假设涉及目标函数是小还是大的行为以及梯度噪声的性质，但是能量景观在目标函数在中间区域取值的域上是相当不受约束的。
2021-09-15 cs.LG math.OC stat.ML
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis（加州大学戴维斯分校）
鲁棒低秩矩阵完备（RMC），或部分观测数据的鲁棒主成分分析，在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加，其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式，它最小化低秩矩阵的核范数（以促进低秩）和稀疏矩阵的l1范数（以促进稀疏性）。本文在低秩矩阵完备化和黎曼优化的基础上，将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的，因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后，我们提出了一个交替流形近端梯度延拓（AManPGC）方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明，所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
A partitioned scheme for adjoint shape sensitivity analysis of fluid-structure interactions involving non-matching meshes
本文提出了一种基于黑箱伴随求解器的流固耦合形状梯度的分区求解方法。特别注意将梯度投影到未变形的构型上。这是由于在这项工作中的大位移流固耦合的混合拉格朗日-欧拉公式。伴随流固耦合问题被划分为已知的伴随流体和结构问题的集合，而不需要昂贵的交叉导数。子伴随问题通过用辅助函数增强目标函数而彼此耦合，独立于底层伴随公式的具体选择。辅助功能是线性力为基础的或位移为基础的泛函，这是现成的单学科的伴随求解器。伴随结构位移、伴随流体位移和流体的基于域的伴随灵敏度是伴随求解器之间要交换的耦合场。一个减少配方也推导出的情况下，基于边界的伴随形状灵敏度分析的流体。数值研究表明，完整的配方计算准确的形状梯度，而不准确的出现在减少梯度，特别是在强流梯度和附近的奇点。然而，降低梯度配方被发现是计算成本和准确性之间的折衷。研究了计算伴随流固耦合问题中的最近单元插值和Mortar方法等映射技术。数值结果表明，迫击炮方法不引入寄生振荡的原始和灵敏度字段沿非匹配接口，不像最近的元素插值。
2019-12-06 cs.NA math.DG math.NA
A Communication-Efficient Distributed Gradient Clipping Algorithm for Training Deep Neural Networks
George Mason University（乔治梅森大学）；Meta Platforms, Inc.（元平台公司）；University of Birmingham（伯明翰大学）；Texas A&M University（得克萨斯农工大学）
在深度神经网络的分布式训练中，人们通常在每台机器上运行随机梯度下降（SGD）或其变体，并定期与其他机器进行通信。然而，SGD在训练一些深度神经网络（例如，RNN，LSTM），因为梯度爆炸问题。梯度裁剪通常用于解决单机环境中的这个问题，但在分布式环境中探索这项技术仍处于起步阶段：梯度裁剪方案是否可以利用多台机器来享受并行加速仍然是个谜。其主要技术难点在于同时处理非凸损失函数、非Lipschitz连续梯度和跳过通信轮。在本文中，我们探索了LSTM在以前的工作中所满足的损失景观的松弛平滑假设，并设计了一种通信高效的梯度裁剪算法。该算法可以在多台机器上运行，其中每台机器采用梯度裁剪方案，并在多个基于梯度的更新步骤之后与其他机器通信。我们的算法被证明有$O\left(\frac{1}{Nε^4}\right)$迭代复杂性和$O(\frac{1}{ε^3})$通信复杂性，寻找一个$ε$ -平稳点在齐次数据设置，其中$N$是机器的数量。这表明，我们的算法享有线性加速比和减少通信轮。我们的证明依赖于新的分析技术估计截断随机变量，我们相信是独立的利益。我们在多个基准数据集和各种场景上的实验表明，我们的算法在实践中确实表现出快速的收敛速度，从而验证了我们的理论。
2022-10-13 cs.DC cs.LG math.OC
SARAH: A Novel Method for Machine Learning Problems Using Stochastic Recursive Gradient
Lehigh University（里海大学）；The University of Oxford（牛津大学）
在本文中，我们提出了一个随机递归梯度算法（SARAH），以及它的实际变体SARAH+，作为一种新的方法来解决有限和极小化问题。不同于香草SGD和其他现代随机方法，如SVRG，S2 GD，SAG和SAGA，SARAH承认一个简单的递归框架来更新随机梯度估计;与SAG/SAGA相比，SARAH不需要存储过去的梯度。在强凸性假设下证明了SARAH算法的线性收敛速度。我们还证明了一个线性收敛速度（在强凸的情况下）的内部循环的SARAH，SVRG不具备的属性。数值实验证明了算法的有效性。
2017-06-03 cs.LG math.OC stat.ML
Mixed Integer Linear Programming for Feature Selection in Support Vector Machine
Université Libre de Bruxelles（布鲁塞尔自由大学）；INRIA Lille Nord-Europe（法国里尔-北欧国家信息与自动化研究所）；Universidad de Cádiz（加的斯大学）
本文主要研究支持向量机（SVM）的特征选择问题。一个MILP制定提出的问题。在该公式中，通过包括预算约束来对构造分离超平面的合适特征的选择进行建模，该预算约束预先设置了分类过程中要使用的特征数量的限制。我们提出了一个精确的和启发式的程序来解决这个配方在一个有效的方式。最后，通过与一些已知数据集进行检查并与经典分类方法进行比较来验证该模型。
2018-08-07 cs.LG math.OC stat.ML
Machine Learning from a Continuous Viewpoint
我们提出了一个机器学习的连续公式，作为变分法和微分-积分方程中的一个问题，本着经典数值分析的精神。我们证明了传统的机器学习模型和算法，如随机特征模型，两层神经网络模型和残差神经网络模型，都可以恢复（以缩放形式）作为不同连续公式的特定离散化。我们还提出了新的模型的例子，如基于流的随机特征模型，和新的算法，如平滑粒子方法和谱方法，自然产生于这种连续的配方。我们讨论了如何推广错误和隐正则化的问题可以在这个框架下进行研究。
2020-09-26 cs.NA math.NA math.OC
Jensen: An Easily-Extensible C++ Toolkit for Production-Level Machine Learning and Convex Optimization
Microsoft Corporation（微软公司）；University of California, Davis（加州大学戴维斯分校）
本文介绍了Jensen，这是一个易于扩展和可扩展的生产级机器学习和凸优化工具包。Jensen实现了凸（或损失）函数、凸优化算法（包括梯度下降、L-BFGS、随机梯度下降、共轭梯度等）的框架，以及一系列机器学习分类器和回归器（逻辑回归、SVM、最小二乘回归等）。该框架使得使用几行代码部署和训练模型成为可能，并且还通过集成新的损失函数和优化算法来扩展和构建模型。
2018-07-17 cs.LG math.OC stat.ML
A Cut-and-solve Algorithm for Virtual Machine Consolidation Problem
虚拟机整合问题（VMCP）试图确定要激活哪些服务器，如何将虚拟机（VM）分配给激活的服务器，以及如何在服务器之间迁移VM，使得激活、分配和迁移成本的总和最小化，服从服务器的资源约束和其他实际约束。在本文中，我们首先提出了一个新的混合整数线性规划（MILP）制定的VMCP。我们表明，与现有的配方相比，所提出的配方是更紧凑的变量或约束的数量较少，这使得它适合于解决大规模的问题。然后，我们开发了一个切割和解决（C&S）算法，树搜索算法，有效地解决VMCP的最优性。建议的C&S算法是基于一种新的松弛的VMCP，提供了一个更强的下限比自然连续松弛的VMCP，使一个较小的搜索树。通过大量的计算实验，我们表明：（i）所提出的公式在求解效率方面明显优于现有公式;（ii）与标准MILP求解器相比，所提出的C&S算法效率更高.
2022-12-23 cs.DS cs.NA math.NA
On Nonconvex Optimization for Machine Learning: Gradients, Stochasticity, and Saddle Points
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软研究院（印度））；Duke University（杜克大学）；University of Washington, Seattle（华盛顿大学西雅图分校）
梯度下降（GD）和随机梯度下降（SGD）是大规模机器学习的主力。虽然经典理论专注于分析这些方法在凸优化问题中的性能，但机器学习中最显着的成功涉及非凸优化，理论与实践之间出现了差距。事实上，GD和SGD的传统分析表明，这两种算法有效地收敛到稳定点。但这些分析没有考虑收敛到鞍点的可能性。最近的理论表明，GD和SGD可以避免鞍点，但在这些分析中对维数的依赖是多项式的。对于现代机器学习来说，维度可以达到数百万，这种依赖性将是灾难性的。我们分析了GD和SGD的扰动版本，并表明它们是真正有效的-它们的维数依赖性只是多对数的。事实上，这些算法收敛到二阶稳定点的时间基本上与收敛到经典的一阶稳定点的时间相同。
2019-09-04 cs.LG math.OC stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们研究分布式优化算法，最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能，重点是通信效率。在这样的设置中，天真地使用经典的随机梯度下降（SGD）或其变体（例如，SVRG）的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中，我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明，新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器，从而显着加快收敛。我们的实验表明，我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
The stochastic multi-gradient algorithm for multi-objective optimization and its application to supervised machine learning
冲突函数的优化在决策制定中至关重要，现实世界的应用经常涉及不确定或未知的数据，导致随机型的多目标最优化（MOO）问题。我们研究了随机多梯度（SMG）方法，作为经典的单目标优化随机梯度法的扩展。在SMG方法的每一次迭代中，通过求解一个二次子问题来计算一个随机多梯度方向，并且证明了即使所有的梯度估计都是无偏的，这个方向也是有偏的。我们建立率计算一个点的帕累托前，类似于已知的随机梯度在凸和强凸的情况下。该分析处理了多梯度中的偏差和限制Pareto点的未知先验权重。SMG方法被构造成用于计算整个Pareto前沿的Pareto前沿型算法。帕累托前沿SMG算法能够鲁棒地确定帕累托前沿的合成测试问题的数量。人们可以将其应用于监督机器学习产生的任何随机MOO问题，我们报告了逻辑二进制分类的结果，其中多个目标对应于不同来源的数据组。
2021-02-05 cs.NA math.NA math.OC
Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning
本研究提出一种基于前向模式梯度与权重扰动的脉冲神经网络训练方法，替代反向传播，在回归任务（含偏微分方程求解）中达到竞争精度，适用于神经形态硬件。
2024-11-11 cs.NA cs.NE math.NA
Gradient tracking and variance reduction for decentralized optimization and machine learning
解决有限和最小化问题的分散式方法在许多信号处理和机器学习任务中是重要的，其中数据分布在节点网络上，并且由于隐私和/或资源约束而不允许原始数据共享。在这篇文章中，我们回顾了分散随机一阶方法，并提供了一个统一的算法框架，结合方差减少与梯度跟踪，以实现鲁棒性能和快速收敛。当目标函数是光滑的和强凸的时，我们给出了相应方法的明确的理论保证，并通过数值实验证明了它们对非凸问题的适用性。在整篇文章中，我们通过对感兴趣的方法进行适当的权衡和比较，并通过突出机器学习模型的分散训练应用，直观地说明了主要的技术思想。
2020-02-13 cs.DC cs.LG cs.MA
