Adaptation to Inexactness for some Gradient-type Methods
我们引入了一个概念的不精确模型的凸目标函数,它允许在功能和其梯度的错误。针对这种情况,本文提出了一种自适应调整模型参数的梯度法,并得到了该方法的收敛速度的估计,该估计在存在误差的充分光滑问题上是最优的.考虑一类特殊的凸非光滑最优化问题。为了将所提出的技术应用于此类,应引入人为误差。我们表明,该方法可以修改为这样的问题,以保证收敛的函数与一个接近最优的速度上的类凸非光滑最优化问题。对满足Polyak-Lojasievicz梯度优势条件的梯度,放松了利普希茨条件,提出了一种目标函数的自适应梯度法.这里,目标函数及其梯度可能不精确地给出。在该方法的操作期间,关于梯度的Lipschitz常数以及对应于梯度误差和目标函数的值来执行参数的自适应选择。该方法的线性收敛是合理的,直到与误差相关的值。
2021-10-11 math.OC
Adaptive Gradient Methods for Some Classes of Non-Smooth Optimization Problems
针对非光滑凸优化问题,提出了几种自适应算法。第一种是基于一种特殊的人为的不精确性。即引入优化目标泛函的不精确($ δ, Δ, L$)模型的概念,提出了一些自适应不精确参数的梯度型方法。对变分不等式和鞍点问题引入了一个类似的不精确模型的概念。对凸规划问题在一般假设下提出了一种类似的切换次梯度格式。
2020-08-23 math.OC
Sequential Subspace Optimization for Quasar-Convex Optimization Problems with Inexact Gradient
对于凸光滑极小化问题,加速梯度一阶方法具有最优的复杂性估计。在许多实际情况下,使用不精确的梯度信息是有意义的。然而,这可能导致相应的不精确性积累在理论估计的收敛速率。本文对序列子空间最优化方法(SESOP)进行了一些改进,用于求解梯度不精确的类凸函数极小化问题。理论结果表明,没有积累的梯度不精确。的SESOP方法的建议版本和它的比较与已知的相似三角形方法与不精确的梯度的数值实现进行。
2021-08-13 math.OC
On Some Versions of Subspace Optimization Methods with Inexact Gradient Information
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Research Center for Artificial Intelligence, Innopolis University(因诺波利斯大学人工智能研究中心);National Research University Higher School of Economics(国立高等经济大学);V. Vernadsky Crimean Federal University(V.维尔纳茨基克里米亚联邦大学)
针对带不精确梯度的凸优化问题,提出基于子空间优化的一阶方法改进,研究其在不同不精确条件下的收敛性及对拟凸函数的推广,拓展了加速梯度方法的适用场景。
2026-08-13 math.OC
Empirical and computer-aided robustness analysis of long-step and accelerated methods in smooth convex optimization
Mathematical Engineering Department, UCLouvain(UCLouvain数学工程系)
本文通过性能估计方法从理论与实验两方面分析一阶优化方法在梯度相对不精确时的鲁棒性,发现长步长与加速方法理论上不鲁棒,提出缩短因子改进保证,并验证加速方法实际鲁棒性优于预期。
2025-06-30 cs.LG math.OC
Gradient Method With Inexact Oracle for Composite Non-Convex Optimization
本文对具有简单约束和不精确预言的复合非凸极小化问题提出了一种新的一阶方法。该目标函数被给定为“硬”部分(可能为非凸部分)和“简单”部分的和。非正式地说,甲骨文的不精确性意味着,对于“困难”部分,在任何一点,我们都可以近似地计算函数的值,并构造一个二次函数,它近似地从上面限制了这个函数。我们给出了几个这样的不精确的例子:光滑的非凸函数与不精确的Hölder连续梯度,辅助一致凹最大化问题,这只能近似解决的功能。对于引入的一类问题,我们提出了一种梯度型方法,它允许使用不同的邻近设置,以适应几何的可行集,自适应地选择控制的预言错误,允许不精确的邻近映射。我们给出了我们的方法的收敛速度的广义梯度映射的范数,并表明,在不精确的Hölder连续梯度的情况下,我们的方法是通用的Hölder参数的问题。最后,在一个特殊的情形下,证明了广义梯度映射的范数在一点处的小值意味着局部极小值的一个必要条件在该点处近似成立.
2017-03-27 math.OC
Stopping Rules for Gradient Methods for Non-Convex Problems with Additive Noise in Gradient
我们研究的梯度法的假设下,一个可加的不精确梯度,一般来说,非凸问题。目标函数的非凸性以及在迭代时使用不精确的指定梯度会导致各种问题。例如,梯度法的轨迹可以离起始点足够远。另一方面,在存在噪声的情况下对梯度法的轨迹的无界去除可以导致从期望的精确解去除该方法的轨迹。在梯度不精确的假设和梯度占优的条件下,得到了研究梯度法轨迹行为的结果。这是众所周知的,这样的条件是有效的许多重要的非凸问题。此外,它导致良好的复杂性保证的梯度法。提出了一种梯度法的提前终止准则。首先,它保证在函数方面实现方法的出口点的可接受的质量。其次,停止规则确保该点与所选初始位置的距离相当适中。除了具有恒定步长的梯度法之外,还详细研究了具有自适应步长的其变体,这使得在梯度的Lipschitz常数未知的情况下应用所开发的技术成为可能。一些计算实验已经进行了研究梯度法,证明了建议的停止规则的有效性。
2022-12-11 math.OC
Inexact Newton-CG Algorithms With Complexity Guarantees
我们考虑一个最近开发的牛顿CG算法的非凸问题\citep{royer2018newton},其中不精确的估计的梯度和Hessian信息用于各种步骤的变种。在一定条件下的不精确措施,我们推导出迭代复杂性界实现$ε$ -近似二阶最优匹配最佳已知的下界。我们对梯度的不精确条件是自适应的,允许在具有大梯度的区域中的粗略精度。我们描述了我们的方法的两个变体,其中一个是自适应地选择沿计算搜索方向的步长,另一个是预定义的步长。为了获得二阶最优性,我们的算法将在某些步骤上使用负曲率方向。这些方向可以使用某种随机算法以高概率获得。从这个意义上说,我们所有的结果在算法的运行中具有很高的概率。我们在几个机器学习模型上根据经验评估了我们提出的算法的性能。
2022-04-11 math.OC
Multi-Objective Trust-Region Filter Method for Nonlinear Constraints using Inexact Gradients
本文提出一种结合无导数信赖域与过滤方法的多目标优化算法,利用完全线性模型处理不精确梯度,并证明在标准假设下迭代收敛到准稳定点或KKT点。
2023-04-19 math.OC
A Proximal Gradient Framework for Composite Multiobjective Optimization on Riemannian Manifolds
Faculty of Economics and Business Administration, Tokyo Metropolitan University(东京都立大学经济商学院)
本文提出了一种用于流形上复合优化问题的Riemannian多目标近似梯度方法(RMPGM),直接处理向量值目标并保证全局收敛到Pareto stationary点,具有O(1/k)收敛速度。进一步开发了两种变体以提高实用性和性能:允许在子问题求解中控制近似程度的不精确RMPGM,以及自适应调整惩罚参数的信赖域RMPGM,达到O(ε^{-2})迭代复杂度。数值实验表明,所提方法在性能上优于基于次梯度的基线方法。
2026-05-16 math.OC
Decentralized Constraint-Coupled Optimization with Inexact Oracle
针对带全局耦合等式约束的去中心化优化问题,提出采用可控不精确度非精确对偶梯度的iDDGT方法,计算效率更优且可在无约束矩阵条件的有向图上线性收敛,适用范围更广。
2023-10-05 cs.SY eess.SY math.OC
Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods
针对现有子采样牛顿法需精确梯度与强凸性限制,提出带自适应梯度采样的海森平均方法,推导多场景收敛速率,提出Dan方法并验证其在CIFAR100分类等任务的SOTA性能。
2024-08-14 cs.NA math.NA math.OC
Stochastic Second-order Methods for Non-convex Optimization with Inexact Hessian and Gradient
The University of Sydney(悉尼大学);University of California, Davis(加州大学戴维斯分校)
置信域和三次正则化方法在小规模非凸优化中表现出良好的性能,显示出逃离鞍点的能力。这些方法的每次迭代都涉及梯度、Hessian和函数值的计算,以获得搜索方向并调整半径或三次正则化参数。然而,在训练深度网络等大规模问题中,精确计算这些量过于昂贵。本文研究了一类随机置信域和三次正则化方法在梯度、Hessian和函数值计算不精确的情况下,证明了实现$ε$ -近似二阶最优性的迭代复杂度与以前的工作在梯度和函数值计算精确的情况下是相同量级的.有限和极小化问题中不精确性的温和条件可以通过随机抽样得到。我们表明,与以前的二阶方法相比,该算法在训练卷积神经网络方面表现良好。
2018-09-26 cs.LG math.OC stat.ML
A stochastic gradient method for trilevel optimization
University of Cincinnati(辛辛那提大学);Lehigh University(理海大学)
针对无约束三层优化,本文提出首个随机梯度下降方法,建立涵盖多层不精确解及梯度、Hessian、Jacobian和三阶张量噪声的收敛理论,并通过合成与超参数对抗调优实验验证其有效性。
2025-05-11 cs.LG math.OC stat.ML
An Inexact Variable Metric Proximal Gradient-subgradient Algorithm for a Class of Fractional Optimization Problems
Sun Yat-sen University(中山大学);Guangzhou University(广州大学);Shenzhen University(深圳大学)
研究一类分数优化问题,提出不精确变度量近端梯度 - 次梯度算法(iVPGSA),它能灵活近似求解子问题,适应性强且效率高。基于KL性质证明其全局收敛并刻画速率,数值实验显示该算法优于现有算法。
2026-10-22 math.OC
Inexact Bregman Proximal Gradient Method and its Inertial Variant with Absolute and Partial Relative Stopping Criteria
针对BPGM子问题精确求解不现实的问题,本文开发带绝对/部分相对停止准则的不精确版本iBPGM及惯性变体v-iBPGM,建立收敛速率并通过数值实验验证其在不同不精确性设置下的收敛行为。
2025-04-15 math.OC
Global Convergence and Error Propagation in Neural Gradient Flows: A Riemannian Optimization Framework
University of Maryland, College Park(马里兰大学帕克分校);University of California-Riverside(加州大学河滨分校)
本文在最小化移动方案框架下,通过将神经网络的优化问题重新表述为希尔伯特空间中的增量集上的最小化,并利用黎曼几何理论,证明了在特定条件下连续和离散的黎曼梯度流线性收敛到子问题唯一极小点,且非精确迭代全局收敛到全局最优的邻域。
2026-05-26 cs.NA math.NA math.OC
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
自然策略梯度(NPG)方法是当代强化学习中使用最广泛的策略优化算法之一。这类方法通常与熵正则化(一种鼓励探索的算法方案)结合使用,并且与软策略迭代和信赖域策略优化密切相关。尽管取得了经验上的成功,NPG方法的理论基础仍然有限,即使是表格设置。本文发展了softmax参数化下熵正则化NPG方法的$\textit{non-asymptotic}$收敛保证,重点是折扣马尔可夫决策过程(MDP)。假设访问精确的政策评估,我们证明了算法收敛线性-甚至二次一旦它进入一个局部区域周围的最优策略-计算最优值函数的正则化MDP。此外,该算法是可证明的稳定相对于政策评估的不精确性。我们的收敛结果适应了广泛的学习率,并揭示了熵正则化在实现快速收敛中的作用。
2021-04-08 cs.IT cs.LG math.IT
Accelerated gradient methods with absolute and relative noise in the gradient
本文研究光滑凸优化问题在目标梯度信息不精确情况下的加速一阶方法。梯度中的噪声被认为是具有两种可能性的加性:由常数限制的绝对噪声,以及与梯度的范数成比例的相对噪声。我们研究了凸和强凸条件下的误差积累,与以往大多数工作的主要区别是可行集可以是无界的。后者的关键是证明算法轨迹上的一个界。我们也给出了一个停止准则的算法,并考虑扩展到随机最优化和复合非光滑问题的情况。
2023-01-07 math.OC
Adaptive Gradient-type Methods for Convex Optimization Problems with Relative Accuracy and Sharp Minimum
本文研究了凸正齐次最优化问题的梯度型方法。研究了求解正齐次最优化问题的具有相对精度的加速泛梯度型方法的一个模拟。第二种方法与B. T.波亚克步长。对一类非光滑问题,给出了自适应步长调整的这类方法的线性收敛速率的结果。一些推广到一类特殊的非凸非光滑问题也被考虑。
2021-12-12 math.OC
Inexact gradient projection method with relative error tolerance
本文提出了一种具有可行非精确投影的梯度投影法。使用相对误差公差执行不精确投影。给出了该方法在常数步长和Armijo步长下的渐近收敛分析和迭代复杂度界。数值结果的报告说明了潜在的优势,考虑不精确的预测,而不是确切的,在一些中等规模的情况下,最小二乘问题的spectrohedron。
2021-01-27 math.OC
Dual Space Preconditioning for Gradient Descent
近年来,在分析凸优化的Bregman梯度法时,引入了相对光滑性和相对强凸性条件。我们引入了梯度下降的广义左预处理方法,并证明了通过应用对偶空间中的相对光滑性可以保证其在本质光滑凸目标函数上的收敛性。我们的相对光滑性假设介于所设计的预条件子和目标的凸共轭之间,推广了典型的Lipschitz梯度假设。在对偶相对强凸性下,我们得到了与Bregman梯度法不同的线性收敛且具有水平平移不变的广义条件数.因此,在原则上,我们的方法是能够改善条件的梯度下降的问题与非Lipschitz梯度或非强凸结构。我们证明了我们的p-范数回归和指数罚函数最小化的方法。
2020-12-08 math.OC
Convergence rates analysis of Interior Bregman Gradient Method for Vector Optimization Problems
近年来,利用Bregman距离,Lipschitz梯度连续性和强凸性被提升,并被相对光滑性和相对强凸性所取代。在较弱的假设下,证明了具有Bregman正则性的梯度法对单目标最优化问题线性收敛.本文将相对光滑性和相对强凸性推广到向量值函数,并分析了求解向量最优化问题的内点Bregman梯度法的收敛性.具体而言,整体收敛速度分别为凸VOP和相对强凸VOP的$\mathcal{O}(\frac{1}{k})$和$\mathcal{O}(r^{k})(0<r<1)$。此外,所提出的方法线性收敛的VOP,满足向量Bregman-PL不等式。
2022-06-21 math.OC
Gradient Methods for Stochastic Optimization in Relative Scale
本文提出相对不精确随机次梯度概念及相应一阶方法,将Power/Lanczos算法作为子程序,仅用矩阵-向量乘积即可在相对精度保证下求解大规模半定规划问题。
2023-05-28 math.OC
A Two-Dimensional Extremizer for Relatively Inexact Gradient Descent
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
本文构造了一个二维显式极值函数,证明了相对不精确梯度下降一步的最坏情况常数猜想,并指出二维在中间区域是必要的。
2026-10-02 math.OC
Lower and upper bounds of the convergence rate of gradient methods with composite noise in gradient
Moscow Independent Research Institute of Artificial Intelligence(莫斯科独立人工智能研究院);Innopolis University(因诺波利斯大学);Institute for Information Transmission Problems(信息传输问题研究所)
本文研究了在梯度优化中使用复合噪声的一阶方法的收敛性,提出了一种最优累积绝对误差的算法,并探讨了重启技术、正则化变换和停止准则对不同函数类的影响。
2026-03-12 math.OC
On Solving Minimization and Min-Max Problems by First-Order Methods with Relative Error in Gradients
Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院);Yandex & Institute for System Programming of the Russian Academy of Sciences (ISP RAS)(Yandex 与俄罗斯科学院系统编程研究所);Innopolis University(因诺波利斯大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Weierstrass Institute for Applied Analysis and Stochastics (WIAS)(魏尔斯特拉斯应用分析与随机过程研究所);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院);Steklov Mathematical Institute of the Russian Academy of Sciences(俄罗斯科学院斯捷克洛夫数学研究所);Institute for Information Transmission Problems(信息传输问题研究所)
本文提出了一种在梯度相对误差下保持最优线性收敛速率的加速梯度方法,并探讨了该误差与收敛速率恶化之间的权衡,同时展示了梯度下降-上升和额外梯度方法对噪声的鲁棒性。
2025-12-09 math.OC
On Inexact Accelerated Proximal Gradient Methods with Relative Error Rules
最流行和最重要的一阶迭代之一是“快速迭代收缩/保持算法”(FISTA),它提供了经典的近端梯度法(PGM)的最佳复杂度。本文研究了极小化两个凸函数和的两种不精确形式的FISTA。所提出的计划不精确地解决他们的子问题,使用相对误差标准,而不是外生和减少误差的规则。当近端操作者的评估是困难的,不精确版本的FISTA是必要的,这里提出的相对误差规则可能比以前的误差规则具有一定的优势。两种算法都具有相同的FISTA最优收敛速度。一些数值实验报告,以说明新方法的数值行为。
2020-05-07 math.OC
A Relative Inexact Proximal Gradient Method with an Explicit Linesearch
针对目标函数为全定义域可微凸函数与非可微凸函数之和的复合凸优化问题,提出带显式线搜索的相对不精确邻近梯度法,证明收敛性并建立迭代复杂度,数值实验验证其实际有效性。
2025-04-14 math.OC
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念,它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下,并提供其样本的复杂性,以实现一个$ε$ -近似稳定点。对于相对光滑的组合,第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时,第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机,$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置,只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机,$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后,我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
Linesearch-free adaptive Bregman proximal gradient for convex minimization under local relative smoothness
Kyushu University(九州大学);IMT School for Advanced Studies Lucca(卢卡高等研究学院)
本文提出了一种无需全局相对平滑性或强凸性假设的自适应Bregman近似梯度算法,通过局部曲率估计生成步长,避免了回溯线搜索。利用Bregman泛化的Young不等式控制关键内积,适用于局部相对平滑的可微项问题。
2026-06-05 math.OC
Accelerated Bregman Proximal Gradient Methods for Relatively Smooth Convex Optimization
我们考虑两个凸函数之和的最小化问题:一个是可微的,相对于参考凸函数是光滑的,另一个是不可微的,但很容易优化。我们研究了三角形标度属性的Bregman距离产生的参考凸函数和提出加速Bregman邻近梯度(ABPG)方法,达到$O(k^{-γ})$收敛速度,其中$γ\in(0,2]$是三角形标度指数(TSE)的Bregman距离。对于欧氏距离,我们有$γ=2$和恢复Nesterov的加速梯度法的收敛速度。对于非欧几里德Bregman距离,TSE可以小得多(比如说$γ\leq 1$),但我们表明,放松定义的内在TSE总是等于2。我们利用内在的TSE开发自适应ABPG方法,在实践中收敛得更快。虽然理论上的快速收敛速度的保证似乎是遥不可及的一般情况下,我们的方法获得经验$O(k^{-2})$率在几个应用程序的数值实验,并提供后数值证书的速度快。
2021-05-29 math.OC
Approximate Bregman Proximal Gradient Algorithm for Relatively Smooth Nonconvex Optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文提出近似Bregman近端梯度算法用于解决相对光滑非凸优化问题,通过简化子问题和放宽梯度连续性假设,实现了更广泛的收敛性保证和更优的数值性能。
2024-05-31 math.OC
Gradient Flows as Optimal Controlled Evolutions: From Rn to Wasserstein product spaces
Georgia Institute of Technology(佐治亚理工学院);University of California, Irvine(加州大学尔湾分校);New York University Abu Dhabi(纽约大学阿布扎比分校);University of Padova(帕多瓦大学)
本文证明Rn中连续时间梯度下降和随机梯度下降可视为最优受控演化,并将该刻画推广至Wasserstein乘积空间上的相对熵梯度流,为微型机器人集群的最优控制演化提供了理论框架。
2025-10-31 math.OC
Fast Stochastic Bregman Gradient Methods: Sharp Analysis and Variance Reduction
研究了用随机Bregman梯度法求解相对光滑凸函数极小化问题。我们首先证明了收敛的Bregman随机梯度下降(BSGD)的区域,取决于噪声(梯度的大小)在最佳。特别是,当该噪声为零时(\emph{interpolation}设置,其中数据完美拟合),具有恒定步长的BSGD收敛到精确的最小值。另外,当目标具有有限和结构时,我们证明了方差减少可以用来对抗噪声的影响。特别是,快速收敛到精确的最小值,可以得到额外的正则性假设下的布雷格曼参考函数。我们说明了我们的方法的有效性相对平滑的两个关键应用:断层重建与泊松噪声和统计预处理的分布式优化。
2021-04-20 math.OC
Relatively-Smooth Convex Optimization by First-Order Methods, and Applications
发展和分析光滑凸优化的一阶方法的通常方法假设目标函数的梯度是一致光滑的,具有某些Lipschitz常数$L$。然而,在许多设置中,可微凸函数$f(\cdot)$不是均匀光滑的-例如在$D$ -最优设计中,其中$f(x):=-\ln \det(HXH^T)$,或者甚至是单变量设置$f(x) := -\ln(x) + x^2$。在这里,我们开发了一个概念“相对光滑”和相对强的凸性,确定相对于用户指定的“参考函数”$h(\cdot)$(这应该是计算上易于处理的算法),我们表明,许多可微凸函数相对于一个相应的相当简单的参考函数$h(\cdot)$是相对光滑的。我们扩展两个标准的算法-原始梯度方案和双平均方案-我们的新设置,与相关的计算保证。我们应用我们的新方法来开发一个新的一阶方法的$D$优化设计问题,与相关的计算复杂性分析。我们的一些结果与最近的工作\cite{bbt}有一定的重叠。
2017-10-10 math.OC
ABrA-GD: Adaptive Bregman Accelerated Gradient Descent for Relatively Smooth and (Strongly-)Convex Optimization
Samsung SAIL Montreal(三星SAIL蒙特利尔)
本文提出ABrA-GD算法,利用可计算的原始-对偶证书自适应相对光滑凸优化,仅需相对强凸常数,实现对凸目标加速$O(1/k^2)$收敛,对强凸目标线性收敛。
2026-10-01 cs.NA math.NA math.OC
Stochastic control, entropic interpolation and gradient flows on Wasserstein product spaces
自90年代初以来,人们已经观察到,薛定谔桥问题可以用非典型边界约束的随机控制问题来表示。这反过来又有一个流体动力学对应,其中概率密度流表示给定的初始和最终边缘之间的熵插值。在零噪声极限下,这种熵插值在适当的意义上收敛于最优质量输运(OMT)的位移插值。考虑Wasserstein空间${\cal W}_2$中两条绝对连续的曲线,研究了有限时间区间上${\cal W}_2\times {\cal W}_2$上相对熵的演化.因此,这项研究不同于以前的工作,在OMT理论有关相对熵从一个固定的(往往是平衡)分布(密度)。本文导出了Wasserstein积空间上的梯度流。我们发现这两个分量的通量是相反的显着性质。把“最速下降“代入相对熵的演化中,我们得到了一个新的公式:两个流以比同一个福克-普朗克方程的两个解更快的速度相互接近。然后,我们研究的相对熵的演变的情况下,不受控制的控制扩散。在薛定谔桥问题的两种特殊情况下,我们证明了这样的相对熵可以是单调递减的或单调递增的。
2016-01-19 math.OC math.PR
RELTA-SGLD: Relative-Growth Localized Taming for Nonconvex Stochastic-Gradient Langevin Learning
School of Mathematics and Statistics, Yunnan University(云南大学数学与统计学学院)
研究针对非凸随机梯度朗之万学习,提出RELTA-SGLD驯服方案,通过阈值和相对增长原理稳定更新,减少不必要抑制,证明了相关稳定性和精度,在实验中表现良好,改进了学习指标并保持学习动态。
2026-07-23 cs.LG math.OC stat.ML
Statistically Preconditioned Accelerated Gradient Method for Distributed Optimization
我们考虑分布式经验风险最小化的设置,其中多台机器并行计算梯度,集中式服务器更新模型参数。为了减少达到给定精度所需的通信次数,我们提出了一种\emph{preconditioned}加速梯度法,其中预处理是通过在服务器上解决二次采样数据集上的局部最优化问题来完成的。该方法的收敛速度取决于全局和局部损失函数之间的相对条件数的平方根。我们估计线性预测模型的相对条件数,通过研究\emph{uniform}浓度的Hessians在一个有界的域,这使我们能够得到改进的收敛速度现有的预处理梯度法和我们的加速方法。在真实世界数据集上的实验说明了在病态状态下加速的好处。
2020-02-25 cs.DC math.OC
The Relative Gaussian Mechanism and its Application to Private Gradient Descent
CNRS(法国国家科学研究中心);LJK(让·昆廷诺实验室);CMAP(应用数学中心);École Polytechnique(巴黎综合理工学院);Inria(法国国家信息与自动化研究所);Université de Montpellier(蒙彼利埃大学)
本文提出相对高斯机制(RGM),基于相对L2敏感性假设,使噪声方差依赖于输出范数,并证明其RDP紧致界限,应用于私有梯度下降以提供紧致隐私保证。
2024-03-19 cs.CR cs.LG math.OC
Silver Rate Is (Almost) Optimal for Gradient Descent: The Strongly Convex Case
MIT(麻省理工学院)
本文证明在光滑强凸函数上,梯度下降采用 Silver 步长调度时,其迭代复杂度下界与已知上界匹配,从而表明 Silver 步长几乎最优。
2026-09-24 cs.DS math.OC
ANaGRAM: A Natural Gradient Relative to Adapted Model for efficient PINNs learning
Laboratoire Interdisciplinaire des Sciences du Numérique (LISN)(数字科学跨学科实验室);Paris-Saclay University(巴黎-萨克雷大学);INRIA-Saclay(法国国家信息与自动化研究所萨克雷分所)
针对物理信息神经网络(PINNs)训练效率与精度不足的问题,提出基于微分几何分析的自然梯度方法ANaGRAM,含低复杂度新算法及适配PINNs的数学重构,且验证了其与格林函数理论的关联。
2025-03-19 cs.AI cs.LG cs.NA
Shuffling the Stochastic Mirror Descent via Dual Lipschitz Continuity and Kernel Conditioning
Industrial Systems Engineering and Management, National University of Singapore(新加坡国立大学工业系统工程与管理)
本文提出双重核条件(DKC)正则性条件,结合相对光滑性,为梯度提供双重Lipschitz连续性,从而在非凸相对光滑问题中建立随机重洗镜像下降法的复杂度界和迭代收敛性。
2026-03-17 cs.LG math.OC stat.ML
Survey Descent: A Multipoint Generalization of Gradient Descent for Nonsmooth Optimization
Cornell University(康奈尔大学)
对于光滑的强凸目标,经典的梯度下降理论确保相对于梯度评估的数量的线性收敛。一个类似的非光滑理论是具有挑战性的。即使当目标在每个顶点处是平滑的时,相应的局部模型也是不稳定的,并且传统补救措施所调用的切割平面的数量难以约束,从而导致相对于梯度评估的累积数量是次线性的收敛保证。相反,我们提出了一个多点推广的梯度下降迭代局部最优化。虽然在设计时考虑到了一般目标,但我们的动机是一个“最大平滑”模型,该模型捕获了最优的次微分维度。我们证明了线性收敛时,目标本身是最大的光滑,实验表明一个更普遍的现象。
2022-09-27 cs.CG cs.LG cs.NA
Fastest Rates for Stochastic Mirror Descent Methods
相对平滑度-由Birnbaum et al.(2011)引入并由Bauschke et al.(2016)和Lu et al.(2016)重新发现的概念-概括了通常用于梯度类型方法分析的平滑度的标准概念。在这项工作中,我们正在采取的想法,从研究领域的随机凸优化,并使用它们,以获得更快的算法,最小化相对光滑函数。我们提出并分析了两种新算法:相对随机坐标下降(relRCD)和相对随机梯度下降(relSGD),两者都是标准平滑设置中著名算法的推广。我们提出的方法实际上可以看作是随机镜像下降算法的一个特殊实例。其中,relRCD对应于镜像下降算法的第一随机变体,具有线性收敛速率。
2018-03-20 cs.CC cs.NA math.NA