Combining resampling and reweighting for faithful stochastic optimization
Max-Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Stanford University(斯坦福大学)
许多机器学习和数据科学任务需要解决非凸优化问题。当损失函数是多个项的和时,流行的方法是随机梯度下降。作为一个对损失函数进行采样的过程,已知随机梯度下降更喜欢平坦的最小值。虽然这对于某些优化问题是期望的,例如在深度学习中,但是当目标是找到全局最小值时,它会导致问题,特别是如果全局最小值位于陡峭的山谷中。通过一个简单的例子,我们证明了最根本的原因是损失函数中多个项的Lipschitz常数的差异导致随机梯度下降在不同的最小值处经历不同的方差.为了减轻这种影响,并执行忠实的优化,我们提出了一个组合的重采样-重加权计划,以平衡方差局部极小值,并扩展到一般的损失函数。我们解释从数值稳定性的角度来看,所提出的计划是如何更有可能选择真正的全局最小值,和局部收敛分析的角度来看,它如何收敛到一个最小值更快的香草随机梯度下降相比。从强大的统计和计算化学的实验提供了证明的理论研究结果。
2021-09-09 cs.LG math.OC
On stochastic mirror descent with interacting particles: convergence properties and variance reduction
一个开放的问题,在优化与噪声信息是一个确切的极小值是独立的噪声量的计算。随机逼近算法中的标准实践是使用递减步长。然而,这导致收敛较慢。第二种选择是使用固定的步长并运行算法的独立副本并对它们求平均值。第三种选择是运行算法的副本并允许它们交互。目前还不清楚哪种选择效果最好。为了解决这个问题,我们减少了一个确切的极小值与噪声梯度信息的计算问题的随机镜像下降与相互作用的粒子的研究。我们研究了随机镜像下降的收敛性,并明确了通信和方差减少之间的权衡。我们提供的理论和数值证据表明,相互作用有助于提高收敛性和减少方差的估计。
2020-11-05 math.OC stat.ML
Noisy Low-rank Matrix Optimization: Geometry of Local Minima and Convergence Rate
University of California, Berkeley(加州大学伯克利分校)
低秩矩阵优化在机器学习中有着广泛的应用。在矩阵传感的特殊情况下,这个问题已经通过限制等距属性(RIP)的概念进行了广泛的研究,导致了大量的结果的几何景观的问题和常见算法的收敛速度。然而,现有的结果可以处理的情况下,一般的目标函数受噪声数据只有当RIP常数接近0的问题。在本文中,我们开发了一个新的数学框架来解决上述问题,限制性更小的RIP常数。我们证明,只要RIP常数的无噪声目标是小于$1/3$,任何虚假的本地解决方案的噪声最优化问题必须接近地面真理的解决方案。通过严格的鞍性质,我们还表明,近似解可以在多项式时间内找到。当RIP常数大于$1/3$时,我们刻画了问题在真实情况下的局部极小值的几何特征。与已有的文献结果相比,本文给出了最强RIP界,并对一般低秩最优化问题在任意有限方差族随机破坏下的全局和局部最优化景观进行了完整的理论分析.
2023-03-15 cs.LG math.OC stat.ML
On the Convergence of a Noisy Gradient Method for Non-convex Distributed Resource Allocation: Saddle Point Escape
University of Melbourne(墨尔本大学)
针对非凸分布式资源分配问题,本文在拉普拉斯加权梯度下降基础上加入随机扰动以实现鞍点逃逸,证明了二阶收敛性,实验显示其性能优于标准加权梯度下降。
2026-08-26 math.OC
Convergence Analysis of the Wasserstein Proximal Algorithm beyond Geodesic Convexity
University of British Columbia(不列颠哥伦比亚大学);University of Southern California(南加州大学);California Institute of Technology(加州理工学院)
本文提出了一种无需假设目标函数测地凸性的简单自包含分析,证明了Wasserstein近端算法在自然的Wasserstein类欧几里得Polyak-Łojasiewicz不等式下具有无偏线性收敛性,改进了现有在强测地凸性下求解Wasserstein梯度流的近端算法收敛率,并扩展到半测地凸目标的近端算法。
2026-10-02 math.OC stat.ML
Noisy Optimization: Fast Convergence Rates with Comparison-Based Algorithms
无导数优化算法是解决黑箱最优化问题的一种有效方法。当涉及到噪声函数时,经典的基于比较的算法比基于梯度的算法慢。对于二次函数,当$N$是函数评估的数量时,没有大突变的进化算法最多有一个简单的遗憾$O(1/ \sqrt{N})$,而随机梯度下降可以在$O(1/N)$中(紧密地)达到一个简单的遗憾。已经证明,通过有限差分的梯度近似(因此,不是基于比较的方法)对于达到这样的$O(1/N)$是必要的。我们回答这个猜想的否定,提供一个基于比较的算法一样好的梯度法,即达到$O(1/N)$ -的条件下,但是,噪声是高斯。实验结果证实了$O(1/N)$简单的遗憾,即,与$O(1/\sqrt{N})$上发表的许多结果相比,
2016-04-28 math.OC
Blind Random Search with Noisy Loss Measurements: Averaging, Thresholding, and Almost Sure Convergence
该研究针对含噪声损失测量的盲随机搜索问题,通过结合平均与阈值化技术,实现了真实损失的几乎必然收敛。
2026-09-07 cs.IT math.IT math.OC
Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning
The Ohio State University(俄亥俄州立大学)
作为一种流行的元学习方法,模型无关元学习(MAML)算法由于其简单有效而得到了广泛的应用。然而,一般的多步MAML的收敛性仍然没有得到研究。在本文中,我们开发了一个新的理论框架,以提供这种收敛保证的两种类型的目标函数是在实践中感兴趣的:(a)rescent情况(例如,强化学习),其中损失函数采用期望的形式并且随着算法运行对新数据进行采样;以及(b)有限和情况(例如,监督学习),其中损失函数采用给定样本的有限和形式。对于这两种情况下,我们的收敛速度和计算复杂性的特点,以达到$ε$精确的解决方案,多步MAML在一般的非凸设置。特别是,我们的研究结果表明,一个内阶段的步长需要选择成反比的数量$N$的内阶段的步骤,以便$N$步骤MAML有保证的收敛。从技术的角度来看,我们开发了新的技术来处理嵌套结构的多步MAML的Meta梯度,这可以是独立的利益。
2020-07-13 cs.LG math.OC stat.ML
Randomized Derivative-Free Optimization of Noisy Convex Functions
我们提出了星,一个随机衍生物的无约束优化算法时,函数的评价是污染的随机噪声。STARS采用动态的、噪声调整的平滑步长,使噪声函数的真实方向导数与其有限差分近似之间的最小二乘误差最小化。我们提供了一个收敛速度分析的STARS解决凸问题的加性或乘性噪声。实验结果表明:(1)STARS算法对不同程度的随机噪声具有噪声不变性;(2)STARS算法在求解精度和收敛速度方面的实际性能明显优于理论结果;(3)STARS算法在加性和乘性噪声函数上的性能优于随机零阶算法。
2015-07-13 math.OC
On the convergence of gradient-like flows with noisy gradient input
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LIG(格勒诺布尔信息实验室);Maastricht University(马斯特里赫特大学)
针对带噪声梯度输入的凸优化问题,分析了随机扰动下类梯度流的渐近行为。具体来说,我们专注于广泛研究的类镜像下降计划的凸计划与紧凑的可行域,我们研究的动力学的收敛性和浓度的存在噪声的性质。在消失的噪声限制,我们表明,动态收敛到解决方案的基本问题(a.s.)。否则,当噪声是持久的,我们表明,从长远来看,动力学集中在内部解决方案,他们收敛到边界的解决方案,是足够的“尖锐”。最后,我们证明了一个适当的整流的方法收敛的变体,而不管噪声的大小(或结构的基本凸计划),我们推导出一个明确的估计其收敛速率。
2017-09-20 cs.LG math.DS math.OC
Convergence of Successive Linear Programming Algorithms for Noisy Functions
基于约束的方法已经非常成功地解决了各种无约束和有约束的非线性最优化问题。然而,在诸如最优控制或机器学习的实际应用中,必要的函数和导数信息可能被噪声破坏。Sun和Nocedal最近提出了一种通过稳定计算迭代的接受准则来解决光滑无约束问题的方法,这导致了信赖域方法的迭代收敛到临界区域,Sun和Nocedal(2022)。我们将他们的分析扩展到Byrd等人(2023 a,2023 b)的连续线性规划算法,用于无约束最优化问题,其目标可以描述为多面体函数与光滑函数的组合,其中后者及其梯度可能会被噪声破坏。这提供了覆盖例如图像重建或约束优化算法产生的(子)问题的灵活性。我们提供的计算实例,说明的结果和点的稳定参数,平衡的临界区域的大小与放宽的接受标准(或下降属性)的算法的实际确定的可能的策略。
2023-02-14 math.OC
Analysis of Different Types of Regret in Continuous Noisy Optimization
算法的性能度量是其分析的关键部分。通过对该算法的收敛速度的研究可以确定其性能。有必要研究一些(希望是收敛的)序列,以衡量近似最优值与实际最优值相比的“好”程度。遗憾的概念被广泛用于土匪文学评估算法的性能。同样的概念也用于优化算法的框架中,有时以其他名称或没有特定名称。而含噪算法的收敛速度的数值计算往往涉及到遗憾近似。我们在这里讨论两种类型的近似简单后悔在实践中用于评估算法的噪声优化。我们使用不同性质的特定算法和噪声球函数来显示以下结果。在一些优化测试平台中使用的简单后悔的近似(这里称为近似简单后悔)无法估计简单后悔的收敛速度。我们还讨论了最近的一个新的近似简单后悔,我们称之为鲁棒简单后悔,并显示其优点和缺点。
2016-07-22 math.OC
LyAm: Robust Non-Convex Optimization for Stable Learning in Noisy Environments
Tarbiat Modares University(塔里亚特莫达雷斯大学);Shahid Beheshti University(沙希德贝赫沙迪大学);Institute for Cognitive and Brain Sciences(认知与脑科学研究所)
针对深度神经网络训练中噪声梯度与不稳定收敛的问题,提出结合Adam与Lyapunov稳定性机制的新型优化器LyAm,理论证明其非凸收敛性,并在CIFAR等数据集上验证了其优于现有方法的准确率与稳定性。
2025-07-15 cs.LG math.OC
Fast and Accurate Estimation of Low-Rank Matrices from Noisy Measurements via Preconditioned Non-Convex Gradient Descent
University of Illinois-Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出面向含噪测量的预条件非凸梯度下降方法,用于低秩矩阵估计,保证以免疫病态和过参数化的线性速率达到极小极大误差,并在6000万像素医学图像去噪中显著降噪。
2024-02-28 cs.LG math.OC stat.ML
Noisy Linear Convergence of Stochastic Gradient Descent for CV@R Statistical Learning under Polyak-Łojasiewicz Conditions
Michigan State University(密歇根州立大学)
条件风险值($\mathrm{CV@R}$)是最流行的风险度量之一,最近被认为是监督统计学习的性能标准,因为它与现代应用中期望的操作特性有关,例如安全性,公平性,分布鲁棒性和预测误差稳定性。然而,由于其变分定义,$\mathrm{CV@R}$通常被认为会导致困难的优化问题,即使是光滑和强凸损失函数。我们通过建立噪声(即,固定精度)线性收敛的随机梯度下降顺序$\mathrm{CV@R}$学习,为一大类不一定强凸(或甚至凸)损失函数满足集限制Polyak-Lojasiewicz不等式。这类包含所有光滑和强凸损失,确认经典问题,如线性最小二乘回归,可以有效地解决$\mathrm{CV@R}$标准下,就像他们的风险中性版本。我们的结果在这样一个风险意识岭回归任务的数值说明,也验证了他们在实践中的有效性。
2021-01-19 cs.LG cs.SY eess.SP
Solution of network localization problem with noisy distances and its convergence
具有凸和非凸距离约束的网络定位问题可以建模为非线性最优化问题。现有的定位技术主要基于凸优化。在这些技术中,非凸距离约束被忽略或放松为凸约束,以使用凸优化方法,如SDP,最小二乘逼近等。我们提出了一种方法来解决非线性非凸网络定位问题与噪声的距离测量没有任何修改的一般模型中的约束。我们利用非线性拉格朗日技术的非凸优化的问题转化为一个单一的变量连续函数的求根问题。然后使用迭代法解决该问题。然而,在迭代的每一步中,函数值的计算涉及有限极小-极大问题(FMX)。我们使用平滑梯度法来解决FMX问题。我们还证明了从所提出的迭代法获得的解决方案收敛到一般的本地化问题的实际解决方案。所提出的方法获得的解决方案与所需的标签的准确性在实时。
2017-11-20 cs.OH math.OC
Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization
University of Michigan(密歇根大学)
在这项工作中,我们研究了次梯度方法(SubGM)的性能上的自然非凸和非光滑配方的低秩矩阵恢复与$\ell_1$ -损失,其中的目标是恢复一个低秩矩阵从有限数量的测量,其中的一个子集可能是严重损坏的噪声。我们研究的情况下,真正的解决方案的秩是未知的,而不是高估。秩的过度估计导致过度参数化模型,其中存在比所需更多的自由度。这种过度参数化可能导致过度拟合,或者对算法的性能产生不利影响。我们证明了一个简单的SubGM与小的初始化是不可知的过参数化和噪声的测量。特别是,我们表明,小的初始化抵消了SubGM的性能上的过参数化的影响,导致其收敛速度的指数改善。此外,我们提供了第一个统一的框架,用于分析SubGM在离群值和高斯噪声模型下的行为,表明SubGM收敛到真正的解决方案,即使在任意大和任意密集的噪声值下,并且-也许令人惊讶的是-即使全局最优解不对应于地面真相。在我们的研究结果的核心是一个强大的变种的限制等距属性,称为签名RIP,它控制的偏差的次微分的$\ell_1$ -损失从一个理想的,预期的损失。作为我们的结果的副产品,我们考虑了一个子类的鲁棒低秩矩阵恢复高斯测量,并表明,所需的样本数量,以保证SubGM的全局收敛性是独立的过参数化的秩。
2022-02-17 cs.LG math.OC stat.ML
A discrete Consensus-Based Global Optimization Method with Noisy Objective Function
本文将离散时间CBO方法的收敛性分析扩展到目标函数仅能计算带噪声随机估计量的情况,证明在有限次迭代中粒子到解的均方距离期望可任意小,并通过数值实验展示噪声影响。
2025-04-03 math.OC
A Note on Randomized Kaczmarz Algorithm for Solving Doubly-Noisy Linear Systems
College of Computing, Mohammed VI Polytechnic University(穆罕默德六世理工大学计算机学院);University of Central Florida(中佛罗里达大学);University of California, Irvine(加州大学欧文分校)
本文分析了随机化Kaczmarz算法在系数矩阵和右侧向量均含噪声的双重噪声线性系统中的收敛性,证明了在无需无噪声矩阵信息的情况下可有效控制收敛,并通过数值实验验证了理论。
2024-08-23 cs.LG cs.NA math.NA
Efficient Over-parameterized Matrix Sensing from Noisy Measurements via Alternating Preconditioned Gradient Descent
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(机器人国家重点实验室,沈阳自动化研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);State University of New York at Buffalo(纽约州立大学布法罗分校);School of Management, Xi’an Jiaotong University(西安交通大学管理学院)
针对过参数化噪声矩阵感知问题,提出交替预条件梯度下降(APGD)算法,交替更新因子矩阵,消除了阻尼参数需求并支持更大步长,理论证明其线性收敛至近最优误差,实验验证在多类低秩估计任务中收敛最快且计算时间最短。
2025-05-31 cs.LG math.OC stat.ML
Mean-Field Langevin Dynamics: Exponential Convergence and Annealing
噪声粒子梯度下降(NPGD)算法是一种最小化包含熵项的测度空间上的凸函数的算法。在多粒子的限制,该算法是由一个平均场朗之万动力学-一个推广的朗之万动力学与非线性漂移-这是我们的主要研究对象。以前的工作表明,它的收敛到唯一的极小通过非定量参数。我们证明了这种动态收敛在指数速度,假设一定的家庭的Log-Sobolev不等式成立。例如,这个假设适用于某些双层神经网络的风险最小化,其中NPGD等价于标准噪声梯度下降。我们还研究了退火动力学,并表明,噪声衰减的对数率,动态收敛值的非正则化目标函数的全局最小值。
2022-08-11 math.OC
A non-monotone trust-region method with noisy oracles and additional sampling
本文提出一种带噪声预言与额外采样的非单调信赖域随机二阶方法,通过自适应样本量策略控制近似误差,并在深度神经网络训练中实现几乎必然收敛且显著减少梯度评估次数。
2024-01-17 math.OC
First- and Second-Order High Probability Complexity Bounds for Trust-Region Methods with Noisy Oracles
本文提出一种修正的信赖域方法,针对函数值、梯度和Hessian估计带噪声且预言机不假设无偏一致的情形,采用松弛步长接受准则与谨慎半径更新策略,推导出收敛至近似一阶和二阶最优点的迭代复杂度指数衰减尾部界,并通过两组数值实验验证理论紧致性与算法性能。
2023-07-01 math.OC
Distributed Stochastic Constrained Composite Optimization over Time-Varying Network with a Class of Communication Noise
研究了一类带有通信噪声的时变网络上分布式随机多智能体约束最优化问题。本文考虑的问题,在复合优化设置,这是更普遍的文献中的噪声网络优化。值得注意的是,现有的主流噪声网络优化方法是基于欧几里德投影。基于Bregman投影的镜像下降格式,提出了一种非欧方法,并研究了其收敛性。这种方法是分布式随机复合镜像下降型方法(DSCMD-N),它提供了一个更通用的算法框架。得到了DSCMD-N的一些新的误差界。据我们所知,这是第一个工作,分析和推导的收敛速度的优化算法在噪声网络优化。在适当的通信噪声条件下,我们还证明了该方法在非光滑凸优化下可以得到一个最优的$O(1/\sqrt{T})$速率。在期望收敛性、高概率收敛性和几乎必然收敛性方面得到了新的收敛结果。
2022-12-19 cs.SY eess.SY math.OC
Aspiration-based Perturbed Learning Automata in Weakly-Acyclic Games with Noisy Utility Measurements
Software Competence Center Hagenberg GmbH(软件能力中心哈根贝格有限公司)
本文提出了一种基于收益的学习方案,用于分析弱无环游戏中在存在噪声观测时的随机稳定性,首次解决了此类游戏的收敛问题。
2026-09-01 cs.GT cs.SY eess.SY
Derivative-Free Optimization of Noisy Functions via Quasi-Newton Methods
本文提出了一种求解噪声函数极小化问题的有限差分拟牛顿法。该方法利用BFGS更新的可扩展性和功率,并采用自适应过程来基于Hamming(2012)和Moré and Wild(2011)的噪声估计技术选择差分间隔$h$。该噪声估计过程和$h$的选择是廉价的,但并不总是准确的,并且为了防止故障,该算法结合了恢复机制,该恢复机制在线搜索过程不能产生可接受的点的情况下采取适当的动作。提出了一种新的收敛性分析,认为一个嘈杂的线搜索过程的影响。数值实验比较的方法和函数插值置信域方法。
2019-01-08 math.OC
Guaranteed Noisy CP Tensor Recovery via Riemannian Optimization on the Segre Manifold
Department of Applied and Computational Mathematics and Statistics, University of Notre Dame(应用与计算数学与统计学系,诺特丹大学)
针对高维数据分析中低CP秩张量的含噪恢复难题,提出基于Segre流形黎曼优化的RGD与RGN算法,证明其收敛性并通过实验验证了有效性。
2026-11-10 cs.LG math.OC math.ST
Zeroth-Order Langevin Monte Carlo via SPSA under Noisy Function Measurements
Michigan State University(密歇根州立大学);Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
针对带噪声的零阶采样场景,提出LMC-SPSA方法,优化了Wasserstein误差的维度依赖,精度缩放更优,实证采样误差更小。
2026-08-11 math.OC math.ST stat.CO