Learning Overparameterized Neural Networks via Stochastic Gradient Descent on Structured Data
Stanford University(斯坦福大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
神经网络有许多成功的应用,但理论上的理解却少得多。为了弥合这一差距,我们研究了通过随机初始化的随机梯度下降(SGD)学习两层超参数化ReLU神经网络进行多类分类的问题。在过参数化设置中,当数据来自分离良好的分布的混合物时,我们证明了SGD学习具有小泛化误差的网络,尽管该网络有足够的容量来适应任意标签。此外,分析提供了有趣的见解学习神经网络的几个方面,并可以验证基于合成数据和MNIST数据集的实证研究。
2019-08-01 cs.LG stat.ML
POGD: Gradient Descent with New Stochastic Rules
Deakin University(迪肯大学)
介绍了粒子优化的梯度下降(POGD)算法,它是一种基于梯度下降算法,但结合粒子群优化(PSO)原理实现迭代的算法。实验表明,该算法具有自适应学习能力。本文的实验主要集中在训练达到目标值的速度和防止局部最小值的能力上。在MNIST和cifar-10数据集上,利用卷积神经网络(CNN)进行图像分类实验。
2022-10-15 cs.LG
On the Differentially Private Nature of Perturbed Gradient Descent
IIT Madras(印度理工学院马德拉斯分校)
我们考虑给定数据库的经验风险最小化问题,使用梯度下降算法。我们注意到,要优化的函数可能是非凸的,由鞍点组成,这阻碍了算法的收敛。通常采用扰动梯度下降算法来逃离这些鞍点。我们表明,这种算法,扰动的梯度,本质上保留了数据的隐私。然后,我们采用的差分隐私框架,从而实现量化的隐私。我们还分析了隐私的变化与不同的参数,如问题的尺寸和数据库之间的距离。
2021-01-18 cs.CR cs.LG
AdaSGD: Bridging the gap between SGD and Adam
University of Michigan(密歇根大学)
在随机梯度下降(SGD)和自适应矩估计(Adam)的背景下,研究人员最近提出了从Adam过渡到SGD的优化技术,其目标是提高收敛和泛化性能。然而,每一种方法如何权衡早期进展和普遍化还没有得到很好的理解;因此,不清楚何时或甚至是否应该从一种方法过渡到另一种方法。在这项工作中,通过首先研究凸设置,我们确定了潜在的贡献者之间观察到的性能差异SGD和亚当。特别是,我们提供了理论上的见解时,为什么亚当优于SGD,反之亦然。我们通过为SGD调整单个全局学习率来解决性能差距,我们将其称为AdaSGD。我们证明这种方法与非凸设置的实证分析。在跨越三个不同领域的几个数据集上,我们展示了AdaSGD如何结合SGD和Adam的优点,消除了从Adam过渡到SGD的方法的需要。
2020-06-30 cs.LG stat.ML
Optimistic Online Mirror Descent for Bridging Stochastic and Adversarial Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);The University of Tokyo(东京大学);Paradigm Inc.(第四范式公司);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
该论文研究SEA模型下乐观在线镜像下降(OMD)的遗憾界,在凸、强凸和指数凹光滑函数下分别获得与FTRL相当或更优的静态遗憾界,并首次给出动态遗憾保证,同时提出处理非光滑函数的隐式更新算法。
2024-03-16 cs.LG stat.ML
Bias of Stochastic Gradient Descent or the Architecture: Disentangling the Effects of Overparameterization of Neural Networks
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
本文通过研究实现零训练误差的随机网络与SGD优化网络,解耦了优化与架构对泛化的影响,发现增加宽度的过参数化益处源于SGD偏置,而增加深度的不利影响则归因于架构偏置。
2025-02-01 cs.LG
SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
在深度学习架构中集成逻辑推理一直是现代AI系统的主要目标。在本文中,我们通过引入可微分(平滑)最大可满足性(MAXSAT)求解器来实现这一目标,该求解器可以集成到更大的深度学习系统的循环中。我们的(近似)求解器是基于一个快速的坐标下降的方法来解决半定规划(SDP)与MAXSAT问题。我们展示了如何通过这个SDP的解决方案来解析区分,并有效地解决相关的向后传递。我们证明,通过将此求解器集成到端到端学习系统中,我们可以以最小监督的方式学习具有挑战性的问题的逻辑结构。特别是,我们证明了我们可以使用单比特监督来学习奇偶校验函数(传统上对深度网络来说是一项艰巨的任务),并仅从示例中学习如何玩9x9数独。我们还解决了一个“视觉数独”的问题,映射图像的数独谜题,以其相关的逻辑解决方案相结合,我们的MAXSAT求解器与传统的卷积架构。因此,我们的方法在深度学习中集成逻辑结构方面表现出了希望。
2019-05-29 cs.AI cs.LG stat.ML
A Survey of Algorithms and Analysis for Adaptive Online Learning
Google, Inc.(谷歌公司)
我们提出的工具,用于分析以下的正则化领导者(FTRL),双平均,镜像下降算法时,正则化(相当于,学习函数或学习率调度)的数据的基础上自适应地选择。自适应性可以用来证明在每一轮上保持的遗憾界限,并且还允许像AdaGrad风格的算法中那样的数据依赖的遗憾界限(例如,具有自适应每坐标学习率的在线梯度下降)。我们目前的结果,从大量的以前的作品在一个统一的方式,使用模块化和严密的分析,隔离的关键参数,易于重用的引理。这种方法增强了前已知的FTRL分析技术,以产生与潜在函数或原始对偶分析所实现的边界一样紧的边界。此外,我们证明了一个任意的自适应镜像下降算法和相应的FTRL更新,这使我们能够分析任何镜像下降算法在同一框架之间的一般和精确的等价性。弥合双重平均和镜像下降算法之间差距的关键在于对FTRL-Proximal算法家族的分析。我们的遗憾界证明在最一般的形式,持有任意规范和非光滑正则化与时变权重。
2015-11-09 cs.LG
Convergence Analysis of Fractional Gradient Descent
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文分析了分数阶梯度下降在光滑且凸、强凸及非凸设置下的收敛性,建立了连接分数阶与整数阶导数的新界限,证明了不同条件下的线性或O(1/T)收敛性,并展示了其相比标准梯度下降的加速效果。
2024-06-04 cs.LG cs.NA math.NA
Softmax $\geq$ Linear: Transformers may learn to classify in-context by kernel gradient descent
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院计算神经科学单元)
研究突破传统线性假设,发现采用非线性softmax激活的Transformers在分类任务中通过核特征空间泛函的梯度下降实现上下文学习,并具备上下文自适应学习率,展现出更强的上下文适应性。
2025-10-12 cs.LG
Computing Approximate Equilibria in Sequential Adversarial Games by Exploitability Descent
DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
在本文中,我们提出了可利用性下降,一个新的算法来计算近似平衡的两个球员零和扩展形式的游戏与不完美的信息,直接对最坏情况下的对手的政策优化。我们证明,当遵循这种优化,利用一个球员的战略渐近收敛到零,因此,当两个球员采用这种优化,联合政策收敛到一个纳什均衡。与虚拟游戏(XFP)和反事实遗憾最小化(CFR)不同,我们的收敛结果与优化的策略有关,而不是平均策略。我们的实验表明,收敛速度相媲美的XFP和CFR在四个基准游戏中的表格的情况下。使用函数逼近,我们发现,我们的算法优于表格版本中的两个游戏,据我们所知,这是第一个这样的结果,在这类算法之间的不完美信息游戏。
2020-06-12 cs.AI cs.GT cs.LG
Improving Generalization in Mountain Car Through the Partitioned Parameterized Policy Approach via Quasi-Stochastic Gradient Descent
University of Florida(佛罗里达大学)
强化学习的问题,找到一个控制策略,最大限度地减少了最小的时间目标的山地车环境。特别地,对一类参数化非线性反馈策略进行了优化,使其在最短时间内到达最高峰的顶点。采用准随机梯度下降(qSGD)方法进行优化。在试图找到最佳的最小时间的政策,一个新的参数化的政策方法被认为是寻求学习的状态空间的不同区域的最佳政策参数,而不是依赖于一个单一的宏观政策参数的整个状态空间。这种分区的参数化政策的方法被证明优于统一的参数化政策的方法,并导致更大的推广比以前的方法,其中山地车成为被困在状态空间中的圆形轨迹。
2021-05-28 cs.AI cs.LG cs.SY
Energy Optimized Piecewise Polynomial Approximation Utilizing Modern Machine Learning Optimizers
Josef Ressel Centre for Intelligent and Secure Industrial Automation(智能与安全工业自动化约瑟夫·雷斯尔中心);Salzburg University of Applied Sciences(萨尔茨堡应用科技大学);Paris Lodron University Salzburg(萨尔茨堡巴黎洛登大学)
本研究提出利用TensorFlow中的现代梯度下降优化器,在分段多项式逼近中引入能量优化目标,以最小化凸轮轮廓的弹性应变能,实现更平滑运动,并帕累托高效地权衡逼近质量与能量消耗。
2025-08-07 cs.LG
A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Vector Institute(向量研究所);University of Waterloo(滑铁卢大学)
针对Adam收敛性分析依赖比SGD更严苛假设的问题,提出全新综合分析框架,在SGD常用的L-光滑性与ABC不等式松弛假设下,证明了Adam的渐近收敛性并得到与SGD相近的非渐近样本复杂度界,弥合二者理论差距。
2025-05-19 cs.LG math.OC
Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
Meiji University(明治大学)
本文提出了一种通过调整学习率和批量大小来平滑非凸函数的渐进优化算法,并放宽了σ- nice属性以扩大收敛保证的适用范围。
2026-01-24 cs.LG math.OC
On the Double Descent of Random Features Models Trained with SGD
EPFL(洛桑联邦理工学院);KU Leuven(鲁汶大学)
我们研究了随机特征(RF)回归在下/过参数化机制下通过随机梯度下降(SGD)优化的高维空间中的泛化特性。在这项工作中,我们得到了精确的非渐近误差界的RF回归下的常数和多项式衰减步长SGD设置,并观察双下降现象的理论和经验。我们的分析展示了如何处理初始化,标签噪声和数据采样(以及随机梯度)的多个随机性来源,而没有封闭形式的解决方案,并且也超越了常用的高斯/球形数据假设。我们的理论结果表明,使用SGD训练,RF回归仍然可以很好地推广插值学习,并且能够通过方差的单峰性和偏差的单调减少来表征双下降行为。此外,我们还证明了恒定步长的SGD设置时,收敛速度没有损失相比,精确的最小范数的最小值,作为一个理论上的理由,在实践中使用SGD。
2022-10-16 cs.LG stat.ML
Random Function Descent
University of Mannheim(曼海姆大学)
本文提出用“随机函数”框架取代经典“凸函数”框架,通过“随机泰勒近似”重新发现梯度下降,提出Random Function Descent (RFD)步长调度方案,为梯度裁剪和学习率预热等启发式方法提供了理论基础。
2024-10-15 cs.LG math.OC stat.ML
Universal and Transferable Adversarial Attack on Large Language Models Using Exponentiated Gradient Descent
Department of Computer Science, Florida State University(计算机科学系,佛罗里达州立大学);Department of Mathematics, Florida State University(数学系,佛罗里达州立大学)
针对LLMs易受越狱攻击的问题,提出基于指数梯度下降结合Bregman投影的内在优化方法,直接优化对抗后缀token的松弛one-hot编码,在开源和专有模型上实现更高成功率、更快收敛及通用可迁移性。
2025-08-20 cs.LG
Hybrid Least Squares/Gradient Descent Methods for DeepONets
Department of Mathematical Sciences, KAIST(韩国科学技术院数学科学系);Department of Mathematics, Korea Military Academy(韩国陆军学院数学系)
本文提出一种混合最小二乘/梯度下降方法加速DeepONet训练,通过将大型最小二乘系统分解为分支网络和主干网络两个子问题分别求解,并推广到带正则化项的L2损失及物理信息无监督学习场景。
2025-08-21 cs.AI cs.LG cs.NA
Gradient Descent: The Ultimate Optimizer
Meta, Inc.(Meta公司);Stanford University(斯坦福大学)
使用任何基于梯度的机器学习算法都涉及到调整优化器超参数(如步长)的繁琐任务。最近的工作表明,步长本身可以通过手动推导表达式提前优化模型参数的“超梯度”。我们展示了如何通过对反向传播的简单而优雅的修改来自动计算超梯度。这使我们能够轻松地将该方法应用于其他优化器和超参数(例如动量系数)。我们甚至可以递归地将该方法应用于它自己的超-超参数,等等。随着这些优化器的塔越来越高,它们对超参数的初始选择变得不那么敏感。我们目前的实验验证了这一点的MLP,CNN和RNN。最后,我们提供了该算法的简单PyTorch实现(参见people.csail.mit.edu/kach/gradient-descent-the-ultimate-optimizer)。
2022-10-14 cs.LG stat.ML
Learning Tree-Based Models with Gradient Descent
本文提出通过梯度下降学习硬轴对齐决策树的方法,解决传统方法的局限性,提升树模型在多个领域的性能和适用性。
2026-03-11 cs.LG
Tuning the Scheduling of Distributed Stochastic Gradient Descent with Bayesian Optimization
University of Cambridge(剑桥大学)
提出了一种利用贝叶斯优化来调整分布式随机梯度下降(SGD)系统参数的优化器。给定特定的上下文,我们的目标是快速找到有效的配置,适当地平衡可用机器之间的负载,以最小化平均SGD迭代时间。我们的实验考虑设置超过三十个参数。传统的贝叶斯优化使用高斯过程作为模型,不太适合这种高维域。为了减少收敛时间,我们利用现有的结构。我们设计了一个概率模型,模拟分布式SGD的行为,并使用它在贝叶斯优化。我们的模型可以利用许多运行时的测量推断每个评估的目标函数。实验结果表明,该优化算法在10次迭代内收敛到有效的配置,优化后的配置性能比一般优化算法在30次迭代中得到的配置性能高出2倍。
2016-12-01 cs.LG stat.ML
Hybrid Least Squares/Gradient Descent Methods for MIONets
KAIST(韩国科学技术院);Korea Military Academy(韩国陆军军官学校)
针对MIONets提出混合最小二乘法/梯度下降法加速训练,该方法基于MIONet特性,用交替最小二乘法优化参数,引入相关矩阵分解大矩阵,还兼容特定\(L^2\)损失,可应用线性算子于MIONet输出。
2026-07-09 cs.AI cs.LG cs.NA
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology(华中科技大学)
Takagi-Sugeno-Kang(TSK)模糊系统是灵活且可解释的机器学习模型;然而,当数据大小较大和/或数据维度较高时,它们可能不容易被优化。本文提出了一种基于小批量梯度下降(MBGD)的算法,有效地训练TSK模糊分类器。它集成了两种新技术:1)均匀正则化(UR),它迫使规则对输出具有相似的平均贡献,从而提高TSK分类器的泛化性能; 2)批量归一化(BN),它将BN从深度神经网络扩展到TSK模糊分类器,以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明,UR和BN分别是有效的,将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Parallel Stochastic Gradient Descent with Sound Combiners
Microsoft Research(微软研究院)
随机梯度下降(SGD)是用于回归和分类任务的公知方法。然而,它在每一步都是固有的顺序算法,当前示例的处理取决于从先前示例中学习的参数。使用SGD并行化线性学习器的先前方法,例如HOGWILD!和ALLREDUCE不尊重这些跨线程的依赖性,因此可能会遭受差的收敛速率和/或差的可伸缩性。本文提出了SYMSGD,一个并行SGD算法,一阶近似,保留了顺序语义的SGD。除了模型组合器之外,每个线程还学习一个本地模型,这允许本地模型被组合以产生与顺序SGD所产生的结果相同的结果。本文评估了SYMSGD在共享内存机器上的6个数据集上的准确性和性能,在16个核心上显示了高达11倍的加速比我们高度优化的顺序基线,平均比HOGWILD快2.2倍!
2017-05-22 cs.LG stat.ML
The Implicit Bias of Gradient Descent on Separable Multiclass Data
University of Michigan(密歇根大学);Technion - Israel Institute of Technology(以色列理工学院);Illinois Institute of Technology(伊利诺伊理工大学)
本研究利用PERM损失框架将指数尾部性质扩展到多类,把梯度下降的隐式偏差理论从二分类推广到多分类,并证明其与二分类情形技术紧密对应。
2024-11-07 cs.LG stat.ML
Implicit Gradient Regularization
DeepMind(深度思维);Google(谷歌)
梯度下降在优化深度神经网络方面可以非常出色,而不会过度拟合,也不会显式正则化。我们发现梯度下降的离散步骤通过惩罚具有大损失梯度的梯度下降轨迹来隐式地正则化模型。我们称之为隐式梯度正则化(IGR),我们使用向后误差分析来计算这个正则化的大小。我们证实经验,隐式梯度正则化偏向梯度下降平坦的最小值,测试误差小,解决方案是强大的噪声参数扰动。此外,我们证明了隐式梯度正则化项可以用作显式正则化,使我们能够直接控制这个梯度正则化。更广泛地说,我们的工作表明,向后误差分析是一个有用的理论方法,学习率,模型大小和参数正则化如何相互作用,以确定使用梯度下降优化的过参数化模型的属性。
2022-07-18 cs.LG stat.ML
SQL-GEN: Bridging the Dialect Gap for Text-to-SQL Via Synthetic Data And Model Merging
Google Cloud AI(谷歌云人工智能部门)
SQL-GEN利用方言教程生成合成数据并采用专家混合初始化合并多方言模型,显著提升跨方言文本到SQL的执行准确率。
2024-10-02 cs.AI cs.CL cs.DB
Evolutionary Stochastic Gradient Descent for Optimization of Deep Neural Networks
IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了一个基于种群的进化随机梯度下降(ESGD)框架,用于优化深度神经网络。ESGD结合SGD和无梯度进化算法作为一个框架中的互补算法,其中优化交替之间的SGD步骤和进化步骤,以提高人口的平均适应度。通过在SGD步骤中的退避策略和在进化步骤中的精英策略,它保证了种群中的最佳适应度永远不会下降。此外,在SGD步骤中使用不同的超参数的各种基于SGD的优化器优化的群体中的个体被认为是协同进化设置中的竞争物种,使得优化器的互补性也被考虑在内。ESGD的有效性在包括语音识别、图像识别和语言建模在内的多个应用中得到了证明,使用了具有各种深度架构的网络。
2018-10-16 cs.LG cs.NE stat.ML
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain(谷歌大脑)
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合,但在实践中,这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线,其中增加模型的容量会导致其测试误差首先减小,然后增加到插值阈值附近的最大值,然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上,例如线性回归或具有非结构化随机特征的核回归,我们认为这些设置太粗糙,无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核,它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明,测试误差具有非单调的行为,深入过参数化制度,甚至可以表现出额外的峰值和下降时,参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
Scale-Invariant Regret Matching and Online Learning with Optimal Convergence: Bridging Theory and Practice in Zero-Sum Games
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种新的尺度不变且参数无关的PRM+变体IREG-PRM+,实现了最优收敛并优于现有方法,同时扩展了零和博弈到更广泛的变分不等式问题。
2026-02-17 cs.GT cs.LG
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University(普渡大学);Indiana University(印第安纳大学);Peking University(北京大学)
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降(XOR-SGD)提供了一个收敛速度保证解决约束的版本的问题,利用XOR-采样。然而,当需要满足额外的等式和不等式约束时,任务变得更加困难。本文提出了一种基于投影梯度下降(PGD)和异或采样器相结合的新算法XOR-PGD,通过选择合适的步长,保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明,在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明,改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核,通过实验与大尺寸。
2022-03-22 cs.LG math.OC
FUPareto: Bridging the Forgetting-Utility Gap in Federated Unlearning via Pareto Augmented Optimization
FUPareto通过帕累托增强优化方法,有效解决联邦去学习中遗忘与效用的矛盾,提升去学习效率并降低成员推断攻击风险。
2026-02-02 cs.DC cs.LG
Stochastic Gradient Descent under Markovian Sampling Schemes
Inria(法国国家信息与自动化研究所);ENS Paris(巴黎高等师范学院)
本研究提出在马尔可夫采样下优化随机梯度下降,揭示命中时间下界,并引入仅依赖命中时间的方差缩减算法MC-SAG,实现通信高效。
2023-06-23 cs.LG math.OC
Multiplexed gradient descent: Fast online training of modern datasets on hardware neural networks without backpropagation
National Institute of Standards and Technology(美国国家标准与技术研究院);University Colorado Boulder(科罗拉多大学博尔德分校)
提出无需反向传播的MGD零阶优化框架,可在线训练模拟或数字硬件神经网络,在CIFAR-10和Fashion-MNIST上表现可比反向传播,且现实硬件条件下训练速度快数个数量级。
2023-03-05 cs.LG cs.NE
Convergence of Policy Mirror Descent Beyond Compatible Function Approximation
Blavatnik School of Computer Science, Tel Aviv University(塔夫茨大学布莱瓦特计算机科学学院);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究)
本文为一般策略类建立策略镜像下降的理论框架,用更弱的变分梯度支配假设替代闭包条件,并基于占用测度诱导的局部范数光滑性给出收敛到类内最优策略的速率上界。
2025-07-06 cs.LG math.OC stat.ML
Efficient Project Gradient Descent for Ensemble Adversarial Attack
Purdue University(普渡大学)
最近的进展表明,深度神经网络对故意制作的对抗性示例不具有鲁棒性,其中许多示例是通过向清晰的输入添加人类不可感知的扰动而生成的。考虑$l_2$范数攻击,项目梯度下降(PGD)和Carlini和Wagner(C\&W)攻击是两种主要的方法,其中PGD控制对抗示例的最大扰动,而C\&W方法将扰动作为正则化项与损失函数一起优化。如果我们仔细地为任何单个输入设置参数,两种方法都变得相似。一般来说,当固定所有输入的参数时,PGD攻击执行得更快,但比C\&W获得更大的扰动来找到对抗性示例。在这份报告中,我们提出了一个有效的修改PGD方法攻击集成模型,自动改变集成权重和步长每次迭代每个输入。该方法生成的对抗性样本比PGD方法更小,同时与C &W方法相比仍然有效。我们的方法在IJCAI 19有针对性的对抗攻击比赛中获得了第一名。
2019-06-07 cs.CR cs.LG stat.ML
Quantum Natural Stochastic Pairwise Coordinate Descent
University of Michigan(密歇根大学);Indiana University(印第安纳大学)
本文提出一种基于新型量子信息度量与单次测量无偏估计器的量子自然随机逐对坐标下降算法,在避免全态层析的同时实现更快收敛和更低采样复杂度,并能避开鞍点与局部极小值。
2025-06-03 cs.LG math.OC quant-ph
Efficient Optimal Transport Algorithm by Accelerated Gradient descent
Stony Brook University(石溪大学);Dalian University of Technology(大连理工大学)
最佳传输(OT)在机器学习和深度学习等各个领域发挥着至关重要的作用。然而,计算离散的最优运输计划的大规模问题,具有足够的精度和效率仍然是极具挑战性的。最近,基于Sinkhorn算法的方法在原问题中加入了一个熵正则化算子,在效率和精度之间取得了平衡。在本文中,我们提出了一种新的算法,以进一步提高效率和准确性的基础上Nesterov的平滑技术。基本上,Kantorovich势的非光滑c变换由光滑Log-Sum-Exp函数近似,该函数最终平滑了原始的非光滑Kantorovich对偶泛函(能量)。快速邻近梯度算法(FISTA)可以有效地优化光滑Kantorovich泛函.理论上,该方法的计算复杂性为$O(n^{\frac{5}{2}} \sqrt{\log n} /ε)$,低于Sinkhorn算法。实验结果表明,与Sinkhorn算法相比,在相同参数下,该算法具有更快的收敛速度和更高的精度。
2021-07-19 cs.LG
Fast and Accurate Power Load Data Completion via Regularization-optimized Low-Rank Factorization
Chongqing Aerospace Polytechnic(重庆航天职业技术学院);Dongfang Electronics Co.,Ltd(东方电子股份有限公司);China Mobile Cloud Capability Center(中国移动云能力中心);Southwest University(西南大学)
针对电力负荷数据缺失问题,提出基于PID控制器自适应调整正则化系数的低秩分解方法,在保持随机梯度下降效率的同时提升插补精度与训练效率。
2025-06-22 cs.LG
Deep Learning-Aided Projected Gradient Detector for Massive Overloaded MIMO Channels
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Osaka City University(大阪市立大学)
针对大规模过载MIMO系统,提出了一种深度学习辅助的迭代检测算法。由于该算法是基于投影梯度下降方法,并具有可训练的参数,因此被称为可训练投影下降检测器(TPG-检测器)。可训练的内部参数可以用标准的深度学习技术来优化,例如反向传播和随机梯度下降算法。这种方法被称为数据驱动的调整带来了显着的优点,如快速收敛的建议计划。数值实验表明,TPG检测器实现了类似的检测性能的大规模过载MIMO信道的已知算法,以较低的计算成本。
2018-12-25 cs.IT cs.LG math.IT
Stochastic Gradient Descent on Separable Data: Exact Convergence with a Fixed Learning Rate
Technion(以色列理工学院);TTI Chicago(芝加哥丰田技术研究所)
随机梯度下降(SGD)是机器学习的核心工具。我们证明了SGD收敛到零损失,即使有一个固定的(非零)学习率-在特殊情况下的齐次线性分类器与光滑单调损失函数,优化线性可分离的数据。以前的作品假设要么消失的学习率,平均,或损失的假设,不适用于单调的损失函数用于分类,如逻辑损失。我们证明了我们的结果在一个固定的数据集,无论是采样或不替换。此外,对于逻辑损失(以及类似的指数尾损失),我们证明了对于几乎所有可分离的数据集,SGD的权重向量在$L_2$最大边缘向量的方向上收敛为$O(1/\log(t))$,并且损失收敛为$O(1/t)$ -类似于梯度下降。最后,我们研究了固定学习率与小批量大小成比例的情况。我们证明,在这种情况下,SGD(更换)的渐近收敛速度不依赖于小批量的大小在时代方面,如果支持向量跨度的数据。这些结果可以解释在使用SGD训练时在深度网络中观察到的类似行为。
2022-04-18 cs.LG stat.ML
How to iron out rough landscapes and get optimal performances: Averaged Gradient Descent and its application to tensor PCA
Sapienza Università di Roma(罗马大学);INFN – Sezione di Roma1(意大利国家核物理研究所罗马第一分部);CNR-Nanotec(意大利国家研究委员会纳米技术研究所)
在许多高维估计问题中,主要任务在于最小化成本函数,当在待估计的参数空间中扫描时,成本函数通常是强非凸的。一个标准的解决方案,以平坦化相应的粗糙景观包括总结损失相关的不同数据点,并获得一个更平滑的经验风险。在这里,我们提出了一种适用于单个数据点的补充方法。其主要思想是,大量的粗糙度是不相关的不同部分的景观。然后,通过评估作为待优化参数空间中的许多随机独立位置上的和而获得的梯度的经验平均值,可以大大减少噪声。我们提出了一种算法,称为平均梯度下降,基于这个想法,我们将其应用到张量PCA,这是一个非常困难的估计问题。我们表明,平均梯度下降过执行物理算法,如梯度下降和近似消息传递,并匹配迄今为止已知的最佳算法阈值,通过张量展开和基于平方和的方法获得。
2020-02-06 cond-mat.dis-nn cond-mat.stat-mech cs.LG
In-context Learning and Gradient Descent Revisited
The Blavatnik School of Computer Science(布拉瓦尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
本文重新检验了上下文学习与梯度下降的对应关系,发现现有评估存在缺陷,并提出尊重层因果关系的梯度下降优化方法以显著提升相似度。
2024-03-31 cs.CL cs.LG
Mirror Descent View for Neural Network Quantization
Australian National University(澳大利亚国立大学);Amazon(亚马逊公司);Data61, CSIRO(联邦科学与工业研究组织Data61研究院);University of Oxford(牛津大学);Five AI(Five AI公司)
由于减少了存储器和时间复杂度,量化大的神经网络(NN)同时保持性能对于资源有限的设备是非常期望的。它通常被公式化为一个约束优化问题,并通过梯度下降的修改版本进行优化。在这项工作中,通过将连续参数(无约束)解释为量化参数的对偶,我们引入了NN量化的镜像下降(MD)框架。具体来说,我们提供了预测的条件(即,从连续映射到量化映射),这将使我们能够导出有效的镜像映射,进而导出相应的MD更新。此外,我们提出了一个数值稳定的MD实现,需要存储一组额外的辅助变量(无约束),并表明它是惊人的类似于直通估计(STE)为基础的方法,通常被视为一个“技巧”,以避免消失的梯度问题。我们在CIFAR-10/100、TinyImageNet和ImageNet分类数据集上的实验表明,我们的MD变体获得了具有最先进性能的量化网络。代码可在https://github.com/kartikgupta-at-anu/md-bnn上获得。
2021-03-02 cs.CV cs.LG stat.ML
Bridging Equilibrium and Kinetics Prediction with a Data-Weighted Neural Network Model of Methane Steam Reforming
AGH University of Krakow(克拉科夫AGH大学);Shibaura Institute of Technology(Shibaura技术学院)
针对现有模型只能单独处理甲烷蒸汽重整动力学或平衡状态的问题,提出一种基于数据加权人工神经网络的统一代理模型,在综合数据集上训练并实现了高精度预测,为反应器设计与过程优化提供了有力工具。
2025-04-15 cs.CE cs.LG
Convergence rates for gradient descent in the training of overparameterized artificial neural networks with piecewise affine activation
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳))
本文研究了在过参数化 regime 下,使用分段仿射激活函数的人工神经网络通过批量梯度下降优化时的收敛速度问题,证明了在神经网络宽度足够大且学习率足够小的情况下,均方误差以线性速度收敛到零。
2026-05-19 cs.LG cs.NA math.NA
Learning IMM Filter Parameters from Measurements using Gradient Descent
Fraunhofer FKIE(弗劳恩霍夫通信、信息处理与人体工程学研究所)
针对传感器系统及目标跟踪参数调优难、需专家知识且部署前部分参数不可观测的问题,提出仅用测量值、借助梯度下降自动优化IMM滤波器参数的方法,模拟消融实验显示其性能追平真值参数配置的滤波器。
2024-01-26 cs.LG cs.RO cs.SY
FermiGrad-SVD: An LLM Compression Pipeline with Global Rank Selection and Gauge Fixing
Multiverse Computing(多维计算公司);Donostia International Physics Center(Donostia国际物理中心);Ikerbasque Foundation for Science(Ikerbasque科学基金会)
本文提出FermiGrad和PivGa两种方法,通过费米函数优化秩选择和规范固定,实现LLM压缩的全局优化。
2026-10-30 cs.LG stat.ML
Preconditioned Stochastic Gradient Descent
随机梯度下降(SGD)仍然是许多实际问题的主力。然而,它收敛缓慢,并且可能难以调谐。对SGD进行预处理可以显著加快其收敛速度。但是在这个方向上的许多尝试要么旨在解决专门的问题,要么导致比SGD更复杂的方法。本文提出了一种新的方法来估计一个预条件,使预条件随机梯度的扰动幅度匹配的扰动的参数进行优化的方式可比牛顿法确定性优化。与确定性拟牛顿方法中基于正割方程拟合的预条件不同,该方法假设正定Hessian并近似其逆,新的预条件对于具有精确梯度或噪声梯度的凸和非凸优化同样有效。当使用随机梯度时,它可以自然地阻尼梯度噪声以稳定SGD。有效的预条件估计方法的发展,并与合理的简化,他们适用于大规模的问题。实验结果表明,配备了新的预处理器,没有任何调整的努力,预处理SGD可以有效地解决许多具有挑战性的问题,如训练的深度神经网络或递归神经网络需要极长的长期记忆。
2017-02-22 cs.LG stat.ML
Adversarially Optimized Mixup for Robust Classification
Mayachitra Inc.(玛雅奇特拉公司)
Mixup是一个数据增强的过程,它训练网络在数据点之间进行平滑插值预测。对抗性训练是一种强大的数据增强形式,它在每个数据点周围的紧凑空间中优化最坏情况的预测,从而使神经网络做出更强大的预测。在本文中,我们通过使用投影梯度下降(PGD)逆向探测数据点之间的空间,将这些想法结合在一起。这项工作的基本方法是在训练过程中通过混合插值来利用反向传播,以优化网络做出不平滑和不一致预测的地方。此外,我们还探讨了一些修改和细微差别,如混合比和几何标签分配的优化,并讨论了它们对增强网络鲁棒性的影响。通过这些想法,我们已经能够训练更好地鲁棒泛化的网络;在CIFAR-10和CIFAR-100上的实验表明,针对强大的对手,包括最近的强大集成攻击AutoAttack,准确性得到了持续的提高。我们的源代码将被释放的可重复性。
2021-03-22 cs.CV cs.LG
Ultrametric Fitting by Gradient Descent
Université Paris-Est(巴黎东部大学);CNRS(法国国家科学研究中心);ENPC(巴黎路桥学院);ESIEE Paris(巴黎高等电子与电工技术工程师学院);UPEM(巴黎马恩河谷大学)
我们研究了在层次聚类分析的背景下,将超度量距离拟合到相异性图的问题。标准的层次聚类方法是在程序上指定的,而不是在要优化的成本函数方面。我们的目标是克服这个限制,提出了一个通用的优化框架,超度量拟合。我们的方法包括建模后者作为一个约束优化问题在连续空间的超度量。这样做,我们可以利用简单但有效的想法,用直接注入成本函数的最小-最大运算来取代超度量约束。建议的重新制定导致一个无约束的优化问题,可以有效地解决梯度下降方法。我们的框架的灵活性,使我们能够调查几个成本函数,以下的经典范例相结合的数据保真度项与正则化。虽然我们没有提供找到全局最优解的理论保证,但在一些合成和真实数据集上获得的数值结果表明,我们的方法相对于最先进的凝聚算法具有良好的性能。这使我们相信,所提出的框架揭示了新一代层次聚类方法的设计思路。我们的代码在\url{https://github.com/PerretB/ultrametric-fitting}上公开提供。
2019-10-17 cs.LG stat.ML
Tackling benign nonconvexity with smoothing and stochastic gradients
University of California, San Diego(加州大学圣地亚哥分校);CISPA Helmholz Center for Information Security(CISPA亥姆霍兹信息安全中心)
非凸优化问题在机器学习中普遍存在,特别是在深度学习中。虽然这种复杂的问题往往可以成功地优化在实践中使用随机梯度下降(SGD),理论分析不能充分解释这种成功。特别是,标准分析没有显示SGD在非凸函数上的全局收敛性,而是显示收敛到稳定点(也可以是局部极小值或鞍点)。我们确定了广泛的一类非凸函数,我们可以表明,扰动SGD(梯度下降扰动随机噪声-覆盖SGD作为一种特殊情况)收敛到一个全局最小值(或其附近),相比之下,梯度下降没有噪声,可以卡在远离全局解的局部最小值。例如,在非凸函数是相对接近凸状(强凸或PL)的功能,我们表明,SGD可以线性收敛到全局最优。
2022-02-18 cs.LG stat.ML
Learning with Optimized Random Features: Exponential Speedup by Quantum Machine Learning without Sparsity and Low-Rank Assumptions
The University of Tokyo(东京大学);Austrian Academy of Sciences(奥地利科学院);University of Cambridge(剑桥大学);University of Warwick(华威大学);RIKEN AIP(日本理化学研究所)
增加随机特征的核方法为从大数据中学习提供了可扩展的算法。但是,根据针对数据优化的概率分布对随机特征进行采样,以便最小化用于实现学习到期望精度所需的特征数量,在计算上是困难的。在这里,我们开发了一个量子算法,用于从这个优化的分布在功能上进行采样,在运行时$O(D)$是线性的维度$D$的输入数据。我们的算法在$D$中实现了指数加速比,与任何已知的经典算法相比,该采样任务。与现有的量子机器学习算法相比,我们的算法避免了稀疏性和低秩假设,因此具有广泛的适用性。我们还表明,采样特征可以通过随机梯度下降与回归相结合,以实现学习,而不会抵消我们的指数加速。我们的算法基于采样优化的随机特征,为利用量子计算机的机器学习提供了一个加速框架。
2020-11-09 cs.LG quant-ph stat.ML