A Constrained Optimization Perspective of Unrolled Transformers
研究提出训练变压器的约束优化框架,通过对目标函数施加逐层下降约束及采用原对偶训练方案,应用于视频去噪和文本分类任务,使模型对扰动更鲁棒,分布外泛化能力更强,且保持分布内性能。
2026-07-08 cs.LG
Online Convex Optimization of Programmable Quantum Computers to Simulate Time-Varying Quantum Channels
University of Florence(佛罗伦萨大学);INFN sezione di Firenze(意大利国家核物理研究院佛罗伦萨分部);University of York(约克大学)
模拟量子信道是量子计算中的基本原理,因为量子信道定义了一般的(保迹的)量子操作。一个任意的量子信道不能使用有限维可编程量子处理器精确地模拟,使得重要的是开发最佳近似模拟技术。在本文中,我们研究了具有挑战性的设置,其中要模拟的信道随时间的变化而变化。我们提出了使用矩阵指数梯度下降(MEGD),在线凸优化方法,并分析表明,它实现了次线性遗憾的时间。通过实验,我们使用可编程广义隐形传态处理器验证了时变退相信道的主要结果。
2022-12-09 cs.AI cs.IT cs.LG
Collaborative and Federated Black-box Optimization: A Bayesian Optimization Perspective
Industrial \& Operations Engineering University of Michigan
本文从贝叶斯优化视角提出全局、局部和预测三个统一框架,解决协作与联邦黑盒优化中的分布式实验、异构性和隐私挑战,推动联邦学习从描述/预测范式向规范性序贯决策范式转变。
2024-11-12 cs.LG stat.ML
Understanding Memorization from the Perspective of Optimization via Efficient Influence Estimation
EPFL(洛桑联邦理工学院)
过度参数化的深度神经网络能够在保持小的泛化误差的同时实现出色的训练精度。人们还发现,它们能够适应任意的标签,这种行为被称为记忆现象。在这项工作中,我们研究了记忆与翻转脱落,一个有效的方法来估计影响和记忆的现象,为数据与真实标签(真实数据)和数据与随机标签(随机数据)。我们的主要发现是:(i)对于真实数据和随机数据,简单例子的优化(例如,真实数据)和困难的例子(例如,随机数据)由网络同时进行,简单的速度更快;(ii)对于真实数据,训练数据集中正确的困难示例比简单示例信息量更大。通过展示随机数据和真实数据记忆的存在,我们强调了它们之间关于优化的一致性,并强调了记忆在优化过程中的意义。
2021-12-16 cs.LG
Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization
Northeastern University(东北大学)
研究去中心化非光滑非凸随机优化中寻找稳定点的问题,提出ME-DOL算法,利用在线优化技术在一阶和零阶设置下实现了与最优集中式方案匹配的样本复杂度。
2024-06-03 cs.LG cs.SY eess.SY
Continual Optimization with Symmetry Teleportation for Multi-Task Learning
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
针对多任务学习中优化冲突和任务不平衡问题,提出基于对称传送的持续优化方法(COST),利用低秩适配器寻找损失等价点以减少冲突,并引入历史轨迹重用策略,作为即插即用方案提升现有方法性能。
2025-03-06 cs.AI cs.LG
Easing Optimization Paths: a Circuit Perspective
FAIR, Meta AI(Meta AI FAIR实验室)
本文借助机制可解释性的电路视角理解梯度训练机制,并在受控环境中设计高效学习课程,以降低计算成本并避免有害行为。
2025-01-04 cs.LG eess.SP stat.ML
Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校);Rice University(莱斯大学)
贝叶斯核心集已成为一种很有前途的方法,实现可扩展的贝叶斯推断。贝叶斯核心集问题涉及选择数据样本的(加权)子集,使得使用所选子集的后验推理非常接近使用完整数据集的后验推理。这篇手稿通过稀疏约束优化的镜头重新审视贝叶斯核心集。利用最新的进展,加速优化方法,我们提出并分析了一种新的算法的核心选择。我们提供了明确的收敛速度保证,并提出了一个经验评估的各种基准数据集,以突出我们提出的算法的优越性能相比,国家的最先进的速度和准确性。
2021-02-25 cs.LG stat.CO stat.ML
Cost-Sensitive Best Subset Selection for Logistic Regression: A Mixed-Integer Conic Optimization Perspective
University of Applied Sciences Berlin(柏林应用科学大学)
针对机器学习尤其是临床领域可解释模型的特征选择需求,提出一种考虑特征获取代价的混合整数锥优化逻辑回归最优特征选择方法,构建合成数据集生成器评估发现现有方法在小数据和标签噪声下有局限,给出实证建议并为元学习研究铺路。
2023-10-09 cs.AI cs.LG
A New Perspective on Boosting in Linear Regression via Subgradient Optimization and Relatives
Columbia University(哥伦比亚大学)
本文从一个新的角度分析了线性回归中的boosting算法:凸优化中的现代一阶方法。我们表明,经典的提升算法在线性回归,即增量向前stagewise算法(FS $_\varepsilon$)和最小二乘提升(LS-Boost($\varepsilon$)),可以被视为次梯度下降,以尽量减少损失函数定义为最大的绝对相关性之间的功能和残差。我们还提出了一个修改的FS $_\varepsilon$,产生一个算法的套索,可以很容易地扩展到一个算法,计算套索路径的正则化参数的不同值。此外,我们表明,这些新算法的套索也可以被解释为相同的主算法(次梯度下降),适用于最大绝对相关损失函数的正则化版本。利用凸优化中的现代一阶方法的技巧,我们为线性回归中的几种boosting算法(包括LS-Boost($\varepsilon$)和FS $_\varepsilon$)推导出了新颖的、全面的计算保证。我们的计算保证告诉我们关于boosting算法的统计特性。特别是,它们第一次提供了对数据保真度和正则化的精确理论描述,这些数据保真度和正则化是通过对任何数据集运行具有预先指定的学习率的boosting算法来实现的,该算法用于固定但任意数量的迭代。
2015-05-16 cs.LG math.OC math.ST
Active Learning and Bayesian Optimization: a Unified Perspective to Learn with a Goal
Politecnico di Torino(都灵理工大学);Imperial College London(帝国理工学院);Massachusetts Institute of Technology(麻省理工学院)
本文提出统一视角,将贝叶斯优化与主动学习形式化为由共同原则驱动的共生自适应采样方法,并通过准则映射、通用分类及基准实验揭示两者协同作用与适用边界。
2024-07-07 cs.LG stat.ML
Revisiting SGD with Increasingly Weighted Averaging: Optimization and Generalization Perspectives
The University of Iowa(爱荷华大学)
随机梯度下降(SGD)已经在文献中从不同角度进行了广泛的研究,并且通常用于解决许多大数据机器学习问题。然而,将所有迭代解组合成单个解的平均技术仍然未被探索。虽然一些越来越加权平均计划已被认为在文献中,现有的工作大多限于强凸的目标函数和优化误差的收敛性。对于{\bf非强凸目标,包括非凸问题},这些平均方案如何影响{\it优化误差和泛化误差}(测试误差的两个同等重要的分量)的收敛性仍然不清楚。本文从优化误差和泛化误差两个方面综合分析了凸、强凸和非凸目标函数上的递增加权平均算法,{ \it fill the gap}.特别是,我们分析了一个家庭的日益加权平均,在迭代$t$的解决方案的权重是成比例的$t^α$($α> 0$)。我们展示了$α$如何影响优化误差和泛化误差,并展示了由$α$引起的权衡。实验已经证明了这种权衡和多项式增加加权平均的有效性,与其他平均方案相比,适用于包括深度学习在内的各种问题。
2020-05-27 cs.LG stat.ML
Rethinking Optimization with Differentiable Simulation from a Global Perspective
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
微分模拟是一种很有前途的工具包,用于快速的基于梯度的策略优化和系统辨识。然而,现有的可微模拟方法在很大程度上解决了获得平滑梯度相对容易的情况,例如具有大部分平滑动态的系统。在这项工作中,我们研究了可微模拟提出的挑战,当它是不可行的期望,一个单一的下降达到全局最优,这往往是一个问题,在接触丰富的情况下。我们分析了包含刚体和可变形对象的各种场景的优化景观。在具有高度可变形物体和流体的动态环境中,可微分模拟器产生崎岖的景观,但在空间的某些部分具有有用的梯度。我们提出了一种方法,结合贝叶斯优化与半本地的“飞跃”,以获得一个全局搜索方法,可以有效地使用梯度,同时也保持了鲁棒性的性能,在区域噪声梯度。我们表明,我们的方法优于几个基于梯度和无梯度的基线上的一组广泛的仿真实验,并验证了该方法使用的实验与一个真正的机器人和变形。视频和补充材料可在https://tinyurl.com/globdiff上获得
2022-06-28 cs.LG cs.RO stat.ML
A constrained optimization perspective on actor critic algorithms and application to network routing
Institute for Systems Research, University of Maryland(马里兰大学系统研究所);Astrome Technologies Pvt Ltd(Astrome科技私人有限公司);Indian Institute of Science(印度科学学院)
我们提出了一种新的演员-评论家算法,保证收敛到最优策略的折扣报酬马尔可夫决策过程。演员结合了下降方向,这是由一定的非线性优化问题的解决方案的动机。我们还讨论了一个扩展,将函数逼近和证明我们的算法的实用性上的网络路由应用。
2015-07-28 cs.LG math.OC
Learning Hard Optimization Problems: A Data Generation Perspective
Syracuse University(雪城大学);Georgia Institute of Technology(佐治亚理工学院)
最优化问题在我们的社会中无处不在,几乎存在于经济的每一个部分。这些最优化问题中的大多数是NP难的,并且计算量很大,对于大规模的实例,通常需要近似解。机器学习框架学习近似解这些困难的最优化问题是解决这些困难的潜在有前途的途径,特别是当许多密切相关的问题实例必须重复解决时。监督学习框架可以使用预先解决的实例的输出来训练模型。然而,当输出本身是近似值时,当最优化问题具有对称解时,和/或当求解器使用随机化时,紧密相关的实例的解可能表现出大的差异,并且学习任务可能固有地变得更加困难。本文展示了这一关键挑战,将训练数据的波动性与模型近似它的能力联系起来,并提出了一种方法,用于产生更适合监督学习任务的最优化问题的(精确或近似)解决方案。该方法的有效性进行了测试,硬非线性,非凸和离散组合问题。
2021-06-21 cs.LG math.OC
Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
Yale University(耶鲁大学)
本文综述了将凸优化问题作为可微层嵌入神经网络的方法,梳理其从二次规划到一般凸优化的发展,并结合数学证明与应用案例探讨其理论基础、当前能力与未来方向。
2024-12-30 cs.LG math.OC
A Survey of Optimization Methods from a Machine Learning Perspective
East China Normal University(华东师范大学)
机器学习发展迅速,取得了许多理论突破,在各个领域得到广泛应用。优化作为机器学习的重要组成部分,受到了研究者的广泛关注。随着数据量的指数级增长和模型复杂度的增加,机器学习中的优化方法面临着越来越多的挑战。在机器学习中,人们相继提出了许多解决优化问题或改进优化方法的工作。从机器学习的角度对优化方法进行系统的回顾和总结,对优化技术的发展和机器学习的研究都具有重要的指导意义。在本文中,我们首先描述了机器学习中的优化问题。然后介绍了常用优化方法的原理和进展。接下来,我们总结了优化方法在一些热门的机器学习领域的应用和发展。最后,我们对机器学习中的优化问题进行了探讨和展望。
2019-10-23 cs.LG math.OC stat.ML
A new perspective on low-rank optimization
Sloan School of Management, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院);London Business School(伦敦商学院)
本研究引入矩阵透视函数,结合正交投影矩阵提出矩阵透视重构技术,可高效生成各类低秩问题的强凸松弛,推广了混合整数优化的透视重构方法。
2022-03-02 cs.LG math.OC stat.ML
End-to-End Learning for Stochastic Optimization: A Bayesian Perspective
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of Konstanz(康斯坦茨大学)
该研究从贝叶斯视角解读标准端到端学习算法,提出训练对应经验风险最小化与分布鲁棒优化解的决策映射的新算法,并通过合成与真实数据实验验证了方案差异与架构影响。
2023-06-11 cs.LG math.OC stat.ML
Model Generalization: A Sharpness Aware Optimization Perspective
锐化感知最小化(SAM)和自适应锐化感知最小化(ASAM)旨在提高模型的泛化能力。在这个项目中,我们提出了三个实验来验证他们的推广从锐度意识的角度来看。实验结果表明,基于锐度感知的优化技术可以提供具有较强泛化能力的模型。我们的实验还表明,ASAM可以提高非规范化数据的泛化性能,但需要进一步的研究来证实这一点。
2022-08-14 cs.AI cs.LG
Finite-Sum Optimization: A New Perspective for Convergence to a Global Solution
CWI Amsterdam(阿姆斯特丹数学与计算机科学中心);IBM Research(IBM研究院);Cornell University(康奈尔大学)
深度神经网络(DNN)在许多机器学习任务中取得了巨大成功。它们的训练是具有挑战性的,因为网络架构的损失表面通常是非凸的,甚至是不光滑的。如何以及在何种假设下保证收敛到\textit{global}最小值?我们提出了一个重新制定的最小化问题,允许一个新的递归算法框架。通过使用有界风格的假设,我们证明了收敛到一个$\varepsilon$(全球)最小值使用$\mathcal{\tilde{O}}(1/\varepsilon^3)$梯度计算。我们的理论基础激励进一步的研究,实施和优化的新算法框架和进一步调查其非标准的有界风格的假设。这个新方向拓宽了我们对DNN训练为什么以及在什么情况下收敛到全局最小值的理解。
2022-02-07 cs.LG math.OC stat.ML
A Variational Perspective on Generative Protein Fitness Optimization
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
本文提出VLGPO,一种基于变分视角的蛋白质适应性优化方法,通过将序列嵌入连续潜在空间并结合流匹配先验与适应性预测器,在多个基准上取得最优结果,且提供灵活的即插即用框架。
2025-05-28 cs.LG
TD Convergence: An Optimization Perspective
Amazon(亚马逊);Technion(以色列理工学院)
该研究从优化视角分析时序差分(TD)学习算法,明确了影响其收敛与发散的两种作用力,证明其收敛性取决于两力的相互作用,并将结论拓展至更广泛场景,为TD在强化学习中的成功应用提供了理论依据。
2023-11-08 cs.LG
Quantization-based Optimization with Perspective of Quantum Mechanics
ETRI(韩国电子通信研究院)
本文基于薛定谔方程分析基于量子化的优化,揭示隧穿效应能逃离局部最小值以实现全局优化,并在多模态基准函数上验证了该分析的有效性。
2023-10-18 cs.LG quant-ph
Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond
Dalian University of Technology(大连理工大学);Southern University of Science and Technology(南方科技大学);Xi’an Jiaotong University(西安交通大学);Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学)
双层优化(BLO)是由经济博弈论发展而来,并被引入到优化领域的。BLO能够处理具有层次结构的问题,涉及两个级别的优化任务,其中一个任务嵌套在另一个任务中。在机器学习和计算机视觉领域,尽管动机和机制不同,但许多复杂问题,如超参数优化、多任务和元学习、神经结构搜索、对抗学习和深度强化学习,实际上都包含一系列密切相关的子问题。在本文中,我们首先从BLO的角度统一表达这些复杂的学习和视觉问题。然后,我们构建了一个基于最佳响应的单级重构,并建立了一个统一的算法框架,以理解和制定主流的基于梯度的BLO方法,涵盖的方面,从基本的自动微分计划,各种加速,简化,扩展及其收敛性和复杂性。最后,我们讨论了我们的统一BLO框架的潜力,设计新的算法,并指出一些有前途的方向,为未来的研究。
2021-09-28 cs.CV cs.LG math.DS
LEAD: Min-Max Optimization from a Physical Perspective
University of Montreal(蒙特利尔大学);Mila, Quebec AI Institute(米拉魁北克人工智能研究所);University of California, Riverside(加州大学河滨分校)
本文从物理视角提出LEAD优化器,用于改善生成对抗网络等最小-最大博弈中的旋转动力学,通过李雅普诺夫和谱分析证明其线性收敛到纳什均衡,并在CIFAR-10上验证了训练改进。
2023-06-21 cs.GT cs.LG cs.MA
A Gradient Perspective on RLVR Stability and Winner Advantage Policy Optimization
Berkeley(伯克利);Layer 6 AI
通过令牌级梯度动力学分析GRPO的不稳定性,提出仅更新正优势完成的WAPO算法,在数学推理和多跳QA任务中提升训练稳定性并匹配或超越基线。
2026-06-16 cs.LG
Understanding and Improvement of Adversarial Training for Network Embedding from an Optimization Perspective
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Beijing Normal University(北京师范大学)
网络嵌入的目的是学习一个函数,将节点映射到欧几里得空间,有助于网络上的多个学习分析任务。然而,真实世界网络背后的噪声信息和过拟合问题都会对嵌入向量的质量产生负面影响。为了解决这些问题,研究人员利用对抗训练网络嵌入(AdvTNE)并实现最先进的性能。与主流方法对网络结构或数据特征进行扰动不同,AdvTNE直接对模型参数进行扰动,这为理解其背后的机制提供了新的机会。在本文中,我们解释AdvTNE理论从优化的角度。考虑到网络的幂律特性和优化目标,分析了其优良性能的原因。根据上述分析,我们提出了一种新的激活,以提高性能的AdvTNE。我们在四个真实网络上进行了大量的实验,以验证我们的方法在节点分类和链接预测的有效性。结果表明,我们的方法是优于国家的最先进的基线方法。
2021-12-15 cs.LG
Transformers from an Optimization Perspective
University of Michigan(密歇根大学);Fudan University(复旦大学);Amazon Web Services(亚马逊云科技)
深度学习模型(如Transformer)通常是通过理论和经验构建的。为了提供一个补充的基础,在这项工作中,我们研究了以下问题:是否有可能找到一个能量函数的基础上的Transformer模型,使下降步骤沿着这个能量对应的Transformer向前通过?通过找到这样一个函数,我们可以将Transformers视为跨迭代的可解释优化过程的展开。这种展开的观点在过去经常被用来阐明更直接的深度模型,如MLP和CNN;然而,迄今为止,它仍然难以获得具有自注意机制(如Transformer)的更复杂模型的类似等价性。为此,我们首先概述了几个主要的障碍,然后提供配套技术,至少部分地解决他们,第一次展示了能量函数最小化和深层自我注意之间的密切联系。这种解释有助于我们对Transformers的直觉和理解,同时可能为新模型设计奠定基础。
2023-02-27 cs.LG
Convolution-weighting method for the physics-informed neural network: A Primal-Dual Optimization Perspective
针对物理信息神经网络在有限点集上优化导致收敛性与精度不足的问题,本文提出一种将损失权重从孤立点自适应扩展到连续邻域的卷积加权方案,实验证明其能有效降低相对 $L^2$ 误差。
2025-07-18 cs.LG
Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective
Beijing Institute of Technology(北京理工大学);Renmin University of China(中国人民大学)
图卷积网络(GCN)在各种基于图的任务上取得了令人满意的性能。然而,当堆叠更多层时,它们遭受过度平滑。在本文中,我们提出了一个定量的研究,这一观察和发展新的见解更深的GCN。首先,我们从优化的角度来解释当前的图卷积运算,并认为过度平滑主要是由优化问题的解的朴素一阶近似引起的。随后,我们引入了两个指标来衡量节点级任务的过度平滑。具体来说,我们分别计算连接和断开连接的节点之间的成对距离占总距离的分数。基于我们的理论和实证分析,我们从优化的角度建立了一个通用的GCN理论框架,并推导出一种新的卷积核GCN+,它具有较低的参数量,同时从本质上减轻了过平滑。在真实数据集上的大量实验表明,GCN+在节点分类任务上的性能优于最先进的基线方法。
2020-09-25 cs.AI cs.LG stat.ML
Intuitive Analysis of the Quantization-based Optimization: From Stochastic and Quantum Mechanical Perspective
ETRI(韩国电子通信研究院);Future Computing Research Division(未来计算研究部);Artificial Intelligence Research Lab(人工智能研究实验室)
本文从随机与量子力学视角直观分析基于目标函数量化的优化方法,推导过阻尼 Langevin 动力学模型,并结合 Witten-Laplacian 进行热力学与量子力学分析,通过基准函数实验验证其有效性。
2024-12-31 cs.LG quant-ph
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology(华中科技大学)
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析,证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私,推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界,为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
A Survey of Automatic Prompt Engineering: An Optimization Perspective
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);East China Normal University(华东师范大学);Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海智能自主系统研究院)
本文从优化理论视角首次全面综述自动提示工程,将其形式化为提示空间上的最大化问题并系统分类方法,为研究者和从业者建立框架,同时指出未充分探索的前沿方向。
2025-02-17 cs.AI cs.LG
Understanding A Class of Decentralized and Federated Optimization Algorithms: A Multi-Rate Feedback Control Perspective
University of Minnesota(明尼苏达大学)
分布式算法在诸如机器学习、信号处理和控制等许多应用中发挥着越来越重要的作用。大量的研究工作致力于开发和分析各种应用的新算法。在这项工作中,我们提供了一个新的视角来理解,分析和设计分布式优化算法。通过镜头的多速率反馈控制,我们表明,广泛的分布式算法,包括流行的分散/联邦计划,可以被视为离散化的某个连续时间反馈控制系统,可能有多个采样率,如分散梯度下降,梯度跟踪,联邦平均。这个关键的观察不仅使我们能够开发一个通用的框架来分析整个算法类的收敛性。更重要的是,它还带来了一种设计新的分布式算法的有趣方式。我们开发了我们的框架背后的理论,并提供了一些例子来强调如何在实践中使用该框架。
2022-11-02 cs.LG cs.SY eess.SY
Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives
University of Warwick(华威大学)
尽管频繁方向(\acrshort{fd})在理论和实践上都有令人印象深刻的表现,但它在大规模回归问题中并没有得到广泛的应用。先前的工作表明,随机化草图(i)在估计数据的协方差矩阵方面比\acrshort{fd}表现更差;(ii)在估计草图岭回归的偏倚和/或方差时产生高误差。本文给出了基于\acrshort{fd}的概略岭回归模型的偏差和方差的第一常数因子相对误差界。我们补充这些统计结果表明,\acrshort{fd}可用于优化设置,通过迭代方案,产生高精度的解决方案。这改进了随机化方法,这些方法需要在每次迭代时都需要一个新的草图,以加快收敛速度。在这两种设置中,我们还表明使用\emph{Robust Frequent Directions}进一步增强了性能。
2020-11-06 cs.DS cs.LG stat.ML
Spherical Perspective on Learning with Normalization Layers
Ecole des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);Département d’informatique de l’ENS, PSL(巴黎高等师范学院计算机系(巴黎文理研究大学));Inria(法国国家信息与自动化研究所)
规范化层(Normalization Layers,NLs)广泛用于现代深度学习架构。尽管它们明显简单,但它们对优化的影响尚未完全理解。本文引入了一个球形框架,从几何角度研究了具有自然语言的神经网络的优化问题。具体地,参数组(例如卷积神经网络的滤波器)的径向不变性允许在$L_2$单位超球面上平移优化步骤。这个公式和相关的几何解释揭示了新的光的训练动态。首先推导了Adam的第一有效学习率表达式。然后证明,在存在NL的情况下,单独执行随机梯度下降(SGD)实际上相当于亚当约束到单位超球面的变体,源于该框架。最后,该分析概述了亚当以前的变体作用的现象,并通过实验验证了它们在优化过程中的重要性。
2022-05-19 cs.LG stat.ML
Boosting Variational Inference: an Optimization Perspective
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院);UT Austin(得克萨斯大学奥斯汀分校)
变分推理是一种流行的技术,以近似一个可能难以处理的贝叶斯后验更容易处理。最近,提升变分推理已被提出作为一种新的范例,通过向混合物中添加分量来近似混合密度的后验。然而,与许多其他变分推理算法一样,它的理论性质尚未得到研究。在目前的工作中,我们研究了这种方法的收敛性,从现代优化的观点,通过建立连接到经典的弗兰克-沃尔夫算法。我们的分析产生了新的理论见解的充分条件收敛,明确的速度,算法简化。由于变分推理在以前的作品中有很多重点是在易处理性上,我们的工作是特别重要的,因为我们迫切需要尝试弥合概率模型及其相应的理论性质之间的差距。
2018-03-07 cs.AI cs.LG stat.ML
Contrasting Exploration in Parameter and Action Space: A Zeroth-Order Optimization Perspective
Carnegie Mellon University(卡内基梅隆大学);Aurora Innovation(极光创新公司)
在参数空间中探索的黑盒优化器通常被证明优于专门为强化学习问题开发的更复杂的动作空间探索方法。我们仔细研究这些黑盒方法,以确定它们比动作空间探索方法更差的情况,以及它们更优越的情况。通过简单的理论分析,证明了参数空间中探索的复杂性依赖于参数空间的维数,而动作空间中探索的复杂性同时依赖于动作空间的维数和视界长度。通过比较几种模型问题的简单探索方法,包括连续控制中的上下文Bandit,线性回归和强化学习,也从经验上证明了这一点。
2019-01-31 cs.AI cs.LG cs.RO
Maximizing Cumulative User Engagement in Sequential Recommendation: An Online Optimization Perspective
Alibaba Group(阿里巴巴集团);Microsoft(微软)
为了最大化顺序推荐中的累积用户参与度(例如累积点击),通常需要权衡两个潜在冲突的目标,即,追求更高的即时用户参与度(例如,点击率)和鼓励用户浏览(即,更多项目已确认)。现有的工作往往研究这两个任务分开,从而往往导致次优的结果。在本文中,我们从在线优化的角度研究这个问题,并提出了一个灵活实用的框架,明确权衡较长的用户浏览长度和高即时用户参与。具体来说,通过考虑项目的行动,用户的请求作为状态和用户离开作为吸收状态,我们制定每个用户的行为作为一个个性化的马尔可夫决策过程(MDP),和最大化的累积用户参与的问题减少到一个随机最短路径(SSP)的问题。同时,通过即时用户参与和退出概率估计,证明了SSP问题可以通过动态规划有效地解决。在真实数据集上的实验证明了该方法的有效性。该方法在某大型电子商务平台上进行了部署,取得了超过7%的累计点击量提升。
2020-06-02 cs.AI cs.IR cs.LG
Why Federated Optimization Fails to Achieve Perfect Fitting? A Theoretical Perspective on Client-Side Optima
Beijing Institute of Technology(北京理工大学)
本文从理论视角解释了联邦优化在数据异构性下性能下降的原因,指出客户端局部最优解间的距离会提高全局目标下界并导致模型在末期振荡,从而无法完美拟合数据。
2025-11-01 cs.AI cs.LG stat.ML
Multi-Objective Reinforcement Learning for Large Language Model Optimization: Visionary Perspective
Fraunhofer Institute for Applied Information Technology FIT, Germany(弗劳恩霍夫应用信息科技研究所);Soochow University, China(苏州大学);University Hospital of Cologne, Germany(科隆大学医院)
本文提出多目标强化学习(MORL)分类法,分析其在优化大语言模型中的优劣,并展望了元策略MORL及基准框架以提升效率与灵活性。
2025-09-25 cs.AI cs.CL cs.LG
Topology Attack and Defense for Graph Neural Networks: An Optimization Perspective
Northeastern University(东北大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);Massachusetts Institute of Technology(麻省理工学院);University of Minnesota(明尼苏达大学)
将深度神经网络应用于图数据的图神经网络(GNN)在半监督节点分类任务中取得了显著的性能。然而,只有很少的工作解决了GNN的对抗鲁棒性。在本文中,我们首先提出了一种新的基于梯度的攻击方法,方便了处理离散图数据的困难。当与当前对GNN的对抗攻击相比时,结果表明,通过仅扰动少量的边缘扰动,包括添加和删除,我们基于优化的攻击可以导致分类性能的显著下降。此外,利用我们基于梯度的攻击,我们提出了第一个基于优化的GNN对抗训练。我们的方法产生更高的鲁棒性对不同的梯度和贪婪的攻击方法,而不牺牲原始图的分类精度。
2019-10-14 cs.CR cs.LG cs.SI
What Makes a Reward Model a Good Teacher? An Optimization Perspective
Some Institute(某些研究所)
从优化角度研究奖励模型的有效性,发现奖励方差对优化效率至关重要,准确性不足以保证模型效果。
2026-02-27 cs.AI cs.CL cs.LG