Empirically Accelerating Scaled Gradient Projection Using Deep Neural Network For Inverse Problems In Image Processing
UNIST(蔚山国立科学技术院)
最近,深度神经网络(DNN)在加速优化算法方面显示出优势。一种方法是展开传统优化算法的有限次迭代,并学习算法中的参数。然而,这些都是向前的方法,实际上既不是迭代的,也不是收敛的。在这里,我们提出了一种新的基于DNN的收敛迭代算法,可以加速传统的优化算法。我们训练一个DNN来产生尺度梯度投影方法中的参数。到目前为止,这些参数的选择是严格的,但已被证明是至关重要的良好的经验表现。仿真结果表明,对于图像处理中的各种大规模反问题,该方法的经验收敛速度明显优于传统的优化方法.
2021-04-22 cs.CV cs.LG stat.ML
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory(阿贡国家实验室);Wayne State University(韦恩州立大学)
在分布式机器学习中,跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器,实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中,我们解决了强凸,凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法,(加速)梯度上升多随机梯度下降(GA-MSGD),适用于分布式优化的拉格朗日固有地包含本地更新,因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是,对于强凸目标,(加速)GA-MSGD在通信轮次中实现线性收敛,尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质,使得对偶问题是强凹的。当与Catalyst框架集成时,我们的方法在各种设置中实现了接近最佳的通信复杂性,而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
Accelerating Single-Pass SGD for Generalized Linear Prediction
Peking University(北京大学)
本文提出了一种新型算法,通过数据依赖性近端方法实现双动量加速,解决了流式环境下一般线性预测中动量加速的有效性问题。
2026-03-02 cs.LG math.OC stat.ML
Accelerating Feedback-based Algorithms for Quantum Optimization Using Gradient Descent
Luddy School of Informatics, Computing, and Engineering(信息学、计算与工程学院);Indiana University Bloomington(印第安纳大学布卢明顿分校);Bloomington, IN, United States(布卢明顿,印第安纳州,美国)
本研究提出一种结合层间梯度估计的混合方法,用于加速量子李雅普诺夫控制在量子优化中的收敛速度,同时保持低训练开销和稳定性。
2026-02-12 cs.LG quant-ph
Accelerating Bayesian Optimization for Biological Sequence Design with Denoising Autoencoders
New York University(纽约大学);BigHat Biosciences(BigHat生物科学公司)
贝叶斯优化(BayesOpt)是查询高效连续优化的黄金标准。然而,它的药物设计的采用受到了阻碍的离散,高维的决策变量的性质。我们开发了一种新的方法(LaMBO),该方法联合训练去噪自动编码器与判别式多任务高斯过程头,允许在自动编码器的潜在空间中对多目标采集函数进行基于梯度的优化。这些获取功能允许LaMBO在多个设计回合中平衡探索-利用权衡,并通过优化帕累托边界上许多不同点的序列来平衡客观权衡。我们评估LaMBO的两个小分子设计任务,并介绍了新的任务优化大分子荧光蛋白的\emph{in silico}和\emph{in vitro}属性。在我们的实验中,LaMBO优于遗传优化器,并且不需要大量的预训练语料库,这表明BayesOpt对于生物序列设计是实用和有效的。
2022-07-12 cs.LG cs.NE q-bio.QM
Accelerating Min-Max Optimization via Power-Law Stepsizes
University of Southern California(南加州大学);Yale University(耶鲁大学)
本文提出确定性动态步长调度,将外梯度方法的最后迭代收敛率从Θ(T^{-1/2})加速到O(T^{-2/3+ε}),并通过分离外推和更新步长进一步达到近最优的O(T^{-1+ε})。
2026-11-02 cs.GT cs.LG math.OC
Accelerating Look-ahead in Bayesian Optimization: Multilevel Monte Carlo is All you Need
University of Manchester(曼彻斯特大学);Durham University(杜伦大学);Meta Platforms, Inc.(元平台公司)
利用多层蒙特卡洛(MLMC)解决多步前瞻贝叶斯优化中嵌套期望导致的朴素MC复杂度退化问题,实现标准收敛速率,并在理论与基准实验中验证了其有效性与广泛适用性。
2024-06-25 cs.LG math.OC math.PR
Accelerating Mini-batch SARAH by Step Size Rules
Sun Yat-sen University(中山大学);Xiamen University(厦门大学)
随机递归梯度算法(SARAH)最初是为凸优化而提出的,也被证明是一般非凸优化的有效算法,由于其简单的递归框架来更新随机梯度估计而受到极大的关注。SARAH算法的性能很大程度上取决于步长序列的选择。然而,SARAH及其变体通常采用导师最佳调整的步长,这在实践中是耗时的。受此影响,我们提出了Barzilai-Borwein(BB)方法的一种变体,称为随机Barzilai-Borwein(RBB)方法,用于计算SARAH在小批量设置中的步长,从而产生了一种新的SARAH方法:MB-SARAH-RBB。我们证明了MB-SARAH-RBB在强凸目标函数的期望下线性收敛。我们分析了MB-SARAH-RBB算法的复杂度,并表明它优于原算法。标准数据集上的数值实验表明,MB-SARAH-RBB优于或匹配的最先进的算法。
2019-06-20 cs.LG math.OC stat.ML
Honegumi: An Interface for Accelerating the Adoption of Bayesian Optimization in the Experimental Sciences
University of Utah(犹他大学);Acceleration Consortium, University of Toronto(多伦多大学加速联盟)
针对实验科学研究者使用贝叶斯优化库门槛较高的问题,本文提出基于 Ax 平台的交互式接口 Honegumi,通过参数化生成可直接运行的 Python 脚本并配套教程,推动 BO 普及。
2025-02-04 cond-mat.mtrl-sci cs.LG
Accelerating SGD for Distributed Deep-Learning Using Approximated Hessian Matrix
University of Southern California(南加州大学)
我们介绍了一种新的方法来计算一个秩$m$近似的海森矩阵的逆在分布式政权。通过利用多个Workers的梯度和参数的差异,我们能够有效地实现Newton-Raphson方法的分布式近似。我们还提出了初步的结果,强调大型随机优化问题的二阶方法的优势和挑战。特别是,我们的工作表明,结合梯度的新策略提供了损失表面的进一步信息。
2017-09-15 cs.LG
Multiplicative update rules for accelerating deep learning training and increasing robustness
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
本文提出一种结合乘法与加法更新的混合优化框架,加速深度学习训练并提升模型鲁棒性,实验验证于多种任务和优化方法。
2023-07-14 cs.AI cs.LG
Accelerating Stochastic Probabilistic Inference
Amazon(亚马逊)
近年来,随机变分推理(SVI)由于能够找到概率模型的良好后验近似而越来越受到关注。它根据自然梯度的噪声估计,通过随机优化来优化变分目标。然而,几乎所有的最先进的SVI算法是基于一阶优化算法,往往受到收敛速度差。在本文中,我们提出了一个基于二阶的随机变分推理方法,弥补了二阶方法和随机变分推理之间的差距。特别地,我们首先推导出变分目标的Hessian矩阵。然后,我们设计了两个数值方案,有效地实现二阶SVI。在合成数据集和真实数据集上进行了全面的经验评估,以支持所提出的方法的有效性和效率。
2022-03-15 cs.AI cs.LG stat.ML
On Accelerating Distributed Convex Optimizations
University of Maryland(马里兰大学);École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
研究了一个分布式多智能体凸优化问题。该系统包括多个代理在这个问题中,每个具有一组本地数据点和相关的本地费用函数。代理连接到服务器,并且没有代理间通信。智能体的目标是学习一个参数向量,该参数向量优化其本地成本的总和,而不暴露其本地数据点。原则上,代理可以通过使用传统的分布式梯度-下降法与服务器协作来解决这个问题。然而,当总成本是病态的,梯度-下降法(i)需要大量的迭代收敛,(ii)是非常不稳定的过程噪声。我们提出了一种迭代预处理技术,以减轻有害影响的费用函数的条件分布梯度下降的收敛速度。与传统的预处理技术不同,在我们提出的技术中的预处理矩阵迭代更新,以促进分布式网络上的实现。在分布式环境下,我们证明了该算法的线性收敛性,比传统的自适应梯度下降法具有更高的收敛速率。此外,对于总成本的极小值是唯一的特殊情况,我们的算法超线性收敛。我们证明了我们的算法的优越性能相比,突出的分布式算法解决真正的逻辑斯谛回归问题,并通过一个嘈杂的二次模型仿真神经网络训练,从而标志着该算法的效率分布式解决非凸优化。此外,我们的经验表明,该算法的结果在更快的训练,而不影响泛化性能。
2021-08-19 cs.LG cs.SY eess.SY
Accelerating variational quantum algorithms with multiple quantum processors
JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
变分量子算法(VQA)有可能利用近期量子机获得某些计算优势,而不是经典方法。然而,现代VQA遭受了繁琐的计算开销,这受到采用单独的量子处理器来处理大量数据的传统的阻碍。因此,为了更好地发挥VQA的优越性,提高其运行效率具有重要意义。在这里,我们设计了一个有效的分布式优化方案,称为QUDIO,来解决这个问题。具体来说,在QUDIO中,一个经典的中央服务器将学习问题划分为多个子问题,并将它们分配给多个本地节点,每个节点都由一个量子处理器和一个经典优化器组成。在训练过程中,各局部节点并行进行优化,经典服务器在局部节点间及时传递优化信息。在这样做时,我们证明了QUDIO的次线性收敛速度的理想情况下的全局迭代次数,而系统的不完善性可能会导致发散优化。标准基准测试的数值结果表明,QUDIO可以令人惊讶地实现超线性的运行时加速相对于本地节点的数量。我们的建议可以很容易地与其他先进的基于VQA的技术相结合,以缩小现有技术与具有量子优势的应用之间的差距。
2021-06-24 cs.LG quant-ph
HUANet: Hard-Constrained Unrolled ADMM for Constrained Convex Optimization
Department of Electrical and Computer Engineering, University of Central Florida(电子与计算机工程系,中央佛罗里达大学)
HUANet通过展开ADMM迭代构建约束深度神经网络,解决约束凸优化问题,通过硬约束神经网络加速算法并促进收敛。
2026-10-02 cs.LG cs.SY eess.SY
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft(微软)
近年来,基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型,许多神经网络从业者试图增加批量大小,以便利用多个GPU来提高训练速度。然而,增加批量大小通常会使优化变得更加困难,导致收敛速度慢或泛化能力差,可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中,我们探讨了大批量优化的损失景观的陡峭程度,以适应预训练的基于transformer的语言模型特定于领域的任务,并发现它往往是高度复杂和不规则的,对下游任务的泛化提出了挑战。为了应对这一挑战,我们提出了ScaLA,一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同,我们采用了一种顺序博弈论方法,将轻量级对抗性噪声添加到大批量优化中,从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明,ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$,同时达到了与现有大批量优化方法相当的精度,有时甚至更高。最后,我们还解决了大批量优化与对抗噪声的理论方面,并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
Accelerating Floating-Point Satisfiability Solving via Gradient Normalization
针对浮点SMT求解中梯度支配导致的局部最优问题,提出GradSAT框架,将每个子句视为多任务学习任务,通过动态梯度归一化平衡梯度,结合GPU加速连续松弛与位精确局部搜索,实现稳健高效的求解。
2026-10-08 cs.AI cs.LG
Accelerating material discovery with a threshold-driven hybrid acquisition policy-based Bayesian optimization
West Virginia University(西弗吉尼亚大学)
本文提出阈值驱动的UCB-EI混合采集策略贝叶斯优化(TDUE-BO),通过动态切换探索与利用,高效导航高维材料空间,在三个数据集上优于传统BO方法。
2023-11-16 cond-mat.mtrl-sci cs.LG stat.ML
Accelerating Adversarial Perturbation by 50% with Semi-backward Propagation
对抗扰动在对抗鲁棒性研究中起着重要的作用,它解决了输入数据的最大化问题。我们表明,这种优化的反向传播可以加速$2\times$(因此,包括前向传播的整体优化可以加速$1.5\times$),没有任何效用下降,如果我们只计算输出梯度,而不是参数梯度在反向传播。
2022-11-09 cs.LG math.OC
Accelerating Perturbed Stochastic Iterates in Asynchronous Lock-Free Optimization
The Chinese University of Hong Kong(香港中文大学)
我们表明,随机加速可以在扰动的随机加速框架下实现(Mania等人,2017)在异步无锁优化,这导致有限和目标的最佳增量梯度复杂度。我们证明了我们的新的加速方法需要相同的线性加速条件,现有的非加速方法。我们的核心算法发现是一种新的具有稀疏更新的加速SVRG变体。实证结果验证了我们的理论研究结果。
2021-09-30 cs.LG math.OC stat.ML
Accelerating Optimization via Differentiable Stopping Time
Beijing International Center for Mathematical Research(北京国际数学研究中心);Peking University(北京大学);Department of Industrial Engineering(工业工程系);Tsinghua University(清华大学);School of Mathematics Science(数学科学学院)
本文提出了一种基于微分方程的可微停止时间方法,解决了最小化达到目标损失时间的不可微问题,并设计了高效反向传播算法,在在线超参数调优等应用中展现出优越性能。
2026-10-21 cs.LG math.OC
Accelerating Quadratic Optimization with Reinforcement Learning
Princeton University(普林斯顿大学);ETH Zurich(苏黎世联邦理工学院);University of California, Berkeley(加州大学伯克利分校)
二次优化的一阶方法如OSQP被广泛用于大规模机器学习和嵌入式最优控制,其中许多相关问题必须快速解决。这些方法面临两个持续的挑战:手动超参数调整和收敛时间高精度的解决方案。为了解决这些问题,我们探索了强化学习(RL)如何学习策略来调整参数以加速收敛。在著名的QP基准测试的实验中,我们发现我们的RL策略RLQP的性能明显优于最先进的QP求解器,最高可达3倍。RLQP令人惊讶地很好地推广到以前看不见的问题,不同的尺寸和结构,从不同的应用程序,包括QPLIB,Netlib LP和Maros-Meszaros问题。RLQP代码可在https://github.com/berkeleyautomation/rlqp上获得。
2021-07-22 cs.LG math.OC
Variance Regularization for Accelerating Stochastic Optimization
Boston College(波士顿学院);Brandeis University(布兰戴斯大学)
虽然现在大多数基于梯度的优化方法专注于探索高维几何特征,但任何算法实现的随机版本中积累的随机误差尚未受到重视。在这项工作中,我们提出了一个通用的原则,利用隐藏在小批量梯度的统计信息,减少了随机误差的积累。这是通过根据小批量方差正则化学习率来实现的。由于我们的观点的互补性,这种正则化可以为通用一阶方法的随机实现提供进一步的改进。实验结果表明,方差正则化可以加快收敛速度,并稳定随机优化。
2020-08-13 cs.LG math.OC stat.ML
Accelerating Stochastic Sequential Quadratic Programming for Equality Constrained Optimization using Predictive Variance Reduction
在本文中,我们提出了一个随机方法来解决等式约束最优化问题,利用预测方差减少。具体来说,我们开发了一种方法的基础上的顺序二次规划范例,采用方差减少梯度近似。在合理的假设下,我们证明了一阶平稳性评估的措施,我们所提出的算法产生的迭代收敛到零的期望从任意的起点,恒定和自适应步长的战略。最后,我们证明了我们提出的算法在机器学习中出现的约束二进制分类问题的实际性能。
2023-03-25 math.OC
Quasi-Quadratic Gradient: A New Direction for Accelerating the BFGS Method in Quasi-Newton Optimization
本文提出准二次梯度,通过利用局部二次曲率改进搜索路径,使BFGS方法收敛速度显著提升且保持计算效率。
2026-04-27 cs.AI math.OC
Accelerating Stochastic Composition Optimization
考虑随机复合最优化问题,其中目标是两个期望值函数的复合。我们提出了一种新的随机一阶方法,即加速随机成分邻近梯度(ASC-PG)方法,它更新的基础上查询的采样预言使用两个不同的时间尺度。ASC-PG是第一个可以处理非光滑正则化惩罚的随机复合问题的近似梯度法。我们表明,ASC-PG具有更快的收敛速度比最知名的算法,它实现了最佳的采样误差复杂性在几个重要的特殊情况下。我们进一步展示了ASC-PG在强化学习中的应用,并进行了数值实验。
2016-07-25 math.OC stat.ML
Accelerating Diagonal Methods for Bilevel Optimization: Unified Convergence via Continuous-Time Dynamics
该研究针对简单双层规划的快速对角方法,借助连续时间动力学分析在一般几何条件下给出统一收敛分析,得到显式收敛速率与弱收敛保证,改进拓展了加速方案相关结果,并通过数值实验验证了方法优势与理论结论。
2025-05-20 math.OC
Accelerating Rescaled Gradient Descent: Fast Optimization of Smooth Functions
我们提出了一个家庭的算法,称为下降算法,优化凸和非凸函数。我们还介绍了一个新的一阶算法,称为重新缩放梯度下降(RGD),并表明,RGD实现了更快的收敛速度比梯度下降提供的功能是强光滑-一个自然的推广标准的光滑假设的目标函数。当目标函数是凸的,我们提出了两个新的框架“加速”下降法,一个在风格的Nesterov和其他的风格的蒙泰罗和Svaiter,使用一个单一的李雅普诺夫。重标度梯度下降可以在相同的强平滑假设下使用这两个框架加速。我们提供了几个强光滑损失函数在机器学习和数值实验,验证我们的理论研究结果的例子。我们还提出了几个扩展我们的新的李雅普诺夫框架,包括推导出最佳通用张量方法和扩展我们的框架的坐标设置。
2020-01-04 math.OC
Accelerating Model-Free Policy Optimization Using Model-Based Gradient: A Composite Optimization Perspective
我们开发了一种算法,结合基于模型和无模型的方法来解决一个非线性最优控制问题的二次成本,其中系统模型是由一个线性状态空间模型与一个小的添加剂非线性扰动。我们将成本分解成两个函数的和,一个具有从近似线性模型获得的显式形式,另一个是表示未知建模误差的黑盒模型。分解允许我们将问题公式化为复合最优化问题。为了解决最优化问题,我们的算法执行梯度下降使用从近似线性模型获得的梯度,直到回溯线搜索失败,基于模型的梯度与从无模型算法获得的精确梯度进行比较。然后,模型梯度和精确梯度之间的差用于补偿未来的基于梯度的更新。与传统的无模型方法相比,我们的算法在理论上和实践中都减少了函数评估的数量。
2022-03-22 math.OC
Accelerating Fleet Upgrade Decisions with Machine-Learning Enhanced Optimization
TU Berlin(柏林工业大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对传统车队优化计算成本高且不考虑升级选项的问题,本文提出扩展整数规划和机器学习增强优化方法,在汽车案例中实现近优解并显著提升可扩展性。
2025-08-08 cs.CE cs.LG math.OC
Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates
J.P. Morgan AI Research(摩根大通AI研究);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
本文提出用强化学习策略替代割生成中的 NP-hard 环节,在保持最优性保证的同时,将 Benders decomposition 与迭代损失近似的平均收敛速度最高提升 45%。
2024-02-27 cs.AI cs.LG math.OC
Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion
本文提出利用可逆扩散和Euler-Maruyama离散化进行全局非凸优化,通过设计扩散系数实现加速收敛并控制离散化误差,证明了KL散度收敛性及速度与误差的权衡。
2023-05-19 math.OC stat.ML
Accelerating nuclear-norm regularized low-rank matrix optimization through Burer-Monteiro decomposition
Institute of Statistical Mathematics(统计数学研究所);Department of Mathematics University of Maryland at College Park(大学数学系);Institute of Operations Research and Analytics National University of Singapore(运营研究与分析国家大学研究所);Department of Mathematics and Institute of Operations Research and Analytics National University of Singapore(大学数学系和运营研究与分析国家大学研究所)
BM-Global通过布勒-蒙特罗分解加速核范数正则化的低秩矩阵优化,实现快速收敛和高效参数调优。
2026-02-12 cs.LG math.OC
Manifold Learning for Accelerating Coarse-Grained Optimization
为解决没有导数信息的高维最优化问题而提出的算法经常遇到“维数灾难”,随着参数空间的维数增加而变得无效。有效地低维的此类问题的子类的一个特征是,只有少数参数(或其组合)对于优化是重要的,并且必须详细地探索。提前知道这些参数/组合将大大简化问题及其解决方案。我们提出了一个有效的(粗粒度的,“趋势”)优化器的数据驱动的建设,从合奏的简短的模拟突发与“内部”优化算法的基础上,有可能加快探索的参数空间。这个“有效的优化器”的轨迹很快被吸引到一个由少数相关参数组合参数化的慢流形上。我们获得这个低维的参数化,有效的优化流形上的飞行使用数据挖掘/流形学习技术的模拟(内部优化器迭代)的结果突发合奏,并利用它本地“跳”沿此流形前进。因此,我们可以将参数空间的探索偏向少数重要的方向,并通过这种“包装算法”,加快传统优化算法的收敛速度。
2020-04-25 math.OC
Accelerating Evolutionary Strategy via Rao-Blackwellizing Realization of Uncertain Input
Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所);Universal Biology Institute, The University of Tokyo(东京大学综合生物学院)
该研究针对输入不确定性优化(OIU)问题,提出基于Rao-Blackwell化梯度估计器的表型加速进化策略(PAES),通过利用可观测的已实现输入信息降低梯度估计方差,实验显示其收敛速度快于常规进化策略。
2026-08-04 cs.LG math.OC
Strong Partitioning and a Machine Learning Approximation for Accelerating the Global Optimization of Nonconvex QCQPs
本文针对非凸QCQP全局优化提出强划分问题,并设计基于广义梯度的局部优化方法及机器学习近似,在Alpine求解器上实现平均2至4.5倍、最高200倍的求解加速。
2025-08-24 math.OC
Accelerating Single-Point Zeroth-Order Optimization with Regression-Based Gradient Surrogates
Texas A&M University(德克萨斯农工大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
通过回归基梯度代理提升单点零阶优化的收敛速度
2026-08-18 math.OC
QuACK: Accelerating Gradient-Based Quantum Optimization with Koopman Operator Learning
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
QuACK框架结合库普曼算子理论与自然梯度方法,通过交替算法高效预测量子梯度动力学,在量子优化与机器学习多个应用中实现最高超200倍加速。
2024-05-04 cs.AI cs.LG math.OC
Accelerating ADMM for Efficient Simulation and Optimization
交替方向乘子法(ADMM)是一种求解具有硬约束和潜在非光滑优化问题的常用方法。它已被应用于各种计算机图形应用,包括物理模拟,几何处理和图像处理。然而,ADMM可能需要很长时间才能收敛到高精度的解。此外,许多计算机图形任务涉及非凸优化,并且由于ADMM最初是为凸优化设计的,因此在此类问题上通常没有收敛保证。在本文中,我们提出了一种方法来加快ADMM使用安德森加速,一个既定的技术,用于加速定点迭代。我们证明了在一般情况下,ADMM是第二原始变量和对偶变量的不动点迭代,并且Anderson加速可以直接应用。此外,当问题具有可分离的目标函数并满足一定条件时,ADMM变为仅一个变量的不动点迭代,这进一步减少了Anderson加速的计算开销。此外,我们分析了一个特殊的非凸问题结构,这是常见的计算机图形学,并证明了ADMM的收敛性,在温和的假设下,这样的问题。我们应用我们的加速技术在计算机图形学中的各种优化问题,其收敛速度显着改善。
2019-09-01 cs.GR cs.NA math.NA
Accelerating Full-Scale Nonlinear Model Predictive Control via Surrogate Dynamics Optimization
Framatome(法马通);Université Paris Saclay, ENS Paris Saclay, CNRS, Centre Borelli(巴黎萨克雷大学、巴黎高等师范学院、法国国家科学研究中心、博尔莱中心)
本文提出代理动力学优化方法,通过轻量辅助问题提升全规模NMPC的收敛速度,减少训练数据生成成本。
2026-04-09 math.OC
Accelerating genetic optimization of nonlinear model predictive control by learning optimal search space size
Military Technical College(军事技术学院)
本文提出通过学习最优搜索空间大小来加速非线性模型预测控制的遗传优化,利用多元回归模型自适应预测搜索空间尺寸,减少计算时间17-45%,提高收敛率35-47%,并在三个非线性系统上验证了有效性。
2025-01-13 cs.CC cs.NE cs.RO
Accelerating shape optimization by deep neural networks with on-the-fly determined architecture
Institute of Thermomechanics of the Czech Academy of Sciences(捷克科学院热力学研究所);Institute of Hydrodynamics of the Czech Academy of Sciences(捷克科学院水动力学研究所)
本文提出一种基于深度神经网络的全局形状优化方法,通过交替模拟评估与DNN训练,实现对复杂优化问题的加速,应用于喷射器优化并验证了其有效性。
2025-12-05 cs.CE math.OC
Accelerating Stochastic Energy System Optimization Models: Temporally Split Benders Decomposition
针对小时级分辨率随机容量扩展规划问题求解耗时的问题,提出时间分裂的Benders分解方法,通过重构储能约束实现时间并行优化,使计算时间最多减少80%以上。
2025-08-14 math.OC
Accelerating Min-Max Optimization with Application to Minimal Bounding Sphere
我们研究的最小-最大优化问题,其中每个函数的最大操作是强凸和光滑的有界梯度的搜索域。通过平滑最大算子,我们展示了在$\tilde{O}(1/\sqrtδ)$计算复杂度(对数因子)中实现$δ$的任意小的正最优性间隙的能力,而不是$O(1/δ)$的最先进的强凸性计算要求。我们将这一重要结果应用于著名的最小包围球问题,并证明了我们可以实现最小包围球的$(1+\varepsilon)$ -近似,即确定一个超球,该超球包含$d$维无界空间$\mathbb{R}^d$中的全部$n$给定点,其半径至多为实际最小包围球半径的$(1+\varepsilon)$倍,对于任意小的正$\varepsilon$,与需要$O(n d /\varepsilon)$计算时间的核心组方法的现有技术方法相反,在$\tilde{O}(n d /\sqrt{\varepsilon})$计算时间中。
2019-05-29 math.OC stat.ML
On Accelerating Large-Scale Robust Portfolio Optimization
针对大规模稳健投资组合优化计算成本高的问题,提出扩展支撑超平面近似方法,在标普500成分股组合验证中,相比传统ELG优化大幅缩短计算时间,同时保持稳健样本外表现,提供可扩展的实用解决方案。
2024-08-15 cs.SY eess.SY math.OC
Accelerating Inexact Successive Quadratic Approximation for Regularized Optimization Through Manifold Identification
Institute of Statistical Mathematics(日本东京统计数学研究所)
本文提出ISQA+方法,通过识别流形提升正则化优化效率,实现迭代和运行时间双重超线性收敛。
2026-06-27 math.OC
Accelerating Distributed Stochastic Optimization via Self-Repellent Random Walks
North Carolina State University(北卡罗来纳州立大学);IQVIA Inc.(艾昆纬公司)
本文提出由广义自排斥随机游走SRRW驱动的随机近似算法SA-SRRW,用于分布式随机优化,并证明其迭代误差几乎必然收敛及渐近协方差以O(1/α^2)降低。
2024-01-18 cs.LG math.OC math.PR
Accelerating Distributed Optimization via Fixed-time Convergent Flows: Extensions to Non-convex Functions and Consistent Discretization
University of Calfornia, Santa Cruz(加州大学圣克鲁兹分校);TCS(塔塔咨询服务公司)
本文提出了一种固定时间收敛的分布式优化算法,用于解决潜在非凸优化问题,结合了固定时间收敛的分布式参数估计方案和固定时间分布式共识方案,扩展到满足Polyak-Łojasiewicz不等式的非凸团队目标函数,并证明了使用欧拉方法离散化后仍保持固定时间收敛性。
2022-05-27 cs.SY eess.SY math.OC
Accelerating Derivative-Free Optimization with Dimension Reduction and Hyperparameter Learning
我们考虑凸,黑盒目标函数与加性或乘性噪声与高维参数空间和数据空间的较低的维度,梯度的地图存在,但可能无法访问。我们研究了这种情况下的无导数优化(DFO),并提出了一种新的方法,主动星(ASTARS),基于STARS(Chen和Wild,2015)和通过主动子空间(AS)方法(Constantine,2015)在参数空间中降维。STARS超参数与参数空间的已知维数成反比,这导致对于大的维数,需要进行大量的平滑和小的步长。在可能的情况下,ASTARS利用低维AS,在参数空间中定义一组方向,导致函数值的大部分方差。ASTARS迭代仅使用AS中的步骤进行更新,比STARS更有效地减少了目标函数的值,STARS在整个参数空间中更新迭代。通过学习ASTARS超参数和AS,减少目标函数的总评估,并消除用户指定超参数的要求,可以进一步降低计算成本,这在我们的设置中可能是未知的。我们称这种方法为全自动ASTARS(FAASTARS)。我们表明,恒星和ASTARS都将收敛-具有一定的复杂性-即使是不精确的,估计hyperparemters。我们还发现FAASTARS通过使用估计的AS和超参数而收敛。我们探讨了有效性的ASTARS和FAASTARS的数值例子比较ASTARS和FAASTARS的明星。
2021-01-19 math.OC
Accelerating Incremental Gradient Optimization with Curvature Information
研究了一种利用\emph{curvature}信息求解强凸有限和优化问题的增量聚合梯度法({ \sf IAG})的加速技术.这些感兴趣的优化问题出现在大规模学习应用中。我们的技术利用曲率辅助梯度跟踪步骤,以产生准确的梯度估计增量使用Hessian信息。我们提出并分析了两种利用新技术的方法,曲率辅助IAG({ \sf CIAG})方法和加速CIAG({ \sf A-CIAG})方法,它们分别类似于梯度方法和Nesterov的加速梯度方法。以$κ$为目标函数的条件数,证明了$1 - \frac{4c_0 κ}{(κ+1)^2}$对于{ \sf CIAG}方法和$1 - \sqrt{\frac{c_1}{2κ}}$对于{ \sf A-CIAG}方法的$R$线性收敛速率,其中$c_0,c_1 \leq 1$是与初始点到最优解的距离成反比的常数.当初始解接近最优解时,$R$的线性收敛速率与梯度和加速梯度方法相匹配,尽管{ \sf CIAG}和{ \sf A-CIAG}在具有严格较低计算复杂度的增量设置中操作。数值实验证实了我们的发现。本文使用的源代码可以在\url{http://github.com/hoitowai/ciag/}上找到。
2020-02-28 math.OC stat.ML
Accelerating Noisy VQE Optimization with Gaussian Processes
混合变分量子算法结合了经典优化器和量子芯片上的评估,是最有希望在当前有噪声的中间尺度量子(NISQ)器件上显示量子优势的候选者。经典的优化器需要在目标函数计算中存在噪声的情况下表现良好,否则它将成为算法中最薄弱的环节。我们介绍了使用高斯过程(GP)作为代理模型,以减少噪声的影响,并提供高质量的种子,以逃避本地最小值,无论是真正的或噪声引起的。我们将其构建为局部优化之上的框架,在本研究中,我们选择隐式过滤(ImFil)。ImFil是一种最先进的无梯度方法,在比较研究中已被证明在噪声VQE问题上表现出色。结果是一种新的方法:“GP+ImFil”。我们表明,当噪声存在时,GP+ImFil方法发现结果更接近真正的全局最小值,比独立ImFil更少的评估,并且它特别适用于更大尺寸的问题。使用GP在多模态景观中进行本地搜索显示了混合的结果:尽管它能够在ImFil独立的基础上进行改进,但它并不一致,并且只有在资源受限的情况下才优于其他更详尽的多起点方法。
2022-08-03 math.OC quant-ph
Accelerating SAV-based optimization via randomized low-rank Hessian approximation
Department of Pure and Applied Mathematics, Graduate School of Information Science and Technology, The University of Osaka(纯粹与应用数学系,信息科学与技术研究生学校,大阪大学)
提出Nyström增强松弛标量辅助变量方法(N-RSAV),通过随机低秩Nyström近似引入曲率信息加速收敛,并保持无条件修正能量耗散律,在病态问题(如PINNs)中显著快于传统RSAV方法。
2026-06-09 cs.LG cs.NA math.NA
Accelerating Hessian-free optimization for deep neural networks by implicit preconditioning and sampling
IBM T. J. Watson Research Center(IBM T·J·沃森研究中心)
无海森训练已经成为深度神经网络训练的一种流行的并行二阶优化技术。本研究旨在通过减少用于训练的数据量以及减少用于Hessian隐式估计的Krylov子空间求解器迭代次数来加速Hessian自由训练。在本文中,我们开发了一个基于L-BFGS的预处理方案,避免了显式访问Hessian的需要。由于L-BFGS不能被视为一个固定点迭代,我们进一步提出了灵活的Krylov子空间求解器,保留所需的理论收敛保证他们的传统同行就业。其次,我们提出了一种新的采样算法,几何增加的数据量用于梯度和Krylov子空间迭代计算。在一个50小时的英语广播新闻任务,我们发现,这些方法提供了大约1.5倍的加速,而在一个300小时的总机任务,这些技术提供了超过2.3倍的加速,在WER没有损失。这些结果表明,随着问题的规模和复杂性的增长,预计还会进一步加快速度。
2013-12-10 cs.CL cs.LG cs.NE
Accelerating a Linear Programming Algorithm on AMD GPUs
本文针对CPU求解器在动态高维工业场景中的性能瓶颈,在AMD GPU上基于ROCm和PyTorch实现了开源PDHG算法,并通过SCED等实例调优,在大规模LP问题上取得最高36倍加速。
2025-08-22 math.OC