Fast Frame-Based Image Deconvolution Using Variable Splitting and Constrained Optimization
我们提出了一种新的快速算法来解决基于帧的图像反卷积的标准公式之一：无约束最优化问题，涉及一个$\ell_2$数据保真度项和一个非光滑正则化。我们的方法是基于使用变量分裂，以获得一个等价的约束优化配方，然后与增广拉格朗日方法。所得到的算法有效地使用了正则化版本的数据保真度项的海森，从而利用二阶信息。一组图像去模糊基准问题的实验表明，我们的算法是明显快于以前的国家的最先进的方法。
2009-04-30 math.OC
Fast gradient descent method for convex optimization problems with an oracle that generates a $(δ,L)$-model of a function in a requested point
在这篇文章中，我们提出了一个新的概念，一个$(δ,L)$ -模型的功能，推广的概念，$(δ,L)$ -oracle（Devolder-Glineur-Nesterov）。使用这个概念，我们描述了梯度下降法和快速梯度下降法，我们表明，许多流行的方法（复合最优化方法，水平方法，共轭梯度法，邻近方法）是本文所提出的方法的特殊情况。
2019-06-24 math.OC
Fast proximal algorithms for nonsmooth convex optimization
在\cite{Ouorou2019}中，我们利用Nesterov快速梯度概念\cite{Nesterov1983}对凸函数的Moreau-Yosida正则化进行了研究，在此基础上，我们设计了新的非光滑凸优化的近似算法。这些算法不需要捆绑机制来更新稳定中心，同时保持\cite{Ouorou2019}中建立的复杂度估计。我们报告了一些初步的计算结果，一些学术测试问题，给出了第一次估计他们的性能与经典的近端聚束法。
2020-03-19 math.OC
Universal fast gradient method for stochastic composit optimization problems
我们提出了一个新的简单的快速梯度法的变种，每次迭代只需要一个投影。我们称这种方法为三角形方法（TM），因为它有一个相应的几何描述。我们推广TM的凸和严格凸的复合最优化问题。然后，我们提出了通用三角形方法（UTM）的凸和严格凸的复合最优化问题（见余。内斯特罗夫，数学程序。2015.有关什么是通用快速梯度法的更多详细信息）。最后，基于小批量技术，我们提出了随机通用三角形法（SUTM）。SUTM可以应用于随机凸和严格凸的复合最优化问题。表示所有方法TM、UTM、SUTM在严格凸性参数上是连续的，并且所有方法都达到已知的下界。通过对问题结构的额外假设，这些方法比下界更有效。
2017-11-27 math.OC
Private and Accurate Decentralized Optimization via Encrypted and Structured Functional Perturbation
我们提出了一个分散的优化算法，保持代理的费用函数的隐私，而不牺牲准确性，称为EFPSN。该算法采用Paillier密码体制构造零和函数扰动。然后，基于扰动的费用函数，可以利用任何现有的分散优化算法来获得精确解。我们从理论上证明了EFPSN是（ε，δ）-差分隐私的，可以达到接近完美的隐私下故意的参数设置。数值实验进一步证实了算法的有效性。
2022-09-05 math.OC
Fast Image Recovery Using Variable Splitting and Constrained Optimization
我们提出了一种新的快速算法来解决图像恢复和重建的标准公式之一，其中包括一个无约束的最优化问题，目标包括一个$\ell_2$数据保真度项和一个非光滑正则化。该公式允许基于小波（具有正交或基于帧的表示）的正则化或全变差正则化。我们的方法是基于变量分裂，以获得一个等价的约束优化配方，然后与增广拉格朗日方法。该算法是所谓的“乘子交替方向法”的一个例子，其收敛性已被证明。一组图像恢复和重建基准问题的实验表明，该算法比目前的最先进的方法是快速的。
2009-10-26 math.OC
Fast primal-dual algorithm via dynamical system for a linearly constrained convex optimization problem
通过对具有阻尼$α/t$的二阶原-对偶动力系统进行时间离散，其中原变量只需要Nesterov意义下的惯性结构，提出了求解线性等式约束凸优化问题的一种快速原始对偶法.在适当的尺度条件下，我们证明了该算法对于目标残差和可行性违背具有快速的收敛速度，衰减速率最大可达$\mathcal{O}(1/k^{α-1})$.我们也研究了相应的原始-对偶动力系统的收敛性质，以更好地理解加速方案。最后，我们报告的数值实验，以证明所提出的算法的有效性。
2022-06-03 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地，我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数，并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法，我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$，而对于自适应的变体，我们得到$\mathcal{O}\left(\frac{1}ε\right)$，投影到一个原始的集合，以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
A Slow-Fast Stochastic Framework for Zeroth-Order Distributed Time-Varying Optimization
Sichuan University（四川大学）
研究仅用零阶信息的随机多智能体系统分布式时变优化，构建慢-快随机框架，引入辅助变量和快速子系统生成梯度估计，慢子系统进行优化和一致性，分析收敛性并通过模拟验证，建立界表征参数等对跟踪性能的影响。
2026-07-17 math.OC
Fast Solving Complete 2000-Node Optimization Using Stochastic-Computing Simulated Annealing
Graduate School of Engineering, Tohoku University（东北大学研究生院工学研究科）；Research Institute of Electrical Communication, Tohoku University（东北大学电气通信研究所）
本文提出随机计算模拟退火算法，用于快速求解大规模组合优化问题，通过随机位流实现快速收敛至全局最小能量，实验表明其在MAX-CUT问题上性能优于传统模拟退火方法。
2026-01-20 math.OC
Fast convex optimization via inertial systems with asymptotically vanishing viscosity and Hessian-driven damping
本文研究了一族由渐近消失粘性和Hessian驱动阻尼惯性系统离散化得到的惯性算法的收敛速度，证明了在凸及Polyak-Łojasiewicz条件下的次线性收敛和强凸条件下的线性收敛，为Nesterov加速梯度法提供了新见解。
2025-07-17 math.OC
FROST -- Fast row-stochastic optimization with uncoordinated step-sizes
本文讨论了有向图上不能构造双随机权值的分布式优化问题。大多数现有的算法克服了这个问题，通过应用推和共识，它利用列随机权重。列随机权重的公式化要求每个代理知道（至少）其出度，这在例如，基于广播的通信协议。相比之下，我们描述的FROST（快速行随机优化与不协调的STEP大小），适用于有向图的优化算法，不需要出度的知识，其实现是直接的，因为每个代理本地分配权重传入的信息，并在本地选择一个合适的步长。我们证明了，FROST线性收敛到光滑和强凸函数的最优解，给定的最大步长是正的，并充分小。
2018-11-27 math.OC
Faster Stochastic ADMM for Nonsmooth Composite Convex Optimization in Hilbert Space
School of Mathematics and Statistics, Lanzhou University（兰州大学数学与统计学院）；School of Mathematics, Jilin University（吉林大学数学学院）
本文提出一种随机交替方向乘子法用于解决Hilbert空间中非光滑复合和随机凸优化问题，证明了在强凸情况下算法的强收敛性，并展示了在强凸和一般凸情况下功能值和可行性违反的更快非平稳收敛率。
2026-05-15 math.OC
Faster and more accurate computation of the $\mathcal{H}_\infty$ norm via optimization
在本文中，我们提出了一种改进的方法来计算线性动力系统的$\mathcal{H}_\infty$范数，结果在一个代码，往往比现有的方法快几倍。通过使用标准优化工具来重新平衡标准算法的工作负载，由于博伊德，Balakrishnan，Bruinsma和Steinbuch，我们的目标是最大限度地减少必须执行的昂贵的特征值计算的数量。与标准算法不同，我们的修改后的方法也可以计算$\mathcal{H}_\infty$规范，以充分的精度，几乎没有额外的工作，也提供了更多的机会，以进一步加快其性能通过并行化。最后，我们证明，我们采用的局部最优化，以加快标准的全局收敛算法也可以是一个有效的策略，对自己的近似$\mathcal{H}_\infty$规范的大规模系统。
2019-09-06 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估，我们使用近似的邻近点，由于捆绑策略，以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值，并报告一些初步的数值结果。
2020-03-06 math.OC
The convergence rate of the accelerated proximal gradient algorithm for Multiobjective Optimization is faster than $O(1/k^2)$
针对多目标优化，本文改进 Tanabe 等人的加速近似梯度算法，利用新的外推项将收敛速率从 $O(1/k^2)$ 提升至 $o(1/k^2)$，并给出同速率的非精确版本。
2023-12-12 math.OC
Fast Inexact Decomposition Algorithms For Large-Scale Separable Convex Optimization
本文提出了一种新的求解可分凸优化问题的不精确对偶分解算法。该算法结合了对偶拉格朗日分解、平滑和过度间隔三种技术。该算法在每次迭代中只需要一个原始步骤和两个对偶步骤，并允许不精确地并行求解每个分量的子问题。此外，算法参数自动更新，没有任何调整策略，在增广拉格朗日方法。我们分析了算法的收敛性，并估计了其$O(\frac{1}{\varepsilon})$最坏情况的复杂度。数值算例验证了理论结果。
2013-02-07 math.OC
Smoothing Accelerated Proximal Gradient Method with Fast Convergence Rate for Nonsmooth Multi-objective Optimization
本文提出带外推项的平滑加速近端梯度法（SAPGM）求解非光滑多目标优化，通过引入特定外推项将收敛速率提升至 $o(\ln^σk/k)$，并证明迭代序列收敛到Pareto最优解，数值实验验证了方法有效性。
2024-10-18 math.OC
Fast cluster detection in networks by first-order optimization
聚类检测在数据分析中起着基础性的作用。在本文中，我们专注于使用s-亏损团模型基于网络的聚类检测，并提出了一个非线性最优化的方法，有效地处理这些模型在实践中。特别是，我们引入了一个等价的连续配方分析下的问题，我们分析了一些定制的变体的弗兰克-沃尔夫算法，使我们能够快速找到最大的s-缺陷集团。这些算法工具的良好的实用性，这是密切相关的支持识别性能，使他们在实际应用中非常有吸引力。所报告的数值结果清楚地表明所提出的方法的有效性。
2021-03-29 math.OC
Fast Accelerated Proximal Gradient Method with New Extrapolation Term for Multiobjective Optimization
本文提出一种带新外推项的加速近端梯度算法用于多目标优化，证明其具有次线性收敛速率，并通过数值实验验证了方法的有效性。
2025-10-16 math.OC
Fast convex optimization via a third-order in time evolution equation: TOGES-V an improved version of TOGES
在Hilbert空间中，对于凸优化，我们分析了三阶时间演化系统生成的轨迹在t趋于无穷大时的快速收敛性.要最小化的函数f应该是凸的、连续可微的，并且具有非空的最小值集。它通过梯度进入动态。基于这个新的动力系统，我们改进了[Attouch，Chbani，Riahi：Fast凸优化via a third order in time发展方程，Optimization 2020]中的结果。作为主要结果，当阻尼参数$α$满足$α> 3$时，我们证明了当t趋于无穷大时，阻尼参数$α$的值在1/t3阶收敛，以及轨迹的收敛.我们补充这些结果引入到动态的海森驱动的阻尼项，减少了振荡。在强凸函数f的情况下，我们证明了一个三阶自治演化系统的指数收敛速率。所有这些结果都对具有扩张实值的凸下连续函数的情形有自然扩张。把f换成它的莫罗信封。
2020-07-06 math.OC
SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization
介绍了一种新的随机近似交替线性化极小化算法SPRING，用于求解一类非光滑非凸优化问题。由于数据采集和计算能力的进步，大规模成像问题变得越来越普遍。受随机最优化方法成功的启发，我们提出了一个随机变体的邻近交替线性化最小化（PALM）算法\cite{bolte2014proximal}。我们提供了整体收敛保证，表明我们提出的方法与方差减少的随机梯度估计，如SAGA \cite{SAGA}和SARAH \cite{sarah}，实现了最先进的甲骨文复杂性。我们还证明了我们的算法的有效性，通过几个数值例子，包括稀疏非负矩阵分解，稀疏主成分分析，盲图像反卷积。
2021-01-19 math.OC
A time continuation based fast approximate algorithm for compressed sensing related optimization
最近，压缩感知问题和与Hamilton-Jacobi方程的解相关的一类特定函数的优化之间的重要联系被发现。在本文中，我们引入了一个快速的近似算法来优化这类特殊的功能，并随后找到压缩感知问题的解决方案。虽然我们强调，我们的算法的方法找到了一个近似解，数值实验表明，我们的算法完美地恢复的解决方案时，解决方案是相对稀疏的测量数量。在这些情况下，与其他可用方法相比，恢复速度极快。数值实验还表明，该算法表现出尖锐的相变的成功率恢复的压缩感知问题的解决方案的稀疏性的变化。这里提出的算法是无参数的（除了一个公差参数，由于数字机器精度），非常容易实现。
2013-11-25 math.OC
R-SPIDER: A Fast Riemannian Stochastic Optimization Algorithm with Curvature Independent Rate
Massachusetts Institute of Technology（麻省理工学院）
研究了黎曼流形上的光滑随机最优化问题。通过将最近提出的SPIDER算法\citep{fang2018spider}（一种方差缩减的随机方法）应用于黎曼流形，我们可以在有限和和随机环境下获得比已知算法更快的速度。与以前的工作不同，通过\emph{not}诉诸边界的距离，我们的分析产生曲率无关的收敛速度的非凸和强凸的情况下。
2018-12-14 cs.LG math.OC
Constrained Max Drawdown: a Fast and Robust Portfolio Optimization Approach
提出基于最大回撤的线性化投资组合优化模型及其混合整数线性规划变体，在财务困境期实现比标准Markowitz模型更稳健且求解快200倍的方案。
2024-01-05 math.OC q-fin.PM
Fast and exact audit scheduling optimization
本文用线性线性规划研究财务审计人员的成本和时间有效调度问题。调度优化考虑了13个不同的约束条件，员工稀缺，输入数据的频繁更改，需要最大限度地减少生成的调度中的变化，以及缩放问题。我们比较了两个确切的配方的问题，我们发现一个多商品网络流配方是24倍的速度比一个三维配方。交付的实施将第一个计划的时间从3个人工日减少到1小时，计划更新时间从1个人工日减少到4分钟。
2021-09-27 math.OC q-fin.GN
Third-order Smoothness Helps: Even Faster Stochastic Optimization Algorithms for Finding Local Minima
University of Virginia（弗吉尼亚大学）
我们提出了随机最优化算法，可以找到局部极小值比现有的算法更快的非凸最优化问题，利用三阶光滑逃避非退化鞍点更有效。更具体地说，所提出的算法只需要$\tilde{O}(ε^{-10/3})$随机梯度评估收敛到一个近似的局部最小值$\mathbf{x}$，它满足$\|\nabla f(\mathbf{x})\|_2\leqε$和$λ_{\min}(\nabla^2 f(\mathbf{x}))\geq -\sqrtε$在一般的随机最优化设置，其中$\tilde{O}(\cdot)$隐藏对数多项式项和常数。这将现有技术的随机局部最小值查找算法所实现的$\tilde{O}(ε^{-7/2})$梯度复杂度提高了$\tilde{O}(ε^{-1/6})$的因子。对于非凸有限和优化，我们的算法也优于最好的已知算法在一定的制度。
2017-12-18 cs.LG math.OC
Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑潜在的非凸优化问题，其中最佳逼近率取决于参数空间的维数和函数的光滑性进行优化。在本文中，我们提出了一种算法，实现接近最优的先验计算保证，同时也提供了最优性的后验证书。我们的一般配方建立在无限维平方和和傅立叶分析，并实例化的多元周期函数的最小化。
2022-04-11 cs.LG math.OC
A fast converging particle swarm optimization through targeted, position-mutated, elitism (PSO-TPME)
通过一种有针对性的位置变异精英策略（PSO-TPME），大大提高了粒子群优化算法（PSO）的收敛速度和全局搜索能力。这三个关键创新解决了认知和社会模型中的粒子分类、精英主义和突变问题。PSO-TPME是对五个流行的粒子群算法的变种，多维函数，这是广泛采用的优化领域，特别是收敛精度，收敛速度，并找到全局最小值的能力进行了研究。通过多次重复来评估统计误差。仿真结果表明，提出的PSO变种优于其他变种的收敛速度和精度的数量级。
2022-08-19 cs.NE math.OC
What Lies Beneath the Surface: Topological-Shape Optimization With the Kernel-Independent Fast Multipole Method
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
本文提出了一种基于高效可扩展边界积分公式的新方法，用于弹性体的形状和拓扑优化，通过迭代提取拓扑导数的等值面进行拓扑优化，采用边界元法和核无关快速多极子方法求解弹性边界值问题，展示了出色的单节点性能和可扩展并行化能力，适用于最小合规性优化和金属材料微结构优化。
2016-12-13 cs.NA math.NA math.OC
Global Continuous Optimization with Error Bound and Fast Convergence
Massachusetts Institute of Technology（麻省理工学院）；Japan Atomic Energy Agency（日本原子能研究开发机构）
本文研究了具有非凸不可微的黑箱未知目标函数的全局优化问题。这样一个困难的最优化问题出现在许多现实世界的应用中，如机器学习中的参数调整，工程设计问题，和规划与复杂的物理模拟器。本文提出了一种新的全局优化算法，称为局部导向全局优化算法（Locally Oriented Global Optimization，简称LOO），以实现快速收敛和有限时间误差界为目标。通过理论分析和对11个基准检验函数的实验，说明了新算法的优点和使用方法。此外，我们修改的策略搜索算法，专门解决规划问题，通过连续的状态/动作空间和长的时间范围，同时保持其有限的时间误差界。我们提出的规划方法，核电厂的事故管理。应用研究的结果表明，我们的方法的实际效用。
2016-07-17 cs.AI math.OC
Faster Optimization on Sparse Graphs via Neural Reparametrization
IBM Research（IBM研究院）；Northeastern University（东北大学）；UCSD（加州大学圣迭戈分校）
在数学优化中，二阶牛顿法通常比一阶牛顿法收敛得更快，但它们需要海森的逆，因此计算量很大。然而，我们发现在稀疏图上，图神经网络（GNN）可以实现一种有效的拟牛顿方法，可以将优化速度提高10- 100倍。我们的方法，神经重新参数化，修改优化参数作为GNN的输出，以重塑优化景观。使用预先计算的Hessian作为传播规则，GNN可以有效地利用二阶信息，达到与自适应梯度方法相似的效果。由于我们的方法通过架构设计来解决优化问题，因此可以与Adam和RMSProp等任何优化器结合使用。我们展示了我们的方法在科学相关问题上的应用，包括热扩散，同步和持久同源性。
2022-05-26 cs.LG math.OC physics.comp-ph
Direction-Magnitude Decomposition for Low-Rank Matrix Optimization: Faster Convergence and Saddle-to-saddle Dynamics
Department of Mathematics, ETH Zurich（苏黎世联邦理工学院数学系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
提出方向-幅度分解（DMD）框架，将优化变量分解以提升效率，开发过参数化和递归两种方法，在矩阵分解中实现指数级加速收敛。
2026-07-01 cs.LG math.OC
Fast Fourier Optimization: Sparsity Matters
Princeton University（普林斯顿大学）
本文通过将快速傅里叶变换（FFT）的递归结构转化为优化问题中的稀疏约束，提出了一种高效的快速傅里叶优化方法，并在高对比度成像等实际问题中展示了其显著优势。
2012-09-04 cs.NA math.NA math.OC
Faster Riemannian Newton-type Optimization by Subsampling and Cubic Regularization
University of Manchester（曼彻斯特大学）
这项工作是约束大规模非凸优化的约束集意味着一个流形结构。解决这些问题在许多基础机器学习任务中非常重要。黎曼最优化的最新进展使方便的恢复解决方案，适应流形上的无约束优化算法。然而，扩大规模，同时保持稳定的收敛速度和处理鞍点仍然具有挑战性。提出了一种新的二阶黎曼优化算法，旨在提高收敛速度和减少计算量。它增强了黎曼信赖域算法，该算法通过子采样和立方正则化技术的混合来探索曲率信息以逃离鞍点。我们进行了严格的分析来研究所提出算法的收敛行为。我们还进行了大量的实验，以评估它的基础上两个一般的机器学习任务，使用多个数据集。所提出的算法表现出改进的计算速度和收敛行为相比，一个大的国家的最先进的黎曼优化算法。
2023-02-22 cs.LG math.OC
Fast Large-Scale Discrete Optimization Based on Principal Coordinate Descent
二进制优化是离散最优化的一个代表性子类，在数学优化中起着重要作用，在计算机视觉和机器学习中有着广泛的应用。通常，二元最优化问题是NP-难的，由于二元约束的存在而难以求解，特别是当变量数目很大时。现有的方法通常具有高计算成本或大的累积量化误差，或者仅针对特定任务而设计。本文提出了一种求一般二元最优化问题有效近似解的快速算法。该算法迭代求解与损失函数的线性替代项相关的最小化问题，这导致在每一步中更新一些对损失函数的值影响最大的二元变量。我们的方法支持广泛的一类经验目标函数的$1$和$-1$的二进制变量的数量有/没有限制。此外，我们的算法的理论收敛性进行了证明，并推导出显式的收敛速度，目标函数的Lipschitz连续梯度，这是在实践中常用的。在多个二进制优化任务和大规模数据集上进行的大量实验表明，该算法在有效性和效率方面优于现有的几种方法。
2021-05-15 cs.LG math.OC
Fast Rates for Bandit Optimization with Upper-Confidence Frank-Wolfe
University of Cambridge（剑桥大学）；ENS Paris–Saclay（巴黎萨克雷高等师范学校）；Criteo Research, Paris（Criteo 研究院，巴黎）
我们考虑的问题的强盗优化，启发随机优化和在线学习问题的强盗反馈。在这个问题中，目标是最小化所有动作的全局损失函数，而不一定是累积损失。这个框架允许我们研究一个非常一般的问题，在统计学，机器学习和其他领域的应用。为了解决这个问题，我们分析了上置信度Frank-Wolfe算法，该算法受到了强盗和凸优化技术的启发。我们给出了理论上的保证，该算法的性能在各类功能，并讨论这些结果的最优性。
2017-09-06 cs.LG math.OC stat.ML
Fast Incremental Method for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析了一个快速增量聚合梯度法优化非凸问题的形式$\min_x \sum_i f_i(x)$。具体来说，我们分析了增量一阶Oracle框架内的SAGA算法，并证明它收敛到一个稳定点证明比梯度下降和随机梯度下降。我们还讨论了Polyak的一类特殊的非凸问题，其中SAGA以线性速度收敛到全局最优值。最后，我们分析了SAGA的实用价值的正则化和小批量的变种。据我们所知，本文首次分析了非凸问题的增量聚集梯度法的快速收敛性。
2016-03-19 cs.LG math.OC stat.ML
BiAdam: Fast Adaptive Bilevel Optimization Methods
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
近年来，由于超参数最优化和Meta学习等多种应用，双层优化在机器学习领域引起了越来越多的关注。虽然最近已经提出了许多双层方法，这些方法没有考虑使用自适应学习率。众所周知，自适应学习率可以加速优化算法。为了填补这一空白，本文提出了一种新的快速自适应双层框架来求解外部问题可能为非凸而内部问题为强凸的随机双层最优化问题.我们的框架使用统一的自适应矩阵，包括多种类型的自适应学习率，并可以灵活地使用动量和方差减少技术。特别是，我们提供了一个有用的收敛性分析框架的双层优化。具体来说，我们提出了一个快速的单循环自适应双层优化（BiAdam）算法，它实现了一个样本的复杂度为$\tilde{O}(ε^{-4})$找到一个$ε$ -固定的解决方案。同时，我们提出了一种加速的BiAdam算法（VR-BiAdam），它达到了$\tilde{O}(ε^{-3})$的最佳样本复杂度.据我们所知，我们首先研究了自适应学习率的自适应双层最优化方法。在数据超清洗和超表示学习任务上的实验结果证明了算法的有效性。
2023-02-18 cs.CV cs.LG math.OC
Fast Stochastic Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析随机算法优化非凸，非光滑有限和问题，其中非凸部分是光滑的，非光滑部分是凸的。令人惊讶的是，与光滑情况不同，我们对这个基本问题的了解非常有限。例如，不知道具有常数小批量的邻近随机梯度法是否收敛到一个稳定点。为了解决这个问题，我们开发了快速的随机算法，可证明收敛到一个固定的点恒定的小批量。此外，使用这些算法的一个变体，我们证明了比批量邻近梯度下降更快的收敛速度。最后，我们证明了全局线性收敛速率的一个有趣的子类的非光滑非凸函数，其中包括一些最近的工作。本文建立在我们最近关于光滑非凸优化的快速随机方法的一系列论文[22，23]的基础上，对非凸和非光滑函数进行了新的分析。
2016-05-23 cs.LG math.OC stat.ML
Fast optimization of viscosities for frequency-weighted damping of second-order systems
研究了由二阶微分方程描述的振动系统的频率加权阻尼优化问题。目标是确定粘度值，使得本征值远离虚轴上的某些不期望的区域。为此，我们提出了两种互补的技术。首先，我们提出了新的框架，使用非光滑约束最优化问题，其解决方案既阻尼不良频带，保持系统的稳定性。这些框架还允许我们权衡哪些频带是最重要的阻尼。其次，我们也提出了一个快速的新的特征值求解器的结构二次本征值问题，出现在这样的振动系统。为了提高效率，我们的新的特征值求解器利用对角加秩一复对称矩阵的特殊性质，我们通过展示如何将每个二次特征值问题转化为一个短序列的线性本征值问题来利用这些性质。其结果是一个特征值求解器，大大快于标准技术。通过将这个新的求解器与我们新的优化框架相结合，我们获得了快速计算最佳粘度的整体算法。我们的新方法的效率和性能进行了验证和说明几个数值例子。
2021-04-08 cs.NA math.NA math.OC
Toward Fast Topological-Shape Optimization With Boundary Elements
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
本文提出通过改进边界元方法以提高拓扑-形状优化效率，通过补充复杂变量边界元代码并引入快速优化工具，验证了方法的有效性。
2015-03-09 cs.NA math.NA math.OC
Higher-Order Accelerated Methods for Faster Non-Smooth Optimization
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿分部）；Georgia Tech（佐治亚理工学院）；Microsoft Research Redmond（微软研究院雷德蒙德分院）
通过高阶加速方法，我们为各种\emph{non-smooth}最优化问题提供了改进的收敛速度。在$\ell_\infty$回归的情况下，我们实现了$O(ε^{-4/5})$迭代复杂性，打破了$O(ε^{-1})$障碍，目前为止，为以前的方法。我们到达一个类似的速度为问题的$\ell_1$ -SVM，超越了可达到的一阶方法与非光滑非强凸问题的Oracle访问。我们进一步展示了如何通过引入高阶正则化来实现更快的速率。我们的研究结果依赖于高阶光滑凸优化的近最优加速方法的最新进展。特别是，我们扩展Nesterov的平滑技术表明，标准的softmax近似不仅在通常意义上是光滑的，而且\emph{higher-order}光滑。有了这个观察在手，我们提供了高阶加速技术产生更快的速度为\emph{non-smooth}优化的第一个例子，尽我们所知。
2019-06-04 cs.LG math.OC stat.ML
Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion
Sloan School of Management（斯隆管理学院）；Operations Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）
我们制定的矩阵完成的问题，没有边信息作为一个非凸优化问题。我们设计的fastImpute基于非凸梯度下降，并显示它收敛到一个全局最小值，保证恢复密切的基础矩阵，而它的规模超过$10^5 \times 10^5$的大小矩阵。我们报告了在合成和真实世界数据集上的实验，这些实验表明fastImpute在恢复矩阵的准确性和所有情况下所需的时间方面都具有竞争力。此外，当大量条目丢失时，fastImpute在具有和不具有边信息的情况下都比当前最先进的矩阵完成方法快$75\%$以上、低MAPE和快$15$倍。
2020-12-31 cs.LG math.OC stat.ME
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Guaranteed Fast Implementation of the Split Covariance Intersection Filter: Nested Newton Method Thanks to the Fourth-Order Convexity of w-Optimization
Namely
本文证明分裂协方差交集滤波器中的w-优化问题具有四阶凸性，并基于此提出嵌套牛顿法，实现保证快速的滤波器实现。
2026-06-08 cs.SY eess.SY math.OC
A fast-solved model for energy-efficient train control based on convex optimization
在现代轨道交通中，训练节能控制（EETC）是指在各种运营和牵引约束条件下，以最小的能量消耗为目标，寻求最优的训练速度轨迹或控制策略。本文提出了一种基于凸优化的EETC模型，使该模型能用凸优化算法快速求解。通过与混合整数线性规划（MILP）和Radau伪谱法（RPM）等主流数学规划方法的比较，验证了该方法的高计算效率和鲁棒性.基于凸优化的特点，该方法在计算效率方面具有明显的优势，在各种轨道交通自动训练控制系统的在线应用中具有广阔的应用前景。
2022-01-26 cs.SY eess.SY math.OC
Fast sparse optimization via adaptive shrinkage
Department of Control and Computer Engineering, Politecnico di Torino（都灵理工大学控制与计算机工程系）
本文提出一种基于对数正则化的自适应收缩近端算法，在保持迭代收缩-阈值算法简洁性的同时，通过自适应超参数显著加快Lasso求解的收敛速度，并通过数值实验验证了其优于现有算法的性能。
2025-01-21 cs.LG cs.SY eess.SY
Fast ADMM Algorithm for Distributed Optimization with Adaptive Penalty
Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）
我们提出了新的方法来加快收敛的交替方向乘法（ADMM），一个常见的优化工具，在大规模和分布式学习的背景下。该方法通过在每次迭代中自动确定参数一致性所需的约束惩罚，加快了收敛速度。此外，我们还提出了一个扩展的方法，自适应地确定最大迭代次数来更新惩罚。我们表明，这种方法有效地导致一个自适应的，动态的网络拓扑结构的分布式优化。新的惩罚更新计划的实用程序证明了合成和真实的数据，包括计算机视觉应用的分布式运动恢复结构。
2015-06-30 cs.CV cs.LG math.OC
FedSplit: An algorithmic framework for fast federated optimization
UC Berkeley（加州大学伯克利分校）；Voleon Group（沃利恩集团）
受联邦学习的启发，我们考虑了分布式优化的中心辐射模型，在该模型中，一个中央机构在限制通信的同时协调许多代理之间的解决方案的计算。我们首先研究了一些过去的联邦优化程序，并表明，他们的不动点不需要对应于原来的优化问题的固定点，即使在简单的凸设置与确定性更新。为了解决这些问题，我们引入了FedSplit，一类基于算子分裂过程的算法，用于求解具有可加结构的分布式凸极小化问题。我们证明了这些程序有正确的不动点，对应于原优化问题的最优解，我们刻画了它们的收敛速度在不同的设置。我们的理论表明，这些方法是可证明的强大的不精确计算的中间本地量。我们用一些简单的实验来补充我们的理论，这些实验证明了我们的方法在实践中的好处。
2020-05-11 cs.LG math.OC stat.ML
Fast Rates for Contextual Linear Optimization
Cornell University（康奈尔大学）
在决策过程中对边观察进行分析可以减少不确定性并提高性能，但这也要求我们处理潜在的复杂预测关系。虽然人们可以使用现成的机器学习方法来单独学习预测模型并将其插入，但各种最近的方法通过拟合模型来集成估计和优化，以直接优化下游决策性能。令人惊讶的是，在上下文线性优化的情况下，我们表明，天真的插件方法实际上实现了后悔收敛速度显着快于直接优化下游决策性能的方法。我们证明了这一点，利用特定的问题实例没有任意坏的近对偶退化的事实。虽然在我们讨论和说明数字时还有其他利弊需要考虑，但我们的结果突出了企业集成估计和优化的细微差别。我们的研究结果总体上对实践是积极的：预测模型使用现有工具进行训练是容易和快速的，解释简单，并且，正如我们所展示的，导致决策表现非常好。
2021-08-31 cs.LG math.OC math.ST
Variance Reduction for Faster Non-Convex Optimization
Princeton University（普林斯顿大学）
本文研究了非凸优化中有效到达稳定点的基本问题。与凸情况相反，在这个基本问题的长期历史中，关于一阶非凸优化的唯一已知的理论结果仍然是对于光滑目标在$O(1/\varepsilon)$迭代中收敛的全梯度下降，以及对于作为光滑函数之和的目标在$O(1/\varepsilon^2)$迭代中收敛的随机梯度下降。我们提供了这一研究领域的第一个改进。我们的结果是基于最近引入凸优化的方差减少技巧，以及一个全新的适合于非凸优化的方差减少方差分析。对于光滑函数和的目标，我们的一阶小批量随机方法以$O(1/\varepsilon)$速率收敛，并且比$Ω(n^{1/3})$的全梯度下降快。我们证明了我们的方法的有效性经验风险最小化与非凸损失函数和训练神经网络。
2016-08-25 cs.DS cs.LG cs.NE
FastDOG: Fast Discrete Optimization on GPU
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
提出了一种求解结构预测中0- 1整数线性规划问题的大规模并行Lagrange分解方法。我们提出了一个新的迭代更新方案解决拉格朗日对偶和扰动技术解码原始解。为了表示子问题，我们遵循Lange et al.（2021）并使用二元决策图（BDD）。我们的原始和对偶算法需要很少的子问题之间的同步和优化BDD只需要基本的操作，没有复杂的控制流。这使我们能够利用GPU为我们方法的所有组件提供的并行性。我们目前的实验结果组合问题的MAP推理马尔可夫随机场，二次分配和细胞跟踪发育生物学。我们的高度并行GPU实现将Lange等人（2021）算法的运行时间提高了数量级。特别是，我们接近或优于一些国家的最先进的专业化物流，同时是问题不可知论。我们的实现可以在https://github.com/LPMP/BDD上获得。
2022-04-19 cs.CV cs.DC cs.GT
