The rate of convergence of Bregman proximal methods: Local geometry vs. regularity vs. sharpness
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学);UPS(图卢兹第三大学);LIG(格勒诺布尔信息与信号处理实验室)
该研究分析Bregman邻近方法的最后迭代收敛速率与局部几何的关系,提出勒让德指数是关键影响因素,揭示了边界解的收敛速率二分性及线性约束下的更显著差异。
2024-12-12 cs.LG math.OC
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法,用于求解实希尔伯特空间中的光滑单调变分不等式,具备更优的迭代复杂度,且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
Linesearch-free adaptive Bregman proximal gradient for convex minimization under local relative smoothness
Kyushu University(九州大学);IMT School for Advanced Studies Lucca(卢卡高等研究学院)
本文提出了一种无需全局相对平滑性或强凸性假设的自适应Bregman近似梯度算法,通过局部曲率估计生成步长,避免了回溯线搜索。利用Bregman泛化的Young不等式控制关键内积,适用于局部相对平滑的可微项问题。
2026-06-05 math.OC
Proximal-Free ADMM for Decentralized Composite Optimization via Graph Simplification
我们考虑对称连通图上的分散复合优化问题,其中每个节点拥有自己的代理特定的私有凸函数,并且只允许有直接链接的节点之间进行通信.在乘子的交替方向法(ADMM)框架中,已经提出了多种算法来解决这样的问题。然而,这些算法中的许多算法需要在增广拉格朗日函数中包括一些近似项,使得所得到的算法可以以分散的方式实现。近端项的使用减慢了收敛速度,因为它迫使当前解保持接近在先前迭代中获得的解。为了解决这个问题,在本文中,我们首先介绍了最简单的二部图的概念,它被定义为一个二部图,有一个最小数量的边缘,以保持图连接。提出了一个简单的基于消息传递的两步过程来找到与原始图相关联的最简单的二部图。我们证明了最简单的二部图具有一些有趣的性质。利用这些性质,一个ADMM不涉及任何邻近项可以开发执行分散的复合优化最简单的二部图。仿真结果表明,我们提出的方法实现了更快的收敛速度比现有的国家的最先进的分散式算法。
2018-09-05 math.OC
A Partially Derivative-Free Proximal Method for Composite Multiobjective Optimization in the Hölder Setting
Federal University of Piauí(皮奥伊联邦大学);Federal Institute of Education, Science and Technology of Goiás(戈亚斯联邦教育科学与技术学院);Institute of Mathematics, Statistics and Scientific Computing - UNICAMP(坎皮纳斯州立大学数学、统计与科学计算研究所)
本文提出了一种在Hölder设定下求解复合多目标优化问题的半无导数近方法,证明其在特定迭代次数内收敛到弱近似帕累托点,并通过实验验证其有效性。
2026-01-27 math.OC
Lipschitz-Free Mirror Descent Methods for Non-Smooth Optimization Problems
本文修正了镜像下降方法中自适应时变步长规则的收敛率分析,并提出一种在无Lipschitz假设下实现弱遍历收敛的无Lipschitz镜像下降方法。
2025-06-02 math.OC
PIQP: A Proximal Interior-Point Quadratic Programming Solver
本文提出PIQP,一种结合不可行内点法与乘子近端法的高性能稀疏QP求解器,无需约束线性独立性即可处理病态凸QP问题,适用于嵌入式应用,在多项基准测试中性能优于现有商业与开源求解器。
2023-09-15 math.OC
Kullback-Leibler Mirror-Prox for Measure-Valued Variational Inequalities and Mean-Field Equilibria
University of Michigan(密歇根大学);Princeton University(普林斯顿大学)
该研究针对紧致状态空间上的测度值变分不等式,提出KL镜像近端算法,结合正则化方法,在单调性假设下证明收敛性与误差界,可处理势型及非势型代价算子。
2026-08-12 math.OC
Operator Splitting with Hamilton-Jacobi-based Proximals
Rice University(莱斯大学);University of Minnesota(明尼苏达大学);Colorado School of Mines(科罗拉多矿业学院)
提出基于Hamilton-Jacobi近端算子(HJ-Prox)的统一算子分裂框架,使不可近端函数也能使用算子分裂算法,并证明在温和假设下收敛性保持,数值实验显示其在统计学习任务中的有效性。
2026-05-22 math.OC
A proximal-proximal majorization-minimization algorithm for nonconvex tuning-free robust regression problems
Zhejiang University City College(浙大城市学院);Southwest Jiaotong University(西南交通大学);Zhejiang University(浙江大学)
针对非凸无调谐鲁棒回归问题,提出了一种近似-近似优化-最小化(PPMM)算法。其基本思想是应用邻近优化-最小化算法求解非凸问题,内子问题采用基于稀疏半光滑牛顿法的邻近点法求解。必须强调的是,算法设计的主要困难在于如何克服内子问题的奇异性困难。此外,我们还证明了PPMM算法收敛到一个d-平稳点。由于该问题的Kurdyka-Lojasiewicz(KL)性质,我们给出了PPMM算法的收敛速度。数值实验表明,我们提出的算法优于现有的国家的最先进的算法。
2021-06-25 cs.LG cs.NA math.NA
Target Mirror Descent: A Unifying Framework for Solving Monotone Variational Inequalities
University of California, Berkeley(加州大学伯克利分校)
本文提出目标镜像下降框架,通过双变量修正机制稳定单调流,统一了近端点算法、extragradient方法等经典算法,并改进了折扣镜像下降的均衡偏差。
2026-04-20 cs.GT math.OC
A Unified Zeroth-Order Proximal Newton-Type Framework for Composite Optimization
Shanghai Jiao Tong University(上海交通大学)
本文提出了一种无导数的近似牛顿型算法框架,用于解决复合优化问题,该问题可表示为黑盒函数与已知正则化项之和。研究建立了在非凸和强凸情况下,算法达到ε-最优解的迭代和oracle复杂度界,并基于Dennis--Moré条件证明了局部R超线性收敛性。
2026-05-07 math.OC
Understanding AdamW through Proximal Methods and Scale-Freeness
Boston University(波士顿大学);George Mason University(乔治梅森大学)
由于较少的超参数调整和出色的性能,Adam已被广泛用于训练深度神经网络。为了提高泛化能力,Adam通常与平方$\ell_2$正则化器(称为Adam- $\ell_2$)一起使用。然而,使用AdamW可以获得更好的性能,AdamW从Adam- $\ell_2$的更新规则中提取正则化子的梯度。然而,我们仍然缺乏对AdamW优点的完整解释。在本文中,我们从优化和经验的角度来解决这个问题。首先,我们将展示如何重新解释AdamW作为近似梯度方法,它利用正则化子的封闭形式的近似映射,而不是像Adam- $\ell_2$那样只利用其梯度信息。接下来,我们考虑AdamW及其邻近对应物所享有的“无标度”属性:它们的更新对于梯度的分量重新标度是不变的。我们在广泛的深度学习实验中提供了经验证据,表明AdamW表现出优于Adam- $\ell_2$的问题与我们期望网络梯度表现出多尺度的程度之间存在相关性,从而激发了AdamW的优势可能是由于无尺度更新的假设。
2022-01-31 cs.LG math.OC
Lipschitz-Free Mirror Descent Methods for Relatively Strongly Convex Functions with/without Absolute and Relative Inexactness
Innopolis University(伊诺波利斯大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);V. I. Vernadsky Crimean Federal University(V·I·维尔纳茨基克里米亚联邦大学)
本文提出了一种无需Lipschitz连续性假设的镜像下降方法,用于解决相对强凸函数的非光滑优化问题,并通过实验验证了其有效性。
2026-01-30 math.OC
Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization
本文研究多主体最优化问题。在非欧Bregman发散的镜像下降算法中引入一个随机无梯度预言,发展了一种分布式随机无梯度镜像下降算法(DRGIMD).在不利用目标函数的次梯度信息的情况下,推广了经典的梯度下降法。该算法是第一个分布式非欧零阶方法,它实现了$O(1/\sqrt{T})$收敛速度,恢复了分布式紧约束凸优化的最优速度。此外,DRFMD算法实现了强凸约束优化情况下的$O(\ln T/T)$收敛速度。该速率匹配最佳已知的非紧凑约束结果。研究了一种分散倒数加权平均逼近序列,并首次将其应用于分布式算法中。同时给出了加权平均算法(DRGFMD-WA)的一类收敛速度。分散加权平均序列的构造技术为分布式算法中极小值的搜索提供了新的思路。
2019-03-11 math.OC
Simple linesearch-free first-order methods for nonconvex optimization
The Institute of Statistical Mathematics, Japan(日本统计数学研究所);Joint Support-Center for Data Science Research, Japan(日本数据科学研究联合支持中心);College of Science and Technology, Nihon University, Japan(日本大学理工学部)
本文提出一种用于非凸优化的自调节近端梯度方法,利用局部曲率估计步长且无需线搜索与先验参数,并在非凸假设下完成收敛分析,同时扩展至Bregman近端梯度、Frank--Wolfe及黎曼梯度方法。
2025-09-18 math.OC
Faster Gradient-Free Proximal Stochastic Methods for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Pittsburgh(匹兹堡大学)
最近梯度法在解决许多机器学习问题,特别是非光滑问题中发挥着重要作用。然而,在一些机器学习问题中,如强盗模型和黑盒学习问题,近端梯度法可能会失败,因为这些问题的显式梯度是困难的或不可行的。无梯度(零阶)方法可以解决这些问题,因为在优化中只需要目标函数值。最近,第一个零阶邻近随机算法被提出来解决非凸非光滑问题。然而,它的收敛速度是$O(\frac{1}{\sqrt{T}})$的非凸问题,这是显着低于零阶随机算法的最佳收敛速度$O(\frac{1}{T})$,其中$T$是迭代次数。为了填补这一空白,在本文中,我们提出了一类更快的零阶近似随机方法与SVRG和SAGA的方差减少技术,这是表示为ZO-ProxSVRG和ZO-ProxSAGA,分别。在理论分析中,我们解决的主要挑战,真正的梯度的无偏估计不持有在零阶的情况下,这是需要在以前的理论分析SVRG和SAGA。证明了ZO-ProxSVRG和ZO-ProxSAGA算法都具有$O(\frac{1}{T})$收敛速度。最后,实验结果表明,我们的算法具有更快的收敛速度比现有的零阶邻近随机算法。
2019-02-16 cs.LG math.OC stat.ML
Tensor-Free Proximal Methods for Lifted Bilinear/Quadratic Inverse Problems with Applications to Phase Retrieval
提出并研究了一类求解双线性和二次反问题的新算法。利用基于张量提升的凸松弛算法和一阶近似算法,这些问题可以通过奇异值阈值方法数值求解。然而,这些算法的直接实现,例如,由于必须在维数通常很大的张量积空间上进行计算,所以图像恢复问题通常是不切实际的。为了克服这一限制,我们推导出张量自由版本的常见奇异值阈值方法,利用低秩表示,并将增强Lanczos过程。利用一种新的加权技术,我们进一步改善了迭代算法的收敛性和秩的演化。将该方法应用于二维掩模傅里叶相位恢复问题,得到了一种有效的恢复方法。此外,张量自由算法是足够灵活的,以纳入先验的平滑约束,大大提高了恢复结果。
2019-07-10 cs.NA math.NA math.OC
Faster Projection-Free Augmented Lagrangian Methods via Weak Proximal Oracle
Technion - Israel Institute of Technology(以色列理工学院)
本文研究了一类带仿射约束的凸复合最优化问题,它包括在(简单)凸集的交集上极小化光滑凸目标函数或用多个(简单)函数正则化的问题。出于高维应用程序中,精确的投影/近端计算是不听话的,我们提出了一个\textit{projection-free}增广拉格朗日为基础的方法,其中原始更新进行使用\textit{weak proximal oracle}(WPO)。在早期的工作中,WPO被证明比基于条件梯度的方法(又名Frank-Wolfe方法)的标准\textit{linear minimization oracle}(LMO)更强大。此外,WPO是计算上易于处理的许多高维问题的兴趣,包括那些动机的恢复低秩矩阵和张量,并优化多面体,承认有效的LMO。本文的主要结果表明,在一定的曲率假设下(这是弱于强凸性),我们的基于WPO的算法实现了遍历速度$O(1/T)$的目标残差和可行性差距。据我们所知,这一结果,提高了$O(1/\sqrt{T})$率为现有的LMO为基础的无投影方法,这类问题。低秩和稀疏协方差阵估计任务和最大割半定松弛的实验表明,我们的方法可以优于最先进的基于LMO的拉格朗日方法。
2023-02-21 cs.LG math.OC
Constrained Bi-Level Optimization: Proximal Lagrangian Value function Approach and Hessian-free Algorithm
National Center for Applied Mathematics Shenzhen(深圳国家应用数学中心);Southern University of Science and Technology(南方科技大学);CETC Key Laboratory of Smart City Modeling Simulation and Intelligent Technology(中国电子科技集团智慧城市建模仿真与智能技术重点实验室);The Smart City Research Institute of CETC(中国电子科技集团智慧城市研究院);University of Victoria(维多利亚大学)
针对含上下层变量耦合约束的双层优化问题,提出基于光滑近端拉格朗日值函数的单层重构与单循环无Hessian算法LV-HBA,无需下层强凸假设,具备非渐近收敛性,在机器学习场景中性能更优。
2024-01-29 cs.LG math.OC
Adaptive proximal gradient methods are universal without approximation
KU Leuven(鲁汶大学);Kyushu University(九州大学)
本文证明自适应近端梯度方法在仅满足局部 Hölder 梯度连续性时仍可免线搜索收敛,无需近似或先验常数,并给出全序列收敛证明与实验验证。
2024-07-05 cs.LG math.OC
PANDA: A Matrix-Free Differentiable NMPC Solver via Proximal Averaged Quasi-Newton with Adaptive Linesearch Algorithm
Jilin University(吉林大学);Tongji University(同济大学)
研究针对可微NMPC的计算与内存成本问题,提出PANDA无矩阵求解器,通过前向的近端梯度迭代加拟牛顿加速、反向的隐式求导及Krylov子空间迭代等方法,在非凸拖车NMPC任务上实现更快计算、更低内存开销且保持模仿学习性能。
2026-08-19 cs.SY eess.SY math.OC
A Tuning-Free Variational Framework for Muscle Redundancy Resolution: Torque Fiber Proximal Dynamics with Active-Set Switching and EMG-Validated Activation Prediction
研究针对肌肉冗余问题,提出扭矩纤维近端动力学(TFPD)框架,激活依特定投影演变,拮抗肌募集自然产生。推导相关条件,经肘部模型验证,与肌电图相关性良好且无需调参,还证明鲁棒性,将神经肌肉协调与多种理论及系统相联系。
2026-08-04 math.OC q-bio.NC q-bio.QM
Mirror Descent Algorithms for Minimizing Interacting Free Energy
Stanford University(斯坦福大学)
本文考虑了最小化相互作用自由能的问题。受镜像下降算法的启发,对于给定的相互作用自由能,我们提出了一个下降动力学与一个新的度量,考虑到参考措施和相互作用项。这个度量自然地暗示了概率测度的单调重新参数化。利用显式欧拉法离散重参数化下降动力学,得到了一个新的镜像下降型算法。数值结果表明,所提出的算法的效率。
2020-04-08 cs.LG cs.NA math.NA
Parameter-free Mirror Descent
University of Alberta(阿尔伯塔大学);Boston University(波士顿大学)
提出改进的在线镜像下降框架,用于无界域中的自适应无参数算法,实现首个达到最优动态遗憾界的无约束在线线性优化,并构建新的无参数隐式更新及简化改进的无约束无尺度算法。
2024-02-08 cs.LG math.OC stat.ML
Shuffling the Stochastic Mirror Descent via Dual Lipschitz Continuity and Kernel Conditioning
Industrial Systems Engineering and Management, National University of Singapore(新加坡国立大学工业系统工程与管理)
本文提出双重核条件(DKC)正则性条件,结合相对光滑性,为梯度提供双重Lipschitz连续性,从而在非凸相对光滑问题中建立随机重洗镜像下降法的复杂度界和迭代收敛性。
2026-03-17 cs.LG math.OC stat.ML
Proximal operators for multi-agent path planning
Boston College(波士顿学院);Wentworth Institute of Technology(温特沃斯理工学院);Disney Research Boston(迪士尼波士顿研究院)
我们解决的问题,规划多个代理的无冲突路径,使用被称为邻近算法的优化方法。最近,Bento等人在2013年探索了这种方法,该方法证明了其易于并行化和分散化,算法生成高质量解决方案的速度,以及其结合不同邻近算子的能力,每个算子都确保路径满足所需的属性。不幸的是,衍生的运营商只适用于2D中的路径,并要求我们可能希望代理遵循的任何中间路点被预先分配给特定的代理,限制了它们的适用范围。在本文中,我们解决了这些局限性。我们引入了新的运营商来处理代理移动在任意维度上,比他们的2D前辈更快地计算,我们引入地标,时空位置,自动分配给一组代理根据不同的最优性标准。最后,我们报告的性能的新运营商在几个数值实验。
2015-04-07 cs.AI cs.RO math.OC
Adaptive Lipschitz-Free Proximal Gradient Methods for Stochastic Composite Nonconvex Optimization
Shenzhen University of Advanced Technology(深圳先进技术大学)
针对复合非凸有限和最小化问题,提出融合自适应步长、Nesterov外推与SPIDER方差缩减的AEPG-SPIDER及全批量版本AEPG,是首个达最优迭代复杂度的无Lipschitz方法,且在KL假设下获非遍历收敛率,实验验证其性能优势。
2026-09-29 cs.CV cs.NA math.NA