Linear programming sensitivity measured by the optimal value worst-case analysis
Charles University, Faculty of Mathematics and Physics(查理大学数学物理学院)
本文提出线性规划最优值函数的最坏情形导数,作为数据扰动下的灵敏度度量与条件数,并给出非退化情形计算方法、退化情形上界及 Netlib 实验验证。
2023-07-13 math.OC
Randomized block proximal method with locally Lipschitz continuous gradient
Universidad de Chile(智利大学);University of Alicante(阿利坎特大学)
本文提出一种具有局部Lipschitz连续梯度的随机块邻近梯度算法,将随机块坐标下降法适用性扩展到更一般问题,结合增强线搜索提升性能,在非负矩阵分解实验中表现具竞争力。
2026-08-12 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题,提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明,该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此,该复杂性界限概括了[Bellavia,Gurioli,Morini和Toint,2018]为光滑非凸问题的不精确方法提供的复杂性界限,并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
Redundancy Optimization of Finite-Dimensional Structures: A Concept and a Derivative-Free Algorithm
冗余与结构在结构退化的最坏情况下可以维持的功能量有关。本文提出了一种具有广泛适用性的有限维结构冗余优化概念。这一概念与稳健结构优化以及基于信息差理论的结构冗余度定量度量是一致的。基于序列二次规划(SQP)方法提出了一种无导数算法,该算法采用自适应改变差分增量的有限差分法。初步的数值实验表明,冗余最优化问题的最优解可能有多个最坏情况。
2016-06-15 math.OC
Complexity Analysis of the Regular Simplicial Search Method with Reflection and Shrinking Steps for Derivative-Free Optimization
本文针对无导数优化中单纯形类方法缺乏最坏情况复杂度界的问题,提出带反射与收缩步的正则单纯形搜索方法 RSSM,并在非凸、凸和强凸情形下建立复杂度界,为更高级单纯形算法的理论分析奠定基础。
2025-08-22 math.OC
Regional Complexity Analysis of Algorithms for Nonconvex Smooth Optimization
提出了一种刻画非凸光滑最优化问题算法最坏情况性能的策略。当代分析的特点是最坏情况下的性能,提供了一定的假设下,一个目标函数,上界的迭代次数(或功能或衍生评估),直到一个p阶平稳条件近似满足。这可以说导致了基于异常目标而不是实践中通常遇到的目标的保守描述。相比之下,本文提出的策略的特征最坏情况下的性能分别在区域组成的搜索空间。这些区域一般基于导数值的性质来定义。通过这种方式,可以独立于任何特定类别的目标来分析算法的最坏情况性能。然后,一旦给定了一类目标,人们可以获得一个信息丰富的,微调的复杂性分析,仅仅通过划定的类型的区域,包括搜索空间的功能在类。由一阶和二阶导数定义的区域进行了详细讨论,并提供了一些基本的一阶和二阶算法,以尽量减少凸和非凸目标的兴趣时,例如复杂性分析。它还解释了如何将该策略推广到由高阶导数定义的区域,并用于分析高阶算法的行为。
2018-08-24 math.OC
Solving nonlinear systems of equations via spectral residual methods: stepsize selection and applications
谱残量法是求解非线性系统方程组的一种无需导数且每次迭代费用低的方法。它们通常与非单调线性搜索策略相结合,并且对于大型非线性系统和非线性系统序列,它们与基于牛顿的方法相比很好。该算法以残差向量作为搜索方向,步长的选择对算法的性能有着至关重要的影响。在这项工作中,我们从理论上和实验上解决了步长的选择,并提供了一个实际的应用,如滚动接触问题的结果。
2021-09-17 cs.NA math.NA math.OC
Policy Gradient Learning for Distributionally Robust Markov Decision Processes under Wasserstein Ambiguity
École Polytechnique(巴黎综合理工学院);CMAP(应用数学中心);School of Mathematical Sciences, Xiamen University(厦门大学数学科学学院)
针对转移核分布不确定的有限时域MDP,提出基于Wasserstein距离的分布鲁棒策略梯度框架,通过鲁棒Bellman递归的Wasserstein对偶重构和方向可微性分析,推导鲁棒策略梯度显式递归形式,并设计鲁棒演员-评论家算法。
2026-07-22 math.OC
Polling Set Construction and Worst-Case Complexity for Direct Search under Polyhedral Convex Constraints
University of Melbourne(墨尔本大学);Université Paris Dauphine-PSL(巴黎第九大学-PSL)
针对多面体凸约束,提出一种新的直接搜索理论框架,通过构造包含近似切锥外方向的轮询集,实现与模型基方法相当的最坏情况复杂度保证,并验证了添加额外方向对实际性能的提升。
2026-05-27 math.OC
Worst-case Complexity Bounds of Directional Direct-search Methods for Multiobjective Optimization
直接多重搜索是一种成熟的算法,适用于多目标无导数优化。在这项工作中,我们分析了最坏情况下的复杂性,这类方法在其最一般的配方无约束优化。考虑到非凸光滑函数,我们表明,驱动一个给定的临界性措施低于一个特定的积极的阈值,直接多重搜索需要最多的迭代次数成正比的平方的倒数的阈值,提出的目标函数的组件的数量。这个数字也与第一次不成功的迭代和紧接在满足临界条件的迭代之前的迭代之间的链接序列集的大小成比例。然后,我们专注于一个特定的实例直接多重搜索,它认为接受新的非受控点更严格的标准。在这种情况下,我们可以建立一个更好的最坏情况的复杂性界限,简单地与阈值的倒数的平方成比例,用于驱动相同的关键性度量低于所考虑的阈值。
2020-11-03 math.OC
Model-Based Derivative-Free Methods for Convex-Constrained Optimization
我们提出了一个基于模型的衍生物的自由优化方法受到一般的凸约束,我们假设是unrelaxable和访问,只有通过一个投影算子,是廉价的评估。我们证明了整体收敛和最坏情况下的复杂性的$O(ε^{-2})$迭代和非凸函数的客观评价,匹配结果的无约束的情况下。与现有方法相比,我们引入了新的,较弱的模型精度要求。结果,仅使用可行点就可以构造足够精确的插值模型。我们开发了一个全面的理论插值集管理在这个政权的线性和复合线性模型。我们实现了我们的非线性最小二乘问题的方法,并表现出较强的实用性能相比,通用求解器。
2022-03-16 math.OC
Scalable Derivative-Free Optimization Algorithms with Low-Dimensional Subspace Techniques
本文重新提出一种基于近似梯度构造低维子空间并求解子问题的无导数优化框架,分析其收敛性与复杂度,并验证其可扩展至万维问题。
2025-01-08 math.OC
Differentiator for Noisy Sampled Signals with Best Worst-Case Accuracy
本文提出了一种适用于噪声和二阶导数有界的采样信号的微分器。它基于从可用的样本信息导出的线性规划,并且不需要超出噪声和导数界限的进一步调谐。最差情况准确度的严格界限,即,最坏情况下的微分误差,推导出,这是最好的所有因果微分器,并进一步示出后,得到一个固定数量的采样步骤。与现有的高增益和滑模微分器的精度比较说明了所获得的结果。
2021-06-09 cs.SY eess.SY math.OC
A note on the complexity of random subspace model-based methods for derivative-free optimization
University of Oxford(牛津大学);University of Melbourne(墨尔本大学)
该研究针对无导数优化,证明对Johnson-Lindenstrauss变换重缩放后,可改进基于随机子空间模型的DFO算法最坏情况评估复杂性界,且与同类最优界匹配。
2026-10-20 math.OC
Introduction to Model-Based Derivative-Free Optimization
University of Melbourne(墨尔本大学);School of Mathematics and Statistics(数学与统计学院);ARC Training Centre in Optimisation Technologies, Integrated Methodologies, and Applications (OPTIMA)(ARC优化技术、集成方法论及应用训练中心)
本文介绍基于模型的导数自由优化(DFO)方法,通过插值构建局部模型替代梯度信息,涵盖最坏情况复杂度、多项式插值理论及约束与噪声问题的扩展。
2026-06-29 math.OC
Randomized Subspace Derivative-Free Optimization with Quadratic Models and Second-Order Convergence
研究大规模无导数优化中基于随机子空间的迭代最小化方法,首次给出收敛至近似二阶临界点的最坏复杂度界,并引入基于二次插值的实用子空间方法,在改善维度依赖性的同时可求解更大规模问题。
2024-12-19 math.OC
Derivative-Free Optimization via Adaptive Sampling Strategies
针对无梯度信息的无约束随机优化问题,提出融合自适应采样的无导数优化框架,涵盖多种梯度估计技术,给出理论收敛与复杂度分析,并在两类问题上验证了实证性能。
2024-04-18 math.OC
On Complexity of Model-Based Derivative-Free Methods
School of Industrial and Systems Engineering, Georgia Tech(佐治亚理工学院工业与系统工程学院)
本文系统推导了基于模型的信赖域方法及其变体的复杂性界限,首次证明其最坏情况复杂性与其他已知无导数优化方法相同。
2025-12-10 math.OC
Scalable Subspace Methods for Derivative-Free Nonlinear Least-Squares Optimization
我们介绍了一个通用的框架,大规模的基于模型的衍生物免费优化的基础上迭代最小化随机子空间。我们提出了一个概率最坏情况下的复杂性分析,我们的方法,特别是我们证明了高概率界的迭代次数之前,一个给定的最优性。该框架专门用于非线性最小二乘问题,基于高斯-牛顿方法的基于模型的框架。该方法通过构造局部线性插值模型来逼近雅可比矩阵,并在每次迭代时在用户确定维数的子空间中计算新的步长,从而实现可扩展性。然后,我们描述了一个实际的实现这个框架,我们称之为DFBGN。我们概述了有效的技术,用于选择插值点和搜索子空间,产生一个实现,具有低的每次迭代线性代数成本(线性的问题维度),同时也实现了快速的目标减少评估。大量的数值结果表明,DFBGN具有更好的可扩展性,在大规模非线性最小二乘问题上具有很强的性能。
2021-02-24 math.OC
Convergence of ease-controlled Random Reshuffling gradient Algorithms under Lipschitz smoothness
Sapienza, University of Rome(罗马第一大学);Department of Computer, Control and Management Engineering A. Ruberti(A. Ruberti 计算机、控制与管理工程系)
针对大量光滑非凸函数平均值的最小化问题,提出带看门狗规则和无导数线搜索的易控IG/RR算法方案,在Lipschitz光滑假设下证明收敛,实验验证其计算量与在线算法相当且目标函数下降更快。
2024-05-20 cs.LG math.OC
Complexity results and active-set identification of a derivative-free method for bound-constrained problems
Sapienza University of Rome(罗马大学);University of Rome “Tor Vergata”(罗马托尔维加特大学)
本文分析了一种针对有界约束问题的无导数线搜索方法,证明了其最坏情况复杂度与其他无导数方法相当,并展示了该方法能有限步内正确识别满足严格互补条件的主动约束。
2025-10-28 math.OC
Sharp worst-case evaluation complexity bounds for arbitrary-order nonconvex optimization with inexpensive constraints
Mathematical Institute, Oxford University(牛津大学数学研究所);Computational Mathematics Group, STFC-Rutherford Appleton Laboratory(STFC-拉瑟福德苹果顿实验室计算数学组);Namur Center for Complex Systems (naXys), University of Namur(纳慕尔复杂系统中心(naXys),纳慕尔大学)
本文研究了具有低成本约束的任意阶非凸优化问题的最坏情况评估复杂度界限,提出了一种概念性正则化算法,能够在给定精度和最优阶数的情况下,以O(ε^(- (p+1)/(p-q+1)))的次数评估目标函数及其导数,计算出合适的q阶近似极小值点。
2018-11-03 cs.AI cs.CC cs.NA
OFF Newton-type Methods for Unconstrained Optimization with Inexact Derivatives
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院)
本文提出了一种无需目标函数的近端牛顿方法变体,用于非凸复合优化问题,以及用于无约束优化问题的正则化牛顿方法,利用近似梯度和Hessian。理论分析证明,所提出算法的全局和局部收敛速度与精确计算目标函数和导数时的结果一致。为了验证理论假设的实际适用性,采用了一种惰性梯度策略来提供一种可验证的方案以满足近似梯度的精度要求。对于有限和优化问题,进一步开发了一种自适应采样策略以消除样本大小与梯度估计之间的循环依赖。所提出的算法被证明在期望下可以实现局部超线性和二次收敛。此外,我们还提出了一个使用近似导数的无约束优化的正则化牛顿和负曲率算法,用于定位近似二阶 stationary 点。所开发算法的最坏情况迭代和(样本)操作复杂度与现有文献中的最优结果一致。
2026-10-23 math.OC
TRFD: A derivative-free trust-region method based on finite differences for composite nonsmooth optimization
本研究提出基于有限差分的无导数信赖域方法TRFD,用于复合非光滑优化,推导了其求近似驻点的评估次数复杂度界,并通过数值实验验证了其相对现有求解器的效率优势。
2024-10-11 math.OC
Lower Bounds for Finding Stationary Points I
我们证明了寻找$ε$ -平稳点(点$x$,使$\|\nabla f(x)\| \le ε$)的光滑,高维,和潜在的非凸函数$f$的复杂性的下界。我们考虑基于预言机的复杂性措施,其中一个算法被赋予访问的值和所有衍生物的$f$在一个查询点$x$。我们发现,对于任何(潜在的随机)算法$\mathsf{A}$,存在一个函数$f$与Lipschitz $p$阶导数,$\mathsf{A}$至少需要$ε^{-(p+1)/p}$查询找到一个$ε$ -平稳点。我们的下界是尖锐的常数内,他们表明,梯度下降,ESTA-正则化牛顿法,和广义$p$阶正则化是最坏情况下的最佳自然函数类。
2019-08-15 math.OC
Worst-Case Complexity of High-Order Algorithms for Pareto-Front Reconstruction
University of Rome “Tor Vergata”(罗马托尔维加塔大学);Università degli studi di Firenze(佛罗伦萨大学);Sapienza Università di Roma(罗马第一大学)
研究无约束多目标优化后验算法最坏情况复杂度,提出基于\(p\)阶模型的算法框架及两个版本,在目标函数导数Lipschitz连续下,推导其最坏情况复杂度界,结果与单目标优化一致且推广了相关方法。
2026-07-23 math.OC
Convergence properties of an Objective-Function-Free Optimization regularization algorithm, including an $\mathcal{O}(ε^{-3/2})$ complexity bound
提出了一种求解无约束非凸优化问题的自适应正则化算法。该算法属于自适应正则化方法的类,对于其中评估目标函数的标准框架,已知最佳最坏情况复杂度结果。它表明,在本文中,这些优秀的复杂性界限也是有效的新算法,尽管事实上,显着较少的信息被使用。特别是,它示出,如果衍生物的程度$p$使用,该算法将找到一个$ε_1$近似的一阶极小在最多的$O(ε_1^{-(p+1)/p})$迭代,和一个$(ε_1,ε_2)$近似的二阶极小在最多的$O(\max[ε^{-(p+1)/p},ε_2^{-(p+1)/(p-1)}])$迭代。作为一种特殊情况,使用一阶和二阶导数的新算法,当应用于具有Lipschitz连续Hessian的函数时,将在至多$O(ε_1^{-3/2})$迭代中找到梯度范数小于$ε_1$的$x_k$。
2022-05-04 math.OC
A derivative-free trust-region approach for Low Order-Value Optimization problems
本文提出了一种无梯度信赖域算法,用于解决受约束的低阶值优化问题,实现了全局收敛性和最坏情况复杂度分析,并通过实验验证了其有效性。
2026-10-28 cs.MS math.OC
Complexity and performance of an Augmented Lagrangian algorithm
Algencan是一个建立良好的有保障的增广拉格朗日算法在[R. Andreani,E. G. Birgin,J. M. Mart 'ınez和M. L. Schuverdt,在增广拉格朗日方法与一般较低水平的约束,SIAM杂志优化18,第。1286-1309,2008]。复杂性的结果,报告其最坏情况下的行为在迭代和评估的功能和衍生物,是必要的,以获得合适的停止标准在这项工作中。此外,本文还介绍了新版本算法的计算性能,表明该软件是求解大规模约束最优化问题的有效工具。
2019-07-04 math.OC
Inexact Restoration for Minimization with Inexact Evaluation both of the Objective Function and the Constraints
本文将两种不精确恢复方法结合,解决目标函数与约束及其导数均存在评估误差的约束优化问题,并给出复杂度与收敛性证明。
2023-09-19 math.OC
The Sharp Worst-Case Asymptotic Rate of the Barzilai--Borwein Method in $\mathbb R^d$ and Hilbert Spaces
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院计算数学与科学工程计算国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);School of Mathematical Sciences, University of Science and Technology of China(中国科学技术大学数学科学学院)
该研究建立了Barzilai--Borwein方法在有限维空间及希尔伯特空间中,针对一致正定二次函数与局部非线性问题的尖锐最坏情况渐近速率,明确了相关因子的边界与可达条件。
2026-08-11 cs.NA math.NA math.OC
Non-monotone direct-search methods for deterministic and stochastic derivative-free optimization
Lehigh University(利哈伊大学);Emory University(埃默里大学)
本文提出最大-M非单调直接搜索方法,用于确定性和随机无导数优化,通过允许目标函数暂时增加来避免次优解,并建立了与单调方法匹配的O(ε^{-2})迭代复杂性理论。
2026-09-11 math.OC
Worst-case iteration bounds for log barrier methods on problems with nonconvex constraints
本文针对带非凸约束的内点法,在光滑性假设下证明从严格可行点出发只需 O(μ^{-7/4}) 个信赖域子问题即可求得 μ-近似 Fritz John 点,并将方法扩展至不可行起点以改进 scaled-KKT 复杂度界。
2023-11-03 cs.CC math.OC
High-Order Oracle Complexity of Smooth and Strongly Convex Optimization
Weizmann Institute of Science(魏茨曼科学研究所)
在这篇文章中,我们考虑优化一个高度光滑(Lipschitz $k$阶导数)和强凸函数的复杂性,通过调用一个$k$阶oracle返回值和一阶$k$导数的函数在一个给定的点,其中的尺寸是不受限制的。扩展Arjevani等人[2019]中介绍的技术,我们证明了任何固定$k$优化函数达到精确度$ε$的最差情况Oracle复杂度为$\left(\frac{μ_k D^{k-1}}λ\right)^{\frac{2}{3k+1}}+\log\log\left(\frac{1}ε\right)$的量级(在足够高的维度中,并且直到独立于$ε$的对数因子),其中$μ_k$是$k$阶导数的Lipschitz常数,$D$是到最优值的初始距离,$λ$是强凸性参数。
2021-04-28 cs.LG math.OC
Risk-Constrained MPPI Tuning with Update-Aware MA-ES Racing
University of Vienna(维也纳大学);Ferdowsi University of Mashhad(马什哈德费尔多西大学);Politecnico di Milano(米兰理工大学)
该研究将MPPI控制器离线调优建模为机会约束黑盒优化问题,提出基于MA-ES的更新感知框架,经实验验证其调优效果好且可跨车辆模型迁移。
2026-10-14 math.OC
Matching Complexity for Second-Order Stationary Point with Sample Reuse
Peking University(北京大学)
该研究针对带可复用样本句柄的随机非凸优化,证明求二阶平稳点的极小极大导数查询复杂度为\\(\widetilde\Theta(\varepsilon^{-3}+\gamma^{-3})\\),并给出匹配该复杂度的上界与下界方法。
2026-10-20 math.OC
High-Order Evaluation Complexity for Convexly-Constrained Optimization with Non-Lipschitzian Group Sparsity Terms
研究了非凸目标函数中包含非Lipschitz群稀疏项的部分可分凸约束优化问题的高阶计算复杂性.我们提出了一个使用$p$阶Taylor模型的部分可分离自适应正则化算法,并证明了该算法可以在至多O(<$^{-(p+1)/(p-q+1)})个目标函数及其一阶p阶导数(无论它们是否存在)的求值中产生一个(Δ,δ)近似q阶稳定点。我们的模型使用了欧几里得范数函数的旋转对称性来建立非Lipschitz群稀疏项的Lipschitz近似,这些稀疏项由群ell_2-ell_a范数定义,a在(0,1)中。新的结果表明,部分可分离的结构和非Lipschitz群稀疏项的目标函数可能不会影响最坏情况下的评估复杂性顺序。
2019-02-27 math.OC
Matching Upper and Lower Bounds for Higher-Order Nonconvex Finite-Sum Optimization
Peking University(北京大学)
本文针对非凸有限和优化,建立了高阶随机预言机复杂度的紧匹配上下界,消除了先前上下界间的√n差距,并给出了包含加性n项的完整复杂度刻画。
2026-10-21 math.OC
A Finite-Difference Trust-Region Method for Convexly Constrained Smooth Optimization
ICTEAM Institute, UCLouvain(UCLouvain ICTEAM研究所)
提出一种基于有限差分梯度逼近的无导数信赖域方法,用于凸约束光滑优化问题,并给出非凸、凸及Polyak-Lojasiewicz函数下的最坏情况复杂度界。
2026-07-01 math.OC
Inexact Derivative-Free Optimization for Bilevel Learning
University of Bath(巴斯大学);Australian National University(澳大利亚国立大学)
变分正则化技术是数学成像领域的主导技术。这些技术的缺点是它们依赖于必须由用户设置的多个参数。解决这个问题的一个常见策略是从数据中学习这些参数。虽然在数学上很吸引人,但这种策略导致了一个嵌套的最优化问题(称为双层优化),这在计算上非常难以处理。在解决上层问题时,通常假设可以访问下层问题的精确解,这实际上是不可行的。在这项工作中,我们建议解决这些问题,使用不精确的衍生物的优化算法,从来没有需要确切的低层次的问题的解决方案,而是假设访问近似解与可控的精度,这是在实践中可以实现的。我们证明了我们的方法的整体收敛和最坏情况下的复杂性。我们测试我们提出的框架ROF去噪和学习MRI采样模式。动态调整较低级别的准确度会产生与高准确度评估类似的重建质量的学习参数,但计算工作量大大减少(在某些情况下快100倍)。
2020-12-08 cs.CV cs.LG cs.NA
Zeroth-order Random Subspace Algorithm for Non-smooth Convex Optimization
针对零阶优化预言机复杂度依赖问题维度的局限,提出结合带中心差分的高斯随机平滑无梯度算法与随机投影的零阶随机子空间算法,推导了非光滑凸场景下的复杂度与局部收敛性,实验验证特定结构下效率更高。
2024-07-15 math.OC
Matching Randomized First-Order Bounds for Higher-Order Smooth Nonconvex Optimization
Peking University(北京大学)
该研究针对高阶光滑非凸优化,证明找到ε-驻点需Ω_p(ε^{-5/3})次查询,确立5/3随机精度壁垒,扩展了此前匹配的三阶情况。
2026-10-20 math.OC
Progressively Sampled Equality-Constrained Optimization
Department of Industrial and Systems Engineering, Lehigh University(莱维大学工业与系统工程系)
本文提出并测试了一种解决连续非线性等式约束优化问题的算法,通过逐步增加样本量解决一系列相关问题,从而获得更优的样本复杂度界。
2026-05-13 cs.LG math.OC stat.ML
Convergence of the restricted Nelder-Mead algorithm in two dimensions
Nelder-Mead算法是1965年发表的一种无约束优化的长期直接搜索法,它的目的是只使用函数值,而不使用任何导数信息来最小化n个实变量的标量值函数f。每个Nelder-Mead迭代都与一个由n+1个顶点及其函数值定义的非退化单纯形相关联;一个典型的迭代通过用一个新点替换最差的顶点来产生一个新的单纯形。尽管该方法的广泛使用,理论上的结果已经受到限制:对于严格凸的目标函数的一个变量与有界的水平集,该算法总是收敛到最小值;对于这样的功能的两个变量,单纯形的直径收敛到零,但由麦金农构造的例子表明,该算法可能会收敛到一个非最小化点。本文认为,限制Nelder-Mead算法,一个变种,不允许扩展步骤。在二维情形下,我们证明了对于任何非退化的起始单纯形和任何具有正定Hessian和有界水平集的二次连续可微函数,算法总是收敛到极小点.证明是基于处理的方法作为一个离散的动力系统,并依赖于几种技术,是非标准的无约束优化收敛证明。
2011-04-03 math.DS math.OC
Partially separable convexly-constrained optimization with non-Lipschitzian singularities and its complexity
针对目标函数中含有$q\in (0,1)$的非Lipschitz $\ell_q$ -范数正则项的部分可分凸约束非线性最优化问题,提出了一种基于高阶模型的自适应正则化算法.它表明,该算法使用$p$-阶泰勒模型的$p$奇数一般需要在最多$O(ε^{-(p+1)/p})$评估的目标函数及其衍生物(在他们被定义的点),以产生一个$ε$ -近似一阶临界点。这一结果是在泰勒模型的代价是要求可行集是“核中心”(包括约束约束和许多其他情况下的利益),或非Lipschitz模型,在通过的代价困难的计算步骤。由于该复杂性界限与已知的凸约束条件下纯Lipschitz最小化的复杂性界限相同[CartGoulToin 2016],因此新结果表明,在目标函数中引入非Lipschitz奇点可能不会影响最差情况下的评估复杂性顺序。结果还表明,使用问题的部分可分结构(如果存在)也不会影响复杂性顺序。一个最终的(更坏的)复杂性界的情况下,泰勒模型与一个一般的凸可行集。
2017-04-23 cs.CC math.OC
On the complexity of nonsmooth automatic differentiation
Toulouse School of Economics(图卢兹经济学院);Université de Toulouse(图卢兹大学);Thales LAS France(法国泰勒斯激光系统公司);IRIT, CNRS(法国国家科学研究中心信息与电信研究所);Institut Universitaire de France (IUF)(法国大学研究院)
使用保守梯度的概念,我们提供了一个简单的模型来估计计算成本的向后和向前模式的算法微分为广泛的一类非光滑程序。当使用具有局部Lipschitz半代数或可定义初等函数的程序时,反向模式的开销复杂度与维数无关。这大大扩展了Baur-Strassen的平滑廉价梯度原理。我们说明我们的研究结果通过建立保守梯度的快速反向传播结果,通过前馈神经网络与标准的激活和损失函数。非光滑反向传播的廉价与并发向前方法形成对比,并发向前方法迄今为止具有依赖于维度的最坏情况开销估计。我们提供了进一步的结果表明保守梯度的反向传播的优越性。事实上,我们与计算大量的方向导数的矩阵乘法的复杂性,我们发现,在克拉克次微分的函数中找到两个次梯度是一个NP-困难的问题。
2023-02-06 cs.AI cs.LG cs.NA
Finding Global Minima via Kernel Approximations
INRIA(法国国家信息与自动化研究所);Département d’Informatique de l’École Normale Supérieure(巴黎高等师范学院计算机系);PSL Research University(巴黎文理研究大学)
我们考虑的整体最小化的光滑函数的基础上完全功能的评价。对于给定的精度水平,实现函数求值的最佳数量的算法通常依赖于显式地构造函数的近似,然后用具有指数运行时间复杂度的算法将其最小化。在本文中,我们考虑一种方法,联合模型的函数近似,并找到一个全局极小值。这是通过使用平方光滑函数的无限和来完成的,并且与多项式平方和层次结构有很强的联系。利用再生核Hilbert空间的最新表示性质,通过对函数求值次数的时间多项式进行二次采样,并在理论上保证所获得的最小值,可以解决无限维最优化问题.给定$n$样本,计算成本在时间上是$O(n^{3.5})$,在空间上是$O(n^2)$,并且我们实现了全局最优的收敛速度,即$O(n^{-m/d + 1/2 + 3/d})$,其中$m$是函数的可微度,$d$是维数。该速率在Sobolev函数的情况下几乎是最优的,并且更一般地使得所提出的方法特别适合于具有大量导数的函数。事实上,当$m$的数量级为$d$时,全局最优值的收敛速度不会受到维数灾难的影响,这只影响最坏情况下的常数(我们在本文中明确跟踪)。
2020-12-22 cs.LG math.OC stat.ML
Tight Lower Bounds under Asymmetric High-Order Hölder Smoothness and Uniform Convexity
本文研究高阶 Hölder 光滑且一致凸函数在两种非对称参数关系下的最小化 oracle 复杂度,通过截断 Gaussian 平滑困难函数证明紧下界,并与一般上界匹配。
2025-06-08 math.OC stat.ML