Avoiding Geometry Improvement in Derivative-Free Model-Based Methods via Randomization
本文提出 basis sketching 技术,通过对 Vandermonde 矩阵随机草图弱化插值集满维仿射独立要求,从而在理论上合理地避免无导数优化中的几何改进步骤,并扩展 POUNDers 求解器验证了其在高维问题上的有效性。
2023-05-27 math.OC
SOLNP+: A Derivative-Free Solver for Constrained Nonlinear Optimization
SOLNP+是一个用于约束非线性最优化的无导数求解器。本文从叶叶1989年提出的SOLNP算法出发,其主要思想是用有限差分逼近梯度。我们将隐式过滤,新的重新启动机制和现代二次规划求解器到这个新版本的ANSI C实现的技术。该算法在运行时间和噪声下的鲁棒性方面比MATLAB的最新版本有很大的优势。SOLNP+可从https://github.com/COPT-Public/SOLNP_plus免费下载。
2022-10-13 math.OC
Worst case complexity bounds for linesearch-type derivative-free algorithms
本文研究了线搜索类型无导数算法的最坏情况复杂度界限,证明了两种算法在非凸光滑函数优化中的O(ε^{-2})复杂度特性。
2023-02-13 math.OC
A derivative-free approach to optimal control problems with piecewise constant Mayer cost function
分段常数Mayer费用函数被用来模拟最优控制问题,其中状态空间被划分为几个区域,每个区域都有自己的Mayer成本值。在这种情况下,由于与Mayer费用函数相关的不连续性和零梯度,最优控制理论中使用的标准数值方法自然失效。本文提出了一种基于无导数优化和光滑优化技术的混合数值方法来求解这类问题。对标准控制系统进行了数值模拟,以显示混合方法的有效性,其中NOMAD和IPOPT分别用作无导数优化和平滑优化求解器。
2021-12-01 math.OC
A Derivative-Free Approach to Total Variation Regularization
本文的目标是提出一种新的方法,全变差正则化和Sobolev最小化,这是变分成像的突出工具。因此,我们使用的全变差半范数和Sobolev半范数最近推出的Bourgain,Brézis,Mironescu和Dávila的功能的导数自由的特征。他们的分析是用奇异积分算子逼近函数的半范数。利用这一特征,我们得到了一系列新的正则化方法的全变差最小化作为一个新的功能,非局部二重积分正则化项。
2009-11-06 math.OC
Least $H^2$ Norm Updating Quadratic Interpolation Model Function for Derivative-free Trust-region Algorithms
无导数最优化方法是求解最优化问题的数值方法,其中不使用导数信息。这类最优化问题在许多实际应用中广泛存在。一类特殊的无导数优化算法是基于欠定插值给出的二次模型的置信域算法。在迭代过程中采用不同的方法来更新二次模型,会得到不同的插值模型。在本文中,我们提出了一种新的方法来更新的二次模型,通过最小化相邻的二次模型之间的差异的$H^2$范数。动机应用$H^2$规范,我们的新的更新技术的理论特性也被提出。给出了模型函数的$H^2$范数意义下的投影和插值误差分析。利用KKT条件得到了二次模型函数的系数。数值结果表明,基于最小$H^2$范数更新的二次模型函数的无导数算法比基于最小Frobenius范数更新的算法能以更少的函数求值来求解测试问题.
2023-02-20 math.OC
Scalable Derivative-Free Optimization Algorithms with Low-Dimensional Subspace Techniques
本文重新提出一种基于近似梯度构造低维子空间并求解子问题的无导数优化框架,分析其收敛性与复杂度,并验证其可扩展至万维问题。
2025-01-08 math.OC
Gradient and Hessian approximations in Derivative Free Optimization
这项工作探讨有限差分和插值模型的使用,以获得近似的一阶和二阶导数的功能。这里,示出了如果在插值模型中使用特定的点集合,则对相关联的线性系的解(即,对Hessian的梯度和对角线的近似),这与有限差分的成本相同,并且在求解一般非结构化线性系时节省了$\mathcal{O}(n)$成本。此外,如果使用“规则最小正基”形成内插点,则梯度近似的误差界与有限差分近似的相同。数值实验表明,如何衍生估计可以采用现有的衍生自由优化算法,从而展示了这些衍生近似的潜在的实际用途之一。
2020-01-23 math.OC
A trust-region method for derivative-free nonlinear constrained stochastic optimization
在这项工作中,我们介绍了随机非线性约束无导数最优化方法(S)NOWPAC(随机非线性最优化路径增广约束)。该方法扩展了无导数优化器NOWPAC适用于不确定性下的优化。它是基于一个置信域框架,利用本地完全二次代理模型结合高斯过程代理,以减轻噪音的目标函数和约束评估。我们展示了我们的算法的性能从CUTEst基准套件的各种强大的最优化问题通过比较其他国家的最先进的最优化方法。虽然我们专注于强大的优化基准问题,以证明(S)NOWPAC的能力,优化器可以适用于广泛的应用在非线性约束随机最优化。
2022-01-21 math.OC
Optimization by moving ridge functions: Derivative-free optimization for computationally intensive functions
针对无约束和有界约束优化问题,提出了一种新的无导数优化算法--移动岭函数优化算法(OMoRF)。该算法将置信域方法与基于输出的降维方法相结合,以加速基于模型的优化策略的收敛。降维子空间随着置信域在函数域中的移动而更新,从而允许OMoRF应用于没有已知全局低维结构的函数。此外,它的低计算要求使其能够在优化高维函数时取得快速进展。一组测试问题的中高维和高维设计最优化问题的性能进行了检查。结果表明,OMoRF优于其他常见的衍生物自由最优化方法,即使在没有底层的全球低维结构是已知的功能。
2021-01-06 math.OC
Sobolev Seminorm of Quadratic Functions with Applications to Derivative-Free Optimization
本文研究了二次函数的$H^1$ Sobolev多项式。研究的动机是广泛应用于无导数优化的最小范数插值。当定义域为球时,我们用Hessian和梯度来表示二次函数的$H^1$矩阵。该算法为最小范数插值提供了新的见解。阐明了最小范数插值中目标函数的分析意义和几何意义。我们采用的方法来研究由Powell提出的扩展对称Broyden更新。数值结果表明,新的理论有助于提高更新的性能。除了理论上的结果,我们提出了一种新的方法来比较导数免费的解决方案,这是更有说服力的,而不是仅仅计数的功能评估的数量。
2013-03-19 math.OC
Universal derivative-free optimization method with quadratic convergence
提出了一种新的通用无导数最优化方法--共轭方向正交移位法。CDOS方法是专门开发的,用于解决目标函数和约束为黑盒的优化任务。该方法对二次和近二次函数具有平方收敛。目标函数可以是不可微的和非连续的。对于约束优化,约束也可以是不可微和非连续的。该方法直接处理不等式约束,即,它不变换目标函数,也不使用不等式约束的数值-它只使用约束违反的事实。
2011-02-07 math.OC
Randomized Derivative-Free Optimization of Noisy Convex Functions
我们提出了星,一个随机衍生物的无约束优化算法时,函数的评价是污染的随机噪声。STARS采用动态的、噪声调整的平滑步长,使噪声函数的真实方向导数与其有限差分近似之间的最小二乘误差最小化。我们提供了一个收敛速度分析的STARS解决凸问题的加性或乘性噪声。实验结果表明:(1)STARS算法对不同程度的随机噪声具有噪声不变性;(2)STARS算法在求解精度和收敛速度方面的实际性能明显优于理论结果;(3)STARS算法在加性和乘性噪声函数上的性能优于随机零阶算法。
2015-07-13 math.OC
A clustering heuristic to improve a derivative-free algorithm for nonsmooth optimization
在本文中,我们提出了一个启发式,以提高性能最近提出的衍生物免费方法的非光滑最优化CS-DFN。启发式是基于聚类类型的技术来计算方向{依赖于估计的克拉克的广义梯度}的目标函数。因此,该方向(如数值实验所示)是目标函数的良好下降方向。我们报告了一些数值结果,并与原来的CS-DFN方法的比较,以显示一组著名的测试问题的实用程序的改进建议。
2023-02-10 math.OC
A Feasible Method for Constrained Derivative-Free Optimization
本文提出一种在目标函数导数不可用但约束导数已知时求解约束优化的方法,通过插值构建二次模型并在信赖域约束下计算步长,数值结果验证了其潜力。
2024-02-19 math.OC
Expected decrease for derivative-free algorithms using random subspaces
本文分析了采用随机子空间的无导数算法,利用光滑函数的线性局部近似研究每次函数评估的期望下降,并通过数值计算证明在低维子空间中运算更具优势。
2023-08-09 math.OC
A derivative-free regularization algorithm for equality constrained nonlinear least squares problems
针对目标函数和约束雅可比矩阵不可用或计算昂贵的等式约束非线性最小二乘问题,提出基于正交球面平滑近似雅可比矩阵的无导数正则化算法,证明其能以任意高概率找到近似KKT点或几乎必然收敛到约束违反平稳点。
2025-07-08 math.OC
The Error in Multivariate Linear Extrapolation with Applications to Derivative-Free Optimization
Nanjing University(南京大学);Peking University(北京大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
本文研究了多变量线性外推的函数近似误差,提出了一种数值计算误差界的方法,并分析了在无梯度优化中的应用。
2026-05-19 math.OC
General Derivative-Free Optimization Methods under Global and Local Lipschitz Continuity of Gradients
本文针对梯度不可用的光滑优化问题,提出两种基于自适应有限差分梯度近似的无导数方法,在全局或局部Lipschitz连续梯度条件下建立了全局与局部收敛性及收敛速率,并通过数值实验验证了其优于现有方法的性能。
2023-11-28 math.OC
Derivative-free methods for mixed-integer nonsmooth constrained optimization
在本文中,我们考虑混合整数非光滑约束最优化问题,其目标/约束函数仅作为黑盒零阶预言机的输出(即,不提供衍生信息的Oracle),并且我们提出了一种新的基于无衍生的线搜索的算法框架来适当地处理这些问题。我们首先描述了一个计划,结合了密集的方向序列(处理的非光滑的目标函数)与原始方向(处理离散变量)的约束问题。然后,我们嵌入一个精确的惩罚方法,该计划适当地管理非线性(可能是非光滑的)约束。我们分析了所提出的算法对稳定点的整体收敛特性,我们报告了一组混合整数测试问题的大量数值经验的结果。
2021-07-01 math.OC
Redundancy Optimization of Finite-Dimensional Structures: A Concept and a Derivative-Free Algorithm
冗余与结构在结构退化的最坏情况下可以维持的功能量有关。本文提出了一种具有广泛适用性的有限维结构冗余优化概念。这一概念与稳健结构优化以及基于信息差理论的结构冗余度定量度量是一致的。基于序列二次规划(SQP)方法提出了一种无导数算法,该算法采用自适应改变差分增量的有限差分法。初步的数值实验表明,冗余最优化问题的最优解可能有多个最坏情况。
2016-06-15 math.OC
Adaptive Interpolation Strategies in Derivative-Free Optimization: a case study
无导数优化(Derivative-Free Optimization,DFO)是一种在不需要目标函数梯度解析知识的情况下,设计求解最优化问题的方法。DFO方法主要有两类:基于模型的方法和直接搜索法。在基于模型的DFO方法中,仅使用目标函数值来构造目标函数的模型,并且该模型用于指导下一个目标函数的计算。这类算法中的自然问题包括应该使用多少函数求值来构建模型?而且,这个数字应该是固定的,还是由算法自适应地选择?在本文中,我们使用Hare和Lucet的无导数邻近点(DFPP)算法[Hare,Lucet,2014]作为案例研究,对这些问题进行了数值研究。结果表明,用于构建模型的函数评估的数量对算法性能有巨大的影响,自适应策略可以提高和阻碍算法性能。
2015-11-09 math.OC
Exploiting problem structure in derivative free optimization
介绍了无导数随机模式搜索优化算法的结构化版本,该算法能够利用经常存在于无约束和有界约束最优化问题中的坐标部分可分结构(通常与稀疏性相关联)。这种技术提高了几个数量级的性能,并使其有可能解决其他无导数方法完全难以解决的大型问题。还描述了基于插值的建模工具库,其可以与初始模式搜索算法的结构化或非结构化版本相关联。库的使用进一步增强了性能,特别是当与结构相关联时。与这两种技术相关的性能显著提高使用BFO(Brute Force Optimizer)包的新免费版本进行了说明,该包首次在[Porcelli,Toint,ACM TOMS,2017]中引入,其中包含了它们。一个有趣的结论的数值结果是,提供全球结构信息的问题,可以导致显着更少的评价的目标函数比试图建立本地泰勒模型。
2021-01-12 math.OC
Gradient Approximation and Multi-Variable Derivative-Free Optimization based on Non-Commutative Maps
本文研究了无约束最优化问题的多变量无导数优化算法。提出了一种基于非交换映射的多变量目标函数梯度逼近方法。该过程是基于一个探索序列的建设,以指定在哪里评估的目标函数和所谓的梯度生成函数的定义,与目标函数组成,使得该过程模仿梯度下降算法。所提出的算法类的各种理论特性进行了研究和数值例子。
2021-11-15 math.OC
A Stochastic Derivative-Free Optimization Method with Importance Sampling: Theory and Learning to Control
我们认为,在$\R^n$的设置中,只有功能评估是可能的无约束极小化的光滑目标函数的问题。虽然重要性采样是机器学习从业者在适用时用于加速模型收敛的最流行技术之一,但在无导数设置中这种加速的现有理论并不多。本文提出了一种带重要抽样的无一阶导数的最优化方法,并在非凸函数、凸函数和强凸函数上得到了新的改进的复杂性结果。我们在各种合成和真实的LIBSVM数据集上进行了广泛的实验,证实了我们的理论结果。我们进一步测试我们的方法在MuJoCo环境中具有不同难度的连续控制任务的集合上。实验表明,我们的算法是实用的高维连续控制问题的重要性抽样结果在一个显着的样本复杂性的改善。
2020-04-02 math.OC
Model-Based Derivative-Free Methods for Convex-Constrained Optimization
我们提出了一个基于模型的衍生物的自由优化方法受到一般的凸约束,我们假设是unrelaxable和访问,只有通过一个投影算子,是廉价的评估。我们证明了整体收敛和最坏情况下的复杂性的$O(ε^{-2})$迭代和非凸函数的客观评价,匹配结果的无约束的情况下。与现有方法相比,我们引入了新的,较弱的模型精度要求。结果,仅使用可行点就可以构造足够精确的插值模型。我们开发了一个全面的理论插值集管理在这个政权的线性和复合线性模型。我们实现了我们的非线性最小二乘问题的方法,并表现出较强的实用性能相比,通用求解器。
2022-03-16 math.OC
Derivative-Free Optimization via Adaptive Sampling Strategies
针对无梯度信息的无约束随机优化问题,提出融合自适应采样的无导数优化框架,涵盖多种梯度估计技术,给出理论收敛与复杂度分析,并在两类问题上验证了实证性能。
2024-04-18 math.OC
An open-source solver for finding global solutions to constrained derivative-free optimization problems
本文提出一个名为GSDO的开源启发式求解器,通过基于径向基函数的代理近似求解受约束无导数全局优化问题,其性能与NOMAD、DE和SHGO等先进求解器相比具竞争力。
2024-04-28 math.OC
On derivative-free extended Kalman filtering and its Matlab-oriented square-root implementations for state estimation in continuous-discrete nonlinear stochastic systems
针对连续-离散非线性随机系统,本文提出一种无导数扩展卡尔曼滤波方法,推导了矩与样本点微分方程及其平方根形式,并设计了基于MATLAB内置ODE求解器的精确数值实现,有效解决了高度非线性系统难以计算雅可比矩阵的估计难题。
2024-02-17 math.OC
Model Construction for Convex-Constrained Derivative-Free Optimization
本文针对凸约束无导数优化(DFO)中仅采样可行点难以达到标准精度的问题,提出适用于线性回归和欠定二次插值模型的新的逼近理论,扩展了已有凸约束线性插值理论。
2024-03-22 math.OC
A derivative-free Levenberg-Marquardt method for sparse nonlinear least squares problems
针对雅可比矩阵不可用或计算昂贵的稀疏非线性最小二乘问题,提出基于$\ell_1$最小化插值构造雅可比模型的无导数Levenberg-Marquardt算法,证明其概率一阶精度与几乎必然全局收敛,数值实验验证了效率。
2025-07-09 math.OC
Introduction to Model-Based Derivative-Free Optimization
University of Melbourne(墨尔本大学);School of Mathematics and Statistics(数学与统计学院);ARC Training Centre in Optimisation Technologies, Integrated Methodologies, and Applications (OPTIMA)(ARC优化技术、集成方法论及应用训练中心)
本文介绍基于模型的导数自由优化(DFO)方法,通过插值构建局部模型替代梯度信息,涵盖最坏情况复杂度、多项式插值理论及约束与噪声问题的扩展。
2026-06-29 math.OC
Distributed Derivative-Free Optimization Using Inexact ADMM and Trust-Region Methods
North Carolina State University(北卡罗来纳州立大学)
针对高维黑盒设置,提出一种基于双层ADMM框架与无导数信赖域求解器的分布式非凸无导数优化方法,通过不精确求解子问题提升计算效率,并证明了其理论收敛性与优越性能。
2025-10-31 math.OC
On complexity constants of linear and quadratic models for derivative-free trust-region algorithms
本文整理并显式给出了基于线性和二次模型的无导数信赖域算法中复杂度常数的界限,将其扩展至非精确插值集,并为欠定情形提供了更清晰的证明。
2024-09-25 math.OC
A note on the complexity of random subspace model-based methods for derivative-free optimization
University of Oxford(牛津大学);University of Melbourne(墨尔本大学)
该研究针对无导数优化,证明对Johnson-Lindenstrauss变换重缩放后,可改进基于随机子空间模型的DFO算法最坏情况评估复杂性界,且与同类最优界匹配。
2026-10-20 math.OC
StepDIRECT -- A Derivative-Free Optimization Method for Stepwise Functions
在本文中,我们提出了StepDIRECT算法的无导数优化(DFO),其中的黑盒目标函数具有阶梯景观。我们的框架是基于著名的直接算法。通过结合局部变异性来探索平坦性,我们提供了一个新的标准来选择潜在的最佳超矩形。此外,我们引入了一个随机局部搜索算法执行潜在的最优超矩形,以提高解决方案的质量和收敛速度。证明了StepDIRECT算法的整体收敛性。随机森林模型的优化和超参数调整的数值实验支持我们的算法的有效性。与其他最先进的基线DFO方法(包括原始DIRECT算法)相比,拟议的StepDIRECT算法显示出具有竞争力的性能结果。
2022-02-02 math.OC
A linesearch-based derivative-free method for noisy black-box problems
本研究针对零阶随机预言机下的无约束含噪声黑箱优化问题,提出基于外推技术的线搜索无导数算法,证明了其收敛性并给出最坏情况复杂度界。
2025-08-01 math.OC
On Complexity of Model-Based Derivative-Free Methods
School of Industrial and Systems Engineering, Georgia Tech(佐治亚理工学院工业与系统工程学院)
本文系统推导了基于模型的信赖域方法及其变体的复杂性界限,首次证明其最坏情况复杂性与其他已知无导数优化方法相同。
2025-12-10 math.OC
Birkhoff interpolation models for optimization with some available derivatives
Argonne National Laboratory(阿贡国家实验室)
提出一种 Birkhoff 插值框架,允许任意模式的导数可用性,构建混合函数值和偏导信息的局部多项式模型,并建立全二次插值模型的精度界,推广了基于插值的无导数优化算法。
2026-10-15 math.OC
Powell-Style Model-Based Derivative-Free Optimization with Complexity Guarantees
Department of Applied Mathematics, University of Colorado, Boulder(科罗拉多大学博尔德分校应用数学系);School of Industrial and Systems Engineering, Georgia Tech(佐治亚理工学院工业与系统工程学院)
本文提出Powell风格的基于模型的信赖域导数无优化方法变体,推导其复杂度界限,并在随机子空间和噪声场景下验证,实现理论与实践性能的对比。
2026-09-10 math.OC
On the Numerical Performance of Derivative-Free Optimization Methods Based on Finite-Difference Approximations
本文的目标是研究一种无导数优化的方法,这种方法在文献中没有得到足够的重视,但它是最简单的实现和并行化方法之一。它包括计算目标函数(和约束)的平滑近似的梯度,并在已建立的代码中使用它们。这些梯度近似通过有限差分计算,差分区间由函数中的噪声水平和二阶或三阶导数的界限确定。假设噪声水平是已知的,或者可以通过差分表或采样来估计。在无导数优化文献中,有限差分的使用在很大程度上被驳回,因为在函数评估方面太昂贵和/或当目标函数包含噪声时不切实际。本文提出的试验结果表明,这种观点应该重新审查,有限差分法有很多值得推荐的。测试比较NEWUOA,DFO-LS和COBYLA对三类问题的有限差分方法:一般无约束问题,非线性最小二乘法,一般非线性规划与等式约束。
2021-02-19 math.OC
Anderson acceleration of derivative-free projection methods for constrained monotone nonlinear equations
College of Science, National University of Defense Technology(国防科技大学理学院)
本文提出一种基于安德森加速的无导数投影方法,用于求解约束单调非线性方程,证明了其全局收敛性和线性收敛速率,并通过实验验证了其有效性。
2025-05-07 math.OC
Derivative-Free Global Minimization in One Dimension: Relaxation, Monte Carlo, and Sampling
本文提出一种融合松弛泛函梯度流、Monte Carlo、拒绝采样与自适应技术的一维无导数全局优化算法,证明其收敛性并通过基准测试验证其高效性。
2023-08-17 math.OC
Randomized Subspace Derivative-Free Optimization with Quadratic Models and Second-Order Convergence
研究大规模无导数优化中基于随机子空间的迭代最小化方法,首次给出收敛至近似二阶临界点的最坏复杂度界,并引入基于二次插值的实用子空间方法,在改善维度依赖性的同时可求解更大规模问题。
2024-12-19 math.OC
Improved Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandit
研究了具有零阶单点预言机的$β$ -光滑(满足含参数$β> 2$的广义Holder条件)随机凸优化问题.最著名的结果是arXiv:2006.07862:$\mathbb{E} \left[f(\overline{x}_N) - f(x^*)\right] = \tilde{\mathcal{O}} \left(\dfrac{n^{2}}{γN^{\frac{β-1}β}} \right)$在$γ$ -强凸情况下,其中$n$是维数。本文改进了这个界:$\mathbb{E} \left[f(\overline{x}_N) - f(x^*)\right] = \tilde{\mathcal{O}} \left(\dfrac{n^{2-\frac{1}β}}{γN^{\frac{β-1}β}} \right).$
2021-04-28 math.OC
Complexity results and active-set identification of a derivative-free method for bound-constrained problems
Sapienza University of Rome(罗马大学);University of Rome “Tor Vergata”(罗马托尔维加特大学)
本文分析了一种针对有界约束问题的无导数线搜索方法,证明了其最坏情况复杂度与其他无导数方法相当,并展示了该方法能有限步内正确识别满足严格互补条件的主动约束。
2025-10-28 math.OC
On derivative-free sample-and-hold control with prescribed performance
针对相对阶为2的非线性连续时间系统,提出一种仅需输出信息的无导数采样数据反馈控制器,通过零阶保持实现预设性能的输出参考跟踪,并严格证明了其可行性。
2024-07-29 math.OC
A derivative-free $\mathcal{VU}$-algorithm for convex finite-max problems
$\mathcal{VU}$ -算法是一种超线性收敛的方法,用于极小化非光滑的凸函数。在每次迭代中,该算法使用特定的$\mathcal{V}$ -空间及其正交的$\U$ -空间,使得目标函数的非光滑性集中在其到$\mathcal{V}$ -空间上的投影上,并且在$\mathcal{U}$ -空间上的投影是光滑的。这种结构允许在函数光滑的牛顿样步骤和用于找到具有有希望的$\mathcal{VU}$ -分解的迭代的邻近点步骤之间交替。我们建立了一个衍生物的自由变种的$\mathcal{VU}$ -算法凸有限极大目标函数。我们展示了整体收敛,并提供了一个概念验证的实现,这表明了该方法的可行性和实用价值的数值结果。我们还进行了一些测试,使用非凸函数和讨论的结果。
2019-03-26 math.OC
Retraction based Direct Search Methods for Derivative Free Riemannian Optimization
直接搜索法代表了一类用于解决黑盒最优化问题的鲁棒且可靠的算法。在本文中,我们将探讨这些策略的应用黎曼优化,其中最小化是相对于限制躺在流形上的变量进行。更具体地说,我们认为经典的和线搜索外推的直接搜索的变体,并通过使用撤回,我们设计定制的策略,最小化平滑和非平滑的功能。因此,我们分析,第一次在文献中,一类收缩为基础的算法,最小化非光滑目标的黎曼流形没有访问(子)衍生物。随着收敛的保证,我们提供了一套标准的一组问题的数值性能插图。
2022-02-22 math.OC
Derivative-free optimization methods
在科学、工程和人工智能应用中产生的许多最优化问题中,目标和约束函数仅作为不提供衍生信息的黑盒或模拟预言的输出而可用。这种设置需要使用无导数或零阶优化方法。我们对这些方法的发展进行了回顾和展望,重点强调了最近的发展和非线性最优化和机器学习文献中对这些问题的统一处理。我们根据黑盒函数的假设属性以及方法的特征对方法进行分类。我们首先概述了应用于无约束、非凸优化问题的确定性方法的主要设置,其中目标函数由确定性黑盒预言器定义。然后,我们讨论了随机方法的发展,方法,假设一些额外的结构的目标(包括凸性,可分性和一般的非光滑成分),方法的问题,其中的输出的黑盒预言是随机的,和处理不同类型的约束的方法。
2019-06-25 math.OC
A derivative-free method for structured optimization problems
结构化最优化问题在数据科学和工程等领域无处不在。结构化优化的目标是使用一组指定的点(称为原子)来建立一个最小化或最大化给定函数的解决方案。在本文中,我们要最小化一个黑盒函数的凸包的一组给定的原子,一个问题,可以用来模拟一些现实世界中的应用。我们专注于解决方案稀疏的问题,即,的解决方案,可以获得作为一个适当的凸组合的几个原子在集合中,并提出了一个合适的导数免费内部近似的方法,很好地利用了给定的问题的结构。这使我们能够正确处理通常与无导数算法相关的维数问题,从而得到一种在问题的维数和原子数方面都具有良好伸缩性的方法。我们分析了整体收敛到稳定点。此外,我们表明,在适当的假设下,所提出的算法确定了一个特定的原子子集,在最终的解决方案中的权重为零,经过多次迭代。最后,我们报告的数值结果表明所提出的方法的有效性。
2021-01-13 math.OC
Derivative-Free Optimization with Transformed Objective Functions (DFOTO) and the Algorithm Based on the Least Frobenius Norm Updating Quadratic Model
本文提出基于变换目标函数的无导数优化方法(DFOTO),采用最小Frobenius范数更新二次模型,分析最优性保持变换并证明收敛性,数值实验验证其有效性。
2023-11-19 math.OC
Theoretical analysis of a derivative free control based continuation algorithm with path following capability for autonomous systems
本文提出一种由导数反馈、积分相位和积分弧长三个子控制器组成的最小控制连续算法,用于追踪自治系统极限环分支,并通过平均法给出与具体系统无关的参数整定规则。
2025-04-23 math.OC
A Stochastic Derivative Free Optimization Method with Momentum
我们考虑的问题,无约束极小化的光滑的目标函数在$\mathbb{R}^d$设置只有功能评估是可能的。提出并分析了带重球动量的随机零阶方法。特别是,我们建议,SMTP,动量版本的随机三点法(STP)\cite{Bergou_2018}。我们证明了新的复杂性结果的非凸,凸和强凸函数。我们测试我们的方法在几个MuJoCo \cite{Todorov_2012}环境中学习到不同难度的连续控制任务的集合上,并与STP,其他最先进的无导数优化算法和策略梯度法进行比较。SMTP显著优于STP和我们在数值实验中考虑的所有其他方法。我们的第二个贡献是SMTP与重要性抽样,我们称之为SMTP_IS。我们提供这种方法的收敛性分析非凸,凸和强凸的目标。
2020-02-16 math.OC