Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题，提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明，该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此，该复杂性界限概括了[Bellavia，Gurioli，Morini和Toint，2018]为光滑非凸问题的不精确方法提供的复杂性界限，并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
Economic inexact restoration for derivative-free expensive function minimization and applications
本文将 Inexact Restoration 扩展到非光滑或不连续的昂贵目标函数最小化，结合无导数优化与正则化子问题求解，保留收敛和复杂度保证，并用于模拟大坝失效实验。
2021-06-03 math.OC
A Minimization Approach for Minimax Optimization with Coupled Constraints
本文针对带耦合约束的非凸-强凹极小极大问题，通过引入对偶变量和部分前向-后向包络将其转化为等价的最小化问题，从而可直接应用高效最小化方法求解。
2024-08-30 math.OC
Derivative-Free Superiorization: Principle and Algorithm
优越化方法的目的是与输入数据的约束最小化问题，即，一个目标函数和一组约束。然而，它是基于一种对映的思维方式，导致约束最小化方法。它不是采用无约束极小化算法来处理约束，而是采用可行性搜索算法来减少（不一定最小化）目标函数值。这是通过将目标函数减少扰动插入到可行性搜索算法中来实现的，同时保留其可行性搜索能力，并且不付出高昂的计算代价。提出了一种采用逐分量目标函数约简步骤的优化算法。这使得无导数的优越化（DFS）成为可能，这意味着优越化可以应用于没有可计算的偏导数或次梯度的目标函数。我们的衍生物免费superiorization算法的数值行为示出了通过模拟从投影图像重建的问题所产生的数据集。我们提出了一个工具（我们称之为一个接近目标曲线），用于决定两个迭代法是“更好”解决一个特定的问题。我们的实验的接近目标曲线图证明了所提出的导数自由优越化算法的优点。
2020-10-23 math.OC physics.med-ph
Higher-Order Derivatives Do Not Accelerate the Computation of Fixed Points
University of California, Los Angeles（加州大学洛杉矶分校）
研究光滑压缩不动点计算中，查询导数的高阶方法能否加速。通过分析发现有限阶导数信息不能加速其最坏情况复杂度，与高阶光滑最小化不同，后者高阶导数可提高最坏情况速率。
2026-07-08 math.OC
Retraction based Direct Search Methods for Derivative Free Riemannian Optimization
直接搜索法代表了一类用于解决黑盒最优化问题的鲁棒且可靠的算法。在本文中，我们将探讨这些策略的应用黎曼优化，其中最小化是相对于限制躺在流形上的变量进行。更具体地说，我们认为经典的和线搜索外推的直接搜索的变体，并通过使用撤回，我们设计定制的策略，最小化平滑和非平滑的功能。因此，我们分析，第一次在文献中，一类收缩为基础的算法，最小化非光滑目标的黎曼流形没有访问（子）衍生物。随着收敛的保证，我们提供了一套标准的一组问题的数值性能插图。
2022-02-22 math.OC
Randomized Subspace Derivative-Free Optimization with Quadratic Models and Second-Order Convergence
研究大规模无导数优化中基于随机子空间的迭代最小化方法，首次给出收敛至近似二阶临界点的最坏复杂度界，并引入基于二次插值的实用子空间方法，在改善维度依赖性的同时可求解更大规模问题。
2024-12-19 math.OC
Improved global performance guarantees of second-order methods in convex minimization
本文比较二阶优化两分支，提出针对一般自和谐函数的路径跟踪方案，证明其复杂度优于阻尼牛顿法且全局超线性收敛，并改进常数因子，在强凸子类中三次正则化牛顿法复杂度更优。
2024-08-20 math.OC
The Dynamics of Sharpness-Aware Minimization: Bouncing Across Ravines and Drifting Towards Wide Minima
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
本文分析了SAM在凸二次与非二次目标下的动力学，揭示其振荡行为等价于对Hessian谱范数做小步长梯度下降，从而促使参数向更宽极小值漂移。
2023-04-11 cs.LG math.OC stat.ML
A seven-point algorithm for piecewise smooth univariate minimization
在本文中，我们构造了一个算法，用于最小化分段光滑函数的导数信息是不可用的。该算法构造一对二次函数，在具有最小已知函数值的点的每一侧上一个，并选择这些二次函数的交点作为下一个测试点。该算法依赖于在特定范围内低估真实函数的二次函数，这是使用随着算法进行而修改的调整项来实现的。
2020-12-11 math.OC
Isolated calmness and sharp minima via Hölder graphical derivatives
本文利用Hölder图导数刻画了Hölder强次正则性、孤立平静性和锐极小性。作为应用，我们刻画了线性半无限优化问题的Hölder孤立镇定和约束优化问题的某些罚函数的Hölder尖锐极小.
2021-10-06 math.OC
Existence of Minimizers for Fractional Variational Problems Containing Caputo Derivatives
研究了含Riemann-Liouville分数次积分、经典和Caputo分数阶导数的Lagrange泛函变分法的动态极小化问题。在正则性、凸性和非凸性的假设下，我们证明了解的存在性。
2012-08-11 math.OC
Comparison of derivative-free and gradient-based minimization for multi-objective compositional design of shape memory alloys
University of Cincinnati（辛辛那提大学）
针对形状记忆合金（SMAs）多目标成分设计挑战，本研究结合物理信息特征训练树基集成与神经网络模型，分别搭配无导数优化器COBYLA和基于梯度优化器TRUST-CONSTR，发现后者能更稳定找到满足马氏体起始温度与成本双目标的更优成分，为材料设计提供实用方法。
2025-08-19 cond-mat.mtrl-sci cs.LG math.OC
A level set-based structural optimization code using FEniCS
本文介绍了一个教育代码编写使用FEniCS，水平集方法的基础上，进行结构优化中的柔度最小化。我们使用分布形状导数的概念来计算顺应性的下降方向，其被定义为形状泛函。FeNiCS便于使用分布式形状导数，其允许以简单的实现来处理复杂的偏微分方程。该代码是为线性化弹性框架中的柔度最小化而编写的，并且可以很容易地适应于处理其他泛函和偏微分方程。我们还为兼容机制提供了代码的扩展。我们首先解释如何计算形状导数，并讨论形状导数的分布表达式和边界表达式之间的差异。然后，我们详细描述了实现，并展示了该代码的应用程序的一些经典的拓扑优化基准。代码可在http：//antoinelaurain.com/compliance.htm上获得，主文件也在附录中给出。
2018-01-29 math.OC
Simultaneous perturbed minimization of a convergent sequence of functions
本文提出一种同时扰动收敛函数序列的通用方法，使扰动后函数的强极小值序列收敛到原极限函数的强极小值。
2023-10-30 math.FA math.OC
Inexact Restoration for Minimization with Inexact Evaluation both of the Objective Function and the Constraints
本文将两种不精确恢复方法结合，解决目标函数与约束及其导数均存在评估误差的约束优化问题，并给出复杂度与收敛性证明。
2023-09-19 math.OC
An algorithm for minimization of arbitrary generic functions in one dimension over a finite domain
本文详细地描述了一维极小化的一种新算法，并给出了一些实例的测试结果。该方法只需要准时计算的功能，并适用于“困难”的情况下，即当函数是高度不规则的，并有多个次优的局部极小值。该算法使用二次或三次插值和黄金分割的间隔作为最后的手段。它在几个方面对Brent方法及类似方法进行了改进。它管理多个局部极小值，考虑到必须处理有限域而不是无限域的复杂性，并且在大多数情况下收敛速度稍快。
2017-08-23 math.OC
Moment methods in energy minimization: New bounds for Riesz minimal energy problems
我们利用矩技术构造了一个收敛于相互作用粒子系统基态能量下界的最优化问题。我们用块对角半定规划来近似（从下而上）这一层次中的无穷维最优化问题。为此，我们开发了必要的调和分析的空间组成的子集的另一个空间，我们开发对称的平方和技术。我们数值计算的第二步，我们的层次Riesz s-能量问题的5个粒子的2维单位球，其中s=1的情况下，是汤姆森问题。这产生了新的数值上尖锐的界限（高精度），并建议我们的层次结构的第二步可能是尖锐的整个相变，并可能是普遍尖锐的5粒子的单位球。这是第一次在离散几何中计算一个问题的4点边界。
2019-11-09 math.MG math.OC
Minimax Solutions of Hamilton--Jacobi Equations with Fractional Coinvariant Derivatives
针对演化由 Caputo 分数阶导数描述的动态系统最优控制问题，本文提出了带分数阶余不变导数的 Hamilton--Jacobi 方程在极小极大意义下的广义解，并利用 Lyapunov--Krasovskii 泛函证明了解的存在性、唯一性及与经典解的相容性。
2020-11-23 math.AP math.OC
Worst case complexity bounds for linesearch-type derivative-free algorithms
本文研究了线搜索类型无导数算法的最坏情况复杂度界限，证明了两种算法在非凸光滑函数优化中的O(ε^{-2})复杂度特性。
2023-02-13 math.OC
Minimal L2-Consistent Data-Transmission
本文针对非并置传感器与执行器系统，提出基于近似因果分解和系统层级综合的方法，在保证L2增益阈值约束下最小化数据传输次数，并给出增益退化误差界。
2024-08-07 cs.SY eess.SY math.OC
On duality for nonconvex minimization problems within the framework of abstract convexity
通过应用扰动函数方法，我们提出了两个一般非凸函数之和极小化问题的拉格朗日量和共轭量。主要工具是$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理。我们提供的条件，确保零对偶差距，并介绍$Φ$ -Karush-Kuhn-Tucker条件，表征原始和对偶问题的解决方案。我们还讨论了本研究中引入的对偶问题与文献中存在的一些共轭型对偶问题之间的关系。
2021-10-01 math.OC
A Derivative-Free Gauss-Newton Method
我们提出了DFO-GN，一个导数免费版本的高斯-牛顿法求解非线性最小二乘问题。与无导数优化中常见的一样，DFO-GN使用函数值的插值来构建目标的模型，然后在信赖域框架内使用该模型来给出需要$O(ε^{-2})$迭代的全局收敛算法，以在公差$ε$内达到近似一阶临界性。该算法是[H. Zhang，中国古柏A. R. Conn和K.张文，最小二乘最小化算法的一种新算法，北京：计算机科学出版社，20（2010），pp. 3555-3576]，其中我们用线性模型替换每个残差的二次模型。我们证明了DFO-GN在客观评估方面与Zhang等人的方法相比，具有更快的运行时间和更高的可扩展性。
2017-10-30 math.OC
Global and local approaches for the minimization of a sum of pointwise minima of convex functions
本文研究凸函数逐点最小和的极小化问题，提出双凸重构与松弛交替极小化（r-AM）局部算法，并构建无额外变量的紧凑big-M混合整数凸规划（MICP）全局方法，通过局部邻域求解证明候选点最优性或获得更优重启点。
2025-01-31 math.OC
Shape derivatives for minima of integral functionals
对于$Ω$在${\mathbb R} ^n$的开有界集之间变化，我们考虑形状泛函$J (Ω)$定义为$\int _Ω[ f (\nabla u) + g (u) ]$类积分能量的Sobolev空间上的下确界，在$\partial Ω$上满足Dirichlet或Neumann条件.在对被积函数$f$和$g$相当弱的假设下，证明了当给定的区域$Ω$通过初始速度场$V\in W ^ {1, \infty} ({\mathbb R} ^n, {\mathbb R} ^n)$变形为单参数区域族$Ω_\varepsilon$时，$J$在$Ω$上沿$V$方向的相应形状导数存在.在一些进一步的正则性假设下，我们表明，形状导数可以表示为一个边界积分线性依赖于$\partial Ω$上的$V$的正常组件。我们的方法来获得的形状导数是新的，它是基于凸分析和伽玛收敛技术的联合使用。它允许推导，作为一个同伴的结果，最优性条件的形式守恒律。
2014-01-13 math.OC
OFFO minimization algorithms for second-order optimality and their complexity
提出了一类受Adagrad启发的光滑无约束优化算法，其中目标函数从未被评估，但梯度范数至少像$\calO(1/\sqrt{k+1})$一样快地下降，而二阶最优性测度至少像$\calO(1/(k+1)^{1/3})$一样快地收敛到零。后者的收敛速度收敛速率被证明是本质上是尖锐的，是相同的，已知的更标准的算法（如信赖域或自适应正则化方法）使用函数和导数的评估。文中还介绍了一种相关的“发散步长”方法，其基本上锐的收敛速度收敛速率稍差。最后讨论了如何获得较弱的二阶最优性保证（大大）减少计算成本。
2022-03-07 math.OC
A derivative-free Levenberg-Marquardt method for sparse nonlinear least squares problems
针对雅可比矩阵不可用或计算昂贵的稀疏非线性最小二乘问题，提出基于$\ell_1$最小化插值构造雅可比模型的无导数Levenberg-Marquardt算法，证明其概率一阶精度与几乎必然全局收敛，数值实验验证了效率。
2025-07-09 math.OC
Subgradient sampling for nonsmooth nonconvex minimization
本文针对非光滑非凸风险最小化问题，提出并分析了一阶次梯度采样（随机次梯度下降）的收敛性，利用保守微积分和ODE方法改进既有结果，并证明在可定义情形下以概率1避免人工临界点，适用于深度学习风险最小化。
2024-07-23 math.OC
Local minima in Newton's aerodynamical problem and inequalities between norms of partial derivatives
针对Newton最小阻力曲面问题，本文将平面曲面的局部极小性归结为边界消失二元凹函数偏导数$L_2$范数的不等式，并给出依赖区域几何的完备判据。
2024-05-08 math.AP math.OC
