Least $H^2$ Norm Updating Quadratic Interpolation Model Function for Derivative-free Trust-region Algorithms
无导数最优化方法是求解最优化问题的数值方法,其中不使用导数信息。这类最优化问题在许多实际应用中广泛存在。一类特殊的无导数优化算法是基于欠定插值给出的二次模型的置信域算法。在迭代过程中采用不同的方法来更新二次模型,会得到不同的插值模型。在本文中,我们提出了一种新的方法来更新的二次模型,通过最小化相邻的二次模型之间的差异的$H^2$范数。动机应用$H^2$规范,我们的新的更新技术的理论特性也被提出。给出了模型函数的$H^2$范数意义下的投影和插值误差分析。利用KKT条件得到了二次模型函数的系数。数值结果表明,基于最小$H^2$范数更新的二次模型函数的无导数算法比基于最小Frobenius范数更新的算法能以更少的函数求值来求解测试问题.
2023-02-20 math.OC
Interpolation Constraints for Computing Worst-Case Bounds in Performance Estimation Problems
本文综述了性能估计问题(PEP)中通过插值约束将无限维优化转化为有限维问题,从而计算优化算法最坏情况界的方法及其最新进展。
2023-12-13 math.OC
Adaptive Interpolation Strategies in Derivative-Free Optimization: a case study
无导数优化(Derivative-Free Optimization,DFO)是一种在不需要目标函数梯度解析知识的情况下,设计求解最优化问题的方法。DFO方法主要有两类:基于模型的方法和直接搜索法。在基于模型的DFO方法中,仅使用目标函数值来构造目标函数的模型,并且该模型用于指导下一个目标函数的计算。这类算法中的自然问题包括应该使用多少函数求值来构建模型?而且,这个数字应该是固定的,还是由算法自适应地选择?在本文中,我们使用Hare和Lucet的无导数邻近点(DFPP)算法[Hare,Lucet,2014]作为案例研究,对这些问题进行了数值研究。结果表明,用于构建模型的函数评估的数量对算法性能有巨大的影响,自适应策略可以提高和阻碍算法性能。
2015-11-09 math.OC
A New Two-dimensional Model-based Subspace Method for Large-scale Unconstrained Derivative-free Optimization: 2D-MoSub
本文提出2D-MoSub,一种结合二维二次插值模型与信赖域技术的新型无导优化方法,用于解决大规模无约束优化问题,并从理论和数值上验证了其有效性与高效性。
2024-01-02 math.OC
Sobolev Seminorm of Quadratic Functions with Applications to Derivative-Free Optimization
本文研究了二次函数的$H^1$ Sobolev多项式。研究的动机是广泛应用于无导数优化的最小范数插值。当定义域为球时,我们用Hessian和梯度来表示二次函数的$H^1$矩阵。该算法为最小范数插值提供了新的见解。阐明了最小范数插值中目标函数的分析意义和几何意义。我们采用的方法来研究由Powell提出的扩展对称Broyden更新。数值结果表明,新的理论有助于提高更新的性能。除了理论上的结果,我们提出了一种新的方法来比较导数免费的解决方案,这是更有说服力的,而不是仅仅计数的功能评估的数量。
2013-03-19 math.OC
Computation of sparse low degree interpolating polynomials and their application to derivative-free optimization
基于插值的信赖域方法是一类重要的无导数优化算法,它依赖于二次多项式插值模型对目标函数的局部逼近,通常由比基分量少的点建立。通常,在实际应用中,问题变量对目标函数的贡献使得变量之间的许多成对相关性可以忽略不计,这意味着在光滑情况下,黑塞矩阵中存在稀疏结构。为了能够利用Hessian稀疏性,现有的优化方法需要稀疏性结构的知识。本文的目标是开发和分析一种自动构建稀疏模型的方法。压缩感知领域最近发展起来的稀疏恢复理论描述了从少量随机测量中精确恢复稀疏向量的条件。这样的恢复是通过最小化的向量的l1范数的测量约束。提出了一种在满足插值条件的条件下,通过最小化模型Hessian元素的l1范数来构造稀疏二次多项式插值模型的方法.我们表明,这个过程恢复准确的模型时,函数海森是稀疏的,使用相对较少的随机选择的样本点。受此结果的启发,我们开发了一个实用的基于插值的信赖域方法,使用确定性样本集和最小l1范数二次模型。我们的计算结果表明,新的方法表现出良好的数值性能,无论是在一般情况下,在稀疏的。
2013-06-24 math.OC
A survey of path planning and feedrate interpolation in computer numerical control
本文对路径规划和进给速度插补技术进行了简要的综述。数控技术在现代制造业中得到了广泛的应用,相关的研究也受到了学术界和工业界的重视。传统的数控加工技术主要由刀具轨迹规划和进给速度插补两部分组成。为了实现高速、高精度的加工,通常将刀具轨迹规划和进给速度插补中的若干问题转化为数学最优化模型。为了更好地开展刀具轨迹规划与进给速度插补一体化设计与优化思想的研究,有必要对已有的代表性工作进行系统的回顾和借鉴。本文将依次介绍数控加工中刀具轨迹规划和进给速度插补的相关方法和技术进展,包括基于端铣的刀具轨迹规划、刀具方向优化、G代码处理和拐角过渡、参数曲线的进给速度规划,以及近年来提出的一些新的加工最优化方法。
2023-02-28 cs.GR math.OC
Gradient and Hessian approximations in Derivative Free Optimization
这项工作探讨有限差分和插值模型的使用,以获得近似的一阶和二阶导数的功能。这里,示出了如果在插值模型中使用特定的点集合,则对相关联的线性系的解(即,对Hessian的梯度和对角线的近似),这与有限差分的成本相同,并且在求解一般非结构化线性系时节省了$\mathcal{O}(n)$成本。此外,如果使用“规则最小正基”形成内插点,则梯度近似的误差界与有限差分近似的相同。数值实验表明,如何衍生估计可以采用现有的衍生自由优化算法,从而展示了这些衍生近似的潜在的实际用途之一。
2020-01-23 math.OC
Computer-aided analyses of stochastic first-order methods, via interpolation conditions for stochastic optimization
ICTEAM Institute, UCLouvain(UCLouvain ICTEAM研究所)
本文提出了一种基于插值条件的框架,用于分析随机一阶方法的最坏情况性能保证,改进了无结构噪声模型和块坐标设置的收敛率。
2026-01-02 math.OC
An Even More Optimal Stochastic Optimization Algorithm: Minibatching and Interpolation Learning
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们提出并分析了一种算法,优化光滑和凸或强凸的目标,使用小批量随机梯度估计。该算法是最优的,它同时依赖于小批量和最小期望损失。这改进了Lan(2012)的最优方法,该方法对最小预期损失不敏感; Cotter等人的乐观加速。(2011),它对小批量大小具有次优依赖性;以及Liu和Belkin(2018)的算法,该算法仅限于最小二乘问题,并且对于小批量大小也同样是次优的。应用于插值学习,对Cotter等人和Liu和Belkin的改进转化为线性的,而不是平方根的并行化加速。
2021-10-26 cs.LG math.OC
Optimal H2 moment matching-based model reduction for linear systems by (non)convex optimization
在本文中,我们计算家庭的降阶模型,匹配一个规定的一组时刻的高维线性定常系统。首先,我们完全参数化模型的插值点和自由参数,然后我们固定的插值点集和参数化模型只在自由参数。基于这两种参数化方法,以误差逼近的H ~ 2-范数为目标函数,导出了非凸最优化问题,即,我们寻找最佳的自由参数,甚至插值点,以确定近似模型产生最小的H2-范数误差。此外,我们提供了必要的一阶最优性条件,这些最优化问题给出明确的可控性和可观性Gramian的最小实现的误差系统。利用这些最优性条件,我们提出了求解相应最优化问题的梯度型方法,并给出了收敛性的数学保证。我们还推导出这些问题的凸SDP松弛和分析时,凸松弛是准确的。我们数值说明了我们的结果在几个测试例子的效率。
2018-11-18 math.OC
Interpolation-Based Gradient-Error Bounds for Use in Derivative-Free Optimization of Noisy Functions
本文研究有界噪声下线性插值梯度估计的误差分解与上界,提出更贴近实际的近似梯度误差界,并将其作为约束引入基于序列规划的 DFO 方案。
2025-07-25 cs.NA math.NA math.OC
Private optimization in the interpolation regime: faster rates and hardness results
Stanford University(斯坦福大学)
在非私人随机凸优化,随机梯度方法收敛速度更快的插值问题-问题存在一个解决方案,同时最大限度地减少所有的样本损失-比非插值的,我们表明,一般类似的改进是不可能的私人设置。然而,当函数在最优值附近呈现二次增长时,我们在私有样本复杂度上显示出(接近)指数级的改进。特别是,我们提出了一种自适应算法,提高了样本的复杂性,以实现预期的错误$α$从$\frac{d}{\varepsilon \sqrtα}$到$\frac{1}{α^ρ} + \frac{d}{\varepsilon} \log\left(\frac{1}α\right)$为任何固定的$ρ>0$,同时保留标准的最小最优样本复杂性的非插值问题。我们证明了一个下界,表明维数依赖项是紧的。此外,我们提供了一个superefficiency结果,证明了多项式项的必要性自适应算法:任何算法,有一个polylogarithmic样本复杂的插值问题不能实现最小最优率的家庭的非插值问题。
2022-10-31 cs.CR cs.LG math.OC
Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning
TU Darmstadt(达姆施塔特工业大学);Télécom Paris(巴黎高等电信学院)
凸优化器作为深度神经架构中的可微层有许多应用。这些凸层的一个应用是将点投影到凸集中。然而,这些凸层的前向和后向传递的计算都比典型的神经网络的计算要昂贵得多。在本文中,我们调查是否一个不准确的,但更便宜的投影,可以驱动下降算法的最佳。具体来说,我们提出了一个插值为基础的投影,计算成本低,易于计算给定的凸,域定义,功能。然后,我们提出了一个优化算法,遵循梯度的组成的目标和投影,并证明其收敛性的线性目标和任意凸和Lipschitz域定义的不等式约束。除了理论上的贡献,我们证明经验的插值投影的实际利益时,结合神经网络在强化学习和监督学习设置。
2020-11-13 cs.LG math.OC stat.ML
A Two-phase Framework with a Bézier Simplex-based Interpolation Method for Computationally Expensive Multi-objective Optimization
本文提出了一个两阶段的框架与Bézier单纯形为基础的插值方法(TPB)的计算昂贵的多目标最优化。TPB的第一阶段旨在通过优化一系列单目标标量问题来近似一些Pareto最优解。TPB的第一阶段可以充分利用最先进的单目标无导数优化器。TPB的第二阶段利用Bézier单纯形模型对第一阶段中获得的解进行插值。TPB的第二阶段充分利用了这样一个事实,即当给定问题是单纯性的时,Bézier单纯形模型可以通过利用其单纯形结构来逼近Pareto最优解集。我们调查的性能TPB上的55个双目标BBOB问题。结果表明,TPB的性能显着优于HMO-CMA-ES和一些最先进的基于元模型的优化器。
2022-03-29 cs.NE math.OC
Interpolation-based coordinate descent method for parameterized quantum circuits
Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);School of Computational Sciences, Korea Institute for Advanced Study(韩国高等研究院计算科学学院);Wharton Department of Statistics and Data Science, University of Pennsylvania(宾夕法尼亚大学沃顿统计学与数据科学系)
本文提出基于插值的坐标下降法用于优化参数化量子电路,通过插值恢复三角结构并减少统计误差,提升求解效率。
2025-11-06 math.OC quant-ph
Automated Lyapunov Analysis of Primal-Dual Optimization Algorithms: An Interpolation Approach
本文针对线性约束凸优化中的一阶原始-对偶算法,提出基于插值和线性矩阵不等式的自动李雅普诺夫分析方法,可证明比文献结果更快的指数收敛速率。
2023-09-20 cs.SY eess.SY math.OC
Model-Based Derivative-Free Methods for Convex-Constrained Optimization
我们提出了一个基于模型的衍生物的自由优化方法受到一般的凸约束,我们假设是unrelaxable和访问,只有通过一个投影算子,是廉价的评估。我们证明了整体收敛和最坏情况下的复杂性的$O(ε^{-2})$迭代和非凸函数的客观评价,匹配结果的无约束的情况下。与现有方法相比,我们引入了新的,较弱的模型精度要求。结果,仅使用可行点就可以构造足够精确的插值模型。我们开发了一个全面的理论插值集管理在这个政权的线性和复合线性模型。我们实现了我们的非线性最小二乘问题的方法,并表现出较强的实用性能相比,通用求解器。
2022-03-16 math.OC
Performance Estimation for Smooth and Strongly Convex Sets
Johns Hopkins University(约翰斯·霍普金斯大学)
针对光滑且强凸集合,通过证明插值定理将性能估计问题转化为结构化数学规划,并应用于分离超平面法和线性优化算法的最优性分析。
2026-06-02 math.OC
Smooth Strongly Convex Interpolation and Exact Worst-case Performance of First-order Methods
我们表明,精确的最坏情况下性能的固定步骤的一阶方法的光滑(可能强)凸函数的无约束优化可以通过求解凸规划。寻找黑箱一阶方法的最坏情况下的性能制定为一组光滑(强)凸函数和初始条件的最优化问题。给出了光滑(强)凸插值的封闭形式的充要条件,并给出了这些函数的有限表示。这使我们能够重新制定的最坏情况下的性能估计问题作为一个等价的有限维独立的半定最优化问题,其精确解可以恢复到数值精度。这个性能估计问题的最优解提供了最坏情况下的性能界限和显式函数匹配,因为我们的光滑(强)凸插值过程是建设性的。我们的作品建立在那些Drori和Teboulle在[数学。145(1-2),2014],其引入并解决了光滑凸函数的性能估计问题的松弛。我们将我们的方法应用到不同的固定步长的一阶方法与几个性能标准,包括目标函数精度和梯度范数。在光滑凸和光滑强凸情形下,我们分别给出了固定步长梯度法、快速梯度法和优化梯度法的最坏情况的数值界,并推导了梯度法的最优步长的严格估计.
2016-10-31 math.OC
Linear interpolation gives better gradients than Gaussian smoothing in derivative-free optimization
在本文中,我们考虑无导数的最优化问题,其中的目标函数是光滑的,但计算有一定量的噪声,函数的评价是昂贵的,没有导数信息。我们的动机是最近流行的强化学习中的策略最优化问题[Choromaski et al. 2018; Fazel et al. 2018; Salimans et al. 2016],并且可以用公式表示为具有上述特征的无导数最优化问题。在每一个这些作品的梯度的一些近似构造和(随机)梯度法应用。在[Salimans et al. 2016]中,梯度信息沿高斯方向聚合,而在[Choromaski et al. 2018]中,梯度信息沿正交方向计算。我们提供了一个收敛速度分析的一阶线搜索法,类似于文献中使用的,并推导出梯度近似,确保这种收敛的条件。然后,我们通过对方差的严格分析和对强化学习任务的数值比较证明,[Salimans et al. 2016]中使用的高斯采样方法明显劣于[Choromaski et al. 2018]中使用的正交采样以及更一般的插值方法。
2019-06-02 math.OC stat.ML
Interpolatron: Interpolation or Extrapolation Schemes to Accelerate Optimization for Deep Neural Networks
Peking University(北京大学);Megvii(旷视科技)
在本文中,我们探讨了大规模非凸优化问题的加速技术,特别关注深度神经网络。外推法是求解凸优化问题的一种经典的加速随机梯度下降方法,但它在非凸优化问题中的表现并不理想。或者,我们提出了一个插值方案,以加速非凸优化和调用的方法Interpolatron。我们解释Interpolatron背后的动机,并进行彻底的实证分析。深度DNN的经验结果(例如,98-在CIFAR-10和ImageNet上进行的两个实验(200层ResNet和200层ResNet)表明,Interpolatron可以比最先进的方法(如带有动量的SGD和Adam)更快地收敛。此外,安德森的加速,其中的混合系数的最小二乘估计计算,也可以用来提高性能。Interpolatron和Anderson的加速都很容易实现和调整。在一定的正则性假设下,证明了插值算法具有线性收敛速度.
2018-05-17 cs.AI cs.LG math.OC
Introduction to Model-Based Derivative-Free Optimization
University of Melbourne(墨尔本大学);School of Mathematics and Statistics(数学与统计学院);ARC Training Centre in Optimisation Technologies, Integrated Methodologies, and Applications (OPTIMA)(ARC优化技术、集成方法论及应用训练中心)
本文介绍基于模型的导数自由优化(DFO)方法,通过插值构建局部模型替代梯度信息,涵盖最坏情况复杂度、多项式插值理论及约束与噪声问题的扩展。
2026-06-29 math.OC
Overlap-free multi-material topology optimization for minimum compliance in two and three dimensions by level-set-based negative-mapping interpolation
School of Mechanical Engineering, Southwest Jiaotong University(西南交通大学机械工程学院);Technology and Equipment of Rail Transit Operation and Maintenance Key Laboratory of Sichuan Province, Southwest Jiaotong University(四川省轨道交通运营维护关键技术实验室,西南交通大学);State Key Laboratory of Bridge Intelligent and Green Construction, Southwest Jiaotong University(西南交通大学桥梁智能绿色建造全国重点实验室);School of Mechanical Engineering, University of Leeds(利兹大学机械工程学院)
本文提出一种基于水平集负映射插值的多材料拓扑优化方法,通过交替活动相位算法与进化策略,消除灰色单元与材料重叠,其柔度性能与经典SIMP方法相当,可应用于二维和三维结构优化。
2026-10-09 cs.CE math.OC
Convex-Concave Interpolation and Application of PEP to Bilinear-Coupled Saddle-Point Problem
Moscow Institute of Physics ans Technology(莫斯科物理科学与技术学院);Innopolis University(因诺波利斯大学);Yandex Research(Yandex研究院)
本文研究凸-凹插值,给出凸-凹、双线性及带双线性耦合的复合函数的插值条件,并针对复合鞍点问题的一阶方法构造性能估计问题(PEP),将算法最坏性能求解转化为优化问题。
2026-08-13 math.OC
Simultaneous shot inversion for nonuniform geometries using fast data interpolation
随机最优化是求解偏微分方程约束优化问题的关键。使用“同时发射”或源项的随机叠加在简单采集几何中工作得非常好,其中所有源都看到所有接收器,但这在实践中很少发生。我们开发了一种方法,内插数据到一个理想的采集几何,同时使用同时拍摄解决反问题。该方法被表述为联合逆问题,将低阶插值的思想与全波形反演相结合。使用合成实验的结果说明了该方法的灵活性和效率。
2018-04-23 math.OC physics.geo-ph stat.ML
Relationships between full-space and subspace quadratic interpolation models and simplex derivatives
University of British Columbia(不列颠哥伦比亚大学)
本文研究了全空间与子空间二次插值模型及简单形导数之间的关系,推导了转换公式并分析了其在优化中的应用。
2026-02-10 cs.NA math.NA math.OC
Piecewise Polynomial Interpolation Function Approach for Solving Nonlinear Programming Problems with Disjoint Feasible Regions: Mathematical Proofs
分段多项式插值(PPI)函数法是一种求解具有不相交可行域的非线性规划问题的方法。在这样的问题中,不相交性通常与禁止的操作区域相关联,其对应于不允许变量假设的值的带。这种禁止操作区的分析含义是使目标函数及其域不连续。PPI函数方法在于用等价的等式和不等式约束的集合替换与禁止操作区相关联的约束,从而允许应用任何有效的基于梯度的最优化方法来解决等价问题。本文给出了PPI函数的定义,并给出了其性质的数学证明。
2020-07-23 math.OC
H2 model reduction of linear network systems by moment matching and optimization
本文研究线性网络系统的模型降阶问题。我们的目标是计算具有相同拓扑结构和最佳w.r.t.的网络的降阶稳定近似。H2模误差逼近我们的方法是基于时域矩匹配框架,在那里我们优化的参数化降阶模型匹配的一组时刻在任意插值点的家庭。低阶模型的参数化是根据自由参数和插值点来进行的。对于这个家庭的参数化模型,我们制定了一个基于优化的模型降阶问题的H2范数的误差近似为目标函数,而保存的一些结构和物理性质产生的约束。这个问题是非凸的,我们把它写在Gramians的最小实现的错误系统。我们提出了两个解决这个问题的方法。第一个解决方案假设误差系统允许块对角可观Gramian,允许一个简单的凸重新制定为半定规划,但在一些性能损失的代价。我们还得到了保证Gramian块对角化的充分条件。第二种解决方案采用了梯度投影法的光滑重新产生(局部)最优插值点和自由参数。电力网络上的方法的潜力示出。
2019-05-19 math.OC
Curiosities and counterexamples in smooth convex optimization
给出了光滑凸强制集上一些老的最优化问题的反例。我们表明,块坐标,最速下降精确搜索或布雷格曼下降法一般不收敛。其他失败的各种理想的功能建立:方向收敛的柯西的梯度曲线,收敛的牛顿流,有限长度的Tikhonov路径,收敛的中心路径,或光滑Kurdyka-Lojasiewicz不等式。所有示例都是平面的。这些例子是基于一般光滑凸插值结果。给定平面上正曲Ck凸紧集的递减序列,给出了Ck光滑凸函数的水平集插值,其中k $\ge$ 2是任意的.如果交是减少到一个点,我们的插值有正定的Hessian,否则它是正定的解决方案集。此外,给定一个递减多边形序列,我们提供了一个与顶点一致的插值,其梯度与规定的法线一致。
2020-01-29 math.OC
Scalable Subspace Methods for Derivative-Free Nonlinear Least-Squares Optimization
我们介绍了一个通用的框架,大规模的基于模型的衍生物免费优化的基础上迭代最小化随机子空间。我们提出了一个概率最坏情况下的复杂性分析,我们的方法,特别是我们证明了高概率界的迭代次数之前,一个给定的最优性。该框架专门用于非线性最小二乘问题,基于高斯-牛顿方法的基于模型的框架。该方法通过构造局部线性插值模型来逼近雅可比矩阵,并在每次迭代时在用户确定维数的子空间中计算新的步长,从而实现可扩展性。然后,我们描述了一个实际的实现这个框架,我们称之为DFBGN。我们概述了有效的技术,用于选择插值点和搜索子空间,产生一个实现,具有低的每次迭代线性代数成本(线性的问题维度),同时也实现了快速的目标减少评估。大量的数值结果表明,DFBGN具有更好的可扩展性,在大规模非线性最小二乘问题上具有很强的性能。
2021-02-24 math.OC
Parallel Model-Based Derivative-Free Optimization via Rank-Two KKT Updates
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
研究无导数优化问题,提出基于秩二KKT更新的方法,通过反射插值集改变KKT矩阵,降低更新成本,支持全局收敛,嵌入主从并行算法,经530个基准问题数值结果与现有求解器对比性能。
2026-07-29 math.OC
A Radial Basis Function based Optimization Algorithm with Regular Simplex set geometry in Ellipsoidal Trust-Regions
Ghent University(根特大学);Flanders Make(弗拉芒制造战略研究中心)
本文提出一种无导数插值优化算法,通过通用克里金方法构建插值框架,改进点分布并保证曲率,将球形信任区域扩展为椭球形以适应局部各向异性。
2018-05-30 cs.NA math.NA math.OC
A scaled conjugate gradient based direct search algorithm for high dimensional box constrained derivative free optimization
在这项工作中,我们提出了一个有效的方法来解决盒约束导数自由最优化问题涉及高维。所提出的方法依赖于探索可行域使用直接搜索方法的基础上缩放共轭梯度与二次插值模型。对不同维数的试验问题进行了大量的数值计算,结果表明所提出的无导数优化方法具有良好的性能。
2019-01-16 math.OC
Low-Rank KKT Updates and a Parallel Flipping Mechanism for Model-Based Derivative-Free Optimization
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
该研究针对基于模型的无导数优化中模型维护成本高的问题,利用KKT矩阵结构导出\(\mathcal{O}(n^2)\)的更新公式,集成到并行算法中,经测试在减少模型维护开销和提高成功率方面优于标准求解器。
2026-07-28 math.OC
MATRO: Metric-Aware Trust-Region Optimization with Fully Quadratic Models
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
提出MATRO算法,通过椭圆信赖域和度量选择(基于插值Hessian的曲率度量)处理目标函数的病态缩放或局部各向异性,保持一阶评估复杂度O(n^2 epsilon^{-2}),实验表明曲率形状区域在稳定各向异性时最有效。
2026-06-01 math.OC
Stable Nonconvex-Nonconcave Training via Linear Interpolation
EPFL(洛桑联邦理工学院)
本文提出线性插值稳定神经网络训练的理论框架,构造RAPP算法实现ρ-共单调问题的最优收敛,并重新发现Lookahead算法族,在GAN实验中验证其有效性。
2024-03-14 cs.LG math.OC
Derivative-Free Optimization with Transformed Objective Functions (DFOTO) and the Algorithm Based on the Least Frobenius Norm Updating Quadratic Model
本文提出基于变换目标函数的无导数优化方法(DFOTO),采用最小Frobenius范数更新二次模型,分析最优性保持变换并证明收敛性,数值实验验证其有效性。
2023-11-19 math.OC
Derivative-Free Bound-Constrained Optimization for Solving Structured Problems with Surrogate Models
提出一种基于代理模型的无导数边界约束优化算法,通过低成本近似函数值和回归方案利用历史数据,在化学工程最小二乘问题中优于现有DFO算法。
2024-01-02 math.OC
BUP-TR: Bayesian Underdetermined Projection Trust-Region Methods for Derivative-Free Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
提出贝叶斯欠定投影信赖域方法(BUP-TR),通过先验正则化替代经典最小Frobenius Hessian更新,在欠定二次插值模型中实现MAP模型选择,并证明全局一阶收敛性和O(ε^{-2})评估复杂度。
2026-06-02 math.OC
Diffeomorphic interpolation for efficient persistence-based topological optimization
DataShape;Centre Inria d’Université Côte d’Azur(科特迪瓦大学蔚蓝海岸中央INRIA中心);Shape Analysis Group(形状分析组);Laboratoire d’Informatique Gaspard Monge(加斯帕尔·蒙日计算机实验室);Univ. Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
针对点云拓扑优化中梯度极度稀疏导致优化缓慢的问题,提出微分同胚插值方法将稀疏梯度转为平滑向量场,实现大规模点云优化及高效的AE潜在空间正则化与数据生成。
2024-05-29 cs.AI cs.CG math.OC
PDPO: Parametric Density Path Optimization
Georgia Institute of Technology(佐治亚理工学院)
PDPO通过参数映射将无限维密度优化转化为有限维问题,有效解决多模态和高维路径优化问题,优于现有方法。
2025-12-05 math.OC
Mechanostat-type effective density correction for Carter-Hayes growth applied to topology optimization and its efficient interpolation for a target strain energy and volume fraction
针对拓扑优化中的可制造性问题,提出基于密度的滤波策略与体积-柔度迭代方案,并引入双距离神经网络加速,实现兼顾最小厚度、体积分数和柔度的多目标优化。
2025-03-27 math.OC physics.comp-ph
Powell-Style Model-Based Derivative-Free Optimization with Complexity Guarantees
Department of Applied Mathematics, University of Colorado, Boulder(科罗拉多大学博尔德分校应用数学系);School of Industrial and Systems Engineering, Georgia Tech(佐治亚理工学院工业与系统工程学院)
本文提出Powell风格的基于模型的信赖域导数无优化方法变体,推导其复杂度界限,并在随机子空间和噪声场景下验证,实现理论与实践性能的对比。
2026-09-10 math.OC
H-infinity Optimal Approximation for Causal Spline Interpolation
Graduate School of Informatics, Kyoto University(京都大学大学院信息学研究科)
本文提出利用H-infinity优化方法解决因果样条插值问题,通过设计鲁棒性更强的滤波器实现非因果插值的因果化,针对三次样条提供闭式解,高阶样条则通过数值计算解决,并展示如何用LMI设计最优FIR滤波器。
2013-08-13 cs.IT cs.SY eess.SY
Iteration Complexity and Finite-Time Efficiency of Adaptive Sampling Trust-Region Methods for Stochastic Derivative-Free Optimization
本文提出基于坐标基对角 Hessian 局部模型和坐标直接搜索的 ASTRO-DF 改进方法,首次在无函数估计与模型质量假设下证明其几乎必然具有 O(ε⁻²) 迭代复杂度,并通过数值实验验证其早期计算效率优势。
2024-01-17 math.OC math.PR
Sparse polynomial interpolation: sparse recovery, super resolution, or Prony?
我们表明,稀疏多项式插值问题减少到一个离散的超分辨率问题的$n$维环面。因此,Candès \\& Fernando-Granda \cite{candes\_towards\_2014}在单变量情形下提出的半定规划方法可以应用.我们将他们的结果推广到多变量的情况,即,我们表明,准确的恢复是有保证的,提供了一个几何间距条件的支持和评价的数量是足够多的(但不是很多)。它也证明了,稀疏恢复LP-制定的$\ell\_1$ -范数最小化也保证提供精确的恢复{ \it,}的评价是在一定的方式,即使限制等距性质的精确恢复不满足。(朴素稀疏恢复LP方法不提供这样的保证。最后,我们还描述了代数Prony方法的稀疏插值,它也恢复了准确的分解,但从较少的点评估和没有几何间距条件。我们提供了两组数值实验,其中一个超分辨率技术和Prony的方法似乎同样可以很好地处理噪声,另一个超分辨率技术似乎比Prony的方法更好地处理噪声,代价是额外的计算负担(即半定优化)。
2018-11-23 math.OC
Univariate interpolation by exponential functions and gaussian RBFs for generic sets of nodes
Institute for Information Transmission Problems(信息传输问题研究所)
本文利用Harish-Chandra-Itzykson-Zuber公式推导了高斯径向基函数和指数函数在任意节点集上单变量插值的误差闭式表达式,并证明了对于足够大区域内的解析函数,插值具有指数收敛性;作为应用,证明了此类函数的期望改进优化方法具有全局指数收敛性。
2012-10-21 cs.NA math.NA math.OC
The limitation of neural nets for approximation and optimization
Lehigh University(利哈伊大学)
本研究评估神经网络作为代理模型在优化问题中的局限性,发现SiLU激活函数表现最佳,结合自然基可减少参数,但难以提升无导数优化算法性能。
2023-11-21 cs.LG math.OC stat.ML
Bridging the Gap Between Homogeneous and Heterogeneous Asynchronous Optimization Is Surprisingly Difficult
Applied AI Institute(应用人工智能研究院)
本研究证明在常用相似性假设下,异质异步优化的悲观时间复杂度无法改进,并提出强插值与局部PL条件组合,达到与同质设置匹配的复杂度界。
2026-09-16 cs.LG math.OC
An enhanced POSTA based on Nelder-Mead simplex search and quadratic interpolation
针对POSTA历史信息利用不足导致收敛慢、精度低的问题,本文提出将Nelder-Mead单纯形搜索和二次插值集成到POSTA中,并在多维度基准函数上验证了其优于竞争元启发式方法的性能。
2024-04-30 cs.NE math.OC
Relaxation algorithms for matrix completion, with applications to seismic travel-time data interpolation
旅行时间层析成像用于通过拟合地面站收集的地震旅行时间数据来推断地球的基本三维波速结构。数据插值和去噪技术是重要的预处理步骤,其使用关于数据的先验知识,包括频域和小波域中的简约性、矩阵化的低秩结构和局部平滑性。我们展示了如何使用水平集优化公式将局部光滑结构与低秩约束相结合,并开发了一种新的松弛算法,可以有效地解决这些联合问题。在地震学环境中,我们使用该方法来插值缺失台站和去噪观测台站。新方法与其他算法相比具有竞争力,并提供了新的功能,在数据拟合约束的存在下,使用平滑度和低秩结构对观测数据进行插值。
2018-08-23 math.OC physics.geo-ph
An Interpolation-based Scheme for Rapid Frequency-Domain System Identification
本研究提出一种基于重心插值与权重优化的频域系统辨识方案,采用自适应频率点选择与瞬态数据优化权重,构建凸优化问题可保证系统稳定性,能减少正弦测试次数,在高阶低阻尼结构系统上验证了有效性。
2025-10-01 cs.SY eess.SY math.OC
A trust-region framework for optimization using Hermite kernel surrogate models
本文提出一种基于Hermite核代理模型的信赖域优化框架,利用核插值和梯度信息近似高代价目标函数,证明其收敛性并通过数值实验验证其相比直接优化的效率优势。
2025-07-02 cs.NA math.NA math.OC