A scaled conjugate gradient based direct search algorithm for high dimensional box constrained derivative free optimization
在这项工作中，我们提出了一个有效的方法来解决盒约束导数自由最优化问题涉及高维。所提出的方法依赖于探索可行域使用直接搜索方法的基础上缩放共轭梯度与二次插值模型。对不同维数的试验问题进行了大量的数值计算，结果表明所提出的无导数优化方法具有良好的性能。
2019-01-16 math.OC
Direct-search methods for decentralized blackbox optimization
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Department of Computer Science, Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院计算机科学系）；LAMSADE, CNRS, Université Paris Dauphine-PSL（LAMSADE，法国国家科学研究中心，巴黎第九大学-巴黎文理研究大学）
本文提出将经典无梯度直接搜索方法应用于分布式环境，通过正张量集定义搜索方向并保证全局收敛性，实验显示其优于梯度近似方法。
2026-03-28 math.OC
A straightforward local-search optimization algorithm on the symmetric group
给定定义在对称群上的实目标函数，提出了一种直接局部搜索算法，并估计了其复杂度。特别是对于一个$n$维单位向量，我们感兴趣的置换等距，这个向量上的映射到一个给定的角度的圆锥。
2009-04-29 math.OC
Depth-first directional search for nonconvex optimization
Tsinghua University（清华大学）
本文提出深度优先方向搜索算法DFDS，通过沿每个采样方向完整步进线搜索并用球冠表面积建模成功概率，在相同评估预算下显著提升非凸优化全局寻优精度。
2025-11-11 math.OC
A polynomial time infeasible interior-point arc-search algorithm for convex optimization
本研究针对凸优化问题提出一种采用弧搜索技术的不可行内点算法，可同时选取中心化参数与步长，给出弧搜索解析公式，证明收敛性并确立多项式界，数值测试验证其高效有效。
2022-02-06 math.OC
Branching Adaptive Surrogate Search Optimization (BASSO)
针对高维黑箱函数全局优化难题，提出结合分区与代理建模的自适应随机搜索框架BASSO，并给出有限时间分析及扩展条件，实验验证了其变体性能。
2025-04-25 math.OC
Inexact Direct-Search Methods for Bilevel Optimization Problems
本文提出了求解双层优化问题的新型非精确直接搜索方法，利用固定精度黑盒预言机处理平滑与非平滑目标，首次给出收敛性保证与复杂度界限，并扩展了网格自适应直接搜索方案，初步数值实验验证了其有效性。
2023-09-13 math.OC
Retraction based Direct Search Methods for Derivative Free Riemannian Optimization
直接搜索法代表了一类用于解决黑盒最优化问题的鲁棒且可靠的算法。在本文中，我们将探讨这些策略的应用黎曼优化，其中最小化是相对于限制躺在流形上的变量进行。更具体地说，我们认为经典的和线搜索外推的直接搜索的变体，并通过使用撤回，我们设计定制的策略，最小化平滑和非平滑的功能。因此，我们分析，第一次在文献中，一类收缩为基础的算法，最小化非光滑目标的黎曼流形没有访问（子）衍生物。随着收敛的保证，我们提供了一套标准的一组问题的数值性能插图。
2022-02-22 math.OC
Gradient-Based Adaptive Stochastic Search for Non-Differentiable Optimization
本文提出了一种求解一般小结构最优化问题的随机搜索算法。该算法通过在解空间上从参数化分布模型中随机抽取候选解，迭代地找到高质量的解。其基本思想是将原问题（可能是不可微的）转化为参数化抽样分布的参数空间上的可微最优化问题，然后使用直接梯度搜索方法寻找改进的抽样分布。因此，该算法结合了随机搜索的鲁棒性，考虑人口的候选解决方案与相对较快的收敛速度的经典梯度法，通过利用局部可微结构。我们分析了算法的收敛性和收敛速度，并进行数值研究，以说明其性能。
2013-01-07 math.OC
Hesitant Adaptive Search with Estimation and Quantile Adaptive Search for Global Optimization with Noise
自适应随机搜索方法已被证明是有效的全局最优化问题，其中在某些条件下，预期的性能时间仅随维数线性增加。然而，以前的分析假设目标函数可以直接观察。我们考虑的情况下，目标函数必须估计，经常使用一个嘈杂的功能，在模拟。我们提出了一个有限的时间分析算法的性能，结合估计与抽样分布。我们提出了一个框架，称为犹豫自适应搜索估计，并推导出一个上界的功能评估，是立方的尺寸，在一定的条件下。我们扩展的框架，分位数自适应搜索估计，重点从一系列嵌套的分位数水平集的采样点。分析表明，计算工作是更好地花费在采样改进点比细化估计的目标函数值在自适应搜索算法的进展。
2022-03-21 math.OC
Primal-Dual Entropy Based Interior-Point Algorithms for Linear Optimization
在求解线性最优化的内点方法中，我们提出了一类基于原始对偶熵的搜索方向。我们表明，通过使用熵为基础的搜索方向的预测步骤的预测-校正算法与齐次自对偶嵌入，我们可以实现当前最佳的迭代复杂度界的线性最优化。然后，我们专注于一些宽邻域算法，并表明，在我们的家庭的熵为基础的搜索方向，我们可以找到最佳的搜索方向和步长的组合，通过执行一个平面搜索在每次迭代。为此，我们提出了一个启发式的平面搜索算法，以及一个确切的。最后，我们进行计算实验，研究基于熵的搜索方向的性能在广泛的邻域的中心路径，利用和不利用平面搜索算法。
2014-10-30 math.OC
A Generic online acceleration scheme for Optimization algorithms via Relaxation and Inertia
我们提出了通用的加速计划，广泛的优化和迭代计划的基础上放松和惯性。特别是，我们介绍的方法，自动调整的加速系数在线，并建立其收敛性。这是可能的，通过考虑类的不动点迭代平均算子，其中包括梯度法，ADMM，原始对偶法，等等。
2017-02-21 math.OC
An Infeasible Interior-point Arc-search Algorithm for Nonlinear Constrained Optimization
本文提出了一种求解非线性规划问题的不可行弧搜索内点算法。大多数基于内点法的算法都被归类为线搜索，本文提出了一种弧搜索内点算法，该算法采用圆弧作为近似路径，讨论了该算法的收敛性，并对CUTEst基准问题进行了数值实验，比较了该算法的性能。搜索算法与线搜索算法的区别。数值结果表明，所提出的弧搜索算法达到最优解，使用更少的迭代，但比线搜索算法更长的时间。一个修改，导致一个更快的弧搜索算法进行了讨论。
2020-10-28 math.OC
Hybrid Acceleration Scheme for Variance Reduced Stochastic Optimization Algorithms
随机方差缩减的最优化方法具有全局收敛性，但存在局部收敛慢的问题，特别是当需要中精度或高精度时。为了缓解这个问题，我们提出了一个优化算法-我们称之为一个混合加速计划-一类近似方差减少随机最优化算法。所提出的优化方案结合了快速局部收敛的算法，如拟牛顿法，与全局收敛的方差减少的随机算法，如SAGA或L-SVRG。我们的混合加速方法的整体收敛结果是基于特定的保障条件，需要满足一个步骤的局部快速收敛的方法被接受。我们证明了由混合加速方案产生的迭代序列几乎必然收敛到底层最优化问题的解。我们还提供了数值实验，显示显着改善的收敛性的混合加速计划相比，基本的随机方差减少优化算法。
2021-11-12 math.OC
Optimization of Radar Search Patterns for Multiple Scanning Missions in Localized Clutter
针对局部杂波下多雷达扫描任务的时间预算最小化问题，提出将其近似为集合覆盖问题，并用基于分支定界与线性松弛的整数规划方法求解，为相控阵雷达搜索方向图优化提供新方案。
2025-08-04 math.OC
Modified Armijo line search in optimization on Riemannian submanifolds with reduced computational cost
本文针对欧氏空间黎曼子流形上的优化问题，提出一种仅在必要时才计算收缩映射的新型黎曼线搜索策略，并证明基于该策略的最速下降法和牛顿法具有全局收敛性，数值实验表明其优于标准黎曼Armijo线搜索方法。
2025-04-10 math.OC
A Two-Phase Quasi-Newton Method for Optimization Problem
本文提出了一种求解无约束最优化问题的两阶段拟牛顿格式。在适当的假设下，证明了格式的整体收敛性质.在解的附近证明了该格式的超线性速率。通过数值计算和图解说明，证明了该方案较传统方案的优越性。
2018-07-29 math.OC
Line Search Fixed Point Algorithms Based on Nonlinear Conjugate Gradient Directions: Application to Constrained Smooth Convex Optimization
本文研究实Hilbert空间上非扩张映射的不动点问题，提出了新的线搜索不动点算法来加速搜索.线搜索的终止条件是基于众所周知的沃尔夫条件，用于确保无约束优化算法的收敛性和稳定性。利用最速下降方向和传统的无约束优化的非线性共轭梯度方向的思想，产生了搜索不动点的方向。在一定的假设条件下，我们对求解不动点问题的算法进行了收敛性和收敛速度分析。本文的主要贡献是对约束光滑凸优化问题中的一个问题，即能否设计非线性共轭梯度算法来求解约束光滑凸最优化问题做出了具体的回答。我们证明了所提出的不动点算法包括具有非线性共轭梯度方向的不动点算法，这些不动点算法可以求解约束光滑凸优化问题。为了说明算法的实用性，我们将其应用于具体的约束光滑凸最优化问题，如约束二次规划问题和广义凸可行性问题，并将其与以前基于Krasnosel'ski \u-Mann不动点算法的算法进行了数值比较.结果表明，与已有算法相比，本文算法大大减少了求解具体最优化问题的运行时间和迭代次数.
2015-09-18 math.OC
On efficiency of nonmonotone Armijo-type line searches
单调性和非单调性在研究非线性最优化中迭代格式的整体收敛和效率方面起着关键作用。本文讨论了下降计划的一些特点和背后的动机非单调策略，并研究了Armijo型线搜索配备了一些流行的非单调条款的效率。更具体地说，我们提出了两个新的非单调项，将它们结合到Armijo规则中，并建立了由这些方案产生的序列的整体收敛。此外，我们报告了大量的数值结果和比较表明的非单调Armijo型线搜索使用最流行的搜索方向解决无约束最优化问题的性能。最后，我们利用所考虑的非单调计划来解决信号和图像处理中出现的一个重要的逆问题。
2014-08-20 math.OC
Multi-objective optimization of double curvature arch dams subjected to seismic loading using charged system search
本文提出了一种拱坝优化设计的多目标公式。其目标是同时减少混凝土体积和坝体的应力状态。而不是一个单一的设计，多目标问题提供了一组帕累托解决方案，其中决策者的方法可以选择最佳答案，根据其喜好。为了解决这个新问题，一个多目标充电系统搜索作为一个有效的元启发式也被开发。以一个实际双曲拱坝为算例，对该算法进行了验证。计算结果表明，该方法与现有的拱坝优化算法相比具有很强的竞争力。
2022-07-10 math.OC
Utopia point method based robust vector polynomial optimization scheme
本文针对无凸性假设的鲁棒向量多项式优化问题，提出结合乌托邦点标量化与“联合+边际”松弛的求解方案，并兼顾理论与计算分析。
2022-09-11 math.OC
A generalized projection-based scheme for solving convex constrained optimization problems
针对一般凸约束最优化问题，提出了一种新的基于投影的算法实现。一般的思想是通过从上面迭代地约束目标函数，直到可行性问题不一致，将原始的最优化问题转换为一系列可行性问题。对于每一个可行性问题，人们可以应用任何现有的投影方法来解决它。特别是，该计划允许使用次梯度投影，而不需要精确的投影到现有的类似方法的约束集。我们还将新引入的优越化的概念，优化制定和比较其性能，我们的计划。我们提供了一些数值结果凸二次检验问题以及现实生活中的最优化问题来自医疗规划。
2018-03-15 math.OC
On Application of the Local Search and the Genetic Algorithms Techniques to Some Combinatorial Optimization Problems
本文提出了用局部搜索和遗传算法技术求解几个组合优化问题的方法。最初，这种方法的目的是克服一些困难，抑制上述技术的应用问题的问卷理论。但当算法被开发出来时，很明显，它们也可以成功地应用于最小集合覆盖，0-1背包，并可能应用于其他组合优化问题。
2010-04-29 cs.NE math.OC
A Quantum Walk Enhanced Grover Search Algorithm for Global Optimization
量子计算的重大突破之一是Grover的未排序数据库搜索算法。最近，Grover算法的应用，以解决全局优化问题已被证明，其中未知的最优解，通过迭代提高阈值的选择性相移算子在Grover旋转。在本文中，提出了一种混合的方法，结合连续时间量子行走与Grover搜索，使搜索速度与改进的阈值。通过利用量子隧穿效应，可以在搜索过程的早期阶段找到更好的阈值，从而提高概率的锐度。将新算法与已有的Grover搜索和经典启发式算法的结果进行了比较。
2017-11-18 math.OC quant-ph
Branch-and-Bound Method for Just-in-Time Optimization of Radar Search Patterns
THALES AIR SYSTEMS（泰雷兹航空系统公司）；Laboratoire des Sciences du Numérique de Nantes, UMR CNRS 6004（南特数字科学实验室（法国国家科学研究中心联合实验室6004））
电子相控阵雷达通过使用二维波束形成和波束控制为雷达搜索方向图优化提供了新的可能性。雷达搜索方向图的优化可以近似为一个集合覆盖问题，并使用整数规划求解，同时考虑局部杂波和地形掩模的检测约束。在距离、检测概率和特定方向的扫描更新率的约束下，提出了一种雷达搜索模式时间预算最小化的集合覆盖问题近似。分枝定界法是求解组合优化问题的经典方法。它主要被认为是一种精确算法，但具有有趣的特性，使其特别适合于解决实时应用中的最优化问题并产生即时解决方案。
2020-02-12 cs.RO math.OC
Parallel Surrogate-assisted Optimization Using Mesh Adaptive Direct Search
McGill University（麦吉尔大学）；Hydro-Québec’s Research Institute（魁北克水电公司研究院）
我们认为计算昂贵的黑箱最优化问题，并提出了一种方法，采用代理模型和并发计算的网格自适应直接搜索（MADS）算法的搜索步骤。具体来说，我们解决了代理最优化问题使用局部加权散点图平滑（LOWESS）模型，找到有前途的候选点进行评估的黑盒。我们考虑几种方法从大量的点选择有前途的点。我们进行数值实验，以评估性能的修改MADS算法的可用CPU资源，通过五个工程设计问题。
2021-07-26 cs.LG math.OC
Information Preserving Line Search via Bayesian Optimization
University of Hamburg（汉堡大学）
本文提出一种基于贝叶斯优化的线搜索方法，通过保留并利用传统方法丢弃的函数值与梯度信息改进步长选择，保证收敛，并在CUTEst测试集上优于现有方法。
2025-07-21 cs.LG math.OC
Bayesian optimization with local search
Shanghai Jiao Tong University（上海交通大学）；University of Birmingham（伯明翰大学）
全局优化在广泛的现实世界问题中得到应用。多起点方法是一类流行的全局优化技术，它基于在多个起点进行局部搜索的思想。在这项工作中，我们提出了一个新的多启动算法的起点是在贝叶斯优化框架。具体地，该方法可以被理解为通过对原始目标函数进行局部搜索来构造新函数，其中新函数获得与原始函数相同的全局最优解。然后应用贝叶斯优化来找到新的局部搜索定义函数的全局最优解。
2020-06-30 cs.LG math.OC stat.ML
On parallel implementation of a discrete optimization random search algorithm
考虑了一种求解离散优化问题的随机搜索算法。我们概述了该算法的主要组件，然后更详细地描述它。我们展示了如何算法可以在并行计算机系统上实现。给出了算法的串行和并行性能分析，并讨论了解决测试问题的相关结果。
2013-11-12 cs.DC math.OC
Combining Particle Swarm Optimizer with SQP Local Search for Constrained Optimization Problems
通用粒子群优化算法（GP-PSO）与序列二次规划（SQP）算法相结合的约束优化问题已被证明是非常有益的细化，并在某些情况下，成功地找到一个全局最优解。它表明，领先的算法之间的可能差异是在他们的局部搜索能力。与其他领先的优化测试的基准套件的比较，表明混合GP-PSO与实现局部搜索，以竞争边其他领先的PSO算法。
2021-01-25 cs.NE math.OC
A Multilevel Coordinate Search Algorithm for Well Placement, Control and Joint Optimization
China University of Petroleum (East China)（中国石油大学（华东））；Memorial University of Newfoundland（纽芬兰纪念大学）
确定最佳布井和控制是油田开发中的两个重要任务。这些问题是计算昂贵的，非凸的，并包含多个最优。这些问题的实际解决方案需要高效和鲁棒的算法。本文将多级坐标搜索（MCS）算法应用于布井和控制最优化问题。MCS是一种结合全局和局部搜索的无导数算法。合成和真正的油田被认为是。MCS的性能进行了比较，广义模式搜索（GPS），粒子群优化（PSO），和协方差阵自适应进化策略（CMA-ES）算法。结果表明，MCS算法具有很强的竞争力，在有限的计算预算下，对联合最优化问题的性能优于其他算法。针对测试示例比较MCS的参数设置的效果。对于联合最优化问题，我们比较了性能的同时和顺序的程序，并显示后者的效用。
2016-09-01 cs.AI math.OC
A new derivative-free optimization method: Gaussian Crunching Search
Techdesignism Machine Learning Laboratory（科技设计主义机器学习实验室）
本文提出了一种受高斯分布粒子行为启发的新型无导数优化方法 Gaussian Crunching Search (GCS)，旨在高效探索解空间并收敛至全局最优，实验证明其相比现有方法具有显著优势。
2023-07-24 cs.LG math.OC
The Tangent Search Algorithm for Solving Optimization Problems
本文提出了一种新的基于种群的优化算法，称为切线搜索算法（TSA）来解决优化问题。TSA使用基于正切函数的数学模型来将给定的解决方案向更好的解决方案移动。切向飞行函数的优点是在开发和探索搜索之间取得平衡。此外，一个新的逃逸过程中使用，以避免陷入局部极小。此外，该算法还引入了自适应变步长，以提高算法的收敛能力。TSA的性能评估在三类测试：经典测试，CEC基准，和工程优化问题。此外，一些研究和指标已被用来观察所提出的TSA的行为。实验结果表明，TSA算法是能够提供非常有前途的和竞争力的结果在大多数基准函数由于更好的平衡之间的探索和利用的搜索空间。这种新的优化算法的主要特点是它的简单和效率，它只需要少量的用户定义的参数。
2021-04-06 cs.NE math.OC
Enhancing Optimization Performance: A Novel Hybridization of Gaussian Crunching Search and Powell's Method for Derivative-Free Optimization
Techdesignism Machine Learning Laboratory（Techdesignism机器学习实验室）
本文提出将高斯压缩搜索（GCS）与Powell方法混合，以兼顾GCS的全局寻优能力和传统方法的局部寻优能力，实验表明该混合方法能显著提升无导数优化性能。
2023-08-09 cs.LG math.OC
Probabilistic Line Searches for Stochastic Optimization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在确定性优化中，线搜索是确保稳定性和效率的标准工具。在只有随机梯度可用的情况下，到目前为止还没有直接等价的公式，因为不确定的梯度不允许一个严格的决策序列折叠搜索空间。我们构建了一个概率线搜索，结合现有的确定性方法的结构与贝叶斯优化的概念。我们的方法保留了一个高斯过程代理的单变量优化目标，并使用概率相信沃尔夫条件，以监测下降。该算法具有计算量小、无需用户控制参数等优点。实验表明，它有效地消除了需要定义一个学习率的随机梯度下降。
2016-01-18 cs.LG math.OC stat.ML
Trajectory optimization using quantum computing
我们提出了一个框架，其中的轨迹最优化问题（或涉及变分法的问题）制定为一个搜索问题在离散空间。我们的工作的一个显着特点是离散化的最优化问题，其中我们不仅离散自变量（如时间），但也因变量的治疗。我们的离散化方案，通过选择粗粒度的状态，使计算成本降低。它进一步促进了轨迹最优化问题经由经典离散搜索算法的求解，所述离散搜索算法包括用于获得全局最优值的确定性和随机方法。这个框架还允许我们有效地使用量子计算算法进行全局轨迹优化。我们证明了离散搜索问题可以通过各种技术来解决，包括在物理空间或系数空间中的确定性穷举搜索，随机搜索算法，量子搜索算法或根据问题的性质采用随机和量子搜索算法的组合。我们通过解决轨迹优化中的一些典型问题来说明我们的方法。我们还提出了一个不同的方法在解决我们的例子问题的性能的比较研究。最后，我们提出了一个使用量子搜索算法的案例，因为与传统的非量子算法相比，它们提供了二次加速。
2019-02-13 math.OC quant-ph
Search Optimization for Minimum Load under Detection Performance Constraints in Multifunction Radars
KAIST（韩国科学技术院）；Agency for Defence Development（国防发展局）
本文提出了一种在多功能相控阵雷达中确保所需单次和累积检测概率的搜索参数优化解决方案，通过子问题分解的半解析过程将非线性优化转换为信号噪声比的标量优化。
2013-08-10 cs.SY eess.SY math.OC
Why Line Search when you can Plane Search? SO-Friendly Neural Networks allow Per-Iteration Optimization of Learning and Momentum Rates for Every Layer
University of British Columbia（不列颠哥伦比亚大学）
本文提出SO友好神经网络，使得在全批量训练中，每次迭代进行线搜索或平面搜索以优化学习率和动量率，其渐近成本与固定学习率相同，并可与梯度下降、拟牛顿及Adam结合，实现快速、可靠且对超参数不敏感的训练。
2024-06-25 cs.LG math.OC
$\{\text{PF}\}^2$ES: Parallel Feasible Pareto Frontier Entropy Search for Multi-Objective Bayesian Optimization
提出了并行可行Pareto前沿熵搜索（$\{\text{PF}\}^2$ ES）--一种新的支持未知约束和批量查询的多目标贝叶斯优化的信息论获取函数。由于表征候选评估和（可行的）帕累托边界之间的互信息的复杂性，现有的方法必须要么采用粗糙的近似，显着妨碍其性能或依赖于昂贵的推理方案，大大增加了优化的计算开销。相反，通过使用变分下界，$\{\text{PF}\}^2$ ES提供了互信息的低成本和准确的估计。我们基准$\{\text{PF}\}^2$ ES对其他信息理论的采集功能，展示其竞争力的性能，优化合成和现实世界的设计问题。
2023-02-21 cs.LG math.OC
Stochastic Optimization with Random Search
Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）；UM6P College of Computing（UM6P 计算学院）
本文提出了一种在随机优化中利用随机搜索的方法，通过更弱的光滑性假设和方差减少技术提升收敛速度和保证性能。
2025-12-17 cs.LG math.OC
Multi-Species Cuckoo Search Algorithm for Global Optimization
科学和工程中的许多优化问题是高度非线性的，因此需要复杂的优化技术来解决。传统的技术，如基于梯度的算法大多是局部搜索方法，往往难以应付这种具有挑战性的优化问题。最近的趋势倾向于使用自然启发的优化算法。本文利用布谷鸟与宿主共同进化的成功特性，扩展了标准布谷鸟搜索（CS），提出了多物种布谷鸟搜索（MSCS），模拟多个物种的布谷鸟竞争适者生存，它们与宿主物种共同进化，并将解向量编码为位置向量。通过15个基准函数和5个非线性、多模态设计算例对算法进行了验证。仿真结果表明，该算法可以有效地找到最优解，在这种情况下，所有的最优解是可实现的。测试基准的结果也比较了其他方法，如标准的布谷鸟搜索和遗传算法，证明了该算法的效率。基于数值实验和案例研究，我们可以得出结论，该算法可以在大多数情况下更有效，导致一个潜在的非常有效的工具，解决非线性优化问题。
2019-03-27 cs.NE math.OC
Multi-objective beetle antennae search algorithm
在工程优化问题中，通常需要同时优化高度非线性约束下的多个目标和大量变量。寻找非线性多目标优化问题的Pareto前沿需要大量的计算工作。基于群体智能的元启发式算法已成功地应用于多目标优化问题的求解。近年来，提出了一种基于个体智能的甲虫触角搜索算法。该算法被证明是计算效率更高。因此，我们将该算法推广到求解多目标优化问题。提出的多目标甲虫天线搜索算法进行了测试，使用四个精心挑选的基准函数，并与其他多目标优化算法的性能进行了比较。结果表明，提出的多目标甲虫触角搜索算法具有较高的计算效率和令人满意的精度。
2020-08-05 cs.NE math.OC
A new search direction for full-Newton step infeasible interior-point method in linear optimization
本文研究了线性最优化的全牛顿步不可行邻域点法。该方法通过对系统中心方程进行代数等价变换，从而定义了中心路径，并证明了该方法在多项式时间内找到问题的$\varepsilon$-最优解.
2021-02-14 cs.NA math.NA math.OC
Exploring search space trees using an adapted version of Monte Carlo tree search for combinatorial optimization problems
KU Leuven（鲁汶大学）；Ghent University（根特大学）；Flanders Make（法兰德斯制造研究院）
在这篇文章中，我们提出了一个启发式算法，探索搜索空间树与组合优化问题的情况。该算法是基于蒙特卡罗树搜索，一个流行的算法，在玩游戏，是用来探索游戏树，并代表了国家的最先进的算法，为一些游戏。提出了几种改进的蒙特卡罗树搜索算法，使算法更适合于组合优化的上下文中。这些增强利用组合结构的问题，并旨在有效地探索搜索空间树修剪子树，使用启发式模拟策略，减少域的变量，通过消除占主导地位的值分配和使用波束宽度。该算法的实现与其组件专门定制两个组合优化问题：码头起重机调度问题与非交叉约束和0-1背包问题。对于第一个问题，我们的算法超越了国家的最先进的结果，并找到了几个新的最佳解决方案的基准集的实例。对于第二个问题，我们的算法通常会产生接近最优的解决方案，比最先进的结果略差，但它只需要一小部分的时间来做到这一点。这些结果表明，该算法是具有竞争力的国家的最先进的两个完全不同的组合优化问题。
2022-11-16 cs.AI cs.DM math.OC
Max-value Entropy Search for Efficient Bayesian Optimization
Massachusetts Institute of Technology（麻省理工学院）
熵搜索（ES）和预测熵搜索（PES）是流行的和经验上成功的贝叶斯优化技术。两者都依赖于一个令人信服的信息理论的动机，并最大限度地提高所获得的信息有关的$\arg\max$的未知函数，然而，都受到昂贵的计算估计熵。我们提出了一个新的标准，最大值熵搜索（MES），而不是使用的最大函数值的信息。我们展示了MES与其他贝叶斯优化方法的关系，并建立了遗憾界。我们观察到MES保持或提高了ES/PES的良好经验性能，同时大大减轻了计算负担。特别地，MES对于用于计算熵的样本的数量更加鲁棒，因此对于更高维的问题更有效。
2018-01-02 cs.LG math.OC stat.ML
LSOS: Line-search Second-Order Stochastic optimization methods for nonconvex finite sums
我们开发了一个线搜索的二阶算法框架，最小化有限和。我们不做任何凸性假设，但要求和的项是连续可微的，并且具有Lipschitz连续梯度。适合这个框架的方法结合了线搜索和适当衰减的步长。一个关键的问题是在每次迭代时的两步采样，这使我们能够控制线搜索过程中存在的误差。极限点的平稳性在几乎必然意义下得到了证明，而逼近序列对解的几乎必然收敛在函数是强凸的附加假设下成立.数值实验，包括与最先进的随机最优化方法的比较，表明我们的方法的效率。
2022-06-27 cs.NA math.NA math.OC
NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了使用自适应随机搜索作为构建块的深度神经网络架构内的一般，非凸优化操作。具体而言，对于位于网络中的某层并由某些网络参数参数化的目标函数，我们采用自适应随机搜索对其输出进行优化。这种操作是可微的，并且在反向传播过程中不会阻碍梯度的传递，因此使我们能够将其作为端到端学习的一个组件。我们研究了建议的优化模块的属性和基准，它对现有的两种替代品的合成能量为基础的结构化预测任务，并进一步展示其在随机最优控制应用。
2021-04-01 cs.LG cs.SY eess.SY
Learning Search Space Partition for Black-box Optimization using Monte Carlo Tree Search
Brown University（布朗大学）；Facebook AI Research（脸书人工智能研究院）
高维黑箱优化问题有着广泛的应用，但仍是一个具有挑战性的问题。给定一组样本$\{\vx_i, y_i\}$，构建全局模型（如贝叶斯优化（BO））在高维搜索空间中遭受维数灾难，而贪婪搜索可能导致次优。通过递归地将搜索空间划分为具有高/低函数值的区域，最近的作品如LaNAS在神经结构搜索（NAS）中表现出良好的性能，经验上降低了样本复杂度。在本文中，我们创造了LA-MCTS的LaNAS扩展到其他领域。与以前的方法不同，LA-MCTS学习分区的搜索空间使用一些样本和他们的函数值在一个在线的方式。虽然LaNAS使用线性划分，并在每个区域中执行均匀采样，但我们的LA-MCTS采用非线性决策边界，并学习局部模型来选择好的候选。如果非线性配分函数和局部模型与地面真实黑盒函数拟合良好，则可以用更少的样本达到良好的分区和候选。LA-MCTS通过使用现有的黑盒优化器（例如，BO，TuRBO）作为其局部模型，在一般的黑盒优化和强化学习基准测试中实现了强大的性能，特别是对于高维问题。
2022-03-14 cs.AI cs.LG cs.RO
Regular Tree Search for Simulation Optimization
本文提出正则树搜索算法，结合自适应采样与递归划分，在次高斯噪声下证明全局收敛，数值实验验证其能可靠找到非凸仿真优化的全局最优解。
2025-06-21 cs.NA math.NA math.OC
Target Search Optimization by Threshold Resetting
The Institute of Mathematical Sciences（数学科学研究所）；Homi Bhabha National Institute（霍米·巴巴国立研究所）；Laboratoire de Physique Théorique et Modèles Statistiques (LPTMS), CNRS, Univ. Paris-Sud, Universite Paris-Saclay（理论与统计物理实验室（LPTMS），法国国家科学研究中心，巴黎第十一大学，巴黎萨克雷大学）
本文提出通过阈值重置优化目标搜索的方法，揭示了随机过程中的长程相互作用和优化行为。
2026-09-18 cond-mat.stat-mech math.OC math.PR
Quadratic Optimization with Orthogonality Constraints: Explicit Lojasiewicz Exponent and Linear Convergence of Line-Search Methods
The Chinese University of Hong Kong（香港中文大学）
矩阵最优化问题的一个基本类别出现在许多领域的科学和工程是二次优化与正交约束。这样的问题可以解决使用线搜索法的Stiefel流形，这是已知的全局收敛条件下温和的。为了确定这些方法的收敛速度，我们给出了一个明确的估计指数的Lojasiewicz不等式的（非凸）集的临界点的上述类问题。通过结合这样的估计与已知的参数，我们能够建立一个大类的线搜索法的线性收敛。在我们的证明中的一个关键步骤是建立一个局部误差界的临界点，这可能是独立的利益。
2015-10-05 cs.LG cs.NA math.NA
Energy stable gradient flow schemes for shape and topology optimization in Navier-Stokes flows
针对不可压缩 Navier-Stokes 流中的形状与拓扑优化，提出相场梯度流的稳定化半隐式格式，证明其连续与离散无条件能量稳定性，并通过二维和三维 CFD 实验验证有效性与鲁棒性。
2024-05-08 cs.NA math.NA math.OC
Maximizing Store Revenues using Tabu Search for Floor Space Optimization
Precima, a Nielsen Company（尼尔森旗下Precima公司）
店面空间优化是零售商经常遇到的关键收益管理问题。它最大限度地提高商店的收入最佳分配地板空间的产品类别被分配到他们最合适的货架图。我们制定的问题作为一个连接的多选择背包问题与一个额外的全局约束，并提出了一个基于禁忌搜索的元启发式，利用多个特殊的邻域结构。我们还纳入了一个机制，以确定如何结合多个邻域移动。同时，还提出了一种基于先验搜索历史学习的候选列表策略，以提高搜索质量。一组测试问题的计算测试结果表明，我们的禁忌搜索启发式可以解决所有的问题在合理的时间内。通过计算实验分析了算法中各组成部分的贡献。
2020-11-04 cs.AI cs.LG cs.NE
