ClipUp: A Simple and Powerful Optimizer for Distribution-based Policy Evolution
NNAISENSE
基于分布的搜索算法是神经网络控制器进化强化学习的一种有效方法。在这些算法中，总回报相对于策略参数的梯度使用从搜索分布中提取的解的种群来估计，然后用于具有随机梯度上升的策略优化。社区中的一个常见选择是使用Adam优化算法在梯度上升期间获得自适应行为，这是由于其在各种监督学习设置中的成功。作为Adam的替代方案，我们提出了两种简单的技术来增强经典的基于动量的梯度上升：梯度归一化和更新裁剪。我们认为，由此产生的优化器称为ClipUp（简称“剪辑更新”）是一个更好的选择，基于分布的政策演变，因为它的工作原理是简单，易于理解，其超参数可以更直观地调整在实践中。此外，如果奖励规模发生变化，它不需要重新调整超参数。实验表明，ClipUp尽管简单，但与Adam竞争，并且在具有挑战性的连续控制基准上是有效的，包括基于Bullet物理模拟器的Humanoid控制任务。
2020-12-08 cs.AI cs.NE
XferNAS: Transfer Neural Architecture Search
IBM Research（IBM研究院）
术语神经架构搜索（NAS）是指针对新的、以前未知的任务自动优化网络架构。由于测试架构在计算上非常昂贵，许多优化器需要几天甚至几周才能找到合适的架构。然而，如果重复使用以前在不同任务上搜索的知识，则可以显著减少搜索时间。在这项工作中，我们提出了一个普遍适用的框架，仅对现有的优化器进行微小的更改，以利用此功能。作为一个例子，我们选择了一个现有的优化器，并展示了框架集成的复杂性及其影响。在CIFAR-10和CIFAR-100上的实验中，我们观察到搜索时间从200天减少到只有6个GPU天，速度提高了33倍。此外，我们在CIFAR基准测试中分别观察到NAS优化器的1.99和14.06的新记录。在另一项研究中，我们分析了源数据和目标数据量的影响。从经验上讲，我们证明了所提出的框架通常会给出更好的结果，在最坏的情况下，与未修改的优化器一样好。
2019-07-18 cs.CV cs.LG cs.NE
Improved Fitness Dependent Optimizer for Solving Economic Load Dispatch Problem
经济负荷分配在电力系统的运行中起着重要的作用，因为它降低了环境负荷，最大限度地减少了运行成本，并节省了能源。经济负荷分配问题的最优解和各种约束条件可以通过进化算法和基于群体的算法来获得。基于群的算法的主要缺点是过早收敛到最优解。适应度相关优化算法是受蜂群决策和繁殖过程启发而提出的一种新的优化算法。适应度相关优化算法（FDO）基于粒子群优化算法的搜索方法来检查搜索空间。为了计算速度，利用适应度函数来生成在开发和探索阶段指导搜索代理的权重。在这项研究中，作者进行了适应度依赖优化解决经济负荷分配问题，减少燃料成本，排放分配，输电损耗。此外，作者还增强了一种新的变体的健身依赖优化，它结合了新的人口初始化技术，并动态采用正弦映射来选择权重因子的健身依赖优化。该算法在多维搜索空间中引入准随机Sabol序列来产生初始解。一个标准的24个单位的系统是采用不同的功率需求的实验评估。经验结果表明，使用增强的健身依赖优化的变体表现出优越的性能，在低传输损耗，低燃料成本，低排放分配相比，传统的健身依赖优化。实验研究获得7.94E-12。
2022-07-14 cs.NE cs.SY eess.SY
Investigation of Bare-bones Algorithms from Quantum Perspective: A Quantum Dynamical Global Optimizer
近几十年来，大量新算法的出现使得基于隐喻的智能优化系统的提出成为一种噱头，阻碍了研究者对算法搜索行为本质的探索。然而，由于智能优化算法种类繁多，直接讨论智能优化算法的搜索行为是困难的。为了解决这一问题，本文将智能优化系统看作是一个模拟的物理优化系统。用量子理论研究了这种简化的物理优化系统的动态搜索行为。为了实现这一目标，薛定谔方程被用来作为优化算法的动力学方程，这是用来描述量子理论的进化过程中的动态搜索行为。此外，探索的基本行为的优化系统，优化问题被假定为分解和近似。相应地，基本的搜索行为，这构成了一个简单的优化系统的基本迭代过程。将基本的迭代过程与一些经典的基本方案进行了比较，以验证不同隐喻下搜索行为的相似性。通过实验分析了这些基本算法的搜索策略。
2022-04-15 cs.NE
Evolving Deep Learning Optimizers
Sas.upenn.edu（宾夕法尼亚大学）
本文通过进化算法发现优于Adam的深度学习优化器，其结合符号梯度项和自适应矩估计，提升模型性能并揭示不同设计原则。
2025-12-05 cs.LG cs.NE
Military Dog Based Optimizer and its Application to Fake Review
Jaypee Institute of Information Technology（杰皮信息技术学院）；Delhi Technological University（德里技术大学）；IP College of Women（IP女子学院）
在过去的三十年中，超过六十元启发式算法已被提出的各种作者。这些算法的灵感来自物理现象、动物行为或进化概念。这些算法已被广泛用于解决各种现实世界的优化问题。研究人员正在不断努力改进现有的算法，并提出新的算法，这些算法与文献中的现有算法相比具有竞争力。提出了一种基于军犬小队的Meta启发式搜索算法。该算法模拟了军犬的搜索能力。军犬有很强的嗅觉，它们能够搜索可疑物体，如炸弹，野生动物粪便，货币或血液，以及它们可以通过吠叫相互交流。在17个基准函数上对该算法的性能进行了测试，并与粒子群优化（PSO）、多元宇宙优化（MVO）、遗传算法（GA）、概率学习（PBIL）和进化策略（ES）等5种元算法进行了比较。结果验证的平均值和标准偏差的适应值。通过绘制收敛图和BoxPlots验证了结果的收敛性和一致性。此外，该算法被成功地用于解决现实世界中的虚假评论检测问题。实验结果表明，该算法优于其他考虑的算法的大多数性能参数。
2019-09-26 cs.AI cs.NE
Coronavirus Optimization Algorithm: A Success-History Adaptive Evolutionary Framework with Archive-Assisted Search and Stagnation Recovery for Global Optimization
Bournemouth University（伯恩茅斯大学）
本文提出受SARS-CoV-2启发的COA优化算法，将冠状病毒机制映射为搜索算子，结合多种技术在29个CEC 2017基准函数上测试，其整体Friedman秩最优，是紧凑透明的自适应进化优化器。
2026-08-26 cs.AI cs.CC cs.NE
Investigating Wave Energy Potential in Southern Coasts of the Caspian Sea Using Grey Wolf Optimizer Algorithm
近年来，海洋波浪能转换器的应用有明显加速的趋势。因此，必须采取一个合适的点来实施这些系统。此外，里海作为亚洲最重要的海洋可再生能源之一，能够为沿海地区提供大量能源。因此，在里海南部海岸的9个港口周围的地区被选中来测量其波能潜力。最初，这些点上的能量是使用不规则能量理论测量的。据观察，波功率在西南地区（Kiashahr海岸和Anzali港）高于东南地区。提出了一种新的方法来比较这些点，并使用灰色狼优化算法（GWO）和时程分析来测量它们在提供最大能量方面的适合度。在该方法中，首先从用于评估里海南部区域内的点的算法中提取最佳参数。将这些值作为评价指标。然后，利用相关函数和范数向量得到各点的适应度，给出了具有最大波浪能开发潜力的最优位置。通过实测数据验证了该方法的有效性，并证实了该方法在预测和比较不同点的波功率时的准确性。最后，通过对影响波能的参数进行对比，得出了有效波高和波能周期的最佳取值范围。
2020-08-23 cs.NA cs.NE math.NA
MMAO: A Metabolic Multi-Agent Optimizer with Endogenous Resource Allocation for Continuous and Discrete Optimization
The Seventh Medical Center of Chinese PLA General Hospital（中国人民解放军总医院第七医学中心）
提出代谢多智能体优化器（MMAO），通过私有一公共代谢资源循环实现内源自适应，无需手动调参，在CEC2017和TSPLIB上验证了其参数轻量、自校准的特性。
2026-06-29 cs.MA cs.NE
Swarm Programming Using Moth-Flame Optimization and Whale Optimization Algorithms
Bankura Unnayani Institute of Engineering（班库拉乌纳亚尼工程学院）
自动编程（AP）是机器学习（ML）的一个重要领域，其中计算机程序是自动生成的。群编程（Swarm Programming，SP）是近年来新兴的一个研究领域，它利用群体智能（Swarm Intelligence，SI）算法自动生成计算机程序。本文提出了两种基于语法的SP方法：语法飞蛾火焰优化器（GMFO）和语法鲸鱼优化器（GWO）。蛾焰优化器和鲸鱼优化算法分别用作GMFO和GWO中的搜索引擎或学习算法。所提出的方法进行了测试圣达菲蚂蚁步道，四次符号回归，3输入多路复用器的问题。并与语法蜂群算法（GBC）和语法焰火算法（GFWA）进行了比较.实验结果表明，所提出的SP方法可以用于计算机程序的自动生成。
2020-04-25 cs.AI cs.NE
Meta Learning Black-Box Population-Based Optimizers
Mila（米拉研究所）
没有免费的午餐定理表明，没有一个模型更适合所有问题。由此产生的一个问题是如何设计方法，提出针对特定问题的优化器，实现最先进的性能。本文通过提出使用元学习来推断基于种群的黑盒优化器来解决这个问题，这些优化器可以自动适应特定类别的问题。我们提出了一个基于人口的算法，导致学习优化POMDP（LTO-POMDP），一个元学习框架的基础上，一个特定的部分可观察马尔可夫决策过程（POMDP）的一般建模。从该框架的公式中，我们提出使用深度递归神经网络来参数化算法，并使用基于随机算法性能的Meta损失函数来训练几个相关优化任务的有效数据驱动优化器。基于该实现的学习优化器的性能在各种黑盒优化任务和机器学习模型的超参数调整上进行评估。我们的研究结果表明，Meta损失函数鼓励学习算法改变其搜索行为，以便它可以很容易地适应新的上下文。因此，它允许更好的推广和更高的样本效率比国家的最先进的通用优化算法，如协方差矩阵自适应演化策略（CMA-ES）。
2021-03-05 cs.AI cs.LG cs.NE
A Random-Key Optimizer for Combinatorial Optimization
Federal U. of São Paulo（巴西圣保罗联邦大学）；Amazon Advanced Solutions Lab（亚马逊高级解决方案实验室）；DIMACS；University of Southampton（南安普顿大学）；Federal U. of Pernambuco（巴西佩雷布鲁克联邦大学）
本文提出了一种随机键优化器，通过模块化设计结合多种元启发式算法，高效解决组合优化问题。
2025-08-14 cond-mat.dis-nn cs.AI cs.NE
A Hybrid Nested Harness for Decoupling Structure and Parameters in LLM-Driven Optimization
Komorebi AI Technologies（Komorebi人工智能技术公司）
该研究提出混合嵌套框架解耦LLM驱动优化的结构与参数，外层LLM提结构草图、内层优化器调参，在三类任务中性能优于纯LLM及纯数值优化基线。
2026-08-11 cs.LG cs.NE
LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers
Department of Computer Science, Virginia Tech（弗吉尼亚理工学院计算机科学系）
本文提出LLM-FE框架，结合LLM的领域知识和推理能力，通过进化搜索自动发现表格学习任务中的有效特征，优于现有方法。
2026-05-10 cs.AI cs.CL cs.LG
Large Language Models as Evolutionary Optimizers
本文首次提出将大型语言模型作为进化组合优化器（LMEA），无需额外训练和领域知识，通过自适应温度机制平衡探索与利用，在20节点TSP问题上表现优于传统启发式方法。
2024-04-26 cs.NE
Nature Inspired Evolutionary Swarm Optimizers for Biomedical Image and Signal Processing -- A Systematic Review
Spiraldevs Automation Industries Pvt. Ltd.（Spiraldevs自动化工业私人有限公司）
本文系统综述了自然启发进化群优化算法在生物医学图像与信号处理中的应用，通过分析28篇文献和26种算法并划分探索程度，填补了该领域缺乏系统综述的空白。
2023-10-02 cs.AI cs.NE
MAAPO:an innovative membrane algorithm based on artificial protozoa optimizer for multilevel threshold image segmentation
VŠB-Technical University of Ostrava（俄斯特拉发理工大学）；Torrens University Australia（澳大利亚托伦斯大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
提出基于人工原生动物优化器的膜算法MAAPO，融合膜计算与RFDB机制，在CEC2017及多级阈值图像分割中优于12种先进算法。
2026-09-14 cs.NE
Population-Based Methods: PARTICLE SWARM OPTIMIZATION -- Development of a General-Purpose Optimizer and Applications
本论文主要研究带不等式约束的连续、静态、单目标优化问题。然而，一些方法来处理其他类型的问题进行了简要的评论。粒子群优化范式的灵感来自于以前对社会生物中观察到的合作行为的模拟。它是一种自下而上的、随机加权的、基于群体的方法，其优化能力来自于局部的、个体与个体的相互作用。与传统方法相反，它可以处理不同的问题，很少或根本没有适应，因为它确实受益于问题的特定问题特征，但通过一群个体对搜索空间进行并行的合作探索。这篇论文的主要目标是开发一个优化器，可以在大多数问题上表现得相当好。因此，该算法的参数的设置对系统的行为的影响进行了研究，寻求一些通用的设置，并提出了一些变化的规范版本，旨在把它变成一个更通用的优化。由于没有终止条件包括在规范版本中，本论文还关注一些停止标准的设计，允许迭代搜索被终止，如果进一步显着的改善是不可能的，或者如果达到一定数量的时间步长。此外，一些约束处理技术被纳入规范算法处理不等式约束。最后，通过优化几个基准问题来说明所提出的通用优化器的能力。
2021-01-25 cs.NE math.OC
Large Language Model Assisted Adversarial Robustness Neural Architecture Search
本文提出LLM辅助优化器LLMO，利用Gemini通过CRISPE框架迭代生成解，在NAS-Bench-201的ARNAS任务上验证其优于多种元启发式算法，展示了大语言模型作为组合优化器的潜力。
2024-06-08 cs.NE
Evolving Learning Rate Optimizers for Deep Neural Networks
人工神经网络（ANN）由于其在图像识别、语音识别等难题中的成功应用而受到广泛关注.然而，当从业者想要设计ANN时，他们需要经历选择一组参数和拓扑结构的费力过程。目前，有几种最先进的方法允许自动选择这些方面中的一些。学习率优化器是一组搜索学习率的良好值的此类技术。虽然这些技术是有效的，并且多年来取得了良好的效果，但它们是通用的解决方案，即它们不考虑特定网络的特性。我们提出了一个名为AutoLR的框架来自动设计学习率优化器。详细介绍了该系统的两个版本。第一个是动态AutoLR，它根据当前时期和以前的学习率来进化静态和动态学习率优化器。第二个版本，自适应AutoLR，进化自适应优化器，可以微调每个网络eight的学习率，使它们通常更有效。其结果与最先进的方法相比具有竞争力，甚至在某些情况下优于它们。此外，该系统发展了一个分类器，ADES，这似乎是新颖的和创新的，因为据我们所知，它具有不同于最先进的方法的结构。
2021-03-23 cs.NE
Learning Strategies in Particle Swarm Optimizer: A Critical Review and Performance Analysis
Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电子与计算机工程系）；Department of Mathematics and Computing, Dr. B.R. Ambedkar National Institute of Technology Jalandhar（德拉·B·R·阿姆贝卡尔国家理工学院贾兰德哈尔分校数学与计算系）；KINDI Computing Research Center, College of Engineering, Qatar University（卡塔尔大学工程学院KINDI计算研究中心）
针对粒子群优化（PSO）中学习策略缺乏全面系统分析的问题，本文综述分类了各类学习策略并评估其对优化性能的影响，通过对比实验分析策略对搜索动态的作用，还探讨了开放挑战与未来方向。
2025-04-16 cs.AI cs.NE
Tackling Neural Architecture Search With Quality Diversity Optimization
LMU Munich（慕尼黑大学）；University of Warwick（华威大学）；Warwick Business School（华威商学院）
神经结构搜索（NAS）已被广泛研究，并已发展成为一个具有重大影响的研究领域。传统的单目标NAS搜索具有最佳性能的架构，而多目标NAS考虑应同时优化的多个目标，例如，最小化验证错误的资源使用。虽然在多目标NAS领域已经取得了相当大的进展，我们认为，有一些实际的优化问题的实际利益和优化问题，多目标NAS试图解决之间的差异。我们通过将多目标NAS问题公式化为质量多样性优化（QDO）问题来解决这种差异，并引入三个质量多样性NAS优化器（其中两个属于多保真度优化器组），其搜索高性能但多样的架构，这些架构对于特定于应用的利基是最佳的，例如，硬件限制。通过比较这些优化的多目标同行，我们表明，质量多样性NAS一般优于多目标NAS的解决方案的质量和效率。我们进一步展示了应用程序和未来的NAS研究如何在QDO上蓬勃发展。
2022-07-30 cs.LG cs.NE stat.ML
BagNet: Berkeley Analog Generator with Layout Optimizer Boosted with Deep Neural Networks
University of California Berkeley（加州大学伯克利分校）
在模拟设计中，由于布局寄生效应的影响，布局后仿真结果和原理图仿真结果之间的差异不断扩大。这种范式转变迫使设计师采用设计方法，将布局效果无缝集成到标准设计流程中。因此，任何基于仿真的优化框架都应该考虑耗时的布局后仿真结果。这项工作提出了一个学习框架，该框架在运行模拟之前，使用区分生成样本的DNN来学习减少基于进化的组合优化器的模拟次数。使用这种方法，对于包括光链路接收器布局的几个大型电路示例，该方法实现了采样效率的至少两个数量级的改进。
2019-07-23 cs.LG cs.NE eess.SP
Fitness Dependent Optimizer: Inspired by the Bee Swarming Reproductive Process
本文提出了一种新的群体智能算法，称为适应度依赖优化（FDO）。该算法的灵感来源于蜜蜂的群体繁殖过程和集体决策，它与蜜蜂算法或人工蜂群算法没有算法上的联系。值得一提的是，FDO被认为是一种基于粒子群优化（PSO）的算法，它通过增加速度（速度）来更新搜索代理位置。然而，FDO计算速度不同;它使用问题适应度函数值来产生权重，这些权重在探索和开发阶段指导搜索代理。在整个文件中，FDO算法，并解释了背后的想法的动机。此外，FDO在一组19个经典基准测试函数上进行了测试，并将结果与三种知名算法进行了比较：PSO，遗传算法（GA）和遗传算法（DA），此外，FDO还在IEEE演化计算基准测试函数大会（CEC-C 06，2019竞赛）上进行了测试[1]。并将计算结果与三种现代算法进行了比较：DA算法、鲸鱼优化算法（WOA）和Salp Swarm算法（SSA）。FDO结果显示在大多数情况下性能更好，在其他情况下的比较结果。此外，使用Wilcoxon秩和检验对结果进行统计学检验，以显示结果的显著性。同样，FDO在勘探和开采阶段的稳定性也使用不同的标准测量进行验证和性能验证。最后，将FDO应用于现实世界的应用，以证明其可行性。
2019-04-10 cs.NE
A novel particle swarm optimizer with multi-stage transformation and genetic operation for VLSI routing
作为超大规模集成（VLSI）布线的基本模型，Steiner最小树（SMT）可以用于线长优化、拥塞、时延估计等实际问题。本文提出了一种基于多级变换和遗传操作的粒子群优化算法（PSO），用于构造非曼哈顿SMT和曼哈顿SMT两类SMT。首先，为了能够同时处理两类SMT问题，提出了一种有效的边顶点编码策略。其次，提出了一种多阶段转换策略，既扩大了算法的搜索空间，又保证了算法的有效收敛。我们测试了三种类型，从两个到四个阶段，以及每种类型下的各种组合，以突出最佳组合。第三，设计了结合并寻划分的遗传算子，构造了离散VLSI布线的离散粒子更新公式。此外，为了将不确定性和多样性引入粒子群算法的搜索中，我们提出了一种改进的变异操作与边缘变换。实验结果表明，我们的算法从多层结构的全局角度可以达到最好的解决方案的质量在现有的算法。最后，据我们所知，这是第一个工作，同时解决曼哈顿和非曼哈顿路由。
2018-11-26 cs.NE
Lookahead Optimizer: k steps forward, 1 step back
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
绝大多数成功的深度神经网络都是使用随机梯度下降（SGD）算法的变体进行训练的。最近对SGD的改进尝试可以大致分为两种方法：（1）自适应学习率方案，如AdaGrad和Adam，以及（2）加速方案，如重球和Nesterov动量。在本文中，我们提出了一个新的优化算法，前瞻性，这是正交的这些以前的方法和迭代更新两套权重。直观地说，该算法通过前瞻另一个优化器生成的快速权重序列来选择搜索方向。我们表明，前瞻性提高了学习的稳定性和降低其内部优化的方差可以忽略不计的计算和内存成本。我们通过经验证明，Lookahead可以显著提高SGD和Adam的性能，即使在ImageNet、CIFAR-10/100、神经机器翻译和Penn Treebank上使用它们的默认超参数设置。
2019-12-03 cs.LG cs.NE stat.ML
An Improved Dung Beetle Optimizer for Random Forest Optimization
针对蜣螂优化器的收敛速度与精度问题，提出结合圆映射和纵横向交叉策略的改进算法CICRDBO，经基准测试验证其性能，并将其应用于随机森林超参数选择以解决零售业二分类预测问题，证明其实用性。
2024-11-24 cs.NE math.OC
Optimization Geometry of QAOA and Variational Quantum Algorithms
VSB – Technical University of Ostrava（俄斯特拉发科技大学）；IT4Innovations National Supercomputing Center, VSB – Technical University of Ostrava（俄斯特拉发科技大学 IT4创新国家超算中心）；Klaipeda University（克莱佩达大学）；Gran Sasso Science Institute（格兰萨索科学研究所）；Indian Statistical Institute（印度统计研究所）；Università dell’Aquila（阿奎拉大学）
本研究通过分析VQE和QAOA中目标函数的几何特性，比较BFGS与自适应差分进化，发现参数绑定而非局部极小值数量决定全局搜索优势，为优化器选择提供实用流程。
2026-10-06 cs.NE quant-ph
Bombardier Beetle Optimizer: A Novel Bio-Inspired Algorithm for Global Optimization
Yarmouk University（亚穆克大学）；University of Malaya（马来亚大学）；Al-Zaytoonah University of Jordan（约旦扎伊图纳大学）
本文提出了一种名为爆炸 Beetle 优化器（BBO）的新型生物启发算法，受爆炸 Beetle 的防御和逃避机制启发，用于解决全局优化问题。
2025-10-19 cs.NE
Detect and Act: Automated Dynamic Optimizer through Meta-Black-Box Optimization
South China University of Technology（华南理工大学）
本文提出一种基于强化学习的自动动态优化方法，通过元黑箱优化思想实现环境变化检测与自适应，提升进化算法在动态优化问题中的性能。
2026-01-30 cs.LG cs.NE
High-performance Evolutionary Algorithms for Online Neuron Control
Harvard Medical School（哈佛医学院）；Washington University in St Louis（华盛顿大学圣路易斯分校）
最近，优化已经成为神经科学家研究神经代码的新兴工具。在视觉系统中，神经元对图像的反应是分级的和有噪声的。引起最高反应的图像模式是神经元编码内容的诊断。为了找到这些模式，我们使用黑盒优化器来搜索4096d图像空间，从而导致图像的进化，使神经元的反应最大化。虽然遗传算法（GA）已被普遍使用，还没有任何系统的调查，以揭示最佳性能的优化器或基本原则，以改善他们。在这里，我们进行了大规模的激活最大化优化器的计算机基准测试，发现协方差矩阵自适应（CMA）在其实现的激活方面表现出色。我们比较CMA与GA，发现CMA超过GA的最大激活66%，在硅片和44%，在体内。我们分析了进化轨迹的结构，发现成功的关键不是协方差矩阵自适应，而是对信息维度的局部搜索和有效的步长衰减。在这些原则和图像流形的几何形状的指导下，我们开发了SphereCMA优化器，该优化器与CMA竞争良好，证明了所确定原则的有效性。代码可在https://github.com/Animadversio/ActMax-Optimizer-Dev获得
2022-04-14 cs.CG cs.CV cs.NE
Investigating the Interplay of Parameterization and Optimizer in Gradient-Free Topology Optimization: A Cantilever Beam Case Study
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）
本研究通过悬臂梁案例探讨了参数化与优化器在无梯度拓扑优化中的相互作用，发现参数化质量对优化性能影响更大，强调了设计空间对算法选择的重要性。
2026-02-02 cs.CE cs.NE
Influence of Initialization on the Performance of Metaheuristic Optimizers
Xidian University（西安电子科技大学）；Middlesex University（密德萨斯大学）
所有的超启发式优化算法都需要一些初始化，并且这种优化器的初始化通常是随机进行的。然而，初始化可以有一些显着的影响，这样的算法的性能。本文系统地比较了差分进化（DE）、粒子群优化（PSO）、布谷鸟搜索（CS）、人工蜂群（ABC）算法和遗传算法（GA）等5种优化算法在22种不同初始化方法下的收敛性和精度。我们使用了19个不同的测试函数，具有不同的属性和方式来比较初始化，人口规模和迭代次数的可能影响。严格的统计排序测试表明，DE算法的函数中有43.37%的函数在不同初始化方法下表现出显著差异，而PSO和CS算法的函数中有73.68%的函数在不同初始化方法下表现出显著差异。仿真结果表明，差分进化算法对初始值不敏感，而粒子群算法和混沌进化算法对初始值敏感。此外，在函数评价（FE）的最大数目相同的条件下，种群大小也可以有很强的影响。粒子群优化通常需要较大的种群，而布谷鸟搜索只需要较小的种群规模。差分进化在很大程度上依赖于迭代次数，相对较小的种群和更多的迭代可以导致更好的结果。此外，ABC是更敏感的初始化，而这样的初始化对遗传算法的影响不大。一些概率分布，如贝塔分布，指数分布和瑞利分布通常可以导致更好的性能。本研究的意义和进一步的研究课题也进行了详细讨论。
2020-03-08 cs.LG cs.NE math.OC
Applying a Random-Key Optimizer on Mixed Integer Programs
Federal Univ. of São Paulo（圣保罗联邦大学）；DIMACS（离散数学与计算机科学中心）；Instituto Federal de Santa Catarina（圣卡塔琳娜联邦学院）；North（55北）；Amazon Advanced Solutions Lab（亚马逊高级解决方案实验室）；AWS Center for Quantum Computing（AWS量子计算中心）
本文提出利用随机键优化器框架解决混合整数规划问题，通过设计问题特定解码器，提升大规模和高约束问题的求解效率与质量。
2026-04-14 cs.NE math.OC
Clustering of Complex Networks and Community Detection Using Group Search Optimization
群体搜索优化算法（GSO）是进化计算领域中的一个新兴算法，也是进化计算领域中最优秀的算法之一。它是一种非常健壮和高效的算法，灵感来自动物的搜索行为。本文描述了GSO在网络聚类中的应用。我们已经测试了GSO对五个标准的基准数据集，GSO算法被证明是非常有竞争力的精度和收敛速度。
2013-08-19 cs.DS cs.NE
Analyzing Uniaxial Compressive Strength of Concrete Using a Novel Satin Bowerbird Optimizer
克服混凝土力学参数分析的复杂性需要选择合适的方法。本研究整合了一个人工神经网络（ANN）与一种新的元启发式技术，即缎纹园丁鸟优化（SBO）预测混凝土的单轴抗压强度（UCS）。为此，使用从已发表文献中收集的相对较大的数据集对所创建的混合进行训练和测试。另外三个新的算法，即亨利气体溶解度优化（HGSO），向日葵优化（SFO），涡搜索算法（VSA）也被用作基准。在所有算法都达到适当的种群规模后，利用各种精度指标，结果表明，所提出的ANN-SBO不仅可以出色地分析UCS行为，而且优于所有三种基准混合算法（即，ANN-HGSO、ANN-SFO和ANN-VSA）。在预测阶段，ANN-HGSO、ANN-SFO、ANN-VSA和ANN-SBO的相关指数分别为0.87394、0.87936、0.95329和0.95663，平均绝对百分比误差分别为15.9719、15.3845、9.4970和8.0629%，表现出最好的预测性能为所提出的模型。此外，ANN-VSA也取得了可靠的结果。总之，ANN-SBO可以作为一种有效的非破坏性的方法来预测混凝土的抗压强度。
2021-03-04 cs.NE
Solving integer multi-objective optimization problems using TOPSIS, Differential Evolution and Tabu Search
本文提出了一种求解非线性整数多目标优化问题的方法。首先，该问题是制定使用的技术顺序偏好的相似理想解（TOPSIS）。其次，采用差分进化算法的三个版本（标准差分进化算法、最佳差分进化算法和差分进化算法）作为优化器。由于DE算法得到的解是连续的，因此在优化过程中采用禁忌搜索（TS）算法来寻找整数解。实验结果表明了该方法的有效性。
2022-04-05 cs.NE
Guided Evolution with Binary Discriminators for ML Program Search
Google DeepMind（谷歌DeepMind）
提出用二元判别器引导进化搜索，无需昂贵评估即可选择更优程序，加速机器学习程序自动设计，在符号优化器和强化学习损失函数上分别获得3.7倍和4倍加速。
2024-02-08 cs.LG cs.NE
Random-Key Optimizer and Linearization for the Quadratic Multiple Constraints Variable-Sized Bin Packing Problem
Federal University of São Paulo（圣保罗联邦大学）；Aeronautics Institute of Technology（航空技术学院）
本文提出线性化模型和RKO-ACO算法，解决二次多约束可变尺寸装箱问题，改进下界计算并提升求解效果。
2026-03-25 cs.NE
Surrogate-assisted cooperative signal optimization for large-scale traffic networks
交通信号灯的合理设置对缓解城市交通网络中的拥堵有着重要的作用。元启发式优化算法已经证明自己能够找到高质量的信号配时计划。然而，由于搜索空间巨大和计算预算有限，它们在解决大规模交通信号优化问题时通常会受到性能恶化的影响。针对这一问题，提出了一种代理辅助的协作信号优化方法。与现有的直接处理整个交通网络的方法不同，SCSO首先将整个交通网络分解为一组易于处理的子网络，然后通过代理辅助优化器协同优化这些子网络来实现信号灯设置。分解操作显著地缩小了整个交通网络的搜索空间，并且代理辅助优化器通过减少昂贵的交通模拟的数量而大大降低了计算负担。分别以Newman快速算法、径向基函数和一种改进的分布估计算法作为分解器、代理模型和优化器，提出了一种具体的SCSO算法。为了评估其有效性和效率，一个大规模的交通网络，包括十字路口和T型路口的基础上产生的实际交通网络。通过与现有的几种交通信号优化元启发式算法的比较，验证了SCSO在减少车辆平均延误时间方面的优越性。
2021-03-03 cs.NE
A Dynamic-Neighbor Particle Swarm Optimizer for Accurate Latent Factor Analysis
Beihang University（北京航空航天大学）
高维不完全矩阵通常包含大量有价值的潜在信息，潜在因子分析模型可以很好地表示这些矩阵。LFA模型的性能在很大程度上依赖于其优化过程。因此，一些先前的研究采用粒子群优化来增强LFA模型的优化过程。然而，群体中的粒子遵循静态的进化路径，只共享全局最优信息，这限制了粒子的搜索范围，导致次优问题。为了解决这个问题，本文提出了一个动态邻居合作的层次PSO增强的LFA模型具有两个主要思想。首先是邻居合作策略，它提高了随机选择的邻居的粒子的进化速度。二是动态超参数整定。在两个基准数据集上进行了大量的实验，以评估所提出的DHPL模型。结果表明，DHPL实现了更高的精度，而无需超参数调整比现有的PSO合并LFA模型表示的HDI矩阵。
2023-02-23 cs.LG cs.NE
A Standardized Benchmark Set of Clustering Problem Instances for Comparing Black-Box Optimizers
本文提出一套基于数据聚类问题的标准化连续黑盒优化基准，通过模块化 CMA-ES 配置测试和探索性景观分析评估其多样性，并开源集成至 IOHprofiler。
2025-05-14 cs.NE
Geometry-Aware Gradient Algorithms for Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
最近的神经架构搜索（NAS）的最先进的方法利用基于梯度的优化，通过放松的问题到架构和共享权重的连续优化，一个嘈杂的过程，仍然知之甚少。我们认为，单级经验风险最小化的研究，以了解NAS与权重共享，减少NAS方法的设计，设计优化器和正则化，可以快速获得高质量的解决方案，这个问题。在镜像下降理论的基础上，我们提出了一个几何感知框架，该框架利用这种优化的底层结构来返回稀疏的架构参数，从而产生简单而新颖的算法，这些算法可以保证快速收敛，并在计算机视觉的最新NAS基准测试中达到最先进的精度。值得注意的是，我们在DARTS搜索空间和NAS-Bench 201上都超过了CIFAR和ImageNet的最佳发布结果;在后者上，我们在CIFAR-10和CIFAR-100上实现了接近oracle的最佳性能。总之，我们的理论和实验证明了一个原则性的方法来协同设计优化和连续松弛离散NAS搜索空间。
2021-03-18 cs.CV cs.LG cs.NE
COBRA++: Enhanced COBRA Optimizer with Augmented Surrogate Pool and Reinforced Surrogate Selection
South China University of Technology（华南理工大学）
COBRA++通过增强替代池和强化学习策略提升COBRA优化器的性能和适应性。
2026-02-02 cs.NE
A Diverse Clustering Particle Swarm Optimizer for Dynamic Environment: To Locate and Track Multiple Optima
针对动态优化中粒子多样性与最优解跟踪不足的问题，提出一种多样化聚类粒子群优化器，通过探索未发现区域并处理重叠粒子，在移动峰值基准上优于现有算法。
2020-05-19 cs.NE
A Discrete Particle Swarm Optimizer for the Design of Cryptographic Boolean Functions
本文提出一种结合置换PSO与爬山法的离散粒子群优化器，通过连续遗传算法（CGA）优化参数，用于搜索具有良好密码学性质的平衡布尔函数，实验表明其生成的函数在非线性、相关免疫性和传播准则等组合性质上优于或等同于其他方法。
2024-01-09 cs.CR cs.NE
Modified-Improved Fitness Dependent Optimizer for Complex and Engineering Problems
针对 FDO 变体在代理数量少时精度低及依赖搜索代理数量的问题，提出 M-IFDO，通过更新侦察蜂位置并移除对齐和凝聚力参数，在基准函数和工程问题上优于多种先进算法。
2024-06-27 cs.CE cs.NE
OpenOpt: An Open-Source SRAM Optimizer Based on Equivalent Circuit Model
Nanjing University of Science and Technology（南京理工大学）；Shenzhen University（深圳大学）；Beihang University（北京航空航天大学）
提出基于等效电路模型的SRAM架构与晶体管尺寸联合优化框架，实现61.4倍仿真加速，MOEA/D算法在SNM、面积和峰值功耗上分别提升6.2%、降低73.6%和42.3%。
2026-06-08 cs.AR cs.NE
Kernel Foundry: A Diagnosis-driven Evolutionary Kernel Optimizer with Multi-Experts
The Chinese University of Hong Kong（香港中文大学）；Noah’s Ark Lab, Huawei Hong Kong（华为香港诺亚实验室）
提出Kernel Foundry，一种结合专家引导初始化、多岛进化搜索和结构化诊断反馈的自动GPU内核优化框架，显著提升正确性和性能。
2026-08-04 cs.DC cs.LG cs.NE
