Neural Architecture Search using Particle Swarm and Ant Colony Optimization
Adapt Centre, Dublin City University（都柏林城市大学Adapt中心）；Cork Institute of Technology（科克理工学院）
本研究开发图像分类用开源NAS系统OpenNAS，对比群智能算法PSO与ACO优化CNN架构的效果，发现PSO表现更优，尤其在复杂数据集上提升显著，同时以微调预训练模型为性能基线。
2024-03-06 cs.AI cs.LG cs.NE
Short-Term Load Forecasting Using A Particle-Swarm Optimized Multi-Head Attention-Augmented CNN-LSTM Network
Kwame Nkrumah University of Science and Technology（夸梅·恩克鲁玛科技大学）
本文提出粒子群优化的多头注意力增强CNN-LSTM网络，用于短期负荷预测，通过自动超参数优化和显著特征识别，在真实电力需求数据上取得1.9376的MAPE，显著优于现有方法。
2023-09-19 cs.LG cs.NE cs.SY
Proximity-based Networking: Small world overlays optimized with particle swarm optimization
在大型、动态、分布式系统中，信息传播是一个基本且经常发生的问题。为了解决这个问题，人们越来越关注创建可以维护分散式对等网络的高效覆盖网络。在这些覆盖网络中，节点采用小世界网络的模式，其连接基于邻近性。这些小世界系统在互联网网络中的信息传播和查找方面非常有用。通过前向纠错（FEC）和用户数据报协议（UDP），数据可以有效地传输和路由，信息损失最小。我们提出了一个网络方案，将地理位置的和弦组织内的每个节点的分区密钥空间的同行。当我们将其与基于邻近度的邻域集（基于小世界结构）相结合时，我们可以模仿设计用于解决传统小世界问题的解决方案的效率，并具有弹性和容错的额外好处。此外，路由和地址簿可以基于邻居要求来更新。我们提出的方案的灵活性，使各种群体模型和代理。这使我们的网络能够作为一个底层网络模型，可以应用于文件共享，流媒体和网络同步。
2020-06-07 cs.NE cs.NI
Enhanced Particle Swarm Optimization Algorithms for Multiple-Input Multiple-Output System Modelling using Convolved Gaussian Process Models
Department of Information Technology and Software Engineering, Auckland University of Technology（奥克兰理工大学信息技术与软件工程系）
本文提出利用增强的粒子群优化算法优化卷积高斯过程模型的超参数，通过最小化模型输出误差提高MIMO系统建模性能，改进了传统PSO算法并验证了其有效性。
2017-07-12 cs.NE cs.SY eess.SY
Optimized Three Deep Learning Models Based-PSO Hyperparameters for Beijing PM2.5 Prediction
College of Computer and Information, Hohai University（河海大学计算机与信息学院）；Universitas Ahmad Dahlan（艾哈迈德·达兰大学）；Faculty of Engineering, Universitas Negeri Malang（马朗国立大学工程学院）
本研究针对北京PM2.5预测任务，用PSO优化LSTM、CNN、MLP三种深度学习模型的超参数，在多输入场景下验证了三层隐藏层的PSO-LSTM性能最优，可为空气污染管理提供支持。
2023-06-10 cs.AI cs.LG cs.NE
Multi-stage, multi-swarm PSO for joint optimization of well placement and control
进化优化算法，包括粒子群优化算法（PSO），已成功地应用于石油工业的生产计划和控制。由于大量的决策变量，生产方案和地下的不确定性，这种优化研究是相当具有挑战性的。在这项工作中，提出了一个多阶段，多群粒子群优化算法（MS2PSO），以解决某些问题，如早熟收敛，全局最优解的过度影响，振荡。使用Olympus基准进行了多个实验，以比较算法的效率。首先调整标准PSO超参数，以优先考虑早期阶段的探索和后期阶段的开发。接下来，一个两阶段的多群粒子群优化算法（2SPSO）被用来在第一阶段的多群崩溃成一个单一的群体在第二阶段。最后，采用多阶段多种群的MS2PSO算法，每一阶段后种群递归崩溃。多群策略确保了种群内的多样性，并探索了多种模式。分段算法保证了初始阶段的局部最优解不会导致早熟收敛。优化测试用例包括90个控制变量和20年的流程模拟。观察到不同的算法设计具有它们自己的优点和缺点。多个群集和阶段有助于算法远离局部最优，但同时它们也可能需要更大数量的迭代来收敛。两个2SPSO和MS2PSO被发现是有帮助的高维和多模式的问题，更大程度的探索是必要的。
2021-06-02 cs.NE
Design of Low Noise Amplifiers Using Particle Swarm Optimization
本文介绍了一种基于粒子群优化（PSO）技术的低噪声微波放大器设计方法。粒子群优化被用作应用于单级放大器电路的方法，以满足两个标准：期望的增益和期望的低噪声。目的是使用增益和低噪声值的预定义约束来获得最佳优化设计。编写代码以应用该算法来满足预期目标，并使用不同的模拟器验证所获得的结果。结果表明，粒子群算法可以非常有效地应用于这类多约束的设计问题。
2012-08-13 cs.NE
Enhancing network forensics with particle swarm and deep learning: The particle deep framework
物联网智能事物的普及程度正在上升，这是由于它们提供的自动化及其对生产力的影响。然而，事实证明，物联网设备容易受到成熟的和新的物联网特定攻击载体的攻击。在本文中，我们提出了粒子深度框架，这是一种用于物联网网络的新网络取证框架，它利用粒子群优化来调整深度MLP模型的超参数并提高其性能。PDF使用Bot-IoT数据集进行训练和验证，Bot-IoT数据集是一个当代网络流量数据集，结合了正常的物联网和非物联网流量以及众所周知的僵尸网络相关攻击。通过实验，我们表明深度MLP模型的性能得到了极大的提高，准确率达到99.9%，误报率接近0%。
2020-05-02 cs.CR cs.NE
NeuroEvo: A Cloud-based Platform for Automated Design and Training of Neural Networks using Evolutionary and Particle Swarm Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）
进化算法为复杂搜索空间中的神经网络优化提供了独特的优势。本文介绍了一种新的网络平台，NeuroEvo（neuroevo.io），它允许用户交互式设计和训练神经网络分类器使用进化和粒子群算法。分类问题和训练数据由用户提供，在完成训练过程后，最佳分类器可供下载并在Python，Java和JavaScript中实现。NeuroEvo是一个基于云的应用程序，它利用GPU并行化来提高独立进化步骤（如变异，交叉和适应度评估）在整个种群中执行的速度。本文概述了训练算法和机会，为用户指定的设计决策和超参数设置。本文描述的算法也可作为Python包neuroevo（PyPI：https：//pypi.org/project/neuroevo/）提供。
2022-10-01 cs.LG cs.NE
BSAS: Beetle Swarm Antennae Search Algorithm for Optimization Problems
甲虫天线搜索算法是一种有效的元启发式算法。然而，BAS的收敛结果严重依赖于在每次迭代的随机甲虫方向。更具体地，不同的随机种子可能导致不同的优化结果。此外，BAS的步长更新算法不能保证目标在迭代过程中变小。为了解决这些问题，本文提出了一种结合群体智能算法和基于反馈的步长更新策略的甲虫群搜索算法（BSAS）。BSAS使用k个甲虫在每次移动中找到更优的位置，而不是一个甲虫。步长仅在k甲虫返回时没有更好的选择时更新。对建筑物系统辨识进行了实验研究。实验结果表明，BSAS算法有效地避免了Beetle随机方向的影响。此外，估计误差随着甲虫数量的增加而减小。
2018-07-27 cs.NE
Application of Particle Swarm Optimization to Microwave Tapered Microstrip Lines
由于其强大的功能，应用元启发式算法一直在电气工程领域的持续兴趣。在这项工作中，专门设计了一个锥形传输线用于匹配一个任意的实际负载到一个50Ω的线。目前的问题是使用三段锥形传输线将该任意负载与50 Ω线路匹配，其中阻抗从负载起按降序排列。因此，问题变成了优化一个具有三个未知数和各种条件的方程。使用粒子群优化算法获得优化值。可以很容易地表明，粒子群算法是非常强大的，在解决这类多目标优化问题。
2014-03-12 cs.NE
Particle Swarm Optimized Federated Learning For Industrial IoT and Smart City Services
University of Nebraska at Kearney（内布拉斯加大学卡尼分校）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Information Technology University（信息技术大学）
关于联邦学习（FL）的大部分研究都集中在分析全局优化、隐私和通信上，而对在边缘设备上执行有效的本地训练和推理的关键问题的关注有限。在边缘设备上成功有效地进行训练和推理的主要挑战之一是仔细选择参数以构建本地机器学习（ML）模型。为此，我们提出了一种基于粒子群优化（PSO）的技术来优化FL环境中局部ML模型的超参数设置。我们使用两个案例研究评估我们提出的技术的性能。首先，我们考虑智能城市服务，并使用实验性交通数据集进行交通预测作为此设置的代理。其次，我们考虑工业物联网（IIoT）服务，并使用实时遥测数据集来预测机器由于组件故障而很快发生故障的概率。我们的实验表明，PSO提供了一个有效的方法来调整超参数的深度长短期记忆（LSTM）模型相比，网格搜索方法。我们的实验表明，客户端-服务器通信轮的数量，以探索景观的配置，以找到接近最优的参数大大减少（大约由两个数量级，只需要2%-4%的回合相比，最先进的非基于PSO的方法）。我们还证明，利用所提出的基于PSO的技术来找到FL和集中式学习模型的接近最优的配置不会对模型的准确性产生不利影响。
2020-09-05 cs.LG cs.NE stat.ML
Particle Swarm Optimization Based Diophantine Equation Solver
University of Mumbai（孟买大学）；Tata Institute of Fundamental Research（塔塔基础研究所）
提出使用粒子群优化算法求解丢番图方程，通过整数粒子群在可行空间中优化位置，利用个体最优和全局最优位置迭代搜索，能够提供多个解。
2010-03-13 cs.NA cs.NE math.NA
Investigating Hyperparameter Optimization and Transferability for ES-HyperNEAT: A TPE Approach
Information Management Institute（信息管理研究所）
本研究采用TPE优化ES-HyperNEAT的超参数，在MNIST任务上取得优于随机搜索的效果，发现优化后的超参数可迁移至Fashion-MNIST但在简单逻辑运算上迁移有限，为神经演化算法超参数的选择与跨任务迁移提供了参考。
2026-09-10 cs.AI cs.NE
Genetic-algorithm-optimized neural networks for gravitational wave classification
Max-Planck-Institut für Gravitationsphysik（马克斯·普朗克引力物理研究所）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）；University of Rhode Island（罗德岛大学）
引力波探测策略基于一种称为匹配滤波的信号分析技术。尽管匹配滤波取得了成功，但由于其计算成本，最近人们对开发用于信号检测的深度卷积神经网络（CNN）感兴趣。设计这些网络仍然是一个挑战，因为大多数程序采用试错策略来设置超参数值。提出了一种基于遗传算法的超参数优化方法。我们比较了六种不同的GA变体，并探索了GA优化的适应度得分的不同选择。我们表明，当初始超参数种子值远离良好的解决方案时，GA可以发现高质量的体系结构，并改进已经良好的网络。例如，当从George和Huerta提出的架构开始时，在20维超参数空间上优化的网络的可训练参数减少了78%，而我们的测试问题的准确性提高了11%。如果问题背景（例如噪声的统计特性、信号模型等）发生变化，需要重建网络，则使用遗传算法优化来改进现有网络应该特别有用。在我们所有的实验中，我们发现与种子网络相比，GA发现的网络明显不那么复杂，这表明它可以用来修剪浪费的网络结构。虽然我们将注意力限制在CNN分类器上，但我们的GA超参数优化策略可以应用于其他机器学习设置。
2021-04-20 cs.LG cs.NE gr-qc
Adaptive Neuro Particle Swarm Optimization applied for diagnosing disorders
提出了一种新的自适应神经粒子群优化算法（ANPSO）结合模糊推理系统进行故障诊断。新方法的主要贡献是在整个搜索空间内进行全局搜索，具有更快的收敛速度。在控制参数自适应、惯性权重自动控制、个人和社会行为系数自动控制等方面进行了较好的探索和开发。利用这些属性导致能够以高准确度诊断疾病的快速和智能的诊断机制。ANPSO是与调整的推理系统的特性，以实现最小的诊断误差，只要得到优化的模型。作为案例研究，我们使用称为Bupa的肝脏疾病数据集。根据初步的结果，建议的自适应粒子群算法的性能可以克服传统的推理系统，并结合其他优化方法实质上。
2019-10-14 cs.NE
Comparative Evaluation of Metaheuristic Algorithms for Hyperparameter Selection in Short-Term Weather Forecasting
Indian Institute of Engineering Science and Technology, Shibpur（希布尔印度工程科学技术学院）；Carnegie Mellon University（卡内基梅隆大学）；National Institute of Technology, Durgapur（杜尔加布尔国家技术学院）
本文探讨了在短期天气预报中应用遗传算法、差分进化和粒子群优化等元启发式算法，以自动化搜索深度学习模型的最优超参数，从而提高预测精度。
2023-09-05 cs.AI cs.NE
CMA-ES for Hyperparameter Optimization of Deep Neural Networks
Univesity of Freiburg（弗莱堡大学）
深度神经网络的超参数通常通过网格搜索、随机搜索或贝叶斯优化来优化。作为替代方案，我们建议使用协方差矩阵自适应演化策略（CMA-ES），该策略以其在无导数优化中的最新性能而闻名。CMA-ES具有一些有用的不变性性质，并且对于解的并行计算是友好的。我们提供了一个玩具例子，比较了CMA-ES和最先进的贝叶斯优化算法，用于在30个GPU上并行调整MNIST数据集的卷积神经网络的超参数。
2016-04-25 cs.LG cs.NE
Optimization of Fuzzy Controller of a Wind Power Plant Based on the Swarm Intelligence
Novosibirsk State Technical University（新西伯利亚国立技术大学）
本文研究了基于模糊控制的风力发电系统的最优控制问题和模糊规则库的自动生成问题。专家的模糊规则并不总是提供风力发电厂的最大功率输出，并且在改变风力发电厂或环境的参数的情况下，模糊规则库需要调整。本研究提出了优化由不同专家编制的模糊规则库的方法。该方法基于粒子群优化算法将模糊规则的权值平衡到规则库中。实验表明，所提出的方法允许形成的模糊规则库作为一个示例性的最佳基地从一个非优化的模糊规则集。针对风电场的具体控制回路和风力的具体模糊模型，考虑了最优模糊规则库。
2020-06-14 cs.AI cs.NE cs.SY
Explainable Information Processing in Particle Swarm Optimization through Landscape and Search Behavior Analysis
Dr. B. R. Ambedkar National Institute of Technology Jalandhar（B. R. 安贝德卡国立技术学院贾朗达尔分校）；University of Jaén（哈恩大学）
本文提出基于机器学习的解释框架，用于解释粒子群优化算法的性能影响因素，通过探索性景观分析量化问题难度并识别关键特征，建立可解释的基准测试框架，揭示群体拓扑结构对信息流、多样性及收敛性的影响。
2026-09-03 cs.LG cs.NE
Evolving Deep Neural Networks by Multi-objective Particle Swarm Optimization for Image Classification
Victoria University of Wellington（惠灵顿维多利亚大学）
近年来，为了在图像分类中实现更好的分类精度，卷积神经网络（CNN）已经变得更深。然而，由于难以手动微调超参数以及分类准确性和计算成本之间的权衡，很难将最先进的深度CNN部署用于工业用途。本文提出了一种新的多目标优化方法，用于在现实应用中进化最先进的深度CNN，该方法自动进化Pareto前沿的非主导解。本文的主要工作有三：第一，设计了一种新的编码策略，对目前最好的CNN进行编码;第二，以分类精度和浮点运算次数为目标，提出了一种多目标粒子群优化算法，对非优势解进行进化;最后但并非最不重要的是，设计了一个新的基础设施，通过在多台机器上的多个GPU上并行运行实验来促进实验，开发并发布了一个Python库来管理基础设施。实验结果表明，该算法所找到的非优势解形成了一个清晰的Pareto前沿，所提出的基础结构能够几乎线性地减少运行时间。
2019-04-22 cs.CV cs.LG cs.NE
ECG-Based Driver Stress Levels Detection System Using Hyperparameter Optimization
School of Electrical Engineering and Robotics, Queensland University of Technology（昆士兰科技大学电气工程与机器人学院）；Centre for Accident Research & Road Safety Queensland, Queensland University of Technology（昆士兰科技大学昆士兰事故研究与道路安全中心）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
压力和驾驶是一种危险的组合，可能导致撞车，大量涉及压力的道路交通事故就是证明。出于解决驾驶员压力的重大成本的需要，必须建立一个实用的系统，可以高精度地分类驾驶员压力水平。然而，准确的驾驶压力水平分类系统的性能取决于超参数优化选择，如数据分割（加窗超参数）。超参数的配置设置对系统性能有着巨大的影响，通常在评估算法时进行手动调整。这个调优过程非常耗时，并且通常取决于个人经验。超参数值也没有通用的最佳值。在这项工作中，我们提出了一个元启发式方法来支持自动化的超参数优化，并提供了一个实时的驱动程序压力检测系统。这是在驾驶安全领域首次系统地研究基于心电信号的加窗超参数优化问题。我们的方法是提出一个基于粒子群优化算法（PSO）的框架来选择最佳/接近最佳的窗口超参数值。所提出的框架的性能评估两个数据集：一个公共数据集（DRIVEDB数据集）和我们收集的数据集使用先进的模拟器。DRIVEDB数据集是在实时驾驶场景中收集的，我们的数据集是在控制环境中使用高级驾驶模拟器收集的。我们证明，优化的窗口超参数产生显着改善的准确性。应用于公共数据集和我们的数据集的最准确的构建模型，基于选定的窗口超参数，分别达到了92.12%和77.78%的准确率。
2021-01-01 cs.LG cs.NE eess.SP
A Hybrid Multi Objective Particle Swarm Optimization Method to Discover Biclusters in Microarray Data
近年来，随着微阵列技术的发展，从微阵列数据中发现有用的知识变得非常重要。双聚类是一种非常有用的数据采掘技术，用于发现具有相似行为的基因。在微阵列数据中，必须同时优化多个目标，并且这些目标经常相互冲突。多目标模型能够解决这样的问题。提出了一种基于多目标粒子群优化的混合算法，用于发现基因表达数据中的双聚类。在我们的方法中，我们将考虑双聚类之间的低水平重叠，并尝试覆盖基因表达矩阵的所有元素。在基准数据库中的实验结果表明，在双聚类之间的重叠和基因表达矩阵中的元素的覆盖率显着改善。
2009-09-08 cs.CE cs.NE
Efficient Hyperparameter Optimization in Deep Learning Using a Variable Length Genetic Algorithm
Georgia State University（佐治亚州立大学）；Institute of High Performance Computing（高性能计算研究所）；National University of Singapore（新加坡国立大学）
卷积神经网络（CNN）在许多人工智能任务中取得了巨大的成功。然而，为CNN找到一组好的超参数仍然是一项具有挑战性的任务。它通常需要一个有深厚知识的专家，以及试验和错误。遗传算法已被用于超参数优化。然而，具有固定长度染色体的传统遗传算法可能不适合优化深度学习超参数，因为深度学习模型具有取决于模型深度的可变数量的超参数。随着深度的增加，超参数的数量呈指数级增长，搜索变得更加困难。重要的是要有一个有效的算法，可以在合理的时间内找到一个好的模型。在这篇文章中，我们提出使用可变长度遗传算法（GA）来系统地自动调整CNN的超参数，以提高其性能。实验结果表明，该算法能有效地找到性能良好的CNN超参数。从我们的实验中可以清楚地看出，如果花更多的时间来优化超参数，可以获得更好的结果。从理论上讲，如果我们有无限的时间和CPU能力，我们可以找到优化的超参数，并在未来实现最佳结果。
2020-06-23 cs.LG cs.NE
Generalized Population-Based Training for Hyperparameter Optimization in Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
针对PBT偏爱高性能智能体而忽略探索潜力的问题，提出GPBT框架结合成对学习（PL）策略，通过识别性能差异全面指导表现不佳的智能体，在适应性和计算效率上显著提升，并在多个RL基准上超越传统PBT及其贝叶斯优化变体。
2024-04-23 cs.AI cs.LG cs.NE
Dynamic Multi-Objective Lion Swarm Optimization with Multi-strategy Fusion: An application in 6R robot trajectory planning
College of control science and engineering, China University of Petroleum (East China)（中国石油大学（华东）控制科学与工程学院）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织（CSIRO））
本文提出多策略融合的动态多目标狮群优化算法MF-DMOLSO，通过混沌初始化、改进的幼狮位置更新和自适应外部档案更新提升收敛性与多样性，在基准测试中显著优于主流多目标算法，并成功应用于6R机器人轨迹规划，实现运行时间与加速度的优化。
2024-06-08 cs.NE cs.RO
Enhanced Estimation of Autoregressive Wind Power Prediction Model Using Constriction Factor Particle Swarm Optimization
准确的预测对于基于可再生能源的发电的成本效益和有效的监测和控制是重要的。由于风能的广泛变化和不可预测性，风力发电是最难以准确预测的能源之一。虽然自回归（AR）技术已被广泛用于创建风力发电模型，但它们在预测中显示出有限的准确性，并且难以确定优化AR模型的正确参数。在本文中，收缩因子粒子群优化算法（CF-PSO），以最佳地确定一个自回归（AR）模型的参数，准确预测的风力发电输出的行为。根据赤池信息准则选取了模型的适当滞后阶数。提出的基于粒子群算法的AR模型的性能进行了比较，与四个行之有效的方法;前向-后向方法，几何格方法，最小二乘法和Yule-Walker方法，这是广泛使用的误差最小化的AR模型。为了验证所提出的方法，现实生活中的风力发电数据的\textit{Capital Wind Farm}从澳大利亚能源市场运营商。基于大量不同数据集的实验结果表明，AR模型的性能与基准方法相比有显著提高。
2014-08-21 cs.CE cs.NE
Particle Swarm Optimization: Development of a General-Purpose Optimizer
传统方法的应用范围非常有限，主要受到待优化函数和约束函数的特性的限制。相比之下，进化算法目前几乎没有限制这些功能的功能，虽然最合适的约束处理技术仍然是一个悬而未决的问题。粒子群优化（PSO）方法有时被视为另一种进化算法，因为它们有许多相似之处，尽管没有受到相同隐喻的启发。也就是说，他们考虑到以前的经验，并使用随机算子引入新的反应，进化出一个种群。进化算法相对于传统方法的优势已经在文献中讨论了几十年。虽然所有这些优点都是有效的，当比较粒子群算法的范例，传统的方法，其主要优点是相对于进化算法包括其显着降低计算成本和更容易实现。事实上，普通版本可以用几行代码编程，不涉及操作符设计和需要调优的参数。本文论述了三个重要方面的方法：影响的参数'调整的行为的系统;停止标准的设计，使可靠性的解决方案，发现可以在某种程度上估计和计算成本可以节省;和发展适当的技术来处理约束，鉴于原方法是设计用于无约束优化问题。
2021-01-25 cs.NE math.OC
Epidemic Modeling using Hybrid of Time-varying SIRD, Particle Swarm Optimization, and Deep Learning
Delhi Technological University（德里理工大学）
针对非平稳多波次疫情建模难题，提出融合时变SIRD、PSO参数优化与堆叠LSTM参数预测的混合模型，在美印英三国数据集上性能优于现有方法。
2024-01-31 cs.LG cs.NE physics.soc-ph
