Exploiting the Potential of Standard Convolutional Autoencoders for Image Restoration by Evolutionary Search
研究人员已经将深度神经网络应用于图像复原任务,其中他们提出了各种网络架构、损失函数和训练方法。特别是,最近的研究中采用的对抗训练似乎是成功的关键因素。在本文中,我们证明了简单的卷积自动编码器(CAE)仅建立在标准网络组件上,即,卷积层和跳跃连接可以胜过采用对抗训练和复杂损失函数的现有技术方法。秘诀是采用进化算法来自动搜索好的架构。我们只需要使用ADAM优化器,通过最小化重建图像与其地面实况之间的$\ell_2$损失来训练优化的CAE。我们的实验结果表明,该方法在CelebA数据集上实现了27.8 dB的峰值信噪比(PSNR),在SVHN数据集上实现了40.4 dB的峰值信噪比(PSNR),而以前的最先进的方法分别提供了22.8 dB和33.0 dB。
2018-03-01 cs.NE
First Mathematical Runtime Analyses of Evolutionary Multitask Multi-Objective Optimization
School of Computer Science and Technology, State Key Laboratory of Smart Farm Technologies and Systems, International Research Institute for Artificial Intelligence, Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳)计算机科学与技术学院、智慧农业技术与系统全国重点实验室、人工智能国际研究院);Pengcheng Laboratory, Shenzhen, China(鹏城实验室)
本研究针对多目标优化领域进化多任务优化缺乏数学运行时间支撑的空白,分析MO-MFEA算法在两类双目标任务对上的运行时间,验证其可实现与单独优化相当的运行时间并获得显著加速。
2026-10-16 cs.NE
Optimizing Photonic Structures with Large Language Model Driven Algorithm Discovery
本研究将大型语言模型与进化计算结合,提出结构化提示和多种进化策略,自动发现优化算法,在光子结构设计(如布拉格反射镜等)中达到或超越传统方法,实现快速自动化逆向设计。
2025-03-25 cs.NE
Brain Tumor Detection and Classification Using a New Evolutionary Convolutional Neural Network
脑肿瘤的明确诊断对于提高治疗成功率和患者生存率至关重要。然而,难以手动评估在临床中生成的多个磁共振成像(MRI)图像。因此,需要更精确的基于计算机的肿瘤检测方法。近年来,许多努力已经研究了经典的机器学习方法来自动化该过程。深度学习技术最近引发了人们的兴趣,认为它是一种更准确、更强大的诊断脑肿瘤的手段。因此,这项研究的目的是利用脑MRI图像来区分健康和不健康的患者(包括肿瘤组织)。因此,本文提出了一种增强的卷积神经网络,用于精确的脑图像分类。增强的卷积神经网络结构由用于特征提取和最佳分类的组件组成。Nonlinear Lévy Chaotic Moth Flame Optimizer(NLCMFO)优化用于训练卷积神经网络层的超参数。使用BRATS 2015数据集和哈佛医学院的脑图像数据集,评估所提出的模型,并与各种优化技术进行比较。优化的CNN模型通过提供97.4%的准确度、96.0%的灵敏度、98.6%的特异性、98.4%的精确度和96.6%的F1分数(CNN精确度和召回率的加权调和值的平均值)而优于文献中的其他模型。
2022-04-26 cs.NE
Evolutionary Optimization for Decision Making under Uncertainty
在不确定性下优化决策问题可以使用多种解决方法。软计算和启发式方法往往是强大的解决这些问题。在这篇综述文章中,我们将概述用于解决随机规划问题的进化优化技术-包括单阶段和多阶段情况。
2014-01-19 cs.NE
Finding Better Topologies for Deep Convolutional Neural Networks by Evolution
由于人工神经网络的非线性,设计深度卷积神经网络(CNN)的拓扑结构是一项具有挑战性的任务,并且通常只能应用启发式方法,例如试错法。进化算法可以解决适应度未知的优化问题。然而,进化算法是计算资源密集型的,这使得当涉及深度CNN时很难解决问题。在本文中,我们提出了一种进化策略来为深度CNN找到更好的拓扑结构。通过引入知识继承和知识学习的概念,我们的进化算法可以在有限的计算资源下运行。我们将所提出的算法应用于使用CIFAR-10数据集为图像分类任务寻找深度CNN的有效拓扑。在演进之后,我们分析了在此任务中表现良好的拓扑。我们的研究验证了人类设计的深度CNN中常用的技术。我们还发现,一些图形属性极大地影响系统的性能。我们应用了从进化中学到的指导原则,并设计了新的网络拓扑,这些拓扑在CIFAR-10、CIFAR-100和SVHN数据集上的性能优于残差网络,且层数更少。
2018-09-10 cs.NE
Optimizing Monotone Functions Can Be Difficult
扩展以前的分析函数类,如线性函数,我们分析如何简单的(1+1)进化算法优化伪布尔函数是严格单调的。与人们所期望的相反,并非所有这些函数都容易优化。突变概率$p(n) = c/n$中常数$c$的选择可以产生决定性的差异。我们表明,如果$c < 1$,那么(1+1)进化算法找到最佳的每一个这样的功能在$Θ(n \log n)$迭代。对于$c=1$,我们仍然可以证明$O(n^{3/2})$的一个上界。然而,对于$c > 33$,我们提出了一个严格的单调函数,使(1+1)进化算法的压倒性概率不找到最佳的$2^{Ω(n)}$迭代。这是我们第一次观察到突变概率的常数因子变化比常数因子更能改变运行时间。
2010-10-14 cs.NE
Sliding Window Bi-Objective Evolutionary Algorithms for Optimizing Chance-Constrained Monotone Submodular Functions
本文提出SW-GSEMO算法,通过滑动选择方法限制种群规模,用于优化机会约束单调子模函数,在理论和实验上均优于GSEMO和NSGA-II。
2024-08-07 cs.NE
Optimizing Train Driving to Minimize the Electricity Cost of an Entire Railway Traffic Mesh using Evolutionary Algorithms
Higher Polytechnic School, Universidad Francisco de Vitoria(弗朗西斯科德维多利亚大学高等理工学院);University of Illinois at Chicago(芝加哥伊利诺伊大学)
本文提出一种结合交通模型与进化计算框架的程序,优化列车驾驶方式,在满足运营约束下最小化能耗与功率容量成本,并应用于马德里至巴塞罗那高速铁路450公里区段。
2026-09-09 cs.NE physics.app-ph
Optimizing PID parameters with machine learning
研究了用进化规划法优化PID参数的方法。PID是控制理论中最常见的调节器类型,部分原因是它相对简单,并且在大多数应用中产生稳定的结果。p、i和d参数因应用而异;因此,选择正确的参数对于获得良好的结果至关重要,但也有些困难。EP是一种无导数优化算法,适用于PID优化。本文的实验证明,EP的权力,以解决优化的PID参数,而不会陷入局部极小值的问题。
2017-09-26 cs.NE
Optimizing thermodynamic trajectories using evolutionary and gradient-based reinforcement learning
University of Ottawa(渥太华大学);National Research Council of Canada(加拿大国家研究委员会);University of Ontario Institute of Technology(安大略理工大学);University of Victoria(维多利亚大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);Molecular Foundry, Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室分子铸造厂)
使用模型热机,我们表明,基于神经网络的强化学习可以识别最大效率的热力学轨迹。我们考虑梯度和无梯度强化学习。我们使用进化学习算法来进化神经网络的种群,服从一个指令,以最大限度地提高由一组基本热力学过程组成的轨迹的效率;由此产生的网络学习进行最有效的卡诺,斯特林或奥托循环。当给定一个额外的不可逆过程时,这个进化方案学习了一个以前未知的热力学循环。基于递归的强化学习能够学习斯特林循环,而进化方法实现最佳卡诺循环。我们的研究结果表明,如何强化学习策略开发的游戏可以应用于解决物理问题的条件下,路径广泛的顺序参数。
2021-11-22 cond-mat.stat-mech cs.LG cs.NE
Developing Convolutional Neural Networks using a Novel Lamarckian Co-Evolutionary Algorithm
针对NAS方法计算成本高的问题,提出拉马克协同进化算法LCoDeepNEAT,通过协同进化CNN架构与末层权重、限制搜索空间等方式,在六个数据集上实现了精度提升与计算资源节约。
2024-10-29 cs.NE
Optimizing quantum circuits with evolutionary algorithms for stable Boolean gates, elementary cellular automata, and highly entangled quantum states
OsloMet -- Oslo Metropolitan University(奥斯陆都会大学);Kristiania University of Applied Sciences(克里斯蒂安应用科学大学);Østfold University College(东福尔学院);Simula Research Laboratory(西穆拉研究实验室)
本研究利用进化算法优化量子电路,针对元胞自动机量子实现鲁棒性测试和高纠缠态电路采样两项任务,实现5量子比特纠缠电路构建,揭示电路复杂度与性能的权衡关系。
2025-09-23 cs.NE quant-ph
Evolutionary Construction of Convolutional Neural Networks
Eindhoven University of Technology (TU/e)(埃因霍温理工大学);Philips Research Eindhoven(飞利浦埃因霍温研究院)
神经进化是一个研究领域,最近在深度学习社区中获得了显着增加的牵引力。它结合了深度神经网络和进化算法来改进和/或自动化神经网络的构建。最近的神经进化方法已经显示出有希望的结果,在准确性方面可以与手工制作的神经网络相媲美。介绍了一种两步方法,其中在第一步中创建卷积自动编码器以有效地压缩输入数据,并且在第二步中创建卷积神经网络以对压缩数据进行分类。在这两个步骤中,网络的创建都是由一个进化过程指导的,在这个过程中,新的网络不断地通过改变现有网络集合的成员而产生。此外,还介绍了一种方法,该方法考虑了不同卷积自编码器的压缩和信息丢失之间的权衡。这是用来选择最佳的卷积自动编码器从那些进化到压缩数据的第二步。实现了完整的框架,测试流行的CIFAR-10数据集,并讨论了结果。最后,考虑到这一特定框架,今后工作的一些可能方向,包括提高其效率及其在特定领域的应用的机会。
2019-01-02 cs.LG cs.NE stat.ML
Should You Go Deeper? Optimizing Convolutional Neural Network Architectures without Training by Receptive Field Analysis
Osnabrück University(奥斯纳布吕克大学);Osnabrück University of Applied Sciences(奥斯纳布吕克应用科学大学)
在为特定的基于图像的任务优化卷积神经网络(CNN)时,专家通常会在设计中超过卷积层的数量。通过暗示,这些CNN不必要地对训练和部署进行资源密集,对预测性能的有益影响减少。卷积层可以处理的特征受到其接收场的严格限制。通过逐层分析感受野的大小,我们可以可靠地预测在给定的CNN架构中不会对测试准确性做出定性贡献的层序列。基于这种分析,我们提出了基于所谓的边界层的设计策略。该层允许识别非生产性卷积层,从而解决这些低效率问题,优化CNN的可解释性和计算性能。由于策略和分析都不需要训练实际模型,因此这些见解允许CNN架构的非常有效的设计过程,这可能在未来实现自动化。
2021-10-05 cs.AI cs.LG cs.NE
Evolutionary Action Selection for Gradient-based Policy Learning
Fudan University(复旦大学)
进化算法和深度强化学习(Deep Reinforcement Learning,DRL)是近年来发展起来的一种混合算法,它们可以充分利用这两种方法的优势,更好地进行探索和开发。在这些混合算法中,进化部分保持了策略网络的种群。然而,现有的方法主要关注优化策略网络的参数,这对于进化算法来说通常是高维和棘手的。我们将进化的目标从高维参数空间转移到低维行为空间,提出了一种新的混合进化行为选择-双延迟深度确定性策略梯度(EAS-TD 3)方法。我们专注于优化策略网络所选择的动作,并试图通过进化算法获得高质量的动作来促进策略学习。我们对具有挑战性的连续控制任务进行了实验,结果表明EAS-TD 3比其他最先进的方法表现出更好的性能。
2022-09-16 cs.LG cs.NE
Optimizing Geometric Multigrid Methods with Evolutionary Computation
对于许多由偏微分方程离散化引起的线性和非线性系统,构造有效的多重网格求解器是一项具有挑战性的任务。在这里,我们提出了一种新的方法,几何多重网格方法的优化是基于进化计算,一个通用的程序优化技术的灵感来自自然进化的原则。一个多重网格求解器表示为一棵树的数学表达式,我们生成的基础上定制的语法。使用自动局部傅里叶分析(LFA)和车顶线性能建模,分别在收敛性和计算性能方面评估每个求解器的质量。基于这些目标的多目标最优化是使用强类型的遗传规划与非支配排序为基础的选择。为了评估基于模型的预测并针对具体的应用程序,可以使用ExaStenetron框架自动生成演化求解器的可扩展实现。我们证明了我们的方法,通过构建多重网格求解器的稳态热方程的常数和变系数,一贯表现优于常见的V-和W-周期。
2019-10-08 cs.MS cs.NA cs.NE
Optimizing groups of colluding strong attackers in mobile urban communication networks with evolutionary algorithms
在社交物联网的新形式中,通信范围内的任何移动用户都可以帮助为网络中的另一个用户路由消息。所得到的消息传递速率取决于用户的移动模式和网络中的消息负载。然而,这种新型的配置对安全性提出了新的挑战,其中,评估一组串通的恶意参与者对这种网络中的全局消息传递速率的影响远非微不足道。在这项工作中,建模这样一个问题作为一个优化问题后,我们能够找到相当有趣的结果,通过耦合网络模拟器与进化算法。所选择的算法是专门设计来解决的问题,其解决方案可以分解成共享相同结构的部分。我们证明了所提出的方法的有效性,两个中等规模的延迟容忍网络,逼真地模拟在两个城市的城市背景下,具有非常不同的路由拓扑:威尼斯和旧金山。在所有的实验中,我们的方法产生的攻击模式,大大降低了网络性能相对于以前的研究主题,因为进化的核心是能够利用每个目标配置的特定弱点。
2018-10-05 cs.CR cs.NE cs.NI
Evolution of Convolutional Highway Networks
卷积高速公路是基于多个堆叠的卷积层进行特征预处理的深度网络。我们介绍了一种进化算法(EA)的卷积公路的结构和超参数的优化,并证明了这种优化设置的潜力,在著名的MNIST数据集。(1+1)-EA采用Rechenberg的变异率控制和小生境机制来克服局部最优,从而适应优化方法。实验研究表明,EA是能够提高国家的最先进的网络的贡献,并从零开始不断发展的公路网。
2017-09-11 cs.NE
Optimizing Monotone Chance-Constrained Submodular Functions Using Evolutionary Multi-Objective Algorithms
The University of Adelaide(阿德莱德大学);School of Computer and Mathematical Sciences(计算机与数学科学学院);Optimisation and Logistics(优化与物流(机构))
该研究首次分析了基于帕累托优化的进化多目标算法求解机会约束子模函数的运行时间,证明GSEMO在特定条件下可达到与贪心算法相当的性能保证,并通过实验验证进化多目标算法在相关网络问题上性能显著优于现有贪心算法。
2024-11-01 cs.LG cs.NE
Large Scale Evolution of Convolutional Neural Networks Using Volunteer Computing
这项工作提出了一种新的算法,称为增强卷积拓扑的进化探索(EXACT),它能够进化卷积神经网络(CNN)的结构。EXACT部分是在增强拓扑的神经进化(NEAT)算法之后建模的,但有一些明显的例外,允许它扩展到大规模分布式计算环境,并使用卷积滤波器来进化网络。除了多线程和MPI版本之外,EXACT已经作为BOINC志愿者计算项目的一部分实现,允许大规模进化。在两个月的时间里,公民科学网格上的4,500多台自愿计算机训练了12万多个CNN,并在MNIST手写数字数据集上实现了98.32%的测试数据准确率。这些结果甚至更强,因为用于训练CNN的反向传播策略相当初级(ReLU单元,L2正则化和Nesterov动量),并且这些是在没有细化反向传播超参数的情况下进行的初始测试运行。此外,EXACT进化策略与用于训练CNN的方法无关,因此可以通过弹性变形、预训练和丢弃等先进技术进一步改进它们。进化的网络也很有趣,显示出“有机”结构和与标准人类设计架构的显着差异。
2017-03-15 cs.NE
Lamarckian Evolution of Convolutional Neural Networks
卷积神经网络属于最成功的图像分类器,但其网络结构对特定问题的适应在计算上昂贵。我们表明,进化算法节省了训练时间,在网络结构优化,如果学习的网络权重继承了几代拉马克进化。在典型图像数据集上的实验表明,与没有权重继承的两个不同基线相比,测试精度相似或显着提高,收敛速度有所提高。在CIFAR-10和CIFAR-100上,观察到数据效率提高了75%。
2018-12-19 cs.NE
An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks
Victoria University of Wellington(惠灵顿维多利亚大学)
多年来,卷积神经网络(CNN)通过引入更复杂的拓扑结构,并向更深更宽的CNN扩展容量,不断取得更好的性能。这使得人工设计CNN变得非常困难,因此CNN的自动设计已经成为研究的焦点,它已经获得了优于人工设计CNN的CNN。然而,计算成本仍然是自动设计CNN的瓶颈。在本文中,受迁移学习的启发,提出了一种新的基于演化计算的框架,在不影响分类精度的情况下有效地进化CNN。所提出的框架利用多源域,这是比目标域数据集更小的数据集,以发展一个通用的CNN块只有一次。在此基础上,提出了一种新的叠加方法,既能加宽又能加深演化块,并提出了一种网格搜索方法来寻找最优叠加解。实验结果表明,该方法在不到40个GPU小时的时间内比15个同行竞争对手更快地获得了良好的CNN。在分类精度方面,该方法具有较强的竞争力,在CIFAR-10、CIFAR-100和SVHN数据集上的最佳出错率分别为3.46%、18.36%和1.76%。
2022-12-07 cs.CV cs.LG cs.NE
A Preliminary Exploration into an Alternative CellLineNet: An Evolutionary Approach
Northeastern University(东北大学);Old Dominion University(奥多明尼昂大学);minoHealth AI Labs(minoHealth AI实验室)
在本文中,探索一种替代CellLineNet的进化方法:一个卷积神经网络擅长上皮乳腺癌细胞系的分类。该进化算法引入了控制变量,该控制变量引导在反向残差块、瓶颈块、残差块和基本2 × 2卷积块的搜索空间中搜索架构。EvoCELL的承诺是预测什么样的特征提取块的组合或安排,为给定的任务产生最佳的模型架构。其中,示出了在每一代之后最适合的模型如何进化的性能。最终进化的模型CellLineNet V2分类了5种类型的上皮乳腺细胞系,包括两种人癌细胞系、2种正常永生化细胞系和1种永生化小鼠细胞系(MDA-MB-468、MCF 7、10A、12 A和HC 11)。多类细胞系分类卷积神经网络扩展了我们早期关于二进制乳腺癌细胞系分类模型的工作。本文提出了一个正在进行的探索性方法,神经网络的结构设计,并提出了进一步的研究。
2020-07-26 cs.CV cs.NE eess.IV
Optimizing Memory Efficiency for Deep Convolutional Neural Networks on GPUs
North Carolina State University(北卡罗来纳州立大学);NEC Labs America(NEC美国实验室)
利用大型数据集,深度卷积神经网络(CNN)实现了最先进的识别精度。然而,由于大量的计算和存储器操作,它们需要大量的执行时间。GPU的大规模并行计算能力使其成为加速CNN的理想平台之一,并且已经开发了许多基于GPU的CNN库。虽然现有的工作主要集中在CNN的计算效率,CNN的内存效率在很大程度上被忽视。然而,CNN具有复杂的数据结构,并且它们的存储器行为可以对性能产生重大影响。在这项工作中,我们研究了各种CNN层的内存效率,并揭示了数据布局和内存访问模式的性能影响。实验表明,我们提出的优化对单层和各种网络的普遍效果,单层高达27.9倍,整个网络高达5.6倍。
2016-10-12 cs.DC cs.LG cs.NE
OpEvo: An Evolutionary Method for Tensor Operator Optimization
Microsoft Research(微软研究院)
深度神经网络的训练和推理效率高度依赖于张量算子在硬件平台上的性能。手动优化张量算子在支持新算子或硬件平台方面存在局限性。因此,自动优化张量算子的设备代码配置变得越来越有吸引力。然而,由于组合搜索空间的限制,目前的张量算子优化方法通常存在样本效率低的问题。在这项工作中,我们提出了一种新的进化方法,OpEvo,它有效地探讨了张量算子的搜索空间,通过引入一个拓扑感知变异操作的基础上q-随机游走,利用拓扑结构的搜索空间。我们的综合实验结果表明,与最先进的(SOTA)的方法相比,OpEvo可以找到最好的配置与最低的方差和最少的努力,在试验次数和挂钟时间。这项工作的所有代码都可以在网上找到。
2020-12-21 cs.LG cs.NE stat.ML
Neuroevolutionary optimization
本文提出了一种应用进化搜索程序的人工神经网络。在这里,我们可以区分人工神经网络中的三种进化,即连接权重的进化、结构的进化和学习规则的进化。我们详细回顾了每种演变,并分析了与不同演变相关的关键问题。本文主要研究如何利用进化算法优化人工神经网络参数。
2010-04-20 cs.NE
Studying Evolutionary Solution Adaption Using a Flexibility Benchmark Based on a Metal Cutting Process
University of Bonn(波恩大学)
该研究提出基于扩展Oxley金属切削模型的多目标优化基准,对比标准NSGA-II与两种扩展变体的解迁移能力,证实进化适应可有效减少优化评估次数,为降低动态优化的仿真成本提供了新方向。
2025-08-29 cs.NE
Multi-Objective Evolutionary Design of Deep Convolutional Neural Networks for Image Classification
Michigan State University(密歇根州立大学)
卷积神经网络(CNN)架构的早期发展主要是由人类专业知识和精心设计的过程驱动的。最近,提出了神经结构搜索,其目的是自动化网络设计过程并生成任务相关的结构。虽然现有的方法已经在图像分类中实现了有竞争力的性能,但是由于两个原因,它们并不很好地适合于计算预算受限的问题:(1)所获得的架构或者仅针对分类性能进行优化,或者仅针对一个部署场景进行优化;(2)在大多数方法中,搜索过程需要大量的计算资源。为了克服这些限制,我们提出了一种进化算法,用于在多个目标下搜索神经架构,例如分类性能和浮点运算(FLOPs)。所提出的方法解决了第一个缺点,通过填充一组架构,以近似整个帕累托边界,通过遗传操作,重组和修改建筑组件逐步。我们的方法通过仔细缩小搜索过程中的架构,以及通过贝叶斯模型学习加强过去成功的架构中共享的模式,提高了计算效率。这两个主要贡献的集成允许有竞争力的架构的有效设计,并且在大多数情况下优于基准图像分类数据集上手动和自动设计的架构:CIFAR,ImageNet和人类胸部X射线。同时获得多个架构的选择,不同的计算要求提供的灵活性,进一步区分我们的方法从文献中的其他方法。代码可在https://github.com/mikelzc1990/nsganetv1上获得
2020-09-15 cs.CV cs.LG cs.NE
Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
Quantiphi Inc(昆泰菲公司);Aptiv Advance Research Center(安波福先进研究中心);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出在隐藏层使用复杂的分段线性(PWL)激活函数,并在 PyTorch 中对浅层和深层 CNN 及多层感知机进行实验,证明其性能显著优于常用的 ReLU 激活函数。
2024-02-18 cs.CE cs.LG cs.NE
X-KAN: Optimizing Local Kolmogorov-Arnold Networks via Evolutionary Rule-Based Machine Learning
Faculty of Engineering, Yokohama National University(Yokohama国立大学工学部);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系)
X-KAN通过基于规则的机器学习框架优化局部Kolmogorov-Arnold网络,有效提升复杂和不连续函数的近似精度。
2025-05-20 cs.AI cs.LG cs.NE
Evolutionary Neural Architecture Search for Image Restoration
卷积神经网络(CNN)架构传统上由人类专家在手动搜索过程中进行探索,该过程耗时且无法有效地探索潜在解决方案的巨大空间。神经结构搜索(NAS)方法自动搜索神经网络超参数的空间,以找到最佳的特定于任务的结构。NAS方法已经发现了CNN架构,其在图像分类以及其他任务中实现了最先进的性能,然而NAS在图像到图像回归问题(诸如图像复原)中的应用是稀疏的。本文提出了一种NAS方法,执行计算效率的进化搜索的最小约束的网络架构搜索空间。在应用于ImageNet64x64数据集的各种图像复原任务上评估了所提出的方法发现的架构的性能,并与人类工程CNN架构进行了比较。仅使用2个GPU小时的进化搜索就发现了最好的神经架构,表现出与人类工程基线架构相当的性能。
2019-03-30 cs.NE
Limited Evaluation Cooperative Co-evolutionary Differential Evolution for Large-scale Neuroevolution
许多现实世界的控制和分类任务涉及大量的功能。当使用人工神经网络(ANN)对这些任务进行建模时,网络架构往往很大。神经进化是优化人工神经网络的有效方法;然而,在使用直接编码的高维网络的情况下,有两个瓶颈使其应用具有挑战性。首先,经典的进化算法往往不能很好地扩展搜索大的参数空间;其次,在大量的训练实例的网络评估是在一般的时间消耗。在这项工作中,我们提出了一种称为有限评价合作协同进化差分进化算法(LECCDE)优化高维人工神经网络的方法。该方法采用协同差分进化算法优化不同子群中每个突触后神经元的突触前权重,并基于适应度遗传对相对较少的训练样本进行适应度评价.我们测试LECCDE在三个不同大小的数据集上,我们的结果表明,合作的协同进化显着改善了测试误差相比,标准的差分进化,而有限的评估方案有利于显着减少计算时间。
2018-05-06 cs.NE
Evolutionary Mapping of Neural Networks to Spatial Accelerators
LMU Munich(慕尼黑大学);Intel(英特尔);Intel Corporation(英特尔公司);SEAS, Harvard University(哈佛大学工程与应用科学学院);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心);MCML, LMU Munich(慕尼黑大学机器学习中心);DFKI(德国人工智能研究中心)
本研究提出了一种基于进化算法的自动映射框架,用于神经形态加速器,实现了神经网络部署的低延迟和高能效。
2026-02-04 cs.NE
Evolutionary Optimization of Deep Learning Agents for Sparrow Mahjong
提出Evo-Sparrow智能体,利用CMA-ES优化LSTM网络进行麻雀麻将决策,其性能优于规则智能体并媲美PPO基线,为复杂随机博弈提供了有效的深度学习与进化优化混合方案。
2025-08-11 cs.NE
EDEN: Evolutionary Deep Networks for Efficient Machine Learning
African Institute for Mathematical Sciences(非洲数学科学研究所);University of Cape Town(开普敦大学);South African Astronomical Observatory(南非天文台)
随着深度的增加,深度神经网络继续表现出更好的性能,这是一个令人鼓舞的趋势,意味着网络架构和超参数的可能排列呈爆炸式增长,而对此几乎没有直观的指导。为了解决这种日益增加的复杂性,我们提出了进化深度网络(EDEN),这是一种计算效率高的神经进化算法,可以与任何深度神经网络平台(如TensorFlow)接口。我们表明,EDEN发展了简单而成功的架构,这些架构是从嵌入、1D和2D卷积、最大池化和全连接层及其超参数构建的。EDEN在七个图像和情感分类数据集上的评估表明,它可靠地找到了良好的网络,并在三种情况下实现了最先进的结果,即使在单个GPU上,也只需6-24小时。我们的研究首次尝试将神经进化应用于创建用于情感分析的1D卷积网络,包括优化嵌入层。
2017-09-26 cs.LG cs.NE stat.ML
Optimizing Deep Neural Networks with Multiple Search Neuroevolution
本文提出了一种称为多搜索神经进化(MSN)的进化元启发式算法来优化深度神经网络。该算法试图同时在搜索空间中搜索多个有希望的区域,并保持它们之间足够的距离。通过对两个任务的神经网络训练,对该算法进行了测试,并与其他优化算法进行了比较。第一个任务是解决具有挑战性拓扑的全局优化函数。我们发现MSN优于经典的优化算法,如演化策略,减少了至少2倍的优化步骤。第二个任务是在流行的MNIST数据集上训练卷积神经网络(CNN)。使用3.33%的训练集,MSN达到了90%的验证准确率。随机梯度下降(SGD)能够匹配相同的精度数字,同时减少7倍的优化步骤。尽管滞后,但MSN元数据库训练4.7M参数的CNN的事实表明了未来发展的希望。这是迄今为止使用仅50个样本池开发的最大网络。
2019-01-17 cs.NE
NeuroEvo: A Cloud-based Platform for Automated Design and Training of Neural Networks using Evolutionary and Particle Swarm Algorithms
Johns Hopkins University(约翰斯·霍普金斯大学)
进化算法为复杂搜索空间中的神经网络优化提供了独特的优势。本文介绍了一种新的网络平台,NeuroEvo(neuroevo.io),它允许用户交互式设计和训练神经网络分类器使用进化和粒子群算法。分类问题和训练数据由用户提供,在完成训练过程后,最佳分类器可供下载并在Python,Java和JavaScript中实现。NeuroEvo是一个基于云的应用程序,它利用GPU并行化来提高独立进化步骤(如变异,交叉和适应度评估)在整个种群中执行的速度。本文概述了训练算法和机会,为用户指定的设计决策和超参数设置。本文描述的算法也可作为Python包neuroevo(PyPI:https://pypi.org/project/neuroevo/)提供。
2022-10-01 cs.LG cs.NE
Evolutionary Neural Architecture Search Supporting Approximate Multipliers
自动神经结构搜索(NAS)方法越来越受到人们的关注。它们通常用于为各种具有挑战性的数据集提供高质量的神经网络架构,并减少设计人员的工作量。当目标不仅是最小化网络误差,而且是最小化推理阶段的参数(权重)或功耗的数量时,利用多目标进化算法的NAS方法特别有用。提出了一种基于笛卡尔遗传编程的多目标进化卷积神经网络(CNN)的NAS方法。该方法允许在CNN中使用近似运算以降低目标硬件实现的功耗。在NAS过程中,一个合适的CNN架构与近似乘法器一起演进,以提供准确性、网络大小和功耗之间的最佳权衡。从近似乘数库中自动选择最合适的近似乘数。在CIFAR-10基准问题上,将进化的CNN与具有类似复杂性的常见人类创建的CNN进行比较。
2021-01-28 cs.NE
DENSER: Deep Evolutionary Network Structured Representation
深度进化网络结构化表示(DENSER)是一种利用演化计算自动设计人工神经网络(ANN)的新方法。该算法不仅搜索最佳网络拓扑(例如,层的数量、层的类型),而且还调谐超参数,例如学习参数或数据增强参数。使用具有两个不同级别的表示来实现自动设计,其中外部级别编码网络的一般结构,即,层的序列和内部层编码与每一层相关联的参数。超参数值的允许层和范围通过人类可读的上下文无关文法来定义。DENSER被用来发展人工神经网络CIFAR-10,获得94.13%的平均测试精度。在MNIST、Fashion-MNIST和CIFAR-100上测试了为CIFA-10进化的网络;结果具有很强的竞争力,在CIFAR-100上,我们报告了78.75%的测试准确度。据我们所知,我们的CIFAR-100结果是针对卷积神经网络(CNN)自动设计方法生成的性能最高的模型,并且是手动设计和微调CNN的最佳模型之一。
2018-06-01 cs.NE
Optimizing Stimulus Energy for Cochlear Implants with a Machine Learning Model of the Auditory Nerve
由于所涉及的计算的复杂性,使用真实的生物物理听觉神经纤维模型执行模拟可能非常耗时。这里,使用机器学习方法开发这种听觉神经纤维模型的替代(近似)模型,以更有效地执行模拟。比较了几种机器学习模型,其中卷积神经网络表现出最好的性能。事实上,卷积神经网络能够以极高的相似性($R^2 > 0.99$)模拟听觉神经纤维模型的行为,在广泛的实验条件下进行测试,同时将模拟时间减少了五个数量级。此外,我们还介绍了一种利用超平面投影随机生成电荷平衡波形的方法。在本文的第二部分中,卷积神经网络代理模型被进化算法用于优化刺激波形的形状的能量效率。所得到的波形类似于正的类高斯峰,前面是延长的负相。当比较由进化算法产生的波形的能量与常用的方波时,对于不同的脉冲持续时间观察到8% - 45%的能量降低。这些结果与原来的听觉神经纤维模型进行了验证,这表明我们提出的代理模型可以作为其准确和有效的替代。
2022-11-14 cs.NE q-bio.NC
Optimizing Neural Architecture Search using Limited GPU Time in a Dynamic Search Space: A Gene Expression Programming Approach
Federal University of Parana(巴拉那联邦大学)
本文提出一种基于基因表达式编程的进化式神经架构搜索方法,在动态搜索空间和仅24个GPU小时的限制下高效发现卷积模型,并在CIFAR和ImageNet上取得与人工设计及NAS生成网络相当的先进结果。
2020-05-15 cs.CV cs.LG cs.NE
A Hybrid Method for Training Convolutional Neural Networks
Universidade da Beira Interior(贝拉内格罗大学);Instituto de Telecomunicações(电信研究所)
人工智能算法的普及和使用一直在稳步增长。深度学习允许使用巨大的数据集来训练神经网络,并且还消除了对人类提取特征的需求,因为它使特征学习过程自动化。在训练深度神经网络(例如卷积神经网络)的核心中,我们发现了反向传播,即通过计算给定输入的损失函数相对于网络权重的梯度,它允许调整网络的权重,以更好地执行给定任务。本文提出了一种混合的方法,利用反向传播和进化策略来训练卷积神经网络,其中进化策略用于帮助避免局部极小值和微调权值,使网络获得更高的精度结果。我们表明,所提出的混合方法是能够改善定期训练的任务,图像分类在CIFAR-10,其中使用VGG 16模型和最终的测试结果增加了0.61%,平均相比,只使用反向传播。
2020-04-15 cs.CV cs.LG cs.NE
Multi-objective Evolutionary Approach for Efficient Kernel Size and Shape for CNN
University of York(约克大学)
虽然CNN拓扑的最新发展,如VGGNet和ResNet,已经变得越来越准确,但这些网络在计算上是昂贵的,涉及数十亿的算术运算和参数。为了提高分类精度,最先进的CNN通常涉及大型复杂的卷积层。然而,对于某些应用,例如物联网(IoT),其中这样的CNN要在资源受限的平台上实现,CNN架构必须是小的和高效的。为了解决这个问题,减少卷积层的资源消耗已经成为最重要的解决方案之一。在这项工作中,提出了一种多目标优化方法,通过使用多目标进化算法(MOEAs)的计算量和网络精度之间的权衡。卷积核的数量和这些核的大小与CNN的计算资源消耗成比例。因此,本文考虑通过减少卷积层中内核的大小和数量来优化计算资源消耗。此外,研究了非常规核形状的使用,结果表明这些核明显优于常用的平方卷积核。因此,本文的主要贡献是一种基于非常规内核形状显着降低CNN计算成本的方法,并为特定用例提供不同的权衡。实验结果进一步表明,该方法实现了大幅度的资源消耗的改善,而没有显着降低网络性能。与基准CNN相比,最佳折衷架构显示出高达6倍的乘法减少,并且在CIFAR-10数据集上的分类准确性略有提高。
2021-06-28 cs.LG cs.NE cs.PF
Optimizing Neural Networks with Gradient Lexicase Selection
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amherst College(阿默斯特学院)
针对聚合性能指标导致过拟合和泛化差的问题,提出梯度词典选择框架,结合梯度下降与词典选择,在三个图像基准上提升多种深度网络泛化性能并促进多样化表示学习。
2023-12-19 cs.CV cs.LG cs.NE
Evolutionary Deep Nets for Non-Intrusive Load Monitoring
该研究针对内存与计算受限场景,提出自适应稀疏进化训练与热启动压缩方法,在非侵入式负荷监测中优化卷积网络,提升F1值并减少权重与连接数,但受样本限制无法验证泛化性能。
2026-10-23 cs.AI cs.LG cs.NE
DeepBF: Malicious URL detection using Learned Bloom Filter and Evolutionary Deep Learning
National Institute of Technology Silchar(西尔查尔国家理工学院)
恶意URL检测是一个新兴的研究领域,由于各种系统的不断现代化,例如边缘计算。在本文中,我们提出了一种新的恶意URL检测技术,称为deepBF(深度学习和Bloom Filter)。deepBF有两种形式。首先,我们提出了一个学习的布隆过滤器使用二维布隆过滤器。我们通过实验确定了最佳的非加密字符串哈希函数。然后,我们通过在散列方法中引入偏差并比较字符串散列函数,从为deepBF选择的散列函数中推导出修改的非加密字符串散列函数。将修改后的字符串散列函数与各种非密码字符串散列函数的其他变体进行比较。它还与各种过滤器进行了比较,特别是使用各种用例计数Bloom Filter,Kirsch \textit{et al.}和Cuckoo Filter。用例揭示了过滤器的弱点和优点。其次,我们提出了一种基于deepBF的恶意URL检测机制。我们应用进化卷积神经网络来识别恶意网址。进化卷积神经网络的训练和测试与恶意URL数据集。在deepBF中测试输出的准确性。我们已经取得了许多结论,从我们的实验评估和结果,并能够达到各种结论性的决定,这是在文章中。
2022-02-26 cs.AI cs.CR cs.CV
Evolutionary Stochastic Gradient Descent for Optimization of Deep Neural Networks
IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了一个基于种群的进化随机梯度下降(ESGD)框架,用于优化深度神经网络。ESGD结合SGD和无梯度进化算法作为一个框架中的互补算法,其中优化交替之间的SGD步骤和进化步骤,以提高人口的平均适应度。通过在SGD步骤中的退避策略和在进化步骤中的精英策略,它保证了种群中的最佳适应度永远不会下降。此外,在SGD步骤中使用不同的超参数的各种基于SGD的优化器优化的群体中的个体被认为是协同进化设置中的竞争物种,使得优化器的互补性也被考虑在内。ESGD的有效性在包括语音识别、图像识别和语言建模在内的多个应用中得到了证明,使用了具有各种深度架构的网络。
2018-10-16 cs.LG cs.NE stat.ML
IE-GAN: An Improved Evolutionary Generative Adversarial Network Using a New Fitness Function and a Generic Crossover Operator
Jilin University(吉林大学);Northeast Normal University(东北师范大学)
生成对抗网络(GANs)的训练通常容易受到模式坍塌和梯度消失的影响。进化生成对抗网络(E-GAN)试图通过使用多个损失函数优化学习策略来缓解这些问题。它使用基于学习的进化框架,专门为一般的深度神经网络开发新的变异算子。然而,E-GAN适应度函数中的评价机制不能真实反映个体对环境的适应性,导致对个体多样性的评估不准确。此外,E-GAN的进化步骤中只包含变异算子,没有考虑交叉算子,隔离了个体之间的优势特征。为了解决这些问题,我们提出了一个改进的E-GAN框架称为IE-GAN,它引入了一个新的适应度函数和一个通用的交叉算子。特别是,从客观的角度来看,所提出的适应度函数可以更准确地模拟个体的进化过程。交叉算子是进化算法中常用的一种算子,它通过知识蒸馏使后代能够模仿双亲的优良基因表达。在各种数据集上的实验证明了我们提出的IE-GAN在生成样本的质量和时间效率方面的有效性。
2022-11-01 cs.LG cs.NE
Neuroevolution of Recurrent Architectures on Control Tasks
Montreal University Geriatric Institute(蒙特利尔大学老年医学研究所)
本文提出依据少量变异规则动态进化循环神经网络架构的大规模并行进化算法,在19个OpenAI Gym控制任务上以少几个数量级的参数达到或超过梯度方法性能。
2023-04-03 cs.LG cs.NE
Quantum-Evolutionary Neural Networks for Multi-Agent Federated Learning
Illinois Mathematics and Science Academy(伊利诺伊数学与科学学院)
本文提出量子进化神经网络(QE-NN),结合量子计算与进化优化,在联邦学习框架下实现多智能体实时决策,兼顾隐私保护与自适应能力。
2025-05-16 cs.AI cs.LG cs.NE
Sub-network Multi-objective Evolutionary Algorithm for Filter Pruning
Shenzhen University(深圳大学)
过滤器修剪是深度神经网络(DNN)中实现模型压缩和加速的常用方法,一些研究将过滤器修剪视为组合优化问题,从而使用进化算法(EA)对DNN的过滤器进行修剪。然而,由于解空间搜索的复杂性,很难在合理的时间内找到令人满意的折衷解。为了解决这个问题,我们首先制定了一个多目标优化问题的基础上的一个子网络的完整模型,并提出了一个子网络多目标进化算法(SMOEA)的过滤器修剪。SMOEA算法通过逐组地对卷积层进行剪枝,可以获得性能更好的轻量级剪枝结果,并在CIFAR-10的VGG-14模型上进行了实验,验证了SMOEA算法的有效性。具体而言,修剪后的模型的准确性与16.56%的参数仅下降了0.28%,这是优于广泛使用的流行的过滤器修剪标准。
2022-10-22 cs.AI cs.CV cs.NE
Optimizing the energy consumption of spiking neural networks for neuromorphic applications
aiCTX AG(aiCTX公司)
在过去的几年中,脉冲神经网络已经被证明与常规卷积神经网络表现相当。几项工作已经提出了将预先训练的CNN转换为尖峰CNN而不显著牺牲性能的方法。我们首先证明了CNN的量化感知训练可以提高SNN的准确性。将CNN转换为尖峰CNN的好处之一是利用SNN的稀疏计算,从而以较低的能耗执行等效计算。在这里,我们提出了一个有效的优化策略,训练尖峰网络在较低的能量消耗,同时保持类似的准确性水平。我们展示了MNIST-DVS和CIFAR-10数据集上的结果。
2020-05-04 cs.LG cs.NE q-bio.NC
Evolutionary Dynamic Optimization and Machine Learning
Salah Boubnider University(萨拉赫·布卜尼德大学);Medicine Faculty(医学院)
本文首次全面探讨了进化动态优化(EDO)与机器学习(ML)之间的互惠整合,旨在克服进化计算的局限性并优化复杂的ML动态任务,从而激发该领域的创新研究。
2024-02-14 cs.LG cs.NE