Evolutionary Architecture Search For Deep Multitask Networks
Sentient Technologies, Inc.（先识科技公司）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
多任务学习，即用同一个神经网络同时学习多个任务，可以提高每个任务的性能。为多任务学习设计深度神经网络架构是一项挑战：有很多方法可以将任务联系在一起，设计选择很重要。这个问题的规模和复杂性超出了人类的设计能力，使其成为进化优化的一个引人注目的领域。使用现有的最先进的软订购体系结构为出发点，不断发展的模块，这种体系结构和不断发展的整体拓扑结构或模块之间的路由方法进行了评估。一个协同的方法，不断发展的自定义路由与进化，共享模块的每个任务被发现是非常强大的，显着提高了最先进的Omniglot多任务，多字母字符识别域。这一结果证明了进化如何有助于推进深度神经网络和复杂系统的总体设计。
2018-04-17 cs.AI cs.NE
Nature vs. Nurture: The Role of Environmental Resources in Evolutionary Deep Intelligence
University of Waterloo（滑铁卢大学）
进化的深度智能在连续几代中合成高效的深度神经网络架构。受先天与后天争论的启发，我们提出了一项研究，通过改变模拟环境资源的可用性来研究外部因素对网络合成过程的作用。通过无性进化合成（1-parent）和有性进化合成（2-parent，3-parent和5-parent）使用MNIST数据集的10%子集合成的网络获得了实验结果。结果表明，较低的环境因素模型会导致性能准确性的逐渐下降和存储大小的减少。这可能会大大减少存储大小，性能准确性下降最小甚至没有下降，并且使用最低的环境因素模型合成最佳网络。
2018-02-09 cs.AI cs.CV cs.NE
Is it conceivable that neurogenesis, neural Darwinism, and species evolution could all serve as inspiration for the creation of evolutionary deep neural networks?
Computer Vision Centre（计算机视觉中心）；Universidad Autónoma de Barcelona（巴塞罗那自治大学）；University of Aveiro（阿威罗大学）
本文探讨了神经发生、神经达尔文主义和物种进化对进化深度神经网络设计的启发，重点提出二维大脑进化概念，并分析 dropout 与神经发生的联系，为 DNN 自动构建提供建议。
2023-04-11 cs.AI cs.NE
Pure and Hybrid Evolutionary Computing in Global Optimization of Chemical Structures: from Atoms and Molecules to Clusters and Crystals
综述了近十年来演化计算方法在原子、分子团簇和晶体等复杂势能面研究中的发展。发展的趋势表明，纯以及混合进化计算技术结合DFT已成为一个强大的工具，虽然工作的分子团簇一直相当有限。文献中有一些直接用遗传算法求解原子/分子薛定谔方程的尝试。在Born-Oppenheimer近似水平下，GA密度方法似乎是一种可行的工具，在未来几年中可以更广泛地探索，特别是在设计具有目标特性的分子和材料的背景下。
2015-08-31 cond-mat.mtrl-sci cs.NE physics.chem-ph
Evolutionary Strategy Guided Reinforcement Learning via MultiBuffer Communication
University of Galway（戈尔韦大学）
本文提出一种结合进化策略与TD3的进化强化学习模型，通过多缓冲区通信机制避免低质量轨迹污染回放缓冲区，在MuJoCo任务上超越CEM-RL。
2023-06-20 cs.AI cs.NE
Mitigating Architectural Mismatch During the Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）
进化的深度智能最近显示出很大的希望，通过有机合成连续几代越来越有效的架构，可以产生小而强大的深度神经网络模型。现有的进化合成过程，但是，允许交配的父网络独立的架构对齐，导致网络结构的不匹配。我们提出了一个初步的研究，在进化合成过程中使用基因标签系统的建筑对齐的影响。令人惊讶的是，使用基因标记方法合成的网络架构导致性能准确性和存储大小的降低较慢;然而，所得网络在大小和性能准确性方面与非基因标记网络相当。此外，我们推测，有一个显着的减少与基因标签合成的网络的网络变异性，这表明，强制执行类似的交配政策可能会限制探索可能的网络架构的搜索空间。
2018-11-19 cs.AI cs.CV cs.NE
On Optimizing Deep Convolutional Neural Networks by Evolutionary Computing
深度网络优化是目前非常活跃的研究领域。随着神经网络变得越来越深，手动优化网络的能力变得越来越困难。提出了小批量归一化、有效域的识别、动量更新、残差块的引入、学习率的采用等方法来加快人工训练过程中的收敛速度，同时保持较高的精度水平。然而，对于给定的问题，寻找最优的拓扑结构的问题正在成为一个具有挑战性的任务，需要立即解决。很少有研究人员试图使用进化计算方法来优化网络结构。其中，很少有人成功进化出具有强化学习和长短期记忆的网络。很少有人将进化编程应用于深度卷积神经网络。这些尝试主要是对网络结构进行改进，然后对网络的超参数进行优化。然而，仍然缺乏在当前在手动过程中实践的技术下演化深层网络结构的机制。将这种技术结合到染色体水平的进化计算中，当然可以使我们获得更好的拓扑深层结构。本文最后指出了基于进化的深度神经网络和深度神经网络之间的差距。此外，它还提出了一些使用进化计算技术优化深度神经网络的见解。
2018-08-06 cs.NE
Multi-Objective Molecular Generation with Frequency-Controlled Evolutionary Dynamics
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
提出SpectralMol算法，利用傅里叶系数矩阵和NSGA-II实现无需预训练的多目标分子生成，在多个优化任务和真实药物发现基准上表现优异。
2026-06-29 cs.NE
R2 Indicator and Deep Reinforcement Learning Enhanced Adaptive Multi-Objective Evolutionary Algorithm
Ulster University（阿尔斯特大学）；University of Bath（巴斯大学）；Auburn University（奥本大学）
针对优化算法选择难题，提出融合R2指标与双深度Q网络强化学习的多目标进化算法R2-RLMOEA，在CEC09基准测试中性能显著优于其他6种同类算法。
2024-04-17 cs.AI cs.NE
My Chemical Harness: Evolutionary Molecular Design over Synthetic Pathways with Large Language Model Agents
Institute of Mathematics, Faculty of Science, University of Potsdam（数学研究所，科学学院，波茨坦大学）；NHETC, Department of Physics and Astronomy, Rutgers University（NHETC，物理与天文学系，罗格斯大学）；Potsdam Transfer, University of Potsdam（波茨坦转移，波茨坦大学）；E3 LLC
提出一种以可执行合成路径为种群、大语言模型仅作策略控制器的进化框架，在可溶性环氧化物水解酶代理任务上达到最优性能。
2026-06-11 cs.LG cs.NE physics.chem-ph
Evolutionary Automata and Deep Evolutionary Computation
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文聚焦进化自动机这一类比模型，指出其相比进化算法能提供更完整的进化计算对偶模型，可直接建模“进化的进化”，具有极强表达能力，还暗示了自然进化通过环境交互反馈实现自我进化的强大力量。
2025-08-25 cs.CL cs.NE
The Mating Rituals of Deep Neural Networks: Learning Compact Feature Representations through Sexual Evolutionary Synthesis
University of Waterloo（滑铁卢大学）
进化深度智能最近被提出作为一种在连续几代中实现高效深度神经网络架构的方法。从大自然中汲取灵感，我们提出了性进化合成的结合。而不是目前的无性合成的网络，我们的目标是通过合成更多样化和泛化的后代网络在随后的几代通过两个父网络的组合产生更紧凑的功能表示。实验结果使用MNIST和CIFAR-10数据集获得，并显示出相对于基线无性进化神经网络提高的架构效率和可比的测试精度。特别是，与通过无性进化合成合成的网络相比，通过MNIST的有性进化合成的网络具有大约两倍的结构效率（簇效率为34.29 X，突触效率为258.37 X），两个网络都达到了约97%的测试准确度。
2017-09-07 cs.CV cs.NE
Evolutionary Deep Nets for Non-Intrusive Load Monitoring
该研究针对内存与计算受限场景，提出自适应稀疏进化训练与热启动压缩方法，在非侵入式负荷监测中优化卷积网络，提升F1值并减少权重与连接数，但受样本限制无法验证泛化性能。
2026-10-23 cs.AI cs.LG cs.NE
Genetic Programming-Based Evolutionary Deep Learning for Data-Efficient Image Classification
Zhengzhou University（郑州大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
数据有效的图像分类是一个具有挑战性的任务，旨在解决图像分类使用小的训练数据。基于神经网络的深度学习方法对于图像分类是有效的，但是它们通常需要大规模的训练数据并且具有主要的限制，诸如需要专业知识来设计网络架构并且具有差的可解释性。进化深度学习是最近的一个热门话题，它将演化计算与深度学习相结合。然而，大多数进化深度学习方法都集中在进化神经网络的架构上，这些架构仍然受到诸如可解释性差等限制。为了解决这个问题，本文提出了一种新的基于遗传编程的进化深度学习方法来进行数据高效的图像分类。新方法可以自动进化变长模型，使用许多重要的运营商从图像和分类域。它可以从彩色或灰度图像中学习不同类型的图像特征，构造有效的、多样的集成用于图像分类。灵活的多层表示使新方法能够为不同的任务自动构建浅层或深层模型/树，并通过多个内部节点对输入数据执行有效的转换。新方法被应用于解决五个不同的训练集大小的图像分类任务。结果表明，在大多数情况下，对于数据高效的图像分类，它的性能优于深度学习方法。深入分析表明，该方法具有良好的收敛性，并能演化出具有高度可解释性、不同长度/大小/形状和良好可移植性的模型。
2022-09-27 cs.AI cs.CV cs.LG
DeepBF: Malicious URL detection using Learned Bloom Filter and Evolutionary Deep Learning
National Institute of Technology Silchar（西尔查尔国家理工学院）
恶意URL检测是一个新兴的研究领域，由于各种系统的不断现代化，例如边缘计算。在本文中，我们提出了一种新的恶意URL检测技术，称为deepBF（深度学习和Bloom Filter）。deepBF有两种形式。首先，我们提出了一个学习的布隆过滤器使用二维布隆过滤器。我们通过实验确定了最佳的非加密字符串哈希函数。然后，我们通过在散列方法中引入偏差并比较字符串散列函数，从为deepBF选择的散列函数中推导出修改的非加密字符串散列函数。将修改后的字符串散列函数与各种非密码字符串散列函数的其他变体进行比较。它还与各种过滤器进行了比较，特别是使用各种用例计数Bloom Filter，Kirsch \textit{et al.}和Cuckoo Filter。用例揭示了过滤器的弱点和优点。其次，我们提出了一种基于deepBF的恶意URL检测机制。我们应用进化卷积神经网络来识别恶意网址。进化卷积神经网络的训练和测试与恶意URL数据集。在deepBF中测试输出的准确性。我们已经取得了许多结论，从我们的实验评估和结果，并能够达到各种结论性的决定，这是在文章中。
2022-02-26 cs.AI cs.CR cs.CV
SquishedNets: Squishing SqueezeNet further for edge device scenarios via deep evolutionary synthesis
University of Waterloo（滑铁卢大学）；DarwinAI（达尔文人工智能公司）
虽然近年来深度神经网络在广泛的应用中表现优于其他机器学习方法，但使深度神经网络能够在移动和其他消费设备等边缘设备上广泛部署的最大挑战之一是高计算和内存要求。最近，人们对更适合边缘设备的小型深度神经网络架构进行了更多的探索，其中最流行的架构之一是SqueezeNet，其模型大小非常小，仅为4.8MB。进一步利用边缘设备上的许多机器学习应用程序的特点通常是目标类数量较少的概念，本研究探讨了将架构修改和进化合成策略相结合的实用性，以基于最近的SqueezeNet v1.1宏架构合成更小的深度神经架构，用于目标类较少的应用程序。特别是，首先对SqueezeNet v1.1进行架构修改，以适应10类ImageNet-10数据集，然后利用进化合成策略，基于此修改后的宏架构合成更有效的深度神经网络。生成的SquishedNet模型大小从2.4MB到0.95MB不等（比SqueezeNet v1.1小约5.17倍，比AlexNet小253倍）。此外，SquishedNets仍然能够实现81.2%至77%的精度，并且能够在Nvidia Jetson TX 1嵌入式芯片上以156张图像/秒至256张图像/秒的速度进行处理。这些初步结果表明，架构修改和进化合成策略的组合可以成为产生非常适合边缘设备场景的非常小的深度神经网络架构的有用工具。
2017-11-20 cs.AI cs.LG cs.NE
Surrogate-Assisted Evolutionary Generative Design Of Breakwaters Using Deep Convolutional Networks
提出了一种基于多目标进化代理辅助的海岸防波堤快速生成式设计方法。为了近似计算上昂贵的目标函数，使用深度卷积神经网络作为代理模型。该模型允许优化具有不同数量的结构和分段的防波堤的配置。除了替代模型之外，还开发了一个辅助模型来估计预测的置信度。在模拟水域上进行了试验，采用SWAN模型计算波高。实验结果证实，所提出的方法可以获得更有效的（更便宜，更好的保护性能）的解决方案比非替代的方法在同一时间。
2022-04-07 cs.NE
Evolutionary Deep Reinforcement Learning Using Elite Buffer: A Novel Approach Towards DRL Combined with EA in Continuous Control Tasks
尽管深度强化学习在许多控制任务中得到了大量的应用和成功，但它仍然存在许多关键问题和局限性，包括具有稀疏奖励的时间信用分配，缺乏有效的探索，以及对问题的超参数极其敏感的脆弱收敛。连续控制中的深度强化学习问题，随着进化算法在解决这些问题上的成功，演化强化学习的思想应运而生，并引起了许多争议。尽管在这一领域的一些研究取得了成功的结果，这些问题及其局限性的适当和合适的解决方案尚未提出。本研究旨在进一步研究深度强化学习和演化计算这两个领域相结合的效率，并朝着改进方法和现有挑战迈出一步。“Evolutionary Deep强化学习Using Elite Buffer”算法从人脑的交互学习能力和假设结果中获得灵感，引入了一种新机制。在这种方法中，精英缓冲区的利用（这是由人类头脑中的经验概括的基础上学习的启发），随着交叉和变异算子的存在，以及交互式学习在连续几代，提高了效率，收敛性，并在连续控制领域的适当的进步。实验结果表明，该方法在复杂度和维数较高的环境中优于其他已知方法，在解决上述问题和局限性方面具有优越性。
2022-09-18 cs.NE
Intelligent Systematic Investment Agent: an ensemble of deep learning and evolutionary strategies
PwC US（普华永道美国）
在过去的几年里，机器学习驱动的交易策略引起了人们的极大兴趣。然而，对于制定这种交易战略的理想方法，共识有限。此外，大多数文献都集中在短期交易的交易策略上，很少或根本没有关注试图建立长期财富的策略。我们的论文提出了一种新的方法，通过采取一系列短期购买决策，使用进化算法和深度学习模型的集成来制定长期投资策略。我们的方法侧重于通过在一段时间内改善交易所交易基金（ETF）的系统性投资规划（SIP）决策来积累长期财富。我们提供的经验证据显示，与给定ETF的传统每日系统投资实践相比，使用我们的集成方法可以获得更好的表现（高出约1%的回报）。我们的结果基于我们的算法做出的实时交易决策，并在Robinhood交易平台上执行。
2022-03-24 cs.AI cs.CY cs.NE
Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）
深度神经网络取得令人难以置信的成功的一个关键因素是大规模并行计算设备的显著增长，使研究人员能够大大增加深度神经网络的大小和深度，从而显著提高建模精度。虽然更深、更大或更复杂的深度神经网络已经显示出相当大的前景，但这种网络的计算复杂性是在资源匮乏的情况下利用的主要障碍。我们在进化的深度智能框架内探索了深度神经网络在形成有效的深度神经网络架构中的突触发生，其中引入了概率生成建模策略，以随机合成越来越高效且有效的后代深度神经网络，以概率的方式模仿遗传，随机突变和自然选择等进化过程。在这项研究中，我们主要探讨突触精度限制的施加及其对深度神经网络进化合成的影响，以合成更有效的网络架构，为资源匮乏的情况下量身定制。实验结果表明，突触效率（基于GoogLeNet的DetectNet降低了约10倍）和推理速度（基于GoogLeNet的DetectNet增加了> 5倍）得到了显着改善，同时保持了建模精度。
2017-07-01 cs.CV cs.LG cs.NE
An Evolutionary Algorithm of Linear complexity: Application to Training of Deep Neural Networks
深度神经网络的性能，例如由受限玻尔兹曼机（RBM）形成的深度信念网络，强烈依赖于它们的训练，这是调整它们的参数的过程。这个过程可以被看作是一个n维的优化问题。然而，典型的网络包含数万个参数，使其成为高维问题（HDP）。虽然不同的优化方法已被用于这一目标，使用大多数的进化算法（EA）变得令人望而却步，由于他们无法处理HDPs。例如，协方差矩阵自适应进化策略（CMA-ES），这被认为是最有效的进化算法之一，表现出巨大的缺点，需要$O(n^2)$的内存和操作，使它不实用的问题超过几百个变量。在本文中，我们介绍了一种新的EA，需要$O(n)$的操作和内存，但提供竞争力的解决方案，超过一百万个变量的RBM的训练阶段相比，对CMA-ES和对比发散算法，这是标准的方法来训练RBM。
2019-07-12 cs.NE
Survey on Evolutionary Deep Learning: Principles, Algorithms, Applications and Open Issues
近年来，深度学习（DL）在工业界和学术界都得到了快速发展。然而，寻找DL模型的最佳超参数通常需要高计算成本和人类专业知识。为了缓解上述问题，演化计算（EC）作为一种强大的启发式搜索方法，已显示出显着的优点，在自动设计的DL模型，所谓的进化深度学习（EDL）。本文旨在从自动化机器学习（AutoML）的角度分析EDL。具体而言，我们首先从机器学习和EC的角度阐述了EDL，并将EDL视为一个优化问题。根据DL管道，我们系统地介绍了从特征工程，模型生成，模型部署与新的分类（即，什么和如何进化/优化），并着重讨论了EC处理优化问题时的解表示和搜索范式。最后，关键的应用，开放的问题和潜在的有前途的未来研究线的建议。本调查回顾了电子数据语言的最新发展，并为电子数据语言的发展提供了深刻的指导。
2022-08-23 cs.NE
Supervising Unsupervised Learning with Evolutionary Algorithm in Deep Neural Network
IBM Japan（IBM日本）
提出了一种利用进化算法控制深度神经网络中梯度下降无监督学习结果的方法。该算法通过逐点评估神经网络中各个节点的适应度来处理无监督训练模型的交叉问题。标记的训练数据是随机采样的，繁殖过程通过计算它们在不同采样数据集上的一致性程度来选择节点。该方法通过进化过程来监督无监督训练。本文还介绍了一种改进的限制玻尔兹曼机，它在神经网络中的节点之间含有排斥力，有助于将网络节点相互隔离，避免节点在进化过程中的意外退化。将这些新方法应用于文本分类问题，其结果比传统的线性回归算法实现的全监督分类器具有更好的准确性。
2018-03-28 cs.LG cs.NE stat.ML
StressedNets: Efficient Feature Representations via Stress-induced Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）；ADC Automotive Distance Control Systems GmbH, Continental（大陆集团ADC汽车距离控制系统有限公司）
利用深度神经网络来提取深度特征表示的计算复杂性是其广泛采用的重大障碍，特别是对于在嵌入式设备中的使用。解决复杂性问题的一个特别有前途的策略是深度神经网络的进化合成的概念，这被证明可以成功地产生高效的深度神经网络，同时保持建模性能。在这里，我们进一步扩展了进化合成策略，通过引入压力诱导的进化合成框架来实现高效的特征提取，其中在训练期间将压力信号施加到深度神经网络的突触上，以诱导压力并引导合成过程朝着在连续几代中产生更高效的深度神经网络的方向发展，并以更高的效率提高模型保真度。在各种不同的深度神经网络架构（LeNet 5，AlexNet和YOLOv2）上对不同的任务（对象分类和目标检测）进行评估，以在多代中合成高效的StressedNets。实验结果证明了所提出的框架合成StressedNets的有效性，并显著提高了网络架构效率（例如，AlexNet为40倍，YOLOv2为33倍）和速度改进（例如，在Nvidia Tegra X1移动处理器上，YOLOv2的推理速度提高了5.5倍）。
2018-01-16 cs.CV cs.LG cs.NE
A Hierarchical Importance-Guided Multi-objective Evolutionary Framework for Deep Neural Network Pruning
Wilfrid Laurier University（韦仕敦大学）
本文提出一种分层重要性引导的多目标进化框架，用于解决深度神经网络剪枝问题，通过分层进化搜索实现高效的参数压缩与精度平衡。
2026-04-01 cs.NE
A Deep Evolutionary Approach to Bioinspired Classifier Optimisation for Brain-Machine Interaction
School of Engineering and Applied Science, Aston University（阿斯顿大学工程与应用科学学院）
本研究提出了一种新的方法来EEG数据分类探索的想法，使用演化计算，既选择有用的歧视性EEG功能和优化的人工神经网络的拓扑结构。应用进化算法从2550个EEG统计特征的初始集合中选择信息量最大的特征。多层感知器（MLP）的优化是在分类之前使用进化方法来估计网络的最佳超参数。还探索了深度学习和使用长短期记忆（LSTM）的调优，并针对每个问题测试了两种类型模型的自适应提升。提供了三个实验，使用不同的分类器进行比较：一个用于注意力状态分类，一个用于情绪情感分类，第三个实验的目标是猜测受试者正在思考的数字。结果表明，Adaptive Boosted LSTM在注意力、情感和数字数据集上的准确率分别为84.44%、97.06%和9.94%。进化优化的MLP在前两个实验中实现了接近自适应提升LSTM的结果，并且在数字猜测实验中显著更高，自适应提升DEvo MLP达到31.35%，同时训练和分类的速度明显更快。特别是，在相同的基准测试中，非增强DEvo MLP的准确率分别为79.81%、96.11%和27.07%。使用Muse EEG头带收集实验的两个数据集，所述Muse EEG头带具有对应于国际EEG放置标准的TP9、AF7、AF8和TP10位置的四个电极。EEG MindBigData数字数据集从TP9、FP1、FP2和TP10位置收集。
2019-08-13 cs.AI cs.LG cs.NE
Discovery Radiomics via Evolutionary Deep Radiomic Sequencer Discovery for Pathologically-Proven Lung Cancer Detection
Vision and Image Processing Research Group, University of Waterloo（滑铁卢大学视觉与图像处理研究组）；Department of Medical Imaging, University of Toronto and Sunnybrook Research Institute（多伦多大学医学影像系与森尼布鲁克研究所）
虽然肺癌是男性和女性中第二大最常见的癌症形式，但足够早的诊断对患者的生存率至关重要。已经开发了基于成像或放射学驱动的检测方法来帮助诊断医生，但主要依赖于手工制作的特征，这些特征可能无法完全封装癌组织和健康组织之间的差异。最近，发现放射组学的概念被引入，其中自定义抽象特征从容易获得的成像数据中被发现。提出了一种基于进化深度智能的进化深度放射组测序方法。受患者隐私问题和操作人工智能的想法的激励，进化的深度放射组测序器发现方法有机地进化越来越高效的深度放射组测序器，其在多代中产生显著更紧凑但类似描述性的放射组序列。因此，该框架提高了操作效率，并使诊断能够在放射科医生的计算机上本地运行，同时保持检测精度。我们使用临床肺CT数据和来自LIDC-IDRI数据集的病理学证实的诊断数据，评估了通过所提出的进化深度放射组测序仪发现框架发现的进化深度放射组测序仪（EDRS）与最先进的放射组学驱动和发现放射组学方法。相对于先前的放射组学方法，进化的深度放射组学测序仪显示出提高的灵敏度（93.42%）、特异性（82.39%）和诊断准确性（88.78%）。
2017-10-20 cs.CV cs.LG cs.NE
Evolutionary Neural AutoML for Deep Learning
深度神经网络（DNN）在许多基准测试和问题领域中产生了最先进的结果。然而，DNN的成功取决于其架构和超参数的正确配置。这样的配置是困难的，因此，DNN通常不能充分发挥其潜力。此外，商业应用中的DNN通常需要满足现实世界的设计约束，例如参数的大小或数量。为了使配置更容易，已经开发了用于深度学习的自动机器学习（AutoML）系统，主要关注超参数的优化。本文将AutoML更进一步。它引入了一个名为LEAF的进化AutoML框架，该框架不仅优化超参数，还优化网络架构和网络大小。LEAF利用最先进的进化算法（EA）和分布式计算框架。医学图像分类和自然语言分析的实验结果表明，该框架可以达到最先进的性能。特别是，LEAF证明了架构优化比超参数优化提供了显着的提升，并且可以在性能几乎没有下降的同时最小化网络。因此，LEAF为人工智能的民主化和改进奠定了基础，并使人工智能在未来的应用中变得实用。
2019-04-09 cs.NE
Hybridization of evolutionary algorithm and deep reinforcement learning for multi-objective orienteering optimization
多目标定向运动问题是经典的多目标路径问题，在过去的几十年里受到了广泛的关注。本研究试图通过一个问题分解框架来求解MO-OP，即将MO-OP分解为一个多目标背包问题（MOKP）和一个旅行商问题（TSP）。然后分别用多目标进化算法（MOEA）和深度强化学习（DRL）方法求解MOKP和TSP。MOEA模块用于选择城市，而DRL模块用于为这些城市规划哈密尔顿路径。这两个模块的迭代使用推动人口走向MO-OP的帕累托前沿。所提出的方法的有效性进行了比较，对NSGA-II和NSGA-III的各种类型的MO-OP的情况下。实验结果表明，该方法在几乎所有的测试实例上都表现出最好的性能，并表现出很强的泛化能力。
2022-06-21 cs.NE
DENSER: Deep Evolutionary Network Structured Representation
深度进化网络结构化表示（DENSER）是一种利用演化计算自动设计人工神经网络（ANN）的新方法。该算法不仅搜索最佳网络拓扑（例如，层的数量、层的类型），而且还调谐超参数，例如学习参数或数据增强参数。使用具有两个不同级别的表示来实现自动设计，其中外部级别编码网络的一般结构，即，层的序列和内部层编码与每一层相关联的参数。超参数值的允许层和范围通过人类可读的上下文无关文法来定义。DENSER被用来发展人工神经网络CIFAR-10，获得94.13%的平均测试精度。在MNIST、Fashion-MNIST和CIFAR-100上测试了为CIFA-10进化的网络;结果具有很强的竞争力，在CIFAR-100上，我们报告了78.75%的测试准确度。据我们所知，我们的CIFAR-100结果是针对卷积神经网络（CNN）自动设计方法生成的性能最高的模型，并且是手动设计和微调CNN的最佳模型之一。
2018-06-01 cs.NE
Evolutionary Optimization of Deep Learning Agents for Sparrow Mahjong
提出Evo-Sparrow智能体，利用CMA-ES优化LSTM网络进行麻雀麻将决策，其性能优于规则智能体并媲美PPO基线，为复杂随机博弈提供了有效的深度学习与进化优化混合方案。
2025-08-11 cs.NE
Evolutionary Synthesis of Deep Neural Networks via Synaptic Cluster-driven Genetic Encoding
University of Waterloo（滑铁卢大学）
最近，人们对实现高效的深度神经网络架构产生了极大的兴趣。实现这一目标的一个有希望的范例是进化深度智能的概念，它试图模仿生物进化过程，在连续几代人中合成高效的深度神经网络。进化深度智能的一个重要方面是用于模仿遗传的遗传编码方案，这会对后代深度神经网络的质量产生重大影响。出于神经生物学现象的突触集群，我们引入了一个新的遗传编码方案，突触概率被驱动朝向形成一个高度稀疏的突触簇。图像分类任务的实验结果表明，使用这种突触簇驱动的遗传编码方案的合成后代网络可以实现最先进的性能，同时具有不仅比原始祖先网络更有效的网络架构（MNIST的突触减少了约125倍），而且还为GPU加速的机器学习应用量身定制。
2016-11-22 cs.CV cs.LG cs.NE
Evolutionary Stochastic Gradient Descent for Optimization of Deep Neural Networks
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一个基于种群的进化随机梯度下降（ESGD）框架，用于优化深度神经网络。ESGD结合SGD和无梯度进化算法作为一个框架中的互补算法，其中优化交替之间的SGD步骤和进化步骤，以提高人口的平均适应度。通过在SGD步骤中的退避策略和在进化步骤中的精英策略，它保证了种群中的最佳适应度永远不会下降。此外，在SGD步骤中使用不同的超参数的各种基于SGD的优化器优化的群体中的个体被认为是协同进化设置中的竞争物种，使得优化器的互补性也被考虑在内。ESGD的有效性在包括语音识别、图像识别和语言建模在内的多个应用中得到了证明，使用了具有各种深度架构的网络。
2018-10-16 cs.LG cs.NE stat.ML
GADAM: Genetic-Evolutionary ADAM for Deep Neural Network Optimization
Florida State University（佛罗里达州立大学）
深度神经网络学习可以用公式表示为非凸优化问题。现有的优化算法，例如，Adam可以快速学习模型，但可能很容易陷入局部最优。在本文中，我们介绍了一种新的优化算法，即GADAM（遗传进化亚当）。GADAM基于多个单元模型逐代学习深度神经网络模型：用Adam训练单元模型，用遗传算法进化到新的代。我们将证明GADAM在学习过程中可以有效地跳出局部最优，获得更好的解决方案，并证明GADAM也可以实现非常快的收敛。在各种基准数据集上进行了大量的实验，学习结果将证明GADAM算法的有效性和效率。
2019-03-10 cs.LG cs.NE stat.ML
EDEN: Evolutionary Deep Networks for Efficient Machine Learning
African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Cape Town（开普敦大学）；South African Astronomical Observatory（南非天文台）
随着深度的增加，深度神经网络继续表现出更好的性能，这是一个令人鼓舞的趋势，意味着网络架构和超参数的可能排列呈爆炸式增长，而对此几乎没有直观的指导。为了解决这种日益增加的复杂性，我们提出了进化深度网络（EDEN），这是一种计算效率高的神经进化算法，可以与任何深度神经网络平台（如TensorFlow）接口。我们表明，EDEN发展了简单而成功的架构，这些架构是从嵌入、1D和2D卷积、最大池化和全连接层及其超参数构建的。EDEN在七个图像和情感分类数据集上的评估表明，它可靠地找到了良好的网络，并在三种情况下实现了最先进的结果，即使在单个GPU上，也只需6-24小时。我们的研究首次尝试将神经进化应用于创建用于情感分析的1D卷积网络，包括优化嵌入层。
2017-09-26 cs.LG cs.NE stat.ML
Efficient Evolutionary Search Over Chemical Space with Large Language Models
Georgia Institute of Technology（佐治亚理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Massachusetts Institute of Technology（麻省理工学院）；University of Wuppertal（伍珀塔尔大学）；Deep Principle Inc.（Deep Principle公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cornell University（康奈尔大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文通过将具备化学知识的大型语言模型（LLMs）整合进进化算法（EAs）以重新设计交叉和突变操作，有效减少了分子发现中昂贵的目标评估次数，并在多任务和单/多目标设置下显著提升了求解质量与收敛速度。
2025-03-07 cs.AI cs.LG cs.NE
Finding Better Topologies for Deep Convolutional Neural Networks by Evolution
由于人工神经网络的非线性，设计深度卷积神经网络（CNN）的拓扑结构是一项具有挑战性的任务，并且通常只能应用启发式方法，例如试错法。进化算法可以解决适应度未知的优化问题。然而，进化算法是计算资源密集型的，这使得当涉及深度CNN时很难解决问题。在本文中，我们提出了一种进化策略来为深度CNN找到更好的拓扑结构。通过引入知识继承和知识学习的概念，我们的进化算法可以在有限的计算资源下运行。我们将所提出的算法应用于使用CIFAR-10数据集为图像分类任务寻找深度CNN的有效拓扑。在演进之后，我们分析了在此任务中表现良好的拓扑。我们的研究验证了人类设计的深度CNN中常用的技术。我们还发现，一些图形属性极大地影响系统的性能。我们应用了从进化中学到的指导原则，并设计了新的网络拓扑，这些拓扑在CIFAR-10、CIFAR-100和SVHN数据集上的性能优于残差网络，且层数更少。
2018-09-10 cs.NE
Guided Sampling-based Evolutionary Deep Neural Network for Intelligent Fault Diagnosis
大多数深度学习模型的诊断性能受到模型架构和超参数选择的极大影响。手动选择模型架构是不可行的，因为训练和评估深度学习模型的不同架构是一个耗时的过程。因此，我们提出了一种新的进化深度神经网络框架，该框架使用策略梯度来引导DNN架构朝着最大诊断准确性的方向进化。我们已经制定了一个策略梯度为基础的控制器，产生一个行动，以采样新的模型架构，在每一代，使最优性得到迅速。获得的最佳模型的适应度被用作更新策略参数的奖励。此外，获得的最佳模型被转移到下一代的快速模型评估的NSGA-II进化框架。因此，该算法得到的好处，快速非支配排序，以及快速模型评估。所提出的框架的有效性已在三个数据集上得到验证：空气压缩机数据集，凯斯西储大学数据集和帕德博恩大学数据集。
2022-02-23 cs.NE cs.SY eess.SY
Deep Learning-Based Operators for Evolutionary Algorithms
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
该研究提出两种基于深度学习的领域无关遗传算子——用于遗传算法的深度神经交叉算子和用于遗传编程的BERT变异算子，分别借助深度强化学习编解码架构选基因、掩码替换节点提适应度，并通过实验验证了算子有效性。
2024-07-15 cs.LG cs.NE
Learning to grow: control of material self-assembly using evolutionary reinforcement learning
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；National Research Council of Canada（加拿大国家研究委员会）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
我们表明，进化强化学习训练的神经网络可以制定有效的分子自组装协议。通过分子模拟轨迹，网络学习改变温度和化学势，以促进所需结构的组装或在竞争的多晶型物之间进行选择。在第一种情况下，网络在定性意义上再现了先前已知协议的结果，但速度更快，保真度更高;在第二种情况下，它们识别了先前未知的策略，我们可以从中提取物理见解。将模拟的运行时间或系统的微观信息作为输入的网络都是有效的，后者更有效。我们使用的进化方案易于实现，并且可以应用于实验自组装的广泛示例，无论是否可以在实验进行时监控实验。我们的结果已经取得了没有超出规范的序参量，以促进人类的输入，指出了人工智能的合成协议的设计方式。
2020-05-28 cond-mat.stat-mech cs.LG cs.NE
Automated Problem Identification: Regression vs Classification via Evolutionary Deep Networks
University of Cape Town（开普敦大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；South African Astronomical Observatory（南非天文台）
回归还是分类？这可能是在处理新的监督学习问题时面临的最基本的问题。我们提出了一种进化深度学习（EDL）算法，该算法通过高精度地识别问题类型来自动解决这个问题，并提出了一个深度架构。通常，在执行机器学习算法之前需要大量的人类洞察力和准备。例如，当创建深度神经网络时，必须提前选择参数的数量，此外，许多这些选择是基于数据的预先存在的知识（例如使用分类交叉熵）做出的。损失函数。人类能够研究数据集并决定它是否代表分类或回归问题，从而做出将应用于神经网络执行的决策。我们提出了自动问题识别（API）算法，该算法使用TensorFlow的进化算法接口来操作深度神经网络，以决定数据集是代表分类还是回归问题。我们在16个不同的分类、回归和情感分析数据集上测试API，这些数据集包含多达10，000个特征和多达17，000个唯一目标值。API在识别问题类型方面达到了$96.3\%$的平均准确度，而无需对回归或分类问题的一般特征进行硬编码。例如，API成功地识别了1000个目标值的分类问题。此外，该算法推荐使用哪个损失函数，并且还推荐神经网络架构。因此，我们的工作是迈向全自动机器学习的一步。
2017-07-03 cs.AI cs.LG cs.NE
Deep Learning with Darwin: Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）
从生物进化中获得灵感，我们探索了“深度神经网络能否在连续几代中自然进化成高效的深度神经网络？“通过引入通过从祖先深度神经网络的进化过程在连续几代中合成新的高效但强大的深度神经网络的概念。祖先深层神经网络的结构特征是使用突触概率模型编码的，突触概率模型可以被视为这些网络的“DNA”。具有不同网络架构的新后代网络基于来自祖先网络的这些突触概率模型和计算环境因子模型以随机方式合成，以模仿遗传、自然选择和随机突变。然后，这些后代网络被训练成功能齐全的网络，就像训练新生儿一样，并且具有比其祖先网络更高效、更多样化的网络架构，同时实现强大的建模能力。视觉显着性任务的实验结果表明，与原始祖先网络相比，合成的“进化”后代网络可以实现最先进的性能，同时具有显着更有效的网络架构（到第四代，突触减少了惊人的$\sim$ 48倍）。
2017-02-06 cs.CV cs.LG cs.NE
Bi-fidelity Evolutionary Multiobjective Search for Adversarially Robust Deep Neural Architectures
深度神经网络被发现容易受到对抗攻击的攻击，因此在安全敏感的环境中引起了潜在的担忧。为了解决这个问题，最近的研究从架构的角度研究了深度神经网络的对抗鲁棒性。然而，搜索深度神经网络的架构在计算上是昂贵的，特别是当与对抗训练过程相结合时。针对上述问题，本文提出了一种双保真度多目标神经结构搜索方法。首先，我们将增强深度神经网络对抗鲁棒性的NAS问题公式化为多目标优化问题。具体来说，除了作为第一个目标的低保真度性能预测器之外，我们还利用了一个替代目标-其值是用高保真度评估训练的代理模型的输出。其次，我们通过结合三种性能估计方法来降低计算成本，参数共享、低保真度评估和基于替代的预测器。在CIFAR-10、CIFAR-100和SVHN数据集上进行的大量实验证实了该方法的有效性。
2022-07-12 cs.LG cs.NE
Neuroevolution in Deep Learning: The Role of Neutrality
各种方法已经应用于人工深度神经网络（DNN）的架构配置和学习或训练。对于大多数问题和应用，这些方法在DNN的成功或失败中起着至关重要的作用。进化算法（EA）作为DNN自动优化的计算可行方法正在获得动力。神经进化是一个术语，它描述了使用EA自动配置和训练DNN的过程。然而，通过进化算法自动设计和/或训练这些现代神经网络在计算上是昂贵的。木村的中性分子进化理论指出，大多数分子水平的进化变化是选择性中性突变随机固定的结果。从一个基因到另一个基因的突变是中性的，如果它不影响表型。本文讨论了在特定条件下，中性如何有助于加速深度神经网络的训练/设计。
2021-02-16 cs.NE
An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks
Victoria University of Wellington（惠灵顿维多利亚大学）
多年来，卷积神经网络（CNN）通过引入更复杂的拓扑结构，并向更深更宽的CNN扩展容量，不断取得更好的性能。这使得人工设计CNN变得非常困难，因此CNN的自动设计已经成为研究的焦点，它已经获得了优于人工设计CNN的CNN。然而，计算成本仍然是自动设计CNN的瓶颈。在本文中，受迁移学习的启发，提出了一种新的基于演化计算的框架，在不影响分类精度的情况下有效地进化CNN。所提出的框架利用多源域，这是比目标域数据集更小的数据集，以发展一个通用的CNN块只有一次。在此基础上，提出了一种新的叠加方法，既能加宽又能加深演化块，并提出了一种网格搜索方法来寻找最优叠加解。实验结果表明，该方法在不到40个GPU小时的时间内比15个同行竞争对手更快地获得了良好的CNN。在分类精度方面，该方法具有较强的竞争力，在CIFAR-10、CIFAR-100和SVHN数据集上的最佳出错率分别为3.46%、18.36%和1.76%。
2022-12-07 cs.CV cs.LG cs.NE
NeuroEvoBench: Benchmarking Evolutionary Optimizers for Deep Learning Applications
Technical University Berlin（柏林工业大学）；Science of Intelligence Cluster of Excellence（智能科学卓越集群）；Google DeepMind（谷歌DeepMind）
针对深度学习领域进化优化（EO）基准缺失、超参数实践不足的问题，研究团队推出专为深度学习设计的EO基准NeuroEvoBench，全面评估各类EO方法并探究核心科学问题，已开源。
2023-11-04 cs.LG cs.NE
Evolutionary Multi-Objective Fusion of Deepfake Speech Detectors
本文提出一种进化多目标评分融合框架，通过NSGA-II优化二进制编码和实数编码，减少检测误差和系统复杂度，在ASVspoof 5数据集上优于传统方法，实数变体实现更低EER和更简系统复杂度。
2026-04-01 cs.AI cs.CR cs.LG
CEM-RL: Combining evolutionary and gradient-based methods for policy search
Gleamer；Sorbonne Université（索邦大学）
深度神经进化和深度强化学习（deep RL）算法是两种流行的策略搜索方法。前者适用范围广，稳定性好，但样本效率低。相比之下，后者更具样本效率，但大多数样本效率的变体也相当不稳定，并且对超参数设置高度敏感。到目前为止，这些家庭的方法大多是比较作为竞争工具。然而，一种新兴的方法是将它们结合起来，以便获得两个世界的最佳效果。两个先前存在的组合使用自组织进化算法或目标探索过程以及深度确定性策略梯度（DDPG）算法，一种样本有效的非策略深度RL算法。在本文中，我们提出了一种不同的组合方案，使用简单的交叉熵方法（CEM）和双延迟深度确定性策略梯度（td 3），另一种非策略深度RL算法，改进了ddpg。我们在深度RL中经典使用的一组基准上评估了所得到的方法cem-rl。我们表明，cem-rl受益于几个优势，其竞争对手，并提供了一个令人满意的性能和样本效率之间的权衡。
2019-02-11 cs.LG cs.NE stat.ML
Evolutionary Deep Learning to Identify Galaxies in the Zone of Avoidance
University of Cape Town（开普敦大学）；South African Astronomical Observatory（南非天文台）
由于高恒星密度和灭绝，回避带使得天文学家很难将低纬度的星系编入我们的银河系平面。然而，拥有一张完整的星系天空图在天文学的许多研究领域都很重要。有许多未分类的光源在回避区，因此，重要的是，有一个准确的自动化系统，以确定和分类星系在这一地区。本研究旨在评估使用进化算法来进化卷积神经网络（CNN）的拓扑结构和配置以自动识别回避区中的星系的效率和准确性。监督学习方法用于包含近红外图像的数据。输入图像分辨率和进化算法所需的近红外通带的数量也进行了分析，而最好的进化CNN的准确性相比，其他CNN的变种。
2019-03-20 astro-ph.IM cs.LG cs.NE
Evolutionary Optimization of Deep Learning Activation Functions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant Technology Solutions（高知特技术解决方案公司）
激活函数的选择对神经网络的性能有很大的影响。虽然已经有一些尝试手动设计新颖的激活函数，但整流线性单元（ReLU）仍然是实践中最常用的。本文表明，进化算法可以发现新的激活函数，优于ReLU。候选激活函数的树为基础的搜索空间的定义和探索变异，交叉和穷举搜索。在CIFAR-10和CIFAR-100图像数据集上训练宽残差网络的实验表明，该方法是有效的。用进化的激活函数取代ReLU，可以显著提高网络准确性。当进化被允许定制激活函数到一个特定的任务时，达到最佳性能;然而，这些新的激活函数被证明是通用的，实现跨任务的高性能。因此，激活函数的进化优化是神经网络中元学习的一个有前途的新维度。
2020-04-11 cs.CV cs.LG cs.NE
Evolutionary Algorithm for Drug Discovery Interim Design Report
一种软件程序，旨在提供对潜在药物分子的搜索空间的探索能力。该程序通过生成随机分子来探索搜索空间，确定它们的适应性，然后从最适合的个体中繁殖新一代。理论上，搜索空间是任何元素以任何顺序的任何组合，其受到元素子集和片段列表的使用的约束，所述片段是已知在药物开发中有用的分子部分。每一代产生的分子都存储在一个可搜索的数据库中，这样用户就可以浏览前几代分子，寻找感兴趣的分子。
2014-03-19 cs.CE cs.NE
Evolutionary Computation in Action: Feature Selection for Deep Embedding Spaces of Gigapixel Pathology Images
Ontario Tech University（安大略理工大学）；University of Waterloo（滑铁卢大学）；Mayo Clinic（梅奥诊所）
本文提出基于大规模多目标优化的进化特征选择方法，通过频繁特征直方图构建紧凑的全切片图像表示，在TCGA数据上以约14,000倍压缩实现8%的准确率提升，并引入新的决策空间和可视化方法。
2023-04-18 cs.CV cs.LG cs.NE
Discovering Interpretable Multi-Parameter Control Policies for Evolutionary Algorithms Using Deep Reinforcement Learning
University of St Andrews（圣安德鲁大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学信息科学实验室）
针对进化算法多参数控制缺乏可解释策略的问题，提出深度强化学习结合动作空间分解、奖励平移和长期折扣的方法，蒸馏出符号控制策略，在OneMax问题上超越现有基线。
2026-06-08 cs.LG cs.NE
A Melting Pot of Evolution and Learning
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；DeepKeep
本文调研了团队近期八项融合进化算法与机器学习、深度学习的研究，涵盖分类、工具包、激活函数进化、神经进化、对抗攻击等多个方向的成果。
2023-06-08 cs.LG cs.NE
