Structurally Flexible Neural Networks: Evolving the Building Blocks for General Agents
IT University Copenhagen（哥本哈根信息技术大学）
针对强化学习人工神经网络结构刚性限制跨环境策略优化的问题，提出进化由GRU表示的神经元与可塑性突触、优化不同单元类型的方法，缓解了对称性困境，可同时解决多项强化学习控制任务。
2024-05-17 cs.AI cs.LG cs.NE
Refined Kolmogorov Complexity of Analog, Evolving and Stochastic Recurrent Neural Networks
UVSQ – University Paris-Saclay（巴黎萨克雷大学凡尔赛大学圣康丁昂伊夫利纳分校）；Institute of Computer Science of the Czech Academy of Sciences（捷克科学院计算机科学研究所）
本文基于实数权重、演化权重和实数概率的 Kolmogorov 复杂度，刻画三类循环神经网络的超图灵能力，并给出位于 P–P/poly 及 BPP–BPP/log* 间的无限层级与通用构造。
2023-09-29 cs.AI cs.CC
Wormhole: Concept-Aware Deep Representation Learning for Co-Evolving Sequences
Université de Sherbrooke（谢布鲁克大学）
本文提出 Wormhole 框架，通过自表示层与时间平滑性约束实现协同演化序列的动态概念识别与转换检测，提升了时间序列分割与概念漂移检测的可解释性。
2024-09-20 cs.AI cs.LG
cPNN: Continuous Progressive Neural Networks for Evolving Streaming Time Series
DEIB, Politecnico di Milano（DEIB，米兰理工学院）
cPNN通过连续渐进神经网络有效处理流时间序列中的概念漂移和时间依赖性，避免灾难性遗忘，提升模型适应性与鲁棒性。
2026-03-03 cs.AI cs.LG
Evolving Efficient Genetic Encoding for Deep Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Center for Long-term Artificial Intelligence（长期人工智能中心）；Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑认知与脑智能技术重点实验室）
针对深度脉冲神经网络计算成本高的问题，提出一种基于遗传编码的时空进化框架，通过全局共享遗传交互优化神经元编码，压缩参数50%-80%，并在多个数据集上提升精度，实现了高效、可扩展且鲁棒的SNN优化。
2024-11-11 cs.AI cs.NE
muNet: Evolving Pretrained Deep Neural Networks into Scalable Auto-tuning Multitask Systems
Google Research（谷歌研究院）
当今机器学习的大多数用途都涉及为特定任务从头开始训练模型，或者有时从相关任务的预训练模型开始，然后在下游任务上进行微调。这两种方法都提供了有限的知识转移不同的任务之间，耗时的人为驱动的定制个别任务和高计算成本，特别是当从随机初始化的模型。我们提出了一种方法，该方法使用预先训练的深度神经网络的层作为构建块来构建ML系统，该系统可以联合解决任意数量的任务。所得到的系统可以利用跨任务的知识转移，同时免疫多任务方法的常见缺点，如灾难性遗忘，梯度干扰和负迁移。我们定义了一个进化的方法，旨在共同选择的先验知识相关的每个任务，选择的模型参数的子集进行训练和动态自动调整其超参数。此外，一种新的规模控制方法，以实现质量/尺寸的权衡，优于常见的微调技术。与标准的微调10个不同的图像分类任务的基准相比，所提出的模型提高了2.39%的平均精度，而每个任务使用的参数减少了47%。
2022-05-25 cs.AI cs.CV cs.LG
Evaluating the Robustness of Deep-Learning Algorithm-Selection Models by Evolving Adversarial Instances
Edinburgh Napier University（爱丁堡龙比亚大学）
针对深度循环网络作为装箱领域算法选择器的鲁棒性未知问题，本研究用演化算法生成对抗扰动样本，发现最高56%的原始实例可被攻击，同时揭示了训练实例脆弱性及影响因素，还为鲁棒模型训练提供了新数据。
2024-06-24 cs.AI cs.LG cs.NE
Evolving Neural Networks through a Reverse Encoding Tree
BGI-Shenzhen（深圳华大基因研究院）；Georgia Institute of Technology（佐治亚理工学院）；Oxford Immune Algorithmics（牛津免疫算法公司）；Karolinska Institute（卡罗林斯卡学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
NeuroEvolution是最具竞争力的进化学习框架之一，用于设计用于特定任务的新型神经网络，如逻辑电路设计和数字游戏。然而，基准方法的应用，如增强拓扑的神经进化（NEAT）仍然是一个挑战，在其计算成本和搜索时间效率低下。本文提出了一种结合拓扑边编码的方法，称为反向编码树（RET），以有效地进化可扩展神经网络。使用RET，两种类型的方法- NEAT与二进制搜索编码（Bi-NEAT）和NEAT与黄金分割搜索编码（GS-NEAT）-已被设计用于解决基准连续学习环境中的问题，如逻辑门，Cartpole和Lunar Lander，并以经典NEAT和FS-NEAT为基线进行测试。此外，我们进行了鲁棒性测试，以评估所提出的NEAT算法的弹性。结果表明，提出的两种策略提供了更好的性能，其特征在于：（1）在有限数量的时间步长内获得更高的累积奖励;（2）在目标环境中使用更少的事件来解决问题;（3）在噪声扰动下保持自适应鲁棒性，在所有测试案例中均优于基线。我们的分析还表明，在动态环境中，RET扩展潜在的未来研究方向。代码可从https://github.com/HaolingZHANG/ReverseEncodingTree获得。
2020-03-31 cs.AI cs.LG cs.NE
PE-EK-PINN: Physics Embedding with Evolving Kernel for Scalable Physics-Informed Neural Networks
Department of Electrical & Computer Engineering（电气与计算机工程系）
提出PE-EK-PINN，将物理核作为可学习表示并演化，使活跃核数量与系统规模无关，训练成本从O(N)降至O(log N)，在偶极子阵列等实验中大幅提速且误差相当。
2026-09-30 cs.AI
FedPNN: One-shot Federated Classification via Evolving Clustering Method and Probabilistic Neural Network hybrid
Institute For Development And Research In Banking Technology (IDRBT)（银行技术发展与研究院）；University of Hyderabad（海得拉巴大学）
针对联邦学习通信开销和资源受限问题，提出两阶段隐私保护方法FedPNN，结合改进的CTGAN生成合成数据集，并利用改进的演化聚类方法优化联邦概率神经网络构建全局分类模型，在四个金融和医疗数据集上验证了有效性。
2023-04-09 cs.AI cs.LG
A Hybrid GA-PSO Method for Evolving Architecture and Short Connections of Deep Convolutional Neural Networks
School of Engineering and Computer Science Victoria University of Wellington（惠灵顿维多利亚大学工程与计算机科学学院）
图像分类是一个困难的机器学习任务，其中卷积神经网络（CNN）已经被应用了20多年，以解决这个问题。近年来，代替传统的仅将当前层与其下一层连接的方式，已经提出了将当前层与其下一层之外的前向层连接的快捷连接，这已被证明能够促进深度CNN的训练过程。然而，有各种方法来构建快捷连接，在解决特定问题时很难手动设计最佳快捷连接，特别是考虑到网络架构的设计已经非常具有挑战性。本文提出了一种混合演化计算（EC）方法，用于\textit{automatically}进化深层CNN的架构和快捷连接。本文的主要工作有三个方面：第一，提出了一种新的编码策略，对CNN进行编码，将其结构和最短连接分开编码;第二，提出了一种结合粒子群优化和遗传算法的混合两级EC方法来搜索最优CNN;最后，引入可调的学习率用于适应度评估，其在给定固定数量的时期的情况下为训练过程提供更好的学习率。在三个广泛使用的图像分类基准数据集上对该算法进行了评估，并与12个基于非EC的竞争对手和一个基于EC的竞争对手进行了比较。实验结果表明，该方法优于所有的同行竞争对手的分类精度。
2019-03-10 cs.AI cs.CV cs.LG
Autonomous Deep Learning: Incremental Learning of Denoising Autoencoder for Evolving Data Streams
Institute of Infocomm Research, A*Star（新加坡科技研究局资讯通信研究院）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
自动编码器（AE）及其后继的去噪自动编码器（DAE）的生成学习阶段增强了数据流方法在利用未标记样本方面的灵活性。尽管如此，DAE用于数据流分析的可行性值得深入研究，因为它的特点是固定的网络容量，无法适应快速变化的环境。提出了一种自动构造去噪自编码器的方法，即深度进化去噪自编码器（DEVDAN）。DEVDAN在生成阶段和判别阶段都具有开放式结构，输入特征可以在运行中自动添加和丢弃。本文从偏差-方差概念出发，提出了一种网络显著性（NS）方法。该方法能够估计网络结构及其隐藏单元的统计贡献，从而预测理想状态以添加或修剪输入特征。此外，DEVDAN是免费的问题特定的阈值，并完全在单遍学习的方式。DEVDAN的有效性进行了数值验证，使用9个非平稳数据流的问题下模拟的先决条件测试，然后训练协议，其中DEVDAN是能够提供一个改进的分类精度，最近发表的在线学习作品，同时具有灵活性，在自动提取的强大的输入功能，并在适应快速变化的环境。
2018-09-24 cs.AI cs.LG stat.ML
EGNN-C+: Interpretable Evolving Granular Neural Network and Application in Classification of Weakly-Supervised EEG Data Streams
Paderborn University（帕德博恩大学）；Federal Center for Technological Education（联邦技术教育中心）；University of Bari（巴里大学）；Federal University of Lavras（拉夫拉斯联邦大学）
本文提出双边界超盒增量演化的 eGNN-C+ 分类器，用于弱监督 EEG 情绪数据流识别，在 4 类游戏情绪数据集上取得 81.7% 准确率并揭示关键电极与频带。
2024-02-26 cs.AI cs.LG cs.NE
Performance-optimized deep neural networks are evolving into worse models of inferotemporal visual cortex
Brown University（布朗大学）；Carney Institute for Brain Science, Brown University（布朗大学卡尼脑科学研究所）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工与自然智能研究所）；University of Pennsylvania（宾夕法尼亚大学）；Harvard Medical School（哈佛医学院）
研究发现ImageNet性能越强的DNN对IT皮层神经反应的建模反而越差，并提出neural harmonizer对齐人类表征以同时提升分类与神经预测准确率。
2023-06-06 cs.AI cs.CV
Evolving Self-supervised Neural Networks: Autonomous Intelligence from Evolved Self-teaching
University College Dublin（都柏林大学学院）
本文提出了一种称为进化自监督神经网络的技术-神经网络，可以自学，内在激励，没有外部监督或奖励。所提出的方法提出了一些排序的范式转变，并大大不同于传统的基于梯度的学习和进化算法，因为它结合了进化和学习的隐喻，更具体地说，自我学习，在一起，而不是对待这些现象交替。我模拟了一个多智能体系统，其中神经网络被用来控制自主觅食代理领域知识很少。实验结果表明，只有进化的自我监督代理可以表现出某种智能行为，但不是进化或自我学习。还提出了未来工作的指示不断发展的智能。
2019-05-27 cs.AI cs.NE
Towards modeling evolving longitudinal health trajectories with a transformer-based deep learning model
Aalto University（阿尔托大学）；Finnish Institute for Health and Welfare (THL)（芬兰卫生与福利研究所）；University of Manchester（曼彻斯特大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）；Massachusetts General Hospital（麻省总医院）
本研究提出一种基于Transformer的深度学习方法，通过修改训练目标和因果注意力掩码，实现对纵向健康轨迹的连续预测，性能与现有模型相当且可辅助疾病早期检测与健康监测。
2024-12-12 cs.AI cs.LG
A General Benchmark Framework is Dynamic Graph Neural Network Need
University of Shanghai for Science and Technology（上海理工大学）
本文指出动态图学习研究缺乏统一基准框架，提出建立标准化基准以准确评估模型、推动技术创新和现实应用。
2024-01-12 cs.AI cs.LG
HyperENTM: Evolving Scalable Neural Turing Machines through HyperNEAT
IT University of Copenhagen（哥本哈根信息技术大学）
记忆增强神经网络的最新发展已经解决了需要长期记忆的序列问题，这对于传统的神经网络来说是棘手的。然而，目前的方法仍然难以扩展到大的存储器大小和序列长度。在本文中，我们将展示如何访问内存可以通过HyperNEAT的神经图灵机（HyperENTM）的几何编码。我们证明，使用间接HyperNEAT编码允许在位向量复制任务中训练小的记忆向量，然后应用从这种训练中获得的知识来加快对较大大小的记忆向量的训练。此外，我们还证明了在某些情况下，训练为复制大小为9的位向量的网络可以在不进行进一步训练的情况下扩展到1,000的大小。虽然本文中的任务很简单，但这些结果可能会将具有外部存储器的网络的问题扩展到具有更大存储器向量和理论上无限存储器大小的问题。
2017-10-12 cs.AI cs.NE
Evolving Self-taught Neural Networks: The Baldwin Effect and the Emergence of Intelligence
所谓的鲍德温效应一般说学习，作为个体发育适应的一种形式，如何影响系统发育适应或进化的过程。这个想法也被用于计算，其中进化和学习被用作计算隐喻，包括进化的神经网络。本文提出了一种称为进化自学神经网络的技术-神经网络，它可以在没有外部监督或奖励的情况下自学。自学习的神经网络具有内在动机。此外，自学神经网络是进化和学习相互作用的产物。我们模拟了一个多智能体系统，其中神经网络用于控制自主智能体。这些代理人必须寻找资源，为自己的生存而竞争。实验结果表明，在自学神经网络中，进化和自学能力之间的交互作用优于单独的进化和自学。更具体地说，智能觅食策略的出现也通过这种相互作用得到了证明。还提出了今后发展神经网络工作的指示。
2019-04-04 cs.NE
Evolving-to-Learn Reinforcement Learning Tasks with Spiking Neural Networks
Delft University of Technology（代尔夫特理工大学）
受自然神经系统的启发，将突触可塑性规则应用于训练具有局部信息的脉冲神经网络，使其适合于神经形态硬件上的在线学习。然而，当实现这些规则来学习不同的新任务时，它们通常需要大量的任务相关微调工作。本文旨在使这一过程更容易采用进化算法，发展合适的突触可塑性规则的任务在手。更具体地说，我们提供了一组各种本地信号，一组数学运算符，和一个全球性的奖励信号，之后的笛卡尔遗传编程过程中发现一个最佳的学习规则，从这些组件。使用这种方法，我们找到了成功解决XOR和cart-pole任务的学习规则，并发现了新的学习规则，这些规则优于文献中的基线规则。
2022-02-24 cs.AI cs.NE
Evolving Neural Architecture Using One Shot Model
National Chiao Tung University（国立交通大学）
神经结构搜索（NAS）正在成为一个新的研究方向，它有可能取代为特定任务设计的手工神经结构。先前基于进化的架构搜索需要高计算资源，导致高搜索时间。在这项工作中，我们提出了一种将简单的遗传算法应用于NAS问题的新方法，称为EvNAS（使用一次性模型的进化神经架构），它显着减少了搜索时间，同时仍然比以前的方法获得更好的结果基于进化的方法。通过使用单次模型的架构参数来表示架构，该单次模型导致针对给定的架构群体的架构之间的权重共享以及从一代到下一代架构的权重继承。我们提出了一种解码技术的架构参数，这是用来转移大部分的梯度信息对给定的架构，也被用于提高性能预测的给定架构在搜索过程中从一杆模型。此外，我们使用部分训练的架构在验证数据上的准确性作为其适应度的预测，以减少搜索时间。EvNAS在代理数据集（即CIFAR-10）上搜索架构，在单个GPU上使用4.4 GPU天，并使用3.63 M参数实现了2.47%的前1测试误差，然后将其传输到CIFAR-100和ImageNet，分别实现了16.37%的前1误差和7.4%的前5误差。所有这些结果都显示了进化方法在解决体系结构搜索问题中的潜力。
2020-12-23 cs.AI cs.NE
Genetic Algorithms for Evolving Deep Neural Networks
Bar-Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）
近年来，应用无监督学习来训练神经网络深层的深度学习方法在众多领域取得了显著的成果。在过去，许多基于遗传算法的方法已经成功地应用于训练神经网络。在本文中，我们扩展了以前的工作，并提出了一个遗传算法辅助的方法进行深度学习。我们的实验结果表明，这种GA辅助的方法提高了深度自动编码器的性能，产生了更稀疏的神经网络。
2017-11-21 cs.LG cs.NE stat.ML
Adaptive Reinforcement Learning through Evolving Self-Modifying Neural Networks
George Mason University（乔治梅森大学）
在生物神经网络中看到的自适应学习能力，很大程度上是突触连接的在线可塑性变化所产生的自我修改行为的产物。当前的强化学习（RL）方法只能在特定时间间隔内进行反思后才能适应新的交互，从而阻止了在线自适应性的出现。最近的工作通过赋予人工神经网络神经调节的可塑性来解决这个问题，已经证明可以提高使用反向传播训练的简单RL任务的性能，但尚未扩展到更大的问题。在这里，我们研究了在一个具有挑战性的四足动物领域中的元学习问题，其中四足动物的每条腿都有可能变得不可用，需要代理通过继续与其余肢体运动来适应。结果表明，使用自修改塑性网络进化的代理更能够适应复杂的元学习学习任务，甚至优于使用基于梯度的算法更新的相同网络，同时花费更少的时间进行训练。
2020-05-22 cs.AI cs.LG cs.NE
Evolving Deep Neural Networks for Collaborative Filtering
协同过滤（CF）被广泛应用于推荐系统中，以模拟用户与项目的交互。随着深度神经网络（DNN）在各个领域的巨大成功，最近的先进工作提出了几种基于DNN的CF模型，这些模型已被证明是有效的。然而，神经网络都是手工设计的。因此，它要求设计人员开发CF和DNN方面的专业知识，这限制了深度学习方法在CF中的应用以及推荐结果的准确性。本文将遗传算法引入到DNN的设计过程中。通过交叉、变异等遗传操作和环境选择策略，可以自动设计DNN的结构和连接权值初始化。我们在两个基准数据集上进行了广泛的实验。结果表明，该算法优于几个手工设计的最先进的神经网络。
2021-11-15 cs.NE
ALF -- A Fitness-Based Artificial Life Form for Evolving Large-Scale Neural Networks
机器学习（ML）在日常生活中变得越来越重要。在这种情况下，人工神经网络（ANN）是ML方法中实现人工智能的流行方法。通常，人工神经网络的拓扑结构是预先确定的。然而，存在难以找到合适拓扑的问题。因此，拓扑和权重演化人工神经网络（TWEANN）算法已经被开发，其可以使用遗传算法来找到ANN拓扑和权重。大规模问题的一个众所周知的缺点是TWEANN算法通常会进化出低效的ANN，并且需要很长的运行时间。为了解决这个问题，我们提出了一种新的TWEANN算法，称为人工生命形式（ALF），具有以下技术进步：（1）通过结构和语义相似性形成更好的候选解决方案，（2）动态适应观察到的候选解决方案，以获得更好的收敛性能，以及（3）将解决方案质量集成到遗传繁殖中，以增加优化成功的概率。大规模ML问题的实验证实，这些方法可以快速解决这些问题，并导致有效的进化ANN。
2021-04-16 cs.NE
Evolutionary Architecture Search For Deep Multitask Networks
Sentient Technologies, Inc.（先识科技公司）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
多任务学习，即用同一个神经网络同时学习多个任务，可以提高每个任务的性能。为多任务学习设计深度神经网络架构是一项挑战：有很多方法可以将任务联系在一起，设计选择很重要。这个问题的规模和复杂性超出了人类的设计能力，使其成为进化优化的一个引人注目的领域。使用现有的最先进的软订购体系结构为出发点，不断发展的模块，这种体系结构和不断发展的整体拓扑结构或模块之间的路由方法进行了评估。一个协同的方法，不断发展的自定义路由与进化，共享模块的每个任务被发现是非常强大的，显着提高了最先进的Omniglot多任务，多字母字符识别域。这一结果证明了进化如何有助于推进深度神经网络和复杂系统的总体设计。
2018-04-17 cs.AI cs.NE
ANTM: An Aligned Neural Topic Model for Exploring Evolving Topics
Sorbonne University（索邦大学）
提出模块化动态主题模型算法族 ANTM，利用预训练 LLM 特征与重叠滑动窗口聚类对齐跨时期主题，在四个数据集上提升主题一致性、多样性、可扩展性与灵活性。
2023-06-04 cs.AI cs.IR cs.LG
Particle Swarm Optimisation for Evolving Deep Neural Networks for Image Classification by Evolving and Stacking Transferable Blocks
Victoria University of Wellington（惠灵顿维多利亚大学）
深度卷积神经网络（Deep Convolutional Neural Networks，CNN）已广泛应用于图像分类任务，但设计CNN架构的过程非常复杂，因此自动搜索最优CNN架构的神经架构搜索（Neural Architecture Search，NAS）吸引了越来越多的研究兴趣。然而，NAS的计算成本通常太高，无法将NAS应用于实际应用。在本文中，一个有效的粒子群优化方法命名为EPSO CNN提出了进化CNN架构的启发，迁移学习的想法。EPSOCNN通过将搜索空间最小化为单个块并在进化过程中利用训练集的一个小子集来评估CNN，成功地降低了计算成本。同时，EPSOCNN还通过多次堆叠进化块以适应整个数据集来保持非常有竞争力的分类精度。在CIFAR-10数据集上对所提出的EPSOCNN算法进行了评估，并与由手工制作的深度CNN组成的13个同行竞争对手进行了比较，通过强化学习方法学习并通过演化计算方法进化，在分类精度，参数数量和计算成本方面优于所有同行竞争对手，显示出非常有前途的结果。
2020-03-21 cs.CV cs.LG cs.NE
Evolving Connectivity for Recurrent Spiking Neural Networks
本文提出演化连接性（EC）框架，将循环脉冲神经网络训练转化为对连接概率分布的搜索，利用自然演化策略实现无梯度、硬件友好的推理优化，在机器人运动任务中超越梯度训练的RSNN并取得两到三倍效率提升。
2023-05-28 cs.NE
Evolving A-Type Artificial Neural Networks
我们研究图灵的A型人工神经网络的概念。我们研究了图灵的原始想法的改进，动机的工作Teuscher，公牛，Preen和科普兰。我们的A类型可以通过接受和输出二进制向量序列来处理二进制数据;因此我们可以将函数与A类型相关联，我们说A类型{ \em表示}该函数。有两种数据处理模式：箝位和顺序。我们描述了一个进化算法，涉及图论操作的A型，搜索A型代表一个给定的功能。该算法同时使用变异和交叉算子。我们实现了该算法，并将其应用到三个基准任务。我们发现该算法的性能比随机搜索好得多。对于三个任务中的两个，交叉算法的性能优于仅变异版本。
2011-08-07 cs.NE
Evolving Neural Networks in Reinforcement Learning by means of UMDAc
University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
由于大量成功解决的复杂基准问题，神经网络在强化学习领域越来越受欢迎。事实上，在某些情况下，人工智能算法能够战胜人类专业人员。通常，神经网络具有多个隐藏层，因此，它们涉及大量需要优化的参数。通常，数值方法用于优化神经网络的内部参数，例如随机梯度下降。然而，这些技术在计算上往往非常昂贵，并且对于有效性至关重要的某些任务，高计算成本是不可接受的。沿着这些研究路线，在本文中，我们提出了优化参数的神经网络的估计分布算法。更确切地说，单变量边际分布算法用于在各种强化学习任务中进化神经网络。为了验证我们的想法，我们在四个OpenAI Gym基准问题上运行了所提出的算法。此外，所得到的结果进行了比较，与标准的遗传算法。揭示，在大多数情况下，用UMDAC优化提供比遗传算法更好的结果。
2019-04-24 cs.LG cs.NE
Evolving Neural Networks with Optimal Balance between Information Flow and Connections Cost
Bournemouth University（伯恩茅斯大学）
进化的神经网络（NN）作为一种可能更成功的替代路径，最近受到越来越多的关注。与其他方法相比，它具有许多优点，例如学习NN的架构。然而，极大的搜索空间和许多复杂的相互作用部分的存在仍然是一个主要障碍。最近研究了许多准则来帮助指导算法并减少大的搜索空间。最近，越来越多的研究将网络科学的见解引入到改进NN的设计中。在本文中，我们研究了具有现实网络最基本特征之一的不断发展的NN架构，即连接成本和信息流之间的最佳平衡。代表这种平衡的不同指标的性能进行了评估，并在三个数据集上证明了对这种平衡施加更多选择压力的准确性的提高。
2022-03-14 cs.IT cs.LG cs.NE
Evolving Chart Pattern Sensitive Neural Network Based Forex Trading Agents
虽然机器学习已经应用于外汇市场的算法交易已经有一段时间了，并且神经网络（NN）已经显示出产生积极的结果，但在大多数现代方法中，NN系统通过传统方法进行优化，例如反向传播算法，其输入信号是价格列表和由其他技术指标元素组成的列表。本文的目的是双重的：拓扑和权重演化人工神经网络（TWEANN）系统的应用程序的演示和测试自动货币交易，并演示使用外汇图表图像作为几何规律感知间接编码神经网络系统的输入时的性能，使他们能够在交易时使用其中的模式和趋势。本文提出了基于神经网络的自动货币交易系统的基准测试结果，使用TWEANN，并比较这些直接编码的NN的性能和泛化能力，使用标准的基于滑动窗口的价格向量输入，和间接（基板）编码的NN使用图表作为输入。我将在本文中使用的TWEANN算法来进化这些货币交易代理是基于模因算法的TWEANN系统，称为Deus Ex神经网络（DXNN）平台。
2012-01-30 cs.CE cs.NE
Time-Evolving Dynamical System for Learning Latent Representations of Mouse Visual Neural Activity
School of Computer Science, Peking University（北京大学计算机学院）；Peng Cheng Laboratory（鹏城实验室）；School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）
提出时间演化视觉动力系统（TE-ViDS），一种序列潜在变量模型，通过分解神经活动为随时间演化的低维表征并应用对比学习，在小鼠视觉皮层数据上实现最佳解码性能，揭示神经动力学。
2025-10-23 cs.NE q-bio.NC
Evolving Deep Convolutional Neural Networks for Image Classification
演化计算方法在神经网络中的应用已有二十多年的历史，但由于现代深层神经网络结构复杂、连接权值大，进化计算方法不能很好地扩展到深层神经网络。在本文中，我们提出了一种新的方法，使用遗传算法来进化深度卷积神经网络的架构和连接权重初始化值，以解决图像分类问题。在该算法中，设计了一种有效的变长基因编码策略来表示卷积神经网络中不同的构建块和不可预测的最优深度。此外，开发了一种新的表示方案，用于有效地初始化深度卷积神经网络的连接权重，这有望避免网络陷入局部极小值，这通常是基于梯度的向后优化中的主要问题。此外，提出了一种新的适应度评价方法，以大大减少计算资源，加快启发式搜索。所提出的算法进行了检查和比较，与现有的22种算法上广泛使用的图像分类任务，包括国家的最先进的方法。实验结果表明，该算法在分类出错率和参数（权值）的数量方面明显优于现有的算法。
2019-03-10 cs.CV cs.NE
Evolving Spiking Neural Networks for Nonlinear Control Problems
The University of New South Wales at the Australian Defence Force Academy（新南威尔士大学澳大利亚国防军学院分校）；DATA61 at CSIRO（澳大利亚联邦科学与工业研究组织DATA61部门）
脉冲神经网络是一种功能强大的计算建模工具，由于神经元之间突触相互作用的生物启发建模而引起了人们的极大兴趣。大多数使用尖峰神经元的研究都是非行为和不连续的。相比之下，本文提出了一种经常性的尖峰控制器，能够解决连续域中的非线性控制问题，使用流行的拓扑进化算法作为学习机制。我们提出了两种必要的机制，从离散尖峰传输的连续信号的解码：（i）一个背景电流分量，以保持频率充足的尖峰速率解码，和（ii）一个一般的网络结构，从拓扑结构的演变，得出强度。我们证明，建议的尖峰控制器可以学习速度显着加快，发现功能解决方案比S形神经网络在解决一个经典的非线性控制问题。
2019-03-04 cs.NE cs.RO
Evolving Unipolar Memristor Spiking Neural Networks
类脑计算-硬件中的类脑计算-通常需要无数CMOS尖峰神经元通过密集的纳米级塑料突触网互连。忆阻器由于其状态性和低功耗实现的潜力而经常被引用为强突触候选者。到目前为止，大量的研究集中在双极忆阻器突触上，它能够增加权重的变化，并且可以在赫布学习方案下提供自适应自组织。在本文中，我们考虑单极忆阻器突触-一个设备能够非赫布之间切换只有两个状态（导电和电阻）通过应用一个合适的输入电压-并讨论其适用于神经形态系统。一个自适应的进化过程是用来自主地找到高度适合的网络配置。对两个机器人任务的实验表明，单极忆阻器网络比双极忆阻器网络和包含恒定非塑性连接的网络更快地发展任务解决控制器，同时执行至少100%。
2015-09-01 cs.NE
Combinatorially Generated Piecewise Activation Functions
在神经进化文献中，研究主要集中在人工神经网络中节点、连接和权重的进化。很少有人尝试发展激活函数。演化激活函数的研究主要集中在演化函数参数和通过从固定的激活函数池中选择来开发异构网络。提出了一种通过组合生成分段激活函数来增强异构人工神经网络表达能力的新方法。我使用ArcTan和Sigmoid在增强拓扑的NeuroEvolution上演示了这种技术，并表明它在非马尔可夫双极点平衡上优于原始算法。这种技术通过证明非常规激活函数与规范选择的竞争性，扩展了它们的前景，并为人工神经网络的自动模型选择的进一步探索引入了一个范围。
2016-05-17 cs.NE
Evolving Mario Levels in the Latent Space of a Deep Convolutional Generative Adversarial Network
TU Dortmund University（多特蒙德工业大学）；Southwestern University（西南大学）；Queen Mary University of London（伦敦玛丽女王大学）；University of California（加利福尼亚大学）；IT University of Copenhagen（哥本哈根信息技术大学）
生成对抗网络（GANs）是一种机器学习方法，能够在所提供的训练样本的空间上生成新颖的示例输出。用于视频游戏的关卡的程序内容生成（PCG）可以从这样的模型中受益，特别是对于存在预先存在的关卡语料库的游戏。本文训练了一个GAN，使用视频游戏关卡语料库中的关卡为超级马里奥兄弟生成关卡。该方法成功地生成了各种级别的相似的原始语料库中，但进一步提高了协方差矩阵自适应演化策略（CMA-ES）的应用。具体而言，各种适应度函数用于发现GAN的潜在空间内的最大化期望属性的级别。优化简单的静态属性，例如给定的瓦片类型分布。此外，2009年马里奥AI竞赛的冠军A* 智能体被用来评估一个关卡是否可玩，以及需要多少次跳跃动作才能击败它。这些适应度函数允许发现存在于专家设计的示例空间中的关卡，并引导搜索实现一个或多个指定目标的关卡。
2018-05-02 cs.AI cs.NE
Evolving Neural Selection with Adaptive Regularization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）；Amherst College（阿默斯特学院）；Hampshire College（汉普郡学院）
过度参数化是现代深度神经网络的固有特征之一，通常可以通过利用正则化方法（如Dropout）来克服。通常，这些方法是全局应用的，所有输入情况都被平等对待。然而，考虑到图像识别和自然语言理解等现实任务的输入空间的自然变化，固定的正则化模式不太可能对所有输入情况都具有相同的有效性。在这项工作中，我们展示了一种方法，在这种方法中，深度神经网络中的神经元的选择会进化，以适应预测的难度。我们提出了自适应神经选择（ANS）框架，该框架演变为在一个层中对神经元进行加权，以形成适合处理不同输入情况的网络变体。实验结果表明，该方法可以显着提高性能的常用神经网络架构上的标准图像识别基准。消融研究还验证了拟议框架中每个组件的有效性和贡献。
2022-04-04 cs.CV cs.NE
Fast-DENSER++: Evolving Fully-Trained Deep Artificial Neural Networks
本文提出了一种新的扩展深度进化网络结构化进化（DENSER），称为Fast-DENSER++（F-DENSER++）。绝大多数优化深度人工神经网络（DANN）的神经进化方法只评估固定数量的epoch的候选解决方案;这使得难以有效地评估学习策略，并且需要在进化后进一步训练生成的最佳网络。F-DENSER++使候选解决方案的训练时间能够根据需要不断增长，即，在初始代中，候选解被训练较短的时间，并且随着代的进行，期望较长的训练周期能够实现更好的性能。因此，F-DENSER++发现的模型是经过充分训练的DANN，并且在进化后即可部署，无需进一步训练。结果表明，F-DENSER++能够有效地生成经过充分训练的DANN;在进化结束时，虽然F-DENSER++生成的模型的平均性能为88.73%，但由先前版本的DENSER（Fast-DENSER）生成的模型的性能为86.91%（统计学显著），当允许更长时间的训练时，该性能增加到87.76%。
2019-05-08 cs.NE
Network of Evolvable Neural Units: Evolving to Learn at a Synaptic Level
Korea University（高丽大学）
尽管近年来深度神经网络通过整体架构和优化策略的各种变化取得了巨大成功，但其基本的底层设计基本保持不变。另一方面，计算神经科学提供了神经处理机制的更生物现实的模型，但它们仍然是对实际实验观察到的行为的高层次抽象。在这里，提出了一个模型，桥梁神经科学，机器学习和进化算法，以发展个人的胞体和突触隔室模型的神经元在一个可扩展的方式。我们提出了一个可进化的神经单元（ENU），它可以近似每个神经元和突触的功能，而不是试图手动推导出神经处理中所有观察到的复杂性和多样性的模型。我们证明，这种类型的单位可以进化到模仿整合和消防神经元和突触尖峰定时依赖可塑性。此外，通过构建一种新型的神经网络，其中每个突触和神经元是这样一个可进化的神经单元，我们表明，它是有可能发展的代理能够学习解决T-迷宫环境任务。该网络独立发现尖峰动力学和强化型学习规则，为生物启发的人工智能开辟了一条新的道路。
2019-12-16 cs.LG cs.NE stat.ML
Evolving Robust Neural Architectures to Defend from Adversarial Attacks
Kyushu University（九州大学）
神经网络容易对稍微修改的输入图像进行错误分类。近年来，人们提出了许多防御措施，但没有一个能持续提高神经网络的鲁棒性。在这里，我们建议使用对抗攻击作为函数评估，以搜索可以自动抵抗这种攻击的神经架构。文献中的神经结构搜索算法的实验表明，虽然准确，但它们无法找到鲁棒的结构。一个重要的原因在于他们有限的搜索空间。通过创建一个新的神经架构搜索，选择密集层与卷积层连接，反之亦然，以及在搜索中添加级联层，我们能够发展出一种在对抗样本上固有准确的架构。有趣的是，进化架构的这种固有的鲁棒性可以与最先进的防御相媲美，例如对抗性训练，而只在非对抗性样本上进行训练。此外，进化的架构利用了一些特殊的特性，这些特性可能有助于开发更健壮的架构。因此，这里的结果证实，更强大的架构存在，以及开辟了一个新的领域的功能的发展和探索的神经网络。代码可在http://bit.ly/RobustArchitectureSearch获得。
2020-07-16 cs.AI cs.CR cs.CV
Evolving Unsupervised Deep Neural Networks for Learning Meaningful Representations
深度学习（DL）旨在学习\emph{meaningful representations}。有意义的表示是指通过替换原始数据作为输入来显著提高相关机器学习（ML）任务性能的表示。然而，DL算法的最优结构设计和模型参数估计被广泛认为是棘手的。进化算法具有无梯度和对局部最优不敏感的特性，因而在求解复杂非凸问题时有着广阔的应用前景。在本文中，我们提出了一种计算经济的算法，用于进化\emph{unsupervised deep neural networks}，以有效地学习\emph{meaningful representations}，这是非常适合在当前的大数据时代，足够的标记数据的训练往往是昂贵的收购。在所提出的算法中，找到一个合适的架构和初始化的参数值的ML任务在手建模的一个计算高效的基因编码方法，这是用来有效地建模的任务与大量的参数。此外，还引入了局部搜索策略，以方便开发搜索，进一步提高性能。此外，在进化搜索过程中使用一小部分标记数据，以保证学习的表示是有意义的。所提出的算法的性能进行了深入的研究分类任务。具体地说，错误分类率MNIST与$1.15\%$所提出的算法一致地达到，这是一个非常有前途的结果对国家的最先进的无监督DL算法。
2018-02-24 cs.NE
EZNAS: Evolving Zero Cost Proxies For Neural Architecture Scoring
Cornell University（康奈尔大学）；Intel Labs（英特尔实验室）
神经架构搜索（NAS）显著提高了神经网络（NN）设计和部署的生产力。由于NAS通常通过部分或全部训练来评估多个模型，因此提高的生产力是以显著的碳足迹为代价的。为了减轻这种昂贵的训练例程，zero-shot/成本代理在初始化时分析NN以生成分数，该分数与其真实准确度高度相关。零成本代理目前由专家设计，他们对可能的算法、数据集和神经架构设计空间进行多个周期的经验测试。这种实验降低了生产力，并且是一种不可持续的零成本代理设计方法，因为深度学习用例在本质上是多样化的。此外，现有的零成本代理无法在神经架构设计空间中推广。在本文中，我们提出了一个遗传编程框架，自动发现零成本代理神经架构评分。我们的方法有效地发现了一个可解释的和可推广的零成本代理，提供了最先进的得分准确性相关的所有数据集和搜索空间的NASBench-201和网络设计空间（NDS）。我们相信，这项研究表明了一个很有前途的方向，自动发现零成本代理，可以跨网络架构设计空间，数据集和任务。
2022-12-21 cs.CV cs.LG cs.NE
From Nodes to Networks: Evolving Recurrent Neural Networks
Sentient Technologies, Inc（森蒂恩特科技公司）
诸如由长短期记忆（LSTM）节点组成的那些门控递归网络最近已被用于改进诸如语音识别和机器翻译的许多顺序处理任务中的现有技术。然而，LSTM节点的基本结构与25年前首次构想时基本相同。最近，进化和强化学习机制已被用于创建这种结构的新变体。本文提出了一种新的方法，进化树为基础的编码的门控记忆节点，并表明，它可以探索新的变化比其他方法更有效。该方法发现了具有多个递归路径和多个存储单元的节点，这导致了标准语言建模基准任务的显著改进。本文还展示了如何通过训练LSTM网络来评估候选结构的性能，以及鼓励探索新的解决方案来加快搜索过程。因此，复杂神经网络结构的进化设计有望提高深度学习架构的性能，超出人类的能力。
2018-06-07 cs.LG cs.NE
Evolving Deep Convolutional Neural Networks by Variable-length Particle Swarm Optimization for Image Classification
Victoria University of Wellington（惠灵顿维多利亚大学）
卷积神经网络（CNN）是解决图像分类问题的最有效的深度学习方法之一，但解决特定问题的最佳CNN架构可能非常复杂且难以设计。本文的重点是利用粒子群优化（PSO）自动搜索CNN的最佳架构，而无需任何手动工作。为了实现这一目标，在传统粒子群算法的基础上，提出了三种改进方法。首先，提出了一种受计算机网络启发的新编码策略，该策略使粒子向量能够轻松地编码CNN层;其次，为了允许所提出的方法学习变长CNN架构，设计了Disabled层来隐藏粒子向量的某些维度以实现变长粒子;第三，由于大数据的学习过程很慢，因此随机选择部分数据集进行评估，以显着加快速度。在三个广泛使用的图像分类基准数据集上，对该算法进行了研究，并与现有的12种算法进行了比较。实验结果表明，该算法是一个强大的竞争对手的最先进的算法在分类错误。这是第一个使用PSO自动进化CNN架构的工作。
2018-03-17 cs.CV cs.NE
Evolving Character-level Convolutional Neural Networks for Text Classification
更高级的卷积神经网络（char-CNN）不需要知道它们所分类的语言的语义或句法结构。该属性简化了其实现，但降低了其分类精度。增加char-CNN架构的深度并不会带来突破性的准确性改进。研究还没有确定哪种char-CNN架构最适合文本分类任务。手动设计和训练char-CNN是一个迭代和耗时的过程，需要专业的领域知识。进化深度学习（EDL）技术，包括基于代理的版本，已经证明在自动搜索用于图像分析任务的高性能CNN架构方面取得了成功。研究人员还没有应用EDL技术来搜索用于文本分类任务的char-CNN的架构空间。这篇文章展示了使用基于遗传编程的新型EDL算法（间接编码和代理模型）来自动搜索性能良好的char-CNN架构的第一项工作。该算法在八个文本分类数据集上进行了评估，并针对五个手动设计的CNN架构和一个长短期记忆（LSTM）架构进行了基准测试。实验结果表明，该算法可以进化出在分类精度方面优于LSTM的架构，以及在分类精度和参数计数方面优于五种手动设计的CNN架构。
2020-12-03 cs.CL cs.LG cs.NE
Evolving Learning Rate Optimizers for Deep Neural Networks
人工神经网络（ANN）由于其在图像识别、语音识别等难题中的成功应用而受到广泛关注.然而，当从业者想要设计ANN时，他们需要经历选择一组参数和拓扑结构的费力过程。目前，有几种最先进的方法允许自动选择这些方面中的一些。学习率优化器是一组搜索学习率的良好值的此类技术。虽然这些技术是有效的，并且多年来取得了良好的效果，但它们是通用的解决方案，即它们不考虑特定网络的特性。我们提出了一个名为AutoLR的框架来自动设计学习率优化器。详细介绍了该系统的两个版本。第一个是动态AutoLR，它根据当前时期和以前的学习率来进化静态和动态学习率优化器。第二个版本，自适应AutoLR，进化自适应优化器，可以微调每个网络eight的学习率，使它们通常更有效。其结果与最先进的方法相比具有竞争力，甚至在某些情况下优于它们。此外，该系统发展了一个分类器，ADES，这似乎是新颖的和创新的，因为据我们所知，它具有不同于最先进的方法的结构。
2021-03-23 cs.NE
Evolving Deep Convolutional Neural Networks for Hyperspectral Image Denoising
College of Computer Science, Sichuan University（四川大学计算机学院）；School of Engineering and Computer Science, Victoria University of Wellington（惠灵顿维多利亚大学工程与计算机科学学院）
高光谱图像易受各种噪声因素的影响而导致信息的丢失，这些噪声制约了后续的高光谱图像目标检测和分类任务。近年来，基于学习的方法在去噪HSIs方面表现出了其优越的优势。不幸的是，大多数方法都是基于广泛的专业知识手动设计的，这些专业知识不一定对感兴趣的用户可用。在本文中，我们提出了一种新的算法来自动构建一个最佳的卷积神经网络（CNN），以有效地去噪HSIs。特别地，所提出的算法的重点是CNN的结构和连接权重的初始化。实验结果表明，该算法在不同的评价指标、视觉评价和计算复杂性等方面具有较好的竞争力.
2020-08-15 cs.CV cs.NE eess.IV
Evolving Multi-Objective Neural Network Controllers for Robot Swarms
University of Galway（戈尔韦大学）；University of Bristol（布里斯托大学）
提出多目标进化神经网络方法训练群体机器人控制器，在低保真模拟中进化，可迁移至高保真环境并扩展至更多机器人，无需重训。
2023-07-26 cs.LG cs.NE cs.RO
Model-Free Surrogate-Assisted Neural Architecture Search for Evolving Variable-Length Dense Blocks
FAST National University of Computer & Emerging Sciences (NUCES)（FAST国家计算机与新兴科学大学）
本研究提出MFSPNet，将无模型代理预测器融入PSO框架，通过VLE-EMA和稠密连接策略实现高效NAS，在多数据集上以低计算成本取得具竞争力性能。
2026-09-03 cs.NE
Evolving controllers for simulated car racing
本文介绍了一个模拟无线电遥控赛车在一个轨道上，在一个真正的物理轨道建模的控制器的演变。比较了基于神经网络、力场和动作序列的五种不同控制器结构。控制器使用自我中心（第一人称），牛顿（第三人称）或没有关于汽车状态的信息（开环控制器）。唯一能够进化出良好赛车行为的控制器是基于一个作用于自我中心输入的神经网络。
2006-11-02 cs.LG cs.NE cs.RO
Evolving Stochastic Learning Algorithm Based on Tsallis Entropic Index
在本文中，我们以前的算法的启发，这是基于Tsallis统计力学的理论，我们开发了一个新的进化随机学习算法的神经网络。新算法结合了确定性和随机搜索步骤，采用不同的自适应步长为每个网络的权重，并适用于一种形式的噪声，其特征在于由非广延熵指数q，调节由权重衰减项。学习算法的行为可以根据温度T和q值之间的权衡而变得更加随机或确定。这是通过引入一个公式来实现的，该公式定义了这两个重要的学习参数之间的时间依赖关系。我们的实验研究验证了这种新的进化随机学习算法的收敛速度确实有所改善，这使得学习速度比使用原来的混合学习计划（HLS）。通过实验研究了熵指数q和温度T对算法收敛速度和稳定性的影响。
2005-12-13 cs.AI cs.NE
