Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks
University of Waterloo(滑铁卢大学)
深度神经网络取得令人难以置信的成功的一个关键因素是大规模并行计算设备的显著增长,使研究人员能够大大增加深度神经网络的大小和深度,从而显著提高建模精度。虽然更深、更大或更复杂的深度神经网络已经显示出相当大的前景,但这种网络的计算复杂性是在资源匮乏的情况下利用的主要障碍。我们在进化的深度智能框架内探索了深度神经网络在形成有效的深度神经网络架构中的突触发生,其中引入了概率生成建模策略,以随机合成越来越高效且有效的后代深度神经网络,以概率的方式模仿遗传,随机突变和自然选择等进化过程。在这项研究中,我们主要探讨突触精度限制的施加及其对深度神经网络进化合成的影响,以合成更有效的网络架构,为资源匮乏的情况下量身定制。实验结果表明,突触效率(基于GoogLeNet的DetectNet降低了约10倍)和推理速度(基于GoogLeNet的DetectNet增加了> 5倍)得到了显着改善,同时保持了建模精度。
2017-07-01 cs.CV cs.LG cs.NE
Deep Learning with Darwin: Evolutionary Synthesis of Deep Neural Networks
University of Waterloo(滑铁卢大学)
从生物进化中获得灵感,我们探索了“深度神经网络能否在连续几代中自然进化成高效的深度神经网络?“通过引入通过从祖先深度神经网络的进化过程在连续几代中合成新的高效但强大的深度神经网络的概念。祖先深层神经网络的结构特征是使用突触概率模型编码的,突触概率模型可以被视为这些网络的“DNA”。具有不同网络架构的新后代网络基于来自祖先网络的这些突触概率模型和计算环境因子模型以随机方式合成,以模仿遗传、自然选择和随机突变。然后,这些后代网络被训练成功能齐全的网络,就像训练新生儿一样,并且具有比其祖先网络更高效、更多样化的网络架构,同时实现强大的建模能力。视觉显着性任务的实验结果表明,与原始祖先网络相比,合成的“进化”后代网络可以实现最先进的性能,同时具有显着更有效的网络架构(到第四代,突触减少了惊人的$\sim$ 48倍)。
2017-02-06 cs.CV cs.LG cs.NE
StressedNets: Efficient Feature Representations via Stress-induced Evolutionary Synthesis of Deep Neural Networks
University of Waterloo(滑铁卢大学);ADC Automotive Distance Control Systems GmbH, Continental(大陆集团ADC汽车距离控制系统有限公司)
利用深度神经网络来提取深度特征表示的计算复杂性是其广泛采用的重大障碍,特别是对于在嵌入式设备中的使用。解决复杂性问题的一个特别有前途的策略是深度神经网络的进化合成的概念,这被证明可以成功地产生高效的深度神经网络,同时保持建模性能。在这里,我们进一步扩展了进化合成策略,通过引入压力诱导的进化合成框架来实现高效的特征提取,其中在训练期间将压力信号施加到深度神经网络的突触上,以诱导压力并引导合成过程朝着在连续几代中产生更高效的深度神经网络的方向发展,并以更高的效率提高模型保真度。在各种不同的深度神经网络架构(LeNet 5,AlexNet和YOLOv2)上对不同的任务(对象分类和目标检测)进行评估,以在多代中合成高效的StressedNets。实验结果证明了所提出的框架合成StressedNets的有效性,并显著提高了网络架构效率(例如,AlexNet为40倍,YOLOv2为33倍)和速度改进(例如,在Nvidia Tegra X1移动处理器上,YOLOv2的推理速度提高了5.5倍)。
2018-01-16 cs.CV cs.LG cs.NE
Discovery Radiomics via Evolutionary Deep Radiomic Sequencer Discovery for Pathologically-Proven Lung Cancer Detection
Vision and Image Processing Research Group, University of Waterloo(滑铁卢大学视觉与图像处理研究组);Department of Medical Imaging, University of Toronto and Sunnybrook Research Institute(多伦多大学医学影像系与森尼布鲁克研究所)
虽然肺癌是男性和女性中第二大最常见的癌症形式,但足够早的诊断对患者的生存率至关重要。已经开发了基于成像或放射学驱动的检测方法来帮助诊断医生,但主要依赖于手工制作的特征,这些特征可能无法完全封装癌组织和健康组织之间的差异。最近,发现放射组学的概念被引入,其中自定义抽象特征从容易获得的成像数据中被发现。提出了一种基于进化深度智能的进化深度放射组测序方法。受患者隐私问题和操作人工智能的想法的激励,进化的深度放射组测序器发现方法有机地进化越来越高效的深度放射组测序器,其在多代中产生显著更紧凑但类似描述性的放射组序列。因此,该框架提高了操作效率,并使诊断能够在放射科医生的计算机上本地运行,同时保持检测精度。我们使用临床肺CT数据和来自LIDC-IDRI数据集的病理学证实的诊断数据,评估了通过所提出的进化深度放射组测序仪发现框架发现的进化深度放射组测序仪(EDRS)与最先进的放射组学驱动和发现放射组学方法。相对于先前的放射组学方法,进化的深度放射组学测序仪显示出提高的灵敏度(93.42%)、特异性(82.39%)和诊断准确性(88.78%)。
2017-10-20 cs.CV cs.LG cs.NE
Evolutionary Deep Learning to Identify Galaxies in the Zone of Avoidance
University of Cape Town(开普敦大学);South African Astronomical Observatory(南非天文台)
由于高恒星密度和灭绝,回避带使得天文学家很难将低纬度的星系编入我们的银河系平面。然而,拥有一张完整的星系天空图在天文学的许多研究领域都很重要。有许多未分类的光源在回避区,因此,重要的是,有一个准确的自动化系统,以确定和分类星系在这一地区。本研究旨在评估使用进化算法来进化卷积神经网络(CNN)的拓扑结构和配置以自动识别回避区中的星系的效率和准确性。监督学习方法用于包含近红外图像的数据。输入图像分辨率和进化算法所需的近红外通带的数量也进行了分析,而最好的进化CNN的准确性相比,其他CNN的变种。
2019-03-20 astro-ph.IM cs.LG cs.NE
Deep Learning-Based Operators for Evolutionary Algorithms
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
该研究提出两种基于深度学习的领域无关遗传算子——用于遗传算法的深度神经交叉算子和用于遗传编程的BERT变异算子,分别借助深度强化学习编解码架构选基因、掩码替换节点提适应度,并通过实验验证了算子有效性。
2024-07-15 cs.LG cs.NE
Evolutionary Optimization of Deep Learning Activation Functions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant Technology Solutions(高知特技术解决方案公司)
激活函数的选择对神经网络的性能有很大的影响。虽然已经有一些尝试手动设计新颖的激活函数,但整流线性单元(ReLU)仍然是实践中最常用的。本文表明,进化算法可以发现新的激活函数,优于ReLU。候选激活函数的树为基础的搜索空间的定义和探索变异,交叉和穷举搜索。在CIFAR-10和CIFAR-100图像数据集上训练宽残差网络的实验表明,该方法是有效的。用进化的激活函数取代ReLU,可以显著提高网络准确性。当进化被允许定制激活函数到一个特定的任务时,达到最佳性能;然而,这些新的激活函数被证明是通用的,实现跨任务的高性能。因此,激活函数的进化优化是神经网络中元学习的一个有前途的新维度。
2020-04-11 cs.CV cs.LG cs.NE
Importance mixing: Improving sample reuse in evolutionary policy search methods
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
深度神经进化,即基于深度神经网络的进化策略搜索方法,由于其更好的并行化能力,最近已经成为深度强化学习算法的竞争对手。然而,这些方法仍然遭受差得多的样本效率。在本文中,我们调查是否被称为“重要性混合”的机制,可以显着提高他们的样本效率。我们提供了一个教学演示的重要性混合,我们解释如何可以扩展到重用更多的样本。然后,通过基于简单基准的实证比较,我们表明,尽管它实际上提供了更好的样本效率,但它仍然远远低于深度强化学习的样本效率,尽管它更稳定。
2018-08-17 cs.LG stat.ML
Evolutionary Deep Nets for Non-Intrusive Load Monitoring
该研究针对内存与计算受限场景,提出自适应稀疏进化训练与热启动压缩方法,在非侵入式负荷监测中优化卷积网络,提升F1值并减少权重与连接数,但受样本限制无法验证泛化性能。
2026-10-23 cs.AI cs.LG cs.NE
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta(阿尔伯塔大学)
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者,都有自己的奉献者社区。近年来,这两个小组都非常积极地在各自的领域中开发新的进展,并设计出尖端技术来解决复杂的连续控制任务。在这里,在深度强化学习的背景下,我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外,我们对两个阵营中最先进的技术进行了彻底的比较,包括连续控制;进化方法和深度强化学习方法。结果表明,没有持续的赢家。
2018-03-07 cs.AI cs.LG
Genetic Programming-Based Evolutionary Deep Learning for Data-Efficient Image Classification
Zhengzhou University(郑州大学);Victoria University of Wellington(惠灵顿维多利亚大学)
数据有效的图像分类是一个具有挑战性的任务,旨在解决图像分类使用小的训练数据。基于神经网络的深度学习方法对于图像分类是有效的,但是它们通常需要大规模的训练数据并且具有主要的限制,诸如需要专业知识来设计网络架构并且具有差的可解释性。进化深度学习是最近的一个热门话题,它将演化计算与深度学习相结合。然而,大多数进化深度学习方法都集中在进化神经网络的架构上,这些架构仍然受到诸如可解释性差等限制。为了解决这个问题,本文提出了一种新的基于遗传编程的进化深度学习方法来进行数据高效的图像分类。新方法可以自动进化变长模型,使用许多重要的运营商从图像和分类域。它可以从彩色或灰度图像中学习不同类型的图像特征,构造有效的、多样的集成用于图像分类。灵活的多层表示使新方法能够为不同的任务自动构建浅层或深层模型/树,并通过多个内部节点对输入数据执行有效的转换。新方法被应用于解决五个不同的训练集大小的图像分类任务。结果表明,在大多数情况下,对于数据高效的图像分类,它的性能优于深度学习方法。深入分析表明,该方法具有良好的收敛性,并能演化出具有高度可解释性、不同长度/大小/形状和良好可移植性的模型。
2022-09-27 cs.AI cs.CV cs.LG
Bi-fidelity Evolutionary Multiobjective Search for Adversarially Robust Deep Neural Architectures
深度神经网络被发现容易受到对抗攻击的攻击,因此在安全敏感的环境中引起了潜在的担忧。为了解决这个问题,最近的研究从架构的角度研究了深度神经网络的对抗鲁棒性。然而,搜索深度神经网络的架构在计算上是昂贵的,特别是当与对抗训练过程相结合时。针对上述问题,本文提出了一种双保真度多目标神经结构搜索方法。首先,我们将增强深度神经网络对抗鲁棒性的NAS问题公式化为多目标优化问题。具体来说,除了作为第一个目标的低保真度性能预测器之外,我们还利用了一个替代目标-其值是用高保真度评估训练的代理模型的输出。其次,我们通过结合三种性能估计方法来降低计算成本,参数共享、低保真度评估和基于替代的预测器。在CIFAR-10、CIFAR-100和SVHN数据集上进行的大量实验证实了该方法的有效性。
2022-07-12 cs.LG cs.NE
Automated Problem Identification: Regression vs Classification via Evolutionary Deep Networks
University of Cape Town(开普敦大学);African Institute for Mathematical Sciences(非洲数学科学研究所);South African Astronomical Observatory(南非天文台)
回归还是分类?这可能是在处理新的监督学习问题时面临的最基本的问题。我们提出了一种进化深度学习(EDL)算法,该算法通过高精度地识别问题类型来自动解决这个问题,并提出了一个深度架构。通常,在执行机器学习算法之前需要大量的人类洞察力和准备。例如,当创建深度神经网络时,必须提前选择参数的数量,此外,许多这些选择是基于数据的预先存在的知识(例如使用分类交叉熵)做出的。损失函数。人类能够研究数据集并决定它是否代表分类或回归问题,从而做出将应用于神经网络执行的决策。我们提出了自动问题识别(API)算法,该算法使用TensorFlow的进化算法接口来操作深度神经网络,以决定数据集是代表分类还是回归问题。我们在16个不同的分类、回归和情感分析数据集上测试API,这些数据集包含多达10,000个特征和多达17,000个唯一目标值。API在识别问题类型方面达到了$96.3\%$的平均准确度,而无需对回归或分类问题的一般特征进行硬编码。例如,API成功地识别了1000个目标值的分类问题。此外,该算法推荐使用哪个损失函数,并且还推荐神经网络架构。因此,我们的工作是迈向全自动机器学习的一步。
2017-07-03 cs.AI cs.LG cs.NE
NeuroEvoBench: Benchmarking Evolutionary Optimizers for Deep Learning Applications
Technical University Berlin(柏林工业大学);Science of Intelligence Cluster of Excellence(智能科学卓越集群);Google DeepMind(谷歌DeepMind)
针对深度学习领域进化优化(EO)基准缺失、超参数实践不足的问题,研究团队推出专为深度学习设计的EO基准NeuroEvoBench,全面评估各类EO方法并探究核心科学问题,已开源。
2023-11-04 cs.LG cs.NE
EvoVGM: a Deep Variational Generative Model for Evolutionary Parameter Estimation
Université du Québec à Montréal(魁北克大学蒙特利尔分校)
大多数面向进化的深度生成模型没有明确考虑生物序列的潜在进化动力学,因为它是在贝叶斯系统发育推断框架内进行的。在这项研究中,我们提出了一种方法,深度变分贝叶斯生成模型(EvoVGM),共同近似的真实后验局部进化参数,并产生序列比对。此外,它被实例化和调整为连续时间马尔可夫链替代模型,如JC 69,K80和GTR。我们通过低方差随机估计器和梯度上升算法来训练模型。在这里,我们分析的一致性和有效性的EvoVGM合成序列比对模拟几个进化的情况下,不同的大小。最后,我们强调了使用冠状病毒基因S的序列比对的微调EvoVGM模型的鲁棒性。
2022-07-01 cs.LG q-bio.PE
An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks
Victoria University of Wellington(惠灵顿维多利亚大学)
多年来,卷积神经网络(CNN)通过引入更复杂的拓扑结构,并向更深更宽的CNN扩展容量,不断取得更好的性能。这使得人工设计CNN变得非常困难,因此CNN的自动设计已经成为研究的焦点,它已经获得了优于人工设计CNN的CNN。然而,计算成本仍然是自动设计CNN的瓶颈。在本文中,受迁移学习的启发,提出了一种新的基于演化计算的框架,在不影响分类精度的情况下有效地进化CNN。所提出的框架利用多源域,这是比目标域数据集更小的数据集,以发展一个通用的CNN块只有一次。在此基础上,提出了一种新的叠加方法,既能加宽又能加深演化块,并提出了一种网格搜索方法来寻找最优叠加解。实验结果表明,该方法在不到40个GPU小时的时间内比15个同行竞争对手更快地获得了良好的CNN。在分类精度方面,该方法具有较强的竞争力,在CIFAR-10、CIFAR-100和SVHN数据集上的最佳出错率分别为3.46%、18.36%和1.76%。
2022-12-07 cs.CV cs.LG cs.NE
SquishedNets: Squishing SqueezeNet further for edge device scenarios via deep evolutionary synthesis
University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司)
虽然近年来深度神经网络在广泛的应用中表现优于其他机器学习方法,但使深度神经网络能够在移动和其他消费设备等边缘设备上广泛部署的最大挑战之一是高计算和内存要求。最近,人们对更适合边缘设备的小型深度神经网络架构进行了更多的探索,其中最流行的架构之一是SqueezeNet,其模型大小非常小,仅为4.8MB。进一步利用边缘设备上的许多机器学习应用程序的特点通常是目标类数量较少的概念,本研究探讨了将架构修改和进化合成策略相结合的实用性,以基于最近的SqueezeNet v1.1宏架构合成更小的深度神经架构,用于目标类较少的应用程序。特别是,首先对SqueezeNet v1.1进行架构修改,以适应10类ImageNet-10数据集,然后利用进化合成策略,基于此修改后的宏架构合成更有效的深度神经网络。生成的SquishedNet模型大小从2.4MB到0.95MB不等(比SqueezeNet v1.1小约5.17倍,比AlexNet小253倍)。此外,SquishedNets仍然能够实现81.2%至77%的精度,并且能够在Nvidia Jetson TX 1嵌入式芯片上以156张图像/秒至256张图像/秒的速度进行处理。这些初步结果表明,架构修改和进化合成策略的组合可以成为产生非常适合边缘设备场景的非常小的深度神经网络架构的有用工具。
2017-11-20 cs.AI cs.LG cs.NE
Low-Rank Evolutionary Deep Neural Networks via Adaptive Tangent-Space Reduction
Department of Mathematics, Purdue University(普渡大学数学系);Department of Applied Mathematics, University of Washington(华盛顿大学应用数学系);School of Mechanical Engineering, Purdue University(普渡大学机械工程学院)
研究针对进化深度神经网络计算瓶颈,提出低秩进化深度神经网络方法,通过自适应切空间投影降低成本,构建约简雅可比矩阵并建立有限时间比较估计,数值实验表明该方法能降成本且保持精度。
2026-07-22 cs.LG stat.ML
Evolutionary Action Selection for Gradient-based Policy Learning
Fudan University(复旦大学)
进化算法和深度强化学习(Deep Reinforcement Learning,DRL)是近年来发展起来的一种混合算法,它们可以充分利用这两种方法的优势,更好地进行探索和开发。在这些混合算法中,进化部分保持了策略网络的种群。然而,现有的方法主要关注优化策略网络的参数,这对于进化算法来说通常是高维和棘手的。我们将进化的目标从高维参数空间转移到低维行为空间,提出了一种新的混合进化行为选择-双延迟深度确定性策略梯度(EAS-TD 3)方法。我们专注于优化策略网络所选择的动作,并试图通过进化算法获得高质量的动作来促进策略学习。我们对具有挑战性的连续控制任务进行了实验,结果表明EAS-TD 3比其他最先进的方法表现出更好的性能。
2022-09-16 cs.LG cs.NE
Discovering Interpretable Multi-Parameter Control Policies for Evolutionary Algorithms Using Deep Reinforcement Learning
University of St Andrews(圣安德鲁大学);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学信息科学实验室)
针对进化算法多参数控制缺乏可解释策略的问题,提出深度强化学习结合动作空间分解、奖励平移和长期折扣的方法,蒸馏出符号控制策略,在OneMax问题上超越现有基线。
2026-06-08 cs.LG cs.NE
A Melting Pot of Evolution and Learning
Ben-Gurion University of the Negev(内盖夫本-古里安大学);DeepKeep
本文调研了团队近期八项融合进化算法与机器学习、深度学习的研究,涵盖分类、工具包、激活函数进化、神经进化、对抗攻击等多个方向的成果。
2023-06-08 cs.LG cs.NE
Evolutionary Computation in Action: Feature Selection for Deep Embedding Spaces of Gigapixel Pathology Images
Ontario Tech University(安大略理工大学);University of Waterloo(滑铁卢大学);Mayo Clinic(梅奥诊所)
本文提出基于大规模多目标优化的进化特征选择方法,通过频繁特征直方图构建紧凑的全切片图像表示,在TCGA数据上以约14,000倍压缩实现8%的准确率提升,并引入新的决策空间和可视化方法。
2023-04-18 cs.CV cs.LG cs.NE
Deep Optimisation: Solving Combinatorial Optimisation Problems using Deep Neural Networks
University of Southampton(南安普顿大学);University of Birmingham(伯明翰大学)
深度优化(DO)以一种新颖的方式将进化搜索与深度神经网络(DNN)相结合-不是为了优化学习算法,而是为了找到优化问题的解决方案。深度学习已成功应用于分类、回归、决策和生成任务,在本文中,我们将其应用扩展到解决优化问题。模型构建优化算法(MBOA)是进化算法的一个分支,它已经成功地将机器学习方法和进化搜索结合起来,但到目前为止,它们还没有使用DNN。DO是第一个使用DNN来学习和利用问题结构以适应变异算子(改变搜索过程的邻域结构)的算法。我们证明了性能的DO使用MAXSAT类内的两个理论优化问题。分层转换优化问题(HTOP)具有可控的深层结构,可以清楚地评估DO如何工作,以及为什么使用分层技术对于学习和利用问题结构至关重要。奇偶模块约束问题(MCparity)是一个简单的例子,包含更高阶的依赖关系(大于成对),DO可以解决,最先进的MBOA不能解决。此外,我们表明,DO可以利用TSP实例中的深层结构。总之,这些结果表明,存在的问题,DO可以发现和利用深层问题结构,其他算法不能。在DNN和优化之间建立这种联系,可以利用适用于DNN的先进工具,而这些工具是当前MBOA无法使用的。
2018-11-02 cs.LG cs.NE stat.ML
Proposition of a Theoretical Model for Missing Data Imputation using Deep Learning and Evolutionary Algorithms
University of Johannesburg(约翰内斯堡大学)
在过去的几十年里,缺失数据填补领域取得了重大进展。该领域的技术包括:期望最大化,神经网络与进化算法或优化技术和K-最近邻方法来解决这个问题。数据库中缺失数据录入的存在使得决策和数据分析的任务变得重要。因此,这一领域吸引了大量的研究兴趣,其目的是产生准确,时间效率和敏感的缺失数据填补技术,特别是当时间敏感的应用程序,如发电厂和绕组过程。在这篇文章中,考虑到任意和单调的缺失数据模式,我们假设使用自编码器和去噪自编码器构建的深度神经网络结合遗传算法,群体智能和最大似然估计方法作为新的数据插补技术,将导致比现有技术更好的插补值。还考虑了随机缺失、完全随机缺失和非随机缺失数据机制。我们还打算将模糊逻辑与深度神经网络结合使用来执行缺失数据填补任务,以及深度神经网络的不同构建块,如堆叠限制玻尔兹曼机和深度信念网络来测试我们的假设。这篇文章背后的动机是需要缺失数据插补技术,导致更好的插补值比现有的方法具有更高的准确性和更低的错误。
2015-12-04 cs.LG cs.NE
Evolutionary-Neural Hybrid Agents for Architecture Search
Jagiellonian University(雅盖隆大学);Google AI(谷歌人工智能)
神经结构搜索已经显示出自动设计神经网络的潜力。基于深度强化学习的智能体可以学习复杂的架构模式,并探索广阔的组合搜索空间。另一方面,进化算法提供了更高的样本效率,这对于这样的资源密集型应用是至关重要的。为了捕捉这两个世界的最好的,我们提出了一类进化神经混合代理(Evo-NAS)。我们表明,Evo-NAS代理优于神经和进化代理时,适用于一套文本和图像分类基准架构搜索。在一个高复杂度的架构搜索空间的图像分类,Evo-NAS代理超越了常用的代理实现的准确性,只有1/3的搜索成本。
2020-02-15 cs.LG cs.NE stat.ML
Evolutionary Discovery of Developmental Reward Schedules in Deep Reinforcement Learning
College of Computing at the Georgia Institute of Technology(佐治亚理工学院计算学院);School of Engineering and Applied Science at the University of Pennsylvania(宾夕法尼亚大学工程与应用科学学院)
提出进化框架自动发现深度强化学习中的发展性奖励调度,通过时变权重组合代理、新奇和反应性三种动机,在稀疏奖励任务上优于手工设计基线,并发现新奇动机主导早期训练。
2026-07-13 cs.LG cs.NE
Online Evolutionary Batch Size Orchestration for Scheduling Deep Learning Workloads in GPU Clusters
National University of Singapore(新加坡国立大学);ByteDance(字节跳动)
高效的GPU资源调度对于最大限度地提高资源利用率和节省训练成本至关重要,因为共享GPU集群中的深度学习工作负载量不断增加。现有的GPU处理器在很大程度上依赖于静态策略来利用深度学习作业的性能特征。然而,由于缺乏弹性,它们很难达到最佳效率。为了解决这个问题,我们提出了ONES,一个在线进化的弹性批量编排。ONES根据训练批量大小自动管理每个作业的弹性,从而最大化GPU利用率,提高调度效率。它通过在线进化搜索确定每个作业的批量大小,可以不断优化调度决策。我们评估的有效性与64 GPU的TACC的长角超级计算机上的ONES。结果表明,ONES可以以显著更短的平均作业完成时间胜过之前的深度学习算法。
2021-08-08 cs.AI cs.DC cs.LG
An Evolutionary Deep Learning Method for Short-term Wind Speed Prediction: A Case Study of the Lillgrund Offshore Wind Farm
The University of Adelaide(阿德莱德大学);Sapienza University of Rome(罗马大学);The Australian Institute for Machine Learning(澳大利亚机器学习研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
准确的短期风速预测是大规模风电并网发电的基础。然而,风速的季节性和随机性特征使预报成为一项具有挑战性的任务。本研究使用一种新的混合进化方法,该方法使用流行的进化搜索算法CMA-ES来调整两个用于风预测的长短期记忆(LSTM)ANN模型的超参数。建议的混合方法是从安装在位于波罗的海的瑞典风电场的海上风力涡轮机收集的数据进行训练。在实验中,我们考虑了两个预报范围,即提前10分钟(绝对短期)和提前1小时(短期)。我们的实验结果表明,新的方法是优于其他五个应用机器学习模型,即,多项式神经网络(PNN)、前馈神经网络(FNN)、非线性自回归神经网络(NAR)和自适应神经模糊推理系统(ANFIS)。
2020-02-21 cs.LG cs.NE eess.SP
Evolutionary Dispersal of Ecological Species via Multi-Agent Deep Reinforcement Learning
Natural Science Research Institute, KAIST(韩国科学技术院自然科学研究院);Korea University(高丽大学)
本研究将SDD类型奖励引入基于DQN的MARL框架,模拟单物种与捕食者—猎物互动,以揭示异质环境中的进化扩散策略并验证传统数学模型。
2024-10-24 cs.LG math.DS q-bio.PE
A Deep Evolutionary Approach to Bioinspired Classifier Optimisation for Brain-Machine Interaction
School of Engineering and Applied Science, Aston University(阿斯顿大学工程与应用科学学院)
本研究提出了一种新的方法来EEG数据分类探索的想法,使用演化计算,既选择有用的歧视性EEG功能和优化的人工神经网络的拓扑结构。应用进化算法从2550个EEG统计特征的初始集合中选择信息量最大的特征。多层感知器(MLP)的优化是在分类之前使用进化方法来估计网络的最佳超参数。还探索了深度学习和使用长短期记忆(LSTM)的调优,并针对每个问题测试了两种类型模型的自适应提升。提供了三个实验,使用不同的分类器进行比较:一个用于注意力状态分类,一个用于情绪情感分类,第三个实验的目标是猜测受试者正在思考的数字。结果表明,Adaptive Boosted LSTM在注意力、情感和数字数据集上的准确率分别为84.44%、97.06%和9.94%。进化优化的MLP在前两个实验中实现了接近自适应提升LSTM的结果,并且在数字猜测实验中显著更高,自适应提升DEvo MLP达到31.35%,同时训练和分类的速度明显更快。特别是,在相同的基准测试中,非增强DEvo MLP的准确率分别为79.81%、96.11%和27.07%。使用Muse EEG头带收集实验的两个数据集,所述Muse EEG头带具有对应于国际EEG放置标准的TP9、AF7、AF8和TP10位置的四个电极。EEG MindBigData数字数据集从TP9、FP1、FP2和TP10位置收集。
2019-08-13 cs.AI cs.LG cs.NE
Evolutionary Trigger Set Generation for DNN Black-Box Watermarking
UCLA(加州大学洛杉矶分校)
深度学习的商业化产生了对知识产权(IP)保护的迫切需求。深度神经网络(DNN)水印已被提出作为一个有前途的工具,以帮助模型所有者证明所有权和打击盗版。一种流行的水印方法是训练DNN以识别具有某些\textit{trigger}模式的图像。在本文中,我们提出了一种新的基于进化算法的方法来生成和优化触发模式。我们的方法显著降低了假阳性率,从而提供了令人信服的所有权证明。同时,它保持了水印对攻击的鲁棒性。我们将我们的方法与现有技术进行了比较,并在流行的模型和数据集上证明了其有效性。
2021-02-14 cs.CR cs.LG stat.ML
Energy-Dissipative Evolutionary Deep Operator Neural Networks
Purdue University(普渡大学)
该研究提出能量耗散型进化深度算子神经网络,结合标量辅助变量方法保留偏微分方程能量耗散特性,仅需初始条件数据即可预测一类偏微分方程的长时间解,经多类方程数值模拟验证了其准确性与效率。
2023-06-09 cs.LG stat.ML
Deep learning-guided evolutionary optimization for protein design
BoGA结合进化搜索与贝叶斯优化,高效探索蛋白质序列空间,用于设计具有特定功能的蛋白质,提升生物技术应用效率。
2026-03-03 cs.LG q-bio.QM stat.ML
FRnet-DTI: Deep Convolutional Neural Networks with Evolutionary and Structural Features for Drug-Target Interaction
United International University(联合国际大学);University of Tehran(德黑兰大学)
药物-靶标相互作用预测在药理学和治疗药物设计中具有重要意义。在本文中,我们提出了FRnet-DTI,一个自动编码器和卷积分类器的特征操作和药物靶点相互作用预测。提出了两种卷积神经网络,其中一个模型用于特征操作,另一个用于分类。使用第一种方法FRnet-1,我们为每个数据集中的每个实例生成4096个特征,并使用第二种方法FRnet-2来确定使用这些特征的交互概率。我们已经在其他研究人员详尽使用的四个金标准数据集上测试了我们的方法。实验结果表明,我们的方法显着改善了国家的最先进的方法上的三个四个药物-靶相互作用的金标准数据集上的曲线下面积的受试者操作特征(auROC)和精确召回曲线下的面积(auPR)度量。我们还介绍了20个新的潜在的药物靶点对相互作用的基础上高预测分数。可用代码:https:// github. com/ farshidrayhanuiu/ FRnet-DTI/ Web实现:http:// farshidrayhan. pythonanywhere. com/ FRnet-DTI/
2018-08-31 cs.LG stat.ML
Accelerating Deep Reinforcement Learning for Digital Twin Network Optimization with Evolutionary Strategies
Barcelona Neural Networking Center, Universitat Politècnica de Catalunya(巴塞罗那神经网络中心,加泰罗尼亚理工大学);Huawei Technologies Co.,Ltd.(华为技术有限公司)
新兴网络应用的最近增长(例如,卫星网络、车辆网络)正在增加管理现代通信网络的复杂性。因此,社区提出了数字孪生网络(DTN)作为有效网络管理的关键使能器。网络运营商可以利用DTN来执行不同的优化任务(例如,交通工程、网络规划)。深度强化学习(DRL)在解决网络优化问题时表现出了很高的性能。在DTN的环境中,DRL可以用来解决优化问题,而不会直接影响现实世界的网络行为。然而,DRL的规模与问题的大小和复杂性差。在本文中,我们探讨了使用进化策略(ES)训练DRL代理解决路由优化问题。实验结果表明,ES实现了128和6的训练时间分别为NSFNET和GEANT2拓扑结构的加速。
2022-02-01 cs.LG cs.NI
AlphaStar: An Evolutionary Computation Perspective
Imperial College London(帝国理工学院);New York University(纽约大学)
2019年1月,DeepMind向全世界展示了AlphaStar--第一个在《星际争霸2》游戏中击败职业玩家的人工智能(AI)系统--代表了AI进步的里程碑。AlphaStar借鉴了人工智能研究的许多领域,包括深度学习、强化学习、博弈论和演化计算(EC)。在本文中,我们主要通过EC的镜头来分析AlphaStar,对该系统进行了新的审视,并将其与该领域的许多概念联系起来。我们强调了一些最有趣的方面-拉马克进化,竞争性共同进化和质量多样性的使用。通过这样做,我们希望在更广泛的电子商务社区和近年来开发的最重要的人工智能系统之一之间架起一座桥梁。
2019-07-14 cs.AI cs.LG cs.NE
DECRL: A Deep Evolutionary Clustering Jointed Temporal Knowledge Graph Representation Learning Approach
State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);College of Computer Science and Technology(计算机科学与技术学院);Zhejiang University(浙江大学)
提出DECRL方法,通过深度演化聚类模块、无监督对齐机制和隐式相关性编码器捕获时序知识图谱中高阶相关性的时序演化,在七个数据集上达到SOTA性能。
2024-12-19 cs.AI cs.LG
eVAE: Evolutionary Variational Autoencoder
University of Technology Sydney(悉尼科技大学);Southeast University(东南大学)
本文提出进化变分自编码器eVAE,将变分遗传算法与VAE结合,通过内外联合训练动态优化ELBO中的权衡学习,有效改善重构损失、解纠缠和生成-推断平衡。
2023-01-01 cs.LG cs.NE
Forecasting of COVID-19 Cases, Using an Evolutionary Neural Architecture Search Approach
Saint Louis University(圣路易斯大学);North Tehran Branch, Islamic Azad University(伊斯兰阿扎德大学北德黑兰分校)
2019年末,新型冠状病毒病(COVID-19)这一严重的呼吸道疾病爆发,自此,全球一直面临由其引发的致命大流行。每日病例数的不确定性使决策者难以控制疫情。深度学习模型已经证明,它们可以在许多现实世界的问题中派上用场,例如医疗保健问题。然而,它们需要大量的数据来正确地学习功能并输出可接受的解决方案。由于COVID-19是一种新出现的疾病,因此没有太多数据可用,尤其是在大流行的第一阶段,这种数据短缺使得设计优化模型具有挑战性。为了克服这些问题,我们首先引入了一个具有增强特征的新数据集,然后使用一种新方法预测COVID-19病例,使用进化神经架构搜索与二进制蝙蝠算法(BBA)来生成优化的深度递归网络。最后,为了证明我们的方法的有效性,我们对伊朗的COVID-19日常病例进行了比较研究。结果证明了我们的方法能够生成准确的深层架构来预测大流行病例,即使在数据有限的早期阶段。
2021-09-15 cs.LG cs.NE
Evolutionary fine tuning of quantized convolution-based deep learning models
AGH University(AGH大学)
本文提出利用进化策略优化量化模型的精度,通过调整少量权重的量化状态提升性能,验证了在VGG、ResNet等架构上的有效性。
2026-04-19 cs.AI cs.LG cs.NE
Towards Robust Universal Perturbation Attacks: A Float-Coded, Penalty-Driven Evolutionary Approach
University of California, Los Angeles(加州大学洛杉矶分校);Cross Labs, Cross-Compass Ltd.(Cross Labs公司);Oakland University(奥克兰大学)
本文提出了一种浮点编码、基于惩罚的进化方法,用于生成鲁棒的通用对抗扰动,通过降低扰动可见性并提高攻击成功率,展示了在不同深度学习架构上的有效性。
2026-01-18 cs.CV cs.LG
Learning to Evolve
Technical University of Munich(慕尼黑工业大学)
进化和学习是生命为了生存和超越局限而适应的两个基本机制。这些生物现象激发了进化算法和深度学习等成功的计算方法。进化依赖于随机突变和随机基因重组。在这里,我们表明,学习进化,即学习变异和重组比随机更好,改善了进化的结果,在每一代的适应度增加,甚至在可达到的适应度。我们使用深度强化学习来学习动态调整进化算法的策略以适应不同的环境。我们的方法优于经典的组合和连续优化问题的进化算法。
2019-05-08 cs.AI cs.CV cs.LG
Cascaded deep monocular 3D human pose estimation with evolutionary training data
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
端到端深度表示学习已经实现了单目3D人体姿势估计的显著准确性,但这些模型可能会在有限和固定的训练数据下无法识别姿势。本文提出了一种新的数据增强方法,该方法具有以下特点:(1)可扩展性,可用于合成大量的训练数据(超过800万个有效的3D人体姿势和相应的2D投影)用于训练2D到3D网络,(2)可以有效地减少数据集偏差。我们的方法发展了一个有限的数据集,合成看不见的3D人体骨架的基础上,层次的人类表示和启发先验知识的启发。大量的实验表明,我们的方法不仅在最大的公共基准上达到了最先进的准确性,而且还能更好地推广到看不见的和罕见的姿势。代码,预训练模型和工具可在此HTTPS URL中获得。
2021-04-09 cs.CV cs.LG eess.IV
AdaSpring: Context-adaptive and Runtime-evolutionary Deep Model Compression for Mobile Applications
Northwestern Polytechnical University(西北工业大学);Xidian University(西安电子科技大学)
有许多深度学习(例如,DNN)驱动的移动和可穿戴应用程序今天连续和不显眼地感知周围环境,以提高人类生活的各个方面。为了实现鲁棒和私有的移动感测,DNN倾向于经由模型压缩在资源受限的移动设备上本地部署。目前的做法是手工制作的DNN压缩技术,即,为了优化DNN相关性能(例如,参数大小),或按需DNN压缩方法,即,用于优化依赖于硬件的度量(例如,延迟)不能本地在线,因为它们需要离线再训练以确保准确性。此外,他们中没有一个人将他们的努力与运行时自适应压缩相关联,以考虑移动应用程序部署上下文的动态特性。为了解决这些挑战,我们提出了AdaSpring,一个上下文自适应和自进化的DNN压缩框架。它在本地在线启用运行时自适应DNN压缩。具体地说,它提出了一个无再训练和自进化网络的集成训练,以集成多个替代DNN压缩配置(即,压缩的架构和权重)。然后引入运行时搜索策略来快速搜索最合适的压缩配置并演化相应的权重。通过对三个平台上的五个任务的评估和一个真实案例研究,实验结果表明,与手工压缩技术相比,AdaSpring在DNN中获得了高达3.1倍的延迟减少,4.2倍的能效提高,而运行时进化延迟仅<= 6.2ms。
2021-01-28 cs.LG cs.NI
Real-time Federated Evolutionary Neural Architecture Search
University of Surrey(萨里大学)
联邦学习是一种分布式机器学习方法,用于隐私保护,两个主要的技术挑战阻碍了联邦学习的更广泛应用。一个是联邦学习对通信提出了很高的要求,因为大量的模型参数必须在服务器和客户端之间传输。另一个挑战是,在联邦学习中训练深度神经网络等大型机器学习模型需要大量的计算资源,这对于手机等边缘设备来说可能是不现实的。当在联邦学习中执行深度神经架构搜索时,问题变得更糟。为了解决上述挑战,我们提出了一种进化的方法来实时的【形】联邦神经架构搜索,不仅优化模型的性能,但也减少了本地负载。在搜索过程中,引入了双采样技术,其中对于每个个体,主模型的随机采样子模型被传输到多个随机采样的客户端进行训练,而无需重新初始化。这样,我们有效地减少了进化优化所需的计算和通信开销,避免了局部模型的大的性能波动,使得所提出的框架非常适合于实时的【形】联邦神经结构搜索.
2020-03-04 cs.DC cs.LG stat.ML
Deep Generative Models for Phylogenetic Inference with Complex Evolutionary Processes
New York University(纽约大学)
该研究提出基于离散扩散框架的树条件生成模型,在复杂进化过程的系统发育推断中,比Phyloformer 2更准确,在现实数据上优于IQ-Tree。
2026-10-15 cs.LG q-bio.PE
Task Delay and Energy Consumption Minimization for Low-altitude MEC via Evolutionary Multi-objective Deep Reinforcement Learning
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);College of Software, Jilin University(吉林大学软件学院);Department of Electrical and Computer Engineering, Auburn University(奥本大学电气与计算机工程系)
针对低空无人机辅助MEC系统中任务延迟与能耗的权衡问题,提出融合进化框架与目标分布学习的多目标深度强化学习算法,可动态调权获取更优非支配策略,平衡多优化目标。
2025-01-11 cs.LG cs.NE cs.NI
Multi-Objective Evolutionary Design of Deep Convolutional Neural Networks for Image Classification
Michigan State University(密歇根州立大学)
卷积神经网络(CNN)架构的早期发展主要是由人类专业知识和精心设计的过程驱动的。最近,提出了神经结构搜索,其目的是自动化网络设计过程并生成任务相关的结构。虽然现有的方法已经在图像分类中实现了有竞争力的性能,但是由于两个原因,它们并不很好地适合于计算预算受限的问题:(1)所获得的架构或者仅针对分类性能进行优化,或者仅针对一个部署场景进行优化;(2)在大多数方法中,搜索过程需要大量的计算资源。为了克服这些限制,我们提出了一种进化算法,用于在多个目标下搜索神经架构,例如分类性能和浮点运算(FLOPs)。所提出的方法解决了第一个缺点,通过填充一组架构,以近似整个帕累托边界,通过遗传操作,重组和修改建筑组件逐步。我们的方法通过仔细缩小搜索过程中的架构,以及通过贝叶斯模型学习加强过去成功的架构中共享的模式,提高了计算效率。这两个主要贡献的集成允许有竞争力的架构的有效设计,并且在大多数情况下优于基准图像分类数据集上手动和自动设计的架构:CIFAR,ImageNet和人类胸部X射线。同时获得多个架构的选择,不同的计算要求提供的灵活性,进一步区分我们的方法从文献中的其他方法。代码可在https://github.com/mikelzc1990/nsganetv1上获得
2020-09-15 cs.CV cs.LG cs.NE
Evolutionary Deep Reinforcement Learning for Dynamic Slice Management in O-RAN
University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);Clemson University(克莱姆森大学)
下一代无线网络需要同时满足多种业务和标准。为了满足即将到来的严格标准,开发了一种新的开放式无线电接入网络(O-RAN),该网络具有灵活的设计,分散的虚拟和可编程组件以及智能闭环控制等独特功能。O-RAN切片正在被研究为在面对不断变化的环境时确保网络服务质量(QoS)的关键策略。然而,必须动态地控制不同的网络切片,以避免由环境中的快速变化引起的服务水平协议(SLA)变化。因此,本文介绍了一种新的框架,能够管理网络切片,通过配置的资源智能。由于不同的异构环境,智能机器学习方法需要充分的探索来处理无线网络中最恶劣的情况并加速融合。为了解决这个问题,提出了一种基于进化的深度强化学习(EDRL)的新解决方案,以加速和优化无线接入网(RAN)智能控制器(RIC)模块中的切片管理学习过程。为此,O-RAN切片被表示为马尔可夫决策过程(MDP),然后使用EDRL方法最优地求解该MDP以进行资源分配以满足服务需求。仿真结果表明,在满足服务需求方面,所提出的方法比日间行车线基线高出62.2%。
2022-09-30 cs.AI cs.IT cs.LG
Learning Non-Markovian Quantum Noise from Moiré-Enhanced Swap Spectroscopy with Deep Evolutionary Algorithm
Google Research(谷歌研究院);University of California, Santa Barbara(加州大学圣巴巴拉分校)
非晶半导体中的二能级系统(TLS)缺陷是固态量子比特中噪声和退相干的主要来源。由TLS-量子比特耦合引起的门相关非马尔可夫误差对容错量子计算是有害的,并且在现有文献中没有严格处理。在这项工作中,我们推导出非马尔可夫动力学之间的TLS和量子比特在SWAP类两量子比特门和相关的平均门保真度的频率可调的量子比特。这种依赖于门的误差模型有助于使用量子位作为传感器,以同时学习量子位的环境和控制波形中的实际缺陷。我们将最先进的机器学习算法与Moiré增强交换光谱相结合,以实现使用噪声实验数据的鲁棒学习。深度神经网络用于表示从实验数据到TLS参数的功能映射,并通过进化算法进行训练。我们的方法实现了最高的学习效率和对实验缺陷的鲁棒性,代表了对环境和控制缺陷的原位量子控制优化的重要一步。
2019-12-09 cs.LG quant-ph
Neural Operator-enabled Topology-informed Evolutionary Strategy for PDE-Constrained Optimization
针对偏微分方程控制物理系统逆设计难题,NOTES集成降维、表示学习与进化优化,结合神经算子与CMA-ES在紧凑潜在空间全局优化,在纳米光子束偏转器及结构优化中表现出色,提供了灵活可转移的逆设计框架。
2026-08-17 cs.LG
Thermodynamics of Evolution and the Origin of Life
National Center for Biotechnology Information, National Library of Medicine(美国国家生物技术信息中心,美国国家医学图书馆);Duluth Institute for Advanced Study(德卢斯高等研究院);Radboud University(拉德堡德大学)
我们概述了进化和生命起源的现象学理论相结合的形式主义的经典热力学与统计描述的学习。最大熵原理约束的损失函数的最小化的要求,导出一个典型的有机体(人口),相应的配分函数(宏观对应的健身)和自由能(宏观对应的添加剂健身)。我们进一步将温度(生物温度)的生物对应物定义为进化过程的随机性的度量,并将化学势(进化势)定义为向进化系统添加新的可训练变量(如额外的基因)所需的进化工作量。然后,我们开发了一个现象学的方法来描述进化,其中包括建模的生物温度和进化潜力的函数的大潜力。我们展示了这种现象学的方法可以用来研究“理想突变”的进化模型及其推广。最后,我们表明,在这个热力学框架内,进化中的主要转变,如从分子系综到生物系综的转变,即生命的起源,可以被建模为真正的物理相变的特殊情况,这种相变与新型巨正则系综的出现和相应的新描述水平有关
2021-10-28 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Classification of Brainwave Signals Based on Hybrid Deep Learning and an Evolutionary Algorithm
University of Sulaimani(苏莱曼尼大学)
脑波信号通过脑电图(EEG)设备读取。这些信号是由活跃的大脑根据大脑活动和思想产生的。由于脑电波信号的非平稳性,其分类是一项具有挑战性的任务。为了解决这个问题,本文提出了一种卷积神经网络(CNN)模型来分类脑波信号。为了评估所提出的模型的性能,通过记录可见和不可见两种情况下的脑电波信号来开发数据集。在可见模式下,人类主体专注于呈现的颜色和形状。同时,在隐形模式下,受试者闭上眼睛思考特定的颜色或形状。在同一数据集上提供了原始CNN和所提出的CNN架构之间的比较。结果表明,与标准CNN相比,所提出的CNN模型具有更高的分类精度。当所提出的CNN应用于可见颜色模式时,达到的最佳准确率为92%。在未来,对所提出的CNN的改进将能够以有效的方式对原始EEG信号进行分类。
2019-12-08 cs.CV cs.LG eess.IV