Evolutionary Generative Adversarial Networks with Crossover Based Knowledge Distillation
Jilin University(吉林大学)
生成对抗网络(GAN)是一种对抗模型,它已被证明是有效的各种生成任务。然而,GAN及其变体也遭受许多训练问题,例如模式坍塌和梯度消失。在本文中,我们首先提出了一个通用的交叉算子,它可以广泛应用于GANs使用进化策略。在此基础上设计了一个进化GAN框架C-GAN,并将交叉算子与进化生成对抗网络(EGAN)相结合,实现了带交叉的进化生成对抗网络(CE-GAN)。在使用多种损失函数作为变异算子生成变异个体的前提下,对生成的样本进行评价,并允许变异个体以知识蒸馏的方式从输出中学习经验,模仿最佳输出结果,产生更好的后代。然后,我们选择了最好的后代作为父母,为后续的训练,使用神经网络作为评估器。在真实数据集上的实验证明了CE-GAN的有效性,并表明我们的方法在生成的图像质量和时间效率方面具有竞争力。
2021-07-19 cs.LG cs.NE
Deep Evolutionary Learning for Molecular Design
Brock University(布鲁克大学);Digital Technologies Research Centre(数字技术研究中心);National Research Council Canada(加拿大国家研究委员会)
在本文中,我们提出了一个深度进化学习(DEL)过程,集成了基于片段的深度生成模型和多目标演化计算的分子设计。我们的方法使(1)生成模型的潜在空间中的进化操作,而不是结构空间,为下一代进化生成新的有前途的分子结构,以及(2)使用新生成的高质量样本生成模型微调。因此,DEL实现了一个数据模型协同进化的概念,提高了样本种群和生成模型学习。在两个公开数据集上的实验表明,DEL算法得到的样本总体具有更好的性质分布,优于多目标贝叶斯优化算法得到的样本.
2020-12-28 cs.AI cs.NE
GeM-EA: A Generative and Meta-learning Enhanced Evolutionary Algorithm for Streaming Data-Driven Optimization
South China University of Technology(华南理工大学)
本文提出GeM-EA,结合元学习和生成重放,提升流数据驱动优化的适应速度和鲁棒性。
2026-04-14 cs.AI cs.NE
Complexity and Aesthetics in Generative and Evolutionary Art
在本文中,我们研究复杂性的概念,因为它适用于生成和进化的艺术和设计。复杂性有许多不同的、学科特定的定义,如物理系统的复杂性(熵)、信息复杂性的算法度量和“复杂系统”领域。我们将一系列不同的复杂性度量应用于三个不同的进化艺术数据集,并研究复杂性与艺术家的个人审美判断(在两个数据集的情况下)或生成3D形式的物理测量复杂性之间的相关性。我们的研究结果表明,每个集合和度量的相关程度是不同的,这表明没有总体上“更好”的度量。然而,特定的措施在个别数据集上表现良好,表明谨慎的选择可以增加使用这些措施的价值。然后,我们进行了一个大规模的调查,复杂性和美学的看法,为观众的复杂性措施的价值进行评估。最后,我们讨论的价值直接措施的生成和进化的艺术,加强最近的研究结果,从神经影像学和心理学,这表明人类的审美判断是由许多外在因素超出了可测量的属性被判断的对象。
2022-01-05 cs.CC cs.NE
Evolutionary Multiobjective Optimization Driven by Generative Adversarial Networks (GANs)
Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学);University of Surrey(萨里大学)
最近,越来越多的作品提出了使用机器学习模型来驱动进化算法。通常,这种基于模型的进化算法的性能高度依赖于所采用的模型的训练质量。由于它通常需要一定量的数据(即算法生成的候选解)用于模型训练,由于维数灾难,性能随着问题规模的增加而迅速恶化。为了解决这个问题,我们提出了一个多目标进化算法驱动的生成对抗网络(GANs)。在算法的每一代中,首先将父解分为真实和伪样本进行训练GANs,然后由训练好的GANs对子解进行采样。由于GANs强大的生成能力,我们提出的算法能够在有限的训练数据的高维决策空间中生成有前途的后代解决方案。该算法进行了测试,10个基准问题,多达200个决策变量。在这些测试问题上的实验结果证明了该算法的有效性。
2020-04-09 cs.LG cs.NE
Improving Many-Objective Evolutionary Algorithms by Means of Edge-Rotated Cones
给定$m$维目标空间中的一个点,该点的任何$\varepsilon$ -球都可以划分为不可比较区域、支配区域和控制区域。不可比区域的大小与支配(和主导)区域的大小之间的比率与$1/2^{m-1}$成比例地减小,即,帕累托主导的正体的体积与所有其他体积相比。由于这个原因,通过随机的各向同性突变来找到主导点变得越来越不可能。作为一种补救措施,在许多目标优化搜索停滞,在本文中,我们建议提高帕累托优势秩序涉及一个钝凸优势锥的收敛阶段的进化优化算法。我们提出了边旋转锥作为广义的帕累托优势锥的开口角可以控制一个单一的参数。该方法集成在几个国家的最先进的多目标进化算法(MOEAs)和测试基准问题的四,五,六和八个目标。计算实验表明,这些边缘旋转锥的能力,以提高多目标优化问题的MOEA的性能。
2020-06-19 cs.NE
IE-GAN: An Improved Evolutionary Generative Adversarial Network Using a New Fitness Function and a Generic Crossover Operator
Jilin University(吉林大学);Northeast Normal University(东北师范大学)
生成对抗网络(GANs)的训练通常容易受到模式坍塌和梯度消失的影响。进化生成对抗网络(E-GAN)试图通过使用多个损失函数优化学习策略来缓解这些问题。它使用基于学习的进化框架,专门为一般的深度神经网络开发新的变异算子。然而,E-GAN适应度函数中的评价机制不能真实反映个体对环境的适应性,导致对个体多样性的评估不准确。此外,E-GAN的进化步骤中只包含变异算子,没有考虑交叉算子,隔离了个体之间的优势特征。为了解决这些问题,我们提出了一个改进的E-GAN框架称为IE-GAN,它引入了一个新的适应度函数和一个通用的交叉算子。特别是,从客观的角度来看,所提出的适应度函数可以更准确地模拟个体的进化过程。交叉算子是进化算法中常用的一种算子,它通过知识蒸馏使后代能够模仿双亲的优良基因表达。在各种数据集上的实验证明了我们提出的IE-GAN在生成样本的质量和时间效率方面的有效性。
2022-11-01 cs.LG cs.NE
Neural Generative Models for Global Optimization with Gradients
全局优化的目的是找到任意类函数的全局最优值,可能是高度多峰的函数。在本文中,我们专注于可微函数的全局优化的子问题,我们提出了一个进化搜索启发的解决方案,我们通过生成神经网络模型点搜索分布。这种方法使我们能够对多样化和复杂的搜索分布进行建模,基于此,我们可以有效地探索复杂的目标景观。在我们的实验中,我们展示了我们的算法与经典的进化搜索和基于梯度的解决方案的多峰函数的基准集的实际优势,并演示了它如何可以用来加速贝叶斯优化与高斯过程。
2018-06-14 cs.NE
Evolutionary Multi-Objective Optimization Driven by Generative Adversarial Networks
近年来,越来越多的研究者提出用机器学习模型来驱动进化算法,通常,这种基于模型的进化算法的性能很大程度上依赖于所采用的模型的训练质量,因为它通常需要一定的数据量(即由算法生成的候选解)进行模型训练时,性能随着问题规模的增加而迅速恶化,为了解决这一问题,提出了一种基于生成对抗网络(GANs)的多目标进化算法,在每一代算法中,首先将父解分为\emph{real}和\emph{fake}样本来训练GANs;然后由经过训练的GANs对后代解进行采样。由于GANs强大的生成能力,我们提出的算法能够在高-在有限训练数据的多维决策空间中,对10个决策变量多达200个的基准问题进行了测试,实验结果表明了该算法的有效性所提出的算法。
2020-04-07 cs.AI cs.LG cs.NE
Evolutionary Variational Optimization of Generative Models
University of Oldenburg(奥尔登堡大学);CERN(欧洲核子研究中心)
我们结合了两种流行的优化方法来获得生成模型的学习算法:变分优化和进化算法。通过使用截断后验作为变分分布族,实现了具有离散潜伏期的生成模型的组合。截断后验的变分参数是潜状态的集合。通过将这些状态解释为个体的基因组,并使用变分下界来定义适应度,我们可以应用进化算法来实现变分循环。所使用的变分分布是非常灵活的,我们表明,进化算法可以有效地和高效地优化变分界。此外,变分循环是普遍适用的(“黑盒”),不需要分析推导。为了显示普遍适用性,我们将该方法应用于三种生成模型(我们使用噪声或贝叶斯网络,二进制稀疏编码和尖峰和板条稀疏编码)。为了证明新的变分方法的有效性和效率,我们使用标准的图像去噪和修复的竞争基准。这些基准允许对各种方法进行定量比较,包括概率方法,深度确定性和生成网络以及非局部图像处理方法。在“zero-shot”学习类别中(当仅使用损坏的图像进行训练时),我们观察到进化变分算法在许多基准设置中显着提高了最先进的水平。对于一个著名的修复基准,我们还观察到所有类别的算法的最先进的性能,虽然我们只对损坏的图像进行训练。在一般情况下,我们的调查突出的重要性,研究生成模型的优化方法,以实现性能的改善。
2021-04-16 cs.LG cs.NE stat.ML
Conserving Human Creativity with Evolutionary Generative Algorithms: A Case Study in Music Generation
Ridge AI(里奇人工智能公司);Wondr Search(万德搜索公司)
本文以音乐生成为例,提出将人类反馈融入差分进化算法,在商业签约验证其可行性的同时,探索以人为中心的进化生成方法,以避免传统生成模型耗尽人类训练数据后依赖随机函数的问题。
2024-06-09 cs.AI cs.NE math.OC
Multi-population GAN Training: Analyzing Co-Evolutionary Algorithms
本文实证比较了多种协同进化GAN训练策略,发现完全代际替换(μ,λ)在样本质量和多样性上优于精英保留方法,为设计更有效的基于种群的生成模型提供了指导。
2025-07-17 cs.NE
Re-purposing Heterogeneous Generative Ensembles with Evolutionary Computation
Massachusetts Institute of Technology, CSAIL(麻省理工学院计算机科学与人工智能实验室)
生成对抗网络(GANs)是生成建模的流行工具。他们对抗性学习的动力学在训练过程中引起了收敛病态,如模式和模式崩溃。在机器学习中,预测器的集合在许多任务中表现出比单个预测器更好的结果。在这项研究中,我们应用两种进化算法(EA)来创建集成以重新使用生成模型,即,给定针对一个目标优化的一组异构发生器(例如,最小化Frechet起始距离),创建它们的集合以优化不同的目标(例如,最大化所生成的样本的多样性)。第一种方法受系综的确切大小的限制,第二种方法仅限制系综大小的上界。在MNIST图像基准测试上的实验分析表明,这两种EA集成创建方法都可以重新使用模型,而不会减少其原始功能。基于EA的表现出显着更好的性能相比,其他基于几何的方法。当比较两种进化时,只有一个集合大小上限的一种是最好的。
2020-08-03 cs.AI cs.LG cs.NE
Evolutionary Generative Adversarial Networks
University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学);Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学)
生成对抗网络(GAN)对于学习真实世界数据的生成模型是有效的。然而,现有的GANs(GAN及其变体)往往会遭受训练问题,例如不稳定性和模式坍塌。在本文中,我们提出了一种新的GAN框架,称为进化生成对抗网络(E-GAN),用于稳定的GAN训练和改进的生成性能。与现有的GANs不同,GANs采用预定义的对抗目标函数交替训练生成器和训练器,我们利用不同的对抗训练目标作为变异操作,并进化生成器群体以适应环境(即,的)。我们还利用评估机制来衡量生成的样本的质量和多样性,以便只保留性能良好的生成器并用于进一步的训练。通过这种方式,E-GAN克服了个体对抗训练目标的局限性,并始终保留最佳后代,有助于GANs的进步和成功。在多个数据集上的实验表明,E-GAN实现了令人信服的生成性能,并减少了现有GANs中固有的训练问题。
2018-03-01 cs.LG cs.NE stat.ML
The Evolutionary Process of Image Transition in Conjunction with Box and Strip Mutation
进化算法已被用于多种方式来生成数字艺术。我们研究如何进化过程中使用的进化艺术,并提出了一种新的方法来过渡的图像。我们的主要思想是定义数字图像转换的进化过程,结合不同的变异和进化机制。我们引入盒和带变异算子,这是专门为图像过渡设计的。我们的实验结果表明,结合这些变异算子的进化算法的过程中,可以作为一个有价值的方式来产生独特的生成艺术。
2016-08-05 cs.NE
Adaptation and Self-Organization in Evolutionary Algorithms
摘要:演化计算的目标是通过模拟自然进化的机制来解决实际问题(例如优化、数据采掘)。本论文讨论了与进化系统中的适应和自组织相关的几个主题,其总体目标是提高进化算法(EA)的性能,理解其与自然进化的关系,并引入新的机制来模拟复杂的生物系统。
2009-07-03 cs.NE
Adversarial attacks to image classification systems using evolutionary algorithms
本文提出结合进化算法与生成对抗网络,在潜在空间中搜索对抗性攻击向量,并在手写数字和物体图像分类上分别取得最高35%和75%的攻击成功率,优于已有搜索方法。
2025-07-17 cs.NE
Evolutionary Computation: A Paradigm of Natural Generative AI and Creative Synthesis
Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore(前沿人工智能研究中心(CFAR),科技研究局(A*STAR),新加坡);School of Mechanical Sciences, Indian Institute of Technology (IIT) Goa(机械科学学院,印度理工学院(IIT) Goa);School of Computer Science and Technology, Dalian University of Technology (DLUT)(计算机科学与技术学院,大连理工大学);College of Computing and Data Science (CCDS), Nanyang Technological University (NTU)(计算与数据科学学院(CCDS),南洋理工大学);Honda Research Institute Europe (HRI-EU), Offenbach am Main, Germany(本田欧洲研究院(HRI-EU),德国Offenbach am Main);Data Science and Artificial Intelligence Research Centre, School of Computer Science and Engineering, Nanyang Technological University (NTU)(数据科学与人工智能研究中心,计算机科学与工程学院,南洋理工大学)
本文提出将进化计算重新定义为自然生成式人工智能(NatGenAI),通过探索性搜索、破坏性算子和多任务机制,实现超越数据分布的创造性生成,推动创新与开放式发现。
2026-11-11 cs.LG cs.NE
Functional Generative Design: An Evolutionary Approach to 3D-Printing
消费级打印机广泛使用,但它们打印复杂对象的能力有限。因此,需要发现具有相同功能但可打印的新设计。一个代表性的问题是生产一种工作可靠的机械弹簧。所提出的方法发现解决这个问题的方法包括三个组成部分:第一,一个有效的搜索空间是通过一个变分自编码器(VAE)学习;第二,一个代理模型的功能设计建立;和第三,一个遗传算法是用来同时更新的超参数的代理和优化设计使用更新的代理。使用汽车发射器机制作为测试域,弹簧设计进行了3D打印和评估,以更新代理模型。然后进行两个实验:首先,从用于训练VAE模型的训练集中随机选择基于代理的优化器的初始设计集,这导致了剥削性搜索行为。另一方面,在第二个实验中,初始集由来自同一训练集的更均匀选择的设计组成,并且观察到更具探索性的搜索行为。这两个实验都表明,该方法生成了有趣、成功和可靠的弹簧几何形状,对3D打印过程中固有的噪声具有鲁棒性。该方法可以推广到其他功能设计问题,从而使消费级3D打印更加通用。
2018-04-19 cs.NE
Manifold Interpolation for Large-Scale Multi-Objective Optimization via Generative Adversarial Networks
大规模多目标优化问题(LSMOPs)的特点是涉及数百甚至数千个决策变量和多个相互冲突的目标。一个优秀的求解LSMOPs的算法应该在大规模的搜索空间中找到具有多样性的Pareto最优解,并跳出局部最优。已有的研究表明,这些最优解均匀分布在低维空间的流形结构上。然而,传统的进化算法求解LSMOPs在处理这种结构流形时存在一些不足,导致多样性差,局部最优,搜索效率低下。在这项工作中,生成对抗网络(GAN)为基础的流形插值框架,提出了学习流形和生成高质量的解决方案,在这个流形上,从而提高进化算法的性能。我们比较了所提出的算法与几个国家的最先进的算法在大规模多目标基准函数。实验结果表明,该框架在解决LSMOPs方面取得了显着的改善。
2021-01-08 cs.NE
CatGAN: Category-aware Generative Adversarial Networks with Hierarchical Evolutionary Learning for Category Text Generation
Sun Yat-sen University(中山大学)
生成多类文本是一项具有挑战性的任务,并引起了越来越多的关注。由于生成对抗网络(GANs)在一般文本生成方面表现出了竞争性的结果,因此在以前的一些工作中,它们被扩展到类别文本生成。然而,复杂的模型结构和学习策略限制了它们的性能,加剧了训练的不稳定性。本文提出了一种类别感知的GAN(CatGAN),它由一个有效的类别感知的类别文本生成模型和一个用于训练我们的模型的分层进化学习算法组成。类别感知模型直接测量每个类别上真实样本和生成样本之间的差距,然后缩小这个差距将指导模型生成高质量的类别样本。Gumbel-Softmax松弛进一步将我们的模型从用于在离散数据上更新CatGAN的复杂学习策略中解放出来。此外,仅关注样本质量通常会导致模式坍塌问题,因此引入分层进化学习算法来稳定训练过程,并在训练CatGAN时获得质量和多样性之间的权衡。实验结果表明,CatGAN优于大多数现有的最先进的方法。
2019-11-20 cs.CL cs.LG cs.NE
Exploring Generative Adversarial Networks for Text-to-Image Generation with Evolution Strategies
在生成模型的背景下,文本到图像生成在近年来取得了令人印象深刻的结果。提出了使用不同方法的模型,并在大量文本和图像对的数据集中进行了训练。然而,一些方法依赖于预先训练的模型,例如生成对抗网络,通过使用基于梯度的方法来更新潜在向量,依赖于损失函数,例如余弦相似性,搜索生成模型的潜在空间。在这项工作中,我们遵循不同的方向,提出使用协方差矩阵自适应演化策略来探索生成对抗网络的潜在空间。我们将这种方法与使用Adam和混合策略的方法进行比较。我们设计了一个实验研究,比较使用不同的文本输入的图像生成的三种方法,通过调整的评价方法的基础上,将所得的样本投影到一个二维网格检查的多样性的分布。结果表明,进化方法实现了更多的多样性,在生成的样本,探索不同区域的网格。此外,我们表明,混合方法结合了基于梯度和进化方法的探索领域,利用结果的质量。
2022-07-06 cs.NE
Evolvability signatures of generative encodings: beyond standard performance benchmarks
进化机器人是一种很有前途的方法,可以自动合成具有类似动物能力的机器,但该领域缺乏坚实的基础。特别地,进化系统目前仅通过其进化的工件可以针对特定任务实现的适应度得分来评估,而这种基于适应度的比较提供了关于相同系统将如何评估不同任务的有限见解,以及其响应适应度变化的自适应能力(例如,对机器的损坏,或在新的情况下)。为了克服这些限制,我们引入了“进化签名”的概念,它描绘了两种行为多样性的突变后统计分布(突变后机器人的行为有多不同?)和适应度值(突变后的适应度有多大不同?)。我们测试了这一概念的相关性,通过使用五种不同的基因型-表型映射(直接编码,开环和闭环中央模式发生器的生成编码,神经网络的生成编码,和单单元模式发生器(SUPG))的六足机器人运动的控制器。我们观察到每个编码的进化签名和六足动物适应所发生的损害所需的世代数之间的预测关系。我们的研究还表明,在五个调查的编码,SUPG方案实现了最好的进化签名,并始终是最重要的恢复机器人损坏后的有效步态。总的来说,我们的可进化性签名巧妙地补充了现有的任务性能基准,并为进化机器人研究奠定了更坚实的基础。
2015-03-28 cs.NE
Machine learning for improving performance in an evolutionary algorithm for minimum path with uncertain costs given by massively simulated scenarios
在这项工作中,我们介绍了一个实施方案,其中机器学习技术有助于提高整体性能的进化算法的优化问题,即变化的强大的最小成本路径图。在这个大数据优化问题中,必须从一组可用的场景(由模拟过程生成)中获得在大多数场景中实现良好成本的路径。就计算资源而言,我们的进化算法最昂贵的任务是候选路径的评估:适应度函数必须计算每个生成场景中候选路径的成本。鉴于大量的场景,这个任务必须在分布式环境中实现。我们实现了梯度提升决策树来对候选路径进行分类,以识别出好的候选路径。不太好的候选人的成本只是预测。我们研究了训练过程、增益性能、精度和其他变量。我们的计算实验表明,在有限的精度损失的代价,计算性能显着提高。
2021-02-03 cs.NE stat.AP
Improving Gradient Estimation in Evolutionary Strategies With Past Descent Directions
ETH Zürich(苏黎世联邦理工学院)
进化策略(ES)是一种有效的黑盒优化技术,适用于无法计算真实梯度的深度神经网络,例如强化学习。我们继续最近的一系列研究,使用代理梯度,以提高梯度估计ES。我们提出了一种新的方法,最佳地将替代梯度信息。与以前的工作不同,我们的方法不需要关于代理梯度质量的信息,并且总是保证找到比代理梯度更好的下降方向。这允许迭代地使用先前的梯度估计作为当前搜索点的替代梯度。我们从理论上证明,这会产生快速收敛到真正的梯度线性函数和简化的假设下,它显着提高一般函数的梯度估计。最后,我们评估我们的方法经验MNIST和强化学习任务,并表明它大大提高了ES的梯度估计,没有额外的计算成本。
2019-10-11 cs.LG cs.NE
Improving Confidence in Evolutionary Mine Scheduling via Uncertainty Discounting
Maptek Pty. Ltd(Maptek私人有限公司);The University of Adelaide(阿德莱德大学)
本文提出在进化矿山排产中引入不确定性折现机制,以概率界限刻画各周期利润,牺牲单一模型最优性来降低下行风险,并在 Maptek Evolution 上验证了其有效性。
2023-05-29 cs.AI cs.NE
Self-Improving Language Models for Evolutionary Program Synthesis: A Case Study on ARC-AGI
本文提出SOAR方法,通过将语言模型融入自改进进化循环中,提升编程合成性能,在ARC-AGI基准上实现显著改进。
2026-03-16 cs.AI cs.LG cs.NE
Improving image generative models with human interactions
Google Brain(谷歌大脑)
GANs提供了一个框架,用于训练模拟数据分布的生成模型。然而,在许多情况下,我们希望训练这些生成模型来优化它生成的数据中的一些辅助目标函数,例如制作更美观的图像。在某些情况下,这些目标函数很难评估,例如,它们可能需要人工交互。在这里,我们开发了一个系统,用于有效地改善GAN,以针对涉及人类交互的目标,特别是生成图像,增加积极的用户交互率。为了改进生成模型,我们从一组相对较小的交互中构建目标域中的人类行为模型,然后使用该行为模型作为辅助损失函数来改进生成模型。我们表明,该系统是成功的,至少在模拟数据,提高积极的相互作用率,并表征一些影响其性能的因素。
2017-09-29 cs.CV cs.LG cs.NE
Improving Intelligence of Evolutionary Algorithms Using Experience Share and Replay
Massachusetts Institute of Technology(麻省理工学院)
我们提出了PESA,一种新的方法结合粒子群优化(PSO),演化策略(ES),模拟退火(SA)的混合算法,灵感来自强化学习。PESA通过将它们的解决方案存储在共享重放存储器中来混合这三种算法。接下来,PESA应用优先级重放,根据它们的适应度和优先级值,以频繁的形式在三种算法之间重新分配数据,这显着增强了样本多样性和算法探索。此外,贪婪重放被隐式地使用在SA中,以提高接近进化结束时的PESA利用率。对12个高维连续基准函数的验证显示出PESA对独立ES,PSO和SA的优越性能,在相似的初始起点,超参数和代数下。PESA显示出更好的探索行为,更快的收敛速度,以及找到全局最优解的能力。考虑到有前途的性能,PESA可以提供一个有效的优化选项,特别是在它经过额外的多处理改进来处理复杂和昂贵的健身功能之后。
2020-08-10 cs.LG cs.NE
Phylogeny-informed fitness estimation
提出利用种群系统发育树在运行时估计适应度并辅助父代选择的方法,实验表明其可缓解下采样 lexicase 的多样性缺陷,但 GP 性能提升随问题和子采样设置变化。
2023-06-06 cs.NE
Improving NSGA-II with an Adaptive Mutation Operator
多目标进化算法的性能与算子参数的设置密切相关。这些参数的最期望的控制呈现自适应特性,即,在进化过程的不同阶段,使用来自搜索的反馈来确定改变的方向和/或幅度,改变参数值的能力。鉴于算法NSGA-II的普及,本研究的目的是创建自适应控制存在于这个MOEA的每个参数。通过这些控制,我们希望进一步提高算法的性能。在这项工作中,我们提出了一个自适应变异算子,具有自适应控制,它使用的信息的多样性候选解决方案控制的突变的幅度。考虑不同问题的实验表明,这种变异算子提高了NSGA-II达到帕累托最优前沿和获得更好的多样性之间的最终解决方案的能力。
2013-05-21 cs.NE
Learning from Evolution: Improving Collective Decision-Making Mechanisms using Insights from Evolutionary Robotics
University of Technology Nuremberg(纽伦堡工业大学)
本文通过分析演化计算生成的集体决策神经网络,提取洞见并手工设计两种新机制,在基准实验中证明其效率优于投票者模型和多数规则。
2024-05-03 cs.MA cs.NE cs.RO
Heuristically Adaptive Diffusion-Model Evolutionary Strategy
Allen Discovery Center at Tufts University(塔夫茨大学艾伦发现中心);Institute for Theoretical Physics, TU Wien(维也纳技术大学理论物理研究所);Wyss Institute for Biologically Inspired Engineering at Harvard University(哈佛大学威斯生物启发工程研究所)
本文提出启发式自适应扩散模型进化策略,将扩散模型作为进化算法中的生成模型,通过迭代精炼与无分类器引导的条件采样,实现高适应度参数的高效收敛与精确搜索控制。
2024-11-20 cs.AI cs.LG cs.NE
Black-Box Ripper: Copying black-box models using generative evolutionary algorithms
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学)
我们研究了复制黑盒神经模型功能的任务,对于黑盒神经模型,我们只知道为一组输入图像提供的输出类概率。我们假设通过黑盒模型的反向传播是不可能的,并且它的训练图像不可用,例如,模型只能通过API暴露。在这种情况下,我们提出了一个教师-学生的框架,可以提取的黑盒(教师)模型到一个学生模型,以最小的准确性损失。为了生成用于训练学生的有用数据样本,我们的框架(i)学习在代理数据集上生成图像(图像和类与用于训练黑盒的图像和类不同),以及(ii)应用进化策略以确保每个生成的数据样本在作为黑盒的输入时对特定类表现出高响应。我们的框架进行了比较与几个基线和国家的最先进的方法在三个基准数据集。经验证据表明,我们的模型优于所考虑的基线。虽然我们的方法没有通过黑盒网络反向传播,但它通常超过了将教师视为玻璃盒模型的最先进方法。我们的代码可在https://github.com/antoniobarbalau/black-box-ripper上获得。
2020-10-21 cs.CV cs.LG cs.NE
LLM2TEA: An Agentic AI Designer for Discovery with Generative Evolutionary Multitasking
1 College of Computing \& Data Science (CCDS), Nanyang Technological University (NTU), Singapore 2 Honda Research Institute Europe (HRI-EU), Offenbach am Main, Germany 3 Centre for Frontier AI Research (CFAR), Agency for Science, Technology
本文提出首个基于LLM的智能体AI设计师LLM2TEA,通过生成式进化多任务实现跨领域方案融合,结合文本到3D生成与物理模拟,在概念设计优化中显著提升了设计多样性与物理性能,并成功实现3D打印验证。
2025-07-28 cs.AI cs.CL cs.CV
Evolutionary NAS with Gene Expression Programming of Cellular Encoding
Soka University(创价大学)
神经结构搜索(NAS)的复兴已经看到了诸如遗传算法(GA)和遗传编程(GP)的经典方法被用于卷积神经网络(CNN)结构。虽然最近的工作在视觉感知任务上取得了有希望的性能,但GA和GP的直接编码方案都具有功能复杂性缺陷,并且在像CNN这样的大型架构上不能很好地扩展。为了解决这个问题,我们提出了一个新的生成编码方案- $symbolic\ linear\ generative\ encoding$(SLGE)-简单,但功能强大的计划,嵌入局部图变换的线性固定长度字符串的染色体开发CNN架构的不同形状和大小通过基因表达编程的进化过程。在实验中,SLGE的有效性显示在发现的架构,提高了CIFAR-10和CIFAR-100图像分类任务的最先进的手工制作的CNN架构的性能;并实现了具有竞争力的分类出错率与现有的NAS方法使用更少的GPU资源。
2020-12-03 cs.CV cs.NE
Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness
University of Granada(格拉纳达大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所(DaSCI));TECNALIA(泰克纳利亚);Basque Research & Technology Alliance (BRTA)(巴斯克研究与技术联盟(BRTA));University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
提出MO-EvoPruneDeepTL多目标进化剪枝算法,结合迁移学习与遗传算法,优化深度神经网络的性能、复杂度和鲁棒性,实验证明其有效且集成剪枝模型可提升整体性能。
2024-02-05 cs.AI cs.NE
Flow++: Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design
UC Berkeley(加州大学伯克利分校)
基于流的生成模型是具有高效采样和推理的强大精确似然模型。尽管它们的计算效率,基于流的模型通常具有比最先进的自回归模型差得多的密度建模性能。在本文中,我们研究和改进了先前工作中基于流的模型所采用的三种限制性设计选择:使用均匀噪声进行去量化,使用无表情仿射流,以及在耦合层中使用纯卷积条件网络。基于我们的研究结果,我们提出了Flow++,这是一种新的基于流的模型,现在是最先进的非自回归模型,用于标准图像基准的无条件密度估计。我们的工作已经开始缩小自回归模型和基于流的模型之间迄今存在的显著性能差距。我们的实现可以在https://github.com/aravindsrinivas/flowpp上获得
2019-05-15 cs.LG cs.NE stat.ML
Infrastructure Deployment in Vehicular Communication Networks Using a Parallel Multiobjective Evolutionary Algorithm
针对车载通信网络路侧基础设施选址问题,提出兼顾服务质量与成本的多目标建模方法,采用多目标进化算法求解,在马拉加真实场景实验中性能优于现有先进算法。
2025-01-17 cs.NE cs.NI
Socio-cognitive agent-oriented evolutionary algorithm with trust-based optimization
AGH University of Krakow(克拉科夫AGH科技大学);Jagiellonian University(雅盖隆大学)
该研究提出进化计算岛屿模型的新扩展TBO,以基于信任声誉的智能体驱动交互替代传统周期迁移,实验证明其在多类优化问题上普遍优于标准岛屿模型算法,且性能随问题类型变化,为进化优化提供了灵活自适应的新路径。
2025-10-29 cs.NE math.OC
Evolutionary latent space search for driving human portrait generation
Universidad de la República(共和国大学);ITIS Software, Universidad de Málaga(马拉加大学ITIS软件研究所)
提出了一种基于生成对抗网络潜在空间探索的合成人像进化生成方法。这个想法是产生不同的人脸图像非常类似于一个给定的目标肖像。该方法应用StyleGAN2进行肖像生成,FaceNet进行人脸相似性评估。进化搜索基于探索StyleGAN2的实数编码潜在空间。在合成图像和真实图像上的主要结果表明,所提出的方法产生准确和多样的解决方案,代表现实的人的肖像。该研究有助于提高人脸识别系统的安全性。
2022-05-19 cs.AI cs.CV cs.LG
Signal Propagation in a Gradient-Based and Evolutionary Learning System
Massachusetts Institute of Technology(麻省理工学院);University of Malaga(马拉加大学)
生成对抗网络(GANs)表现出可能导致收敛相关退化行为的训练病理,而用于GAN训练的空间分布协同进化算法(CEA),例如Lipizzaner,对它们具有经验鲁棒性。鲁棒性来自于通过在环形网格的每个单元中训练生成器和鉴别器的种群而发生的多样性。通信,其中信号以细胞中最好的GAN的参数的形式在四个方向上传播:北,南,西和东,也发挥了作用,通过传达新的和合适的适应。我们提出了Lipi-Ring,一个像Lipizzaner一样的分布式CEA,除了它使用不同的空间拓扑结构,即环。我们的中心问题是信号传播的不同方向性(有效地迁移到单元格每一侧的一个或多个邻居)达到或超过Lipizzaner的性能质量和训练效率(即,MNIST,CelebA,和COVID-19胸部X光图像)结果表明,两种方法训练的生成模型的性能之间没有显着差异。然而,Lipi-Ring显著减少了计算时间(14.2%)。. . 41.2%)。因此,当训练的计算成本很重要时,Lipi-Ring提供了Lipizzaner的替代方案。
2021-02-10 cs.DC cs.LG cs.NE
LVNS-RAVE: Diversified audio generation with RAVE and Latent Vector Novelty Search
University of Oslo(奥斯陆大学);Institute for Clarity in Documentation(文献清晰度研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗康分校);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
本文提出 LVNS-RAVE 方法,结合进化算法与生成式深度学习,利用 RAVE 模型生成声音、VGGish 模型评估新颖性,实现可控且多样化的逼真新颖音频生成。
2024-04-22 cs.LG cs.NE cs.SD