The N-Tuple Bandit Evolutionary Algorithm for Game Agent Optimisation
Queen Mary University of London(伦敦玛丽女王大学)
本文介绍了N-Tuple Bandit进化算法(NTALO),噪声和昂贵的离散(组合)优化问题的优化算法。该算法被应用到两个基于博弈的超参数优化问题。N-Tuple系统直接对统计数据进行建模,近似每个建模参数组合的适应度和评估数量。该模型简单、高效、信息量大。结果表明,NTT的显着优于网格搜索和分布估计算法。
2018-05-08 cs.AI cs.NE
Average Convergence Rate of Evolutionary Algorithms
在进化优化中,重要的是要了解进化算法每代收敛到最优值的速度,或者它们的收敛速度。本文提出了一种新的收敛速度的度量,称之为平均收敛速度。它是每代适应度差异减少比率的归一化几何平均值。平均收敛速度的计算非常简单,适用于大多数连续和离散优化的进化算法。对离散优化问题的平均收敛速度进行了理论研究。的平均收敛速度的下界。分析了平均收敛速度的极限,提出了渐近平均收敛速度。
2015-06-02 cs.NE math.OC
Evolutionary multi-stage financial scenario tree generation
不确定性下的多阶段财务决策优化依赖于对潜在随机过程的仔细数值近似,该过程描述了所选资产或资产类别的未来收益。各种方法对离散时间,离散状态近似(表示为场景树)的最佳生成已在文献中提出。在本文中,一个新的进化算法来创建情景树的多阶段金融优化模型将被提出。数值结果和实施细节结束的文件。
2010-01-18 cs.NE q-fin.CP q-fin.PM
A Survey on Learnable Evolutionary Algorithms for Scalable Multiobjective Optimization
Shenzhen University(深圳大学);The Hong Kong Polytechnic University(香港理工大学)
近几十年来,多目标进化算法在求解多目标优化问题方面取得了很大的进展。然而,这些逐步改进的MOEA并不一定配备有可扩展的和可学习的问题解决策略,以应对不断增加的复杂性从不同方面带来的新的和巨大的挑战,主要包括昂贵的功能评估成本,许多目标,大规模搜索空间,时变环境和多任务。在不同的情况下,需要发散性思维来设计新的强大的MOEA,以有效地解决它们。在这种背景下,在演化计算领域,利用机器学习技术对可学习MOEA的研究受到了广泛的关注。本文首先对扩大规模的MOPs和可学习的MOEA进行了一般分类,然后分析了这些MOPs对传统MOEA构成的挑战。然后,我们综合概述了可学习MOEA在解决各种按比例放大MOP方面的最新进展,主要集中在四个有吸引力的方向(即,用于环境选择的可学习进化鉴别器、用于再生的可学习进化生成器、用于函数评估的可学习进化评估器、以及用于共享或重用优化经验的可学习进化转移模块)。可学习的MOEA的洞察力提供给读者作为在这一领域的努力的一般轨道的参考。
2023-02-27 cs.AI cs.NE
An Evolutionary Framework for Automatic and Guided Discovery of Algorithms
Intel Corporation(英特尔公司)
本文介绍了自动算法发现器(AAD),一个进化的框架,综合程序的高复杂性。为了指导进化,以前的进化算法依赖于适应度(目标)函数,这是具有挑战性的设计。相反,为了取得进化的进展,AAD采用了问题导向进化(PGE),这需要同时引入一组问题。使用PGE,为简单问题发现的解决方案用于解决同一组中更复杂的问题。PGE还支持几种新的进化策略,并自然地屈服于高性能计算(HPC)技术。我们发现,PGE和相关的进化策略,使AAD发现类似或更高的复杂性相对于国家的最先进的算法。具体来说,AAD产生Python代码的29数组/向量的问题,从最小,最大,反向,更具有挑战性的问题,如排序和矩阵向量乘法。此外,我们发现,AAD显示出适应性约束的环境/输入,并展示了开箱即用的解决问题的能力。
2019-04-05 cs.AI cs.NE cs.PL
Evolutionary One-Step Generators: Fast and Diverse Sampling for Discrete Design
University of Trento(特伦托大学);UiT The Arctic University of Norway(挪威北极圈大学)
提出EGO框架,通过单步推断和低秩进化策略训练紧凑生成器,实现离散设计任务中快速且多样的候选采样,显著提升产出效率与多样性。
2026-10-07 cs.LG cs.NE
Learnable Evolutionary Multi-Objective Combinatorial Optimization via Sequence-to-Sequence Model
本文提出 SeqMO,利用序列到序列指针网络学习近似 Pareto 解之间的映射和进化轨迹,以引导多目标组合优化搜索,并在两类基准问题上验证有效。
2024-12-09 cs.NE
Evolutionary Multitasking for Single-objective Continuous Optimization: Benchmark Problems, Performance Metric, and Baseline Results
在这份报告中,我们提出了九个多任务单目标优化(MTSOO)的测试问题,每个问题都由两个需要同时解决的单目标优化任务组成。不同的测试问题之间的任务之间的关系是不同的,这将有助于有一个全面的评价MFO算法。期望所提出的测试问题能在MTSOO的研究领域中起到抛砖引玉的作用。
2017-06-12 cs.NE
AlphaStar: An Evolutionary Computation Perspective
Imperial College London(帝国理工学院);New York University(纽约大学)
2019年1月,DeepMind向全世界展示了AlphaStar--第一个在《星际争霸2》游戏中击败职业玩家的人工智能(AI)系统--代表了AI进步的里程碑。AlphaStar借鉴了人工智能研究的许多领域,包括深度学习、强化学习、博弈论和演化计算(EC)。在本文中,我们主要通过EC的镜头来分析AlphaStar,对该系统进行了新的审视,并将其与该领域的许多概念联系起来。我们强调了一些最有趣的方面-拉马克进化,竞争性共同进化和质量多样性的使用。通过这样做,我们希望在更广泛的电子商务社区和近年来开发的最重要的人工智能系统之一之间架起一座桥梁。
2019-07-14 cs.AI cs.LG cs.NE
Evolutionary Multitasking for Multiobjective Continuous Optimization: Benchmark Problems, Performance Metrics and Baseline Results
在这份报告中,我们提出了九个多任务多目标优化(MTMOO)的测试问题,每个测试问题由两个需要同时解决的多目标优化任务组成。不同的测试问题之间的任务之间的关系是不同的,这将有助于有一个全面的评价MO-MFO算法。期望本文提出的测试问题能在MTMOO的研究领域中起到抛砖引玉的作用。
2017-06-08 cs.NE
Sub-network Multi-objective Evolutionary Algorithm for Filter Pruning
Shenzhen University(深圳大学)
过滤器修剪是深度神经网络(DNN)中实现模型压缩和加速的常用方法,一些研究将过滤器修剪视为组合优化问题,从而使用进化算法(EA)对DNN的过滤器进行修剪。然而,由于解空间搜索的复杂性,很难在合理的时间内找到令人满意的折衷解。为了解决这个问题,我们首先制定了一个多目标优化问题的基础上的一个子网络的完整模型,并提出了一个子网络多目标进化算法(SMOEA)的过滤器修剪。SMOEA算法通过逐组地对卷积层进行剪枝,可以获得性能更好的轻量级剪枝结果,并在CIFAR-10的VGG-14模型上进行了实验,验证了SMOEA算法的有效性。具体而言,修剪后的模型的准确性与16.56%的参数仅下降了0.28%,这是优于广泛使用的流行的过滤器修剪标准。
2022-10-22 cs.AI cs.CV cs.NE
Can Evolutionary Clustering Have Theoretical Guarantees?
Nanjing University(南京大学)
针对进化聚类缺乏理论支撑的问题,本文证明了多目标进化算法GSEMO求解四类经典聚类问题的近似性能有理论保证,且其在个体公平约束下的离散$k$-中位数聚类中也兼具目标与公平约束的理论近似保障。
2023-07-22 cs.LG cs.NE
An Improved Discrete Bat Algorithm for Symmetric and Asymmetric Traveling Salesman Problems
Deusto Institute of Technology (DeustoTech)(德乌斯托技术学院(DeustoTech));University of Deusto(德乌斯托大学)
蝙蝠算法是2010年提出的一种基于微蝙蝠回声定位或生物声纳特性的群体元启发式算法。自其第一次实现以来,蝙蝠算法已被用于广泛的领域。在本文中,我们提出了一个离散版本的蝙蝠算法来解决著名的对称和非对称旅行商问题。此外,我们提出了一个改进的基本结构的经典蝙蝠算法。为了证明我们的建议是一个很有前途的近似方法,我们比较了它的性能在37个实例中得到的结果由五种不同的技术:进化模拟退火,遗传算法,基于岛的分布式遗传算法,离散萤火虫算法和帝国主义的竞争算法。为了获得公平和严格的比较,我们进行了三个不同的统计测试沿纸:学生的$t$ -测试,霍尔姆的测试,和弗里德曼测试。我们还比较了我们的建议所示的进化模拟退火,和离散萤火虫算法的收敛行为。在这项研究中进行的实验表明,提出的改进蝙蝠算法优于所有其他替代品在大多数情况下显着。
2016-04-14 cs.AI cs.NE math.OC
Evolutionary Landscape and Management of Population Diversity
进化算法(EA)的搜索能力取决于种群中个体之间的变化[3,4,8]。保持EA人口的多样性的最佳水平是必不可少的,以确保EA搜索的进展是不受过早收敛到次优解。更清楚地理解种群多样性的概念,特别是在进化搜索和早熟收敛的背景下,是设计高效进化算法的关键。为此,本文首先对EA种群多样性问题进行了简要分析。接下来,我们提出了一个反小生境EA技术的调查[4],引入和保持建设性的多样性的人口。所提出的方法使用知情的遗传操作,以达到有前途的,但未开发或开发不足的领域的搜索空间,同时阻止过早的局部收敛。一套标准的基准测试函数与遗传算法(GA)的实现进行了仿真运行显示出良好的效果。
2015-10-24 cs.NE
Extracting a Discriminative Structural Sub-Network for ASD Screening using the Evolutionary Algorithm
Faculty of Computer Science and Engineering, Shahid Beheshti University(沙希德·贝赫什提大学计算机科学与工程学院)
自闭症谱系障碍(ASD)是最重要的神经系统疾病之一,破坏了一个人的社交能力。神经影像学技术的进步和发展使脑区结构网络的构建成为可能。在本文中,在使用进化算法找到有区别的子网络后,子网络的简单特征使我们能够以合理的准确率(平均76%)诊断各种受试者的自闭症。与以前的研究相比,这种方法产生了更好的结果。因此,该方法可用于自闭症筛查的准确辅助
2019-10-26 cs.LG cs.NE cs.SI
Genetic AI: Evolutionary Games for ab initio dynamic Multi-Objective Optimization
本文提出遗传人工智能方法,通过四种演化策略构建自洽演化博弈,在无外部参数和训练数据条件下实现从头动态多目标优化,并在两个决策问题上验证其普适性。
2025-05-08 cs.NE
Diversity Handling In Evolutionary Landscape
进化算法的搜索能力取决于种群中个体间的变异程度。保持EA人口的多样性的最佳水平是必不可少的,以确保EA搜索的进展是不受过早收敛到次优解。更清楚地理解种群多样性的概念,特别是在进化搜索和早熟收敛的背景下,是设计高效进化算法的关键。为此,本文首先对EA种群多样性问题进行了全面的分析。接下来,我们提出了一个反小生境EA技术,介绍和维护建设性的多样性人口的调查。所提出的方法使用知情的遗传操作,以达到有前途的,但未开发或开发不足的领域的搜索空间,同时阻止过早的局部收敛。用遗传算法(GA)对一些标准的基准测试函数进行了仿真,取得了令人满意的结果。
2014-11-15 cs.NE
A Discrete Firefly Algorithm to Solve a Rich Vehicle Routing Problem Modelling a Newspaper Distribution System with Recycling Policy
Middlesex University(密德萨斯大学);Deusto Institute of Technology (DeustoTech)(德乌斯托技术学院(DeustoTech));University of Deusto(德乌斯托大学)
在这项工作中,一个现实世界中的报纸分发问题的回收政策。为了满足所有复杂的限制,在这样的问题中,它已被建模为丰富的车辆路径问题,它可以更具体地被认为是一个不对称和集群的车辆路径问题,同时皮卡和交付,可变成本和禁止路径(AC-VRP-SPDVCFP)。这是第一次在文献中研究这样的问题。为此,还提出了由15个实例组成的基准。在这个基准的设计中,使用了位于西班牙Bizkaia省的真实地理位置。为了正确处理这AC-VRP-SPDVCFP,离散萤火虫算法(DFA)已被开发。这个应用程序是萤火虫算法的任何丰富的车辆路径问题的第一个应用程序。为了证明所提出的DFA是一个很有前途的技术,它的性能进行了比较与其他两个著名的技术:进化算法和进化模拟退火。我们的研究结果表明,DFA优于这两个经典的元分析。
2016-04-14 cs.AI cs.NE math.OC
Towards a Theory-Guided Benchmarking Suite for Discrete Black-Box Optimization Heuristics: Profiling $(1+λ)$ EA Variants on OneMax and LeadingOnes
演化计算方法的理论和实证研究相互补充,提供了两个根本不同的方法,以更好地理解黑箱优化算法。在离散优化中,这两个流彼此独立地发展,但我们今天观察到越来越多的人对协调这两个子分支感兴趣。在持续优化方面,COCO(COmparing Continuous Optimisers)基准测试套件已经成为理论家和实践者交流研究想法和问题的重要平台。在离散黑箱优化的研究领域中,没有被广泛接受的等价物。标志着一个重要的一步,填补这一空白,我们调整COCO软件的伪布尔优化问题,并从这一基准环境,允许细粒度的经验分析离散黑箱算法。在本文档中,我们将演示如何使用该测试床来分析进化算法的性能。更具体地说,我们研究的优化行为的几个$(1+λ)$ EA变种的两个基准问题OneMax和LeadingOnes。这种比较激发了对LeadingOnes上的$(1+λ)$ EA的优化时间的精细分析。
2018-08-17 cs.NE
Learning to Generate Genotypes with Neural Networks
神经网络和演化计算有着丰富的相互交织的历史。当进化算法优化强化学习问题的神经网络的参数和拓扑结构时,或者当神经网络被用作替代适应度函数以帮助昂贵的适应度函数的进化优化时,它们最常一起出现。在本文中,我们采取了不同的方法,问的问题是否可以使用神经网络提供一个进化算法的突变分布,这种方法可能提供什么优势?本文研究了两种现代神经网络模型,一种改进的产生随机输出的去噪自编码器和神经自回归分布估计器。结果表明,神经网络的方法来学习基因型是能够解决许多困难的离散问题,如MaxSat和HIFF,并定期优于其他进化技术。
2016-04-14 cs.NE
On averaging the best samples in evolutionary computation
Facebook Artificial Intelligence Research (FAIR)(脸书人工智能研究院(FAIR));LAMSADE(LAMSADE实验室);CNRS(法国国家科学研究中心);Université Paris-Dauphine(巴黎多芬大学);Université PSL(巴黎文理研究大学)
选择正确的选择率是演化计算中一个长期存在的问题。在连续无约束的情况下,我们从数学上证明,在球函数的情况下,单亲$μ=1$会导致次优的简单遗憾。我们提供了一个基于理论的选择率$μ/λ$,导致更好的进展率。通过选择率的选择,我们得到了一个可证明的$O(λ^{-1})$阶遗憾,在$μ=1$的情形下,它必须与$O(λ^{-2/d})$进行比较.我们通过实验来完成我们的研究,以证实我们的理论主张。
2020-06-18 cs.LG cs.NE stat.ML
Long-Term Progress and Behavior Complexification in Competitive Co-Evolution
使用竞争性进化算法来产生长期进展的可能性通常被极限环动态的收敛所阻止,在极限环动态中,进化的代理通过周期性地重新发现以前一遍又一遍地采用的解决方案来保持对当前竞争对手的进步。这导致了局部而不是全局的进步,即与所有可能的竞争者竞争的进步。我们提出了一种新的竞争算法,通过识别和过滤机会主义的变化,即导致对当前竞争对手的进步和对其他竞争对手的倒退的变化,产生长期的全球进步。该方法的有效性进行了验证的捕食者和猎物机器人的协同进化,一个经典的问题,已被用于其他相关的研究。经过许多代人的积累,全球进步带来了有效的解决方案,涉及到相当明确的行为的产生。进化中的机器人所表现出的行为的复杂性随着世代的增加而增加,尽管性能的进步并不总是伴随着行为的复杂化。
2020-05-23 cs.NE
Towards Interpretable-AI Policies Induction using Evolutionary Nonlinear Decision Trees for Discrete Action Systems
Michigan State University(密歇根州立大学);Ford Motor Company(福特汽车公司)
黑盒人工智能归纳方法,如深度强化学习(DRL),越来越多地用于为给定的控制任务找到最佳策略。虽然使用黑盒AI表示的策略能够有效地执行底层控制任务并实现最佳闭环性能,但开发的控制规则通常很复杂,既不可解释也不可解释。在本文中,我们使用最近提出的非线性决策树(NLDT)的方法来找到一个分层的控制规则集,试图最大限度地提高开环性能近似和解释的预先训练的黑盒DRL(Oracle)代理使用标记的状态-动作数据集。非线性优化方法的最新进展,使用演化计算,便于找到一个分层的一组非线性控制规则的状态变量的函数,使用一个计算快速的双层优化程序在每个节点的建议NLDT。此外,我们提出了一个重新优化的过程,以提高闭环性能的一个已经派生的NLDT。我们评估我们提出的方法(开环和闭环NLDTs)对不同的控制问题有多个离散的行动。在所有这些问题中,我们提出的方法能够找到相对简单和可解释的规则,每个规则涉及一到四个非线性项,同时与训练有素的黑盒DRL代理相比,实现了同等的闭环性能。本文还提出了一种简化NLDT的后处理方法。所获得的结果是鼓舞人心的,因为他们建议更换复杂的黑盒DRL政策,涉及数千个参数(使他们无法解释)与相对简单的可解释的政策。结果是令人鼓舞的,激励追求进一步的应用所提出的方法在解决更复杂的控制任务。
2021-04-06 cs.LG cs.NE cs.SY
GPU-accelerated Evolutionary Multiobjective Optimization Using Tensorized RVEA
提出TensorRVEA,通过张量化数据结构和操作符利用GPU并行加速进化多目标优化,实现超1000倍加速,并成功应用于多目标神经进化和机器人控制任务。
2024-07-20 cs.NE
Multi-Objective Evolutionary Framework for Non-linear System Identification: A Comprehensive Investigation
本文提出了一个多目标的非线性系统结构选择框架,该框架由多项式NARX模型表示。该框架集成了多准则决策(MCDM),其中包括偏好处理,多目标进化算法(MOEAs)和后验选择的关键组成部分。为此,三个著名的MOEA,如NSGA-II,SPEA-II和MOEA/D进行了彻底的调查,以确定是否存在任何显着差异,其搜索性能。所有这些MOEA的各种定性和定量参数,如重组机制,交叉和突变概率的选择的敏感性,也进行了研究。这些问题进行了批判性的分析,考虑七个离散时间和连续时间基准非线性系统,以及非线性波浪力建模的实际案例研究。这项调查的结果表明,MOEA可以定制,以确定正确的非线性系统的结构。此外,通过频域分析已经确定,可以识别连续时间系统的多个有效离散时间模型。一个严格的统计分析的MOEA通过性能的甜蜜点在参数空间令人信服地表明,这些算法是强大的控制参数范围很广。
2019-08-17 cs.NE cs.SY eess.SY
Lamarckian Evolution and the Baldwin Effect in Evolutionary Neural Networks
混合神经进化算法可能受到达尔文进化论或拉马克进化论的启发。在达尔文进化论的情况下,鲍德温效应,也就是说,逐步纳入学习的特点的基因型,可以观察和利用,以改善搜索。本文的目的是对学习如何改进G-Prop遗传搜索进行实验研究。结合学习和遗传搜索的两种方法进行了探索:一种利用鲍德温效应,而另一种使用拉马克策略。我们的实验表明,使用拉马克算子使算法找到具有低出错率和最小尺寸的网络,而使用Bald- win效应获得具有最小出错率和较大尺寸的MLP,需要更长的时间才能达到解决方案。这两种方法获得了较低的平均误差比其他BP算法,如RPROP,其他进化的方法和模糊逻辑为基础的方法
2006-03-01 cs.NE
Data-Driven Evolutionary Multi-Objective Optimization Based on Multiple-Gradient Descent for Disconnected Pareto Fronts
数据驱动的进化多目标优化(EMO)是解决目标函数昂贵的多目标优化问题的一种有效方法。目前的研究主要是开发了一个'定期'三角形的帕累托最优前沿(PF)的问题,而性能可以显着恶化时,PF由断开的部分。此外,在目前的数据驱动的EMO的后代繁殖没有充分利用潜在的信息的代理模型。考虑到这些因素,本文提出了一种基于多梯度下降的数据驱动EMO算法。通过利用最新的代理模型提供的规律性信息,它能够逐步探测一组分布良好的候选解决方案的收敛保证。此外,它的填充准则推荐了一批有前途的候选解决方案进行昂贵的目标函数评估。在具有断开PF的$33$基准测试问题实例上的实验充分证明了我们所提出的方法对四种选定的对等算法的有效性。
2022-05-28 cs.NE
On the Effectiveness of Simple Success-Based Parameter Selection Mechanisms for Two Classical Discrete Black-Box Optimization Benchmark Problems
尽管有大量的经验和理论支持的证据表明,非静态参数的选择可以在演化计算中非常有益,但如何最好地调整参数值的问题在离散黑箱优化的当代研究中只起着边缘作用。这导致了不令人满意的情况下,无反馈的参数选择规则,如模拟退火的冷却时间表是占主导地位的国家的最先进的化学,而在同一时间,我们非常清楚,这种时间依赖的选择规则只能执行比调整规则,考虑到优化过程的演变。在文献中已经提出了一些自适应和自适应参数控制策略,但还没有(尚未)使他们的方式更广泛的公众。一个关键的障碍似乎在于他们相当复杂的更新规则。我们的工作的目的是证明,高性能的在线参数选择规则不需要非常复杂。更准确地说,我们实验与乘法,比较为基础的更新规则,以调整(1+1)~进化算法的变异概率。我们表明,这个简单的自调整规则优于最好的静态一元无偏黑箱算法LeadingOnes,实现了约~ $18\%$的几乎最佳的加速比。
2018-03-04 cs.NE
Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study
本文提出无需训练的LLM辅助进化算法LAEA,将LLM推理直接用作代理模型进行解的质量分类与回归预测,实验表明其性能可媲美传统代理模型。
2024-06-15 cs.NE
DEHB: Evolutionary Hyperband for Scalable, Robust and Efficient Hyperparameter Optimization
University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
现代机器学习算法主要依赖于几个设计决策来实现强大的性能,这使得超参数优化(HPO)问题比以往任何时候都更加重要。在这里,我们结合了流行的基于带宽的HPO方法Hyperband(HB)和差分进化(DE)的进化搜索方法的优点,产生一个新的HPO方法,我们称之为DEHB。在非常广泛的HPO问题上的综合结果,以及来自神经架构搜索的广泛的表格基准测试,表明DEHB比我们所知道的所有以前的HPO方法都更稳健地实现了强大的性能,特别是对于具有离散输入维度的高维问题。例如,DEHB比随机搜索快1000倍。它在计算时间上也是有效的,概念简单,易于实现,使其成为一个新的默认HPO方法。
2021-10-21 cs.LG cs.NE
A Theoretical Framework of Approximation Error Analysis of Evolutionary Algorithms
在进化算法的实证研究中,解的质量是通过适应度值或逼近误差来评价的。后者测量近似解和最优解之间的适应度差异。由于近似误差分析比直接估计适应度值更方便,本文重点研究了近似误差分析。然而,它是直接从近似误差的适应值扩展所有相关的结果。虽然溶液质量的评价在实践中起着至关重要的作用,但很少有严格的分析已经在这个问题上进行。本文旨在建立一个新的离散优化进化算法逼近误差分析的理论框架。该框架分为两个部分。第一部分是近似误差的精确表达式。提出了两种方法:Jordan形式和Schur三角化来获得精确的表达式。第二部分是关于逼近误差的上界。给出了两种估计上界的方法:收敛速度法和辅助矩阵迭代法。通过几个例子证明了这个框架的适用性。
2018-10-26 cs.NE math.OC