Scaling MAP-Elites to Deep Neuroevolution
INRIA(法国国家信息与自动化研究所);Uber AI Labs(优步人工智能实验室);Element Inc.(Element公司);OpenAI
质量多样性(QD)算法,特别是MAP-Elites(ME),已被证明对广泛的应用非常有用,包括使真正的机器人能够从关节损伤中快速恢复,解决强欺骗性的迷宫任务或进化机器人形态以发现新的步态。然而,目前的MAP-Elites和其他QD算法的实现似乎仅限于具有比现代深度神经网络模型少得多的参数的低维控制器。在本文中,我们建议利用效率的演化策略(ES)的规模MAP精英高维控制器参数化的大型神经网络。我们设计和评估一个新的混合算法称为MAP精英与演化策略(ME-ES)的损伤后恢复在一个困难的高维控制任务,传统ME失败。此外,我们表明,ME-ES进行有效的探索,与国家的最先进的探索算法在高维控制任务具有强烈的欺骗性奖励。
2020-06-05 cs.AI cs.LG cs.NE
Multi-Emitter MAP-Elites: Improving quality, diversity and convergence speed with heterogeneous sets of emitters
质量多样性(QD)优化是一个新的学习算法家族,旨在生成多样化和高性能解决方案的集合。在这些算法中,最近引入的协方差矩阵自适应MAP-Elites(CMA-ME)算法提出了发射器的概念,它使用预定义的启发式来驱动算法的探索。该算法被证明优于MAP-Elites,这是一种流行的QD算法,在许多应用中已经证明了有希望的结果。在本文中,我们介绍了多EMAP-Elites(ME-MAP-Elites),一种算法,直接扩展CMA-ME,提高其质量,多样性和数据效率。它利用了一组异构发射器的多样性,其中每种发射器类型以不同的方式改进优化过程。强盗算法根据当前情况动态地找到发射器的最佳选择。我们评估了ME-MAP-Elites在六项任务上的性能,从标准优化问题(100维)到机器人中复杂的运动任务。我们与CMA-ME和MAP-Elites的比较表明,ME-MAP-Elites在提供更多样化和更高性能的解决方案集合方面更快。此外,在不同的发射器之间没有有效的协同作用的情况下,ME-MAP-Elites相当于最好的比较算法。
2021-07-06 cs.NE
Improving the Data Efficiency of Multi-Objective Quality-Diversity through Gradient Assistance and Crowding Exploration
Imperial College London(帝国理工学院);InstaDeep
提出MOME-PGX算法,通过基于梯度的优化和拥挤探索机制扩展MOME,在四个机器人运动任务中显著提升了多目标质量-多样性优化的数据效率和性能。
2023-05-16 cs.AI cs.LG cs.NE
Deep Surrogate Assisted MAP-Elites for Automated Hearthstone Deckbuilding
Viterbi School of Engineering University of Southern California(南加州大学维特比工程学院);Ying Wu College of Computing New Jersey Institute of Technology(新泽西理工学院吴颖计算机学院)
本研究提出利用深度代理模型辅助MAP-Elites算法,提升炉石卡牌构建的样本效率和质量多样性
2022-04-16 cs.NE
MAP-Elites with Descriptor-Conditioned Gradients and Archive Distillation into a Single Policy
质量多样性算法,如MAP-Elites,是演化计算的一个分支,生成各种高性能的解决方案,已成功地应用于各种领域,特别是在进化机器人。然而,MAP-Elites基于源自遗传算法的随机突变执行发散搜索,因此仅限于低维解的进化种群。PGA-MAP-Elites通过集成受深度强化学习启发的基于梯度的变异算子克服了这一限制,该算子能够实现大型神经网络的进化。虽然在许多环境中表现出色,但PGA-MAP-Elites在几个任务上失败了,其中基于梯度的算子的收敛搜索没有将突变指向存档改进解决方案。在这项工作中,我们提出了两个贡献:(1)我们用改进整个描述符空间的归档的执行器条件评论器来增强策略梯度变化算子,(2)我们利用执行器-评论器训练来学习执行器条件策略,而不需要额外的成本,将档案的知识提炼成一个单一的通用策略,该策略可以执行档案中包含的整个行为范围。我们的算法,DCG-MAP-Elites提高了QD得分超过PGA-MAP-Elites平均82%,在一组具有挑战性的运动任务。
2023-03-07 cs.NE
Controller Distillation Reduces Fragile Brain-Body Co-Adaptation and Enables Migrations in MAP-Elites
University of Vermont(佛蒙特大学)
针对MAP-Elites中脑-体协同适应脆弱导致迁移受阻的问题,提出Pollination技术,通过周期性用蒸馏控制器替换控制器来增强跨形态泛化,从而提升迁移成功率与质量-多样性指标。
2025-04-09 cs.LG cs.NE cs.RO
Empirical analysis of PGA-MAP-Elites for Neuroevolution in Uncertain Domains
本文深入实证分析 PGA-MAP-Elites,表明策略梯度变异使其在确定性与不确定高维环境中兼具高性能和可复现性,且该算子主要在进化早期发挥关键作用。
2022-10-24 cs.NE
Mapping Hearthstone Deck Spaces through MAP-Elites with Sliding Boundaries
质量多样性(QD)算法,如MAP-Elites,已经成为传统单目标优化方法的强大替代方案。它们最初被应用于进化机器人问题,如运动和迷宫导航,但尚未看到广泛的应用。我们认为,这些算法非常适合丰富的视频游戏领域,其中包含许多相关的问题,有许多成功的策略,往往也有多个维度的解决方案可以改变。本文介绍了一种新的修改的MAP精英算法称为MAP精英与滑动边界(MESB),并将其应用到炉石传说,一个流行的收集卡游戏选择其多维行为特征的数量相关的特定风格的发挥设计和重新平衡。为了避免过度填充具有混淆行为的细胞,MESB根据进化个体的分布来滑动细胞的边界。本文通过实验验证了MESB在Hearthstone中的性能。结果表明,MESB发现不同的方式玩游戏以及沿选定的行为维度。对进化策略的进一步分析揭示了在行为维度上反复出现的共同模式,并探讨了MESB如何帮助重新平衡游戏。
2019-04-24 cs.NE
Discovering the Elite Hypervolume by Leveraging Interspecies Correlation
进化产生了惊人的物种多样性,每个物种都占据了不同的生态位。像MAP-Elites这样的算法模拟了这种不同的进化过程,找到了一组行为多样但性能高的解决方案,称为精英。我们的关键见解是,自然界中的物种尽管占据着非常不同的生态位,但它们的基因组往往有一个惊人的大部分是共享的;同样,精英很可能集中在一个特定的“精英超体积”中,其形状由它们的共同特征定义。在本文中,我们首先介绍了精英超体积的概念,并提出了两个指标来描述它:基因型传播和基因型相似性。然后,我们引入了一个新的变异算子,称为“定向变异”,利用物种间(或精英间)的相关性,以加速MAP精英算法。我们证明了这个运营商在三个问题(玩具功能,冗余机械臂,和六足机器人)的有效性。
2018-04-11 cs.NE
Evaluating MAP-Elites on Constrained Optimization Problems
约束优化问题的特点往往是多个约束,在实践中,必须满足不同的公差水平。虽然一些约束是硬的,因此必须满足零容忍,但其他约束可能是软的,使得非零违规是可接受的。在这里,我们评估的适用性MAP-精英“照亮”约束搜索空间映射到特征空间,每个功能对应于一个不同的约束。一方面,MAP-Elites隐式地保留多样性,从而允许对搜索空间的良好探索。另一方面,它提供了一个有效的可视化,便于更好地理解约束违反如何与目标函数相关。我们证明了这种方法的可行性,在一个大的基准问题,在不同的维度,并与不同的算法配置。正如预期的那样,数值结果表明,一个基本版本的MAP-Elites不能竞争的所有问题(特别是那些与等式约束)与国家的最先进的算法,使用梯度信息或先进的约束处理技术。然而,它在发现约束违反与目标权衡并提供新的问题信息方面具有更高的潜力。因此,它可以在未来作为一个有效的积木设计新的约束优化算法。
2019-04-05 cs.NE
Using Centroidal Voronoi Tessellations to Scale Up the Multi-dimensional Archive of Phenotypic Elites Algorithm
最近推出的多维表型精英档案(MAP-Elites)是一种进化算法,能够在一次运行中产生大量不同的高性能解决方案。它的工作原理是根据每个维度所需的离散化将连续的特征空间离散成唯一的区域。虽然简单,但该算法有一个主要缺点:它不能扩展到高维特征空间,因为区域的数量随着维度的数量呈指数增长。在本文中,我们通过引入一个简单的扩展MAP精英,有一个恒定的,预定义的区域数量的特征空间的维数无关,解决了这一限制。我们的主要观点是,从计算几何的方法可以划分一个高维空间的良好传播的几何区域。特别是,我们的算法使用质心Voronoi曲面细分(CVT)将特征空间划分为所需数量的区域;然后将每个生成的个体放置在其最近的区域中,如果该区域已经被占用,则替换不太适合的个体。我们证明了新的“CVT-MAP-Elites”算法在高维特征空间中的有效性,通过与MAP-Elites在迷宫导航和六足动物运动任务中的比较。
2017-07-29 cs.NE
Motif Diversity in Human Liver ChIP-seq Data Using MAP-Elites
Baylor University(贝勒大学)
本文将motif发现视为质量-多样性问题,应用MAP-Elites算法在likelihood基础上进化位置权重矩阵motif,同时保持生物意义维度的多样性。实验显示MAP-Elites能恢复多个高质量motif变体,揭示结构多样性。
2026-04-20 cs.NE q-bio.GN
Empowering Quality Diversity in Dungeon Design with Interactive Constrained MAP-Elites
Malmö University(马尔默大学);New York University(纽约大学)
我们建议使用质量多样性算法的混合主动游戏内容生成。这个想法是作为进化地牢设计器的一个新功能实现的,进化地牢设计器是一个混合主动设计的系统,你通常会在电脑角色扮演游戏中找到这种类型的关卡。该功能使用MAP-Elites算法,这是一种照明算法,它将种群划分为多个单元,具体取决于它们沿多个行为维度的值。用户可以灵活地、动态地选择相关的变异维度,并将算法产生的建议融入到地图设计中。同时,人类执行的任何修改都会反馈到MAP-精英中,并用于生成进一步的建议。
2019-06-12 cs.AI cs.NE
MAP-Elites with Transverse Assessment for Multimodal Problems in Creative Domains
针对多模态创意任务,提出结合跨模态一致性评估的MEliTA算法,通过解耦模态、促进精英交叉,改善文本-图像映射,推动多模态自下而上编排发展。
2024-03-11 cs.NE
Multi-objective Analysis of MAP-Elites Performance
在某些复杂的优化任务中,有必要使用多个度量来表征不同算法的性能。本文提出了一种方法,结合序效应大小和帕累托优势分析此类情况。由于该方法是有序的,因此即使性能测量的尺度不同,它也可以在不同的优化任务中推广。通过一个案例研究,我们表明,这种方法可以发现和量化的关系,这将是很难推断出使用传统的测量分析。这种情况下,研究适用于机器人控制器的剧目使用MAP精英算法的演变方法。在这里,我们分析了搜索性能在一个大的参数集;不同的突变大小和操作员类型,以及地图分辨率,在四个不同的机器人形态。我们发现,突变的平均幅度比其精确分布对结果的影响更大。
2018-06-07 cs.NE
Illuminating the Space of Enemies Through MAP-Elites
冒险游戏有几个挑战要克服,其中最常见的是敌人。敌人的目标是通过夺取生命值来阻碍玩家的进步,而他们阻碍这种进步的方式对于不同类型的敌人来说是不同的。在这种情况下,本文介绍了一个扩展版本的进化方法,程序生成的敌人,目标敌人的困难为目标。我们的方法通过结合MAP-精英群体来生成不同的敌人而不损失质量,从而推进了敌人生成研究。计算实验表明,该方法收敛大多数敌人在MAP精英在不到一秒的大多数情况下。除此之外,我们还对玩过一个带有我们生成的敌人的冒险游戏原型的玩家进行了实验。这个实验表明,玩家喜欢他们玩的大多数关卡,我们成功地创造了被认为容易、中等或难以面对的敌人。
2022-05-06 cs.AI cs.NE
Interactive Constrained MAP-Elites: Analysis and Evaluation of the Expressiveness of the Feature Dimensions
Malmö University(马尔默大学);New York University(纽约大学)
我们提出了交互式约束地图精英,游戏内容生成的质量多样性解决方案,实现作为一个新的功能的进化地牢设计器:一个混合的主动合作创造力的工具,设计地牢。该功能使用MAP-Elites算法,这是一种照明算法,根据不同行为维度的分数将种群隔离在几个细胞中。用户可以随时在这些维度之间灵活动态地交替,从而以直观的方式指导进化过程,然后将算法产生的建议纳入他们的房间设计中。与此同时,人类用户执行的任何修改都将反馈到MAP-Elites中,关闭一个不断相互启发的循环工作流程。本文介绍了算法,然后深入分析其行为,其目的是评估在几种情况下所有可能的维度组合的表达范围,以及讨论它们在健身景观和混合主动程序内容生成的整体性能的影响。
2021-02-09 cs.AI cs.NE
Illuminating search spaces by mapping elites
Université Pierre et Marie Curie-Paris 6(巴黎第六大学(皮埃尔和玛丽·居里大学));University of Wyoming(怀俄明大学)
许多领域使用搜索算法,它自动探索搜索空间以找到高性能的解决方案:化学家搜索分子空间以发现新药;工程师搜索更强大,更便宜,更安全的设计,科学家搜索最能解释数据的模型等。在这里,我们描述了一种新的,从根本上不同类型的算法,是更有用的,因为它提供了一个高性能的解决方案是如何分布在整个搜索空间的整体视图。它在由用户选择的变化维度定义的空间中的每个点创建高性能解决方案的地图。这种多维表型精英档案(MAP-Elites)算法照亮了搜索空间,使研究人员能够了解解决方案的有趣属性如何结合起来影响性能,无论是积极的,还是同样感兴趣的,消极的。例如,制药公司可能希望了解性能如何随着分子大小及其生产成本的变化而变化。MAP-Elites产生了大量的高性能,但质量不同的解决方案,这可能比单一的高性能解决方案更有帮助。有趣的是,由于MAP-Elites探索了更多的搜索空间,因此它也倾向于找到比最先进的搜索算法更好的整体解决方案。我们证明了这种新算法的好处,在三个不同的问题域,从生产模块化神经网络设计模拟和真实的软体机器人。因为MAP-精英(1)阐明了性能和解决方案中感兴趣的维度之间的关系,(2)返回一组高性能但多样化的解决方案,(3)改进了寻找单一最佳解决方案的工作,它将推动科学和工程的发展。
2015-04-20 cs.AI cs.NE cs.RO
MAP-Elites based Hyper-Heuristic for the Resource Constrained Project Scheduling Problem
Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织);Indian Institute of Technology(印度理工学院);University of New South Wales(新南威尔士大学)
资源受限的项目调度问题是一个NP-Hard组合优化问题。RCPSP的目标是在不违反任何活动优先级或资源约束的情况下调度一组活动。近年来,研究人员已经从复杂的解决方法,如Meta分析和精确的数学方法,转向更简单直观的解决方案,如优先级规则。这通常涉及使用基于遗传编程的超启发式(GPHH)来发现可应用于新的未知案例的新优先级规则。影响GPHH的一个常见问题是进化的多样性,这通常会导致质量差的输出。在本文中,我们提出了一个MAP精英超启发式(MEHH)的自动发现有效的优先级规则RCPSP。MAP-Elites采用基于质量多样性的方法,明确维护沿多个特征维度表征的不同解决方案的档案。为了证明我们提出的超启发式的好处,我们比较了传统的GPHH和人类专家提出的优先级规则的整体性能。我们的研究结果表明,在多样性和性能方面都有很大的改善。特别是,我们看到的重大改进,已在现有文献中研究的较大的情况下。
2022-04-24 cs.AI cs.NE
Fast and stable MAP-Elites in noisy domains using deep grids
Imperial College London(伦敦帝国学院)
针对 QD 算法在适应度与行为描述符噪声下评估成本高的问题,提出利用相似历史方案档案估计性能的 Deep-Grid MAP-Elites,并在三类噪声任务中证明其更稳健、样本效率更高。
2020-06-25 cs.LG cs.NE cs.RO
Open-ended search for environments and adapted agents using MAP-Elites
本研究借助MAP-Elites构建含地形与适配虚拟生物的结构化开放式搜索地图,结合新颖性维度实现无边界探索,验证了有界与无界方法均可解决多样地形任务,推动类现实多样模拟环境构建。
2023-05-02 cs.NE
Exploring Self-Assembling Behaviors in a Swarm of Bio-micro-robots using Surrogate-Assisted MAP-Elites
Ochanomizu University(御茶水女子大学);Sorbonne Université(索邦大学);CNRS Institut des Systèmes Intelligents et de Robotique (ISIR)(法国国家科学研究中心智能系统与机器人研究所)
成群的分子机器人是通过自组装在微观尺度上创造特定形状的一种有前途的方法。然而,控制它们的行为是一个具有挑战性的问题,因为它涉及复杂的非线性动力学和高实验可变性。手工制作一个分子控制器通常是耗时的,并给出次优的结果。优化方法,如bioNEAT算法,以前被用来部分克服这些困难,但他们仍然不得不应付欺骗性的高维搜索空间和计算昂贵的模拟。在这里,我们描述了一种新的方法来解决这个问题,使用MAP精英,搜索高性能和多样化的解决方案的算法。然后,我们将其应用于我们最近引入的分子机器人框架,该框架允许在微观尺度上进行传感,信号传递和自组装,并表明MAP-Elites优于以前的方法。此外,我们提出了一个微型机器人物理和化学反应动力学的代理模型,以减少仿真的计算成本。我们表明,由此产生的方法是能够优化控制器,具有类似的精度,当只使用一个成熟的现实模型,一半的计算预算。
2019-10-01 cs.NE cs.RO
Many-objective Optimization via Voting for Elites
University of Vermont(佛蒙特大学)
本文提出 MOVE 算法,通过维护在不同目标子集上表现优异的精英地图,在仅 50 个个体的种群规模下解决 14 目标图像神经进化问题,并揭示了目标切换作为隐式课程学习机制的作用。
2023-07-05 cs.AI cs.NE
Seeking Quality Diversity in Evolutionary Co-design of Morphology and Control of Soft Tensegrity Modular Robots
University of Trento(特伦托大学)
由于形态学和控制器之间的非平凡相互作用,设计最佳的软模块化机器人是困难的。进化算法(EA),结合物理模拟器,代表了一个有效的工具来克服这个问题。在这项工作中,我们研究的算法解决方案,以提高质量多样性的协同进化设计的张拉整体软模块化机器人(TSMRs)的两个机器人任务,即达到目标和挤压通过一个狭窄的通道。为此,我们使用三种不同的EA,即,MAP-Elites和两种自定义算法:一种基于生存力进化(ViE)和NEAT(ViE-NEAT),另一种称为双映射MAP-Elites(DM-ME),旨在寻求多样性,同时共同进化机器人形态和基于神经网络(NN)的控制器。详细地说,DM-ME扩展了MAP-Elites,因为它使用两个不同的特征图,分别指形态和控制器,并集成了一种机制来自动定义NN相关的特征描述符。考虑到适应度,在目标达成任务中,ViE-NEAT优于MAP-Elites,结果相当于DM-ME。相反,当考虑特征空间的“照明”方面的多样性时,DM-ME在两个任务上都优于其他两种算法,提供了更丰富的可能的机器人设计池,而ViE-NEAT在目标达成上显示出与MAP-Elites相当的性能,尽管它不利用任何地图。
2021-04-25 cs.NE cs.RO
Exploration and Exploitation in Symbolic Regression using Quality-Diversity and Evolutionary Strategies Algorithms
Université de Paris(巴黎大学);Ochanomizu University(御茶水女子大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通过结合遗传编程,MAP精英和协方差矩阵自适应演化策略,我们在符号回归问题中表现出非常高的成功率。MAP-Elites用于改进探索,同时保持多样性并避免过早收敛和膨胀。然后,协方差矩阵自适应演化策略被用来评估自由标量通过非梯度的黑箱优化器。虽然这种评估方法是不计算可扩展的高维问题,我们的算法是能够找到正是大多数的$31$目标提取的文献上,我们评估它。
2019-06-10 cs.LG cs.NE
A 'MAP' to find high-performing soft robot designs: Traversing complex design spaces using MAP-elites and Topology Optimization
Data 61, CSIRO(数据61分部(联邦科学与工业研究组织));University of Cambridge(剑桥大学)
针对软体机器人缺乏高效设计工具的问题,提出结合拓扑优化与质量多样性优化的分层方法,通过演化设计域内可变空隙生成多样高性能设计,在基准与抓手任务中验证有效,提供新的软硬部件设计框架。
2024-07-10 cs.NE cs.RO
Elite Bases Regression: A Real-time Algorithm for Symbolic Regression
符号回归是数据采掘中一个重要而又具有挑战性的研究课题。它可以检测出潜在的数学模型。遗传编程(GP)是符号回归中最常用的方法之一。然而,它的收敛速度可能太慢,大规模的问题,大量的变量。这一缺陷已成为实际应用中的瓶颈。本文提出了一种新的非进化实时的【形】符号回归算法-精英基回归(EBR)。EBR生成一组候选基函数,这些基函数按照特定的映射规则用解析矩阵编码。同时,保留一定数量的精英基,并根据与目标模型的相关系数迭代更新。然后,通过精英基础来跨越回归模型。EBR和最近提出的符号回归的机器学习方法,快速函数提取(FFX)之间的比较研究进行。数值结果表明,EBR可以更有效地解决符号回归问题。
2017-05-15 cs.DS cs.NE
Monte Carlo Elites: Quality-Diversity Selection as a Multi-Armed Bandit Problem
进化搜索的一个核心挑战是需要在搜索空间的探索和高度拟合区域的利用之间取得平衡。质量多样性搜索明确地在人口的多样性和质量之间走钢丝。本文扩展了一个流行的质量多样性搜索算法,MAP-Elites,通过处理选择父母作为一个多臂强盗问题。使用置信度上限的变化来从搜索空间的未充分探索但潜在有益的区域中选择父区域,可以加速新区域的发现,并提高其存档的总体质量。这篇论文测试了一个间接的亲本选择质量的衡量标准:亲本后代的存活率。结果表明,在探索和开发之间保持平衡,可以在三个不同的测试平台中获得最多样化和高质量的解决方案。
2021-04-18 cs.NE
Adversarial Coevolutionary Illumination with Generational Adversarial MAP-Elites
IT University of Copenhagen(哥本哈根信息技术大学);armasuisse Science+Technology(瑞士联邦国防军科技司)
本文提出GAME算法,通过交替进化对抗双方,结合视觉嵌入模型消除领域特定行为描述,验证其在三个对抗领域中的有效性及开放性发现的局限性。
2026-05-08 cs.NE
Surrogate Infeasible Fitness Acquirement FI-2Pop for Procedural Content Generation
当使用过程内容生成(PCG)为视频游戏生成内容时,目标是创建高质量的功能资产。先前的工作通常利用可行-不可行的两种群(FI-2 Pop)约束优化算法进行PCG,有时结合多维表型精英档案(MAP-Elites)算法来寻找一组不同的解决方案。然而,不可行种群的适应度函数只考虑了违反约束的数量。在本文中,我们提出了一个变体的FI-2 Pop中,一个代理模型的训练,以预测从不可行的父母,可行的孩子,生产可行的孩子的概率加权的适应度。这促使选择更高的适应性,可行的解决方案。我们展示了我们的方法上的任务,产生飞船的空间工程师,显示改进的标准FI-2 Pop,和最近的多发射器约束MAP精英算法。
2022-05-12 cs.NE
Vector Quantized-Elites: Unsupervised and Problem-Agnostic Quality-Diversity Optimization
Computational Intelligence Laboratory (CILab), Department of Mathematics, University of Patras(数学系计算智能实验室(CILab),帕特拉大学);Laboratory of Automation and Robotics (LAR) in the Department of Electrical & Computer Engineering, University of Patras(电气与计算机工程系自动化与机器人实验室(LAR),帕特拉大学)
VQ-Elites通过无监督学习构建结构化行为空间,实现灵活且任务无关的质量-多样性优化。
2025-11-19 cs.AI cs.LG cs.NE
Elite Lanes: Evolutionary Generation of Realistic Small-Scale Road Networks
AGH University of Krakow(克拉科夫AGH科技大学)
本文比较了生成真实、受约束的小规模道路网络的方法,提出基于进化算法的生成方法,并通过实验展示其在生成真实道路网络方面的有效性。
2026-03-21 cs.NE
Evolving Populations of Diverse RL Agents with MAP-Elites
InstaDeep(InstaDeep公司)
针对现有MAP-ELITES与强化学习结合方法存在的样本效率低、绑定特定RL算法、训练不稳定等问题,提出可适配任意RL算法、进化含超参数的智能体种群的灵活框架,经机器人控制实验验证了其优势。
2023-06-15 cs.AI cs.NE
Data-Efficient Exploration, Optimization, and Modeling of Diverse Designs through Surrogate-Assisted Illumination
MAP-Elites算法生成一组高性能解决方案,这些解决方案根据用户定义的功能而变化。这种技术有可能成为一个强大的工具,设计空间探索,但受到限制,需要大量的评估。这里介绍的替代辅助照明算法(SAIL)集成了近似模型和目标函数的智能采样,以最大限度地减少MAP-Elites所需的评估数量。SAIL的能力,有效地产生精确的模型和不同的高性能的解决方案说明了二维翼型设计问题。将搜索空间划分为多个面元,每个面元保存具有不同特征组合的设计。在每个bin中,SAIL产生比MAP-Elites更好的性能解决方案,并且需要几个数量级的评估。CMA-ES算法用于在每个箱中产生最优设计:在CMA-ES在单个箱中找到接近最优的解决方案所需的评估次数相同的情况下,SAIL在每个箱中找到质量相似的解决方案。
2017-07-31 cs.NE stat.ML
Discovering Representations for Black-box Optimization
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);Bonn-Rhein-Sieg University of Applied Sciences(波恩莱茵锡格应用技术大学)
在黑盒优化中,解决方案的编码是表达能力和领域知识之间的微妙的、手工制作的平衡--在探索各种各样的解决方案和确保这些解决方案有用之间。我们的主要观点是,这个过程可以通过使用质量多样性算法(这里是MAP-Elites)生成高性能解决方案的数据集来自动化,然后使用生成模型(这里是变分自编码器)从该数据集学习表示。我们的第二个见解是,这种表示可以用于将质量多样性优化扩展到更高的维度-但只有当我们仔细混合使用学习表示生成的解决方案和使用传统变异算子生成的解决方案时。我们证明了这些能力,通过学习一个低维编码的逆运动学的千关节平面arm. Results结果表明,学习表示可以解决高维问题的数量级少的评价比标准的MAP精英,而且,一旦解决,产生的编码可用于快速优化的新的,但类似的任务。所提出的技术不仅将质量多样性算法扩展到高维,而且表明黑盒优化编码可以自动学习,而不是手动设计。
2020-07-05 cs.LG cs.NE
Data-Efficient Design Exploration through Surrogate-Assisted Illumination
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室);Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用科学大学)
设计优化技术通常用于设计过程的开始,以探索可能的设计空间。在这些领域中,照明算法,如MAP-Elites,是经典优化算法的有前途的替代方案,因为它们在单次运行中产生多种高质量的解决方案,而不是仅一个接近最优的解决方案。不幸的是,这些算法目前需要大量的功能评估,限制了它们的适用性。在这篇文章中,我们介绍了一种新的照明算法,代理辅助照明(SAIL),利用代理建模技术来创建一个地图的设计空间,根据用户定义的功能,同时最大限度地减少健身评估的数量。在二维翼型优化问题上,SAIL产生了数百种不同但高性能的设计,其评估数量级比MAP-Elites或CMA-ES少。我们证明,SAIL也能够在现实的三维空气动力学任务中产生高性能设计的地图,并具有准确的流动模拟。SAIL的数据高效设计探索可以帮助设计人员了解什么是可能的,超越什么是最优的,通过考虑比纯粹的基于目标的优化。
2018-06-15 cs.CE cs.LG cs.NE
Quality-Diversity Meta-Evolution: customising behaviour spaces to a meta-objective
University of Southampton(南安普顿大学)
本文提出QD-Meta框架,通过演化具有不同算法和表征特性的QD算法种群来优化用户定义的元目标,实证表明其在函数优化和机器人运动基准上优于CVT-MAP-Elites和AURORA,提供更好的平均性能和更快的环境适应能力。
2021-09-08 cs.AI cs.NE cs.RO
Multi-Task Optimization over Networks of Tasks
Vrije Universiteit Amsterdam(瓦赫宁海姆大学阿姆斯特丹);TH Köln(科隆应用技术大学)
本文提出MONET算法,通过将任务空间建模为图结构,实现任务间知识迁移,解决大规模任务集优化问题,实验显示其性能优于现有基线方法。
2026-06-25 cs.AI cs.LG cs.NE
Quality Diversity for Multi-task Optimization
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
质量多样性(QD)算法是一个最近的家庭的优化算法,搜索一个大的集合的多样性,但高性能的解决方案。在某些特定情况下,他们可以同时解决多个任务。例如,他们可以找到机器人手臂到达一组点所需的关节位置,这也可以通过为每个目标点运行经典优化器来解决。然而,当需要针对每个任务独立地评估适应度时,它们不能解决多个任务(例如,优化策略以掌握许多不同的对象)。在本文中,我们提出了一个扩展的MAP-Elites算法,称为多任务MAP-Elites,解决多个任务时,适应度函数依赖于任务。我们在模拟的参数化平面臂(10维搜索空间; 5000个任务)和具有不同长度腿的模拟6足式机器人(36维搜索空间; 2000个任务)上对其进行了评估。结果表明,在这两种情况下,我们的算法优于每个任务的优化分别与CMA-ES算法。
2020-04-17 cs.NE cs.RO
Theoretical Analysis of Quality Diversity Algorithms for a Classical Path Planning Problem
University of Passau(帕绍大学);The University of Adelaide(阿德莱德大学)
本文对Map-Elites质量多样性算法在全对最短路径问题上的行为进行理论分析,证明其能高效并行求解,并提出加速的父代选择技术。
2024-12-16 cs.AI cs.NE
A Framework for Automatic Behavior Generation in Multi-Function Swarms
University of Oslo(奥斯陆大学);Norwegian Defence Research Establishment(挪威国防研究机构);Naval Postgraduate School(美国海军研究生院)
多功能群是一次解决多个任务的群。例如,四轴飞行器群可以负责探索感兴趣的区域,同时充当临时中继。这种类型的多功能带来了同时处理潜在冲突需求的挑战。利用质量多样性算法MAP-精英结合一个合适的控制器结构,提出了一个框架的多功能群体的自动行为生成。该框架测试的情况下,同时进行三项任务:勘探,通信网络的创建和地理定位的RF发射器。一个剧目是演变,包括广泛的控制器,或行为原语,在不同的任务具有不同的特点和权衡。这套系统将使群体能够根据情境要求在线进行行为权衡。此外,噪声对MAP精英的行为特征的影响进行了研究。一个中等数量的重新评估被发现,以增加鲁棒性,同时保持相对较低的计算要求。几个选定的控制器进行检查,并探讨这些控制器之间的过渡的动态。最后,研究开发了一种方法来分析所得到的控制器的化妆。这是通过一个参数变化的研究,其中的重要性,个别输入的群体控制器进行评估和分析。
2020-07-11 cs.AI cs.MA cs.NE
Quality-Diversity Algorithms Can Provably Be Helpful for Optimization
本文通过运行时间分析证明,在单调近似子模最大化和集合覆盖两类 NP 难问题上,质量-多样性算法 MAP-Elites 可达渐近最优多项式近似比,而传统 $(\mu+1)$-EA 在某些实例上需指数时间,从而为 QD 算法有助于优化提供了理论依据。
2024-05-04 cs.NE
Objectives Are All You Need: Solving Deceptive Problems Without Explicit Diversity Maintenance
该研究提出一种无需显式维持多样性的欺骗性问题求解方法,通过子聚合环境原始性能生成多目标,结合字典选择优化,在欺骗性域效果优于MAP-Elites,多样性指标表现具竞争力。
2023-11-04 cs.NE
Understanding trade-offs in classifier bias with quality-diversity optimization: an application to talent management
本文提出基于质量-多样性优化及MAP-Elites的可视化方法,用于揭示训练数据偏差,并识别人才管理等场景中满足公平阈值的模型及其公平性-准确性权衡。
2025-05-15 cs.NE
Quality-Diversity Search in Sound Generation: Investigating Innovation Engines for Audio Exploration
University of Oslo(奥斯陆大学)
本研究将质量多样性算法与监督判别模型结合,通过多频段CPPN和DSP图生成多样化合成声音,并分析进化路径与时间生态位,展示了创新引擎在声音发现中的潜力。
2026-06-08 cs.NE cs.SD