Autonomous skill discovery with Quality-Diversity and Unsupervised Descriptors
Imperial College London（帝国理工学院）
质量多样性优化是一种新的优化算法家族，它不是搜索单个最优解来解决任务，而是搜索大量的解决方案，这些解决方案都以不同的方式解决任务。这种方法对于学习机器人中的行为库特别有前途，因为这种行为的多样性使机器人变得更加多才多艺和有弹性。然而，这些算法需要用户手动定义行为描述符，用于确定两个解决方案是不同还是相似。行为描述符的选择是至关重要的，因为它完全改变了算法推导的解决方案类型。在本文中，我们介绍了一种新的方法来自动定义这个描述符相结合的质量多样性算法与无监督降维算法。这种方法使机器人能够在与环境交互的同时自主发现其能力范围。两个实验场景的结果表明，机器人可以自主发现大范围的可能的行为，没有任何先验知识的形态和环境。此外，这些行为被认为类似于使用领域知识的手工解决方案，并且比使用现有的无监督方法时更加多样化。
2019-05-28 cs.NE cs.RO
Overcoming Deceptiveness in Fitness Optimization with Unsupervised Quality-Diversity
Imperial College London（伦敦帝国学院）
针对传统优化算法易陷入欺骗性适应度地形且QD算法依赖人工特征的问题，提出无监督QD框架AURORA-XCon，结合对比学习与周期性灭绝事件，在无需领域知识下高效解决优化问题并显著超越基线。
2025-04-04 cs.NE cs.RO
Discrepancy-based Evolutionary Diversity Optimization
多样性在演化计算中起着至关重要的作用。虽然多样性主要用于防止进化算法的种群过早收敛，但近年来，使用进化算法来获得不同的解集越来越受到关注。多样性优化的基础问题的功能方面，可以获得更好的理解可能的解决方案，手头的问题，并可以用于算法选择时，处理组合优化问题，如旅行推销员问题。我们探索使用的明星差异措施，以指导多样性优化过程的进化算法。在我们的实验研究中，我们考虑我们的差异为基础的多样性优化方法，不断发展的不同的图像集，以及旅行推销员的问题的情况下，本地搜索是无法找到接近最优的解决方案。我们的实验研究比较三种多样性优化方法表明，基于差异的多样性优化方法，使用一个平局打破规则的基础上加权差异周围的特征点提供了最好的结果，在星差异措施。
2018-02-15 cs.NE
Computing High-Quality Solutions for the Patient Admission Scheduling Problem using Evolutionary Diversity Optimisation
解集的多样性已经成为演化计算界的一个研究热点。它已被证明是有益的优化问题在几个方面，如计算一组不同的高质量的解决方案，并获得对不完美的建模鲁棒性。第一次在文献中，我们适应现实世界的组合问题，即病人入院调度的进化多样性优化。我们引入了一个进化算法，以实现结构多样性的解决方案，每个解决方案的质量。我们还引入了一个变异算子偏向多样性最大化。最后，我们通过仿真证明了多样性对上述问题的重要性。
2022-07-28 cs.NE
Evolutionary Diversity Optimization and the Minimum Spanning Tree Problem
在演化计算领域中，对给定优化问题的高质量解的不同集合的计算近年来在术语进化多样性优化下获得了动力。对用于多样性优化的基线进化算法的工作原理的理论见解仍然很少。在本文中，我们研究了著名的最小生成树问题（MST）的多样性优化的背景下，人口多样性是衡量成对的边缘重叠的总和。理论结果提供了深入了解的MST多样性优化问题的健身景观指出，即使人口的$μ=2$健身高原（恒定长度）可以达到，但不同的集可以计算在多项式时间。我们通过一系列针对无约束和约束情况的实验来补充我们的理论结果，其中所有解决方案都需要满足最小质量阈值。我们的研究结果表明，一个简单的$(μ+1)$ -EA可以有效地计算高质量的生成树的多样化的人口。
2021-04-27 cs.NE
An Analysis of Phenotypic Diversity in Multi-Solution Optimization
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用科学大学）；Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高等计算机科学研究所）
越来越多的优化方法被用来寻找不同的解集。我们比较解决方案的多样性在多目标优化，多模态优化，质量多样性在一个简单的域。我们发现，多目标优化并不总是产生太多的多样性，多模态优化产生更高的适应度的解决方案，和质量的多样性是不敏感的遗传中性，并创建最多样化的解决方案。自动编码器用于自动发现表型特征，产生具有质量多样性的更多样化的解决方案集。最后，我们对何时使用哪种方法提出建议。
2021-05-10 cs.LG cs.NE
Monte Carlo Elites: Quality-Diversity Selection as a Multi-Armed Bandit Problem
进化搜索的一个核心挑战是需要在搜索空间的探索和高度拟合区域的利用之间取得平衡。质量多样性搜索明确地在人口的多样性和质量之间走钢丝。本文扩展了一个流行的质量多样性搜索算法，MAP-Elites，通过处理选择父母作为一个多臂强盗问题。使用置信度上限的变化来从搜索空间的未充分探索但潜在有益的区域中选择父区域，可以加速新区域的发现，并提高其存档的总体质量。这篇论文测试了一个间接的亲本选择质量的衡量标准：亲本后代的存活率。结果表明，在探索和开发之间保持平衡，可以在三个不同的测试平台中获得最多样化和高质量的解决方案。
2021-04-18 cs.NE
On the Use of Diversity Mechanisms in Dynamic Constrained Continuous Optimization
种群多样性在进化算法中起着关键作用，它可以实现全局搜索并避免过早收敛。这在动态优化中尤其重要，其中多样性可以确保种群通过适应不断变化的环境来跟踪全局最优值。动态约束优化问题（DCOPs）是近年来许多研究者的研究目标，因为它们理解了当前现实世界中的许多问题。尽管多样性在动态优化中的重要性，但到目前为止，还没有广泛的研究调查DCOP中多样性促进技术的影响。为了解决这一差距，本文的目的是研究如何使用不同的多样性机制可能会影响DCOP算法的行为。为了实现这一目标，我们应用和适应最常见的多样性促进机制的动态环境中使用差分进化（DE）作为我们的基础算法。结果表明，在大多数测试用例中，应用多样性技术来解决DCOPs会导致基线算法在修改后的离线误差值方面的显着增强。
2019-10-02 cs.NE
Prototype Discovery using Quality-Diversity
一个迭代的计算机辅助构思过程中引入，最近的质量多样性算法，搜索不同的，以及高性能的解决方案。相似性约简被用来定义一个相似性空间，在该空间中，解被聚类到类中。这些类由原型表示，原型呈现给用户供选择。在下一次迭代中，质量多样性集中在所选类中进行搜索。对二维翼型进行了定量分析，更复杂的三维侧视镜域显示了计算机辅助构思如何有助于增强工程师的直觉，同时允许他们的设计决策影响设计过程。
2018-07-25 cs.NE
Can the Problem-Solving Benefits of Quality Diversity Be Obtained Without Explicit Diversity Maintenance?
本文论证质量多样性优化应与多目标而非单目标优化比较，并提出基于降维自动确定行为描述符和目标集的方法，以实现两类算法的公平对比。
2023-05-12 cs.NE
Exploring Novel Quality Diversity Methods For Generalization in Reinforcement Learning
强化学习领域在成就方面很强，在重复应用方面很弱;一台电脑在玩围棋时达到了超人的水平，但在玩井字游戏时仍然很糟糕。本文探讨了训练网络的方法是否提高了网络的泛化能力。具体来说，我们探讨核心质量多样性算法，比较两个最近的算法，并提出了一个新的算法来处理现有方法的缺点。虽然这些方法的结果是远远低于预期的性能，我们的工作提出了重要的点选择质量多样性的行为准则，差分和进化训练方法的相互作用，以及离线强化学习和随机学习在进化搜索中的作用。
2023-03-26 cs.NE
Seeking Quality Diversity in Evolutionary Co-design of Morphology and Control of Soft Tensegrity Modular Robots
University of Trento（特伦托大学）
由于形态学和控制器之间的非平凡相互作用，设计最佳的软模块化机器人是困难的。进化算法（EA），结合物理模拟器，代表了一个有效的工具来克服这个问题。在这项工作中，我们研究的算法解决方案，以提高质量多样性的协同进化设计的张拉整体软模块化机器人（TSMRs）的两个机器人任务，即达到目标和挤压通过一个狭窄的通道。为此，我们使用三种不同的EA，即，MAP-Elites和两种自定义算法：一种基于生存力进化（ViE）和NEAT（ViE-NEAT），另一种称为双映射MAP-Elites（DM-ME），旨在寻求多样性，同时共同进化机器人形态和基于神经网络（NN）的控制器。详细地说，DM-ME扩展了MAP-Elites，因为它使用两个不同的特征图，分别指形态和控制器，并集成了一种机制来自动定义NN相关的特征描述符。考虑到适应度，在目标达成任务中，ViE-NEAT优于MAP-Elites，结果相当于DM-ME。相反，当考虑特征空间的“照明”方面的多样性时，DM-ME在两个任务上都优于其他两种算法，提供了更丰富的可能的机器人设计池，而ViE-NEAT在目标达成上显示出与MAP-Elites相当的性能，尽管它不利用任何地图。
2021-04-25 cs.NE cs.RO
Niching Diversity Estimation for Multi-modal Multi-objective Optimization
小生境技术是进化多目标优化中一种重要且广泛应用的技术。它的应用主要集中在保持多样性和避免过早收敛到局部最优。近年来，一类特殊的多目标优化问题，即多模态多目标优化问题（MMOPs），开始受到越来越多的关注。在MMOPs中，目标空间中的解在决策空间中可能有多个逆像，这些逆像被称为等价解。由于等效解决方案是重叠的（即，占据相同的位置）时，标准的多样性估计器（例如拥挤距离）可能会选择其中之一而丢弃其他估计器，这可能会导致决策空间中的多样性损失。在这项研究中，提出了一个一般的小生境机制，使标准的多样性估计更有效地处理MMOPs。在我们的实验中，我们将我们提出的小生境多样性估计方法到SPEA 2和NSGA-II和几个MMOPs的性能进行评估。实验结果表明，提出的小生境机制显着提高SPEA 2和NSGA-II在各种MMOP的性能。
2021-01-31 cs.NE
Towards Exploratory Quality Diversity Landscape Analysis
本研究初步探索将ELA应用于QD问题，验证了QD优化及相关参数会影响ELA特征，为后续自动化QD算法选择奠定基础。
2024-05-22 cs.NE
Quality-diversity for aesthetic evolution
许多创造性的生成设计空间包含多个区域，具有高美学价值的个体。然而，传统的进化计算方法通常专注于优化，在种群中搜索最适合的个体。在本文中，我们应用质量多样性搜索方法，探索一个创造性的生成系统（基于代理的线画模型）。我们进行随机抽样的基因型空间，并使用个人艺术家分配的审美质量的评价，制定一个可计算的健身措施，具体到艺术家和这个系统。为了计算多样性，我们使用了一个卷积神经网络来区分在维度上减少到两个维度的特征。我们表明，质量多样性搜索是能够找到高美学价值的多个表型。这些表型比艺术家使用人工搜索方法能够找到的表型显示出更大的多样性和质量。
2022-02-04 cs.HC cs.NE
Maximizing Diversity for Multimodal Optimization
大多数多模态优化算法使用所谓的\textit{niching methods} ~ \cite{mahfoud1995niching}，以促进优化过程中的多样性，而其他算法，如\textit{Artificial Immune Systems} ~ \cite{de2010conceptual}，试图找到多个解决方案作为其主要目标。其中一种算法称为\textit{dopt-aiNet} ~ \cite{de2005artificial}，它引入了线距离，用于测量两个解之间关于吸引力基础的距离。在这个简短的摘要中，我建议使用线距离测量作为主要目标函数，以便在人口中同时定位多个最优值。
2014-06-10 cs.NE
Self-Referential Quality Diversity Through Differential Map-Elites
差分MAP-Elites算法是一种将CVT-MAP-Elites算法的光照能力与差分进化算法的连续空间优化能力相结合的新算法。该算法的动机是观察照明算法，质量多样性算法一般，提供了定性的新的能力和应用程序的演化计算，但在其原始版本相对简单的优化。这里首次介绍的基本差分MAP-Elites算法相对简单，因为它简单地将差分进化的算子与CVT-MAP-Elites的地图结构相结合。基于25个数值优化问题的实验表明，差分MAP-Elites明显优于CVT-MAP-Elites，找到更好的质量和更多样化的解决方案。
2021-07-11 cs.NE
Quality Diversity through Human Feedback: Towards Open-Ended Diversity-Driven Optimization
Manning College of Information & Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（矢量研究所）；Amherst College（阿默斯特学院）；Stochastic Labs（随机实验室）；Stability AI（Stability AI公司）
提出QDHF方法，通过逐步从人类对解决方案相似性的判断中推断多样性度量指标，解决了质量多样性算法依赖手工设计指标的问题，在开放式生成任务中显著提升了模型响应的多样性。
2024-06-04 cs.AI cs.NE
Comparing reliability of grid-based Quality-Diversity algorithms using artificial landscapes
质量多样性（QD）算法是一种新的优化方法，它搜索各种高性能解决方案的集合。它们可用于根据用户定义的特征有效地探索目标问题。然而，QD领域仍然没有广泛的方法和参考基准来比较这些算法。我们提出了一个简单的基准来比较QD算法的可靠性，通过优化Rastrigin函数，一个人工景观函数，通常用于测试全局优化方法。
2019-07-23 cs.NE
Modeling User Selection in Quality Diversity
实际工程优化和设计的初始阶段是一个发现的过程，在这个过程中，并非所有的需求都可以提前提出，或者很难形式化。质量多样性算法可以产生各种高性能的解决方案，为工程师和设计师提供了一个独特的机会，帮助他们寻找可能和高性能的解决方案。在这项工作中，我们开始回答这样一个问题：用户如何与质量多样性互动，并将其转化为互动式创新援助。通过对用户的选择进行建模，可以确定优化是否偏离用户的偏好。然后通过向目标函数添加惩罚来约束优化。我们提出了一个交互式质量多样性算法，可以考虑到用户的选择。该方法在一个新的多模态优化基准，允许执行各种优化任务进行评估。用户选择漂移的方法进行比较的规划和神经进化控制任务，从而显示其限制和可能性的最先进的替代品。
2019-07-16 cs.NE
Dominated Novelty Search: Rethinking Local Competition in Quality-Diversity
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Imperial College London（帝国理工学院）；Amherst College（阿默斯特学院）
本文提出Dominated Novelty Search，将Quality-Diversity重新表述为通过适应度变换而非显式收集机制实现局部竞争的遗传算法，消除了预定义边界和参数需求，在标准基准及高维、无监督场景中均显著优于现有方法。
2025-02-01 cs.LG cs.NE
Relevance-guided Unsupervised Discovery of Abilities with Quality-Diversity Algorithms
Imperial College London（帝国理工学院）
质量多样性算法提供了有效的机制来生成大量的多样化和高性能的解决方案，这已被证明是有助于解决下游任务。然而，这些算法中的大多数依赖于行为描述符来描述手工编码的多样性，因此需要关于所考虑的任务的先验知识。在这项工作中，我们引入了相关性指导的无监督发现能力;质量多样性算法，自主地找到适合手头任务的行为特征。特别是，我们的方法引入了一个自定义的多样性度量，导致更高的密度的解决方案附近的区域的学习行为描述符空间。我们评估我们的方法在一个模拟的机器人环境中，机器人自主发现其能力的基础上，其完整的传感器数据。我们评估了三个任务的算法：导航到随机目标，高速前进，并执行半卷。实验结果表明，我们的方法设法发现集合的解决方案，不仅是多样化的，但也很好地适应所考虑的下游任务。
2022-04-21 cs.AI cs.LG cs.NE
Exploring the Feature Space of TSP Instances Using Quality Diversity
生成不同属性的实例是算法选择方法的关键，该方法区分给定组合优化问题的不同求解器的性能。近年来，已经引入了使用演化计算技术的各种方法。在本文中，我们通过提供一种基于质量多样性（QD）的新方法来为这一研究领域做出贡献，该方法能够探索整个特征空间。QD算法允许在给定的特征空间内创建高质量的解决方案，方法是将其分成框并提高每个框内的解决方案质量。我们使用我们的QD方法生成的TSP实例，可视化和分析的各种实例区分各种TSP求解器，并将其与由$(μ+1)$ -EA生成的TSP实例进行比较。
2022-04-12 cs.NE
Uncertain Quality-Diversity: Evaluation methodology and new methods for Quality-Diversity in Uncertain Domains
质量多样性优化（QD）已被证明在广泛的应用中产生有希望的结果。然而，QD方法在环境中存在不确定性的情况下会遇到困难，因为它影响了它们量化解决方案的真实性能和新颖性的能力。这个问题在以前的文献中已经被独立地强调了多次。在这项工作中，我们建议通过四个主要贡献统一对这个问题的看法。首先，我们正式不确定域的一个共同的框架：不确定QD设置，QD的一个特殊情况下，每个解决方案的适应度和描述符不再是固定值，但分布在可能的值。其次，我们提出了一种新的方法来评估不确定的QD方法，依赖于一个新的每代抽样预算和一组现有的和新的指标，专门为不确定的QD。第三，我们提出了三种新的不确定性量子点算法：归档采样、自适应采样和深度网格采样。我们提出这些方法，考虑到最近的进展，在量子点社区对使用硬件加速，使大量的并行评估，使采样负担得起的方法的不确定性。我们的最后也是第四个贡献是使用这个新的框架和相关的比较方法来衡量现有的和新的方法。我们再次证明了MAP-精英在不确定领域的局限性，并强调了现有的深度网格方法和我们的新算法的性能。这个框架和方法的目标是成为未来考虑不确定QD的工作的工具基准。
2023-03-27 cs.NE
Quality and Diversity Optimization: A Unifying Modular Framework
Imperial College London（帝国理工学院）
根据一个或多个目标找到最佳解决方案的函数优化在许多工程和研究领域中具有核心作用。最近，一个新的家庭的优化算法，称为质量多样性优化，已被介绍，并与经典算法进行了对比。质量多样性算法不是搜索单一的解决方案，而是搜索大量的多样化和高性能的解决方案。此集合的作用是尽可能涵盖可能多的解决方案类型，并包含每种类型的最佳解决方案。本文的贡献有三个方面。首先，我们提出了一个统一的框架的质量多样性优化算法，涵盖了这个家庭的两个主要算法（多维档案表型精英和新颖性搜索与本地竞争），并强调了大量的各种各样的变种，可以在这个家庭中进行调查。其次，我们提出了一个新的选择机制的质量多样性算法，优于本文测试的所有算法的算法。最后，我们提出了一个新的集合管理，克服了使用非结构化集合时观察到的侵蚀问题。这三个贡献的支持质量多样性算法在三个不同的实验方案进行了广泛的实验比较。
2017-05-12 cs.AI cs.NE
Benchmarking Quality-Diversity Algorithms on Neuroevolution for Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
我们为机器人控制的强化学习领域的深度神经进化提出了一个质量多样性基准套件。该套件包括任务、环境、行为描述符和适应性的定义。我们根据任务和由深度神经网络控制的代理的复杂性指定不同的基准。该基准使用标准的质量多样性指标，包括覆盖率，QD得分，最大适应度和存档配置文件指标来量化覆盖率和适应度之间的关系。我们还提出了如何量化的鲁棒性的解决方案，环境随机性，通过引入相同的指标的校正版本。我们相信，我们的基准是一个宝贵的工具，为社会比较和改善他们的调查结果。源代码可在线获取：https://github.com/adaptive-intelligent-robotics/QDax
2022-11-04 cs.AI cs.LG cs.NE
QED: using Quality-Environment-Diversity to evolve resilient robot swarms
针对集群机器人故障恢复问题，提出基于环境多样性的新型行为描述符QED，结合质量-多样性算法构建无模型恢复方法，使故障影响降低2-3倍并能有效应对高影响故障。
2020-03-04 cs.NE
Learning to Walk Autonomously via Reset-Free Quality-Diversity
Imperial College London（帝国理工学院）
质量多样性（QD）算法可以发现由多样化和高性能技能组成的大型复杂行为库。然而，行为剧目的生成主要限于模拟环境，而不是现实世界的学习。这是因为现有的QD算法需要大量的评估以及情节重置，这需要人工的人类监督和干预。本文提出了无重置质量多样性优化（RF-QD）作为在开放式环境中机器人自主学习的一步。我们建立在动态感知质量多样性（DA-QD）的基础上，并引入了一种行为选择策略，该策略利用想象的曲目和环境信息的多样性来智能地选择可以作为自动重置的行为。我们通过学习在有障碍的训练区内行走的任务来证明这一点。我们的实验表明，我们可以学习完整的剧目的腿运动控制器自主没有手动复位高样本效率，尽管苛刻的安全约束。最后，使用消融不同的目标，我们表明，它是重要的RF-QD有不同类型的解决方案可用于行为选择政策的解决方案优化了一个特定的目标。视频和代码可在https://sites.google.com/view/rf-qd获得。
2022-04-07 cs.AI cs.LG cs.NE
Evolutionary Multi-Objective Diversity Optimization
本文将多样化解集问题建模为双目标优化问题，提出以“种群中的种群”进化框架实现质量-多样性权衡，并在NSGA-II和SPEA2上验证了方法在多个组合优化问题上的有效性。
2024-01-15 cs.NE
Exploring the Evolution of GANs through Quality Diversity
生成对抗网络（GANs）在生成算法领域取得了相关进展，主要在图像背景下呈现高质量的结果。然而，GANs很难训练，模型的几个方面应该事先手工设计，以确保训练成功。在这种背景下，提出了诸如COEGAN的进化算法来解决GAN训练中的挑战。然而，在这些解决方案中，可以发现缺乏多样性和过早优化。本文提出了一种质量多样性算法在GANs进化中的应用。该解决方案是基于新颖性搜索与本地竞争（NSLC）算法，适应COEGAN中使用的概念，这一新的建议。我们比较我们的建议与原来的COEGAN模型和一个替代版本，使用全球竞争的方法。实验结果表明，我们的建议增加了发现的解决方案的多样性，并利用该算法发现的模型的性能。此外，全球竞争方法能够始终如一地为GANs找到更好的模型。
2020-07-13 cs.NE
Tournament Informed Adversarial Quality Diversity
IT University of Copenhagen（哥本哈根IT大学）；armasuisse Science+Technology（瑞士国防军工科学与技术）
本文提出竞赛引导的任务选择方法，通过比较解集的6种质量与多样性指标，提升对抗性质量与多样性，验证于Pong、猫鼠游戏和追捕者-逃避者游戏。
2026-05-15 cs.NE
Toward Artificial Open-Ended Evolution within Lenia using Quality-Diversity
本文提出Leniabreeder框架，将质量-多样性演化算法与Lenia连续元胞自动机结合，自动发现多样自组织模式，并展示其在人工开放式演化中的潜力。
2024-06-06 cs.NE
Procedural Content Generation through Quality Diversity
University of Malta（马耳他大学）；New York University（纽约大学）
质量多样性（QD）算法搜索一组好的解决方案，覆盖的空间定义的行为度量。这种同时关注质量和多样性与明确的指标集QD算法除了标准的单目标和多目标进化算法，以及从多样性保护方法，如小生境。这些属性为游戏中的人工智能开辟了新的途径，特别是对于程序内容生成。创建多个系统性变化的解决方案可以为创造性的人机交互和适应性提供新的方法。在过去的几年中，一些应用程序的QD程序的内容生成和玩游戏已经提出，我们讨论这些问题，并提出未来工作的挑战。
2019-07-09 cs.AI cs.NE
Analysis of Quality Diversity Algorithms for the Knapsack Problem
质量多样性（QD）算法在处理诸如机器人、游戏和组合优化等领域的问题时已被证明是非常成功的。它们旨在最大限度地提高解决根本问题的所谓行为空间的不同区域的质量。在本文中，我们应用QD范式来模拟背包问题的动态规划行为，并提供了第一个运行时分析QD算法。我们表明，他们能够计算出预期的伪多项式时间内的最优解，并揭示参数设置，导致一个完全多项式随机逼近方案（FPRAS）。我们的实验研究评估不同的方法在经典的基准集上的行为空间中构建的解决方案，以及获得最佳解决方案所需的运行时间。
2022-07-28 cs.NE
Discovering Quality-Diversity Algorithms via Meta-Black-Box Optimization
Imperial College London（帝国理工学院）；Sakana AI
本文提出利用元学习自动发现质量-多样性算法，通过注意力机制参数化竞争规则，所得算法在性能、泛化能力和多样性维持上均表现优异。
2025-02-04 cs.LG cs.NE
Analyzing and controlling diversity in quantum-behaved particle swarm optimization
本文针对量子行为粒子群优化（QPSO）定义基因型与表现型多样性，发现到平均点距离多样性与搜索性能关联更强，并提出两种多样性控制策略以提升算法搜索能力。
2023-08-09 cs.NE
Computing Diverse Sets of High Quality TSP Tours by EAX-Based Evolutionary Diversity Optimisation
基于边集合交叉的进化算法（EAX）构成了著名的旅行推销员问题（TSP）的一些最好的性能不完全解决方案。通常情况下，它是可取的，不只是计算一个单一的解决方案，一个给定的问题，但不同的一组高质量的解决方案，决策者可以选择一个实施。目前，只有少数几种方法来计算TSP的不同的解决方案集。此外，几乎所有的算法都假设最优解是已知的。在本文中，我们介绍了进化多样性优化（EDO）的TSP方法，找到一个不同的旅游时，最佳旅游是已知的或未知的。我们展示了如何采用EAX，不仅找到高质量的解决方案，而且最大限度地提高人口的多样性。由此产生的EAX为基础的EDO方法，称为EAX-EDO是能够获得不同的高质量的旅游时，TSP的最优解是已知的或未知的。与现有方法的比较表明，EAX-EDO的性能明显优于它们。
2021-08-12 cs.NE
Efficient Exploration using Model-Based Quality-Diversity with Gradients
Imperial College London（帝国理工学院）
探索是强化学习中的一个关键挑战，特别是在长视野、欺骗性和稀疏奖励的环境中。对于这些应用，基于人口的方法已证明是有效的。质量多样性等方法通过鼓励新的解决方案和产生行为的多样性来解决这个问题。然而，这些方法是由无向采样（即突变）或使用参数空间中的近似梯度（即演化策略）驱动的，这使得它们的采样效率非常低。在本文中，我们提出了一个基于模型的质量多样性的方法。它扩展了现有的QD方法，使用梯度进行有效的开发，并利用想象中的扰动进行有效的探索。我们的方法同时优化了种群的所有成员，通过利用QD算法作为良好的数据生成器的有效性来训练深度模型，从而有效地保持性能和多样性。我们证明，它保持了基于人口的方法的不同搜索能力的任务与欺骗性奖励，同时显着提高他们的样本效率和解决方案的质量。
2022-11-22 cs.AI cs.LG cs.NE
Quality-diversity in dissimilarity spaces
本研究将Magnitude理论框架应用于通用相异空间，构建质量-多样性算法，实例化的通用版Go-Explore算法展现出良好性能。
2026-09-07 cs.AI cs.NE math.OC
Enhancing Decision Space Diversity in Multi-Objective Evolutionary Optimization for the Diet Problem
Universidade Federal de Ouro Preto（欧鲁普雷图联邦大学）
本文提出了一种基于汉明距离的改进方法，用于增强多目标进化优化在饮食问题中的决策空间多样性，通过优化选择机制提升解的多样性，同时保持目标空间性能。
2025-08-09 cs.NE
Rigorous Runtime Analysis of Diversity Optimization with GSEMO on OneMinMax
The University of Adelaide（阿德莱德大学）
本文分析带多样性增强启发式的 GSEMO 在 OneMinMax 上的最后优化阶段，证明 n 为奇数时可在期望 O(n^2) 时间获得最优多样性种群。
2023-07-14 cs.AI cs.NE
Distributional Value Estimation Without Target Networks for Robust Quality-Diversity
本文提出QDHUAC算法，通过无目标分布批评者和主导选择结合，实现高效样本利用的质量-多样性强化学习，减少环境步骤并提升性能。
2026-04-22 cs.LG cs.NE cs.RO
Co-Evolutionary Diversity Optimisation for the Traveling Thief Problem
最近，不同的演化计算方法已经开发，生成一组高质量的不同的解决方案，为一个给定的优化问题。许多研究认为多样性1）是探索行为空间中的小生境（质量多样性）或2）增加解决方案的结构差异（进化多样性优化）的一种手段。在这项研究中，我们引入了一个协同进化算法，同时探索两个空间的多组件旅行小偷问题。结果表明，协同进化算法的能力，以实现显着更高的多样性相比，基线进化多样性算法从文献。
2022-07-28 cs.NE
Fast Re-Optimization via Structural Diversity
当一个问题实例被一个小的修改所干扰时，人们希望通过建立在前一个已知的好的解决方案上来为新实例找到一个好的解决方案。通过严格的数学分析，我们表明，进化算法，尽管通常是强大的问题求解器，可以有意想不到的困难来解决这样的重新优化问题。当以最优值的随机汉明邻居开始时，（1+1）进化算法需要$Ω(n^2)$时间来优化LeadingOnes基准函数，这与以随机选择的解决方案开始时的渐进优化时间相同。因此，重新优化一个结构良好的解决方案没有明显的优势。然后，我们提出了一种克服这些困难的方法。正如我们的数学分析所揭示的，这种不期望的行为的原因是，在优化过程中，结构良好的解决方案可以很容易地被结构更差的解决方案所取代。我们提出了一个简单的多样性机制，防止这种行为，从而减少重新优化时间为领先者$O(γδn)$，其中$γ$是人口规模所使用的多样性机制和$δ\le γ$的汉明距离的新的最佳从以前的解决方案。我们同样快速重新优化时间的线性函数的优化，不断变化的约束条件和最小生成树问题。
2019-04-16 cs.NE
Entropy-Based Evolutionary Diversity Optimisation for the Traveling Salesperson Problem
近年来，在演化计算社区中，计算不同的高质量解决方案集已经获得了越来越多的关注。它允许从业者从一组高质量的替代品中进行选择。在本文中，我们采用了人口多样性的措施，称为高阶熵的措施，在进化算法中计算不同的旅行推销员问题的高质量的解决方案。与以前的研究相比，我们的方法允许多样化的旅游段包含几个边缘的熵测度的基础上。我们研究所产生的进化多样性优化方法，正是在最后一组的解决方案和理论属性。实验结果表明，显着的改善相比，最近提出的基于边缘的多样性优化方法时，与大量的解决方案或长段。
2021-04-28 cs.NE
Model-Based Quality-Diversity Search for Efficient Robot Learning
Technische Universität Darmstadt（达姆施塔特工业大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
尽管最近在机器人学习方面取得了进展，但对机器人进行编程以处理开放式对象操作任务仍然是一个挑战。最近，一种方法被用来自主地产生一个剧目的不同的技能是一个新颖的基础上的质量多样性（QD）算法。然而，与大多数进化算法一样，量子点算法存在样本效率低的问题，因此，将其应用于现实世界的场景具有挑战性。本文解决了这个问题，通过集成一个神经网络，预测的行为的扰动参数到一个新颖的QD算法。在提出的基于模型的质量多样性搜索（M-QD）中，网络被同时训练到指令集，并用于避免在新颖性搜索过程中执行没有希望的动作。此外，它还用于调整最终曲目的技能，以便将技能推广到不同的场景。我们的实验表明，增强QD算法与这样的前向模型提高了样本效率和性能的进化过程和技能适应。
2020-08-11 cs.AI cs.LG cs.NE
Dynamics-Aware Quality-Diversity for Efficient Learning of Skill Repertoires
Imperial College London（帝国理工学院）
质量多样性（QD）算法是一种功能强大的探索算法，允许机器人发现大量多样化和高性能技能。然而，QD算法是样本效率低的，需要数百万次评估。在本文中，我们提出了动态感知质量多样性（DA-QD），一个框架，以提高样本效率的QD算法，通过使用动力学模型。我们还展示了如何DA-QD，然后可以用于不断收购新的技能剧目。为此，我们根据使用QD执行技能发现时获得的经验，递增地训练深度动力学模型。然后，我们可以用想象的技能库在想象中进行QD探索。我们评估我们的方法对三个机器人实验。首先，我们的实验表明，DA-QD比现有的QD方法的样本效率高20倍。其次，我们展示了学习一个全新的技能剧目在想象力执行零样本学习。最后，我们展示了DA-QD是如何有用和有效地解决一个长期的地平线导航任务，并在现实世界中的损害适应。视频和源代码可在https://sites.google.com/view/da-qd上获得。
2021-09-16 cs.AI cs.LG cs.NE
Ensemble Feature Extraction for Multi-Container Quality-Diversity Algorithms
质量多样性算法搜索大量不同的高性能解决方案，而不是像典型的优化方法那样只搜索单个解决方案。它们特别适用于可以以多种不同方式解决的多模态问题，例如复杂的强化学习或机器人任务。然而，这些方法是高度依赖于选择的特征描述符（FD）量化的解决方案的行为的相似性。虽然FD通常需要手工设计，但最近的研究已经提出了通过使用特征提取技术（如PCA或自动编码器）自动定义FD的方法，以从先前探索的解决方案中学习问题的表示。在这里，我们将这些方法扩展到更复杂的问题，这些问题不能只依靠单一的表示进行有效的探索，而是需要一组不同的和互补的表示。我们描述了MC-AURORA，质量多样性的方法，同时优化几个集合的解决方案，每个具有不同的FD，这反过来，自动定义的一个合奏的模块化自动编码器。我们表明，这种方法产生的解决方案比单一代表方法产生的解决方案更多样化。
2021-05-03 cs.NE
Multi-Emitter MAP-Elites: Improving quality, diversity and convergence speed with heterogeneous sets of emitters
质量多样性（QD）优化是一个新的学习算法家族，旨在生成多样化和高性能解决方案的集合。在这些算法中，最近引入的协方差矩阵自适应MAP-Elites（CMA-ME）算法提出了发射器的概念，它使用预定义的启发式来驱动算法的探索。该算法被证明优于MAP-Elites，这是一种流行的QD算法，在许多应用中已经证明了有希望的结果。在本文中，我们介绍了多EMAP-Elites（ME-MAP-Elites），一种算法，直接扩展CMA-ME，提高其质量，多样性和数据效率。它利用了一组异构发射器的多样性，其中每种发射器类型以不同的方式改进优化过程。强盗算法根据当前情况动态地找到发射器的最佳选择。我们评估了ME-MAP-Elites在六项任务上的性能，从标准优化问题（100维）到机器人中复杂的运动任务。我们与CMA-ME和MAP-Elites的比较表明，ME-MAP-Elites在提供更多样化和更高性能的解决方案集合方面更快。此外，在不同的发射器之间没有有效的协同作用的情况下，ME-MAP-Elites相当于最好的比较算法。
2021-07-06 cs.NE
Quality-Diversity Optimization: a novel branch of stochastic optimization
Computer Technology Institute & Press “Diophantus” (CTI)（“丢番图”计算机技术研究所与出版社（CTI））；Imperial College London（伦敦帝国学院）；Research Centre on Interactive Media, Smart Systems and Emerging Technologies（互动媒体、智能系统与新兴技术研究中心）；Inria（法国国家信息与自动化研究所（Inria））；CNRS（法国国家科学研究中心（CNRS））；Université de Lorraine（洛林大学）
传统的优化算法搜索一个单一的全局最优值，最大化（或最小化）的目标函数。多峰优化算法在搜索空间中搜索可能多于一个的最高峰。质量多样性算法是演化计算工具箱中的一个新成员，它不仅搜索一组局部最优解，而且试图照亮搜索空间。实际上，它们提供了高性能解决方案如何分布在整个搜索空间中的整体视图。与多模态优化算法的主要区别在于：（1）质量多样性通常在行为空间（或特征空间）中工作，而不是在基因型（或参数）空间中工作;（2）质量多样性试图填充整个行为空间，即使小生境不是适应度景观中的峰值。在本章中，我们将对质量多样性优化进行简单的介绍，讨论主要的代表性算法，以及社区中正在考虑的主要当前主题。在本章中，我们还讨论了质量多样性算法的几个成功应用，包括深度学习、机器人和强化学习。
2020-12-17 cs.LG cs.NE math.OC
Evolving Flying Machines in Minecraft Using Quality Diversity
Southwestern University（西南大学）
本文针对 EvoCraft 无法进化 Minecraft 飞行器的问题，结合基于适应度的进化与质量多样性算法 MAP-Elites，证明合适行为特征可显著提升飞行器发现的可靠性。
2023-04-19 cs.AI cs.NE
Efficient Quality Diversity Optimization of 3D Buildings through 2D Pre-optimization
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）；University of Siegen（锡根大学）；Fraunhofer Institute for Algorithms and Scientific Computing (SCAI)（弗劳恩霍夫算法与科学计算研究所（SCAI））
质量多样性算法可以用来有效地创建一组不同的解决方案，以告知工程师的直觉。但是，质量多样性在非常昂贵的问题中并不有效，需要100.000次评估。即使有代理模型的辅助，质量多样性也需要上百甚至上千次的评估，这可能使其使用不可行。在这项研究中，我们试图解决这个问题，通过使用预优化策略的低维优化问题，然后映射到一个高维的情况下的解决方案。对于一个用例，以设计建筑物，最大限度地减少风的滋扰，我们表明，我们可以预测周围的三维建筑物的流动功能，从二维流动功能周围的建筑物的足迹。对于一组不同的建筑设计，通过使用质量多样性算法对2D足迹的空间进行采样，可以训练预测模型，该预测模型比在使用空间填充算法（如Sobol序列）选择的一组足迹上训练时更准确。仅在3D中模拟16个建筑物，创建了一组1024个具有低预测风干扰的建筑物设计。我们表明，我们可以通过产生具有质量多样性的训练数据而不是使用常见的采样技术来产生更好的机器学习模型。该方法可以在计算昂贵的3D域中引导生成式设计，并允许工程师扫描设计空间，在早期设计阶段了解风干扰。
2023-03-28 cs.LG cs.NE
Niching-based Evolutionary Diversity Optimization for the Traveling Salesperson Problem
在这项工作中，我们考虑的问题，找到一组旅游的旅行推销员问题（TSP）的实例最大限度地提高多样性，同时满足给定的成本约束。本研究旨在探讨小生境应用的有效性，以最大限度地提高多样性，而不是简单地维持it. To为此，我们介绍了一个2阶段的方法，其中一个简单的小生境模因算法（NMA），来自国家的最先进的多解TSP，与基线多样化算法相结合。建议的NMA最显着的特点是使用随机改进的本地搜索，而不是2-op. TSPLIB实例我们的实验表明，虽然我们的NMA进化的人口往往包含集群在严格的质量限制，他们经常占据遥远的盆地的吸引力，而不是附近的地区，提高基线多样化的总和多样性。与原来的NMA相比，我们的，尽管它的简单，发现更远的解决方案，更高的质量在更短的运行时间内，由一个很大的利润。
2022-04-19 cs.NE
Comparative Analysis of Indicators for Multiobjective Diversity Optimization
本文从 IBEA 视角比较多目标多样性优化中的 Solow Polasky、Max-Min 与 Riesz s-Energy 等指标，证明 NP 困难性等性质，并在 NOAH 中评估其搜索动态与适配方法。
2024-10-25 cs.NE math.OC
