Vector Quantized-Elites: Unsupervised and Problem-Agnostic Quality-Diversity Optimization
Computational Intelligence Laboratory (CILab), Department of Mathematics, University of Patras（数学系计算智能实验室（CILab），帕特拉大学）；Laboratory of Automation and Robotics (LAR) in the Department of Electrical & Computer Engineering, University of Patras（电气与计算机工程系自动化与机器人实验室（LAR），帕特拉大学）
VQ-Elites通过无监督学习构建结构化行为空间，实现灵活且任务无关的质量-多样性优化。
2025-11-19 cs.AI cs.LG cs.NE
Dominated Novelty Search: Rethinking Local Competition in Quality-Diversity
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Imperial College London（帝国理工学院）；Amherst College（阿默斯特学院）
本文提出Dominated Novelty Search，将Quality-Diversity重新表述为通过适应度变换而非显式收集机制实现局部竞争的遗传算法，消除了预定义边界和参数需求，在标准基准及高维、无监督场景中均显著优于现有方法。
2025-02-01 cs.LG cs.NE
Multi-Objective Hardware Aware Neural Architecture Search using Hardware Cost Diversity
University of Luxembourg（卢森堡大学）；SnT, University of Luxembourg（卢森堡大学SnT（通信与技术系统研究所））
提出多目标硬件感知神经架构搜索方法MO-HDNAS，通过优化表示相似性、硬件成本及硬件成本多样性，在单次运行中低计算成本地找到权衡架构集，在六个边缘设备上验证了有效性。
2024-04-15 cs.AI cs.LG
Quality-Diversity Optimization: a novel branch of stochastic optimization
Computer Technology Institute & Press “Diophantus” (CTI)（“丢番图”计算机技术研究所与出版社（CTI））；Imperial College London（伦敦帝国学院）；Research Centre on Interactive Media, Smart Systems and Emerging Technologies（互动媒体、智能系统与新兴技术研究中心）；Inria（法国国家信息与自动化研究所（Inria））；CNRS（法国国家科学研究中心（CNRS））；Université de Lorraine（洛林大学）
传统的优化算法搜索一个单一的全局最优值，最大化（或最小化）的目标函数。多峰优化算法在搜索空间中搜索可能多于一个的最高峰。质量多样性算法是演化计算工具箱中的一个新成员，它不仅搜索一组局部最优解，而且试图照亮搜索空间。实际上，它们提供了高性能解决方案如何分布在整个搜索空间中的整体视图。与多模态优化算法的主要区别在于：（1）质量多样性通常在行为空间（或特征空间）中工作，而不是在基因型（或参数）空间中工作;（2）质量多样性试图填充整个行为空间，即使小生境不是适应度景观中的峰值。在本章中，我们将对质量多样性优化进行简单的介绍，讨论主要的代表性算法，以及社区中正在考虑的主要当前主题。在本章中，我们还讨论了质量多样性算法的几个成功应用，包括深度学习、机器人和强化学习。
2020-12-17 cs.LG cs.NE math.OC
Optimizing Diversity and Quality through Base-Aligned Model Collaboration
University of Chicago（芝加哥大学）；University of Southern California, Information Sciences Institute（南加州大学信息科学研究所）；University of California, Davis（加州大学戴维斯分校）
提出基座对齐模型协作框架（BACo），在推理时通过令牌级路由策略动态结合基座LLM与其对齐版本，以单次前向传递同时提升生成多样性和质量。
2026-06-01 cs.AI cs.CL cs.LG
Relevance-guided Unsupervised Discovery of Abilities with Quality-Diversity Algorithms
Imperial College London（帝国理工学院）
质量多样性算法提供了有效的机制来生成大量的多样化和高性能的解决方案，这已被证明是有助于解决下游任务。然而，这些算法中的大多数依赖于行为描述符来描述手工编码的多样性，因此需要关于所考虑的任务的先验知识。在这项工作中，我们引入了相关性指导的无监督发现能力;质量多样性算法，自主地找到适合手头任务的行为特征。特别是，我们的方法引入了一个自定义的多样性度量，导致更高的密度的解决方案附近的区域的学习行为描述符空间。我们评估我们的方法在一个模拟的机器人环境中，机器人自主发现其能力的基础上，其完整的传感器数据。我们评估了三个任务的算法：导航到随机目标，高速前进，并执行半卷。实验结果表明，我们的方法设法发现集合的解决方案，不仅是多样化的，但也很好地适应所考虑的下游任务。
2022-04-21 cs.AI cs.LG cs.NE
Diversity Policy Gradient for Sample Efficient Quality-Diversity Optimization
InstaDeep；Imperial College London（帝国理工学院）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
自然界的一个迷人的方面在于它能够产生大量多样的生物体，这些生物体在其生态位中都表现出色。相比之下，大多数AI算法专注于为给定问题找到一个有效的解决方案。除了性能之外，还以多样性为目标是处理探索-开发权衡的一种方便方法，这种权衡在学习中起着核心作用。当返回的集合包含所考虑问题的几个工作解决方案时，它还可以提高鲁棒性，使其非常适合机器人等实际应用。质量多样性（QD）方法是为此目的而设计的进化算法。本文提出了一种新的算法，QDPG，它结合了策略梯度算法和质量多样性的方法，以产生一个收集的多样性和高性能的神经策略在连续控制环境。这项工作的主要贡献是引入了多样性策略梯度（DPG），利用信息的时间步长水平，以样本效率的方式推动政策走向更多样性。具体来说，QDPG从MAP-Elites网格中选择神经控制器，并使用两个基于梯度的变异算子来提高质量和多样性。我们的研究结果表明，QDPG是显着更有效的样本比它的进化竞争对手。
2022-05-31 cs.AI cs.LG
The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents
Delft University of Technology（代尔夫特理工大学）
针对深度强化学习智能体测试中失败场景缺乏多样性的问题，提出多目标进化搜索方法INDAGO-Nexus，联合优化失败概率与场景多样性，在三个智能体上相比INDAGO显著提升独特失败发现率并缩短失败时间。
2025-10-16 cs.LG
Discovering Quality-Diversity Algorithms via Meta-Black-Box Optimization
Imperial College London（帝国理工学院）；Sakana AI
本文提出利用元学习自动发现质量-多样性算法，通过注意力机制参数化竞争规则，所得算法在性能、泛化能力和多样性维持上均表现优异。
2025-02-04 cs.LG cs.NE
Benchmarking Quality-Diversity Algorithms on Neuroevolution for Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
我们为机器人控制的强化学习领域的深度神经进化提出了一个质量多样性基准套件。该套件包括任务、环境、行为描述符和适应性的定义。我们根据任务和由深度神经网络控制的代理的复杂性指定不同的基准。该基准使用标准的质量多样性指标，包括覆盖率，QD得分，最大适应度和存档配置文件指标来量化覆盖率和适应度之间的关系。我们还提出了如何量化的鲁棒性的解决方案，环境随机性，通过引入相同的指标的校正版本。我们相信，我们的基准是一个宝贵的工具，为社会比较和改善他们的调查结果。源代码可在线获取：https://github.com/adaptive-intelligent-robotics/QDax
2022-11-04 cs.AI cs.LG cs.NE
Learning to Walk Autonomously via Reset-Free Quality-Diversity
Imperial College London（帝国理工学院）
质量多样性（QD）算法可以发现由多样化和高性能技能组成的大型复杂行为库。然而，行为剧目的生成主要限于模拟环境，而不是现实世界的学习。这是因为现有的QD算法需要大量的评估以及情节重置，这需要人工的人类监督和干预。本文提出了无重置质量多样性优化（RF-QD）作为在开放式环境中机器人自主学习的一步。我们建立在动态感知质量多样性（DA-QD）的基础上，并引入了一种行为选择策略，该策略利用想象的曲目和环境信息的多样性来智能地选择可以作为自动重置的行为。我们通过学习在有障碍的训练区内行走的任务来证明这一点。我们的实验表明，我们可以学习完整的剧目的腿运动控制器自主没有手动复位高样本效率，尽管苛刻的安全约束。最后，使用消融不同的目标，我们表明，它是重要的RF-QD有不同类型的解决方案可用于行为选择政策的解决方案优化了一个特定的目标。视频和代码可在https://sites.google.com/view/rf-qd获得。
2022-04-07 cs.AI cs.LG cs.NE
Expanding Horizons of Level Diversity via Multi-objective Evolutionary Learning
Guangdong Provincial Key Laboratory of Brain-inspired Intelligent Computation, Department of Computer Science and Engineering, Southern University of Science and Technology (SUSTech), Shenzhen, China（广东省脑启发智能计算重点实验室，计算机科学与工程系，南方科技大学（SUSTech），深圳，中国）；Tandon School of Engineering, New York University, USA（纽约大学Tandon工程学院，美国）；Virginia Polytechnic Institute and State University, USA（弗吉尼亚理工大学和州立大学，美国）；School of Data Science, Lingnan University, Hong Kong SAR, China（岭南大学数据科学学院，香港特别行政区，中国）
本文提出多目标进化学习框架，将不同关卡多样性指标作为独立目标同时优化，并在 Super Mario Bros. 上验证其可获得可玩性与多维多样性间的 Pareto 权衡模型。
2025-09-29 cs.LG
Beyond Scale: The Diversity Coefficient as a Data Quality Metric for Variability in Natural Language Data
Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）
本文提出多样性系数以形式化度量自然语言数据的变异性，并通过GPT-2和LLaMAv2的44个模型实验证明该系数能刻画下游评估性能，揭示数据多样性是超越规模的关键质量因素。
2025-07-02 cs.AI cs.CL cs.LG
Imitation from Diverse Behaviors: Wasserstein Quality Diversity Imitation Learning with Single-Step Archive Exploration
Agency for Science, Technology and Research（新加坡科技研究局）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出WQDIL方法，通过基于WAE的潜在对抗训练和带单步存档探索奖励的测度条件奖励函数，解决了从有限演示中学习多样且高性能行为的挑战，在MuJoCo连续控制任务上实现了超越专家的QD性能。
2025-04-04 cs.AI cs.LG
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
Imperial College London（帝国理工学院）；University of Coimbra（科英布拉大学）
该研究提出谱引导的质量-多样性扩散框架，将质量-多样性优化与扩散模型结合，通过h空间谱变异算子提升输出多样性，在文本到图像生成任务上的FID分数优于12个基线方法，实现了图像质量与多样性的良好平衡。
2026-10-14 cs.AI cs.LG
Preference Conditioned Multi-Objective Reinforcement Learning: Decomposed, Diversity-Driven Policy Optimization
Department of Electrical Engineering and Computer Science, Pennsylvania State University, PA, USA（电气工程与计算机科学系，宾夕法尼亚州立大学）；College of Information Sciences and Technology, Pennsylvania State University, PA, USA（信息科学与技术学院，宾夕法尼亚州立大学）
研究多目标强化学习中现有方法的不足，提出基于PPO的$D^3PO$框架，通过分解管道和后期加权保留目标学习信号、改善信用分配，引入多样性正则化器，在多环境基准测试中发现更优帕累托前沿，超越现有方法。
2026-07-13 cs.AI cs.LG
An Analysis of Phenotypic Diversity in Multi-Solution Optimization
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用科学大学）；Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高等计算机科学研究所）
越来越多的优化方法被用来寻找不同的解集。我们比较解决方案的多样性在多目标优化，多模态优化，质量多样性在一个简单的域。我们发现，多目标优化并不总是产生太多的多样性，多模态优化产生更高的适应度的解决方案，和质量的多样性是不敏感的遗传中性，并创建最多样化的解决方案。自动编码器用于自动发现表型特征，产生具有质量多样性的更多样化的解决方案集。最后，我们对何时使用哪种方法提出建议。
2021-05-10 cs.LG cs.NE
AMPED: Adaptive Multi-objective Projection for balancing Exploration and skill Diversification
本文提出AMPED方法，通过梯度手术投影平衡探索与多样性，在预训练和微调阶段均提升技能学习性能，实验表明其优于SBRL基线。
2026-03-15 cs.AI cs.LG
Quality-constrained Entropy Maximization Policy Optimization for LLM Diversity
Zuoyebang Education Technology（左叶bang教育科技）
提出QEMPO框架，通过理论推导的闭式解在保证输出质量的同时最大化熵以提升LLM多样性，实验证明其在不牺牲质量的情况下提升多样性。
2026-05-27 cs.CL cs.LG
Understanding the Quality-Diversity Trade-off in Diffusion Language Models
University of Cambridge（剑桥大学）
针对扩散语言模型缺乏质量-多样性调控手段的问题，本文提出结合无分类器引导与随机截断，在序列到序列任务中操控并改善该权衡，从而提升模型性能。
2025-03-11 cs.AI cs.CL cs.LG
Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning
University of Southern California（南加州大学）；New York University（纽约大学）
考虑一下训练具有强大能力的代理人的问题。一种方法是生成代理策略的多样化集合。训练可以被视为一个质量多样性（QD）优化问题，在这里我们搜索一组在量化行为方面不同的性能策略。最近的工作表明，可微质量多样性（DQD）算法大大加快QD优化时，精确的梯度。然而，代理策略通常假设环境是不可区分的。为了将DQD算法应用于训练代理策略，我们必须近似性能和行为的梯度。我们提出了当前最先进的DQD算法的两个变体，它们通过强化学习（RL）中常见的近似方法计算梯度。我们评估我们的方法对四个模拟运动任务。一种变体在结合QD和RL方面实现了与当前最先进的结果相当的结果，而另一种变体在两个运动任务中执行重复。这些结果深入了解了当前DQD算法在必须近似梯度的领域中的局限性。源代码可在https://github.com/icaros-usc/dqd-rl上获得
2022-04-15 cs.AI cs.LG cs.NE
A Collection of Quality Diversity Optimization Problems Derived from Hyperparameter Optimization of Machine Learning Models
LMU Munich（慕尼黑大学）
质量多样性优化的目标是为手头的给定问题生成一系列多样但高性能的解决方案。典型的基准问题是，例如，找到机器人手臂配置的曲目或游戏策略的集合。在本文中，我们提出了一组质量多样性优化问题，解决了机器学习模型的超参数优化-质量多样性优化的一个迄今为止尚未探索的应用。我们的基准问题涉及新的功能，如模型的可解释性或资源使用。为了实现快速有效的基准测试，我们建立在YAHPO Gym，最近提出的开源基准测试套件超参数优化，利用高性能的代理模型，并返回这些代理模型预测，而不是评估真正昂贵的黑盒功能。我们目前的初步实验研究结果比较不同的质量多样性优化我们的基准问题。此外，我们讨论了未来的方向和挑战的质量多样性优化的背景下，超参数优化。
2022-07-30 cs.LG
Efficient Quality Diversity Optimization of 3D Buildings through 2D Pre-optimization
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）；University of Siegen（锡根大学）；Fraunhofer Institute for Algorithms and Scientific Computing (SCAI)（弗劳恩霍夫算法与科学计算研究所（SCAI））
质量多样性算法可以用来有效地创建一组不同的解决方案，以告知工程师的直觉。但是，质量多样性在非常昂贵的问题中并不有效，需要100.000次评估。即使有代理模型的辅助，质量多样性也需要上百甚至上千次的评估，这可能使其使用不可行。在这项研究中，我们试图解决这个问题，通过使用预优化策略的低维优化问题，然后映射到一个高维的情况下的解决方案。对于一个用例，以设计建筑物，最大限度地减少风的滋扰，我们表明，我们可以预测周围的三维建筑物的流动功能，从二维流动功能周围的建筑物的足迹。对于一组不同的建筑设计，通过使用质量多样性算法对2D足迹的空间进行采样，可以训练预测模型，该预测模型比在使用空间填充算法（如Sobol序列）选择的一组足迹上训练时更准确。仅在3D中模拟16个建筑物，创建了一组1024个具有低预测风干扰的建筑物设计。我们表明，我们可以通过产生具有质量多样性的训练数据而不是使用常见的采样技术来产生更好的机器学习模型。该方法可以在计算昂贵的3D域中引导生成式设计，并允许工程师扫描设计空间，在早期设计阶段了解风干扰。
2023-03-28 cs.LG cs.NE
Efficient Quality-Diversity Optimization through Diverse Quality Species
University of Memphis（孟菲斯大学）
本文提出DQS算法，通过将解分解为独立演化物种并结合无监督技能发现与基于梯度的信息论变异，在不依赖行为档案的情况下实现高效的质量-多样性优化，并在模拟机器人环境中验证了其样本效率和性能优势。
2023-04-14 cs.AI cs.LG cs.NE
On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
文本生成模型的目标是拟合文本的潜在真实概率分布。对于性能评估，通常应用质量和多样性度量。然而，质量多样性评价在多大程度上能够反映分布拟合目标，目前还不清楚。本文试图从理论上揭示这种关系。我们证明了在一定条件下，质量和多样性的线性组合构成了生成分布和真实分布之间的发散度量。我们还表明，常用的BLEU/Self-BLEU度量对无法匹配任何发散度量，因此提出CR/NRR作为质量/多样性度量对的替代。
2020-08-19 cs.CL cs.LG stat.ML
Quality-Diversity Red-Teaming: Automated Generation of High-Quality and Diverse Attackers for Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学）；School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港大学深圳校区）；Southern University of Science and Technology（南方科技大学）
该研究提出QDRT框架，通过训练多专用攻击者生成高质量多样化攻击，提升LLM安全评估的多样性与有效性，支持LLM负责任部署。
2026-10-22 cs.AI cs.LG cs.NE
Model-Based Quality-Diversity Search for Efficient Robot Learning
Technische Universität Darmstadt（达姆施塔特工业大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
尽管最近在机器人学习方面取得了进展，但对机器人进行编程以处理开放式对象操作任务仍然是一个挑战。最近，一种方法被用来自主地产生一个剧目的不同的技能是一个新颖的基础上的质量多样性（QD）算法。然而，与大多数进化算法一样，量子点算法存在样本效率低的问题，因此，将其应用于现实世界的场景具有挑战性。本文解决了这个问题，通过集成一个神经网络，预测的行为的扰动参数到一个新颖的QD算法。在提出的基于模型的质量多样性搜索（M-QD）中，网络被同时训练到指令集，并用于避免在新颖性搜索过程中执行没有希望的动作。此外，它还用于调整最终曲目的技能，以便将技能推广到不同的场景。我们的实验表明，增强QD算法与这样的前向模型提高了样本效率和性能的进化过程和技能适应。
2020-08-11 cs.AI cs.LG cs.NE
Dynamics-Aware Quality-Diversity for Efficient Learning of Skill Repertoires
Imperial College London（帝国理工学院）
质量多样性（QD）算法是一种功能强大的探索算法，允许机器人发现大量多样化和高性能技能。然而，QD算法是样本效率低的，需要数百万次评估。在本文中，我们提出了动态感知质量多样性（DA-QD），一个框架，以提高样本效率的QD算法，通过使用动力学模型。我们还展示了如何DA-QD，然后可以用于不断收购新的技能剧目。为此，我们根据使用QD执行技能发现时获得的经验，递增地训练深度动力学模型。然后，我们可以用想象的技能库在想象中进行QD探索。我们评估我们的方法对三个机器人实验。首先，我们的实验表明，DA-QD比现有的QD方法的样本效率高20倍。其次，我们展示了学习一个全新的技能剧目在想象力执行零样本学习。最后，我们展示了DA-QD是如何有用和有效地解决一个长期的地平线导航任务，并在现实世界中的损害适应。视频和源代码可在https://sites.google.com/view/da-qd上获得。
2021-09-16 cs.AI cs.LG cs.NE
Mixture-Greedy for Online Generative Model Selection: Is UCB Necessary in Diversity-Aware Multi-Armed Bandits?
Department of Computer Science and Engineering, Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）
在生成模型选择中，混合贪婪策略无需UCB探索奖励即可实现更快收敛和更高样本效率，挑战了传统多臂老虎机中UCB的必要性。
2026-10-12 cs.AI cs.CV cs.LG
Data Diversity Matters for Robust Instruction Tuning
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊公司）
本文提出质量-多样性指令微调（QDIT）算法，同时控制数据多样性与质量，发现多样性提升可显著增强最差情况指令跟随性能，从而提升稳健性。
2024-11-11 cs.CL cs.LG
Improving the Data Efficiency of Multi-Objective Quality-Diversity through Gradient Assistance and Crowding Exploration
Imperial College London（帝国理工学院）；InstaDeep
提出MOME-PGX算法，通过基于梯度的优化和拥挤探索机制扩展MOME，在四个机器人运动任务中显著提升了多目标质量-多样性优化的数据效率和性能。
2023-05-16 cs.AI cs.LG cs.NE
Exploration and Exploitation in Symbolic Regression using Quality-Diversity and Evolutionary Strategies Algorithms
Université de Paris（巴黎大学）；Ochanomizu University（御茶水女子大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通过结合遗传编程，MAP精英和协方差矩阵自适应演化策略，我们在符号回归问题中表现出非常高的成功率。MAP-Elites用于改进探索，同时保持多样性并避免过早收敛和膨胀。然后，协方差矩阵自适应演化策略被用来评估自由标量通过非梯度的黑箱优化器。虽然这种评估方法是不计算可扩展的高维问题，我们的算法是能够找到正是大多数的$31$目标提取的文献上，我们评估它。
2019-06-10 cs.LG cs.NE
Quality-Diversity through AI Feedback
CarperAI；University of Cambridge（剑桥大学）；EleutherAI；Aleph Alpha；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（矢量研究所）；Stability AI；Maven；Stochastic Labs（随机实验室）
本文提出 QDAIF，利用语言模型提供 AI 反馈并结合进化算法生成、评估和多样化文本，在创意写作中提升高质量搜索空间覆盖，并验证 AI 与人类评价一致。
2023-12-07 cs.AI cs.CL cs.LG
Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning
University of Southern California（南加州大学）
该研究首次将同策略RL算法PPO适配到可微质量多样性框架，提出PPGA算法，在运动任务尤其是人形机器人领域实现了4倍于基线的最佳奖励提升，推动了质量多样性强化学习在随机环境中的应用。
2024-01-29 cs.AI cs.LG
Jointly Reinforcing Diversity and Quality in Language Model Generations
Meta FAIR；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰霍普金斯大学）
针对大语言模型后训练重质量轻多样性的问题，提出DARLING框架，通过可学习配分函数衡量语义多样性并与质量奖励联合优化，在两类任务基准上均实现质量与多样性的同步提升。
2025-09-02 cs.CL cs.LG
Forty Shades of Blue: Quality-Diversity Alignment via Mode-Conditioned Reinforcement Learning
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
提出MoDA算法，通过模式条件强化学习联合优化LLM生成质量与多样性，在多个基准上显著提升多样性并改善通用能力。
2026-09-15 cs.AI cs.CL cs.LG
Diversity-Driven Offline Multi-Objective Optimization via Nested Pareto Set Learning
Shanghai Institute of AI for Education（上海人工智能教育研究院）；School of Computer Science（计算机科学学院）；East China Normal University（华东师范大学）；Shanghai Innovation Institute（上海创新研究院）
针对离线多目标优化中的分布外问题，提出DOMOO方法，通过累积风险控制、嵌套帕累托集学习和多样性驱动选择策略，在合成和真实基准上实现了收敛性和多样性的最佳平均排名。
2026-06-16 cs.LG
Bayesian Quality-Diversity approaches for constrained optimization problems with mixed continuous, discrete and categorical variables
ONERA（法国航空航天研究院）；Université Paris – Saclay（巴黎-萨克雷大学）
针对混合变量约束优化问题，提出基于混合变量贝叶斯优化的质量-多样性方法，利用适应协方差模型和高斯过程补充策略，将计算成本降低多达两个数量级，并在航空航天等复杂系统设计中提供高效收敛和有价值的权衡方案。
2024-02-13 cs.LG math.OC
Expressivity of Parameterized and Data-driven Representations in Quality Diversity Search
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用科学大学）；Queen Mary University of London（伦敦玛丽女王大学）；SensiLab, Monash University（莫纳什大学SensiLab）
我们认为多解决方案的优化和生成模型的生成不同的文物和发现新的解决方案。在域的变化因素未知或太复杂而无法手动编码的情况下，生成模型可以提供学习的潜在空间来近似这些因素。然而，当用作搜索空间时，可能输出的范围和多样性受限于学习模型的表达能力和生成能力。我们比较了在两个不同的搜索空间中进行的质量多样性进化搜索的输出多样性：1）预定义的参数化空间和2）变分自编码器模型的潜在空间。我们发现，搜索一个明确的参数编码创建更多样化的工件集比搜索潜在的空间。一个学习过的模型更擅长在已知数据点之间进行插值，而不是外推或扩展到看不见的例子。我们建议使用生成模型的潜在空间主要用于度量工件之间的相似性，而不是用于搜索和生成。只要可以获得参数编码，它就应该优于学习的表示，因为它产生更高多样性的解决方案。
2021-05-10 cs.LG cs.NE
Towards Goal, Feasibility, and Diversity-Oriented Deep Generative Models in Design
Deparment of Mechanical Engineering Massachussetts Institute of Technology
深度生成机器学习模型（DGMs）由于其学习和模拟复杂数据分布的能力，在设计社区中越来越受欢迎。DGM通常被训练以最小化在生成的数据上的分布与在它们被训练的数据集上的分布之间的统计分歧。虽然对于生成“真实”假数据的任务来说是足够的，但是对于设计合成任务来说，这个目标通常是不够的。相反，设计问题通常要求遵守设计要求，如性能目标和约束。推进工程设计中的DGMs需要新的培训目标，以促进工程设计目标。在本文中，我们提出了第一个深度生成模型，同时优化性能，可行性，多样性和目标实现。我们对所提出的方法的性能进行了基准测试，这些方法针对八个评估指标的几个深度生成模型，这些指标侧重于设计性能目标的可行性，多样性和满意度。方法进行了测试，具有挑战性的多目标自行车车架设计问题，不同的datashees的偏斜，多模态数据。我们发现，所提出的框架在八个指标中的六个指标上优于所有深度生成模型。
2022-06-14 cs.LG
Soft Quality-Diversity Optimization
University of Southern California（南加州大学）；Archimedes AI（阿基米德人工智能）
本文提出软QD框架，通过避免离散化解决QD优化问题，推出SQUAD算法在高维问题中具有更好的可扩展性。
2026-03-04 cs.LG cs.NE
Harnessing Distribution Ratio Estimators for Learning Agents with Quality and Diversity
UIUC（伊利诺伊大学厄巴纳-香槟分校）
质量多样性（QD）是神经进化的一个概念，在强化学习中有一些有趣的应用。它有助于学习一群代理，其中每个成员都被优化，以同时积累高任务回报并表现出与其他成员相比的行为多样性。在本文中，我们建立在最近的基于内核的方法与Stein变分梯度下降的QD政策集成训练。与内核的基础上$f$ -政策的平稳分布之间的分歧，我们转换的问题，这些平稳分布的比率的有效估计。然后，我们研究了以前用于非政策评估和模仿的各种分布比率估计，并将其重新用于计算集合中政策的梯度，从而使所得人口多样化且具有高质量。
2020-11-05 cs.LG stat.ML
An ensemble diversity approach to supervised binary hashing
University of California, Merced（加州大学默塞德分校）
二进制散列是信息检索中用于快速近似最近邻搜索的公知方法。许多工作都集中在基于仿射的目标函数，涉及散列函数或二进制码。这些目标函数对数据点之间的邻域信息进行编码，并且通常受到流形学习算法的启发。它们通过约束或惩罚项确保哈希函数彼此不同，这些约束或惩罚项鼓励代码在比特之间正交或不相似，但这耦合了二进制变量并使已经困难的优化变得复杂。我们提出了一种简单得多的方法：我们训练每个散列函数（或位）彼此独立，但使用分类器集成的技术在它们之间引入多样性。令人惊讶的是，我们发现，这不仅是更快和平凡的并行化，但它也提高了更复杂的，耦合的目标函数，并实现了最先进的精度和召回的图像检索实验。
2016-02-04 cs.CV cs.LG math.OC
ParaFusion: A Large-Scale LLM-Driven English Paraphrase Dataset Infused with High-Quality Lexical and Syntactic Diversity
School of Computing, Informatics Institute of Technology（信息学院技术学院计算机学院）
针对现有改写数据集缺乏多样性和含噪声等问题，提出基于大语言模型的ParaFusion数据集，显著提升词汇与句法多样性至少25%，并减少仇恨言论，为NLP应用提供高质量资源。
2024-04-18 cs.AI cs.CL cs.LG
Beyond Quality: Unlocking Diversity in Ad Headline Generation with Large Language Models
Xiaohongshu Inc.（小红书公司）；East China Normal University（东华大学）
针对广告标题生成中质量与多样性难以兼顾的问题，提出基于大型语言模型的DIVER框架，通过多阶段多目标优化（SFT+RL）在单次前向中实现两者平衡，部署后使ADVV和CTR分别提升4.0%和1.4%。
2025-08-26 cs.CL cs.LG
Assessing Intra-class Diversity and Quality of Synthetically Generated Images in a Biomedical and Non-biomedical Setting
Munster Technological University（芒斯特理工大学）
本文通过多尺度结构相似性、余弦距离和弗雷歇初始距离等指标，实证评估了深度卷积GAN在生物医学与非生物医学环境下合成图像的类内多样性与质量差异。
2023-07-23 cs.CV cs.LG eess.IV
SPARQ: Synthetic Problem Generation for Reasoning via Quality-Diversity Algorithms
针对现有LLM合成数据生成方法扩展性受限的问题，提出基于质量-多样性算法的SPARQ方法，仅用单模型以求解率为难度指标生成超2000万数学题对，微调后性能最高提升24%，还验证了数据质量、多样性对泛化的不同作用及缩放定律。
2025-06-17 cs.AI cs.LG
DEI: Diversity in Evolutionary Inference for Quality-Diversity Search
提出DEI框架，通过异构大语言模型作为变异算子进行分布式质量-多样性搜索，实验表明模型多样性比并行性更能提升搜索性能。
2026-05-26 cs.AI cs.LG
Improved generator objectives for GANs
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
我们提出了一个框架来理解GAN训练交替密度比估计和近似发散最小化。这为实践中经常使用的不匹配的GAN生成器和SVM目标提供了解释，并解释了样本多样性差的问题。我们还得到了一个家庭的发电机目标，目标是任意$f$ -分歧，而不最小化下限，并使用它们来训练生成图像模型，目标是提高样本质量或更大的样本多样性。
2016-12-08 cs.LG stat.ML
BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search
University of Warwick（华威大学）
质量多样性（QD）算法（例如MAP-精英）是一类优化技术，其试图从目标函数中找到一组高性能点，同时在一个或多个可解释的用户选择的特征函数上实施点的行为多样性。在本文中，我们提出了贝叶斯优化精英（BOP-Elites）算法，该算法使用贝叶斯优化技术来明确建模质量和多样性与高斯过程。通过将用户定义的特征空间区域视为“小生境”，我们的任务是在每个小生境中找到最优解。我们提出了一种新的采集功能，智能地选择新的点，提供最高的预期改善的合奏问题，确定在每个小生境的最佳解决方案。通过这种方式，每个函数评估丰富了我们的建模，并提供了对整个问题的洞察力，自然地平衡了搜索空间的探索和利用。该算法能够有效地识别出特征空间中属于小生境的搜索空间，并在每个小生境中找到最优解。它也比更简单的基准方法更有效。BOP-Elites比现有的QD算法更进一步，它量化了我们预测的不确定性，并通过代理模型提供了搜索空间的额外照明。
2020-05-08 cs.LG math.OC stat.ML
Exploring Story Generation with Multi-task Objectives in Variational Autoencoders
The University of Melbourne（墨尔本大学）
GPT-2经常被应用于故事生成模型，因为它提供了强大的生成能力。然而，它仍然无法产生一致的故事，缺乏多样性。当前的故事生成模型利用GPT-2中的情节或常识等附加信息来指导生成过程。这些方法专注于提高故事的生成质量，而我们的工作则着眼于质量和多样性。我们探索结合BERT和GPT-2构建一个变分自编码器（VAE），并通过添加额外的目标来学习全局特征，如故事主题和话语关系。我们的评估表明，我们增强的VAE可以提供更好的质量和多样性的权衡，产生更少的重复故事内容，并学习更多的信息潜变量。
2021-11-15 cs.CL cs.LG
DIVERGE: Diversity-Enhanced RAG for Open-Ended Information Seeking
Aarhus University（奥胡斯大学）；Microsoft Research（微软研究院）
针对现有RAG系统忽略开放式信息检索中多样性需求的问题，提出Diverge框架，通过迭代反思引导的多样化视角探索和多样性感知检索支持，在保持质量的同时将多样性提升约2倍。
2026-06-08 cs.AI cs.CL cs.LG
Learning Hierarchical Skill Policies with Offline Quality-Diversity Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
该研究提出QDOS算法，通过优势加权质量多样性预训练与双数据集复用策略，在分层技能学习框架下，于稀疏奖励任务中显著提升性能，优于强基线算法。
2026-08-21 cs.AI cs.LG cs.RO
InSQuAD: In-Context Learning for Efficient Retrieval via Submodular Mutual Information to Enforce Quality and Diversity
Computer Science（计算机科学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出 InSQuAD，用基于次模互信息的定向选择与组合训练检索模型，兼顾 ICL 示例的质量和多样性，并在九个基准上取得显著提升。
2025-08-28 cs.LG
