Surrogate Assisted Evolutionary Algorithm for Medium Scale Expensive Multi-Objective Optimisation Problems
构建目标函数的代理模型已被证明是有效的,以协助进化算法(EA)解决现实世界中复杂的优化问题,涉及计算昂贵的数值模拟或昂贵的物理实验。然而,它们的有效性主要集中在小于10个决策变量的小规模问题。代理辅助EA(SAEA)的可扩展性还没有得到很好的研究。在本文中,我们提出了一个高斯过程代理模型辅助EA的中型昂贵的多目标优化问题,多达50个决策变量。我们提出的SAEA有三个显著特点。首先,在建立代理模型时,我们不使用所有的决策变量,而是只使用那些相关的决策变量来为每个目标函数建立代理模型。其次,而不是直接优化的代理目标函数,原来的多目标优化问题转化为一个新的代理模型的基础上。最后,提出了一种子集选择方法来选择几个有希望的候选解用于实际的目标函数评估,从而更新训练数据集。在10、20、50个变量的基准问题上验证了算法的有效性,并与三种最先进的SAEA算法进行了比较。
2020-02-08 cs.NE
A Surrogate-Assisted Highly Cooperative Coevolutionary Algorithm for Hyperparameter Optimization in Deep Convolutional Neural Network
卷积神经网络(CNN)近年来取得了显著的成功。然而,它们的性能高度依赖于架构超参数,并且由于其高维和计算昂贵的特性,为深度CNN找到合适的超参数是一个具有挑战性的优化问题。鉴于这些困难,本研究提出了一种代理辅助的高度合作超参数优化(SHCHO)算法的链式CNN。为了缩小大的搜索空间,SHCHO首先根据重叠的超参数交互结构将整个CNN分解为若干重叠的子CNN,然后协同优化这些超参数子集。在此过程中,设计了两种合作机制。一种是协调所有子CNN来再现整个CNN中的信息流,并实现它们之间的宏观合作,另一种是通过同时考虑所涉及的两个子CNN来处理重叠分量,并促进它们之间的微观合作。因此,可以为整个CNN有效地定位适当的超参数配置。此外,SHCHO还采用性能良好的代理技术来辅助每个子CNN的超参数优化,从而大大降低了昂贵的计算成本。在两个广泛使用的图像分类数据集上的大量实验结果表明,SHCHO可以显着提高CNN的性能。
2023-02-25 cs.NE
Benchmarking Surrogate-Assisted Genetic Recommender Systems
我们提出了一种新的方法来建立推荐系统,采用代理辅助交互式遗传算法。一个池的用户评价项目被用来构建一个近似模型,作为替代适应度函数的遗传算法优化新的建议。代理用于向用户推荐新项目,然后根据用户的喜好对新项目进行评估,并随后将其从搜索空间中删除。通过更新的代理模型后,新的建议已被用户评估,我们使模型本身向用户的喜好发展。为了准确地评估该方法的性能,人类的主观评价被替换为常见的连续客观的进化算法的基准函数。该系统的性能相比,传统的遗传算法和随机搜索。我们表明,考虑到一个非常有限的数量允许的评估的真实目标,我们的方法优于这些基线方法。
2019-08-08 cs.NE
Transfer Learning Based Co-surrogate Assisted Evolutionary Bi-objective Optimization for Objectives with Non-uniform Evaluation Times
大多数现有的多目标进化算法(MOEAs)隐含地假设每个目标函数可以在同一时间内进行评估。一般来说。这在许多现实世界的优化方案中是站不住脚的,其中不同目标的评估涉及具有不同时间复杂度的不同计算机模拟或物理实验。针对这一问题,提出了一种基于代理辅助进化算法(SAEAs)的迁移学习方案.该方案采用协同代理来模拟快、慢目标函数之间的函数关系,并引入可迁移实例选择方法从快目标的搜索过程中获取有用的知识.我们的DTLZ和UF测试套件的实验结果表明,该算法是有竞争力的解决双目标优化的目标有不均匀的评价时间。
2021-08-30 cs.NE
A First Look at Kolmogorov-Arnold Networks in Surrogate-assisted Evolutionary Algorithms
本文首次将Kolmogorov-Arnold网络作为代理模型引入代理辅助进化算法,用于回归和分类任务以选择有前景解,实验证明其能减少函数评估次数并提升优化效率。
2024-05-26 cs.NE
Impact of Surrogate Model Accuracy on Performance and Model Management Strategy in Surrogate-Assisted Evolutionary Algorithms
Tokyo Metropolitan University(东京都立大学);Saitama University(埼玉大学)
本研究探讨了代理模型精度对代理辅助进化算法性能及模型管理策略的影响,发现不同策略在不同精度下表现各异,为选择合适策略提供了依据。
2025-03-02 cs.NE
Energy and Quality of Surrogate-Assisted Search Algorithms: a First Analysis
本文从能量概况角度分析代理辅助粒子群优化算法,结合预训练与重训练神经网络代理,评估处理器与内存能耗及代理准确性,为全面评估优化算法提供新方法论起点。
2025-08-11 cs.NE
Enhancing hierarchical surrogate-assisted evolutionary algorithm for high-dimensional expensive optimization via random projection
代理辅助进化算法(SAEAs),特别是分层SAEAs,通过显著减少真实适应度评价,在求解计算量大的优化问题中已被证明是有效的。分层SAEA的成功主要得益于其被称为“不确定性的祝福”的全局代理模型的潜在好处和局部模型的高精度。然而,它们的性能留下了改进的空间,因为现在它仍然是具有挑战性的,以建立足够准确的局部模型,由于巨大的解决方案空间的高维问题。针对这一问题,本研究提出了一种新的分层SAEA通过训练本地代理模型的帮助下,随机投影技术。该算法首先将训练样本随机投影到一组低维子空间上,然后在每个子空间上训练一个代理模型,最后通过对得到的模型进行平均来评价候选解,而不是在原始的高维解空间中进行训练。在100维和200维的6个基准函数上的实验结果表明,随机投影可以显著提高局部代理模型的精度,新提出的分层SAEA算法与现有的SAEA算法相比具有明显的优势
2021-03-01 cs.NE
Enabling surrogate-assisted evolutionary reinforcement learning via policy embedding
进化强化学习(ERL)是将进化算法(EAs)应用于深度神经网络(DNN)策略的权值参数优化,被广泛认为是传统强化学习方法的替代方法。然而,迭代生成的人口的评估通常需要大量的计算时间,可以是昂贵的,这可能会潜在地限制ERL的适用性。代理算法常被用来减轻进化分析中的计算负担。然而,在ERL中,每个策略通常代表DNN的数百万个权重参数。这种策略的高维表示给在ERL中应用代理以加快训练带来了很大的挑战。本文提出了一个PE-SAERL框架,首次通过策略嵌入(PE)实现代理辅助的进化强化学习。在5款Atari游戏上的实验结果表明,该方法比现有的4种算法具有更高的效率。在测试游戏中,训练过程比没有代理人和PE的训练过程加快了7倍。
2023-01-31 cs.NE
Surrogate-Assisted Evolution for Efficient Multi-branch Connection Design in Deep Neural Networks
针对深度神经网络多分支连接设计计算成本高且架构搜索复杂的问题,提出基于线性遗传规划的NeuroLGP-MB方法,并采用扩展至数千样本的语义驱动代理辅助进化算法与先进代理模型,高效发现高性能网络架构。
2025-06-25 cs.NE
Surrogate-assisted level-based learning evolutionary search for heat extraction optimization of enhanced geothermal system
加强地热系统对于提供可持续和长期的地热能源供应和减少碳排放至关重要。优化井控方案,有效地提取热量,提高热波及效率,是地热开发的重要环节。然而,大多数现有的优化算法的优化性能恶化的维数增加。针对这一问题,提出了一种新的代理辅助的基于层次学习的进化搜索算法(SLLES),用于强化地热系统的取热优化。SLLES由分类器辅助的基于层次的学习预筛选部分和局部进化搜索部分组成。两部分的合作实现了优化过程中探索与开发的平衡。通过对设计空间的迭代采样,证明了算法的鲁棒性和有效性得到了显著提高。据我们所知,该算法拥有最先进的仿真参与的优化框架。对基准函数、二维裂缝性储层和三维强化地热系统进行了对比实验。所提出的算法优于其他五个国家的最先进的代理辅助算法在所有选定的基准函数。两个排热算例的计算结果也表明,与传统的进化算法和其他代理辅助算法相比,SLLES可以获得更好的优化性能。该工作为增强型地热系统的高效地热提取奠定了坚实的基础,并为能源开发领域数据驱动优化的模型管理策略提供了指导。
2022-12-19 cs.NE
pysamoo: Surrogate-Assisted Multi-Objective Optimization in Python
在过去的二十年里,人们已经做出了大量的努力来解决计算量大的优化问题,并且已经提出了各种将代理人纳入优化的优化方法。然而,大多数优化工具箱并不包含用于计算昂贵问题的现成算法,特别是与其他关键要求相结合,例如处理多个冲突的目标或约束。因此,缺乏合适的软件包已成为解决现实应用的瓶颈。所提出的框架,pysamoo,解决了现有的优化框架的这些缺点,并提供了多种优化方法来处理涉及耗时的评估功能的问题。该框架扩展了pymoo的功能,pymoo是一个流行而全面的多目标优化工具箱,并采用代理来支持昂贵的函数评估。该框架在GNU Affero通用公共许可证(AGPL)下可用,主要用于研究目的。有关pysamoo的更多信息,欢迎读者访问:anyoptimization.com/projects/pysamoo。
2022-04-12 cs.NE
A Surrogate-Assisted Controller for Expensive Evolutionary Reinforcement Learning
强化学习(RL)和进化算法(EA)的结合旨在同时利用两种范式的样本效率以及多样性和鲁棒性。最近,基于这一原则的混合学习框架在各种具有挑战性的机器人控制任务中取得了巨大成功。然而,在这些方法中,来自遗传群体的策略通过与真实环境的交互来评估,限制了它们在计算昂贵的问题中的适用性。在这项工作中,我们提出了代理辅助控制器(SC),一种新颖而有效的模块,可以集成到现有的框架,以减轻计算负担的EA部分取代昂贵的政策评估。应用该模块的关键挑战是防止优化过程被代理引入的可能的假极小值所误导。为了解决这个问题,我们提出了两种策略SC控制混合框架的工作流。在OpenAI Gym平台的六个连续控制任务上的实验表明,SC不仅可以显着降低适应度评估的成本,而且还可以通过协作学习和进化过程提高原始混合框架的性能。
2022-04-27 cs.NE
Voronoi-based Efficient Surrogate-assisted Evolutionary Algorithm for Very Expensive Problems
在实际系统中,一次适应度评估需要花费几个小时甚至几天的时间,这是非常昂贵的问题。在过去的几十年中,代理辅助进化算法(SAEAs)被广泛用于解决这一关键问题。然而,大多数研究SAEA专注于解决问题的预算至少十倍的问题,这是不可接受的,在许多非常昂贵的现实世界的问题。在本文中,我们采用沃罗诺伊图,以提高SAEA的性能,并提出了一种新的框架命名为Voronoi为基础的高效代理辅助进化算法(VESAEA)非常昂贵的问题,其中的优化预算,在适应度评价,只有5倍的问题的尺寸。在该框架中,沃罗诺伊图将整个搜索空间划分为若干个子空间,然后在某些潜在的更好的子空间中进行局部搜索。此外,为了权衡探索和开发,该框架涉及一个全局搜索阶段,通过结合留一交叉验证和径向基函数代理模型。性能选择器被设计成在全局和局部搜索阶段之间动态地和自动地切换搜索。各种基准问题的实证结果表明,所提出的框架显着优于几个国家的最先进的算法与极其有限的健身评估。此外,进一步分析了Voronoi图的有效性,结果表明它具有优化非常昂贵的问题的潜力。
2019-10-25 cs.NE
A RankNet-Inspired Surrogate-Assisted Hybrid Metaheuristic for Expensive Coverage Optimization
针对昂贵混合变量覆盖优化问题,提出基于RankNet的代理辅助混合元启发式算法RI-SHM,通过成对排名代理、局部分布估计和动态切换策略,高效处理大规模任务,性能最高提升56.5%。
2025-02-27 cs.NE
Exploring the effectiveness of surrogate-assisted evolutionary algorithms on the batch processing problem
University of Johannesburg(约翰内斯堡大学)
现实世界的优化问题通常具有无法解析表达的目标函数。这些优化问题通过昂贵的物理实验或模拟来评估。目标函数的廉价近似可以减少解决这些昂贵的优化问题的计算要求。这些廉价的近似可以是机器学习或统计模型,并且被称为代理模型。本文介绍了一个著名的批处理问题在文献中的模拟。采用遗传算法、差分进化算法等进化算法求解最优调度问题。然后,我们比较质量的替代辅助版本的算法对基线算法获得的解决方案。代理援助是通过概率代理援助框架(PSAF)实现的。结果突出了通过代理改进基线进化算法的潜力。对于不同的时间范围,解决方案的评价方面的几个质量指标。结果表明,PSAF辅助遗传算法(PSAF-GA)和PSAF辅助DE(PSAF-DE)在某些时间范围内提供了改善。在其他情况下,它们要么保持溶液,要么显示出某种程度的恶化。结果还强调了调整代理辅助框架使用的超参数的必要性,因为在某些情况下,代理在基线算法上显示出一些恶化。
2022-10-31 cs.LG cs.NE
An Evolutionary Algorithm Assisted by an Ensemble of Pareto-Optimal Surrogate Models
Organization for the Promotion of Education, Yokohama National University(横滨国立大学教育推进机构);School of Engineering, Westlake University(西湖大学工学院);Faculty of Engineering, Yokohama National University(横滨国立大学工学部)
本研究提出一种自适应集成代理辅助进化算法,通过优化径向基函数网络结构构建不同平滑度的鲁棒代理模型集成,在单目标基准与实际昂贵优化问题上表现优于现有先进算法。
2026-08-04 cs.NE
Deep Surrogate Assisted MAP-Elites for Automated Hearthstone Deckbuilding
Viterbi School of Engineering University of Southern California(南加州大学维特比工程学院);Ying Wu College of Computing New Jersey Institute of Technology(新泽西理工学院吴颖计算机学院)
本研究提出利用深度代理模型辅助MAP-Elites算法,提升炉石卡牌构建的样本效率和质量多样性
2022-04-16 cs.NE
Leveraging Evolutionary Surrogate-Assisted Prescription in Multi-Objective Chlorination Control Systems
Project Resilience(项目韧性)
本文提出进化代理辅助处方(ESP)方法,用于多目标氯化控制,并在IJCAI-2025挑战赛中初步验证其训练真实世界智能体的潜力。
2025-08-26 cs.LG cs.NE
A Surrogate-Assisted Variable Grouping Algorithm for General Large Scale Global Optimization Problems
将合作协同进化(CC)应用于大规模全局优化问题时,问题分解起着至关重要的作用。然而,大多数基于学习的分解算法要么只适用于可加性分离问题,要么面临虚假分离检测的问题。针对这些局限性,本研究提出了一种新的分解算法称为代理辅助变量分组(SVG)。SVG首先根据一个变量的最优值是否随其他变量的变化设计了一个面向广义可分性的检测准则。该准则与可分离性定义一致,从而赋予SVG广泛的适用性和高精度。为了降低适应度评估的要求,SVG寻求最优的一个变量的帮助下,一个代理模型,而不是原来昂贵的高维模型。此外,它转换成一个动态的二叉树搜索的变量分组过程,这有利于重用历史分离性检测信息,从而减少检测时间。为了评估SVG的性能,设计了一套具有多达2000个维度的基准函数,包括可加和不可加分离的维度。实验结果表明,与现有的六种分解算法相比,SVG具有更广泛的适用性和更高的效率。此外,它可以显着提高CC的优化性能。
2021-01-19 cs.NE
Algorithm Portfolio for Individual-based Surrogate-Assisted Evolutionary Algorithms
代理辅助进化算法(SAEAs)是计算昂贵问题(CEP)的强大优化工具。然而,由于没有免费午餐定理,随机选择的算法在求解未知问题时可能会失败,如果重新运行该算法或尝试其他算法以获得更多的解,则会导致更多的计算资源,这在CEP中更为严重。在本文中,我们考虑的算法组合SAEA,以减少选择一个不适当的算法CEP的风险。我们提出了两个投资组合框架非常昂贵的问题,其中的最大数量的健身评估只有5倍的问题的尺寸。一个名为Par-IBSAEA的框架并行运行所有候选算法,一个名为UCB-IBSAEA的更复杂的框架采用强化学习的置信上限(UCB)策略,以帮助在每次迭代时选择最合适的算法。提出了一种有效的UCB策略的报酬定义。我们认为三个国家的最先进的基于个人的SAEA在不同的问题,并比较他们的投资组合建立在几个基准问题的实例有限的计算预算。我们的实验研究表明,我们提出的投资组合框架显着优于任何单一的算法上的基准问题。
2019-10-25 cs.NE
Surrogate-Assisted Search with Competitive Knowledge Transfer for Expensive Optimization
针对昂贵优化中代理辅助进化算法的冷启动问题,提出即插即用的竞争性知识迁移方法,通过源任务解与目标代理解竞争选择评估,加速搜索并分析收敛增益下界。
2024-08-20 cs.NE
Effective Reinforcement Learning through Evolutionary Surrogate-Assisted Prescription
Cognizant Technology Solutions(高知特科技解决方案公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
现在有大量的历史数据可用于组织中的决策,包括决策问题,做出了什么决策,以及结果的可取性。使用这些数据,可以学习一个代理模型,并使用该模型,发展一个优化结果的决策策略。本文介绍了一种通用的这样的方法,称为进化代理辅助处方,或ESP。代理是,例如,一个随机森林或神经网络训练的梯度下降,和战略是一个神经网络的演变,以最大限度地提高预测的代理模型。ESP在本文中进一步扩展到顺序决策任务,这使得它有可能在强化学习(RL)基准评估框架。由于大多数评估都是在代理上进行的,ESP比标准RL方法具有更高的样本效率,更低的方差和更低的遗憾。令人惊讶的是,它的解决方案也更好,因为代理和策略网络都规范了决策行为。ESP因此形成了一个有前途的基础,在现实世界中的问题的决策优化。
2020-04-22 cs.LG cs.NE
Surrogate-Assisted Genetic Algorithm for Wrapper Feature Selection
Halmstad University(哈尔姆斯塔德大学)
特征选择是一个棘手的问题,因此,实际的算法往往权衡解决方案的准确性与计算时间。在本文中,我们提出了一种新的多阶段特征选择框架,利用多层次的近似,或代理。这样的框架允许以计算效率高得多的方式使用包装器方法,显著提高可实现的特征选择解决方案的质量,特别是在大型数据集上。我们设计和评估的替代辅助遗传算法(SAGA),利用这一概念来指导在探索的早期阶段的进化搜索。SAGA只在最后的开发阶段才开始评估原始函数。我们证明了SAGA代理辅助阶段的运行时上界是在更坏的等于包装GA,它的规模更好的归纳算法的高阶复杂的实例数。我们证明,使用14个数据集从UCI ML存储库,在实践中SAGA显着减少了计算时间相比,基线包装遗传算法(GA),同时收敛到更高的精度的解决方案。我们的实验表明,SAGA可以达到接近最优的解决方案的速度比包装GA的三倍,平均。我们还展示了进化控制方法的重要性,旨在防止代理人误导进化搜索走向假最优。
2021-11-17 cs.LG cs.NE
Data-efficient Neuroevolution with Kernel-Based Surrogate Models
代理辅助方法长期以来一直用于计算昂贵的领域,以提高优化算法的数据效率。然而,到目前为止,神经进化一直抵制这些技术的应用,因为它需要代理模型根据可变拓扑结构而不是参数向量进行适应性预测。我们的主要观点是,我们可以通过使用基于内核的代理模型来回避这个问题,它只需要定义个体之间的距离度量。我们的第二个见解是,成熟的神经进化增强拓扑(NEAT)算法提供了一个计算效率的距离测量不同的网络之间的“兼容性距离”的形式,最初旨在保持拓扑多样性。结合这两个想法,我们介绍了一个代理辅助神经进化算法,结合NEAT和代理模型使用兼容性距离内核。我们证明了这种新算法的数据效率的低维车杆摆动问题,以及更高的维半猎豹运行任务。在这两个任务中,代理辅助的变体实现了与原始NEAT相同或更好的结果,但函数求值次数要少几倍。
2018-04-17 cs.NE
Surrogate Assisted Evolutionary Multi-objective Optimisation applied to a Pressure Swing Adsorption system
University of Johannesburg(约翰内斯堡大学);Sasol(萨索尔公司)
由于这些现实世界系统的复杂性,化工厂的设计和优化已被证明具有挑战性。由此产生的复杂性转化为这些系统的数学公式和仿真模型的高计算成本。研究已经说明了在优化期间使用机器学习代理模型作为计算昂贵的模型的替代品的好处。本文将最近的研究扩展到优化化工厂的设计和操作。这项研究进一步探讨了代理辅助遗传算法(SA-GA)在更复杂的变种的原始工厂设计和优化问题,如包括并行和反馈组件。在这项研究中,代理辅助NSGA- \Romannum{2}(SA-NSGA)的原始算法提出了新的扩展,进行了测试,一个流行的文献情况下,变压吸附(PSA)系统。我们进一步提供了广泛的实验,比较各种元启发式优化技术和众多的机器学习模型作为替代品。这两套系统的结果说明了使用遗传算法作为一个复杂的化工厂系统设计和优化的单目标和多目标方案的优化框架的好处。我们证实,随机森林代理辅助进化算法可以扩展到越来越复杂的化学系统的并行和反馈组件。我们进一步发现,结合遗传算法框架与机器学习代理模型作为长期运行的模拟模型的替代品产生显着的计算效率的提高,1.7 - 1.84倍的加速增加的复杂性的例子和2.7倍的加速变压吸附系统。
2022-03-28 cs.CE cs.LG cs.NE
Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study
本文提出无需训练的LLM辅助进化算法LAEA,将LLM推理直接用作代理模型进行解的质量分类与回归预测,实验表明其性能可媲美传统代理模型。
2024-06-15 cs.NE
Model-Free Surrogate-Assisted Neural Architecture Search for Evolving Variable-Length Dense Blocks
FAST National University of Computer & Emerging Sciences (NUCES)(FAST国家计算机与新兴科学大学)
本研究提出MFSPNet,将无模型代理预测器融入PSO框架,通过VLE-EMA和稠密连接策略实现高效NAS,在多数据集上以低计算成本取得具竞争力性能。
2026-09-03 cs.NE
Machine learning-assisted calibration of Agent-based Models: surrogate-based optimization with Genetic Algorithm and Particle Swarm Optimization
Pukyong National University(釜庆国立大学)
本研究提出将机器学习代理嵌入遗传算法和粒子群优化中,以校准基于智能体模型,通过筛选候选解减少模拟成本,实验表明在两种模型上显著提升精度并节省时间,且最佳配置随模型复杂度变化。
2026-09-15 cs.LG cs.MA cs.NE
Surrogate-Assisted Genetic Programming with Rank-Based Phenotypic Characterisation for Dynamic Multi-Mode Project Scheduling
IEEE
本文提出基于启发式驱动的排名表型特征化方案,用于动态多模式资源受限项目调度问题,通过 surrogate 模型降低计算成本,提升遗传编程的效率和性能。
2026-03-17 cs.AI cs.NE
Black-box optimization benchmarking of IPOP-saACM-ES and BIPOP-saACM-ES on the BBOB-2012 noiseless testbed
本文研究了IPOP-saACM-ES和BIPOP-saACM-ES的性能,最近提出了自适应代理辅助协方差矩阵自适应演化策略。两种算法均使用重启进行测试,直到达到$10^6D$的函数求值总数,其中$D$是函数搜索空间的维度。我们比较了代理辅助算法与其无代理版本IPOP-saACM-ES和BIPOP-saACM-ES,这两种算法在BBOB-2009和BBOB-2010期间观察到的最佳整体性能之一。对比结果表明,在24个无噪声基准问题中的8个问题上,代理辅助版本的性能优于原始CMA-ES算法2到4倍,在BBOB-2009和BBOB-2010的所有算法中,在椭球、铁饼、弯曲曲面、尖脊和不同幂函数之和上的性能最好。
2012-04-24 cs.NE
Surrogate-Assisted Genetic Programming with Phenotypic Characterisation in Dynamic Multi-Mode Project Scheduling
Victoria University of Wellington(惠灵顿维多利亚大学)
本研究针对动态多模式项目调度,提出代理辅助遗传规划结合表型特征表征,通过二进制编码与欧氏距离有效估计适应度,并控制冗余、保留多样性,提升启发式质量。
2026-09-15 cs.AI cs.NE
Deep Surrogate Assisted Generation of Environments
University of Southern California(南加州大学)
强化学习(RL)的最新进展已经开始产生能够解决复杂环境分布的通用代理。这些代理通常在固定的人类创作环境中进行测试。另一方面,质量多样性(QD)优化已被证明是一个有效的组成部分,环境生成算法,它可以生成高质量的环境,是不同的,在所产生的代理行为的集合。然而,这些算法需要潜在的昂贵的模拟代理新生成的环境。我们提出了深度代理辅助生成环境(DSAGE),一个样本高效的QD环境生成算法,保持一个深代理模型预测代理在新的环境中的行为。在两个基准领域的结果表明,DSAGE显着优于现有的QD环境生成算法,发现集合的环境,引起不同的行为,一个国家的最先进的RL代理和规划代理。我们的源代码和视频可以在https://dsagepaper.github.io/上找到。
2022-10-12 cs.AI cs.LG cs.NE
Data-Efficient Exploration, Optimization, and Modeling of Diverse Designs through Surrogate-Assisted Illumination
MAP-Elites算法生成一组高性能解决方案,这些解决方案根据用户定义的功能而变化。这种技术有可能成为一个强大的工具,设计空间探索,但受到限制,需要大量的评估。这里介绍的替代辅助照明算法(SAIL)集成了近似模型和目标函数的智能采样,以最大限度地减少MAP-Elites所需的评估数量。SAIL的能力,有效地产生精确的模型和不同的高性能的解决方案说明了二维翼型设计问题。将搜索空间划分为多个面元,每个面元保存具有不同特征组合的设计。在每个bin中,SAIL产生比MAP-Elites更好的性能解决方案,并且需要几个数量级的评估。CMA-ES算法用于在每个箱中产生最优设计:在CMA-ES在单个箱中找到接近最优的解决方案所需的评估次数相同的情况下,SAIL在每个箱中找到质量相似的解决方案。
2017-07-31 cs.NE stat.ML
Performance Comparison of Surrogate-Assisted Evolutionary Algorithms on Computational Fluid Dynamics Problems
Institute of Automation and Computer Science, Faculty of Mechanical Engineering, Brno University of Technology(布尔诺理工大学机械工程学院自动化与计算机科学研究所)
本文在两个真实计算流体动力学问题上比较了11种单目标代理辅助进化算法,发现较新方法及采用差分进化的技术性能显著更优。
2024-02-26 cs.AI cs.NE math.OC
Large Language Model-Driven Surrogate-Assisted Evolutionary Algorithm for Expensive Optimization
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(香港理工大学电子与电气工程系);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Automation and Intelligent Manufacturing, Southern University of Science and Technology(南方科技大学自动化与智能制造学院);Academy of Artificial Intelligence, College of Mathematics Science, Inner Mongolia Normal University(内蒙古师范大学数学科学学院人工智能学院);Key Laboratory of Collaborative Intelligence Systems, Ministry of Education, Xidian University(西安电子科技大学教育部协同智能系统重点实验室)
本文提出LLM-SAEA,通过大语言模型在线配置代理模型和填充采样准则,以专家协作框架提升代理辅助进化算法在昂贵优化中的效率,实验表明其优于现有先进算法。
2025-06-20 cs.AI cs.NE
Multi-Task Surrogate-Assisted Search with Bayesian Competitive Knowledge Transfer for Expensive Optimization
Civil Engineering School, Qingdao University of Technology(青岛理工大学土木工程学院)
针对昂贵优化中代理辅助搜索的冷启动和负迁移问题,提出贝叶斯竞争知识迁移方法,通过先验与证据结合评估可迁移性,提升多任务搜索性能。
2025-10-27 cs.NE
Surrogate-Assisted Reference Vector Adaptation to Various Pareto Front Shapes for Many-Objective Bayesian Optimization
Jiteki Lab(Jiteki 实验室)
我们提出了一个代理辅助参考向量自适应(SRVA)方法来解决昂贵的多和多目标优化问题与各种帕累托前沿形状。SRVA是再加上一个多目标贝叶斯优化(MBO)算法,使用参考向量标量化的目标函数。该方法采用Kriging代理模型估计目标函数的Pareto前沿形状,并在估计的Pareto前沿上生成均匀分布的自适应参考向量。我们结合SRVA与预期改善的处罚为基础的边界相交作为MBO的填充标准。该算法与其他两个目标优化算法进行了比较,通过将它们应用到具有各种Pareto前沿形状的基准问题。实验结果表明,该算法在目标函数被Kriging模型合理逼近的问题上优于其他两种算法。SRVA提高了这些问题的连续,不连续和退化的帕累托前沿的非支配解决方案的多样性。此外,该算法从优化的早期阶段获得更好的解决方案,特别是在多目标问题。
2021-10-10 cs.LG cs.NE math.OC
Designing Air Flow with Surrogate-assisted Phenotypic Niching
在复杂、昂贵的优化领域中,我们通常狭隘地关注于寻找高性能的解决方案,而不是扩展我们对领域本身的理解。但是,如果我们能够快速理解在上述领域中可能出现的复杂行为呢?我们引入代理辅助表型小生境,质量多样性算法,允许发现一个大的,不同的行为集,通过使用计算昂贵的表型特征。在这项工作中,我们发现在2D流体动力学优化问题的空气流的类型。基于GPU的快速流体动力学求解器与代理模型结合使用,以根据产生气流的形状准确预测流体特性。我们表明,这些功能可以在数据驱动的方式进行建模,同时采样,以提高性能,而不是显式采样,以改善功能模型。我们的方法可以减少运行不切实际的大量模拟的需要,同时仍然能够设计各种各样的气流和导致它们的形状。发现行为的多样性有助于工程师更好地理解昂贵的领域及其解决方案。
2021-05-10 cs.CE cs.NA cs.NE
Green Optimization: Energy-aware Design of Metaheuristics by Using Machine Learning Surrogates to Cope with Real Problems
Saitama University(埼玉大学);University of Malaga(马拉加大学)
本文探讨了通过机器学习代理优化元启发式算法的能源效率,实验显示使用预训练代理可显著降低能耗、执行时间和内存使用,同时讨论了训练数据集大小和训练方式对性能的影响。
2026-02-09 cs.NE
Pareto Driven Surrogate (ParDen-Sur) Assisted Optimisation of Multi-period Portfolio Backtest Simulations
Institute for Intelligent Systems, University of Johannesburg(约翰内斯堡大学智能系统研究所);Faculty of Engineering and the Built Environment, University of Johannesburg(约翰内斯堡大学工程与建筑环境学院);Department of Statistical Sciences, University of Cape Town(开普敦大学统计科学系)
投资组合管理是一个多时期多目标的优化问题,受到广泛的约束。然而,在实践中,投资组合管理被视为一个单期问题,部分原因是计算繁重的超参数搜索过程需要构建一个多期帕累托前沿。本研究提出了\gls{ParDen-Sur}建模框架,以有效地执行所需的超参数搜索。\gls{ParDen-Sur}通过在\glspl{EA}中与传统的验收抽样方案一起包括用于后代生成的基于储层抽样的前瞻机制来扩展先前的代理框架。我们评估了这个框架,并与几个开创性的\gls{MO} \glspl{EA}在两个数据集的单周期和多周期用例。我们的研究结果表明,\gls{ParDen-Sur}可以加快探索最佳超参数几乎$2\times$与统计上显着改善的帕累托边界,跨多个\glspl{EA},数据集和用例。
2022-09-13 cs.AI cs.NE
Surrogate-assisted Particle Swarm Optimisation for Evolving Variable-length Transferable Blocks for Image Classification
Victoria University of Wellington(惠灵顿维多利亚大学)
深度卷积神经网络已经在图像分类任务上表现出了有前途的性能,但是由于快速的深度增长和卷积神经网络日益复杂的拓扑结构,手动设计过程变得越来越复杂。因此,神经架构搜索已经出现,以自动设计性能优于手工制作的对应物的卷积神经网络。然而,计算成本是巨大的,例如,对于两个名为NAS和NASNet的优秀神经架构搜索工作,分别需要22,400 GPU-天和2,000 GPU-天,这激发了这项工作。提出了一种新的高效的代理辅助粒子群优化算法来自动进化卷积神经网络。这是通过提出一种新的代理模型,一种新的方法来创建一个代理数据集和一个新的编码策略来编码可变长度块的卷积神经网络,所有这些都被集成到一个粒子群优化算法,形成所提出的方法。所提出的方法显示其有效性,实现竞争出错率的3.49%的CIFAR-10数据集,18.49%的CIFAR-100数据集,和1.82%的SVHN数据集。由于代理模型和代理数据集实现了加速,因此所提出的方法可以在3个GPU天内从CIFAR-10有效地学习卷积神经网络块,以避免训练由粒子表示的80.1%的卷积神经网络块。无需进一步搜索,从CIFAR-10进化的块可以成功地转移到CIFAR-100和SVHN,这表现出所提出的方法学习的块的可转移性。
2020-07-03 cs.CV cs.LG cs.NE
Surrogate-assisted Multi-objective Neural Architecture Search for Real-time Semantic Segmentation
深度神经网络的架构进步已经在广泛的计算机视觉任务中实现了显著的飞跃。神经架构搜索(NAS)不再依赖于人类的专业知识,而是成为实现架构设计自动化的一条有前途的途径。虽然最近在图像分类方面取得的成就表明了机会,但NAS的承诺还有待于在语义分割的更具挑战性的任务上进行彻底评估。将NAS应用于语义分割的主要挑战来自两个方面:(i)要处理的高分辨率图像;(ii)对实时的【形】推理速度的额外要求(即,实时的【形】语义分割),用于自动驾驶等应用。为了应对这些挑战,本文提出了一种代理辅助的多目标方法。通过一系列定制的预测模型,我们的方法有效地将原来的NAS任务转化为一个普通的多目标优化问题。其次是一个层次化的预筛选标准的填充选择,我们的方法逐步实现了一组有效的架构分割精度和推理速度之间的权衡。在三个基准数据集上的实证评估以及使用华为Atlas 200 DK的应用表明,我们的方法可以识别出性能显著优于现有最先进架构的架构,无论是人工专家设计的还是其他NAS方法自动设计的。
2022-08-14 cs.CV cs.NE
A Novel Surrogate-assisted Evolutionary Algorithm Applied to Partition-based Ensemble Learning
Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究中心);Leiden University Medical Center(莱顿大学医学中心);TU Delft(代尔夫特理工大学)
提出了一种新的代理辅助进化算法,用于求解昂贵的组合优化问题。我们集成了一个代理模型,这是用于适应值估计,到一个国家的最先进的P3-类变种的基因池最优混合算法(GOMEA),并适应所产生的算法解决非二进制组合问题。我们测试所提出的算法集成学习问题。集成多个模型是一种常见的机器学习技术,可以实现更好的性能。我们考虑在数据集的不相交子集上训练的几个模型的集合。寻找最佳的数据集划分自然是一个组合的非二进制优化问题。如果使用复杂模型(如深度神经网络)作为集成中的学习器,则适应度函数评估可能非常昂贵。因此,适应度函数评估的数量通常是有限的,需要昂贵的优化技术。在我们的实验中,我们使用五个分类数据集从OpenML-CC 18基准和支持向量机作为学习者的合奏。该算法表现出更好的性能比其他方法,包括贝叶斯优化算法。它设法找到更好的解决方案,使用几千个适应度函数评估多达500个变量的集成学习问题。
2021-04-16 cs.AI cs.LG cs.NE
Surrogate-assisted Bayesian inversion for landscape and basin evolution models
University of New South Wales(新南威尔士大学);University of Sydney(悉尼大学);SRM Institute of Science and Technology(SRM科学技术研究所)
景观演化模型的复杂性和计算成本高的性质在未知参数的推断和优化方面提出了重大挑战。贝叶斯推断提供了一种用于未知模型参数的估计和不确定性量化的方法。在我们以前的工作中,我们开发了并行回火贝叶斯作为参数估计和不确定性量化的荒地景观演化模型的框架。并行回火Bayeslands具有高性能计算功能,具有数十个并行运行的处理核心,以提高计算效率。虽然我们使用并行计算,但该过程仍然具有计算挑战性,因为需要绘制和评估数千个样本。\textcolor{black}{In large-scale landscape and basin evolution problems, a single model evaluation can take from several minutes to hours, and in some instances, even days. Surrogate-assisted optimisation has been used for several computationally expensive engineering problems which motivate its use in optimisation and inference of complex geoscientific models.}代理模型的使用可以通过开发计算成本低廉的模型来模拟昂贵的模…
2020-06-27 cs.DC cs.LG cs.NE
NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search
Michigan State University(密歇根州立大学)
在本文中,我们提出了一个有效的NAS算法,用于生成特定于任务的模型,在多个竞争目标下具有竞争力。它包括两个代理,一个在体系结构级别,以提高样本效率和一个在权重级别,通过一个超网,以提高梯度下降训练效率。在标准基准数据集(C10,C100,ImageNet)上,生成的模型(称为NSGANetV 2)与现有方法的模型相匹配或优于现有方法的模型,搜索的样本效率更高。此外,我们证明了所提出的方法的有效性和通用性六个不同的非标准数据集,例如STL-10,Flowers 102,牛津宠物,FGVC飞机等。在所有情况下,NSGANetV 2提高了最先进的(在移动设置下),这表明NAS可以是一个可行的替代传统的迁移学习方法在处理不同的情况下,如小规模或细粒度的数据集。代码可在https://github.com/mikelzc1990/nsganetv2上获得
2020-07-20 cs.CV cs.LG cs.NE
Data-Efficient Design Exploration through Surrogate-Assisted Illumination
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室);Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用科学大学)
设计优化技术通常用于设计过程的开始,以探索可能的设计空间。在这些领域中,照明算法,如MAP-Elites,是经典优化算法的有前途的替代方案,因为它们在单次运行中产生多种高质量的解决方案,而不是仅一个接近最优的解决方案。不幸的是,这些算法目前需要大量的功能评估,限制了它们的适用性。在这篇文章中,我们介绍了一种新的照明算法,代理辅助照明(SAIL),利用代理建模技术来创建一个地图的设计空间,根据用户定义的功能,同时最大限度地减少健身评估的数量。在二维翼型优化问题上,SAIL产生了数百种不同但高性能的设计,其评估数量级比MAP-Elites或CMA-ES少。我们证明,SAIL也能够在现实的三维空气动力学任务中产生高性能设计的地图,并具有准确的流动模拟。SAIL的数据高效设计探索可以帮助设计人员了解什么是可能的,超越什么是最优的,通过考虑比纯粹的基于目标的优化。
2018-06-15 cs.CE cs.LG cs.NE
Towards Code-Oriented LM Embeddings for Surrogate-Assisted Neural Architecture Search
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究 institute)
本文提出一种低成本的代码导向语言模型嵌入策略,利用语言模型的归纳偏置,无需微调即可生成高效的架构特征提取器,实验证明其在NAS-Bench-201和einspace搜索空间中优于其他编码方式。
2026-05-15 cs.LG cs.NE
Exploring Self-Assembling Behaviors in a Swarm of Bio-micro-robots using Surrogate-Assisted MAP-Elites
Ochanomizu University(御茶水女子大学);Sorbonne Université(索邦大学);CNRS Institut des Systèmes Intelligents et de Robotique (ISIR)(法国国家科学研究中心智能系统与机器人研究所)
成群的分子机器人是通过自组装在微观尺度上创造特定形状的一种有前途的方法。然而,控制它们的行为是一个具有挑战性的问题,因为它涉及复杂的非线性动力学和高实验可变性。手工制作一个分子控制器通常是耗时的,并给出次优的结果。优化方法,如bioNEAT算法,以前被用来部分克服这些困难,但他们仍然不得不应付欺骗性的高维搜索空间和计算昂贵的模拟。在这里,我们描述了一种新的方法来解决这个问题,使用MAP精英,搜索高性能和多样化的解决方案的算法。然后,我们将其应用于我们最近引入的分子机器人框架,该框架允许在微观尺度上进行传感,信号传递和自组装,并表明MAP-Elites优于以前的方法。此外,我们提出了一个微型机器人物理和化学反应动力学的代理模型,以减少仿真的计算成本。我们表明,由此产生的方法是能够优化控制器,具有类似的精度,当只使用一个成熟的现实模型,一半的计算预算。
2019-10-01 cs.NE cs.RO
Optimizing Chlorination in Water Distribution Systems via Surrogate-assisted Neuroevolution
UT Austin(德克萨斯大学奥斯汀分校);Cognizant AI Lab(高知特人工智能实验室)
本文提出基于神经进化、多目标优化和代理建模的框架,用于优化水分配系统中氯气的投放策略,通过进化神经网络实现氯气在关键节点的投放,以减少总投放量并保持浓度均匀,优于传统强化学习方法。
2026-04-11 cs.NE cs.SY eess.SY
NeuroLGP-SM: Scalable Surrogate-Assisted Neuroevolution for Deep Neural Networks
Maynooth University(梅努斯大学);Lero(莱尔研究中心);Hamilton Institute(汉密尔顿研究所)
针对神经进化计算成本高的问题,提出结合表型距离向量与KPLS的NeuroLGP-SM代理模型,可高效估计DNN适应度,性能优于12种对比方法且能效提升25%,适用于大型DNN配置优化。
2024-09-16 cs.AI cs.NE
Rank-Based Learning and Local Model Based Evolutionary Algorithm for High-Dimensional Expensive Multi-Objective Problems
Peking University(北京大学)
提出一种结合分类器辅助排序学习与局部模型的进化算法CLMEA,通过分级学习、超体积搜索和局部填充,高效求解高维昂贵多目标优化问题,实验验证其优于现有方法。
2024-03-16 cs.AI cs.NE
Combining Lipschitz and RBF Surrogate Models for High-dimensional Computationally Expensive Problems
Brno University of Technology(布尔诺理工大学)
标准的进化优化算法假设目标和约束函数的评估是简单的,计算成本低。然而,在许多现实世界的优化问题,这些评估涉及计算昂贵的数值模拟或物理实验。代理辅助进化算法(SAEAs)最近获得了越来越多的关注,他们在解决这些类型的问题的性能。SAEA的主要思想是集成的进化算法与选定的代理模型,近似计算昂贵的功能。在本文中,我们提出了一个代理模型的基础上的Lipschitz低估,并使用它来开发基于差分进化算法。该算法,称为Lipschitz代理辅助差分进化(LSADE),利用Lipschitz为基础的代理模型,以及一个标准的径向基函数代理模型和本地搜索过程。对30、50、100和200维的7个基准函数的实验结果表明,在有限的计算预算下,所提LSADE算法与现有算法相比具有较强的竞争力,尤其是对高维的复杂基准函数更有效.
2022-11-17 cs.AI cs.NE math.OC
QUIVER: Cost-Aware Adaptive Preference Querying in Surrogate-Assisted Evolutionary Multi-Objective Optimization
University of Warwick(沃里克大学);Warwick Business School(沃里克商学院)
提出QUIVER方法,通过自适应选择目标评估与异质偏好查询(成对偏好陈述与无差异调整),在代理辅助多目标优化中最小化决策遗憾,实验显示在WFG难题上效用遗憾降低25%。
2026-06-18 cs.LG cs.NE math.OC