Empirical Evaluation of Contextual Policy Search with a Comparison-based Surrogate Model and Active Covariance Matrix Adaptation
Robotics Innovation Center, DFKI GmbH(德国人工智能研究中心有限公司机器人创新中心)
上下文策略搜索(CPS)是一类多任务强化学习算法,对机器人应用特别有用。背景协方差矩阵自适应演化策略(C-CMA-ES)是最近的一种最先进的方法。它基于标准的黑盒优化算法CMA-ES。CMA-ES有两个有用的扩展,我们将转移到C-CMA-ES和经验评估:ACM-ES,它使用基于比较的代理模型,和aCMA-ES,它使用协方差矩阵的主动更新。我们将证明,这些方法的改进在样本效率方面可以令人印象深刻,尽管这与机器人领域不再相关。
2019-04-14 cs.LG cs.NE stat.ML
CMA-ES with Two-Point Step-Size Adaptation
我们结合了两点步长自适应协方差矩阵自适应演化策略(CMA-ES)的改进版本。此外,我们建议抛光公式的协方差矩阵和重组权重的学习率。与累积步长自适应或1/5成功规则相反,改进的两点自适应(TPA)不依赖于任何内部最优模型。与传统的自适应相比,TPA将实现更好的目标步长,特别是对于大的种群。TPA的缺点是它依赖于两个额外的目标函数
2008-05-18 cs.NE
Self-Adaptive Surrogate-Assisted Covariance Matrix Adaptation Evolution Strategy
本文提出了一种新的机制,以适应代理辅助人口为基础的算法。这种机制被应用到ACM-ES,最近提出的代理辅助的变体的CMA-ES。所得到的算法saACM-ES在线调整当前代理模型的生命长度(在学习新代理之前的CMA-ES代的数量)和代理超参数。这两种代理模型都显著提高了代理模型的质量,与ACM-ES和CMA-ES基线相比,saACM-ES的速度显著提高。在BBOB-2012无噪声测试平台上对saACM-ES进行的实证验证表明,所提出的方法在问题维度和种群规模方面具有效率和可扩展性,在一些基准问题上达到了新的最佳结果。
2012-04-11 cs.NE
Covariance Matrix Adaptation Greedy Search Applied to Water Distribution System Optimization
配水系统设计是一个具有挑战性的优化问题,具有大量的搜索维度和约束条件。通过这种方式,进化算法(EA)已被广泛应用于优化WDS,以最大限度地减少成本,同时满足压力约束。本文提出了一种新的混合进化框架,包括三个不同的阶段。第一阶段应用CMA-ES,这是一种用于连续优化的鲁棒自适应元启发式算法。这之后是向上贪婪搜索阶段,以消除压力违规。最后,使用向下贪婪搜索阶段来减少过大的管道。为了评估混合方法的有效性,它被应用到五个著名的WDS的案例研究。结果表明,新的框架优于CMA-ES本身和其他以前应用的算法在大多数基准的优化速度和网络成本。
2019-09-11 cs.NE
Multi-Objective Covariance Matrix Adaptation MAP-Annealing
提出MO-CMA-MAE算法,将CMA-ES引入多目标质量多样性优化,通过优化每个帕累托集的超体积,在多个领域及游戏地图生成中显著提升性能。
2025-05-27 cs.NE
Covariance Matrix Adaptation Evolutionary Strategy with Worst-Case Ranking Approximation for Min--Max Optimization and its Application to Berthing Control Tasks
在这项研究中,我们考虑了一个连续的最小-最大优化问题$\min_{x \in \mathbb{X} \max_{y \in \mathbb{Y}}}f(x,y)$,其目标函数是一个黑箱。我们提出了一种新的方法来最大限度地减少最坏情况下的目标函数$F(x) = \max_{y} f(x,y)$直接使用协方差矩阵自适应演化策略(CMA-ES),其中解决方案的候选人的排名近似我们提出的最坏情况下的排名近似(WRA)机制。我们开发了两个变种的WRA结合CMA-ES和近似梯度上升的数值求解器的内部最大化问题。数值实验表明,当目标函数为光滑强凸-凹函数且$x$和$y$之间的相互作用较强时,该方法的性能优于现有的几种方法.我们调查所提出的方法的优点,目标函数不限于光滑强凸-凹函数的问题。在具有不确定性的非凸-凹函数的鲁棒靠泊控制问题中,证明了该方法的有效性。在具有不确定性的船舶靠泊鲁棒控制问题中,证明了该方法的有效性。
2023-03-28 cs.NE
Neural Architecture Search using Covariance Matrix Adaptation Evolution Strategy
基于进化的神经结构搜索需要大量的计算资源,导致搜索时间较长。在这项工作中,我们提出了一个框架,应用协方差矩阵自适应演化策略(CMA-ES)的神经结构搜索问题,称为CMANAS,取得了更好的结果比以前的基于进化的方法,同时减少了搜索时间显着。架构建模使用正态分布,这是更新使用CMA-ES的基础上采样人口的健身。我们在验证数据上使用训练的单次模型(OSM)的准确性作为对单个架构的适应度的预测,以减少搜索时间。我们还使用了一个架构适应度表(AF表),用于记录已经评估的架构,从而进一步减少搜索时间。CMANAS在CIFAR-10上完成了架构搜索,0.45 GPU天的前1测试准确率为97.44%,在CIFAR-100上完成了单GPU 0.6 GPU天的前1测试准确率为83.24%。然后将CIFAR-10和CIFAR-100上搜索的顶级架构转移到ImageNet,分别达到92.6%和92.1%的前5名准确率。
2021-07-15 cs.NE
Approximation of the objective insensitivity regions using Hierarchic Memetic Strategy coupled with Covariance Matrix Adaptation Evolutionary Strategy
AGH University of Science and Technology(AGH科技大学)
全局优化中最具挑战性的不适定性类型之一是设计参数空间中存在不敏感区域,因此如果不适定性是不可恢复的,则对其形状的识别将是至关重要的。这样的问题可以使用全局随机搜索来解决,然后对局部样本和局部目标近似进行后处理。我们提出了一种新的方法,这种类型的分层模因策略(HMS)由协方差矩阵自适应进化策略(CMA-ES)提供动力,众所周知,作为一种有效的,自适应的随机优化算法,我们利用它积累的分布密度知识,以更好地识别和分离不敏感区域。基准测试结果表明,改进的HMS-CMA-ES策略在总计算量和不敏感区域逼近精度方面都是有效的。测试的参考数据是通过一个众所周知的多模态随机优化的有效策略,称为小生境进化算法2(NEA 2),也使用CMA-ES作为一个组成部分。
2019-05-17 cs.AI cs.NE
On-line Search History-assisted Restart Strategy for Covariance Matrix Adaptation Evolution Strategy
重启策略有助于协方差矩阵自适应演化策略(CMA-ES)提高寻优过程中找到全局最优解的概率,但单次运行的CMA-ES容易陷入局部最优解。在本文中,连续的非重访遗传算法(cNrGA)被用来帮助CMA-ES实现从不同的子区域的搜索空间的多次重新启动。提出了一种基于在线搜索历史辅助重启策略的CMA-ES(HR-CMA-ES)。cNrGA的整个在线搜索历史存储在二进制空间划分(BSP)树中,这对于执行局部搜索是有效的。频繁采样的子区域由BSP树中的深位置反映。当叶节点位于比阈值更深时,对应的子区域被认为是感兴趣区域(ROI)。在HR-CMA-ES中,cNrGA负责全局探索并为CMA-ES建议ROI,以在ROI内或周围执行利用。CMA-ES在每个建议的ROI中独立重启。cNrGA的非重访机制避免了第二次建议相同的ROI。在CEC 2013和2017基准套件上的实验结果表明,HR-CMA-ES的性能优于CMA-ES和cNrGA。一个积极的协同作用,观察两个算法的模因合作。
2019-03-16 cs.NE
Training Diverse High-Dimensional Controllers by Scaling Covariance Matrix Adaptation MAP-Annealing
University of Southern California(南加州大学);Viterbi School of Engineering(维特比工程学院)
本文针对CMA-MAE难以扩展到高维神经网络控制器的问题,提出三种基于高效近似的新变体,在机器人运动任务中超越ES基线,并达到或超过最先进的深度强化学习质量多样性算法。
2023-09-16 cs.LG cs.NE cs.RO
Limited-Memory Matrix Adaptation for Large Scale Black-box Optimization
University of Freiburg(弗莱堡大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Vorarlberg University of Applied Sciences(福拉尔贝格应用科学大学)
协方差矩阵自适应演化策略(CMA-ES)是一种在梯度信息不可用的情况下处理非凸和/或随机优化问题的流行方法。基于CMA-ES,最近提出的矩阵自适应演化策略(MA-ES)提供了一个相当令人惊讶的结果,即协方差矩阵和所有相关操作(例如,潜在不稳定的本征分解)可以在CMA-ES中由更新的变换矩阵代替而没有任何性能损失。为了进一步简化MA-ES,将其$\mathcal{O}\big(n^2\big)$时间和存储复杂度降低为$\mathcal{O}\big(n\log(n)\big)$,提出了有限内存矩阵自适应演化策略(LM-MA-ES),用于零阶大规模优化。该算法在一组已建立的大规模基准测试中表现出最先进的性能。我们探讨了算法的问题上产生对抗性的输入(非平滑)随机森林分类器,展示了一个令人惊讶的脆弱性的分类器。
2017-05-18 cs.LG cs.NE math.OC
Modified CMA-ES Algorithm for Multi-Modal Optimization: Incorporating Niching Strategies and Dynamic Adaptation Mechanism
本文通过融合小生境策略与动态自适应机制改进CMA-ES算法,以解决多模态优化中多个全局最小值带来的多样性维持难题,并在GECCO 2024 MMO竞赛基准上验证了其鲁棒性与有效性。
2024-07-01 cs.NE math.OC
Hybrid Wave-wind System Power Optimisation Using Effective Ensemble Covariance Matrix Adaptation Evolutionary Algorithm
本研究针对漂浮式混合风浪系统的复杂优化问题,提出结合协方差矩阵适应、新颖性搜索和离散化技术的有效集成优化(EEA)方法,在多个海域测试中显著提升了系统的平均功率输出和收敛率。
2025-05-28 cs.NE
Variable Metric Evolution Strategies for High-dimensional Multi-Objective Optimization
针对高维多变量问题,结合协方差矩阵自适应扩展算法与多目标进化策略,开发了基于指标选择的最先进多目标优化器,性能优于全协方差矩阵自适应。
2024-12-20 cs.NE
Weight Adaptation for Improving Parallel Performance of Adaptive Stochastic Natural Gradient
Yokohama National University(横滨国立大学)
提出WA-ASNG,通过梯度上升自适应更新权重参数,最大化自然梯度信号,在二进制优化问题中优于PBIL和ASNG,并有效处理强噪声。
2026-06-19 cs.NE
The Hessian Estimation Evolution Strategy
Institute for Neural Computation, Ruhr-University Bochum(波鸿鲁尔大学神经计算研究所);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
我们提出了一种新的黑箱优化算法称为海森估计演化策略。该算法通过直接估计目标函数的曲率来更新其采样分布的协方差矩阵。这种算法设计是针对二次连续可微问题的。为此,我们扩展的累积步长自适应算法的CMA-ES镜像采样。我们证明,我们的方法来协方差矩阵自适应是有效的BBOB/COCO测试平台上进行评估。我们还表明,该算法是令人惊讶的强大时,其核心假设的两次连续可微的目标函数被违反。该方法产生了一个新的演化策略具有竞争力的性能,同时它也提供了一个有趣的替代通常的协方差矩阵更新机制。
2020-06-09 cs.LG cs.NE
CMA-ES with Learning Rate Adaptation
本文研究了学习率对CMA-ES性能的影响,提出了一种保持恒定信噪比的学习率自适应机制,有效解决了多峰和噪声问题且无需昂贵的超参数调优。
2024-09-26 cs.NE math.OC
CMA-ES with Learning Rate Adaptation: Can CMA-ES with Default Population Size Solve Multimodal and Noisy Problems?
为解决多峰和噪声问题,本文提出一种保持恒定信噪比的学习率自适应机制,使默认种群规模的CMA-ES无需昂贵的超参数调优即可表现良好。
2023-09-14 cs.NE math.OC
Two Gaussian Approaches to Black-Box Optomization
概述了使用高斯过程作为协方差矩阵自适应演化策略(CMA-ES)的代理模型的几种策略。
2014-11-28 cs.AI cs.NE
Exploration and Exploitation in Symbolic Regression using Quality-Diversity and Evolutionary Strategies Algorithms
Université de Paris(巴黎大学);Ochanomizu University(御茶水女子大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通过结合遗传编程,MAP精英和协方差矩阵自适应演化策略,我们在符号回归问题中表现出非常高的成功率。MAP-Elites用于改进探索,同时保持多样性并避免过早收敛和膨胀。然后,协方差矩阵自适应演化策略被用来评估自由标量通过非梯度的黑箱优化器。虽然这种评估方法是不计算可扩展的高维问题,我们的算法是能够找到正是大多数的$31$目标提取的文献上,我们评估它。
2019-06-10 cs.LG cs.NE
Maximum Likelihood-based Online Adaptation of Hyper-parameters in CMA-ES
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);INRIA Saclay - Île-de-France(法国国家信息与自动化研究所萨克雷-法兰西岛分所);Université Paris-Sud(巴黎第十一大学)
协方差矩阵自适应演化策略(CMA-ES)是一种求解非线性、非凸优化问题的鲁棒无导数连续优化算法。众所周知,CMA-ES几乎是无参数的,这意味着只有一个超参数,即人口规模,建议由用户调整。在本文中,我们提出了一个原则性的方法称为自我CMA-ES实现在线自适应的CMA-ES超参数,以提高其整体性能。实验结果表明,当种群规模大于默认值时,CMA-ES超参数的默认设置远不是最优的,而自CMA-ES允许动态逼近最优设置.
2014-06-11 cs.AI cs.NE
A Computationally Efficient Limited Memory CMA-ES for Large Scale Optimization
提出了一种计算效率高的有限记忆协方差矩阵自适应演化策略,我们称之为LM-CMA-ES。LM-CMA-ES是一种随机的、无导数的算法,用于连续域中的非线性、非凸优化问题的数值优化。受Liu和Nocedal(1989)的有限内存BFGS方法的启发,LM-CMA-ES根据从优化过程中选择的$m$方向向量中重现的协方差矩阵对候选解进行采样。将协方差矩阵分解成Cholesky因子允许将采样的时间和存储器复杂度降低到$O(mn)$,其中$n$是决策变量的数量。当$n$较大时(例如,$n$ > 1000),甚至相对小的$m$值(例如,$m=20,30$)足以有效地解决完全不可分离的问题,并减少总的运行时间。
2014-04-21 cs.NE
Evolutionary Hessian Learning: Forced Optimal Covariance Adaptive Learning (FOCAL)
Princeton University(普林斯顿大学);Colorado State University(科罗拉多州立大学)
针对CMA-ES在条件数大的高维景观中无法学习真实协方差矩阵的问题,提出FOCAL方法,通过强制学习全局吸引盆处的Hessian矩阵,在模型景观和量子控制系统中高保真恢复Hessian。
2011-12-19 cs.NA cs.NE math.NA