首页/论文/1012.0952

arXiv 1012.09522010-12-04cs.NE

基于高阶算子的快速黑箱算法

Faster Black-Box Algorithms Through Higher Arity Operators

Benjamin Doerr, Daniel Johannsen, Timo Kötzing, Per Kristian Lehre, Markus Wagner, Carola Winzen

备注：: To appear at FOGA 2011

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们扩展了Lehre和Witt（GECCO 2010）关于无偏黑箱模型的工作，考虑了更高的变异算子。特别是，我们表明，已经为二进制运营商的\leadingones的黑盒复杂性下降，从$Θ(n^2)$为一元运营商的$O(n \log n)$。对于\onemax，在二进制情况下，$Ω(n \log n)$一元黑盒复杂度下降到O（n）。对于$k$ -元算子$k \leq n$，\onemax -复杂度进一步降低到$O(n/\log k)$ .

英文摘要：

We extend the work of Lehre and Witt (GECCO 2010) on the unbiased black-box model by considering higher arity variation operators. In particular, we show that already for binary operators the black-box complexity of \leadingones drops from $Θ(n^2)$ for unary operators to $O(n \log n)$. For \onemax, the $Ω(n \log n)$ unary black-box complexity drops to O(n) in the binary case. For $k$-ary operators, $k \leq n$, the \onemax-complexity further decreases to $O(n/\log k)$.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

无偏黑盒复杂度中的Arity降低

Reducing the Arity in Unbiased Black-Box Complexity

我们证明了对于所有的$1<k \leq \log n$，$n$维$\onemax$函数类的$k$元无偏黑箱复杂度是$O(n/k)$ .这表明更高元数运算符的能力比Doerr等人的先前$O(n/\log k)$约束的能力强得多（Faster black-box algorithms through higher arity operators，Proc. of FOGA 2011，pp. 163- 172，ACM，2011）建议。这个结果的关键是编码策略，这可能是独立的利益。我们表明，仅使用$k$ -ary无偏变分运算符，我们可以模拟大小为$O(2^k)$位的不受限制的存储器。

2012-03-19cs.NE

更好的定元无偏黑箱算法

Better Fixed-Arity Unbiased Black-Box Algorithms

在他们的GECCO '12论文中，Doerr和Doerr证明了OneMax在$n$位上的$k$元无偏黑盒复杂度是$O(n/k)$ for $2\le k\le O(\log n)$。我们提出了一种替代策略，以实现这种无偏的黑盒复杂性时，$3\le k\le\log_2 n$。虽然它基于相同的块优化思想，但它以不同的方式使用$k$-ary无偏算子。对于每个大小为$2^{k-1}-1$的块，我们在$O(k)$查询中设置一个虚拟坐标系，该坐标系使我们能够使用任意的无限制算法来优化该块。这是可能的，因为该坐标系在无限制查询和$k$元无偏运算符的子集之间引入了双射。我们注意到，这种技术不依赖于OneMax被求解，并且可以在更一般的上下文中使用。这一起构成了一个算法，它在概念上比Doerr和Doerr的算法更简单，同时在渐近符号中实现了更好的常数因子。我们的算法在$(2+o(1))\cdot n/(k-1)$中工作，其中$o(1)$与$k$相关。我们的实验评估表明，该算法的效率已经为$3\le k\le6$。

2018-07-10cs.NE

LeadingOnes的（1+1）精英黑箱复杂性

The (1+1) Elitist Black-Box Complexity of LeadingOnes

黑箱复杂性理论的一个重要目标是发展复杂性模型，从而为整个随机搜索算法类导出有意义的下界。作为对经典运行时分析的补充，黑盒模型帮助我们理解算法选择（如种群大小、变异算子或选择规则）如何影响优化时间。这种结果的一个例子是具有唯一全局最优值的函数上的一元无偏算法的$Ω(n \log n)$下界[Lehre/Witt，GECCO 2010]，这告诉我们，当试图超越此界时，需要更高的arity算子或有偏采样策略。由于缺乏分析技术，几乎没有已知的非平凡界的其他限制模型。因此，证明这样的界限仍然是黑盒复杂性理论的主要挑战之一。在本文中，我们有助于我们的技术工具箱下限计算提出了一种新的类型的信息理论的论点。我们考虑的置换和位不变版本的\textsc{LeadingOnes}，并证明其（1+1）精英黑箱复杂性是$Ω(n^2)$，一个界，是匹配的（1+1）型进化算法。因此，\textsc{LeadingOnes}的（1+1）精英复杂度显著大于其无限制复杂度，已知无限制复杂度为$n\log\log n$阶[Afshani等人，2013年]。

2016-04-08cs.CCcs.NE

用于快速组合黑箱优化的去噪自编码器

Denoising Autoencoders for fast Combinatorial Black Box Optimization

分布估计算法（EDA）需要灵活的概率模型，可以有效地学习和采样。自动编码器（AE）是具有这些期望属性的生成随机网络。我们集成了一种特殊类型的AE，去噪自动编码器（DAE），到EDA和评估DAE-EDA的性能上的几个组合优化问题与一个单一的目标。我们评估适应度评估的数量以及所需的CPU时间。我们比较结果的性能贝叶斯优化算法（BOA）和RBM-EDA，另一种EDA是基于生成神经网络，已被证明具有竞争力的BOA。对于所考虑的问题实例，DAE-EDA比BOA和RBM-EDA快得多，有时是几个数量级。适应性评价的数量高于BOA，但与RBM-EDA竞争。这些结果表明，DAE可以是有用的工具，低，但不可忽略的健身评估成本的问题。

2015-09-21cs.NE

用于高效黑盒神经网络优化的多引导火花烟花算法的GPU实现

A GPU Implementation of Multi-Guiding Spark Fireworks Algorithm for Efficient Black-Box Neural Network Optimization

针对大规模黑盒神经网络优化效率低的问题，提出GPU加速的MGFWA并行实现，在速度、解质量、收敛和计算时间上均优于CPU版本，并开源代码。

2025-01-07cs.NE

多约束黑箱模型中的OneMax

OneMax in Black-Box Models with Several Restrictions

黑箱复杂性研究通用黑箱优化算法（如进化算法和其他搜索算法）的效率下限。存在不同的模型，每个模型都被设计用于分析典型启发式方法的不同方面，例如内存大小或使用的变异运算符。虽然大多数以前的作品集中在一个特定的这样的方面，我们认为在这项工作中如何结合几个算法的限制影响黑盒的复杂性。我们的测试平台是所谓的OneMax函数，这是一组经典的测试函数，与经典的硬币称重问题和棋盘游戏Mastermind密切相关。我们特别分析了OneMax在不同内存大小下的组合内存受限的基于排名的黑盒复杂度。虽然其隔离的存储器限制以及其基于排名的黑盒复杂度为长度$n$的位串仅为$n/\log n$阶，但组合模型不允许算法比$n$中的线性算法更快，如标准信息论考虑所示。我们证明了这个线性界确实是渐近紧的。对于其他内存和子内存大小，也得到了类似的结果。我们的结果也适用于最近引入的精英模型中OneMax的（Monte Carlo）复杂性，其中只有迄今为止最好的解决方案可以保存在内存中。最后，我们还提供了改进的下界的OneMax在所考虑的模型的复杂性。我们的结果活跃了自然进化算法优化OneMax在$o(n \log n)$迭代的追求。

2015-09-10cs.DScs.NE

更多相关论文收起更多论文

B2Opt: 学习以极少预算优化黑盒优化问题

B2Opt: Learning to Optimize Black-box Optimization with Little Budget

Xidian University（西安电子科技大学）；Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）

针对高维代价高的黑盒优化难题，提出基于适者生存的深度神经网络框架B2Opt，可借助廉价代理任务自动学习优化策略，以更低评估成本实现多数量级性能提升，在合成与真实任务中均验证有效。

2023-07-25cs.LGcs.NE

基于人口的训练的通用框架

A Generalized Framework for Population Based Training

DeepMind；Google Brain（谷歌大脑）

基于群体的训练（PBT）是一种联合优化神经网络权重和超参数的最新方法，其在训练期间周期性地复制最佳表现者的权重并改变超参数。先前的PBT实现已经是同步玻璃盒系统。我们提出了一个一般的，黑盒PBT框架，分布许多异步“试验”（少量的训练步骤与热启动）在一个集群，协调的PBT控制器。黑盒设计不对模型架构、损失函数或训练过程做出假设。我们的系统支持动态超参数调度，以优化可微和不可微指标。我们应用我们的系统训练一个国家的最先进的WaveNet生成模型的人类语音合成。我们表明，我们的PBT系统实现了更好的精度，灵敏度较低，收敛速度更快，与现有的方法相比，给定相同的计算资源。

2019-02-05cs.AIcs.DCcs.LG