arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2210.05397cs.NE
收藏

分析基于进化计算的神经架构搜索算法的期望命中时间

Analyzing the Expected Hitting Time of Evolutionary Computation-based Neural Architecture Search Algorithms

Zeqiong Lv, Chao Qian, Gary G. Yen, Yanan Sun

AI总结:

针对 ENAS 缺乏理论分析的问题,提出融合理论与实验的 EHT 估计方法,并分析 (λ+λ)-ENAS 下界及 NAS-Bench-101 结果,奠定其理论基础。

摘要:

基于进化计算的神经架构搜索(ENAS)是一种用于自动化深度神经网络架构设计的流行技术。尽管其具有开创性的应用,但目前尚无针对 ENAS 的理论研究。期望命中时间(EHT)是最重要的理论问题之一,因为它意味着平均计算时间复杂度。本文提出了一种将理论与实验相结合的通用方法,用于估计 ENAS 算法的 EHT,该方法包括通用配置、搜索空间划分、转移概率估计、种群分布拟合和命中时间分析。利用所提出的方法,我们考虑了具有不同变异算子的 (λ+λ)-ENAS 算法,并估计了 EHT 的下界。此外,我们在 NAS-Bench-101 问题上研究了 EHT,结果证明了所提方法的有效性。据我们所知,这项工作是为 ENAS 算法建立理论基础的首次尝试。

英文摘要:

Evolutionary computation-based neural architecture search (ENAS) is a popular technique for automating architecture design of deep neural networks. Despite its groundbreaking applications, there is no theoretical study for ENAS. The expected hitting time (EHT) is one of the most important theoretical issues, since it implies the average computational time complexity. This paper proposes a general method by integrating theory and experiment for estimating the EHT of ENAS algorithms, which includes common configuration, search space partition, transition probability estimation, population distribution fitting, and hitting time analysis. By exploiting the proposed method, we consider the ($λ$+$λ$)-ENAS algorithms with different mutation operators and estimate the lower bounds of the EHT. Furthermore, we study the EHT on the NAS-Bench-101 problem, and the results demonstrate the validity of the proposed method. To the best of our knowledge, this work is the first attempt to establish a theoretical foundation for ENAS algorithms.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑