大语言模型辅助的对抗鲁棒性神经架构搜索
Large Language Model Assisted Adversarial Robustness Neural Architecture Search
AI总结：
本文提出LLM辅助优化器LLMO，利用Gemini通过CRISPE框架迭代生成解，在NAS-Bench-201的ARNAS任务上验证其优于多种元启发式算法，展示了大语言模型作为组合优化器的潜力。
摘要：
受大语言模型（LLMs）作为组合优化问题求解器的潜力所启发，本文提出了一种新颖的LLM辅助优化器（LLMO），用于解决对抗鲁棒性神经架构搜索（ARNAS），这是组合优化的一个具体应用。我们使用标准的CRISPE框架（即能力与角色、洞察、陈述、个性与实验）设计提示。在本研究中，我们采用Gemini，这是由Google开发的一个强大的大语言模型。我们迭代地优化提示，并将Gemini的响应适配为ARNAS实例的解。在基于NAS-Bench-201的ARNAS任务上，使用CIFAR-10和CIFAR-100数据集进行了数值实验。六种著名的元启发式算法（MHAs），包括遗传算法（GA）、粒子群优化（PSO）、差分进化（DE）及其变体，作为基线。实验结果证实了所提出的LLMO的竞争力，并突显了LLMs作为有效组合优化器的潜力。本研究的源代码可从\url{https://github.com/RuiZhong961230/LLMO}下载。
英文摘要：
Motivated by the potential of large language models (LLMs) as optimizers for solving combinatorial optimization problems, this paper proposes a novel LLM-assisted optimizer (LLMO) to address adversarial robustness neural architecture search (ARNAS), a specific application of combinatorial optimization. We design the prompt using the standard CRISPE framework (i.e., Capacity and Role, Insight, Statement, Personality, and Experiment). In this study, we employ Gemini, a powerful LLM developed by Google. We iteratively refine the prompt, and the responses from Gemini are adapted as solutions to ARNAS instances. Numerical experiments are conducted on NAS-Bench-201-based ARNAS tasks with CIFAR-10 and CIFAR-100 datasets. Six well-known meta-heuristic algorithms (MHAs) including genetic algorithm (GA), particle swarm optimization (PSO), differential evolution (DE), and its variants serve as baselines. The experimental results confirm the competitiveness of the proposed LLMO and highlight the potential of LLMs as effective combinatorial optimizers. The source code of this research can be downloaded from \url{https://github.com/RuiZhong961230/LLMO}.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
