Manas: Mining Software Repositories to Assist AutoML
Iowa State University（爱荷华州立大学）
如今，深度学习被广泛用于构建软件。深度学习的一个软件工程问题是，为任务找到合适的卷积神经网络（CNN）模型对开发人员来说可能是一个挑战。最近关于AutoML的工作，更准确地说是神经架构搜索（NAS），通过Auto-Keras等工具实现，旨在解决这个问题，基本上将其视为一个搜索问题，其中起点是默认的CNN模型，并且该CNN模型的突变允许探索CNN模型的空间，以找到最适合该问题的CNN模型。这些工作在产生高精度CNN模型方面取得了重大成功。然而，有两个问题。首先，NAS可能非常昂贵，通常需要几个小时才能完成。其次，NAS生成的CNN模型可能非常复杂，这使得理解它们变得更加困难，并且训练它们的成本也更高。我们提出了一种新的NAS方法，其中不是从默认的CNN模型开始，而是从GitHub提取的模型库中选择初始模型。直觉是，与默认模型相比，解决类似问题的开发人员可能已经开发了一个更好的起点。我们还分析了野外CNN模型的常见层模式，以了解开发人员为改进模型而做出的更改。我们的方法使用通常发生的变化作为NAS中的变异算子。我们扩展了Auto-Keras来实现我们的方法。我们使用Kaggle的8个投票最高的问题进行评估，包括图像分类和图像回归，结果显示，在相同的搜索时间下，在不损失准确性的情况下，Manas生成的模型比Auto-Keras的模型少42.9%到99.6%的参数。以GPU为基准，Mana…
2022-02-13 cs.LG cs.SE
Best Practices for Scientific Research on Neural Architecture Search
Leibniz University of Hannover（莱布尼茨汉诺威大学）；University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
对于深度学习的从业者和研究人员来说，寻找一个性能良好的架构通常是乏味的，这导致了人们对通过神经架构搜索（NAS）自动化这项任务的极大兴趣。虽然社区在开发更好的NAS方法方面取得了重大进展，但在NAS的年轻领域，科学经验评估的质量仍然落后于机器学习的其他领域。为了解决这个问题，我们描述了一组可能的问题和避免这些问题的方法，并在http://automl.org/nas_checklist.pdf上提供了NAS最佳实践清单。
2020-11-03 cs.LG stat.ML
AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data
École polytechnique（巴黎综合理工学院）；Argonne National Laboratory（阿贡国家实验室）；CNRS/Inria-LISN（法国国家科学研究中心/法国国家信息与自动化研究所-LISN）；U. Paris-Saclay（巴黎萨克雷大学）
为大型表格数据集开发高性能的预测模型是一项具有挑战性的任务。最先进的方法是基于专家开发的模型集成从不同的监督学习方法。最近，自动化机器学习（AutoML）正在成为自动化预测模型开发的一种有前途的方法。神经架构搜索（NAS）是一种AutoML方法，它可以同时生成和评估多个神经网络架构，并迭代地提高所生成模型的准确性。NAS中的一个关键问题，特别是对于大型数据集，是评估每个生成的架构所需的大量计算时间。虽然数据并行训练是一种很有前途的方法，可以解决这个问题，但它在NAS中的使用是困难的。对于不同的数据集，需要调整数据并行训练设置，如并行进程的数量、学习率和批量大小，以实现高精度和减少训练时间。为此，我们开发了AgEBO-Tabular，这是一种结合老化进化（AgE）的方法，一种在神经架构空间中搜索的并行NAS方法，以及一种异步贝叶斯优化方法，用于同时调整数据并行训练的超参数。我们证明了所提出的方法的有效性，以产生高性能的神经网络模型的大型表格基准数据集。此外，我们证明了使用我们的方法自动发现的神经网络模型在推理速度上优于最先进的AutoML集成模型两个数量级，同时达到相似的精度值。
2021-10-26 cs.LG cs.NE stat.ML
Mastering AI: Big Data, Deep Learning, and the Evolution of Large Language Models -- AutoML from Basics to State-of-the-Art Techniques
National Taiwan Normal University（台湾师范大学）；Indiana University（印第安纳大学）；University of Hawaii（夏威夷大学）；AppCubic；Kyoto University（京都大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）；Purdue University（普渡大学）；Emory University（埃默里大学）
本文系统介绍了AutoML的基础知识、主流工具及最新技术，旨在为AI和机器学习领域提供全面的指导与研究参考。
2025-12-07 cs.LG
Automated Machine Learning on Graphs: A Survey
Tsinghua University（清华大学）
图上的机器学习在学术界和工业界都得到了广泛的研究。然而，随着关于图学习的文献随着大量新兴方法和技术而繁荣，手动设计用于不同图相关任务的最佳机器学习算法变得越来越困难。为了解决这一关键挑战，图上的自动机器学习（AutoML）将图机器学习和AutoML的优势结合在一起，正受到研究界的关注。因此，本文全面综述了图上的AutoML，主要关注用于图机器学习的超参数优化（HPO）和神经架构搜索（NAS）。我们进一步概述了与自动化图机器学习相关的库，并深入讨论了AutoGL，这是第一个用于图上AutoML的专用开源库。最后，我们分享了我们对自动图机器学习未来研究方向的见解。本文是第一个系统和全面的审查自动机器学习的图，以我们所知。
2021-12-20 cs.LG
VEGA: Towards an End-to-End Configurable AutoML Pipeline
Hong Kong University of Science and Technology（香港科技大学）
自动机器学习（AutoML）是自动发现和部署机器学习模型的重要工业解决方案。然而，设计一个集成的AutoML系统面临着可配置性、可扩展性、可集成性和平台多样性四大挑战。在这项工作中，我们提出了VEGA，一个高效和全面的AutoML框架，兼容和优化多个硬件平台。VEGA管道集成了AutoML的各种模块，包括神经结构搜索（NAS），超参数优化（HPO），自动数据增强，模型压缩和完全训练。b）为了支持多种搜索算法和任务，我们设计了一种新的细粒度搜索空间及其描述语言，使其能够容易地适应不同的搜索算法和任务。c）我们将深度学习框架的通用组件抽象到统一的接口中。VEGA可以使用多个后端和硬件执行。在多个任务上进行的大量基准测试实验表明，VEGA可以改进现有的AutoML算法，并发现针对SOTA方法的新的高性能模型，例如，在Ascend上搜索的DNet模型zoo比EfficientNet-B5快10倍，比ImageNet上的RegNetX-32 GF快9.2倍。VEGA在https://github.com/huawei-noah/vega上开源。
2020-11-26 cs.CV
Resource-Aware Pareto-Optimal Automated Machine Learning Platform
Accenture Labs（埃森哲实验室）
在这项研究中，我们引入了一个新的平台资源感知AutoML（RA AutoML），使灵活和通用的算法来构建机器学习模型受到多个目标，以及资源和硬件的限制。RA-AutoML智能地进行超参数搜索（HPS）和神经架构搜索（NAS），以构建优化预定义目标的模型。RA-AutoML是一个通用的框架，允许用户指定许多资源/硬件约束以及手头问题或业务需求所需的目标。在其核心，RA-AutoML依赖于我们的内部搜索引擎算法，MOBOGA，它结合了修改后的约束感知贝叶斯优化和遗传算法，以构建帕累托最优候选。我们在CIFAR-10数据集上的实验表明，与最先进的神经网络模型所获得的结果相比，具有非常好的准确性，同时受到模型大小形式的资源约束。
2020-10-30 cs.AI cs.LG
ASP: Automatic Selection of Proxy dataset for efficient AutoML
Kuaishou Technology（快手科技）
本文提出ASP框架，通过动态选择信息丰富的训练数据代理子集，减少训练规模，在多个基准上优于其他数据选择方法，并实现2-20倍AutoML加速，同时获得更优架构与超参数。
2023-10-17 cs.AI cs.CV cs.LG
Efficient Architecture Search for Diverse Tasks
Carnegie Mellon University（卡内基梅隆大学）
虽然神经架构搜索（NAS）已经为深入研究的领域提供了自动化机器学习（AutoML），但其在计算机视觉之外的任务中的应用仍处于探索阶段。由于较少研究的领域正是我们期望AutoML产生最大影响的领域，因此在这项工作中，我们研究NAS以有效地解决各种问题。为了寻求一种快速、简单和广泛适用的方法，我们修复了标准卷积网络（CNN）拓扑，并提出搜索其操作应采用的正确内核大小和膨胀，这大大扩展了模型在不同类型数据的多分辨率下提取特征的能力，同时只需要在操作空间上搜索。为了克服在这个搜索空间中朴素权重共享的效率挑战，我们引入了DASH，这是一种可微分的NAS算法，使用卷积的傅立叶对角化来计算混合运算，在实践中实现了更好的渐近复杂度和高达10倍的搜索时间加速。我们评估了DASH在跨越各种应用领域的10个任务，如PDE求解，蛋白质折叠和心脏病检测。DASH在总体上优于最先进的AutoML方法，在七个任务上实现了最知名的自动化性能。与此同时，在十个任务中的六个任务上，搜索和再训练的组合时间比简单地训练一个准确度低得多的CNN主干慢不到2倍。
2022-10-09 cs.AI cs.LG
DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture
University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）
自动机器学习（AutoML）通常涉及几个关键组件，例如数据增强（DA）策略，超参数优化（HPO）和神经架构搜索（NAS）。虽然已经开发了许多策略来自动化这些组件的分离，这些组件的联合优化仍然具有挑战性，由于大大增加了搜索维度和每个组件的不同输入类型。与此并行，首先搜索最佳架构然后在NAS中部署之前对其进行重新训练的常见做法通常会受到搜索和重新训练阶段之间的低性能相关性的影响。一个端到端的解决方案，集成了AutoML组件，并在搜索结束时返回一个现成的模型是可取的。有鉴于此，本文提出了动态数据增强（DHA）算法，实现了数据增强策略、超参数和体系结构的联合优化。具体地说，端到端NAS通过优化压缩的低维特征空间以可区分的方式实现，而DA策略和HPO被看作是动态映射器，它们同时适应网络参数和网络架构的更新。实验表明，DHA在各种数据集和搜索空间上实现了最先进的（SOTA）结果。据我们所知，我们是第一个以端到端的方式高效地联合优化DA策略、NAS和HPO的公司，而无需重新培训。
2022-11-03 cs.CV cs.LG
SCARLET-NAS: Bridging the Gap between Stability and Scalability in Weight-sharing Neural Architecture Search
Xiaomi AI Lab（小米AI实验室）
发现强大而紧凑的模型是神经结构搜索的一个重要目标。以前的两阶段单次方法受到具有固定深度的搜索空间的限制。在搜索空间中包含一个额外的跳过连接以使深度可变似乎很方便。然而，它在超网训练过程中产生了大范围的扰动，并且很难为子网络提供可靠的排名。在本文中，我们发现跳过连接带来了显着的功能不一致性相比，其他操作，这可能会降低超网的性能。基于这一观察，我们通过施加一个等变的可学习稳定器来均匀化这种差异来解决这个问题。实验表明，我们提出的稳定器有助于提高超网的收敛性以及排名性能。通过将稳定的超网作为评估器的进化搜索后端，我们得到了一系列最先进的架构，几个深度的SCARLET系列，特别是SCARLET-A在ImageNet上获得了76.9%的top-1准确率。代码可在https://github.com/xiaomi-automl/ScarletNAS上获得。
2021-08-14 cs.CV cs.LG stat.ML
NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy
University of Freiburg（弗莱堡大学）；Bosch Center for AI（博世人工智能中心）
NAS-Bench-101和NAS-Bench-201等表格基准的发布显著降低了在神经架构搜索（NAS）中进行科学研究的计算开销。虽然它们已被广泛采用并用于调整现实世界的NAS算法，但这些基准测试仅限于小搜索空间，并且仅关注图像分类。最近，已经引入了几个新的NAS基准测试，这些测试覆盖了广泛任务的更大搜索空间，包括目标检测、语音识别和自然语言处理。然而，到目前为止，这些NAS基准之间的巨大差异阻碍了它们的广泛采用，限制了研究人员只能使用少数基准。在这项工作中，我们提出了一个深入的分析流行的NAS算法和性能预测方法在25个不同的组合的搜索空间和数据集，发现许多结论得出的一些NAS基准不推广到其他基准。为了帮助解决这个问题，我们引入了NAS-Bench-Suite，这是一个全面且可扩展的NAS基准测试集合，可通过统一的界面访问，旨在促进可重现，可推广和快速的NAS研究。我们的代码可在https://github.com/automl/naslib上获得。
2022-02-11 cs.AI cs.LG stat.ML
Automated Machine Learning: From Principles to Practices
Tsinghua University（清华大学）；Paradigm Inc.（第四范式公司）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文系统综述了自动化机器学习（AutoML），从形式化定义和双层学习原理出发，按搜索空间、搜索算法和评估策略建立分类体系，并结合典型应用展示其从原理到实践的发展。
2024-02-27 cs.AI cs.LG stat.ML
Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Leibniz University Hannover（莱布尼茨汉诺威大学）
神经架构搜索（NAS）和超参数优化（HPO）通过自动查找要使用的深度神经网络的架构并调整所使用的训练管道的超参数，使非专家也能访问深度学习。虽然近年来NAS和HPO都得到了广泛的研究，但NAS方法通常假设固定的超参数，反之亦然-关于联合NAS + HPO的工作很少。此外，NAS最近经常被框定为多目标优化问题，以便采取，例如，考虑到资源需求。在本文中，我们提出了一组方法，扩展了当前的方法，以联合优化神经架构和超参数相对于多个目标。我们希望这些方法将作为未来多目标联合NAS + HPO研究的简单基线。为了便于实现这一点，我们所有的代码都可以在https://github.com/automl/multi-obj-baselines上找到。
2021-05-03 cs.AI cs.LG stat.ML
NAS-Bench-x11 and the Power of Learning Curves
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
虽然神经结构搜索（NAS）的早期研究需要极端的计算资源，但最近发布的表格和替代基准大大提高了NAS研究的速度和可重复性。然而，两个最流行的基准测试并没有为每个架构提供完整的训练信息。因此，在这些基准测试中，不可能运行许多类型的多保真度技术，例如学习曲线外推，这些技术需要在任意时期评估架构。在这项工作中，我们提出了一种使用奇异值分解和噪声建模的方法来创建代理基准，NAS-Bench-111，NAS-Bench-311和NAS-Bench-NLP 11，这些基准输出每个架构的完整训练信息，而不仅仅是最终的验证精度。我们通过引入学习曲线外推框架来修改单保真度算法，展示了使用完整训练信息的能力，表明它导致了对流行的单保真度算法的改进，这些算法在发布时声称是最先进的。我们的代码和预训练模型可以在https://github.com/automl/nas-bench-x11上找到。
2021-11-05 cs.AI cs.LG cs.NE
NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Toronto（多伦多大学）
零成本代理（ZC代理）是一种新的架构性能预测技术，旨在显着加快神经架构搜索（NAS）的算法。最近的工作表明，这些技术显示出很大的希望，但某些方面，如评估和利用其互补优势，研究不足。在这项工作中，我们创建了NAS-Bench-Suite：我们在28个任务中评估了13个ZC代理，为ZC代理创建了迄今为止最大的数据集（和统一的代码库），使ZC代理上的实验速度提高了几个数量级，同时避免了来自不同实现的混淆因素。为了证明NAS-Bench-Suite的有用性，我们对ZC代理进行了大规模分析，包括偏差分析和第一次信息理论分析，得出结论认为ZC代理捕获了大量的补充信息。出于这些研究结果，我们提出了一个程序，以提高ZC代理的性能，减少偏见，如细胞大小，我们还表明，将所有13个ZC代理到NAS算法使用的代理模型可以提高其预测性能高达42%。我们的代码和数据集可以在https://github.com/automl/naslib/tree/zerocost上找到。
2022-10-06 cs.AI cs.LG stat.ML
Extensible Proxy for Efficient NAS
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University at Buffalo（布法罗大学）；Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
神经架构搜索（NAS）已经成为AutoML设计深度神经网络（DNN）的最新趋势中的一种事实上的方法。高效或接近零成本的NAS代理进一步提出，以解决NAS的苛刻的计算问题，其中每个候选架构网络只需要一次迭代的反向传播。从代理获得的值被认为是对下游任务的架构性能的预测。然而，两个显著的缺点阻碍了高效NAS代理的扩展使用。(1)有效的代理不能适应各种搜索空间。(2)高效的代理不能扩展到多模态下游任务。基于观察结果，我们设计了一个可扩展代理（Eproxy），它利用自监督、Few-Shot训练（即，反向传播的10次迭代），其产生接近零的成本。使Eproxy高效的关键组件是一个不可训练的卷积层，称为屏障层，它将非线性添加到优化空间，以便Eproxy可以在早期阶段区分架构的性能。此外，为了使Eproxy适应不同的下游任务/搜索空间，我们提出了一个离散代理搜索（DPS），以找到优化的训练设置Eproxy只有少数基准架构的目标任务。我们广泛的实验证实了Eproxy和Eproxy+DPS的有效性。代码可在https://github.com/leeyeehoo/GenNAS-Zero上获得。
2022-10-17 cs.AI cs.CV cs.LG
Revisiting Neural Architecture Search
Cisco Systems（思科系统公司）
神经架构搜索（NAS）是一组用于构建神经网络的方法。目前的NAS方法远非从头开始和自动化，因为它们使用手动骨干架构或微构建块（单元），与随机基线相比，这些方法在性能上有微小的突破。它们还涉及NAS管道的各个组件中的大量手动专家工作。这就提出了一个自然的问题--当前的NAS方法是否仍然严重依赖于搜索空间设计和布线中的手动工作，就像在NAS出现之前构建模型时所做的那样？在本文中，我们不再仅仅追求对最先进的（SOTA）性能的轻微改进，而是重新审视了NAS的基本方法，并提出了一种名为ReNAS的新方法，该方法可以搜索完整的神经网络，而无需太多的人力，并且向AutoML-神经网络迈进了一步。我们的方法从一个完整的图映射到一个神经网络和搜索的连接和操作，通过平衡的探索和利用的搜索空间。结果与使用手工块的方法的SOTA性能相当。我们相信，这种方法可能会为各种网络类型带来更新的NAS策略。
2020-10-18 cs.LG
Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap
Huawei Inc.（华为公司）；Shanghai Jiao Tong University（上海交通大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
神经结构搜索（NAS）在学术界和工业界都引起了越来越多的关注。在早期，研究人员大多采用单独的搜索方法，分别对候选架构进行采样和评估，从而产生大量的计算开销。为了减轻负担，权重共享方法被提出，其中指数级的许多架构在同一个超级网络中共享权重，并且昂贵的训练过程仅执行一次。这些方法虽然快得多，但往往存在不稳定的问题。本文综述了NAS的相关文献，特别是权重分配方法，指出其主要挑战来自于超级网络和子结构之间的优化差距。从这个角度出发，我们总结了现有的方法分为几类，根据他们的努力弥合差距，并分析这些方法的优点和缺点。最后，我们分享了我们对NAS和AutoML未来发展方向的看法。由于作者的专业知识，本文主要集中在NAS应用于计算机视觉问题，并可能偏向于我们小组的工作。
2020-08-05 cs.CV cs.LG
Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars
University of Freiburg（弗赖堡大学）；University of Oxford（牛津大学）
本文提出基于上下文无关文法的统一分层NAS搜索空间构建框架，并设计适配贝叶斯优化的分层核，以支持在超大空间中搜索完整架构并取得优于现有方法的效果。
2023-12-08 cs.AI cs.CV cs.LG
Auto-Keras: An Efficient Neural Architecture Search System
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）
已经提出了神经架构搜索（NAS）来自动调谐深度神经网络，但是现有的搜索算法，例如，NASNet、PNAS通常遭受昂贵的计算成本。网络态射在改变神经网络的神经架构的同时保持其功能，通过在搜索期间实现更有效的训练，可能有助于NAS。在本文中，我们提出了一个新的框架，使贝叶斯优化指导网络态射有效的神经结构搜索。该框架开发了一个神经网络内核和一个树结构的采集函数优化算法，以有效地探索搜索空间。在真实世界的基准数据集上进行了大量的实验，以证明所开发的框架比最先进的方法具有更好的性能。此外，我们基于我们的方法构建了一个开源的AutoML系统，即Auto-Keras。该系统在CPU和GPU上并行运行，具有针对不同GPU内存限制的自适应搜索策略。
2019-03-26 cs.AI cs.LG stat.ML
SEAL: Searching Expandable Architectures for Incremental Learning
Dipartimento di Elettronica, Informazione e Bioingegneria, Politecnico di Milano（电子信息与生物工程系，米兰理工学院）
提出SEAL框架，基于NAS动态扩展模型结构，仅在必要时扩展以平衡可塑性与稳定性，通过交叉蒸馏保持旧知识，联合搜索架构与扩展策略，有效减少遗忘并提升准确率。
2026-06-24 cs.AI cs.CV cs.LG
confopt: A Library for Implementation and Evaluation of Gradient-based One-Shot NAS Methods
Department of Computer Science, University of Freiburg（计算机科学系，弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Prior Labs（Prior实验室）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
本文提出confopt库，通过模块化API和新型评估协议，解决基于梯度的单次NAS方法评估过度依赖DARTS基准及实现分散的问题，并揭示现有评估方式的关键缺陷。
2025-07-22 cs.AI cs.LG
AutoCoMet: Smart Neural Architecture Search via Co-Regulated Shaping Reinforcement
Microsoft Research（微软研究院）；Sony Research（索尼研究院）；JP Morgan & Chase（摩根大通）；Microsoft（微软）；Samsung R&D Institute（三星研发研究院）
为AI驱动的设备上应用和功能设计合适的深度模型架构，以适应快速发展的移动硬件和日益复杂的目标场景是一项艰巨的任务。虽然神经架构搜索（NAS/AutoML）通过将范式从大量的手动工作转变为从数据中自动学习架构，使这一点变得更容易，但它有很大的局限性，导致移动设备环境中的关键瓶颈，包括模型硬件保真度，禁止搜索时间和偏离主要目标。因此，我们提出了AutoCoMet，它可以学习最合适的DNN架构，针对不同类型的设备硬件和任务上下文进行优化，速度快约3倍。我们的新型协同调节成形强化控制器与高保真硬件元行为预测器一起产生了一个智能，快速的NAS框架，该框架通过广义形式主义适应上下文，用于任何类型的多标准优化。
2022-03-29 cs.AI cs.CV cs.LG
Weight-Entanglement Meets Gradient-Based Neural Architecture Search
University of Freiburg（弗赖堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
本文提出一种将基于梯度的NAS方法适配到权重纠缠搜索空间的新方案，弥合了两个独立发展的子社区，并在保持内存效率的同时验证了梯度方法的性能优势。
2025-11-10 cs.AI cs.LG
How Powerful are Performance Predictors in Neural Architecture Search?
University of Freiburg（弗莱堡大学）；University of Oxford（牛津大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
在快速发展的神经结构搜索（NAS）领域中的早期方法需要完全训练数千个神经网络。为了降低这种极端的计算成本，已经提出了数十种技术来预测神经架构的最终性能。尽管这种性能预测方法取得了成功，但由于缺乏一致同意的评估度量和对初始化时间和查询时间的不同约束的优化，不同系列的技术如何相互比较还没有得到很好的理解。在这项工作中，我们通过分析31种技术，从学习曲线外推，权重共享，监督学习，“零成本”代理，第一次大规模的性能预测研究。我们在各种设置中测试了一些基于相关性和排名的性能指标，以及每种技术加快基于预测器的NAS框架的能力。我们的研究结果可作为在不同环境中使用的最佳预测因子的建议，并且我们表明，某些预测因子家族可以结合起来以实现更好的预测能力，开辟了有前途的研究方向。我们的代码，具有31个性能预测器的库，可以在https://github.com/automl/naslib上找到。
2021-10-27 cs.LG cs.NE stat.ML
Robustifying and Boosting Training-Free Neural Architecture Search
National University of Singapore（新加坡国立大学）；Guangdong Lab of AI and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））；Massachusetts Institute of Technology（麻省理工学院）
针对单一免训练指标鲁棒性不足、与真实性能有差距的问题，提出RoBoT算法，通过贝叶斯优化组合免训练指标并结合贪心搜索提升NAS性能，兼具理论保障与实验验证。
2024-03-12 cs.LG
A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions
Northwest University（西北大学）；Monash University（莫纳什大学）；Carnegie Mellon University（卡内基梅隆大学）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））
深度学习由于其强大的自动表示能力，在许多领域都取得了突破和实质性的进展。事实证明，神经网络结构设计对数据的特征表示和最终性能至关重要。然而，神经结构的设计严重依赖于研究人员的先验知识和经验。由于人类固有知识的局限性，人们很难跳出原有的思维范式，设计出一个最优的模型。因此，一个直观的想法将是尽可能减少人为干预，让算法自动设计神经架构。神经网络结构搜索（NAS）正是这样一种革命性的算法，相关的研究工作复杂而丰富。因此，对非科学服务体系进行全面、系统的研究是十分必要的。以前的相关调查已经开始主要根据NAS的关键组成部分（搜索空间、搜索策略和评估策略）对现有工作进行分类。虽然这种分类方法更直观，但读者很难掌握所涉及的挑战和标志性工作。因此，在本次调查中，我们提供了一个新的视角：首先概述最早的NAS算法的特点，总结这些早期NAS算法中存在的问题，然后为后续的相关研究工作提供解决方案。并对这些作品进行了详细、全面的分析、比较和总结。最后，我们提出了一些可能的未来研究方向。
2021-03-02 cs.LG stat.ML
A Survey on Computationally Efficient Neural Architecture Search
Bielefeld University（比勒费尔德大学）；University of Surrey（萨里大学）；Donghua University（东华大学）
神经架构搜索（NAS）最近在深度学习社区中越来越受欢迎，主要是因为它可以提供一个机会，让没有丰富专业知识的感兴趣的用户从深度神经网络（DNN）的成功中受益。然而，NAS仍然是费力和耗时的，因为在NAS的搜索过程中需要大量的性能估计，并且训练DNN是计算密集型的。为了解决NAS的这一主要局限性，提高计算效率是NAS设计的关键。然而，系统的概述计算效率的NAS（CE-NAS）方法仍然缺乏。为了填补这一空白，我们提供了一个全面的调查国家的最先进的CE-NAS分类现有的工作到代理为基础的和代理辅助的NAS方法，连同彻底讨论他们的设计原则和定量比较他们的性能和计算复杂性。剩余的挑战和开放的研究问题进行了讨论，并提出了在这一新兴领域有前途的研究课题。
2022-10-22 cs.LG cs.NE
A Survey on Multi-Objective Neural Architecture Search
IRAN University of Science and Technology（伊朗科技大学）
该综述梳理了多目标神经架构搜索（MONAS）领域的前沿与核心研究，纠正了以往NAS综述的分类错误，整理并分析了优化目标的特性，还提出了未来研究方向。
2023-07-18 cs.AI cs.CV
DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning
Xiamen University（厦门大学）；Peng Cheng Laboratory（鹏城实验室）；Samsara（Samsara公司）；Beihang University（北京航空航天大学）；Tencent Co., Ltd.（腾讯科技有限公司）；Terminus Group（特斯联集团）
神经架构搜索（NAS）在各种计算机视觉任务上表现出了最先进的性能。尽管已有的方法性能优越，但由于其高计算复杂性和低通用性，其效率和通用性受到高度重视。在本文中，我们提出了一个有效的和统一的NAS框架称为DDPNAS通过动态分布修剪，促进理论界的准确性和效率。特别是，我们首先从一个联合分类分布的样本架构。然后动态地修剪搜索空间，并且每隔几个时期更新其分布。利用所提出的高效网络生成方法，我们直接获得了给定约束条件下的最优神经结构，这对于跨不同搜索空间和约束的设备上模型是实用的。通过我们的方法搜索的架构在CIFAR-10和ImageNet（移动设置）上分别达到了97.56和77.2的顶级精度，并且搜索过程最快，即，Tesla V100上只有1.8 GPU小时。用于搜索和网络生成的代码可在以下网址获得：https://openi.pcl.ac.cn/PCL AutoML/XNAS。
2023-03-10 cs.CV cs.LG
A Comprehensive Survey on Hardware-Aware Neural Architecture Search
Université Polytechnique Hauts-de-France（上法兰西理工大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；IBM Research AI（IBM研究院人工智能部门）
神经结构搜索（NAS）方法已经越来越受欢迎。这些技术对于自动化和加速合成新颖的深度学习（DL）架构的耗时且易出错的过程至关重要。NAS在过去几年中得到了广泛的研究。可以说，它们最重要的影响是在图像分类和目标检测任务中，在这些任务中已经获得了最先进的结果。尽管到目前为止取得了巨大的成功，但将NAS应用于现实世界的问题仍然面临着重大挑战，并且并不广泛实用。一般来说，合成卷积神经网络（CNN）架构过于复杂，无法部署在资源有限的平台中，例如物联网、移动和嵌入式系统。一种日益流行的解决方案是通过考虑执行延迟、能耗、内存占用等，在NAS搜索策略中使用多目标优化算法。这种称为硬件感知NAS（HW-NAS）的NAS使得搜索最有效的架构变得更加复杂，并带来了几个问题。在这项调查中，我们提供了一个详细的审查现有的HW-NAS的研究和分类，根据四个关键方面：搜索空间，搜索策略，加速技术，和硬件成本估算策略。我们进一步讨论了现有方法的挑战和局限性以及潜在的未来方向。这是第一份关注硬件感知NAS的调查报告。我们希望它作为一个有价值的参考讨论的各种技术和算法，并铺平了道路，为未来的研究对硬件感知的NAS。
2021-01-22 cs.CC cs.LG
Multi-Agent Automated Machine Learning
Peking University（北京大学）；Huawei（华为）；Peng Cheng Lab（鹏城实验室）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们提出了多智能体自动机器学习（MA 2 ML）的目的是有效地处理自动机器学习（AutoML）的模块的联合优化。MA 2 ML将每个机器学习模块（如数据增强（AUG）、神经架构搜索（NAS）或超参数（HPO））作为代理，并将最终性能作为奖励，以制定多智能体强化学习问题。MA 2 ML根据每个Agent的边际贡献显式地为每个Agent分配信用，以增强模块之间的协作，并结合离策略学习来提高搜索效率。理论上，MA 2 ML保证了联合优化的单调改进。大量的实验表明，在计算成本的约束下，MA 2 ML在ImageNet上产生了最先进的top-1精度，例如，FLOP小于600 M/800 M的$79.7\%/80.5\%$。广泛的消融研究验证了MA 2 ML的信用分配和离策略学习的益处。
2022-10-17 cs.CV cs.LG
An Approach for Efficient Neural Architecture Search Space Definition
Ecole Supérieure des Techniques Aéronautiques et de Construction Automobile（高等航空与汽车技术学院）；Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）
本文提出一种基于单元的分层神经架构搜索空间定义方法，旨在缩短搜索时间并兼容大多数主流CNN架构，从而提升AutoML中NAS的效率和通用性。
2023-10-25 cs.LG cs.NE
Neural Architecture Search for Deep Face Recognition
随着电子设备的广泛普及，生物识别技术的出现给用户身份认证带来了极大的便利，相比传统的密码和模式解锁，生物识别技术的出现给用户身份认证带来了极大的便利。在众多的生物特征中，人脸是一个通用的、不可替代的特征，不需要太多的配合，同时可以显著提升用户的体验。人脸识别是电子设备宣传的主要功能之一。因此，在计算机视觉中进行研究是非常值得的。该领域的前期工作主要集中在两个方向：在传统的深度卷积神经网络（Resnet）中转换损失函数以提高识别精度;将最新的损失函数与轻量级系统（MobileNet）相结合，以最小的精度代价减小网络规模。但这些都没有改变网络结构。随着AutoML的发展，神经结构搜索（NAS）在图像分类的基准测试中表现出了优异的性能。在本文中，我们将NAS技术集成到人脸识别，定制一个更适合的网络。我们引用神经结构搜索的框架，交替训练子网络和控制器网络。同时，将评估延迟引入强化学习的奖励机制，对NAS进行变异，并利用策略梯度算法自动搜索交叉熵损失最大的体系结构。我们搜索到的网络架构在大规模人脸数据集中获得了最先进的准确率，在MS-Celeb-1 M中达到了98.77%的top-1，在LFW中达到了99.89%，网络规模相对较小。据我们所知，该提案是首次尝试使用NAS来解决深度人脸识别问题，并在该领域取得最佳效果。
2019-04-26 cs.CV
POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification
Politecnico di Milano（米兰理工大学）
近年来，自动化机器学习（AutoML）领域变得越来越重要。这些算法可以在不需要专家知识的情况下开发模型，促进了机器学习技术在行业中的应用。神经架构搜索（NAS）利用深度学习技术自主生成神经网络架构，其结果可与人工智能专家手工制作的最先进模型相媲美。然而，这种方法需要大量的计算资源和硬件投资，使得它对实际使用的应用程序不那么有吸引力。本文介绍了Pareto最优渐进神经结构搜索（POPNASv3）的第三个版本，这是一种新的基于顺序模型的优化NAS算法，针对不同的硬件环境和多个分类任务。我们的方法能够在大的搜索空间内找到有竞争力的架构，同时保持灵活的结构和数据处理管道，以适应不同的任务。该算法采用帕累托最优性，以减少在搜索过程中采样的架构的数量，大大提高了时间效率，而不损失的准确性。在图像和时间序列分类数据集上进行的实验证明，POPNASv3可以探索大量的各种运算符，并收敛到适合不同场景下提供的数据类型的最佳架构。
2022-12-13 cs.AI cs.CV cs.LG
Benchmark and Survey of Automated Machine Learning Frameworks
USU Software AG（USU软件股份公司）；Institute of Industrial Manufacturing and Management IFF（工业制造与管理研究所（IFF））；University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））
机器学习（ML）已经成为我们日常生活中许多方面的重要组成部分。然而，构建性能良好的机器学习应用程序需要高度专业化的数据科学家和领域专家。自动化机器学习（AutoML）旨在通过使领域专家能够自动构建机器学习应用程序来减少对数据科学家的需求，而无需广泛的统计学和机器学习知识。本文结合了当前AutoML方法的调查和真实数据集上流行的AutoML框架的基准测试。在所选评估框架的驱动下，我们总结并回顾了与构建ML管道的每一步相关的重要AutoML技术和方法。所选AutoML框架在来自已建立的AutoML基准套件的137个数据集上进行了评估。
2021-01-26 cs.AI cs.LG stat.ML
A multi-objective perspective on jointly tuning hardware and hyperparameters
Amazon（亚马逊）
除了最佳模型架构和超参数之外，完整的AutoML解决方案还需要自动选择适当的硬件。这可以被视为一个多目标优化问题：没有一个单一的最佳硬件配置，而是一组最佳硬件配置，以实现成本和运行时间之间的不同权衡。在实践中，有些选择可能过于昂贵或需要几天的训练。为了减轻这一负担，我们采用了一种多目标方法，该方法自动选择和调整硬件配置以及神经架构及其超参数。我们的方法建立在Hyperband的基础上，并以两种方式对其进行扩展。首先，我们用一个非支配的排序规则来取代Hyperband中使用的停止规则，以抢先停止没有希望的配置。其次，我们通过迁移学习利用相关任务的超参数评估，通过构建Pareto前沿的概率估计，比随机搜索更有效地找到有希望的配置。我们在广泛的NAS和HPO实验中表明，这两种成分都带来了显着的速度提升和成本节约，对准确性几乎没有影响。在除了超参数之外还选择硬件的三个基准测试中，我们分别获得了至少5.8倍和8.8倍的运行时间和成本降低。此外，当我们的多目标方法只调整超参数时，我们在运行时间上获得了10%的改进，同时在两个流行的NAS基准测试中保持了相同的精度。
2021-06-10 cs.LG
Data-Algorithm-Architecture Co-Optimization for Fair Neural Networks on Skin Lesion Dataset
George Mason University（乔治梅森大学）；University of Pittsburgh Medical Center（匹兹堡大学医学中心）；Guangdong Provincial People’s Hospital（广东省人民医院）；University of Notre Dame（圣母大学）；University of Pittsburgh（匹兹堡大学）
本文提出BiaslessNAS框架，通过数据-算法-架构协同优化，在皮肤病变数据集上实现公平神经网络，相比传统NAS，准确率提升2.55%，公平性提升65.50%。
2024-07-18 cs.AI cs.LG
The Technological Emergence of AutoML: A Survey of Performant Software and Applications in the Context of Industry
University of Technology Sydney（悉尼科技大学）
在大多数技术领域，基础学术研究和实际工业吸收之间存在着延迟。虽然一些科学有强大和完善的商业化过程，如药物试验的制药实践，但其他领域面临着过渡时期，基本的学术进步逐渐扩散到商业和工业领域。对于相对年轻的自动/自主机器学习（AutoML/AutonoML）领域来说，这个过渡时期正在进行中，受到更广泛社会的新兴兴趣的刺激。然而，迄今为止，几乎没有进行研究来评估这种传播和吸收的现状。因此，这篇评论对围绕这一主题的知识做出了两个主要贡献。首先，它提供了现有AutoML工具的最新和最全面的调查，包括开源和商业。其次，它激励和概述了一个框架，用于评估为现实世界的应用程序设计的AutoML解决方案是否是“高性能的”;这个框架超出了典型的学术标准的限制，考虑到各种利益相关者的需求和服务他们所需的人机交互。因此，在对学术和商业案例研究进行广泛评估和比较的基础上，本综述评估了21世纪20年代初AutoML的主流参与情况，确定了加速未来采用的障碍和机会。
2022-11-08 cs.AI cs.LG
Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Qualcomm AI Research（高通人工智能研究部）；Qualcomm Technologies, Inc.（高通技术公司）；Amazon（亚马逊）
本文全面综述对比了最先进的零样本（免训练）神经架构搜索方法，梳理主流代理指标及理论基础，通过实验验证其在硬件感知与无关场景的有效性，并提出未来优化方向。
2024-06-18 cs.CV cs.LG
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
KAIST AI（韩国科学技术院人工智能学院）
本调查的重点是分类和评估神经架构搜索（NAS）领域的超网优化方法。超网优化涉及训练单个过参数化网络，该网络包含所有可能的网络架构的搜索空间。该调查分析了超网优化方法的基础上，他们的空间和时间优化的方法。空间优化涉及优化超网及其子系统的架构和参数，而时间优化涉及提高从超网选择架构的效率。这些方法在各种任务和设置，包括可转移性，领域泛化，和Transformer模型的优点，局限性和潜在的应用进行了讨论。
2023-02-07 cs.CV cs.LG
Efficient Model Adaptation for Continual Learning at the Edge
SRI International（SRI国际公司）
提出EAR框架，利用固定编码器与浅层适配器，结合超维计算和零样本NAS，实现边缘设备上高效持续学习，应对域偏移并减少灾难性遗忘。
2023-10-13 cs.AI cs.CV cs.LG
LLM as a Neural Architect: Controlled Generation of Image Captioning Models Under Strict API Contracts
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany（计算机视觉实验室、CAIDAS与IFI、乌尔姆大学）
本文提出了一种基于LLM的神经架构搜索方法，通过生成可运行的图像描述模型，展示了LLM在架构设计和超参数优化中的潜力。
2025-12-07 cs.AI cs.CL cs.CV
Neural Architecture Search for Traffic Prediction: A Survey of Methods, Challenges, and Future Directions
该综述梳理用于交通预测的NAS方法，分析其搜索策略、挑战与未来方向，为解决交通预测模型人工设计泛化差等问题提供系统性方案。
2026-07-30 cs.LG cs.NE
Combining Neural Architecture Search and Automatic Code Optimization: A Survey
IBM Research Europe（IBM欧洲研究院）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Université Polytechnique Hauts-de-France（上法兰西理工大学）
本文综述了将硬件感知神经架构搜索（HW-NAS）与自动代码优化（ACO）相结合的研究，提出二者独立执行存在次优性，并系统梳理了硬件感知神经架构与编译器优化协同搜索（NACOS）这一联合优化框架的原理与相关工作。
2024-08-07 cs.LG cs.PL
Neural Architecture Search: Insights from 1000 Papers
University of Freiburg（弗赖堡大学）；Sailyond Technology & Research Institute of Tsinghua University（清华大学赛力扬技术研究院）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Microsoft Research（微软研究院）
在过去的十年中，深度学习的进步在各个领域取得了突破，包括计算机视觉、自然语言理解、语音识别和强化学习。专门的高性能神经架构对于深度学习在这些领域的成功至关重要。神经架构搜索（NAS）是为给定任务自动化神经架构设计的过程，是自动化机器学习的下一个必然步骤，并且已经在许多任务上超过了最好的人类设计架构。在过去的几年里，NAS的研究进展迅速，自2020年以来发表了1000多篇论文（Deng和Lindauer，2021）。在这项调查中，我们提供了一个有组织的和全面的神经结构搜索指南。我们给出了搜索空间、算法和加速技术的分类，并讨论了基准测试、最佳实践、其他调查和开源库等资源。
2023-01-25 cs.AI cs.LG stat.ML
SCTD 3.0: Sonar Common Target Detection in the Wild - A Large-Scale, Multi-Scene Dataset from Real Marine Surveys
该研究推出SCTD 3.0数据集，解决了现有SAS数据集规模小、场景单一的问题，构建多任务基准评估深度学习模型，为水下目标感知提供关键数据支撑。
2026-08-11 cs.CV
Meta-Learning of NAS for Few-shot Learning in Medical Image Applications
University of Arkansas（阿肯色大学）；VNUHCM-University of Science（越南胡志明市国家大学科学大学）
深度学习方法已经成功地解决了机器学习中的任务，并在许多领域取得了突破，因为它们能够从非结构化数据中自动提取特征。然而，它们的性能依赖于手动试错过程来选择适当的网络架构、用于训练的超参数以及前/后程序。尽管已经表明，网络结构在从数据中学习特征表示特征和最终性能方面起着关键作用，但搜索最佳网络结构是计算密集型的，并且严重依赖于研究人员的经验。自动化机器学习（AutoML）及其高级技术，即神经架构搜索（NAS）已经被推广以解决这些限制。NAS不仅适用于一般的计算机视觉任务，而且还推动了包括医学成像在内的多个领域的各种应用。在医学成像中，NAS在提高图像分类、分割、重建等的准确性方面取得了重大进展。然而，NAS需要大量带注释的数据、大量计算资源和预定义任务的可用性。为了解决这些限制，元学习已经被采用在少样本学习和多任务的场景中。在本书的这一章中，我们首先通过讨论搜索空间、搜索策略和评估策略中的著名方法来简要回顾NAS。然后，我们介绍了各种NAS方法在医学成像与不同的应用，如分类，分割，检测，重建等元学习在NAS的少样本学习和多个任务，然后解释。最后，我们描述了几个开放的问题，在NAS。
2022-03-16 cs.CV cs.LG eess.IV
Search to aggregate neighborhood for graph neural network
Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）
近年来，图神经网络（GNN）在各种场景中得到了普及和成功。为了获得数据特定的GNN架构，研究人员转向神经架构搜索（NAS），它在发现卷积神经网络中的有效架构方面取得了令人印象深刻的成功。然而，由于搜索空间设计中的挑战和现有NAS方法的昂贵搜索成本，将NAS方法应用于GNN是不平凡的。在这项工作中，为了获得特定于数据的GNN架构并解决NAS方法所面临的计算挑战，我们提出了一个框架，该框架试图搜索聚合邻域（SANE），以自动设计特定于数据的GNN架构。通过设计一个新颖的和有表现力的搜索空间，我们提出了一个可微的搜索算法，这是更有效的比以前的强化学习的方法。在四个任务和七个真实数据集上的实验结果表明，SANE与现有的GNN模型和NAS方法相比，在有效性和效率方面具有优越性。(Code可在以下网址获得：https：//github.com/AutoML-4Paradigm/SANE）。
2021-04-20 cs.LG
Warm-starting DARTS using meta-learning
神经结构搜索（NAS）在自动机器学习（AutoML）领域显示出巨大的前景。NAS的表现超过了手工设计的网络，在深度神经网络设计自动化领域迈出了重要一步，从而进一步减少了对人类专业知识的需求。然而，大多数研究都是针对一个特定的任务，离开多个任务的NAS方法的研究大多被忽视。一般来说，有两种流行的方法来为一些新的任务找到一个架构。要么从头开始搜索，这在设计上是无效的，要么从其他任务中转移发现的架构，这不能提供性能保证，而且可能不是最佳的。在这项工作中，我们提出了一个元学习框架，热启动可区分的架构搜索（DARTS）。DARTS是一种NAS方法，可以使用转移的架构进行初始化，并且能够快速适应新任务。任务相似性度量用于确定选择哪个传输架构，因为在类似任务上发现的传输架构可能会执行得更好。此外，我们采用了一个简单的元传输架构，该架构是在多个任务中学习的。实验表明，热启动的DARTS能够找到有竞争力的性能架构，同时减少搜索成本平均60%。
2022-05-12 cs.LG
Task-Adaptive Neural Network Search with Meta-Contrastive Learning
KAIST（韩国科学技术院）；AITRICS；Samsung（三星）
大多数传统的神经结构搜索（NAS）方法的局限性在于，它们只生成结构，而不搜索最佳参数。虽然一些NAS方法通过利用在大规模数据集（如ImageNet）上训练的超网来处理这个问题，但如果目标任务与超网训练的数据集高度不相似，则它们可能是次优的。为了解决这些限制，我们引入了一个新的问题\emph{Neural Network Search}（NNS），其目标是为新的数据集和约束搜索最优的预训练网络（例如参数的数量），来自模型动物园。然后，我们提出了一个新的框架来解决这个问题，即\emph{Task-Adaptive Neural Network Search}（TANS）。给定一个由在不同数据集上预训练的网络组成的模型动物园，我们使用一种新的摊销元学习框架来学习具有对比损失的跨模态潜在空间，以最大化数据集与其上的高性能网络之间的相似性，并最小化不相关的网络-网络对之间的相似性。我们验证了我们的方法的有效性和效率在十个现实世界的数据集，对现有的NAS/AutoML基线。结果表明，我们的方法可以立即检索出性能优于基线模型的网络，并且训练步骤明显减少，从而达到目标性能，从而最大限度地降低了获得任务最优网络的总成本。我们的代码和模型动物园可以在https://github.com/wyjeong/TANS上找到。
2021-10-28 cs.LG
LEMUR 2: Unlocking Neural Network Diversity for AI
University of Würzburg（维尔茨堡大学）
LEMUR 2旨在释放神经网络多样性，通过统一生成、评估和部署管道，利用多种方式生成超14000个不同架构及大量训练记录，采用特定管道进行自动部署和延迟基准测试，涵盖多模态任务，为LLM微调提供数据基础，推动相关新兴范式发展。
2026-07-09 cs.CV cs.LG
Large Language Models for Constructing and Optimizing Machine Learning Workflows: A Survey
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
本文综述了大语言模型在构建和优化机器学习工作流中的最新进展，涵盖数据与特征工程、模型选择与超参数优化及工作流评估，并讨论了其优势、局限与未来研究方向。
2024-12-25 cs.AI cs.LG
