A Mechanistic Account of Attention Sinks in GPT-2: One Circuit, Broader Implications for Mitigation
Tel Aviv University(特拉维夫大学)
研究GPT-2模型中注意力沉底现象的机理,发现其源于查询偏差、第一层MLP变换和键投影结构的相互作用,各组件均可独立去除仍存在沉底现象,为缓解策略提供新思路。
2026-04-16 cs.LG
Task-Aware Neural Architecture Search
Duke University(杜克大学)
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索(NAS)中的最新技术已被证明是有竞争力的或优于传统的手工设计,尽管它们需要领域知识,并且通常使用有限的搜索空间。在本文中,我们提出了一种新的框架神经架构搜索,利用字典的基本任务和目标任务和原子之间的相似性的模型字典,因此,产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法,我们可以在搜索空间中评估和发现最佳架构,而无需完全训练网络。实验结果表明,我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore(新加坡国立大学)
近年来,人们对神经结构搜索(NAS)的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性,即,以分别降低搜索成本和提高所选结构的泛化性能。然而,这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制,我们提出了一种新的NAS算法称为NAS在初始化(NASI),利用神经切线核的能力,能够在初始化时表征候选架构的收敛性能,从而允许模型训练,以完全避免提高搜索效率。除了提高搜索效率外,NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外,NASI被证明是标签和数据不可知的温和条件下,这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
Wavelet GPT: Wavelet Inspired Large Language Models
Stanford University(斯坦福大学)
本文提出Wavelet GPT,在预训练中引入小波思想对中间嵌入施加多尺度结构,无需额外参数即可在文本、音频和图像上以近两倍速度达到相同性能,并适用于多种输入表示和Long Range Arena基准。
2025-02-09 cs.AI cs.CL cs.LG
SpikeDecoder: Realizing the GPT Architecture with Spiking Neural Networks
Chair of Robotics, Artificial Intelligence and Real-time Systems(机器人、人工智能与实时系统教授席)
提出SpikeDecoder,一种基于脉冲神经网络(SNN)的Transformer解码器,用于自然语言处理,通过替换ANN模块和优化嵌入方法,在保持性能的同时降低理论能耗87%-93%。
2026-06-11 cs.AI cs.NE
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
神经架构搜索实现了架构设计的自动化。尽管它取得了成功,但它在计算上是昂贵的,并且没有提供关于如何设计理想架构的见解。在这里,我们提出了一种新的搜索神经网络的方法,我们搜索神经网络结构,通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习,而是使用预测的架构性能来搜索架构,所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外,我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构,并提供了神经结构设计的见解。
2021-12-15 cs.LG
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University(高丽大学);Hallym University(翰林大学);Kyung Hee University(庆熙大学)
随着深度神经网络在各种任务中实现前所未有的性能,用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索(NAS)正在积极进行中。最近,可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外,定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中,我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外,我们可视化的架构参数更新的轨迹,并提供见解,以改善架构搜索。
2022-06-05 cs.LG
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan(大阪大学)
针对现有图神经架构搜索方法缺乏可解释性的问题,提出ExGNAS方法,通过结合简单搜索空间与蒙特卡洛树搜索算法,在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
Edge-featured Graph Neural Architecture Search
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学);Peng Cheng Laboratory(鹏城实验室)
图神经网络(GNNs)已经成功地应用于许多关系任务中的图上的学习表示。近年来,研究者们开始研究神经网络结构搜索(NAS),以减少对人类经验的依赖,探索更好的GNN结构,但这些研究过于强调实体特征,而忽略了隐藏在边缘中的潜在关系信息。为了解决这个问题,我们将边缘特征纳入图搜索空间,并提出边缘特征图神经网络结构搜索,以找到最佳的GNN结构。具体来说,我们设计了丰富的实体和边缘更新操作来学习高阶表示,从而传达更通用的消息传递机制。此外,在我们的搜索空间中的架构拓扑允许探索实体和边缘的复杂特征依赖,这可以有效地优化可微搜索策略。在六个数据集上的三个图形任务的实验表明,EGNAS可以搜索更好的GNN,其性能高于当前最先进的人类设计和基于搜索的GNN。
2021-09-03 cs.AI cs.CV cs.LG
Extending Puzzle for Mixture-of-Experts Reasoning Models with Application to GPT-OSS Acceleration
本文通过扩展Puzzle框架优化GPT-OSS模型,结合MoE剪枝、注意力替换、量化和强化学习提升推理效率,实现部署优化并提高请求级效率。
2026-03-26 cs.LG
Single-level Optimization For Differential Architecture Search
本文指出,在双层优化框架下,差分结构搜索(DARTS)使结构参数的梯度偏向于网络权值,结构参数在不同数据集中交替更新。偏差导致不可学习操作的架构参数超过可学习操作的架构参数。此外,使用softmax作为架构参数的激活函数和不适当的学习率会加剧偏差。因此,经常可以观察到,不可学习的操作在搜索阶段占主导地位。为了减少偏差,我们建议使用单级优化来代替双层优化,并使用非竞争性激活函数(如sigmoid)来代替softmax。因此,我们可以稳定地寻找高性能的体系结构。在NAS Benchmark 201上的实验验证了我们的假设,并稳定地找到了接近最优的架构。在DARTS空间上,我们在ImageNet-1 K上以77.0%的top1准确率搜索最先进的架构(训练设置遵循PDARTS,没有任何额外的模块),并稳定地搜索架构,高达76.5%的top1准确率(但不是从搜索的架构中选择最好的),这与当前报告的最佳结果相当。
2020-12-15 cs.LG
GPT-MolBERTa: GPT Molecular Features Language Model for molecular property prediction
Carnegie Mellon University(卡内基梅隆大学)
针对SMILES分子表示的局限性,研究提出基于分子文本描述的自监督大语言模型GPT-MolBERTa,用ChatGPT生成的32万分子文本训练,微调结合BERT与RoBERTa,在分子性质基准上表现优异且具备可解释性。
2023-10-10 cs.LG physics.chem-ph
Making Differentiable Architecture Search less local
Spotify;University of Bristol(布里斯托大学)
神经结构搜索(NAS)是一种用于自动设计神经网络结构的新方法。可区分神经结构搜索(DARTS)是一种很有前途的NAS方法,可以显著提高搜索效率。然而,它已被证明遭受性能崩溃,搜索往往导致有害的架构。许多最近的作品试图解决这个问题的DARTS通过识别指标提前停止,定期搜索目标,以减少一些操作的主导地位,或改变参数化的搜索问题。在这项工作中,我们假设性能崩溃可能是由于典型的初始架构和权重的局部最优值不佳而引起的。我们通过开发一个更全局的优化方案来解决这个问题,该方案能够在不改变DARTS问题公式的情况下更好地探索空间。我们的实验表明,我们的搜索算法的变化,允许发现的架构,更好的测试性能和更少的参数。
2021-04-21 cs.LG
Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet
Middle East Technical University(中东技术大学);Marmara University(马尔马拉大学);Koç University(科奇大学)
近年来,注意力机制的激增和自然语言生成(NLG)中Transformers的兴起。以前,最先进的NLG架构(如RNN和LSTM)遇到了消失梯度问题;随着句子变大,位置之间的距离保持线性,顺序计算阻碍了并行化,因为句子是逐词处理的。Transformers开创了一个新时代。在本文中,我们探讨了三个主要的基于transformer的模型,即GPT,BERT和XLNet,进行重大影响的领域。NLG是一个新兴的领域,现在得到了注意力机制快速发展的支持。从诗歌生成到摘要,文本生成得益于基于transformer的语言模型取得的突破性成果。
2021-02-16 cs.CL cs.LG
Conceptual Expansion Neural Architecture Search (CENAS)
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
架构搜索为某些任务优化神经网络的结构,而不是依赖于手动编写。然而,它很慢,因为每个潜在的架构通常都是从头开始训练的。在本文中,我们提出了一种称为概念扩展神经结构搜索(CENAS)的方法,该方法将样本效率,计算创造力启发的迁移学习方法与神经结构搜索相结合。这种方法通过转移现有的权重来近似新模型的参数,比朴素的体系结构搜索更快地找到模型。它通过允许添加特征而不是仅修改现有特征来优于标准迁移学习。我们证明了我们的方法在各种迁移学习任务的效率,性能和参数计数方面优于标准神经结构搜索和迁移学习方法。
2021-10-07 cs.LG
Towards Less Constrained Macro-Neural Architecture Search
Universidade da Beira Interior(贝拉内格罗大学)
使用神经架构搜索(NAS)发现的网络在各种任务中实现了最先进的性能,性能超过了人类设计的网络。然而,大多数NAS方法严重依赖于约束搜索的人类定义的假设:架构的外骨架,层数,参数选择和搜索空间。此外,公共搜索空间由可重复的模块(单元)组成,而不是通过设计整个架构(宏搜索)来充分探索架构的搜索空间。施加这样的限制需要深厚的人类专业知识,并将搜索限制在预定义的设置中。在本文中,我们提出了LCMNAS,一种方法,推动NAS的约束较少的搜索空间,通过执行宏搜索,而不依赖于预定义的算法或有界的搜索空间。LCMNAS为NAS管道引入了三个组件:i)利用关于公知架构的信息来基于具有隐藏属性的加权有向图自主地生成复杂搜索空间的方法,ii)从头开始生成完整架构的进化搜索策略,及iii)混合-一种性能评估方法,将初始化阶段的架构信息与较低的保真度评估相结合,以推断其可训练性和能力,模拟复杂函数。我们在13个不同的数据集上进行了实验,结果表明LCMNAS能够以最小的GPU计算量和最先进的结果生成基于细胞和宏的架构。此外,我们对不同NAS组件在基于小区和宏的设置中的重要性进行了广泛的研究。再现性代码在https://github.com/VascoLopes/LCMNAS上公开。
2023-01-06 cs.AI cs.CV cs.LG
EPNAS: Efficient Progressive Neural Architecture Search
Google Brain(谷歌大脑);Google Cloud AI(谷歌云人工智能);Baidu Research(百度研究院);Horizon Robotics(地平线机器人);University of Nevada(内华达大学);Landing AI
在本文中,我们提出了有效的渐进式神经架构搜索(EPNAS),神经架构搜索(NAS),有效地处理大搜索空间,通过一种新的渐进式搜索策略与性能预测的基础上,REINFORCE~ \cite{Williams.1992.PG}。EPNAS旨在并行搜索目标网络,这在GPU/TPU集群等并行系统上更具可扩展性。更重要的是,EPNAS可以推广到具有多个资源约束的架构搜索,\eg,模型大小,计算复杂性或强度,这对于在移动和云等广泛平台中部署至关重要。我们使用CIFAR 10和ImageNet将EPNAS与其他最先进的(SoTA)网络架构(\eg,MobileNetV 2 ~ \cite{mobilenetv2})和高效的NAS算法(\eg,ENAS~ \cite{pham2018efficient}和PNAS~ \cite{Liu2017b})进行图像识别任务的比较。在这两个数据集上,EPNAS的\wrt结构的搜索速度和识别精度都优于EPNAS。
2019-07-07 cs.LG
Trends in Neural Architecture Search: Towards the Acceleration of Search
Korea University(高丽大学);Hongik University(弘益大学);Hallym University(翰林大学)
在现代深度学习研究中,寻找最优(或接近最优)的神经网络模型是主要的研究方向之一,在许多应用中得到了广泛的研究。本文将神经结构搜索的主要研究方向归纳为神经进化算法、基于强化学习的算法和一次性结构搜索方法。最后对三大研究趋势进行了比较。最后,对NAS未来的研究方向进行了展望。
2021-08-19 cs.LG
Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?
Michigan State University(密歇根州立大学)
现有的神经架构搜索(NAS)方法要么使用不能很好地扩展的离散编码来编码神经架构,要么采用基于监督学习的方法来联合学习架构表示并优化在引起搜索偏差的这种表示上的架构搜索。尽管广泛使用,在NAS中学习的体系结构表示仍然知之甚少。我们观察到,如果架构表示学习和搜索耦合,神经架构的结构属性很难保持在潜在空间中,导致搜索性能不太有效。在这项工作中,我们根据经验发现,仅使用神经架构而不使用其准确性作为标签的预训练架构表示大大提高了下游架构搜索效率。为了解释这些观察结果,我们可视化了无监督架构表示学习如何更好地鼓励具有相似连接和运算符的神经架构聚集在一起。这有助于将具有相似性能的神经架构映射到潜在空间中的相同区域,并使潜在空间中的架构过渡相对平滑,这大大有利于不同的下游搜索策略。
2020-10-24 cs.CV cs.LG
Monarch Mixer: A Simple Sub-Quadratic GEMM-Based Architecture
Stanford University(斯坦福大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
提出Monarch Mixer (M2)架构,利用Monarch矩阵在序列长度和模型维度上实现次二次方扩展,在语言建模与图像分类任务中匹配或超越Transformer质量,且参数更少、吞吐量更高。
2023-10-18 cs.LG
ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search
SYSU(中山大学)
如何快速、准确地发现和评估模型的真实强度是神经结构搜索(NAS)的关键挑战之一。为了解决这个问题,我们提出了一个架构驱动的权重预测(ADWP)的神经架构搜索(NAS)的方法。在我们的方法中,我们首先设计一个结构密集的搜索空间,然后训练一个超网络输入随机编码的结构参数。在训练好的超网络中,卷积核的权重可以很好地预测搜索空间中的神经结构。因此,目标架构可以有效地评估,而无需任何微调,从而使我们能够在通用网络的空间中搜索最佳架构(宏搜索)。通过实际的实验,我们评估了所提出的AD-WPNAS发现的模型的性能,结果表明,一个搜索过程可以在CIFAR-10上在4.0 GPU小时内完成。此外,所发现的模型仅用1.52M个参数就获得了2.41%的测试误差,这优于现有的最佳模型。
2020-03-03 cs.LG cs.NE
A Neural Architecture Search Method using Auxiliary Evaluation Metric based on ResNet Architecture
Key Laboratory of Intelligent Computing;Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University Xiangtan Hunan China;Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University
本文提出基于ResNet框架的神经架构搜索空间,将验证集损失值作为辅助优化目标,在MNIST、Fashion-MNIST和CIFAR100数据集上成功找到了具竞争力的网络架构。
2025-05-02 cs.AI cs.CV cs.LG
Towards a neural architecture of language: Deep learning versus logistics of access in neural architectures for compositional processing
University of Twente(特文特大学)
最近,一些文章认为,深度学习模型(如GPT)也可以捕捉人类思维和大脑中语言处理的关键方面。然而,我认为这些模型不适合作为人类语言的神经模型。首先,因为它们在基本的边界条件上失败了,比如它们需要的学习量。这实际上意味着GPT和大脑语言处理的机制是根本不同的。其次,因为它们不具备合成和生产性人类语言处理所需的访问逻辑。神经架构可以拥有基于小世界网络结构的访问逻辑,其中处理不包括符号操作,而是控制激活流。在这种观点下,需要两种互补的方法来研究大脑和认知之间的关系。研究学习方法可以揭示在深度学习中发现的“习得认知”如何在大脑中发展。然而,还应该开发具有访问逻辑的神经架构,以解释自然或人工人类语言处理所需的“生产性认知”。以后,这些方法也许可以结合起来,看看如何通过从更简单的基础上学习和开发来开发这样的架构。
2022-10-19 cs.AI cs.CL cs.NE
Neural Architecture Search Over a Graph Search Space
Jagiellonian University(雅盖隆大学);Google AI(谷歌人工智能)
神经架构搜索(NAS)使许多领域的最先进的架构的发现。然而,NAS的成功取决于搜索空间的定义。当前搜索空间被定义为一个静态的决策序列和一组可用的行动,为每个决策。每个可能的操作序列定义了一个架构。我们提出了一类更具表现力的搜索空间:有向图。在我们的形式主义中,每个决策都是一个顶点,每个动作都是一条边。这允许我们对迭代和分支架构设计决策进行建模。我们在模拟和图像分类实验中展示了基本的迭代和分支搜索结构,并表明图形表示提高了样本效率。
2019-07-31 cs.LG stat.ML
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
Tongji University(同济大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近,微分搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而,这些方法在评估搜索的架构或将其转移到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。在本文中,我们提出了一个有效的算法,它允许搜索架构的深度逐渐增长的训练过程中。这带来了两个问题,即较重的计算开销和较弱的搜索稳定性,我们解决了搜索空间近似和正则化,分别。通过显著减少搜索时间(在单个GPU上约7小时),我们的方法在代理数据集(CIFAR10或CIFAR100)和目标数据集(ImageNet)上都实现了最先进的性能。代码可在https://github.com/chenxin061/pdarts上获得。
2019-04-29 cs.CV cs.LG
Fine-Grained Stochastic Architecture Search
Google Research(谷歌研究院)
最先进的深度网络通常太大,无法部署在移动设备和嵌入式系统上。移动神经架构搜索(NAS)方法可以自动设计小型模型,但最先进的NAS方法运行成本很高。微分神经结构搜索(DNAS)方法降低了搜索成本,但探索候选结构的有限子空间。在本文中,我们介绍了细粒度随机架构搜索(FiGS),一个可微的搜索方法,搜索一个更大的候选架构集。FIGS同时选择和修改搜索空间中的操作符,通过应用基于逻辑斯谛克-S形分布的结构化稀疏正则化惩罚。我们展示了3个现有搜索空间的结果,匹配或优于原始搜索算法,并在ImageNet上生成最先进的参数高效模型(例如,75.4% top-1,2.6M参数)。使用我们的架构作为SSDLite目标检测的骨干,我们在COCO上实现了显著更高的mAP(例如,25.8具有3.0M参数)比MobileNetV 3和MnasNet。
2020-06-17 cs.LG stat.ML
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University(卡内基梅隆大学)
现有的神经架构搜索(NAS)方法通常返回一个具有良好搜索性能的架构,但推广到测试设置很差。为了实现更好的推广,我们提出了一种新的邻域感知NAS制定,以确定在搜索空间的平坦极小架构,与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构(例如,用跳跃连接代替卷积)。我们的配方需要考虑到“平面度”的架构,通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法,包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法,我们还提出了一个可微表示的邻域的架构。基于我们的公式,我们提出了邻域感知随机搜索(NA-RS)和邻域感知可微结构搜索(NA-DARTS)。值得注意的是,通过简单地使用我们的公式增强DARTS,NA-DARTS的性能优于DARTS,并在已建立的基准测试中实现了最先进的性能,包括CIFAR-10,CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
GPT-too: A language-model-first approach for AMR-to-text generation
University of Stuttgart(斯图加特大学);IBM Research AI(IBM人工智能研究院)
语义表征(AMR)是一种覆盖面广的层次语义图。从AMR生成文本的现有方法集中于仅在AMR注释数据上训练序列到序列或图到序列模型。在本文中,我们提出了一种替代方法,它结合了一个强大的预训练语言模型与基于循环一致性的重新评分。尽管这种方法很简单,但我们的实验结果表明,这些模型在英语LDC 2017 T10数据集上的性能优于所有以前的技术,包括最近使用的Transformer架构。除了标准的评估指标,我们还提供了人类评估实验,进一步证实了我们方法的优势。
2020-05-27 cs.CL cs.LG
D-DARTS: Distributed Differentiable Architecture Search
Université Paris-Saclay(巴黎萨克雷大学);MIT(麻省理工学院)
可区分的ARCHITERMS搜索(DARTS)是最流行的神经架构搜索(NAS)方法之一。它通过权重共享大大降低了搜索成本。然而,它也大大减少了搜索空间,从而排除了潜在的有前途的架构。在本文中,我们提出了D-DARTS,这是一种解决方案,它通过在细胞级别嵌套神经网络来解决这个问题,而不是使用权重共享来产生更多样化和专业化的架构。此外,我们引入了一种新的算法,可以从一些训练过的细胞中获得更深的架构,提高性能并节省计算时间。此外,我们还提出了一种替代的搜索空间(DARTOpti),在其中我们优化了现有的手工架构(例如,而不是从头开始。这种方法伴随着一个新的度量,该度量在我们的自定义搜索空间内测量架构之间的距离。我们的解决方案在多个计算机视觉任务上达到了具有竞争力的性能。代码和预训练模型可以在https://github.com/aheuillet/D-DARTS上访问。
2022-11-01 cs.CV cs.LG
Neural Architecture Search in Embedding Space
Cathay Fincial Holdings(国泰金控)
基于强化学习的神经结构搜索算法可以为神经结构的自动发现提供一个新的框架。然而,由于搜索空间的不连续性和高维性,使得优化困难。为了解决这些问题,我们提出了嵌入空间中的NAS(NASES),这是一个新的框架。与在离散和高维架构空间上搜索的具有强化学习方法的其他NAS不同,该方法使强化学习能够通过使用架构编码器和解码器在嵌入空间中搜索。目前的实验表明,使用NASES程序的最终架构网络的性能与其他流行的NAS方法的CIFAR-10上的图像分类任务相当。实验的结果是有效的,并表明,NASES是非常有效的发现最终的架构,只有$<$ 3.5 GPU小时。当应用结构嵌入搜索和权值初始化时,NASES的性能和有效性令人印象深刻。
2020-03-26 cs.LG stat.ML
Disentangled Neural Architecture Search
Lenovo Research(联想研究院)
近年来,神经结构搜索在各个领域显示出巨大的潜力。然而,现有的方法严重依赖于一个黑盒控制器来搜索架构,这遭受缺乏可解释性的严重问题。在本文中,我们提出了解开神经结构搜索(DNAS),解开隐藏的表示的控制器到语义上有意义的概念,使神经结构搜索过程可解释。在系统研究的基础上,我们发现了网络架构与其性能之间的相关性,并提出了一种密集采样策略,在可能产生性能良好的架构的有希望的区域进行有针对性的搜索。我们证明:1)DNAS成功地解开了架构表示,包括操作选择、跳过连接和层数。2)得益于可解释性,DNAS可以在不同的FLOPS限制下灵活地找到优秀的体系结构。3)密集采样导致神经结构搜索具有更高的效率和更好的性能。在NASBench-101数据集上,DNAS实现了94.21%的最先进性能,计算成本不到基线方法的1/13。在ImageNet数据集上,DNAS发现了达到22.7%测试误差的竞争架构。我们的方法提供了一个新的角度来理解神经结构搜索。
2020-09-24 cs.LG cs.NE stat.ML
Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing(计算学院);National University of Singapore(新加坡国立大学)
神经架构搜索(NAS)自动搜索给定任务的架构,例如,图像分类和语言建模。近年来,提高搜索效率和有效性越来越受到人们的关注。然而,很少有人致力于理解生成的架构。在本文中,我们首先揭示了现有的NAS算法(例如,DARTS、ENAS)倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛,因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此,这些架构可能不一定导致更好的泛化性能相比,在相同的搜索空间中的其他候选架构,因此进一步的改进是可能的,通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
卷积神经网络(CNN)的神经结构搜索(NAS)的搜索空间是巨大的。为了减少搜索开销,大多数NAS算法使用固定的外部网络层结构,并且只搜索可重复的单元结构。当使用足够的小区和信道时,这种固定架构表现良好。然而,当架构变得更加轻量级时,性能会显著降低。为了获得更好的轻量级结构,需要更灵活和多样化的神经结构,并且应该为更大的搜索空间设计更有效的方法。受此启发,我们提出了MoARR算法,它利用现有的研究成果和历史信息,快速找到架构,既轻量级和准确。我们使用所发现的高性能细胞来构建网络架构。该方法增加了网络结构的多样性,同时也减少了单元结构设计的搜索空间。此外,设计了一种新的多目标方法,有效地分析历史评价信息,从而高效地搜索精度高、参数少的Pareto最优结构。实验结果表明,MoARR在CIFAR-10上仅用6个GPU时就能实现一个功能强大、轻量级的模型(出错率为1.9%,参数为2.3M),优于现有的模型。探索的架构可转移到ImageNet,并在4.9M参数下达到76.0%的top-1准确率。
2020-08-13 cs.CV cs.LG
Single-DARTS: Towards Stable Architecture Search
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
可区分架构搜索(DARTS)标志着神经架构搜索(NAS)的一个里程碑,拥有简单性和小搜索成本。然而,DARTS仍然遭受频繁的性能崩溃,当一些操作(如跳过连接,零和池)主导架构时,就会发生这种情况。在本文中,我们是第一个指出,这种现象归因于双层优化。我们提出了Single-DARTS,它只使用单级优化,使用同一批数据同时更新网络权重和结构参数。即使单级优化以前已经尝试过,没有文献提供了一个系统的解释,这一点。Single-DARTS取代了原有的两级优化,明显避免了性能崩溃,提高了体系结构搜索的稳定性。实验结果表明,Single-DARTS算法在主流搜索空间上的性能达到了最佳水平。例如,在NAS-Benchmark-201上,搜索到的架构几乎是最优的。我们还验证了单级优化框架比双级优化框架更稳定。我们希望这种简单而有效的方法将提供一些见解差分架构搜索。该代码可在https://github.com/PencilAndBike/Single-DARTS.git上获得。
2021-08-18 cs.CV cs.LG
Evaluating the Search Phase of Neural Architecture Search
EPFL(洛桑联邦理工学院);Daskell;Swisscom Digital Lab(瑞士电信数字实验室)
神经架构搜索(NAS)旨在促进新任务的深度网络设计。现有的技术依赖于两个阶段:搜索架构空间和验证最佳架构。NAS算法目前仅根据其在下游任务上的结果进行比较。虽然直观,但这无法明确评估其搜索策略的有效性。在本文中,我们建议评估NAS搜索阶段。为此,我们比较了NAS搜索策略与随机架构选择的解决方案的质量。我们发现:(i)平均而言,最先进的NAS算法与随机策略执行类似;(ii)广泛使用的权重共享策略将NAS候选的排名降低到不能反映其真实性能的程度,从而降低了搜索过程的有效性。我们相信,我们的评估框架将是设计NAS策略的关键,这些策略可以始终如一地发现优于随机架构的架构。
2019-11-22 cs.LG stat.ML
ReNAS:Relativistic Evaluation of Neural Architecture Search
Noah’s Ark Lab Huawei Technologies(华为技术有限公司诺亚方舟实验室);Huawei Technologies(华为技术有限公司);The University of Sydney(悉尼大学);Peking University(北京大学)
一个有效的体系结构性能评估方案是神经网络体系结构搜索成功的关键。为了节省计算成本,大多数现有的NAS算法往往训练和评估中间神经网络结构上的一个小的代理数据集有限的训练时期。但是,很难期望在这样一个粗略的评估方式的体系结构的准确的性能估计。本文提出了一种新的神经网络体系结构评估方案,其目的是确定哪种体系结构的性能更好,而不是准确地预测绝对的体系结构性能。因此,我们提出了一个\textbf{relativistic}架构的NAS性能预测器(ReNAS)。我们将神经架构编码为特征张量,并使用预测器进一步细化表示。建议的相对论性能预测器可以部署在离散搜索方法中搜索所需的架构,而无需额外的评估。在NAS-Bench-101数据集上的实验结果表明,对424个(整个搜索空间的$0.1\%$)神经架构及其相应的验证性能进行采样已经足以学习准确的架构性能预测器。我们在NAS-Bench-101和NAS-Bench-201数据集上搜索的神经结构的准确性高于最先进的方法,并显示了所提出的方法的优先级。
2021-09-23 cs.LG cs.NE
A Study of the Learning Progress in Neural Architecture Search Techniques
NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司)
在神经架构搜索中,通过自动搜索过程来确定对给定数据集进行最佳建模的神经网络的结构。Pham等人(2018)提出的高效神经架构搜索(ENAS)最近受到了相当大的关注,因为它能够在极短的搜索时间内找到优秀的架构。在这项工作中,这是出于寻求进一步提高架构搜索的学习速度,我们评估的控制器,在ENAS中产生的架构的学习进度。我们通过比较它在不同的控制器训练时期生成的架构来衡量进度,在从头开始重新训练架构后对其进行评估。作为一个令人惊讶的结果,我们发现学习曲线是完全平坦的,即,就其生成的体系结构的性能而言,控制器没有可观察到的进展。该观察结果在CIFAR-10和CIFAR-100数据集以及两个不同的搜索空间中是一致的。我们的结论是,高质量的ENAS生成的模型是搜索空间设计的结果,而不是控制器的训练,我们的研究结果表明,一次性的架构设计是一个有效的替代架构搜索ENAS。
2019-06-18 cs.LG cs.NE stat.ML
Differentially-private Federated Neural Architecture Search
University of California San Diego(加州大学圣地亚哥分校);Rutgers University(罗格斯大学)
神经架构搜索,旨在自动搜索架构(例如,卷积,最大池化)的神经网络,最大限度地提高验证性能,最近取得了显着的进展。在许多应用场景中,多方希望通过利用来自各方的数据来协作搜索共享的神经架构。然而,由于隐私问题,没有一方希望其数据被其他方看到。为了解决这个问题,我们提出了联合神经架构搜索(FNAS),其中不同的各方通过交换架构变量的梯度来共同搜索可区分的架构,而不会将其数据暴露给其他各方。为了进一步保护隐私,我们研究了差分私有FNAS(DP-FNAS),它向架构变量的梯度添加随机噪声。为DP-FNAS实现差分隐私提供了理论保证。实验表明,DP-FNAS可以搜索高性能的神经结构,同时保护个人的隐私。代码可在https://github.com/UCSD-AI4H/DP-FNAS上获得
2020-06-22 cs.CR cs.LG stat.ML
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST));Intel Labs(英特尔研究院)
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索(NAS)的最新进展显示了很大的希望。然而,发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题,我们引入了顺序贪婪结构搜索(SGAS),一种有效的神经结构搜索方法。通过将搜索过程划分为子问题,SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络(CNN)和图卷积网络(GCN)的搜索架构。大量的实验表明,SGAS是能够找到国家的最先进的架构任务,如图像分类,点云分类和蛋白质相互作用图中的节点分类,以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
An Introduction to Neural Architecture Search for Convolutional Networks
University of Macedonia(马其顿大学)
神经网络结构搜索(NAS)是利用优化算法设计最优神经网络结构的研究领域。关于体系结构的搜索空间、优化算法以及候选体系结构的评价方法有很多方法。由于该领域正在以不断增长的速度增长,初学者很难区分专业以及该领域所遵循的新兴方向。在这项工作中,我们介绍了卷积网络NAS的基本概念,以及搜索空间,算法和评估技术的主要进展。
2020-05-22 cs.LG cs.NE stat.ML
Notes on the Mathematical Structure of GPT LLM Architectures
该研究系统梳理并阐释 GPT-3 风格大语言模型神经网络架构背后的数学结构。
2024-10-25 cs.LG
HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking
Michigan State University(密歇根州立大学);AInnovation(旷视)
最近,在设计神经网络架构中使用自动方法(通常称为神经架构搜索(NAS))引起了相当大的关注。在这项工作中,我们提出了一个有效的NAS方法,命名为HM-NAS,推广现有的基于权重共享的NAS方法。现有的基于权重共享的NAS方法仍然采用手工设计的算法来生成架构候选。因此,架构候选者的空间被约束在所有可能架构的子集中,使得架构搜索结果次优。HM-NAS通过两项创新解决了这一限制。首先,HM-NAS结合了多级架构编码方案,以能够搜索更灵活的网络架构。其次,它放弃了手工设计的算法,并采用了一个分层掩蔽方案,自动学习和确定最佳架构。与最先进的基于权重共享的方法相比,HM-NAS能够实现更好的架构搜索性能和有竞争力的模型评估精度。没有手工设计的算法所施加的约束,我们搜索的网络包含更灵活和有意义的架构,现有的基于权重共享的NAS方法是无法发现的。
2019-09-07 cs.CV cs.LG stat.ML
Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling
Yokohama National University(横滨国立大学);SkillUp AI Co., Ltd.(SkillUp AI株式会社)
神经架构搜索(NAS)旨在自动化架构设计过程并提高深度神经网络的性能。平台感知的NAS方法同时考虑性能和复杂性,可以找到性能良好的架构和低计算资源。虽然普通的NAS方法由于模型训练的重复而导致巨大的计算成本,但据报道,在搜索过程中仅一次训练包含所有候选架构的超网络的权重的一次性NAS导致较低的搜索成本。该研究重点关注架构复杂度感知的one-shot NAS,该NAS优化由两个指标的加权和组成的目标函数,如预测性能和参数数量。在现有的方法中,架构搜索过程必须以不同的加权和系数运行多次,以获得具有不同复杂度的多个架构。这项研究的目的是减少与寻找多个架构的搜索成本。该方法使用多个分布来生成具有不同复杂度的体系结构,并使用基于重要性采样的多个分布中获得的样本来更新每个分布。所提出的方法允许我们在一个单一的架构搜索,以获得不同的复杂性,从而降低搜索成本的多个架构。将该方法应用于CIAFR-10和ImageNet数据集上的卷积神经网络的结构搜索。因此,与基线方法相比,所提出的方法可以找到具有不同复杂度的多个架构,同时需要更少的计算工作量。
2022-07-21 cs.LG cs.NE stat.ML
Partially-Connected Differentiable Architecture Search for Deepfake and Spoofing Detection
EURECOM(欧洲通信系统工程学院)
本文报告了可区分架构搜索(DARTS)方法在深度伪造和欺骗检测问题中的首次成功应用。作为神经架构搜索的一个例子,DARTS在连续的、可微分的搜索空间上操作,这使得架构和参数都能够通过梯度下降来优化。基于部分连接DARTS的解决方案在搜索空间中使用随机通道掩蔽,以减少GPU时间,并自动学习和优化由卷积运算和残差块组成的复杂神经架构。尽管学习速度很快,几乎没有人力投入,但由此产生的网络与文献中报道的最佳性能系统相比具有竞争力。有些也远没有那么复杂,包含的参数比Res2Net竞争对手少85%。
2021-06-30 cs.LG cs.SD eess.AS
NeuralArTS: Structuring Neural Architecture Search with Type Theory
University of Toronto(多伦多大学);ML Collective
神经架构搜索(NAS)算法在给定可能操作的初始搜索空间的情况下自动执行查找最佳深度学习架构的任务。开发这些搜索空间通常是手动的,预优化的搜索空间更有效,而不是从头开始搜索。在本文中,我们提出了一个新的框架,称为神经架构类型系统(NeuralArTS),分类的无限集的网络操作在一个结构化的类型系统。我们进一步展示了NeuralArTS如何应用于卷积层,并提出了几个未来的发展方向。
2021-11-05 cs.LG cs.LO cs.PL
Generating In-store Customer Journeys from Scratch with GPT Architectures
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(情报学研究所)
本文提出一种基于GPT-2架构的方法,从零生成店内顾客轨迹和购买行为,并通过微调减少训练数据,实验证明优于LSTM和SVM模型。
2024-07-13 cs.AI cs.LG
NASIB: Neural Architecture Search withIn Budget
MIT Media Labs(麻省理工学院媒体实验室);Cisco Systems(思科系统公司);IIIT Sri City(斯里城印度信息技术学院)
神经网络架构搜索(NAS)代表了一类用于生成最优神经网络架构的方法,并且通常在候选架构上进行迭代直到收敛于某个特定度量(如验证损失)。它们受到可用计算资源的限制,特别是在企业环境中。在本文中,我们提出了一种新的NAS方法,称为NASIB,它通过改变探索与开发权衡来适应和调整可用的计算资源(预算)。我们减少了专家的偏见,通过搜索在一个扩大的搜索空间引起的超级核。所提出的方法可以提供架构搜索有用的不同的计算资源和不同的领域以外的自然图像的图像分类,我们缺乏定制的架构图案和领域的专业知识。在CIFAR10上,我们可以在仅1.5 GPU天内搜索比传统现有技术多12倍的候选操作的空间,同时达到接近最先进的精度。虽然我们的方法在指数级更大的搜索空间上搜索,但与大多数现有方法相比,它可能会导致需要较少领域专业知识的新架构。
2019-10-19 cs.CV cs.LG stat.ML
Graph HyperNetworks for Neural Architecture Search
Uber Advanced Technologies Group(优步先进技术集团);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
神经架构搜索(NAS)自动找到最佳的特定于任务的神经网络拓扑结构,性能优于许多手动架构设计。然而,它可能非常昂贵,因为搜索需要训练数千个不同的网络,而每个网络可能持续数小时。在这项工作中,我们提出了图超网络(GHN)来分摊搜索成本:给定一个架构,它通过在图神经网络上运行推理来直接生成权重。GHN对架构的拓扑结构进行建模,因此可以比常规超网络和过早停止更准确地预测网络性能。为了执行NAS,我们随机采样架构,并使用GHN生成的权重作为代理搜索信号的网络的验证准确性。GHN的速度很快--它们的搜索速度比CIFAR-10和ImageNet上的其他随机搜索方法快近10倍。GHN可以进一步扩展到随时预测设置,在那里他们发现网络比最先进的手动设计具有更好的速度-准确性权衡。
2020-12-18 cs.CV cs.LG stat.ML
Hierarchical Representations for Efficient Architecture Search
Carnegie Mellon University(卡内基梅隆大学);DeepMind
我们探索有效的神经架构搜索方法,并表明一个简单而强大的进化算法可以发现新的架构具有优异的性能。我们的方法结合了一种新的层次遗传表示方案,模仿人类专家通常采用的模块化设计模式,和一个富有表现力的搜索空间,支持复杂的拓扑结构。我们的算法有效地发现了优于大量手动设计的图像分类模型的架构,在CIFAR-10上获得了3.6%的前1错误,在转移到ImageNet时获得了20.3%的前1错误,这与现有的最佳神经架构搜索方法相比具有竞争力。我们还使用随机搜索呈现结果,在CIFAR-10上实现了0.3%的top-1准确率,在ImageNet上减少了0.1%,同时将搜索时间从36小时减少到1小时。
2018-02-22 cs.CV cs.LG cs.NE
Poisoning the Search Space in Neural Architecture Search
University of Toronto(多伦多大学)
事实证明,深度学习是医疗保健和自动驾驶等各个领域的目标检测和图像分割的高效问题解决工具。这种性能的核心在于神经架构设计,这在很大程度上依赖于研究人员的领域知识和先前经验。最近,在给定可能操作的初始搜索空间的情况下,找到最优架构的过程由神经架构搜索(NAS)自动化。在本文中,我们评估了一个这样的算法称为高效NAS(ENAS)对数据不可知中毒攻击的原始搜索空间精心设计的无效操作的鲁棒性。通过评估CIFAR-10数据集上的算法性能,我们经验性地展示了我们的新的搜索空间中毒(SSP)方法和多实例中毒攻击如何利用ENAS控制器中的设计缺陷来导致子网络的预测出错率膨胀。我们的研究结果提供了深入了解的挑战,克服使用NAS更adversarially强大的架构搜索。
2021-06-28 cs.CR cs.LG cs.NE
Discovering Mathematical Formulas from Data via GPT-guided Monte Carlo Tree Search
ANNLAB, Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所ANNLAB);School of Integrated Circuits, University of Chinese Academy of Sciences(中国科学院大学集成电路学院);School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences(中国科学院大学电子电气与通信工程学院)
针对符号回归中现有MCTS方法搜索效率低、预训练策略网络泛化差的问题,提出SR-GPT算法,将GPT与MCTS耦合互优化,在多数据集上的表达式恢复效果超越当前最优算法。
2024-01-30 cs.AI cs.LG
Generating Individual Trajectories Using GPT-2 Trained from Scratch on Encoded Spatiotemporal Data
Kanazawa Gakuin University(金泽学院大学);National Institute of Informatics(国立信息学研究所)
本文提出将经纬度、时间间隔、环境因素与个体属性编码为特殊 token,并在 GPT-2 架构上从头训练,以自回归方式生成受天气、性别和年龄等条件影响的个体日常轨迹。
2023-08-14 cs.AI cs.LG
PaSa: An LLM Agent for Comprehensive Academic Paper Search
ByteDance Seed(字节跳动种子);Peking University(北京大学)
PaSa是一个基于大语言模型的论文搜索智能体,通过强化学习优化,在真实查询基准上显著超越现有搜索方法,实现高召回率与精确率。
2025-05-27 cs.IR cs.LG
GPT-Guided Monte Carlo Tree Search for Symbolic Regression in Financial Fraud Detection
Vesta Corporation(维斯塔公司)
提出SR-MCTS方法,利用GPT引导蒙特卡洛树搜索进行符号回归,在金融欺诈检测中比业界常用方法更高效,同时增强决策可解释性。
2024-11-07 cs.CE cs.LG