Confidence-gated training for efficient early-exit neural networks
International University of Rabat(拉巴特国际大学);TICLab(TIC实验室);Thales Alenia Space(泰勒斯阿莱尼亚空间);Mohammed 6 Polytechnic University(穆莱·6技术大学);University of Leeds(利兹大学)
本文提出置信度门控训练方法,通过条件梯度传播提升早期退出神经网络的效率和准确性。
2026-01-08 cs.AI cs.LG
Balancing Stability and Plasticity in Sequentially Trained Early-Exiting Neural Networks
TICLab, International University of Rabat, Morocco(拉巴特国际大学TIC实验室,摩洛哥);College of Computing, University Mohammed VI Polytechnic, Morocco(摩洛哥穆莱·伊斯梅尔Polytechnic大学计算机学院);School of Electronic and Electrical Engineering, University of Leeds, UK(利兹大学电子与电气工程学院)
本文提出两种方法平衡早期退出网络的稳定性与可塑性,通过保护关键参数和保留输出分布提升性能,实验显示在低计算预算下有显著加速。
2026-05-06 cs.CV cs.LG
Improving the Accuracy of Early Exits in Multi-Exit Architectures via Curriculum Learning
Aarhus University(奥胡斯大学)
使用边缘计算系统为时间敏感和资源受限的环境(如物联网)部署深度学习服务是一项具有挑战性的任务,需要动态调整推理时间。多出口架构允许深度神经网络提前终止其执行,以便以牺牲准确性为代价遵守严格的截止日期。为了减轻这种成本,在本文中,我们介绍了一种新的方法,称为多出口课程学习,利用课程学习,训练策略的神经网络,模仿人类的学习排序的训练样本的基础上,他们的困难,并逐步引入到网络。在CIFAR-10和CIFAR-100数据集以及各种配置的多出口架构上的实验表明,与标准训练方法相比,我们的方法始终提高了早期出口的准确性。
2021-04-22 cs.CV cs.LG
A Scalable Measure of Loss Landscape Curvature for Analyzing the Training Dynamics of LLMs
Meta Superintelligence Labs(Meta超智能实验室);University of Maryland, College Park(马里兰大学哥伦比亚分校)
本文提出了一种可扩展的损失景观曲率度量,用于分析大语言模型的训练动态,展示了大规模下的尖锐度现象,并指导数据混合策略。
2026-02-02 cond-mat.dis-nn cs.AI cs.LG
EE-LLM: Large-Scale Training and Inference of Early-Exit Large Language Models with 3D Parallelism
Alibaba Group(阿里巴巴集团)
本文提出基于 Megatron-LM 的 EE-LLM 框架,通过3D并行及面向早退的训练、调度和 KV caching 推理优化,实现低开销大规模训练与无损质量的显著推理加速。
2024-06-16 cs.AI cs.DC cs.LG
Early Exiting with Ensemble Internal Classifiers
Fudan University(复旦大学);Huawei Poisson Lab(华为泊松实验室)
作为一种加速大规模预训练模型推理的简单技术,提前退出在NLP社区中受到了广泛关注。它允许样本在内部分类器中提前退出,而无需通过整个模型。现有的大多数工作通常独立训练内部分类器,并采用退出策略来决定是否退出的基础上的信心,当前内部分类器。然而,这些作品都没有充分利用这样一个事实:内部分类器经过训练来解决相同的任务,因此可以用于构建集成。本文从集成学习和信息论的角度出发,提出了一种新的集成内分类器训练目标函数。所提出的训练目标包括两个方面:一个是准确性,另一个是内部分类器的多样性。相比之下,先前工作中使用的目标正是我们训练目标的准确度项,因此只优化了准确度,而不是多样性。此外,我们提出了一个简单的基于投票的策略,考虑所有过去的内部分类器的预测,推断正确的标签,并决定是否退出。不同NLP任务的实验结果表明,我们提出的目标函数和基于投票的策略可以实现更好的准确性和速度的权衡。
2021-05-28 cs.CL cs.LG
Jointly-Learned Exit and Inference for a Dynamic Neural Network : JEI-DNN
McGill University(麦吉尔大学);Mila Québec AI Institute(魁北克米拉人工智能研究所)
针对早退动态神经网络中门控与推理模块解耦及概率偏差问题,提出 JEI-DNN 联合架构,提升分类性能并增强不确定性表征。
2024-05-10 cs.LG
COSEE: Consistency-Oriented Signal-Based Early Exiting via Calibrated Sample Weighting Mechanism
Tongji University(同济大学);Fudan University(复旦大学);Macquarie University(麦考瑞大学)
本文提出COSEE框架,通过校准样本加权机制使分类器关注不同加速场景下可能退出的样本,解决了预训练语言模型提前退出中训练与测试不一致及加速比无法灵活调整的问题,在GLUE上取得更优的效率与性能权衡。
2024-12-17 cs.AI cs.LG
EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models
Alibaba Group(阿里巴巴集团)
本研究提出轻量经济型的EE-Tuning方案,以参数高效方式为预训练LLM增设早退层并调优,兼容3D并行,在有限预算下实现有效早退推理,且已开源代码。
2024-02-01 cs.AI cs.CL cs.LG
Multi-Exit Semantic Segmentation Networks
Samsung AI Center(三星人工智能中心);University of Cambridge(剑桥大学)
语义分割是许多视觉系统的支柱,从自动驾驶汽车和机器人导航到增强现实和电话会议。在有限的资源范围内,经常在严格的延迟约束下运行,优化高效执行变得非常重要。同时,目标平台的异构能力和不同应用的不同约束要求设计和训练多个目标特定的分割模型,导致过多的维护成本。为此,我们提出了一个框架,用于将最先进的分割CNN转换为多出口语义分割(MESS)网络:经过专门训练的模型,这些模型采用参数化的早期出口,沿着其深度i)在对更容易的样本进行推理期间动态节省计算,ii)通过提供训练后可定制的速度-准确性权衡来节省训练和维护成本。天真地设计和训练这样的网络会损害性能。因此,我们提出了一种新的多出口网络的两阶段训练方案。此外,MESS的参数化使得能够在部署时通过<1 GPUh中的穷举搜索来共同优化所附分段头的数量、放置和架构以及退出策略。这使得MESS能够快速适应每个目标用例的设备功能和应用需求,提供一次培训,随时随地部署的解决方案。与原始骨干网络相比,MESS变体在相同精度下实现了高达2.83倍的延迟增益,或者在相同计算预算下实现了5.33 pp的更高精度。最后,与最先进的技术相比,MESS提供了数量级更快的架构定制。
2022-07-31 cs.CV cs.LG
E$^2$CM: Early Exit via Class Means for Efficient Supervised and Unsupervised Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);CCDC US Army Research Laboratory(美国陆军CCDC研究实验室)
具有早期退出机制的最先进的神经网络通常需要大量的训练和微调以实现低计算成本的良好性能。我们提出了一种新的早期退出技术,早期退出类均值(E $^2$ CM),基于样本的类均值。与大多数现有的计划,E $^2$ CM不需要基于梯度的训练的内部分类器,它不修改的基础网络以任何方式。这使得它特别适用于低功耗设备中的神经网络训练,如无线边缘网络。我们评估了E $^2$ CM在各种基础神经网络(如MobileNetV 3,EfficientNet,ResNet)和数据集(如CIFAR-100,ImageNet和KMNIST)上的性能和开销。我们的研究结果表明,给定一个固定的训练时间预算,E $^2$ CM达到更高的准确性相比,现有的早期退出机制。此外,如果对训练时间预算没有限制,则E $^2$ CM可以与现有的提前退出方案相结合以提高后者的性能,从而在计算成本和网络精度之间实现更好的权衡。我们还表明,E $^2$ CM可以用来减少无监督学习任务的计算成本。
2022-07-11 cs.LG cs.NE stat.ML
Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits
Yonsei University(延世大学)
本文提出了一种新的基于知识蒸馏的学习方法,以提高卷积神经网络(CNN)的分类性能,而无需预先训练的教师网络,称为出口集成蒸馏。我们的方法利用多出口架构,在传统的CNN中间添加辅助分类器(称为出口),通过它可以获得早期的推理结果。我们的方法的思想是训练网络使用出口的集合作为蒸馏目标,这大大提高了整个网络的分类性能。我们的方法提出了一个新的范式知识蒸馏,不像传统的蒸馏概念,教师只教学生,我们表明,学生也可以帮助其他学生,甚至教师学习得更好。实验结果表明,我们的方法在各种流行的CNN架构(VGG,ResNet,ResNeXt,WideResNet等)上实现了分类性能的显着改善。此外,所提出的方法可以加快学习的收敛速度,提高稳定性。我们的代码将在Github上提供。
2021-04-05 cs.AI cs.CV cs.LG
Bootstrapping Task Spaces for Self-Improvement
Meta Superintelligence Labs(Meta超智能实验室);University of Oxford(牛津大学)
ExIt通过自适应课程强化学习方法,使大语言模型在推理时实现多步骤自我改进,提升任务性能。
2026-02-22 cs.LG
Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE
McGill University(麦吉尔大学);ILLS(学习系统国际实验室);MILA(蒙特利尔学习算法研究所);Technical University of Munich(慕尼黑工业大学);École de technologie supérieure(高等技术学院)
针对机器学习模型推理计算量大的问题,提出结合量化与早退的通用动态网络QuEE,通过有原则的公式化方法解决软早退决策问题,在4个分类数据集上验证了有效性并探究了成功条件。
2024-06-20 cs.LG
ConsistentEE: A Consistent and Hardness-Guided Early Exiting Method for Accelerating Language Models Inference
South China University of Technology(华南理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Pazhou Laboratory(琶洲实验室)
针对早退方法训练与推理目标不一致的问题,本文提出 ConsistentEE,通过强化学习、策略网络和硬度引导的奖励函数,让简单样本更重加速、困难样本更重准确率,并在多项 NLU 与生成任务上超过基线。
2024-04-07 cs.AI cs.CL cs.LG
FREE: Fast and Robust Vision Language Models with Early Exits
Department of IEOR, IIT Bombay(工业工程与运营研究系,印度理工学院班加罗尔)
针对视觉语言模型推理延迟高的问题,本文提出 FREE,通过基于 GAN 的对抗式早退训练实现输入自适应推理,在保持性能相当的同时加速超过 1.51 倍并增强鲁棒性。
2025-06-07 cs.CV cs.LG
Invariant Federated Learning for Edge Intelligence: Mitigating Heterogeneity and Asynchrony via Exit Strategy and Invariant Penalty
Fudan University(复旦大学);Shanghai Institute of Intelligent Electronics and Systems(上海智能电子与系统研究院)
针对资源受限边缘智能的异质性与异步性问题,本文提出含退出策略和不变惩罚的不变联邦学习系统,通过参数正交性筛选异常客户端,结合FedIPG提升模型在多数客户端及异常/资源匮乏客户端的性能与泛化能力。
2025-04-16 cs.LG
Unsupervised Early Exit in DNNs with Multiple Exits
IIT Bombay(印度理工学院孟买分校)
深度神经网络(DNN)通常被设计为顺序级联的可微分块/层,其中预测模块仅连接到其最后一层。DNN可以在主干上的多个点上附加预测模块,其中推理可以在中间阶段停止,而无需通过所有模块。最后一个出口点可以提供更好的预测误差,但也涉及更多的计算资源和延迟。一个在预测误差和成本方面都是“最佳”的退出点是可取的。最佳退出点可能取决于任务的潜在分布,并且可能会从一种任务类型更改为另一种任务类型。在神经推理期间,实例的基础事实可能不可用,并且无法估计每个出口点处的出错率。因此,人们面临着在无监督环境中选择最佳出口的问题。先前的工作在离线监督设置中解决了这个问题,假设有足够的标记数据可用于估计每个出口点处的出错率并调整参数以获得更好的准确度。然而,预先训练的DNN通常部署在新的领域中,对于这些领域,可能无法获得大量的地面实况。我们将退出选择问题建模为一个无监督的在线学习问题,并使用强盗理论来确定最佳退出点。具体来说,我们专注于弹性BERT,一个预先训练的多出口DNN,以证明它“几乎”满足强优势(SD)属性,使得在不知道地面真实标签的情况下学习在线设置中的最佳出口成为可能。我们开发了基于置信上限(UCB)的算法UEE-UCB,可证明实现了SD属性下的次线性后悔。因此,我们的方法提供了一种自适应学习多出口DNN中特定于域的最佳出口点的方法。我们在IMDb和Yelp数据集上实证验证了我们的算法。
2022-09-20 cs.AI cs.CL cs.LG
Attention Consistency Regularization for Interpretable Early-Exit Neural Networks
Yanhua Zhao
本文提出EGT方法,通过注意力一致性正则化提升早期退出神经网络的可解释性和一致性,实现更高的准确率和更快的推理速度。
2026-02-04 cs.AI cs.LG
Class Based Thresholding in Early Exit Semantic Segmentation Networks
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
我们提出了基于类的分割保持(CBT),以减少早期退出语义分割模型的计算成本,同时保持平均交集超过并集(mIoU)的性能。CBT的一个关键思想是利用自然发生的神经崩溃现象。具体来说,通过计算训练集中每个类别的平均预测概率,CBT为每个类别分配不同的掩蔽阈值,以便对于属于易于预测类别的像素可以更快地终止计算。我们展示了CBT在Cityscapes和ADE 20K数据集上的有效性。与先前最先进的提前退出模型相比,CBT可以将计算成本降低$23\%$。
2022-10-27 cs.CV cs.LG
Early-Exit Graph Neural Networks
Department of Computer Science, Control and Management Engineering, Sapienza University of Rome, Rome, Italy(计算机科学与控制管理工程系,罗马萨皮恩扎大学,意大利罗马);Institute of Information Science and Technologies "Alessandro Faedo" - ISTI-CNR, Pisa, Italy(信息科学与技术研究所 "Alessandro Faedo" - ISTI-CNR,意大利比萨);Information Engineering Department, University of Pisa, Pisa, Italy(信息工程系,比萨大学,意大利比萨);CNRS, i3S, Inria(国家科学研究中心 CNRS、i3S、Inria)
本文提出早期退出图神经网络(EEGNNs),通过引入对称-反称GNNs(SAS-GNN)的对称归纳偏置,实现动态调整深度以提高准确率和效率。
2026-02-03 cs.LG
PTEENet: Post-Trained Early-Exit Neural Networks Augmentation for Inference Cost Optimization
Afeka Academic College of Engineering(阿非卡工程学术学院)
本文提出 PTEENet,通过向预训练 DNN 附加卷积早退分支和置信度阈值,在不改动原权重的情况下降低推理成本,并实时调节准确率与速度权衡。
2025-01-05 cs.AI cs.CV cs.LG
CEEBERT: Cross-Domain Inference in Early Exit BERT
IIT Bombay(印度理工学院孟买分校)
提出CeeBERT在线学习算法,动态决定BERT/ALBERT模型样本的早期退出层,平衡准确性与延迟,无需标记数据,在五个数据集上实现2-3.5倍加速且性能损失极小。
2024-05-23 cs.CL cs.LG
It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation
Samsung AI Center(三星人工智能中心);University of Cambridge(剑桥大学)
由于强大的硬件和模型压缩技术的可用性,设备上的机器学习正在成为现实。通常,这些模型在大型GPU集群上进行预训练,并具有足够的参数来概括各种输入。在这项工作中,我们观察到可以采用更小的个性化模型来适应特定的场景,从而提高准确性和执行速度。然而,设备上的培训极具挑战性,即使对于旗舰智能手机也会带来过多的计算和内存需求。与此同时,设备上的数据可用性可能有限,样本通常没有标签。为此,我们引入了一个框架,它将早期出口附加到模型上,并在设备上对其进行个性化。这使得模型能够逐步绕过更大部分的计算,因为更多的个性化数据变得可用。此外,我们引入了一种有效的设备上算法,该算法以半监督的方式在整个网络的个性化时间的一小部分内训练早期退出。结果表明,EQUEPhonEE将准确率提高了15.9%,同时将训练成本降低了2.2倍,对于相同的准确率,平均推理延迟降低了2.2- 3.2倍,具体取决于设备上标签的可用性。
2021-02-02 cs.CV cs.LG
Rethinking Reasoning with MDLMs: Early Exits, Post-hoc Reasoning, and Beyond
Columbia University(哥伦比亚大学);Department of Computer Science, New York University(纽约大学计算机科学系);Microsoft Research(微软研究院);Center for Data Science, New York University(纽约大学数据科学中心)
本文提出“推理即填充”技术,基于掩码扩散语言模型(MDLMs)实现早期退出、事后推理等能力,在GSM8k数据集上微调LLaDA-8B-Base提升准确率14.9%,证明MDLM训练目标对推理有显著优势。
2026-08-11 cs.LG
ERDE: Entropy-Regularized Distillation for Early-exit
INSA Lyon(里昂国立应用科学学院);CNRS(国家科学研究中心);Université Claude Bernard Lyon 1(里昂第一大学);LIRIS(LIRIS研究中心);UMR5205(法国国家科研机构(UMR)5205)
针对深度神经网络计算成本高的问题,提出融合早退与知识蒸馏的ERDE方法,通过新增针对教师分类错误样本的熵损失训练学生早退模型,在不损失精度的同时显著降低计算复杂度,经多个图像分类数据集验证有效。
2025-10-06 cs.CV cs.LG
LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning
University of Southern California(南加州大学);DEVCOM ARL(美国陆军战争研究所)
LYNX通过利用模型自身隐藏状态实现置信度控制的提前退出,提升推理效率和准确性,适用于多种任务和基准测试。
2025-12-05 cs.AI cs.CL cs.LG
Hetero-SplitEE: Split Learning of Neural Networks with Early Exits for Heterogeneous IoT Devices
The University of Tokyo(东京大学)
Hetero-SplitEE通过引入异构早期退出和协作训练策略,实现异构物联网设备的高效协同神经网络训练。
2025-12-10 cs.AI cs.LG
Multi-Exit Kolmogorov-Arnold Networks: enhancing accuracy and parsimony
Mathematics & Statistics, University of Vermont(佛罗里达大学数学与统计学系);Vermont Complex Systems Center, University of Vermont(佛罗里达大学复杂系统中心);Computer Science, University of Vermont(佛罗里达大学计算机科学系)
本文提出多出口 Kolmogorov-Arnold 网络,通过每层设置预测分支实现深度监督,在提升精度的同时自动发现更简约可解释的模型,并配套可微学习出口算法以平衡各出口贡献。
2025-08-21 cs.LG cs.NE physics.data-an
PALBERT: Teaching ALBERT to Ponder
Tinkoff(Tinkoff公司)
本文提出改进PonderNet的确定性Q-exit标准和重构架构,适配ALBERT和RoBERTa实现提前退出,在GLUE任务上优于PABEE。
2023-05-18 cs.CL cs.LG
DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
University of Waterloo(滑铁卢大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
像BERT这样的大规模预训练语言模型为NLP应用带来了显著的改进。然而,它们也因推理速度慢而臭名昭著,这使得它们难以部署在实时应用程序中。我们提出了一个简单而有效的方法,DeeBERT,加速BERT推理。我们的方法允许样本更早地退出,而无需通过整个模型。实验表明,DeeBERT能够在模型质量下降最小的情况下节省高达40%的推理时间。进一步的分析显示了BERT Transformer层的不同行为,也揭示了它们的冗余。我们的工作为有效地将基于transformer的深度模型应用于下游任务提供了新的思路。代码可在https://github.com/castorini/DeeBERT上获得。
2020-04-27 cs.CL cs.LG
Controlling mean exit time of stochastic dynamical systems based on quasipotential and machine learning
Nanjing University of Science and Technology(南京理工大学);Universität Augsburg(奥格斯堡大学)
本文提出结合准势与神经网络计算全局准势函数,并通过迭代数值算法设计控制器,实现对随机动力系统平均逃逸时间的精确控制。
2022-09-27 cs.LG math.DS stat.ML
Hierarchical Training of Deep Neural Networks Using Early Exiting
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本研究提出一种基于早期退出的深度神经网络分层训练方法,在边云拆分架构中拆分反向传播过程,可并行训练且不泄露原始数据,在低比特率信道下显著缩短多种模型在图像分类任务的训练时长,准确率损失极小,适用于低资源边缘设备的在线学习。
2024-05-20 cs.CV cs.DC cs.LG
Fair Multi-Exit Framework for Facial Attribute Classification
University of Notre Dame(圣母大学)
公平性在面部识别中变得越来越重要。如果没有偏见缓解,部署不公平的人工智能将损害弱势群体的利益。在本文中,我们观察到,虽然神经网络的深层特征通常提供更高的准确性,但当我们从深层提取特征时,公平性条件会恶化。这种现象促使我们扩展多退出框架的概念。与现有的主要关注准确性的作品不同,我们的多出口框架是以公平为导向的,内部分类器被训练得更准确,更公平。在推理过程中,允许内部分类器中具有高置信度的任何实例提前退出。此外,我们的框架可以适用于大多数现有的公平意识的框架。在CelebA和UTK人脸数据集上的实验结果表明,该框架能够在很大程度上改善人脸的公平性。
2023-01-08 cs.AI cs.CV cs.LG
DAISY: Data Adaptive Self-Supervised Early Exit for Speech Representation Models
National Taiwan University(台湾大学);University of Edinburgh(爱丁堡大学)
DAISY提出基于自监督损失的自适应早退方法,无需多轮训练或微调即可在MiniSUPERB上达到HuBERT性能,并根据样本噪声水平动态调整推理计算量。
2024-08-29 cs.AI cs.LG cs.SD
Anticipate, Ensemble and Prune: Improving Convolutional Neural Networks via Aggregated Early Exits
Politecnico di Milano(米兰理工大学)
今天,人工神经网络是解决各种复杂任务的最先进技术,特别是在图像分类中。此类架构由一系列堆叠层组成,目的是提取有用的信息并由分类器进行处理以做出准确的预测。然而,这些模型中的中间信息往往被闲置。在其他情况下,例如在边缘计算环境中,这些架构被划分为多个分区,这些分区通过包括早期退出(即中间分类器)来实现功能,目的是减少计算和时间负载,而不会极大地损害分类的准确性。在本文中,我们提出了预期,Enclamation和Prune(AEP),一种新的训练技术,基于早期出口的加权集成,其目的是利用网络结构中的信息,以最大限度地提高其性能。通过一组全面的实验,我们展示了使用这种方法如何比传统训练的平均准确率提高高达15%。在其混合加权配置中,AEP的内部修剪操作还允许将参数数量减少多达41%,将乘法和加法的数量减少18%,并将进行推断的延迟时间减少16%。通过使用AEP,还可以学习允许早期退出的权重,以实现比从单输出参考模型获得的更好的准确度值。
2023-01-28 cs.AI cs.CV cs.LG
RAPID-RL: A Reconfigurable Architecture with Preemptive-Exits for Efficient Deep-Reinforcement Learning
Purdue University(普渡大学);Yale University(耶鲁大学);Georgia Institute of Technology(佐治亚理工学院)
当今的深度强化学习(RL)系统在构建超越人类水平的智能代理方面表现出了巨大的潜力。然而,与底层深度神经网络(DNN)相关联的计算复杂性导致功耗高的实现。这使得深度RL系统不适合部署在资源受限的边缘设备上。为了应对这一挑战,我们提出了一种可重配置的架构,具有抢占式出口,以实现高效的深度RL(RAPID-RL)。RAPID-RL支持根据输入的难度级别有条件激活DNN层。这允许在推理期间动态调整计算工作量,同时保持有竞争力的性能。我们通过使用能够生成中间预测以及相关置信度得分的侧分支来增强深度Q网络(DQN)来实现这一点。我们还提出了一种新的训练方法,用于在动态RL设置中学习动作和分支置信度。我们的实验评估所提出的框架雅达利2600游戏任务和现实的无人机导航任务的开源无人机模拟器(PEOPLE)。我们表明,与没有任何侧分支的基线DQN相比,RAPID-RL在Atari(无人机导航)任务上保持0.88倍(0.91倍)以上的性能的同时,会产生0.34倍(0.25倍)的操作数(OPS)。OPS的减少导致快速和有效的推理,证明对于资源受限的边缘非常有益,其中以最小的计算做出快速决策是必不可少的。
2021-09-16 cs.LG
Adaptive Deep Neural Network Inference Optimization with EENet
Georgia Institute of Technology(佐治亚理工学院);CISCO Research(思科研究院)
本文提出EENet早退调度框架,通过学习最优早退策略,在满足每样本平均推理预算的前提下最大化多出口DNN模型准确率,并在多个视觉和NLP数据集上验证其优于现有早退方法。
2023-12-01 cs.AI cs.LG
HAPI: Hardware-Aware Progressive Inference
Samsung AI Center, Cambridge(三星人工智能中心(剑桥));University of Cambridge(剑桥大学)
卷积神经网络(CNN)最近已经成为各种人工智能任务中的最先进技术。尽管它们很受欢迎,但CNN推理仍然需要很高的计算成本。越来越多的工作旨在通过利用样本之间分类难度的差异和网络不同阶段的早期退出来缓解这一问题。然而,现有的关于提前退出的研究主要集中在培训计划上,而没有考虑用例需求或部署平台。这项工作提出了HAPI,一种新的方法,用于生成高性能的早期退出网络,通过共同优化的中间出口的位置,以及在推理时间的早期退出策略。此外,我们提出了一个有效的设计空间探索算法,使大量的替代架构的更快的遍历,并生成最高性能的设计,定制的用例要求和目标硬件。定量评估表明,我们的系统始终优于替代搜索机制和国家的最先进的早期退出计划在各种延迟预算。此外,它进一步推动了高度优化的手工早期退出CNN的性能,在嵌入式设备的延迟驱动SLA上,与轻量级模型相比,速度提高了5.11倍。
2020-08-10 cs.CV cs.LG
Decoupled Early Exits for Task-Dependent Compute Allocation in Flow-Matching VLAs
Politecnico di Milano(米兰理工大学);University of Edinburgh(爱丁堡大学)
提出一种在流匹配VLA中联合配置骨干深度、动作专家深度和去噪步骤的框架,通过轻量退出Transformer和KV缓存合成实现任务相关计算分配,显著降低延迟和计算量并提升成功率。
2026-09-30 cs.LG cs.RO
DE$^3$-BERT: Distance-Enhanced Early Exiting for BERT based on Prototypical Networks
School of Information Engineering, Tianjin University of Commerce(天津商业大学信息工程学院);School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);School of Artificial Intelligence and Computer Science, Nantong University(南通大学人工智能与计算机科学学院);Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);DataX Research Centre, School of Computing, Macquarie University(麦考瑞大学计算学院DataX研究中心)
DE$^3$-BERT通过结合局部和全局信息提升BERT的早期退出效果,实验表明其在不同加速比例下性能更优。
2025-12-27 cs.CL cs.LG
Accelerating Large Language Model Inference with Self-Supervised Early Exits
Fujitsu(富士通)
研究通过在中间层添加自监督早期退出头加速大语言模型推理,评估多种置信度指标,实验表明可降成本保精度,还应用于推测性解码提出DSSD,高令牌接受率且少超参数调整。
2026-07-13 cs.CL cs.LG stat.ML
Federated Learning for Collaborative Inference Systems: The Case of Early Exit Networks
SAP Labs France(SAP法国实验室);Inria(法国国家信息与自动化研究所);Huawei(华为)
针对协作推理系统中服务速率异质性问题,提出一种新型联邦学习方法,具备理论保证并在非均匀场景下超越现有最先进算法。
2024-08-21 cs.AI cs.DC cs.LG
When Less Compute Is More: Adaptive Early Exit Improves Pretrained Outlier Detection
本研究提出深度自适应早退方法,在预训练异常检测模型中通过最优中间层退出,平均提升性能4.7-7.3%,并预训练路由器实现高达1.8倍加速。
2026-09-29 cs.AI cs.LG
Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference in Low Resource Settings
Hebrew University of Jerusalem(希伯来大学);Intel Labs(英特尔实验室)
针对低资源下 Early-Exit 与 Multi-Model 自适应推理的权衡问题,提出权重分离微调方法 SWEET,在快速推理下优于两类基线并降低 NLP 推理成本。
2023-06-04 cs.AI cs.CL cs.LG
Efficient Single Object Detection on Image Patches with Early Exit Enhanced High-Precision CNNs
TU Dortmund University(多特蒙德工业大学);Robotics Research Institute(机器人研究所)
本文提出一种结合Early Exits的高精度CNN架构,用于计算受限机器人平台在复杂环境下高效检测单目标(如球),实现100%精度和近87%召回率,运行时优化超28%。
2023-09-07 cs.CV cs.LG cs.RO
Knowing When to Quit: Probabilistic Early Exits for Speech Separation
Technical University of Denmark(丹麦技术大学);WS Audiology(WS听力科技公司)
本文提出了一种具有概率早退能力的语音分离与增强神经网络架构,通过建模信号和误差方差以实现动态计算优化,提升资源利用效率。
2026-03-04 cs.LG cs.SD eess.AS
LEAP: Layer-wise Exit-Aware Pretraining for Efficient Transformer Inference
Walmart Inc.(沃尔玛公司)
LEAP通过分层退出感知预训练解决传统蒸馏与早退机制的兼容性问题,实现显著的推理加速与效率提升。
2026-05-01 cs.AI cs.CL cs.LG
Network Fission Ensembles for Low-Cost Self-Ensembles
School of Integrated Technology, Yonsei University(延世大学融合技术学院)
提出 Network Fission Ensembles (NFE) 方法,通过将传统网络转换为多出口结构实现低成本集成学习与推理,无需额外网络即可提升性能。
2025-01-29 cs.CV cs.LG
Kangaroo: Lossless Self-Speculative Decoding via Double Early Exiting
Kangaroo 是一种自推测解码框架,通过固定浅层子网络作为草稿模型并结合轻量适配器与双重提前退出机制,在减少参数的同时显著加速大语言模型推理。
2024-04-29 cs.CL cs.LG
Multimodal Adaptive Inference for Document Image Classification with Anytime Early Exiting
Microsoft(微软公司);La Rochelle Université(拉罗谢尔大学);KU Leuven(鲁汶大学)
针对视觉丰富文档理解中大型模型计算成本高的问题,提出融合多种训练策略与退出层设计的多模态早退模型,在保持基线准确率的同时将延迟降低逾20%。
2024-05-21 cs.CL cs.CV cs.LG
A Panda? No, It's a Sloth: Slowdown Attacks on Adaptive Multi-Exit Neural Network Inference
University of Maryland, College Park(马里兰大学学院公园分校);Alexandru Ioan Cuza University(亚历山德鲁·伊万·库扎大学)
最近深度神经网络(DNN)的计算需求增加,加上大多数输入样本只需要简单模型的观察结果,引发了人们对$input$ - $adaptive$多出口架构(如MSDNets或Shallow-Deep Networks)的兴趣。这些架构能够实现更快的推理,并可以将DNN带到低功耗设备,例如,物联网(IoT)。然而,这种方法提供的计算节省是否对对抗压力具有鲁棒性尚不清楚。特别地,对手可能旨在通过增加自适应DNN的平均推理时间$-$来减慢自适应DNN,这是类似于来自互联网的$denial$ - $of$ - $service$攻击的威胁。在本文中,我们通过在两个流行的图像分类基准测试(CIFAR-10和Tiny ImageNet)上使用三个通用的多出口DNN(基于VGG 16,MobileNet和ResNet 56)和一个自定义的多出口架构来对这种威胁进行系统的评估。为此,我们展示了对抗性的示例制作技术可以被修改以导致速度减慢,并且我们提出了一个度量标准来比较它们对不同架构的影响。我们发现,在典型的物联网部署中,减速攻击会将多出口DNN的效率降低90- 100%,并将延迟放大1.5-5 $\times$。我们还表明,它是可能的工艺通用的,可重复使用的扰动和攻击可以有效的现实黑盒的情况下,攻击者对受害者的知识有限。最后,我们证明了对抗性训练对减速的保护有限。这些结果表明,需要进一步的研究来保护多…
2021-02-25 cs.CR cs.LG
Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT
Guangzhou University(广州大学);Queen Mary University of London(伦敦玛丽女王大学)
在本文中,我们研究了如何在边缘支持的工业物联网网络中部署计算智能和深度学习(DL)。在该系统中,IoT设备可以协作地训练共享模型,而不会损害数据隐私。然而,由于工业物联网网络中的资源有限,包括计算能力、带宽和信道状态,许多设备都难以及时完成本地训练并将权重上传到边缘服务器。为了解决这个问题,我们提出了一种新的基于多出口的联邦边缘学习(ME-FEEL)框架,其中深度模型可以分为几个具有不同深度的子模型,并从相应子模型的出口输出预测。通过这种方式,计算能力不足的设备可以选择较早的出口,避免训练完整的模型,这可以帮助减少计算延迟,并使设备能够在延迟阈值内尽可能多地参与聚合。此外,我们提出了一个贪婪的方法为基础的出口选择和带宽分配算法,以最大限度地提高出口的总数在每个通信轮。在非独立同分布(non-IID)设置下对经典Fashion-MNIST数据集进行了仿真实验,结果表明,所提出的策略优于传统FL。特别是,所提出的ME-FEEL在资源严重有限的工业物联网网络中可以实现高达32.7%的准确率增益。
2021-10-28 cs.DC cs.LG cs.NI
Manipulating the Distributions of Experience used for Self-Play Learning in Expert Iteration
Maastricht University(马斯特里赫特大学)
ExpertIteration(ExIt)是一个有效的框架,用于从自我游戏中学习游戏策略。ExIt包括训练一个策略来模拟树搜索算法的搜索行为-例如蒙特卡罗树搜索-并使用训练的策略来指导它。然后,通过在指导树搜索算法的实例之间的自我发挥中收集的经验,策略和树搜索可以迭代地相互改进。本文概述了三种不同的方法来操纵从自我发挥收集的数据的分布,以及从收集的数据中批量学习更新的过程。首先,基于它们最初经历的情节的持续时间对批量样本进行加权。其次,在ExIt框架内应用优先经验重放,以优先考虑我们期望从中获得有价值的训练信号的采样经验。第三,一个训练有素的探索性政策是用来多样化的轨迹经历了自我发挥。本文总结了这些操作的影响,在14个不同的棋盘游戏的训练性能评估。我们发现,在一些比赛中,早期训练的表现有了很大的改善,而在14场比赛中,平均只有很小的改善。
2020-05-30 cs.AI cs.LG stat.ML