DBS: Dynamic Batch Size For Distributed Deep Neural Network Training
Sichuan University(四川大学)
具有数据并行的同步策略,如同步随机梯度下降(S-SGD)和模型平均方法,在深度神经网络(DNN)的分布式训练中得到了广泛的应用,这主要是由于其易于实现且具有良好的性能。特别地,集群的每个工作者托管DNN的副本和具有固定minibatch大小的均匀划分的共享,以保持DNN的训练收敛。在这些策略中,由于网络传输的同步和延迟,不同计算能力的工作者需要相互等待,这必然会造成高性能工作者的计算浪费,从而导致集群的利用率相对较低.为了缓解这个问题,我们提出了动态批量(DBS)策略用于DNN的分布式训练。具体地说,首先根据上一个epoch的实际情况对每个worker的性能进行评估,然后根据worker的当前性能动态调整批大小和集群划分,从而提高集群的利用率.为了验证所提策略的有效性,进行了大量的实验,实验结果表明,所提策略能够充分利用聚类的性能,减少训练时间,对不相关任务的干扰具有良好的鲁棒性.此外,还对所提出的策略的收敛性进行了严格的理论分析.
2022-11-03 cs.DC cs.LG stat.ML
Towards Efficient Full 8-bit Integer DNN Online Training on Resource-limited Devices without Batch Normalization
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Institute of Technology(北京理工大学);Capital Medical University(首都医科大学);Tsinghua University(清华大学)
卷积和批量归一化(BN)带来的巨大计算成本给深度神经网络(DNN)的在线训练和相应应用带来了巨大挑战,特别是在资源有限的设备中。现有的工作只集中在卷积或BN加速,没有解决方案可以缓解这两个问题,令人满意的性能。在线训练在手机等资源有限的设备上逐渐成为一种趋势,但仍然没有一个完整的技术方案具有可接受的模型性能,处理速度和计算成本。在这项研究中,提出了一个有效的在线训练量化框架,称为EOQ相结合的Fixup初始化和DNN模型压缩和加速的一种新的量化方案。基于所提出的框架,我们已经成功地实现了全8位整数网络训练,并在大规模DNN中去除了BN。特别地,权重更新首次被量化为8位整数。利用一种新的块动态等距理论,在较弱的假设条件下,对利用固定初始化去除BN的EOQ进行了进一步的理论分析。基于EOQ的全8位网络由于采用了合理的量化策略,且不需要BN,因此可以达到最高的精度,同时在计算量和处理速度上也有很大的优势。更重要的是,深度学习芯片的设计可以大大简化,因为BN中没有不友好的平方根运算。除此之外,已经证明EOQ在具有较少批次样本的小批次在线训练中更有优势。综上所述,EOQ框架是专门为降低网络训练中卷积和BN的高成本而设计的,展示了在线训练在资源有限设备中的广阔应用前景。
2021-05-27 cs.LG
XPipe: Efficient Pipeline Model Parallelism for Multi-GPU DNN Training
National University of Defense Technology(国防科技大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了XPipe,一种用于多GPU DNN训练的高效异步管道模型并行方法。XPipe旨在使用多个GPU来并行和连续地训练DNN模型的不同部分。为了提高GPU利用率并实现高吞吐量,它将一个小批处理拆分为一组微批处理。它允许多个微批次的管道重叠,包括属于不同小批次的管道。最重要的是,XPipe采用的新的权重预测策略使其能够有效地解决异步流水线并行引起的权重不一致和过时问题。因此,XPipe结合了同步和异步管道模型并行方法的优点。实验结果表明,XPipe的性能优于其他同步和异步模型并行方法。
2020-11-09 cs.LG cs.PF
Salted Inference: Enhancing Privacy while Maintaining Efficiency of Split Inference in Mobile Computing
Nokia Bell Labs(诺基亚贝尔实验室)
针对分割推理中云端可见 DNN 输出导致的隐私问题,本文提出 Salted DNNs,让边缘端控制输出语义,并在图像与传感器数据上保持接近标准 DNN 的准确率和效率。
2024-01-19 cs.DC cs.LG
An efficient and flexible inference system for serving heterogeneous ensembles of deep neural networks
TotalEnergies SE(道达尔能源公司);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心)
深度神经网络(DNN)的集成已经实现了定性预测,但它们是计算和内存密集型的。因此,要求它们用可用的计算资源来回答繁重的请求工作量的需求正在增长。与最近关于推理服务器和推理框架的举措不同,这些举措专注于单个DNN的预测,我们提出了一个新的软件层,以提供DNN的灵活性和效率。我们的推理系统设计了几个技术创新。首先,我们提出了一个新的过程来找到设备(CPU或GPU)和DNN实例之间的良好分配矩阵。它连续运行最差拟合以将DNN分配到存储器设备中,并运行贪心算法以优化分配设置并加速集成。其次,我们设计的推理系统基于多个进程异步运行:搜索,预测和组合规则与一个有效的内部通信方案,以避免开销。实验表明,在极端情况下的灵活性和效率:它成功地服务于12个重DNN到4个GPU的合奏,相反,一个单一的DNN多线程到16个GPU。它还优于简单的基线,包括优化DNN的批量大小,在图像分类任务上加速高达2.7倍。
2022-08-30 cs.DC cs.LG
CONTINUER: Maintaining Distributed DNN Services During Edge Failures
Queen’s University Belfast(贝尔法斯特女王大学);University of St Andrews(圣安德鲁斯大学)
跨边缘节点划分和部署深度神经网络(DNN)可以用于满足应用的性能目标。然而,单个节点的故障可能导致连锁故障,这将对服务的交付产生不利影响,并将导致无法实现特定目标。这些故障的影响需要在运行时最小化。本文研究了三种技术,即重新划分、提前退出和跳过连接。当边缘节点发生故障时,重新分区技术将重新分区和重新部署DNN,从而避免故障节点。早期退出技术提供了在故障节点之前退出(早期)的请求。跳过连接技术通过跳过故障节点来动态路由请求。本文将利用准确性、端到端延迟和停机时间方面的权衡,在边缘节点发生故障时,根据用户定义的目标(准确性、延迟和停机时间阈值)选择最佳技术。为此,开发了Continuer。该框架的两个关键活动是在使用分布式DNN技术时估计准确性和延迟,并选择最佳技术。在基于实验室的实验测试平台上证明,CONTINUER在使用这些技术时估计准确度和延迟,平均误差分别不超过0.28%和13.06%,并选择合适的技术,其开销不超过16.82毫秒,准确度高达99.86%。
2022-04-25 cs.DC cs.LG
Nonlinear Conjugate Gradients For Scaling Synchronous Distributed DNN Training
Apple Inc.(苹果公司)
与传统的基于梯度下降的优化算法相比,基于非线性共轭梯度(NLCG)的优化算法具有更好的损失收敛特性。然而,在深度神经网络(DNN)训练中,选择的主要优化算法仍然是随机梯度下降(SGD)及其变体。在这项工作中,我们提出并评估了用于大规模DNN训练任务的随机预处理非线性共轭梯度算法。我们发现,非线性共轭梯度算法提高了DNN训练的收敛速度,特别是在大型小批量场景中,这对于将同步分布式DNN训练扩展到大量工作者至关重要。我们展示了如何在NLCG预处理器中有效地使用二阶信息来提高DNN训练收敛性。对于ImageNet分类任务,在超过65 k的超大型小批量时,NLCG优化器能够将Resnet-50模型的标准训练的top-1准确率提高10个百分点以上。对于CIFAR-100分类任务,在超过16 k的超大型小批量时,NLCG优化器能够将Resnet-32模型的标准训练提高15个百分点以上,用于200个epoch。
2019-11-20 cs.LG stat.ML
Batch Uniformization for Minimizing Maximum Anomaly Score of DNN-based Anomaly Detection in Sounds
NTT Media Intelligence Laboratories(NTT媒体情报实验室);NTT Communication Science Laboratories(NTT通信科学实验室)
使用自动编码器(AE)作为正常模型是用于声音中的无监督异常检测(ADS)的最先进技术。AE被训练以最小化小批量中正常声音的异常分数的样本平均值。这种方法的一个问题是罕见正常声音的异常分数变得高于频率正常声音的异常分数,因为样本均值受到频率正常样本的强烈影响,导致优先降低频率正常样本的异常分数。为了减少频繁和罕见的正常声音的异常分数,我们提出了批量均匀化,一种用于无监督ADS的训练方法,用于最小化小批量中每个样本的异常分数的加权平均值。我们使用每个样本的概率密度的倒数作为权重,更直观地,对于稀有正常声音给出了较大的权重。这样的权重用于为频繁正常声音和罕见正常声音两者给出恒定的异常分数。由于概率密度是未知的,我们估计它通过使用核密度估计每个训练小批量。验证和客观的实验表明,所提出的批量均匀化提高了无监督ADS的性能。
2019-07-19 cs.LG cs.SD eess.AS
Why Batch Normalization Damage Federated Learning on Non-IID Data?
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳市大数据研究院);Tongji University(同济大学)
本文针对非独立同分布数据下批量归一化损害联邦学习性能的问题,首次从理论上解释了其梯度偏差导致收敛变慢偏置的机制,提出逐层参数聚合的FedTAN算法,实验验证其性能优于现有基线。
2023-11-09 cs.DC cs.LG
Batch-normalized joint training for DNN-based distant speech recognition
Montreal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所(MILA))
改进远距离语音识别是实现灵活的人机界面的关键一步。然而,当前的技术仍然表现出缺乏鲁棒性,特别是当满足不利的声学条件时。尽管在过去几年中在语音增强和语音识别方面都取得了显著的进展,但是现有技术的一个潜在限制在于组成不匹配的模块,因为它们没有被联合训练。为了解决这个问题,一种有前途的方法包括将语音增强和语音识别深度神经网络连接起来,并联合更新它们的参数,就好像它们在一个更大的网络中一样。不幸的是,联合训练可能是困难的,因为语音增强系统的输出分布可能在优化过程期间发生实质性变化。语音识别模块将不得不处理非平稳和非标准化的输入分布。为了缓解这个问题,我们提出了一种基于完全批量归一化架构的联合训练方法。使用不同的数据集,任务和声学条件进行的实验表明,所提出的框架显着超过其他竞争解决方案,特别是在具有挑战性的环境中。
2017-03-24 cs.CL cs.LG
Stochastic Whitening Batch Normalization
LG Electronics Canada(LG电子加拿大公司);LG Electronics USA(LG电子美国公司)
批量归一化(BN)是一种用于训练深度神经网络(DNN)的流行技术。BN使用缩放和移位来规范化小批量的激活,以加速收敛并提高泛化能力。最近提出的迭代归一化(IterNorm)方法通过使用牛顿方法迭代地白化激活来改善这些特性。然而,由于牛顿方法在每个训练步骤中独立地对白化矩阵进行迭代,因此在连续步骤之间没有共享信息。在这项工作中,而不是在每个时间步的白化矩阵的精确计算,我们估计它逐渐在训练过程中以在线的方式,使用我们提出的随机白化批量归一化(SWBN)算法。我们表明,虽然SWBN提高了DNN的收敛速度和泛化能力,但其计算开销低于IterNorm。由于所提出的方法的高效率,它可以很容易地在大多数DNN架构与大量的层。我们提供了全面的实验和BN,IterNorm和SWBN层之间的比较,以证明所提出的技术在传统的(多镜头)图像分类和Few-Shot分类任务的有效性。
2021-06-03 cs.CV cs.LG
A New Perspective for Understanding Generalization Gap of Deep Neural Networks Trained with Large Batch Sizes
Spire Global(斯派尔全球);Post Luxembourg(卢森堡邮政);University of Luxembourg(卢森堡大学)
深度神经网络(DNN)通常使用各种形式的小批量梯度下降算法来优化。小批量梯度下降的一个主要动机是,通过适当选择的批量大小,可以最佳地利用(包括并行化)可用的计算资源进行快速模型训练。然而,许多作品报告了当训练批量大小增加超过一定限度时,模型泛化能力的逐渐丧失。这是一个通常被称为泛化差距的场景。虽然一些工作提出了不同的方法来缓解推广差距的问题,一个统一的解释理解推广差距仍然缺乏文献。这一点尤其重要,因为最近的研究发现,针对泛化缺口问题提出的几种解决方案,如学习率缩放和增加训练预算,并没有真正解决这个问题。因此,本文的主要论述是调查并提供新的视角,以研究大批量训练的DNN的泛化损失来源。我们的分析表明,大的训练批量会导致单元激活(即输出)张量的近秩损失增加,从而影响模型优化和泛化。使用CIFAR-10、CIFAR-100、Fashion-MNIST和MNIST数据集对流行的DNN模型(如VGG-16、残差网络(ResNet-56)和LeNet-5)进行了广泛的实验验证。
2022-10-21 cs.CV cs.LG
Efficient and Robust Parallel DNN Training through Model Parallelism on Multi-GPU Platform
深度神经网络(DNN)的训练过程是计算密集型的,通常需要数天到数周的时间来训练DNN模型。因此,在GPU上并行执行DNN训练是当今广泛采用的加速过程的方法。由于实现简单,数据并行是目前最常用的并行化方法。然而,由于GPU之间频繁的权重同步,数据并行遭受过多的GPU间通信开销。另一种方法是流水线模型并行,它在GPU之间划分DNN模型,并并发处理多个小批。与数据并行相比,该方法可以显著降低GPU间通信成本。然而,流水线模型并行面临着权重陈旧的问题;也就是说,梯度是用陈旧的权重计算的,导致训练不稳定和精度损失。在本文中,我们提出了一种流水线模型并行执行方法,使高GPU利用率,同时保持强大的训练精度,通过一种新的权重预测技术,SpecTrain。实验结果表明,我们的建议实现了高达8.91倍的加速比相比,在4-GPU平台上的数据并行,同时保持可比的模型精度。
2019-10-28 cs.DC cs.LG
GraphPipe: Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism
NVIDIA(英伟达);UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Stanford University(斯坦福大学)
针对现有流水线并行忽略DNN拓扑错失模型并行机会的问题,本文提出图流水线并行方案并开发GraphPipe系统,通过保留DNN拓扑实现算子并发,较现有系统性能最高提升1.6倍、搜索时间缩短9-21倍。
2024-10-28 cs.AI cs.DC cs.LG
Revisiting Batch Normalization For Practical Domain Adaptation
Peking University(北京大学);TuSimple(图森未来);SenseTime(商汤科技)
深度神经网络(DNN)在各种计算机视觉应用中取得了前所未有的成功,例如图像分类和目标检测。然而,在训练阶段仍然是一个常见的烦恼,人们必须准备至少数千个标记图像来微调网络到特定的域。最近的研究(Tommasi et al. 2015)表明,DNN对训练数据集具有很强的依赖性,并且如果不进行微调,学习到的特征不能轻易地转移到不同但相关的任务中。在本文中,我们提出了一种简单而强大的补救措施,称为自适应批量归一化(AdaBN),以提高DNN的泛化能力。通过调整网络中所有批量归一化层的统计信息,我们的方法实现了领域自适应任务的深度自适应效果。与其他深度学习领域自适应方法相反,我们的方法不需要额外的组件,并且是无参数的。它的档案国家的最先进的性能,尽管其令人惊讶的简单。此外,我们证明了我们的方法是与其他现有的方法的补充。将AdaBN与现有的领域自适应处理相结合可以进一步提高模型性能。
2016-11-08 cs.CV cs.LG
Batch Kalman Normalization: Towards Training Deep Neural Networks with Micro-Batches
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong(香港中文大学);SenseTime Group Ltd.(商汤集团有限公司)
作为一个不可或缺的组件,批量归一化(BN)通过对每个隐藏层的内部表示的分布进行归一化,成功地改进了具有小批量的深度神经网络(DNN)的训练。然而,BN的有效性将随着微批量的场景(例如,小批量中少于10个样本),因为小批量中的估计统计量在样本不足的情况下不可靠。在本文中,我们提出了一种新的归一化方法,称为批量卡尔曼归一化(BKN),用于改进和加速DNN的训练,特别是在微批量的背景下。具体来说,与现有的解决方案将每个隐藏层视为孤立系统不同,BKN将网络中的所有层视为一个整体系统,并通过考虑其所有先前层的分布来估计某个层的统计数据,模仿卡尔曼滤波的优点。BKN有两个吸引人的特性。首先,与以前的作品相比,它可以实现更稳定的训练和更快的收敛。其次,使用BKN训练DNN的性能明显优于使用BN及其变体的DNN,特别是当呈现非常小的小批量时。在ImageNet的图像分类基准测试中,使用BKN驱动的网络,我们改进了最佳发布的模型动物园结果:InceptionV 2的top-1 val准确率达到74.0%。更重要的是,使用BKN可以以极小的批量实现相当的准确性,例如在CIFAR-10/100上小64倍,在ImageNet上小8倍。
2018-02-28 cs.CV cs.LG stat.ML
CATERPILLAR: Coarse Grain Reconfigurable Architecture for Accelerating the Training of Deep Neural Networks
Stanford University(斯坦福大学);Cerebras Systems
加速经过训练的DNN的推理是一个很好的研究课题。在本文中,我们将重点转向DNN的训练。训练阶段是计算密集型的,需要复杂的数据通信,并且包含多级数据依赖性和并行性。本文提出了一种高效加速器的算法/架构空间探索,以实现更好的网络收敛速度和更高的能量效率来训练DNN。我们进一步证明,集体通信语义的分层支持的架构提供了灵活性,在训练各种网络执行随机和批量梯度下降为基础的技术。我们的研究结果表明,较小的网络有利于非批处理技术,而较大的网络的性能更高,使用批处理操作。在45纳米技术下,CATERPILLAR在小型网络上的SGD训练中实现了177 GFLOPS/W的性能效率,利用率超过80%,在较大网络上的流水线SGD/CP训练中实现了211 GFLOPS/W的性能效率,利用率超过90%,总面积分别为103.2 mm $^2$和178.9 mm $^2$。
2017-06-08 cs.DC cs.LG cs.NE
ReCycle: Resilient Training of Large DNNs using Pipeline Adaptation
Stanford University(斯坦福大学)
针对大规模DNN训练中频繁故障导致吞吐量下降的问题,提出ReCycle系统,利用数据并行冗余和流水线气泡动态重路由微批次,并通过反向传播解耦与优化器步骤交错避免同步,实现无需备用服务器的容错训练,吞吐量最高比Oobleck和Bamboo提升1.64倍。
2024-09-25 cs.DC cs.LG
Improve SGD Training via Aligning Mini-batches
Computer Science, Wayne State University(韦恩州立大学计算机科学(系))
用于监督学习的深度神经网络(DNN)可以被视为特征提取器(即最后隐藏层)和线性分类器(即输出层)的流水线,其与随机梯度下降(SGD)联合训练。在SGD的每次迭代中,对来自训练数据的小批量进行采样,并且将损失函数的真实梯度估计为在该小批量上计算的噪声梯度。从特征学习的角度来看,特征提取器应该被更新以学习关于整个数据的有意义的特征,并减少对小批量中的噪声的适应。出于这个动机,我们提出了训练中分布匹配(ITDM)来改进DNN训练并减少过拟合。具体地,连同损失函数,ITDM通过匹配SGD的每次迭代中的不同小批次的分布的矩来正则化特征提取器,这通过最小化最大均值差异来实现。因此,ITDM不假设潜在特征空间中数据分布的任何显式参数形式。大量的实验证明了我们提出的策略的有效性。
2020-02-27 cs.LG stat.ML
Large Batch Simulation for Deep Reinforcement Learning
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);Intel Labs(英特尔实验室);University of Southern California(南加利福尼亚大学);Simon Fraser University(西蒙菲莎大学)
我们在视觉复杂的3D环境中将基于深度强化学习的训练速度提高了两个数量级,在单个GPU上实现了每秒超过19,000帧的端到端训练速度,在单个八GPU机器上达到每秒72,000帧。我们的方法的核心思想是设计一个3D渲染器和具身导航模拟器周围的“批处理模拟”的原则:同时接受和执行大批量的请求。除了一次暴露大量工作之外,批处理模拟允许实现在许多模拟请求中分摊场景资产的内存存储、渲染工作、数据加载和同步成本,从而显著提高每个GPU的模拟代理数量和整体模拟吞吐量。为了平衡DNN推理和训练成本与更快的模拟,我们还建立了一个计算效率高的策略DNN,以保持高任务性能,并修改训练算法,以保持样本效率时,训练大的小批量。通过结合批处理模拟和DNN性能优化,我们证明了PointGoal导航代理可以在1.5天内在单个GPU上在复杂的3D环境中进行训练,其准确率为使用64 GPU集群在三天内训练的现有最先进系统的97%。我们提供了批处理3D渲染器和模拟器的开源参考实现,以促进将这些想法纳入RL系统。
2021-03-12 cs.AI cs.CV cs.GR
Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing
Yale University(耶鲁大学)
本文研究模拟存内计算交叉开关阵列中寄生电阻、随机读取噪声和时间漂移等非理想特性对点积运算的失真影响,提出通过实时微调批归一化参数实现近乎免训练的噪声缓解方法,从而降低 DNN 噪声感知重训练的硬件成本。
2023-05-28 cs.ET cs.LG
Double Forward Propagation for Memorized Batch Normalization
South China University of Technology(华南理工大学)
批量归一化(BN)是设计深度神经网络(DNN)的标准组件。虽然标准BN可以显著加速DNN的训练并提高泛化性能,但它有几个潜在的限制,可能会妨碍训练和推理的性能。在训练阶段,BN依赖于使用单个minibatch估计数据的均值和方差。因此,当批量非常小或数据采样不佳时,BN可能不稳定。在推理阶段,BN经常使用所谓的移动均值和移动方差来代替批量统计,即,BN中的训练和推理规则不一致。对于这些问题,我们提出了一个记忆的批量归一化(MBN),它考虑了多个最近的批次,以获得更准确和强大的统计。请注意,每个批次的SGD更新后,模型参数将发生变化,特征也将相应变化,从而导致所考虑批次的更新前后出现分布偏移。为了缓解这个问题,我们提出了一个简单的双前向计划MBN,可以进一步提高性能。与相关方法相比,所提出的MBN表现出一致的行为,在训练和推理。实验结果表明,采用Double-Forward方法训练的MBN模型大大降低了数据的敏感性,并显著提高了泛化性能。
2020-10-10 cs.CV cs.LG
SmoothOut: Smoothing Out Sharp Minima to Improve Generalization in Deep Learning
University of Pittsburgh(匹兹堡大学);University of Nevada – Reno(内华达大学雷诺分校);HP Labs(惠普实验室)
在深度学习中,随机梯度下降(SGD)由于其效率而通常被选择作为训练方法,然而,最近SGD中的一个问题引起了研究兴趣:深度神经网络(DNN)中的尖锐极小值具有较差的泛化能力,特别是,大批量SGD倾向于收敛到尖锐极小值。逃避尖锐极小值是否能提高泛化能力成为一个悬而未决的问题。为了回答这个问题,我们提出了SmoothOut框架来平滑DNN中的尖锐极小值,从而提高泛化能力。简而言之,SmoothOut通过噪声注入扰乱DNN的多个副本,并对这些副本进行平均。将噪声注入到SGD中在文献中被广泛使用,但SmoothOut在很多方面有所不同:(1)在参数更新之前应用去噪过程;(2)噪声强度适应滤波器范数;(3)从锐度和泛化的角度对噪声注入的优势进行另一种解释;(4)使用均匀噪声而不是高斯噪声。我们证明了SmoothOut可以消除尖锐极小点。训练多个DNN副本是低效的,我们进一步提出了一个无偏的随机SmoothOut,它只引入了每批噪声注入和去噪的开销。SmoothOut的自适应变体AdaSmoothOut也被提出来提高泛化能力。在各种实验中,SmoothOut和AdaSmoothOut在小批量和大批量训练中始终提高了最先进解决方案的泛化能力。
2018-12-02 cs.LG stat.ML
Diagnosing Batch Normalization in Class Incremental Learning
Xi’an Jiaotong University(西安交通大学);The Macau University of Science and Technology(澳门科技大学)
广泛的研究已经将深度神经网络(DNN)应用于类增量学习(Class-IL)中。作为DNN的构建块,批量归一化(BN)对中间特征图进行了优化,并已被广泛验证以提高训练稳定性和收敛性。然而,我们认为在类IL模型中直接使用标准BN对表示学习和分类器训练都是有害的,从而加剧了灾难性遗忘。在本文中,我们调查的影响BN类IL模型,说明这样的BN困境。我们进一步提出BN技巧来解决这个问题,通过训练一个更好的特征提取器,同时消除分类偏差。在不引入额外超参数的情况下,我们将BN技巧应用于三种基于基线排练的方法,ER,DER++和iCaRL。通过对Seq-CIFAR-10、Seq-CIFAR-100和Seq-Tiny-ImageNet的基准数据集进行的综合实验,我们表明BN技巧可以为所有采用的基线带来显着的性能提升,揭示了其在这一研究领域的潜在通用性。
2022-02-16 cs.CV cs.LG
BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning
Centre Borelli(博雷利中心);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);GE HealthCare(GE医疗);ENSIIE(法国国立高等计算机、电子能源及机械自动化工程师学校)
针对异构联邦学习中批量归一化导致 SCAFFOLD 等方差缩减算法性能下降的问题,本文提出 BN-SCAFFOLD,将客户端漂移校正扩展至 BN 统计量,在保持低通信成本的同时达到与 FedTAN 相当的性能。
2024-10-04 cs.LG
The Architectural Implications of Facebook's DNN-based Personalized Recommendation
Harvard University(哈佛大学);Facebook Inc.(脸书公司)
深度学习的广泛应用改变了数据中心的计算格局。特别地,用于内容排名的个性化推荐现在主要利用深度神经网络来实现。然而,尽管这些模型的重要性和它们消耗的计算周期的量,相对较少的研究注意力已经投入到推荐系统。为了促进研究并促进对这些工作负载的理解,本文提出了一组用于个性化推荐的真实世界,生产规模的DNN,以及用于评估的相关性能指标。除了发布一组开源工作负载外,我们还进行了深入分析,以支持未来的系统设计和大规模推荐优化:在三代英特尔服务器中,推理延迟的变化幅度为60%,推理的并行和协同定位可以大幅提高延迟限制的吞吐量,推荐模型的多样化组合导致不同的优化策略。
2020-02-15 cs.DC cs.LG
Beyond BatchNorm: Towards a Unified Understanding of Normalization in Deep Learning
University of Michigan(密歇根大学);Stanford University(斯坦福大学);NTT Research, Inc.(NTT研究院)
受BatchNorm的启发,深度学习中的规范化层出现了爆炸式增长。最近的工作已经确定了BatchNorm中的许多有益特性来解释其成功。然而,考虑到对替代规范化层的追求,这些属性需要被泛化,以便可以准确地预测任何给定层的成功/失败。在这项工作中,我们通过将随机初始化的深度神经网络(DNN)中BatchNorm的已知属性扩展到最近提出的几个规范化层来朝着这个目标迈出第一步。我们的主要发现如下:(i)类似于BatchNorm,基于激活的规范化层可以防止ResNets中激活的指数增长,但参数化技术需要明确的补救措施;(ii)使用GroupNorm可以确保信息向前传播,不同的样本被分配不同的激活,但增加组大小会导致不同样本的激活越来越难以区分,这解释了LayerNorm模型中的缓慢收敛速度;以及(iii)小的组大小导致较早层中的大梯度范数,因此解释了实例归一化中的训练不稳定性问题,并说明了GroupNorm中的速度-稳定性权衡。总的来说,我们的分析揭示了一组统一的机制,这些机制支撑了深度学习中规范化方法的成功,为我们系统地探索DNN规范化层的巨大设计空间提供了指南针。
2021-10-26 cs.CV cs.LG
Stochastic Weight Averaging in Parallel: Large-Batch Training that Generalizes Well
UC Berkeley(加州大学伯克利分校);Apple Inc.(苹果公司)
我们提出了并行随机权重平均(SWAP),这是一种加速DNN训练的算法。我们的算法使用大的小批量来快速计算近似解,然后通过对独立和并行计算的多个模型的权重进行平均来细化。由此产生的模型与那些用小批量训练的模型一样通用,但在更短的时间内生成。我们在计算机视觉数据集CIFAR10、CIFAR100和ImageNet上证明了训练时间的减少和所得模型的良好泛化性能。
2020-01-07 cs.LG stat.ML
Efficient Strong Scaling Through Burst Parallel Training
MIT(麻省理工学院)
随着新兴深度神经网络(DNN)模型的规模不断增长,使用大型GPU集群来训练DNN正成为实现可接受的训练时间的基本要求。在本文中,我们考虑的情况下,未来的集群大小的增加将导致全球批量大小,可用于训练模型达到一个基本的限制:超过一定的点,更大的全球批量大小导致样本效率下降,增加整体时间的准确性。因此,为了进一步提高训练性能,我们必须考虑“强缩放”策略,保持全局批量大小不变,并将较小的批量分配给每个GPU。不幸的是,这使得有效地使用集群资源变得更加困难。我们提出了DeepPool,一个通过两个关键思想来解决这一效率挑战的系统。首先,突发并行性将大量GPU分配给突发中的前台作业,以利用跨层并行性的不均匀性。其次,GPU多路复用优先考虑前台训练作业的吞吐量,同时打包后台训练作业以回收未充分利用的GPU资源,从而提高整个集群的利用率。这两个想法使DeepPool能够在集群规模较大的情况下,通过单个任务实现比标准数据并行提高1.2 - 2.3倍的集群总吞吐量。
2022-05-23 cs.CV cs.DC cs.LG
On the Relation Between the Sharpest Directions of DNN Loss and the SGD Step Length
Jagiellonian University(雅盖隆大学);Mila / University of Montreal(Mila / 蒙特利尔大学);Facebook AI Research(Facebook人工智能研究院);Ruhr University Bochum(波鸿鲁尔大学);University of Edinburgh(爱丁堡大学)
具有大学习率或小批量的神经网络的基于随机梯度下降(SGD)的训练通常在权重空间的良好泛化的平坦区域中结束,如训练损失的Hessian的小特征值所指示的。然而,沿着SGD轨迹的曲率知之甚少。实证研究表明,初始SGD访问越来越尖锐的区域,达到最大的尖锐度决定的学习率和批量的SGD。当研究SGD动力学在这个初始阶段的最尖锐的方向,我们发现,SGD步骤是大的曲率相比,通常无法最大限度地减少损失沿最尖锐的方向。此外,在这些方向上使用降低的学习率可以提高训练速度,同时与vanilla SGD相比,可以获得更清晰和更好的泛化解决方案。总之,我们对SGD在最尖锐方向的子空间中的动态分析表明,它们影响SGD转向的区域(较大的学习率或较小的批量大小导致访问更广泛的区域),整体训练速度以及最终模型的泛化能力。
2019-12-23 cs.LG stat.ML
Ecomap: Sustainability-Driven Optimization of Multi-Tenant DNN Execution on Edge Servers
School of Electrical, Computer and Biomedical Engineering, Southern Illinois University(南伊利诺伊大学电气、计算机与生物医学工程学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出可持续性驱动框架Ecomap,通过动态调整功率阈值、采用混合质量模型替换重负载DNN及transformer估计器优化工作负载映射,在保证延迟和功耗效率的同时显著降低边缘服务器碳排放。
2025-03-06 cs.DC cs.LG cs.PF
How Does Batch Normalization Help Optimization?
MIT(麻省理工学院)
批量归一化(BatchNorm)是一种广泛采用的技术,可以更快、更稳定地训练深度神经网络(DNN)。尽管BatchNorm很普遍,但其有效性的确切原因仍然知之甚少。流行的观点是,这种有效性源于在训练期间控制层的输入分布的变化,以减少所谓的“内部协变量偏移”。在这项工作中,我们证明了这种层输入的分布稳定性与BatchNorm的成功关系不大。相反,我们发现了BatchNorm对训练过程的一个更根本的影响:它使优化环境变得更加平滑。这种平滑性导致梯度的预测性和稳定性更高,从而允许更快的训练。
2019-04-15 cs.LG cs.NE stat.ML
Efficient Bayesian Updates for Deep Active Learning via Laplace Approximations
University of Kassel(卡塞尔大学)
本文提出通过拉普拉斯近似实现高效的贝叶斯更新,用于深度主动学习中的批次选择,提高计算效率并改进模型更新性能。
2026-03-11 cs.LG
L1-Norm Batch Normalization for Efficient Training of Deep Neural Networks
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
批量归一化(BN)已被证明在加速和改进深度神经网络(DNN)的训练方面非常有效。然而,BN带来额外的计算,消耗更多的内存,并且通常会大幅减慢训练过程,这会减少训练工作量。此外,BN中的非线性平方和根运算也阻碍了低位宽量化技术,这引起了深度学习硬件社区的广泛关注。在这项工作中,我们提出了一个L1范数BN(L1 BN),在训练过程中的前向和后向传播都只有线性操作。L1 BN被证明是近似等于原来的L2-范数BN(L2 BN)乘以一个缩放因子。在各种卷积神经网络(CNN)和生成对抗网络(GANs)上的实验表明,与L2 BN相比,L1 BN保持了几乎相同的精度和收敛速度,但具有更高的计算效率。在FPGA平台上,L1 BN中的正负号运算和绝对运算与原来的平方运算和开方运算相比,分别获得了1.5 $\times$的加速比和50%的功耗节省.这种硬件友好的归一化方法不仅在速度上超过了L2 BN,而且简化了ASIC加速器的硬件设计,具有更高的能量效率。最后但并非最不重要的是,L1 BN承诺完全量化的DNN训练,这对未来的自适应终端设备至关重要。
2018-02-27 cs.LG
Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training
Meta AI (FAIR)(Meta AI(FAIR));École polytechnique(巴黎综合理工学院);Université Paris Dauphine(巴黎多芬大学)
本文研究了Noisy-SGD中的隐式偏差,发现随机性而非裁剪是导致大批次训练性能下降的原因,且额外噪声会放大该偏差,为改进大批次差分隐私训练提供了理论依据。
2024-02-13 cs.LG stat.ML
Maintaining and Managing Road Quality:Using MLP and DNN
University of Johannesburg(约翰内斯堡大学)
本研究使用MLP、DNN、逻辑回归和KNN等机器学习模型对道路图像进行分类,以自动评估道路质量,其中KNN结合特征工程效果最佳,旨在实现自动化道路监测以节省维护成本并提升安全性。
2024-05-25 cs.LG
vDNN: Virtualized Deep Neural Networks for Scalable, Memory-Efficient Neural Network Design
NVIDIA(英伟达)
使用最广泛的机器学习框架需要用户仔细调整其内存使用,以便深度神经网络(DNN)适合GPU的DRAM容量。这种限制阻碍了研究人员研究不同机器学习算法的灵活性,迫使他们要么使用不太理想的网络架构,要么在多个GPU上并行处理。我们提出了一个运行时内存管理器,虚拟化DNN的内存使用,使GPU和CPU内存可以同时用于训练更大的DNN。我们的虚拟化DNN(vDNN)将AlexNet的平均GPU内存使用量减少了89%,OverFeat减少了91%,GoogLeNet减少了95%,这大大降低了DNN的内存需求。在VGG-16上进行的类似实验,VGG-16是迄今为止最深和内存饥饿的DNN之一,证明了我们的建议的内存效率。vDNN使批量大小为256(需要28 GB内存)的VGG-16能够在包含12 GB内存的单个NVIDIA Titan X GPU卡上进行训练,与具有足够内存容纳整个DNN的假设Oracle GPU相比,性能损失18%。
2016-07-28 cs.DC cs.LG cs.NE
FPDeep: Scalable Acceleration of CNN Training on Deeply-Pipelined FPGA Clusters
深度神经网络(DNN)已经彻底改变了许多应用,但对更高性能的需求仍然有增无减。将DNN计算扩展到更大的集群通常是通过使用分布式同步SGD等方法以批处理模式分发任务来完成的。这种方法的问题之一是,为了使分布式集群以高利用率工作,分配给每个节点的工作负载必须很大,这意味着SGD小批量大小的增长非常重要。在本文中,我们提出了一个名为FPDeep的框架,它使用模型和层并行的混合配置分布式可重构集群训练DNN。这种方法有许多好处。首先,该设计不受批量增长的影响。第二,新的工作负载和权重划分导致节点之间的负载平衡。第三,整个系统是一个细粒度的管道。这导致了高并行性和利用率,并且还最小化了在等待反向传播时需要缓存的时间。因此,存储需求降低到只有片上存储器用于卷积层的程度。我们使用Alexnet、VGG-16和VGG-19基准测试来评估FPDeep。实验结果表明,FPDeep对大量FPGA具有良好的可扩展性,限制因素是FPGA到FPGA的带宽。每个FPGA有6个收发器,FPDeep的线性度高达83个FPGA。能源效率是相对于GOP/J进行评估的。FPDeep的能源效率平均比同类GPU服务器高6.36倍。
2020-06-21 cs.AR cs.DC cs.LG
Sequence Training of DNN Acoustic Models With Natural Gradient
Cambridge University(剑桥大学)
深度神经网络(DNN)声学模型通常使用区分序列训练,其优化比基于帧的训练更好地近似单词出错率(WER)的目标函数。序列训练通常使用随机梯度下降(SGD)或Hessian Free(HF)训练来实现。本文提出了一种替代批处理风格的优化框架,采用自然梯度(NG)的方法来遍历参数空间。通过根据KL发散的局部曲率校正梯度,NG优化过程比HF更快地收敛。此外,所提出的NG方法可以应用于任何序列判别训练标准。NG方法的有效性使用多类型广播(MGB)转录任务上的实验来显示,该任务展示了所得到的DNN模型的计算效率和准确性。
2018-04-06 cs.CL cs.LG stat.ML
An Effective Label Noise Model for DNN Text Classification
Wayne State University(韦恩州立大学);Interactions Digital Roots
由于大型的人工标注数据集存在标记错误,因此能够在存在标签噪声的情况下训练深度神经网络至关重要。虽然带有标签噪声的图像分类模型的训练受到了广泛的关注,但训练文本分类模型却没有受到关注。在本文中,我们提出了一种训练深度网络的方法,该方法对标签噪声具有鲁棒性。这种方法引入了一个非线性处理层(噪声模型),它将标签噪声的统计数据建模到卷积神经网络(CNN)架构中。噪声模型和CNN权重是从有噪声的训练数据中联合学习的,这防止了模型过拟合到错误的标签。通过在几个文本分类数据集上的广泛实验,我们表明这种方法使CNN能够学习更好的句子表示,即使对极端的标签噪声也是鲁棒的。我们发现,适当的初始化和正则化的噪声模型是至关重要的。此外,通过对比的结果集中在大批量大小减轻标签噪声的图像分类,我们发现,改变批量大小并没有太大的影响分类性能。
2019-03-18 cs.CL cs.IR cs.LG
Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning
Calculation Consulting(Calculation Consulting公司);ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
随机矩阵理论(RMT)应用于分析深度神经网络(DNN)的权重矩阵,包括生产质量、预训练模型(例如AlexNet和Inception)以及从头开始训练的较小模型,例如LeNet 5和微型AlexNet。经验和理论结果清楚地表明,DNN训练过程本身隐含地实现了一种形式的自正则化。DNN层矩阵的经验谱密度(ESD)显示了传统正则化统计模型的特征,即使在没有外生指定传统形式的显式正则化的情况下。基于RMT中相对较新的结果,最值得注意的是其扩展到重尾矩阵的普遍性类,我们开发了一种理论来识别5+1训练阶段,对应于隐式自正则化的增加量。这些阶段可以在训练过程中以及最终学习的DNN中观察到。对于较小和/或较旧的DNN,这种隐式自正则化就像传统的Tikhonov正则化,因为存在将信号与噪声分离的“大小尺度”。然而,对于最先进的DNN,我们发现了一种新的重尾自正则化形式,类似于无序系统统计物理中的自组织。这是由于在所有大小尺度上产生的相关性,这是由于训练过程本身而隐含地产生的。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象,我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。这表明,在其他条件相同的情况下,具有较大批量的DNN优化会导致隐式正则化模型不太好,并为泛化间隙现象提供了解释。
2018-10-02 cs.LG stat.ML
Is the Meta-Learning Idea Able to Improve the Generalization of Deep Neural Networks on the Standard Supervised Learning?
Computer Science Department State University of New York at Binghamton(纽约州立大学宾汉姆顿分校计算机科学系)
为了在不引入更多参数的情况下获得更好的性能,已经在提高深度神经网络(DNN)的泛化能力方面做出了大量努力。另一方面,元学习方法在少样本学习中对新任务表现出强大的泛化能力。直观的、少样本学习比标准的监督学习更具挑战性,因为每个目标类只有很少的训练样本或没有训练样本。由此产生的自然问题是,元学习思想是否可以用于提高DNN在标准监督学习上的泛化能力。在本文中,我们提出了一种新的基于元学习的DNN训练过程(MLTP),并证明了元学习的想法确实可以提高DNN的泛化能力。MLTP通过将一批训练样本视为一个任务来模拟元训练过程。其关键思想是,用于提高当前任务性能的梯度下降步骤也应该提高新的任务性能,这被当前用于训练神经网络的标准过程所忽略。MLTP还受益于所有现有的训练技术,如dropout、权重衰减和批量归一化。我们通过在三个基准数据集上训练各种小型和大型神经网络来评估MLTP,即,CIFAR-10、CIFAR-100和Tiny ImageNet。实验结果表明,在所有不同大小的DNN上,泛化性能都得到了一致的提高,这验证了MLTP的承诺,并证明了元学习思想确实能够提高DNN在标准监督学习上的泛化能力。
2020-02-27 cs.CV cs.LG stat.ML
Weight Rescaling: Effective and Robust Regularization for Deep Neural Networks with Batch Normalization
City University of Hong Kong(香港城市大学)
在具有批量归一化的深度神经网络(BN-DNN)的训练实践中,权重衰减通常用于确保良好的泛化,其中由于归一化,一些卷积层对于权重重新缩放是不变的。在本文中,我们证明了权重衰减的实际使用仍然有一些未解决的问题,尽管现有的理论工作解释的权重衰减在BN-DNN的效果。一方面,当使用非自适应学习率(例如,具有动量的SGD)时,有效学习率甚至在初始训练阶段之后继续增加,这导致许多神经架构中的过拟合效应。另一方面,在SGDM和自适应学习率优化器(如Adam)中,权重衰减对泛化的影响对超参数非常敏感。因此,找到最佳权重衰减参数需要广泛的参数搜索。为了解决这些弱点,我们建议使用一个简单而有效的权重重新缩放(WRS)计划作为权重衰减的替代方案,规范的权重范数。WRS通过显式地将其重新缩放为单位范数来控制权重范数,这防止了梯度的大幅增加,但也确保了足够大的有效学习率以提高泛化能力。在图像分类、目标检测、语义分割和人群计数等多种计算机视觉应用中,与权重衰减、隐式权重重缩放(权重标准化)和梯度投影(AdamP)相比,WRS具有更好的有效性和鲁棒性。
2022-06-18 cs.LG stat.ML
Profile-guided memory optimization for deep neural networks
National Institute of Informatics(国立信息学研究所);IBM Research – Tokyo(IBM东京研究院)
近年来,深度神经网络(DNN)变得越来越广泛和深入,以在许多AI应用中实现更好的性能。然而,这样的DNN需要大量的存储器来存储权重和中间结果(例如,激活、特征图等)in propagation传播.这一要求使得DNN难以在内存有限、难以扩展的设备上运行,降低了运行时间性能,并限制了网络模型的设计。我们通过开发一种新的配置文件引导的内存优化来解决这一挑战,以在DNN中的传播过程中高效快速地分配内存块。该优化方法基于二维矩形布局问题,采用了一种简单快速的启发式算法。与著名的神经网络模型的实验,我们证实,我们的方法不仅减少了内存消耗高达$49.5\%$,但也加快了训练和推理的四个因素由于内存分配的速度和使用更大的小批量大小的能力。
2018-04-26 cs.AI cs.DC cs.LG
Batch-less stochastic gradient descent for compressive learning of deep regularization for image denoising
Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院);CNRS(法国国家科学研究中心);IMB(波尔多数学研究所)
针对图像去噪中深度正则化学习计算负担大的问题,提出两种适配压缩学习框架的无批次SGD变体,可从高度压缩数据库恢复参数,性能优于原有低维方法且有收敛保证,可用于基于块的图像去噪。
2023-10-02 cs.CV cs.IT cs.LG
Latency-Constrained DNN Architecture Learning for Edge Systems using Zerorized Batch Normalization
School of Computer Science and Engineering(计算机科学与工程学院);Nanyang Technological University(南洋理工大学);HP-NTU Digital Manufacturing Corporate Lab(HP-NTU数字制造企业实验室);Department of Computer Science(计算机科学系);Norwegian University of Science and Technology(挪威科学技术大学);HP Inc.(惠普公司)
针对边缘系统中深度学习应用的延迟问题,提出面向延迟的神经网络学习方法,引入延迟预测器,经实验验证该方法能在满足延迟约束时实现高精度,且在多个数据集和设备上有良好表现,还开源了框架。
2026-07-09 cs.CV cs.LG
Integrated Model, Batch and Domain Parallelism in Training Neural Networks
UC Berkeley(加州大学伯克利分校);Lawrence Berkeley Lab(劳伦斯伯克利实验室)
我们提出了一种新的集成方法,利用模型,批处理和域并行性,使用小批量随机梯度下降(SGD)在大型分布式内存计算机上训练深度神经网络(DNN)。我们的目标是找到一个有效的并行化策略,一个固定的批量大小使用$P$进程。我们的方法的灵感来自于数值线性代数中的通信避免算法。我们将$P$流程在逻辑上划分为一个$P_r \times P_c$网格,其中$P_r$维隐式地负责模型/域并行性,而$P_c$维隐式地负责批处理并行性。在实践中,集成的基于矩阵的并行算法自动封装这些类型的并行性。我们分析了通信复杂性,并分析表明,最低的通信成本往往既不与纯模型,也不与纯数据并行。我们还展示了如何域并行方法可以帮助在扩展的理论规模限制的典型的批处理并行方法。
2018-05-16 cs.LG stat.ML
Intraclass clustering: an implicit learning ability that regularizes DNNs
ICTEAM, Université catholique de Louvain(天主教鲁汶大学 ICTEAM 学院);FNRS(比利时国家科学研究基金会)
一些研究表明,深度神经网络泛化性能背后的正则化机制仍然知之甚少。在本文中,我们假设深度神经网络通过其在类的样本中提取有意义的聚类的能力而被正则化。这是一种隐性的正规化形式,因为没有针对这种行为的明确培训机制或监督。为了支持我们的假设,我们根据训练数据的神经元级和层级表示设计了四种不同的类内聚类度量。然后,我们表明,这些措施构成了准确的预测泛化性能的变化,一个大的超参数集(学习率,批量大小,优化器,权重衰减,辍学率,数据增强,网络深度和宽度)。
2021-03-11 cs.AI cs.CV cs.LG
Large-Batch Training for LSTM and Beyond
Google(谷歌);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校)
大批量训练方法使研究人员能够利用大规模分布式处理,并大大加快了深度神经网络(DNN)的训练。例如,通过将批量大小从256扩展到32K,研究人员已经能够将ResNet50在ImageNet上的训练时间从29小时减少到2.2分钟(Ying等人,2018年)。在本文中,我们提出了一种新的方法,称为线性历元逐步预热(LEGW),以更好地进行大批量训练。通过LEGW,我们能够使用Sqrt Scaling方案对CNN和RNN进行大批量训练。LEGW使得Sqrt Scaling方案在实践中是有用的,因此我们实现了比线性Scaling学习率方案更好的结果。对于LSTM应用程序,我们能够将批量大小扩展到64倍,而不会失去准确性,也不会调整超参数。对于CNN应用程序,即使我们将批量大小扩展到32K,LEGW也能够实现相同的精度。LEGW比以前的大批量自动调优技术工作得更好。LEGW在相同硬件上的四个基于LSTM的应用程序的基线上实现了5.3倍的平均加速比。我们还提供了一些理论解释LEGW。
2019-01-24 cs.LG stat.ML
Study on the Large Batch Size Training of Neural Networks Based on the Second Order Gradient
Institute of Microelectronics of the Chinese Academy of Sciences(中国科学院微电子研究所)
深度神经网络(DNN)中的大批量训练具有众所周知的“泛化间隙”,该间隙显著地导致泛化性能下降。然而,目前还不清楚不同的批量大小如何影响NN的结构。在这里,我们将理论与实验相结合,探索基本结构特性的演变,包括梯度,参数更新步长,和损失更新步长的神经网络在不同的批量大小。我们提供了新的指导,以提高泛化,这是进一步验证了两个设计的方法,涉及丢弃小损失样本和调度批量大小。提出了一种基于曲率的学习率(CBLR)算法,以更好地拟合神经网络各层的曲率变化(影响大批量训练的敏感因素)。作为CBLR的一种近似,中值曲率LR算法(MLR)被发现获得与分层自适应速率缩放(LARS)算法相当的性能。我们的理论结果和算法提供了基于几何的解释现有的研究。此外,我们证明了层明智的LR算法,例如LARS,可以被视为CBLR的特殊情况。最后,我们推导出大批量训练的理论几何图像,并表明所有网络参数都倾向于集中在其相关的最小值。
2020-12-16 cs.AI cs.LG
Adversarial training with informed data selection
Universidade Federal do Rio de Janeiro(里约热内卢联邦大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
随着可用数据量的增加和计算能力的进步,深度神经网络(DNN)已成功用于解决包括医疗保健、气候和金融在内的各个领域的挑战性任务。然而,最先进的DNN容易受到原始图像的准不可察觉的扰动版本的影响-对抗性示例。网络输入的这些扰动可能会在错误决策可能直接影响人类生活的关键领域导致灾难性的影响。对抗性训练是保护网络免受这些恶意攻击的最有效的解决方案。然而,对抗性训练的网络通常具有较低的精确度和较高的计算复杂性。本文提出了一种数据选择(DS)策略应用于小批量训练。基于交叉熵损失,选择批次中最相关的样本来更新反向传播中的模型参数。仿真结果表明,该算法在鲁棒性和标准精度方面取得了较好的折衷,同时降低了反向传播通道的计算复杂性。
2023-01-07 cs.LG
Full-Graph vs. Mini-Batch Training: Comprehensive Analysis from a Batch Size and Fan-Out Size Perspective
The University of Hong Kong(香港大学);Ant Group(蚂蚁集团)
本文从批量大小和Fan-Out大小角度系统比较了全图与小批量GNN训练方法,通过实证和理论分析揭示了批量大小和Fan-Out大小对模型收敛和泛化的影响,为超参数调优提供指导。
2026-05-17 cs.LG
Online Deep Learning: Learning Deep Neural Networks on the Fly
深度神经网络(DNN)通常在批量学习设置中通过反向传播进行训练,这需要在学习任务之前使整个训练数据可用。这对于许多现实世界的场景来说是不可扩展的,在这些场景中,新数据以流的形式顺序到达。我们的目标是解决“在线深度学习“(ODL)的开放挑战,以便在在线环境中动态学习DNN。不像传统的在线学习经常相对于浅模型(例如,线性/基于核的假设),ODL明显更具挑战性,因为DNN目标函数的优化是非凸的,并且常规的反向传播在实践中不能很好地工作,特别是对于在线学习设置。在本文中,我们提出了一个新的在线深度学习框架,试图通过在在线学习环境中从一系列训练数据中学习自适应深度的DNN模型来应对挑战。特别是,我们提出了一种新的对冲反向传播(HBP)方法,用于有效地在线更新DNN的参数,并验证了我们的方法在大规模数据集上的有效性,包括静态和概念漂移场景。
2017-11-10 cs.LG
S-SGD: Symmetrical Stochastic Gradient Descent with Weight Noise Injection for Reaching Flat Minima
Seoul National University(首尔大学)
随机梯度下降(SGD)方法最广泛地用于深度神经网络(DNN)训练。然而,该方法并不总是收敛到一个平坦的最小值的损失表面,可以表现出高的泛化能力。权重噪声注入已被广泛研究,以寻找平坦的最小值使用SGD方法。我们设计了一种新的基于权重噪声注入的SGD方法,该方法将对称噪声添加到DNN权重中。使用对称噪声的训练评估两个相邻点处的损失表面,由此可以避免收敛到尖锐的最小值。添加固定幅度的对称噪声以最小化训练不稳定性。该方法与传统的SGD方法和以前的加权噪声注入算法使用卷积神经网络的图像分类进行了比较。特别是,在大批量训练的性能改进证明。与传统的SGD和加权噪声注入方法相比,无论批量大小和学习率调度算法如何,该方法都表现出优越的性能。
2020-09-05 cs.LG stat.ML