Distributed Semantic Segmentation With Improved Rate-Distortion Trade-Off
Volkswagen AG(大众汽车集团);Institute for Communications Technology TU Braunschweig(布伦瑞克工业大学通信技术研究所)
针对分布式语义分割低比特率下率失真权衡不佳的问题,提出两种新型信源码编解码器,在ADE20K、Cityscapes数据集上实现最优性能。
2026-09-01 cs.CV cs.LG
Adversarial Attacks to Latent Representations of Distributed Neural Networks in Split Computing
Institute for the Wireless Internet of Things at Northeastern University(东北大学无线物联网研究所);Air Force Research Laboratory(空军研究实验室)
该研究针对分布式DNN对抗攻击韧性研究空白,从信息论角度证明潜在维度、拆分点与鲁棒性的权衡关系,并通过多架构、多方法、多攻击的ImageNet-1K实验验证,为鲁棒分布式DNN设计提供新视角。
2025-10-01 cs.AI cs.LG
FDINet: Protecting against DNN Model Extraction via Feature Distortion Index
Zhejiang University(浙江大学);City University of Hong Kong(香港城市大学);Helmholtz Association(亥姆霍兹联合会)
本文提出FDINET防御机制,通过特征失真指数(FDI)度量查询特征分布偏差,训练检测器识别模型提取攻击及合谋攻击者,在多个数据集和模型上取得高检测准确率与高效率。
2024-10-22 cs.CR cs.LG
Slimmable Encoders for Flexible Split DNNs in Bandwidth and Resource Constrained IoT Systems
University of California, Irvine(加州大学欧文分校);Unicamp(坎皮纳斯大学)
提出基于可精简集成编码器的分割计算方法,实现计算负载与传输数据量的实时自适应调整,在压缩效率和执行时间上优于现有方案,尤其适用于弱移动设备场景。
2023-06-22 cs.LG
Accelerating Split Federated Learning over Wireless Communication Networks
South China University of Technology(华南理工大学);Guangzhou Power Supply Bureau, Guangdong Power Grid Co., Ltd., CSG(中国南方电网广东电网有限责任公司广州供电局)
针对资源受限边缘设备部署DNN困难的问题,提出结合联邦学习与分割学习的SFL框架,通过交替优化联合求解DNN分割点选择与带宽分配以最小化系统延迟,有效降低了延迟并提升了准确率。
2023-10-24 cs.LG cs.NI eess.SP
SplitQuant: Layer Splitting for Low-Bit Neural Network Quantization
The Hong Kong University of Science and Technology(香港科技大学);Nota Inc.(Nota公司)
本文提出 SplitQuant 方法,通过将可量化层拆分为三个数学等价层并对权重和偏置进行三簇聚类,在保留离群值的同时提高低比特量化分辨率,在 BERT-Tiny 上显著提升 INT2 量化精度。
2025-02-06 cs.AI cs.LG
Lossy Gradient Compression: How Much Accuracy Can One Bit Buy?
McMaster University(麦克马斯特大学);National Yang-Ming Chiao-Tung University(阳明交通大学)
在联邦学习(FL)中,通过聚合从多个远程学习者获得的模型更新来在参数服务器(PS)处训练全局模型。通常,远程用户和PS之间的通信是速率受限的,而从PS到远程用户的传输是不受约束的。FL设置引起分布式学习场景,其中来自远程学习者的更新必须被压缩,以便满足朝向PS的上行链路传输中的通信速率约束。对于这个问题,人们希望压缩模型更新,以便最小化由压缩误差导致的准确性损失。在本文中,我们采用率失真方法来解决深度神经网络(DNN)分布式训练的压缩器设计问题。特别是,我们定义了一个衡量的压缩性能下的通信速率约束-的\emph{per-bit accuracy} -这解决了最终的精度提高,一个位的通信带来的集中式模型。为了最大化每比特的准确性,我们考虑将远程学习者的DNN梯度更新建模为广义正态分布。在DNN梯度分布的假设下,我们提出了一类失真度量,以帮助设计用于压缩模型更新的量化器。我们认为,这个家庭的失真措施,我们称为“$M$ -幅度加权$L_2$“规范,抓住了从业者的直觉在梯度压缩机的选择。数值模拟提供CIFAR-10数据集验证所提出的方法。
2022-06-03 cs.IT cs.LG math.IT
Approximate Multiplier Induced Error Propagation in Deep Neural Networks
The University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
本文提出一个分析框架,用于研究近似乘法器误差对深度神经网络准确性的影响,通过统计误差矩与失真关系的建模,提供快速估算方法。
2025-12-06 cs.AR cs.LG
RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging
Datakalab(Datakalab公司);ISIR(智能系统与机器人研究所);Sorbonne Université(索邦大学)
修剪深度神经网络(DNN)是以推理运行时加速为目标的一个重要研究领域。在本文中,我们介绍了一种新的无数据剪枝协议RED++。只需要一个训练有素的神经网络,而不是特定于DNN架构,我们利用自适应无数据标量哈希表现出冗余的神经元权重值。我们研究的理论和经验的保证,从散列的准确性,以及预期的修剪率所产生的利用说冗余的保存。我们提出了一种新的DNN层的无数据修剪技术,该技术去除了输入方面的冗余操作。该算法简单,可并行化,并通过将大计算的负担转移到有效的内存访问和分配来提供DNN修剪的新视角。我们为RED++的性能提供了理论保证,并通过经验证明了其优于其他无数据修剪方法的优势,以及与ResNets,MobileNets和EfficientNets上的数据驱动方法的竞争力。
2021-09-30 cs.CV cs.LG
SplitEE: Early Exit in Deep Neural Networks with Split Computing
IIT Bombay(印度理工学院孟买分校)
本文提出SplitEE算法,在分割计算中引入早退机制,以在线无监督方式学习最优分割层与退出决策,在五个数据集上实现成本降低超50%而准确率下降不足2%。
2023-09-17 cs.AI cs.CL cs.LG
Towards Deep Neural Network Architectures Robust to Adversarial Examples
Panasonic Silicon Valley Laboratory(松下硅谷实验室);Panasonic R&D Company of America(松下美国研发公司)
最近的研究表明,深度神经网络(DNN)对输入层精心设计的小扰动或所谓的对抗性示例非常敏感。以图像为例,这种失真通常是不可感知的,但可能导致最先进的DNN的100%错误分类。我们研究了对抗性示例的结构,并探索了网络拓扑、预处理和训练策略,以提高DNN的鲁棒性。我们进行了各种实验,通过使用额外的噪声进行破坏并使用去噪自动编码器(DAE)进行预处理来评估对抗性示例的可移除性。我们发现DAE可以去除大量的对抗性噪声。然而,当将DAE与原始DNN堆叠时,所产生的网络可以再次受到新的对抗性示例的攻击,甚至失真更小。作为解决方案,我们提出了深度收缩网络,这是一种具有新的端到端训练过程的模型,其中包括受收缩自动编码器(CAE)启发的平滑惩罚。这增加了网络对对抗性示例的鲁棒性,而不会显著降低性能。
2015-04-09 cs.CV cs.LG cs.NE
M22: A Communication-Efficient Algorithm for Federated Learning Inspired by Rate-Distortion
McMaster University(麦克马斯特大学);National Yang-Ming Chiao-Tung University(国立阳明交通大学);University of Toronto(多伦多大学)
在联邦学习(FL)中,远程学习者与参数服务器(PS)之间的通信约束是一个关键的瓶颈。因此,必须压缩模型更新,以最大限度地减少通信约束导致的准确性损失。本文提出了“\emph{${\bf M}$-magnitude weighted $L_{\bf 2}$ distortion + $\bf 2$ degrees of freedom''}(M22)算法”,这是一种受率失真启发的梯度压缩方法,用于深度神经网络(DNN)的联邦训练。特别是,我们提出了一个家庭的原始梯度和重建之间的失真措施,我们称为"$M$ -幅度加权$L_2$“失真,我们假设梯度更新遵循i.i.d.分布--广义正态分布或威布尔分布,具有两个自由度。在失真度量和梯度中,每个都有一个自由参数,可以拟合为迭代次数的函数。在给定梯度分布和失真测度的情况下,我们设计了一个最小化梯度重构中期望失真的量化器。为了测量通信约束下的梯度压缩性能,我们将\emph{per-bit accuracy}定义为一位通信在训练期间给集中式模型带来的准确性的最佳改进。使用这个性能指标,我们系统地基准的梯度分布和失真措施的选择。我们提供了大量的见解,这些选择的作用,并认为显着的性能改善,可以实现使用这样的率失真启发压缩机。
2023-01-23 cs.DC cs.IT cs.LG
Out-of-Distribution Robustness in Deep Learning Compression
University of Pennsylvania(宾夕法尼亚大学)
近年来,深度神经网络(DNN)压缩系统已被证明对于设计许多自然源的源代码非常有效。然而,与许多其他机器学习系统一样,这些压缩器存在分布偏移以及分布外(OOD)数据的漏洞,这降低了它们的实际应用。在本文中,我们开始研究面向对象的鲁棒压缩。考虑到对两种类型的模糊集(Wasserstein球和组移位)的鲁棒性,我们提出了基于两种原则方法的算法和架构框架:一种是使用分布式鲁棒优化(DRO)训练DNN压缩器,另一种是使用结构化潜在代码。我们的研究结果表明,这两种方法相比于标准DNN压缩器都具有鲁棒性,并且使用结构化代码可以优于DRO压缩器。我们观察鲁棒性和失真之间的权衡,并证实这些发现理论上为一类特定的来源。
2021-10-13 cs.AI cs.IT cs.LG
Split Computing and Early Exiting for Deep Learning Applications: Survey and Research Challenges
University of California, Irvine(加利福尼亚大学欧文分校);Northeastern University(东北大学)
本文综述了分割计算与提前退出两类深度学习推理优化策略,比较代表性方法并总结精度、延迟与能耗权衡,最后提出未来研究挑战。
2022-03-25 cs.LG eess.SP
SplitBeam: Effective and Efficient Beamforming in Wi-Fi Networks Through Split Computing
Donald Bren School of Information and Computer Sciences, University of California at Irvine(加州大学欧文分校唐纳德·布伦信息与计算机科学学院);Institute for the Wireless Internet of Things, Northeastern University(东北大学无线物联网研究所)
SplitBeam通过拆分深度神经网络直接从CSI输出波束成形矩阵,并求解瓶颈优化问题,在保持误码率接近现有方法的同时,将反馈大小和计算复杂度分别降低81%和84%,且上报延迟小于10毫秒。
2023-10-12 cs.LG cs.NI eess.SP
MDM: Manhattan Distance Mapping of DNN Weights for Parasitic-Resistance-Resilient Memristive Crossbars
Harvard University(哈佛大学);Duke University(杜克大学)
MDM通过曼哈顿距离优化忆阻器交叉开关中有源单元放置,利用位级结构化稀疏性降低寄生电阻非理想性,在ImageNet-1k上使NF最多降低46%并提升ResNet模拟失真下精度平均3.6%。
2025-11-06 cs.AI cs.AR cs.ET
Lightweight compression of neural network feature tensors for collaborative intelligence
Simon Fraser University(西蒙弗雷泽大学)
在协作智能应用中,深度神经网络(DNN)的一部分部署在复杂度相对较低的设备上,例如移动电话或边缘设备,而DNN的其余部分在更多计算资源可用的地方进行处理,例如在云中。本文提出了一种新的轻量级压缩技术,专门用于对分裂DNN层的激活进行编码,同时具有适用于边缘设备的低复杂度,并且不需要任何重新训练。我们还提出了一种改进的熵约束量化器的设计算法优化裁剪激活。当应用于流行的对象检测和分类DNN时,我们能够将32位浮点激活压缩到0.6到0.8位,同时将精度损失保持在1%以下。与HEVC相比,我们发现轻量级编解码器始终提供更好的推理准确性,高达1.3%。这种轻量级压缩技术的性能和简单性使其成为在边缘/云应用的分裂神经网络中编码层激活的有吸引力的选择。
2021-05-12 cs.LG eess.IV
Split Learning in Computer Vision for Semantic Segmentation Delay Minimization
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
本文提出一种基于分割学习的方法,通过联合优化带宽分配、DNN切分层选择和服务器资源分配,有效降低资源受限设备上语义分割的推理延迟。
2024-12-18 cs.AI cs.CV cs.DC
XPipe: Efficient Pipeline Model Parallelism for Multi-GPU DNN Training
National University of Defense Technology(国防科技大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了XPipe,一种用于多GPU DNN训练的高效异步管道模型并行方法。XPipe旨在使用多个GPU来并行和连续地训练DNN模型的不同部分。为了提高GPU利用率并实现高吞吐量,它将一个小批处理拆分为一组微批处理。它允许多个微批次的管道重叠,包括属于不同小批次的管道。最重要的是,XPipe采用的新的权重预测策略使其能够有效地解决异步流水线并行引起的权重不一致和过时问题。因此,XPipe结合了同步和异步管道模型并行方法的优点。实验结果表明,XPipe的性能优于其他同步和异步模型并行方法。
2020-11-09 cs.LG cs.PF
PrivyNet: A Flexible Framework for Privacy-Preserving Deep Neural Network Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);Arm Inc.(Arm 公司)
海量数据存在于用户本地平台之间,由于计算和存储资源的限制,这些平台通常无法支持深度神经网络(DNN)训练。基于云的培训方案提供有益的服务,但由于过度收集用户数据而遭受潜在的隐私风险。为了实现基于云的DNN训练,同时保护数据隐私,我们建议利用数据的中间表示,这是通过拆分DNN并将其单独部署到本地平台和云上来实现的。局部神经网络(NN)用于生成特征表示。为了避免局部训练和保护数据隐私,局部NN来自预训练的NN。然后,基于所提取的目标学习任务的中间表示来训练云NN。我们验证DNN分裂的想法,通过表征的依赖性的隐私损失和分类精度的局部NN拓扑结构的卷积神经网络(CNN)为基础的图像分类任务。基于特征,我们进一步提出了PrivyNet来确定局部NN拓扑结构,该拓扑结构在隐私损失、局部计算和存储的约束下优化了目标学习任务的准确性。PrivyNet的效率和有效性与CIFAR-10数据集证明。
2018-01-12 cs.LG
Multi-Agent Collaborative Inference via DNN Decoupling: Intermediate Feature Compression and Edge Learning
Beijing Institute of Technology(北京理工大学);Wuhan University(武汉大学);Auburn University(奥本大学)
最近,通过协作推理部署深度神经网络(DNN)模型变得很有吸引力,该模型将预先训练的模型分成两部分,并分别在用户设备(UE)和边缘服务器上执行。然而,DNN的大的中间特征阻碍了灵活的解耦,并且现有的方法要么专注于单个UE场景,要么简单地考虑所需的CPU周期来定义任务,但忽略了单个DNN层的不可分割性。在本文中,我们研究了多智能体协作推理的情况下,一个单一的边缘服务器协调多个UE的推理。我们的目标是为所有UE实现快速和节能的推断。为了实现这一目标,我们首先设计了一个轻量级的自动编码器为基础的方法来压缩大的中间功能。然后,我们根据DNN的推理开销定义任务,并将问题表示为马尔可夫决策过程(MDP)。最后,我们提出了一个多智能体混合近端策略优化(MAHPPO)算法来解决混合行动空间的优化问题。我们在不同类型的网络上进行了大量的实验,结果表明我们的方法可以减少多达56%的推理延迟和节省高达72%的能量消耗。
2022-06-12 cs.LG
Enhancing Split Computing and Early Exit Applications through Predefined Sparsity
University of Verona(维罗纳大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出将预定义稀疏性与分割计算和早停结合,显著降低计算、存储和能耗,实验显示存储和计算复杂度减少超4倍且不影响性能。
2024-07-16 cs.CV cs.DC cs.LG
SafeSplit: A Novel Defense Against Client-Side Backdoor Attacks in Split Learning (Full Version)
Technical University of Darmstadt(达姆施塔特工业大学)
SafeSplit是针对分割学习中客户端后门攻击的首个防御方法,通过循环反向分析和双重检测(频域静态分析与旋转距离动态度量)识别并过滤恶意客户端,在保持模型效用的同时有效缓解后门攻击。
2025-02-24 cs.CR cs.DC cs.LG
Lightweight Compression of Intermediate Neural Network Features for Collaborative Intelligence
Simon Fraser University(西蒙弗雷泽大学)
在协作智能应用中,深度神经网络(DNN)的一部分部署在移动电话或边缘设备等轻量级设备上,而DNN的其余部分则在更多计算资源可用的地方(如云中)进行处理。本文提出了一种新的轻量级压缩技术,专门设计用于对分裂DNN的中间层输出的特征进行压缩,而不需要对网络权重进行任何重新训练。开发了用于估计该中间层的ReLU和泄漏ReLU激活的限幅和量化误差的数学模型,并用于计算粗量化的最佳限幅范围。我们还提出了一种改进的熵约束设计算法的量化裁剪激活。当应用于流行的对象检测和分类DNN时,我们能够将32位浮点中间激活压缩到0.6到0.8位,同时将准确性损失保持在1%以下。与HEVC相比,我们发现轻量级编解码器始终提供更好的推理准确性,高达1.3%。这种轻量级压缩技术的性能和简单性使其成为对边缘/云应用的分裂神经网络的中间层进行编码的有吸引力的选择。
2021-05-15 cs.LG eess.IV
Towards Scalable and Privacy-Preserving Deep Neural Network via Algorithmic-Cryptographic Co-design
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Macquarie University(麦考瑞大学);JZTData Technology(金智塔科技);Peking University(北京大学);East China Normal University(华东师范大学)
深度神经网络(DNN)在各种现实世界的应用中取得了显著的进展,特别是当提供了丰富的训练数据时。然而,数据隔离已成为当前的一个严重问题。现有的工作建立隐私保护DNN模型从算法的角度或密码学的角度。前者主要将DNN计算图在数据持有者之间或数据持有者与服务器之间拆分,具有良好的可扩展性,但存在准确性损失和潜在的隐私风险。相比之下,后者利用耗时的密码技术,具有很强的隐私保证,但可扩展性差。在本文中,我们提出了SPNN-一个可扩展和隐私保护的深度神经网络学习框架,从算法-密码学的角度。从算法的角度来看,我们将DNN模型的计算图分为两部分,即,由数据持有者执行的私有数据相关计算,以及委托给具有高计算能力的服务器的其余繁重计算。从加密的角度来看,我们建议使用两种类型的加密技术,即,秘密共享和同态加密,用于隔离的数据持有者私下地和合作地进行与私有数据相关的计算。此外,我们在分散的设置中实现SPNN,并引入用户友好的API。在真实数据集上的实验结果表明了SPNN的优越性。
2022-02-21 cs.CR cs.LG
Precision-aware Latency and Energy Balancing on Multi-Accelerator Platforms for DNN Inference
Politecnico di Torino(都灵理工大学);University of Bologna(博洛尼亚大学);KU Leuven(鲁汶大学)
本文提出硬件感知工具 ODiMO,通过跨加速器细粒度拆分并并行执行 DNN 层,在保持量化精度的同时优化边缘推理能耗与延迟。
2023-06-08 cs.LG
Training Latency Minimization for Model-Splitting Allowed Federated Edge Learning
China University of Mining and Technology(中国矿业大学);Brunel University London(伦敦布鲁内尔大学);University of Essex(埃塞克斯大学)
针对联邦学习中客户端算力不足的问题,提出支持模型拆分的SFL框架,通过回归转化与交替优化算法求解训练时延最小化问题,实验验证了其有效性与性能提升。
2023-07-21 cs.CY cs.DC cs.LG
FlexSA: Flexible Systolic Array Architecture for Efficient Pruned DNN Model Training
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
现代深度学习模型具有高内存和计算成本。为了使它们快速和节省内存,通常使用结构化模型修剪。我们发现,修剪模型使用一个共同的训练加速器与大型脉动阵列是非常低效的性能。为了使脉动阵列有效的修剪和训练,我们提出了FlexSA,一个灵活的脉动阵列架构。FlexSA动态地重新配置脉动阵列结构,并提供多种亚脉动操作模式,这些模式专为不同大小和形状的张量的节能和内存带宽高效处理而设计。我们还提出了一个编译启发式平铺矩阵乘法和累加操作的培训工作量,以最好地利用FlexSA的资源。根据我们的评估,与具有大型脉动阵列的传统训练加速器相比,具有所提出的编译启发式的FlexSA将修剪和训练现代CNN模型的计算资源利用率提高了37%。FlexSA还将片上数据重用提高了1.7倍,与原始脉动阵列拆分相比节省了28%的能量。
2020-04-27 cs.AR cs.LG
BottleFit: Learning Compressed Representations in Deep Neural Networks for Effective and Efficient Split Computing
University of California, Irvine(加州大学欧文分校);Northeastern University(东北大学)
虽然关键任务应用需要使用深度神经网络(DNN),但它们在移动设备上的连续执行导致能耗显著增加。虽然边缘卸载可以降低能耗,但信道质量、网络和边缘服务器负载的不稳定模式可能导致系统关键操作的严重中断。另一种称为分割计算的方法在模型中生成压缩表示(称为“瓶颈”),以减少带宽使用和能耗。先前的工作已经提出了引入额外层的方法,这不利于能耗和延迟。出于这个原因,我们提出了一个名为BottleFit的新框架,除了有针对性的DNN架构修改外,还包括一个新的训练策略,即使在压缩率很高的情况下也能实现高精度。我们将BottleFit应用于图像分类中的前沿DNN模型,并表明BottleFit在ImageNet数据集上实现了77.1%的数据压缩,准确率损失高达0.6%,而SPINN等最先进的模型准确率损失高达6%。我们通过实验测量了在NVIDIA Jetson Nano板(基于GPU)和Raspberry PI板(无GPU)上运行的图像分类应用程序的功耗和延迟。我们表明,BottleFit降低功耗和延迟分别高达49%和89%(w.r.t.)本地计算和37%和55%的w.r.t.边缘卸载我们还将BottleFit与最先进的基于自动编码器的方法进行了比较,结果表明:(i)BottleFit在Jetson上分别降低了54%和44%的功耗和执行时间,在Raspberry PI上降低了40%和62%;(ii)在移动…
2022-04-14 cs.CV cs.LG eess.IV
$Λ$-Split: A Privacy-Preserving Split Computing Framework for Cloud-Powered Generative AI
School of Engineering, Tokyo Institute of Technology(东京工业大学工程学院)
本文提出 $\Lambda$-Split 分割计算框架,通过将生成式 DNN 的输入、输出侧保留在本地、中间部分置于云端,仅传输隐藏层特征以保护提示词与生成内容隐私,并在 Llama 2 和 Stable Diffusion XL 上验证其有效性。
2023-10-23 cs.AI cs.DC cs.LG
TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training
University of Tehran(德黑兰大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM));University of Louisiana at Lafayette(路易斯安那大学拉法叶分校);School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran(德黑兰大学电气与计算机工程学院);School of Computer Sciences, Institute for Research in Fundamental Sciences (IPM), Tehran, Iran(基础科学研究所(IPM)计算机科学学院);School of Computing and Informatics, University of Louisiana at Lafayette, Lafayette, LA, USA(路易斯安那大学拉法叶分校计算与信息学院)
新兴的智能嵌入式设备依赖于深度神经网络(DNN),以便能够与现实世界的环境进行交互。这种相互作用伴随着重新训练DNN的能力,因为环境条件会随着时间不断变化。随机梯度下降(SGD)是一种广泛使用的算法,通过迭代地优化训练数据上的参数来训练DNN。在这项工作中,首先,我们提出了一种新的方法,通过将SGD算法拆分为简单的计算元素,将训练能力添加到基线DNN加速器(仅推理)。然后,基于这种启发式方法,我们提出了TaxoNN,一种用于DNN训练的轻量级加速器。TaxoNN可以通过使用时间复用方法和低位宽单元重用推理过程中使用的硬件资源来轻松调整DNN权重。我们的实验结果表明,与全精度实现相比,TaxoNN的误分类率平均高出0.97%。此外,与最先进的DNN训练加速器相比,TaxoNN提供2.1 $\times$省电和1.65 $\times$面积减少。
2020-10-11 cs.AR cs.LG cs.NE
A Novel DNN Training Framework via Data Sampling and Multi-Task Optimization
Swinburne University of Technology(斯威本科技大学)
传统的DNN训练范例通常依赖于一个训练集和一个验证集,这是通过以某种方式划分用于训练的注释数据集(即总训练集)而获得的。训练集用于训练模型,而验证集用于在训练进行时估计训练模型的泛化性能,以避免过拟合。在这一范式中存在两个主要问题。首先,由于与测试数据的潜在不匹配,验证集可能很难保证泛化性能的无偏估计。其次,训练DNN对应于解决复杂的优化问题,这很容易陷入局部最优,从而导致不期望的训练结果。为了解决这些问题,我们提出了一种新的DNN训练框架。它通过随机分割从总训练集生成多对训练集和验证集,在每对上训练预先指定结构的DNN模型,同时使有用的知识(例如,有希望的网络参数),以经由多任务优化转移到其他模型训练过程,并且输出所有训练模型中的最佳模型,其在来自所有对的验证集上具有总体最佳性能。该框架中的知识转移机制不仅可以帮助模型训练过程摆脱局部最优,从而提高训练效率,还可以通过对一个模型训练过程施加来自其他模型训练过程的隐式正则化来提高泛化性能。我们实现了所提出的框架,并行GPU集群上的实现,并将其应用到训练几个广泛使用的DNN模型。实验结果表明,所提出的框架优于传统的训练范式。
2020-07-02 cs.CV cs.LG cs.NE
Optimizing DNN Inference on Multi-Accelerator SoCs at Training-time
Politecnico di Torino(都灵理工大学)
针对多加速器异构SoC上DNN映射的精度-效率权衡问题,提出训练阶段的硬件感知工具ODiMO,通过细粒度分层拆分并行映射实现帕累托最优,大幅提升推理能效与延迟表现。
2025-02-21 cs.LG