Hierarchical Federated Learning in Wireless Networks: Pruning Tackles Bandwidth Scarcity and System Heterogeneity
North Carolina State University（北卡罗来纳州立大学）；University of Southern California（南加州大学）；Zhejiang University（浙江大学）
本文针对无线网络中的带宽稀缺和系统异构性，提出启用剪枝的分层联邦学习（PHFL），通过联合优化剪枝比率、CPU频率和传输功率以最小化收敛上界，并利用SCA解决非凸问题，仿真验证了其在准确率、时间、能耗和带宽上的有效性。
2024-03-24 cs.LG cs.NI cs.SY
Joint Model Pruning and Resource Allocation for Wireless Time-triggered Federated Learning
Department of Engineering, King’s College London（伦敦国王学院工程系）
本文针对无线时间触发联邦学习中的设备增长与带宽受限问题，提出联合优化模型剪枝比例与带宽分配的方法，通过收敛性分析推导闭式解，实现通信成本降低40%且保持收敛性能。
2024-08-03 cs.IT cs.LG math.IT
Joint Routing and Model Pruning for Decentralized Federated Learning in Bandwidth-Constrained Multi-Hop Wireless Networks
School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（信息与通信工程学院，北京邮电大学）
本文提出联合路由与剪枝框架，通过优化路由路径和剪枝率，在通信资源受限下提升去中心化联邦学习的收敛性能。
2026-03-16 cs.LG cs.NI
Zebra: Memory Bandwidth Reduction for CNN Accelerators With Zero Block Regularization of Activation Maps
National Chiao Tung University（国立交通大学）
本地缓冲区和外部DRAM之间的大量内存带宽已经成为CNN硬件加速器的加速瓶颈，特别是对于激活图。为了减少内存带宽，我们提出了学习修剪不重要的块动态零块正则化的激活映射（斑马）。该策略计算量小，易于与其他剪枝方法集成，提高了性能。实验结果表明，该方法结合网络瘦身技术，在精度下降1%，精度提高2%的情况下，可以将Tiny-Imagenet上Resnet-18的内存带宽减少70%.
2022-05-02 cs.AR cs.CV cs.LG
Dynamic Runtime Feature Map Pruning
高带宽要求是加速深度神经网络训练和推理的障碍。大多数以前的研究集中在减少核映射的大小进行推理。我们分析了六个流行的卷积神经网络- AlexNet，MobileNet，ResNet-50，SqueezeNet，TinyNet和VGG 16的参数稀疏性。在所考虑的网络中，使用ReLU的网络（AlexNet，SqueezeNet，VGG 16）包含很高比例的0值参数，并且可以静态修剪。在某些情况下，具有非ReLU激活函数的网络可能不包含任何0值参数（ResNet-50，TinyNet）。我们还调查了运行时特征图的使用情况，发现当使用深度卷积和点卷积时，输入特征图构成了大部分带宽需求。我们介绍了动态运行时修剪的特征图，并表明，10%的动态特征图执行可以删除而不损失的准确性。然后，我们扩展了动态修剪，以允许在0的范围内的值，并显示进一步减少5%的特征图加载与1%的损失的准确性在前1。
2019-04-02 cs.CV cs.LG
CodedReduce: A Fast and Robust Framework for Gradient Aggregation in Distributed Learning
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Southern California（南加利福尼亚大学）
我们专注于常用的同步梯度下降范式的大规模分布式学习，有越来越多的兴趣，开发高效和强大的梯度聚合策略，克服两个关键的系统瓶颈：通信带宽和掉队者的延迟。特别地，已经提出了Ring-AllReduce（RAR）设计，以通过允许每个工作者仅与布置在逻辑环中的其邻居通信来避免任何特定节点处的带宽瓶颈。另一方面，最近已经提出了梯度编码（GC），以减轻在主-工人拓扑中的掉队者，通过允许精心设计的冗余分配的数据集的工人。我们提出了一个联合通信拓扑设计和数据集分配策略，命名为CodedReduce（CR），结合了RAR和GC的优点。也就是说，它并行的树拓扑结构，导致有效的带宽利用率的通信，并仔细设计了一个冗余的数据集分配和编码策略的节点，使所提出的梯度聚合计划的强大的掉队者。特别是，我们量化的通信并行化增益和弹性的建议CR计划，并证明其最优性时，通信拓扑结构是一个规则的树。此外，我们的CR的预期运行时间的特点，并显示顺序明智的加速比基准计划。最后，我们通过Amazon EC2实证评估了我们提出的CR设计的性能，并证明它分别比基准GC和RAR实现了高达27.2倍和7.0倍的加速比。
2021-09-29 cs.DC cs.IT cs.LG
Improving Device-Edge Cooperative Inference of Deep Learning via 2-Step Pruning
Tsinghua University（清华大学）；Hitachi (China) Research & Development Cooperation（日立（中国）研究开发有限公司）
深度神经网络（DNN）是许多机器学习应用的最先进的解决方案，并且已经在移动设备上广泛使用。在资源受限的移动设备上运行DNN通常需要边缘服务器通过计算卸载提供帮助。然而，由于移动设备上的计算资源与无线资源之间的紧密相互作用，通过带宽受限的无线链路进行卸载是不平凡的。现有的研究集中在合作推理，DNN模型划分在不同的神经网络层，这两个部分分别在移动终端和边缘服务器上执行。由于DNN层的输出数据大小可能大于原始数据的大小，因此在有限的无线带宽下，卸载层之间的中间数据可能遭受高传输延迟。在本文中，我们提出了一个有效和灵活的两步修剪框架，用于移动设备和边缘服务器之间的DNN分区。在我们的框架中，DNN模型只需要在训练阶段修剪一次，迭代地删除不重要的卷积滤波器。通过限制修剪区域，我们的框架可以大大减少设备的无线传输工作量或总的计算工作量。在训练阶段生成一系列修剪模型，框架可以从中自动选择以满足不同的延迟和准确性要求。此外，增加了对中间数据的编码，以提供额外的传输工作量减少。实验结果表明，与不进行剪枝的DNN模型相比，该框架在传输负载上最多可减少25.6 $\times$，在总计算量上最多可减少6.01 $\times$，在端到端延迟上最多可减少4.81 $\times$.
2019-03-08 cs.LG cs.NI
A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出MPFL算法，将剪枝掩码协同融入联邦学习迭代流程，通过低维掩码与共识掩码降低通信成本，并实验验证其优于现有方法且开源软件包。
2023-12-06 cs.AI cs.DC cs.LG
FlexSA: Flexible Systolic Array Architecture for Efficient Pruned DNN Model Training
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
现代深度学习模型具有高内存和计算成本。为了使它们快速和节省内存，通常使用结构化模型修剪。我们发现，修剪模型使用一个共同的训练加速器与大型脉动阵列是非常低效的性能。为了使脉动阵列有效的修剪和训练，我们提出了FlexSA，一个灵活的脉动阵列架构。FlexSA动态地重新配置脉动阵列结构，并提供多种亚脉动操作模式，这些模式专为不同大小和形状的张量的节能和内存带宽高效处理而设计。我们还提出了一个编译启发式平铺矩阵乘法和累加操作的培训工作量，以最好地利用FlexSA的资源。根据我们的评估，与具有大型脉动阵列的传统训练加速器相比，具有所提出的编译启发式的FlexSA将修剪和训练现代CNN模型的计算资源利用率提高了37%。FlexSA还将片上数据重用提高了1.7倍，与原始脉动阵列拆分相比节省了28%的能量。
2020-04-27 cs.AR cs.LG
PruneTrain: Fast Neural Network Training by Dynamic Sparse Model Reconfiguration
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Duke University（杜克大学）
视觉应用中使用的最先进的卷积神经网络（CNN）具有带有许多权重的大型模型。训练这些模型是非常计算和内存资源密集型的。人们已经做了很多关于修剪或压缩这些模型以降低推理成本的研究，但很少有工作涉及训练成本。我们专注于加速培训。我们提出了PruneTrain，这是一种具有成本效益的机制，可以在训练过程中逐渐降低训练成本。PruneTrain使用结构化的组套索正则化方法，将训练优化推向高精度和小权重值。然后可以通过将网络模型重新配置为较小的模型来定期删除小权重。通过使用我们引入的结构化修剪方法和额外的重新配置技术，修剪后的模型仍然可以在GPU加速器上有效地处理。总体而言，PruneTrain通过将FLOP计算成本降低40%，内存带宽绑定层的内存访问减少37%，加速器间通信减少55%，将ResNet50的ImageNet端到端训练时间减少39%。
2019-12-09 cs.LG stat.ML
GST: Group-Sparse Training for Accelerating Deep Reinforcement Learning
KAIST（韩国科学技术院）
深度强化学习（DRL）在顺序决策问题中取得了显着的成功，但要获得如此良好的性能需要很长的训练时间。许多并行和分布式DRL训练方法已经被提出来解决这个问题，但它是很难利用它们在资源有限的设备。为了加速真实世界边缘设备中的DRL，必须解决由于大权重事务而导致的内存带宽瓶颈。然而，以前的迭代修剪不仅在训练开始时显示出较低的压缩比，而且使DRL训练不稳定。为了克服这些缺点，我们提出了一种新的权重压缩方法，称为组稀疏训练（GST）的DRL训练加速。GST选择性地利用块循环压缩来在DRL训练的所有迭代期间保持高权重压缩比，并通过奖励感知修剪来动态适应目标稀疏性以进行稳定训练。由于这些特性，GST在具有TD 3训练的Mujoco Halfcheetah-v2和Mujoco humanoid-v2环境中实现了比没有奖励下降的迭代修剪方法高25 \%p $\sim$ 41.5 \%p的平均压缩比。
2021-01-24 cs.LG
HetCCL: Enabling Collective Communication For Mixed-Vendor Heterogeneous Clusters
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
提出HetCCL框架，通过高效P2P传输和边界通信器机制，在异构集群中实现跨供应商的集体通信，消除主机-设备内存拷贝开销，并优化带宽利用率。
2026-05-29 cs.LG cs.NI
Learned Gradient Compression for Distributed Deep Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec
在包含高维数据的大型数据集上训练深度神经网络需要大量的计算。这个问题的一个解决方案是数据并行分布式训练，其中模型被复制到几个可以访问不同数据块的计算节点中。然而，这种方法需要高的通信速率和延迟，因为计算的梯度需要在每次迭代时在节点之间共享。在节点之间存在无线通信的情况下（即，由于有限的网络带宽），该问题变得更加明显。为了解决这个问题，已经提出了各种压缩方法，包括稀疏化、量化和梯度的熵编码。现有方法利用节点内信息冗余，即它们独立地压缩每个节点处的梯度。相反，我们主张跨节点的梯度是相关的，并提出了利用这种节点间冗余来提高压缩效率的方法。根据节点通信协议（参数服务器或环allreduce），我们提出了两个实例的LGC方法，我们硬币学习梯度压缩（LGC）。我们的方法利用自动编码器（即在分布式训练的第一阶段进行训练）来捕获分布式节点梯度中存在的共同信息。我们已经使用不同的卷积神经网络（ResNet50，ResNet101，PSPNet）和多个数据集（ImageNet，Cifar10，CamVid）在图像分类和语义分割任务上测试了我们的LGC方法。在Cifar 10上训练的用于图像分类的ResNet 101模型达到了93.57%的准确率，这比使用未压缩梯度的基线分布式训练仅低0.18%。
2021-03-17 cs.AI cs.DC cs.LG
Characterizing Deep Learning Training Workloads on Alibaba-PAI
Alibaba Group（阿里巴巴集团）；The University of Hong Kong（香港大学）
现代深度学习模型已经在各个领域得到了利用，包括计算机视觉（CV）、自然语言处理（NLP）、搜索和推荐。在实际的人工智能集群中，训练这些模型的工作负载使用TensorFlow、Caffe、PyTorch和CNTK等软件框架运行。有效运行实际人工智能云的一个关键问题是描述这些工作负载的计算和数据传输需求，更重要的是，在给定底层软件框架和硬件配置的情况下，培训性能。在本文中，我们描述了阿里巴巴人工智能（PAI）平台的深度学习训练工作负载。我们建立了一个分析框架，调查使用不同的训练架构的各种工作负载的详细执行时间分解，以确定性能瓶颈。结果表明，训练期间的权重/梯度通信平均占用了所有工作负载总执行时间的近62%。计算部分，涉及GPU计算和内存访问，并不是基于工作负载集体行为的最大瓶颈。我们进一步评估各种潜在的软件/硬件映射的工作负载的可达到的性能，并探讨软件架构选择和硬件配置的影响。我们发现，当将60%的PS/Worker工作负载移植到AllReduce架构时，可以利用高速NVLink进行GPU互连，并且当以太网带宽从25 Gbps升级到100 Gbps时，平均可以实现1.7倍的加速。
2019-10-14 cs.LG cs.PF
Tuning Collective Patterns to Alleviate Congestion in Shared AI Clusters
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Meta；IBM Research（IBM研究院）
针对共享AI集群的外部拥塞问题，提出基于NCCL垫片层的REACT系统，通过调整通信集体模式缓解拥塞，在实测和模拟中均实现显著性能提升。
2026-09-07 cs.DC cs.LG cs.NI
Minimum Variance Unbiased N:M Sparsity for the Neural Gradients
Habana Labs（哈巴纳实验室）；Intel（英特尔）；Technion（以色列理工学院）
本文提出针对神经梯度的无偏最小方差 N:M 稀疏化掩码，解决传统 MSE 最小化在梯度剪枝中失效的问题，并验证 1:2 与 2:4 稀疏化在多数训练场景下已足够，从而加速训练。
2024-06-09 cs.AI cs.LG
GHOST: Unmasking Phantom States in Mamba2 via Grouped Hidden-state Output-aware Selection & Truncation
Rice University（里士满大学）
GHOST通过分组隐藏状态输出感知选择与截断，实现Mamba2中状态维度的高效剪枝，减少50%的状态维度并保持模型性能
2026-02-11 cs.AI cs.LG cs.SY
Minimal Random Code Learning: Getting Bits Back from Compressed Model Parameters
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）
虽然深度神经网络是一个非常成功的模型类，但它们的大内存占用对能源消耗、通信带宽和存储需求造成了相当大的压力。因此，减少模型大小已成为深度学习的终极目标。一种典型的方法是训练一组确定性权重，同时应用某些技术，如修剪和量化，以便经验权重分布变得符合香农式编码方案。然而，如本文所示，放松权重确定性并在权重上使用全变分分布可以实现更有效的编码方案，从而实现更高的压缩率。特别地，遵循经典的位回参数，我们使用随机样本对网络权重进行编码，仅需要与采样变分分布和编码分布之间的库尔贝克-莱布勒散度对应的位数。通过对库尔贝克-莱布勒散度施加约束，我们能够显式地控制压缩率，同时优化训练集上的预期损失。所采用的编码方案可以被证明是接近最佳的信息理论的下限，相对于所采用的变分家庭。我们的方法在神经网络压缩中设置了新的最先进的技术，因为它在Pareto意义上严格优于以前的方法：在基准LeNet-5/MNIST和VGG-16/CIFAR-10上，我们的方法在固定内存预算下产生了最佳的测试性能，反之亦然，它在固定的测试性能下实现了最高的压缩率。
2018-09-30 cs.LG stat.ML
Generative and Discriminative Deep Belief Network Classifiers: Comparisons Under an Approximate Computing Framework
University of California, San Diego（加利福尼亚大学圣迭戈分校）
将深度学习硬件算法用于嵌入式应用的特点是存在挑战，例如设备功耗的限制、标记数据的可用性以及用于在云服务器上频繁训练的有限互联网带宽。为了实现低功耗实现，我们考虑针对嵌入式设备分类任务的深度学习算法（称为判别式深度信念网络（DDBN））的有效位宽减少和修剪。我们训练DDBN生成和歧视性目标下的近似计算框架和分析其功率在性能的监督和半监督的应用程序。我们还调查了DDBN的分布性能时，推理数据具有相同的类结构，但统计上不同的训练数据，由于动态实时操作环境。基于我们的分析，我们提供了新的见解和建议，选择训练目标，位宽值，和准确性的敏感性相对于标记的数据量，以实现DDBN推理与最低功耗的嵌入式硬件平台上的精度公差。
2021-01-31 cs.AI cs.CV cs.LG
Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization
Georgia Institute of Technology（佐治亚理工学院）；Cisco Inc.（思科公司）；University of Oxford（牛津大学）；Meta Inc.（元公司）；Google Inc.（谷歌公司）
针对深度学习训练检查点的存储开销问题，提出动态量化压缩框架Inshrinkerator，通过非均匀量化、动态配置搜索和量化感知的增量压缩机制，在保持准确率的同时实现了高达39倍的压缩率。
2024-10-12 cs.LG
