D-QRELO: Training- and Data-Free Delta Compression for Large Language Models via Quantization and Residual Low-Rank Approximation
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));TeleAI of China Telecom(中国电信TeleAI);The Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学)
本文提出DQRELO方法,通过量化和残差低秩近似实现大型语言模型的delta压缩,解决大规模数据训练导致的压缩误差问题,提升压缩效果和实用性。
2026-04-18 cs.AI cs.LG
NeuZip: Memory-Efficient Training and Inference with Dynamic Compression of Neural Networks
University of Alberta(阿尔伯塔大学);Borealis AI(博雷亚利斯人工智能公司)
提出基于浮点数熵的权重压缩方案 NeuZip,在不损失性能的前提下显著降低神经网络训练与推理的内存占用。
2024-10-28 cs.AI cs.LG stat.ML
LoCo: Low-Bit Communication Adaptor for Large-scale Model Training
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学);Sea AI Lab(Sea AI实验室)
针对低比特梯度通信压缩导致训练质量下降的问题,提出LoCo适配器,通过历史补偿误差移动平均估计当前压缩误差并补偿梯度,兼容通用优化器与分片策略,理论证明不影响收敛速度,实验提升训练速度14%-40%且无性能损失。
2024-11-29 cs.LG math.OC
The curious case of developmental BERTology: On sparsity, transfer learning, generalization and the brain
Cerebras Systems(Cerebras系统公司)
在这篇文章中,我们通过大语言模型、迁移学习和网络压缩来探索深度学习和神经科学之间的交叉点。就像感知和认知神经生理学启发了有效的深层神经网络架构,这反过来又为理解大脑提供了一个有用的模型一样,在这里,我们探索生物神经发育如何激发有效和强大的优化程序,这反过来又可以作为大脑成熟和衰老的有用模型。
2020-07-07 cs.CL cs.LG q-bio.NC
Learning is Forgetting: LLM Training As Lossy Compression
Princeton University(普林斯顿大学);Cohere
本文提出LLM训练可视为有损压缩过程,通过保留训练数据中与目标相关的信息,揭示模型表示结构与下游性能的联系。
2026-04-08 cs.AI cs.CL cs.IT
SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training
Qwen Team, Alibaba Inc.(通义实验室,阿里公司);MBZUAI;KAUST(卡士大学)
本文研究了在大规模预训练中如何应用剪枝和知识蒸馏技术,探讨了剪枝在初始化方面的优势、专家压缩对最终模型的影响以及训练策略的有效性,最终将Qwen3-Next-80A3B压缩到23A2B模型并保持竞争力。
2026-05-18 cs.AI cs.CL cs.LG
The Knowledge Within: Methods for Data-Free Model Compression
Habana Labs Research(Habana Labs研究院);Technion(以色列理工学院)
最近,大量的研究集中在压缩和加速深度神经网络(DNN)上。到目前为止,高压缩率算法需要部分训练数据集进行低精度校准或微调过程。然而,当数据不可用或包含敏感信息时,例如在医疗和生物识别用例中,此要求是不可接受的。我们提出了三种从训练模型生成合成样本的方法。然后,我们演示了如何使用这些样本来校准和微调量化模型,而无需在此过程中使用任何真实数据。与原始训练集相比,我们表现最好的方法具有可忽略不计的准确性下降。该方法利用训练模型的内在批量归一化层的统计信息,可用于评估数据相似性。我们的方法开辟了一条通往真正的无数据模型压缩的道路,减轻了模型部署过程中对训练数据的需求。
2020-04-06 cs.CV cs.LG stat.ML
Training trajectories, mini-batch losses and the curious role of the learning rate
Google Research(谷歌研究院)
随机梯度下降在深度学习的几乎所有应用中都起着基础性的作用。然而,它收敛到全局最小值的能力仍然笼罩在神秘之中。在本文中,我们建议研究的损失函数的行为固定的小批量沿SGD轨迹。我们表明,损失函数在一个固定的批次似乎是显着的凸状。特别是对于ResNet,任何固定小批量的损失都可以通过二次函数精确建模,并且可以在足够大的学习率的梯度下降的一个步骤中达到非常低的损失值。我们提出了一个简单的模型,可以分析随机小批量和全批量的梯度之间的关系。我们的分析,使我们能够发现的等价性之间的聚合和特定的学习率调度。特别是,对于指数移动平均(EMA)和随机权重平均,我们表明我们提出的模型与ImageNet上观察到的训练轨迹相匹配。我们的理论模型预测,一个更简单的平均技术,平均只有两个点的许多步骤分开,显着提高精度相比,基线。我们使用ResNet架构在ImageNet和其他数据集上验证了我们的发现。
2023-02-01 cs.LG
Training a Generally Curious Agent
North Carolina State University(北卡罗来纳州立大学)
提出微调方法Paprika,通过在多样化策略的合成交互数据上训练,使语言模型基于环境反馈进行上下文探索,无需梯度更新即可将决策能力迁移至未见任务,并利用课程学习策略提升样本效率。
2025-10-31 cs.AI cs.CL cs.LG
The Curious Case of Adversarially Robust Models: More Data Can Help, Double Descend, or Hurt Generalization
Yale University(耶鲁大学);Yale Institute for Network Science(耶鲁网络科学研究所)
对抗性训练已经显示出其在产生对输入数据的扰动具有鲁棒性的模型方面的能力,但通常以降低标准精度为代价。为了缓解这个问题,通常认为更多的训练数据将最终帮助这种对抗鲁棒模型更好地推广良性/未扰动的测试数据。然而,在本文中,我们挑战了这种传统的信念,并表明,更多的训练数据可以伤害的泛化的对抗性强大的模型在分类问题。我们首先研究了高斯混合分类与线性损失,并确定三个政权的对手的实力的基础上。在弱对抗机制中,更多的数据提高了对抗鲁棒模型的泛化能力。在中等对抗状态下,随着训练数据的增加,泛化损失呈现出双下降曲线,这意味着存在一个中间阶段,更多的训练数据会损害泛化。在强对抗状态下,更多的数据几乎立即导致泛化误差增加。然后,我们转移到一个二维分类问题的分析与0-1损失。我们证明了更多的数据总是会损害具有大扰动的逆向训练模型的泛化性能。为了补充我们的理论结果,我们进行了实证研究高斯混合分类,支持向量机(SVM),和线性回归。
2020-06-05 cs.LG stat.ML
The Curious Case of Benign Memorization
ETH Zürich(苏黎世联邦理工学院)
尽管深度学习在各种学习任务中取得了经验性的进步,但我们对其成功的理论理解仍然非常有限。其中一个关键的挑战是现代模型的过度参数化性质,即使标签是随机的,也可以实现数据的完全过度拟合,即网络可以完全\textit{memorize}所有给定的模式。虽然这样的记忆能力似乎令人担忧,但在这项工作中,我们表明,在包括\textit{data augmentation}的训练协议下,神经网络学习以一种良性的方式记忆完全随机的标签,即它们学习嵌入,导致最近邻探测下的高度非平凡性能。我们证明了深度模型具有惊人的能力,通过将记忆和特征学习的任务分配到不同的层来分离噪声和信号。因此,只有最后一层用于记忆,而前面的层编码性能特征,这些特征在很大程度上不受标签噪声的影响。我们探讨了用于训练的增强的复杂作用,并确定了记忆泛化权衡其多样性,标志着一个明确的区别,所有以前的作品。最后,我们给出了第一个解释良性记忆的出现表明,\textit{malign}记忆下数据增强是不可行的,由于容量不足的模型增加的样本量。因此,网络被迫利用增强的相关性质,从而学习有意义的特征。为了完成这幅图景,需要一个更好的深度神经网络特征学习理论来充分理解这一现象的起源。
2023-02-23 cs.LG
A Curious Case of Searching for the Correlation between Training Data and Adversarial Robustness of Transformer Textual Models
FPT Software AI Center(FPT软件人工智能中心);College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);Indiana University(印第安纳大学)
现有的工作表明,微调的文本Transformer模型实现了最先进的预测性能,但也容易受到敌对文本扰动。传统的对抗性评估通常是通过\textit{only after}对模型进行微调而忽略训练数据。在本文中,我们想证明训练数据和模型鲁棒性之间也有很强的相关性。为此,我们提取了13个不同的特征,代表了广泛的输入微调语料库属性,并使用它们来预测微调模型的对抗鲁棒性。主要集中在编码器仅Transformer模型BERT和RoBERTa与BART,ELECTRA和GPT 2的其他结果,我们提供了不同的证据来支持我们的论点。首先,实证分析表明:(a)提取的特征可以与轻量级分类器(如随机森林)一起使用,以有效地预测攻击成功率;(b)对模型鲁棒性影响最大的特征与鲁棒性具有明显的相关性。其次,我们的框架可以作为一种快速有效的鲁棒性评估工具,因为它(a)与传统技术相比节省了30 - 193倍的运行时间,(b)可以跨模型转移,(c)可以在对抗训练下使用,(d)对统计随机性具有鲁棒性。我们的代码可在\url{https://github.com/CaptainCuong/RobustText_ACL2024}上公开获取。
2024-07-02 cs.CL cs.CR cs.LG
The curious case of the test set AUROC
University of Cambridge(剑桥大学);University of Bremen(不来梅大学)
本文指出机器学习模型性能评估方法滞后,批评仅依赖测试集AUROC或基于验证ROC最优阈值的敏感性与特异性,认为这些指标对模型泛化能力洞察有限。
2023-12-19 cs.LG stat.ME
Compression Aware Certified Training
Department of Computer Science University of Illinois Urbana-Champaign(计算机科学系伊利诺伊大学厄巴纳-香槟分校)
针对现有方法将神经网络压缩与认证鲁棒性割裂、易牺牲效率或安全性的问题,提出统一训练框架CACTUS,可在剪枝和量化场景下实现高效压缩同时保持高准确率与认证鲁棒性,在多数据集上取得当前最优性能。
2025-06-13 cs.LG
ScaleCom: Scalable Sparsified Gradient Compression for Communication-Efficient Distributed Training
IBM
深度神经网络(DNN)在最先进的平台上的大规模分布式训练预计会受到严重的通信约束。为了克服这种限制,已经提出了许多梯度压缩技术,并且已经证明了高压缩比。然而,大多数现有的方法不能很好地扩展到大规模分布式系统(由于梯度积累)和/或无法评估大型数据集上的模型保真度(测试精度)。为了缓解这些问题,我们提出了一种新的压缩技术,可扩展稀疏梯度压缩(ScaleCom),利用学习者之间的梯度分布的相似性,以提供显着改善的可扩展性。使用理论分析,我们表明,ScaleCom提供了良好的收敛保证,是兼容的梯度所有减少技术。此外,我们通过实验证明ScaleCom具有较小的开销,直接减少了梯度流量,并在广泛的应用程序(图像,语言和语音)中提供了高压缩率(65- 400 X)和出色的可扩展性(最多64个学习者和8- 12倍的批量大小超过标准训练),而没有显着的准确性损失。
2021-04-21 cs.LG
GraVAC: Adaptive Compression for Communication-Efficient Distributed DL Training
Indiana University Bloomington(印第安纳大学伯明顿分校)
针对分布式数据并行训练中同步通信开销高、理想压缩因子难确定的问题,提出黑盒在线的GraVAC自适应压缩框架,动态调整压缩因子,在保证精度的同时大幅提升训练速度。
2024-01-29 cs.LG
PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
PRAC通过分解激活为主成分和随机子空间,实现LLM激活压缩和内存高效训练,达到36%的内存减少且性能损失小。
2026-02-26 cs.LG
GST: Group-Sparse Training for Accelerating Deep Reinforcement Learning
KAIST(韩国科学技术院)
深度强化学习(DRL)在顺序决策问题中取得了显着的成功,但要获得如此良好的性能需要很长的训练时间。许多并行和分布式DRL训练方法已经被提出来解决这个问题,但它是很难利用它们在资源有限的设备。为了加速真实世界边缘设备中的DRL,必须解决由于大权重事务而导致的内存带宽瓶颈。然而,以前的迭代修剪不仅在训练开始时显示出较低的压缩比,而且使DRL训练不稳定。为了克服这些缺点,我们提出了一种新的权重压缩方法,称为组稀疏训练(GST)的DRL训练加速。GST选择性地利用块循环压缩来在DRL训练的所有迭代期间保持高权重压缩比,并通过奖励感知修剪来动态适应目标稀疏性以进行稳定训练。由于这些特性,GST在具有TD 3训练的Mujoco Halfcheetah-v2和Mujoco humanoid-v2环境中实现了比没有奖励下降的迭代修剪方法高25 \%p $\sim$ 41.5 \%p的平均压缩比。
2021-01-24 cs.LG
Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization
Georgia Institute of Technology(佐治亚理工学院);Cisco Inc.(思科公司);University of Oxford(牛津大学);Meta Inc.(元公司);Google Inc.(谷歌公司)
针对深度学习训练检查点的存储开销问题,提出动态量化压缩框架Inshrinkerator,通过非均匀量化、动态配置搜索和量化感知的增量压缩机制,在保持准确率的同时实现了高达39倍的压缩率。
2024-10-12 cs.LG
Modulating Regularization Frequency for Efficient Compression-Aware Model Training
Samsung Research(三星研究院)
虽然由于大的神经网络尺寸,模型压缩越来越重要,但压缩感知训练具有挑战性,因为它需要复杂的模型修改和更长的训练时间。在训练期间多久执行一次压缩)作为一种新的正则化技术,用于实用且有效的压缩感知训练方法。对于各种正则化技术,例如权重衰减和丢弃,优化正则化强度对于提高深度神经网络(DNN)中的泛化能力至关重要。虽然模型压缩也需要适当的正则化量,但是由模型压缩引起的正则化强度仅由压缩比控制。通过各种实验,我们表明,正则化频率严重影响正则化强度的模型压缩。结合正则化频率和压缩比,可以优化每个小批次通过模型压缩进行的权重更新量,以实现最佳模型精度。调节正则化频率通过偶尔的模型压缩来实现,而传统的压缩感知训练通常针对每个小批次执行。
2021-05-05 cs.AI cs.LG
MergeComp: A Compression Scheduler for Scalable Communication-Efficient Distributed Training
Rice University(莱斯大学)
大规模的分布式训练越来越受到通信的限制。许多梯度压缩算法已经被提出来减少通信开销和提高可扩展性。然而,已经观察到,在某些情况下,梯度压缩甚至可能损害分布式训练的性能。在本文中,我们提出了MergeComp,压缩调度器,以优化通信高效的分布式训练的可扩展性。它自动安排压缩操作,以优化压缩算法的性能,而无需了解模型架构或系统参数。我们已经将MergeComp应用于九种流行的压缩算法。我们的评估表明,MergeComp可以将压缩算法的性能提高高达3.83倍,而不会损失准确性。它甚至可以在高速网络上实现高达99%的分布式训练比例。
2021-03-28 cs.DC cs.LG
Online Model Compression for Federated Learning with Large Models
Google LLC(谷歌有限责任公司)
本文讨论了在联邦学习设置下训练大型神经网络模型的挑战:高设备内存使用率和通信成本。提出的在线模型压缩(OMC)提供了一个框架,以压缩格式存储模型参数,并只在需要时解压缩。本文采用量化作为压缩方法,并提出了三种方法,(1)使用每变量变换,(2)权重矩阵仅量化,(3)部分参数量化,以尽量减少对模型精度的影响。根据我们对最近两个用于语音识别的神经网络和两个不同数据集的实验,与全精度训练相比,OMC可以将模型参数的内存使用和通信成本降低高达59%,同时获得相当的准确性和训练速度。
2022-05-06 cs.LG
DNN gradient lossless compression: Can GenNorm be the answer?
NYCU, Taiwan(台湾阳明交通大学)
本文考虑深度神经网络(DNN)训练中的最优梯度无损压缩问题。梯度压缩在许多分布式DNN训练场景中是相关的,包括最近流行的联邦学习(FL)场景,其中每个远程用户通过无噪声但速率受限的信道连接到参数服务器(PS)。在分布式DNN训练中,如果底层梯度分布可用,则可以使用经典的无损压缩方法来减少传送梯度条目所需的比特数。平均场分析表明,梯度更新可以被认为是独立的随机变量,而拉普拉斯近似可以用来证明梯度在某些情况下具有近似正态分布的分布。在本文中,我们认为,对于一些实际感兴趣的网络,梯度项可以很好地建模为具有广义正态(GenNorm)分布。我们提供数值评估来验证假设GenNorm建模提供了DNN梯度尾部分布的更准确预测。另外,当将经典的固定到变量无损编码算法(例如霍夫曼编码)应用于量化的梯度更新时,这种建模选择在梯度的无损压缩方面提供了具体的改进。后一结果确实提供了具有低存储器和计算复杂性的有效压缩策略,其在分布式DNN训练场景中具有很大的实际相关性。
2021-11-15 cs.LG
StructComp: Substituting Propagation with Structural Compression in Training Graph Contrastive Learning
Fudan University(复旦大学);Georgia Institute of Technology(佐治亚理工学院)
针对图对比学习的可扩展性瓶颈,本文提出StructComp框架,通过扩散矩阵的稀疏低秩近似压缩节点,免训练期消息传递并减少对比样本对,理论上可近似原损失且兼具正则化效果,实验证明其更省资源并提升性能。
2024-05-09 cs.LG
COMPOT: Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers Compression
Fundamental Research Center MWS AI(MWS AI基础研究中心)
COMPOT是一种无需训练的Transformer压缩框架,通过校准优化矩阵Procrustes正交化实现高质量压缩,优于低秩和稀疏基线。
2026-10-28 cs.LG
Neural Embedding Compression For Efficient Multi-Task Earth Observation Modelling
IBM Research – Europe(IBM欧洲研究院)
针对地球观测数据传输存储成本高的问题,提出神经嵌入压缩方法,仅微调10%基础模型参数生成多任务压缩嵌入,在数据量大减的情况下仍保持优异的多任务建模性能。
2024-07-09 cs.LG
BitSnap: Checkpoint Sparsification and Quantization in LLM Training
针对大语言模型训练中检查点管理的存储、内存与容错问题,提出动态适配训练阶段和架构的稀疏化与量化方法,实验实现16倍无精度损失压缩及2倍低精度损失压缩,提升训练效率。
2025-11-18 cs.LG
Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition
Michigan State University(密歇根州立大学);University of Michigan - Ann Arbor(密歇根大学安娜堡分校)
本文提出低秩诱导训练方法 LoRITa,通过线性层组合和奇异值截断实现结构保持的网络压缩,无需预训练初始化、预先指定秩或迭代计算 SVD,在多个模型和数据集上取得领先的 FLOPs 与参数压缩效果。
2024-10-17 cs.LG
ByteComp: Revisiting Gradient Compression in Distributed Training
Rice University(莱斯大学);ByteDance Inc.(字节跳动公司)
梯度压缩(GC)是解决分布式深度学习(DPL)中通信瓶颈的一种有前途的方法。然而,由于张量之间复杂的相互作用,因此找到将GC应用于XML的最佳压缩策略具有挑战性。为了充分发挥GC的优势,必须解决两个问题:1)如何表达所有压缩策略以及任何训练任务中张量之间的相应交互?2)如何快速选择接近最佳的压缩策略?在本文中,我们提出ByteComp来回答这些问题。它首先设计了一个决策树抽象来表达所有的压缩策略,并开发了时间轴张量计算,通信和压缩的经验模型,使ByteComp能够导出张量之间复杂的相互作用。然后,它设计了一个压缩决策算法,该算法分析张量交互,以消除和优先考虑策略,并最佳地将压缩卸载到CPU。实验评估表明,ByteComp可以将具有代表性的压缩训练作业的训练吞吐量提高77%。此外,选择压缩策略所需的计算时间是以毫秒为单位测量的,并且所选择的策略距离最佳策略只有百分之几。
2022-06-06 cs.DC cs.LG
Heterogeneous Low-Bandwidth Pre-Training of LLMs
Covenant AI;Mila, Concordia University(Mila,康科德ia大学)
本研究提出一种异构分布式训练框架,结合低带宽流水线并行与SparseLoCo方法,通过激活压缩优化LLM预训练的通信效率与性能。
2026-01-05 cs.LG
When the Curious Abandon Honesty: Federated Learning Is Not Private
Vector Institute(向量研究所);University of Toronto(多伦多大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出一种利用陷阱权重主动修改共享模型权重的联邦学习数据重建攻击,能以近零代价、零误差地从大批量梯度中恢复用户数据,并在 ImageNet 上从 100 个数据点的小批量中完美重建超过 50% 的训练数据,证明联邦学习并非隐私保护。
2023-04-12 cs.CR cs.DC cs.LG
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
最近深度神经网络的规模增加了许多倍,这使得高效的分布式训练变得具有挑战性。许多建议利用梯度的可压缩性,并提出有损压缩技术来加速分布式训练的通信阶段。然而,压缩是以降低模型质量和额外计算开销为代价的。在这项工作中,我们设计了一个高效的压缩机,以最小的开销。注意到稀疏的梯度,我们建议建模的梯度作为随机变量分布根据一些稀疏诱导分布(SID)。我们通过研究训练过程中梯度向量演变的统计特性来实证验证我们的假设。然后,我们提出了基于稀疏诱导分布的压缩(SIDCo),这是一种基于阈值的稀疏化方案,它与深度梯度压缩(DGC)具有相似的阈值估计质量,同时通过降低压缩开销来提高速度。我们对涉及递归神经网络(RNN)和卷积神经网络(CNN)模型的流行机器学习基准进行了广泛的评估,结果显示,与无压缩基线、Topk和DGC压缩器相比,SIDCo分别将训练速度提高了41:7%、7:6%和1:9%。
2021-03-17 cs.DC cs.LG
Llamazip: Leveraging LLaMA for Lossless Text Compression and Training Dataset Detection
ML-Labs(ML实验室);Dublin City University(都柏林城市大学);School of Electronic Engineering(电子工程学院)
Llamazip利用LLaMA3实现无损文本压缩和训练数据集检测,通过预测能力优化存储效率并提升数据透明度。
2025-11-16 cs.CL cs.LG
On the Utility of Gradient Compression in Distributed Training Systems
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
大量的前期工作突出了同步数据并行训练中存在的通信瓶颈。为了缓解这些瓶颈,最近的一系列工作提出了梯度和模型压缩方法。在这项工作中,我们评估梯度压缩方法的有效性,并将其可扩展性与200多种不同设置的同步数据并行SGD的优化实现进行比较。令人惊讶的是,我们观察到,在200多个案例中,只有6个案例中,梯度压缩方法在典型的数据中心设置中提供了优化的同步数据并行训练的加速。我们进行了广泛的调查,以确定这种现象的根本原因,并提供了一个性能模型,可用于确定梯度压缩的各种系统设置的好处。基于我们的分析,我们提出了梯度压缩方法应该满足的理想属性列表,以便它们提供有意义的端到端加速。
2021-06-29 cs.DC cs.LG
Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks
School of Engineering Mathematics and Technology, University of Bristol, England(工程数学与技术学院,布里斯托大学,英格兰)
本文提出Spiking Brain Compression(SBC)框架,通过一次性后训练压缩提升脉冲神经网络的效率,实现比传统ANN基线更高的准确率。
2026-01-28 cs.LG cs.NE
CAT: Compression-Aware Training for bandwidth reduction
Intel – Artificial Intelligence Products Group (AIPG)(英特尔人工智能产品事业部);Technion – Israel Institute of Technology(以色列理工学院)
卷积神经网络(CNN)已经成为解决视觉处理任务的主要神经网络架构。阻碍CNN普遍用于推理的主要障碍之一是其相对较高的内存带宽要求,这可能是硬件加速器中的主要能量消耗和吞吐量瓶颈。因此,有效的特征图压缩方法可以导致显著的性能增益。受量化感知训练方法的启发,我们提出了一种压缩感知训练(CAT)方法,该方法涉及以一种允许在推理过程中更好地压缩特征图的方式训练模型。我们的方法训练模型以实现低熵特征映射,从而使用经典的变换编码方法在推理时实现高效压缩。CAT显着提高了国家的最先进的结果报告的量化。例如,在ResNet-34上,我们实现了73.1%的准确率(从基线下降0.2%),每个值的平均表示仅为1.79位。参考实现在https://github.com/CAT-teams/CAT上提供
2019-09-25 cs.CV cs.LG
Optimus-CC: Efficient Large NLP Model Training with 3D Parallelism Aware Communication Compression
Yonsei University(延世大学);Seoul National University(首尔国立大学);Samsung Electronics(三星电子)
在现代大型自然语言处理(NLP)模型的训练中,使用3D并行性将模型拆分到多个GPU已经成为一种常见的做法。然而,这种技术遭受节点间通信的高开销。压缩通信是通过减少节点间业务量来减轻开销的一种方式;然而,现有的压缩技术具有应用于具有3D并行性的NLP模型的关键限制,因为1)仅针对数据并行业务,以及2)现有的压缩方案已经对模型质量造成太大损害。在本文中,我们提出了Optimus-CC,这是一个快速,可扩展的分布式训练框架,用于大型NLP模型,具有积极的通信压缩。Optimus-CC在以下方面与现有的通信压缩框架不同:首先,我们压缩管道并行(级间)流量。具体地说,除了现有的数据并行流量压缩方法之外,我们还压缩了级间反向传播和嵌入同步。其次,我们提出了一些技术来避免压缩导致的模型质量下降。我们进一步提供数学和实证分析,以表明我们的技术可以成功地抑制压缩误差。最后,我们分析了管道,并选择有选择地压缩这些流量躺在关键路线。这进一步有助于减少压缩误差。我们在GPU集群上演示了我们的解决方案,并在不牺牲模型质量的情况下,从最先进的分布式训练解决方案的基线实现了卓越的加速比。
2023-01-24 cs.DC cs.LG
Efficient training for compact compression models via sequential distillation
Univ. Rennes, Inria, CNRS, IRISA, Rennes, France(里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、IRISA、里昂,法国)
本文提出了一种通过序列知识蒸馏减少自动编码器压缩网络的方法,通过简化早期优化目标和逐步引入复杂性,提高了轻量级模型的重建质量与统计保真度,适用于资源受限环境。
2026-05-19 cs.CV cs.LG
Efficient Distributed Training through Gradient Compression with Sparsification and Quantization Techniques
Washington State University(华盛顿州立大学);Amazon(亚马逊)
本研究探究稀疏化(top-k、DGC)和量化(QSGD)梯度压缩对分布式训练的影响,发现50倍压缩的top-k和DGC可提升性能、减少通信时间,保守稀疏化具正则化效果,为分布式训练超参数调优提供参考。
2024-12-07 cs.LG cs.MM
Sign Bit is Enough: A Learning Synchronization Framework for Multi-hop All-reduce with Ultimate Compression
The Hong Kong Polytechnic University(香港理工大学);The University of British Columbia(不列颠哥伦比亚大学);Hohai University(河海大学);Huazhong University of Science and Technology(华中科技大学);University of Waterloo(滑铁卢大学)
传统的一位压缩随机梯度下降不能直接用于多跳全约简,多跳全约简是一种在网络密集型高性能计算系统(如公共云)中广泛采用的分布式训练范例。根据我们的理论研究结果,由于级联压缩,训练过程的收敛性能有相当大的恶化。为了克服这一限制,我们实现了一个基于符号位压缩的学习同步框架Marsit。它通过精心设计的逐位操作来防止级联压缩,以实现无偏符号聚合,并通过其特定的全局补偿机制来减轻压缩偏差。所提出的框架保持了与非压缩机制相同的理论收敛速度。实验结果表明,Marsit减少了高达35%的训练时间,同时保持了与不压缩训练相同的精度。
2022-04-14 cs.DC cs.LG
BiCoLoR: Communication-Efficient Optimization with Bidirectional Compression and Local Training
King Abdullah University of Science and Technology (KAUST)(卡斯特大学)
BiCoLoR通过结合双向压缩和局部训练,实现了通信高效的分布式优化,适用于凸和强凸异构场景。
2026-01-18 cs.LG math.OC
Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression
Indiana University(印第安纳大学);Meta;University of Rochester(罗切斯特大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文针对DLRM训练中全对全通信瓶颈,提出基于误差有界有损压缩的双层自适应方法,在表级和迭代级动态调整误差界,并针对GPU优化压缩器,最终实现1.38倍训练加速且精度损失极小。
2024-10-01 cs.DC cs.LG
CD-SGD: Distributed Stochastic Gradient Descent with Compression and Delay Compensation
National University of Defense Technology(国防科技大学)
通信开销是分布式训练的关键挑战。梯度压缩是一种广泛使用的减少通信流量的方法。梯度压缩技术与流水线等并行通信机制相结合,可以大大减轻通信开销的影响。然而,梯度压缩技术存在两个问题需要解决。首先,梯度压缩带来了额外的计算成本,这将延迟下一次训练迭代。其次,梯度压缩通常会导致收敛精度的下降。
2021-09-07 cs.DC cs.LG
Activations and Gradients Compression for Model-Parallel Training
Innopolis University(因诺波利斯大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文研究模型并行训练中同时压缩激活值和梯度对收敛的影响,发现梯度需更温和的压缩率,误差反馈虽不改善训练但支持无压缩推理,且过强的TopK会显著降低性能。
2024-03-26 cs.DC cs.LG math.OC
Understanding The Effectiveness of Lossy Compression in Machine Learning Training Sets
Argonne National Laboratory(阿贡国家实验室);Clemson University(克莱姆森大学)
本研究提出系统化方法评估有损压缩对ML/AI模型质量的影响,通过在7个应用上测试17种数据缩减方法,证明现代有损压缩在质量损失≤1%时可实现50-100倍压缩率提升,并提供了压缩器设计的关键见解。
2024-03-23 cs.AI cs.LG
AdaComp : Adaptive Residual Gradient Compression for Data-Parallel Distributed Training
IBM Research AI(IBM人工智能研究院)
深度神经网络(DNN)在未来计算平台(提供100 TeraOps/s的计算能力)上的高度分布式训练预计将受到严重的通信约束。为了克服这一限制,需要新的梯度压缩技术,这些技术在计算上是友好的,适用于深度神经网络中看到的各种各样的层,并适应网络架构及其超参数的变化。在本文中,我们介绍了一种新的技术-自适应残差梯度压缩(AdaComp)计划。AdaComp基于梯度残差的局部选择,并根据局部活动自动调整压缩率。我们在多个领域(视觉,语音,语言),数据集(MNIST,CIFAR 10,ImageNet,BN 50,Shakespeare),优化器(SGD with momentum,Adam)和网络参数(学习者数量,minibatch-size等)的各种最先进的深度学习模型上展示了出色的结果。利用稀疏性和量化,我们证明了全连接和递归层的端到端压缩率约为200倍,卷积层约为40倍,模型精度没有任何明显的下降。
2017-12-07 cs.LG stat.ML
Adacc: An Adaptive Framework Unifying Compression and Activation Recomputation for LLM Training
The State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院);Shanghai Jiao Tong University(上海交通大学);Huawei Cloud(华为云);Zhejiang Lab(浙江实验室)
Adacc是首个统一激活重计算与数据压缩的自适应内存优化框架,通过张量级动态决策、逐层压缩和MILP调度,在保持模型精度的同时,将LLM训练吞吐量提升1.01至1.37倍。
2025-08-08 cs.DC cs.LG
EDGC: Entropy-driven Dynamic Gradient Compression for Efficient LLM Training
University of Shanghai for Science and Technology(上海科学技术大学);Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
EDGC通过动态梯度压缩减少LLM训练的通信延迟和训练时间,提升效率的同时保持模型准确性。
2026-10-01 cs.AI cs.LG cs.PF
Saten: Sparse Augmented Tensor Networks for Post-Training Compression of Large Language Models
University of California-Santa Barbara(加州大学圣巴巴拉分校);Amazon(亚马逊)
针对预训练大型语言模型因高秩特性和缺乏预训练数据导致训练后压缩困难的问题,提出稀疏增强张量网络(Saten)框架,通过微调期间的低秩张量化实现全模型压缩,提升了准确性与压缩效率并达到最先进性能。
2025-10-13 cs.CL cs.LG
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率,通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
Smaller and Faster 3DGS via Post-Training Dictionary Learning
Linköping University Department of Science and technology(利乌普斯大学科学与技术学院)
提出首个基于字典学习的3DGS后训练压缩框架,无需重新训练即可显著压缩模型、保持图像质量并提升实时渲染速度。
2026-05-28 cs.GR cs.LG
Compression-aware Training of Neural Networks using Frank-Wolfe
Zuse Institute Berlin(柏林Zuse研究所);Technische Universität Berlin(柏林工业大学)
提出基于范数约束和随机Frank-Wolfe算法的神经网络“压缩感知”训练框架,通过单次训练提升模型对剪枝和低秩分解的鲁棒性,并证明动态调整学习率的理论基础。
2024-02-14 cs.LG math.OC
Homomorphic Parameter Compression for Distributed Deep Learning Training
Seoul National University(首尔大学)
深度神经网络的分布式训练已经引起了极大的研究兴趣,其主要方法包括在多个GPU和集群上实现。网格化可以显著提高使用大规模数据训练深度和复杂模型的效率。然而,DNN训练加速的一个根本障碍是计算和通信时间之间的权衡。换句话说,增加工作节点的数量减少了计算消耗的时间,同时在受限的网络带宽下增加了通信开销,特别是在商品硬件环境中。为了减轻这种权衡,我们提出了同态参数压缩的想法,它以最小的代价压缩参数,并使用压缩的表示来训练DNN。虽然具体的方法尚未被发现,我们证明,有一个很高的概率,同态可以减少通信开销,由于很少的压缩和解压缩时间。我们还提供了理论上的同态压缩的加速比。
2017-11-28 cs.AI cs.DC cs.LG
Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training
Tsinghua University(清华大学);Stanford University(斯坦福大学);NVIDIA(英伟达)
大规模分布式训练需要大量的通信带宽用于梯度交换,这限制了多节点训练的可扩展性,并且需要昂贵的高带宽网络基础设施。在移动设备上进行分布式训练(联邦学习)的情况更糟,它会遭受更高的延迟,更低的吞吐量和间歇性的不良连接。在本文中,我们发现99.9%的梯度交换在分布式SGD是冗余的,并提出了深度梯度压缩(DGC),以大大减少通信带宽。为了在压缩过程中保持准确性,DGC采用四种方法:动量校正、局部梯度裁剪、动量因子掩蔽和预热训练。我们已经将深度梯度压缩应用于图像分类、语音识别和语言建模,使用了多个数据集,包括Cifar 10、ImageNet、Penn Treebank和Librispeech Corpus。在这些情况下,深度梯度压缩实现了从270倍到600倍的梯度压缩比,而不会损失准确性,将ResNet-50的梯度大小从97 MB削减到0.35 MB,将DeepSpeech从488 MB削减到0.74 MB。深度梯度压缩使廉价商品1Gbps以太网上的大规模分布式训练成为可能,并促进了移动设备上的分布式训练。代码可从以下网址获得:https://github.com/synxlin/deep-gradient-compression。
2020-06-23 cs.CV cs.DC cs.LG