Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG(Xayn公司)
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源,并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术,可以减少这种模型的资源需求,其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗,我们提出了两个扩展的流行的存储器变压器蒸馏过程:生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型,其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression
Kyoto University(京都大学);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所革新智能统合研究中心)
针对MoE大模型压缩,提出共享低秩基分解(SLBF)无数据权重重构方法,通过专家间共享秩-k基降低重构误差,在16B至122B五个架构上优于剪枝、合并和重构三类方法。
2026-10-08 cs.AI cs.LG
AutoMC: Automated Model Compression based on Domain Knowledge and Progressive search strategy
Harbin Institute of Technology(哈尔滨工业大学)
本文提出自动化模型压缩工具AutoMC,通过构建领域知识理解各压缩方法特点,并结合先验知识与历史评估信息采用渐进式搜索策略高效探索帕累托最优压缩方案,使非专家用户能在短时间内获得满意方案。
2022-01-24 cs.AI cs.CV cs.LG
Knowledge Distillation Beyond Model Compression
NavInfo Europe(NavInfo欧洲)
知识蒸馏(KD)通常被认为是一种有效的模型压缩技术,其中在较大的预训练模型或模型集合(教师)的监督下训练紧凑的模型(学生)。自最初的公式化以来,已经提出了各种技术,这些技术模仿教师的不同方面,例如表示空间、决策边界或数据内关系。一些方法用一群学生之间的协作学习来取代从静态教师那里单向的知识蒸馏。尽管最近取得了进展,但对知识在深层神经网络中的位置以及从教师那里获取知识并将其传递给学生的最佳方法的清晰理解仍然是一个悬而未决的问题。在这项研究中,我们对九种不同的KD方法进行了广泛的研究,这些方法涵盖了广泛的捕获和转移知识的方法。我们展示了KD框架在不同数据集和网络架构上的多功能性,以及教师和学生之间的能力差距。该研究为模仿教师的不同方面的效果提供了直观性,并从不同蒸馏方法的性能中获得见解,以指导更有效的KD方法的设计。此外,我们的研究表明,KD框架在不同严重程度的标签噪声和类别不平衡下有效地学习,始终提供优于标准训练的泛化增益。我们强调,KD的功效远远超出了模型压缩技术,它应该被视为一种通用的训练范式,与标准训练过程相比,它对现实世界数据集中的常见挑战具有更强的鲁棒性。
2020-07-03 cs.CV cs.LG stat.ML
UniCompress: Enhancing Multi-Data Medical Image Compression with Knowledge Distillation
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Hospital(301医院)
UniCompress首次用单个隐式神经表示网络压缩多个医学图像块,结合小波变换、量化码本和知识蒸馏,在CT和EM数据集上超越传统INR及HEVC,压缩速度提升4至5倍。
2024-05-27 cs.CV cs.LG eess.IV
Weight Squeezing: Reparameterization for Knowledge Transfer and Model Compression
VK Lab(VK实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Tinkoff
在这项工作中,我们提出了一种新的方法,同时知识转移和模型压缩称为重量挤压。通过这种方法,我们通过学习从教师模型的权重到较小的学生模型权重的映射来执行教师模型的知识转移。我们将权重压缩应用于基于BERT-Medium模型的预训练文本分类模型,并将我们的方法与其他各种知识转移和模型压缩方法在GLUE多任务基准上进行了比较。我们观察到,我们的方法产生了更好的结果,同时比其他训练学生模型的方法快得多。我们还提出了一种称为Gated Weight Squeezing的Weight Squeezing变体,其中我们结合了BERT-Medium模型的微调和BERT-Base权重的学习映射。我们表明,使用门控权重压缩的微调优于BERT-Medium模型的普通微调以及其他并发SoTA方法,同时更容易实现。
2021-08-30 cs.CL cs.LG stat.ML
Teacher-Class Network: A Neural Network Compression Mechanism
Rensselaer Polytechnic Institute(伦斯勒理工学院)
为了减少深度神经网络(DNN)的庞大规模,师生方法试图将知识从复杂的教师网络转移到简单的学生网络。相反,我们提出了一种称为教师类网络的新方法,该网络由单个教师和多个学生网络(即学生类)组成。该方法不是只将知识转移给一个学生,而是将一大块知识转移给每个学生。我们的学生没有接受针对特定问题的逻辑训练,他们被训练来模仿教师网络学习的知识(密集表示),因此学生班级学习的组合知识也可以用于解决其他问题。建议的教师级架构进行评估的几个基准数据集,如MNIST,时尚MNIST,IMDB电影评论,CAMVid,CIFAR-10和ImageNet的多个任务,包括图像分类,情感分类和分割。我们的方法优于国家的最先进的单学生的方法在精度以及计算成本,同时实现10-30倍的参数减少。
2021-10-29 cs.CV cs.LG stat.ML
Cramnet: Layer-wise Deep Neural Network Compression with Knowledge Transfer from a Teacher Network
The University of Tulsa(塔尔萨大学)
神经网络完成了惊人的事情,但它们受到限制其使用的计算和内存瓶颈的影响。这一点在移动领域表现得最好,专门的硬件正在被创造出来,只是为了满足对神经网络的需求。先前的研究表明,神经网络的连接数量远远超过了它们实际工作所需的数量。本论文开发了一种方法,可以将网络压缩到不到10%的内存和不到25%的计算能力,而不会损失准确性,并且不需要创建需要特殊代码运行的稀疏网络。
2019-04-11 cs.CV cs.LG
Model compression using knowledge distillation with integrated gradients
本研究提出将集成梯度作为数据增强策略的知识蒸馏模型压缩方法,在CIFAR-10等数据集上验证其可在高压缩率下提升准确率、缩短推理时间,适用于边缘设备部署。
2025-06-17 cs.AI cs.CV cs.LG
Finding Motifs in Knowledge Graphs using Compression
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文介绍了一种在知识图中寻找网络模体的方法。网络模体是图中经常出现的有用模式或有意义的子单元。我们扩展了一个网络图案的共同定义,以符合一个基本的图形模式。我们介绍了一种方法,灵感来自最近的工作,简单的图形,从一个给定的知识图,并表明发现的图案反映了图形的基本结构。具体来说,我们表明,在随机图中,没有发现图案,当我们人工插入一个图案,它可以被检测到。最后,我们展示了在三个真实世界的知识图上的模体诱导结果。
2021-04-16 cs.DS cs.LG cs.SI
Embedding Compression for Teacher-to-Student Knowledge Transfer
Georgia Institute of Technology(佐治亚理工学院)
针对教师嵌入包含目标任务无关知识的问题,提出带有可训练教师变换的嵌入压缩模块以获取紧凑教师嵌入,实验证明该方法提升了分类性能及学生模型的泛化能力。
2024-02-09 cs.LG
Few Sample Knowledge Distillation for Efficient Network Compression
MIT(麻省理工学院);Intel Labs(英特尔实验室);UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
剪枝、权重张量分解等深度神经网络压缩技术,在压缩比较高时,通常需要进行微调以恢复预测精度。然而,传统的微调遭受的要求,一个大的训练集和耗时的训练过程。本文提出了一种新的解决方案,知识蒸馏从无标签的小样本,实现数据效率和训练/处理效率。我们把原始网络看作“教师网”,把压缩后的网络看作“学生网”。在学生网络的每个层块的末尾添加一个1x 1卷积层,通过估计添加层的参数,将学生网络的块级输出拟合到教师网络。我们证明了增加的层可以合并,而不增加额外的参数和计算成本在推理。在多个数据集和网络结构上的实验验证了该方法对各种网络剪枝和权值分解方法得到的学生网的有效性。我们的方法可以在几分钟内恢复学生网络的准确性与传统的微调方法相同的水平,而只使用完整的训练数据的1%的无标签数据。
2020-03-31 cs.LG stat.ML
The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本文系统分析了剪枝和量化对不同架构语言模型中参数化知识的影响,通过LAMA和LM-HARNESS基准揭示压缩程度与知识保留之间的权衡,为实践者提供压缩决策依据。
2023-12-01 cs.AI cs.CL cs.LG
A Contrastive Knowledge Transfer Framework for Model Compression and Transfer Learning
Arizona State University(亚利桑那州立大学)
知识转移(KT)实现了有竞争力的性能,并广泛用于图像分类任务的模型压缩和迁移学习。现有的KT工程转移的信息从一个大的模型(“教师”)训练一个小的模型(“学生”),通过最小化的差异,他们的条件独立的输出分布。然而,这些工作忽略了从教师的中间表示,这导致有限的有效性,他们是由各种启发式的直觉,这使得它很难概括的高维结构知识。本文提出了一种新的对比知识转移框架(CKTF),它使足够的结构知识从教师转移到学生之间的中间表示,通过优化多个对比目标。此外,CKTF提供了一个普遍的协议,现有的KT技术,并通过将其作为CKTF的具体情况下,得到显着提高其性能。广泛的评估表明,CKTF在各种模型和数据集上的模型压缩和迁移学习方面始终优于现有KT作品0.04%至11.59%和0.4%至4.75%。
2023-03-14 cs.LG
Adaptive Heterogeneous Compression for Resource-Efficient Federated Knowledge Distillation
School of Information Engineering, Guangdong University of Technology(广东工业大学信息工程学院);School of Communication and Information Engineering, Chongqing University of Posts and Telecommunications(重庆邮电大学通信与信息工程学院)
针对联邦知识蒸馏中梯度传输开销高、客户端资源与模型特性异质性未被充分利用的问题,提出ASCEND算法,通过多臂老虎机自适应选择压缩策略,在保持精度的同时降低通信与训练时间。
2026-08-18 cs.DC cs.LG
Model Compression Using Optimal Transport
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
模型压缩方法对于允许在计算、存储器和能量受限的环境(例如移动电话)中更容易地部署深度学习模型是重要的。知识蒸馏是一类模型压缩算法,其中来自大型教师网络的知识被转移到较小的学生网络,从而提高学生的表现。在本文中,我们展示了如何最佳的运输为基础的损失函数可以用于训练学生网络,鼓励学习学生网络参数,有助于使分布的学生功能更接近的教师功能。我们在CIFAR-100,SVHN和ImageNet上展示了图像分类结果,并表明所提出的最佳传输损失函数的性能与其他损失函数相当或更好。
2020-12-07 cs.CV cs.LG
Private Model Compression via Knowledge Distillation
National University of Defense Technology(国防科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Facebook Inc.(脸书公司);Tsinghua University(清华大学)
对智能移动应用的需求飙升,要求在移动设备上部署强大的深度神经网络(DNN)。然而,DNN的出色性能依赖于日益复杂的模型,这反过来又与计算费用的增加远远超过移动设备的容量有关。更糟糕的是,应用服务提供商需要收集和利用大量的用户数据,其中包含敏感信息,以建立复杂的DNN模型。直接在公共移动设备上部署这些模型会带来令人望而却步的隐私风险。为了从设备上的深度学习中受益而不考虑容量和隐私问题,我们设计了一个私有模型压缩框架RONA。遵循知识蒸馏范式,我们联合使用提示学习,蒸馏学习和自学习训练一个紧凑和快速的神经网络。从繁琐的模型中提取的知识是自适应有界的,并仔细扰动,以执行差分隐私。我们进一步提出了一个优雅的查询样本选择方法,以减少查询的数量和控制隐私损失。一系列的实验评估以及在Android移动终端上的实现表明,RONA不仅能够有效压缩繁琐的模型,而且能够提供强有力的隐私保障。例如,在SVHN上,当保证有意义的$(9.83,10^{-6})$ -差分隐私时,通过RONA训练的紧凑模型可以获得20个$\times$压缩比和19个$\times$加速,仅损失0.97%的准确度。
2018-11-13 cs.LG stat.ML
Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
我们研究了一种新的知识转移范式,其目的是通过从在完整图上训练的教师GNN模型中提取知识,将图拓扑信息编码到图神经网络(GNNs)中,以在较小或稀疏图上操作的学生GNN模型。为此,我们重新审视了热力学与GNN行为之间的联系,在此基础上,我们提出了神经热核(NHK)来封装与GNN架构相关的底层流形的几何属性。一个基本的和原则性的解决方案是通过调整教师和学生的模型,被称为几何知识蒸馏的NHK。我们开发的非和参数的实例,并证明其功效在各种实验设置知识蒸馏关于不同类型的特权拓扑信息和师生计划。
2023-01-15 cs.LG
Beyond RAG: Task-Aware KV Cache Compression for Comprehensive Knowledge Reasoning
SAP Labs(思爱普实验室);EURECOM(欧洲通信研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Samaya AI(萨马亚人工智能公司)
本文提出任务感知KV缓存压缩方法,在零样本或少样本设置下压缩外部知识,使LLMs高效推理全部相关信息,在LongBench v2上以30倍压缩率超越RAG达7个百分点并将推理延迟从0.43秒降至0.16秒。
2025-03-06 cs.AI cs.CL cs.IR
Adversarial Network Compression
Technische Universität München(慕尼黑工业大学);OSRAM GmbH(欧司朗有限公司)
由于现代深度模型的计算需求,神经网络压缩最近受到了广泛关注。在这项工作中,我们的目标是将知识从深度和准确的模型转移到较小的模型中。我们的贡献有三个方面:(i)我们提出了一种对抗性网络压缩方法来训练小型学生网络以模仿大型教师,而不需要在训练期间使用标签;(ii)我们引入了一种正则化方案来防止平凡的强干扰,而不降低网络容量;(iii)我们的方法适用于不同的教师-学生模型。在对五个标准数据集的广泛评估中,我们表明我们的学生具有较小的准确性下降,比其他知识转移方法获得了更好的性能,并且超过了用标签训练的相同网络的性能。此外,我们展示了国家的最先进的结果相比,其他压缩策略。
2018-11-14 cs.CV cs.LG
Knowledge Distillation: Enhancing Neural Network Compression with Integrated Gradients
National Cheng Kung University(成功大学)
本文提出融合 Integrated Gradients 与知识蒸馏的神经网络压缩框架,通过教师模型的 IG 映射增强学生特征学习,在 CIFAR-10 上实现更高准确率与十倍推理加速。
2025-03-17 cs.CV cs.LG
Distilling Universal and Joint Knowledge for Cross-Domain Model Compression on Time Series Data
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Nanyang Technological University(南洋理工大学);Centre for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心)
本文提出UNI-KD端到端框架,通过对抗学习同时迁移跨域通用特征级知识和联合logit级知识,解决时间序列模型跨域压缩中的域偏移问题,并在四个数据集上验证其优于SOTA方法。
2023-07-07 cs.LG
Parallel Blockwise Knowledge Distillation for Deep Neural Network Compression
深度神经网络(DNN)在解决当今自然语言处理、语音识别和计算机视觉中许多具有挑战性的人工智能任务方面取得了极大的成功。然而,DNN通常是计算密集型的,内存需求量大,耗电量大,这大大限制了它们在资源受限的平台上的使用。因此,已经提出了各种压缩技术(例如,量化、修剪和知识蒸馏)来减小DNN的大小和功耗。贝叶斯知识蒸馏是一种可以有效地减小高度复杂的DNN规模的压缩技术。但由于训练时间较长,没有被广泛采用。在本文中,我们提出了一种新的并行分块蒸馏算法,以加速复杂DNN的蒸馏过程。我们的算法利用本地信息进行独立的分块蒸馏,利用dependently可分离层作为有效的替换块架构,并适当地解决限制因素(如依赖,同步,和负载均衡)影响并行性。在AMD服务器上运行四个Geforce RTX 2080Ti GPU的实验结果表明,我们的算法可以实现3倍的速度和19%的能源节省VGG蒸馏,和3.5倍的速度和29%的能源节省ResNet蒸馏,两者都可以忽略不计的准确性损失。当在分布式集群中使用四个RTX6000 GPU时,ResNet蒸馏的加速比可以进一步提高到3.87。
2020-12-05 cs.LG
Understanding LLM Behaviors via Compression: Data Generation, Knowledge Acquisition and Scaling Laws
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);School of Computer Science and Engineering, Beihang University(北航计算机科学与工程学院)
本文基于柯尔莫哥洛夫复杂性与信息论,提出Syntax-Knowledge分层数据生成模型,从压缩与预测角度为LLM的数据和模型缩放定律、知识获取动态及事实幻觉提供统一的理论解释,并通过实验验证。
2025-11-09 cs.AI cs.IT cs.LG
Contrastive Distillation on Intermediate Representations for Language Model Compression
Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
现有的语言模型压缩方法大多使用简单的L2损失将大BERT模型的中间表示中的知识提取到较小的模型中。尽管被广泛使用,但这个目标的设计假设隐藏表示的所有维度都是独立的,未能捕获教师网络中间层中的重要结构知识。为了实现更好的蒸馏效果,我们提出了对比蒸馏的中间表示(COSTO),一个原则性的知识蒸馏框架,学生通过对比的目标,通过教师的中间层进行培训,以提取知识。通过学习从大量的负样本中区分出正样本,Coconut有助于学生利用教师隐藏层中的丰富信息。CONDITION可以很容易地应用于在预训练和微调阶段压缩大规模语言模型,并在GLUE基准测试中实现了卓越的性能,优于最先进的压缩方法。
2020-09-29 cs.CL cs.LG
Compression as Adaptation: Implicit Visual Representation with Diffusion Foundation Models
Microsoft Research Asia(微软亚洲研究院);University of Cambridge(剑桥大学)
提出一种将视觉信号编码为函数的新框架,通过冻结的视觉生成模型附加低秩适应参数实现隐式表示,并进一步哈希为紧凑向量,在极低比特率下实现强感知视频压缩,同时支持推理时缩放和调控,统一了视觉压缩与生成。
2026-05-22 cs.CV cs.LG
Multi-head Knowledge Distillation for Model Compression
MERL(三菱电机研究实验室)
针对神经网络压缩问题,提出了几种知识蒸馏方法。虽然它们都使用KL发散损失来将学生模型的软输出与教师模型的软输出更紧密地对齐,但各种方法在如何鼓励学生的中间特征与教师的中间特征相匹配方面有所不同。在本文中,我们提出了一个简单的实现方法,使用辅助分类器在中间层的匹配功能,我们称之为多头知识蒸馏(MHKD)。我们添加损失项来训练学生,以测量辅助分类器的学生和教师输出之间的差异。同时,所提出的方法还提供了一种自然的方式来测量中间层的差异,即使内部教师和学生特征的维度可能不同。通过在多个数据集上的图像分类实验,我们表明,所提出的方法优于文献中提出的相关方法。
2020-12-05 cs.AI cs.CV cs.LG
Deep Model Compression: Distilling Knowledge from Noisy Teachers
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
深度学习模型在各种应用中取得的巨大成功,导致了可以解决复杂问题的更深层网络的设计。然而,这种模型的深度增加也导致更高的存储和运行时复杂性,这限制了这种非常深的模型在移动和便携式设备上的可部署性,这些设备具有有限的存储和电池容量。虽然近年来已经提出了许多用于深度模型压缩的方法,但几乎所有方法都集中在降低存储复杂度上。在这项工作中,我们扩展了教师-学生框架进行深度模型压缩,因为它也有可能解决运行时和训练时间复杂度。我们提出了一种简单的方法,在从教师训练学生的同时,包括基于噪声的正则化器,这为学生网络的性能提供了健康的改善。我们在CIFAR-10,SVHN和MNIST数据集上的实验显示了很好的改进,在CIFAR-10数据集上的性能最好。我们还在CIFAR-10数据集的相关设置下对所提出的方法进行了全面的实证评估,以显示所提出的方法的前景。
2016-11-02 cs.LG
Rectified Decision Trees: Towards Interpretability, Compression and Empirical Soundness
Graduate School at Shenzhen, Tsinghua University(清华大学深圳研究生院);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院)
如何获得具有良好可解释性和性能的模型一直是一个重要的研究课题。在本文中,我们提出了修正决策树(ReDT),一个知识蒸馏的决策树整流具有高的可解释性,小的模型大小,和经验的可靠性。具体来说,我们扩展了经典决策树的杂质计算和纯结束条件,提出了一种决策树扩展,允许在训练和预测过程中使用由训练有素的教师模型生成的软标签。值得注意的是,对于软标签的获取,我们提出了一种新的基于多重交叉验证的方法来减少随机性和过拟合的影响。这些方法保证了RedT在保持良好的可解释性的同时,在压缩方面甚至比决策树实现更少的节点,同时具有相对较好的性能。此外,与传统的知识蒸馏不同,ReDT不需要学生模型的反向传播,是一种新的知识蒸馏方法的尝试。大量的实验进行,这表明了优势的可解释性,压缩,和经验的合理性的ReDT。
2020-08-24 cs.LG stat.ML
MixMix: All You Need for Data-Free Compression Are Feature and Data Mixing
UESTC(电子科技大学);SenseTime Research(商汤科技研究院);Harvard University(哈佛大学)
用户数据机密性保护是当前深度学习研究中的一个日益严峻的挑战。在不访问数据的情况下,传统的数据驱动的模型压缩面临更高的性能降级风险。最近,一些工作提出从特定的预训练模型生成图像以用作训练数据。然而,反演过程仅利用存储在一个模型中的有偏特征统计,并且是从低维到高维的。因此,它不可避免地遇到了可推广性和不精确反演的困难,从而导致性能不令人满意。为了解决这些问题,我们提出了MixMix基于两个简单而有效的技术:(1)特征混合:利用各种模型来构建一个通用的特征空间,用于广义反演;(2)数据混合:混合合成图像和标签,以生成准确的标签信息。我们从理论和实证两个角度证明了MixMix的有效性。大量的实验表明,MixMix优于现有的主流压缩任务,包括量化,知识蒸馏,修剪方法。具体来说,与现有的无数据压缩工作相比,MixMix在量化和修剪方面分别实现了高达4%和20%的准确度提升。
2022-01-26 cs.CV cs.LG
A Functional Perspective on Knowledge Distillation in Neural Networks
本文从功能角度研究知识蒸馏的压缩能力与知识传递,通过实验协议分析不同数据模态下的知识转移机制,发现知识蒸馏更像数据依赖的正则化方法,存在负向非对称转移风险。
2026-03-16 cs.AI cs.LG
PQK: Model Compression via Pruning, Quantization, and Knowledge Distillation
Qualcomm Technologies, Inc.(高通技术公司);Qualcomm AI Research(高通人工智能研究院)
随着边缘设备的普及,在边缘设备上部署深度神经网络(DNN)已成为一个关键问题。然而,DNN需要高计算资源,这对于边缘设备来说是很少可用的。为了解决这一问题,我们提出了一种新的模型压缩方法的设备有限的计算资源,称为PQK的修剪,量化,和知识蒸馏(KD)的过程。与传统的剪枝和KD不同,PQK利用在剪枝过程中修剪的不重要的权重来构建教师网络,用于训练更好的学生网络,而无需预先训练教师模型。PQK有两个阶段。第1阶段利用迭代修剪和量化感知训练来构建轻量级和节能的模型。在第二阶段,我们通过将第一阶段中未使用的不重要权重添加到修剪后的网络来创建教师网络。通过使用这个教师网络,我们训练修剪网络作为一个学生网络。在这样做时,我们不需要KD框架的预先训练的教师网络,因为教师和学生网络共存于同一网络中。我们将我们的方法应用到识别模型中,并验证了PQK在关键字定位(KWS)和图像识别上的有效性。
2021-06-25 cs.LG
LadaBERT: Lightweight Adaptation of BERT through Hybrid Model Compression
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
BERT是一种经过大型语料库预训练的前沿语言表示模型,在各种自然语言理解任务上都取得了优异的性能。然而,将BERT应用于在线服务的一个主要阻塞问题是,它是内存密集型的,并且导致用户请求的不令人满意的延迟,从而提高了模型压缩的必要性。现有的解决方案利用知识蒸馏框架来学习模仿BERT行为的较小模型。然而,知识蒸馏的训练过程本身是昂贵的,因为它需要足够的训练数据来模仿教师模型。在本文中,我们解决这个问题,提出了一个混合的解决方案,名为拉达BERT(轻量级适应BERT通过混合模型压缩),它结合了不同的模型压缩方法的优点,包括重量修剪,矩阵分解和知识蒸馏。LadaBERT在各种公共数据集上实现了最先进的准确性,同时训练开销可以减少一个数量级。
2020-10-21 cs.CL cs.LG
Knowledge Translation: A New Pathway for Model Compression
Zhejiang University(浙江大学)
本文提出知识翻译(KT)框架,通过训练一个翻译模型直接接收大模型参数并生成压缩参数,无需重新训练或施加架构约束,并在MNIST上验证了可行性。
2024-01-11 cs.AI cs.CV cs.LG
Extreme Compression for Pre-trained Transformers Made Simple and Efficient
Microsoft(微软)
极端压缩,特别是超低位精度(二进制/三进制)量化,已被提出,以适应资源受限的设备上的大型NLP模型。然而,为了保持这种激进压缩方案的准确性,尖端方法通常引入复杂的压缩流水线,例如,多阶段昂贵的知识蒸馏与广泛的超参数调整。此外,他们往往较少关注已经通过知识蒸馏被大量压缩的较小的Transformer模型,并且缺乏系统的研究来显示他们的方法的有效性。在本文中,我们进行了一个非常全面的系统研究,以衡量许多关键超参数和训练策略的影响。因此,我们发现以前的超低位精度量化基线明显训练不足。基于我们的研究,我们提出了一个简单而有效的压缩管道极端压缩,命名为XTC。XTC证明了(1)我们可以跳过预训练知识蒸馏以获得5层BERT,同时实现比以前最先进的方法更好的性能,例如,6层TinyBERT;(2)极端量化加上层缩减能够将模型大小减少50倍,从而在GLUE任务上产生新的最先进的结果。
2022-06-04 cs.CL cs.LG
Breaking the Compression Ceiling: Data-Free Pipeline for Ultra-Efficient Delta Compression
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);The Chinese University of Hong Kong(香港中文大学)
提出首个无数据delta压缩流水线UltraDelta,通过基于方差的混合稀疏度分配、分布感知压缩和迹范数引导重缩放,在层间、层内和全局维度最小化冗余并稳定性能,在多种模型上实现超高压缩率且优于现有方法。
2025-10-13 cs.AI cs.CV cs.LG
HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团)
在许多自然语言处理任务中,大型预训练语言模型(PLM)与传统的神经网络方法相比表现出了压倒性的性能。然而,它们庞大的模型大小和较低的推理速度在实践中阻碍了在资源有限的设备上的部署。在本文中,我们的目标是压缩PLM与知识蒸馏,并提出了一个层次关系知识蒸馏(HRKD)的方法来捕获层次和领域的关系信息。具体来说,为了增强模型的能力和可移植性,我们利用元学习的思想并建立域关系图来捕获不同域之间的关系信息。为了动态地为每个领域选择最具代表性的原型,我们提出了一种层次比较聚合机制来捕获层次关系。在公共多领域数据集上的实验表明,我们的HRKD方法的优越性能以及其强大的少样本学习能力。为了重现性,我们在https://github.com/cheneydon/hrkd上发布代码。
2021-10-16 cs.AI cs.CL cs.LG
Patient Knowledge Distillation for BERT Model Compression
Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
预先训练的语言模型(如BERT)已被证明对自然语言处理(NLP)任务非常有效。然而,训练此类模型对计算资源的高需求阻碍了其在实践中的应用。为了缓解大规模模型训练中的这种资源饥饿,我们提出了一种患者知识蒸馏方法,将原始的大模型(教师)压缩成同样有效的轻量级浅层网络(学生)。与以往的知识蒸馏方法不同,这些方法只使用教师网络最后一层的输出进行蒸馏,我们的学生模型耐心地从教师模型的多个中间层学习,以进行增量知识提取,遵循两种策略:($i$)PKD-Last:从最后一个$k$层学习;和($ii$)PKD-Skip:从每个$k$层学习。这两个耐心的蒸馏方案使教师的隐藏层中的丰富信息的开发,并鼓励学生模型耐心地学习和模仿教师通过多层蒸馏过程。从经验上讲,这可以转化为多个NLP任务的改进结果,在不牺牲模型准确性的情况下显著提高训练效率。
2019-08-25 cs.CL cs.LG
Familiarity-Aware Evidence Compression for Retrieval-Augmented Generation
University of California, Davis(加州大学戴维斯分校);University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学)
针对RAG中检索证据不一致、不相关且对目标模型陌生的问题,本文提出免训练的FaviComp,通过熟悉度感知压缩并融合参数化知识,在多个开放域QA数据集上最高提升准确率28.1%。
2025-10-17 cs.AI cs.CL cs.IR
PMKLC: Parallel Multi-Knowledge Learning-based Lossless Compression for Large-Scale Genomics Database
Nanyang Technological University(南洋理工大学);Guangxi University(广西大学)
本文提出PMKLC,一种基于并行多知识学习的基因组数据无损压缩器,通过自动化多知识学习框架、GPU加速编码、数据块划分与逐步模型传递机制及双压缩模式,在大规模基因组数据上显著提升压缩率、吞吐量和鲁棒性。
2025-07-17 cs.AI cs.CL cs.DB
Distilling Linguistic Context for Language Model Compression
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
最近语言表示学习的成功背后是一个计算昂贵和内存密集的神经网络。知识蒸馏是在资源稀缺的环境中部署如此庞大的语言模型的一种主要技术,它可以无限制地传输学习到的单个单词表示的知识。本文基于语言表征相对定位和整体语义知识含量较高的观点,提出了一种新的语言表示学习知识提取目标,即通过两种不同的表征关系:词关系和层转换关系来传递语境知识。不像其他最近的语言模型的蒸馏技术,我们的上下文蒸馏没有任何限制,教师和学生之间的架构变化。我们验证了我们的方法的有效性,具有挑战性的基准测试的语言理解任务,不仅在各种规模的架构,而且结合DynaBERT,最近提出的自适应大小修剪方法。
2021-09-17 cs.AI cs.CL cs.LG
Generalized Ternary Connect: End-to-End Learning and Compression of Multiplication-Free Deep Neural Networks
SRI International(SRI国际)
在边缘计算设备中使用深度神经网络取决于计算的准确性和复杂性之间的平衡。三元连接(TC)\cite{lin2015neural}通过将参数限制为三个级别($-1, 0$和$+1$)来解决这个问题,从而消除了预测期间网络的前向传递中的乘法。我们提出了广义三元连接(GTC),它允许任意数量的水平,而在同一时间消除乘法限制的参数为2的整数幂。GTC的主要贡献是学习每层的层数及其值,以及端到端的网络权重。MNIST和CIFAR-10上的实验表明,GTC自然收敛到深度分类网络(例如VGG-16)和深度变分自动编码器的“几乎二进制”网络,分别具有可忽略的分类精度损失和生成样本的可比视觉质量。我们证明了优越的压缩和类似的精度GTC相比,几个国家的最先进的方法神经网络压缩。最后,我们的模拟显示GTC在硬件的潜在好处。
2018-11-12 cs.LG stat.ML
Sample Compression for Real-Valued Learners
Princeton(普林斯顿大学);Ben-Gurion University(本-古里安大学)
我们在Moran和Yehudayoff(2016)中给出了学习者到压缩方案转换的算法有效版本。在将这种技术扩展到实值假设时,我们还获得了一个高效的回归到有界样本压缩转换器。据我们所知,这是第一个一般的压缩回归结果(无论效率或有界性),保证一致的近似重建。一路上,我们开发了一个通用的程序,用于构建弱实值学习抽象回归;这可能是独立的利益。特别是,这一结果揭示了一个开放的问题H。Simon(1997年)。我们展示了两个回归问题的应用:学习Lipschitz和有界变差函数。
2018-05-21 cs.LG stat.ML
UniComp: A Unified Evaluation of Large Language Model Compression via Pruning, Quantization, and Distillation
University College London(伦敦大学学院);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
提出UniComp框架,统一评估剪枝、量化和知识蒸馏三种压缩方法,从性能、可靠性和效率三个维度在40个数据集上分析,发现知识偏差、性能与可靠性解耦以及任务特定校准可提升推理性能。
2026-08-28 cs.LG
HPM-KD: Hierarchical Progressive Multi-Teacher Framework for Knowledge Distillation and Efficient Model Compression
Banco do Brasil S.A(巴西银行)
HPM-KD通过整合六个协同组件,实现高效模型压缩和知识蒸馏,提升压缩效率与准确性。
2025-12-10 cs.LG stat.AP
ST-Lite: Training-Free KV Cache Compression with Spatio-Trajectory Guidance for Long-Horizon GUI Agents
Tsinghua University(清华大学);Zhejiang University(浙江大学);The Chinese University of Hong Kong(香港中文大学)
ST-Lite通过无训练的KV缓存压缩方法,提升GUI代理的解码效率,实现2.45倍加速并保持性能优势。
2026-08-27 cs.AI cs.CV cs.LG
Compress-Distill: Reasoning Trace Compression for Efficient Knowledge Distillation
Université catholique de Louvain(列日天主教大学);Sophont Inc(Sophont公司)
本文提出在知识蒸馏前对推理轨迹进行事后压缩,以降低训练成本并缩短推理输出,实验表明压缩在准确率与效率间存在权衡。
2026-06-04 cs.CL cs.LG
DARK: Diagonal-Anchored Repulsive Knowledge Distillation for Vision-Language Models under Extreme Compression
Mohamed Bin Zayed University of Artificial Intelligence(Mohamed Bin Zayed人工智能大学)
本文提出DARK,一种对比知识蒸馏框架,通过分解损失函数为对角项和非对角项,使学生模型在极端压缩下更高效地排斥教师模型的非目标相似结构,实验证明其在零样本基准上表现优异。
2026-05-07 cs.AI cs.CV cs.LG
Sparse Knowledge Distillation: A Mathematical Framework for Probability-Domain Temperature Scaling and Multi-Stage Compression
PhD. research(博士研究)
本文提出概率域温度缩放与多阶段压缩的数学框架,通过算子层面分析揭示稀疏学生优于密集教师的条件,并提供收敛保证与等价类特征化,为知识蒸馏和模型压缩提供理论支持。
2026-01-06 cs.LG
BALF: Budgeted Activation-Aware Low-Rank Factorization for Fine-Tuning-Free Model Compression
提出BALF框架,将激活感知低秩分解扩展到线性层以外的卷积层,通过白化理论处理秩亏激活,并利用拉格朗日松弛在FLOP或参数预算下分配层秩,实现免微调的高效视觉模型压缩。
2026-11-11 cs.LG
Unified Data-Free Compression: Pruning and Quantization without Fine-Tuning
Zhejiang University(浙江大学)
针对无训练数据且不能微调的神经网络压缩问题,提出 UDFC 框架,通过通道线性组合重建与闭式解同时完成剪枝和量化,并在 ImageNet 上显著优于现有方法。
2023-08-14 cs.CV cs.LG eess.IV
Progressive$^2$: A Teacher-Student Progressive Co-Evolving Knowledge Distillation Method for Substantial Model Compression
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院)
Progressive²是结合渐进式增强教师与渐进式缩小学生的知识蒸馏方法,可缓解服务器-客户端能力差距导致的蒸馏性能下降,实现模型压缩并提升准确率与训练效率。
2026-08-04 cs.LG
Layer-wise Curriculum Learning for Efficient LLM Compression
Ajou University(亚洲大学)
本文提出逐层课程学习压缩LLM,通过分段知识迁移与特征缓存,在BERT和GPT-2上减少超50%GPU内存和训练时间,并在LLaMA和Qwen上超越其他剪枝方法。
2026-09-18 cs.AI cs.LG
Float8@2bits: Entropy Coding Enables Data-Free Model Compression
Merantix Momentum GmbH
提出EntQuant框架,通过熵编码解耦数值精度与存储成本,在无需数据和微调的情况下实现2比特极端压缩,10分钟内压缩70B参数模型并保持性能。
2026-05-29 cs.LG