Federated learning compression designed for lightweight communications
IMT Atlantique（IMT大西洋大学）；Mines Saint-Etienne（圣艾蒂安矿业学院）
本文研究压缩技术对联邦学习图像分类任务的影响，提出一种简单方法，在压缩消息高达50%的同时保持精度损失小于1%，与最先进技术相当。
2023-10-23 cs.LG eess.SP
3LC: Lightweight and Effective Traffic Compression for Distributed Machine Learning
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
分布式机器学习（ML）的性能和效率在很大程度上取决于节点交换状态更改所需的时间。过度积极地尝试减少通信通常会牺牲最终模型的准确性，并需要额外的ML技术来补偿这种损失，从而限制了它们的通用性。一些减少通信的尝试会导致高计算开销，这使得它们的性能优势仅在慢速网络上可见。我们提出了3LC，一个有损压缩计划的状态变化流量，罢工之间的平衡多个目标：流量减少，准确性，计算开销，和一般性。它结合了三种新的技术-3值量化与稀疏乘法、四次编码和零游程编码-以利用量化和稀疏化技术的优势并避免它们的缺点。它实现了高达39- 107倍的数据压缩比，几乎与训练模型相同的测试精度，以及较高的压缩速度。分布式ML框架可以使用3LC，而无需修改现有的ML算法。我们的实验表明，与TensorFlow的基线设计相比，3LC将基于ResNet-110的图像分类器在10 GPU集群上用于CIFAR-10的挂钟训练时间减少了16- 23倍。
2018-02-21 cs.DC cs.LG stat.ML
LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）
我们介绍了LilNetX，这是一种用于神经网络的端到端可训练技术，它使学习模型具有指定的精度-速率-计算权衡。以前的工作一次解决一个问题，并且通常需要后处理或多级训练，这变得不太实用，并且对于大型数据集或架构来说不能很好地扩展。我们的方法构建了一个联合训练目标，该目标在重新参数化的潜在空间中惩罚网络参数的自信息，以鼓励小模型大小，同时还引入先验知识以增加参数空间中的结构稀疏性，以减少计算。与现有的最先进的模型压缩方法相比，我们在ResNet-20上实现了高达50%的模型大小和98%的模型稀疏性，同时在CIFAR-10数据集上保持了相同的准确性，并且在ImageNet上训练的ResNet-50上实现了35%的模型大小和42%的结构化稀疏性。代码可在https://github.com/Sharath-girish/LilNetX上获得。
2022-04-06 cs.CV cs.LG
Lossless Compression via Chained Lightweight Neural Predictors with Information Inheritance
ITMO University（ITMO大学）
本文提出基于链式神经预测器的概率估计架构，利用信息继承机制提升压缩效率，实验表明其在压缩比和吞吐量上优于现有状态最优PAC压缩器。
2026-04-16 cs.IT cs.LG math.IT
Low-Rank Compression of Language Models via Differentiable Rank Selection
University of Edinburgh（爱丁堡大学）
LLRC通过可微分方法实现语言模型的低秩压缩，在无需微调的情况下提升压缩率与下游任务准确性。
2025-12-14 cs.AI cs.LG
FasterAI: A Lightweight Library for Creating Sparse Neural Networks
University of Mons（蒙斯大学）；IP Paris（巴黎理工学院）
FasterAI是一个基于PyTorch的库，旨在促进深度神经网络压缩技术的利用，如稀疏化，修剪，知识蒸馏或正则化。该库旨在实现快速实施和实验。更具体地说，压缩技术正在利用fastai和Pytorch Lightning等库的回调系统来带来用户友好的高级API。FasterAI的主要资产是其轻量级，但功能强大，使用简单。事实上，由于它是以非常细粒度的方式开发的，用户可以通过使用不同的参数组合来创建数千个独特的实验。在本文中，我们重点介绍FasterAI的稀疏化功能，它代表了库的核心。在FasterAI中执行神经网络的稀疏化只需要在传统的训练循环中添加一行代码，但允许执行最先进的技术，如彩票假设实验
2022-07-03 cs.AI cs.LG
Efficient training for compact compression models via sequential distillation
Univ. Rennes, Inria, CNRS, IRISA, Rennes, France（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、IRISA、里昂，法国）
本文提出了一种通过序列知识蒸馏减少自动编码器压缩网络的方法，通过简化早期优化目标和逐步引入复杂性，提高了轻量级模型的重建质量与统计保真度，适用于资源受限环境。
2026-05-19 cs.CV cs.LG
Skip2-LoRA: A Lightweight On-device DNN Fine-tuning Method for Low-cost Edge Devices
Keio University（庆应义塾大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究提出 Skip2-LoRA，通过隔层插入 LoRA 适配器并缓存前向中间结果，在低成本边缘设备上实现保持准确率且平均减少 90.0% 微调时间。
2024-10-28 cs.AI cs.LG
MOOSComp: Improving Lightweight Long-Context Compressor via Mitigating Over-Smoothing and Incorporating Outlier Scores
OPPO CTG
提出MOOSComp，通过缓解过平滑并引入离群分数增强轻量级长上下文压缩，在多种压缩比下性能优越，并在移动设备上实现3.3倍加速。
2025-04-23 cs.CL cs.LG
Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
Tsinghua University（清华大学）；Bauhaus-Universität Weimar（魏玛包豪斯大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；CNPC Engineering Technology RD Company Limited（中国石油集团工程技术研究院有限公司）；Queensland University of Technology（昆士兰科技大学）
本文探索迁移学习在物理信息神经网络（PINNs）强形式和能量形式中的泛化能力，发现全微调与LoRA能显著提升收敛速度并略微提高精度。
2025-02-02 cs.LG
Lightweight Conceptual Dictionary Learning for Text Classification Using Information Compression
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
本文提出一种基于LZW压缩和标签互信息精炼的轻量级监督字典学习框架，用于文本分类，在有限词汇数据集上以约10%参数量接近顶尖模型性能，并引入IPAR度量评估信息论表现。
2024-04-28 cs.CL cs.LG eess.SP
15,500 Seconds: Lean UAV Classification Using EfficientNet and Lightweight Fine-Tuning
Department of Computer Science（计算机科学系）；College of Charleston（查尔斯顿学院）；Department of Engineering（工程系）
本文针对UAV音频分类的数据稀缺问题，提出结合预训练模型、参数高效微调（PEFT）和数据增强的方法，利用3,100个音频片段进行实验，发现EfficientNet-B0全量微调结合三种增强实现了95.95%的最高准确率。
2025-08-14 cs.AI cs.LG
Lightweight Vision Transformer Compression for On-Device Plant Disease Detection in Resource-Constrained Agricultural Field Conditions
Amrita Vishwa Vidyapeetham（阿姆里塔维什瓦维迪亚皮塔姆大学）；Intel Corporation（英特尔公司）；Birla Institute of Technology（比拉理工学院）
针对资源受限农业场景的设备端辣椒病害检测，提出结合H-BAC剪枝、量化与注意力知识蒸馏的ViT压缩框架，实现54.5倍体积缩减且保持准确率，明确相关技术的适用场景。
2026-09-07 cs.AI cs.CV cs.LG
Smooth Model Compression without Fine-Tuning
University of Cambridge（剑桥大学）；University of Siegen（辛根大学）
本文提出利用平滑正则化（核范数及导数惩罚）训练神经网络以促进结构化平滑，并基于此应用SVD低秩张量近似方法，无需微调即可在保持高准确率的同时大幅减少模型参数。
2025-05-30 cs.LG
Sequential Compression Layers for Efficient Federated Learning in Foundational Models
Indian Institute of Technology Bombay（印度孟买理工学院）
本文针对联邦学习中LoRA微调性能不佳的问题，提出在Transformer前馈网络的up proj与down proj之间插入小型MLP层的参数高效微调方法，在语言模型和视觉编码器上均优于现有LoRA方案。
2025-03-08 cs.AI cs.LG
BALF: Budgeted Activation-Aware Low-Rank Factorization for Fine-Tuning-Free Model Compression
提出BALF框架，将激活感知低秩分解扩展到线性层以外的卷积层，通过白化理论处理秩亏激活，并利用拉格朗日松弛在FLOP或参数预算下分配层秩，实现免微调的高效视觉模型压缩。
2026-11-11 cs.LG
Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
Nanjing University（南京大学）；Southeast University（东南大学）
针对参数高效微调中激活内存开销过大的问题，本文提出 LoRAct，利用激活低秩性进行无校准数据的在线正交分解压缩，在视觉和语言任务上较 LoRA 减少约80%激活内存并保持性能。
2025-09-27 cs.AI cs.LG
EdgeCodec: Onboard Lightweight High Fidelity Neural Compressor with Residual Vector Quantization
D-ITET, ETH Zürich（ETH苏黎世联邦理工学院D-ITET）；RTDT Laboratories（RTDT实验室）
EdgeCodec是一种用于风力涡轮机叶片气压数据的端到端神经压缩器，采用非对称自编码器和残差向量量化，实现高压缩率与低误差，并降低无线传输能耗。
2025-07-08 cs.LG
LIFT+: Lightweight Fine-Tuning for Long-Tail Learning
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
针对现有微调范式在长尾学习中存在的效率与准确性问题，提出轻量级微调框架LIFT+，通过优化类条件分布、整合语义感知初始化等策略，显著减少训练轮次和参数规模，大幅超越现有最佳方法。
2025-04-17 cs.CV cs.LG
DaMoC: Efficiently Selecting the Optimal Large Language Model for Fine-tuning Domain Tasks Based on Data and Model Compression
Ant Group, China（蚂蚁集团）
针对开源大语言模型数量多、难快速选出最优微调模型的问题，提出DaMoC框架，通过数据过滤压缩与模型层裁剪稀疏合并，在4个数据集上实现选优的同时节省约20倍训练时间。
2025-09-04 cs.AI cs.CL cs.LG
Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models
Columbia University（哥伦比亚大学）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
本研究提出利用轻量级微调下MoE模型的路由器敏感度识别可剪枝专家，通过参数高效适配器微调后按路由器ℓ₂变化排序剪枝，在多个模型和基准上实现低精度损失的高压缩率，使理论驱动的专家剪枝可大规模落地。
2026-10-14 cs.AI cs.LG
PV-Tuning: Beyond Straight-Through Estimation for Extreme LLM Compression
Yandex；HSE University（高等经济大学）；MIPT（莫斯科物理技术学院）；Researchcore；AI Initiative（人工智能倡议）；KAUST（阿卜杜拉国王科技大学）；Skoltech（斯科尔科沃科技学院）；IST Austria（奥地利科学技术研究所）；NeuralMagic
针对极限LLM压缩中直通估计器（STE）的次优问题，提出与表示无关的PV-Tuning框架，通过改进量化感知微调策略，在1-2比特量化下实现了Llama 2等模型的首个Pareto最优量化。
2024-05-30 cs.LG
Sparse Gradient Compression for Fine-Tuning Large Language Models
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
提出稀疏梯度压缩（SGC）训练机制，通过将优化器状态投影到独立于模型参数的低维子空间来压缩内存，在数据与内存受限场景下实现性能与效率的灵活权衡。
2025-02-01 cs.LG
Forget the Data and Fine-Tuning! Just Fold the Network to Compress
Graz University of Technology（格拉茨技术大学）；ETH Zurich（苏黎世联邦理工学院）；Complexity Science Hub Vienna（维也纳复杂科学中心）
提出模型折叠这一无数据压缩技术，通过合并跨层相似神经元并利用k-means聚类防止方差异常，在无需微调下显著减小模型大小，在ResNet18和LLaMA-7B等基准上表现优于现有无数据方法，适用于资源受限环境。
2025-08-12 cs.AI cs.LG
Lightweight and Generalizable Acoustic Scene Representations via Contrastive Fine-Tuning and Distillation
Meta Reality Labs（Meta现实实验室）；Carnegie Mellon University（卡内基梅隆大学）
ContrastASC通过对比微调和蒸馏实现轻量且通用的声学场景表示，提升少样本适应能力的同时保持闭合集性能。
2026-02-11 cs.LG cs.SD eess.AS
ReALLM: A general framework for LLM compression and fine-tuning
Isep（Isep（巴黎高等电子学院））；Sorbonne University（索邦大学）；Huawei Tech（华为技术）；Ecole Polytechnique（巴黎综合理工学院）
提出ReALLM框架，将预训练矩阵分解为高精度低秩部分与向量量化隐表示，按矩阵自适应配置编码器并仅微调低秩部分，在4比特以下实现免训练量化最优及小样本微调的先进性能。
2024-05-21 cs.LG
Lightweight Modular Parameter-Efficient Tuning for Open-Vocabulary Object Detection
针对开放词汇检测中全参数微调成本高的问题，提出冻结骨干并引入可学习模态令牌的通用投影模块UniProj-Det，仅训练约2-5%参数即在多项任务上达到竞争性能。
2025-09-25 cs.CV cs.LG
EDGE-LLM: Enabling Efficient Large Language Model Adaptation on Edge Devices via Layerwise Unified Compression and Adaptive Layer Tuning and Voting
Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对边缘设备上大语言模型适配的计算与内存开销过高问题，提出含分层统一压缩、自适应层调优投票及硬件调度的Edge-LLM框架，实现2.92倍加速与4倍内存降低且精度相当。
2024-06-22 cs.DC cs.LG
LightNER: A Lightweight Tuning Paradigm for Low-resource NER via Pluggable Prompting
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Hangzhou Innovation Center, Zhejiang University（浙江大学杭州国际科创中心）；Alibaba Group（阿里巴巴集团）；State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）
大多数NER方法依赖于大量的标记数据进行模型训练，这在具有有限训练数据的低资源场景中很难实现。现有的主流方法通常会遇到目标域与资源丰富的源域具有不同的标签集的挑战，这可以归纳为类迁移和域迁移。在本文中，我们提出了一个轻量级的调优范式低资源NER通过可插拔提示（LightNER）。具体来说，我们构建了统一的可学习的实体类别的动词生成的实体跨度序列和实体类别没有任何标签特定的分类器，从而解决了类迁移问题。我们进一步提出了一个可插入的指导模块，通过将可学习的参数作为指导纳入自我注意力层，它可以重新调节注意力并适应预先训练的权重。请注意，我们只调整那些插入的模块，而预训练的语言模型的整个参数是固定的，因此，使我们的方法对于低资源场景是轻量级和灵活的，并且可以更好地跨领域传输知识。实验结果表明，LightNER在标准监督环境中可以获得相当的性能，并在低资源环境中优于强基线。代码在https://github.com/zjunlp/DeepKE/tree/main/example/ner/few-shot中。
2022-09-14 cs.AI cs.CL cs.DB
WAter: A Workload-Adaptive Knob Tuning System based on Workload Compression
Purdue University（普渡大学）；Cornell University（康奈尔大学）；Sichuan University（四川大学）
WAter通过将调优过程划分为多个时间片，并在每个时间片中评估工作负载的小子集，显著降低了调优成本，同时提升了性能。
2026-03-28 cs.AI cs.DB cs.LG
Fine-tuning Language Models over Slow Networks using Activation Compression with Guarantees
ETH Zürich（苏黎世联邦理工学院）；Stanford University（斯坦福大学）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Meta AI
通信压缩是现代分布式学习系统在慢速网络上缓解通信瓶颈的关键技术。尽管最近对数据并行式训练的梯度压缩进行了深入研究，但压缩用流水线并行训练的模型的激活仍然是一个悬而未决的问题。在本文中，我们提出了AC-SGD，一种新的激活压缩算法的通信效率的流水线并行训练缓慢的网络。与以往的激活压缩不同，AC-SGD不是直接压缩激活值，而是压缩激活的变化。这使我们能够第一次证明，就我们所知，在激活压缩下，人们仍然可以实现非凸目标的$O(1/\sqrt{T})$收敛速度，而无需对梯度无偏性做出假设，而这些假设不适用于具有非线性激活函数的深度学习模型。然后，我们证明了AC-SGD可以有效地优化和实现，没有额外的端到端运行时开销。我们评估了AC-SGD，以微调语言模型，参数多达15亿，将激活压缩到2-4位。AC-SGD在较慢的网络中提供高达4.3倍的端到端速度，而不会牺牲模型质量。此外，我们还展示了AC-SGD可以与最先进的梯度压缩算法相结合，以实现“端到端通信压缩：机器之间的所有通信，包括模型梯度，前向激活和后向梯度，都被压缩到较低的精度。这提供了高达4.9倍的端到端速度，而不牺牲模型质量。
2023-03-06 cs.DC cs.LG
DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
Samsung AI Centre Cambridge（三星剑桥人工智能中心）
本文提出DP-LAC，通过隐私直方图估计估计初始截断阈值，并在训练过程中自适应调整，无需额外隐私预算或新超参数，提升联邦微调语言模型的隐私保护与准确性。
2026-05-11 cs.AI cs.CR cs.DC
Constrained Edge AI Deployment: Fine-Tuning vs Distillation for LLM Compression
Department of Computer Science, University of West Florida（计算机科学系，西佛罗里达大学）；Department of Mathematics and Statistics, University of West Florida（数学与统计学系，西佛罗里达大学）；Department of Intelligent Systems and Robotics, University of West Florida（智能系统与机器人系，西佛罗里达大学）；Institute of Human and Machine Cognition（人机认知研究所）；DEVCOM Army Research Laboratory（陆军研究实验室）
本研究比较了微调与自蒸馏在仅MLP剪枝的LLM压缩中的效果，发现KL散度蒸馏在相同剪枝计划下达到或超过交叉熵微调，表明损失函数选择对边缘部署中压缩模型恢复有重要影响。
2025-05-13 cs.LG
Morphing-based Compression for Data-centric ML Pipelines
Technische Universität Berlin（柏林工业大学）
本文针对以数据为中心的机器学习流水线，提出BWARE技术，通过特征转换和工程推动工作负载感知的无损矩阵压缩，实现压缩表示的轻量级变形，显著缩短训练时间。
2025-04-15 cs.DB cs.DC cs.LG
Private Federated Learning with Autotuned Compression
The Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
该研究提出无需手动调优压缩率的私有联邦学习通信优化技术，可自适应调整压缩率并保障隐私，在均值估计上实例最优，真实数据集上效果良好。
2023-07-20 cs.LG stat.ML
Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey
Aalborg University（奥尔堡大学）；University of New South Wales（新南威尔士大学）
深度学习技术已经在广泛的任务中表现出显著的有效性，并且深度学习具有推进多种应用的潜力，包括在边缘计算中，其中在边缘设备上部署深度模型以实现即时数据处理和响应。一个关键的挑战是，虽然深度模型的应用通常会产生大量的内存和计算成本，但边缘设备通常只提供非常有限的存储和计算能力，这些能力在设备之间可能会有很大的差异。这些特征使得很难构建深度学习解决方案，在满足其限制的同时释放边缘设备的潜力。解决这一挑战的一个有前途的方法是自动设计有效的深度学习模型，这些模型是轻量级的，只需要很少的存储，并且只产生很低的计算开销。本调查全面涵盖了针对边缘计算的深度学习模型的设计自动化技术研究。它概述和比较了常用的关键指标，这些指标通常用于量化模型在有效性，亮度和计算成本方面的熟练程度。然后，调查继续涵盖三个类别的最先进的深度模型设计自动化技术：自动神经架构搜索，自动模型压缩，联合自动设计和压缩。最后，调查涵盖了开放的问题和未来的研究方向。
2022-08-22 cs.AI cs.LG cs.SE
Weight Squeezing: Reparameterization for Knowledge Transfer and Model Compression
VK Lab（VK实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Tinkoff
在这项工作中，我们提出了一种新的方法，同时知识转移和模型压缩称为重量挤压。通过这种方法，我们通过学习从教师模型的权重到较小的学生模型权重的映射来执行教师模型的知识转移。我们将权重压缩应用于基于BERT-Medium模型的预训练文本分类模型，并将我们的方法与其他各种知识转移和模型压缩方法在GLUE多任务基准上进行了比较。我们观察到，我们的方法产生了更好的结果，同时比其他训练学生模型的方法快得多。我们还提出了一种称为Gated Weight Squeezing的Weight Squeezing变体，其中我们结合了BERT-Medium模型的微调和BERT-Base权重的学习映射。我们表明，使用门控权重压缩的微调优于BERT-Medium模型的普通微调以及其他并发SoTA方法，同时更容易实现。
2021-08-30 cs.CL cs.LG stat.ML
Tuning Just Enough: Lightweight Backdoor Attacks on Multi-Encoder Diffusion Models
Computer Science Department, TU Darmstadt, Germany（图恩大学计算机科学系）；Hessian Center for Artificial Intelligence (hessian.AI), Darmstadt, Germany（海德堡人工智能中心）
针对多编码扩散模型的轻量级后门攻击研究，通过仅调优少量参数实现有效攻击，揭示多编码器设置下的新漏洞。
2026-03-04 cs.CV cs.LG
Quantized Delta Weight Is Safety Keeper
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Jinan University（暨南大学）
针对专有语言模型微调的高资源需求与安全风险，本文评估部分压缩方法对安全的影响，发现量化增量权重的部分压缩可在效用损失不足10%时大幅降低对齐破坏、后门攻击等安全风险。
2024-11-29 cs.AI cs.CR cs.LG
OmniZip: Learning a Unified and Lightweight Lossless Compressor for Multi-Modal Data
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
OmniZip是一种用于多模态数据的统一且轻量级无损压缩器，通过三种关键组件实现高效压缩，并在多个数据集上实现了更高的压缩效率。
2026-03-02 cs.IT cs.LG math.IT
Low-Rank Adapters Meet Neural Architecture Search for LLM Compression
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
本文回顾了将低秩适配器与神经架构搜索（NAS）技术结合用于大型语言模型压缩与参数高效微调的方法，通过权重共享超网络等策略降低内存占用并加快推理，使模型在资源受限环境中更易部署。
2025-01-23 cs.AI cs.CL cs.LG
FedNano: Toward Lightweight Federated Tuning for Pretrained Multimodal Large Language Models
LMU Munich（慕尼黑莱布尼茨大学）；Technical University of Munich（慕尼黑技术大学）；Siemens Technology（西门子技术）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University Heidelberg（海德堡大学）
FedNano提出首个将LLM置于服务器端、客户端仅用轻量NanoEdge模块的联邦微调框架，大幅降低存储与通信开销，实现高效隐私保护的多模态联邦学习。
2025-06-12 cs.AI cs.LG cs.MM
NUDGE: Lightweight Non-Parametric Fine-Tuning of Embeddings for Retrieval
UC Berkeley（加州大学伯克利分校）
NUDGE提出一种非参数嵌入微调方法，通过直接修改数据记录嵌入并施加可高效求解的约束，在保持语义的同时显著提升检索准确率，且比现有微调方法更快。
2024-09-04 cs.AI cs.CL cs.IR
Shortcuts in the Tail: Debiasing via Post-Hoc Spectral Compression of Fine-Tuning Updates
UCLA（加州大学洛杉矶分校）；Northeastern University（东北大学）
提出对微调权重更新进行SVD截断尾部，无需重训练或组标签即可减少虚假关联，在多个模型和基准上以<2%的准确率损失将差距降低最多5倍。
2026-09-04 cs.LG
SALT: A Lightweight Model Adaptation Method for Closed Split Computing Environments
Institute of Science Tokyo（东京科学研究所）
针对封闭拆分计算中用户无法访问头尾网络、传统适配方法失效的问题，提出轻量级框架SALT，通过客户端可训练适配器优化潜在特征实现适配，在低延迟下提升分类精度，还支持有损网络鲁棒推理，为边缘AI个性化推理提供实用方案。
2025-06-14 cs.AI cs.LG cs.NI
Unified Data-Free Compression: Pruning and Quantization without Fine-Tuning
Zhejiang University（浙江大学）
针对无训练数据且不能微调的神经网络压缩问题，提出 UDFC 框架，通过通道线性组合重建与闭式解同时完成剪枝和量化，并在 ImageNet 上显著优于现有方法。
2023-08-14 cs.CV cs.LG eess.IV
Few Sample Knowledge Distillation for Efficient Network Compression
MIT（麻省理工学院）；Intel Labs（英特尔实验室）；UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
剪枝、权重张量分解等深度神经网络压缩技术，在压缩比较高时，通常需要进行微调以恢复预测精度。然而，传统的微调遭受的要求，一个大的训练集和耗时的训练过程。本文提出了一种新的解决方案，知识蒸馏从无标签的小样本，实现数据效率和训练/处理效率。我们把原始网络看作“教师网”，把压缩后的网络看作“学生网”。在学生网络的每个层块的末尾添加一个1x 1卷积层，通过估计添加层的参数，将学生网络的块级输出拟合到教师网络。我们证明了增加的层可以合并，而不增加额外的参数和计算成本在推理。在多个数据集和网络结构上的实验验证了该方法对各种网络剪枝和权值分解方法得到的学生网的有效性。我们的方法可以在几分钟内恢复学生网络的准确性与传统的微调方法相同的水平，而只使用完整的训练数据的1%的无标签数据。
2020-03-31 cs.LG stat.ML
Lightweight Convolutional Representations for On-Device Natural Language Processing
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Facebook（脸书）
深度神经网络的计算和存储器复杂性的增加使得难以将它们部署在低资源电子设备（例如，移动电话、平板电脑、可穿戴设备）。从业者已经开发了许多模型压缩方法来解决这些问题，但很少有压缩输入表示本身。在这项工作中，我们提出了一种快速，准确和轻量级的卷积表示，可以交换到任何神经模型中并进行显著压缩（高达32倍），性能降低可以忽略不计。此外，当考虑以资源为中心的指标（例如，模型文件大小、延迟、内存使用）。
2020-02-04 cs.CL cs.LG
DKDL-Net: A Lightweight Bearing Fault Detection Model via Decoupled Knowledge Distillation and Low-Rank Adaptation Fine-tuning
SPBU（圣彼得堡国立大学）
本文提出DKDL-Net模型，通过解耦知识蒸馏和低秩适应微调，实现轻量级滚动轴承故障检测，提升计算效率和精度。
2024-06-20 cs.LG
LightPAFF: A Two-Stage Distillation Framework for Pre-training and Fine-tuning
Nanjing University of Science and Technology（南京理工大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在预训练和微调时，例如，BERT~ \citep{devlin2018bert}、GPT-2~ \citep{radford2019language}等在语言理解和生成任务中取得了巨大的成功，但由于预训练模型的存储空间和推理速度都很大，无法在线部署，影响了它们的实际在线使用。在本文中，我们提出了LightPAFF，一个轻量级的预训练和微调框架，它利用两个阶段的知识蒸馏，在预训练和微调阶段将知识从一个大的教师模型转移到一个轻量级的学生模型。通过这种方式，轻量级模型可以达到与大型教师模型相似的精度，但参数要少得多，因此在线推理速度更快。LightPAFF可以支持不同的预训练方法（如BERT、GPT-2和MASS~ \citep{song2019mass}），并可应用于许多下游任务。在三个语言理解任务、三个语言建模任务和三个序列到序列生成任务上的实验表明，LightPAFF在使用大BERT、GPT-2和MASS模型实现类似准确性的同时，将模型大小减少了近5倍，并将在线推理速度提高了5倍至7倍。
2020-04-27 cs.CL cs.LG
Convex Distillation: Efficient Compression of Deep Networks via Convex Optimization
Stanford University（斯坦福大学）
针对传统深度网络压缩方法保留非凸性、需大量微调且依赖全标注数据的问题，提出基于凸优化的蒸馏方法，仅用原始模型中间激活值即可无标注压缩且无需后微调，数据有限时性能优于标准非凸蒸馏，为边缘部署及凸优化与深度学习交叉研究提供新方向。
2024-10-09 cs.LG
Rank Selection of CP-decomposed Convolutional Layers with Variational Bayesian Matrix Factorization
University of Science and Technology（科学技术大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
卷积神经网络（Convolutional Neural Networks，CNN）是一种在图像分类等领域取得成功的方法。然而，由于内存和计算能力的限制，CNN推理所需的内存量和计算成本阻碍了它们在移动设备中有效运行。压缩CNN的方法之一是迭代地压缩层，即通过逐层压缩和微调，在卷积层中进行CP分解。为了用CP分解进行压缩，秩的选择是重要的。在以前的方法秩选择的基础上，每一层的灵敏度，平均秩的网络仍然是任意选择的。此外，在整个迭代压缩过程之前，确定了所有层的秩，而一个层的秩可以通过微调来改变。因此，本文提出使用变分贝叶斯矩阵分解（VBMF）来选择每一层的秩，这比任意的方法更系统。此外，为了考虑在先前迭代的微调之后每个层的秩的变化，该方法在压缩目标层之前应用，即在先前迭代的微调之后应用。结果显示更好的准确性，同时在AlexNet的卷积层压缩中也具有更高的压缩率。
2018-01-16 cs.LG
Low-Rank Prehab: Preparing Neural Networks for SVD Compression
Department of Computer Science, Vanderbilt University（计算机科学系，范德比尔特大学）
低秩预准备通过在SVD压缩前优化权重结构，提升压缩后模型性能和恢复效果。
2025-12-01 cs.LG
LoCoCo: Dropping In Convolutions for Long Context Compression
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI (FAIR)（Meta AI（FAIR））；Carnegie Mellon University（卡内基梅隆大学）
本文提出 LoCoCo，通过一维卷积核自适应融合 KV 对，在固定大小 KV 缓存下实现长上下文压缩，并在推理与训练后微调中验证了高压缩率和性能保持。
2024-10-25 cs.CL cs.LG
