Tensorial Neural Networks: Generalization of Neural Networks and Application to Model Compression
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了张量神经网络(TNNs),现有的神经网络的推广,通过扩展张量操作的低阶操作的高阶的。参数学习的问题是具有挑战性的,因为它对应于分层非线性张量分解。我们建议使用随机梯度下降来解决学习问题,通过导出我们引入的广义张量代数中的非平凡反向传播规则。与现有的神经网络相比,我们提出的TNN有三个优点:(1)TNN自然地适用于高阶输入对象,从而保留了输入中的多维结构,因为不需要扁平化数据。(2)TNN解释现有神经网络架构的设计。(3)将神经网络映射到具有相同表达能力的TNN会导致TNN的参数更少。神经网络的基于TNN的压缩改进了现有的基于低秩近似的压缩方法,因为除了低秩之外,TNN还利用两种其他类型的不变结构,周期性和调制。在LeNet-5(MNIST),ResNet-32(CIFAR 10)和ResNet-50(ImageNet)上的实验表明,我们基于TNN的压缩在相同的压缩率下优于(CIFAR 10上普遍提高了5%的测试精度)最先进的基于低秩近似的压缩方法,此外由于TNN的效率,还实现了数量级更快的收敛速度。
2018-12-08 cs.LG stat.ML
Data Compression using Rank-1 Lattices for Parameter Estimation in Machine Learning
Institute for Mathematics, Osnabr\"uck University, Albrechtra e 28a, 49074 Osnabr\"uck, Germany
针对大型数据集计算损失函数的高计算需求,提出基于秩1格的QMC数据压缩算法,通过预处理分配权重压缩数据加速迭代计算,对特定函数证明可实现任意高收敛率。
2025-08-25 cs.LG cs.NA math.NA
A flexible, extensible software framework for model compression based on the LC algorithm
University of California, Merced(加州大学默塞德分校)
我们提出了一个软件框架的基础上的学习压缩(LC)算法的思想,允许用户压缩神经网络或其他机器学习模型使用不同的压缩方案,以最小的努力。目前,支持的压缩包括修剪、量化、低秩方法(包括自动学习层秩)以及这些方法的组合,用户可以为神经网络的不同部分选择不同的压缩类型。LC算法交替两种类型的步骤直到收敛:学习(L)步骤,其在数据集上训练模型(使用诸如SGD的算法);以及压缩(C)步骤,其压缩模型参数(使用诸如低秩或量化的压缩方案)。“机器学习“方面与“信号压缩”方面的这种解耦意味着改变模型或压缩类型相当于分别在L或C步骤中调用对应的子例程。该库在设计上完全支持这一点,这使得它非常灵活和可扩展。这并不以牺牲性能为代价:压缩模型所需的运行时间与最初训练模型的运行时间相当;并且压缩模型在预测准确性和压缩比方面与其他算法(通常专门用于特定模型或压缩方案)具有竞争力。该库是用Python和PyTorch编写的,可以在Github上使用。
2020-05-15 cs.LG cs.NE math.OC
BALF: Budgeted Activation-Aware Low-Rank Factorization for Fine-Tuning-Free Model Compression
提出BALF框架,将激活感知低秩分解扩展到线性层以外的卷积层,通过白化理论处理秩亏激活,并利用拉格朗日松弛在FLOP或参数预算下分配层秩,实现免微调的高效视觉模型压缩。
2026-11-11 cs.LG
Text Ranking and Classification using Data Compression
Meta Platforms Inc(Meta平台公司)
一种众所周知但很少使用的文本分类方法使用条件熵估计,该估计是使用数据压缩工具计算的。从压缩大小导出的文本亲和度分数可用于分类和排名任务,但其成功与否取决于所使用的压缩工具。我们使用Zstandard压缩器,并以几种方式加强这些想法,称之为语言无关技术Zest。在应用中,这种方法简化了配置,避免了仔细的特征提取和大型ML模型。我们的消融研究证实了我们引入的个体增强的价值。我们表明,Zest可以补充生产中特定语言的多维内容嵌入并与之竞争,但无法在公共数据集上优于其他计数方法。
2021-12-07 cs.LG
Low-Rank Prehab: Preparing Neural Networks for SVD Compression
Department of Computer Science, Vanderbilt University(计算机科学系,范德比尔特大学)
低秩预准备通过在SVD压缩前优化权重结构,提升压缩后模型性能和恢复效果。
2025-12-01 cs.LG
Low-Rank+Sparse Tensor Compression for Neural Networks
University of California, Santa Barbara(加州大学圣巴巴拉分校);Facebook Inc.(Facebook公司)
低秩张量压缩已被提出作为一种有前途的方法,以减少神经网络部署在边缘设备上的内存和计算需求。张量压缩通过假设网络权重具有粗略的高阶结构来减少表示神经网络权重所需的参数的数量。这种粗结构假设已经被应用于压缩大型神经网络,如VGG和ResNet。然而,用于计算机视觉任务的现代最先进的神经网络(即MobileNet,EfficientNet)已经通过深度可分离卷积假设了粗糙的因子分解结构,使得纯张量分解成为一种不太有吸引力的方法。我们建议将低秩张量分解与稀疏修剪相结合,以便利用粗结构和细结构进行压缩。我们在SOTA架构(MobileNetv3,EfficientNet,视觉Transformer)中压缩权重,并将这种方法与稀疏修剪和张量分解进行比较。
2021-11-02 cs.LG
Zero Sum SVD: Balancing Loss Sensitivity for Low Rank LLM Compression
Department of Computer Science, Vanderbilt University, TN, USA(计算机科学系,范德比尔特大学)
零和SVD通过全局奇异成分选择和零和规则实现低秩LLM压缩,无需优化即可自动生成异质秩,提升压缩效率与性能。
2026-09-30 cs.LG
Layer-wise dynamic rank for compressing large language models
Stevens Institute of Technology(史蒂文斯理工学院);Carnegie Mellon University(卡内基梅隆大学);Technical University of Darmstadt(达姆施塔特技术大学)
针对大语言模型现有SVD压缩方法逐层统一压缩比忽略层异质性的问题,提出D-Rank动态秩分配框架,基于有效秩和拉格朗日优化自适应分配秩,在多个基准上实现更优压缩效果与推理效率。
2025-10-04 cs.LG
ARA: Adaptive Rank Allocation for Efficient Large Language Model SVD Compression
Shanghai Jiao Tong University(上海交通大学)
针对大语言模型SVD压缩中全局压缩比约束下的秩分配难题,提出自适应秩分配方法ARA,通过专用掩码设计和额外损失函数优化,在LLaMA2-7B 80%压缩比下实现性能显著提升。
2025-10-22 cs.LG
A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank
Seoul National University(首尔大学)
压缩已经成为深度学习的重要研究课题之一,特别是对于计算能力和存储容量有限的边缘设备。在主要的压缩技术中,已知经由矩阵分解的低秩压缩具有两个问题。首先,需要广泛的调谐。其次,所得到的压缩性能通常不令人印象深刻。在这项工作中,我们提出了一种低秩压缩方法,利用修改后的束搜索的自动排名选择和修改后的稳定排名的压缩友好的训练。得到的BSR(束搜索和稳定秩)算法只需要一个单一的超参数被调整为所需的压缩比。在精度和压缩比权衡曲线方面,BSR的性能优于先前已知的低秩压缩方法。此外,BSR可以与最先进的结构化修剪方法相比甚至更好。与修剪一样,BSR可以很容易地与量化相结合,以进行额外的压缩。
2021-12-01 cs.AI cs.CV cs.LG
Semi-tensor Product-based TensorDecomposition for Neural Network Compression
University of Electronic Science and Technology of China(电子科技大学);Shanghai Jiao Tong University(上海交通大学)
现有的张量网络采用传统的矩阵积进行连接。经典的矩阵乘积要求因子之间具有严格的维数一致性,这会导致数据表示的冗余。本文利用半张量积将经典的基于矩阵积的模积推广到半张量积。由于它允许连接两个不同维度的因子,因此可以用较小的因子获得更灵活和紧凑的张量分解。Tucker分解、张量训练(TT)和张量环(TR)是深度神经网络低秩压缩的常用分解。将半张量积应用于这些张量分解以获得它们的广义版本,即,半张量Tucker分解(STTu)、半张量训练(STT)和半张量环(STR)。实验结果表明,STTu,STT和STR实现更高的压缩因子比传统的张量分解具有相同的精度,但更少的训练时间在ResNet和WideResNet压缩。在2%精度下降的情况下,TT-RN(rank = 14)和TR-WRN(rank = 16)仅获得3倍和99 t倍的压缩因子,而STT-RN(rank = 14)和STR-WRN(rank = 16)分别获得9倍和179倍的压缩因子。
2021-09-30 cs.LG
IO-SVD: Input-Output Whitened SVD for Adaptive-Rank LLM Compression
Vanderbilt University(范德比大学);University of California, Davis(加州大学戴维斯分校)
IO-SVD通过构建KL感知的双侧白化空间,结合高效异质秩分配策略,实现LLM压缩时的性能与效率平衡,实验表明其在压缩过程中性能损失小且推理速度提升显著。
2026-05-15 cs.LG
Different Prompts, Different Ranks: Prompt-aware Dynamic Rank Selection for SVD-based LLM Compression
Stevens Institute of Technology(史蒂文斯理工学院);Technical University of Darmstadt(达姆施塔特技术大学)
本文提出PARSE框架,通过提示感知的动态秩选择提升SVD压缩LLM的效率与性能,实现任务准确率提升10%及推理速度提升。
2026-05-09 cs.LG
Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs
Fraunhofer HHI(弗劳恩霍夫研究所)
提出AIR框架,基于SVD和反向信号影响度量,通过单次交替最小二乘扫描实现权重矩阵的低秩近似,在参数保留≤60%时困惑度比SVD-LLM(W)改善>18%,并减少90%校准数据。
2026-09-09 cs.LG
DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation
针对大语言模型KV缓存瓶颈问题,提出DynaCalKV框架,通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存,值缓存采用ReCalKV方法优化,实验表明能减少键缓存参数且保持准确率,对MHA模型效果好,对GQA模型应用需更谨慎。
2026-07-28 cs.LG
PuzzleKV: Page-Wise Low-Rank Decomposition for KV Cache Compression
PuzzleKV将KV缓存划分为固定长度逻辑页,以页为独立压缩单元,在匹配存储预算下实现高压缩率与近似完整KV的性能,在RULER、LongBench等基准上表现优于Global SVD。
2026-08-26 cs.LG
Predicting LLM Compression Degradation from Spectral Statistics
Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院伦敦分校电子与电气工程系)
本文通过分析四种低秩压缩方法,发现稳定秩和信息密度主导性能退化,提出γ·ρ_s交互项作为准确度退化的预测指标,实现了高相关性验证。
2026-04-20 cs.LG
Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
University of California-Santa Barbara(加州大学圣芭芭拉分校);Amazon(亚马逊)
本文提出了一种基于激活信息的帕累托引导低秩压缩方法,通过理论分析和算法设计,在保持模型精度的同时提升LLM和VLM的压缩效率和推理速度。
2026-10-08 cs.CL cs.LG
Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition
Michigan State University(密歇根州立大学);University of Michigan - Ann Arbor(密歇根大学安娜堡分校)
本文提出低秩诱导训练方法 LoRITa,通过线性层组合和奇异值截断实现结构保持的网络压缩,无需预训练初始化、预先指定秩或迭代计算 SVD,在多个模型和数据集上取得领先的 FLOPs 与参数压缩效果。
2024-10-17 cs.LG
Low-Rank Compression of Language Models via Differentiable Rank Selection
University of Edinburgh(爱丁堡大学)
LLRC通过可微分方法实现语言模型的低秩压缩,在无需微调的情况下提升压缩率与下游任务准确性。
2025-12-14 cs.AI cs.LG
Almost-lossless compression of a low-rank random tensor
Huawei Research Center(华为研究中心)
在这项工作中,我们建立了一个渐近极限的几乎-无损压缩的随机,有限的字母表张量,它允许一个低秩的规范polyadic分解。
2022-10-23 cs.IT cs.LG eess.SP
Rank Selection of CP-decomposed Convolutional Layers with Variational Bayesian Matrix Factorization
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电子通信研究院)
卷积神经网络(Convolutional Neural Networks,CNN)是一种在图像分类等领域取得成功的方法。然而,由于内存和计算能力的限制,CNN推理所需的内存量和计算成本阻碍了它们在移动设备中有效运行。压缩CNN的方法之一是迭代地压缩层,即通过逐层压缩和微调,在卷积层中进行CP分解。为了用CP分解进行压缩,秩的选择是重要的。在以前的方法秩选择的基础上,每一层的灵敏度,平均秩的网络仍然是任意选择的。此外,在整个迭代压缩过程之前,确定了所有层的秩,而一个层的秩可以通过微调来改变。因此,本文提出使用变分贝叶斯矩阵分解(VBMF)来选择每一层的秩,这比任意的方法更系统。此外,为了考虑在先前迭代的微调之后每个层的秩的变化,该方法在压缩目标层之前应用,即在先前迭代的微调之后应用。结果显示更好的准确性,同时在AlexNet的卷积层压缩中也具有更高的压缩率。
2018-01-16 cs.LG
Clustering-Based Low-Rank Matrix Approximation for Medical Image Compression
Department of Statistics, Rhodes University(统计学系,罗德斯大学);Department of Mathematics, Rhodes University(数学系,罗德斯大学);National Institute for Theoretical and Computational Sciences (NITheCS)(理论与计算科学国家研究所)
针对现有低秩矩阵近似方法难以适应医学图像局部结构变化的问题,提出基于k-means聚类和分块SVD的自适应LoRMA方法,在四种成像模态上均优于全局SVD,能更好保留诊断信息。
2025-10-28 cs.LG
An Adaptive Tensor-Train Decomposition Approach for Efficient Deep Neural Network Compression
Computational Science Research Center(计算科学研究中心);University of California Irvine(加州大学尔湾分校);University of California, Davis(加州大学戴维斯分校);Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Mathematics(数学系);Department of Computer Science(计算机科学系);California State University Fullerton(加州州立大学富尔顿分校)
针对张量分解中张量秩选择计算复杂度高的问题,提出一种基于LWIQ的自动预算感知秩选择方法,通过代理分类器评估各层重要性并自适应调整秩,显著提升了搜索效率并实现了良好的模型压缩效果。
2025-09-16 cs.LG
GA-SVD: Generation-aware Singular Value Decomposition for LLM Compression
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Technology Innovation Institute UAE(阿联酋技术创新研究院);Westlake University(西湖大学);ISTA(奥地利科学技术研究所)
针对现有SVD压缩LLM时难以保留生成任务性能且秩分配策略启发式的问题,提出GA-SVD框架,通过GAWW和进化全局秩分配方法,在多类模型及基准上实现优于基线的SoTA压缩效果,且可扩展至70B参数模型。
2026-10-14 cs.LG
BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation
Peking University(北京大学);Tencent(腾讯);BeiHang University(北京航空航天大学)
针对大语言模型长上下文推理的KV缓存内存瓶颈,提出BELT框架,通过学习型秩分配实现高效低秩压缩,在提升模型质量与吞吐量的同时实现显著缓存压缩效果。
2026-10-14 cs.AI cs.LG
STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control
University of Washington(华盛顿大学)
提出STAR-KV框架,通过可微阈值机制实现注意力头和块级别的自适应秩选择,结合混合分解和低秩感知混合精度量化,在多种LLM上达到75%的KV缓存压缩,结合量化可减少20倍,并实现6.9倍注意力模块加速和3.1倍端到端生成吞吐提升。
2026-06-07 cs.AI cs.LG
AdaDeep: A Usage-Driven, Automated Deep Model Compression Framework for Enabling Ubiquitous Intelligent Mobiles
Xidian University(西安电子科技大学);Singapore Management University(新加坡管理大学);Rice University(莱斯大学)
深度神经网络(DNN)最近的突破推动了将DNN驱动的智能引入移动平台的巨大增长需求。虽然DNN压缩技术已经证明了在资源受限的平台上部署DNN的潜力,但是当前的实践受到两个限制:1)仅研究独立的压缩方案,即使每种压缩技术仅适用于某些类型的DNN层;以及2)大多数压缩技术针对DNN的推理精度进行了优化,而不明确考虑其它应用驱动的系统性能(例如,等待时间和能量成本)以及跨平台的变化的资源可用性(例如,存储和处理能力)。为此,我们提出了AdaDeep,这是一个使用驱动的自动化DNN压缩框架,用于从整体系统层面系统地探索性能和资源约束之间的理想权衡。具体来说,AdaDeep以逐层的方式自动为给定的DNN选择最合适的压缩技术组合和相应的压缩超参数。对六个数据集和十二个设备的全面评估表明,AdaDeep可以实现高达$18.6\times$延迟减少,$9.8\times$能效提高,以及DNN中$37.3\times$存储减少,而精度损失可以忽略不计。此外,AdaDeep还揭示了多种压缩技术的新颖组合。
2020-06-08 cs.LG
LoSparse: Structured Compression of Large Language Models based on Low-Rank and Sparse Approximation
Georgia Tech(佐治亚理工学院);Microsoft Azure(微软Azure)
提出LoSparse模型压缩技术,通过低秩矩阵与稀疏矩阵之和近似权重矩阵,结合低秩近似与剪枝优势,在自然语言任务中显著优于现有方法。
2023-06-26 cs.CL cs.LG
Riemannian Low-Rank Model Compression for Federated Learning with Over-the-Air Aggregation
Shenzhen Research Institute of Big Data(深圳大数据研究院);Hong Kong University of Science and Technology(香港科技大学)
本文针对联邦学习中的低秩模型压缩问题,提出一种基于黎曼流形优化的不放宽低秩约束的新方法,并设计带预编码器的交替优化算法以支持高效的空中聚合,实验证明其优于现有基线。
2023-06-04 cs.LG eess.SP
Low-Rank Matrix Approximation for Neural Network Compression
Illinois Mathematics and Science Academy(伊利诺伊数学与科学学院)
针对深度神经网络部署成本高的问题,提出 ARSVD 方法,利用奇异值谱熵逐层自适应确定压缩秩,在降低时空复杂度的同时提升压缩性能。
2025-05-11 cs.CC cs.LG
KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
KV-COBRA通过按注意力头协同优化秩和位宽分配,在低比特率下实现更优的KV缓存压缩,显著减少精度损失且无额外开销。
2026-09-22 cs.AI cs.LG
Theoretical Guarantees for Low-Rank Compression of Deep Neural Networks
Department of Mathematics, University of California San Diego(加州大学圣地亚哥分校数学系);Department of Mathematics(数学系);Hal c o g lu Data Science Institute, University of California San Diego(Hal c o g lu数据科学研究所,加州大学圣地亚哥分校)
本文提出了一种数据驱动的后训练低秩压缩分析框架,通过理论证明在不同假设下恢复定理,以解释低秩压缩方法优于数据无关方法的原因,并推动理论支持的压缩算法发展。
2025-02-04 cs.IT cs.LG math.IT
SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices
Department of Computer Science, Aalborg University Copenhagen(奥尔堡大学哥本哈根分校计算机科学系);MaLGa-DIBRIS, University of Genoa(热那亚大学MaLGa-DIBRIS);INFN, Sezione di Genova(国家核物理研究所热那亚分部);European Organization for Nuclear Research (CERN)(欧洲核子研究中心);Ceva, Inc.(Ceva公司)
提出SigmaScale方法,通过学习辅助缩放矩阵优化截断SVD的LLM压缩,降低权重矩阵有效秩,在Llama 3.1 8B和Qwen3-8B上达到竞争性能。
2026-06-05 cs.CL cs.LG
Unified Framework for Pre-trained Neural Network Compression via Decomposition and Optimized Rank Selection
Université Grenoble Alpes, CNRS, Computer Science Laboratory LIG(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、计算机科学实验室LIG)
本文提出统一框架,在连续空间中自动搜索最优秩并同时进行张量分解,无需额外训练数据即可高效压缩预训练模型,并通过微调保持与原始模型相当的性能。
2025-09-21 cs.CV cs.LG
MLoRQ: Bridging Low-Rank and Quantization for Transformer Compression
Sony Semiconductor Israel(索尼半导体以色列)
本文提出MLoRQ方法,通过两阶段优化为Transformer各层分配低秩和量化参数,在内存限制下实现最优压缩,性能提升达15%。
2025-07-13 cs.CV cs.LG
UniRank: Unified Rank Allocation for Low-Rank LLM Compression
Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo(宁波数字孪生研究院,东方理工大学(宁波));Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
提出UniRank方法,将全局低秩分配转化为排序截断流程,通过局部奇异能量比和全局功能重要性双准则评分各奇异分量,并引入秩保持微调避免信息损失,在一次性压缩中困惑度降低高达50%。
2026-09-15 cs.AI cs.LG
Convolutional neural networks compression with low rank and sparse tensor decompositions
Skoltech(斯科尔特科技学院)
卷积神经网络在各种计算机视觉任务中表现出优异的性能。然而,神经网络架构设计通常面临模型性能和计算/存储器复杂度之间的权衡。对于一些现实世界的应用程序,开发模型至关重要,这些模型可以快速而轻巧地在边缘系统和移动设备上运行。然而,许多表现出良好性能的现代体系结构不满足推理时间和存储限制的要求。因此,出现了一个问题,神经网络压缩,以获得一个更小,更快的模型,这是与初始的。在这项工作中,我们考虑一个神经网络压缩方法的基础上张量分解。也就是说,我们建议用一个张量来近似卷积层权重,它可以表示为低秩和稀疏分量的总和。这种近似的动机是基于这样的假设,即低秩和稀疏项允许消除两种不同类型的冗余,从而产生更好的压缩率。一个有效的CPU实现所提出的方法已经开发。我们的算法在压缩Resnet 50架构用于图像分类任务时,表现出高达3.5倍的CPU层加速和11倍的层大小减少。
2020-06-11 cs.CV cs.LG
D-QRELO: Training- and Data-Free Delta Compression for Large Language Models via Quantization and Residual Low-Rank Approximation
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));TeleAI of China Telecom(中国电信TeleAI);The Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学)
本文提出DQRELO方法,通过量化和残差低秩近似实现大型语言模型的delta压缩,解决大规模数据训练导致的压缩误差问题,提升压缩效果和实用性。
2026-04-18 cs.AI cs.LG
ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration
Shanghai Jiao Tong University(上海交通大学);ETH Zürich(苏黎世联邦理工学院)
针对低秩 KV cache 压缩忽视 Keys 与 Values 差异的问题,本文提出 ReCalKV,通过 HSR 分组重排和 OVC 离线校准,在高压缩率下显著减少性能损失。
2025-09-27 cs.AI cs.LG
Rank and run-time aware compression of NLP Applications
SambaNova Systems(桑巴诺瓦系统公司);AMD Research(AMD研究院);Arm ML Research(Arm机器学习研究院)
基于序列模型的NLP应用程序可能很大。然而,许多受益于它们的应用程序运行在计算和存储能力非常有限的小型设备上,同时仍然具有运行时间限制。因此,需要一种压缩技术,其可以实现显著的压缩而不会负面地影响推理运行时间和任务准确性。本文提出了一种新的压缩技术称为混合矩阵分解,实现这一双重目标。HMF改进了低秩矩阵分解(LMF)技术,通过使用智能混合结构使矩阵的秩加倍,从而比LMF具有更好的准确性。此外,通过保持稠密矩阵,它导致比基于修剪或结构矩阵的压缩技术更快的推理运行时间。我们评估了这种技术对跨多个任务(翻译,意图检测,语言建模)的5个NLP基准测试的影响,并表明对于类似的准确度值和压缩因子,HMF可以实现比修剪快2.32倍的推理运行时间,比LMF高16.77%的准确度。
2020-10-06 cs.CL cs.LG cs.PF
Dynamical Low-Rank Compression of Neural Networks with Robustness under Adversarial Attacks
Computer Science and Mathematics Division(计算机科学与数学 division);Geospatial Science and Human Security Division(地理科学与人类安全 division)
本文提出动态低秩训练与谱正则化方法,在实现94%以上压缩的同时保持或提升对抗鲁棒性,且支持秩自适应。
2025-09-23 cs.LG cs.NA math.NA
MUSCO: Multi-Stage Compression of neural networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Innopolis University(Innopolis 大学)
低秩张量近似对于深度神经网络的压缩是非常有前途的。我们提出了一种新的简单而有效的迭代方法,它交替低秩因式分解与智能秩选择和微调。我们证明了我们的方法相比,非迭代的效率。我们的方法提高了压缩率,同时保持了各种任务的准确性。
2019-11-15 cs.CV cs.LG stat.ML
Learning to Compress: Local Rank and Information Compression in Deep Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);New York University(纽约大学)
本文研究深度多层感知机(MLPs)中特征流形的局部秩,证明其在训练后期下降,并揭示了降低表示秩能压缩输入与中间层互信息,从而在特征流形秩与信息瓶颈(IB)理论间建立联系。
2024-10-10 cs.IT cs.LG math.IT
MGAA: Multi-Granular Adaptive Allocation fof Low-Rank Compression of LLMs
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络工程学院)
本文提出多粒度自适应分配方法MGAA,通过子层间余弦相似度和子层内能量分布特征自适应分配低秩压缩比,无需任务特定评估即可提升LLMs及多模态模型压缩性能。
2025-07-04 cs.AI cs.LG
Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression
Information Technologies Institute (ITI), Centre for Research and Technology HELLAS (CERTH)(信息技术研究所(ITI),希腊研究与技术中心(CERTH))
研究语言模型压缩问题,结合神经元重要性和数据感知低秩近似方法,提出动态压缩率分配算法,实验表明该方法在高压缩率下性能与或优于现有技术。
2026-07-22 cs.AI cs.LG
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一,因为它能够揭示复杂结构之间的潜在关系。然而,大多数现有的方法,压缩网络逐层,这不能提供一个令人满意的解决方案,以实现全局优化。在本文中,我们提出了一种模型简化方法,使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法,用来抑制压缩过程中的不重要因素,从而更容易地显示出合适的秩。实验结果表明,与其他张量压缩方法相比,该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18,我们的简化模型在GMAC方面可以达到两倍以上的速度,而Top-1精度仅下降0.7%,这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心)
针对 PowerSGD 在随机设置下无法保证收敛的问题,本文提出 PowerSGD+,通过奇异值分解周期性更新投影子空间以确保与最优子空间对齐,并在标准假设下证明了其收敛性,经大型语言模型任务验证有效。
2025-09-14 cs.LG math.OC
Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression
Kyoto University(京都大学);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所革新智能统合研究中心)
针对MoE大模型压缩,提出共享低秩基分解(SLBF)无数据权重重构方法,通过专家间共享秩-k基降低重构误差,在16B至122B五个架构上优于剪枝、合并和重构三类方法。
2026-10-08 cs.AI cs.LG
Unified Low-rank Compression Framework for Click-through Rate Prediction
Nanjing University(南京大学)
本文提出统一低秩分解框架,通过局部压缩输出特征而非模型权重,在模型体积减少3-5倍的同时实现更快的推理速度和更高的AUC,解决了CTR预测模型在资源受限环境中的部署难题。
2024-06-11 cs.IR cs.LG
AntMan: Sparse Low-Rank Compression to Accelerate RNN inference
Microsoft Research(微软研究院)
基于复杂RNN模型的广泛采用受到其推理性能,成本和内存要求的阻碍。为了解决这个问题,我们开发了AntMan,将结构化稀疏性与低秩分解相结合,以减少RNN的模型计算,大小和执行时间,同时达到所需的精度。AntMan扩展了基于知识蒸馏的训练,以有效地学习压缩模型。我们的评估表明,AntMan提供了高达100倍的计算减少与不到1点的准确率下降的语言和机器阅读理解模型。我们的评估还表明,对于给定的精度目标,AntMan产生的模型比最先进的模型小5倍。最后,我们表明,AntMan提供了超线性的速度增益相比,理论加速,证明其实用价值的商品硬件。
2019-10-02 cs.LG stat.ML
HALOC: Hardware-Aware Automatic Low-Rank Compression for Compact Neural Networks
Rutgers University(罗格斯大学);Indiana University(印第安纳大学);Washington State University(华盛顿州立大学)
本文提出HALOC框架,通过可微分的硬件感知架构搜索自动确定逐层低秩压缩秩值,在显著减少FLOPs的同时提升模型精度,并在多种硬件平台上实现实际加速。
2023-02-02 cs.AI cs.CV cs.LG
Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
联邦学习(FL)是一种很有前途且功能强大的方法,用于在不共享客户端原始数据的情况下训练深度学习模型。在FL的训练过程中,中心服务器和分布式客户端需要定期交换大量的模型信息。为了应对通信密集型训练的挑战,我们提出了一种新的训练方法,称为双侧低秩压缩(FedDLR)的联邦学习,其中深度学习模型在服务器和客户端都通过低秩近似进行压缩。建议FedDLR不仅减少了在训练阶段的通信开销,但也直接生成一个紧凑的模型,以加快推理过程。我们将提供收敛性分析,调查的关键参数的影响,并实证表明,FedDLR优于国家的最先进的解决方案在通信和计算效率方面。
2021-04-26 cs.DC cs.LG